您的位置:首页 >精选知识 >正文

神经网络是简化快照压缩成像采样的关键

摘要 由图森亚利桑那大学的 Minghao Hu 和杭州西湖大学的 Zongliang Wu 领导的国际研究小组进行了多维计算成像实验,将经典快照压缩成像系...

由图森亚利桑那大学的 Minghao Hu 和杭州西湖大学的 Zongliang Wu 领导的国际研究小组进行了多维计算成像实验,将经典快照压缩成像系统与他们提出的系统进行比较,其中涉及多尺度流形采样和神经解压缩。他们发现他们的方法实现了可比的图像质量,并且由于人工神经网络处理能力的预期进步而具有广阔的前景。

该小组的研究成果于 8 月 16 日发表在Science Partner 期刊《智能计算》上。

相机和其他传感器可用于捕获丰富的数据,但数据越准确,数据的捕获、存储和处理就越难以管理。解决方案是采样,即采取策略性间隔或屏蔽的目标快照,并将它们组合起来,通过利用数据中计算上可猜测的相关性来获得近似原始值的东西。面临的挑战是做出明智的权衡,以便设置和操作易于管理,并且尽管被压缩,但结果仍具有良好的质量。

在称为快照压缩成像的技术集合中,编码孔径快照光谱成像仪专门用于捕获颜色信息,编码孔径压缩时间成像仪专门用于视频。这些称为 CASSI 和 CACTI 的系统可能会因依赖神经网络进行图像重建的方法而黯然失色。

神经网络使系统更加紧凑且易于实现,因为它们以更通用的方式执行优化,从而允许不太复杂的采样类型,例如多尺度流形采样。

CASSI 风格的“隔行扫描”采样就像在摄影中使用滤色镜,而多尺度流形采样更像是立体对成像,并且可以在相机阵列上实现,灵活且可扩展。这种相机阵列甚至可以在捕获图像时进行编程。

研究人员的多尺度流形采样系统使用一种称为“变压器”的神经网络进行视觉数据处理。特别是,它是一个物理感知的变压器网络,因此该系统被称为PAT。

研究人员使用模拟数据比较了 PAT 和 CASSI 与九个色带的成像。他们的定量分析表明,这两种方法都有优点和缺点:PAT 图像在结构相似性方面得分较高,而 CASSI 图像在峰值信噪比方面得分较高。

他们还使用模拟数据比较了视频的 PAT 和 CACTI。这两个系统取得了相似的结果,但 PAT 系统的设置更容易且成本更低。

此外,研究人员还通过成功重建两个场景来演示 PAT。一张以高分辨率灰度和低分辨率彩色拍摄,另一张使用四相机阵列拍摄,可拍摄三种颜色和纹理。

版权声明:本文由用户上传,如有侵权请联系删除!