传统技术与深度学习协同实现单帧高精度条纹图案分析
光学计量作为一种利用光作为信息载体进行非接触、无损测量的通用计量技术，是制造、基础研究和工程应用的基础。随着激光和电荷耦合器件(CCD)的发明，许多光学计量方法和仪器因其在精度、灵敏度方面的优势而被应用于最先进的制造工艺、精密定位和质量评估、重复性和速度。对于干涉测量、数字全息术和条纹投影轮廓术 (FPP) 等许多光学计量技术来说，条纹图案分析是从记录的条纹图案中恢复底层相位分布的主要研究焦点。
针对基于FPP的结构光3D成像，为了最大限度地减少单次重建所需的条纹数量，南京理工大学陈谦教授和左朝课题组建立了相移轮廓测量和时间相位展开的理论框架开发了一系列用于快速3D测量的复合相移方法，包括双频相移、2+2相移、基于几何约束的复合相移和微傅里叶变换轮廓测量法(μFTP)。这些复合相移方法将每次 3D 重建所需的条纹图案数量从约 10 个减少到 5 个、4 个、3 个甚至 2 个，从而实现每秒 10k 帧的高速 3D 传感。尽管如此，仅使用单一图案进行高精度3D重建一直是结构光3D成像永恒追求的终极目标。然而，FTP成功的关键在于物体表面调制的高频条纹信息能够在频域中很好地与背景强度分离。因此，FTP 技术仅限于测量高度变化有限的光滑表面。
近年来，随着可用数据和计算资源的爆炸式增长，深度学习作为一种“数据驱动”的机器学习技术，在计算机视觉、计算成像等众多领域取得了令人瞩目的成功。深度学习几乎遍及光学计量的所有方面，为许多具有挑战性的问题提供了解决方案，例如条纹去噪、条纹分析和数字全息重建。
然而，与传统的条纹分析方法不同，这些深度学习方法主要侧重于训练 DNN 从大量输入和输出数据对中准确识别图像到图像的变换，因为控制图像形成的物理定律或其他相关领域的专业知识在当前的深度学习实践中，该测量尚未得到充分利用。因此，深度学习方法在解决复杂物理问题方面的性能在很大程度上依赖于数据集中的基础统计特征。为了突破边缘模式分析在速度、准确性、可重复性和泛化方面的极限，基于物理的传统方法和数据驱动的学习方法的协同作用成为大势所趋[图1]。1(b)]。
南京理工大学陈谦教授和左超教授课题组近期在《Opto-Electronic Advances》上发表论文，报道了一种基于物理的深度学习条纹图案分析方法(PI-FPA)，该方法集成了轻量级具有学习增强型傅立叶变换轮廓测量(LeFTP)模块的 DNN [图 1]。2]，实现更准确和计算效率更高的单次相位检索。与通用端到端图像变换网络(U-Net 及其衍生物)相比，轻量级网络细化了初始相位，以较低的计算成本进一步提高相位精度。
不同条纹分析方法对工件模型的动态360度3D重建结果如图2所示。3]。对于3步PS方法，当测量动态场景时，对象与顺序投影的相移条纹图案之间的相对运动将导致运动伪影，从而将不可忽略的误差引入3D重建结果中。对于单帧条纹分析，FTP 适用于动态 3D 测量，但由于光谱重叠，会产生粗糙的 3D 结果，精度和分辨率质量较低。U-Net可以进一步提高3D重建的质量，但它无法可靠地检索训练数据集中相对较少的金属材料物体的相位，从而妨碍了精细表面的恢复。
所提出的用于条纹图案分析的物理信息深度学习技术(PI-FPA)不仅像传统神经网络一样学习数据集中固有的统计特征，而且还掌握了描述图像形成的物理定律，实现了单帧相位重建高精度和高计算效率，同时对网络从未见过的稀有样本表现出良好的泛化能力。未来，我们将研究PI-FPA对不同类型条纹图像的相位恢复性能，并探索相关条纹分析在光学计量中的干涉测量和数字全息领域的应用，进一步突破条纹图分析的速度极限、准确性、可重复性和概括性。
版权声明：本文由用户上传，如有侵权请联系删除！