创新的域自适应方法可从单深度图像进行3D人脸重建
•
2024-03-06 16:47:53
摘要 从视觉效果重建3D 脸部对于数字脸部建模和操作至关重要。传统方法主要依赖于 RGB 图像，这些图像容易受到光照变化的影响并且仅提供 2D...
从视觉效果重建3D 脸部对于数字脸部建模和操作至关重要。传统方法主要依赖于 RGB 图像，这些图像容易受到光照变化的影响并且仅提供 2D 信息。相比之下，深度图像可以抵抗光照变化，直接捕获 3D 数据，为稳健的重建提供了潜在的解决方案。最近的研究转向深度学习，以从深度数据中进行更稳健的重建;然而，缺乏具有准确 3D 面部标签的真实深度图像阻碍了训练过程。由于领域差异，使用自动合成数据进行训练的尝试在推广到现实场景时遇到了限制。
为了应对这些挑战，蔡晓旭领导的研究团队于 2024 年 2 月 15 日在 高等教育出版社和施普林格·自然联合出版的《计算机科学前沿》上公布了他们的最新发现。他们的研究引入了一种新颖的领域自适应重建方法，利用深度学习以及自动标记的合成数据和未标记的真实数据的融合。这种方法有助于根据现实世界中捕获的单个深度图像重建 3D 面部。他们的方法实现了域自适应神经网络，分别致力于预测头部姿势和面部形状。每个网络都使用针对其组件定制的特定策略进行训练。头部姿势网络使用简单的微调方法进行训练，而更强大的对抗域适应方法则用于训练面部形状网络。预处理的初始步骤涉及将深度图像中的像素值转换为相机空间内的 3D 点坐标。此过程允许在重建网络中利用 2D 卷积来处理 3D 几何信息。网络输出采用 3D 顶点偏移，建立更集中的目标分布以促进学习过程。
该方法在具有挑战性的现实世界数据集上进行了彻底评估，证明了其与最先进技术相比的竞争性能。
版权声明：本文由用户上传，如有侵权请联系删除！
标签：