Facebook正在开发实时VR面部动画系统“Codec Avatars”

为了使虚拟现实（VR）体验高度可信，Facebook Reality Labs（FRL）的研究人员开发了一种名为“Codec Avatars”的系统，使VR用户能够与他人互动，同时精确地表现自己的形象实时动画。Facebook的研究科学家Shih-En Wei说：“我们的工作证明，可以精确地从紧密安装在VR头显上的摄像头制作逼真的化身。”

研究人员配置了一个带有最少传感器的头显，用于面部捕捉，系统可以在VR中实现双向，真实的社交互动。该团队表示，VR系统可以使用最少的头显摄像头（HMC）精确跟踪用户的实时面部表情，从而以非常详细的个人形象为头像设置动画。

通过使用每个像素比较转换后的图像，不仅仅是面部特征以及3D化身的渲染，我们可以通过可微分渲染在跟踪头显的图像和3D化身的状态之间进行精确映射。

在映射建立后，训练神经网络从实时的最小一组摄像机图像中预测人脸参数。除了为VR中的化身设置动画外，Facebook团队还在构建系统，使人们能够通过一些图像或视频快速轻松地创建自己的头像。

Facebook团队将在7月28日至8月1日期间在洛杉矶举行的“SIGGRAPH 2019”上展示他们的VR实时面部动画系统。

研究人员还将展示人工智能（AI）技术。网络（GAN）执行一致的多视图图像样式转换，以自动将HMC红外图像转换为看起来像呈现的化身，但具有与VR用户相同的面部表情的图像。

作者：威廉

【以上内容转自“93913网”，不代表本网站观点。 如需转载请取得93913网站许可，如有侵权请联系删除。】