我们可以通过 VR 设备在虚拟世界中尽情畅游,但 VR 的美妙体验并不能与旁人分享。旁人眼中的 VR 玩家,只是戴着“头盔”,在自言自语,手舞足蹈。
Google Machine Perception 研究人员与
Daydream Labs 和
YouTube Spaces 合作,找到了这个问题的解决方案:将 3D 模拟画面、机器学习与图形技术结合在一起,“摘除”头显,让用户“露脸”,营造逼真的透视效果。
混合现实(Mixed Reality)技术可以将 VR 用户影像与虚拟世界影像结合起来,但美中不足的是,观众仍然无法看到 VR 用户的完整表情。
VR 艺术家 Steve Teeple 用 Tilt Brush 作画。
新技术可模拟头显后面 VR 用户的面部表情,完整呈现其 VR 体验
要“摘除”头显,首先需要采集 VR 用户的面部表情数据,制作出 3D 模型。这样,即便用户的脸被头显遮挡住,其视线改变、眨眼时的面部表情变化也能用 3D 画面完整模拟出来了。
然后,利用可以追踪用户视线的 VR 头显设备,记录下头显之下用户的视线变化情况。将视线变化数据和 用户的 3D 面部模型相结合,使模拟画面更加流畅。
人类对合成面部高度敏感,最微小的面部合成瑕疵也会令人感觉极不自然,这种现象被称为“恐怖谷(uncanny valley)。”为解决这个问题,最终成品中头显并没有被彻底去除,而是选择类似于“潜水面罩效果”的形式,将经过色彩校正的面部模拟与半透明头显合成在一起。
最后,将用户的 3D 面部模拟图像、VR 影像、外部摄像机拍摄画面结合起来,用 2D 视频鲜活自然地还原 VR 用户的奇妙体验。
这项新技术的有着很大的潜力,实际上,它的应用范围远远超出混合现实的领域。
这项技术有助于改进 VR 世界的社交互动模式,可用于 VR 视频会议、多玩家 VR 游戏等,用户还可以使用它与家人和朋友一起在虚拟世界中探险。从笨重的头显到轻装上阵,在机器学习技术的帮助下让用户在虚拟现实中“露脸”,将成为人类走向 VR 世界的重要一步。