研究人员训练AI将人的面部动作映射到任何目标头像

 
如果您可以使用网络摄像头和插图或摄影静态图像，而仅是现实而令人信服地操纵历史人物，政客或首席执行官的面部特征怎么办?总部位于首尔的Hyperconnect研究人员最近开发了一种名为MarioNETte的工具，可以实现这一目标，这在一定程度上要归功于尖端的机器学习技术。研究人员声称，即使在要操纵的脸部和进行操纵的人之间存在“明显的”不匹配的情况下，它的性能也优于所有基线。
从技术上说，MarioNETte是一种面部重现工具，其目的是在保留面部(目标)外观的同时，合成通过人(“驾驶员”)的移动而动画化的重现面部。这不是一个新主意，但是以前的方法(1)需要几分钟的训练数据并且只能重新制定预定的目标，或者(2)在处理大姿势时会扭曲目标的功能。
MarioNETte通过合并三个新颖的组件来提高技术水平：图像关注块，目标特征对齐和界标转换器。注意块允许模型关注已映射物理特征的相关位置，而目标特征对齐可减轻伪影，翘曲和变形。至于标志性的变压器位，与需要人工标注示例的方法相比，它无需标记数据即可使驾驶员的姿势几何形状适应目标的几何形状。
研究人员使用VoxCeleb1和CelebV(两种名人照片和视频的开源语料库)对MarioNETte进行了培训和测试。使用来自VoxCeleb1的1,251个不同名人对模型和基线进行了训练，并通过从100个随机选择的VoxCeleb1视频中抽取2,083个图像集(加上CelebV中每个名人的2,000个图像集)采样，对一组模型进行了测试。
结果?根据经验，在多达八张目标图像上，MarioNETte超越了所有其他模型，仅保存一张(PSNR)。在另一项用户研究中，任务100名志愿者根据质量和真实性从不同模型生成的两幅图像中选择一张，MarioNETte的输出排名高于所有基准。
研究人员留给未来的工作来改进地标变压器，以使重新制定更具说服力。 “ [我们]提出的方法[不需要]额外的微调阶段来进行身份适应，这在野外部署时显着提高了该模型的实用性，”预打印论文的共同作者详细介绍了MarioNETte的体系结构和验证。 “我们的实验包括人类评估表明了所提出方法的卓越性。”
这项工作可能使摄影师无需运动跟踪设备即可廉价地为人物制作动画。但是它也可能被滥用来创建高度逼真的深层伪造，这些伪造将一个人带入现有的图像或视频中，并用其他人的肖像代替。
在不到一年的时间内，在线深层欺诈视频的数量增长了84%，促使皮尤中心(Pew Center)进行调查的受访者表示，他们预计社交媒体上分享的新闻中有57%的消息“很大程度上不准确”。美国有四分之三的人赞成采取措施来限制更改后的视频和图像，并且Google和Facebook等公司已经发布了旨在检测​​深造假的数据集和AI模型。