研究人员使用AI对照片中的人脸进行模糊处理

 
我们都去过那里：您正在用手机拍摄照片(可能是高速骑自行车或曲棍球比赛)，并且不想考虑检查自动对焦是否紧跟动作。正如您稍后发现的那样，事实并非如此，并且您陷入了无法使用的模糊照片库中。
为了寻找解决方案，阿联酋的Inception人工智能研究所，北京理工大学和Stony Brook大学的科学家开发了一种AI系统，该系统可以消除后期制作中图像的模糊。他们在一篇论文中指出，它具有人类感知功能，这意味着它能够对人脸进行模糊处理，并且与最新的运动去模糊方法相比具有“良好的表现”。
由于相机和物体之间的相对运动，前景和背景通常会经历不同类型的降级。另外，由于对象与图像平面之间的距离，它们会经历各种运动。
然后，研究人员的模型通过分离前景和背景模糊来学习并利用人与背景蒙版来捕获模糊。对其进行培训需要编译一个数据集-人眼识别的图像去模糊(HIDE)，该数据集包含使用成千上万的室外场景，复杂的背景以及各种前景运动和大小的摄像机获得的成对的模糊图像和真实地面清晰图像。每对通过人类检测模型喂食，该模型在对象周围提供“大致准确”的边界框，随后由人类注释者对其进行完善。
研究人员使用一台带有单个Nvidia Titan X图形卡的机器，在一部分HIDE和一个补充的GoPro Hero视频帧数据集上训练了它们的去模糊模型，总共获得10,742张图像。 (GoPro数据集仅用于训练系统的背景识别部分，因为它只包含很少的行人。)研究人员说，他们的模型在动态去模糊方面达到了最先进的性能，并导致与几个基准相比，恢复效果更好。
该论文的合著者写道：“通过全面融合来自不同领域的去模糊特征，[我们的模型]能够以明确的结构和语义细节来重建图像。” “这样的设计导致了一个统一的，人性化的，专心的去模糊网络。通过对与人有关的模糊和[背景]模糊进行单独的建模，我们的方法可以更好地捕获人的各种运动模式和丰富的语义，从而为[前景]的人和[背景]带来更好的去模糊效果。”
研究人员并不是第一个利用AI清理凌乱照片的人。英伟达(Nvidia)，麻省理工学院(MIT)和阿尔托大学(Aalto University)最近提出了一种机器学习技术来减少图像噪点，而中国智能手机巨头小米(Xiaomi)设计了一种模型，该模型可以还原曝光差的照片中的细节并增强色彩。在消费电子方面，像Google和Apple这样的公司使用AI来锐化图像并固定颜色。