Facebook 正在开发 AI 工具来修复因眨眼而毁坏的照片

拍摄一张好的人像照片非常困难。从光线不好到姿势不好看，很多错误都会毁掉照片。然而，没有什么比不合时宜的眨眼更能毁掉一幅肖像了。然而，Facebook Research 正在研究一种方法，使用一种人工智能驱动的工具将闭上的眼睛替换为睁开的眼睛，这种方法力求超越简单地复制和粘贴新眼睛。

在肖像中睁开闭眼的想法并不新鲜，但这个过程通常需要直接从另一张照片中提取源材料并将其移植到眨眼的脸上。例如，Adobe 的 Photoshop Elements 软件（其专业图像编辑软件的简化版本）有一个专门为此目的构建的模式。当你使用它时，程序会提示你从同一会话中选择另一张照片（假设你拍摄了多张），其中的人的眼睛是睁开的。然后它可以使用 Adob​​e 的 AI 技术（称为 Sensei）尝试将前一张照片中的眼睛融入眨眼的照片中。

这项功能对于快速修复来说效果出奇地好——尤其是当你考虑到使用功能齐全的 Photoshop 版本仔细粘贴和混合一双新眼睛需要多少步骤时。但是，有些小细节它并不总是正确的，比如特定的照明条件或阴影的方向。

“理解阴影完全是直觉的，”达特茅斯学院计算机科学教授、照片取证专家 Hany Farid 表示。“我可以通过观察阴影推断出光源的位置。”当技术人员从另一张照片中复制粘贴一组眼睛时，可能并不总是考虑到阴影的细微变化等因素，研究表明，这有时会导致最终图像看起来几乎正确，但仍然莫名其妙地奇怪。这就是研究人员希望避免的恐怖谷现象。

Facebook Research 最近发表的一篇论文提出了一种替代闭眼的另一种解决方案，它依赖于深度神经网络，该网络实际上可以使用图像周围（而不仅仅是受影响区域）的背景信息来构建缺失的数据。Facebook 正在使用一种称为通用对抗网络 (GAN) 的技术来填充这些数据。这是最近一波“深度伪造”视频所采用的相同基本技术，在这些视频中，名人似乎说了和做了他们实际上没有做过的事情。

他们使用的 Exemplar GAN 模型从同一个人的其他图像中提取数据，但它只将其用作参考材料，从中了解对象的外观以及他们脸上可能存在的任何识别标记。然后，它使用一种称为“修复”的过程来生成所需信息，用真实的眼睛替换眼睑。这种深度学习需要的参考不只是一张简单的图像，这非常适合 Facebook 的基础设施，它通常可以分析同一用户的许多不同图像，通常是在各种不同的照明情况下。

尽管并不完美，但 Facebook 的初步成果令人印象深刻，但研究人员仍在努力寻找该过程背后算法的最佳训练方法，并解决不可预测的变量，例如照片中眼睛的一部分被头发或眼镜遮挡。

尽管如此，该公司相信这种计算是有用的，甚至不仅仅是修复照片中闪烁的主体。也许人工智能将来可以让我们的个人资料照片看起来更漂亮。除了照片之外，该公司还在开发类似的人工智能工具，将音乐从一种风格转换为另一种风格。