人工智能
Facebook用AI拯救你闭眼睛的照片
作者：Stan Horaczek
Credit：HW
拍一张好的人像照片是非常困难的。许多错误可能会影响照片，比如不良的照明到不协调的姿势。但是，没有什么东西比闭眼更糟糕了。然而，Facebook Research 正在研究一种使用人工智能驱动的工具解决闭眼的方法，该工具超越了简单地复制和粘贴新的眼睛。
在肖像中强行睁眼的想法并不是一个新概念，但这个过程通常包括直接从另一张照片中提取源材料并将其移植到目标的脸上。例如，Adobe 的 Photoshop Elements 软件(专业图像编辑软件的简化版本)具有专门为此目的而建立的模式。当使用它时，程序会提示您从同一会话中选择另一张照片(假设您拍摄了多张照片)，其中人物的眼睛已打开。 然后，它可以使用 Adobe 的人工智能技术，它称为 Sensei(日语：先生，老师)，尝试将前一张图像的眼睛融合到这张照片中。
这是一个令人惊喜的功能，可以快速修复 - 特别是当您考虑使用完整版的 Photoshop 仔细粘贴并融入一组新的眼睛时需要执行很多步骤。但是，有些细节并不总是正确的，比如特定的照明条件或阴影的方向。
“理解阴影是完全直观的，”达特茅斯学院计算机科学教授兼照片取证专家 Hany Farid 说。“通过观察阴影，我可以推断光源在哪里。” 当技术人员复制并粘贴来自另一张照片的一组眼睛时，它可能并不总是考虑诸如阴影的轻微变化之类的事情，研究表明 - 这样有时会导致最终图像看起来接近正确，但仍然令人感到奇怪。这就是所谓的恐怖谷效应，研究人员希望避免。
Facebook Research 最近发表的一篇论文提出了另一种替代闭眼的解决方案，该解决方案依赖于深度神经网络，该网络可以使用来自图像周围的内容来实际构造缺失数据，而不仅仅是受影响的区域。Facebook 正在使用称为通用对抗网络(GAN)的技术来填写这些数据。这和最近一波 “深刻假冒” 视频的基本技术差不多，其中名人似乎在说和做他们没有说或做过的事情。
他们使用的 Exemplar GAN 模型从同一人的其他图像中绘制数据，但它仅将其用作参考材料，从中学习主体的外观以及可能存在于他们脸上的任何识别标记。然后，它使用一个名为“绘画”的过程来生成所需的信息，以用实际的眼睛替换眼皮。 这种深度学习比一个简单的图像需要更多的参考，它能很好地适应 Facebook 的基础架构，通常可以分析同一用户的许多不同图像，参考各种不同的照明情况。
Facebook 的初步结果令人印象深刻，即使不那么完美的，研究人员仍然在努力寻找背后的算法的最佳训练方法，并引导不可预知的变量，如照片中的部分眼睛被头发或眼镜阻挡的情况。
尽管如此，Facebook 仍然认为这种计算方式很有用。也许人工智能可以让我们更好地查看我们的个人资料图片。即使在照片之外，Facebook 也在研究类似的AI工具，可以将音乐从一种风格转换为另一种风格。