@ 2022.12.02 , 16:25

迪斯尼建立了一个能改变演员年龄的神经网络

迪斯尼研究工作室的面部重塑网络(FRAN,Face Re-Aging Network)可以极大地减少艺术家的工作量,并且已经准备好用于电影和电视。

使用数字特效来改变演员的年龄在好莱坞越来越常见(尽管饱受批评),但对于《爱尔兰人》中每一个年轻得不像话的罗伯特-德尼罗(Robert De Niro)来说,幕后的视觉特效(VFX)艺术家和工程师需要进行数百小时的辛勤工作。然而,随着神经网络变得更加普遍和易用,娱乐业的大腕们有机会利用这项技术来简化流程,同时创造出更加逼真的效果。目前,很少有娱乐公司像迪斯尼那样炙手可热——这就是为什么听到《米老鼠群星会》刚刚宣布它正在利用一些前沿人工智能来“重塑”演员时并不会感到惊讶。

昨天,迪斯尼研究工作室披露了面部重塑网络(或FRAN),这是其在视觉特效工作方面的最新进展,它利用神经网络创造了“第一个实用的、全自动的、可用于生产的视频图像面部重塑方法”。根据迪斯尼自己的统计,在2022年期间,至少有12部电影和电视连续剧利用了重塑技术,这个数字自几年前首次推出以来一直在稳步增长。“在娱乐和广告领域,视频中人脸的真实感数字再老化变得越来越普遍。但主要的2D绘画工作流程往往需要一帧一帧的手工工作,即使是熟练的艺术家也需要几天才能完成”,该团队在他们的研究论文摘要中解释道。FRAN对这个问题的解决方案依赖于一个多步骤的神经网络过程,该过程可以减少劳动时间和成本,同时提高效果的真实感。

@DisneyResearchHub发布的YouTube介绍视频截图:
迪斯尼建立了一个能改变演员年龄的神经网络

迪斯尼建立了一个能改变演员年龄的神经网络

迪斯尼建立了一个能改变演员年龄的神经网络

迪斯尼建立了一个能改变演员年龄的神经网络

正如相关报道中所解释的那样,FRAN利用一些步骤来创造其重塑的对象。首先,该团队使用一个名为StyleGAN2的程序,随机生成数千张18岁至85岁的合成老龄化面孔。一旦该数据库建立起来,机器学习工具对这些人工肖像进行老化(aged)和去老化(de-aged),然后将其输入另一个神经网络FRAN。从那里,FRAN可以将它所学到的东西应用到真实人物的视频中,增加或减少年龄,而不管角度、位置、运动或光线如何。之后,艺术家可以根据需要手动修改帧和过渡。

结果仍然不完美,但可以说与迄今为止在《星球大战外传:侠盗一号》或《蚁人2》中所看到的一样令人信服。不出意外的话,最终成品只会随着时间的推移而改进,因为像FRAN这样的神经网络越来越智能。

本文译自 Popular Science,由 BALI 编辑发布。

赞一个 (5)