现实世界能被模拟到什么程度？

随着游戏引擎技术的发展，现实世界正被数字化复制，应用于电影、建筑、军事模拟等多个领域，预示着元宇宙时代的到来。

去年秋天的一个温暖下午，Steven Caron，视频游戏公司Quixel的技术艺术家，站在奥克兰山丘的红杉林边。“交叉你的眼睛，稍微模糊你的视线，感受一下这里的一切，”他指导说。那里有一圈树木，一些原木，一个木制围栏；两个类似帐篷的结构，由棍子制成，诱人地倾斜着。Quixel创建和销售数字资产——组成视频游戏、电影和电视节目场景和感官元素的对象、纹理和景观。它有着“扫描世界”的谦虚使命。在过去的几年里，Caron和他的同事们广泛旅行，创建了一个类似21世纪初自然和建筑环境的数字档案：瑞典的冰崖；来自巴基斯坦灌木丛的砂岩巨石；日本的木制寺庙门；波兰Bożków Palace的天花板装饰。那天下午，他只想扫描一棵红杉树。理想的资产是标志性的，但不是独特的：理论上，它们中的任何一个都可以像橡皮图章一样重复，以至于一棵红杉可以组成整片森林。“想想更普通的树，”他说，环顾四周。我们把树林眯成了低分辨率。

Quixel是游戏巨头Epic Games的子公司，后者以其多人游戏Fortnite最为著名。但Epic的另一个核心产品是其“游戏引擎”——用于制作游戏的软件框架——称为Unreal Engine。视频游戏长期以来一直倾向于现实主义，在过去的三十年中，引擎变得更加复杂：它们现在可以渲染近乎照片般逼真的图形并模仿现实世界的物理。动物的移动非常像动物，云彩投下阴影，雪花或多或少地按照预期落下。声音反弹，并且比光移动得慢。大多数游戏开发者依赖于像Unreal及其竞争对手Unity这样的第三方引擎。它们也越来越被用来构建其他类型的想象世界，成为一种无形的基础设施。最近的电影如《芭比》、《蝙蝠侠》、《壮志凌云：独行侠》和《法贝尔曼一家》都使用了Unreal Engine来创建虚拟布景。2022年，Epic向芝麻街工作室提供了一笔资金，用于扫描“芝麻街”的布景。建筑师现在在Unreal中制作建筑模型。NASA用它来可视化月球的地形。一些亚马逊仓库工人部分在类似游戏的模拟中接受培训；大多数虚拟现实应用依赖于引擎。“这真的是现在成熟的时候了，”Epic Games的创始人兼首席执行官Tim Sweeney告诉我。“我们当时称之为‘小游戏引擎’，现在正成为现实的模拟引擎。”

Quixel最初是帮助艺术家为数字模型创建纹理，这种做法历来依赖于手法。(在线上，围绕“纹理考古学”形成了一个小亚文化：对于1996年发布的《超级马里奥64》，反射表面将过于低效而无法渲染，因此马里奥戴的金属帽子是用低分辨率的鱼眼照片制作的，上面是蓝天背景下的花朵，这创造了一种闪亮的错觉。)很快变得清楚的是，最好的图形将通过高分辨率照片创建。2011年，Quixel开始捕捉现实世界对象和景观的3D图像——公司称之为“megascans”。“我们在很大程度上已经掌握了将现实世界数字化的能力，”Quixel的联合创始人Teddy Bergsman Lind说。他特别喜欢数字化冰岛。“广阔的火山景观，完全荒凉，荒凉，类似外星，从漆黑的火山岩到我见过的最生动的红色，到完全被苔藓覆盖的区域，再到冰川，”他说。“扫描的内容太多了。”

将现实世界数字化涉及现实世界过程的乏味。三维模型是使用激光雷达和摄影测量法创建的，这是一种技术，其中数百或数千张单个对象的照片被缝合在一起以产生数字复制品。在红杉林中，当Caron设置他的设备时，他告诉我他上周末在一个大型“碎片箱”内、下方和上方度过了时间——至关重要的是不是一个品牌垃圾箱，这可能无法通过法律审查——从所有角度扫描它。这个过程需要大约九千张照片。(“我得快点做，”他说。“人们非法倾倒他们的垃圾。”)植物和叶子，它们是脆弱的，摇曳的，并且有短暂的保质期，需要一个专门的植被扫描仪。像悬崖面这样的较大元素是用无人机扫描的。像剑这样的反射物体需要激光。Lind告诉我，他喜欢近距离观察纹理。“当你扫描它时，金属实际上是漆黑的，”他说。“它根本不包含任何颜色信息。它变成了这个美丽的画布。”但Quixel的大部分资产都是由技术艺术家在需要许可证和数月计划的徒步旅行中创建的，他们背着可穿戴硬盘、相机、电缆和其他扫描设备。Caron曾两次前往南卡罗来纳州查尔斯顿郊外的I’on Swamp，扫描柏树膝盖——尖刺的木质生长物从水中升起，像石笋一样。“它们看起来很可怕，”他说。“如果你想制作一个令人毛骨悚然的沼泽环境，你需要柏树膝盖。”

该公司现在维护着一个庞大的在线市场，数字艺术家可以在那里分享和下载道具和其他环境元素的扫描：一根香蕉，一个Knobkerrie(非洲的木棒)，一簇海石竹，泰国珊瑚，一些马粪。这些元素的一个精选集被标记为“屠宰场”，包括一些生锈和弄脏的橱柜、链条和板条箱，以及二十七种不同的血迹(水坑，群岛，“高速飞溅”)。“中世纪宴会”提供的东西中，包括一个严重烤焦的萝卜，一个羊肋排架，木杯，以及几个不同大小和消耗阶段的猪肉馅饼。这些扫描的细节足够详细，以至于当我检查一只烤小猪——皮肤因热量而变得皮革般，肘部被撕裂——它让我感到了一种本能的恶心。

资产被纳入视频游戏、建筑渲染、电视节目和电影中。Quixel的扫描构成了2016年真人版《丛林之书》的郁郁葱葱、斑驳的背景；最近，在观看系列剧《曼达洛人》时，Caron发现了一个他曾在Moab扫描的岩石形态。独特的资产有过于显眼的风险：Quixel对一棵光秃秃的树的扫描在某种程度上成为了一种迷因，每当它出现在新游戏中时，游戏玩家都会发推文。在奥克兰，Caron考虑扫描一个木制围栏，但排除了一个带有涂鸦(“DAN”)的部分，认为它太独特了。

过了一会儿，他锁定了一棵合格的红杉树。在视觉效果方面的工作让他对世界有了挑剔的眼光。“你只是被训练得以不同的方式看待事物，”他说。“你不禁会看着云，当你做过二十个云景时。你在寻找完美的云。”他蹲下来检查树下的地被，并把一根分心的绿色针叶树枝扫开。Caron的同事们有时会修剪草坪，或者为了追求一个不杂乱的图像而从树上折断一根树枝。但Caron，三十多岁，小时候在南卡罗来纳州的森林中探险，更喜欢一种不留痕迹的方法。他把其中一个扫描装置背在背上，夹上腰带以稳定它，然后拿起一台大型数码相机。在进行了一系列微调——颜色校准、比例、拍摄距离——之后，他开始慢慢地绕着红杉树转圈，相机像节拍器一样咔嚓咔嚓地响。一个小时过去了，光线开始变化，不理想。在回家的路上，我考虑了创造那些旨在不被注意的布景所需的惊人劳动量。是谁烤了猪肉馅饼？

Epic的首席执行官Sweeney拥有科技创始人传奇的背景故事——大学辍学生，总部设在他父母的地下室，破坏姿态的工作伦理——以及一个拼写比赛参赛者的舞台表现，他正在解离。他五十三岁，非常注重隐私。他戴着七十年代风格的飞行员眼镜，穿着企业品牌服装，像个实习生。他温和、轻声细语，经常使用“棒极了”这个词，他的推文表明，要么是缺乏通信策略师，要么是对他观众的深刻理解。(“埃隆·马斯克要去火星，而我在这里调试单线程JavaScript代码中的竞态条件。”)他喜欢快车和Bojangles鸡肉。去年，他成功地起诉了谷歌，指控其违反了反垄断法。Epic是私人控股的，目前估值超过二百二十亿美元；据报道，Sweeney是控股股东。

当我们在春季早些时候交谈时，他在他的家乡北卡罗来纳州罗利，穿着一件Unreal Engine T恤，喝着Popeyes的苏打水。他身后是两架高端的雅马哈键盘。我们在视频聊天，房间里的光线很糟糕。在我们的谈话中，他轻轻地振动，好像在抖腿；我想知道是不是苏打水。“在我们的有生之年，计算机很可能能够实时制作出完全无法与现实区分的图像，”Sweeney告诉我。这个话题在公司的早期就已经在行业中广泛讨论过了。“当时这是可以预见的，”他说。“现在它真的开始发生了。”

Sweeney在马里兰州的波托马克长大，九岁时开始编写小型电脑游戏。高中毕业后，他进入马里兰大学学习机械工程。他住在宿舍，但周末有时会去他父母家，他的电脑就在那里。1991年，他创造了ZZT，一个基于文本的冒险游戏。玩家可以创建自己的谜题并为附加组件付费，Sweeney将它们用软盘寄给他们。这是一个意外的热门。到那时，他已经成立了一家名为波托马克计算机系统公司的公司。(它的名字来源于他想要创立的咨询业务，他已经购买了文具。)它从他父母的房子里运营。他的父亲，国防部门的制图师，经营着它的财务。Sweeney将公司更名为Epic MegaGames——听起来更威严——并雇佣了一个小团队，包括当时还是青少年的游戏设计师Cliff Bleszinski。“在很多方面，Tim Sweeney对我而言是一位父亲般的人物，”Bleszinski告诉我。“他给我指明了方向。”

Sweeney的北极星是一家名为id Software的公司。1993年，id发布了《毁灭战士》，这是一款关于一个魁梧的太空海军陆战队员在火星和地狱的月亮上与恶魔战斗的第一人称射击游戏。《毁灭战士》血腥、详细，而且关键是快速：其开发者借鉴了军事研究等。但id也采取了不寻常的步骤，发布了它所称的《毁灭战士》的“引擎”——使游戏工作的基础代码。以前，游戏必须从头开始构建，公司保持其代码专有：甚至知道如何让一个角色蹲下或跳跃也给了他们优势。在线上，《毁灭战士》的“mod”激增，游戏工作室在《毁灭战士》的架构上构建了新游戏。从结构上讲，它们并没有太大的偏离。《异教徒》是一款关于与亡灵战斗的奇幻第一人称射击游戏；《冲突》是一款关于与机器人战斗的奇幻第一人称射击游戏。但它们是新游戏制作方式和哲学的证明。正如斯坦福大学的视频游戏历史学家Henry Lowood告诉我的，“游戏引擎的理念是‘我们只是生产技术。去吧。’”

Sweeney认为他可以做得更好。他很快开始构建自己的第一人称射击游戏，他将其命名为Unreal。他回忆说，他翻阅艺术参考书籍和照片，以更好地理解阴影和光线。当你花几个小时思考计算机图形学时，他告诉我，这个主题“在你的生活中往往是不可避免的。你在一个黑暗的户外场景中走夜路，下雨了，你看到街灯从路上弹跳，你看到所有这些美丽的色彩边缘，你意识到，哦，我应该能够渲染这个。”Unreal看起来令人印象深刻。水是透明的，火焰似乎是随机闪烁的。在游戏发布前，游戏的截图一经发布，开发者就开始联系Sweeney，询问是否可以使用他的引擎制作自己的游戏。

1999年，公司搬到了北卡罗来纳州。不久，Unreal Engine被用于一个哈利波特PC游戏和美国陆军，这是一个由美国军方创建的多人游戏，作为招募工具。“计划是向任何人和每个人授权该引擎，”Bleszinski后来在回忆录中写道。“它将为Epic提供无限的新收入流……咔嚓！”随着时间的推移，公司改进了渲染时间和照明能力。角色投下阴影。一个新的创建瀑布的系统允许水滴从瀑布的底部跳跃。一旦泡泡破裂，它们不会消失，而是爆炸成小碎片。(相同的原理适用于角色和武器之间的碰撞——而不是消失，致命受伤的角色会崩溃或碎裂——血液变得更加血腥。)

对于游戏开发者来说，多边形是一个主要的关注点。这些形状，通常是三角形，是几乎所有3D图形的构建块。渲染拥有的多边形越多，它就越详细。引擎的更新使得包含纹理和角色的多边形数量呈指数级增长。“意识到我可能是地球上唯一一个明白这是可能的人，这是一种难以置信的感觉，”Sweeney在谈到突破时说。“我现在就在我的电脑屏幕上看到它，正在工作。几年后，每个人都会知道这一点，并且拥有它。它最终将在教科书中教授。”今天，Unreal Engine的用户界面看起来有点像照片或视频编辑软件；它提供了诸如“第三人称射击游戏”和“横向滚动游戏”等模板。

去年，在旧金山举行的年度游戏开发者大会上，Epic展示了Unreal Engine的新更新。Sweeney穿着一件黑色的Ralph Lauren x Fortnite连帽衫发表了开幕词。然后高管们展示了引擎的新能力——包括近乎照片般逼真的树叶和更新的流体模拟——使用一辆电动卡车在郁郁葱葱的森林中越野行驶的互动场景。鸟儿在车辆穿过峡谷时啁啾，它的引擎发出微弱的呜呜声。轮胎随着卡车的悬挂系统弹跳。叶子被刷开后弹回。岩石被推到一边。人们为摆动的树叶鼓掌。当卡车驶过水坑时，水从轮胎上涌出。我旁边的男人喘了口气。

Epic的演示对系统要求如此之高，以至于它们会在普通笔记本电脑上变得口吃。大多数游戏，包括Fortnite，仍然是风格化的。“所有这些的圣杯是跨越诡异谷——制作一个你无法辨别是假的CG人类，”Bleszinski告诉我。“在某些方面，Tim Sweeney和他的团队正在扮演上帝，你知道的？我本人是个无神论者，但我相信，如果有上帝，我们可以通过创造来荣耀他们，因为上帝是最初的创造者，据称。”他背诵了音乐剧《Rent》中的一些歌词：“战争的对立面不是和平，而是创造。”“也许Tim Sweeney有一个上帝情结，”他说。但他建议，这可能只是Sweeney非常专注。“我认为他从未结过婚，Epic是他的家人，Epic是他的旅程，”Bleszinski说。“他甚至不太是个游戏玩家。Fortnite正在大获成功。但是，你知道，我认为引擎是他的终极目标。”

Epic位于北卡罗来纳州Cary的总部装饰着悬挂的Supply Llamas——一个来自Fortnite的紫色皮纳塔角色——以及一个大型金属游乐场滑梯，它在大厅结束，在一尊几乎两层楼高的Unreal系列角色的复制品的底部，该角色戴着贝雷帽和未来主义的盔甲。(去年，公司裁员了16%；Sweeney引用了公司支出超过收入的模式。)今天，一些大型游戏工作室，如制作《使命召唤》的Activision Blizzard，仍然使用自己的专有引擎。但大多数依赖于Unity、Unreal等。包括《光环》、《古墓丽影》和《最终幻想》在内的一些大型预算标题最近已经放弃了自己的引擎，转而使用Unreal。“这是一个零和游戏，”Crystal Dynamics的执行制片人Ben Irving告诉我，该公司制作了《古墓丽影》。“我们想成为引擎公司吗？还是我们想成为制作游戏的公司？”

许多游戏引擎的关键部分是物理引擎，它数学地模拟了我们对物理世界的所有了解。强风可以使用速度来模拟。一个动画泡泡可能会考虑表面张力。去年，Epic发布了乐高Fortnite，这是一个家庭友好模式，玩家可以建造——并用炸药摧毁——他们自己的乐高建筑。这个游戏是卡通风格的，但它的机制是基于现实的。“当建筑物倒塌时，每个人都知道它应该是什么样子，”Epic的高管Saxs Persson告诉我。“它看起来不错，因为他们掌握了质量。他们掌握了碰撞体积。他们掌握了重力。他们掌握了摩擦力，这真的很难。他们掌握了风，地形。所有的一切都必须完美。”甚至拉动乐高积木的精确张力，一种常见的肌肉记忆，也已经模拟出来了。“这都是数学，”他说。

然而，某些事情仍然很难模拟。有多种类型的水渲染器——海洋需要的模拟与河流或游泳池不同——但浮力是具有挑战性的，波浪和水流也是如此。“用于流体模拟的Navier-Stokes方程是数学中尚未解决的六个千年奖问题之一，”Epic的数字人类技术副总裁Vladimir Mastilović告诉我，他指的是一组对人类努力免疫的数学问题。云层很棘手。织物，伸展、弯曲、起皱和膨胀，通常是不可预测的，很难正确处理。很难模拟连锁反应。“如果我在森林中砍倒一棵树，它可能会击中另一棵树并击倒另一棵树，那个碎片会破裂，”Epic的首席技术官Kim Libreri说。“达到这种模拟水平非常非常困难。”即使是最小的人类手势也可能是令人头疼的问题。“把手伸过头发——这是一个难以置信的复杂问题，”Libreri说。“我们有物理模拟让它摆动之类的，但它几乎在分子层面上。”(在一些游戏中，头发是通过使用带有类似头发纹理的布料片来模拟的。)

这只是为什么很难真实地模拟人类的原因之一。“流体动力学、火和其他我们在现实世界中看到的现象的解决方案只是暴力数学，”Sweeney说。“如果我们有足够的计算能力来解决这些方程，我们就可以解决它们。”但人类对其他人应该如何看起来、听起来和移动有一种直观的感觉，这基于我们的进化和认知。“我们甚至不知道我们需要解决的方程式，以便模拟人类，”Sweeney说。“还没有人发明它们。”Epic的MetaHuman Creator，被宣传为“易于制作的高保真数字人类”，是一个用于制作照片般逼真的动画化身的工具。“我们竭尽全力捕捉所有数据，”Mastilović说。为了创建一个模型，Epic的研究人员给一个演员做了全身MRI，扫描他的骨骼和肌肉，然后将他放在一个舞台上，周围有几百台摄像机，以捕捉包围的组织。为了模拟他的面部动作，研究人员在演员的舌头和牙齿上放置了传感器，将他的头部置于电磁场中，并收集了他说话时嘴巴移动的数据。

MetaHuman Creator利用一个扫描人类的数据库，一种类人猿混合物，创建高度详细的虚拟人物模型，通常用于游戏中的次要角色。目前，化身的动作并不完全正确：它们过于平滑，有点滑；他们的嘴巴动作很奇怪；他们努力进行眼神交流，这令人不安。当我最近启动应用程序时，一个名为Rosemary的默认MetaHuman出现在我的电脑屏幕上，眨着眼睛，轻轻地左右扭动头部。Rosemary是白人，有蓝色的眼睛和略微发黄的眼袋。她看起来最近没有晒太多太阳；我用一点腮红修饰了她。使用滑块，我调整了她的眼睛——颜色、虹膜大小、边缘黑暗——加长了她的牙齿，调高了牙菌斑，并给了她雀斑。我从情感状态列表中选择了“快乐”。Rosemary微笑并朝不同的方向倾斜头部，像加冕游行中的皇室成员。我将她的发型改为Pennywise的发型。我的丈夫走进房间。“那是什么鬼？”他说。

Fortnite，由Unreal制作，是一种文化现象，大约有1亿月度玩家。它最受欢迎的模式是Battle Royale，玩家用武器相互射击。但也有一些更社交的模式。Fortnite现在有现场音乐会，数百万人参加。有商店，真人在商店里花真钱为他们虚拟的化身购买虚拟商品。(Epic去年就侵犯未成年人隐私和操纵他们进行不想要的购买与FTC达成和解，并支付了超过50亿美元。)有一个由特雷弗·诺亚运营的喜剧俱乐部，还有一个大屠杀纪念馆。今年2月，迪士尼向Epic投资了15亿美元，获得了公司9%的股份；迪士尼的首席执行官鲍勃·伊格尔表示，他计划在Fortnite中创建一个迪士尼宇宙，让玩家可以与公司的知识财产互动。Epic将Fortnite视为一个“平台”，鼓励玩家使用他们自己的数字资产进行创造、销售和建造。摄影测量应用程序可以用来制作日常物品的资产——一把椅子、一件女式衬衫、一碗面条。从理论上讲，一个人可以制作她的牙套的数字资产，将其出售给其他“创造者”，然后将其放在她的虚拟床头柜上，然后忘记它。

Mastilović建议，MetaHumans有一天可以用于创建自治角色。“所以它将不是一组预录的动画——它将是某人个性的模拟，”他说。他建议模拟道恩·强森(The Rock)可能会很有趣，人们可以创建自己的数字副本，然后授权和货币化它们。Mastilović的团队经常谈论一个叫做Magic Mirror的概念：一种可视化、修改和探索自己的虚拟方式。“如果我现在重10公斤，轻10公斤会怎样？”他说。“如果我现在更自信呢？如果我更老或更年轻呢？这对我来说会是什么样子？”他补充说，“当事情变得真正真实，照片般逼真，并且真正互动时，那就不仅仅是我们现在拥有的媒介了。那不是游戏。那是替代现实的模拟。”

视频游戏行业和好莱坞长期以来一直是共生的，但界线已经变得越来越模糊。当詹姆斯·卡梅隆在21世纪中期开始制作《阿凡达》时，他宣布他将用他称之为“虚拟摄像机”的新技术取代传统的绿色屏幕。演员们在一个动作捕捉舞台上表演，身穿覆盖着传感器的紧身衣，而他们的身体和面部视频被输入到类似于游戏引擎的专有软件中。使用专门的摄像机，卡梅隆能够实时看到演员们在潘多拉这个郁郁葱葱、植物茂密的月亮上的电脑生成的世界中移动。“如果我想飞过太空，或者改变我的视角，我都可以，”他在2007年告诉《泰晤士报》。“我可以把整个场景变成一个活生生的微型模型，并以50比1的比例穿过它。”工作人员称这种技术为“虚拟制作”。幕后花絮显示，演员们脸上布满了传感器，在光线昏暗的舞台上射箭。在卡梅隆的屏幕上，演员们光滑而呈蓝色，尾巴轻轻地摆动。

当时，使用虚拟现实进行电影制作的成本过高。但在过去十年中，包括更便宜的LED屏幕和更好的商业游戏引擎在内的一系列因素的出现，使其得到了更广泛的使用。现在，“虚拟制作”一词用于多种电影制作技术。最著名的应用是作为绿色屏幕的替代品。演员们在一个名为“体积”的舞台上工作，该舞台有一个弯曲的后墙，覆盖着数千个LED面板；天花板也是镶板的。面板显示由游戏引擎制作的背景——山顶、沙漠、敌对星球——并且可以实时调整。(效果类似于后投影的更新版本，后投影是20世纪初的一种技术，其中电影在演员背后投影。)与绿色屏幕不同，演员可以看到他们应该居住的世界。他们由LED面板照明，因此不会带有标志性的绿色屏幕色调。摄像机和引擎可以通信，因此当摄像机移动时，虚拟世界可以随之移动——很像视频游戏。(《曼达洛人》的摄影师Baz Idoine称这种称为视差的效果是“游戏规则改变者”。)现在有几百个虚拟制作阶段在运行，包括在意大利电影制片厂Cinecittà。伊利诺伊大学厄巴纳-香槟分校的电影研究教授朱莉·特纳克表示，这种虚拟方法可能会成为“生产的主要形式”。今年，纽约大学将开始提供虚拟制作硕士学位，在由乔治·卢卡斯资助并以马丁·斯科塞斯的名字命名的新设施中。

2021年，Epic在加利福尼亚州埃尔塞贡多的一个大型仓库里设立了商店，那里有两个LED体积。当我去年访问时，公司正在为电影摄影师举办研讨会。人们四处走动，使用VR护目镜探索虚拟环境。在一个体积上，有一个180度的喜马拉雅高原景观，那里是黎明。光线清晰而寒冷。我站在舞台中央，被虚拟的山脉包围，思考着包括两个虚拟帐篷：它们是谁的？这个想法暗示我正在拥有一种身临其境的体验。但这个视图是真实存在的，还是一个拼贴——喜马拉雅风格？云朵在头顶飞过，一串彩色的旗帜在风中飘扬，我们感觉不到。几码远的地方，一名技术人员在计算机上输入了几个命令，云朵和舞台变成了珊瑚色——黄金时刻。“我来为你移动一些山，”他说，一个被雪覆盖的平顶山在场景中漂浮。

现场虚拟制作通常比将演员送到遥远的地方拍摄更便宜、更安全。“Somo”虚拟制作和视觉效果公司的高管Asad Manzoor说：“有些情况下，我们只是去一个真实的地方，比如冰岛或巴西，扫描一些真正大的地形片段。”“我们将这些扫描带入Unreal，重塑它们，将它们拼凑在一起，创造一个外星球。”这个想法是创造一些“照片般逼真但又异域”的东西。对于像《星际迷航：奇异新世界》这样的多季系列，将布景存储在云端而不是机库中更便宜。虚拟角色，如MetaHumans，现在可以用于人群场景——这是去年电影工作室和美国演员工会谈判的一个症结。我和一些人交谈过，他们都提到了不担心天气的便利性：毕竟，在芭比乐园里总是阳光明媚。对于那部电影，一个戏仿《2001太空漫游》的场景，其中一群小女孩在沙漠中遇到了一个穿着时髦泳衣的巨大洋娃娃，是在LED体积中拍摄的；将儿童演员带到原片拍摄地纪念碑谷将是一个挑战。

游戏引擎也可用于预可视化，包括虚拟侦察，这依赖于布景的3D模型。虚拟模型通常在布景建造之前就已创建。“在芭比乐园发生的一切都有实时版本，用于侦察，”该电影的虚拟制作主管Kaya Jabar说。特效部门在一个小LED体积上放置了模型环境，供电影的导演Greta Gerwig和摄影师Rodrigo Prieto探索。“他们会带着一个取景器，带着正确的镜头等，只是感受一下：这感觉对吗？棕榈树是不是太高了？”Jabar说。有时模型是真实世界地点的模型：在《沙丘：第二部分》的前期制作中，摄影师使用了一个MetaHumans居住的Wadi Rum沙漠的模型，来计划在约旦拍摄的镜头。当我和Sweeney交谈时，他反思了扫描的广泛使用。“它们都被隔离到它们各自的项目中，保存在某个公司的金库中，”他说。“但如果你把所有的3D地形数据和所有的3D对象数据结合起来，现在我觉得你将拥有整个世界的大约10%。”

尽管如此，虚拟制作还是存在困难。由于体积只能这么大，所以很难建立演员之间的距离。一些导演诉诸于digi-doubles——演员的动画扫描。将数字布景与实际舞台对齐可能是一项挑战。“我们在工作室有一个游戏，我们称之为找到接缝，”Manzoor告诉我。“那总是一个明显的迹象。”然后是相反的问题：在《星际迷航：发现号》的第四季中，Manzoor说，“它变得如此无缝，以至于我们有一个演员几乎走进了墙，只因为他们认为它是实际布景的延续。”Idoine告诉我，“体积是适合工作的正确工具。它不是适合所有工作的正确工具。”

关于照明、布景和视觉效果的决策必须提前做出，而不能留待后期制作。2019年，导演Francis Ford Coppola宣布他正在开发他最初在1979年构想的项目“大都市”，并表示电影将采用虚拟制作技术。这部科幻史诗片讲述了一位由亚当·德赖弗扮演的建筑师，在一场灾难后想要重建纽约。为了一个场景，团队制作了一座帝国大厦顶部的实体复制品，俯瞰着在虚幻引擎中构建的城市版本。视觉效果总监Mark Russell说：“他站在这个离地面只有几英尺高的平台上，但四周是纽约的景色，这很美丽。看着他在那种环境中生活，真是壮观。”但去年科波拉解雇了视觉效果部门，用传统的绿幕技术取代了体积捕捉。Russell说：“弗朗西斯没有准备好定义‘大都市’是什么。”他开发这个想法已经四十多年了，但他仍然不愿意选择一个方向，即未来会是什么样子。”

虚拟制作在处理幻想世界时效果最佳，观众对这些世界没有直接的参考。DNEG视觉效果公司的负责人Paul Franklin说：“我们对现实世界中的物体运动有一种直观的理解，创造这种现实感是很难的。”Turnock电影研究教授指出，视觉真实性并不总是关于模仿“眼睛在现实生活中看到的”。她提到了电影制作人使用的视觉元素，如不稳定的摄影机工作和充满尘埃的光束——这些有时是多余的，甚至违背逻辑的现实主义姿态。(这些在视频游戏中也变得普遍：视频游戏中没有摄影机，但有镜头光晕。)Turnock将其追溯到七十年代和八十年代为早期“星球大战”电影制造粗糙自然主义外观的努力。“有一系列规范已经形成，关于什么让事物看起来真实，”她说。有些对现实主义的尝试是如此真实，以至于它们只能是假的。

在埃尔塞贡多，Epic在一个大型的阁楼式区域中设有办公室，位于一个舞台的上方。当我参观时，这个空间看起来像是使用下拉菜单装修的：几个灰色沙发；一个中世纪风格的皮革椅；一个书架，上面放着一些奖项和小装饰品，以及“迪士尼动画史”和艺术家芭芭拉·克鲁格的“你在想我。我是我。我是你。”旁边是一个塑料的琴叶榕，与附近的一碗塑料苔藓相得益彰。“越来越多地，它变成了数字优先，”《蝙蝠侠》和《狮子王》真人版制作设计师詹姆斯·钦伦德坐在阁楼里告诉我。他指向墙上的海报，那是Epic制作的一款基于“黑客帝国”系列的游戏的晚间城市景观。渲染非常细致，透过办公楼的窗户可以看到灰色的天花板砖块。“如果我们真的要建造那个空间，那将是压倒性的，”他说。

尽管如此，钦伦德想知道数字化转向是否可能导致“懒惰的电影制作”。“观众会对所有糖果都被送到他们手中感到厌烦，”他说。他暗示可能会对行业的技术进步产生反弹。“我有幻想，认为工艺将回来——这种朋克摇滚美学，”他说。最近，人们更加重视更多的模拟技术：导演克里斯托弗·诺兰在他的电影“奥本海默”中宣传没有使用C.G.I.。(原子弹的爆炸是通过爆炸物和燃料鼓模拟的。)钦伦德将这个问题框定为创造性叙事的问题。“如果你没有它可用，把它放在喷发熔岩的山上，龙在空中飞翔，那么你如何传达骑士站在悬崖上所看到的？”他说。“现在的事实是，你可以以完全准确、逼真的方式做到这一点。这更好吗？通常不是。”

今天，一切都是多边形。特斯拉为其车载显示屏使用游戏引擎，该显示屏从上方实时显示汽车在路上的情况。宝马在其虚拟环境中的虚拟汽车之间收集数据来训练其自动驾驶软件。温哥华机场管理局使用Unity制作的“数字孪生”来测试安全和运营场景，结合了物理机场的实时数据。迪士尼乐园有一个“星球大战”骑行，游客可以在实时响应的银河中驾驶千年隼号，因为它是用虚幻引擎建造的。去年，乡村音乐家布莱克·谢尔顿在他的“回到酒吧”巡回演出中，表演的背景是一个唤起酒吧氛围的虚拟背景——也是虚幻的——有模拟的霓虹灯标牌和高速公路标志。一家韩国娱乐公司最近推出了MAVE，一个由MetaHumans组成的K-pop组合。在音乐视频中，MAVE的四名成员——身材苗条的年轻女性，拥有光滑的头发和无瑕疵的皮肤——在合成的城市景观中跳跃，做着同步舞蹈。他们的動作有点僵硬，好像他们在过度思考编舞。不过，人类的舞蹈也有过更糟糕的时候。

数字艺术家现在可以使用许多市场来购买资产。Epic的一个市场，叫做ArtStation，包括箱型皮夹克(街头服装)，30个突变皮肤模板，以及一个名为“910+女性休闲早晨姿势参考图片”的图片集，展示了一个裸体女性伸展身体，阅读一本名为“情感智能”的书，以及用枕头练习拳击——只是普通的早晨事情。汽车制造商和产品设计师使用游戏引擎来创建模型，因为这比建造原型更便宜。去年秋天，在拉斯维加斯的一个巨大的LED覆盖的娱乐场所Sphere，似乎被Coca-Cola的波浪淹没了——这是Coke Y3000新口味“与人类和人工智能共同创造”的一部分。为了推销广告，背后的代理商PHNTM在虚幻中模拟了Sphere及其周边社区。“很容易看出它从温德姆高尔夫球场，从这个或那个地区看起来是什么样子，”该机构的创始人Gabe Fraboni告诉我。去年夏天，该机构在办公室安装了一个LED体积。

2020年，扎哈·哈迪德建筑师事务所使用虚幻来模拟在洪都拉斯一个岛屿上的一个有争议的私人城市——繁荣——以及一个特别经济区的拟议豪华开发项目，该经济区被市场定位为加密货币交易者的避风港。(当地人反对它，担心流离失所、监视和对自由主义政治项目的基础设施依赖。)潜在的房主可以勘察土地并个性化他们自己的住宅，拥有弯曲的茅草屋顶和圆形露台。“想看看阳台的景色吗？”营销材料诱人地问道。去年，Epic与Safdie Architects合作，创建了一个完成的Habitat 67的复杂模型，这是Moshe Safdie在蒙特利尔未完成的乌托邦开发项目，从未获得实现Safdie愿景的必要授权。粗犷的建筑在虚拟光线中看起来非常美丽。公司的合伙人Chris Mulvey说，当Safdie看到它时，他的反应是苦乐参半：“他只是，就像，‘如果我有这个，我可以说服他们建造整个项目。’”

同样的工具也被用来存档物质世界中正在消失的部分。在俄罗斯于2022年入侵乌克兰后不久，Virtue Worldwide广告公司开始致力于Backup Ukraine，这是联合国教科文组织和摄影测量公司Polycam的一个广告活动。该活动要求志愿者创建受到威胁的古董、纪念碑和日常文物的数字资产，包括雕塑、古典半身像和墓碑。(“你如何保护你无法物理保护的东西？”它问道。)最初的设想是将这些资产用作未来重建的蓝图，如果必要的话——一个专业的扫描团队创建了基辅和利沃夫的教堂的细致模型——但人们也开始上传他们自己生活中的日常物品的扫描。在爆炸的坦克、烧毁的汽车和被摧毁的公寓楼的模型旁边，是玩具尤达和一双磨损的匡威运动鞋的资产。

十年内，Sweeney告诉我，大多数智能手机可能能够产生高细节扫描。“人类中的每个人都可以开始为世界万物的数据库做出贡献，”他告诉我。“我们可以拥有一个整个世界的3D地图，具有相对高的保真度。你可以在其中任何地方看到虚拟世界和现实世界的混合，以及你想要的任何真实和模拟场景的组合。”近年来，Sweeney开始大力推广元宇宙：一个未来的愿景，人们可以在虚拟环境中无缝移动，带着他们的身份、资产和朋友。2021年，当元宇宙的讨论达到高潮时，这个想法有时被讨论为远程工作世界中白领办公室的替代品。那一年，Facebook将自己重新品牌为Meta，然后发布了自己的元宇宙演示：一个令人毛骨悚然、清洁光亮的办公空间，在其中无腿的化身在虚拟会议桌周围漂浮。Sweeney将元宇宙更多地视为娱乐和社交的空间，在其中游戏和体验可以在一个巨大的平台上链接。一个人理论上可以和她的朋友一起去看电影，与电影演员的MetaHuman化身互动，参加艾敏姆的音乐会，然后在繁荣地区进行一次生态恐怖主义行动，所有这些都没有改变她的突变皮肤。

在我们的对话进行到此时，Sweeney已经停止了颤抖，看起来更加放松。他将元宇宙描述为一种“增强器”——不是面对面社交体验的替代品，但比独自一人要好。“你关于这些时光的记忆，以及你的梦境，和你在现实世界中的经历是一样的，”他说。“但你知道，那时现实世界并不可用。”他开玩笑说，“户外世界的光源”——太阳——一天中只有一半时间可用。但元宇宙始终开启。Sweeney和他一些来自游戏行业的朋友，他们大多居住在不同的城市，拥有自己的《堡垒之夜》小队，并经常在晚上聚在一起四处游荡并谈论生意。我从未想过制作《堡垒之夜》的人也会在那里闲逛。我想知道他是否曾无意中击败了他的一名员工。

秋天，一些声称来自加沙的军事冲突视频开始在社交媒体上流传。一条推文写道：“新视频：哈马斯战士在加沙击落以色列的战争直升机。”但几个月前，类似的视频也曾流传，声称是来自乌克兰的画面。实际上，它们来自一款名为《武装突袭3》的视频游戏。游戏的开发商Bohemia Interactive发布了一份虚假信息解释，读起来有点像广告：“虽然《武装突袭3》以如此逼真的方式模拟现代战争冲突让我们感到荣幸，但我们当然不高兴它被误认为是现实生活中的战斗画面。”(2004年，一家国防承包商修改了这款游戏，为美国军方创建了一个训练模拟器。)

自70年代以来，军方一直在尝试使用游戏作为训练工具，并且对计算机图形和战术模拟器的发展至关重要。随着游戏引擎变得越来越复杂，它们的警察和军事应用也越来越复杂。纽约警察局在高中和世贸中心一号楼的广场的游戏引擎模拟中进行了活跃射手演习，其中动画角色躺在地上流血。雷神公司使用游戏引擎模拟新军事技术的部署，包括自主无人机群和在密集城市中的无人地面车队。波音公司正在使用Unreal Engine创建其新型B-52轰炸机的虚拟模型。(这些模型也在Unreal Engine市场上有售。)在许多情况下，模拟器不太关注照片写实主义，而更关注物理、机械甚至声音写实主义。它们可以个性化，它们产生的数据可以用来定制个人的培训。为国防承包商Booz Allen Hamilton工作，专注于沉浸式技术的Munjeet Singh告诉我，该公司使用脑电图(EEG)监测飞行员对Unity中创建的飞行模拟器的情绪反应，在模拟器中，例如，他们的引擎故障或飞机被击中。“我们可以看到α脑波是否活跃，β脑波，然后我们可以将其与专注注意力、注意力漂移，有时是情绪状态相关联，”Singh说。那些因现实生活中的冲突而患有创伤后应激障碍(PTSD)的军人——他们可能在虚拟现实中接受过训练——现在也在虚拟现实中接受PTSD治疗。

位于德克萨斯海岸的一个小而低矮的半岛上的海军航空站Corpus Christi是一个军事基地。基地和墨西哥湾之间是野马岛，这是一个受欢迎的度假家庭目的地，他们参观“德克萨斯里维埃拉”是因为其经济实惠的公寓式酒店、海豚巡游、深海钓鱼之旅和从工业尺寸桶中舀出的颤抖的冰淇淋球。主要街道展示了各种建筑风格的参考：山形屋顶下的爱奥尼克柱；带有城堡塔楼和桶瓦屋顶的私人住宅。和美国其他许多沿海地区一样，汽车是卡车；草坪上放着摩托艇。当地的混合武术健身房被命名为“手边武器”。我在盛夏时节访问了这里，在一种仍被称为热浪的天气模式中，可能是一个世界历史的委婉说法。在我访问基地的那天早上，我站在贝斯特韦斯特酒店的大堂里，等待出租车并看电视。在天气频道，一位播音员站在一个由Unreal Engine设计出的虚拟场景中，谈论在炎热天气中被困在车辆中的危险性。他旁边是一个真人大小的轿车数字资产，车内看起来像是着火了。一个标有“灼热汽车量表”的刻度盘向右倾斜了四分之三。

在这个主要用于航空训练的基地上，人们安静而姿势良好地走来走去，他们的飞行服沙沙作响。训练建筑包含了各种模拟器。存在一个国家飞行员短缺，许多人提到他们很兴奋地引起对海军使用技术的关注，他们希望这将吸引新一代的数字原住民进入军事航空。(过去，军方在视频游戏大会上招募。)海军指挥官Joshua Calhoun带我来到一个虚拟现实雪橇，设计得像我在外面看到的某种双座螺旋桨飞机的小驾驶舱。我爬进去戴上了虚拟现实头戴设备。当我低头看向我的膝盖时，我的腿消失了。由Unity制作的模拟环境是基地外跑道的模型。“他们现在操作的地方——现役——今天，就是在这里的Corpus Christi，”Calhoun解释道。“我可能能创建一个他们正在伊拉克或阿富汗操作的场景，但那有什么训练价值呢？”虚拟的风、能见度和天气都可以调整，但对我来说那天是晴朗的——简单模式。

“我要把你放在海湾上空，”Calhoun说，并在模拟器中跳到了前面。“你可能想闭上眼睛。”几秒钟后，我发现自己独自一人在Nueces湾上空。下面的方式，以其方式奇妙，数学般移动。船只在水上漂流。那天在基地上，有人多次提到，生活在德克萨斯的一个好处是，开车上海滩是合法的。看到Corpus Christi被分解成资产，这很奇怪，因为使这座城市有趣的东西是上下文的：该地区的工业历史和气候变化；旅游、石油和天然气以及军事基础设施的共存；基地周围的按摩院。“我对地面细节不是很感兴趣，”Calhoun说。

我飞过一个Citgo工厂，思考着视频游戏行业和军队之间的纠缠，这种动态有时被称为军事娱乐综合体。游戏被重新用作军事训练工具；军事训练工具被重新用作游戏。后者之所以受欢迎，部分是因为它们具有一定的合法性：毕竟，该行业追求的是现实主义。在90年代的许多Doom修改版中，有一个名为Marine Doom的军事模拟器，旨在训练海军陆战队员在战术决策中；Doom的一个版本后来被用来训练以色列国防军使用的新型坦克中集成的人工智能系统。我听到Calhoun说了一些关于高度控制的事情，但我没有注意。我看不见森林，因为树木太多了——太分心于它们的多边形计数。

“你要撞到水里了，”他说。

在我和Sweeney聊天几周后，我和一个朋友在奥克兰山徒步旅行。一夜之间下过雨，空气凉爽而苔藓；小径上滑滑的泥泞。在之前的几天里，我参加了今年的游戏开发者大会，在会议中心的地下室里闲逛，看着人们在虚拟现实护目镜中跌跌撞撞，从Epic的两层楼的展位上吃下厚厚的巧克力碎片饼干。现在能在地上行走是一种解脱。我们慢慢地沿着小径的边缘走着，运动鞋寻找着抓地力。

在过去的十年中，Sweeney已经成为北卡罗来纳州最大的私人土地所有者之一，购买了数千英亩土地用于保护。土地保护对于一个从事沉浸式室内娱乐业务的人来说，似乎是一个有趣的项目——足够不协调，以至于我觉得有点感动。(在2007年的MTV纪录片中，Sweeney展示了他的石榴石收藏，其中一些是在eBay上购买的，还有他院子里的一棵“攀爬树”。)当我们交谈时，我问Sweeney，从事游戏工作是否让他以不同的方式看待自然。“自然场景往往是最难模拟的，”他说。“当你站在山顶上，望向远方，你看到的是数万亿片树叶的树木的效果。总体而言，它们并不像普通的固体物体那样行为。在一定距离上，树木变得有点透明。当你看到现实世界和计算机图形学在现实世界中落后的领域时，你往往会意识到我们还有很多工作要做。”他推测，一个高效、逼真的森林模拟将需要一个“地质模拟器”和一个“生态模拟器”，每个模拟器都有自己的复杂规则集。

在山丘上，我思考着要制作我们正在穿越的景观的数字版本需要什么：泥浆吞噬了黄色的叶子和脆弱的枝条；泥泞的水坑反射着阳光条纹；浮渣在溪流中的岩石上积聚；红杉树皮上的格子图案；林间空地边缘的排水管——提醒我们这个环境也是经过工程的。(我们分享了一个可食用的东西。)创建虚拟世界似乎需要对自然世界付出难以置信的关注：当我问Epic的首席物理工程师Michael Lentine模拟海啸需要什么时，他的回答以欧拉和拉格朗日物理学的概述开始。在游戏界，有一个概念叫做沉浸式破坏，当某物将玩家从叙事流程中拉出来时就会发生——可渗透的墙壁，角色漂浮而不是行走。植被很重要。

我和我的朋友谈到了大盆地，这是一个州立公园，拥有加利福尼亚州一些最古老的红杉树。几年前，它遭受了一场可怕的野火。我在火灾后不久参观了公园，发现它很令人沮丧。但现在这些树木正在努力生长。扫描有一种档案冲动，我觉得很吸引人，尽管我也想知道是否有焦虑。在我们这个物种正在破坏自然世界的同时，创造自然世界的虚拟复制品是否有些凄凉？Quixel的联合创始人Lind告诉我，他在2018年去马里布进行了一次扫描之旅。他的团队花了一周时间扫描圣莫尼卡山脉，捕捉了景观的纹理。两周后，Woolsey火灾烧毁了该地区近十万英亩的土地。“那实际上是相当感人的，”Lind说。“每次扫描探险，你都会对那个地方产生某种联系。”尽管如此，他们有扫描。今天，这些图像可以散布在游戏和电影中，成为真实事物的混乱拼贴。

我们到达了溪流的一个部分，那里被蕨类植物遮蔽着。水里形成了泡沫的丝带。我的朋友给了我他的棒球帽，帽顶仍然温暖。我们在下坡，不可避免地，开始下雨了。

本文译自 The New Yorker，由 BALI 编辑发布。

赞一个 (5)