索尼的高仿真模拟赛车游戏Gran Turismo，AI成为第一高手

索尼的Gran Turismo是有史以来销量最好的赛车游戏之一，全球卖出了超过8000万份。但最强的玩家已非人类。

一项新的突破，索尼人工智能(该公司的AI 研究部门)领导的团队，开发了一种完全由机器学习驱动的AI玩家，不仅能够学习和参与游戏，而且能够超越世界上最优秀的人类玩家。

名为 Gran Turismo Sophy 的 AI 代理使用深度强化学习来练习游戏(Gran Turismo Sport 版)，一次控制多达 20 辆车，以加速数据迭代并改进自身。

在仅仅几个小时学习了如何控制游戏的物理特性之后——掌握了如何同时应用速度和制动以最好地保持在赛道上——在参考数据集中，人工智能的速度超过了95%的人类玩家。

为了胜过最后讨厌的5%，GT Sophy 加倍努力。

“它又训练了9天或更长时间——累计超过 45000 个驾驶小时——把纪录缩短了十分之一秒，直到它的单圈时间已无法改善。”该团队在论文中解释道。

“通过这种训练程序，GT Sophy 在所有三个赛道上都取得了超人的计时赛表现……平均单圈时间大约等于人类单圈记录的最佳单圈时间。”

这远不是我们第一次看到人工智能在游戏中胜过人类玩家。雅达利游戏、国际象棋、星际争霸、扑克和围棋可能都是由人手设计的，但人不再是最擅长他们的玩家。

当然，这些游戏要么都是以策略为导向的游戏，要么在游戏玩法上相对简单(以 Atari 游戏为例)。 Gran Turismo - 不仅被其粉丝称赞为视觉效果惊人，而且作为逼真的驾驶模拟器，是不同的野兽。

研究人员写道：“人工智能的许多潜在应用涉及在与人类互动的同时在物理系统中做出实时决策。汽车比赛是一个极端例子；车手必须执行复杂的战术动作以超越或阻挡对手，同时在其牵引力限制下驾驶车辆。”

然而，对于 GT Sophy 的测试，挑战不仅仅是掌握游戏的战术和牵引力。人工智能还必须在赛车礼仪方面表现出色——学习如何在体育精神的原则范围内战胜对手，尊重其他汽车的行驶路线并避免过失碰撞。

最终，事实证明这一切都不是问题。在 2021 年举办的一系列赛车赛事中，AI 与一些世界上最优秀的 Gran Turismo 选手进行了较量，其中包括三冠王宫园琢磨。

在 7 月的一场比赛中，人工智能在计时赛中击败了人类选手，但在正面交锋中并未获胜。经过研究人员的一些优化，该代理学会了如何进一步提高其性能，并在 10 月份轻松复仇。

尽管取得了所有成就，GT Sophy 的发明者承认人工智能在许多领域仍有待改进，特别是在战略决策方面。

即便如此，在有史以来最先进的赛车游戏之一中，它已经是一个比我们最好的车手还要好的车手。

研究人员总结说：“模拟赛车是一个需要在具有高度逼真、复杂物理的环境中进行实时、连续控制的领域。”

“GT Sophy 在这种环境中的成功首次表明，可以在各种汽车和赛道类型上训练出比顶级人类赛车手更好的 AI 代理。”

研究结果发表在《自然》杂志上。

https://www.sciencealert.com/ai-breakthrough-means-the-world-s-best-gran-turismo-driver-is-not-human