@ 2024.12.26 , 07:02
2

新物理模拟系统将机器人训练速度提升43万倍

Genesis模拟系统加速机器人训练,十年经验化为一小时,为机器人开发开启新纪元。

"Genesis"通过3D文本生成世界,将训练时间从数十年压缩至数小时。

周四,来自多所大学和私营企业的研究团队发布了Genesis——一个全新的开源计算机模拟系统。该系统能让机器人在虚拟现实中进行任务训练,其速度是现实世界的43万倍。研究团队还计划引入一个AI代理,通过文本生成3D物理模拟。

这种加速模拟意味着,一个用于控制机器人的神经网络可以在数小时的计算时间内获得相当于数十年的虚拟学习经验,比如学习拾取物体、行走或操作工具。

Genesis论文的共同作者Jim Fan在X上写道:“一小时的计算时间相当于10年的训练经验。这就像《黑客帝国》中Neo瞬间学会武术。”Fan表示,他在此研究中仅发挥了“小作用”,但曾参与Nvidia的多个机器人模拟项目。

Genesis的诞生正值机器人研究人员寻找更高效的工具,以在虚拟环境中测试和训练机器人,然后再将其部署到现实中。快速且精准的模拟有助于机器人快速掌握复杂任务,同时减少昂贵的物理测试需求。例如,在项目页面中,研究人员展示了Genesis中开发的物理模拟技术(如后空翻)如何应用于四足机器人和软体机器人。

新物理模拟系统将机器人训练速度提升43万倍

技术突破与核心优势

Genesis平台由卡内基梅隆大学Zhou Xian团队主导开发,其物理计算速度比现有机器人模拟器(如Nvidia的Isaac Gym)快80倍。它使用与电子游戏类似的显卡,同时运行多达10万个模拟副本。这一特点对训练控制未来机器人神经网络至关重要。

Fan在X上写道:“如果一个AI能在10亿次模拟中控制1000个机器人完成100万个技能,那么在现实世界中,AI也许能‘直接奏效’。现实只是无穷可能中的一个点。这是模拟对机器人技术如此有效的根本原理。”

生成动态世界

团队宣布,他们正在开发一种生成“4D动态世界”的能力。这里的“4D”指模拟一个随时间动态变化的3D世界。系统计划利用视觉-语言模型(VLMs)从文本描述中生成完整的虚拟环境,通过Genesis的模拟API创建这些世界。

生成的AI世界将包括真实的物理特性、摄像机运动和物体行为,完全基于文本指令。系统随后生成物理精确的光线追踪视频和数据,供机器人训练使用。目前,这些功能尚未经过测试,因此相关主张仍需审慎看待。

这种基于提示的系统可能让研究人员通过自然语言命令创建复杂的机器人测试环境,而无需手动编程。Fan写道:“传统模拟器需要艺术家投入大量手动工作,比如3D素材、纹理和场景布局等。但在Genesis中,每个工作流组件都可以自动化。”

Genesis引擎还可生成角色动作、交互式3D场景和面部动画等,未来可能用于创造更真实的AI生成游戏和视频,通过数据建构虚拟世界,而不是依赖统计像素的外观。

开源未来

目前,Genesis仍在GitHub上积极开发,团队接受社区贡献。

Genesis以Python为核心,不同于其他机器人训练3D模拟器,它将用户界面与物理引擎均基于Python开发,而非传统的C++或CUDA。这种Python优先的方法让任何研究人员都可以通过普通电脑和现成硬件,免费利用高速机器人训练模拟。

Fan在宣布Genesis时表示,以前运行机器人模拟需要复杂编程和专用硬件,而这不应该成为障碍。“机器人技术应该是全人类的共同目标,”他说道。

本文译自 Ars Technica,由 BALI 编辑发布。

赞一个 (2)