欧易数字货币交易所 更快、更好、更强

当前位置:首页资讯详情

刚刚,AI颠覆物理模拟:一句话精准仿真,学术圈半壁江山联手耗时24个月研究成果

2024-12-20
181

AI视频生成这就过时了吗?

刚刚,最先进的生成式物理引擎Genesis发布,一句话就可以生成完整精确的模拟物理世界。

生成结果可不仅是一个视频,其中还包含物体运动的各种参数。

接下来可以分为三个视角,同时追踪模拟水滴的运动……

对于人物动作,也可以遵循提示词精确模拟。

这是一项涉及20多个组织,为期24个月的大规模合作研究:

学术界,有清华、北大、港大、CMU、马里兰、哥伦比亚、斯坦福、MIT……说是学术圈半壁江山都参与了也不为过。

产业界,也有英伟达、太极图形,以及MIT-IBM Watson AI Lab这样的联合实验室助阵。

OpenAI在2月初次演示Sora时,曾称它是“世界的模拟器”。

相比之下,Genesis不仅物理模拟更精确,还同时有更多能力:

一句话总结:Genesis是一个全面的物理模拟平台,专为通用机器人、具身AI和物理AI应用而设计。

共同一作、CMU博士生周衔详细介绍了Genesis的各种能力,迅速引起业界轰动。

其中大家格外关注的一点是生成速度。

它提供的模拟速度比现实世界快约430000倍,并且只需26秒即可在单个RTX4090上训练能转移到真实机器人的运动策略。

据周衔介绍,Genesis的物理引擎用纯Python代码开发,同时比现有的GPU加速堆栈(如英伟达Isaac Gym和开源的MJX)快10-80倍。

同时,速度的提高不会影响仿真精度。

目前,团队正在开源底层物理引擎和模拟平台,对生成式框架的访问将在不久的将来逐步推出。

不得不说,从一句话生成视频到一句话生成物理世界,2024年的进展实在是太快了。

生成4D物理世界

Genesis由从头开始的通用物理引擎提供支持,将各种物理求解器及其耦合集成到统一的框架中。该核心物理引擎通过上层运行的生成Agent框架进一步增强,旨在为机器人及其他领域实现完全自动化的数据生成,包括以下模态:

角色运动

关于角色运动,除了开头展示的猴子,作者还一口气放出了三个不同风格角色的运动场景。

机器人策略

除了角色的运动,Genesis还可以自主提出机器人任务、设计环境、编写奖励函数,并最终自动生成机器人策略。

同时支持Sim2Real,把在模拟环境训练好的策略转移到真实硬件机器人中。

很可惜还有一个人形机器人单脚跳跃只有模拟演示,因为团队的机器人坏掉了……

另外除了机器人,无人机编队也可以模拟,并呈现出正确的数量关系。

3D & 全互动场景生成

开放世界铰接式物体

生成开放世界铰接式物体的mesh资产,质量超越了人工注释,更多详细信息将随之后的论文一起公开。

软体机器人

不只是各种刚性物体,Genesis针对软性的机器人也能够实现逼真的模拟。

面部动画和语音

Genesis还能够处理面部动作和表情的生成:

同时还能向其中添加语音,并在面部表情不断变化的同时,保持口型与说话内容的匹配:

代码已开源,pip install

目前Genesis代码已开源,可以直接pip install genesis-world安装。

开源代码发布仅几个小时,也迅速在GitHub上揽获1.6k star。

当前版本具体特性如下

此外,Genesis相关论文已进入提交阶段,将于稍后公开。

目前更多细节可参考官方文档。

免责声明:数字资产交易涉及重大风险,本资料不应作为投资决策依据,亦不应被解释为从事投资交易的建议。请确保充分了解所涉及的风险并谨慎投资。本站仅提供信息参考,不构成任何投资建议,用户一切投资行为与本站无关。