11月4日,启元具身研究中心发布世界模型仿真器PrimeSim。该产品基于预训练视频生成模型,经过中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力,可面向机器人操纵任务开展策略训练。相关权重、推理代码与训练代码将于11月6日开源。
仿真环境是机器人控制策略训练的重要基础,但依靠人工搭建仿真场景,难以支撑大规模落地。据启元具身研究中心介绍,理想的机器人仿真器需同时满足并行调度上万条轨迹、场景精确重置且无硬件损耗、减少跨场景工程定制、缩小与现实环境差距等要求。团队认为,仅依靠视频生成模型实现 "视觉逼真" 尚不充分,作为仿真底座,还需严格服从策略输出的动作指令、保持多相机视角间的几何与语义一致,并在远长于训练上下文窗口的时间跨度内维持状态连贯。
在权威基准评测中,PrimeSim表现突出。在EWMBench 基准上,该仿真器以6.09的综合得分位列榜首,分项指标HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。在基于LIBERO设计的WorldSimProbe五项评测中,PrimeSim 在全局轨迹覆盖(67.9)、动作来源行为保持(72.3)、交互动态(37.1)三项维度登顶。
不少机器人 AI 模型只能生成静态视频,而PrimeSim的目标,是打造一个能实时交互、持续推演的数字世界模拟器。
研发团队采用分阶段的训练思路,把原本只能生成视频的模型,改造成可以跟着指令持续 “推演未来” 的世界模型。训练阶段,研究团队用上了累计超3万小时的机器人实操数据,素材覆盖人形、双臂、单臂等22 种不同类型机器人,其中超过八成来自真实世界采集,人形机器人数据占比过半。依靠一套统一的动作表达方案,模型能够看懂不同机器人的动作,实现跨机型兼容。在后续调优阶段,模型依靠时序记忆等机制,就算推演时间变长,画面和动作也不容易跑偏。
测试结果显示,在单张A100 显卡上,经过优化之后,PrimeSim只需要 4步运算就能生成画面,推理速度从原先的1.12帧每秒提升到10.04帧每秒,提速近9倍。
更关键的是,这个AI仿真环境和传统物理仿真平台的结果高度贴合。研究人员选取8套机器人控制策略做对照测试,在相同初始条件下,PrimeSim和经典仿真器的任务成功率相关性高达0.99,误差很小。团队还在这个AI模拟器里直接训练机器人策略,训练出来的模型放到传统仿真环境里,任务成功率提升11.5%,说明在这里学到的经验,可以顺利迁移到常规仿真平台。
跨机型适配的能力也很突出。面对之前没充分学习过的机械臂、夹爪设备,只需要少量数据微调就能上手。哪怕是训练数据里没有的 AgileX Piper机器人,经过简短微调,也能顺畅完成布料形变这类精细任务,不同视角下的画面表现保持一致。在同样硬件条件下,它的吞吐效率,达到同类主流世界模型仿真方案的数倍。
启元具身研究中心表示,此次发布验证了通过 "中训练 + 后训练" 渐进式流水线将通用视频生成模型改造为机器人世界模型仿真器的可行性,相关成果兼顾动作保真度、长时序推演能力与工程实用性,为机器人控制策略训练的规模化提供了新路径。
来源:新民晚报 作者:叶薇











