新浪新闻客户端

物理AI与具身智能专家

物理AI与具身智能专家
2026年10月22日 18:49 新浪网 作者
avatar
行业动态

  (来源:纪要研报地)

  Q: OpenAI的Astra模型在机器人实验测评中的具身智能水平如何评价?与之前模型相比提升水平如何?目前具体模型的单任务成功率与耗时情况如何?

  A: 测评结果显示,GPT-6直接控制双臂夹爪操作50个实例的成功率约26%,平均得分37.81分;单臂控制50个任务成功率98%;灵巧手10个任务平均得分16.6分,复杂手机操作成功率1%至3%;移动操作导航到点位成功率33.3%,视觉导航跟随成功率92%。采用GPT-6做大脑拆解任务、Pi 0或Pi 0.5做底座策略模型的混合控制时,双臂成功率提升至48%,平均得分62.6分,单臂成功率99.2%,灵巧手得分61.6分,复杂手机操作成功率达76.9%,但视觉导航成功率降至72%。推理耗时方面,GPT-6直接调用平均单次任务约39.86秒,50个任务消耗11.3亿token,花费近10000元人民币;而本地Pi 0.5模型推理时间约7毫秒且无按次费用,实时性相差近3个量级。整体而言,单用GPT-6做双臂操作成功率下降较多,建议采用大模型做上层调用、底层使用策略模型的复合调用方式。

  Q: Astra模型的具身智能能力比之前的大模型强很多,主要是依靠算力、数据,还是训练或架构的优化?

  A: 核心原因并非架构优化,而是在语言、视觉、理解、推理和任务方面,(各行业纪要加v:teer987)输入的信息和数据操作量有很大提升,包括图像、语言以及预训练过程中的大量结构化数据。这种参数量的提升让模型具备了较强的开放词汇理解能力、指令解析能力和任务拆解能力,最大的提升在于参数量的增加。

  Q: 在测试中GPT大模型与VLA模型各自发挥什么作用?AI具体如何与VLA模型协同操作机器人?

  A: GPT大模型可用于汇总技能名称、对象ID、目标位置ID等约束条件,输出执行指令、任务目标、验证目标相关的几何状态或可用技能参数,通过API处理具有很大优势。在协同操作时,通过API接口链接处理所有任务后调用Pi 0.5,将Pi 0.5主干权重中偏推理和视觉理解的部分冻结,仅使用其技能策略部分,通过接口将上层AI输出的级别信息和任务目标信息传递给Pi 0.5进行动作执行,从而实现相互调用。

  Q: 随着通用模型能力越来越强,未来是否不再需要针对专门任务进行专门训练,从而实现通用大模型在不同机器人机型上的任务通用?

  A: 通用大模型在通用认知理解能力上的稀缺性未来会降低,随着数据量和参数量增加,其指令理解、任务拆解等能力会越来越强,甚至可单独作为基础能力模块开放给具身模型厂商使用。但接入通用模型后,任务成功率和推理token消耗仍需优化,否则任务理解成本很高。VLA未来可能越来越向小脑方向发展,视觉语言到动作的映射可通过通用大模型完成,VLA则专门用作策略模型以优化特定场景和动作。此外,世界模型未来将更看重动作执行后的接触、支撑、物体变化及下一步策略执行,而非简单的视频生成预测,对其能力要求会越来越高。

  Q: VLA模型未来是否会根据不同的动作和任务做得更加细分?

  A: 是的,可以把VLA模型当成一个更偏向策略的策略模型来看待,类似于小脑模型。

  Q: VLA模型与现在的运动控制会慢慢融合吗?

  A: 运动控制未来更多会传导至全身运控协调,两者的融合可能不会那么快,仍会保留单独的运控小模型。未来的运动小模型将更强调上肢和下肢的协调以及全身动作的顺畅度。

  Q: 真机遥操、真人穿戴数采设备、仿真等具身智能训练数据各自的优势和局限是什么?

  A: Ego视角视频数据通过头戴设备采集视频和手部动作,核心是视频时间和任务语义,无几何或动作标签,用于视觉表征、任务理解和时序关系学习,预训练时使用可提升感知能力。外部穿戴设备采集的数据包含三维声音、移动轨迹、相机轨迹、手腕手指轨迹、物体三维状态和置信度,能让模型理解空间关系和动作映射,学会跨本体学习。UMI数据通过带夹爪设备记录工具轨迹、夹爪开合度及视觉标定信息,用于末端执行器训练和动作监督。真机遥操数据主要用于微调、算法适配或因果数据生成模型的调试修正。仿真数据用于补充难以模拟和采集的场景。此外,真实场景部署后的回流数据也可用于适配模型。

  Q: 训练具身智能对哪个环节的数据需求量较大?各类数据的占比排序如何?

  A: 预训练环节的数据量消耗最大。若使用VLA作为基座模型,后训练多使用UMI或外部穿戴设备数据。在预训练过程中,Ego数据至少占30%左右以提升理解和感知能力;一步增强数据占10%至20%;仿真数据占近20%用于补充场景;剩余部分视情况使用真机数据,如强调手部操作多用真机数据,强调全身协调则增加相应数据,整体呈数据金字塔形式。中后线训练更多使用真机数据、仿真轨迹和UMI数据。若是世界模型,Ego、增强、仿真或真机数据占比各约20%较为协调。

  Q: 训练数据占比是指数据量还是价值量?

  A: 指的是数据量,例如训练一个1B参数的VLA模型可能需要10万小时的数据。在价值量方面,每种数据都有其价值,不存在价值高低之分。

  Q: 如果模型要增加任务覆盖范围或覆盖更多场景,需要增加多少训练数据量?

  A: 以包含整理桌子、打扫卫生等任务的办公室场景为例,若要实现较好的覆盖,基本需要7万到8万小时的训练数据,要求更高则需10万小时以上,平均在七八万小时左右,这是整个场景所需的总训练数据量。

  Q: 大模型公司、机器人本体厂商和自动驾驶公司在具身智能竞争中的各自优势和劣势是什么?

  A: 大模型公司的优势在于通用大模型能力,包括语义推理、指令理解、任务拆解、工具调用、物理可行性与坐标精度分析,以及强化学习中的奖励函数建模和策略优化,同时在分布式训练、数据处理、模型扩展、推理优化和通过视频扩充场景方面经验丰富。其劣势在于具身方面的动作标签不一致、多模态同步和训练目标需要弥补,且扩充数据在真实接触和灵巧操作上存在差距。对行业的影响是,大模型公司在任务规划和语义理解等上层能力的优势将越来越大,未来可能为具身模型公司赋能。机器人本体厂商未来将更看重模型与硬件的适配度、场景落地效果、稀缺数据获取、真实物理交互的任务成功率及部署效率,面临的压力会越来越大。

  Q: 在2028年至2030年前,随着通用模型能力提升,人形机器人在商业化落地方面的节奏和预期如何?

  A: 到2028至2029年,商业零售领域如线下药房的理货、拣货和订单处理将看到越来越多机器人应用。工业方面,未来1至2年偏搬运、分拣和检测的场景会被快速覆盖;高价值的复杂或精细化操作将循序渐进,先覆盖简单场景,再推进工具使用和复杂锁链操作。到2028至2029年,工作步骤在十几个以内且不复杂的工厂场景会优先被机器人替换,而复杂的工具使用、焊接、点胶等场景可能要到56年之后才能覆盖,医疗康养和家庭场景的落地则会更晚。

  Q: GPT-6模型与其他大模型在结合VLA后的胜率表现有什么区别?是否测试过其他大模型?

  A: 测试了GPT-6加Pi 0.5以及DeepSeek加Pi 0.5的组合,GPT-6的成功率至少在20%以上,而另一模型的成功率可能不到1%。未尝试其他开源或独立模型,因为Pi 0.5在业内已属于较顶级的通用VLA模型。

  Q: GPT-6与Pi 0.5结合后的胜率提升,是否极大改变了机器人模型能力,实现了智能化上台阶?

  A: 目前尚未达到非常大的提升程度,更多体现在偏实用性场景。结论是通用大模型不会整体取代现有模型,而是形成分层趋势:通用大模型未来在任务规划、周边诊断等方面能力突出,作为慢思考的大脑进行调用;而在高频控制、接触协调和动态平衡方面,仍以VLA作为快执行的小脑为主。目前使用GPT-6结合VLA处理复杂场景任务并不划算,因为token消耗非常大,尚未应用于复杂的多层次场景。

  Q: 业内在机器人仿真或其他训练数据收集方式上是否有突破性进展?

  A: 目前业内数据采集基本仍维持4至5种方式。虽有公司尝试使用基建手环采集数据并通过模型模拟力信息,但仍处于非常早期的阶段。主流方式依然是使用采集设备进行数据采集,以及通过优化模拟器和求解器来降低仿真数据与真实数据的差距,尚未出现新的数据模态突破。

  Q: 随着模型能力提升带来任务完成能力的提高,对机器人硬件如灵巧手、零部件发热和稳定性等方面有什么更高要求?

  A: 未来将越来越看重硬件的使用寿命和精度,如电机的绝对定位精度。在使用灵巧手进行复杂精细操作时,对硬件精度特别是手指偏差和走路偏差的要求会越来越高,否则精细化任务的成功率不佳。此外,随着模型能力提升,电机的接口参数和性能参数需要开放并输入给模型,但这在当前仍较难实现。未来整个硬件的技术架构可能会越来越统一和标准化。

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有