NVIDIA发布GR00T 2与Isaac Lab 3.0推进机器人精细操作训练
Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation
NVIDIA在CoRL大会上发布GR00T 2世界动作模型、Isaac Lab 3.0仿真框架及开放基准,联合多家合作伙伴推动机器人从运动控制转向精细操作训练。GR00T 2基于Cosmos构建,仅需少量演示即可实现技能迁移与泛化,Isaac Lab 3.0集成Newton物理引擎支持可变形物体仿真,训练吞吐量提升2.5倍。
深度解读
NVIDIA在CoRL 2026上发布GR00T 2世界动作模型、Isaac Lab 3.0仿真框架和一批开放基准,核心判断是:机器人训练的瓶颈正从“能不能动”转向“能不能精细地动”,而仿真环境中的物理精度——尤其是可变形物体和多关节灵巧手的建模能力——正在成为决定机器人能否从实验室走向产线的关键变量。
locomotion(运动)的仿真问题基本被解决了,manipulation(操作)的仿真问题才刚刚开始。
GR00T 2:用10万小时人类视频撬开灵巧操作的门
GR00T 2建立在NVIDIA Cosmos之上,训练数据里包含10万小时的NVIDIA开源人类第一人称视频数据。这个数字值得拆开看:它不是机器人遥操作数据,不是仿真合成数据,而是人类自己戴着头显或举着相机干活时拍下来的视频。这意味着NVIDIA在赌一个判断——人类手部操作的视觉先验,比机器人本体采集的数据更有规模化潜力。
具体性能指标上,GR00T 2在50个评测任务中,零样本条件下完成了40个任务至少一次,不需要任何任务特定的演示。更关键的是少样本泛化曲线:每个任务只给1次演示,平均成功率71%;给到5次演示,跳到95%。这条曲线比绝对数字更有信息量——它说明模型的先验足够强,强到少量微调就能对齐新任务,这正是“基础模型”逻辑在机器人领域的复现。
技能迁移是另一个被低估的能力:GR00T 2能从人类演示中学习,并把技能迁移到不同机器人本体上,不需要目标本体的机器人演示数据。这直接回应了行业里一个长期痛点——每换一款机械臂或灵巧手就要重新采一遍数据。如果这条路走通,硬件迭代的成本结构会被改写。
在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces四个基准上,GR00T 2目前在所有VLA(视觉语言动作)和世界动作模型类别中排名前三,并有多个榜单第一。落地侧已经出现具体名字:Nexuni测试机器人叠洗衣物,富士康把GR00T 2用于服务器制造产线自动化,西门子在评估工业场景,MicroAGI用强化学习后训练GR00T 2,配合YAM机械臂做以太网线缆插拔——这是一个典型的毫米级容差任务,线缆是柔性物体,插口位置需要视觉闭环,传统示教编程几乎无法覆盖。
Isaac Lab 3.0与Newton:把“草莓被捏变形”算清楚
如果说GR00T 2解决的是“学什么”,Isaac Lab 3.0解决的是“在哪练”。这个开源机器人学习框架的3.0版本做了几件结构性的事:支持用AI agent快速搭建训练环境并加载仿真就绪资产;允许在NVIDIA PhysX和Newton两个物理求解器之间切换;可选不同渲染器做基于感知的训练;新增面向GR00T这类基础模型的强化学习后训练库。
但真正决定成败的是物理精度。Isaac Lab 3.0与开源物理引擎Newton的集成加深后,能建模可变形物体——线缆、布料——以及多关节交互的复杂铰接系统,比如多指灵巧手。NVIDIA放出的演示里有一个草莓被机器人夹持变形的片段,这个细节不是炫技:柔性物体在抓取过程中的形变如果仿真不准,sim-to-real的迁移就会系统性失败,而线缆插拔、布料折叠、食品处理这些高价值任务全都踩在这个坑上。
吞吐量数据同样关键:在基于视觉的灵巧操作基准中,Isaac Lab 3.0加Newton达到Isaac Lab 2.3加PhysX的2.5倍训练吞吐。配合并行仿真,研究者可以同时训练数千个仿真机器人。所以呢?这意味着强化学习的样本效率问题在工程层面被部分绕过了——不是算法更聪明,而是单位时间内能试错更多次。
生态已经开始分层。Skild AI发布STEEL,一个建在Newton之上的刚体物理求解器,专门为Isaac Lab加速训练;Flexion用Isaac Lab和Newton训练其Reflect模型,把推理和全身操作合在一起;FieldAI用Newton加Isaac Lab、Isaac Sim在非结构化真实环境中训练和验证策略;Dyna Robotics演示并行仿真训练半人形机器人Taku的全身控制器,瞄准仓库、酒店和餐饮;Walden Robotics用Isaac Sim的光追渲染做虚实评估;Dexmate在探索让编码agent在Isaac Sim里预演和优化操作策略,再放到Vega机器人上执行。
AlphaNIST:一个策略通吃20个毫米级装配任务
AlphaNIST是这次最值得单独拎出来看的成果,因为它把“练习造就精确”这句话量化了。它在Isaac Lab中构建,单一策略学习NIST装配任务板上的全部20个任务,操作毫米级零件,而且只依赖是/否的二值成功信号——不需要稠密奖励塑形,不需要每个任务单独设计奖励函数。
结果对比很刺眼:训练成功率超过98%,而基线是81%。原文在这里被截断,但17个百分点的差距已经足够说明问题。NIST装配任务板是工业界公认的精细操作评测标准,20个任务覆盖插销、对位、齿轮啮合等典型工序。一个策略通吃,意味着任务间的技能共享被模型捕捉到了,而不是每个任务各训一个专家网络。这对产线换型的意义是直接的:换产品不需要重新训练一整套策略。
数据管线的两条暗线:Video to Data与EgoHand
GR00T 2的强大先验背后,NVIDIA同时在铺数据生产的基础设施。Video to Data工作流把人类视频转成仿真机器人演示,并设了一个挑战赛邀请研究者改进它——这是典型的NVIDIA打法,用开放挑战把社区变成数据管线的共同开发者。
EgoHand开源模型在CoRL现场演示,发布两周Hugging Face下载量超过4万,功能是从视频中重建3D手部运动,训练数据来自Noitom Robotics。这个模型的战略位置很清楚:人类第一人称视频是GR00T 2的燃料,而EgoHand是把原始视频提炼成手部运动标注的炼油厂。没有它,10万小时视频只是像素;有了它,才变成可训练的动作监督信号。
两篇最佳论文入围背后的方向信号
CoRL从数千篇投稿中选出6篇最佳论文入围,NVIDIA占了两篇。GRAIL做的是从世界模型生成人形机器人locomotion-manipulation的3D资产和仿真就绪场景——本质是用生成式方法解决仿真环境搭建的人力瓶颈。RoboTTT提出把机器人策略的视觉运动上下文扩展三个数量级而不增加推理延迟的训练配方。三个数量级是1000倍,这个跨度如果成立,意味着策略可以利用远更长的历史信息做决策,对长程多步任务——比如一整套装配流程——是结构性利好。
所以呢:仿真精度正在变成机器人公司的竞争壁垒
把这次发布放在一起看,NVIDIA的布局逻辑是三层:底层是Newton物理引擎解决“仿真够不够真”,中间是Isaac Lab 3.0解决“训练够不够快、够不够大规模”,上层是GR00T 2解决“技能够不够通用”。三层之间用开放基准和开源模型串起来,把UC Berkeley、华盛顿大学、Bosch Research、Siemens、富士康这些名字绑进同一个生态。
对从业者的实际含义有三条。第一,柔性物体仿真能力会快速成为分水岭——能仿真线缆和布料的团队,才能碰插拔、布线、折叠这些占制造业工时大头但自动化率极低的任务。第二,人类视频数据的价值被重新定价,EgoHand这类工具链的成熟度直接决定谁能把视频转成训练资产。第三,基准榜单的权重在上升,GR00T 2在四个基准上的排名和AlphaNIST在NIST任务板上的98%对81%,都是可复现、可比较的硬指标,采购方和投资方会拿这些数字做筛选。
机器人行业的“练习”正在从物理世界搬到仿真世界,而搬家的搬运费,由物理精度和吞吐量共同定价。
