启元机器人新进展：北大董豪团队推出 HIL-UMI，让后训练摆脱「真机依赖」

继无本体之后，具身后训练范式有了新进展。 作者丨 齐铖湧 编辑丨岑 峰 最近，具身行业讨论“无本体进行后训练的可能性”的热度很高。国内外目前还没有团队做出可行方案。 说白了，无论是大模型还是具身机器人，想真正好用，光靠预训练打基础可不行，最终落地全靠“后训练”来调教。启元机器人首席科学家董豪告诉AI科技评论：“预训练提升的是下限，上限还得看后训练。” 当前具身公司追求进厂打工、家庭保洁等真实落地，比的就是成功率，也就是在比拼后训练的实力。 可后训练，难就难在它得跟真实物理世界打交道，过去都得用纯真机数据。 但真机训练成本太高，要大规模铺开，那么多的机器人本体，硬件磨损、场地、人工都是天价。所以，行业内预训练已经开始转向用“无本体”设备采集数据，虽然量上去了，但传统后训练最关键的“纠错”环节却没法搞定。 为了解决这个行业难题，北大和启元机器人董豪团队推出了HIL-UMI。 这个工作，围绕着具身后训练阶段无本体的前提下，围绕着最关键的“纠错”环节展开。 论文地址：https://arxiv.org/pdf/2609.20659 项目主页：https://hil-umi.github.io 01 具身后训练的成本， 为何远超大模型RLHF？ 跟大模型比起来，具身行业的后训练太贵，是很多具身模型无法尝试Scaling的重要原因。 大语言模型能变得这么好用，大家心里都清楚：不光是预训练数据量大，更关键的是后面有RLHF（人类反馈强化学习，可以简单理解为数据标注）和DPO这些“后训练”的功劳。 但具身机器人的后训练，成本可比大模型的RLHF高出不止百倍。大模型做RLHF，无非是请更多人坐在电脑前点点选选；可具身机器人，那就得真刀真枪地跟物理世界打交道。 拿传统上最常用的DAgger，也就是用人类或者算法作为专家评价后训练的模式，这套流程虽然有效，但又贵又慢。 比较常见的，是以传统的真机人在回路（也就是 HG-DAgger：Human-Gated DAgger），机械臂在运作，人类操作员坐在旁边高度紧张地盯着，等它快抓空、快撞车的时候紧急接管，把正确的轨迹录下来，这就是人类来把关整个训练回路。 最麻烦的是，每次校正完，还得人工把被碰乱的现场恢复原样。等机器人执行，人工干预，环境复位，一坐一下午，能用的数据不多。 这其中绝大部分时间，都耗在机器人的笨拙动作和人工环境复位上。 这种又慢又烧钱的模式，让后训练数据规模采集成了个老大难，严重限制了规模化。 这就引出了一个核心问题：我们能不能摆脱真机，就像平时做家务一样，顺手就把模型最需要的“纠错”数据给采集了？ 02 HIL-UMI 的底层逻辑： 给UMI 采集加了一个“模型大脑” HIL-UMI 的做法非常聪明，概括起来就是一句话：“不用机器人，也能给机器人补课。” HIL-UMI ，指的是Human-In-the-Loop（人