强化学习如何真正进入具身智能：从仿真奖励到安全真机闭环

强化学习经常被描述为具身智能的“关键引擎”：机器人通过试错自己找到动作策略。这个说法在仿真里很成立，到了真机却会遇到四个残酷约束：机器人会磨损，失败会伤人或损坏工件，环境重置需要人工，奖励也很难自动判断。

因此，问题不是“要不要强化学习”，而是什么问题值得用强化学习，怎样把试错限制在可承受的边界内。

强化学习最适合解决什么

机器人任务大致可以分为三类：

• 规则清楚、动力学稳定，例如固定轨迹搬运，传统规划与控制更可靠。
• 数据充足、动作模式明确，例如桌面抓取，可先用模仿学习获得基础策略。
• 接触复杂、误差累积、难以手写策略，例如插接、柔性物体操作、双臂协同和跌倒恢复，强化学习更有优势。

强化学习真正擅长的是第三类：结果可以定义，但过程难以穷举。它可以在摩擦变化、部件偏差和观测噪声下优化动作，却不意味着应该让机器人从随机动作开始探索。

工业系统最实用的组合往往是：经典控制保证底线，模仿学习提供起点，强化学习优化边角，人工干预处理高风险状态。

真机训练为什么比模型训练昂贵

一条训练样本的成本远不只是机器人运行的几秒钟。更完整的单回合成本可以写成：

单回合成本
= 执行时间 + 场景重置 + 人工看护
  + 工件损耗 + 设备折旧 + 风险准备

如果机器人尝试 20 秒、人工重置 90 秒，训练瓶颈就不是算力，而是重置。若失败会夹坏产品或撞击夹具，探索空间还必须被大幅压缩。

这解释了为什么“在真机上跑一百万回合”通常不是商业方案。团队必须提高每一次真机交互的信息密度。

一条更现实的六阶段路线

阶段一：用少量示范建立行为先验

先通过遥操作、示教器或拖动示教收集成功轨迹，让策略学会基本动作分布。示范不必覆盖所有异常，但要避免随机策略在危险区域盲目探索。

同时收集失败和中止样本。只记录成功动作，会让奖励模型不知道“看起来接近、实际已经卡住”的状态。

阶段二：在仿真中扩大状态覆盖

仿真适合并行试验和系统性扰动：改变光照、摩擦、物体质量、相机位姿、关节延迟和工件公差，让策略见到长尾组合。

但域随机化不是越多越好。随机范围过宽，策略会为了适应不真实世界而变得保守；范围过窄，又无法覆盖现场。正确做法是用真机日志反向标定仿真分布，让随机化围绕真实误差展开。

阶段三：训练可验证的奖励

“把零件装好”往往不是一个容易读取的传感器值。奖励可以来自位置阈值、力矩曲线、视觉成功分类器、工艺检测或多信号组合。

一个实用奖励通常包含：

总奖励 = 任务进展 + 最终成功
       - 碰撞惩罚 - 超力惩罚
       - 时间惩罚 - 不可恢复状态惩罚

奖励必须与生产验收一致。如果奖励只鼓励“快速接近”，机器人可能学会猛烈碰撞；如果只看最终视觉位置，可能忽略插入过程中的刮伤。

阶段四：人在回路，而不是人一直遥控

人在回路的价值不是替机器人完成任务，而是在少数关键状态阻止坏动作，并提供“从这里如何恢复”的高价值样本。

训练早期干预较多，随着策略稳定逐步减少。每次干预要记录触发原因、接管前状态、修正动作和接管后结果。这样一条数据同时提供安全边界、反例和恢复示范。

阶段五：安全护栏与残差学习

学习策略不应拥有无限动作空间。可在外层设置关节、速度、工作区、力矩和碰撞约束；把成熟控制器作为基础策略，只让强化学习输出小幅残差。

例如精密插接中，传统阻抗控制器负责稳定接触，学习策略只调整搜索方向、姿态和接触力。这样既保留可解释底座，又利用学习处理复杂误差。

阶段六：逐级放量和持续回归

新策略先在离线日志与仿真测试，再进入空载真机、标准工件、受控工位、影子运行和小流量生产。每次升级都要保留旧策略、回滚条件和版本化评测集。

机器人策略不是一次训练完成的文件，而是和固件一样需要变更治理的生产资产。

离线强化学习、在线强化学习如何选择

不存在一种方法覆盖全部阶段。真正有效的是课程式组合：先把策略带到“基本会”，再把有限的真机预算花在模型最不确定、业务最重要的状态上。

评测不能只看平均成功率

真机强化学习至少要跟踪：

• 首次成功率和连续成功率。
• 达到目标成功率所需的真机小时数。
• 每百回合的人工干预次数和时长。
• 超力、碰撞、急停和设备异常次数。
• 单次任务周期、方差与第 95 百分位耗时。
• 换批次、换工件、换光照后的性能下降。
• 新策略相对旧策略的回归项。

平均成功率 95% 并不等于可上线。如果剩余 5% 都会损坏高价值工件，系统仍不可接受；如果失败能被自动发现并安全退出，商业价值则完全不同。

强化学习的产业价值在哪里

它不会首先取代已经运行稳定的固定自动化，而会填补两类空白：一类是传统规则难以处理、但任务量足够大的接触型工艺；另一类是环境变化频繁、人工调参成本持续升高的柔性任务。

真正的门槛也不是算法名称，而是有没有自动重置、结果检测、数据记录、安全边界和小流量试验机制。缺少这些基础设施，任何算法都会变成昂贵演示；具备这些基础设施，即使从简单策略开始，也能持续积累优势。

延伸阅读

• 人在回路的精密真机强化学习系统
• 面向现实机器人训练的开放实现
• 强化学习、模仿学习与迁移学习的仿真平台
• 接触丰富任务的物理仿真底座