往具身智能方向走，我之前的短板是只读不动手——VLA 调研写了一堆，机器人仿真和运动控制一次没真跑过。正好赶上「2026 世界机器人运动会实训营」基于开源项目 xMimic 的选拔挑战：用 motion tracking 让人形机器人模仿一段参考动作，提交演示视频 + 策略模型。于是借它把人形全身运动控制这条线真正跑通一次。
先说定位：这是人形全身运动模仿（让 23 关节的 DexEVT 机器人站着把一段舞 / 战术动作跟下来），不是机械臂操作、也不是自动驾驶——和我之前那个 OpenVLA 桌面操作复现是 VLA 谱系里不同的两支。和我所有项目一样，代码和训练是 AI 跑的，我做的是方案选择、路线决策、和一帧一帧地验收——这个项目里”验收”这件事，恰恰是最该写的一课（见后文）。
链路
一条动作的完整管线：参考动作数据 →（重定向到机器人本体）→ Isaac Sim 里用 PPO 训一个跟踪策略 → 导出 onnx + 录 demo 视频。具体栈是 Isaac Sim 5.1 + Isaac Lab + RSL-RL 的 PPO，4096 个并行环境，motion tracking 范式（DeepMimic 式：用参考动作的关节角 / body 位置误差当 reward，偏离太多就终止重置）。
两条提交线：
- V1 官方示例：直接用 xMimic 自带的
dance1舞蹈数据复现，验证整条环境 + 训练 + 出片管线能跑通。 - V2 自定义迁移：用公开动捕数据集 LAFAN1，经 xGMR 重定向映射到 DexEVT 本体，做官方示例之外的动作——这是挑战里”加分权重极大”的那条硬轨。
最硬的坑：reward 全程冻结，但表面一切正常
第一次训 dance1，进程在跑、迭代在涨、ETA 正常，但 900 多轮里 Mean reward 死贴 0.02 不动，Episode_Termination/ee_body_pos 常年 1.0000——每个 episode 第一步就被判终止。
- 根因：机器人 24 body 和参考动作 npz 的 39 body 不匹配。
tiangong2dex.urdf有 39 个 link（含 head / camera / imu / wrist / tcp 等固定连接的非驱动 frame），但 Isaac Lab 的UrdfConverterCfg.merge_fixed_joints默认 True，导入时把固定关节 link 合并成了 24 body。而 dance1.npz 是在 39-body 模型上做正向运动学生成的、且不存 body 名纯靠位置对齐。MotionLoader 拿 24-body 的索引去索引 39-body 数组 → 取到错位的 body → 脚踝 z 误差虚高 1.2m+，超 0.25m 阈值 → 每 episode 秒终止 → PPO 拿不到任何学习信号 → 指标冻结。 - 解法：
UrdfFileCfg设merge_fixed_joints=False。修复后 body 误差 0.485m→0.037m、终止率 100%→0%、reward 单调爬到 ~20，机器人能站着把 40 秒跟完。 - 一个连带的隐藏坑：改完参数不生效，机器人还是 24 body。因为 Isaac Lab 靠
_config_to_hash判断是否重转 USD，而那个 hash 不含merge_fixed_joints——参数变了 hash 没变，复用了旧缓存。得手动删/tmp/IsaacLab/usd_*强制重转。 - 可复用的诊断信号：动作跟踪 RL 不学习时，先看
error_joint_pos小但error_body_pos大——关节对得上、身体对不上，几乎一定是 body 错位或机器人模型和参考数据不是同一套。
自定义迁移：一条「冲炫撞墙、退回稳健」的曲线
V2 这条我先赌了个炫的：LAFAN1 里的 fight（拳击攻防），想要直拳、防守、下潜闪避那种观感。训出来抽帧看着像模像样，子 agent 一度判”通过”。但我连续播放，发现机器人会瞬间弹回起始姿势——那不是动作，是穿帮。
- 根因：fight 太快太难，策略约每 5 个回合就有 1 个保持不住（终止率 ~0.20）；录像时一旦中途快摔触发终止，RSI（reference state init）会把机器人重置回参考起始帧，录进视频就成了”瞬移拼接”。
- 两个真教训：
- 长动作必须截窗口防漂移。LAFAN1 单段常 >100 秒，整段训必崩。改成
--frame_range只截 25 秒中段精彩窗口，从源头防漂移。 - 抽帧验收对快速 RSI 重置有盲区。一次”瞬间弹回”发生在两帧之间，稀疏抽帧抽不到，所以子 agent 漏判了。后来改成密抽（0.5 秒一帧）+ scene 检测 + 连续播放给人看三重验——人的眼睛连续看，比抽帧靠谱。
- 长动作必须截窗口防漂移。LAFAN1 单段常 >100 秒，整段训必崩。改成
最后退到稳健的 aim（瞄准 / 战术移动）：reward 17、终止率 0.030（约 97% 回合干净）、25 秒单回合无早停、连续播放无拼接。它不炫、动作偏僵，但干净、跟得准、站得稳。挑战打分里测量类指标（关节 / 末端误差、足底滑动、跌倒率）占 80%，自然度只占专家评审 20%——所以一个”僵但准且稳”的策略，反而比”炫但保持不住”的更不丢分。最终提交 aim，fight 留作历史。
几个工程坑
- rsl-rl 5.x 与 xMimic（按旧版写）三层不兼容：配置格式（
policy→actor/critic）、API 改名（self.alg.policy→get_policy()）、onnx 导出器找不到旧结构——最后重写了整个 exporter，直接从 5.x 的mlp/obs_normalizer/distribution组件构建。 - 第一版 demo 只有 254K、相机还没拍到机器人：ViewerCfg 默认看世界原点 (0,0,0)，但机器人在 env_origin + RSI 位置，镜头对着空地板。改
origin_type="asset_root"跟随机器人 + 录满整段。 - 100fps 出片很多播放器播太快：默认 100fps，强制转 30fps。注意转码能修”播放问题”，修不了”内容问题”——真拼接（RSI 重置）转多少帧都还在。
真实结果
- dance1（V1）：5000 迭代收敛，reward ~20，机器人全程稳定跟踪 40 秒参考动作。
- aim（V2）：8000 迭代，reward 17、终止率 0.030，25 秒动作连续无中断。
- 两者都导出了可部署的 onnx 策略 + demo 视频。
这个项目对我的意义：第一次有了 RL 的体感
比那两段视频更值钱的，是过程里搞清楚的一串认知（很多是我边训边追问出来的）：
- RL 看 reward 不看 loss。监督学习的 loss 是与固定标签的距离、单调下降；PPO 没有”每步正确动作”的标签，策略一变数据分布就跟着变（靶子在动），内部 loss 震荡是常态，健康信号是 reward 往上爬 + 误差往下走 + 终止率低，三个一起看。
- 每个动作是一次独立的从零训练，产出的是”只会这一支舞”的专才，不是基础模型。dance1 的策略不会因为多训就学会 dance2；从零训练（随机初始化）≠ foundation（在海量多样动作上学到通用、可迁移的能力）。而且运动跟踪策略焊死在具体本体上——它的输入输出按 DexEVT 这台机器人的关节数 / 连杆 / 质量分布校准，换个身体权重直接失效，跨本体迁移目前还是没解决的研究前沿。这也是为什么这台机器人没法”拿个开源基模微调一下”：有公开基模的本体不是它，它没有公开基模。
- 验收要看画面，不要看文件大小。第一版 demo 报”已生成 ✅“，其实只有 254K、3 秒、相机没拍到机器人。是我一句”测了吗？254k？“把它拦下来的。后来 fight 的拼接也是连续播放才看出来。“能生成”不等于”是对的”——这条对所有 AI 执行的活都成立。
我对这个方向的系统理解写在 VLA 是怎么让语言模型去开车的 和 VLA 的数据困局 两篇笔记里；这个项目是把”人形运动控制”这条线第一次真正跑起来。
诚实的边界
- 没有官方评测分数、没有入营结果：这是选拔挑战的提交作品，评审还没出，文中所有数字是训练统计和我自己的逐帧验收，不是官方评分。
- 代码和训练由 AI 执行，我做方案 / 路线 / 验收——和我其它项目一个模式，不假装手搓。这个项目的自主程度更高（agent 在远端 GPU 上自主跑了十几个小时），那个 24-body 的根因也是 agent 实证诊断出来的、我拍的是修复方案。
- onnx 没做真机 / 部署验证，只标”可部署”。
- aim 是稳健路线，不是 SOTA：reward ~17 意味着”没摔、大致跟随”，保真度没到流畅自然那档，动作偏僵——这是快速 RL 动作模仿的典型中间态，丝滑要靠训练量大几十倍 + 对抗奖励 + 物理调校。
- 重定向只做了数值验证（body / 关节数 / 姿态误差），没做可视化渲染验证（实例 EGL 不可用）。
- 样本与评测口径有限：终止率 0.03 是训练统计，单支演示视频干不干净仍有约 3% 的运气成分。