VLA 的数据困局：稀缺、借数据、和那道闭源飞轮 • tlj 的工程笔记

这是一篇学习笔记，不是我的动手成果。内容是我梳理具身智能 / VLA（视觉-语言-动作）这个方向时，读公开论文、数据集和厂商资料攒下的理解——属于「读懂别人做了什么」，不是「我训了一个什么」。把它和我真动手的项目（OpenVLA 复现、DriveGPT4-mini）分开放，别当成果看。

啃 VLA 这条线，越读越觉得一件事：这个领域真正的瓶颈和护城河，都不在模型，在数据。 记几条我理解下来的主线。

一、根问题：机器人动作数据，又贵又少

大语言模型能起飞，是因为互联网把人类的文字几乎免费地攒了几十年。VLA 没这个福分——「看到画面 + 听懂指令 → 输出一串关节动作」这种数据，没有天然语料：每一条都要真机器人、真遥操作、真采集，慢、贵、还和具体本体（机械臂型号、自由度）强绑定。

所以 VLA 的故事，本质是一部**「动作数据从哪来」的故事**。

既然没法像文本那样白嫖，大家就各自想办法借：

借人类视频：人类操作物体的第一人称视频（如 Ego4D 这类大规模数据）是现成的海量资源，缺的只是「动作标签」。一条思路是从无标注视频里学一个**潜动作（latent action）**空间，再用少量真机数据把潜动作对齐到真实关节——用海量人类视频补「怎么动」的先验，真机数据只用来「翻译」。
借跨本体：单一机器人的数据太少，那就把几十种不同机器人的数据混在一起训（Open X-Embodiment / RT-X 这类跨本体集合就是这个路子）。赌的是「不同本体之间有可迁移的操作共性」，一个本体的数据能帮到另一个。
借仿真：在仿真里批量生成轨迹，几乎零边际成本——代价是 sim-to-real 的鸿沟，仿真里学会的东西到真机上常常水土不服。

三条路各有取舍，共同点是：都在绕开「真机数据太贵」这堵墙。

这是我读下来最受触动的一点。看工业界——特斯拉 Optimus、Figure、Physical Intelligence（π0）这些——它们真正的壁垒不是模型架构，是数据。

最典型的是 π0：Physical Intelligence 把模型权重开源了（openpi），听起来很慷慨。但你下下来也复现不了它的能力——因为训练它的那海量真机数据是闭源的。权重是结果，数据才是「程序」；开了结果、留住数据，能力照样握在自己手里。

于是形成一个飞轮：有钱 → 买更多机器人采更多数据 → 模型更强 → 拿到更多部署 → 采到更多数据。 数据闭源是这个飞轮的轴。对个人 / 小团队，这意味着一个清醒的判断：拼自采数据是没戏的，能借力的只有开放数据集和开源权重——这恰恰是开放生态的全部价值所在。

好在开放阵营也在使劲攒人形 / 操作数据：NVIDIA 的 GR00T、1X、宇树（Unitree）这些都在放数据集或基础模型。盘点「公开能拿到的料」本身就是一项有用的功课——因为对绝大多数人，能不能做 VLA，第一道门槛就是「你手上够得着哪些数据」。

（这里我只点我比较确定的公开来源；领域里还有一批国内外团队在陆续放数据集，更新很快、具体清单容易过时，就不一一钉死了——这也是这类调研的诚实边界：盘点会过期，方法不会。）

梳理这条线时，我把「读领域」本身也当成一项技能在练，记两点：

给领域建坐标轴：一堆数据集 / 模型乱糊在一起是记不住的。给它们几个正交的轴——按本体（机械臂 / 人形 / 移动）、数据源（真机 / 人类视频 / 仿真）、模态（图文 / 点云 / 触觉）、动作表示（离散 token / 连续回归 / 扩散）——一摆开，每个工作落在哪、为什么这么选，就清楚了。坐标轴比清单耐用。
诚实地找自己的增量：当你梳理的东西和已有的综述 / 工作重叠时，别假装没看见。正确的姿势是先坦白承认重叠，再说清自己多看到了什么——哪怕只多一个角度。藏着重叠假装原创，懂行的人一眼看穿；大方承认再亮增量，反而可信。

VLA 这条线，模型架构是公开的、论文是能读的、开源权重是能下的——唯独数据是那道分水岭。 看懂「动作数据从哪来、谁把数据闭源成了护城河、开放这边能借到什么」，比追某一个 SOTA 模型更要紧。

这也是我接下来真动手时第一件要想清楚的事：不是先挑模型，是先想清楚我够得着哪些数据。