具身智能的完整模型栈：VLM、VLA、世界模型、规划 LLM 与小脑

一条机器人链路里，五个模块不是”堆叠”，而是按频率和抽象层级切分的责任田。搞混频率，再强的模型也会抖。

导语

具身智能的技术讨论长期被两件事占据：VLA 是不是终局、世界模型会不会取代 VLA。这两个问题之所以争不出结果，是因为大家在讨论”模型能力”，而实际系统失效的原因通常是”接口与频率“。

一个真实的人形机器人要完成”把桌上的水杯递给我”，链路上至少发生五件事，各自运行在不同的时间尺度：

发生的事	频率量级	谁负责
理解”水杯”是什么、在哪	0.5–2 Hz	VLM
决定”先转身、再伸手、最后合爪”	0.1–1 Hz	规划 LLM
生成”末端该走哪条轨迹”	5–30 Hz	VLA / 运动策略
预判”手伸过去时杯子会不会被我碰倒”	5–50 Hz	世界模型
算”每个关节出多少力矩、怎么保持平衡”	200–1000 Hz	运动小脑 / WBC

这五件事的频率差了两个数量级。 任何试图用一个模型、一个频率通吃的方案，都会在某个环节撞墙——要么太慢（100Hz 的 VLM 不存在），要么太蠢（用 LLM 直接输出关节角）。

本文按这条链路拆解五个模块：各自解决什么问题、在系统里怎么被调用、主流技术路线、以及最容易踩的坑。然后单独讲 FDE 这个被广泛误用的指标，最后给组合范式与落地判断。

时效性：模型清单与公开数据核对于 2026-11-11。具身领域迭代极快，具体版本号请以官方仓库为准；凡引用二手汇总的数字均标注来源。

0. 全景：五个模块的责任边界

0.1 一张分层图

┌──────────────────────────────────────────────────────────────┐
│  L4  任务规划层（0.1–1 Hz）                                  │
│      规划 LLM：自然语言指令 → 技能序列（符号 / 代码）        │
│      输入：用户指令 + 场景摘要 + 技能库(capability model)    │
│      输出：navigate(kitchen); pick(cup); handover(user)      │
└──────────────────────────────────────────────────────────────┘
      ▼
      子目标（离散、语义级）
┌──────────────────────────────────────────────────────────────┐
│  L3  语义感知层（0.5–10 Hz）                                 │
│      VLM：图像 + 文本 → 开放词汇检测 / 可供性 / 空间关系     │
│      输出：物体框、抓取点候选、affordance、场景图            │
└──────────────────────────────────────────────────────────────┘
      ▼
      目标物体 + 目标位姿（3D）
┌──────────────────────────────────────────────────────────────┐
│  L2  动作生成层（5–30 Hz）                                   │
│      VLA / 运动策略：观测 + 语言子目标 → 动作块(chunk)       │
│      输出：末端位姿增量 / 关节目标序列（未来 0.5–2 s）       │
│      ※ 世界模型旁路：rollout 预演后果（可选，延迟允许时开）  │
└──────────────────────────────────────────────────────────────┘
      ▼
      参考轨迹（几何级）
┌──────────────────────────────────────────────────────────────┐
│  L1  运动控制层（200–1000 Hz）                               │
│      小脑：WBC / MPC / 阻抗控制 / 全身平衡                   │
│      输出：关节力矩或电流指令                                │
└──────────────────────────────────────────────────────────────┘
      ▼
      力矩指令
┌──────────────────────────────────────────────────────────────┐
│  L0  伺服层（1–10 kHz）                                      │
│      电机驱动器 / FOC / 编码器闭环                           │
└──────────────────────────────────────────────────────────────┘

0.2 三个必须接受的设计约束

约束一：延迟预算必须自上而下分配。
如果整机要求”看到杯子后 300ms 内开始动”，那么 VLM 的推理预算不能超过 100ms，VLA 不能超过 50ms，剩下的留给通信和控制。先算预算，再选模型——反过来做，一定会在集成阶段发现某个模型慢了一个数量级，然后被迫降频，性能崩掉。

实测参考量级（4090/Orin 级硬件）：

模块	典型延迟	备注
7B VLM 单帧推理	30–80 ms	FP16，不含图像预处理
3B VLA 单次前向（出 chunk）	15–40 ms	flow matching 多步采样会翻倍
世界模型单步 rollout	10–50 ms	取决于分辨率与是否像素级
LLM 规划一次	500 ms–5 s	云端 API 更慢，本地 7B 约 1–3 s
WBC 单次求解	1–5 ms	QP 规模 30–60 维

约束二：抽象层级越高，频率越低，但”错一次的代价”越大。
规划 LLM 输出错一个技能，可能整段白干；VLA 输出错一个动作，下一帧还能纠；小脑算错一次力矩，机器人就摔了。所以安全兜底必须放在最下层（力矩限幅、关节限位、碰撞检测），而不是指望上层不犯错。

约束三：接口的信息量要匹配下游需要。
L4→L3 传”语义”（哪个物体），L3→L2 传”几何”（3D 位姿 + 抓取点），L2→L1 传”轨迹”（时间参数化），L1→L0 传”力矩”。任何一次跨层传递，都要问：下游真的需要这么多/这么少信息吗？ 常见的两种错误：

传太多：L4 直接把整段对话历史塞给 VLA，VLA 被无关上下文干扰；
传太少：L3 只给一个 2D 框中心，L2 拿不到深度和朝向，抓取必然失败。

0.3 端到端 vs 分层：先破一个迷思

“端到端 VLA 会取代分层架构”是当前最流行的判断，但它混淆了两件事：

	端到端（单模型 obs→action）	分层（模块化 + 接口）
代表	RT-2、π0、GR00T 的 System1+System2	传统 TAMP、Code-as-Policy
优势	无需手工设计接口；能从数据里学到人类没写下来的策略	可调试、可替换单模块、可形式化验证、长程任务稳定
劣势	不可解释、难以注入安全约束、长程任务易漂移、调试靠玄学	接口设计成本高、模块误差累积、需要每层都强
长程任务	弱（compounding error）	强（规划层可 re-plan）
数据效率	低（需要大量演示）	中（可用仿真 + 少量真机）

真实情况是两者在合流：现在的 VLA 内部其实是”分层”的（System 2 慢思考 + System 1 快反应，就是 GR00T 和 Helix 的双系统设计），而分层系统里每一层都在被神经化（规划器从 PDDL 换成 LLM、控制器从 MPC 换成学习策略）。

所以正确的问法不是”要不要分层”，而是”分几层、切在哪、接口传什么”。 本文按五层讲，但这个数字不是教条——小团队完全可以砍掉 L4，把技能选择写死。

1. VLM：具身的语义底座，以及它做不到的事

1.1 它在系统里干什么

VLM（Vision-Language Model）在具身系统里通常不直接产生动作，它提供四类中间产物：

产物	形式	下游用途
开放词汇检测	`[(bbox, label, score)]`	找到”红色的、有把手的杯子”——超出训练类别的物体
可供性（affordance）	抓取点热图 / 可操作区域	告诉策略”从哪抓、往哪推”
空间关系	“杯子在键盘右边 15cm”	规划器的符号化前提
任务相关推理	“抽屉是关的，需要先拉开”	子目标生成、失败诊断

这三类里，开放词汇检测是最成熟、ROI 最高的。传统检测器只有固定类别表，工厂换个零件就要重训；VLM 的 zero-shot 能力让”换个物体”从”两周标注”变成”改一句 prompt”。这是 VLM 进入具身的第一推动力。

1.2 三种典型用法（按耦合深度排序）

用法 A：冻结的语义服务（最常见）

VLM 不训练，作为独立服务被调用。系统定期（1–2 Hz）查询”当前场景有哪些物体、在哪”。

优点：解耦、可换、不影响控制回路；
缺点：2D→3D 的桥接要自己做，且 VLM 的空间精度不足以直接给抓取位姿。

用法 B：作为 VLA 的视觉骨干（最主流）

VLM 的视觉编码器 + 语言模型作为 VLA 的初始化权重，端到端微调。π0.5、GR00T、OpenVLA 全是这条路。

优点：共享语义先验，数据效率高（VLM 已经”认识”杯子）；
缺点：微调后 VLM 的通用能力会退化（catastrophic forgetting），且推理成本高。

用法 C：作为慢系统的决策者（双系统）

Figure Helix 的 System 2（约 7B VLM，低频）+ System 1（约 80M 策略，200Hz）；GR00T N1 的 System 2 是 VLM、System 1 是 DiT。VLM 只负责”现在该干什么”，不负责”关节怎么动”。

优点：把低频的重推理和高频的轻控制分开，延迟可控；
缺点：两个系统的接口是信息瓶颈，System 2 的输出必须”够 System 1 用”。

1.3 关键工程：2D 到 3D 的桥

这是 VLM 落地具身最容易翻车的地方。VLM 输出的是图像坐标，机器人需要的是世界坐标，中间要过：

1	像素 (u,v) + 深度 d → 相机坐标 (X,Y,Z) → (外参) → 世界坐标

四个常见错误：

深度来源不一致：RGB-D 相机的深度图与 RGB 未对齐（时间戳或内参），导致 3D 点偏移几十厘米；
忽略物体朝向：只给中心点，抓取时不知道”把手朝哪”，必须补 6D pose（FoundationPose、AnyGrasp 这类）；
用单目深度估计代替真实深度：单目深度的尺度不确定，绝对距离误差 10%–30%，精细操作不可用；
标定漂移：机械臂运动导致的相机支架微变形，几小时后外参就偏了。在线手眼标定不是可选项。

一条实用建议：把 VLM 的输出只当”语义先验”**（是杯子、大概在这个区域），把精确几何交给专用的 3D 模块**（分割 + 点云配准 + 抓取检测）。让 VLM 干它擅长的事。

1.4 VLM 在具身里的四个硬短板

短板	表现	为什么难修
空间精度差	“左边”分不清 10cm；给不出米级坐标	VLM 训练目标是语义对齐，不是度量回归
无时序	看不见”正在倒水”这种过程状态	单帧输入，缺少运动表征
物理常识弱	不知道”这个箱子太重搬不动”	训练数据里没有力/质量的监督信号
幻觉	报告不存在的物体	生成式目标的固有缺陷，检测头能缓解但不根治

工程应对：**对 VLM 的输出加”物理可行性过滤”**（工作空间裁剪、可达性检查、与点云一致性校验）。一个简单的”检测框内是否有真实点云”就能过滤掉大部分幻觉。

1.5 主流选择（2026）

模型	特点	适用
Qwen-VL 系列	中文场景强、有 3D/视频变体、开源可商用	国内落地首选
InternVL 系列	检测/grounding 能力突出	需要 bbox 输出的场景
GPT-4o / Gemini	通用推理最强	云端规划、离线标注、评测裁判
RynnBrain 等具身专用基模	时空记忆 + 空间推理，定位”大脑”	需要接下游策略的规划层

说明：具身专用”大脑基模”（如 2026 年开源的 RynnBrain）官方宣称在多项具身评测上刷新纪录并超过 Gemini Robotics ER 1.5、Cosmos-Reason2（据 CSDN 汇总，2026-08-07）。这类”官方自评”需谨慎，评测集重叠是常见问题。

2. VLA：把”看懂”变成”会做”

2.1 和 VLM 的本质区别：输出空间不是文本

VLA 和 VLM 的唯一结构性差异在输出：

1 2	VLM: f(image, text) → text VLA: f(image, text, proprio) → action

但这一行改动带来了连锁反应：

维度	VLM	VLA
输出空间	离散 token（词表 5万+）	连续、高维、有物理约束（7–30 维/臂）
损失函数	交叉熵	L1/L2、flow matching、diffusion
数据	互联网图文（十亿级）	真机轨迹（十万级，昂贵）
输出频率	一次一句	必须 5–30 Hz 持续输出
错误后果	说错话	撞坏东西 / 伤人
评估	文本相似度、人工偏好	任务成功率（方差极大）

2.2 三种动作头：这是 VLA 最重要的技术分岔

VLA 的性能差异，很大程度不在 VLM 骨干，而在动作怎么被生成。

动作头	代表	机制	优点	缺点
离散 token 自回归	RT-2、OpenVLA	把每个动作维度离散成 256 个 bin，当 token 生成	复用 LLM 架构，实现简单	精度损失、推理慢（个位数 Hz）、维度间独立解码导致不平滑
连续回归（L1）	OpenVLA-OFT、ACT	直接回归动作向量	快、连续、精度高	单峰假设，学不了多模态演示
Flow Matching / Diffusion	π0、π0.5、GR00T 的 DiT	学速度场/去噪，从噪声生成动作块	多模态、平滑、高频可行	多步采样慢（可蒸馏到 1–2 步）

关键数据点（二手汇总，原始出处为 OFT 论文 arXiv:2502.19645）：OpenVLA 原版在 LIBERO 上 76.5%，改成”并行解码 + 动作分块 + 连续 L1 回归”后达到 97.1%，动作生成吞吐提升 26 倍。同样的骨干、同样的数据，只改动作头，涨 20 个点。

这条结论的工程含义很直接：如果你在自研 VLA，优先优化动作头，而不是换更大的 VLM。

2.3 动作分块（Action Chunking）：不是优化，是必需

VLA 一次前向输出 未来 K 步的动作（K 通常 10–50），而不是单步。三个理由：

摊薄推理延迟：30ms 推理出 20 步（假设 30Hz，即 0.67s），有效控制频率够了；
缓解 compounding error：单步策略的小误差会在闭环里累积，chunk 内部是”开环一致”的；
产生时间一致的动作：避免逐步预测导致的抖动。

但 chunk 带来一个新问题：chunk 边界不连续。 两次推理的 chunk 在交界处可能跳变。解法是 RTC（Real-Time Chunking）：新 chunk 生成时，把旧 chunk 未执行的部分作为约束（inpainting 的引导项），让新 chunk 的前几步与旧 chunk 的后几步平滑衔接。π0 系列用的就是这个。

踩坑提醒：chunk 越长越平滑，但对环境变化的响应越慢。动态任务（接球、避障）要短 chunk + 高频重规划；静态任务（装配、插拔）可以长 chunk。

2.4 跨本体：动作空间是最大的坑

不同机器人的动作空间千差万别：7 自由度臂的关节角、双臂 14 维、人形 30+ 维、移动底盘 2 维、灵巧手 20+ 维。VLA 要”一脑多形”，必须解决动作空间对齐。

三条主流做法：

做法	机制	优点	缺点
统一到末端位姿	都输出 EE 6D pose + gripper	与本体无关，天然跨本体	丢失冗余自由度（7 轴臂的肘部构型）、可能撞奇异
本体特定 head	共享骨干，每个本体一个动作头	精度高	新本体要新 head，不是真”通用”
padding + mask	统一到最大维度，缺失维度 mask	实现简单	浪费算力，维度语义混乱

实践建议：先做”末端位姿统一 + 逆解兜底”，跑通再考虑加本体特定头。不要一上来就追求 30 维统一动作空间，那是研究问题，不是工程问题。

2.5 VLA 的四个结构性局限

① 只学”怎么做”，不学”做了会怎样”。
VLA 是策略 π(a|o)，不是动力学模型。它无法回答”如果我这样抓，杯子会滑吗”。这正是世界模型要补的位置。

② 长程任务会漂移。
端到端 VLA 在 3 分钟以上的任务上成功率显著下降。原因是每步的微小偏差累积，且模型没有显式的”任务进度”状态。π0.5 通过”高层子任务预测 + 异构数据协同训练”缓解了这一点（能在训练中未出现过的家庭完成多阶段任务），但这是工程缓解，不是原理解决。

③ 数据是天花板。
真机轨迹的采集成本约 每任务数百条 × 每条数十秒。跨本体、跨场景的泛化需要指数级更多数据。当前的三条缓解路径：人类视频（GO-1 的 ViLLA、π-ego 的第一视角视频迁移）、仿真合成、世界模型增广。没有一条已经解决长尾。

④ 语言跟随与操作成功率是两个指标。
GR00T N1 的语言指令成功率 46.6%，N1.5 提升到 93.3%（据公开报道）。这个差距说明一个被忽视的问题：**很多 VLA 是”看着像在动，其实没听指令”**。评测必须分离这两项，否则会把”乱动但偶尔碰对”当成能力。

2.6 开源选型（2026）

模型	规模	架构	适合
π0.5（openpi）	VLM + flow matching 动作专家	异构数据协同、开放世界泛化	家庭/开放环境，唯一做过”陌生家庭”验证的开源模型
GR00T N1.5 / N1.6	3B	双系统（VLM + DiT）	工程落地首选：Isaac 生态、Jetson 部署、教程全、25GB 显存可微调
OpenVLA / OFT	7B	自回归（原版）/ 连续 L1（OFT）	研究基线、单卡验证、可复现性最好
GO-1（智元）	VLM ~2B + MoE	ViLLA 隐空间规划	能从人类视频学、一脑多形、配智元本体
StarVLA	—	统一框架	快速复现、LIBERO 上 30K 步达 98.8%

上表数据来自公开论文与二手汇总（CSDN，2026-08-07）。注意 LIBERO 已接近饱和（98%+），榜单分数不再有区分度，选型应看真机泛化与工程配套。

3. 世界模型：让机器人先”想象一遍”

3.1 它解决的是 VLA 解决不了的问题

VLA 是反应式的：看到什么，做什么。它缺一个能力——在动作执行前评估后果。

这个能力在四种场景里是必需的：

场景	为什么需要后果预测	没有会怎样
接触丰富的操作	推、插、拧的成败取决于接触力与摩擦	靠试错，一次失败可能损坏物体
动态环境	人/物在动，需要预判	追不上、撞上
长程任务的子目标选择	“先开门还是先搬椅子”	选了不可行的顺序，卡死
策略评估与数据增广	无法在真机上大规模试错	只能靠真机堆，成本爆炸

用一句话区分：VLA 回答”我该做什么”，世界模型回答”做了会怎样”。

3.2 三条技术路线

路线	代表	预测什么	优势	短板
像素级生成	Genie 3、Cosmos 系列、Sora 类	未来 RGB 帧/视频	直观、可用于合成数据、人可检查	计算极贵、长时程漂移、物理不守恒
隐空间预测（JEPA 路线）	Meta V-JEPA 2	未来表征（embedding）	便宜、忽略不可预测细节、适合规划	不可视化、难评估、需要下游解码
动作条件动力学	Wayve GAIA、1X world model、各类 latent dynamics	`(z_t, a_t) → z_{t+1}`	直接服务策略学习/MPC	需要大量动作标注数据，误差随步数累积

LeCun 的 JEPA 主张（在隐空间预测而非重建像素）在 2026 年已经被 V-JEPA 2 验证了一部分：它在物理预测和机器人规划上展示了能力，但复杂物理交互仍是短板（腾讯新闻，2026-11-01）。

3.3 四种用法（重要性递减）

用法 A：模型预测控制（MPC in latent space）
用世界模型 rollout 多条候选动作序列，选预测回报最高的执行。这是最”正统”的用法，也是计算最贵的。

关键参数：horizon（rollout 多长）、候选数（采样多少条）、重规划频率；
典型失败：模型误差导致”想象的未来”比现实乐观，选出的动作在真机上失败 → 需要短 horizon + 频繁用真实观测纠正（receding horizon）。

用法 B：策略评估的”沙盒”
在真机上评估一个策略要几百次试验、几小时、可能损坏设备。世界模型可以当”廉价试车场”，筛掉明显差的策略再上真机。

关键风险：世界模型的偏差会系统性地偏袒某类策略（比如偏袒”动作幅度小”的策略，因为它预测的误差累积少）。用世界模型选出的策略，必须在真机上验证，否则会得到”在模型里很强、在现实里很怂”的策略。

用法 C：数据增广
用世界模型生成”反事实”轨迹（”如果从这个角度抓会怎样”），扩充训练集。

关键风险：生成的”成功案例”可能物理上不成立（穿透、悬浮、超力矩）。必须加物理一致性过滤（碰撞检测、力矩约束、动量守恒检查）。

用法 D：作为 VLA 的辅助监督
让 VLA 在预测动作的同时预测”未来几帧的表征”，强迫它学到后果感知的表征。这是最轻量的用法，不需要显式 rollout，成本增加小。

3.4 世界模型的四个真实瓶颈

① 长时程漂移。
自回归 rollout 的误差是指数累积的。像素级模型 2 秒后就开始糊，5 秒后基本无意义；隐空间模型好一些，但同样受限。这就是为什么 MPC 的 horizon 通常只有 1–2 秒，而不是”规划 30 秒”。

② 物理一致性无法保证。
生成模型学的是像素/表征的分布，不是物理定律。它可能生成”杯子穿桌而过”或”球落地后反弹更高”的画面，而且看起来很合理。这在数据增广里是毒药。

③ 因果混淆。
模型可能学到”手靠近杯子 → 杯子移动”这种相关性，而不是”手施加力 → 杯子移动”的因果。结果是在反事实场景（手靠近但没碰）下预测错误。

④ 评估困难。
怎么判断一个世界模型”好”？像素级可以用 FVD/PSNR，但这些指标与”对控制是否有用”的相关性很弱。一个 PSNR 很高但物理全错的世界模型，比一个画面糊但动力学正确的模型更没用。这是当前最缺方法论的地方。

3.5 和 VLA 的关系：合流而非取代

2026 年的行业共识正在形成：世界模型不会取代 VLA，两者会合流。 具体有三种合流形态：

形态	结构	代表
VLA 内嵌预测头	VLA 同时输出动作 + 未来表征	各类 “world-model-augmented VLA”
世界模型作为 critic	VLA 生成候选，世界模型打分选择	类似 actor-critic，但 critic 是学的动力学
世界模型做 RL 环境	在”想象”中做强化学习	ICLR 2026 的 WMPO 等

工程判断：如果你的任务是接触丰富、动态、或需要长程规划，世界模型值得投入；如果是静态桌面抓取，它的边际收益很低——直接用 VLA + 反应式控制更划算。

4. 高层规划 LLM：把”一句话”变成”一串技能”

4.1 它要解决的核心问题：LLM 不知道机器人能干什么

给 GPT 一句”帮我把厨房收拾干净”，它能列出 20 步计划——其中一半你的机器人做不到（”把碗放进洗碗机”要求机器人会开门、会摆放、会关门，而你的机器人只有一个两指夹爪）。

这是规划层最大的失败模式：能力幻觉（capability hallucination）。它不来自模型不够强，而来自模型的训练数据里没有你的机器人。

解法只有一个：给 LLM 显式的能力清单（capability model）。

skills:
  - name: navigate
    params: {target: <location>}
    pre: [battery > 20%, path_clear]
    post: [at(target)]
  - name: pick
    params: {object: <object_id>, grasp: <grasp_pose>}
    pre: [at(near(object)), object.visible, gripper.empty]
    post: [holding(object)]
  - name: place
    params: {target: <location>}
    pre: [holding(_)]
    post: [~holding(_), at_place(target)]

有了这张表，规划就从”自由发挥”变成”在能力空间内搜索“。这也是为什么 2025–2026 年主流的规划层实现都退化成”LLM 做 function calling“——技能库就是工具列表，前置/后置条件就是 schema 约束。

4.2 四种规划范式

范式	机制	优势	短板	适用
符号规划（PDDL/TAMP）	手工建模状态/动作/前提，用搜索求解	可证明完备、可验证、可解释	建模成本极高、无法处理连续与不确定性	工业装配、可形式化的域
LLM 直接生成计划	自然语言 → 步骤列表	零样本、开放域	能力幻觉、不保证可执行、不稳定	演示、探索期
Code-as-Policy	LLM 生成调用技能库的代码	可执行、可检查、可复用（循环/条件）	需要严格 sandbox、错误处理难	当前性价比最高
LLM + 符号验证	LLM 提议，验证器检查前提	兼顾开放性与正确性	需要可靠的验证器（状态估计）	生产环境

Code-as-Policy 值得展开：让 LLM 输出 Python 而不是 JSON 计划，好处是三个——

循环、条件、异常处理天然支持（”直到抓住为止”）；
可以被 lint / 类型检查 / 单元测试（这是最关键的：代码有 verifier，自然语言没有）；
人可以直接读懂、修改、复用。

代价是安全风险：生成的代码可能调不存在的函数、死循环、越界。必须配 sandbox + 技能白名单 + 超时。

4.3 三个必须做的工程加固

① 计划验证（precondition check）
每步技能执行前，检查前置条件是否满足。不满足就触发 re-plan，而不是硬执行。

这不是可选的。真实系统里 30% 的失败来自”前提不成立但没人检查”（比如”抓取时夹爪其实是满的”）。

② 闭环重规划（receding horizon planning）
不要一次规划 20 步然后闷头执行。执行 1–3 步后，用最新观测重新规划。这让系统对动态环境有鲁棒性，代价是 LLM 调用次数上升（成本 vs 鲁棒性的显式权衡）。

③ 失败归因
任务失败后，需要知道”是哪一步、为什么”。做法是给每个技能加执行后状态检查（post-condition verify），失败时把”期望状态 vs 实际状态”作为反馈给规划器。这比让 LLM 看视频猜原因有效得多。

4.4 一个被低估的问题：语义到几何的转换

规划器输出的是符号（pick(cup_1)），VLA 需要的是几何（grasp_pose in base frame）。这个转换发生在 L4→L3→L2 之间，是分层架构里最脆弱的一环。

典型失败链：

LLM: "pick(cup_1)"
  → VLM: 检测到 cup_1 的 bbox（图像坐标）
    → 3D 提升: 用深度图反投影（深度有噪声，物体被遮挡一半）
      → 抓取检测: 在残缺点云上估计抓取位姿（估计错）
        → VLA: 收到错误位姿，执行失败
          → 规划器: 不知道位姿错了，重试同样的动作

修法是每一环都带置信度，且规划器能消费置信度：

grasp = estimate_grasp(obj)
if grasp.confidence < 0.6:
    # 不要硬抓，先换个视角
    return plan([navigate(viewpoint_2), look_at(obj), retry_pick(obj)])

这条”低置信度就换观测”的策略，比任何模型改进都更能提升真机成功率。

5. 运动小脑：不是”更快的 VLA”，是另一类问题

5.1 分工的本质：几何/动力学 vs 语义

	上层（规划 + VLA）	小脑（WBC / MPC / 阻抗）
输入	图像、语言、场景图	关节状态、IMU、力/力矩、目标轨迹
输出	目标位姿 / 动作块	关节力矩 / 电流
关注	做什么、去哪	能不能到、会不会摔、接触力多大
频率	0.1–30 Hz	200–1000 Hz
失败模式	语义错、目标错	抖、超调、失稳、打滑
可解释性	弱	强（有物理模型）

一句话：上层决定”期望的几何路径”，小脑保证”这条路径在动力学上可行且安全”。

5.2 小脑要解决的五个真问题

逆运动学与冗余：7 轴臂对 6D 位姿有一维冗余，要选一个”远离奇异、远离关节限位”的解；
动力学可行性：目标轨迹可能超出加速度/力矩上限，需要时间参数化（time-optimal parameterization）；
接触与力控：插拔、擦拭、拧螺丝需要阻抗控制（不是位置控制），力要控在范围内；
全身平衡：人形机器人的 WBC 要在”手要到位”和”重心不能出支撑多边形”之间做 QP 优化；
安全兜底：碰撞检测、力矩限幅、急停——这是最后一道防线，必须独立于学习模块。

5.3 三种实现路线

路线	代表	优点	缺点
经典控制（MPC + WBC + 阻抗）	多数工业/人形厂商	可证明稳定、可调、可解释	建模成本高、对接触丰富的任务弱
模仿学习策略（ACT / Diffusion Policy）	ALOHA、UMI	能从演示学精细操作、无需建模	泛化弱、需要大量演示、难保证安全
RL 策略（sim2real）	宇树/波士顿动力类	极限运动能力强（跑跳、恢复）	奖励设计难、sim2real gap、不可解释

实际系统几乎都是混合：MPC 做平衡与粗跟踪，学习策略做精细接触，阻抗控制做柔顺，安全层做限幅。

5.4 分层接口的关键设计：给”轨迹”而不是”目标点”

如果上层只给一个目标点（”手到这里”），小脑必须自己做轨迹规划，容易撞到障碍。更好的接口是：上层给带时间戳的路径点序列（waypoints with timing），小脑负责跟踪 + 局部避障 + 力控。

# 好接口
trajectory = [
    (t=0.0, pose=p0, tol=0.01),
    (t=0.3, pose=p1, tol=0.01),
    (t=0.8, pose=p2, tol=0.005),   # 接近阶段要更精确
]
# 坏接口
target = p2   # 小脑不知道该怎么过去

同时要传约束：最大速度、最大力矩、接触力上限、允许的路径偏差。这些约束是安全层执行的依据。

5.5 一个常见误解：小脑可以用 VLA 替代

不成立。三个理由：

频率：VLA 15–40ms 一次前向，等效 25–60Hz，而 WBC 需要 200–1000Hz。差 10–40 倍；
精度：VLA 输出的是”大概的动作”，关节角误差可能几度，闭环控制需要 0.01 度的分辨率；
安全：学出来的策略没有稳定性保证，无法证明”不会自激振荡”。

正确关系：VLA 输出”参考轨迹”，小脑做”轨迹跟踪 + 安全保证”。VLA 是”想法”，小脑是”肌肉”。

6. FDE 指标：一个被广泛误用的代理指标

6.1 先说术语：FDE 到底指什么

这里必须做一个诚实的澄清，否则后面的讨论会跑偏。

在轨迹预测（trajectory forecasting）领域，FDE 的标准含义是 Final Displacement Error——终点位移误差，与 ADE（Average Displacement Error，平均位移误差）配对使用。这是 Argoverse、nuScenes、Waymo Open Motion 等基准的通用口径。

我检索了 “Future Distribution Error” 这个说法，没有找到它作为标准术语的公认定义。所以本文按两种理解分别处理：

理解 A（主流）：FDE = Final Displacement Error。下面 6.2 给定义与用法；
理解 B（字面）：如果要衡量”预测的未来分布与真实未来分布的距离”，那对应的不是 FDE，而是分布度量（6.5 给可操作定义）。

如果你在某个具体论文里看到 “Future Distribution Error”，请以那篇论文的定义为准——但它的数学形式大概率落在 6.5 的框架内。

6.2 标准定义

设预测轨迹 Ŷ = {ŷ_1, ..., ŷ_T}，真实轨迹 Y = {y_1, ..., y_T}，ŷ_t, y_t ∈ R²（BEV 平面）：

1 2	ADE = (1/T) Σ_t ‖ŷ_t − y_t‖₂ FDE = ‖ŷ_T − y_T‖₂

多模态预测（输出 K 条候选）：

1 2	minADE_K = min_{k∈[1,K]} ADE(ŷ^{(k)}, Y) minFDE_K = min_{k∈[1,K]} FDE(ŷ^{(k)}, Y)

三个必须一起报的量：K（候选数）、预测时程 T（秒）、是否用 bbox 中心还是角点。不同 K 的 minFDE 完全不可比——K=6 的 minFDE 一定优于 K=1，这不是模型更好，是”多买了几张彩票”。

6.3 FDE 的四个结构性缺陷

缺陷	机制	后果
只看终点，不看过程	只算最后一步的欧氏距离	一条撞穿障碍物的轨迹，只要终点对，FDE 很低
对多模态”作弊”友好	min over K，只要有一条碰对就低	模型可以输出 K 条”撒胡椒面”的轨迹，minFDE 刷得很漂亮
不惩罚”离谱的候选”	其余 K−1 条多离谱都不计入	实际部署时下游拿到的是”最可能”而非”最好”的那条，风险巨大
时程敏感	T 越长，误差越大	3s 和 8s 的 FDE 不可比

第三条是最危险的。评测用 minFDE，部署用 argmax/最可能的那条——这两个不是同一个东西。 大量论文的高分来自 minFDE，而真机用的是 top-1，性能落差极大。

6.4 什么时候 FDE 是对的指标

FDE 不是坏指标，它只是针对特定任务的指标。适用条件：

场景	为什么 FDE 合适
短时程终点精度敏感（1–3s）	停靠、交接口、抓取接近段——终点对了就基本成功
单峰、确定性强的运动	高速巡航、直线搬运，轨迹形状不重要
作为辅助指标	与 ADE、碰撞率、off-road rate 一起报
在线监控	计算便宜，适合实时检测预测模块退化

不适用：

长时程（>5s）——误差主导，任何模型都很差，指标无区分度；
强多模态（路口、人群）——必须用分布度量；
具身操作——这是最重要的一条：机械臂的”轨迹预测”关注的是接触、力、时序，FDE 在关节空间/末端空间的意义很弱，任务成功率才是真指标。

6.5 如果真要看”分布”，该用什么

这是 6.1 理解 B 的答案。衡量”预测分布 P̂ vs 真实未来分布 P“，四个可操作选择：

① NLL（负对数似然）
模型输出高斯混合（GMM）或多模态分布，直接算真实轨迹的 log-likelihood。

优点：惩罚”没覆盖真实模式”和”过度自信”；
缺点：对分布族假设敏感，且高度依赖协方差参数化，容易被”把方差调大”刷分。

② CRPS（连续排序概率分数）

1	CRPS(P̂, y) = ∫ (F̂(x) − 1{x ≥ y})² dx

对每个维度算，再平均。

优点：proper scoring rule（最优策略是说真话），不像 NLL 那样奖励大方差；
缺点：多维下计算贵，且不直接反映”轨迹形状”。

③ Energy Score（多维推广）

1	ES(P̂, y) = E‖X − y‖^β − ½ E‖X − X'‖^β, X, X' ~ P̂ iid

用样本近似，β=1 或 2。

优点：多维、proper、对样本友好；
缺点：需要采样，方差大。

④ 轨迹空间的 Wasserstein 距离
把预测的 K 条轨迹当经验分布，算 W₂ 到真实（多模态）未来分布。

优点：直观，”整体分布差多远”；
缺点：真实未来分布通常只有一个样本（你只观测到一种未来），无法直接算——只能用数据集里的多模态标注（如 nuScenes 的多 future）近似。

实践建议：报 minFDE_1（top-1，对齐部署）、minFDE_K（多模态上限）、brier-minFDE（加概率校准，Argoverse 2 的口径）、CRPS（分布质量）。四个一起看，缺一个就会被误导。

6.6 在具身系统里，FDE 该放在哪

我的判断：FDE 在具身系统里应该是”内部诊断指标”，不是”对外汇报指标”。

具体用法：

用途	怎么用
世界模型的短时程精度	预测 1s 后的物体位姿，算 FDE，用于判断动力学模块是否可靠
人类/动态障碍物预测	用于避障的安全裕度计算（FDE 大 → 加大安全距离）
抓取接近段	预测末端到抓取点的残余误差
不能用来	汇报”我们的具身模型很好”——FDE 低不代表任务成功

因为具身的成功取决于接触、力、时序、闭环纠正，这些都是 FDE 看不见的。一个 FDE 2cm 的抓取预测，可能因为接触力控制不当而失败；一个 FDE 8cm 的预测，可能因为闭环纠正在中途修正而成功。

给团队的一条建议：如果有资源，优先建”任务成功率 + 失败模式分类”的评测体系，而不是优化 FDE。前者直接指导工程，后者容易变成论文游戏。

7. 组合范式：五种架构与它们的代价

7.1 五种范式对比

范式	结构	优势	代价	适用
A. 全分层（符号）	LLM 规划 + VLM 感知 + MPC 控制 + 手工技能	可验证、可调试、可复用	建模成本极高，无法处理开放域	工业、可形式化的域
B. 分层 + 学习技能	LLM 规划 + VLM + VLA 技能 + WBC	兼顾开放性与可控性	接口设计难，模块误差累积	当前主流落地形态
C. 端到端 VLA	单模型 obs→action	无接口、能从数据学隐式策略	长程漂移、不可解释、安全难保证	短程、单技能任务
D. 双系统	VLM(慢) + 小策略(快)	延迟可控、分工清晰	两系统接口是瓶颈	人形、双臂、需要高频
E. 世界模型驱动	世界模型 rollout + 策略搜索/RL	能处理接触与动态	计算贵、模型偏差、评估难	研究前沿、接触丰富任务

我的判断：2026 年能稳定交付的是 B 和 D，C 在受控场景（固定工位、单任务）已经可用，E 还在”实验室到产线”的路上。

7.2 一个可落地的参考架构

用户指令
   ↓
[规划 LLM] ── 技能库(capability model) ── 前置条件检查
   ↓ 子目标: pick(cup_1)
[VLM] 检测 + 分割 ──→ [3D 提升] ──→ 目标位姿 + 置信度
   ↓ 若置信度低 → 换视角/换抓取策略（闭环）
[VLA] 生成动作块 ──→ [RTC 衔接] ──→ 末端参考轨迹
   ↓
[小脑 WBC/MPC] 动力学可行化 + 平衡 + 力控
   ↓
[安全层] 力矩限幅 / 碰撞检测 / 急停  ←── 独立于所有学习模块
   ↓
电机

旁路：[世界模型] 在动作下发前评估"这个轨迹会不会撞"（可选，延迟允许时）

三个设计要点：

每一层都有”我不确定”的出口（置信度 → 换策略，而不是硬执行）；
安全层独立，不依赖学习模块的正确性；
世界模型是旁路，延迟不够时可以关掉，不阻塞主链路。

7.3 当前五个瓶颈

瓶颈一：真机数据的天花板。
跨本体、跨场景的泛化需要指数级数据，而真机采集成本是线性的。人类视频、仿真、世界模型增广三条路都还没解决长尾。

瓶颈二：评测体系失效。
LIBERO 已接近饱和（98%+），真机评测方差极大（同一策略两次评测差 20 个点很常见），缺乏公认的、可复现的、与商业价值相关的基准。这是整个领域最被低估的问题——没有好的评测，就无法判断进展。

瓶颈三：延迟与算力。
7B VLA 在 Orin 上跑不到 10Hz，3B 勉强。而人形机器人的控制需要 200Hz+。中间的频率差必须靠”双系统 + 动作分块”填，这两个都是权宜之计，不是终局。

瓶颈四：长程任务的漂移。
3 分钟以上的任务，端到端方案成功率显著下降。分层方案靠 re-plan 缓解，但每次 re-plan 都引入新的不确定性。

瓶颈五：安全与可解释性。
学出来的策略没有稳定性保证。工业场景要求”可证明不会伤人”，当前的神经网络策略给不了。这也是为什么安全层必须独立。

7.4 落地难点的排序（我的经验判断）

按”最容易让项目失败”排序：

排序	难点	为什么排在前面
1	数据采集与格式统一	LeRobot v3 vs v2 格式不兼容、多相机时间戳不对齐、动作维度映射错——这类问题占初期调试时间的 60%
2	2D→3D 的几何链路	标定漂移、深度噪声、遮挡，导致”模型明明检测对了，抓取就是偏”
3	评测不可复现	无法判断”改了之后是变好还是噪声”，迭代失去方向
4	延迟预算超支	集成后才发现某个模块慢一个数量级，被迫降频
5	跨本体迁移	换个机器人全部重来
6	长尾失败模式	99% 成功率的系统，剩下的 1% 是各种奇怪情况

注意排序：前四项都是”工程”问题，不是”模型”问题。具身项目失败，通常不是模型不够强，是系统工程没做好。

7.5 踩坑清单

通用

跳过开环验证直接上真机：训练没收敛或数据有问题，闭环测试根本看不出原因。先回放数据，看预测动作是否贴合示范；
不做时间同步：多相机 + 关节状态 + IMU 的时间戳不对齐，几十毫秒的偏差足以让 VLA 学错；
忽略控制频率：用 10Hz 的策略控制 200Hz 的底层，中间没有插值，动作一顿一顿；
评测只跑一次：真机评测方差极大，至少 20 次/任务，报均值 ± 标准差。

VLM/VLA

用 VLM 的输出直接当抓取位姿：空间精度差一个量级，必须过专用抓取检测；
动作离散化 bin 太少：256 bin 覆盖 ±180°，分辨率 1.4°，精细操作不够；
chunk 太长：动态任务响应慢，看起来”反应迟钝”；
忘了 proprioception：只给图像不给关节状态，模型不知道手在哪，学不到闭环纠偏；
语言跟随率没单独测：成功率 80% 但语言跟随 50%，说明一半是”乱动碰对”。

世界模型

rollout 太长：超过 2s 的预测基本不可信，MPC horizon 要短；
用像素指标评估：PSNR 高不代表动力学对，要看下游任务成功率；
生成数据不加物理过滤：穿透、悬浮的”成功案例”会毒化训练集。

规划

不给能力清单：LLM 会规划出机器人做不到的动作；
不检查前置条件：30% 的失败来自”前提不成立但没人检查”；
一次规划到底：不 re-plan，遇到意外就卡死。

FDE 相关

不同 K 之间比 minFDE：K=6 vs K=1 的对比毫无意义；
用 minFDE 汇报但部署用 top-1：分数虚高，真机落差大；
在具身任务上用 FDE 当主指标：它看不见接触、力、闭环纠正。

8. 前沿：2026 年正在发生的四件事

① 双系统成为默认架构。
Helix（System 2 约 7B + System 1 约 80M @200Hz）开创的范式，被 GR00T N1（VLM + DiT）等跟进。核心洞察是：慢思考不需要高频，快反应不需要深推理，强行统一是浪费。

② 动作头比骨干更决定性能。
OpenVLA → OFT 的 76.5% → 97.1% 是最好的证据：同骨干同数据，只改动作生成本身（并行解码 + 分块 + 连续 L1），涨 20 个点且吞吐 26 倍。资源有限时，先优化动作头。

③ 世界模型从”预测”走向”规划”。
早期焦点是表征学习与未来预测（V-JEPA、Cosmos），2026 年的焦点转向”用世界模型做 MPC / RL 环境”（HWM、WMPO 等）。难点从”预测得准”变成”预测得对控制有用”（Odaily，2026-04-17）。

④ 人类视频成为数据杠杆。
GO-1 的 ViLLA（Latent Planner 从人类视频学通用动作理解）、π-ego（第一视角视频迁移）都在试这条路。逻辑很直接：真机数据贵，人类视频免费且海量。难点是embodiment gap——人的手和夹爪的形态差太远。

9. 小结

五个模块按”频率 × 抽象层级”切分，不是按”能力”切分。 规划 0.1–1Hz、VLM 0.5–10Hz、VLA 5–30Hz、小脑 200–1000Hz、伺服 kHz。搞混频率，再强的模型也会抖。
VLM 在具身里是”语义服务”，不是”几何服务”。 开放词汇检测是它最大的价值；空间精度是它最大的短板。2D→3D 的桥必须由专用模块承担，这是落地翻车率最高的一环。
VLA 和 VLM 的唯一结构差异是输出空间，但这个差异导致损失函数、数据、频率、评估全部不同。VLA 的性能差异主要来自动作头，不是 VLM 骨干——OFT 的实验是 20 个点的证据。
动作分块不是优化，是必需。 它摊薄延迟、缓解误差累积、保证时间一致。但 chunk 边界会跳变，需要 RTC 做衔接；chunk 长度是”平滑 vs 响应”的显式权衡。
世界模型回答”做了会怎样”，VLA 回答”该做什么”，两者合流而非取代。 最大瓶颈不是预测精度，是长时程漂移与物理一致性；最大空白是**”预测得对控制有用”这个维度没有好指标**。
规划 LLM 的核心失败模式是能力幻觉，解法是给显式的能力清单 + 前置条件检查 + 闭环 re-plan。Code-as-Policy 是当前性价比最高的形态，因为代码有 verifier。
小脑不能用 VLA 替代。 频率差 10–40 倍、精度差两个数量级、且学习策略没有稳定性保证。正确关系是：VLA 给参考轨迹，小脑做跟踪与安全。
FDE 的标准含义是 Final Displacement Error，不是 “Future Distribution Error”。 检索未见后者作为公认术语的定义。FDE 有四个结构性缺陷：只看终点、对多模态作弊友好、不惩罚离谱候选、时程敏感。它适合短时程终点敏感任务，不适合具身操作。
如果真要评估”分布”，用 proper scoring rule：CRPS、Energy Score、NLL（注意 NLL 奖励大方差）。minFDE 报高分但部署用 top-1，是最常见的自欺。
具身项目失败通常不是模型不够强，是系统工程没做好。 按失败率排序：数据格式/时间同步 → 2D→3D 几何 → 评测不可复现 → 延迟超支 → 跨本体。前四项都是工程。

如果只留一句：具身智能的难点不在”哪个模型最强”，而在”五个频率不同的模块，如何在延迟预算内传递恰好够用的信息，并且每一层都敢说’我不确定’”。

参考来源

模型与产品

π0.5 / openpi：Physical Intelligence，2025；开源仓库 openpi
GR00T N1 / N1.5 / N1.6：NVIDIA，2025–2026；Isaac-GR00T 仓库
OpenVLA：arXiv:2406.09246；OpenVLA-OFT：arXiv:2502.19645
RT-2：arXiv:2307.15818；RT-1：arXiv:2212.06817
GO-1 / ViLLA：智元机器人，2025
Helix：Figure AI，2025
Gemini Robotics ER 1.5：Google DeepMind，2025–2026
模型选型对比与公开基准数据（含 LIBERO 76.5%→97.1%、GR-1 语言跟随 46.6%→93.3%）：CSDN，2026-08-07（二手汇总，原始数据请查各论文/技术报告）

世界模型

V-JEPA 2：Meta，2025；JEPA 主张见 LeCun 相关论述
Genie 3：Google DeepMind，2025
Cosmos 系列：NVIDIA，2025–2026
GAIA-1/2：Wayve
世界模型路线与瓶颈综述：腾讯新闻，2026-11-01；Odaily，2026-04-17

指标与方法

ADE/FDE 定义与 minADE_K/minFDE_K：Argoverse 1/2、nuScenes、Waymo Open Motion 基准文档
Joint Metrics Matter: A Better Standard for Trajectory Forecasting，arXiv:2305.06292
Beyond ADE and FDE: A Comprehensive Evaluation Framework for Safety-Critical Prediction，arXiv:2510.10086
CRPS / Energy Score 作为 proper scoring rule：Gneiting & Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation, JASA 2007
Brier-minFDE：Argoverse 2 Forecasting Challenge 官方口径

控制与规划

Whole-Body Control / MPC：MIT Cheetah 系列、Unitree 相关工程报告
ACT：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware，2023
Diffusion Policy：arXiv:2303.04137
Code as Policies：arXiv:2209.07753
TAMP 综述：Combined Task and Motion Planning，相关综述文献

说明：本文中”延迟量级””失败占比排序””能力评分”等属于工程经验判断，不同硬件、不同团队差异很大；具体模型的分数均标注来源，且需注意数据集饱和与评测口径差异。