LLaDA-VLA: Vision Language Diffusion Action Models

这是一份面向零基础读者的结构化研究笔记。本文只把公开论文文本和 arXiv 元数据能支持的结论写成事实；本站没有本地训练、仿真或真机复现实验，因此不会把论文报告的成功率写成本站 E4 结果。

一句话讲什么（TL;DR）

LLaDA-VLA 的核心问题是：既然扩散语言模型可以通过反复 mask-denoise 生成文本，那能不能也让它从全是 mask 的动作序列一步步还原出机器人动作？论文答案是可以，但要给动作 token 单独设计分类目标和分层解码。

如果只记一个直觉：它不是在问机器人能不能完成某个固定任务，而是在问能不能把看见、听懂、知道自己是什么身体、再输出动作这几件事，整理成更可扩展的一条路。

所以这一节是想说：LLaDA-VLA 的价值在于把分散的具身问题压成一个可比较、可继续扩展的建模接口。

这是个什么场景

传统 VLA 像一个从左到右写动作的打字员：先写第一个动作 token，再写第二个。LLaDA-VLA 更像修图软件：先把整段动作涂成马赛克，再反复猜最有把握的部分，保留可信动作，擦掉不可信动作，直到整段轨迹清楚。

对初学者来说，这类论文最容易误读成又一个大模型名字。更准确的读法是：它们在给具身 AI 建接口。所谓接口，就是模型和世界之间约好的语言。图像告诉模型世界长什么样，语言告诉模型人想要什么，身体描述告诉模型自己能怎么动，动作空间告诉模型输出该怎么被机器人执行。

读者视角：为什么需要 LLaDA-VLA

旧路线：任务 A 模型 ─┐
        任务 B 模型 ─┼──> 每个任务/身体单独维护，迁移成本高
        任务 C 模型 ─┘

LLaDA-VLA：视觉 + 语言 + 身体约束 + 动作/轨迹
        │
        ▼
统一表示 / 统一解码 / 统一评测
        │
        ▼
更容易比较、复用和继续扩展

机制视角：从观察到动作

[图像/视频]   [语言指令]   [身体描述/控制约定]
     │            │              │
     └────────────┴──────────────┘
                  ▼
           多模态上下文表示
                  ▼
          动作或轨迹生成模块
                  ▼
       action chunk / waypoint / trajectory
                  ▼
          仿真评测或真实机器人执行

这个场景和纯聊天模型最大区别在于：输出不是一句话，而是会改变世界的动作。聊天模型答错可以重新问，机器人动作错了可能撞到桌子、夹坏物体、走到错误房间。所以论文里的 benchmark、动作表示、控制频率和 Sim2Real 细节，都不是边角料，而是决定结论能不能落地的核心。

所以这一节是想说：理解 LLaDA-VLA 要先把它放在模型输出会驱动物理世界的场景里，而不是只按普通 VLM 论文读。

之前的人怎么做的，为什么不够好

已有 VLA 大多基于 autoregressive VLM。它们继承了文本模型的左到右生成习惯，但机器人动作 chunk 内部有强相关：同一个 timestep 的 7 个维度彼此相关，相邻 timestep 的动作也相关。直接让扩散语言模型预测整个词表又会把学习难度浪费在大量非动作 token 上。

早期路线通常把系统拆成几块：视觉模块负责看，语言模块负责理解，规划器负责拆任务，控制器负责执行。拆开有好处：每块容易调试。但坏处也明显：模块之间要靠人工设计的中间表示传话，一旦换机器人、换任务、换环境，就会出现大量胶水代码。

端到端 VLA 出现后，大家开始把图像、语言和动作放进同一个模型。但第一代端到端路线也有局限：有的只覆盖桌面操作，有的只支持单个 embodiment，有的依赖 autoregressive action token，生成动作时像写句子一样从左到右排队。机器人动作不是普通句子，多个控制维度和未来多个 timestep 往往要一起协调。强行顺序化，可能让本来并行相关的控制量变成脆弱的前缀依赖。

还有一个更工程化的问题：数据和评测不统一。不同论文用不同机器人、不同相机、不同动作维度、不同成功率定义。这样读者很难判断一个方法是真的更强，还是只是换了更容易的任务。第一批新增论文都在不同角度回应这个问题：要么统一模型接口，要么统一平台和 benchmark，要么统一动作生成机制。

所以这一节是想说：旧方法不够好，不是因为它们没用，而是因为它们太容易被任务、身体和评测方式切碎。

这篇论文的新想法

LLaDA-VLA 基于开源 diffusion VLM LLaDA-V，提出 localized special-token classification，只在动作 token 子词表上计算 masked cross-entropy；再提出 hierarchical action-structured decoding，先按动作级置信度选 timestep，再按 token 级置信度保留维度，让整段 action chunk 在扩散式 predict-remask 中逐步成形。

这件事的关键不在名字，而在取舍。统一模型会带来规模化收益：数据可以混用，模型可以迁移，评测可以并排比较。但统一也会带来优化压力：不同任务的损失函数、动作维度和时间尺度会互相拉扯。论文要证明的就是：这些拉扯可以通过结构设计、训练阶段和解码策略被控制住。

对读者来说，可以用三个问题快速抓住新意：第一，它把什么原本分开的东西合到了一起？第二，它为了合并付出了什么代价？第三，实验是否证明这个代价值得？只要能回答这三个问题，就已经抓住论文主线。

所以这一节是想说：LLaDA-VLA 的新意是把一个分散工程问题改写成一个统一建模问题，再用实验说明这种统一没有白做。

它分几步做的（方法）

第 1 步：动作离散化

输入：连续控制值被离散成 Va 个 bin，每个 timestep 表示为 D=7 个 special action tokens：三个位置、三个姿态、一个 gripper。

处理：这里不要把输入进模型理解成只塞一个张量。具身 AI 的输入通常同时包含画面、语言、身体约束、时间窗口和控制接口。LLaDA-VLA 的设计重点，是把这些异构信息整理成模型能稳定消费的形式，并避免每换一台机器人就重写一套架构。

输出：输出不是一句口号，而是更稳定的动作、轨迹、评测数据或系统接口。换成生活类比，这一步像把不同厨房的炉灶、刀具、食材标签统一成一张菜谱。厨师不必每到一个厨房重新学语言，只要知道这口锅多大、火力怎么调、食材在哪里，就能按同一套流程做菜。

第 2 步：局部分类目标

输入：普通 diffusion LM 要在完整词表上预测 mask token；LLaDA-VLA 只取 special action token 集合上的 logits，并只在 masked action positions 上算 cross-entropy。

处理：这里不要把输入进模型理解成只塞一个张量。具身 AI 的输入通常同时包含画面、语言、身体约束、时间窗口和控制接口。LLaDA-VLA 的设计重点，是把这些异构信息整理成模型能稳定消费的形式，并避免每换一台机器人就重写一套架构。

输出：输出不是一句口号，而是更稳定的动作、轨迹、评测数据或系统接口。换成生活类比，这一步像把不同厨房的炉灶、刀具、食材标签统一成一张菜谱。厨师不必每到一个厨房重新学语言，只要知道这口锅多大、火力怎么调、食材在哪里，就能按同一套流程做菜。

第 3 步：扩散式推理

输入：推理从全 mask 的 action sequence 开始。模型预测 masked tokens，保留高置信度 token，把低置信度部分重新 mask。

处理：这里不要把输入进模型理解成只塞一个张量。具身 AI 的输入通常同时包含画面、语言、身体约束、时间窗口和控制接口。LLaDA-VLA 的设计重点，是把这些异构信息整理成模型能稳定消费的形式，并避免每换一台机器人就重写一套架构。

输出：输出不是一句口号，而是更稳定的动作、轨迹、评测数据或系统接口。换成生活类比，这一步像把不同厨房的炉灶、刀具、食材标签统一成一张菜谱。厨师不必每到一个厨房重新学语言，只要知道这口锅多大、火力怎么调、食材在哪里，就能按同一套流程做菜。

第 4 步：分层动作结构解码

输入：先汇总每个 action 内各 token 置信度，得到 action-level confidence；再选高置信动作，并在动作内部按 token-level confidence 细分保留。

处理：这里不要把输入进模型理解成只塞一个张量。具身 AI 的输入通常同时包含画面、语言、身体约束、时间窗口和控制接口。LLaDA-VLA 的设计重点，是把这些异构信息整理成模型能稳定消费的形式，并避免每换一台机器人就重写一套架构。

输出：输出不是一句口号，而是更稳定的动作、轨迹、评测数据或系统接口。换成生活类比，这一步像把不同厨房的炉灶、刀具、食材标签统一成一张菜谱。厨师不必每到一个厨房重新学语言，只要知道这口锅多大、火力怎么调、食材在哪里，就能按同一套流程做菜。

第 5 步：仿真与真机验证

输入：在 SimplerEnv、CALVIN 和真实 WidowX 任务上训练评估，真实任务每项 10 次 trial。

处理：这里不要把输入进模型理解成只塞一个张量。具身 AI 的输入通常同时包含画面、语言、身体约束、时间窗口和控制接口。LLaDA-VLA 的设计重点，是把这些异构信息整理成模型能稳定消费的形式，并避免每换一台机器人就重写一套架构。

输出：输出不是一句口号，而是更稳定的动作、轨迹、评测数据或系统接口。换成生活类比，这一步像把不同厨房的炉灶、刀具、食材标签统一成一张菜谱。厨师不必每到一个厨房重新学语言，只要知道这口锅多大、火力怎么调、食材在哪里，就能按同一套流程做菜。

把这些步骤连起来看，方法部分不是一堆模块名，而是一条数据流：先明确身体和任务，再把多模态观察变成上下文，再用动作生成模块输出未来动作，最后通过 benchmark 或真实机器人判断动作是否有用。任何一步模糊，都会让成功率数字失去解释力。

一个常见误区是只盯最后的模型名字。真正影响复现的是输入格式、动作空间、训练阶段、推理频率和评测协议。比如同样叫 VLA，一个模型输出离散 token，另一个输出连续位姿；一个每步重新推理，另一个输出 action chunk；一个能回看修正，另一个只能从左到右生成。这些差异比名字更重要。

所以这一节是想说：方法部分要按输入、处理、输出的流水线读，才能看懂 LLaDA-VLA 到底改变了哪一环。

关键数字（What works）

事实	数字 / 状态	来源与证据边界
模型类别	Vision-Language-Diffusion-Action model	Conclusion
预训练权重	LLaDA-V	Training details
动作 token	每 timestep D=7 个 special action tokens	Method
action chunk	K consecutive timesteps；真实实验 chunk size = 5	Method 与 Training details
推理轮数	10 iterative diffusion steps；2 iterations per action	Training details
SimplerEnv	LLaDA-VLA average 55.5%；OpenVLA average 4.2%	Table 1
CALVIN	task completed in row: 95.6 / 87.8 / 79.5 / 73.9 / 64.5；Avg Len 4.01	Table 2
真实 in-domain	四任务平均成功率 58%	Table 3
真实 OOD	平均成功率 40%，比 π0 平均高 25 个百分点	Table 4 讨论
微调	experiments fine-tuned for 3 epochs	Training details

这些数字要按证据等级理解：它们是论文报告结果，不是本站本地复现结果。本站目前只完成文本研究、站点构建、provenance 和部署验证；没有保存训练日志、模型权重、仿真录像或真机执行 artifact。因此它们只能支持论文声称或公开文本报告，不能支持本站跑通。

所以这一节是想说：关键数字的价值是帮我们定位论文贡献和边界，而不是把作者报告直接当成自己的实验结论。

实验结果说明了什么

论文的强证据是三段式：SimplerEnv 证明它能在短程视觉匹配任务中大幅超过 OpenVLA；CALVIN 证明它能在连续五条指令的长程任务中保持更长 Avg Len；真实 robot trial 则把方法从仿真拉到现实。最重要的不是某个表格分数，而是 LSC 和 HAD 两个组件都被 ablation 证明有用。

读这类实验时，建议分三层：第一层看 in-domain 成功率，说明模型有没有学会训练分布内的任务；第二层看 OOD 或新环境，说明它是否真有泛化；第三层看真实机器人或 Sim2Real，说明它是否经得起物理世界的噪声。只看第一层，容易高估方法。

还有一个重要问题：成功率不是唯一答案。一个模型可能平均分高，但在动态抓取、双臂协作或精细控制上很弱。对具身 AI 来说，失败类型往往比平均分更有学习价值，因为它告诉我们下一轮系统应该补感知、补规划、补控制，还是补数据。

所以这一节是想说：实验结果支持 LLaDA-VLA 的主张，但也提醒我们要按任务类型和证据层级拆开看。

你应该懂的几个新词

• Vision-Language-Action (VLA)：视觉-语言-动作模型。输入图像和指令，输出机器人动作。类比：不是只听懂拿杯子，还要真的伸手去拿。
• Embodiment（身体/本体）：机器人自己的物理形态和控制接口。机械臂、人形机器人、移动底盘都有不同 embodiment。
• Action chunk：一次输出未来多步动作，而不是每个控制周期只预测一步。类比：导航时先规划接下来几步，而不是每走一厘米想一次。
• Sim2Real：从仿真迁移到真实世界。难点是仿真的光照、摩擦、传感器和接触不可能完全等于现实。
• OOD generalization：面对训练时没见过的对象、布局、背景或任务组合仍能工作。
• Provenance：来源证据链。本站用它记录笔记、原文、生成资产和人工核验状态，防止看起来像事实的内容没有出处。

所以这一节是想说：术语不是为了显得专业，而是为了精确描述模型和真实世界之间的接口。

它有什么搞不定的

• 真实实验每项 10 次 trial，统计规模仍小，不能直接外推到开放世界。
• 方法依赖离散 action token，bin 设计、chunk size 和 diffusion step 都会影响控制平滑性与延迟。
• 扩散式多轮解码比一次性输出更慢，实时控制时需要平衡 refine 步数和频率。
• 论文展示的是基于 LLaDA-V 的路线，是否能无痛迁移到所有 diffusion VLM 仍需更多验证。

这些局限并不削弱论文价值，反而说明它站在一个真实问题上。具身 AI 的难点正是：模型能力、数据规模、硬件接口、实时控制、安全约束和评测可信度同时出现。任何论文只解决其中一两项，剩下的问题都要靠后续系统继续补。

所以这一节是想说：LLaDA-VLA 是前沿推进，不是终局答案；它解决了一个关键断点，也留下了下一批研究问题。

它和别的几篇是什么关系

• 它和 Discrete Diffusion VLA 都把 masked diffusion 带进 VLA，但 LLaDA-VLA 更强调从 diffusion language model 迁移。
• 它和 CogACT 都尝试摆脱纯 autoregressive action token，但 CogACT 用 cognition/action 解耦和 diffusion action head，LLaDA-VLA 用 diffusion VLM 本身。
• 它和 OpenVLA 的关系像从开源 AR VLA 到开源扩散 VLA的范式对照。

如果你想把这篇放进本站知识图谱，最自然的读法是：先回到主题 primer 建地基，再读同一方法族的前后代，最后读 benchmark / platform 类论文校准实验边界。不要孤立背论文名，要看它接住了前人哪个问题，又把哪个问题留给后人。

所以这一节是想说：LLaDA-VLA 最适合和同主题 VLA、扩散策略、数据评测论文连读，而不是单篇孤立记忆。

和本导读的关系

本篇对应导读中的 Ch04: 技术版图、Ch12: VLA 和后续 Sim2Real / benchmark 章节。读它之前，建议至少先知道三件事：VLM 为什么能对齐图文，VLA 为什么要把动作 token 化或连续化，机器人评测为什么必须区分仿真、真实和 OOD。

对当前 40 篇扩展计划来说，LLaDA-VLA 属于第一批，因为它能补上 2025–2026 前沿 VLA 的新分支。第一批不是为了追热点，而是为了把统一 VLA 和扩散式动作解码这两条线先接到站点现有 162 篇图谱上。

所以这一节是想说：这篇笔记是导读从经典 VLA 走向 2025–2026 前沿路线的桥。

思考题

Q1：这篇论文最想解决的碎片化具体指什么？

提示

看它是不是要统一任务、统一身体、统一动作空间，还是统一评测流程。

Q2：它的动作表示和 OpenVLA / RT-2 有什么差异？

提示

比较连续动作、离散 token、flow matching、masked diffusion 或 action chunk。

Q3：关键数字里哪个最能说明贡献？哪个最容易被误读？

提示

高分说明能力，低分或小规模实验说明边界。

Q4：如果放到真实家务机器人上，第一处可能失败在哪里？

提示

想传感器、延迟、接触力、未知物体、长程状态和安全约束。

Q5：它和本站已有哪三篇最应该连读？

提示

优先找同主题 primer 和方法相近的模型。

Q6：如果要复现，只能先跑一个最小实验，你会选哪个 benchmark？

提示

选择最小可跑环境，而不是最大最酷的真机任务。

一些好奇心问答（FAQ）

Q：这是不是说明端到端 VLA 已经解决机器人了？

不是。端到端 VLA 让系统更统一，但真实世界还有安全、接触、失败恢复、长程记忆和数据成本。论文成功率越具体，越要看任务范围。

Q：为什么很多论文都强调 action chunk？

因为机器人动作有时间连续性。一次只预测一步会频繁调用大模型，慢且容易抖；一次预测一段动作，可以更平滑，也能利用未来几步的相关性。

Q：为什么本站不把这些成功率写成我们验证了？

因为验证需要本地或线上 artifact，比如训练日志、模型 checkpoint、评测脚本、视频或真机记录。本文只做公开论文研究和站点部署，证据等级不同。

Q：读不懂公式怎么办？

先抓输入、输出和控制流。公式通常是在说明怎么把动作加噪、怎么去噪、怎么计算损失。能用人话复述机制，比逐符号背诵更重要。

如果你想再深入

1. 先读本站已有的 rt-1、rt-2、openvla，理解 VLA 基线。
2. 再读 diffusion-policy、pi0、cogact，理解连续动作生成和扩散/流匹配路线。
3. 最后读本篇和同批的扩散式 VLA，比较 autoregressive、continuous diffusion、discrete diffusion 三种动作解码。
4. 真要复现时，优先找官方代码、最小 benchmark 和固定环境，不要一开始就上真机。

原文信息

• arXiv: 2509.06932
• 本站状态：公开来源研究；未做本地训练、仿真或真机复现；human verification 仍应保持 UNVERIFIED，直到逐节人工核验完成。

@misc{llada_vla_2025,
  title = {LLaDA-VLA: Vision Language Diffusion Action Models},
  year = {2025},
  eprint = {2509.06932},
  archivePrefix = {arXiv},
  primaryClass = {cs.RO},
  note = {Read through Embodied AI: Zero to One},
  url = {https://arxiv.org/abs/2509.06932}
}

◼

@online{eai_llada_vla_2026,
  title       = {(readable note) LLaDA-VLA: Vision Language Diffusion Action Models},
  author      = {Xun, Jason},
  year        = {2026},
  note        = {Note on a 2025 paper},
  howpublished = {\url{https://estelledc.github.io/embodied-ai-reading-station/papers/llada-vla/}},
  organization = {Embodied AI: Zero to One}
}