GR-2: Generative Video-Language-Action Model

这是一份写给零基础读者的精读笔记。术语第一次出现先给类比，公式一律翻成人话。

一句话讲什么（TL;DR）

让机器人先刷大量网络视频攒常识，再练动手；它干活时脑子里会先"预演"下一秒的画面，再从这个预演里读出动作。

所以这一节是想说：GR-2 用"先看海量视频学常识，再学动作"的两段式，把互联网视频的物理直觉灌进机器人。

---

这是个什么场景

你新请了一个保姆。

情况 A：她从没看过别人做家务，直接进你家厨房上手。第一次端汤泼了，第一次洗碗碎了。每错一次你都得在旁边喊"不是这样"。家里能让她练的次数有限，就算练熟了倒水，换个新杯子她又不会了——因为她脑子里没"杯子倒过来水会洒"这种常识。

情况 B：她进门之前，已经看了几年的生活 vlog——别人怎么切菜、怎么开抽油烟机、怎么塞洗衣机。她没亲手做过，但闭上眼能"放电影"：手伸过去，杯子会被举起来；门把手一拧，门会开。等她真上手，前几下还有点笨，但能很快迁移到新东西上，因为脑子里那部"世界怎么动"的电影已经预装好了。

GR-2 走的是情况 B。大量互联网视频是它的"童年放电影时间"，机器人轨迹数据才是"正式上岗培训"。

VLA（Vision-Language-Action）模型：输入图像 + 文本指令，输出机器人动作的端到端模型。RT-2 是开山之作，GR-2 属于这一谱系。

所以这一节是想说：场景是"机器人缺常识级视觉先验"，GR-2 用互联网视频补上这块童子功。

---

之前的人怎么做的，为什么不够好

• RT-1 / RT-2：直接在机器人数据 + 视觉语言数据上端到端训练，没有显式的"未来预测"。机器人数据贵且少，泛化靠 VLM 主干。
• GR-1（GR-2 的前作）：已经引入"预测未来视频帧 + 输出动作"的双任务，但预训练规模较小。
• 世界模型路线（Dreamer 系列、GAIA-1）：学环境动力学但不直接产出动作，需要再接 RL/规划。
• 扩散策略类（Diffusion Policy、π0）：用扩散模型生成动作序列，但视觉表征通常没用上大规模视频预训练。
• 共同短板：机器人数据本身规模小，难以获得"看一眼就知道接下来会发生什么"的常识级先验。

端到端（end-to-end）：从原始输入（图像/文字）一路直接到输出（动作），中间不拆成人工设计的模块，全靠一个网络学。

所以这一节是想说：以前机器人数据太少、常识不足，GR-2 想用"海量视频预训练"这个更便宜的常识来源来补。

---

这篇论文的新想法

类比：学打乒乓球的人，看一万场比赛回放再上场挥拍，比直接闷头练要快——因为脑子里已经有"球会怎么飞、人会怎么跑"的画面。GR-2 想把这套思路搬给机器人。

把"互联网视频"当成机器人的预训练语料库，理由有三：

1. 视频天然蕴含动作和因果——一个人推门，门会开；一只手抓杯子，杯子会被举起来。这种"先有动作再有结果"的时序结构，正是机器人需要的。
2. 视频规模远大于机器人数据——互联网视频数以千万计，机器人轨迹只有百万量级，差好几个数量级。
3. 统一的生成式框架——预训练阶段模型学"给定过去帧 + 文本，预测未来帧"；微调阶段多加一个分支预测动作。同一套 Transformer 架构、同一套 token，前后任务高度对齐。

关键洞察：动作不是从零学的，动作是从"对未来画面的想象"里读出来的。模型先想"接下来手应该到这个位置"，再把这个想象解码成机械臂指令。

所以这一节是想说：新想法 = 把互联网视频当预训练语料，让模型先学会想象未来，再从想象里读出动作。

---

它分几步做的（方法）

这是全篇最核心部分，按四段讲清楚"进什么、做什么、出什么"。

1. 视频生成预训练

输入：大量互联网视频（论文报告约 3800 万条量级；具体来源和过滤策略需读原文）+ 文本描述。

处理：像让小孩看动画片预测下一帧。模型训练一个视频-文本模型（video-language model），输入是过去若干帧 + 文本描述，输出是未来若干帧。这一阶段没有任何机器人数据，纯粹学"世界长什么样、会怎么变"。

输出：一个学会了"世界物理直觉"的视频生成主干。

等等，先慢一拍——这里的 "tokenize（token 化）" 是什么？打个比方，文本送进 GPT 之前要先切成一个个"词块"，每个词块是个编号；视频也一样，要先把每一帧画面压成一串"画面编号"，模型才能像处理文字那样处理它。GR-2 用类似 VQ-VAE 的离散化方案，外加一个 causal transformer（只能看过去、不能偷看未来，跟 GPT 同款）做自回归生成。

视频 token 化：把连续视频帧用 VQ-VAE 之类的码本压成离散 token 序列，让视频能像文本一样喂给 Transformer 自回归生成。

2. 机器人数据微调

输入：多任务机器人轨迹（任务种类、本体规模需读原文），即"观测 + 动作"配对。

处理：像保姆从看 vlog 切到上岗实操，但电视没关，一边干活一边继续看。模型联合训练两个目标：

• (a) 继续预测未来视频帧（保持对画面变化的敏感度）。
• (b) 加一个 action head（动作输出头），预测对应时刻的机械臂动作（末端位姿/关节角等具体形式需读原文）。

两个损失联合优化，视频预测在这里相当于"辅助作业"。

输出：一个既能想象未来、又能输出动作的 VLA 模型。

辅助任务（auxiliary task）：训练时除主任务（这里是动作预测）外，再加一个相关任务（这里是视频预测）一起优化，目的是让学到的表征更好。

3. 推理时部署

输入：当前观测 + 任务指令。

处理：像厨师上菜前先在脑子里把成品摆盘"演"一遍。模型先在内部"想象"未来视频，再同步输出动作。具体是先生成视频 token 再 condition 出动作（先脑补画面再读出动作），还是两者交织生成，需读原文确认架构细节。

输出：机器人在真实/仿真环境里执行的动作序列。

4. 工程要点

输入：整套训练/部署流程。

处理：模型规模、训练硬件、推理频率（机器人控制要求 10 Hz 以上，否则手抖跟不上）都是能不能真正部署的关键。

输出：一个可在真机上运行的系统。具体数字需读原文。

ASCII 总览：

阶段1(无机器人数据):
  互联网视频 + 文本 ──►[视频token化]──►[causal Transformer]──► 预测未来帧
                                                │(学到物理直觉)
阶段2(机器人数据):
  观测 + 指令 ──► 同一主干 ──┬──► 继续预测未来帧(辅助)
                            └──► [action head] ──► 动作
推理:
  观测+指令 ──► 想象未来画面 ──► 从想象读出动作

5. 为什么"先看几千万条视频"能让机器人更会干活

这是 GR-2 整套思路的地基，值得讲透。

输入：一个残酷的现实——高质量机器人示范数据极其稀缺（采一条要真人真机操作），而互联网视频几乎无限。

处理：GR-2 的赌注是：干活的本事，一大半是"懂世界怎么运转"。杯子被推会倒、水会往低处流、手挡住物体后面就看不见——这些物理常识，人类小孩是看着世界长大悟出来的，不是靠亲手操作几百万次。GR-2 让模型先看几千万条互联网视频、反复做"预测下一帧"，逼它在没有任何机器人数据的情况下，先把这套"世界物理直觉"学到手。等到真正上机器人数据微调时，模型已经不是白纸，它只需要学"我这只手怎么和已经理解的世界互动"，这比从零学省太多示范。

输出：一个把稀缺的机器人数据用在刀刃上、其余靠海量视频兜底的训练范式。

打个比方：与其让一个对世界一无所知的人硬练开车（要练很久），不如先让他看几千小时的路况视频建立直觉，再上车练几十次就上手。

6. 为什么微调时还要继续"预测视频"当辅助作业

输入：机器人轨迹数据 + 一个已经会想象视频的主干。

处理：微调阶段一个自然的想法是"既然要输出动作，那就只训动作头呗"。GR-2 偏不，它让模型一边学动作、一边继续预测未来视频帧，两个损失联合优化。这么做有三层用意：一是防止模型在少量机器人数据上过拟合、把预训练学到的世界知识"忘掉"（灾难性遗忘）；二是"预测未来帧"这个辅助任务会持续逼模型维护一个关于"接下来会发生什么"的丰富表征，而好的动作恰恰依赖这种对后果的预判；三是把动作和它导致的视觉后果绑在一起学，动作就不再是凭空输出，而是"为了让世界变成想象中那样"而产生的。

输出：一个表征更扎实、更不易遗忘、动作与后果强关联的 VLA 模型。

所以这一节是想说：视频预测不是训练完就扔的脚手架，而是全程陪跑的辅助任务，专门用来保住世界知识、逼出对后果的预判。

7. "先脑补画面再读出动作"是一种什么范式

输入：当前观测 + 任务指令。

处理：GR-2 推理时的独特之处在于它不是"看一眼就直接吐动作"，而是先在内部想象出未来该发生的画面，再从这个想象里读出该做的动作。这在思想上接近"基于模型的规划"——先在脑子里预演结果，再据此决定怎么动。它的好处是动作有了明确的"目标图景"作锚：模型不是盲目模仿示范里的手部轨迹，而是奔着"让世界变成想象中的样子"去动手，这让它对新物体、新摆放更有章法。具体是先生成完整视频 token 再解码动作，还是视频与动作交织生成，属于架构细节，需以原文为准。

输出：一串有"想象目标"支撑、而非纯反射式的动作序列。

8. 数据规模、多样性与泛化的关系

输入：几千万条视频 + 多任务机器人数据。

处理：GR-2 属于"用规模换泛化"的路线。互联网视频的题材极广，覆盖了海量物体、场景、交互方式，这种多样性是任何机器人数据集都给不了的，它直接决定了模型见识的广度；机器人微调数据则负责把这份广博的世界知识"接地"到具体本体的动作上。论文关心的核心问题正是：这样训出来的策略，能不能泛化到训练时没见过的新物体、新场景、新任务。这也是它和只在有限机器人数据上训练的策略最本质的区别——后者见识被数据集框死，前者的见识来自整个互联网。

输出：一个因"预训练见得广、微调接得准"而具备更强开放世界泛化潜力的机器人大模型。

顺带说一个部署上的现实约束：机器人控制要求足够高的频率（通常 10 Hz 以上），否则"先想象整段视频再读动作"会让手反应迟钝、跟不上环境变化。所以这类"生成式 VLA"在工程上必须解决"想象要快"的问题——要么压缩想象的分辨率/长度，要么让动作解码不必等完整视频生成完，这些取舍直接决定它能不能从演示视频里的漂亮结果走到真机上的实用系统。

所以这一节是想说：先用海量视频学会想象未来、建立世界物理直觉，再在机器人数据上加动作头联合微调（视频预测全程当辅助防遗忘），推理时"先脑补画面再从中读出动作"——稀缺的机器人数据只用来接地，广博的世界知识全靠视频兜底。

---

下图概括本篇在「关键数字」节前的核心结果脉络（便于对照后文表格）：

【GR-2: Generative Video-Language-Act… · 关键结果概览】

   设定 / 数据          方法要点              主结果
        │                   │                    │
        ▼                   ▼                    ▼
   训练           ──► 方法核心                   ──► …
   评测           ──► 主指标提升                  ──► ↑ 论文主结论

   （对照下方表格中的原文数字与消融）

---

关键数字（What works）

GR-2 是字节跳动的技术报告。可确认的规模是预训练用了约 3800 万条互联网视频；其它精确指标（成功率、任务数、模型参数、scaling 曲线数值）需以原文为准，本笔记不编造。

关注点	说明	具体数值
预训练视频规模	互联网视频条数	约 3800 万（原文报告）
机器人微调数据	多任务轨迹	任务数/本体规模需读原文
多任务成功率	对比 RT-2/OpenVLA/π0 等	原文未在本笔记转录
新物体/新指令泛化	未见场景	原文未在本笔记转录
消融：去掉视频预训练	保留	掉分反映预训练价值

提醒：除"约 3800 万视频"外，其它数值请以 arXiv 原文（2410.06158）为准。

所以这一节是想说：能确认的是"3800 万视频预训练"，成功率和泛化数字要回原文。最该盯的是 scaling 曲线和新物体/新指令泛化。

---

实验结果说明了什么

• 互联网视频预训练确实有用：消融里"去掉视频预训练"掉分越多，越证明常识级视觉先验是机器人泛化的关键来源，而不只是锦上添花。
• 视频预测作为辅助任务提升表征：保留"未来帧预测 loss"能让动作预测更强，说明"逼模型持续关注画面变化"对动作有帮助。
• scaling 决定路线天花板：如果预训练数据/参数越大性能越好，说明这条路值得继续投入——这是判断路线价值的关键证据。
• 想象可视化提供可解释性：模型生成的"想象未来"视频本身能拿来看，是难得的可解释证据，让你看见它"以为接下来会发生什么"。

所以这一节是想说：实验的灵魂是证明"视频预训练 + 视频预测辅助任务"各自有用，且规模越大越强。

---

你应该懂的几个新词

VLA（Vision-Language-Action）模型：输入图像 + 文本指令，输出机器人动作的端到端模型。

视频 token 化：把视频帧用码本压成离散 token 序列，便于 Transformer 自回归处理。

世界模型（World Model）：学环境动力学、能预测下一状态的模型。GR-2 的视频生成器本质是"视觉空间的世界模型"。

辅助任务（Auxiliary Task）：训练时附加的相关任务，用来让主任务的表征更好。

causal transformer：只能看过去不能看未来的自回归 Transformer，GPT 同款，适合生成。

机器人本体（Embodiment）：具体的机械臂型号/自由度配置。跨本体迁移是 VLA 的硬骨头。

所以这一节是想说：抓住"VLA、视频 token 化、世界模型、辅助任务、causal transformer"这几个词，就抓住了 GR-2。

---

它有什么搞不定的

• 依赖动作-视频对齐数据：微调阶段仍需机器人"观测 + 动作"配对，这类数据依然稀缺，是真正的瓶颈（视频本身不缺）。
• 想象未来会出错：如果内部预演的画面不准，从中读出的动作也会错；生成质量直接影响控制质量。
• 推理成本高：先生成视频再出动作，计算量大，达到 10 Hz+ 控制频率有工程压力。
• 预训练数据偏置：3800 万视频若集中在某些领域（如烹饪），学到的先验会偏，迁移到差异大的任务打折。
• 跨本体迁移仍难：不同机械臂自由度不同，视频先验通用但动作头仍要适配具体本体。

所以这一节是想说：GR-2 缺的不是视频而是"视频 + 动作"配对，想象会出错、推理重、有数据偏置，跨本体仍是难题。

---

它和别的几篇是什么关系

• 直接前作：GR-1——同思路的小规模版本，GR-2 主要把预训练数据扩到 3800 万。
• 同期对比：RT-2、OpenVLA、π0——都是 VLA 路线，但 GR-2 强调"用互联网视频做预训练"这一独特卖点。
• 思想源头：GAIA-1、IRIS、Genie——视频/世界模型路线，证明"视频生成"能学到物理直觉，GR-2 把这个直觉接到了下游控制。
• 数据基建：Open X-Embodiment、DROID 提供机器人微调数据；互联网视频部分更接近视频预训练语料（参考 Cosmos World Foundation）。
• 平行路线：Diffusion Policy / π0 走"动作扩散生成"，不依赖视频预训练；GR-2 走"视频先验 + 动作头"。

所以这一节是想说：GR-2 把 GAIA-1/IRIS 的"视频生成学物理"接到 RT-2/OpenVLA 的"VLA 出动作"上，是两条线的缝合点。

---

和本导读的关系

• 主线章节：Ch11 端到端 VLA 与 Ch12 OpenVLA/VLAS/MLA。GR-2 是 VLA 家族里"用视频预训练"的代表。
• 世界模型：Ch15 世界模型。GR-2 的视频生成器本质是视觉世界模型，是"世界模型 + 动作"结合的范例。
• 若对"连续信号离散化 + 语言模型"陌生，可对照 Ch20 听觉智能 里 AudioLM 等同范式工作。

所以这一节是想说：GR-2 落在 Ch11/Ch12（VLA）与 Ch15（世界模型）的交叉处。

---

思考题

Q1：为什么互联网视频对机器人有用，尽管里面根本没有"机器人动作标签"？

提示

视频里天然含"动作 → 结果"的时序因果（推门门开、抓杯举起），模型能从中学到物理直觉，这种常识不需要动作标签就能学。

Q2：GR-2 说"动作从想象里读出来"，这和 RT-2 直接出动作有什么本质不同？

提示

RT-2 直接映射到动作；GR-2 先预测未来画面（世界模型），再从这个预测里解出动作，多了一层"预演"，泛化更靠物理直觉。

Q3：视频预测作为辅助任务，为什么能帮到动作预测？

提示

它逼模型持续关注画面如何变化，学到更好的时序视觉表征，动作头建立在更好的表征上自然更准。

Q4：GR-2 真正的数据瓶颈是什么？为什么不是视频本身？

提示

视频海量易得，瓶颈是"视频 + 对应机器人动作"的配对数据，这类数据稀缺，正是 Open X-Embodiment 等要解决的。

Q5：如果预训练视频全是烹饪场景，模型在洗衣任务上会怎样？

提示

数据偏置会让先验偏向烹饪相关的物理，迁移到差异大的洗衣任务时收益打折，需更均衡的预训练数据。

Q6：推理时"先生成视频再出动作"带来什么工程难题？

提示

计算量大、延迟高，难以满足机器人 10 Hz+ 的实时控制要求，需要加速或简化想象步骤。

Q7：GR-2 和 GAIA-1 都用"视频 token + Transformer"，最大的目标差异是什么？

提示

GAIA-1 是纯世界模型（只生成未来画面）；GR-2 在此之上加了动作头，目标是产出可执行动作，是"世界模型 + 策略"。

所以这一节是想说：想清楚这些题，你就理解了"视频为何有用""从想象读动作""辅助任务的作用""真正的数据瓶颈"这几件核心事。

---

一些好奇心问答（FAQ）

Q：GR-2 是开源的吗？

它是字节跳动的技术报告，可通过项目主页看 demo。权重开放程度需查官方。

Q：3800 万视频是怎么筛的？

具体过滤/清洗策略需读原文。数据规模是它相对 GR-1 的主要升级点。

Q：它比 π0 强吗？

定位不同。π0 走流匹配动作头、不强调视频预训练；GR-2 主打视频先验。直接高下需看同设定对比，本笔记不编造数字。

Q：为什么机器人控制要 10 Hz 以上？

太慢机器人反应跟不上环境变化，手会"卡顿"甚至失稳。实时性是部署硬约束。

Q：零基础怎么入门这套机制？

先理解"视频 token 化 + 自回归生成"，可配合 AudioLM/MusicLM 这类"离散化再做语言模型"的工作一起看，能快速搭起整体框架。

所以这一节是想说：GR-2 的难点在"视频 token 化 + 自回归 + 世界模型"，建议配同范式工作一起打基础。

---

如果你想再深入

1. 先看官方 demo —— 对照"想象未来"和"实际动作"，比读方法快建立直觉。
2. 前置：RT-2 / OpenVLA —— 懂 VLA 基础范式。
3. 前置：GAIA-1 / IRIS —— 懂"视频生成学物理"的世界模型思路。
4. 同范式：AudioLM —— 理解"连续信号离散化 + 语言模型"的通用套路。
5. 想复现 —— 关注消融（去视频预训练、去视频预测 loss 各掉多少）和预训练数据细节。

所以这一节是想说：先看 demo，再补 VLA（RT-2）和世界模型（GAIA-1/IRIS），把 GR-2 当两者的缝合成品来读。

---

原文信息

• 标题：GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation
• arXiv：https://arxiv.org/abs/2410.06158
• 发表：字节跳动技术报告（arXiv）
• 年份：2024

@article{cheang2024gr2,
  title  = {GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation},
  author = {Cheang, Chi-Lam and others},
  journal = {arXiv preprint arXiv:2410.06158},
  year   = {2024}
}

BibTeX 作者字段据公开信息填写，完整作者与页码请以官方版本为准。

◼

@online{eai_gr_2_2026,
  title       = {(readable note) GR-2: Generative Video-Language-Action Model},
  author      = {Xun, Jason},
  year        = {2026},
  note        = {Note on a 2024 paper},
  howpublished = {\url{https://estelledc.github.io/embodied-ai-reading-station/papers/gr-2/}},
  organization = {Embodied AI: Zero to One}
}