π₀: A Vision-Language-Action Flow Model for General Robot Control

这是一份给"完全没接触过 AI"的读者写的精读笔记。所有专业词第一次出现都会解释清楚，并用生活场景打比方。

一句话讲什么（TL;DR）

Physical Intelligence 的 π₀：在 PaliGemma 3B 视觉-语言模型上挂 300M 参数的 action expert，用 流匹配（flow matching） 一次生成 50 步连续动作 chunk，在 7 种机器人、68 任务、1 万+ 小时数据上预训练——叠衣服、收餐桌、装箱子这类 5–20 分钟长程精细活，零样本或后训练后显著超过 OpenVLA / Octo。

所以这一节是想说：π₀ 把"互联网 VLM 常识 + 连续高频动作 + 跨形态大数据"第一次工业级缝在一起，是 Ch13 扩散策略线的终点标杆。

---

这是个什么场景

你对厨房里的移动机器人说："把烘干机里的衣服拿出来，放到洗衣篮里，再端到折叠桌，把这件 T 恤叠好。"

论文 Fig. 2 的 mobile laundry 完整流程正是这一场景：pre-train 在 7 配置 × 68 任务上学到 broad physical skills，但 叠衣 mastery 仍靠 post-train 高质量数据对齐——类比 LLM 预训练懂语言、SFT 才学会按模板回复。

这件事同时需要：

• 看：透明杯、皱褶衣服、反光台面——视觉语义复杂
• 听/懂："bus the table" 要区分垃圾进垃圾桶、盘子进 dish bin
• 连续动手：抓取、翻转、对折、堆叠——手是 50 Hz 级连续控制，不是念"PPT 下一页"

之前两条主流路各有硬伤：

路线	代表	强项	硬伤
离散 VLA	RT-2, OpenVLA	VLM 语义 + 互联网知识	动作 token 化，不支持 action chunk / 高频
连续扩散/BC	Diffusion Policy, ACT	动作丝滑、可多模态	缺 VLM 常识，单任务/小规模

论文 "68 tasks" 的真实宽度：bussing 不是单一 pick-place，而是 多类物体语义分拣 + 精细抓取（薄杯、叉子叠在 trash 上）；laundry 是 crumpled → flatten → fold → stack 数分钟链。π₀ 还要 zero-shot grocery bagging / toast 等，prior VLA 很少在同 checkpoint 展示这一 dexterity 跨度。

π₀ 的赌注：VLM 当初始化 + flow matching 当动作头 + 万小时级 cross-embodiment 预训练 + LLM 式 post-training——像 GPT 先通识刷题、再 SFT 对齐具体任务。

所以这一节是想说：π₀ 面向的是"一个模型、多种机器人、多种 dexterous 长任务"，不是单台臂上单技能。

---

之前的人怎么做的，为什么不够好

OpenVLA（7B）：Llama + SigLIP，自回归 离散 action token。在 π₀ 的 full mixture 上训练时，不支持 action chunking 与 50Hz 控制，零样本复杂任务上远弱于 π₀（论文 Fig. 7）。仅 UR5e 数据训练的 OpenVLA 略好，但仍远低于 π₀。

Octo（93M）：扩散式动作生成 + transformer，支持 chunk，但 93M 容量 在同 mixture 上仍明显落后；说明 大模型 + VLM init 同样重要。

Diffusion Policy / ACT：单任务 dexterous 强；Fig. 11 显示在 5-hour fine-tune 档仍是强 baseline，但 1-hour 档被 pre-trained π₀ 拉开——预训练的价值在小数据 regime 最大。

VPT（Minecraft 线，非 VLA 直接对比）：720×V100×9 天 + 人类视频 BC 才 ~2.5% 挖钻石；π₀ 走的是 完全不同的问题设定（manipulation VLA），但同样体现 大数据 + 正确 head 范式。

RT-2：证明 VLM→机器人可行，但离散动作 + Google 闭源数据栈，精细长程 仍受限。

核心缺口：缺一个同时满足 (1) 大 VLM 语义 (2) 连续 chunk @ 高频率 (3) 10k 小时级 diverse pretrain (4) post-train 对齐 dexterity 的公开范式。

论文 zero-shot 实验的直接对比（Fig. 7）：在同一 pre-training mixture 上，160k step 的 parity π₀ 仍击败 160k OpenVLA 与 320k Octo；甚至 470M 的 π₀-small 也优于 OpenVLA/Octo——说明瓶颈在 动作表示架构，不只是参数量。

所以这一节是想说：π₀ 不是单点创新，而是把 NLP「pretrain + post-train」recipe 搬到机器人，并换对动作头。

---

这篇论文的新想法

三层设计：

1. 架构：VLM backbone + action expert（双专家 MoE 味）

• 图像 + 语言 token → PaliGemma 3B（Internet 预训练权重）
• 本体状态 $\mathbf{q}_t$ + 噪声动作 chunk → 300M action expert（从零训）
• 二者只在 self-attention 里交互（Transfusion [Zhou et al.] 启发）
• 总参数 3.3B；消融 π₀-small 470M 无 VLM init

2. 动作：Conditional Flow Matching on chunk

• 预测 $\mathbf{A}_t = [\mathbf{a}t, ..., \mathbf{a}{t+49}]$，$H=50$
• 训练：采样噪声 $\epsilon$，构造 $\mathbf{A}_t^\tau = \tau \mathbf{A}t + (1-\tau)\epsilon$，回归向量场 $\mathbf{v}\theta \approx \epsilon - \mathbf{A}_t$
• 推理：10 步 Euler 积分（$\delta=0.1$），从 $\tau=0$ 积到 $1$
• 相对 DDPM：更少积分步、训练目标更直，适合 73ms 级 onboard 推理（RTX 4090）

3. 训练 recipe：pre-train → post-train

• Pre-train：低质量但 diverse（含 recovery、多行为）→ 会纠错、泛化
• Post-train：高质量 fluent 数据（5–100+ 小时/任务）→ 叠衣服等 mastery
• 仅 post-train → ** brittle**，错一步不会恢复；仅 zero-shot → 不够"利索"

所以这一节是想说：π₀ = 正确架构 × 正确数据规模 × 正确两阶段训练。

---

它分几步做的（方法）

上图说明：Figure 1（ar5iv 原图）（论文原图）。

上图说明：Figure 2（ar5iv 原图）（论文原图）。

上图说明：Figure 3（ar5iv 原图）（论文原图）。

5.1 观察与动作空间

观察 $\mathbf{o}_t = [\mathbf{I}^1_t, ..., \mathbf{I}^n_t, \ell_t, \mathbf{q}_t]$：

• 2–3 路 RGB（腕部 + 基座等，依平台而定）
• 语言 $\ell_t$：任务名或 ~2s 粒度的 segment 标注
• 本体感受 $\mathbf{q}_t$：关节角向量

动作 chunk $\mathbf{A}_t$：未来 $H=50$ 步关节目标；控制频率 最高 50 Hz（dexterous），UR5e/Franka 等 20 Hz。

配置 vs 动作维不一致：Mobile 平台 配置 14 维（双臂+夹爪）但 动作 16–17 维（底座位姿增量）；padding 仍统一到 18，模型靠 mask + 形态隐式标签 区分 embodiment。

语言标注两档：粗粒度 task name（"fold laundry"）+ 细粒度 ~2 秒 segment 标签（" grasp collar"），pre-train 混用；post-train / HL 评测依赖 segment following。

所以这一节是想说：π₀ 用 padding+mask 把异构硬件塞进同一向量空间，换 cross-robot 联合训练。

---

5.2 网络结构（ASCII）

输入块 1 [图像×n + 语言 ℓ]  ──▶ PaliGemma expert (3B, 预训练)
输入块 2 [关节 q_t]          ──▶ Action expert (300M)
输入块 3 [噪声动作 A^τ]     ──▶ Action expert (300M)
         │ self-attention 跨块（块间 blockwise causal）
         ▼
输出：仅 A^τ 对应 token → 线性层 → v_θ(A^τ, o_t)  （向量场）

Attention mask（三块）：

1. $[\text{images}, \ell]$ — 全双向；不能看后面机器人 token（减 VLM 分布偏移）
2. $[\mathbf{q}_t]$ — 单独一块；推理时可 cache KV（不随 flow 步变）
3. $[\mathbf{a}^\tau_t, ..., \mathbf{a}^\tau_{t+H-1}]$ — 动作 token 全双向；可看全部前缀

工程细节：为何 $\mathbf{q}_t$ 单独成块？ 一次 inference 要跑 10 次 flow 积分，噪声动作 token 每步都变，但 同一时刻的图像、语言、关节角不变。把 $\mathbf{q}_t$ 与动作 suffix 分开后，VLM 前缀 + $\mathbf{q}_t$ 的 KV cache 可在 10 步中复用，这是 Table I 里 observation forward 32ms、10× action forward 27ms 的前提。若整序列一起重算，延迟会接近 10 倍。

Flow 时间步 $\tau$ 嵌入：每个 noisy action 经 MLP + sinusoidal $\phi(\tau)$ 注入。

$\tau$ 采样：非均匀 Uniform，而用 shifted Beta，强调 低 $\tau$（高噪声）；且 $\tau > s=0.999$ 不采样——作者认为机器人动作预测比文生图更依赖"从噪声到结构"的学习。

与 Diffusion Policy 的对比（读者常问）：

	Diffusion Policy	π₀ Flow
条件	视觉观察	视觉 + 语言 + proprio
去噪步数	通常 10–100 DDIM	10 Euler on flow
主干	小 UNet / Transformer	3B VLM + expert
数据	单任务 50–300 demo	10k 小时 multi-embodiment

π₀-small 架构差异（Appendix A-C，470M）：

• 语言：DistilBERT encoder，非 Gemma LM
• 图像：R26-S-32 ViT hybrid（各相机 不共享 权重）
• Action expert：DiT + AdaLN-Zero 注入 $\tau$；cross-attend 观察 encoder 输出（非 MoE 单 transformer）
• 用途：隔离 VLM pretrain 的收益（同数据下仍强，但语言/H L 弱）

所以这一节是想说：架构核心是「VLM 权重冻结语义路径 + 小 expert 专吃动作 flow」，attention 分块是为推理 cache 与预训练兼容。

---

5.3 Flow Matching 训练与推理

训练损失（Conditional Flow Matching）：

$$\mathcal{L} = \mathbb{E}\left[ | \mathbf{v}_\theta(\mathbf{A}_t^\tau, \mathbf{o}_t) - (\epsilon - \mathbf{A}_t) |^2 \right]$$

其中 $\mathbf{A}_t^\tau = \tau \mathbf{A}_t + (1-\tau)\epsilon$，$\epsilon \sim \mathcal{N}(0, I)$。

逐步训练（读者可照此复现直觉）：

1. 从数据集取 $(\mathbf{o}_t, \mathbf{A}_t)$ 示范 chunk
2. 采样 $\epsilon$ 与 flow 时间 $\tau$（Beta 偏置低 $\tau$）
3. 构造 $\mathbf{A}_t^\tau = \tau \mathbf{A}_t + (1-\tau)\epsilon$（线性插值噪声与真动作）
4. 网络读入 观察前缀 + 噪声动作 token，输出 $\mathbf{v}_\theta$
5. 目标向量场 $\mathbf{u} = \epsilon - \mathbf{A}_t$（"指向真动作的方向"）
6. 最小化 MSE$(\mathbf{v}_\theta, \mathbf{u})$

人话：给网络看"半噪声半真动作"，让它预测 该往哪个方向挪才能回到真示范（向量场 $\epsilon - \mathbf{A}_t$）。

逐步推理：

1. 初始化 $\mathbf{A}^0 \sim \mathcal{N}(0,I)$（纯噪声 chunk）
2. for $\tau = 0, 0.1, ..., 0.9$：$\mathbf{A}^{\tau+0.1} = \mathbf{A}^\tau + 0.1 \cdot \mathbf{v}_\theta(\mathbf{A}^\tau, \mathbf{o}_t)$
3. 输出 $\mathbf{A}^1$ 作为 50 步关节目标；open-loop 执行前 25 或 16 步后再重复

与 DDPM 对比：DDPM 学 $\epsilon$-prediction 需数十到数百步；flow matching 学 直线路径 上的速度场，π₀ 用 10 步 即部署。

推理（Forward Euler，10 步）：

$$\mathbf{A}_t^{\tau+\delta} = \mathbf{A}t^{\tau} + \delta \cdot \mathbf{v}\theta(\mathbf{A}_t^{\tau}, \mathbf{o}_t), \quad \delta=0.1$$

• 前缀 $\mathbf{o}_t$ 的 KV cache；每步只重算动作 suffix → 10× action forward ≈ 27ms

执行策略：

• 不用 temporal ensembling（早期试验 hurt performance）
• Open-loop chunk 执行：50Hz 机每 0.5s 推理一次（执行 25 步）；20Hz 机每 0.8s（16 步）

推理耗时分解（Table I，RTX 4090）：

模块	时间
图像 encoder ×3	14 ms
观察 forward（cache KV）	32 ms
×10 action forward（flow 步）	27 ms
WiFi 额外延迟	+13 ms
合计 onboard	73 ms

所以这一节是想说：flow matching 让 π₀ 在 10 步内出 50 维×50 步连续动作，算力上跑得动 50Hz 控制环。

---

5.4 七类机器人形态（cross-embodiment 输入）

平台	相机数	配置/动作维	备注
UR5e	2	7	腕+肩
Bimanual UR5e	3	14
Franka	2	8
Bimanual Trossen (ALOHA 系)	3	14	双 ViperX
Bimanual ARX / AgileX	3	14	kinematic 相近合并统计
Mobile Trossen / ARX	3	配置14 / 动作16	非完整约束底
Mobile Fibocom	3	配置14 / 动作17	全向底 +3

所有向量 pad 至 18 维 后进入同一 transformer；缺失图像 slot mask。

所以这一节是想说：π₀ 的"通用"不是抽象 slogan——是明确的 pad/mask 协议 + 903M 步各形态混合。

---

5.5 数据与两阶段训练配方

Pre-training mixture（Fig. 4）：

来源	规模（timesteps 量级）	特点
OXE + Bridge + DROID 等开源	占 mixture 9.1%	2–10 Hz，场景广
Physical Intelligence 自采	903M steps	68 tasks，含 bussing/laundry 等复杂行为
合计	~10,000+ 小时	7 机器人形态

68 "tasks" 定义很宽：例如 bussing = 多种餐具/垃圾/容器组合，行为远比 "pick cup" 丰富。

Post-training：

• 任务专用 5–100+ 小时高质量数据
• 复杂任务配合 高层 VLM policy 输出中间语言指令（类比 SayCan 的语义层，但此处 HL 是 VLM 出 sub-command）

7 种机器人（Fig. 5）：

UR5e / Bimanual UR5e / Franka / Bimanual Trossen (ALOHA 系) / Bimanual ARX&AgileX / Mobile Trossen&ARX (Mobile ALOHA 系) / Mobile Fibocom (全向底)

训练步数：主模型 700k steps；与 baseline 公平对比的 160k parity 版仍超 OpenVLA/Octo。

Pre-train 数据哲学（论文 §V 首段）：

• Pre-train 数据可以 lower quality 但 high diversity——含 recovery、非常规行为
• Post-train 数据要 fluent、一致策略——教模型"理想怎么叠衣服"
• 只训 polished 数据 → 遇错不会 recover；只 zero-shot pre-train → 动作不够干净

Segment 语言标注：除 task 名外，pre-train 使用 ~2 秒粒度 的 sub-trajectory 语言（"pick up the napkin"），使同一 task 内可切换 sub-skill；这与 π₀-human / π₀-HL 评测协议一致——模型必须 听懂短指令 而非只记得一个长 task embedding。

所以这一节是想说：π₀ 的护城河一半在 architecture，一半在 PI 自采 903M steps dexterous 数据 + 两阶段 recipe。

---

5.6 高层语言策略（可选）

长程任务（bussing / table setting / grocery bagging）可接入 high-level VLM：

• π₀-flat：仅总任务指令（"bag groceries"）
• π₀-human：人类每 ~2s 给 sub-command（"pick marshmallow"）
• π₀-HL：自主 VLM 出 sub-command

结果：π₀ 语言跟随显著优于 π₀-small；HL 条件 autonomous 性能提升，small 模型因听不懂 intermediate 指令而 无法从 HL 获益（Fig. 9）。

所以这一节是想说：VLM 预训练的价值不只视觉，还在 follow 细粒度语言，可接 SayCan 式分层。

---

5.7 Fine-tune 与 mastery 任务分级

**Fine-tune 新任务（Fig. 10–11）**按与 pre-train 相似度分 tier：

Tier	任务	要点
Easy	Stack bowls / Towel fold	与 bussing/shirt fold 类似
Medium	Tupperware in microwave	新物体（微波炉）但 manipulation 类似
Hard	Paper towel replace / Franka drawer	新物体+新机器人

对比：OpenVLA/Octo（OXE 预训练 checkpoint 再 fine-tune）、ACT/DP（仅 fine-tune 数据 scratch）。π₀ pre-trained 在 1 hour microwave 数据上可超 5-hour scratch baselines。

Mastery 任务（Fig. 12–13，5–20 分钟/episode）：

• Laundry：crumpled random init → flatten → fold → stack；pre-train 见过但需 post-train mastery
• Table bussing (real lunch)：未在 pre-train；unseen objects + clutter + 需 HL 策略
• Box building：flatten 纸板 → 折盒 → 压 flap；pre-train 无
• Packing eggs / To-go box：精细放置 + 双臂关盖

所以这一节是想说：π₀ 实验刻意覆盖 "in-distribution zero-shot → new skill fine-tune → out-of-distribution mastery" 全谱。

---

5.8 零样本评测任务说明（base model）

Fig. 6–7 五任务 同一 pre-trained checkpoint，仅改语言指令：

任务	内容	评分
Shirt folding	平铺 T 恤 → 折袖 → 对折	0/1 success
Bussing easy	7 物体进 dish/trash	#/7
Bussing hard	12 物体 + hard config	#/12
Grocery bagging	7 商品进袋	#/7
Toast out of toaster	4 片吐司 → 盘	#/8

每任务 10 episodes；分数归一化后跨方法比较。Shirt folding / easy bussing 上 full π₀ 接近 满分，是 Fig. 7 最亮眼的 zero-shot 点。

所以这一节是想说：zero-shot 不是玩具 demo——是 未 post-train 的 3.3B 模型直接上真机复杂操作。

---

5.9 Baseline 对比协议（公平性细节）

论文 Fig. 7–11 的对比 刻意对齐数据与算力语境，避免"换更大 mixture 就赢"的口水仗：

Baseline	预训练数据	动作头	与 π₀ 差异
OpenVLA	同 OXE+Bridge 等 mixture	离散 autoregressive token	无 flow chunk、无 50Hz 连续关节
Octo	OXE 官方 checkpoint	diffusion head	架构小、无 VLM 3B 语义
ACT / DP	无 pre-train	chunk / diffusion	仅 fine-tune 数据 scratch

Parity 训练步数：除主结果 700k steps 外，作者另训 160k steps 版 π₀，仍超 OpenVLA/Octo——说明增益不 solely 来自更长 schedule。

OpenVLA 同数据仍败的根因（论文叙事）：离散 256-bin 动作 token 在高频 dexterous 控制上 量化误差 + 自回归延迟 叠加；π₀ 用 连续 flow + 50 步 chunk 绕开这两类瓶颈。

输入→输出链（推理一次 control tick）：

1. 输入：3 路 RGB + 语言 ℓ + $\mathbf{q}_t$
2. VLM 前缀 encode → cache KV（32 ms）
3. 初始化噪声 chunk $\mathbf{A}^0$
4. 10 步 Euler：每步读 cache + 更新 suffix → $\mathbf{v}_\theta$
5. 输出 $\mathbf{A}^1$ 前 25/16 步送 low-level controller

所以这一节是想说：π₀ 的 SOTA 声明建立在 同数据、同任务协议 上的架构对比，而非私有数据 alone。

---

下图概括本篇在「关键数字」节前的核心结果脉络（便于对照后文表格）：

【π₀: A Vision-Language-Action Flow M… · 关键结果概览】

   设定 / 数据          方法要点              主结果
        │                   │                    │
        ▼                   ▼                    ▼
   训练           ──► 方法核心                   ──► …
   评测           ──► 主指标提升                  ──► ↑ 论文主结论

   （对照下方表格中的原文数字与消融）

---

关键数字（What works）

模型与推理

项目	数值
VLM backbone	PaliGemma 3B
Action expert	~300M
总参数	3.3B
π₀-small（无 VLM）	470M
Action horizon $H$	50
Flow 积分步数	10
4090 推理延迟	73 ms onboard / 86 ms off-board WiFi
控制频率	最高 50 Hz

零样本 base model（Fig. 7，10 episodes/task，归一化分）

任务	π₀ full	π₀ 160k parity	OpenVLA	Octo
Shirt folding	近满分	仍 > baselines	低	低
Bussing easy (7 obj)	高	超 baseline	挣扎	有限
Bussing hard (12 obj)	明显领先	同左	低	低
Grocery bagging	领先	同左	低	低

（具体柱状图见论文 Fig. 7；OpenVLA 在同 mixture 上训练仍因 无 chunk 架构受限。）

数据规模（pre-training mixture）：

来源	占比 / 规模
OXE + Bridge + DROID 等	9.1% timesteps
PI 自采 dexterous	903M steps
合计 wall-clock	~10,000+ 小时
任务-机器人 reweight	$n^{0.43}$

Post-training 复杂任务（Fig. 13，10 trials，partial credit）

涵盖：Laundry folding / Mobile laundry / Dryer unload / Table bussing / Box building / To-go box / Packing eggs 等；full π₀（pre+post）在最难任务上 >50% max score，且 pre-train 初始化相对 scratch 提升最大。

所以这一节是想说：数字支撑三条 claim——VLM+flow 架构、万小时 pretrain、post-train 对长程 dexterity 必要。

---

实验结果说明了什么

1. OpenVLA 不是调参问题：同数据 mixture 下仍败，根因是 autoregressive 离散 + 无高频 chunk 架构天花板。

2. VLM init 必要：π₀-small 470M 无 init 仍强，但 语言条件 和 HL 分层 明显吃亏。

3. Pre-train 对"难任务"边际最大：box building、table bussing 等 pre-train 数据里没有 的任务，scratch 几乎不能看，pre+post 仍有一定成功率。

4. Flow vs diffusion 工程侧：10 步 flow + KV cache → 70ms 级，使 50Hz dexterous 可部署；论文称 first flow matching VLA for high-frequency chunks。

5. Recovery 来自 diverse pre-train：仅 polished post-train 数据 → 不会纠错；纯 zero-shot → 动作不够"利索"——与 LLM pre/post 分工类比。

6. Temporal ensembling 在这里不适用：与 ACT 相反，π₀ 刻意 open-loop chunk。

7. Scaling 暗示：论文强调更大 VLM/expert 与更多数据在 fine-tune 曲线中 monotonic 提升（Fig. 11 多档 hour 对比）——foundation model 逻辑与 LLM 类似。

8. Mobile vs fixed-base 分工：Mobile 平台动作维更高（底座位姿），但 zero-shot 最难任务（laundry/box）多在 fixed dexterous 上测——说明 mobility 与 manipulation mastery 在论文里 未完全统一。

所以这一节是想说：实验设计覆盖 zero-shot / language / fine-tune / mastery 四档，系统验证 foundation model recipe。

---

你应该懂的几个新词

• VLA（Vision-Language-Action）：看+听→动 的统一模型；π₀ 是 flow-based VLA。
• Flow Matching：学向量场把噪声 连续.transport 到数据分布；比 DDPM 推理步少。
• Action Expert：与 VLM 共享 attention、独立 FFN 权重 的机器人专用专家（~300M）。
• Action Chunking：一次预测 $H$ 步；π₀ 用 $H=50$。
• Cross-embodiment Training：多机器人 pad 到统一维度联合训。
• Pre-training / Post-training：大混合粗能力 vs 小精标任务对齐（类比 LLM SFT）。
• Proprioception（本体感受）：$\mathbf{q}_t$ 关节角等内部状态。
• High-level VLM policy：输出子语言指令的语义层策略。

所以这一节是想说：读 π₀ 后应能解释为何 OpenVLA 同数据仍不行——差在动作头与 chunk，不只参数量。

---

它有什么搞不定的

1. 数据 recipe 未完全可复现：903M steps 主体为 PI 私有；开源 OXE 仅占 9.1%——社区难完整复刻。

2. 并非所有任务可靠：论文承认部分 eval 不能稳定 near-perfect；需多少 post-train 数据缺乏预测理论。

3. 算力与工程：3.3B + 10 flow steps + 多相机；虽 73ms 可跑，训练 infra 门槛高。

4. Open-loop chunk：25/50 步才 re-plan，突发扰动下 反应滞后（不用 temporal ensemble）。

5. Universality 边界：驾驶、腿式导航等 未验证 是否同 pretrain 可共享。

6. 闭源商业团队主导：权重/API 开放程度随时间变化，以官网为准。

7. 高层 HL 仍可能错指令：π₀-HL 增益小于 π₀-human。

8. Separate agents per task in paper：论文实验多为 每任务单独 fine-tune 的 checkpoint，而非单一 checkpoint 同时做 laundry+bussing——离"一个权重走天下"还有距离。

9. Reward/spec 不在此论文：π₀ 是 模仿学习/BC 式 VLA，非 RL from scratch；失败 recovery 来自 data diversity 而非在线探索。

所以这一节是想说：π₀ 是 prototype foundation model，不是即插即用的 household AGI；落地前需评估数据、算力与任务 checkpoint 策略。

---

它和别的几篇是什么关系

• 上游 · PaliGemma / LLaVA 线：VLM 提供 Internet 语义；π₀ 是 robotics head 延伸。
• 前辈 · RT-2 / OpenVLA：离散 VLA；π₀ 用 continuous flow chunk 补 dexterity 短板。
• 同作者线 · Diffusion Policy / UMI：Chi 的 DP 是动作生成原型；π₀ 把 flow + VLM 推到 foundation scale。
• 硬件/data · Mobile ALOHA / ACT：ALOHA 系机器人出现在 Fig. 5；ACT 是 fine-tune baseline 之一。
• 下游 · π₀.₅ / π-fast / SmolVLA：社区沿 flow VLA + 蒸馏/小型化 继续。
• 对照 · Ch13 三代：DP（验证）→ 3D-DP（感知）→ π₀（基础模型规模）。

所以这一节是想说：π₀ 是 Ch13 叙事线的产业级终点，也是 Ch12 VLA 路线的动作头升级。

---

和本导读的关系

对应 Ch13: 扩散策略 §1.2 表格第三行与全文 π₀ 专节。建议路径：

1. Ch13 §2–3 读懂扩散/flow 与 模态平均 问题；
2. 读 diffusion-policy.md（单任务 DP）；
3. 读本笔记 Method §5.2–5.3（VLM+expert+flow）；
4. Ch12 OpenVLA 对照 离散 vs 连续 动作头。

所以这一节是想说：Ch13 讲"为什么连续动作"，π₀ 讲"如何把连续动作做到 foundation model"。

---

思考题

Q1：为什么 action expert 要用独立权重，而不是直接微调整个 PaliGemma 输出动作？

提示

想 VLM 预训练分布、参数量、以及 robotics token 与 text/image token 梯度冲突。

Q2：π₀ 不用 temporal ensembling，而 ACT 依赖它——可能的原因？

提示

Flow chunk 已 50 步；ensemble 可能 over-smooth 多模态 dexterity；二者控制频率与噪声模型不同。

Q3：为何 OpenVLA 在同 mixture 上训练仍失败，而 UR5e-only OpenVLA 稍好？

提示

Architecture（chunk/high-freq）vs 数据 specialization 的 trade-off。

Q4：pre-train 数据故意"低质量含 recovery"的逻辑，与 LLM RLHF 前 pretrain 有何平行？

提示

Pretrain 覆盖错误分布；post-train 教"Preferred style"，二者缺一会 brittle 或 incompetent。

Q5：18 维 zero-pad 跨形态，小相机会不会学到 pad 维度的虚假相关？

提示

Mask 缺失相机 slot；pad 维动作是否参与 loss？想想 embodiment 条件缺失时模型靠什么区分。

Q6：10 步 flow 比 1000 步 DDPM 少两个数量级——代价是什么？

提示

表达力/校准 vs 延迟；flow 路径直线假设；与图像生成任务差异（作者对 τ 采样的论述）。

Q7：高层 VLM 出 sub-command 与 SayCan 的 LLM+value 有何异同？

提示

π₀-HL 仍靠 π₀ 低层执行连续 chunk；SayCan 用 value 筛 affordance，不共享同一 VLA 权重。

Q8：KV cache 分块为何必须禁止图像 token 看动作 token？

提示

VLM 预训练时从未见过 robotics suffix；若双向 attention 让 image 读 noisy action，会 shift 激活分布，损害 Internet 语义。块间 causal 隔离是 train-test 分布对齐 的工程选择。

---

一些好奇心问答（FAQ）

π₀ 名字怎么读？
读 "pi-zero"；$\pi$ 常表示策略（policy），下标 0 指 foundation / first generation。

和 Stable Diffusion 什么关系？
同属 生成式建模（flow/diffusion 家族），但 π₀ 生成的是 动作轨迹，不是像素；训练目标类似（去噪/向量场），域完全不同。

开源吗？
论文与 blog 公开；权重与数据 以 Physical Intelligence 官方发布为准（社区常有 π-fast 等衍生开源）。

推理 73ms，为何还说 50Hz？
50Hz 指 控制环；每 0.5s 才 re-infer 一次（25 步 open-loop），不是每 20ms 跑一次 3.3B 模型。Mobile 机 WiFi off-board 时总延迟 ~86ms，仍满足 chunk 内开环执行。

与 Ch13 Diffusion Policy 的 Ta=8 对比？
DP 常只 执行 chunk 前 8 步 再 replan；π₀ 执行 16–25 步 才 replan，更偏 open-loop，换更平滑的 flow chunk 但 perturbation 反应更慢。

---

如果你想再深入

1. Blog + 视频：https://physicalintelligence.company/blog/pi0 — 叠衣服、bus 长视频必看。
2. Appendix A-B：attention mask、τ 采样 Beta 图、action expert 宽度配置。
3. 对照读：openvla.md（离散 VLA）、diffusion-policy.md（连续动作起源）。
4. Follow-up：π₀.₅、π-fast 论文/产品页。
5. 训练 infra：700k steps × 3.3B × 多 embodiment——工业界读者重点。

---

原文信息

@article{black2024pi0,
  title   = {$\pi_0$: A Vision-Language-Action Flow Model for General Robot Control},
  author  = {Kevin Black and Noah Brown and Danny Driess and others},
  journal = {arXiv preprint arXiv:2410.24164},
  year    = {2024},
  url     = {https://arxiv.org/abs/2410.24164}
}

• arXiv：2410.24164
• Blog：https://physicalintelligence.company/blog/pi0
• 机构：Physical Intelligence, San Francisco

◼

@online{eai_pi0_2026,
  title       = {(readable note) π₀: A Vision-Language-Action Flow Model for General Robot Control},
  author      = {Xun, Jason},
  year        = {2026},
  note        = {Note on a 2024 paper},
  howpublished = {\url{https://estelledc.github.io/embodied-ai-reading-station/papers/pi0/}},
  organization = {Embodied AI: Zero to One}
}