ProcTHOR

本笔记基于摘要 + 公开资料，未读全文。

一句话讲什么（TL;DR）

过去训练 AI 在屋里走来走去，得人工一间一间搭样板房，慢且少。ProcTHOR 让电脑按规则批量造 1 万套房，AI 见多了，换个没去过的房子也能找到东西。

这是个什么场景 — 日常类比

设想你刚搬进朋友家，他让你"去厨房帮忙拿一下冰箱里的可乐"。你从没来过这屋，但你不会迷路——因为你这辈子见过几百个厨房，知道冰箱长啥样、一般摆在哪、门怎么开。换句话说，你"会找东西"不是因为背下了某一张户型图，而是因为见过的房子够多。

ProcTHOR 想给 AI 也补上这一课。在它之前，研究者像装修师傅一样手工一间一间搭训练房，造得再精致也就几十几百套，AI 训练完一换房间就懵。ProcTHOR 改成写一台房屋生成机：随机抽户型（两室一厅还是 loft）、随机摆家具、按物理规则保证抽屉能拉灯能开，一键批量产出 1 万套（论文的标志数字 10K Houses）。AI 在这 1 万套里"长大"，到了真实评测场景才不至于把训练房的墙纸花色当成"家"的本质。

之前的人怎么做的 — 3-5 bullet

• AI2-THOR / RoboTHOR / Habitat-Matterport：手工建模或扫描真实房间，每个场景都是艺术家或扫描设备生产的，质量高但总量极有限（几十到几百量级）
• Replica / Gibson：3D 扫描真实公寓，几何真实但不可交互（抽屉打不开，物体不能拿），对操纵任务不够用
• iGibson 2.0 等：开始引入可交互物体，但场景数量仍受人工建模上限约束
• 共同瓶颈：场景数 << 网络容量，一旦换到没见过的房间就掉点严重，更像是"记住了几套房"而不是"学会了在房子里行动"

这篇论文的关键想法

核心赌注：用程序化生成代替人工建模，让场景数量从"几百"跳到"几万"，看会发生什么。

这背后有两层判断：

1. 多样性 > 单场景保真度（在当前阶段）。一个粗糙但多样的世界，比一个精致但单调的世界更利于学到迁移性强的 policy。这和 NLP 里"暴力堆数据 + scaling law"是同一种直觉，搬到 embodied 上。
2. 可交互性 + 物理一致性必须保留。光有几何不够，agent 要能开抽屉、拿杯子、推椅子；所以生成的房间不是静态网格，是 AI2-THOR 引擎里带语义和物理的可交互场景。

它怎么做的（方法）— 3-4 段

第一步：户型骨架生成 — 像建筑师先打草图。 真人盖房不会拍脑袋画，得先定几室几厅、客厅挨着厨房还是卧室、走廊怎么连。ProcTHOR 就按这种规则随机采样：抽几间房、定房间类型（厨房/客厅/卧室/卫生间）、决定谁挨着谁。约束保证生成的是一个能住人的家，而不是奇形怪状的迷宫。

第二步：资产填充 — 像往空房子里搬家具。 骨架有了，还得往里塞东西。每个房间按"角色"去资产库（一个家具仓库）抽件——厨房必摆炉灶+冰箱+橱柜，卧室必有床。摆放还要守两套规矩：物理上不能悬浮、不能穿模；语义上杯子得放桌面、不能放床上。资产本身复用并扩展了 AI2-THOR 已有的可交互物体（即抽屉真能拉、门真能开的那种 3D 模型）。

等等，先慢一拍——AI2-THOR 是啥？简单说就是 Allen Institute for AI 做的一个室内 3D 仿真器，相当于一个"AI 专用的我的世界"。ProcTHOR 不是从零造仿真器，是给它接了个自动出图的房屋生成器。

第三步：批量产出 + 训练 — 像用模具批量印房子。 生成器跑一遍就吐出 1 万套，命名 ProcTHOR-10K。然后让 AI 在这 1 万套里反复训练导航、ObjectNav（找物体）、操纵任务，靠大批量并行加速。论文最有冲击力的发现是：只在 ProcTHOR-10K 上训练，AI 拿到没见过的下游评测集（zero-shot，零样本，即没专门为目标任务调过参）也能刷到 SOTA——证明"房间数量"这件事本身就能换来跨场景的能力。

第四步：开源整套生成器和数据。 ProcTHOR 卖的不是一份固定数据集，是一台生成器——后人想要 10 万套、100 万套就再跑一次。这点是它后续影响力的关键。

实验在做什么

论文在多个标准 embodied 任务上做评测：ObjectNav（找物体）、ArmPointNav（机械臂导航/操作）、RoomNav 等。核心对照实验大致回答：

• 在 ProcTHOR 合成数据上训练，直接迁移到真实/其它合成 benchmark（如 RoboTHOR、Habitat、ArchitecTHOR）能到什么水平
• 房屋数量从 100 → 1K → 10K，性能曲线如何（验证"规模驱动迁移"假设，具体增益数字需读原文）
• 与之前需要在目标 benchmark 上 fine-tune 的方法相比，零样本表现是否已经接近或超过

结论方向：合成场景规模化 + 物理可交互 + 程序化多样性，确实能撑起一个 strong embodied 预训练范式。具体每个 benchmark 的 SR/SPL 数字需要查原文表格。

你应该懂的几个新词 — 4-6 个

• Procedural Generation（程序化生成）：用规则/算法批量产出内容，而不是手工逐个建模。游戏行业很常见（Minecraft 地形、暗黑破坏神地下城）。
• Embodied AI（具身 AI）：agent 有"身体"，要在 3D 环境里移动、感知、操作物体，而不只是处理静态图像/文字。
• AI2-THOR：Allen Institute for AI 推出的交互式 3D 仿真平台，ProcTHOR 是它的"场景生成器扩展"。
• ObjectNav：一类标准任务——给 agent 一个物体名（"找冰箱"），它要在未知房间里走过去。考导航 + 视觉语义。
• Zero-shot transfer（零样本迁移）：训练时没见过目标数据集的任何样本，直接拿过去测。能做到说明学到的是通用能力。
• Sim-to-Real / Sim-to-Sim：仿真训练的策略，在另一个仿真器或真实机器人上能不能用。ProcTHOR 主打 sim-to-sim 迁移能力。

它和其他论文什么关系

• AI2-THOR / RoboTHOR / Habitat：ProcTHOR 站在 AI2-THOR 肩膀上，是其生态的"数据放大器"
• Habitat 2.0 / iGibson 2.0：同时期的可交互仿真平台，三者构成 embodied 仿真的 classic 三巨头，路线略不同（Habitat 走真实扫描，iGibson 走物理精度，ProcTHOR 走程序化规模）
• 后续 PhoneBot / Holodeck（2024）：把 ProcTHOR 思路 + LLM 结合——用语言驱动生成场景，"给我造一间科幻办公室"。可以理解为 ProcTHOR 的 LLM 升级版
• scaling law 类工作（NLP/CV 里）：ProcTHOR 是 embodied 领域早期"用合成数据规模换迁移性"的代表，思路同源

我建议这样读 — 3-4 步

1. 先看 abstract + figure 1，建立"生成器 + 1 万房 + 零样本 SOTA"的直觉
2. 翻到方法章节，重点看生成器的约束系统（几何/语义/物理三层），这是工程量最大的部分
3. 看实验中"房屋数量 vs 性能"的曲线（如果有），这是论文最能说明问题的图
4. 对照阅读 Holodeck（2024）：看 ProcTHOR 的规则系统如何被 LLM 自然语言接管，理解技术路径演化

为什么值得读

• 思路上：是 embodied AI 里把"scaling 数据"这件事讲清楚的标志性论文之一，让后续整个领域开始认真考虑合成场景规模化
• 工程上：生成器的约束设计、可交互资产库的组织方式，是任何想做仿真平台的人都该参考的样本
• 影响力上：开源生成器 + 数据被广泛复用，后续 LLM × 场景生成（Holodeck 等）都可以追溯到这条线
• 对零基础的人友好：方法核心是"规则 + 采样"，不需要太多新数学就能看懂，适合作为进入 embodied 仿真领域的第一篇深读

◼