AlanaVLM: A Multimodal Embodied AI Foundation Model for Egocentric Video Understanding

这是一份面向零基础读者的结构化研究笔记。本文只记录公开论文文本、arXiv 元数据和公开项目链接能支持的结论；本站没有本地训练 AlanaVLM，也没有复现 OpenEQA 评测，因此所有分数都只写成论文报告。

一句话讲什么（TL;DR）

AlanaVLM 是一个面向 egocentric video understanding 的 multimodal embodied AI foundation model。它关注第一视角视频，也就是从人或机器人“自己眼睛”看到的画面，而不是第三人称摄像机拍到的场景。论文提出 EVUD，Egocentric Video Understanding Dataset，并用参数高效方法训练一个 7B VLM，使其在 OpenEQA 这类 embodied question answering benchmark 上提升表现。

论文报告 EVUD 包含 egocentric video captioning 和 video question answering 数据，核心构造包含 Ego4D VQA、Gemini 生成的 egocentric QA、VSR、EgoClip captioning、HM3D captioning 等。AlanaVLM 以 Chat-UniVi 为底座，使用 LoRA 训练，在 OpenEQA 上超过 base model 4.4%，并报告相比同规模开源模型和部分 proprietary VLM 的竞争性表现。

如果只记一个直觉：普通 VLM 像看监控，AlanaVLM 想让模型学会“戴着相机生活的人”看到什么、做过什么、物体在哪里、接下来怎么理解这个空间。

所以这一节是想说：AlanaVLM 把 embodied VLM 的重点放到第一视角视频理解。

这是个什么场景

具身智能不是只看静态图片。真实机器人、AR 眼镜、可穿戴助手、家庭助理都可能以第一视角持续观察世界。第一视角视频里，摄像机会跟着身体移动，画面有晃动、遮挡、视角切换和动作过程。模型不仅要识别物体，还要理解“我刚刚看过什么”“这个东西在哪里”“我如何和环境互动”。

很多 VLM 训练在第三人称视频或静态图像上。第三人称像旁观者看别人做饭；第一视角像你自己正在做饭。两者信息很不一样。第一视角缺少全局视角，但包含行动意图、手部动作、移动轨迹和近距离物体交互。

OpenEQA 这类 benchmark 也强调 embodied question answering。问题可能是“我刚刚在哪里看到那个物体”“某个房间里有什么”“哪个物体在桌子旁边”。这些问题不是普通图片问答，而是要求模型使用 episodic memory 和空间理解。

第三人称 vs 第一视角

┌───────────────────┐       ┌───────────────────┐
│ Third-person video │       │ Egocentric video   │
│ 像旁观监控          │       │ 像自己戴相机        │
│ 全局稳定            │       │ 晃动、遮挡、动作线索 │
└─────────┬─────────┘       └─────────┬─────────┘
          │                           │
          ▼                           ▼
  ordinary video VLM          embodied video VLM

AlanaVLM 的场景就是：给模型补第一视角视频经验，让它更适合机器人、可穿戴设备和个人助理中的具身理解。

所以这一节是想说：第一视角视频是 embodied AI 里很核心、但常被普通 VLM 忽略的数据形态。

之前的人怎么做的，为什么不够好

已有 VLM 很多，但不少模型主要训练在图片、短视频或第三人称数据上。它们可以回答“图片里有什么”，但未必能回答“我刚刚经过的房间里有什么”“我把杯子放在哪里了”“从我的视角看，左边有什么”。

另一个问题是 egocentric 数据难收集和标注。第一视角视频很长、很杂、包含隐私，还需要把视频片段和问题答案对应起来。单纯让模型看 Ego4D 这类视频还不够，还要把它转成 instruction-tuning 可用的 caption 和 QA 格式。

第三个问题是模型训练成本。直接 full fine-tune 一个大 VLM 很贵。AlanaVLM 选择参数高效方法 LoRA，让 7B 模型在有限 compute 下学习 EVUD。这对研究型项目和可复现实验更实际。

最后，普通 VLM 的空间理解不足。OpenEQA 包含 ScanNet 和 HM3D 场景，问题涉及 object recognition、spatial reasoning、functional reasoning、world knowledge 等类别。模型需要连接视觉、空间和常识。

所以这一节是想说：旧 VLM 缺第一视角经验、缺 embodied QA 数据，也缺经济可训练的路线。

这篇论文的新想法

第一，新想法是 EVUD，Egocentric Video Understanding Dataset。它把多个来源组织成用于 VLM instruction tuning 的第一视角视频理解数据，包括 video QA、captioning、visual spatial reasoning 和 synthetic HM3D captions。

第二，新想法是用 parameter-efficient training 训练 embodied VLM。论文使用 Chat-UniVi 作为 video-capable foundation model，用 LoRA 训练 AlanaVLM，而不是从零训练。

第三，新想法是把 OpenEQA 作为核心评测。OpenEQA 是 embodied question answering benchmark，问题更接近“我在环境中经历过什么”，而不是普通图像问答。

第四，新想法是把数据构造过程做成可复用流水线。论文用 Gemini Pro 1.5 生成部分 QA，用人工抽样评估质量，把 Ego4D、VSR、EgoClip、HM3D 等来源合成训练 mixture。

AlanaVLM 训练路线

Ego4D / VSR / EgoClip / HM3D
          │
          ▼
EVUD: egocentric video caption + QA
          │
          ▼
Chat-UniVi base model
          │
          ▼
LoRA fine-tuning
          │
          ▼
AlanaVLM on OpenEQA

所以这一节是想说：AlanaVLM 的贡献是数据 EVUD + 低成本训练 + embodied QA 评测。

它分几步做的（方法）

第 1 步：构造 Ego4D VQA 人工标注部分

输入是 Ego4D 这类第一视角视频数据。Ego4D 包含人类日常活动的 egocentric clips。论文从中抽取 clips，并使用已有人工标注 QA。

处理过程是把视频片段和问题答案整理成 instruction-tuning 格式。模型不是直接学原始视频，而是学“看这段视频，然后回答这个问题”。输出是 QA turns，可以喂给 VLM 训练。

这一部分的价值是人工标注更可信。它为 EVUD 提供一部分高质量锚点，避免数据完全依赖生成模型。

第 2 步：用 Gemini 生成 Ego4D QA

论文还用 Gemini Pro 1.5 以 zero-shot multimodal 方式为 clips 生成 QA。文本里提到 13,789 clips 成功通过处理，形成 96,523 egocentric video QA pairs；训练中使用 12,978 clips。

输入是 egocentric video clips 和 prompts。处理是让 Gemini 生成不同类别的问题与答案，再解析输出。输出是更大规模的 QA 数据。

这一步像“让强模型帮忙出题”。好处是扩展快，坏处是生成数据可能有错误、偏差或幻觉。论文因此做了人工抽样评估，用 200 clips / 1,400 examples 检查问题、类别和答案相关性。

第 3 步：加入 VSR 数据补空间推理

VSR 是 Visual Spatial Reasoning 数据。AlanaVLM 使用 VSR 来加强空间关系理解。输入是图像和空间关系句子，处理是把它们变成 VLM 可训练样本，输出是模型对物体关系更敏感。

这一步很重要，因为 embodied QA 经常问空间问题。第一视角视频中，物体可能只出现几帧，且随着人移动发生视角变化。模型要知道“左边”“后面”“桌上”“靠近门”这些关系。

第 4 步：加入 EgoClip captioning

EgoClip 提供 egocentric video-caption pairs。Captioning 的价值是教模型把第一视角视频概括成自然语言，而不只是回答离散问题。

输入是 video clip，处理是 caption learning，输出是对事件、动作、物体和场景的描述能力。论文提到选取约 7,000 clips with associated captions 加入 EVUD。

Captioning 能补充 QA 的不足。QA 只训练模型回答某些问题，captioning 训练模型主动描述场景，帮助形成更全面的视频理解。

第 5 步：用 HM3D 生成和 OpenEQA 对齐的训练数据

OpenEQA 有 ScanNet 和 HM3D 场景。论文指出很多 video-based VLM 不一定自然适配 HM3D，因此用 Habitat simulator 生成 shortest paths 到相关 objects，并用 prompts 生成 captioning 数据。

输入是 HM3D 场景、OpenEQA 里的 noun phrases 和导航路径。处理是生成视频轨迹和描述。输出是更贴近 OpenEQA 评测场景的训练数据。

这一步解决 domain mismatch。模型如果只看真实第一视角视频，可能对 HM3D 的虚拟场景不熟；加入 HM3D 相关数据能减少评测分布差异。

第 6 步：LoRA fine-tuning Chat-UniVi

AlanaVLM 基于 Chat-UniVi，使用 Low-Rank Adaptation，也就是 LoRA。LoRA 的直觉是：不改动整个大模型，只训练一小组低秩参数，让模型学习新任务。

输入是 EVUD mixture 和 base model。处理是 LoRA fine-tuning，论文报告模型是 7B parameter，并使用 A10 NVIDIA GPUs，总 compute 约 80 GPU-hours。输出是 AlanaVLM。

这种方式适合资源有限的研究。它不会像 full training 那样昂贵，但也有局限：论文自己也提到 LoRA 可能没有完全利用 EVUD。

第 7 步：在 OpenEQA 上评估

OpenEQA 使用 GPT-4 或 Llama-3 70B 等模型评估生成答案质量。论文比较 blind LLMs、proprietary multi-frame VLMs、open-source multi-frame VLMs 和 AlanaVLM ablations。

输出指标是不同类别和不同场景子集上的 answer quality。论文报告 AlanaVLM 相比 Chat-UniVi base 提升 4.4%，并在一些设置中超过 Gemini 1.0 Pro Vision、Claude 3 等模型，同时在 spatial reasoning 上有竞争性结果。

这里要小心：OpenEQA 评分依赖 LLM judge，这不是人工逐题评估。它能提供可比较信号，但仍可能受 judge 偏好、prompt 和答案形式影响。

所以这一节是想说：AlanaVLM 的方法是把第一视角视频整理成 EVUD，再用 LoRA 把 video VLM 推向 embodied QA。

关键数字

数字	原文语境	这说明什么
7B	AlanaVLM model size	中等规模 VLM，适合 LoRA 后训练
29,477	EVUD examples	数据集初始构成规模
13,789	clips passed Gemini processing	生成 QA 部分的数据处理结果
96,523	egocentric video QA pairs	合成 QA 扩展后规模
12,978	clips used in EVUD training QA turns	训练用 clips 规模
7,000	EgoClip caption clips	第一视角 captioning 数据来源
4.4%	over Chat-UniVi base on OpenEQA	论文报告的主要提升之一
80 GPU-hours	training compute	LoRA 训练相对可控

这些数字全部是论文报告，不是本站复现实验。尤其 4.4% 要回到 OpenEQA 表格看具体设置。

所以这一节是想说：AlanaVLM 的核心证据是 EVUD 数据构造规模和 OpenEQA 提升。

实验结果说明了什么

实验说明第一视角数据对 embodied VLM 有价值。AlanaVLM 相比 Chat-UniVi base 提升，说明普通 video VLM 经过 egocentric EVUD 训练后，更适合回答 embodied video questions。

实验也说明数据 mixture 很重要。VQA、VSR、EgoClip、HM3D 的组合会影响 ScanNet、HM3D 和 all instances 上的表现。不同数据源补不同能力：VQA 补问答，VSR 补空间关系，EgoClip 补视频描述，HM3D 补评测场景匹配。

不过，实验也有边界。OpenEQA 使用 LLM judge 评估答案质量，不能完全替代人工评审。模型能回答“我看见了什么”也不等于能控制机器人动作。AlanaVLM 更偏 perception and memory，不是 action policy。

论文还指出 LoRA 训练可能没有完全发挥 EVUD 潜力。如果 full fine-tuning 或更大模型训练，结果可能不同；如果生成数据质量不足，也可能引入噪声。

所以这一节是想说：第一视角训练确实改善 embodied QA，但它仍是理解模型，不是执行模型。

术语表

• Egocentric video：第一视角视频，从人的眼睛、胸前相机、头戴设备或机器人自身视角拍摄。
• EVUD：Egocentric Video Understanding Dataset，本文构造的第一视角视频理解数据集。
• OpenEQA：Embodied question answering benchmark，测试模型对环境经历和空间问题的回答。
• VSR：Visual Spatial Reasoning，视觉空间关系推理数据。
• EgoClip：第一视角视频 caption 数据来源。
• HM3D：Habitat-Matterport 3D dataset，常用于 embodied AI 模拟环境。
• LoRA：Low-Rank Adaptation，只训练少量低秩参数的高效微调方法。
• LLM judge：用大语言模型评价答案质量的评估方式。

所以这一节是想说：AlanaVLM 的关键词都围绕第一视角视频和具身问答。

局限和边界

第一，AlanaVLM 不是控制模型。它回答 embodied video questions，但不输出机器人动作或闭环策略。

第二，EVUD 部分数据由 Gemini 生成，可能包含幻觉、偏差或不适合 clip 的问题。人工抽样评估能降低风险，但不能保证全量无错。

第三，OpenEQA 的 LLM judge 可能有评分偏差。模型得分提升是有价值信号，但不是绝对真理。

第四，LoRA 训练成本低，但可能限制模型充分吸收数据。论文也承认这一点。

第五，第一视角数据可能涉及隐私和安全问题。未来真实可穿戴或机器人数据需要更严格匿名化和授权。

所以这一节是想说：AlanaVLM 推进了第一视角理解，但数据质量、评估方式和隐私边界都要谨慎。

和其他论文的关系

和 mimo-embodied 相比，AlanaVLM 更窄但更聚焦。MiMo 想统一驾驶和具身任务，AlanaVLM 专注第一视角视频理解。

和 open-h-embodiment 相比，AlanaVLM 主要学视觉问答和记忆，不处理机器人 kinematics。Open-H 则直接面向医疗机器人动作数据和 policy/world model。

和 embodied-navigation-foundation-model 相比，AlanaVLM 不直接预测导航轨迹，但 OpenEQA 和 HM3D 都要求空间记忆和环境理解，属于导航前置能力。

和 3d-generation-for-embodied-ai 相比，AlanaVLM 消费环境视频，3D generation survey 讨论如何生成环境和资产。一个是理解已有经历，一个是生成可训练世界。

所以这一节是想说：AlanaVLM 是 Batch 6 里的 egocentric perception 分支。

和本导读的关系

本站很多 VLM 笔记从 CLIP、LLaVA、Flamingo 等第三人称视觉语言模型讲起。AlanaVLM 告诉我们，具身智能还需要“第一人称记忆”：模型要理解自己在环境中看到过什么、移动过哪里、物体和行动有什么关系。

它适合放在 multimodal 主题里，也能和 navigation、world-model、VLA 主题交叉阅读。读者可以把它当成从普通 VLM 走向 embodied assistant 的一座桥。

所以这一节是想说：AlanaVLM 帮本站补上第一视角视频理解这块拼图。

思考题

1. 第一视角视频相比第三人称视频，多了哪些具身线索？少了哪些全局信息？
2. 为什么 EVUD 需要同时包含 QA、captioning、VSR 和 HM3D 数据？
3. 用 Gemini 生成训练数据有什么好处和风险？
4. OpenEQA 的 LLM judge 评分为什么需要谨慎解读？
5. 如果把 AlanaVLM 接到机器人上，还缺哪些模块才能执行动作？

FAQ

Q：AlanaVLM 是不是机器人控制模型？ A：不是。它是 embodied video understanding / question answering 模型，不是低层控制 policy。

Q：EVUD 全部是人工标注吗？ A：不是。它混合了人工标注、Gemini 生成 QA、VSR、EgoClip captioning、HM3D captioning 等来源。

Q：4.4% 提升是不是本站复现的？ A：不是。这是论文在 OpenEQA 上报告的相对 Chat-UniVi base 的提升。

Q：为什么第一视角视频重要？ A：因为机器人和可穿戴助手通常就是从自身视角观察世界，模型需要理解动作过程、遮挡、视角变化和空间记忆。

进一步读什么

• OpenEQA：理解 embodied question answering benchmark。
• Ego4D：理解第一视角大规模视频数据。
• LLaVA / Flamingo / Chat-UniVi：理解 VLM 和 video VLM 基础。
• embodied-navigation-foundation-model：理解空间记忆如何连接到导航。

精读补充：为什么第一视角不是“多一个摄像机角度”

读 AlanaVLM 时，一个容易低估的点是：egocentric video 不只是第三人称视频换了个角度。第一视角把观察和行动绑在一起。画面为什么转向、为什么靠近某个物体、为什么手突然遮挡镜头，这些都和主体正在做什么有关。普通 VLM 如果只把视频当作帧序列，就可能忽略“身体正在选择看哪里”这个信息。

这也是 EVUD 的价值所在。它不是只收集更多视频，而是把第一视角视频变成可训练的问题、答案和描述。一个 clip 可以被问“物体在哪里”“刚才发生了什么”“这个动作之后环境有什么变化”。这些问题让模型学习 episodic memory，也就是关于自己经历过的短期记忆。

不过，第一视角数据也带来更高的数据噪声。头戴或胸前相机常常晃动、模糊、遮挡，用户可能只看见物体一瞬间。生成 QA 时，如果强模型没有真正看到关键帧，就可能编出合理但不准确的问题答案。因此，AlanaVLM 的数据路线一定要和质量控制一起理解。

对机器人来说，第一视角理解还只是中间层。模型知道“杯子刚才在左侧桌面”之后，还需要 localization、mapping、planning、control 和 safety layer 才能拿到杯子。AlanaVLM 的贡献更像感知记忆模块，不是完整 embodied agent。

所以这一节是想说：第一视角视频的关键是把观察、动作和短期记忆连起来，而不是单纯增加训练帧数。

后续核验清单

如果之后要把本文从 UNVERIFIED 提升到人工核验状态，应逐项核对：EVUD 的 29,477 examples、13,789 clips、96,523 QA pairs、12,978 clips、7,000 EgoClip clips；AlanaVLM 7B、LoRA、80 GPU-hours；OpenEQA 提升 4.4%；3.6% 相关表述对应哪个 baseline；代码和数据许可证是否按原文表述。

原文信息

• arXiv: 2406.13807
• PDF: https://arxiv.org/pdf/2406.13807
• Code: https://github.com/alanaai/EVUD
• ACL Anthology: https://aclanthology.org/2024.findings-emnlp.649/

@article{suglia2024alanavlm,
  title = {AlanaVLM: A Multimodal Embodied AI Foundation Model for Egocentric Video Understanding},
  author = {Suglia, Alessandro and Greco, Claudio and Baker, Katie and Part, Jose L. and Papaioannou, Ioannis and Eshghi, Arash and others},
  journal = {arXiv preprint arXiv:2406.13807},
  year = {2024}
}

◼

@online{eai_alanavlm_2026,
  title       = {(readable note) AlanaVLM: A Multimodal Embodied AI Foundation Model for Egocentric Video Understanding},
  author      = {Xun, Jason},
  year        = {2026},
  note        = {Note on a 2024 paper},
  howpublished = {\url{https://estelledc.github.io/embodied-ai-reading-station/papers/alanavlm/}},
  organization = {Embodied AI: Zero to One}
}