VLM Foundation · Plate Nº 1

LLaVA: Visual Instruction Tuning

24 min read · 8419 字 · ⭐⭐ · 长篇结构化

Guide Ch01 中讲解 Guide Ch02 中讲解 Guide Ch03 中讲解 Guide Ch04 中讲解 Guide Ch06 中讲解 Guide Ch07 中讲解 Guide Ch08 中讲解 Guide Ch09 中讲解 Guide Ch11 中讲解 Guide Ch12 中讲解 Guide Ch18 中讲解 Guide Ch22 中讲解

📌 系列说明：本篇是 LLaVA 初代（2023-04，Visual Instruction Tuning），也是本站 13 篇任务论文之一、英文汇报 deck 的主角。半年后的改进版见 LLaVA-1.5——更高分辨率 + 学术数据配方，是 VLM 主题的入门 primer。

LLaVA: Visual Instruction Tuning

这是一份给"完全没接触过 AI"的读者看的精读笔记。语言尽量像聊天，公式全部翻译成人话。

一句话讲什么（TL;DR）

给一个只会打字聊天的 AI 装上眼睛——你随手拍张照片发过去，它能看着图陪你说话。

所以这一节是想说：这篇论文做出了一个"会看图的聊天 AI"。

这是个什么场景

周日傍晚，你打开冰箱拍了张照，发给手机里的 AI 助手：

"我这冰箱还能凑出一份酸奶燕麦碗吗？"

你想要的回答是："看到一盒草莓酸奶 + 半袋燕麦，可以"。最好它还能补一句"上层那盒蓝莓也快过期了，一起放进去吧"。

但在 2023 年初，市面上的 AI 大致只有两种，都满足不了你：

只会聊天的 AI：能听懂你打字，但完全看不见图。像隔着电话的客服——你拍照过去它只能回"看不到呢"。
只会"扫一眼"的 AI：识别图里有什么物体，但不会陪你聊。像超市自助结账机扫到苹果就蹦出"苹果 ¥4.5"，你问它"晚饭吃啥"它一脸懵。

LLaVA 要做的，就是把这两种 AI 缝成一个：既看得见图，又能按你说的话回答。听上去顺理成章，可在 2023 年初的开源世界里，还没人真做出来。

所以这一节是想说：LLaVA 要造的是一个"既有眼睛、又会聊天"的 AI 助手。

之前的人怎么做的，为什么不够好

方案 A：把图片识别工具和聊天 AI 拼一起 类比：你对着翻译笔说话，翻译笔再把英文打字给一个不会英文的客服。中间要经过两个人转述，容易丢信息。
方案 B：用 BLIP-2 这类已有模型 类比：这种模型像"看到图就背一段固定描述"的导游。你问"这家店有没有素食"，它只会回答"图里有一家拉面店"——它只会描述，不会按你的问题作答。
方案 C：用 Flamingo 这种闭源模型 类比：能力强一点的导游，但讲解词都被锁在保险柜里——不开源，外面的人没法学也没法改。
核心难题：没有合适的"练习题" 要训练一个"看图 + 听指令 + 给答案"的 AI，得先有一大堆这样的练习题（图 + 问题 + 标准答案）。但人手写一条这样的题超贵——既要会看图、又要会编问题、还得写出像样的答案。
结论：真正缺的不是模型本身，是"练习题"。

所以这一节是想说：以前没人能做出这种 AI，主要是因为没人有这么大一套"看图问答"的练习题。

这篇论文的新想法

想象你要给一群学生编一本"看图作文练习册"，但请不起会画画的老师。怎么办？

作者的办法：找一个根本看不见图、但作文功底极强的老师 GPT-4——把每张图配上一段文字描述，让它"凭描述脑补图"，再批量出题。出完的 158K 道题，就是练习册。

听起来反直觉——一个看不见图的家伙怎么出"看图题"？后面会讲。

所以这一节是想说：核心创新是用 GPT-4 自动出"看图练习题"，绕开了人工标注的高昂成本。

它分几步做的（方法）

整个论文做了 4 件事：造练习题、设计模型结构、分阶段训练、设计评分方式。

1. 让 GPT-4 当出题老师，造 158K 道看图练习题

类比

你想教一个学徒做菜，但师傅住在另一个城市，没法到现场。怎么办？

你把每道菜：拍照、量好克数、写成文字菜谱，邮寄过去。师傅根据菜谱，写出一套"如果学徒问 X，你该怎么回答"的练习题。

师傅其实没看到菜本身，只是看了菜谱。但因为菜谱足够详细，师傅出的题完全合理。

LLaVA 用的就是这个套路：

师傅=GPT-4（一个非常会答题的纯文字 AI，不会看图）
菜谱=每张图配的两种文字资料：
- 图片描述：一两句话写出图里有什么。
- 物体框坐标：告诉 GPT"桌子在画面左下角，宽 0.3，高 0.2"。
练习题=158,000 条"图 + 问题 + 答案"。

图片描述（caption）：人写的一两句话，总结一张图里发生了什么。比如"两个小朋友在公园玩滑梯"。

物体框（bounding box）：用一个矩形框出图里某个东西的位置和大小。坐标就是这个矩形左上角和右下角在画面上的位置。

它在干什么

拿一张已经有人写好描述和物体框的图（来自 COCO 这个公开图库）。
把这些文字塞给 GPT-4，开头写一句："假装你能看到这张图……"。
再给 GPT-4 看 2-3 个手写的示范题。
让它照葫芦画瓢，编出更多问答。

生成出来的三种练习题

多轮对话：模仿用户和 AI 一来一往。"图里有几个人？"→"两个"→"他们在干嘛？"→"在玩滑梯"。共 58,000 条。
详细描述：要求 AI 用一段话把图描述清楚。共 23,000 条。
复杂推理：跨多个物体动脑筋。"假设这个人很饿，他会先伸手拿哪样东西？"共 77,000 条。

为什么这步有用

人工写一条这种题要好几美元，GPT-4 自动出题只要几美分——便宜 100 倍。
三种题混合，让模型学到"会聊天 + 会描述 + 会推理"三种能力。后面的实验也证明：只要把"复杂推理"那 77K 条去掉，分数会掉很多。

所以这一节是想说：用 GPT-4 当老师批量造题，用最低成本搞定了最缺的那块——练习册。

2. 模型结构：把"眼睛"和"嘴巴"用一根管子接起来

类比

你有一台老式电视机，只能播一种格式的录像带。手里却是另一种格式的带子。怎么办？

中间塞一个简单的"格式转换器"——一块小电路板，把信号转成电视认识的格式。

LLaVA 就是这个思路：

眼睛：一个已经训练好的图片识别模型（叫 CLIP）。给它一张图，它会输出一串数字向量，相当于"这张图的数字摘要"。
嘴巴：一个已经训练好的聊天 AI（叫 Vicuna）。它本来只认"词的数字向量"。
格式转换器：一个数字表格（论文里叫投影矩阵 W），负责把眼睛输出的数字翻译成嘴巴认识的格式。

向量：就是一串数字，比如 (0.3, 0.7, -0.1, ...)。两个向量越像，几何上夹角越小——这点高中课本讲过。AI 把"一张图"或"一个词"变成几千维的向量来处理。

矩阵：一张数字表格，有行有列。"矩阵 × 向量"是一种数字运算，效果就是把一个向量按某种规则变成另一个向量——可以理解成"用一张对照表查一下，把旧编码翻成新编码"。

CLIP：OpenAI 训练的一个图片识别模型，给它一张图，能返回这张图的数字摘要。这里只用到它当"眼睛"，本身不再训练。

Vicuna：一个开源的聊天 AI，可以理解成 ChatGPT 的免费亲戚。这里当"嘴巴"。

它在干什么

给 CLIP 一张图（224×224 像素的小图）。
CLIP 把图切成 16×16=256 个小方块（像把照片裁成马赛克），每个方块输出一个 1024 维向量。
用一个 1024→4096 的数字表格（W）把每个向量翻成 4096 维——刚好对上 Vicuna 的"词向量"格式。
把这 256 个翻译后的向量当成"假装是词的输入"，和真正的文字一起塞给 Vicuna。
Vicuna 像平常聊天那样吐出回答。

关键公式翻译成人话

原文写：H_v = W · Z_v

人话："翻译过的图向量 = 数字表格 × 原始图向量"。一行查表运算，没了。

为什么这步有用

这种"格式转换器"做得故意简单——只用一层数字表格，参数只占整个模型的 0.03%。
简单的好处：训练快、显存省、bug 少。作者两周内就跑完了十几组对比实验。
同期别人做的"转换器"复杂得多（双向交互、加门控等），但 LLaVA 证明：只要练习题够好，简单的接口也够用。

所以这一节是想说：眼睛和嘴巴之间只用了一个最简单的"格式转换器"，把复杂度全部留给了练习题。

3. 分两阶段训练：先认词，再造句

类比

教小孩学英语，老师不会一上来就让他写作文，而是：

第一阶段：看图认词。看到苹果说 apple，看到狗说 dog。
第一阶段：用这些词造句、回答问题。

LLaVA 就是这样分两步。

训练：让模型反复做练习题，根据答错的地方调整自己内部的数字。每次只调整一点点，做的题足够多以后整体就变好了。

冻结：训练时不动某一部分的数字，只让其他部分变化。像考试时手不动键盘一样，让某些组件保持原样。

扣分（loss）：模型回答和正确答案的差距，越小越好。模型训练的全部目标就是想办法让这个总扣分变低。

下山找最低点（梯度下降）：训练的方法。把"扣分"想成一座山的高度，模型每次都试探一下哪个方向是最陡的下坡，然后往那个方向迈一小步，反复迈，最后落到山谷里——也就是扣分最少的状态。

Stage 1（先认词）

冻结：眼睛（CLIP）和嘴巴（Vicuna）都不动。
只训：中间那个数字表格 W。
练习册：59.5 万条简单的"图 → 一句描述"。
目标：让 W 学会"把图向量翻译成嘴巴听得懂的格式"。
耗时：8 张高端显卡跑 4 小时。

Stage 2（再造句）

冻结：眼睛（CLIP）继续不动。
解冻：W 和嘴巴（Vicuna）一起训练。
练习册：前面 GPT-4 出的 158K 条看图问答。
目标：让模型学会按指令回答，不只是机械描述。
耗时：8 张显卡跑 10 小时。

关键公式翻译成人话

原文是一长串符号。翻译过来：

在已经看到图 + 问题的前提下，模型要一个字一个字地往外蹦答案；蹦下一个字时，要参考"图 + 问题 + 已经蹦出来的所有字"。

把句子想成"接龙游戏"：前面接什么，决定后面跟什么。

为什么这步有用

如果一上来就让所有部分一起训练，会出大乱子：图还没翻译对，就开始改嘴巴，把嘴巴本来会说的话也搞坏了。
分两步的好处：先把"翻译器"调好，再让"嘴巴"配合改造。像先校准乐器再合奏。
实验数据：跳过 Stage 1，分数会掉 5 个点；完全不做 Stage 2 那种指令训练，分数掉 60 多个点。所以Stage 2 是性能的命根。

所以这一节是想说：训练分两步——先让翻译器对齐，再让翻译器和嘴巴一起练习按指令回答。

4. 用 GPT-4 当裁判打分

类比

高考语文作文没有标准答案。怎么打分？请几位顶尖大学的中文系教授来看，按 1-10 分打。这里 GPT-4 就是那位教授。

它在干什么

同一道"看图题"出两份答案：
- LLaVA 的答案：自己看图回答。
- 参考答案：让 GPT-4 看着"图的文字描述 + 物体框"回答（相当于"作弊"看了答题大纲）。
让第三个 GPT-4 当裁判：同时看到题目、答题大纲、两份答案，分别给 1-10 分。
最后报告：LLaVA 的分 ÷ 参考答案的分，例如 67.3%。

为什么这步有用

看图题没有"唯一正确答案"——同一张图同一个问题可以有 10 种合理回答。
传统打分方法是逐字对比——只要措辞不一样就算错，太苛刻。
让 GPT-4 看语义，能识别"意思对了但说法不同"的回答，更接近真实判断。

这套打分方式被后来很多论文继续用——LLaVA 算是开了头。

所以这一节是想说：作者顺手发明了一套"让 AI 当裁判"的打分体系，被后来的论文广泛沿用。

关键数字（What works）

数字本身不重要，重要的是它们告诉你什么"设计选择"才是关键。

数字 1：聊天能力总分 67.3%

怎么算的：在作者自己造的 24 张图 + 60 道题的评测集上，LLaVA 得分除以"作弊版 GPT-4"的得分。
对比：BLIP-2 是 38.1%，OpenFlamingo 是 19.1%。
生活语言：LLaVA 比上一代开源选手高出近 30 分。打个比方，原来开源 AI 是"勉强能用"，LLaVA 是"可以日常聊天"了。

数字 2：复杂推理子项 81.7%

怎么算的：上面那批题里，专挑要"动脑子推理"的题再算一遍。
对比：BLIP-2 是 32.9——LLaVA 是它的 2.5 倍。
生活语言：在"假设这个人现在很饿，他会拿什么"这种题上，LLaVA 答得已经接近"作弊版 GPT-4"。说明那 77K 条复杂推理练习题真的把"会推理"刻进了模型里。

数字 3：理科选择题 92.53%

怎么算的：在 ScienceQA（一套从小学到高中的物理化学生物多选题）上的正确率。
对比：之前最强方法 91.68%，人类平均 88.40%。
生活语言：第一次有"通用聊天 AI"在标准学术题库上赢过为这道题专门设计的方法，也赢过普通人。

数字 4：去掉指令练习题 → 掉 63.6 分

怎么算的：训练时不用 GPT-4 出的那 158K 题，只用最早那批简单图文。
对比：85.1（用了）vs 21.5（没用）。
生活语言：相当于这是 LLaVA 的"命根"。如果不让它做这套练习册，模型几乎完全不会按指令回答。

数字 5：模型从 13B 减到 7B → 只掉 1.08 分

怎么算的：13B 和 7B 是模型规模（参数个数，类比脑容量）。
对比：90.92（13B）vs 89.84（7B）。
生活语言：脑容量减半，能力只掉一点点。说明这套方法对"小模型"也很友好——你用消费级显卡也能跑。

数字 6：训练总耗时 ≈ 18 小时（8 卡）

怎么算的：Stage 1 (4h) + Stage 2 (10h) + 微调 (4h)。
生活语言：在云服务上租 8 张 A100 显卡，整套训练费用 $300-500。研究生用零花钱都能复现。这也是 LLaVA 引爆开源 AI 圈的关键——它没把门槛抬到天上去。

所以这一节是想说：数据告诉我们——决定胜负的是练习题质量和多样性，不是模型有多大。

实验结果说明了什么

论文的实验分三组，每组回答一个不同的问题。把它们连起来看，你会发现整篇论文的主张其实只有一句话："练习题（指令数据）才是命根"——而三组实验就是从三个角度反复证明这句话。

实验一：LLaVA-Bench (COCO) 消融——指令数据到底贡献了多少？

作者在 30 张 COCO 图、90 道题上做训练数据消融。最极端的对比：用全部 158K 指令数据训练得 85.1 分，完全不做指令微调只剩 21.5 分——掉了 63.6 分。这是全文最关键的一个数字：它证明 LLaVA 的能力不是来自"CLIP + Vicuna 拼起来"这个架构（架构不变，分数天壤之别），而是来自 GPT-4 生成的那套练习题。更细的消融还显示：只用对话类数据是 73.8 分，加上详细描述和复杂推理两类后涨约 7 分——三种题型互补，推理数据甚至反过来提升了对话表现。

实验二：LLaVA-Bench (In-the-Wild) 对比——比同期开源对手强多少？

在 24 张图、60 道更难的题（梗图、画作、户外场景）上，LLaVA 拿到 67.3% 的相对分（以"看了答题大纲的纯文本 GPT-4"为 100%），而 BLIP-2 是 38.1%、OpenFlamingo 是 19.1%。差距不是几个点，是成倍拉开——尤其复杂推理子项 LLaVA 81.7% 对 BLIP-2 的 32.9%。这个对比说明：BLIP-2/OpenFlamingo 不是"看不见图"，而是"看见了也不会按指令回答"——它们只会机械描述画面。指令微调补的正是这一课。

实验三：ScienceQA——在有标准答案的学术题库上站得住吗？

前两组评测都靠 GPT-4 打分，容易被质疑"裁判偏心"。ScienceQA 是多选题、有唯一正确答案，不需要 GPT-4 当裁判。LLaVA 微调后单独拿 90.92%，接近当时 SoTA（MM-CoT Large 的 91.68%）；再和纯文本 GPT-4 做"裁判合议"（两者答案不一致时让 GPT-4 仲裁），冲到 92.53% 的新 SoTA，也超过人类平均的 88.40%。

哪些数字要打折扣看？

67.3% 那组分数是 GPT-4 评的，训练数据也是 GPT-4 出的——出题老师和阅卷老师是同一个人，天然可能偏爱"GPT-4 风格"的答案。评测集也只有 24 张图 60 道题，规模很小。
92.53% 是 LLaVA + GPT-4 合议的成绩，LLaVA 单独是 90.92%，其实低于 MM-CoT Large 的 91.68%。读论文标题里的"SoTA"时要看清是谁的功劳。

所以这一节是想说：消融实验证明能力来自指令数据（去掉掉 63.6 分），横向对比证明这套配方碾压同期开源模型，ScienceQA 证明它在客观题库上也站得住——但 GPT-4 既当老师又当裁判的评测方式，分数要打个折看。

你应该懂的几个新词

VLM（Vision Language Model，视觉语言模型）：既能看图又能聊天的 AI。LLaVA 就是其中一种。

指令微调（Instruction Tuning）：用"指令 + 标准答案"格式的练习题继续训练一个 AI，让它学会按人话办事。类比补习班里的针对性训练。

CLIP（视觉编码器）：OpenAI 出的图片识别模型。给它一张图，返回一串数字摘要。LLaVA 把它当"眼睛"用，自己不动它。

Vicuna（语言模型）：一个开源的聊天 AI，相当于 ChatGPT 的免费亲戚。LLaVA 把它当"嘴巴"用。

向量：一串数字，比如 (0.3, -0.5, 0.8)。AI 内部到处用向量表示词、图、句子。两个向量越像，几何上夹角越小。

矩阵：一张数字表格。"矩阵 × 向量"= 把旧编码翻译成新编码的查表运算。

投影矩阵 W：LLaVA 中那个"格式转换器"。把眼睛输出的 1024 维向量变成嘴巴认识的 4096 维向量。

扣分（loss）：模型回答和标准答案的差距。模型训练的目标就是让总扣分尽量小。

梯度下降：训练用的方法。把"扣分"想成山高度，每次往最陡下坡迈一小步，最后走到山谷。

冻结 / 解冻：训练时让某些部分保持不动叫"冻结"，让它跟着学叫"解冻"。LLaVA 的关键决策是"眼睛永远冻结，嘴巴在第二阶段解冻"。

多模态（multimodal）：同时处理多种输入，比如又看图又听声音又读文字。LLaVA 是图 + 文。

LMM（Large Multimodal Model，大型多模态模型）：LLM（聊天 AI）的多模态升级版。LLaVA 是这个词流行起来的标志之一。

所以这一节是想说：上面这十几个词以后看任何 AI 论文都会反复出现，先把它们和生活类比挂钩。

它有什么搞不定的

LLaVA 不是万能的，论文自己也老实交代了几个翻车场景：

草莓酸奶悖论：冰箱里同时有"草莓"和"原味酸奶"，问"有草莓味酸奶吗？"——LLaVA 会答 Yes。原因：它把图当成 256 块小拼图随便看，看到"草莓"+"酸奶"就脑补成"草莓酸奶"，不会精确分清属性属于哪个物体。
小字看不清：图片输入只有 224×224 像素（巴掌大），招牌、菜单、药盒上的小字基本糊成一团。所以问"这家拉面店叫什么名字"它常常答错。
Plate Nº IV拉面店招牌例子
会一本正经胡说：和所有聊天 AI 一样，它可能会编造图里没有的细节。术语叫"幻觉"。
被老师天花板限制：练习题是 GPT-4 出的——GPT-4 也答错的题，LLaVA 大概率跟着错。
商用受限：用 GPT-4 数据训出来的模型，根据 OpenAI 条款，不能用于和 OpenAI 竞争的商业产品。

所以这一节是想说：LLaVA 在精细识别、小字、商用方向上都有硬伤，需要后续工作来补。

它和别的几篇是什么关系

时间线：BLIP-2（2023.1）→ LLaVA（2023.4）→ LLaVA-1.5（2023.10）→ LLaVA-NeXT（2024）→ 后续一票模型（Qwen-VL、InternVL 等）。
集合关系：你可以把"现代 VLM"想成一个大集合 V，LLaVA 是这个集合里第一个开源、便宜、能复现的成员。它定义了集合 V 的"标准长相"——一个眼睛 + 一个翻译器 + 一个嘴巴。
因果关系：
- LLaVA 出现导致了之后大量"VLM 长这样"的论文。
- GPT-4 出现导致了 LLaVA 能造练习题。
- LLaVA 思路 被复用到 机器人方向：把"聊天 AI 看图回答"扩展到"聊天 AI 看图给出动作指令"——这就是 PaLM-E、RT-2、OpenVLA 这些后续工作。
对比关系：和 BLIP-2、Flamingo 比，LLaVA 的差异是"把翻译器做到极简，把劲都使在练习题上"。

所以这一节是想说：LLaVA 是开源 VLM 的"祖宗模板"，后面所有家族成员都是它的衍生品。

和本导读的关系

LLaVA 对应导读的 第 9 章：VLM 地基 (II)——从 BLIP-2 到 LLaVA，是那一章的两大主角之一（另一个是 BLIP-2）。导读 Ch09 把 2022-2023 年的"桥梁设计之战"讲成一个完整故事：Flamingo 的门控交叉注意力（复杂桥）、BLIP-2 的 Q-Former（中等桥）、LLaVA 的一层线性投射（简单桥）——三条路线怎么竞争、为什么最后是最简单的 LLaVA 赢了。本笔记聚焦 LLaVA 单篇，Ch09 补充了它的两个对手的完整拆解，建议配合阅读。

在导读全局路径中，LLaVA 的位置是：

Ch08 CLIP（教 AI"认图"）
    ↓
Ch09 BLIP-2 & LLaVA ← 你在这里（教 AI"看图说话"）
    ↓
Ch10 规划（SayCan、Code-as-Policies）
    ↓
Ch11-12 VLA（RT-1/2、OpenVLA、VLAS、MLA）

它还是后面 第 12 章 的隐形地基：OpenVLA 的 Prismatic 架构本质上就是 LLaVA 的变体（视觉编码器 + 投影层 + LLM，只是输出从文本 token 换成动作 token）；VLAS 更是直接基于 LLaVA 架构改造，加上语音输入。可以说，理解了 LLaVA 的"眼睛 → 翻译器 → 嘴巴"三件套，Ch12 的两篇任务论文就已经懂了一半。

所以这一节是想说：在 22 章导读体系里，LLaVA 是 Ch09 的核心论文，也是 Ch12 VLA 模型（OpenVLA/VLAS）的架构母版——它是从"看图聊天"通往"看图干活"的必经一站。

思考题

Q1：LLaVA 的"翻译器"只是一层线性投射（一个矩阵 W），而同期的 BLIP-2 用了复杂得多的 Q-Former。为什么更简单的方案反而赢了？这说明当时的瓶颈在哪里？

提示

看消融实验：架构不变、只去掉 158K 指令数据，分数从 85.1 掉到 21.5。这说明瓶颈根本不在"桥怎么修"，而在"有没有合适的练习题"。LLaVA 把工程精力全押在数据上，用最简单的桥换来最快的实验迭代速度（论文自己说 lightweight 方案让他们能快速做 data-centric 实验）。当数据是瓶颈时，架构上的精巧设计收益有限。

Q2：GPT-4 根本看不见图，为什么它能出"看图题"？这个数据生成流程里，图像信息是通过什么形式传给 GPT-4 的？这种转换会丢失什么？

提示

图像被转成两种"符号化表示"喂给 GPT-4：人写的 caption（描述场景）和物体框坐标（物体类别 + 位置）。丢失的东西：caption 没写到的细节（纹理、颜色深浅、小字）、框与框之间的精细空间关系、以及一切"要亲眼看才知道"的信息。所以 GPT-4 出的题天然偏向"caption 里写了的内容"，这也解释了 LLaVA 为什么在 OCR、细粒度识别上弱。

Q3：为什么训练要分两个阶段？如果跳过 Stage 1 直接做 Stage 2，会发生什么？论文里有什么数字支持？

提示

Stage 1 只训投影矩阵 W，相当于先给冻结的 LLM 配一个"视觉分词器"——让图向量落到 LLM 词嵌入空间里。ScienceQA 消融显示：跳过预训练（Stage 1）从头训，准确率从 90.92% 掉到 85.81%，损失 5.11 个点。原因是图像特征还没对齐就动 LLM 的权重，会把 LLM 原本的语言能力搞乱——先校准乐器，再合奏。

Q4：LLaVA 评测用"GPT-4 当裁判打相对分"。这套评测方式有什么系统性风险？如果让你设计一个更可信的评测，你会怎么补？

提示

风险至少三条：(1) 训练数据是 GPT-4 生成的，裁判也是 GPT-4——模型可能只是学会了"GPT-4 喜欢的答题风格"而拿高分；(2) 裁判看到的"视觉信息"其实是文字描述，它无法核实答案里的视觉细节是否是幻觉；(3) 评测集只有几十张图，统计上很脆弱。补法：加入有客观标准答案的基准（论文自己用 ScienceQA 就是这个思路）、换不同家族的模型当裁判、做人工盲评抽查。

Q5：论文发现 LLaVA 会把"冰箱里有草莓 + 有酸奶"回答成"有草莓味酸奶"。这个失败暴露了架构上的什么问题？后续工作可能从哪些方向修？

提示

论文的诊断是 LLaVA 有时把图像当"一袋 patch"（bag of patches）——CLIP 输出的 256 个 patch 向量经过线性投射后，物体和属性的绑定关系变弱了，"草莓"和"酸奶"两个概念混在一起。可能的修法：更高分辨率输入（看清标签上的字）、更强的视觉编码器、在数据里加属性绑定类的练习题、或者用带空间结构的连接器而不是把 patch 摊平。LLaVA-1.5 的分辨率升级（224→336）就部分沿着这条路走。

Q6：消融显示 13B 模型换成 7B 只掉 1.08 分（90.92% → 89.84%），但去掉指令数据掉 63.6 分。如果你只有一张消费级显卡的预算，这两个数字告诉你该怎么分配资源？

提示

结论很直白：钱花在数据上，不是模型上。模型减半几乎不伤性能，说明这个任务对参数规模不敏感（至少在 7B-13B 区间）；而指令数据的质量和多样性是性能的决定因素。实操上：选 7B 基座省显存，把省下的算力/预算投入构造更好的指令数据。这也是 LLaVA 之后开源社区"卷数据配方不卷参数"风气的起点之一。

Q7：LLaVA 的训练数据全部由 GPT-4 生成，这带来一个"老师天花板"问题。除了能力上限，这种"用闭源模型蒸馏开源模型"的做法还有什么合规和生态上的隐患？

提示

合规上：OpenAI 服务条款禁止用其输出训练与 OpenAI 竞争的商业模型，所以 LLaVA 权重研究可用、商用受限。生态上：如果整个开源社区都靠蒸馏 GPT-4，那么 (1) 开源模型会系统性继承 GPT-4 的偏见和错误；(2) 开源生态的能力上限被闭源模型锁死；(3) 一旦条款收紧或 API 关闭，数据管线断供。后来社区推动"用开源模型生成训练数据"正是对这个隐患的回应。

我建议这样读这篇

零基础读者不要从头读到尾。建议这样走：

看摘要 + 引言第一段（5 分钟）：明确这篇要解决"开源界没有看图问答练习题"这个问题。
看 Figure 1 架构图（1 分钟）：一眼记住"眼睛 → 翻译器 → 嘴巴"三件套。
跳到第 3 节"GPT 造练习题"（15 分钟）：这是这篇真正的创新点，方法部分反而很标准。
读第 4.2 节"两阶段训练"（10 分钟）：搞清楚每阶段冻结什么、训练什么。未来你看任何 VLM 论文都会用类似套路，这是基础工序。
跳过公式细节（除非你想自己实现）：知道"图向量经过一个数字表格 → 拼到文字前面 → 当成普通聊天去训练"就够了。
快速扫消融实验表（5 分钟）：看看哪些设计决定贡献最大——你会发现是练习题，不是模型大小。

读完这 6 步大约 40-60 分钟，已经能在和别人讨论 VLM 时报出 LLaVA 的核心思路。

所以这一节是想说：这篇精华全在"练习题怎么造"，公式和模型可以略读，节省时间。

一些好奇心问答（FAQ）

Q1：模型有多大？我自己电脑能跑吗？

LLaVA 默认是 13B 参数（130 亿），需要至少 28GB 显存。RTX 4090（24GB）跑不动 13B，但能跑 7B 版本。如果你只有普通游戏本，可以用 HuggingFace Spaces 或官方 demo 在线试。

Q2：练习题数据从哪儿来？我能下载吗？

可以。HuggingFace 上搜 liuhaotian/LLaVA-Instruct-150K，研究用免费。但根据 OpenAI 条款，不能用它训"和 OpenAI 商业产品竞争的模型"。

Q3：为什么不用更复杂的"翻译器"？比如带交互的那种？

作者承认更复杂的翻译器可能更强，但故意选最简单的，理由是：训练快 + 调参方便 + bug 少。事实证明就算用最简单的，分数也已经把同期对手拉开几十分。后来 LLaVA-1.5 把翻译器从"1 层"改成"2 层"，确实又涨了 2 分——所以这条路确实有上限。

Q4：为什么"眼睛"训练时永远不动？

那双"眼睛"（CLIP）已经用 4 亿张图训练过了。LLaVA 自己手里只有几十万图，调它只会把它越调越差——好比你拿一张试卷的内容去改高考大纲，越改越走偏。

Q5：8 张 A100 我哪有？

如果你只是想用，不用训练——直接去 llava-vl.github.io 在线玩。如果要复现训练，AWS 租 8 卡 A100 大约 $32/小时，整套训练 ~$580。学校实验室的 GPU 通常也够。

Q6：这模型会有偏见吗？

会。它从 CLIP 和 Vicuna 那里继承了原本数据里的偏见——比如某些职业默认是某性别、某些地区描述带刻板印象。论文里也专门提到这一点。

Q7：为什么要让 GPT-4 当裁判？不能用更客观的指标吗？

传统指标（比如逐字比对）会把"措辞不同但意思对"的答案判 0 分。看图问答没标准答案，必须靠"语义层面打分"。GPT-4 不完美但比死字面比对接近人类判断。

Q8：LLaVA 之后该看什么？

最直接的下一步是 LLaVA-1.5，同一组人写的"改进版"——分辨率从 224 升到 336，翻译器从 1 层升到 2 层，又加了不少新练习题。真要用 LLaVA 做事，直接读 1.5 版，1.0 主要是历史地位。

所以这一节是想说：实操问题（多大、多贵、能不能跑、合规怎么办）作者都想到了，门槛远比想象低。

如果你想再深入

按"前传 → 同期对手 → 续作 → 衍生方向"四类排序：

前传：BLIP-2（2023.1） — LLaVA 之前最强的"接眼睛"方案，用了一种更复杂的翻译器叫 Q-Former。读完 LLaVA 再读它，能清楚看到"线性层 vs 复杂翻译器"两条路的取舍。
同期对手：Flamingo / OpenFlamingo（2022 / 2023） — 用"双流交互"的方式接眼睛，能力强但慢。LLaVA 在自己的评测集上把 OpenFlamingo 打得 19.1 vs 67.3，说明"端到端微调"比"冻结 + 复杂交互"更划算。
续作：LLaVA-1.5（2023.10） — 同一组人的改进版。真要用，请直接读这版。
续作：LLaVA-NeXT（2024） — 支持任意分辨率（最高 672×672）和多图输入，是 LLaVA 系列目前最强的版本。
衍生：PaLM-E（2023） — Google 把 LLaVA 思路扩展到机器人控制：输入图 + 状态，输出动作。可以理解成"LLaVA + 机器人"的闭源版。这条路通往后来的 RT-2、OpenVLA 等具身 AI 模型。

所以这一节是想说：把 LLaVA + LLaVA-1.5 + BLIP-2 这三篇连起来读，就能看到 2023 年开源 VLM 的全貌。

最后一个画面

这是 LLaVA 论文里被反复讨论的一个例子。原帖说："I sometimes look at pictures of the earth from space and marvel at how beautiful it all is（我有时看着太空拍的地球照片，惊叹于它有多美）"，配图却是鸡块拼成的地球。

你问 LLaVA"这张图为什么好笑？"——它真的能解释出"图片说自己在看太空拍的地球，但其实是用炸鸡拼出来的，反差产生了幽默"。

这一刻，"会看图的聊天 AI"第一次在开源世界变成了能用的东西。

所以最后一节是想说：LLaVA 不只是技术指标好看，而是真的能像人一样"看懂梗"——这是开源 VLM 时代的一个标志性瞬间。

原文信息

论文标题：Visual Instruction Tuning

作者：Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee

机构：University of Wisconsin–Madison, Microsoft Research, Columbia University

发表：NeurIPS 2023

链接：

论文：https://arxiv.org/abs/2304.08485
项目主页：https://llava-vl.github.io
代码：https://github.com/haotian-liu/LLaVA
本地 PDF：papers/llava/paper.pdf

BibTeX：

@inproceedings{liu2023visual,
  title={Visual Instruction Tuning},
  author={Liu, Haotian and Li, Chunyuan and Wu, Qingyang and Lee, Yong Jae},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2023}
}

◼

引用本笔记 / Cite this note

BibTeX

@online{eai_llava_2026,
  title       = {(readable note) LLaVA: Visual Instruction Tuning},
  author      = {Xun, Jason},
  year        = {2026},
  note        = {Note on a 2023 paper},
  howpublished = {\url{https://estelledc.github.io/embodied-ai-reading-station/papers/llava/}},
  organization = {Embodied AI: Zero to One}
}

All 202 papers (full index)