VLM Foundation

先读这三篇。

CLIP 看懂 → BLIP-2 桥接 LLM → LLaVA 把视觉变成对话的一部分。

1. 1
   Learning Transferable Visual Models From Natural Language Supervision 2021 · ICML · ⭐⭐⭐

   教 AI 同时认图和认字，把 4 亿对网上图文塞进同一张坐标。之后你说"一只猫"，它就能从新图里挑出猫——不用为新任务再训一遍。

2. 2
   BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 2023 · ICML · ⭐⭐⭐⭐

   BLIP-2 不动两个大模型——一个负责看图、一个负责说话——只在中间训练一个小"翻译"，就让 AI 学会了看图说话。

3. 3
   Improved Baselines with Visual Instruction Tuning 2024 · CVPR · ⭐⭐

   给会聊天的 AI 配一副"看图眼镜"。把眼镜从一片镜片换成两片，再多给它看点带字的图片，看图答题就刷榜了。

VLM Foundation 全部 22 篇。