Multimodal Ecology

先读这三篇。

ImageBind 用图像作锚点联通六模态 → OBELICS 把交错图文文档做成数据集 → AnyMAL 把任意模态注入 LLaMA。

1. 1
   ImageBind: One Embedding Space To Bind Them All 2023 · CVPR · ⭐⭐⭐

   把图片当翻译官，六种感官（图、文、声、深度、热、动作）就能互相听懂彼此说话——而且不需要让它们两两见过面。

2. 2
   OBELICS 2023 · NeurIPS · ⭐⭐⭐

   HuggingFace OBELICS 从 Common Crawl 抽出 1.41 亿 英文网页、3.53 亿 张图、1150 亿 text token，按 DOM 原生顺序 保留「段–图–段–图」交错结构；在此上训 IDEFICS-80B 后 4-shot VQAv2 63.

3. 3
   AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model 2023 · EACL · ⭐⭐⭐

   Meta AnyMAL 在 LLaMA-2-70B-chat 全程冻结 的前提下，为 图 / 视频 / 音 / IMU 各训一个 投影层（aligner），把模态信号映进 LLM 词嵌入空间 当「伪 token」；再用自标 60K MM-IT + 合成 150K 做指令微调。零样

Multimodal Ecology 全部 15 篇。