Multimodal Ecology

先读这三篇。

ImageBind 用图像作锚点联通六模态 → OBELICS 把交错图文文档做成数据集 → AnyMAL 把任意模态注入 LLaMA。

1. 1
   ImageBind: One Embedding Space To Bind Them All 2023 · CVPR · ⭐⭐⭐

   把图片当翻译官，六种感官（图、文、声、深度、热、动作）就能互相听懂彼此说话。

2. 2
   OBELICS 2023 · NeurIPS · ⭐⭐⭐

   HuggingFace 把网上 1.41 亿个"图文穿插"的网页洗干净打包开源，让大家也能像 DeepMind 那样训出会看图读长文的模型。

3. 3
   AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model 2023 · EACL · ⭐⭐⭐

   一句话：给一个"只识字"的聪明大脑配几副翻译眼镜——看图、看视频、听声、感运动，统统先翻成"假文字"再喂进去，大脑本身一个字都不重学。 三件让人眼前一亮的事： 不动 LLM 主干：LLaMA-2-70B 全程冻结，只训前面那个小投影层（projection layer），训练成本

Multimodal Ecology 全部 13 篇。