Auditory & Acoustic

先读这三篇。

Whisper 用 68 万小时弱标注做 ASR → AudioLM 把音频建模成 token 序列 → Acoustic Swarms 用一群麦克风分离声源。

1. 1
   Robust Speech Recognition via Large-Scale Weak Supervision 2023 · ICML · ⭐⭐⭐

   Whisper 把网上 68 万小时音频和字幕一锅烩，喂进普通 Transformer，开箱就能听各种口音、噪声和长录音，还顺手翻译——靠数据杂取胜。

2. 2
   AudioLM 2023 · TASLP · ⭐⭐⭐⭐

   把声音切成两种"音频字"——一种管说啥、一种管音色，模型像写句子一样续写，给 3 秒就能接出像本人的语音。

3. 3
   Creating speech zones with self-distributing acoustic swarms 2023 · Nature · ⭐⭐⭐

   七个像骰子那么大的小机器人，自己爬上桌散成一圈，桌上几个人同时讲话，它能分清谁说了啥。

Auditory & Acoustic 全部 15 篇。