Auditory & Acoustic

先读这三篇。

Whisper 用 68 万小时弱标注做 ASR → AudioLM 把音频建模成 token 序列 → Acoustic Swarms 用一群麦克风分离声源。

1. 1
   Robust Speech Recognition via Large-Scale Weak Supervision 2023 · ICML · ⭐⭐⭐

   Whisper 用互联网上 68 万小时的弱标注（音频 + 自动/人工字幕）数据，喂进标准 Encoder-Decoder Transformer，训出一个多语种多任务语音模型。不微调直接用（zero-shot），在 12 个分布外数据集上平均 WER 比 Wav2Vec 2.0

2. 2
   AudioLM 2023 · TASLP · ⭐⭐⭐⭐

   Google AudioLM 把波形变成 两套离散 token——w2v-BERT 语义 token（25 Hz） 管长程内容，SoundStream 声学 token（50 Hz×12 层 RVQ） 管高保真音色——再用 三个 0.3B Transformer 分阶段自回归续写

3. 3
   Creating speech zones with self-distributing acoustic swarms 2023 · Nature · ⭐⭐⭐

   七个骰子大小的小机器人，从充电底座自己爬上桌子、散成一圈，靠互相"喊一嗓子"算出各自的精确坐标，然后联手把桌旁几个同时说话的人一一分清——谁在哪、说了啥，全部搞定。整个过程不需要头顶装摄像头、不需要人手摆放、不需要扯一根线。

Auditory & Acoustic 全部 15 篇。