UL2 — 一个模型同时练完补空、续写和长文本
已复核 · 稳定内容UL2: Unifying Language Learning Paradigms 是一篇 LLM / Pretraining Objective 论文。本卡只基于 arXiv 官方元数据和论文静态阅读做研究整理；没有运行作者代码，也没有复现论文分数。
类比：像一名学生同时练填空题、作文续写和长篇阅读，不再被单一题型绑住。
它在本轮 40 篇里的位置是 Batch 1 / foundation scaling：不是孤立收藏，而是补上 study 论文图谱里还缺的一块。
BERT 式 denoising、T5 式 span corruption、GPT 式 causal LM 各有优势。问题是能不能用一套目标让模型学到多种模式，而不是为每种任务训练一支模型。
如果把它放进产品工程语境，核心问题是：团队到底应该把不确定性留给模型本身，还是拆给数据、工具、训练目标、评测和系统约束分别处理。
- 它给后续研究提供了一个可引用的名字和问题边界。
- 它把一个模糊能力拆成了可以讨论的机制或流程。
- 它提醒我们不要只看最终 benchmark，而要看数据、约束和验收方式。
- 它能和本库已有笔记形成交叉链接，方便以后按主题复习。
| 设计 | 作用 |
|---|---|
| Mixture-of-Denoisers | 把 R-denoising、S-denoising、X-denoising 混在预训练里。 |
| Mode token | 让模型知道当前该按哪种破坏/恢复模式工作。 |
| 统一 encoder-decoder 视角 | 在理解、生成和长上下文任务之间做折中。 |
这三点合在一起，给这篇论文建立了一个最小可理解模型：先看它把问题切在哪里，再看它把哪部分交给模型、哪部分交给外部结构。
手工 toy 复现
Section titled “手工 toy 复现”同一段话，训练时有时遮住少量词，有时遮住长 span，有时只给前半段让模型续写。模型被迫学会“补局部”和“接全局”两种能力。
这个 toy 复现只验证机制直觉，不声明论文原始指标已复现。真正升级为 VERIFIED 需要独立执行证据和 review receipt 绑定。
- 混合目标不是越多越好：混合目标不是越多越好，比例不当会互相拉扯。
- mode token 提供了控制面：mode token 提供了控制面，但也让部署 prompt 多一层心智负担。
- UL2 的结论和具体架构、数据、规模绑定：UL2 的结论和具体架构、数据、规模绑定，不能直接套到任意模型。
- 统一训练范式不等于统一产品接口：统一训练范式不等于统一产品接口，推理时仍要选择合适模式。
- 预训练目标本身就是产品能力的上游开关。
- UL2 把“理解 vs 生成”的二分变成可组合设计。
- 后续 Flan、T5 系和指令模型都可以从这个角度理解。