Super-NaturalInstructions — 1600+ 任务教模型读懂说明书
已复核 · 稳定内容Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks 是一篇 LLM / Instruction Benchmark 论文。本卡只基于 arXiv 官方元数据和论文静态阅读做研究整理；没有运行作者代码，也没有复现论文分数。
类比：像给实习生一本任务说明书：没见过这个任务也要靠说明、正反例和约束完成。
它在本轮 40 篇里的位置是 Batch 3 / instruction tuning：不是孤立收藏，而是补上 study 论文图谱里还缺的一块。
传统 NLP benchmark 常按任务训练/测试，难以回答“模型能否读懂新任务说明并迁移”。
如果把它放进产品工程语境，核心问题是：团队到底应该把不确定性留给模型本身，还是拆给数据、工具、训练目标、评测和系统约束分别处理。
- 它给后续研究提供了一个可引用的名字和问题边界。
- 它把一个模糊能力拆成了可以讨论的机制或流程。
- 它提醒我们不要只看最终 benchmark，而要看数据、约束和验收方式。
- 它能和本库已有笔记形成交叉链接，方便以后按主题复习。
| 设计 | 作用 |
|---|---|
| 1600+ 任务集合 | 覆盖分类、生成、改写等大量 NLP 任务。 |
| Declarative instruction | 用自然语言写清任务定义和输出要求。 |
| 跨任务泛化评测 | 训练和测试任务分开，检查新任务适应能力。 |
这三点合在一起，给这篇论文建立了一个最小可理解模型：先看它把问题切在哪里，再看它把哪部分交给模型、哪部分交给外部结构。
手工 toy 复现
Section titled “手工 toy 复现”模型从没见过“把评论改写成更礼貌语气”，但说明书给了定义和例子。它如果能完成，说明学到的是读说明执行，而不是背任务标签。
这个 toy 复现只验证机制直觉，不声明论文原始指标已复现。真正升级为 VERIFIED 需要独立执行证据和 review receipt 绑定。
- 任务说明质量会强烈影响表现：任务说明质量会强烈影响表现，说明写得差会误伤模型。
- 任务多不等于真实场景全覆盖：任务多不等于真实场景全覆盖，长程工具任务仍缺失。
- 模型可能依赖表面关键词：模型可能依赖表面关键词，而不是真正理解任务定义。
- 多任务数据集需要严防训练/测试污染。：多任务数据集需要严防训练/测试污染。
- Instruction following 可以被拆成“读说明、看例子、执行约束”。
- 它为 Self-Instruct、FLAN、WizardLM 提供了任务泛化背景。
- 做 agent 评测时，也应该把任务说明质量纳入变量。