Orca — 小模型不只抄答案，还学解释轨迹
已复核 · 稳定内容Orca: Progressive Learning from Complex Explanation Traces of GPT-4 是一篇 LLM / Distillation 论文。本卡只基于 arXiv 官方元数据和论文静态阅读做研究整理；没有运行作者代码，也没有复现论文分数。
类比：像学霸讲题不是只给答案 C，而是把为什么排除 A/B/D 的过程写出来，普通学生才更容易迁移。
它在本轮 40 篇里的位置是 Batch 3 / instruction tuning：不是孤立收藏，而是补上 study 论文图谱里还缺的一块。
传统蒸馏常让小模型模仿大模型答案，但复杂任务真正有价值的是解题步骤、解释和中间决策。
如果把它放进产品工程语境，核心问题是：团队到底应该把不确定性留给模型本身，还是拆给数据、工具、训练目标、评测和系统约束分别处理。
- 它给后续研究提供了一个可引用的名字和问题边界。
- 它把一个模糊能力拆成了可以讨论的机制或流程。
- 它提醒我们不要只看最终 benchmark，而要看数据、约束和验收方式。
- 它能和本库已有笔记形成交叉链接，方便以后按主题复习。
| 设计 | 作用 |
|---|---|
| Explanation traces | 收集 GPT-4 等教师模型的详细解释。 |
| Progressive learning | 从简单到复杂组织训练信号。 |
| 多任务蒸馏 | 覆盖推理、写作和理解任务，而不局限单一 benchmark。 |
这三点合在一起，给这篇论文建立了一个最小可理解模型：先看它把问题切在哪里，再看它把哪部分交给模型、哪部分交给外部结构。
手工 toy 复现
Section titled “手工 toy 复现”同一道逻辑题，小模型只看“答案是 7”学不到方法；看“先列变量、再代入、最后检查约束”才可能迁移到新题。
这个 toy 复现只验证机制直觉，不声明论文原始指标已复现。真正升级为 VERIFIED 需要独立执行证据和 review receipt 绑定。
- 教师解释可能也有错：教师解释可能也有错，长解释不自动等于真推理。
- 蒸馏会继承教师风格和偏见。：蒸馏会继承教师风格和偏见。
- 如果评测题和教师数据太近：如果评测题和教师数据太近，泛化会被高估。
- 小模型学会解释口吻：小模型学会解释口吻，不代表内部机制真的等同教师。
- Orca 把蒸馏目标从答案推进到过程。
- 这对企业小模型很重要：预算有限时，可以买教师轨迹而不是只买标签。
- 解释轨迹仍需事实校验和任务外验证。