DeepFool 2016 — 用最小扰动量出模型边界有多近

待复核

是什么

DeepFool 是一种给图片加尽量小的改动，让神经网络刚好认错的方法。日常类比：像你站在一间房里，DeepFool 不会乱跑，而是每次估计最近的墙在哪，然后朝最近的墙走一步，直到跨到隔壁房间。

这里的“房间”就是模型认为的类别区域：猫、狗、车各是一块区域；“墙”就是分类边界；“走的距离”就是扰动大小。距离越短，说明这张图片离模型的误判边界越近，模型越脆。

所以 DeepFool 的价值不只是攻击模型，而是提供一种几何尺子：用最小扰动近似刻画分类边界，帮助我们理解对抗样本为什么存在，也帮助评测模型到底有多鲁棒。

为什么重要

不理解 DeepFool，下面这些事就很难解释：

为什么一张人眼几乎没变的熊猫图，模型却可能突然认成别的类别。
为什么“模型准确率高”不等于“模型离错误边界远”。
为什么 FGSM 这类一步攻击能展示问题，但不适合精确估计最小扰动。
为什么后来的鲁棒性评测要同时报告 clean accuracy 和 adversarial robustness。

核心要点

DeepFool 的过程可以拆成三步：

把弯边界临时看成直墙。类比：你在山路上开车，看不完整条弯路，但能根据脚下一小段路面估计切线方向。DeepFool 在当前图片附近用梯度把非线性分类器线性化。
找最近的那面墙。类比：从房间中央出去，不是挑最显眼的门，而是量每面墙的距离，选最近的。多分类时，DeepFool 比较当前类别和其他类别的分数差，选择需要最小距离就能翻转的类别边界。
跨过去，再重新估计。类比：走到新位置后，原来的地图不一定准，所以再看一次脚下路面。神经网络边界是弯的，DeepFool 反复线性化、反复投影，通常几步就能找到很小的扰动。

这三步让 DeepFool 比“随便沿梯度推一下”更像在测量距离，而不只是制造错误。

实践案例

案例 1：二维直线分类器的最近边界

score = w[0] * x[0] + w[1] * x[1] + b
distance = abs(score) / length(w)
step = -score / (length(w) ** 2) * w

逐部分解释：

score 表示点在边界哪一侧；正负号决定类别。
distance 是点到直线的垂直距离，也就是“最近墙”的距离。
step 是把点推到边界所需的最短方向，方向不是随便选，而是垂直于边界。

案例 2：多分类时怎么挑要撞哪面墙

current = model.predict(x)
best = None
for k in classes_except(current):
    gap = score[k] - score[current]
    wall = grad[k] - grad[current]
    cost = abs(gap) / norm(wall)
    best = min(best, (cost, k, wall))

逐部分解释：

gap 是当前类别和候选类别之间的分数差，像两间房之间还隔多厚。
wall 是这两个类别边界在当前位置的方向。
cost 越小，说明越容易从当前类别翻到类别 k，DeepFool 会优先撞这面最近的墙。

案例 3：用 DeepFool 风格指标评测鲁棒性

perturbations = []
for image in test_set:
    r = deepfool(model, image)
    perturbations.append(norm(r) / norm(image))
robustness = average(perturbations)

逐部分解释：

r 是让这张图刚好被模型认错的估计最小改动。
norm(r) / norm(image) 把扰动大小除以原图大小，避免亮图暗图不可比。
robustness 越大，说明平均要改更多才能骗过模型；越小，说明边界贴得很近。

踩过的坑

把 DeepFool 当成保证最优解：它是迭代近似，论文也说明非线性多分类情形不保证找到真正全局最小扰动。
只看攻击成功率，不看扰动大小：DeepFool 的重点是“多小能骗过”，不是“能不能骗过”。
忘记范数定义：L2 像看整体能量，L_inf 像看单个像素最大改动；范数不同，结论不能直接比较。
把对抗训练样本加得过猛：论文发现过大扰动可能真的改变图像语义，用它微调反而会降低鲁棒性。

适用 vs 不适用场景

适用：

图像分类模型的白盒鲁棒性评测，尤其想估计“离边界多远”时。
需要快速生成小扰动对抗样本，作为训练或诊断材料。
教学场景里解释对抗样本的几何直觉：点、边界、投影、距离。
对比不同模型架构的平均鲁棒性，而不是只比干净测试集准确率。

不适用：

需要严格安全证明时；DeepFool 是经验攻击，不是形式化证书。
只能黑盒访问模型时；它依赖梯度和分数信息。
语义约束很强的任务，比如文本，微小向量扰动不一定对应可读输入。
想模拟真实攻击者完整能力时；后来的 PGD、CW、AutoAttack 更适合作为强评测组合。

历史小故事（可跳过）

2013 年：Szegedy 等人发现对抗样本，高精度神经网络原来离错误边界很近。
2014 年：Goodfellow 等人提出 FGSM，用一次梯度快速制造对抗样本，但它更像演示漏洞。
2015 年：DeepFool 预印本出现，目标从“造一个错例”推进到“估计最小扰动”。
2016 年：论文在 CVPR 发表，并在 MNIST、CIFAR-10、ImageNet 上报告平均鲁棒性。
之后：PGD、CW、RobustBench 等工作把强攻击和鲁棒评测继续制度化。

学到什么

鲁棒性可以被几何化：看模型安全不只问答对多少，还要问样本离分类边界多近。
线性近似是工程利器：神经网络很复杂，但在一个很小邻域里可以先当成一堵平面墙。
最小扰动比成功攻击更有信息量：同样都能骗过模型，谁用的扰动更小，谁更接近真实边界。
评测会塑造训练方法：当 DeepFool 能稳定找到小扰动，人们自然会开始用这些扰动微调模型。

关联

szegedy-adversarial-2013 —— 先发现“几乎看不出变化也能骗模型”，DeepFool 负责量出最小变化。
goodfellow-fgsm-2014 —— FGSM 是一次大步，DeepFool 是多次找最近边界的小步。
madry-pgd-2017 —— PGD 把多步攻击推进成鲁棒训练的内层对手。
label-smoothing-2016 —— 同年视觉训练技巧，提醒我们准确率提升和鲁棒性提升不是一回事。
dropout-2014 —— 普通正则化能防过拟合，但不能自动保证离对抗边界更远。
deberta-2021 —— NLP 里的 SiFT 继续使用“在输入表示上加最坏扰动”的对抗训练直觉。

反向链接

goodfellow-fgsm-2014 —— Goodfellow FGSM — 用一次梯度就能造出对抗样本
madry-pgd-2017 —— Madry PGD — 把对抗训练变成最坏情况演练
szegedy-adversarial-2013 —— Szegedy 对抗样本 — 图片只改一点点，模型却会彻底看错

DeepFool 2016 — 用最小扰动量出模型边界有多近

是什么

为什么重要

核心要点

实践案例

案例 1：二维直线分类器的最近边界

案例 2：多分类时怎么挑要撞哪面墙

案例 3：用 DeepFool 风格指标评测鲁棒性

踩过的坑

适用 vs 不适用场景

历史小故事（可跳过）

学到什么

延伸阅读

关联

反向链接