边缘AI对抗攻击与防御：当智能模型遭遇恶意对手¶
难度：🔴 研究前沿 | 领域：AI 安全 / 对抗机器学习 | 阅读时间：约 30 分钟
日常类比¶
对抗样本像给路标贴上人眼几乎看不见的贴纸：人仍读出"停车"，车载视觉模型却可能读成"限速"。模型窃取像反复试探一台自动售货机的出货规律，最终仿造一台功能相近的机器。后门则像在钥匙上留了只有攻击者知道的暗扣——平时正常开门，特定触发才走旁路。
边缘设备把模型放在现场，物理接近、直接喂输入、甚至拆机读 Flash，都比云端 API 更容易。
摘要¶
部署在边缘的人工智能（Artificial Intelligence, AI）模型面临三类核心威胁：对抗样本（Adversarial Examples）可导致误分类；模型窃取（Model Stealing / Extraction）可复制功能甚至参数；后门攻击（Backdoor）可在特定触发下劫持行为。本文梳理其在边缘场景的表现、轻量防御与认证鲁棒性（Certified Robustness），并给出局限与可执行改进。
1 边缘 AI 安全的特殊性¶
| 威胁维度 | 云端 AI | 边缘 AI |
|---|---|---|
| 物理访问 | 数据中心安保 | 设备可能暴露在公共环境 |
| 模型保护 | 安全服务器内 | 本地模型文件可被读取 |
| 输入控制 | API 限速/过滤 | 直接面对物理世界输入 |
| 更新能力 | 可热更新 | 带宽/算力受限，更新困难 |
| 计算资源 | 可跑复杂防御 | 防御受资源约束 |
| 攻击反馈 | API 可监控 | 物理输入难限流 |
边缘攻击面更大：物理接近、操控摄像头前场景、侧信道推断架构，甚至拆机提取模型[7][10]。
2 对抗样本（Adversarial Examples）¶
2.1 基本原理¶
对分类器 \(f\)，寻找扰动 \(\delta\) 使 \(f(x+\delta)\neq f(x)\)，且 \(\|\delta\|<\epsilon\)（对人眼常不可察觉）[1][9]。
2.2 攻击方法演进¶
下表为文献与基准中常见量级，具体成功率依赖数据集、威胁模型与是否自适应攻击，不宜当作跨场景常数。
| 方法 | 年份 | 类型 | 扰动特征 | 物理可行 | 代表工作 |
|---|---|---|---|---|---|
| FGSM | 2015 | 白盒 | 单步、较大 | 低 | [1] |
| C&W | 2017 | 白盒 | 优化最小扰动 | 低 | [9] |
| PGD | 2018 | 白盒 | 多步投影 | 低 | [2] |
| Physical Patch | 2018 | 物理 | 可见贴片 | 高 | [3] |
| Square / AutoAttack | 2020 | 黑盒/集成 | 可控 | 低–中 | [4] |
| Acoustic / Laser 等 | 近年 | 物理 | 声波/光照 | 中–高 | 见物理攻击节 |
2.3 物理世界对抗攻击¶
边缘最大威胁常来自物理输入，而非改数字像素：
- 对抗贴片（Adversarial Patch）：物体表面图案使检测器漏检或误检；公开实验显示贴片可显著降低行人检测召回，具体降幅随模型与场景变化[3]。
- 对抗服饰：特定图案服装干扰行人检测。
- 激光注入：低功率激光照射图像传感器制造扰动；远距离交通标志误识别已有安全会议演示（需复现条件约束）。
- 声学对抗："海豚攻击"等用超声向语音助手注入人耳难闻指令。
2.4 边缘场景威胁映射¶
| 应用场景 | 攻击方式 | 后果 | 严重度 |
|---|---|---|---|
| 自动驾驶 | 路标贴片/激光 | 标志误识别 | 致命级 |
| 人脸门禁 | 对抗眼镜/贴纸 | 冒充通过 | 高 |
| 工业质检 | 对抗涂层 | 缺陷漏检 | 高 |
| 监控告警 | 对抗服饰 | 逃避检测 | 高 |
| 语音控制 | 超声指令 | 未授权控制 | 中–高 |
| 医疗影像 | 噪声注入 | 假阴/假阳 | 致命级 |
3 模型窃取（Model Stealing）¶
3.1 原理与边缘易感性¶
攻击者查询目标模型，收集输入–输出对，训练功能近似的替代模型[7]。边缘更易被窃取的原因：模型常存本地；功耗/电磁侧信道可泄露架构线索；缺少云端式 API 速率限制。
3.2 方法对比¶
| 方法 | 假设 | 目标 | 查询量级（示意） |
|---|---|---|---|
| 物理提取（读 Flash） | 物理访问 | 完美复制文件 | 0 |
| 侧信道分析 | 物理接近 | 架构/部分参数 | 0 |
| 知识蒸馏式查询 | 黑盒 API | 功能等价 | 约 \(10^4\)–\(10^5\) |
| 梯度估计 | 黑盒+软标签 | 高精度复制 | 约 \(10^3\)–\(10^4\) |
| 元模型/硬标签 | 黑盒硬标签 | 近似模型 | 常 \(>10^5\) |
3.3 防御¶
| 防御 | 原理 | 精度影响（量级） | 边缘适配 |
|---|---|---|---|
| TEE 内执行 | 可信执行环境解密运行 | 通常很小 | 适合有 TEE 的 SoC |
| 输出扰动 | 对 logits/标签加噪 | 小幅 | 可行 |
| 查询异常检测 | 检测探测式查询 | 近零 | 仅防远程查询 |
| 水印/指纹 | 事后证明所有权 | 近零 | 追责用，非实时阻断 |
| 结构混淆 | 改结构保功能 | 小幅 | 弱–中 |
模型水印包括后门触发式、参数隐写与可验证水印等方向；边缘部署需权衡存储与推理开销。
4 后门攻击（Backdoor）¶
4.1 原理与分类¶
训练阶段植入触发器：正常输入表现正常，含触发器时输出攻击者指定标签[6]。
| 类型 | 触发器 | 隐蔽性 | 典型路径 |
|---|---|---|---|
| 可见贴片后门 | 固定小贴片 | 低 | 供应链投毒 |
| 隐形后门 | 全图微扰 | 高 | 联邦学习投毒 |
| 自然/语义后门 | 颜色、"戴帽"等 | 很高 | 预训练模型投毒 |
| 动态后门 | 随输入变化 | 极高 | 高级攻击 |
供应链路径：公开模型库 → 微调部署 → 边缘运行 → 触发器出现 → 恶意输出。公开模型库中"可检测后门行为"的比例随扫描方法与定义变化，不宜引用单一百分比为行业常数；部署前应做后门检测与来源审计。
4.2 检测方法（示意）¶
| 方法 | 原理 | 计算成本 | 边缘可行性 |
|---|---|---|---|
| Neural Cleanse | 逆向最小触发器 | 高 | 离线[8] |
| STRIP | 输入叠加一致性 | 低 | 可在线 |
| Spectral Signatures | 特征空间异常 | 中 | 离线 |
| Fine-Pruning | 剪枝可疑神经元 | 低 | 部署时 |
| 元学习/可解释性检测器 | 训练检测器 | 高 | 离线 |
检测率与误报强依赖数据集与后门类型，上表仅作方法选型参考。
5 边缘特有防御¶
5.1 运行时策略¶
| 防御策略 | 计算开销 | 防御对象 | 效果特征 |
|---|---|---|---|
| 输入预处理（如 JPEG） | 低 | 对抗样本 | 可被自适应攻击削弱 |
| 随机裁剪+投票 | 随采样次数线性 | 对抗样本 | 中–强 |
| 模型集成 | 随模型数线性 | 对抗+后门 | 强但贵 |
| 输出一致性/时序检查 | 中 | 后门/异常 | 中 |
| TEE 保护模型 | 中 | 窃取 | 强（防明文提取） |
| 对抗训练 | 推理近零 | 对抗样本 | 经验鲁棒[2] |
| 认证防御 | 推理可很高 | 对抗样本 | 有界保证[5] |
5.2 对抗训练¶
标准：\(\min_\theta L(f(x),y)\)；对抗：\(\min_\theta \max_{\|\delta\|<\epsilon} L(f(x+\delta),y)\)[2]。训练成本常升数倍；干净精度通常略降。RobustBench 等基准跟踪 CIFAR-10 等上的 AutoAttack 鲁棒精度，排行随时间更新，引用时应对齐具体条目与日期[4][10]。
6 认证鲁棒性（Certified Robustness）¶
经验防御无法证明对所有攻击有效。认证方法给出：在给定范数球内预测不变的数学保证。
| 方法 | 原理 | 半径特征 | 可扩展性 |
|---|---|---|---|
| 区间传播 (IBP) | 逐层区间 | 偏保守 | 较好 |
| 线性松弛 (CROWN 等) | 非线性层松弛 | 中 | 中 |
| 随机平滑 (RS) | 高斯噪声投票 | \(L_2\) 可控 | 好但多次推理[5] |
| MIP / SDP | 精确或紧松弛 | 紧 | 差（小网） |
随机平滑可在不改架构下推理时认证，但常需 \(N\) 约 \(10^2\)–\(10^3\) 次前向；边缘可用自适应采样（先少后多）降低平均延迟。
7 评估基准与规模权衡¶
RobustBench 是常用对抗鲁棒性排行平台，并逐步纳入更小边缘友好模型[10]。趋势性观察：参数更少、更适合 MCU/边缘的模型，在相同威胁模型下鲁棒精度往往更低——存在精度–鲁棒–体积的三维权衡，具体数字应以当时排行榜条目为准。
| 模型量级（示意） | 参数量级 | 相对鲁棒趋势 |
|---|---|---|
| 大宽残差网 | \(10^8\) | 相对更高 |
| ResNet-18 级 | \(10^7\) | 中 |
| MobileNet / EfficientNet-Lite | \(10^6\)–\(10^7\) | 偏低 |
| MCUNet 级 | \(<10^6\) | 更低 |
8 综合防御与安全降级¶
| 场景 | 降级策略 | 安全结果 |
|---|---|---|
| 自动驾驶疑似对抗输入 | 降速 + 请求接管 | 可控停车 |
| 门禁异常人脸 | 拒绝 + 告警 | 宁拒勿放 |
| 质检不确定 | 人工复检 | 不漏缺陷 |
| 语音命令异常 | 二次确认 | 防误操作 |
9 前沿方向（简）¶
多模态联合攻击（视觉+语言、相机+激光雷达）、端侧大模型的提示注入、可验证 AI 安全、联邦对抗训练，以及强制经受自适应攻击（如 AutoAttack）评估的防御声明[4][10]。
10 局限、挑战与可改进方向¶
1. 经验防御在自适应攻击下易失效¶
局限：JPEG、随机化等"一次性"防御在攻击者知晓防御后常被绕过；论文报告的高成功率未必可迁移到生产威胁模型。 改进：以 AutoAttack/自适应评估为默认门槛[4]；防御声明必须写清威胁模型（范数、查询、物理约束）。
2. 认证半径与边缘时延冲突¶
局限：随机平滑等认证方法需要大量前向，MCU/实时视觉难承受。 改进：自适应采样；仅对安全关键帧做认证；离线用紧松弛、在线用轻量检测器。
3. 模型越小鲁棒越差¶
局限：边缘压缩与剪枝常牺牲鲁棒边界，安全关键任务若只追 mAP/延迟会埋雷。 改进：把鲁棒精度纳入模型选型 KPI；关键类别单独对抗训练与物理测试场验收。
4. 供应链后门检测覆盖不全¶
局限：检测器对语义/动态后门误报漏报并存；公开扫描比例不可外推。 改进：来源签名 + SBOM；部署前 Neural Cleanse/STRIP 等组合；关键模型自训或可信供应商。
5. 物理攻击评估难标准化¶
局限：贴片/激光/声学结果依赖光照、距离、传感器，实验室数字难复现。 改进：建立场景化物理测试规程（距离、角度、天气）；安全降级策略与单车/单机智能回退写进产品需求。
参考文献¶
[1] I. Goodfellow et al., "Explaining and Harnessing Adversarial Examples," ICLR, 2015. [2] A. Madry et al., "Towards Deep Learning Models Resistant to Adversarial Attacks," ICLR, 2018. [3] K. Eykholt et al., "Robust Physical-World Attacks on Deep Learning Visual Classification," CVPR, 2018. [4] F. Croce and M. Hein, "Reliable Evaluation of Adversarial Robustness with an Ensemble of Attacks," ICML, 2020 (AutoAttack). [5] J. Cohen et al., "Certified Adversarial Robustness via Randomized Smoothing," ICML, 2019. [6] T. Gu et al., "BadNets: Evaluating Backdooring Attacks on Deep Neural Networks," IEEE Access, 2019. [7] F. Tramèr et al., "Stealing Machine Learning Models via Prediction APIs," USENIX Security, 2016. [8] B. Wang et al., "Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks," IEEE S&P, 2019. [9] N. Carlini and D. Wagner, "Towards Evaluating the Robustness of Neural Networks," IEEE S&P, 2017. [10] F. Croce et al., "RobustBench: A Standardized Adversarial Robustness Benchmark," NeurIPS Datasets and Benchmarks, 2021 (持续更新). [11] A. Athalye et al., "Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples," ICML, 2018. [12] Y. Liu et al., "Trojaning Attack on Neural Networks," NDSS, 2018.