跳转至

第五层：边缘智能

定位：让物联网不仅能"感知"，还能"思考"——边缘智能层解决的核心问题是：如何在资源有限的边缘设备上高效地运行 AI 模型，让数据在产生的地方就被理解和决策。

本层概览

传统的 AI 部署模式很简单：设备采集数据 → 上传云端 → 云端跑模型 → 返回结果。但这条路径正在遭遇三面墙。

延迟墙：一辆自动驾驶汽车以 120km/h 行驶时，每 100ms 的延迟意味着多走 3.3 米。从边缘到云端一个往返就要 50-200ms，而车载 AI 的安全要求是 10ms 内做出决策。数据发到云上再等结果回来——来不及。

带宽墙：一个智慧城市部署了 10,000 路摄像头，每路 1080p@30fps 约 4Mbps。把所有视频流传到云端需要 40Gbps 的上行带宽，这在大多数城市网络中是不现实的。数据必须在本地先"看懂"，只传有价值的结果。

隐私墙：医院的患者影像、工厂的生产数据、家庭的摄像头画面——越来越多的数据因为法规（GDPR、数据安全法）或用户意愿，不允许离开设备或本地网络。模型必须去数据所在的地方，而不是数据来找模型。

边缘智能（Edge Intelligence）就是为了翻越这三面墙而生的技术体系。它不是简单地把云端模型搬到边缘——一个 GPT-4 级别的模型需要上百 GB 显存，而一个 Jetson Nano 只有 4GB。边缘智能的核心挑战是：在严格的资源约束下，让 AI 尽可能接近数据源高效运行。

核心技术地图

┌─────────────────────────────────────────────────────────────┐
│                       云端 (Cloud)                           │
│          完整大模型 · 全局训练 · 知识蒸馏教师模型                  │
├─────────────────────────────────────────────────────────────┤
│                    边缘服务器 (Edge Server)                    │
│      量化模型推理 · 协作推理 · 联邦学习聚合 · 视频分析流水线         │
├─────────────────────────────────────────────────────────────┤
│                   边缘设备 (Edge Device)                      │
│    TinyML · 设备端微调 · 模型分割执行 · 持续学习适应              │
├─────────────────────────────────────────────────────────────┤
│                    终端传感器 (Sensor)                         │
│              原始数据采集 · 简单滤波 · 触发上报                   │
└─────────────────────────────────────────────────────────────┘

这张图的关键信息是：AI 能力在逐层下沉。过去只有云端能跑模型，现在模型压缩、协作推理、联邦学习等技术正在让 AI 渗透到每一层。

基石论文：Jupiter

本层的基石论文是 Jupiter: 边缘设备上的快速资源高效协作 LLM 推理（IEEE INFOCOM 2025）。Jupiter 解决了一个标志性的问题：如何让多个内存只有 8GB 的边缘设备协作运行 7B-13B 参数的大语言模型？

它的核心贡献——序列内流水线并行、投机解码、大纲式并行解码——构成了"边缘协作推理"这一方向的技术范式。理解 Jupiter 后，你会发现本层其他论文探讨的技术（模型压缩、分割计算、知识蒸馏等）都可以作为 Jupiter 系统的上下游组件：模型压缩让模型更小从而更容易分配到设备上，分割计算决定模型在哪里切开，知识蒸馏产生更小但仍然聪明的边缘模型。

建议先读 Jupiter，再按兴趣展开其他论文。

论文导读

协作与推理

# 论文 关键词 难度
1 Jupiter: 边缘设备上的协作 LLM 推理 流水线并行, 投机解码, 大纲式解码, INFOCOM 2025 🟠 挑战
2 协作推理系统全景 Pipeline/Tensor/Hybrid 并行, EdgeShard, Petals, PowerInfer-2 🟠 挑战
3 分割计算：DNN 端-边最优切分 Split Point, Early Exit, Neurosurgeon, SPINN, DADS 🟡 进阶

模型优化

# 论文 关键词 难度
4 边缘 AI 模型压缩技术全景 量化 (PTQ/QAT/GPTQ/AWQ), 剪枝, NAS, TensorRT 🟡 进阶
5 知识蒸馏在边缘部署的应用 软标签, 注意力迁移, 自蒸馏, 数据无关蒸馏 🟡 进阶
6 NAS 自动化边缘模型设计 MobileNet, EfficientNet, Once-for-All, MCUNet 🟡 进阶

训练与学习

# 论文 关键词 难度
7 联邦学习与物联网 FedAvg, Non-IID, FedProx, FedGPA, INFOCOM 2025 🟠 挑战
8 设备端在线训练 Transfer Learning, LoRA on Edge, TinyTL, PockEngine 🟡 进阶
9 边缘持续学习 灾难性遗忘, EWC, PackNet, Replay, 概念漂移 🟠 挑战

系统应用

# 论文 关键词 难度
10 边缘视频分析系统 模型级联, ROI 过滤, FilterForward, Ekya, VideoStorm 🟡 进阶

阅读路径建议

入门路径（刚接触边缘 AI）： 1. 先读本页概览，理解"为什么 AI 要跑到边缘" 2. 阅读 模型压缩全景 了解"大模型怎么变小" 3. 阅读 知识蒸馏 了解"大模型怎么教小模型" 4. 阅读 NAS 边缘模型设计 了解"怎么自动设计小模型"

系统路径（想理解边缘推理系统）： 1. 阅读基石论文 Jupiter 理解协作推理的范式 2. 协作推理全景 看更广的技术版图 3. 分割计算 深入理解模型怎么切分 4. 边缘视频分析 看实际的系统设计

研究路径（对训练和学习感兴趣）： 1. 联邦学习与物联网 — 隐私保护下的分布式训练 2. 设备端在线训练 — 模型在设备上持续进化 3. 边缘持续学习 — 学新知识不忘旧知识 4. NAS 自动化设计 — 让机器设计机器

难度标记说明

标记 含义 前置知识
🟢 入门 无特殊要求
🟡 进阶 了解基本机器学习概念（损失函数、梯度下降、卷积）
🟠 挑战 熟悉深度学习框架使用和分布式系统基础
🔴 研究级 需要论文阅读能力和实验复现能力

与其他层的关系

Layer 4 (计算平台)
    ↓ 提供运行环境（KubeEdge、容器、资源调度）
Layer 5 (边缘智能) ← 你在这里
    ↓ 输出推理结果、决策信号
Layer 6 (应用场景)
  • 第四层（计算平台）→ 本层：计算平台提供边缘智能的运行环境。KubeEdge 管理容器化的模型推理服务，MEC 提供靠近基站的计算资源，Serverless 框架实现按需调用。Jupiter 的协作推理系统就运行在边缘计算集群之上。
  • 本层 → 第六层（应用）：边缘智能直接支撑上层应用的核心能力。自动驾驶的实时感知、智慧工厂的缺陷检测、智能安防的行为识别——这些应用的实时性和隐私性要求，都由边缘智能技术来满足。
  • 第二层（无线接入）→ 本层：联邦学习的通信效率、协作推理的设备间数据传输，都受限于无线接入层的带宽和延迟。LoRa 设备只能跑 TinyML，5G 设备才有条件参与协作推理。
  • 本层 ↔ 第六层（安全）：联邦学习本身就是隐私保护技术，但也面临梯度泄露等新的安全挑战。差分隐私、安全聚合等机制与安全层紧密关联。