端侧部署流水线：从 PyTorch 到手机推理

ncnn 架构见 精读: ncnn MNN 架构见 精读: mnn（用户正在学习） YOLO-Master 部署难点见 跨赛道: YOLO 到 端侧 检测框架部署横评见 目标检测部署链

调研元信息

一句话定位

本文描述端到端部署流水线——PyTorch 模型如何经过导出、转换、量化最终跑在手机上——以及每一步的常见失败模式和引擎选型决策。

日常类比

把模型部署比作「把一本中文小说翻译成盲文并印刷在口袋书上」：

• 导出（ONNX）= 先翻译成英文（通用中间语言）
• 转换（PNNX/MNNConvert）= 再翻译成盲文（引擎专用格式）
• 量化（INT8）= 缩印成口袋版（精度换体积）
• 推理（ncnn/MNN）= 盲人读者实际阅读（设备上执行）

每步都可能「翻译失真」：复杂句式翻不了（动态分支）、缩印太小看不清（量化精度损失）。

全链路总览

flowchart LR
    subgraph Train[训练阶段]
        T1[PyTorch Model] --> T2[TorchScript]
    end
    subgraph Export[导出阶段]
        T2 --> E1[ONNX]
        T2 --> E2[PNNX 直通]
        E1 --> E3[onnx-simplifier]
    end
    subgraph Convert[转换阶段]
        E3 --> C1[onnx2ncnn]
        E2 --> C2[ncnn param+bin]
        E3 --> C3[MNNConvert]
        C1 --> C2
        C3 --> C4[MNN mnn文件]
    end
    subgraph Quantize[量化阶段]
        C2 --> Q1[ncnn2table PTQ]
        C4 --> Q2[MNN量化工具]
        Q1 --> Q3[ncnn INT8]
        Q2 --> Q4[MNN INT8]
    end
    subgraph Deploy[部署阶段]
        Q3 --> D1[ncnn推理]
        Q4 --> D2[MNN推理]
    end

阶段一：导出（Export）

路径对比

Ultralytics 一键导出 [已有]

# 标准 YOLO 模型，一条命令搞定
yolo export model=yolov8n.pt format=ncnn
yolo export model=yolov8n.pt format=onnx
yolo export model=yolov8n.pt format=coreml

支持 format: onnx, ncnn, coreml, tflite, openvino, torchscript, engine(TensorRT)。

PNNX 手动导出 [源码]

# Step 1: 导出 TorchScript
import torch
model = MyModel()
x = torch.randn(1, 3, 640, 640)
mod = torch.jit.trace(model, x)
mod.save("model.pt")

# Step 2: PNNX 转换
pnnx model.pt inputshape=[1,3,640,640]
# 产出: model.ncnn.param, model.ncnn.bin, model_pnnx.py 等 7 文件

导出阶段失败模式

阶段二：转换（Convert）

ncnn 转换链

PNNX 优势：保留 PyTorch 算子语义，支持 F.silu / F.layer_norm 等 ONNX 无法精确表达的操作。

MNN 转换链

MNNConvert -f ONNX --modelFile model.onnx --MNNModel model.mnn --bizCode myapp
# 或从 TFLite/Caffe/TorchScript 转换

转换阶段失败模式

阶段三：量化（Quantize）

ncnn PTQ 量化 [文档]

# Step 1: 准备校准图片列表
find calibration_images/ -name "*.jpg" > imagelist.txt

# Step 2: 生成量化表
ncnn2table model.param model.bin imagelist.txt model.table \
    mean=[104,117,123] norm=[0.017,0.017,0.017] shape=[224,224,3] \
    pixel=BGR thread=4 method=kl

# Step 3: 量化模型
ncnn2int8 model.param model.bin model_int8.param model_int8.bin model.table

MNN 量化 [文档]

# MNN 的量化集成在 MNNConvert 中
MNNConvert -f ONNX --modelFile model.onnx --MNNModel model_quant.mnn \
    --bizCode myapp \
    --weightQuantBits 8 \
    --compressionParamsFile quant_config.json

ncnn vs MNN 量化对照

量化阶段失败模式

阶段四：部署推理（Deploy）

ncnn 推理代码骨架（C++）

#include "net.h"
ncnn::Net net;
net.opt.use_vulkan_compute = true;  // GPU 加速
net.load_param("model.param");
net.load_model("model.bin");

ncnn::Mat in = ncnn::Mat::from_pixels(img, ncnn::Mat::PIXEL_BGR, w, h);
in.substract_mean_normalize(mean, norm);

ncnn::Extractor ex = net.create_extractor();
ex.input("input", in);
ncnn::Mat out;
ex.extract("output", out);  // 按需递归，未用到的层不执行

MNN 推理代码骨架（C++）

#include <MNN/Interpreter.hpp>
auto net = MNN::Interpreter::createFromFile("model.mnn");
auto session = net->createSession(config);
auto input = net->getSessionInput(session, nullptr);
// ... 填充输入
net->runSession(session);
auto output = net->getSessionOutput(session, nullptr);

部署阶段引擎选型

端到端示例：YOLOv8 到手机

sequenceDiagram
    participant Dev as 开发者
    participant UL as Ultralytics
    participant PNNX as PNNX工具
    participant ncnn as ncnn引擎
    participant Phone as 手机

    Dev->>UL: yolo export model=yolov8n.pt format=ncnn
    UL->>PNNX: 自动调用 PNNX
    PNNX->>ncnn: 生成 yolov8n.ncnn.param + .bin
    Dev->>ncnn: ncnn2table 量化（可选）
    Dev->>Phone: 集成 libncnn + 模型文件
    Phone->>Phone: ncnn::Net 加载 + Vulkan 推理

Ultralytics 的 yolo export format=ncnn 内部自动完成 TorchScript -> PNNX -> ncnn 全链路。

失败模式总结表

证据等级