目标检测部署链：多框架多格式横评

YOLO-Master 精读见 精读: yolo-master Ultralytics 精读见 精读: ultralytics 跨赛道纵向见 跨赛道: YOLO 到 端侧 端侧流水线见 端侧部署流水线

调研元信息

一句话定位

本文横向对比 5 个检测框架在不同部署格式（TensorRT/ONNX/CoreML/ncnn/TFLite）下的导出能力、限制和实践建议。

日常类比

不同检测框架像不同品牌的相机，部署格式像不同的照片冲印店。有的相机（Ultralytics）跟所有冲印店都合作良好；有的相机（YOLO-Master MoE）拍的「多重曝光照片」只有特定冲印店能处理。

框架 x 格式 兼容矩阵

各框架部署特点

Ultralytics (YOLOv8/v11) [已有]

最成熟的部署生态，一条命令覆盖全格式：

yolo export model=yolov8n.pt format=onnx     # ONNX
yolo export model=yolov8n.pt format=engine    # TensorRT
yolo export model=yolov8n.pt format=ncnn      # ncnn (via PNNX)
yolo export model=yolov8n.pt format=coreml    # CoreML
yolo export model=yolov8n.pt format=tflite    # TFLite
yolo export model=yolov8n.pt format=openvino  # OpenVINO

特点：内置 PNNX 调用，ncnn 导出质量最高；支持 INT8 量化选项（format=engine + int8=True）。

YOLOv10 [已有]

基于 Ultralytics 框架，继承其全部导出能力。额外特点：

• 去 NMS 设计：推理时无需后处理 NMS 步骤
• 导出的 ONNX 模型结构更简洁（无 NMS 节点）
• 对 TensorRT/ncnn 部署友好（少一步后处理）

YOLO-Master (ES-MoE) [已有]

部署最困难的框架（详见 跨赛道文档）：

• 动态路由 + 条件分支 = ONNX 导出需 opset >= 13 且有限制
• TensorRT 需自定义 plugin 处理 Top-K 动态分支
• ncnn 基本不可直接部署完整 MoE 模型
• 推荐路径：pruning.py 单专家蒸馏后走标准链

RT-DETR [已有]

Transformer 检测器的部署特点：

• 无 NMS（Set Prediction + Hungarian Matching）
• Attention 算子导出：Deformable Attention 需 ONNX 自定义 op 或展开
• TensorRT 支持良好（Transformer 算子优化成熟）
• ncnn 支持有限（MultiHeadAttention 实现不完整）
• 推理速度：在 GPU 上与 YOLO 竞争力相当；在 CPU/端侧显著慢于 YOLO

mmdetection [已有]

与其他框架不同，mmdetection 需要专门的部署工具 mmdeploy：

# mmdetection 不能直接 export，需要 mmdeploy
pip install mmdeploy mmdeploy-runtime
python tools/deploy.py configs/deploy/... model.pth demo.png

特点：

• mmdeploy 统一封装了 ONNX/TRT/ncnn/OpenVINO 后端
• 配置驱动：每个模型 + 后端组合需要独立 deploy config
• 学习成本高但灵活性强
• 支持自定义 post-processing 节点

部署格式特点对比

MoE 特殊部署节

YOLO-Master 的 MoE 模块给部署带来独特挑战 [已有]：

graph TD
    A[YOLO-Master MoE 模型] --> B{目标平台?}
    B -->|NVIDIA GPU 服务端| C[TensorRT + Custom Plugin]
    B -->|移动端| D{愿意损失精度?}
    D -->|是| E[pruning.py 蒸馏<br/>然后走标准链]
    D -->|否| F[全 Expert 导出<br/>体积膨胀+丧失稀疏优势]
    B -->|Apple 设备| G[CoreML 不支持<br/>必须蒸馏]

关键结论：

• 服务端 GPU（TensorRT）：可通过自定义 plugin 实现动态路由，但开发成本高
• 移动端（ncnn/MNN）：推荐单专家蒸馏后部署
• 学术验证（ONNX Runtime）：可导出 opset 13+ 的完整模型，但推理性能不保证

实践建议

按场景选择

RT-DETR vs YOLO 部署差异

证据等级