定义
ONNX（Open Neural Network Exchange，开放神经网络交换）是一种开放的模型中间格式，支持 TensorFlow、PyTorch、Caffe 等主流框架导出的模型互操作。模型经 ONNX 转换后可部署至边缘设备、NPU 或 GPU，配合 TensorRT 等运行时优化，实现跨平台推理。适用于工业视觉、缺陷检测、OCR 等边缘 AI 场景。
工作流程
训练阶段在 PyTorch、TensorFlow 等框架完成；导出为 ONNX 格式（.onnx 文件）；ONNX Runtime、TensorRT、OpenVINO、各 NPU SDK 可加载 ONNX 进行推理。ONNX 支持算子扩展，部分自定义算子需各运行时适配。模型优化（量化、剪枝、算子融合）可在 ONNX 或运行时层面进行，TensorRT 可将 ONNX 进一步优化为引擎文件。
应用场景
工业视觉缺陷检测、目标检测、分类；安防人脸识别、行为分析；OCR 文字识别；语音识别。边缘 AI 网关、工控机、嵌入式设备通过 ONNX Runtime 或厂商 SDK 加载 ONNX 模型，实现本地推理，降低延迟与带宽需求。