代码收藏家技术教程 2024-06-06

使用onnxruntime-gpu部署和测试onnx模型（Python环境搭建）

1. onnxruntime 安装

2. onnxruntime-gpu 安装

2.1 方法一：onnxruntime-gpu依赖于本地主机上cuda和cudnn

2.2 方法二：onnxruntime-gpu不依赖于本地主机上cuda和cudnn

2.2.1 举例：创建onnxruntime-gpu==1.14.1的conda环境

2.2.2 举例：实例测试

onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可

pip install onnxruntime

想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-

作者：普通网友

分享到：