使用TensorRT在Windows平台上部署Yolov5

最近在家里闲来无事,准备给隔壁室友的猫做一点小玩具,结果做到后来发现这个小猫咪他喵的不太感兴趣,遂放弃。不过在做的过程中学习了使用TensorRT部署yolov5。由于是在Windows上部署,本人之前也没有接触过相关的东西,发现对新手来说还是会有很多坑,于是就在这里记录一下部署的整个过程。

安装环境

安装环境这部分简单说下吧,主要需要安装的环境有以下几个:

  • Visual Studio
  • cmake
  • opencv
  • CUDA
  • CuDNN
  • TensorRT
  • anaconda
  • pytorch

大部分安装过程都比较简单,重点说一下容易出错的地方。

  • 注意CUDA和TensorRT的版本一定要匹配,匹配指的是SDK内部很多组件的版本一定要一样,不然会导致最后运行时报错。在下载前去release note页面看看,重点需要保证CUDA cuBLAS这个组件的版本一致。

27192041195855743

  • 安装TensorRT时注意配置一下环境变量。

  • 关于某些教程里面说的安装python版本的TensorRT,Nvidia官方文档已经明确说明不支持Windows平台,所以不需要考虑安装这个。The Windows zip package for TensorRT does not provide Python support. Python may be supported in the future.

安装Yolov5

安装过程非常简单,建议参考官方手册,以下是官方仓库地址:https://github.com/ultralytics/yolov5

基本上就是把仓库clone下来,然后安装requirement.txt里的东西就好了,当然前提条件是已经安装好GPU版本的pytorch了。之后可以试试python detect.py 这个命令会自动下载权重文件,并使用./data文件夹下的图跑一个demo,运行结果将放在./run文件夹下。

TensorRT简介

移植c++

测试与运行

部署到项目