当前位置：物联沃-IOTWORD物联网 > 技术教程 > 【以Tesla T4_16G GPU为例】NVIDIA Driver、CUDA、cuDNN与Python安装指南
代码收藏家代码收藏家 技术教程

【以Tesla T4_16G GPU为例】NVIDIA Driver、CUDA、cuDNN与Python安装指南

这篇文章主要记录下在内网(无法连接外网)服务器安装NVIDIA Driver、CUDA、cuDNN、Python的过程，机器配置GPU：1*NVIDIA T4 16G，CPU：8C42G，操作系统：GPU-RHEL7.9-x86-64。

想了解如何内网部署ollama，使用大模型，可以参考我的另一篇文章：
【内网Tesla T4_16G为例】超详细部署安装ollama、加载uugf格式大模型qwen2、chatglm3及大模型的使用

前言

因为是内网环境，所以文章中的安装过程，不贴实际安装过程的图片。

因为是内网环境，所以所有的安装包都是先外网下载好，拷贝到内网执行的。下面所有安装包都是如此，不再赘述

该服务器除系统盘60G之外，还有一个扩展盘100G，我们可以理解为windows电脑的D盘，我的所有安装包都会装在该盘，如果你只有一个盘，可以新建一个文件夹安装，不建议安装在系统盘的其他文件夹中

一. 安装Python

1. 下载python离线包
安装包下载地址：https://www.python.org/downloads/source/
我下载的是Python 3.10.14

下面是linux服务器上的部署过程
2. 系统更新

sudo yum update -y

3. 安装必要的依赖项

sudo yum groupinstall “Development Tools” -y
sudo yum install openssl-devel bzip2-devel libffi-devel -y

2，3步骤可以在盘的主目录下直接执行。

**4. 解压Python-3.10.14.tgz并安装 **

#解压
sudo tar xzf Python-3.10.14.tgz
#进入解压后的包
cd Python-3.10.14
#设置安装地址，如果/mnt/data/python3.10之前没有，需要新建
sudo ./configure –enable-optimizations –prefix=/mnt/data/python3.10
#编译并安装（如果你需要在服务器中安装多个版本的python且不影响其他版本，这里要使用altinstall，而不是install）
sudo make altinstall

5. 是否安装成功

python3.10 –version
python3.10 # 该命令直接运行python，可以实现编码

此时安装完之后你可以使用python3.10 –version查看，如果你希望python –version
或者python3 –version等格式的命令，你可以通过符号链接将 python 指向 python3.10。

6. 创建符号链接（可选操作）
1）删除现有的 python 符号链接（如果存在，可通过python –version检查，是否返回其他版本）：

sudo rm /usr/bin/python

2）创建新的符号链接
python –version
pip –version

sudo ln -s /mnt/data/python3.10/bin/python3.10 /usr/bin/python
sudo ln -s /mnt/data/python3.10/bin/pip3.10 /usr/bin/pip

python3 –version
pip3 –version

sudo ln -s /mnt/data/python3.10/bin/python3.10 /usr/bin/python3
sudo ln -s /mnt/data/python3.10/bin/pip3.10 /usr/bin/pip3

7.环境变量配置（建议做）
配置环境变量如果想全局都生效，可以配置在/etc/profile.d

  • 这里需要先进入/etc/profile.d，然后创建一个shell脚本，比如mkdir app_ env.sh。
  • vim app_env.sh，将
    export PATH="/mnt/data/python3.10/bin:$PATH"加进去。
  • 执行source /etc/profile，更新配置

    • 二、下载并安装NVIDIA Driver

    进入英伟达官网下载：https://www.nvidia.com/Download/index.aspx#
    目前pytorch最高支持CUDA Toolkit 12.1，尽管CUDA已经更新到12.5。暂时没有CUDA Toolkit 12.1可选，所以就选择离12.1最近的CUDA Toolkit 12.2。


    下面是安装过程：
    1. 先安装一些依赖

    sudo yum install epel-release
    sudo yum update
    sudo yum install pkgconfig libglvnd-devel

    2. 安装
    直接在NVIDIA-Linux-x86_64-535.161.08.run所在文件夹执行，脚本会自动配置安装位置

    chmod +x NVIDIA-Linux-x86_64-535.161.08.run # 先赋予权限
    sh ./NVIDIA-Linux-x86_64-535.161.08.run -s –no-x-check # 安装
    nvidia-smi # 检查是否安装成功

    下图为例图证明安装成功：

    三、下载并安装CUDA

    上面提到了在安装Nvidia驱动的时候，选择CUDA版本是12.2，因此，我们在下载的时候也要下载12.2的。下载地址：https://developer.nvidia.com/cuda-toolkit-archive

    根据自己的机器，选择合适的安装包，直接在浏览器地址栏输入地址：https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run，直接先下载

    下面是安装过程：
    （1）上传至服务器，进入到安装包目录，执行以下命令安装

    sudo sh cuda_12.2.0_535.54.03_linux.run

    （2）运行后在出现的页面中执行以下操作

    输入 accept，继续执行

    到下面这个页面时，在Driver行，按Enter，会取消掉CUDA自带驱动的安装，因为我们已经安装过了，取消掉的状态是没有前面的X了。
    然后⬇到Install，按Enter，继续执行。

    安装完成后，会出现下面的内容：
    因为是内网无法截图和粘贴东西，以下内容参考文章：https://blog.csdn.net/weixin_46398647/article/details/137666448

    ===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-12.2/

Please make sure that
 -   PATH includes /usr/local/cuda-12.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-12.2/lib64, or, add /usr/local/cuda-12.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-12.2/bin
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 535.00 is required for CUDA 12.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

    根据上面的提示信息设置路径：

    export PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

    输入命令nvcc -V进行检验：

    [root@Nvidia-Tesla-T4 Downloads]# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Jun_13_19:16:58_PDT_2023
Cuda compilation tools, release 12.2, V12.2.91
Build cuda_12.2.r12.2/compiler.32965470_0

    三、下载并安装CuDNN

    （1）下载CuDNN
    下载地址：https://developer.nvidia.com/cudnn-archive
    因为服务器的操作系统是RHEL7.9的，目前看只有9.0.0支持该系统，所以下载的是9.0.0，如果你是RHEL8或9可以选择其他版本


    浏览器地址栏输入：https://developer.download.nvidia.com/compute/cudnn/9.0.0/local_installers/cudnn-local-repo-rhel7-9.0.0-1.0-1.x86_64.rpm，即可下载

    （2）安装
    拷贝到内网，在文件目录下执行以下命令：

    sudo rpm -i cudnn-local-repo-rhel7-9.0.0-1.0-1.x86_64.rpm
sudo yum clean all
sudo yum -y install cudnn

    这样就安装完成了。

    作者：热爱生活的猴子

    物联沃分享整理
    物联沃-IOTWORD物联网 » 【以Tesla T4_16G GPU为例】NVIDIA Driver、CUDA、cuDNN与Python安装指南

    代码收藏家 普通

    分享到：

    相关推荐

    发表回复