콘텐츠로 이동

GPU 드라이버 및 CUDA Toolkit 설치

GPU를 사용하기 위해서는 GPU 드라이버와 CUDA Toolkit을 설치해야 합니다. NVIDIA에서 제공하는 CUDA Toolkit 설치 파일을 사용하면 드라이버와 CUDA를 동시에 설치할 수 있습니다.

사전 준비

시스템 요구사항 확인

  • 최소 30G 이상의 디스크 용량이 확보 되어야 합니다.

필수 패키지 설치

Toolkit 설치에 앞서 필요한 패키지를 먼저 설치해야 합니다. 운영체제에 따라 의존성 패키지 설치 후 재부팅이 필요할 수 있습니다.

Ubuntu 24.04

sudo apt update && sudo apt install gcc linux-headers-$(uname -r) dkms -y

Rocky 8.10

sudo dnf install gcc kernel-devel-$(uname -r) kernel-headers-$(uname -r) pciutils -y

Rocky 9.4, 9.5

sudo dnf install gcc kernel-devel kernel-headers kernel pciutils -y
sudo reboot

설치

필수 패키지를 설치한 후 CUDA Toolkit을 설치해줍니다. 이 과정은 운영 체제의 구분 없이 공통으로 진행합니다. 설치 파일 다운로드 링크는 CUDA Toolkit에서 확인할 수 있습니다.

설치 파일 다운로드

curl -LO https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda_12.8.0_570.86.10_linux.run

설치 파일 실행

sudo sh cuda_12.8.0_570.86.10_linux.run

설치 파일을 실행하면 일정 시간이 경과된 후 다음과 같은 화면이 표시됩니다.

licence_agree
  • 라이센스 동의 화면입니다. accept 입력하여 다음 단계를 진행합니다.
cuda_installer
  • Install을 선택하여 설치를 진행합니다.

설치 확인

설치가 완료된 후 nvidia-smi를 입력하여 설치된 드라이버와 CUDA의 정보에 대해서 확인할 수 있습니다.

nvidia-smi
# Mon Feb 24 00:58:02 2025
# +-----------------------------------------------------------------------------------------+
# | NVIDIA-SMI 570.86.10              Driver Version: 570.86.10      CUDA Version: 12.8     |
# |-----------------------------------------+------------------------+----------------------+
# | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
# | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
# |                                         |                        |               MIG M. |
# |=========================================+========================+======================|
# |   0  NVIDIA H100 NVL                Off |   00000000:00:05.0 Off |                    0 |
# | N/A   44C    P0             96W /  400W |       1MiB /  95830MiB |      0%      Default |
# |                                         |                        |             Disabled |
# +-----------------------------------------+------------------------+----------------------+

# +-----------------------------------------------------------------------------------------+
# | Processes:                                                                              |
# |  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
# |        ID   ID                                                               Usage      |
# |=========================================================================================|
# |  No running processes found                                                             |
# +-----------------------------------------------------------------------------------------+

드라이버 설치 후 nvidia-smi 가 작동 되더라도 재부팅 후 사용해야 합니다.

sudo reboot

참고