딥러닝 NVIDIA GPU / cuda 사용하기

1. CUDA 설치

아래 링크에서 본인의 그래픽 카드에 맞는 NVIDIA 드라이버 다운로드.(나: RTX 3060TI)

Download the latest official NVIDIA drivers

2. CUDA Toolkit 설치

1. 아래 링크에서 하단의 GPU 부분에서 자신이 설치하고자 하는 tensorflow-gpu, 파이썬 버전에 맞는 cuDNN과 CUDA 버전을 확인. (나: cuDNN 8.1 & CUDA 11.2) --> (23.11.27 수정) (나: cuDNN 8.9.5 & CUDA 11.7)

--> (23.11.27 수정) 아래 링크에서 공식지원버전은 최대가 11.2라고 되어있지만, 상위버전들도 되긴하는것같다. 나는 11.7+tensorflow-gpu 2.9.0에서 정상작동하였다. 

--> (23.12.21 수정) 아래 CUDA 위키피디아에서 자신의 GPU에 맞는 CUDA버전을 확인할 수 있다.

우선 자신의 GPU이름을 확인하고, 아래의 CUDA 위키피디아를 들어가서 자신의 GPU 이름을 검색하면 알맞은 Compute capability 버전을 확인할 수있다. 나는 GTX3060 Ti이기 때문에 확인해보면, 8.6버전이다. 

이제 바로 위에서 해당 compute capability버전에 맞는 cuda버전을 또 확인할 수 있다 .나의 경우는 CUDA 11.1 이상을 사용하면 된다. 

CUDA - Wikipedia

 

  2. 아래 링크에서 해당하는 CUDA 버전에 맞는 Toolkit을 다운로드.

이제 위에서 찾은 자신의 CUDA 버전에 알맞는 Toolkit을 아래 링크에서 다운로드 받는다. 

CUDA Toolkit Archive

  (나: https://developer.nvidia.com/cuda-11-2-0-download-archive )

        (23.11.27 수정) (나: https://developer.nvidia.com/cuda-11-7-0-download-archive )

3.Visual studio 설치

아래 링크에서 visual studio community 2017 설치한다.

Visual Studio 2017 재배포

4. cuDNN 설치

1. 아래 링크에서 회원가입→로그인
2. Toolkit 설치할 때 확인한 CUDA버전과 cuDNN 버전과 동일한 cuDNN을 다운로드
3. 다운받은 파일의 압축을 모두 해제 후, 아래 경로에 모든 압축 파일 덮어쓰기.

cuDNN Archive

  ( cuda라는 폴더를 덮어씌우는 것이 아니라, 안에 들어있는 폴더들(bin, include, lib)

  (나: Download cuDNN v8.1.0 (January 26th, 2021), for CUDA 11.0,11.1 and 11.2)

         (23.11.27 수정)  (나: Download cuDNN v8.9.5 (October 27th, 2023), for CUDA 11.x )

 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2-->(자기버전)

 

5. 환경변수 설정

1. 아래 경로들을 모두 환경 변수 path에 추가.(자신의 버전에 맞게) 

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\CUPTI\libx64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\include

6. 적용

Tensorflow-gpu

1. 이후, 가상 환경을 생성하고, 설치한 CUDA버전과 호환되는(위의 링크) pyhton과 tensorflow-gpu버전을 설치.
2. 재부팅 후, 아래 코드를 실행하여, gpu가 잡혔는지 확인.

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

Pytorch

아래 링크에서 파이토치도 위와 동일하게 버전에 맞게 설치해주면 된다.

(cuda 11.2의 경우 명시된게 없어서, 11.0에 맞는 pytorch를 설치하니 정상작동하였다.)

 (23.11.27 수정) -> cuda 11.7과, pytorch 2.0.0 설치함

PyTorch

---

!!!! My setting

우선 위에서 tensorflow의 공식 지원버전은 최신이 cuda 11.2라고 되어있어서 11.2로 진행했는데, 추후 torch랑  transformers를 쓰려고하니 cuda버전이 안맞아서 고생했는데, 텐서플로우 커뮤니티에서 뒤적이다가 tensorflow가 cuda 11.7에서도 된다는 말을 듣고 설치했다. (cudnn은 8.9.5)

나: 그래픽카드=`RTX 3060TI`, `tensorflow-gpu=2.9.0`, `pytorch=2.0.0`, `CUDA=11.7`, `CUDNN=8.9.5`

pip install tensorflow-gpu==2.9.0
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia

 

Is tensorflow==2.9.0 compatible with cuda 11.8

참고 사이트

[ML][Windows 11] CUDA, cuDNN 설치

윈도우에 Tensorflow-GPU(2.5.0) 설치하기 - 그래픽카드 버전, CUDA 버전 등등