CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at

잘만 돌리던 코드에서 아래와 같은 오류가 발생하였다.

CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at

분명 로컬에서 돌릴 때 아무 문제가 없었는데, 서버에서 돌리려니 문제가 발생해서 pytorch도 재설치해보고 했었는데 해결이 안되었었는데, 알고 보니 gpu 번호를 설정하는데서 생긴 문제였다..

 

import os

os.environ['CUDA_VISIBLE_DEVICES'] = '0'

 

이렇게 코드상에서 `CUDA_VISIBLE_DEVICES`를 설정해줄 때, 해당 line이 반드시 `import pytorch`보다 먼저 들어가야 한다.

import torch가 기본적으로 0번 gpu를 가져오기 때문에 이것보다 먼저 설정을 해줘야 한다고 합니다.~~

 

요약: import torch 보다 cuda_visible_devices를 먼저 하자. 

 

PyTorch: RuntimeError: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED · Issue #126344 · pytorch/pytorch