앞으로는 개발이나 무언가를 하다가 격는 사소한(?) 오류나 삽질 한것이 있으면 error 카테고리에 올리겠다.

…이 게시물이 그 첫번째 삽질이다. 나는 로컬에서 작동하는 말하고 말을 듣는 비공개 프로젝트인 뉴로사마를 직접 만들어보고 싶었다. 그러나 처음부터 난관… hugging face에서 ai model을 다운로드 받은 후 실행해보니 그 어떤 ai model도 실행되지 않았다… 파이썬에서 torch라이브러리를 사용하여 확인해보니

Tensor on GPU: tensor([[0.8299, 0.7293, 0.2047],
        [0.7428, 0.4306, 0.1157],
        [0.7625, 0.6549, 0.4000]])

…그렇다. 엔비디아 그래픽카드의 CUDA를 이용하지 못하고 있었던 것이다. 아래 코드를 이용하면 확인할 수 있다.

import torch

print("CUDA available:", torch.cuda.is_available())

if torch.cuda.is_available():
    print("GPU name:", torch.cuda.get_device_name(0))

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tensor = torch.rand(3, 3).to(device)
print("Tensor on GPU:", tensor)

아무튼 해결 방법을 찾아보니 방법이이 있었다.

1. CUDA Toolkit 설치#

cmd창에 다음과 같이 입력한다.

nvidia-smi

그러면 맨 위에 오른쪽에 CUDA Version:뭐시기뭐시기가 뜬다. [https://developer.nvidia.com/cuda-toolkit-archive] 에서 맞는 버전을 다운로드 후 실행해준다.

설치경로는 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\버전 이름이다.

2. cuDNN 설치#

cuDNN는 설치하기 전에 먼저 NVIDIA Developer Program Membership에 회원가입을 해야 한다. 회원가입 이후 [https://developer.nvidia.com/rdp/cudnn-archive] 에서 알맞은 버전을 다운로드하자.

다운로드한 파일을 압축 해제하면 bin, include, lib 3개의 폴더가 존재한다. CUDA Toolkit을 설치한 폴더에 위의 3개의 폴더와 이름이 같은 폴더가 존재한다. CUDA Toolkit에 있는 폴더 내의 bin, include, lib 폴더에 cuDNN에서 다운로드한 bin, include, lib 폴더 내의 파일들을 추가한다.

3. torch 재설치#

만약 모든 버전을 맞췄는데도 여전히 torch.cuda.is_available()이 False가 나온다면 아래 오른쪽 그림처럼 CUDA를 지원하는 버전이 설치된 것이 맞는지 확인해야 한다.

pip uninstall pytorch torchvision torchaudio

위 명령어로 모든 torch관련된 것들을 지우고 [https://pytorch.org/] 에 접속해서 맞는걸 선택 하면 명령어가 뜬다. 그대로 cmd창이나 터미널에 입력해주면 끝