Ubuntu에서 NVIDIA GPU로 딥러닝 환경 구축

딥러닝 연구자라면 누구나 한 번쯤 GPU 환경을 직접 구축해야 할 순간이 옵니다. 딥러닝은 방대한 데이터를 처리하고 복잡한 계산을 수행하기 때문에 CPU만으로는 효율적인 모델 학습이 어렵습니다. 이때, GPU는 딥러닝 모델의 학습 속도를 획기적으로 향상시키는 강력한 도구로 활약합니다. 특히 NVIDIA GPU는 딥러닝 연구에서 가장 널리 사용되는 GPU로, 높은 연산 성능과 NVIDIA만의 최적화된 소프트웨어 생태계를 제공합니다.

GPU를 제대로 활용하려면 안정적이고 호환성이 뛰어난 운영체제가 필수입니다. 이때 Ubuntu가 딥러닝 연구자들에게 사랑받는 이유는 명확합니다. Ubuntu는 오픈소스 운영체제로 무료일 뿐만 아니라, 오랜 시간 동안 검증된 안정성과 높은 유연성을 자랑합니다. 특히 딥러닝 툴과 드라이버, 라이브러리들과의 호환성이 우수해 NVIDIA GPU와 최적의 조합을 이룹니다.

이 글에서는 Ubuntu 18.04.1을 기준으로 딥러닝 환경을 구축하는 과정을 단계별로 설명드리려 합니다. 18.04.1 버전은 여러 딥러닝 프레임워크와 도구가 안정적으로 지원되며, 비교적 쉽고 효율적으로 설정할 수 있는 환경을 제공합니다.

처음 환경을 구축하는 분들에게도 부담스럽지 않도록 차근차근 따라 할 수 있게 구성했으니 걱정하지 마세요. 각 단계에서 주의해야 할 사항과 추가적으로 알아두면 유용한 팁들도 함께 담아두었습니다. 시간을 들여 꼼꼼히 따라오신다면, 누구나 NVIDIA GPU를 활용한 딥러닝 환경을 무리 없이 구축할 수 있을 겁니다.

이제, 본격적으로 시작해 볼까요? 딥러닝 연구를 위한 첫걸음을 내딛는 과정이 조금은 낯설고 복잡하게 느껴질 수 있지만, 완성된 환경이 여러분의 연구와 개발을 크게 도와줄 거라 확신합니다.

1. Ubuntu 설치 및 초기 준비

Ubuntu를 사용하는 이유는 단순합니다. 무료이기도 하고, 오픈소스 커뮤니티가 적극적이어서 다양한 툴과의 호환성도 높습니다. 특히 Ubuntu 18.04.1은 NVIDIA 드라이버, CUDA, cuDNN 같은 핵심 구성 요소들과 안정적으로 동작하죠.

Ubuntu 공식 다운로드 페이지
https://ubuntu.com/download

Ubuntu를 설치한 후 가장 먼저 해야 할 일은 시스템 업데이트입니다. 설치 직후의 Ubuntu는 최신 상태가 아닐 가능성이 크기 때문이죠.

sudo apt update && sudo apt upgrade -y

위 명령어는 시스템의 패키지를 업데이트하고 업그레이드합니다. 설치 과정에서 네트워크 연결과 디스크 파티션을 잘 설정했다면 금방 끝날 거예요.

2. NVIDIA 드라이버 설치

NVIDIA GPU를 제대로 활용하려면 먼저 드라이버를 설치해야 합니다. 이 과정은 GPU 모델에 따라 조금씩 다를 수 있어요. 예를 들어, RTX 3080과 RTX 4090은 서로 다른 드라이버 버전을 요구할 수도 있습니다.

NVIDIA 드라이버 다운로드
https://www.nvidia.com/Download/index.aspx

드라이버 설치 과정

기존 드라이버 비활성화
Ubuntu에는 기본적으로 nouveau라는 오픈소스 GPU 드라이버가 활성화되어 있습니다. 하지만 이 드라이버는 딥러닝 환경 구축에 적합하지 않으므로 비활성화가 필요합니다.

sudo bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nouveau.conf"
sudo update-initramfs -u
reboot

NVIDIA 드라이버 설치
Ubuntu의 패키지 관리자(Apt)를 이용하면 간편하게 NVIDIA 드라이버를 설치할 수 있습니다.

sudo apt install nvidia-driver-460

설치 확인
설치 후, nvidia-smi 명령어를 실행하면 드라이버와 GPU 정보가 출력됩니다.

nvidia-smi

출력에서 CUDA 버전도 확인할 수 있습니다. 이 버전은 이후 설치할 CUDA와 맞아야 합니다.

3. CUDA와 cuDNN 설치

CUDA는 GPU의 강력한 연산 능력을 활용하기 위한 핵심 소프트웨어입니다. cuDNN은 딥러닝 연산의 성능을 최적화해 주는 라이브러리죠.

CUDA Toolkit 공식 페이지
https://developer.nvidia.com/cuda-toolkit

CUDA 설치

NVIDIA의 공식 사이트에서 CUDA 설치 파일을 받아 설치합니다. 예를 들어, CUDA 11.1 버전을 설치하려면 다음 명령어를 사용합니다.

wget https://developer.download.nvidia.com/compute/cuda/11.1.0/local_installers/cuda_11.1.0_455.23.05_linux.run
sudo sh cuda_11.1.0_455.23.05_linux.run

설치 후, 환경 변수를 설정해 줍니다.

echo "export PATH=/usr/local/cuda-11.1/bin:$PATH" >> ~/.bashrc
echo "export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64:$LD_LIBRARY_PATH" >> ~/.bashrc
source ~/.bashrc

cuDNN 설치

cuDNN은 NVIDIA 개발자 계정을 통해 다운로드할 수 있습니다. 설치 과정은 간단합니다.

cuDNN 다운로드 페이지 (NVIDIA Developer 계정 필요)
https://developer.nvidia.com/cudnn

tar -xzvf cudnn-11.4-linux-x64-v8.2.4.15.tgz
sudo cp cuda/include/cudnn*.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

4. Anaconda로 가상환경 설정

Anaconda는 Python 환경 관리에 최적화된 툴입니다. 다양한 라이브러리와 패키지를 간편하게 설치할 수 있죠.

Anaconda 공식 다운로드 페이지
https://www.anaconda.com/products/distribution
PyTorch 공식 사이트
https://pytorch.org/
TensorFlow 공식 사이트
https://www.tensorflow.org/

설치 및 환경 구성

Anaconda 설치

wget https://repo.anaconda.com/archive/Anaconda3-2023.11-Linux-x86_64.sh
bash Anaconda3-2023.11-Linux-x86_64.sh

가상환경 생성
TensorFlow와 PyTorch 각각의 가상환경을 만들어 보세요.

TensorFlow 환경

conda create --name tensorflow_env tensorflow-gpu

PyTorch 환경

conda create --name pytorch_env pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c nvidia

5. Jupyter Notebook 설치

Jupyter Notebook은 데이터 분석 및 딥러닝 모델 학습에 매우 유용한 도구입니다. Anaconda 환경 내에서 간편하게 설치하고 실행할 수 있습니다.

Jupyter Notebook 공식 문서
https://jupyter.org/documentation

conda activate [ENV_NAME]
jupyter notebook --ip=0.0.0.0 --port=8888

웹 브라우저를 열고 Jupyter 인터페이스에 접속하면 됩니다.

6. 딥러닝 프로젝트 준비

이제 환경이 완성되었으니 본격적으로 프로젝트를 시작해 볼 차례입니다. 예를 들어, KoBERT를 기반으로 한 NER 모델이나, Text Eco 같은 텍스트 분석 툴을 사용할 수 있겠죠.

KoBERT 기반 NER 모델 GitHub 저장소
https://github.com/eagle705/pytorch-bert-crf-ner

KoBERT 기반 NER 모델

git clone https://github.com/eagle705/pytorch-bert-crf-ner.git
cd pytorch-bert-crf-ner
pip install -r requirements.txt

결론

Ubuntu와 NVIDIA GPU로 딥러닝 환경을 구축하는 과정은 처음엔 조금 복잡하게 느껴질 수 있습니다. 하지만 한 번 제대로 설정해 두면 이후의 프로젝트 작업이 훨씬 더 간편하고 효율적으로 진행됩니다. 이 가이드를 따라 필요한 도구를 설치하고 환경을 설정하면, 강력한 GPU 성능을 활용해 딥러닝 연구와 개발의 생산성을 극대화할 수 있을 것입니다. 지금 바로 환경 구축을 시작해 보세요! 성공적인 딥러닝 프로젝트를 위한 첫걸음을 내디딜 수 있을 거라 믿습니다.