Proxmox 기반 NVIDIA H200 NVL GPU AI 서버 구축 – 순천향대학교

AI 연구와 딥러닝 모델 개발이 활발해지면서 GPU 기반 컴퓨팅 인프라의 중요성이 크게 증가하고 있습니다.

특히 대학 및 연구기관에서는 하나의 GPU를 여러 연구자가 동시에 활용할 수 있는 환경이 필요하며,

이를 위해 GPU 자원의 효율적인 분할과 관리가 핵심적인 과제가 되고 있습니다.

이번 글에서는 순천향대학교에 구축된 AI GPU 서버 인프라 사례를 소개합니다.

해당 환경은 Proxmox VE 기반 가상화 플랫폼과 NVIDIA H200 GPU의 MIG(Multi-Instance GPU) 기술을 활용하여

GPU 자원을 분할하고 여러 AI 워크로드에서 동시에 사용할 수 있도록 설계되었습니다.

1. 구축 배경

AI 연구 환경에서는 다음과 같은 요구사항이 존재합니다.

• GPU 자원의 효율적인 활용
• 여러 연구 프로젝트의 동시 GPU 사용
• 연구 환경별 독립적인 실행 환경 제공
• GPU 서버의 중앙 집중 관리

일반적인 GPU 서버에서는 GPU 1개를 단일 사용자 또는 단일 작업이 독점적으로 사용하는 경우가 많아 자원 활용률이 낮아지는 문제가 발생합니다.

이를 해결하기 위해 NVIDIA MIG 기술과 Proxmox 기반 가상화 환경을 결합한 GPU 인프라가 구축되었습니다.

2. 시스템 구성

이번 AI GPU 서버는 다음과 같은 구성으로 구축되었습니다.

GPU 서버는 Proxmox 기반 가상화 환경 위에서 운영되며 GPU는 MIG 기능을 통해 여러 GPU 인스턴스로 분할됩니다.

3. NVIDIA MIG (Multi-Instance GPU)

MIG는 NVIDIA 데이터센터 GPU에서 제공하는 기술로 하나의 GPU를 여러 개의 독립적인 GPU 인스턴스로 분할할 수 있는 기능입니다.

예를 들어 하나의 GPU는 다음과 같이 여러 MIG 인스턴스로 나눌 수 있습니다.

각 MIG 인스턴스는 다음과 같은 리소스를 독립적으로 할당받습니다.

• GPU Compute Core
• GPU Memory
• Memory Bandwidth
• L2 Cache

이러한 구조 덕분에 각 인스턴스는 서로 간섭 없이 독립적인 GPU처럼 동작합니다.

그리고 MIG는 사용자가 임의로 지정하는게 아닌 NVIDIA에서 미리 사전 프로필을 아래 표와 같이 제공합니다.

출처:https://docs.nvidia.com/datacenter/tesla/mig-user-guide/_images/h200-profiles-v1.png

4. Proxmox 기반 GPU 인프라

이번 GPU 서버는 Proxmox VE 기반 가상화 환경 위에서 운영됩니다.

Proxmox는 다음과 같은 기능을 제공합니다.

• KVM 기반 가상머신 관리
• LXC 컨테이너 환경
• 웹 기반 관리 인터페이스
• 클러스터 및 리소스 관리

특히 GPU 서버 환경에서는 LXC 컨테이너를 활용하여 경량화된 AI 실행 환경을 구성할 수 있습니다.

5. GPU 자원 분할 구조

NVIDIA MIG 기술을 활용하면 하나의 GPU를 여러 작업에서 동시에 사용할 수 있습니다.

예를 들어 다음과 같은 구조를 구성할 수 있습니다.

이 구조를 통해 GPU 서버 한 대로 여러 AI 워크로드를 동시에 운영할 수 있습니다.

6. GPU 서버 인프라 아키텍처

전체 GPU 서버 구조는 다음과 같습니다.

이 구조를 통해 GPU 자원을 효율적으로 분할하여 여러 AI 환경에서 동시에 사용할 수 있습니다.

또한 각각의 LXC 컨테이너들은 독립적인 리눅스 OS환경을 가질 수 있습니다.

7. 구축 효과

이번 GPU 서버 구축을 통해 다음과 같은 효과를 얻을 수 있습니다.

GPU 자원 활용률 증가(목표 하는 AI 워크로드의 능동적인 자원 분배)

MIG 기술을 통해 하나의 GPU를 여러 작업에서 동시에 활용할 수 있습니다.

AI 연구 환경 확장

연구자 및 학생들이 동시에 GPU 환경을 사용할 수 있는 AI 연구 플랫폼을 구축할 수 있습니다.

중앙 집중 관리

Proxmox 기반 관리 시스템을 통해 GPU 서버와 AI 실행 환경을 통합적으로 관리할 수 있습니다.

이번 순천향대학교 AI GPU 서버 구축에서는 NVIDIA H200 GPU와 MIG 기술을 활용하여 GPU 자원을 효율적으로 분할하고

Proxmox 기반 가상화 환경에서 AI 워크로드를 운영할 수 있는 인프라를 구축했습니다.

이러한 구조는 다음과 같은 환경에서 매우 효과적으로 활용될 수 있습니다.

• 대학 AI 연구 인프라
• 딥러닝 연구 환경
• AI 교육 및 실습 플랫폼
• GPU 공유 컴퓨팅 환경

GPU 자원의 활용도를 높이고 여러 사용자가 동시에 GPU를 사용할 수 있도록 하는 차세대 AI 인프라 아키텍처로 활용될 수 있습니다.

💬 궁금한 점이나 도입 문의는 아이티존에 문의하세요!

📞 문의 전화: 042-823-3802

📧 이메일: info@itzone.co.kr