GPU 가상화란? 사용률 50% 미만 AI 칩을 MIG로 쪼개 쓰는 법

고성능 AI 가속기를 확보하기만 하면 모든 개발 병목이 풀릴 것이라는 믿음은 절반만 맞다. 현장에 도입된 값비싼 칩 상당수가 절반의 성능도 내지 못한 채 멈춰 있기 때문이다. 물리적 칩 확보만큼이나 중요한 과제가 바로 하나의 가속기를 쪼개 쓰는 GPU 가상화 기술이다.

최근 미디어인천신문의 정부 AI 인프라 지원 보도에 따르면, 지원된 GPU의 실제 사용률이 50%에도 미치지 못하는 사례가 적지 않은 것으로 나타났다. 품귀 현상을 겪는 귀한 자원을 어렵게 배정하고도 정작 절반 이상을 놀리고 있는 셈이다. 이는 단순한 수요 예측 실패가 아니라, 단일 작업을 하나의 칩에 통째로 묶어두는 낡은 할당 방식이 빚어낸 구조적 비효율이다.

값비싼 가속기에 유휴 자원이 생기는 구조적 이유

연구자나 스타트업에 고성능 GPU 한 장을 독점 할당하면 유휴 시간은 필연적으로 발생한다. AI 개발 과정이 24시간 내내 거대 연산만 수행하는 구조가 아니기 때문이다. 데이터 전처리나 코드 디버깅, 소규모 추론 테스트를 진행할 때는 거대한 연산 코어 대부분이 개점휴업 상태에 빠진다.

과거 CPU 서버 시절에도 한 대의 물리 서버에 하나의 애플리케이션만 올리던 시기가 있었다. 당시 서버 가동률이 낮다는 문제를 해결하며 클라우드 시대를 연 주역이 바로 서버 가상화였다. 지금의 AI 인프라도 과거 CPU 서버가 겪었던 과도기를 그대로 밟고 있으며, 이제는 하드웨어 증설이 아닌 운영 효율화로 눈을 돌려야 할 시점이다.

게다가 모든 AI 워크로드가 거대언어모델(LLM) 학습처럼 막대한 메모리를 요구하지는 않는다. 가벼운 모델 검증이나 챗봇 응답 같은 작업은 전체 칩 자원의 일부만으로도 충분히 돌아간다. 추론 효율을 극대화한 NPU 구조가 주목받는 것처럼, 기존 범용 가속기 역시 작업 크기에 맞춰 정교하게 쪼개 쓰는 접근이 절실하다.

GPU 가상화의 핵심 작동 원리와 분할 방식

GPU 가상화는 단일 물리 가속기를 논리적 또는 물리적으로 나누어 여러 사용자나 컨테이너가 동시에 공유하도록 만드는 기술이다. 운영체제가 하나의 거대한 칩을 여러 개의 작은 가속기처럼 인식하게 만들어 자원 낭비를 줄인다. 구현 방식은 크게 소프트웨어 기반의 시간 분할과 하드웨어 기반의 공간 분할로 나뉜다.

• 타임슬라이싱(Time-Slicing): 하나의 GPU를 아주 짧은 시간 단위로 쪼개어 여러 작업이 번갈아 사용하는 방식이다. 설정이 간편하고 유휴 시간을 줄이는 데 유리하지만, 메모리 공간이 격리되지 않아 한 작업의 과부하가 다른 작업에 영향을 줄 수 있다.
• MIG(Multi-Instance GPU): 엔비디아(NVIDIA)의 고성능 아키텍처에서 지원하는 하드웨어 수준의 물리적 분할 기술이다. 연산 코어와 HBM 메모리, 캐시 대역폭까지 완전히 독립된 조각으로 쪼개어 완벽한 성능 격리와 보안을 보장한다.
• API 리모팅 및 vGPU: 하이퍼바이저나 쿠버네티스(Kubernetes) 계층에서 연산 호출을 가로채 중앙에서 자원을 동적으로 배분하는 소프트웨어 가상화 기법이다.

도입 목적과 현장 워크로드의 성격에 따라 알맞은 분할 기술은 완전히 달라진다. 각 방식이 자원을 나누는 기준과 격리 수준을 명확히 비교해야 우리 조직에 맞는 인프라 구성을 찾을 수 있다.

표에서 확인되듯 정부 지원 사업이나 클라우드처럼 서로 다른 기관이 자원을 나눠 쓰는 환경에서는 MIG 같은 하드웨어 격리가 필수적이다. 반면 한 기업 내부의 개발 조직이라면 타임슬라이싱과 동적 스케줄링을 결합하는 편이 가동률을 극대화하는 데 훨씬 유리하다.

단순 분할을 넘어 지능형 스케줄링으로 진화하는 인프라

칩을 잘게 쪼개 놓는 것만으로 사용률 50% 미만의 함정에서 완전히 벗어날 수는 없다. 낮에는 추론 요청이 몰리고 밤에는 대규모 학습이 돌아가는 식의 수요 변화에 대응해야 하기 때문이다. 결국 GPU 가상화의 완성은 쿠버네티스 기반의 오케스트레이션과 동적 스케줄러가 얼마나 정교하게 맞물리느냐에 달려 있다.

최신 AI 인프라 플랫폼들은 작업 대기열(Queue)을 실시간으로 분석해 유휴 조각을 자동으로 회수하고 재배치한다. 가벼운 주피터 노트북(Jupyter Notebook) 작업에는 쪼개진 소형 인스턴스를 배정하고, 작업이 끝나면 즉시 자원을 회수해 대기 중인 학습 작업에 투입하는 식이다. 통신사와 빅테크가 추진하는 AI 데이터센터 전략에서도 이처럼 소프트웨어로 가동률을 쥐어짜는 운영 역량이 핵심 수익 모델로 자리 잡고 있다.

정부나 기업의 인프라 담당자 역시 '몇 장의 칩을 보급했는가'라는 물량 중심 지표에서 벗어나야 한다. 지원 대상에게 물리 칩 한 장을 통째로 빌려주는 대신, 필요한 연산량과 메모리 크기에 맞춰 가상화된 슬라이스 단위로 할당하고 미사용 시 회수하는 체계를 갖춰야 한다.

IT-SUE의 시각

지금까지 국내외 AI 인프라 투자가 '물리적 칩 확보 전쟁'이었다면, 앞으로의 승부처는 확보한 칩의 빈틈을 메우는 '가상화와 운영 아키텍처'다. 사용률이 50%를 밑돈다는 지적은 역설적으로 추가 하드웨어 구매 없이도 기존 인프라의 실질 공급량을 두 배 가까이 늘릴 여지가 있다는 뜻이기도 하다. GPU 가상화는 단순한 비용 절감 도구가 아니라, 제한된 반도체 자원으로 국가와 기업의 AI 전환 속도를 두 배로 끌어올리는 가장 현실적인 지렛대다. 앞으로 하드웨어 보급 사업의 성패는 칩의 개수가 아니라 그 위에서 돌아가는 가상화 스케줄러의 정밀함이 가를 것이다.