분리형 추론 서빙 비용 절감, 엔비디아(Nvidia)와 리벨리온 NPU 동맹

거대언어모델 서빙의 비효율과 분리형 추론의 등장

모든 인공지능 연산을 최고 사양의 단일 그래픽처리장치(GPU)로만 해결하려는 접근은 데이터센터의 막대한 비용 낭비를 부릅니다. 거대언어모델(LLM)의 추론 과정은 단일한 성격의 작업이 아니며, 입력 처리와 출력 생성의 연산 특성이 근본적으로 다릅니다. 업계가 프리필(Prefill)과 디코드(Decode) 단계를 물리적으로 쪼개는 분리형 추론에 집중하기 시작한 이유입니다.

과거에는 하나의 GPU 인스턴스 안에서 질문을 이해하고 답변 토큰을 생성하는 과정을 모두 한꺼번에 몰아서 처리했습니다. 이 방식에서는 긴 문장을 읽어 들이는 동안 뒤따르는 토큰 생성이 멈추고 귀중한 연산 자원이 헛돌게 됩니다. 분리형 추론은 이러한 병목을 근본적으로 해소하여 자원 활용도를 극대화하는 아키텍처 혁신으로 평가받습니다.

프리필과 디코드의 연산 특성 차이

LLM 추론은 사용자의 프롬프트를 읽는 프리필 단계와 단어를 한 글자씩 뱉어내는 디코드 단계로 명확히 나뉩니다. 프리필은 대규모 병렬 행렬 연산이 집중되어 연산 능력이 핵심인 컴퓨트 바운드(Compute-bound) 특성을 강하게 나타냅니다. 반면 디코드는 이전 단어를 순차적으로 참조하므로 메모리 대역폭이 성능을 결정하는 메모리 바운드(Memory-bound) 구조입니다.

성격이 완전히 다른 두 연산을 하나의 칩에서 돌리면 값비싼 GPU의 텐서 코어가 디코드 구간 동안 대부분 유휴 상태로 방치됩니다. 결국 데이터센터 운영자는 놀고 있는 고성능 칩의 전기 요금과 감가상각비를 고스란히 지불해야 하는 구조적 손실을 겪습니다. 필자가 보기에 이 낭비 구조를 방치한 채 모델 규모만 키우는 서빙 전략은 사업적 한계에 부딪힐 수밖에 없습니다.

두 연산 단계의 요구 자원을 구체적으로 대조해 보면 하드웨어를 분리해야 하는 기술적 당위성이 명확하게 드러납니다.

위 표에서 드러나듯 연산 병목 지점이 상반되므로, 각 단계에 특화된 이종 칩을 분리 배치하는 전략이 가장 경제적인 해답이 됩니다.

GPU와 NPU의 이종 결합이 만드는 분리형 추론의 경제학

분리형 추론 환경에서는 대규모 병렬 계산을 가장 잘하는 GPU를 프리필 전용 서버에 집중 배치합니다. 그리고 상대적으로 저렴하고 전력 소모가 적으면서도 메모리 대역폭 효율이 뛰어난 신경망처리장치(NPU)에 디코드 역할을 온전히 넘깁니다. 최고급 GPU가 첫 응답 시간(TTFT)을 단축하면, 경제적인 NPU가 토큰 간 생성 지연(ITL)을 안정적으로 유지하며 바통을 이어받는 방식입니다.

이러한 이종 분업 체계를 갖추면 동일한 자본적 지출로도 전체 시스템의 토큰 처리량을 수 배 이상 끌어올릴 수 있습니다. 엔비디아의 초고가 칩을 디코드 단계까지 낭비하지 않아도 되므로 서비스 공급 단가를 파격적으로 낮추는 전기를 맞이합니다. 과거 AMD 국산 NPU 연계 전략에서도 보았듯, 반도체 업계의 연합 전선은 결국 비용 최적화라는 현실적 계산에서 출발합니다.

엔비디아·SKT·리벨리온의 소버린 AI 동맹이 던진 함의

최근 코엑스에서 열린 행사에서 엔비디아와 SK텔레콤, 리벨리온이 체결한 MOU는 이러한 아키텍처 변화를 상징적으로 보여줍니다. 글로벌 GPU 시장을 쥐고 있는 엔비디아가 한국의 통신사 및 국산 NPU 팹리스와 통합 시스템 구축에 합의한 것은 매우 전략적인 행보입니다. 시장 지배자인 엔비디아마저 고객사의 추론 비용 부담을 덜어주기 위해 고속 상호연결 기술을 기반으로 이종 칩과의 공존을 모색하기 때문입니다.

SK텔레콤은 대규모 데이터센터 인프라를 운영하며 치솟는 추론 비용을 억제해야 하고, 리벨리온은 자사 NPU를 실제 거대 모델 서비스 환경에 안착시켜야 합니다. 이 삼각 연합에서 분리형 추론은 국산 NPU가 엔비디아 독점 생태계의 틈새를 뚫고 상용 실적을 증명할 수 있는 최적의 진입로가 됩니다. 전량을 외산 GPU에 의존하던 국내 AI 인프라가 비용 효율 중심의 이종 아키텍처로 체질 개선을 시도하는 순간입니다.

IT-SUE의 시각

인공지능 생태계의 패권 경쟁은 모델 파라미터 크기 경쟁에서 1달러당 처리 토큰 수를 따지는 단위 비용 경쟁으로 빠르게 옮겨가고 있습니다. 아무리 뛰어난 모델을 보유했더라도 토큰 생성 원가가 감당 불가능한 수준이라면 지속 가능한 비즈니스를 영위할 수 없습니다. 따라서 하드웨어 성능 자체보다 각 연산의 병목을 꿰뚫고 최적의 칩을 배치하는 분리형 추론 역량이 기업의 진정한 운영 경쟁력이 될 것입니다.

국산 NPU가 엔비디아를 완전히 대체해야만 살아남을 수 있다는 이분법적 시각은 현장 감각이 결여된 순진한 기대에 가깝습니다. 실무 환경에서는 엔비디아 GPU의 병렬 파워를 프리필에서 빌려 쓰고, 디코드에서는 국산 NPU의 전력 대비 가성비를 극대화하는 현실적 공존 모델이 훨씬 강력합니다. 분리형 추론 아키텍처가 증명할 이종 반도체의 경제성은 앞으로 국내외 AI 데이터센터 표준 설계를 뒤흔드는 결정적 촉매제가 될 것으로 확신합니다.