NPU란 무엇인가 — GPU·CPU와 다른 구조, 추론 효율이 높은 이유
NPU란 무엇인가를 구조부터 풀어 설명합니다. CPU·GPU와 무엇이 다르고 왜 전력 대비 추론 효율이 높은지, 온디바이스 기기와 데이터센터 추론 서버에서의 쓰임과 한계까지 AI 무게중심이 추론으로 옮겨가는 흐름 속에서 짚어봅니다.
목차
GPU만 많이 확보하면 AI 경쟁에서 이긴다는 통념이 있다. 하지만 AI를 만드는 일과 AI를 매일 돌리는 일은 전혀 다른 계산이다. NPU란 무엇인가라는 질문은 바로 이 차이에서 출발한다.
NPU(Neural Processing Unit, 신경망처리장치)는 인공신경망 연산만을 위해 설계된 전용 프로세서다. 범용성을 덜어내고 그 대가로 전력 효율을 얻은 칩이라고 요약할 수 있다. 이 글에서는 NPU란 무엇인가를 구조, 쓰임, 한계 순서로 풀어본다.
학습에서 추론으로, 계산의 성격이 달라졌다
AI 연산은 크게 학습과 추론으로 나뉜다. 학습은 모델을 만드는 과정이고, 추론은 완성된 모델로 답을 내는 과정이다. 학습은 한 번 크게 치르는 비용이지만, 추론은 서비스가 살아 있는 한 계속 나가는 비용이다.
지디넷코리아에 실린 한 기고도 AI의 무게중심이 학습에서 추론으로 옮겨가고 있다고 짚었다. 그리고 그 해법으로 ARM과 NPU 기반의 고효율 인프라를 제시했다. 필자는 이 진단의 핵심을 '성능'이 아니라 '운영비'라는 단어로 읽는다.
사용자가 늘수록 추론 요청은 그만큼 불어난다. 그때부터 중요한 지표는 최고 속도가 아니라 전력 1와트당 처리량이 된다. 이 전환은 AI 데이터센터 전력난 문제와도 맞닿아 있다.
NPU란 무엇인가 — CPU·GPU와 구조부터 다르다
세 칩의 차이는 '무엇을 포기했는가'로 보면 선명해진다. CPU는 어떤 일이든 처리하도록 만든 만능 일꾼이다. 복잡한 분기와 순차 작업에 강하지만, 같은 계산을 대량으로 반복하는 데는 비효율적이다.
GPU는 단순한 연산을 수많은 코어로 동시에 처리한다. 원래 그래픽용이었지만, 병렬 구조가 신경망 계산과 잘 맞아 AI 학습의 표준이 됐다. 다만 GPU도 여전히 프로그래밍이 가능한 범용 병렬 프로세서다.
NPU는 여기서 한 걸음 더 좁힌다. 신경망 연산의 대부분은 행렬 곱셈과 덧셈의 반복이다. NPU는 이 곱셈·누적 연산 회로를 칩 안에 촘촘히 깔고, 나머지 기능은 과감히 걷어낸다.
| 구분 | CPU | GPU | NPU |
|---|---|---|---|
| 설계 목적 | 범용 연산 | 범용 병렬 연산 | 신경망 연산 전용 |
| 연산 방식 | 소수의 고성능 코어로 순차 처리 | 다수의 코어로 동시 처리 | 곱셈·누적 연산기를 데이터 흐름에 맞춰 배치 |
| 강점 | 복잡한 분기와 제어 | 높은 정밀도, 유연한 프로그래밍 | 전력 대비 추론 효율 |
| 약점 | 대량 반복 연산에 비효율 | 전력 소모와 발열 | 낮은 유연성, 얕은 소프트웨어 생태계 |
| 주된 자리 | 시스템 제어 전반 | AI 학습, 대형 모델 추론 | 온디바이스 기기, 추론 서버 |
표에서 눈여겨볼 대목은 '약점' 행이다. 세 칩의 약점은 결함이 아니라 설계상 선택의 결과다. NPU의 효율은 유연성을 내주고 산 것이라는 점을 기억해야 한다.
전력 대비 추론 효율이 높은 세 가지 이유
1. 낮은 정밀도로 계산한다
학습에는 미세한 값의 변화를 추적하는 높은 정밀도의 실수 연산이 필요하다. 반면 추론은 8비트 정수 수준으로 값을 줄여도 결과가 크게 달라지지 않는 경우가 많다. 이를 양자화라고 부르는데, NPU는 이런 저정밀 연산에 맞춰 회로를 짠다.
숫자가 작아지면 회로가 단순해지고, 전력과 면적이 함께 줄어든다. 효율의 첫 번째 원천은 '덜 정확해도 되는 계산'을 솔직하게 인정한 데 있다.
2. 데이터 이동을 줄인다
칩의 전력은 계산 자체보다 데이터를 옮기는 데 더 많이 쓰이기도 한다. NPU는 연산기 가까이에 메모리를 두고, 신경망의 층을 따라 데이터가 흐르도록 설계한다. 불필요한 왕복이 줄어드는 만큼 전력 소모도 낮아진다.
3. 범용성의 비용을 내지 않는다
범용 프로세서는 어떤 명령이 올지 모르기에 대비용 회로를 많이 품는다. NPU는 할 일이 정해져 있어 그런 준비가 필요 없다. 필자가 보기엔 이것이 가장 본질적인 차이다.
스마트폰에서 추론 서버까지, NPU가 쓰이는 자리
NPU가 먼저 자리 잡은 곳은 스마트폰이다. 사진 보정, 음성 인식, 실시간 번역 같은 기능이 기기 안에서 돌아간다. 배터리로 움직이는 기기에서 전력 효율은 선택이 아니라 전제 조건이다.
- 온디바이스 기기: 스마트폰, AI PC, 웨어러블. 통신 없이 빠르게 반응하고 개인정보를 기기 밖으로 내보내지 않는다.
- 엣지 장비: 차량, CCTV, 공장 설비. 지연 시간과 발열 제약이 크다.
- 데이터센터 추론 서버: 대규모 요청을 낮은 전력으로 처리하는 것이 목표다.
최근 흐름은 세 번째 자리로의 확장이다. 빅테크가 추론 전용 자체 칩을 설계하는 움직임도 같은 맥락에 있다. 마이크로소프트가 마이아 300에 코파일럿 추론을 맡긴 사례가 대표적이다. NPU라는 이름을 쓰지 않더라도 '추론 전용 설계'라는 발상은 같다.
NPU의 한계, 효율의 반대편
NPU는 만능이 아니다. 첫째, 유연성이 떨어진다. 칩이 지원하지 않는 새로운 연산이 등장하면 그 부분은 CPU나 GPU로 넘겨야 하고, 효율이 급격히 떨어진다.
둘째, 소프트웨어 생태계가 얕다. 모델을 NPU에 맞게 변환하는 컴파일러와 도구가 제조사마다 다르다. 개발자 입장에서는 칩 성능보다 이 이식 비용이 더 큰 장벽이 되곤 한다.
셋째, 대형 언어모델은 연산 능력만큼 메모리 용량과 대역폭을 요구한다. 연산 회로가 아무리 효율적이어도 메모리가 병목이면 장점이 희석된다. 양자화 과정에서 정확도가 일부 깎일 수 있다는 점도 감안해야 한다.
용어의 경계가 흐릿하다는 점도 짚어둔다. NPU, AI 가속기, 추론용 ASIC은 현장에서 뒤섞여 쓰인다. 이름보다 '무엇에 특화했고 무엇을 포기했는가'를 묻는 편이 정확하다.
IT-SUE의 시각
NPU가 GPU를 대체할 것이라는 구도는 과장됐다고 본다. 학습과 최신 모델 실험은 유연한 GPU가, 안정화된 대량 추론은 전용 칩이 맡는 분업에 가깝다. 경쟁의 본질은 대체가 아니라 작업 배분이다.
승부처는 칩 자체보다 소프트웨어일 가능성이 크다. 기존 모델을 수정 없이 얼마나 쉽게 올릴 수 있는지가 채택을 가른다. 전력 효율 수치가 좋아도 이식이 번거로우면 현장은 익숙한 GPU로 돌아간다.
또 하나의 변수는 모델 구조의 변화 속도다. 전용 칩은 특정 연산 패턴에 건 베팅이다. 모델 구조가 크게 바뀌면 그 베팅은 부담으로 돌아올 수 있다.
그럼에도 방향은 분명해 보인다. 전력이 AI 확장의 제약이 된 이상, 구매 기준은 '가장 빠른 칩'에서 '가장 싸게 답하는 칩'으로 옮겨간다. NPU란 무엇인가를 묻는 일은 결국 AI의 운영비를 누가 낮추느냐를 묻는 일이다.
