지식 증류란 무엇인가

지식 증류는 도둑질이 아니라 원래 AI 업계의 오래된 학습 기법이다. 최근 미국과 중국이 서로를 향해 ‘AI 도용’이라는 표현까지 써가며 공방을 벌이고 있지만, 이 기술 자체는 2015년 무렵부터 학계에 논문으로 소개된 방법이다. 다만 그 오래된 기법이 지금 국가 간 무역 분쟁의 언어로 번역되면서, 원래 의미와는 다르게 쓰이고 있다는 게 필자의 생각이다.

그래서 이번 글에서는 지식 증류가 실제로 무엇인지, 왜 최근 논쟁의 중심에 섰는지를 기술적으로 짚어보려 한다.

지식 증류는 크고 성능이 좋은 ‘교사 모델’의 판단 결과를 작고 가벼운 ‘학생 모델’이 따라 배우게 만드는 학습 방법이다. 학생 모델은 정답 라벨만 보는 게 아니라, 교사 모델이 각 선택지에 매긴 확률 분포까지 함께 학습한다.

이 방식이 중요한 이유는 효율성이다. 거대한 모델을 그대로 서비스에 쓰면 비용과 속도 모두 부담이 크다. 지식 증류를 거친 작은 모델은 원본만큼은 아니어도 상당히 비슷한 성능을 훨씬 적은 자원으로 낼 수 있다. 이 원리는 본지가 다룬 딥시크 관련 기사에서도 등장했던 개념이다.

왜 딥시크 사례가 논쟁을 키웠나

문제는 지식 증류를 하려면 교사 모델의 응답을 대량으로 확보해야 한다는 점이다. 일부 업체가 오픈AI 등 특정 회사의 API 응답을 대규모로 수집해 자사 모델 학습에 활용했다는 의혹이 제기됐다. 오픈AI 등은 이런 방식이 자사 이용 약관을 위반한다고 주장한 것으로 알려졌다. 다만 이 의혹이 사실인지, 어느 정도 규모로 이뤄졌는지는 아직 공식적으로 확인되지 않았다.

지식 증류를 둘러싼 미중 공방, 기술적으로 보면

필자가 보기엔 이 논쟁에는 두 가지 서로 다른 층위가 섞여 있다. 하나는 순수한 기술 방법론으로서의 지식 증류다. 이건 학계에서 오랫동안 써온 합법적이고 일반적인 경량화 기법이다. 다른 하나는 특정 회사의 이용 약관을 어기고 대량으로 데이터를 긁어간 행위 여부다. 이 둘을 뭉쳐서 “증류는 곧 도둑질”이라고 단정하는 건 지나친 단순화라는 게 개인적인 판단이다.

중국 측은 “증류는 보편적인 산업 관행”이라며 반박하고 있다는 보도가 나온다. 반면 미국 쪽에서는 이를 ‘기술 탈취’로 규정하려는 움직임이 있는 것으로 전해진다. 양측 모두 자신에게 유리한 프레임으로 같은 기술을 다르게 부르고 있는 셈이다.

아래 표는 지식 증류를 둘러싼 두 시각을 정리한 것이다.

구분	기술 방법론으로서의 지식 증류	논쟁이 되는 지점
정의	교사 모델의 출력을 학생 모델이 학습하는 경량화 기법	교사 모델 제공사의 약관 위반 여부
합법성	학계·업계에서 널리 쓰이는 표준 기법	대량 API 수집 방식이 약관 위반인지는 다툼의 대상
대표 사례	대형 모델을 경량화해 온디바이스에 넣는 사례	딥시크를 둘러싼 미중 공방
현재 상태	규제 대상이 아님	2026년 기준 관련 법제도 검토 진행 중

표에서 보듯 지식 증류 자체와, 그 기법을 어떤 방식으로 실행했는지는 분리해서 봐야 한다. 이 구분이 흐려질 때마다 논쟁은 기술 문제가 아니라 정치적 언어 싸움으로 흘러가는 것 같다.

기업들의 대응 — 약관과 기술 사이

오픈AI를 비롯한 대형 모델 개발사들은 API 이용 약관에 자사 모델 출력을 경쟁 모델 학습에 쓰지 못하도록 하는 조항을 두고 있다. 다만 이런 조항이 실제로 얼마나 집행 가능한지는 별개의 문제다. API 호출 하나하나를 추적해 학습 목적인지 아닌지 구분하는 건 기술적으로 쉽지 않다는 지적도 있다.

모델 제공사는 약관 위반을 기술적으로 탐지하기 어렵다
지식 증류 자체를 금지하면 오픈소스 생태계 전반의 경량화 연구가 위축될 수 있다
결국 국가 간 수출통제나 규제 논의로 확산되는 흐름이 이어지고 있다는 분석이 나온다

IT-SUE의 시각

필자는 지식 증류 논쟁을 볼 때마다 기술 용어가 정치적 프레임에 포섭되는 과정이 흥미롭다고 느낀다. 원래는 모델을 가볍게 만드는 평범한 경량화 기법이었던 개념이, 지금은 국가 간 기술 패권 다툼의 상징어가 됐다.

개인적으로는 이 논쟁에서 진짜 중요한 질문은 “증류가 도덕적으로 옳은가”가 아니라 “약관 위반과 정상적인 연구를 어떻게 구분할 제도를 만들 것인가”라고 본다. 그 구분이 없으면 앞으로도 비슷한 논란은 모델이 나올 때마다 반복될 가능성이 크다. IT-SUE는 관련 법제도 논의가 실제로 어떤 기준을 세우는지 계속 지켜볼 계획이다.