it-sue

AI가 스스로를 개선하는 일은 먼 미래의 이야기라고 흔히들 생각한다. 공상과학 영화에나 나오는 시나리오처럼 취급되곤 한다. 하지만 최근 앤트로픽이 공개한 수치를 보면 이 통념은 더 이상 유효하지 않다. 재귀적 자기개선이라는 개념이 실험실 담론에서 실제 개발 현장의 지표로 넘어왔기 때문이다.

앤트로픽은 자사 AI 모델 클로드가 회사 연구개발 업무의 26%를 주도적으로 수행하고 있다고 밝혔다. 전체 연구개발의 약 90%에는 클로드가 어떤 형태로든 관여한다. 올해 2월만 해도 이 수치는 0%에 가까웠다. 불과 반 년 만에 벌어진 변화라는 점에서 속도 자체가 눈길을 끈다.

배경 — 클로드가 클로드를 만든다는 것의 의미

앤트로픽 설명에 따르면 클로드는 사람이 준 상위 수준의 지시만으로 작업 대부분을 처음부터 끝까지 처리할 수 있다. 물론 사람의 감독 아래에서다. 8월 기준으로 연구와 엔지니어링 작업을 수행하는 에이전트가 약 3만 개에 이른다고 한다. 사람 한 명이 여러 에이전트를 동시에 관리하는 구조로 보인다.

필자가 보기엔 여기서 중요한 지점은 숫자보다 방향이다. AI가 다음 AI를 만드는 과정에 깊이 관여하기 시작하면, 개발 속도는 빨라지지만 그 과정을 사람이 온전히 이해하고 통제하기는 점점 어려워진다. 앤트로픽 스스로도 이 위험을 인정했다. 모델이 자기 개발을 가속하면 인간이 시스템을 이해하거나 통제하기 어려워질 수 있다는 취지의 입장을 밝혔다.

분석 — 재귀적 자기개선을 둘러싼 셈법

재귀적 자기개선이라는 개념 자체는 새롭지 않다. AI 안전 연구자들이 오래전부터 이론적 가능성으로 논의해온 주제다. 다만 이전까지는 아직 먼 미래의 시나리오로 다뤄졌다. 이번 발표가 다른 점은 앤트로픽이 이를 구체적 비율로 공개했다는 사실 그 자체다.

표에서 드러나듯 변화의 속도가 관건이다. 반년 사이 0%에서 26%로 뛴 그래프는 이례적으로 가파르다. 개인적으로는 이 속도가 유지된다면, 몇 년 안에 사람의 직접 개입 없이도 상당 부분의 개발이 굴러가는 구조가 될 가능성이 있다고 본다. 다만 이는 추정이지, 앤트로픽이 그런 미래를 공식적으로 예고한 것은 아니다.

기업의 전략적 대응

앤트로픽의 대응 방식은 두 갈래로 보인다. 하나는 감시 체계 강화다. 회사는 에이전트의 이상 행동을 감지하는 오버사이트 시스템을 운영 중이라고 밝혔다. 다른 하나는 투명성 전략이다. 업계 전체가 재귀적 자기개선 관련 지표를 공유해야 사회가 AI 발전 속도를 제대로 이해할 수 있다고 주장했다. 외부 제3자 평가기관을 회사 내부에 두겠다는 계획도 내놨다.

이 시점은 공교롭게도 다리오 아모데이 등 AI 업계 리더들이 개발 속도 조절을 촉구하는 목소리와 겹친다. Fast Company 보도에 따르면 앤트로픽은 이번 수치 공개를 통해 스스로 만든 위험을 스스로 드러내는 방식을 택한 셈이다. 경쟁사들이 유사한 수치를 공개하지 않는 상황에서, 이는 투명성을 무기로 신뢰를 쌓으려는 전략으로도 읽힌다.

IT-SUE의 시각

재귀적 자기개선이 절반쯤 현실이 됐다는 사실은, 필자가 보기엔 AI 기업 평가 기준 자체를 바꿔야 한다는 신호다. 이제는 모델 성능표만 볼 게 아니라 그 모델이 다음 모델을 얼마나 주도적으로 만드는지도 살펴야 한다. 클로드와 MCP처럼 앤트로픽이 만든 표준들이 AI 에이전트 생태계 전반에 영향을 주고 있다는 점도 같은 맥락에서 이해할 수 있다.

물론 26%라는 수치를 곧바로 위험 신호로 해석할 필요는 없다. 사람의 감독이 여전히 전제돼 있기 때문이다. 다만 이 비율이 앞으로 어떤 속도로 늘어나는지는 계속 지켜볼 가치가 있는 지표다. IT-SUE는 앤트로픽을 비롯한 주요 AI 기업들의 유사 공개를 앞으로도 추적할 계획이다.