2025년까지 오픈AI, 구글 딥마인드, 앤트로픽은 서로를 이기기 위해 달려온 회사들이다. 모델 성능 발표 주기는 점점 짧아졌고, 벤치마크 1위 자리는 몇 주 단위로 바뀌었다. 그런데 최근 이 세 회사가 정반대의 그림을 만들고 있다. 경쟁 대신 AI 안전 표준기구 설립을 놓고 물밑에서 손을 맞잡고 있다는 소식이 전해졌다.
필자가 보기엔 이 조합 자체가 뉴스다. 시장을 나눠 먹던 세 곳이 왜 굳이 공동 기구를 만들려는 걸까. 답은 간단하지 않다. 그리고 그 답 안에 이 산업이 지금 어디로 가고 있는지가 담겨 있다.
AI 안전 표준기구, 무엇을 논의하고 있나
보도에 따르면 세 회사는 지난 7월부터 AI 안전 표준기구 설립을 위한 물밑 협의를 이어왔다. 정부 규제가 자리를 잡기 전에, 업계 스스로 신규 모델 출시 전 위험성 검사 기준을 세우자는 취지다.
여기서 눈에 띄는 건 ‘누가 시켜서’가 아니라는 점이다. 이 지점이 흥미로운데, 세 회사 모두 자국 정부의 AI 규제 속도가 기술 발전 속도를 따라오지 못한다고 판단한 것으로 보인다. 그래서 자율규제라는 형태로 먼저 움직이고 있다는 분석이 나온다.
선언에서 검증으로 — 무게중심의 이동
업계에서는 이번 논의를 두고 “선언보다 검증”이라는 표현을 쓴다. 그동안 각 회사는 자체 안전 원칙을 발표하는 데 그쳤다. 이번에는 다르다. 출시 전 모델이 위험한 능력을 갖췄는지 실제로 테스트하는 절차, 이른바 레드티밍을 공동 표준으로 만드는 게 목표라는 게 업계 관계자들의 설명이다.
레드티밍은 사람이든 자동화된 시스템이든 모델을 공격자 입장에서 시험하는 작업이다. 생물무기 정보 생성, 사이버 공격 코드 작성, 탈옥 프롬프트 우회 같은 시나리오를 실제로 넣어보고 반응을 확인한다. 세 회사가 각자 다른 기준으로 이 작업을 해왔다는 게 지금까지의 문제였다.
왜 지금인가 — 경쟁사끼리 손을 잡는 배경
필자 개인적으로는 이 시점 자체가 의미 있다고 본다. AI 모델의 능력이 특정 임계값을 넘으면서, 개별 회사의 안전 점검만으로는 위험을 걸러내기 어렵다는 공감대가 생긴 것으로 보인다. 한 회사가 아무리 철저히 검증해도, 경쟁사의 검증 기준이 허술하면 업계 전체의 신뢰가 흔들린다.
아래 표는 이번 논의 전후로 세 회사의 안전 검증 접근이 어떻게 달라지고 있는지를 간단히 정리한 것이다.
| 구분 | 기존 방식 | AI 안전 표준기구 이후 지향점 |
|---|---|---|
| 검증 주체 | 회사별 자체 안전팀 | 업계 공동 검증 절차 |
| 공개 방식 | 선언적 안전 원칙 발표 | 실측 기반 위험성 검사 결과 공개 |
| 적용 시점 | 모델별로 제각각 | 신규 모델 출시 전 공통 관문 |
| 규제와의 관계 | 정부 규제를 기다리는 입장 | 규제보다 앞서 자율 기준 제시 |
표만 보면 진전처럼 보이지만, 필자가 보기엔 여전히 물음표가 남는다. 세 회사가 실제로 같은 기준을 얼마나 엄격하게 지킬지는 아직 확인되지 않았다. 자율규제라는 이름 아래 느슨한 자기 검열에 그칠 위험도 배제할 수 없다.
기업의 전략적 대응 — 규제를 기다리지 않는 이유
이 움직임은 순수한 선의로만 해석하기는 어렵다. 정부가 뒤늦게 강한 규제를 들이밀기 전에, 업계가 만든 기준을 사실상의 표준으로 자리 잡게 하려는 의도도 읽힌다. 실제로 정부 개입 없이 표준을 강행하려 한다는 지적도 나오고 있다.
이미 AI 보안 모델 경쟁이 격화되던 상황과 맥락이 이어진다는 점도 흥미롭다. 본지가 다룬 AI 보안 모델 경쟁 기사에서 짚었듯, 세 회사는 이미 각자 보안 특화 모델을 내놓으며 신뢰 경쟁을 벌이던 참이었다. 그 경쟁이 이번엔 공동 표준이라는 다른 무대로 옮겨간 셈이다.
남은 과제들
- 표준기구의 검증 기준을 누가, 어떻게 감독할 것인가
- 세 회사 외 다른 개발사들의 참여를 어떻게 끌어낼 것인가
- 검증 결과를 공개했을 때 경쟁사 정보 노출과의 균형을 어떻게 맞출 것인가
이 과제들이 해결되지 않으면 AI 안전 표준기구는 이름만 남을 수도 있다. 반대로 제대로 자리 잡으면, 앞으로 나올 모든 파운데이션 모델의 출시 절차 자체가 바뀔 수 있다.
IT-SUE의 시각
필자는 이 소식을 산업 성숙의 신호로 읽는다. 무한 경쟁만 하던 업계가 공동의 위험 관리 체계를 논의한다는 것 자체가 지난 몇 년과는 다른 국면이다. 다만 낙관은 이르다. 표준을 만드는 것과 그 표준을 실제로 지키는 것은 전혀 다른 문제다.
개인적으로는 이 표준기구가 실질적인 힘을 가지려면 검증 결과를 외부에서 확인할 수 있는 독립적인 감사 장치가 함께 마련돼야 한다고 본다. 그렇지 않으면 AI 안전 표준기구는 세 회사의 이미지 관리용 조직으로 그칠 가능성도 있다. IT-SUE는 이 표준기구가 실제로 어떤 검증 항목을 공개하는지, 앞으로도 계속 지켜볼 계획이다.
답글 남기기