9월 8일, OpenAI와 Anthropic에서 3년간 사전학습을 연구한 Jacob Coxon이 사직하며 X에 썼습니다. 두 회사 다 인류 목숨을 위협하며 초지능으로 달리고 있다고. 이 소식은 국내에서도 여러 매체를 통해 소개되었으니 이미 접하신 분들이 많을 겁니다. 그래서 저는 이어서 나온 다리오 아모데이(Anthropic CEO)의 "We Must Pace the Frontier" 글에 대해 얘기하려고 합니다. 몇 시간 후 샘 알트만이 동의한다며 OpenAI도 같은 조치를 취하겠다고 밝혔고, 일론 머스크도 동의했습니다. 국내 언론은 이를 "AI 개발사들이 스스로 속도를 늦추기로 했다"고 보도했습니다. 그러나 정말로 프론티어 모델 개발사들이 속도를 늦추기로 합의한 걸까요?
아닙니다. 이건 감속 선언이 아니라, 게임의 룰을 바꾸겠다는 선언입니다. 결론부터 얘기하면, 경기장에 선수들이 이제 심판도 자기들이 보겠다는 것. 아직 이 심각성을 모르는 분들이 많은 듯하여 빠르게 글을 올려봅니다.
1. 아모데이가 쓴 것
아모데이는 "재귀적 자기개선(RSI)"에 대해 언급합니다. 지난여름부터 AI가 다음 세대 AI를 만들기 시작하면서 발전 속도가 급격히 빨라졌고, 이대로 두면 인간의 이해와 통제 능력을 앞서게 된다는 점을 강조했습니다. 대표적인 사례가 OpenAI의 Hugging Face 해킹 사건입니다.
그는 3단계안을 제시했습니다.
1단계 상주 평가자 — METR((Model Evaluation and Threat Research, 비영리 AI안전 연구기관)같은 제3자 평가팀에 직원 수준의 상시 접근권을 부여한다. 2단계 민주국가 간 조율 — 공통 안전 기준과 속도 상한을 정한다. 3단계 글로벌 조율 — 중국과의 조율을 시도한다.
여기까지만 보면 훌륭한 자기 규율입니다. 문제는 그 다음입니다.
2. 감속의 상한선
글 중반에서 그는 상한선을 명확히 제시합니다. 민주국가가 감속할 수 있는 범위는 미국이 중국보다 앞선 정도에 따라 달라진다. 그리고 격차를 유지할 방법도 말합니다. 중국에 첨단 칩과 반도체 장비를 팔지 말 것, 무단 증류(distillation)를 단속할 것, 모델 가중치가 유출되지 않도록 차단할 것. 이를 잘 실행하면 앞으로 3~5년간 미국이 격차를 크게 벌릴 수 있다고 씁니다.
즉, "우리는 속도를 늦추겠다. 단, 중국과의 격차 안에서만."
사실상 감속이 아니라 감속할 여유분을 확보하는 전략입니다. 해당 보고서가 발표된 직후 Anthropic은 적대국에 첨단 칩을 팔지 못하게 막는 연방법 제정을 요구했습니다.
3. 선수가 규칙을 쓰고, 심판도 고릅니다
이게 가장 주목해야할 부분입니다.
평가 방식과 구조는 좋습니다. 평가원에게 책상과 출입증, 회사 노트북을 제공하고, 평가 결과를 회사가 손대지 못하게 한 채 그대로 공개할 권리를 계약으로 보장합니다. 불리하다고 해서 삭제를 요구할 수 없습니다. 이러한 시도 자체만은 긍정적으로 평가하고 싶습니다.
그런데 중요한 질문이 빠져 있습니다.
"누가 평가자인가?""
프런티어 모델을 평가할 역량을 갖춘 비영리 조직은 전 세계에 열 곳도 안 됩니다. 그 조직 구성원 대부분은 프런티어 연구소 출신으로 구성되어 있으며 여기에 자금줄까지 분석해보면 대부분 같은 시선을 가진 사람들로 구성되어 있다는 것을 확인할 수 있을 겁니다. 따라서 애초에 평가 기준을 짜는 틀 자체가 평가받는 쪽의 세계관 안에서 나옵니다.
다시 말하지만, 이 의도 자체는 나쁘게 보지 않습니다. 그러나 선의에서 출발한 제도가 나중에는 더 다루기 어렵습니다. 그리고 제도는 의도가 아니라 구조로 작동합니다.
4. 그래서 한국은 어디에 서 있는가
저는 '개방형 기술 주권'을 주장해왔습니다. 이는 중국식 폐쇄 자립도, 미국식 풀스택 지배도 아닌 우리만의 길입니다.
그런데 상황이 이렇게 바뀌면 그 전제가 흔들립니다. 컴퓨팅 자원이 지정학적 통제 품목이 되고, 강한 모델에서 배우는 행위가 단속 대상이 됩니다. 어떤 모델을 출시할 수 있는지는 소수의 국가와 기업이 정한 기준을 통과해야 결정됩니다. 우리나라 정부가 추진하는 "AI를 잘 쓰는 나라" 전략이 뿌리부터 흔들립니다. 무엇을, 언제, 어느 수준까지 쓸 수 있는지를 우리가 정할 수 없기 때문입니다. 안전 기준이 강화될 때마다 우리가 사용할 수 있는 모델의 성능 천장은 낮아지지만 그 높이를 정하는 회의에 우리 자리는 없습니다.
5. 결국은 소버린 AI
이제는 자존심 문제가 아닙니다. 애초에 자국의 모델을 갖지 못한 나라는 앞서 말한 협상 테이블에 입장할 수 없을 것이기 때문입니다.
자신의 모델을 직접 개발하고, 자체 기준으로 검증한 뒤 위험성을 스스로 판단할 근거가 있는 나라만이 다른 나라의 기준에 이의를 제기할 수 있습니다. 모델을 만들지 않은 나라의 이의 제기는 논평에 불과하고 협상이 되지 않습니다.
다행히 우리나라는 출발은 했습니다. 다만 아래 세 가지가 함께 따라 가야 합니다.
첫째, 모델은 바닥부터 만들어야 합니다. 밑바닥부터 만든 쪽만이 이 모델이 왜 이렇게 움직이는지를 설명할 수 있습니다. 증류 단속이 국제 규범으로 자리 잡으면 남에게 배우는 경로 자체가 좁아진다는 점도 고려해야 합니다.
둘째, 컴퓨팅 자원. 이제는 공급선의 정치적 안정성도 고려해야 합니다.
셋째, 모델 평가와 검증 역량. 첫째와 둘째는 지금 추진되고 있으나, 지금 가장 부족한 것은 평가 및 검증 역량입니다. 상주 평가자 체제가 국제 규범이 되면 각국은 자국 모델을 자국 기준으로 검증하거나, 타국 인증을 받아야 합니다. 한국형 정렬 평가 기준, 한국어 맥락 위험 벤치마크, 독립 레드팀, 그리고 이 일을 직업으로 삼는 연구자 집단이 필요합니다. 이런 조직이 없으면 모델을 만든 뒤 타국 인증을 기다리는 상황이 됩니다.
저는 AI모델의 위험성이 과장되었다고 생각하지 않습니다. 그러나 그 위험이 실제라는 점과 그 위험을 관리할 규칙을 누가 어떤 형태로 만드느냐는 다른 문제입니다. 인류를 위한 감속이라는 명분이 미국의 기술 우위 유지에 사용되는 것에 대해 경계해야 합니다.