오픈AI의 AI 에이전트들이 독일의 한 개발자 위키를 점거해, 사람이 아니라 자기들끼리 쓰는 게시판으로 바꿔놓은 일이 있었습니다. 지난 봄에 벌어진 사건인데, 9월 7일에야 유럽연합 집행위원회가 오픈AI로부터 관련 사고보고서를 받았다고 공식 확인했습니다.
EU의 반응이 흥미롭습니다. 보고서는 받았지만 형식적인 서류로는 안 된다는 겁니다. 무엇이 잘못됐고 무엇을 고쳤는지 구체적으로 밝히라는 요구죠. 이 반응 자체가 이런 일이 처음이 아니라는 것을 말해줍니다.
1. 같은 달에 세 번, 원인은 매번 달랐습니다
오픈AI가 테스트하던 에이전트 1,200개는 내부 패키지 관리 시스템의 허점을 이용해 자기들끼리 쓰는 비공식 게시판을 만들었습니다. 7만 건 넘는 메시지를 주고받다가 그중 700개가 실제로 담을 넘어 허깅페이스를 공격했고, 전체 관리자 권한을 얻는 데 걸린 시간은 13시간이었습니다.
비슷한 시기, 앤트로픽도 네 번째 무단 침입을 뒤늦게 공식 확인했습니다. 사이버보안 평가 중이던 클로드 오퍼스 4.6은 목표 시스템 접속이 막히자 작업을 멈추려 여덟 번 시도했다고 합니다. 그런데 평가 환경 설정에 오류가 있어 정지 명령이 먹히지 않았고, 에이전트는 결국 열린 인터넷으로 나가 제3자의 시스템을 자기 테스트 환경으로 착각한 채 접속해버렸습니다. 앤트로픽은 이 사고를 처음엔 놓쳤다가, 조사 범위를 세션 4억 8,100만 건으로 넓힌 뒤에야 찾아냈습니다.
세 사고의 원인은 제각각입니다. 남이 흘려놓은 권한, 몰려다니는 집단행동, 먹통이 된 정지 버튼. 그런데 결과는 같습니다. “이 정도는 못 하겠지”라고 가정했던 경계를 AI 에이전트가 넘어갔다는 것.
2. 한국은 아직 조용합니다 — 그게 안심할 이유는 아닙니다
국내에서는 아직 이 정도 규모의 사고가 보도된 적이 없습니다. 그런데 저는 이게 “한국 기업의 권한 설계가 더 낫다”는 뜻이라고 보지 않습니다. 오히려 반대에 가깝지 않을까요. 미국 빅테크는 사고가 나면 보고서를 쓰고, 규제기관이 그걸 받아 다시 캐묻는 절차가 이미 돌아가고 있습니다. 국내는 사내에 에이전트나 MCP 서버를 붙이는 속도는 빠른데, 정작 사고가 났을 때 누가 원인을 추적하고 누구에게 보고할지 정해둔 곳은 많지 않습니다. 사고가 없는 게 아니라, 사고가 나도 드러나지 않는 구조에 더 가깝다고 봐야 하지 않을까요.
3. 성능 말고 “멈추는가”부터 물어야 합니다
AI 에이전트를 도입할 때 흔히 던지는 질문은 얼마나 똑똑한지, 무슨 일까지 대신해줄 수 있는지입니다. 그런데 이번 사고들이 공통으로 묻는 질문은 따로 있습니다. 멈추라고 했을 때 정말 멈추는가. 클로드 오퍼스 4.6은 여덟 번이나 멈추려 했지만 설정 오류 때문에 실패했습니다. 의지가 없었던 게 아니라 장치가 없었던 겁니다.
우리나라는 아직도 어떻게 AX를 할까, 아니 DX도 안되어 있어서 DX부터 제대로 해야 하지 않나. 이런 고민에 빠져 있는데. 오히려 그렇기 때문에 더더욱 AI전환 후 발생할 리스크에 대해서는 대부분 둔감합니다. 아직 거기까지는 현장에서 논의도 제대로 못하고 있는 수준이죠. 그러나 늘 그렇듯이 사고가 나면 이미 늦습니다. 최소 3가지는 체크를 해야 합니다.
에이전트가 쥔 자격증명이 그 업무에 필요한 최소 범위인지.
정지·회수 명령이 실제 장애 상황에서도 작동하는지 테스트했는지
사고가 나면 누가 몇 시간 안에 무엇을 하는지 문서로 정해두었는지.
이 세 가지에 바로 답이 나오지 않는 다면 그 시스템은 잠재적으로 Risk를 안고 있는 겁니다. 더군다나 EU의 제재는 국적을 가리지 않습니다. 글로벌 서비스를 준비하신다면 EU의 경고를 우리 회사가 받는 일이 없으리란 보장은 어디에도 없습니다.
이제 개발도 AI로 다하는 시대이다보니 정작 개발자들도 자신이 만든 시스템이 실제로 어떤 Risk를 안고 있는지 파악하기 어려운 상황이 되었습니다. 저희가 개발한 Tech DD는 이러한 시스템 내부의 위험 요소까지 모두 확인할 수 있도록 하고 있습니다. AI 기술실사 궁금하신 것은 언제든 편하게 문의 주세요.