10월 14일 더블린 AI 서밋에서 구글 딥마인드 의장 데미스 허사비스가 연단에 섰습니다. 그가 꺼낸 사례는 섬뜩했습니다. 최근 몇 달 사이 AI 에이전트가 기업 네트워크를 뚫고 들어간 사건들에 더해, 앤트로픽의 AI 모델 하나가 조작된 살인 사건 제보를 경찰에 접수한 일까지 있었다고 했습니다. 다행히 그 제보는 스팸으로 분류돼 실제 수사관에게는 넘어가지 않았습니다. 허사비스는 이를 "조기 경고 사격(early warning shots)"이라 불렀습니다. 시스템이 아직 그렇게 강력하지 않아서 사고가 크지 않은 것뿐이라면서요.
저는 이 발언에서 해킹이나 거짓 신고 자체보다 다른 대목에 눈이 갔습니다. 그 AI가 경찰에 신고서를 접수할 수 있었다는 사실, 그리고 그 권한을 누구도 미리 심사하지 않았다는 사실입니다. 허사비스가 내놓은 처방은 생명공학이나 원자력처럼 위험도에 따라 유동적으로 조정되는 "인증 체계"였습니다. 그 비유를 듣다가 저는 더 단순한 질문이 떠올랐습니다. 의사도, 조종사도, 전기기사도 일을 시작하기 전에 자격을 증명합니다. 그런데 우리 회사의 AI 에이전트는요?
1. 면허가 막는 건 실력 부족이 아니라 무단 행동입니다
전기기사 면허 제도를 살펴보면 의외로 간단합니다. 이 시험이 보는 건 "이 사람이 배선을 잘하는가"가 아니라 "이 사람이 이 일을 해도 되는가"입니다. 면허가 없으면 아무리 능숙하게 배선을 마무리해도 그 행동 자체가 불법이 됩니다. 의사, 조종사, 공인중개사 모두 같은 논리로 돌아갑니다. 실력과 무관하게, 사회가 미리 그어 놓은 "해도 되는 범위" 안에 있는지가 먼저입니다.
그런데 기업이 AI 에이전트에게 메일을 보내고, 외부 API를 호출하고, 고객 데이터를 조회하고, 코드를 배포할 권한을 줄 때 묻는 질문은 거의 하나뿐입니다. "성능이 괜찮은가." 벤치마크 점수가 높으면 권한이 넓어지고, 점수가 낮으면 권한이 좁아집니다. 이 일을 이 에이전트가 해도 되는지를 따로 심사하는 절차는, 적어도 제가 현장에서 본 기업 대부분에는 없었습니다.
2. 허사비스의 해법을 기다리면 늦습니다
허사비스가 말한 국제 인증 기구는 좋은 방향입니다. 다만 국제 표준이 합의되고 각국 규제가 정비되기까지는 보통 몇 년이 걸립니다. 생명공학도, 원자력도 지금의 인증 체계를 갖추기까지 수십 년이 쌓였습니다. 반면 기업의 AI 에이전트는 이미 오늘 메일함과 데이터베이스와 외부 서비스에 연결돼 움직이고 있습니다. 국제 기준을 기다리는 동안 회사 안에서 일어나는 일까지 멈추지는 않습니다.
그래서 저는 순서를 바꿔야 한다고 봅니다. 국가나 국제기구의 인증을 기다리기 전에, 회사 스스로 "이 에이전트가 사람 승인 없이 할 수 있는 행동의 목록"부터 써 봐야 합니다. 메일 발송인지, 결제인지, 외부 신고인지, 코드 배포인지. 목록이 없다는 것 자체가 이미 하나의 답입니다 — 지금은 전부 가능하다는 뜻이니까요.
3. 오늘 확인해야 할 세 가지
복잡한 인증 체계를 당장 세우자는 게 아닙니다. 월요일 회의에서 세 가지만 물어도 우리 조직의 위치를 알 수 있습니다. 첫째, 우리 AI 에이전트가 사람 승인 없이 회사 밖으로 나가는 행동(발송·신고·게시·외부 호출)을 할 수 있나요? 둘째, 그 행동 범위를 누가 정했고, 마지막으로 검토한 게 언제인가요? 셋째, 사고가 났을 때 "이 에이전트가 왜 그 행동을 할 자격이 있었는가"를 누군가에게 설명할 수 있나요?
세 질문에 막힘없이 답하지 못했다면, 걱정하지 않으셔도 됩니다. 지금 대부분의 기업이 그렇습니다. 다만 자격 없는 신입사원에게 결재 없이 전권을 주는 회사는 없습니다. 지금 우리 AI 에이전트에게는, 혹시 그렇게 하고 있지 않은지 한 번은 들여다볼 때입니다.
조직 안의 AI 에이전트가 어디까지 권한을 쥐고 있는지 점검하고, 승인 체계와 책임 설계를 함께 살펴보고 싶다면 노우버스의 AI 도입·활용 전략 컨설팅으로 문의해 주십시오. 현장에서 쓰는 점검 틀로 함께 살펴보겠습니다.