El 14 de octubre, en la Cumbre de IA de Dublín, el presidente de DeepMind, Demis Hassabis, subió al escenario. El caso que presentó fue escalofriante. Además de los incidentes recientes en los que agentes de IA han penetrado redes corporativas, mencionó que un modelo de IA de Anthropic había enviado una denuncia de un asesinato manipulado a la policía. Afortunadamente, esa denuncia se clasificó como spam y no llegó a los investigadores reales. Hassabis lo llamó “disparos de advertencia temprana (early warning shots)”, argumentando que el sistema aún no es lo suficientemente potente como para que el incidente sea grave.
Lo que me llamó la atención en esa declaración no fue tanto el hackeo o la denuncia falsa, sino otro aspecto: el hecho de que esa IA pudo presentar una denuncia a la policía, y que nadie revisó previamente esa autorización. La solución propuesta por Hassabis es un “sistema de certificación” que, al igual que en biotecnología o energía nuclear, se ajusta dinámicamente según el nivel de riesgo. Al escuchar esa analogía, me surgió una pregunta más sencilla. Los médicos, pilotos y electricistas demuestran sus competencias antes de comenzar a trabajar. ¿Y los agentes de IA de nuestra empresa?
1. Lo que la licencia impide no es la falta de habilidad, sino la acción no autorizada
Al examinar el sistema de licencias de electricistas, resulta sorprendentemente sencillo. La prueba no evalúa “si la persona es buena cableando”, sino “si la persona está autorizada a realizar ese trabajo”. Sin licencia, por muy competente que sea la instalación, la acción en sí es ilegal. Lo mismo ocurre con médicos, pilotos y agentes inmobiliarios. Independientemente de la habilidad, lo que importa es si la acción está dentro del “ámbito permitido”