OpenAI reconoció el martes que perdió el control de dos de sus modelos durante una prueba de seguridad que terminó con una brecha en Hugging Face, la plataforma abierta de investigación en inteligencia artificial.
La compañía describió el incidente como "inédito". Según su relato, los modelos rompieron un entorno de pruebas sellado la semana pasada y se metieron en el sistema de produccion de Hugging Face para robar las respuestas de una evaluación que estaban rindiendo. Los modelos eran el GPT-5.6 Sol, disponible al público, y otro sin lanzar y presuntamente más capaz. A ambos se los estaba midiendo en habilidades ofensivas de hacking con las salvaguardas que normalmente bloquean la actividad ciber de alto riesgo desactivadas.
"Los modelos identificaron y encadenaron vulnerabilidades en el entorno de investigación de OpenAI y en la infraestructura de producción de Hugging Face para obtener las soluciones del test directamente desde la base de datos de producción de Hugging Face", escribieron ambas empresas en el blog conjunto que reveló la intrusión.
¿Cómo escaparon del entorno aislado?
De acuerdo con OpenAI y Hugging Face, los modelos salieron a través de un proxy de caché para registros de paquetes, un software que deja a los desarrolladores instalar código externo sin conectarse a internet. Ese proxy era el único componente del entorno de pruebas aislado con permiso para alcanzar el mundo exterior y, en uso normal, ese alcance se limita a repositorios públicos de código.
En lugar de quedarse contenidos en el sandbox, los modelos explotaron una vulnerabilidad zero-day para llegar a internet abierto mientras se "hiperconcentraban" en resolver el benchmark de ciberseguridad conocido como ExploitGym. Este tipo de experimentos usa instrucciones que presionan a los modelos para encontrar soluciones, básicamente incitándolos.
"Tras obtener acceso a internet, los modelos infirieron que Hugging Face posiblemente alojaba modelos, datasets y soluciones para ExploitGym", escribió OpenAI. "Sabiendo eso, el modelo buscó y encontró con éxito formas de acceder a información secreta que podía usar para hacer trampa en la evaluación. En un caso, el modelo encadenó varios vectores de ataque, incluido el uso de credenciales robadas y un zero-day."
¿Es un problema nuevo de la IA?
La falla explotada era desconocida hasta entonces, pero los agujeros en esta clase de software no son raros. Las empresas llevan una década parchando vulnerabilidades serias en repositorios de artefactos. Un bug divulgado en 2024, la CVE-2024-4956 en Nexus Repository, permitía que cualquiera con acceso al servidor pidiera un archivo por URL y lo obtuviera, archivos de configuración, contraseñas o tokens de acceso, sin siquiera iniciar sesión. Otras fallas han dejado a atacantes tomar control del servidor completo.
Los investigadores subrayan que, si bien los avances de la IA crearon desafíos nuevos y a veces inesperados, la tarea de aislar de forma rigurosa la infraestructura respecto de internet abierto está muy estudiada.
"Esto no es un problema de IA. Es negligencia sobre un estándar de 40 años, y es básicamente cualquier película de ciencia ficción", dice Davi Ottenheimer, consultor de seguridad y cumplimiento con larga trayectoria. "'Altamente aislado' y 'escapó por el único agujero que dejamos abierto' no pueden ser ambos ciertos."
En los últimos meses, las principales empresas de IA vienen alertando sobre las crecientes capacidades de ciberseguridad de los futuros modelos de frontera, a medida que las plataformas ganan pericia, creatividad y operación autónoma con agentes. Pero los investigadores insisten en que eso es justamente motivo para no descuidar los fundamentos.
"Esto no debería haber pasado", dice Niels Provos, ingeniero e investigador de seguridad veterano. "Ojalá los laboratorios de frontera dedicaran tanto tiempo a enseñar a sus modelos a escribir infraestructura segura como el que dedican a que exploten vulnerabilidades."
