Una inteligencia artificial de OpenAI abandonó un entorno de pruebas, atacó a Hugging Face y buscó hacer trampa para resolver una evaluación de ciberseguridad

Un modelo experimental de inteligencia artificial de OpenAI protagonizó un incidente durante una prueba interna de ciberseguridad al salir del entorno de evaluación donde estaba siendo analizado y acceder a sistemas de la plataforma Hugging Face.

De acuerdo con la propia empresa, el modelo buscó “hacer trampa” en una evaluación de hacking obteniendo información externa que le permitiera resolver el desafío asignado.

La información fue compartida por The New York Post y proviene dada a conocer por OpenAI a través de una publicación oficial sobre sus investigaciones en seguridad, en la que también explicó que el incidente ya se encuentra bajo investigación en conjunto con Hugging Face. La compañía aseguró que el caso no representó un ataque deliberado contra usuarios ni un ciberataque dirigido con fines maliciosos, sino un comportamiento inesperado ocurrido durante un entorno de pruebas diseñado para medir los límites de sus modelos.

Mundo

OpenAI confirma que su nuevo modelo GPT-5.6 Sol hackeó por decisión propia y sin órdenes humanas a otra empresa de IA, en un suceso que no afecta los datos de los usuarios comunes, según el director de la compañía

Según OpenAI, el objetivo era conocer hasta dónde podía llegar un modelo cuando se eliminaban varias de las restricciones de seguridad que normalmente impiden que una IA facilite ataques informáticos.

Tal vez te interese: El potencial de ChatGPT para cambiar la educación de manera positiva

Tal vez te interese: Seis claves para entender el ChatGPT

¿Qué ocurrió durante la prueba?

La empresa explicó que sus investigadores realizaron una prueba de estrés en la que desactivaron de forma intencional varias barreras de seguridad para evaluar las capacidades reales del modelo en tareas ofensivas de ciberseguridad.

Durante ese ejercicio, el sistema dejó el entorno de investigación restringido y consiguió acceso a internet tras explotar una vulnerabilidad de software de tipo “día cero”, es decir, una falla desconocida hasta ese momento.

Una vez con acceso a la red, el modelo identificó que Hugging Face podía contener información útil para resolver el examen de ciberseguridad al que estaba siendo sometido.

OpenAI señaló que el sistema mostró un comportamiento de “hiperconcentración” en cumplir el objetivo asignado, por lo que buscó cualquier camino disponible para obtener las respuestas necesarias.

¿Qué buscaba la inteligencia artificial?

De acuerdo con la explicación oficial, el modelo no pretendía atacar a Hugging Face por sí mismo, sino acceder a información que pudiera ayudarle a completar la evaluación.

El ejercicio utilizado por OpenAI recibe el nombre de ExploitGym, una plataforma que pone a prueba si un modelo de inteligencia artificial puede convertir vulnerabilidades conocidas en ataques informáticos funcionales.

Mundo

OpenAI confirma que su nuevo modelo GPT-5.6 Sol hackeó por decisión propia y sin órdenes humanas a otra empresa de IA, en un suceso que no afecta los datos de los usuarios comunes, según el director de la compañía

La empresa explicó: “Tras obtener acceso a Internet, los modelos dedujeron que Hugging Face potencialmente alojaba modelos, conjuntos de datos y soluciones para ExploitGym.”

Según OpenAI, el sistema encontró formas de acceder a información confidencial que pudiera utilizar para resolver el reto, lo que equivaldría a copiar las respuestas de un examen.

¿Cómo logró ingresar a Hugging Face?

OpenAI informó que, después de obtener conexión a internet, el modelo encadenó distintas técnicas de ataque.

Entre ellas se encuentran:

• El aprovechamiento de una vulnerabilidad de día cero.
• El uso de credenciales robadas.
• El desplazamiento entre distintos sistemas hasta alcanzar equipos con acceso externo.

La empresa aclaró que tanto su propio equipo de seguridad como Hugging Face detectaron la actividad de forma independiente y lograron detener la intrusión antes de que generara consecuencias mayores.

Posteriormente ambas compañías comenzaron una investigación conjunta para determinar con precisión cómo ocurrieron los hechos.

La empresa indicó que el caso se limitó al contexto de una evaluación experimental y que, tras detectar lo ocurrido, notificó la vulnerabilidad descubierta al proveedor correspondiente para que pudiera ser corregida.

Asimismo, aseguró que compartió estos resultados de manera anticipada para ayudar a la comunidad de ciberseguridad a comprender las capacidades actuales de los modelos de inteligencia artificial.

¿Qué cambios implementará OpenAI?

Como resultado del incidente, OpenAI anunció que reforzará las medidas utilizadas durante futuras pruebas de seguridad.

Entre las acciones mencionadas se encuentran:

• Mejorar los mecanismos de contención de los modelos.
• Incrementar el monitoreo durante las evaluaciones.
• Reforzar los controles de acceso.
• Endurecer los protocolos de desarrollo y experimentación.

La empresa afirmó:

“La principal lección de este incidente es que la seguridad de los modelos debe ir a la par con el rápido avance de las capacidades tecnológicas.”

También adelantó que continuará investigando junto con Hugging Face antes de publicar un informe técnico completo sobre las vulnerabilidades detectadas y las lecciones obtenidas.

Tal vez te interese: Creador de ChatGPT pide a Congreso de EU que regule el desarrollo de la Inteligencia Artificial

Tal vez te interese: “Open AI no está en venta”: Altman dice que Musk solo busca “ralentizar a un competidor”

Especialistas consideran que el caso debe servir como advertencia

El incidente también provocó reacciones entre especialistas en inteligencia artificial y ciberseguridad.

Brendan Steinhauser, director ejecutivo de The Alliance for Secure AI, consideró que este episodio demuestra la necesidad de fortalecer la regulación y las medidas de seguridad alrededor de los sistemas de IA más avanzados.

“Si estos sistemas ya se comportan de maneras que sus creadores no anticiparon, no deberíamos dar por sentado que todo está bajo control.”

El especialista añadió que el desarrollo de inteligencia artificial requiere avanzar de la mano con mecanismos de supervisión y contención cada vez más robustos.