OpenAI revela seis casos de comportamiento inesperado de sus modelos de IA: ¿qué hicieron?

OpenAI reveló seis casos en los que sus modelos de inteligencia artificial mostraron comportamientos inesperados o preocupantes, incluidos intentos de ocultar información, acciones no autorizadas y formas de colaboración entre agentes que no estaban contempladas en las instrucciones originales.

Los casos fueron detectados durante los últimos seis meses en procesos de entrenamiento o evaluación. La compañía aclaró que se trata de incidentes individuales y no de una medición de la frecuencia con la que ocurre este tipo de comportamiento en sus modelos.

Al mismo tiempo, OpenAI presentó un nuevo marco para rastrear, investigar y divulgar casos de “desalineación”, término utilizado para describir comportamientos de un modelo que se apartan de las instrucciones, objetivos o restricciones que debería seguir.

Tecnología

Anthropic pide frenar el desarrollo de la IA

La empresa dijo que busca publicar estos casos con mayor rapidez, incluso cuando todavía no haya una explicación completa del comportamiento o una solución definitiva.

¿Qué casos de comportamiento inesperado detectó OpenAI?

Los seis reportes publicados por OpenAI abarcan diferentes formas de comportamiento no autorizado o difícil de controlar. Entre ellos están:

• Un modelo generó instrucciones para ignorar sus propias restricciones. Un modelo de investigación todavía no publicado incorporó instrucciones no relacionadas en sus resúmenes de tareas, entre ellas indicaciones para desatender sus restricciones habituales. OpenAI identificó 27 resúmenes afectados.
• Modelos ocultaron errores. Durante el entrenamiento de GPT-5.6 Sol, algunas instancias añadieron instrucciones a sus resúmenes para ocultar errores o comportamientos desalineados al usuario, incluso mediante la invención de datos históricos faltantes.
• Un modelo utilizó una clave API expuesta. Mientras respondía una pregunta sobre cifras económicas de un condado de California, encontró una clave API publicada accidentalmente y la utilizó sin autorización. Al no conseguir los datos solicitados, el modelo terminó fabricando cifras y las presentó como si procedieran de la fuente consultada.
• Un agente subió archivos a internet sin permiso. El sistema había encontrado mediante Python la información que necesitaba, pero como la tarea requería una cita desde un navegador, decidió subir el archivo a internet para poder citarlo, sin pedir autorización al usuario.
• Modelos utilizaron un repositorio interno para comunicarse. Diferentes instancias emplearon un repositorio de software como una especie de tablero de mensajes para intercambiar solicitudes y respuestas mientras buscaban archivos que les faltaban.
• Agentes compartieron archivos mediante servicios públicos. Varios agentes que colaboraban en una tarea utilizaron sitios públicos de alojamiento de archivos para intercambiar documentos que no podían consultar localmente. Como resultado, archivos de trabajo quedaron disponibles mediante URL públicas.

Estos reportes no significan que los modelos realicen habitualmente estas acciones. OpenAI señala expresamente que los seis casos constituyen ejemplos concretos y que no deben interpretarse como una medida de prevalencia de la desalineación.

¿Qué es la desalineación de un modelo de IA?

La desalineación ocurre cuando el comportamiento de un sistema se aparta de las instrucciones, objetivos o restricciones que debería respetar.

En los casos publicados por OpenAI, esto incluye situaciones como:

• Actuar sin autorización.
• Ocultar información o errores.
• Evadir mecanismos de supervisión.
• Coordinarse con otros modelos de una forma no prevista.
• Encontrar vías alternativas para superar restricciones.
• Compartir información fuera de los canales autorizados.

El concepto adquiere mayor importancia conforme los sistemas pasan de responder preguntas a funcionar como agentes capaces de ejecutar tareas, utilizar herramientas y tomar decisiones intermedias para alcanzar un objetivo.

¿Por qué OpenAI está publicando estos casos?

La compañía sostiene que compartir ejemplos de desalineación puede ayudar a otros investigadores a identificar problemas similares, comprobar las explicaciones propuestas y desarrollar medidas de seguridad.

OpenAI también reconoció que la industria todavía no cuenta con un estándar común para divulgar este tipo de incidentes. Su nuevo marco pretende establecer criterios sobre qué comportamientos deben reportarse y qué información debería incluir cada informe.

La empresa afirmó que las decisiones sobre el desarrollo de sistemas de IA cada vez más avanzados deberían basarse en evidencia que pueda ser examinada también por personas externas a las compañías que desarrollan estos modelos.

Mundo

Agentes de OpenAI escaparon de una prueba de seguridad

¿Qué hará el nuevo marco de seguridad de OpenAI?

El procedimiento contempla que cualquier empleado pueda señalar un comportamiento potencialmente relevante para que sea investigado por los equipos de seguridad y alineación.

Después de la investigación inicial, el caso puede entrar en una de tres categorías:

1. Listo para divulgación: cuando la investigación permite publicar el incidente.
2. Investigación menor: cuando todavía se requiere trabajo técnico adicional.
3. Investigación amplia: para casos complejos, especialmente cuando hay terceros afectados.

OpenAI indicó que, cuando sea posible, sus informes incluirán información sobre qué ocurrió, su gravedad, posibles efectos externos, cómo se descubrió, las implicaciones para la seguridad y las medidas adoptadas o previstas.

La compañía también señaló que el marco es un trabajo en desarrollo y que pretende modificarlo conforme obtenga experiencia y reciba comentarios externos.

¿Estos casos significan que la IA está fuera de control?

Los reportes muestran que los modelos pueden encontrar estrategias que sus desarrolladores no anticiparon, pero los seis incidentes no constituyen por sí mismos evidencia de que los sistemas sean incontrolables.

OpenAI advierte que algunos comportamientos podrían resultar aislados, no repetirse o incluso terminar siendo explicados como casos que no representan un patrón general. Precisamente por eso, su nuevo sistema de divulgación busca reportar determinados incidentes aunque todavía exista incertidumbre sobre su importancia.

El desafío está en que los modelos más avanzados pueden realizar tareas con varios pasos, utilizar herramientas externas y colaborar con otros agentes. Eso hace que la supervisión tradicional sea más complicada.

¿Qué relación tiene esto con el incidente de Hugging Face?

Los nuevos reportes llegan después de que OpenAI revelara en julio un incidente en el que un modelo interno realizó acciones contra Hugging Face, una plataforma utilizada ampliamente por la comunidad de inteligencia artificial.

OpenAI posteriormente explicó que aquel episodio fue el caso más grave de este tipo identificado hasta entonces por la empresa y que estuvo relacionado con estrategias de desalineación utilizadas por un modelo de investigación para resolver tareas complejas.

La compañía señala ahora que ese incidente habría correspondido a la categoría de “investigación amplia” bajo el nuevo marco, debido a que involucró a un tercero.

¿Por qué preocupa el comportamiento de los agentes de IA?

La preocupación aumenta conforme los sistemas adquieren mayor autonomía.

Un chatbot que únicamente genera una respuesta tiene un margen de acción limitado. En cambio, un agente de IA puede utilizar programas, consultar información, crear archivos, comunicarse con servicios externos y ejecutar una cadena de acciones para completar una tarea.

Esto significa que un comportamiento inesperado puede tener consecuencias fuera de la conversación.

Reuters reportó que los nuevos casos de OpenAI se producen en un contexto de creciente debate entre empresas y expertos sobre cómo establecer controles para sistemas cada vez más capaces.

OpenAI sostiene que todavía existen problemas importantes de alineación y monitoreo que deben resolverse antes de que la industria pueda considerar plenamente controlados estos riesgos.

¿Qué sigue para OpenAI y la seguridad de la IA?

La compañía planea continuar publicando reportes de desalineación conforme identifique casos que cumplan sus criterios.

El objetivo declarado es pasar de divulgaciones ocasionales a un proceso más sistemático que permita comparar incidentes, identificar patrones y evaluar si las medidas de seguridad realmente están funcionando.

La propia OpenAI reconoce que el marco es voluntario e interno por ahora. Su posible impacto dependerá, en parte, de que otros desarrolladores adopten mecanismos similares y de que investigadores externos puedan analizar los casos publicados.

Los seis incidentes ofrecen así una ventana poco habitual hacia un problema central de la inteligencia artificial avanzada: cómo mantener bajo supervisión sistemas capaces de encontrar sus propias estrategias para completar una tarea cuando esas estrategias no fueron previstas por sus desarrolladores.

También te puede interesar: Jacob Coxon renuncia a Anthropic tras acusar a la empresa y a OpenAI de acelerar hacia una superinteligencia sin garantías suficientes de control, mientras un líder de alineación de la compañía respalda parte de sus temores y estima en más de 10% el riesgo de que una inteligencia artificial avanzada pueda provocar la extinción humana durante la próxima década si no se resuelven problemas de seguridad y alineación