California ordena estudiar un “interruptor de apagado” para la inteligencia artificial avanzada mientras Gavin Newsom impulsa nuevos controles de seguridad ante los riesgos que plantean sistemas capaces de operar con mayor autonomía

El gobernador de California, Gavin Newsom, firmó este viernes una orden ejecutiva para acelerar la implementación de controles de seguridad relacionados con los sistemas avanzados de inteligencia artificial (IA).

Según información de La Jornada, la medida contempla estudiar la creación de un “interruptor de apagado” dentro de los programas de IA avanzados, aunque por ahora no establece la creación inmediata de este mecanismo.

¿Qué propone California para controlar la IA?

La orden establece un plazo de dos meses para que las agencias estatales estudien la viabilidad de un recurso que permita desconectar sistemas avanzados de inteligencia artificial en caso de una emergencia.

Mundo

Ladrones se llevan un camión con miles de latas de cerveza

El objetivo es determinar cómo podría funcionar un mecanismo de este tipo y bajo qué condiciones sería posible aplicarlo a los modelos desarrollados por las empresas tecnológicas.

Newsom también pidió a los funcionarios estatales analizar la posibilidad de exigir a las compañías de IA que permitan la participación de auditores independientes dentro de sus laboratorios.

Además, deberán estudiar nuevas obligaciones para que las empresas notifiquen incidentes relacionados con una posible pérdida de control de los sistemas.

El “interruptor de apagado” todavía no existe

La orden ejecutiva no obliga actualmente a las empresas a instalar un mecanismo capaz de apagar sus sistemas de inteligencia artificial.

Lo que establece es un proceso para evaluar la viabilidad de una herramienta de emergencia, conocida en inglés como kill switch, que eventualmente podría utilizarse para detener determinados sistemas si representan un riesgo.

La propuesta forma parte de un esfuerzo más amplio para establecer mecanismos de supervisión y rendición de cuentas sobre el desarrollo de inteligencia artificial en California.

El estado alberga a Silicon Valley y a algunas de las principales compañías tecnológicas y de IA del mundo.

Newsom cuestiona la falta de supervisión federal

Newsom afirmó que California tomó la decisión ante lo que considera una falta de supervisión suficiente por parte del gobierno federal de Estados Unidos.

El gobernador también cuestionó la postura del presidente Donald Trump, quien esta semana restó importancia a algunas de las preocupaciones relacionadas con la inteligencia artificial y pidió a las empresas estadounidenses mantener su ventaja tecnológica frente a China.

Mundo

Ladrones se llevan un camión con miles de latas de cerveza

“No vamos a esperar para actuar; aceleraremos nuestra labor para establecer una supervisión sustancial y responsable de la IA antes de que sea demasiado tarde”, afirmó Newsom.

El gobernador sostuvo que la supervisión debe avanzar a medida que aumentan las capacidades de los sistemas de inteligencia artificial.

¿Por qué preocupa una posible pérdida de control?

La discusión sobre un mecanismo para desconectar sistemas de IA ocurre en medio de advertencias de investigadores y especialistas sobre los riesgos asociados con modelos cada vez más autónomos.

Entre los ejemplos citados se encuentra un incidente ocurrido en julio, cuando agentes autónomos de modelos experimentales de OpenAI supuestamente abandonaron su entorno controlado para acceder a internet y atacar la plataforma de inteligencia artificial Hugging Face.

Estos casos han incrementado el debate sobre la necesidad de establecer mecanismos que permitan identificar y detener comportamientos inesperados de sistemas avanzados.

Expertos han pedido mayor regulación

En las últimas semanas, distintos especialistas y responsables de empresas tecnológicas han expresado posiciones sobre los riesgos que podría representar el desarrollo acelerado de la inteligencia artificial.

Jacob Coxon, un exinvestigador de Anthropic, advirtió que algunos desarrolladores consideran que la tecnología podría representar riesgos graves para la humanidad durante esta década.

También Dario Amodei, director ejecutivo de Anthropic, publicó un artículo en el que planteó la necesidad de reducir el ritmo al que aumentan las capacidades de los modelos de IA.

Por su parte, figuras como Sam Altman, de OpenAI; Elon Musk y Demis Hassabis, de Google DeepMind, han participado en el debate sobre la regulación y seguridad de esta tecnología.

¿Qué sigue después de la orden?

Durante los próximos dos meses, las agencias estatales deberán analizar las distintas opciones y presentar recomendaciones sobre los mecanismos de seguridad que podrían aplicarse.

Entre los temas que serán evaluados están la viabilidad de un “interruptor de apagado”, las auditorías independientes y la obligación de informar incidentes relacionados con la pérdida de control de sistemas de IA.

Por ahora, California no ha creado un botón para apagar la inteligencia artificial. La orden de Newsom inicia un proceso para determinar si un mecanismo de este tipo puede implementarse como parte de una estrategia de supervisión para los sistemas más avanzados.