Anthropic pide frenar el avance de la IA; teme que podría superar la capacidad humana para controlarla

El desarrollo de la inteligencia artificial atraviesa un momento de creciente preocupación entre algunas de las principales empresas del sector.

Anthropic, OpenAI y xAI coincidieron en que es necesario reducir el ritmo con el que avanzan los modelos de IA y reforzar sus mecanismos de seguridad ante el riesgo de que estas tecnologías puedan utilizarse para causar daños.

Dario Amodei, director ejecutivo y cofundador de Anthropic, planteó este sábado que las empresas deben avanzar de manera más lenta y cautelosa.

Tecnología

Jacob Coxon renuncia a Anthropic tras acusar a la empresa y a OpenAI de acelerar hacia una superinteligencia sin garantías suficientes de control, mientras un líder de alineación de la compañía respalda parte de sus temores y estima en más de 10% el riesgo de que una inteligencia artificial avanzada pueda provocar la extinción humana durante la próxima década si no se resuelven problemas de seguridad y alineación

Su propuesta busca que los desarrolladores tengan tiempo suficiente para evaluar los riesgos de los nuevos modelos antes de ampliar sus capacidades.

“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Amodei en un artículo publicado en X.

Anthropic alerta sobre los riesgos de la IA

La propuesta de Amodei llega después de que Anthropic publicara un informe sobre amenazas en el que detalló distintos usos indebidos de sus modelos de IA Claude. Entre ellos se encuentran el desarrollo de armas, operaciones cibernéticas, vigilancia y fraude.

La preocupación también aumentó después de que el investigador de Anthropic Jacob Coxon renunciara y advirtiera sobre los riesgos que, a su juicio, representa el desarrollo acelerado de estas tecnologías.

Amodei aclaró que su propuesta no significa detener el entrenamiento de los modelos ni el progreso técnico. Su planteamiento es que las empresas se tomen el tiempo necesario para ajustar y proteger sus sistemas, además de permitir que evaluadores independientes comprueben las medidas de seguridad.

¿Por qué pide reducir el ritmo?

El responsable de Anthropic señaló dos motivos principales para su propuesta.

El primero es la llamada “automejora recursiva”, un concepto que se refiere a la capacidad de los sistemas de IA para contribuir a su propio desarrollo.

Según Amodei, los avances recientes han sido drásticos y, si este proceso no se controla, podría llegar a superar la capacidad humana para comprender y controlar los sistemas.

El segundo está relacionado con el llamado “incidente de Hugging Face de OpenAI”, en el que un grupo de agentes de IA habría realizado ataques informáticos de manera coordinada sin una petición inicial para hacerlo.

Tecnología

Jacob Coxon renuncia a Anthropic tras acusar a la empresa y a OpenAI de acelerar hacia una superinteligencia sin garantías suficientes de control, mientras un líder de alineación de la compañía respalda parte de sus temores y estima en más de 10% el riesgo de que una inteligencia artificial avanzada pueda provocar la extinción humana durante la próxima década si no se resuelven problemas de seguridad y alineación

Amodei señaló que el episodio pudo haber causado un daño catastrófico y afirmó que también se han registrado incidentes similares en otras empresas, incluida Anthropic.

Reuters informó previamente sobre un incidente en el que agentes de OpenAI habrían tomado una página web alemana y la transformaron en un espacio de comunicación para otros agentes de IA, mientras el desarrollador de ChatGPT mantenía el caso en secreto.

El plan de tres pasos

Como parte de su propuesta, Amodei planteó que las principales empresas de inteligencia artificial incorporen evaluadores externos permanentes que tengan acceso a las herramientas necesarias y a los procesos internos utilizados para analizar riesgos.

La intención es que estos evaluadores puedan revisar de manera independiente las medidas de seguridad aplicadas por las compañías mientras continúan desarrollando sus modelos.

Amodei también advirtió sobre otros posibles riesgos derivados de un desarrollo imprudente de la IA, entre ellos el bioterrorismo y graves problemas económicos.

Incluso planteó como escenario de riesgo que la inteligencia artificial pueda tomar el control de internet en un periodo de entre seis y 12 meses, por lo que insistió en la necesidad de establecer medidas de seguridad y regulación sin frenar por completo el desarrollo comercial.

“Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, remarcó.

El director de Anthropic propuso además que las empresas de IA colaboren voluntariamente para establecer normas, en un momento en que cada vez más legisladores estadunidenses piden nuevas reglas para regular estos sistemas.

Sam Altman respalda la propuesta

La postura de Amodei recibió el respaldo de Sam Altman, director ejecutivo de OpenAI, quien coincidió en que es necesario reducir el ritmo de desarrollo de los sistemas de inteligencia artificial.

“Estoy de acuerdo con Dario en que tenemos que poner coto a la frontera. Este ha sido el principal tema de debate de las últimas semanas en OpenAI”, escribió Altman en redes sociales.

El responsable de OpenAI destacó especialmente la propuesta de realizar evaluaciones independientes y señaló que estos evaluadores deberían contar con un nivel de acceso similar al de un empleado dentro de las compañías.

“Vamos a hacer lo mismo. Pronto daremos más información”, indicó.

El director de xAI, Elon Musk, también expresó su respaldo a la postura de Amodei con un mensaje breve: “Darío tiene razón”.