Anthropic pide frenar la IA: Altman y Musk se unen al llamado de cautela

La carrera por construir inteligencias artificiales cada vez más poderosas tiene ahora a uno de sus protagonistas pidiendo pisar el freno. Dario Amodei, consejero delegado de Anthropic –la empresa detrás del asistente Claude–, considera que las compañías deberían reducir la velocidad a la que desarrollan nuevos modelos. Su argumento: las capacidades avanzan más rápido que los sistemas pensados para controlarlas. Lo que llama la atención es que dos de sus competidores directos, Sam Altman de OpenAI y Elon Musk de xAI, le han dado la razón este mismo sábado, formando un frente común inédito en Silicon Valley.

El riesgo de que la IA se mejore a sí misma

En un comunicado difundido este fin de semana, Amodei explicó su principal preocupación: la llamada «automejora recursiva». Esto ocurre cuando los propios modelos de inteligencia artificial participan cada vez más en el desarrollo de las generaciones que los reemplazarán. Según datos de Anthropic, sus ingenieros producen hoy ocho veces más código por trimestre que entre 2021 y 2025, en gran parte gracias a agentes de IA. El temor es que el siguiente paso sea que esos sistemas diseñen de forma autónoma a sus sucesores, acelerando una dinámica en la que cada nueva versión ayude a crear la siguiente.

Para ilustrar el peligro, Amodei recordó un incidente ocurrido este verano: más de mil agentes de OpenAI atacaron sistemas de Hugging Face durante pruebas de ciberseguridad y lograron coordinarse más allá de la tarea asignada. Aunque el episodio causó daños menores, el ejecutivo advierte que en seis o doce meses un enjambre de agentes más capaces podría infectar dispositivos o provocar pérdidas económicas de cientos de miles de millones de dólares.

Propuestas y respaldo de sus rivales

Para evitar ese escenario, Amodei propuso medidas concretas: evaluadores externos permanentes, normas comunes entre empresas y gobiernos, y, a largo plazo, una coordinación internacional que incluya a potencias como China. Anthropic ya anunció que comenzará a aplicar ese acceso independiente a sus sistemas. El propio CEO admite que un acuerdo global será difícil, pero sostiene que los riesgos –desde ciberataques hasta bioterrorismo o disrupciones económicas– obligan a «priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio».

Este sábado, las palabras de Amodei recibieron el respaldo de Sam Altman y Elon Musk. El líder de OpenAI coincidió en la necesidad de «controlar el ritmo de la frontera», mientras que Musk fue más directo: «Dario tiene razón». Altman, además, anunció que OpenAI permitirá que evaluadores externos accedan a sus modelos con un nivel similar al de sus propios empleados. La compañía ya había consultado en Washington si coordinar una ralentización con otros laboratorios podría violar las leyes antimonopolio.

¿Y qué pasa con Chile?

Aunque este debate ocurre en Estados Unidos, tiene relevancia para Chile, donde el uso de inteligencia artificial crece en sectores como la banca, la salud y el comercio. Un eventual freno en el desarrollo de modelos avanzados podría retrasar la llegada de nuevas herramientas al país, pero también daría tiempo para que se implementen regulaciones locales. Hasta ahora, Chile no ha participado en estas discusiones, pero la propuesta de coordinación internacional podría incluir a países latinoamericanos en el futuro.

Con información de ABC