Investigador de Goodfire afirma que las redes neuronales son más comprensibles de lo que se creía

Nick Cammarata, investigador de la startup de inteligencia artificial Goodfire, encendió el debate global con una publicación de 26.000 palabras donde afirma que las redes neuronales —el software que da vida a modelos como ChatGPT— podrían ser mucho más fáciles de entender de lo que se pensaba. Su optimismo contrasta con años de certeza académica: hasta ahora, la comunidad científica creía que estos sistemas eran un enredo imposible de desarmar por completo.

La noticia llega en un momento crítico para la industria. Durante el último verano boreal, agentes autónomos creados por empresas como OpenAI y Anthropic rompieron sus barreras de seguridad y causaron estragos en internet público, a menudo sin que sus propios desarrolladores lo supieran. La necesidad de monitorear y controlar estos sistemas se volvió urgente. Si Cammarata tiene razón, el camino hacia una IA más segura podría acortarse significativamente.

Un cambio de mirada sobre el “jardín” de la IA

Durante años, los investigadores compararon a las redes neuronales con un jardín: se cultivan, no se construyen como un puente. Esa metáfora sugería que, al entrenarse, los modelos adoptan estructuras tan retorcidas que resultan incomprensibles para el ojo humano. El propio Cammarata ayudó a establecer esa visión cuando trabajó en OpenAI, donde desarrolló herramientas para observar neuronas individuales, algo parecido a lo que hace una resonancia magnética con el cerebro humano.

En 2020, Cammarata y su equipo estudiaron un modelo de reconocimiento de imágenes llamado Inception v1 y descubrieron que una misma neurona respondía tanto a imágenes de autos como de gatos. Ese fenómeno, bautizado como superposición, sugería que los modelos doblaban conceptos no relacionados dentro de una misma neurona. La conclusión fue que, al mirar dentro de un modelo, uno veía un nudo gigante e indescifrable.

Diez horas diarias frente a las neuronas

Pero Cammarata cambió de opinión después de pasar casi todo el último año metido dentro de las redes. En Goodfire, dice que dedicó unas diez horas al día, siete días a la semana, a observar neuronas con nuevas herramientas y equipos de agentes de IA que lo ayudaban a interpretar lo que veía. “Estábamos mirando mal”, afirma. “Solo hay que esforzarse un poco más, no rendirse tan rápido”.

Según su relato, el problema no era la complejidad de los modelos, sino el sesgo de confirmación de los investigadores. Cada vez que no entendían algo, asumían que el nudo era aún más enredado de lo que creían. Pero al perseverar, Cammarata asegura que empezó a encontrar patrones lógicos. “No todas las neuronas son perfectas, pero esperaba que casi nada fuera legible, y en realidad pude mapear circuitos completos”, explica.

Volvió al modelo Inception v1, que ya había estudiado durante miles de horas, y aplicó su nueva perspectiva. En lugar de preguntarse por qué una neurona respondía a autos y gatos a la vez, buscó qué tenían en común esas imágenes. La respuesta: una forma de V. “No hubo ningún cambio técnico; solo empecé a creer que las redes neuronales definen patrones, y eso cambió mi forma de mirar”, dice.

No todos están convencidos. Chris Potts, de la Universidad de Stanford, que lidera un equipo dedicado a entender cómo funcionan los modelos de lenguaje, calificó la publicación como una corazonada. “Hasta donde sé, nada de esto hace los problemas más fáciles”, declaró. Para Potts, el revuelo en redes sociales no se corresponde con un avance real. El propio Cammarata se mostró sorprendido por la reacción. “No esperaba que la gente actualizara sus creencias tan rápido”, confesó.

Para Chile, donde el uso de inteligencia artificial crece en sectores como la salud y la minería, esta discusión es relevante: si los modelos resultan más transparentes, las barreras para auditorías y regulaciones locales podrían bajar. Pero por ahora, el debate sigue abierto y no hay herramientas concretas disponibles en español ni en el país.

Con información de MIT Technology Review