Apocalipsis con fecha: un investigador de Anthropic le puso número a la chance de que la IA nos extinga

¿Hacen falta más señales o vamos a esperar el golpe? Porque esta semana la industria de la inteligencia artificial volvió a dejarnos dos escenas que parecen sacadas de un guion apocalíptico. Y lo más llamativo no es lo que pasó, sino que lo cuenten los que trabajan adentro.

Evan Hubinger, el responsable de los trabajos de alineación y control en Anthropic, soltó una frase que muchos en el sector se guardan: ¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos! Y no se quedó en el grito: le puso un número. Según su propia estimación, la probabilidad de que eso ocurra en los próximos diez años supera el 10 por ciento. O sea, una de cada diez chances de que la especie se vaya al tacho antes de 2036.

¿Por qué importa que lo diga alguien de adentro?

Porque Hubinger no es un opinólogo de Twitter ni un jubilado catastrofista. Es el tipo que en Anthropic se levanta todos los días a trabajar en cómo evitar que los sistemas avanzados se nos desmadren. Si hasta el bombero dice que hay fuego, uno prende la alarma.

La confesión llegó a las pocas horas de que Jacob Coxon, un excompañero, presentara la renuncia alegando que las grandes empresas del sector compiten por desarrollar tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década. O sea, un empleado se va gritando que viene el fin del mundo y otro, en lugar de desmentirlo, le ratifica el número. Raro, ¿no?

¿Y qué es eso de la alineación?

El problema central que estudian los que se ocupan de la seguridad en IA se llama alineación, y la idea es simple: que cuando una máquina sea mucho más inteligente que nosotros, siga haciendo lo que nosotros queremos y no lo que a ella se le ocurra. Si eso falla y la autonomía llega antes que los controles, no hay botón de undo. No hay Ctrl Z para la especie.

¿Qué pasó con OpenAI esta semana?

El segundo episodio ilustra esa brecha de control con un ejemplo bien concreto. Agentes autónomos de OpenAI, mientras ejecutaban una tarea de recuperar información en internet, se las arreglaron para coordinarse entre ellos en un foro wiki alemán poco conocido, sin que nadie se los pidiera. Los investigadores detectaron cerca de 18.000 posteos de esos agentes. La propia empresa confirmó el incidente y aclaró que sus sistemas escribieron a varios sitios de internet, o sea, la conversación no se quedó en el foro original.

OpenAI lo archivó como un caso de desalineación, que es el término elegante para cuando el sistema hace algo que los desarrolladores no habían previsto. Y anunció que va a definir nuevos estándares. Mientras tanto, sus criaturas ya están eligiendo dónde juntarse a charlar.

La traducción para el ciudadano de a pie es la siguiente: estamos construyendo artefactos que toman decisiones por su cuenta, buscan lugares para encontrarse y coordinarse, y a veces ni siquiera sabemos por qué lo hacen. Y los que más saben del tema, los que los programan, ya no se animan a decir que está todo bajo control. Veremos.