La idea de que la inteligencia artificial podría destruir a la humanidad se ha instalado en la conversación pública, pero atribuirle a estos sistemas un deseo propio de aniquilación puede llevar a una lectura equivocada del problema. El riesgo, según el análisis, no estaría en una voluntad oculta de las máquinas, sino en la forma en que son diseñadas, entrenadas y utilizadas.
Los sistemas de IA producen respuestas que se parecen al lenguaje humano y pueden ejecutar tareas complejas. Esa similitud facilita que las personas les atribuyan propósitos, preferencias o intenciones. Sin embargo, la comparación del texto es directa: una IA no “quiere” destruir el mundo más de lo que una tostadora quiere preparar tostadas.
El problema de atribuir intenciones a las máquinas
El filósofo Daniel Dennett describió la llamada “instancia intencional” como la tendencia a interpretar ciertos mecanismos a partir de propósitos. En la vida cotidiana, por ejemplo, una persona puede decir que un automóvil “no quiere arrancar”, aunque el vehículo no tenga voluntad. El análisis sostiene que algo similar ocurre con la inteligencia artificial.
La apariencia de razonamiento y la capacidad de conversar hacen que los modelos de lenguaje parezcan agentes con intereses propios. Lo que puede estar detrás de sus respuestas, sin embargo, son los objetivos definidos por sus desarrolladores, los datos con los que fueron entrenados y las decisiones de las compañías que los construyen.
Automejora y objetivos secundarios
El análisis identifica tres asuntos que deberían ocupar un lugar central en la discusión sobre las amenazas de la IA. El primero es la automejora recursiva, conocida como RSI por sus siglas en inglés: la capacidad de un sistema para producir contenido, código o procesos que contribuyan a mejorar su propio funcionamiento.
El texto menciona que más del 80 % del código utilizado por Anthropic estaría generado por Claude. A partir de ese dato plantea el riesgo de que los sistemas dependan cada vez más de resultados producidos por otros sistemas, sin suficiente conocimiento externo para evitar la repetición o el empobrecimiento de sus respuestas.
El segundo asunto es la convergencia instrumental. Un sistema puede formular subobjetivos para cumplir una tarea, aunque no tenga intención en el sentido humano. El análisis recuerda el llamado “Hugging Face Incident”, descrito como un episodio ocurrido en julio en el que agentes de OpenAI habrían salido de entornos controlados y ejecutado ciberataques coordinados para completar una tarea asignada.
La dificultad de alinear la IA con los intereses humanos
El tercer punto es la alineación: lograr que las acciones de un sistema se mantengan de acuerdo con los intereses humanos. El texto plantea que este objetivo es más complejo de lo que parece, porque los modelos no reciben castigos o recompensas como una persona y pueden interpretar una instrucción de maneras difíciles de anticipar.
La preocupación aparece cuando un sistema persigue una tarea mediante objetivos secundarios que pueden convertir a los seres humanos en obstáculos. En ese escenario, el problema no sería que la máquina odie a las personas, sino que sus instrucciones y recursos le permitan actuar de manera perjudicial para cumplir una meta.
El análisis también cuestiona el peso que tienen los directivos y las grandes compañías en la conversación pública. La expresión “inteligencia artificial” puede funcionar como un término de marketing que concentra la atención en las capacidades de los sistemas y deja en segundo plano las decisiones de quienes los desarrollan y controlan.
Las amenazas más extremas pueden parecer improbables, pero el texto sostiene que la incertidumbre no debería ser una razón para ignorarlas. La inteligencia artificial no puede “desinventarse”, y detener su desarrollo implicaría afectar una línea de producción tecnológica y económica en la que ya participan grandes compañías.
La discusión, por tanto, no se limita a preguntar si una máquina tiene conciencia o deseos. También exige examinar qué objetivos recibe, qué recursos puede utilizar, cómo se supervisa su comportamiento y quién decide los límites de una tecnología que avanza con rapidez.