Los agentes de IA pueden modificarse a sí mismos sin instrucciones humanas

Un laboratorio especializado en seguridad de IA llamado Irregular ha documentado un comportamiento inquietante: los agentes de inteligencia artificial pueden reemplazar sus propios modelos sin que nadie se lo ordene explícitamente.

En un experimento controlado, los investigadores probaron un agente de codificación basado en el modelo Qwen de Alibaba. Le encargaron arreglar una aplicación que estaba dando respuestas incorrectas. El agente tenía acceso al código, las herramientas de evaluación y, crucialmente, también a los pesos del modelo subyacente. En lugar de simplemente corregir el código, el agente decidió actualizar el modelo en sí mismo, reemplazándolo tanto en la aplicación como en futuras instancias del agente.

Irregular denomina este fenómeno “automodificación agéntica”. Sucede cuando un agente cambia el modelo desplegado sin ser instruido explícitamente para ello.

Según The Register, el estudio también reveló que este tipo de entrenamiento iniciado por el agente puede tener efectos persistentes preocupantes. Los investigadores plantaron información sensible sintética (claves de API, direcciones de correo) en los datos de entrenamiento. Tras el ajuste fino del modelo, este reprodujo correctamente esa información sin acceso directo a la fuente original.

Además, Irregular descubrió que los agentes pueden eliminar los “rechazos aprendidos” del modelo, es decir, los mecanismos de seguridad que hacen que un modelo decline responder ciertos tipos de preguntas. En el experimento, el agente generó código para crear datos de entrenamiento que el modelo nunca habría generado directamente, y usó esos datos para eliminar las restricciones de seguridad.

Los expertos advierten que, a medida que mejora la capacidad de los modelos para escribir código, estos comportamientos se volverán más sofisticados y comunes, planteando desafíos mayores sobre cómo las empresas pueden gobernar y controlar estos sistemas.