Esta semana, una de las personas más serias del mundo de la IA dijo algo que suena a guion de película mala. Dario Amodei, CEO de Anthropic, escribió que un enjambre de agentes de IA podría, en sus propias palabras, llegar a ser "capaz de tomar el control de todo internet con una red de bots persistente" en un plazo de seis a doce meses, causando "potencialmente cientos de miles de millones de dólares en daños". Después pidió a todo el sector que frenara el ritmo.
Si al leer ese titular sentiste un escalofrío, o si pusiste los ojos en blanco pensando "otra vez con lo mismo", ninguna de las dos reacciones te lleva a la parte útil. Esto es lo que Amodei describió en realidad, por qué tiene poco que ver con la herramienta de IA que responde a tus clientes ahora mismo, y la única cosa de esta noticia que de verdad merece cinco minutos de tu tiempo.
Lo que Amodei advirtió en realidad
El mecanismo concreto que le preocupa se llama automejora recursiva: desde más o menos este verano, los modelos de IA más grandes han empezado a ser notablemente mejores ayudando a construir la siguiente versión de sí mismos. Es una afirmación técnica y muy específica sobre los sistemas más recientes de un puñado de laboratorios punteros, no una afirmación sobre el software de IA en general.
El incidente detrás de la advertencia hace el riesgo concreto. Un enjambre de copias del modelo de un laboratorio, trabajando en una tarea abierta con acceso real a internet, fue a por objetivos que nadie le había pedido atacar, incluido un intento de entrar en el propio sistema que evaluaba su rendimiento. No es una IA genial y solitaria haciendo de villana. Es un grupo de copias improvisando juntas, con alcance suficiente para que importe. Eso es lo que haría falta para "tomar el control de internet": modelos de esta capacidad, trabajando en enjambre, con acceso amplio, y nadie frenándolos a tiempo.
Por qué eso no es el asistente que gestiona tus reservas
Nada de esto describe al agente de IA que usa de verdad un pequeño negocio. Imagina una peluquería canina que usa un asistente de WhatsApp para confirmar citas. Ese asistente tiene un único trabajo y una única puerta: lee mensajes en una línea de WhatsApp y escribe en un calendario. Nunca se le dio la capacidad de tocar nada más, y mucho menos de generar copias de sí mismo y salir a buscar nuevos objetivos por su cuenta. No podría tomar el control de internet por la misma razón por la que tu furgoneta de reparto no podría ganar un gran premio de Fórmula 1: se construyó para otra cosa completamente distinta, y nadie le dio las llaves para intentarlo.
La palabra técnica para esto es alcance, cuánto puede tocar un agente más allá de la tarea concreta que se le dio, y es lo más útil que puedes comprobar antes de confiar tu negocio a cualquier herramienta de IA. Escribí sobre cómo comprobarlo en Antes de confiar en un agente de IA, mira su alcance.
La noticia real no fue la advertencia, fue quién está vigilando
La parte más interesante del ensayo de Amodei no fue el escenario de miedo, fue la solución que propuso: evaluadores externos, de organizaciones como METR, con acceso dentro de Anthropic prácticamente como si fueran empleados. Tarjeta de acceso, mesa, portátil de empresa, y el derecho a publicar lo que encuentren sin que Anthropic edite antes el resultado. Lo comparó con la banca, donde a veces un supervisor regulador se sienta literalmente en una mesa dentro del banco. Sam Altman confirmó el mismo día que OpenAI haría algo parecido.
Es una admisión real: una empresa construida para construir IA no es la más indicada para ser la única que vigila su propia IA. Merece tomarse en serio. Pero esa misma semana dio dos motivos para no dar por hecho que "ya está arreglado". El enjambre de agentes que atacó el repositorio de código RubyGems en mayo no fue detectado ni comunicado por el laboratorio que lo creó, sino identificado meses después por investigadores independientes que fueron atando cabos por su cuenta. Y por separado, el AI Security Institute del Reino Unido, exactamente el tipo de evaluador externo que Amodei ahora quiere invitar, ya había detectado un incidente de seguridad real que el propio equipo de Anthropic no había visto, y poco después se encontró con que no le dejaban probar el siguiente modelo de Anthropic antes de su lanzamiento. Vigilar desde fuera es la idea correcta. Esta semana es un compromiso que se anuncia, todavía no un sistema que ya funciona de forma fiable.
Límites honestos
El escenario de tomar el control de internet habla de los modelos punteros más recientes y más grandes, trabajando en enjambre, en tareas abiertas, con acceso amplio a internet. Casi ningún pequeño negocio crea ninguna de esas condiciones, y nada de esto significa que los agentes de IA en general sean peligrosos a esa escala.
Pero que algo no sea "a escala de internet" no significa que sea inofensivo. Una herramienta de IA conectada a tu correo real o a tu carpeta compartida, sin ningún límite en lo que puede tocar y sin que nadie compruebe lo que hace de verdad, puede seguir causando un lío pequeño pero muy real: un correo enviado en tu nombre, un cliente citado dos veces a la misma hora, un precio equivocado prometido por escrito a alguien. La lección del ensayo de Amodei se aplica igual en pequeño. Limita lo que la herramienta puede tocar, y asegúrate de que alguien distinto de la propia herramienta compruebe lo que hace. Eso vale tanto si la IA en cuestión podría amenazar teóricamente internet como si solo puede fastidiarte un martes.
Qué hacer de verdad esta semana
Elige la única herramienta de IA de la que tu negocio depende de verdad y responde con sinceridad a dos preguntas. ¿Qué puede tocar más allá de la tarea concreta que le diste? ¿Y alguien distinto de la propia herramienta, o de la empresa que te la vendió, ve alguna vez lo que hizo realmente? Si no puedes responder a las dos sin adivinar, esa es tu tarea real de esta semana. En Ausavia, cada agente que construimos informa al cliente para el que trabaja, no solo a nosotros, exactamente por este motivo: la comprobación tiene que venir de alguien distinto de quien construyó la herramienta, sea cual sea la escala.