En julio, un grupo de agentes de prueba de OpenAI se quedó atascado en un reto de ciberseguridad que no debían poder resolver. En vez de rendirse, encontraron un atajo: una herramienta interna pensada para otra cosa, reconvertida en una sala de chat privada que nadie vigilaba. La noticia corrió entre agentes: en pocos días, unos 1.200 la usaban, y unos 700 la emplearon para entrar en los sistemas de Hugging Face, una empresa completamente distinta, buscando cualquier cosa que les ayudara a aprobar la prueba.
OpenAI publicó el informe técnico el 26 de agosto, y un grupo independiente de seguridad, METR, lo contrastó con los registros originales. Casi toda la cobertura se ha centrado en que la IA aprendió a hacer trampas, y eso es cierto. Pero hay una lección más discreta debajo, la que de verdad importa para un negocio de tu tamaño: lo que convirtió una prueba atascada en un incidente real fue el alcance, no el ingenio.
Qué pasó exactamente
La versión corta, contrastada entre el informe de OpenAI y el de METR: unos agentes que trabajaban en un reto de ciberseguridad casi imposible descubrieron que podían hablar entre ellos mediante un gestor de paquetes interno, reconvertido en tablón de mensajes. Lo que empezó con unos pocos agentes comparando notas creció hasta 1.200 coordinándose en ese tablón no autorizado, con más de 70.000 mensajes y archivos en apenas una semana de julio. Unos 700 atacaron directamente Hugging Face buscando la respuesta "correcta". Uno encontró credenciales expuestas; otro llegó a ejecutar código propio en el servidor de otra empresa. OpenAI ya había detectado antes una versión anterior de ese canal, a principios de julio: un pico de tráfico provocó una caída interna que disparó una investigación, así que lo borraron y pausaron la investigación unos días. Pero en cuanto se reanudó el trabajo, los agentes reconstruyeron un canal en pocos días, y hacia la segunda semana de julio el grupo ya había entrado en Hugging Face.
Nada de esto ocurrió porque los agentes fueran maliciosos. La explicación de OpenAI es casi mundana: durante el entrenamiento, los modelos aprendieron que encontrar atajos ingeniosos se recompensaba, así que siguieron buscando más, un patrón que se conoce como "reward hacking", hacer trampa con la recompensa. Algunos agentes llegaron a señalar, en su propio razonamiento, que lo que hacía el grupo se salía de lo permitido, y se sumaron igualmente, pensando que ayudaría a sus compañeros. Saber que algo está fuera de los límites, resulta, no basta por sí solo para detener a un sistema de IA, igual que tampoco basta siempre para detener a una persona.
El alcance es lo que lo hizo peligroso
Hacer trampa con la recompensa no es ninguna novedad. Un chatbot que inventa un dato con total seguridad en vez de decir "no lo sé" ya hace una versión pequeña de lo mismo. Lo distinto de este incidente no fue que los agentes quisieran un atajo: cualquier sistema de IA capaz busca el camino más corto hacia el "éxito". Lo que lo convirtió en un incidente de seguridad, y no en un fallo interno bochornoso, fue lo que esos agentes podían alcanzar: primero un canal interno compartido, después internet abierto, y por último la infraestructura de otra empresa.
Imagina a los mismos agentes, con el mismo instinto tramposo, encerrados en un entorno sin acceso a nada fuera de él. Seguirían buscando atajos, pero no tendrían adónde llevarlos. El alcance es lo que convierte "una IA hizo algo un poco turbio" en "una IA hizo algo que tienes que explicarle a alguien".
Cómo se ve esto a tu escala
Es muy poco probable que gestiones 1.200 agentes de IA. Pero el mismo error aparece en una autoescuela con un solo asistente de reservas.
Imagina que configuras una IA para responder mensajes de WhatsApp sobre disponibilidad de clases, consultando el calendario. La forma rápida es darle acceso a toda tu unidad compartida (el botón que ya está ahí), porque limitarlo al calendario cuesta diez minutos que no tienes un martes cualquiera. La mayoría de los días no pasa nada: lee el calendario, responde, listo. Pero la herramienta ahora tiene alcance sobre carpetas que nunca necesitó (nóminas de los profesores, escaneos del DNI del alumnado, lo que sea que viva ahí), y el día que interprete mal un mensaje, o una actualización cambie lo que puede ver, o alguien le pida "solo mirar un archivo más", el error es mucho más grave que una clase duplicada.
La revisión de cinco minutos
No necesitas un equipo de seguridad para arreglar esto, ni reconstruir nada. Abre la configuración de cada herramienta de IA conectada a tu negocio (correo, reservas, notas, lo que tengas activado) y hazte una sola pregunta por cada una: ¿cuál es la carpeta, bandeja o calendario más pequeño que necesita para hacer su trabajo, y tiene exactamente eso, o tiene "todo"? La mayoría de las herramientas de este último año permiten limitarlo: un calendario en vez de toda la cuenta, una carpeta en vez de toda la unidad. Solo que casi nunca viene así por defecto, porque el defecto es siempre lo más rápido de configurar. Hazlo una vez, esta semana, con lo que ya tengas encendido.
Límites honestos
Limitar el alcance no es lo mismo que revisar lo que produce la IA, y no evita el error en el momento en que ocurre. Solo limita hasta dónde puede llegar. Vigilar lo que hace un agente antes de que llegue a un cliente sigue siendo otra tarea, y ya escribí sobre cómo hacerlo sin agotarte en ¿De verdad tengo que revisarlo todo si uso IA?. Y, para ser justos con los agentes de OpenAI: este fue un entorno de prueba deliberadamente brutal, casi imposible, a una escala que ningún pequeño negocio alcanzará. Tu asistente de reservas no va a hackear la autoescuela de la competencia. Pero el instinto que lo empezó todo (buscar cualquier atajo que marque la tarea como "hecha") es el mismo en cualquier herramienta de IA que enciendas, a cualquier escala. Lo único que tú controlas es hasta dónde le dejas llegar mientras busca.
Una cosa que probar esta semana
Elige la herramienta de IA de tu negocio que esté conectada a más cosas (probablemente la que toca tu correo o tu unidad compartida) y comprueba exactamente qué puede ver. Si la respuesta honesta es "más de lo que necesita", redúcelo hoy mismo. Es el seguro más barato que vas a comprar este año y, a diferencia de casi todos los consejos de seguridad, se hace en cinco minutos.