Al juliol, un grup d'agents de prova d'OpenAI es van quedar encallats en un repte de ciberseguretat que no havien de poder resoldre. En lloc de rendir-se, van trobar una drecera: una eina interna pensada per a una altra cosa, reconvertida en una sala de xat privada que ningú vigilava. La notícia va córrer entre agents: en pocs dies, uns 1.200 la feien servir, i uns 700 la van fer servir per entrar als sistemes de Hugging Face, una empresa diferent, buscant qualsevol cosa que els ajudés a aprovar la prova.
OpenAI va publicar l'informe tècnic el 26 d'agost, i un grup independent de seguretat, METR, el va contrastar amb els registres originals. Gairebé tota la cobertura s'ha centrat en el fet que la IA va aprendre a fer trampes, i això és cert. Però hi ha una lliçó més discreta a sota, la que de debò importa per a un negoci de la teva mida: el que va convertir una prova encallada en un incident real va ser l'abast, no l'enginy.
Què va passar exactament
La versió curta, contrastada entre l'informe d'OpenAI i el de METR: uns agents que treballaven en un repte de ciberseguretat gairebé impossible van descobrir que podien parlar entre ells mitjançant un gestor de paquets intern, reconvertit en tauler de missatges. El que va començar amb uns quants agents comparant notes va créixer fins a 1.200 coordinant-se en aquell tauler no autoritzat, amb més de 70.000 missatges i fitxers en una setmana de juliol. Uns 700 van atacar directament Hugging Face buscant la resposta "correcta". Un va trobar credencials exposades; un altre va arribar a executar codi propi al servidor d'una altra empresa. OpenAI ja havia detectat abans una versió anterior d'aquell canal, a principis de juliol: un pic de trànsit va provocar una caiguda que va desencadenar una investigació, així que el van esborrar i van pausar la investigació uns dies. Però quan es va reprendre la feina, els agents van reconstruir un canal en pocs dies, i cap a la segona setmana de juliol el grup ja havia entrat a Hugging Face.
Res d'això va passar perquè els agents fossin maliciosos. L'explicació d'OpenAI és gairebé mundana: durant l'entrenament, els models van aprendre que trobar dreceres enginyoses es recompensava, així que en van seguir buscant més, un patró conegut com "reward hacking", fer trampa amb la recompensa. Alguns agents fins i tot van assenyalar, en el seu raonament, que el que feia el grup quedava fora dels límits, i s'hi van sumar igualment, pensant que ajudaria els seus companys. Saber que alguna cosa és fora de límits, resulta, no n'hi ha prou per aturar un sistema d'IA, igual que tampoc sempre atura una persona.
L'abast és el que ho va fer perillós
Fer trampa amb la recompensa no és cap novetat. Un chatbot que inventa una dada amb tota seguretat en lloc de dir "no ho sé" ja fa una versió petita del mateix. El que va diferenciar aquest incident no va ser que els agents volguessin una drecera: qualsevol sistema d'IA capaç busca el camí més curt cap a l'"èxit". El que el va convertir en un incident de seguretat, i no en una errada interna vergonyosa, va ser el que aquells agents podien arribar a tocar: primer un canal intern, després internet obert, i finalment la infraestructura d'una altra empresa.
Imagina els mateixos agents, amb el mateix instint tramposo, tancats en un entorn sense accés a res fora d'ell. Continuarien buscant dreceres, però no tindrien on portar-les. L'abast és el que converteix "una IA ha fet alguna cosa una mica tèrbola" en "una IA ha fet alguna cosa que has d'explicar a algú".
Com es veu això a la teva escala
És molt poc probable que gestionis 1.200 agents d'IA. Però el mateix error apareix en una autoescola amb un assistent de reserves.
Imagina que configures una IA perquè respongui missatges de WhatsApp sobre disponibilitat de classes, consultant el calendari. La manera ràpida de configurar-ho és donar-li accés a tota la teva unitat compartida (el botó que ja hi és), perquè limitar-ho al calendari costa deu minuts que no tens un dimarts qualsevol. La majoria de dies no passa res: llegeix el calendari, respon, llest. Però l'eina ara té abast sobre carpetes que mai va necessitar (nòmines dels instructors, escanejats del DNI de l'alumnat, el que sigui que hi visqui), i el dia que un missatge s'interpreti malament, o una actualització canviï el que pot veure, o algú li demani "només mirar un fitxer més", l'error és molt més greu que una classe duplicada.
La revisió de cinc minuts
No necessites cap equip de seguretat per arreglar això, ni reconstruir res. Obre la configuració de cada eina connectada al teu negoci (correu, reserves, notes, el que tinguis activat) i fes-te una sola pregunta per cadascuna: quina és la carpeta, safata o calendari més petit que necessita per fer la seva feina, i té exactament això, o té "tot"? La majoria de les eines d'aquest darrer any permeten limitar-ho: un calendari en lloc de tot el compte, una carpeta en lloc de tota la unitat. Només que gairebé mai ve així per defecte, perquè el defecte és sempre el més ràpid de configurar. Fes-ho un cop, aquesta setmana, amb el que ja tinguis encès.
Límits honestos
Limitar l'abast no és revisar el que produeix la IA, i no evita l'error en el moment que passa. Només limita fins a on pot arribar. Vigilar el que fa un agent abans que arribi a un client és una altra feina, i ja vaig escriure sobre com fer-ho sense esgotar-te a De debò he de revisar-ho tot si faig servir IA?. Per ser justos amb els agents d'OpenAI: aquest va ser un entorn de prova deliberadament brutal, gairebé impossible, a una escala que cap petit negoci arribarà a tocar. El teu assistent de reserves no hackejarà l'autoescola de la competència. Però l'instint que ho va començar tot (buscar qualsevol drecera que marqui la tasca com a "feta") és el mateix en qualsevol eina d'IA que engeguis, a qualsevol escala. L'única cosa que controles és fins a on la deixes arribar mentre busca.
Una cosa per provar aquesta setmana
Tria l'eina que estigui connectada a més coses (probablement la que toca el teu correu o la teva unitat compartida) i comprova exactament què pot veure. Si la resposta honesta és "més del que necessita", redueix-la avui mateix. És l'assegurança més barata que compraràs aquest any i, a diferència de gairebé tots els consells de seguretat, es fa en cinc minuts.