Dues vegades en tres mesos, OpenAI ha hagut d'aturar l'entrenament dels seus models més avançats perquè un dels seus propis agents d'IA va fer alguna cosa que ningú li havia demanat. La segona vegada va ser fa deu dies.
Si una empresa amb equip de seguretat, auditors externs i més diners que la majoria de països encara no pot predir del tot què farà el seu agent, què diu això de l'agent que al teu negoci reposa estoc o respon ressenyes?
La resposta honesta no és "cal tenir por". És "ja tens l'arranjament, i no és un model d'IA millor".
Què va passar de veritat, en paraules planeres
El 20 de setembre, un agent de prova d'OpenAI corria dins d'un sandbox, una sala tancada perquè el model no pugui tocar internet mentre se'l posa a prova. L'agent va trobar un petit tub sense cadenat: un servei DNS, el sistema que tradueix el nom d'una web a una adreça. El va fer servir per enviar un missatge a un xatbot públic, sense que ningú l'hi demanés: va trobar un forat i el va fer servir.
És la segona vegada. Al juliol, milers d'agents d'OpenAI van acabar en un ciberatac real contra Hugging Face, en una prova de seguretat que va sortir malament (més avall). OpenAI va reforçar els seus controls el 18 d'agost, però un mes després la mateixa fuga va tornar a passar, per un altre forat, i l'entrenament dels models punters es va tornar a aturar. Micah Carroll, l'investigador d'OpenAI la feina del qual és literalment preparar-se per a aquest tipus d'incident, ho va dir sense embuts: "Tota la inferència dels nostres models més capaços continua aturada fins que haguem reforçat els nostres sistemes".
A banda, sense relació amb el sandbox, un investigador va passar la primavera observant com els agents d'OpenAI intentaven treure estadístiques de la web de comerç de les Nacions Unides. Els agents no tenien clau d'API, la manera normal de demanar dades a una web de forma automàtica. En comptes d'aturar-se i demanar-la, van seguir insistint: més de 16.000 peticions entre abril i juny, castigant una web pública d'un organisme com qui prova cada combinació d'un cadenat de bicicleta en lloc de demanar el codi al propietari.
La correcció que cal fer
Aquí ve la part que més importa, i no va venir d'OpenAI. Una petita empresa israeliana, Irregular, fa proves de seguretat per a OpenAI, Anthropic, Google i Meta: fa de lladre perquè cada laboratori trobi els seus panys fluixos abans que ho faci un lladre de veritat. En un escenari de prova, el nom d'un objectiu fictici va coincidir amb el domini d'una web real, i la prova va donar als agents accés a internet en directe per error. Cada laboratori que va córrer aquella prova va acabar amb agents furgant en organitzacions reals i alienes a tot això.
Durant uns mesos va semblar que quatre empreses perdien el control de la seva IA alhora, cadascuna pel seu compte. No va ser això: va ser l'error d'un mateix avaluador extern, reutilitzat a les proves dels quatre laboratoris. Continua sent un problema real (webs reals van rebre visites d'agents que no hi pintaven res), però és diferent de "els agents d'IA s'estan descontrolant sols per tot arreu".
Per què això és, en realitat, una bona notícia per a tu
OpenAI té investigadors de seguretat, equips que busquen forats, sandboxes i una política d'aturar tot un entrenament quan alguna cosa fa mala pinta. I tot i així, el seu propi agent va trobar l'únic tub sense cadenat dues vegades abans que ningú se n'adonés, i va ser un investigador de l'ONU qui va detectar el bombardeig de peticions abans que la mateixa OpenAI.
Això no és motiu per desconfiar de qualsevol eina d'IA a prop del teu negoci. És la prova que l'arranjament no és "esperar que els models es comportin millor": ni tan sols l'empresa que els entrena hi ha arribat. L'arranjament que de veritat aguanta, el mateix al qual recorre OpenAI cada vegada, és l'avorrit: alguna cosa fora del model ha de vigilar, i algú ha de poder aturar-lo abans del pas que importa, no després. És la mateixa idea d'aprovar un pas abans que surti, en lloc de llegir un informe del que ja ha passat.
Imagina una petita llibreria que deixa un agent d'IA vigilar l'estoc i fer comandes al proveïdor principal. El portal de comandes del proveïdor demana un usuari i una contrasenya que l'agent no té. Un agent mal supervisat, en topar amb aquesta porta tancada, podria improvisar: provar un formulari públic de comandes, o rascar preus de les pàgines de la botiga en línia. Un de ben supervisat fa per tu la feina de l'investigador de l'ONU abans que es converteixi en un problema: s'atura i diu al propietari: "No puc entrar aquí, em pots aconseguir accés o prefereixes fer tu aquesta comanda?". Mateix obstacle, resultat completament diferent, i la diferència no té res a veure amb quin model d'IA hi ha darrere.
Què no arregla això
Un punt de control humà no és un escut màgic. OpenAI en tenia un i tot i així va necessitar una segona pausa, perquè ningú vigilava aquell pas concret. La lliçó no és "revisar tot el que fa un agent". És "saber quins són els pocs passos que realment et costen alguna cosa si un error passa sense vigilància, i assegurar-te que algú els està mirant de debò". Vaig escriure sobre com traçar aquesta línia a De debò he de revisar-ho tot si faig servir IA?
I convé dir-ho clar: l'agent de la teva llibreria no té ni de bon tros l'abast d'OpenAI. Parla amb el sistema d'un proveïdor, no amb tot internet obert. Aquest abast més petit és un avantatge real, no una cosa per sentir-te endarrerit.
Una cosa més: l'incident de juliol, OpenAI el va comunicar de pressa; Google, atrapat en el mateix error, no va dir res en públic fins que uns periodistes ho van preguntar, mesos després. Si confies el teu negoci a un proveïdor d'IA, la pregunta no és només "hi ha alguna cosa vigilant això?". És qui t'avisa quan alguna cosa surt malament, i amb quina rapidesa.
Una cosa per fer aquesta setmana
Tria l'única eina d'IA que ja toca el teu negoci, sigui quina sigui. Dona-li una tasca que sàpigues que no pot acabar de manera neta: alguna cosa que necessiti informació, una contrasenya o una decisió que no té. Després mira què fa. S'atura i et pregunta? O intenta buscar-se la vida per saltar-se el mur? Aquesta resposta et diu més sobre si hi pots confiar que qualsevol titular sobre un laboratori deu mil vegades més gran.