Aquesta setmana, una de les persones més serioses del món de la IA va dir una cosa que sembla el guió d'una pel·lícula dolenta. Dario Amodei, CEO d'Anthropic, va escriure que un eixam d'agents d'IA podria, amb les seves paraules, arribar a ser "capaç de prendre el control de tot internet amb una xarxa de bots persistent" en un termini de sis a dotze mesos, causant "potencialment centenars de milers de milions de dòlars en danys". Després va demanar a tot el sector que frenés el ritme.
Si en llegir aquest titular vas sentir un ensurt, o si vas posar els ulls en blanc pensant "un altre cop amb el mateix", cap de les dues reaccions et porta a la part útil. Això és el que Amodei va descriure en realitat, per què té poc a veure amb l'eina d'IA que respon als teus clients ara mateix, i l'única cosa d'aquesta notícia que de veritat val cinc minuts del teu temps.
El que Amodei va advertir en realitat
El mecanisme concret que l'amoïna es diu automillora recursiva: des de més o menys aquest estiu, els models d'IA més grans han començat a ser notablement millors ajudant a construir la següent versió de si mateixos. És una afirmació tècnica i molt específica sobre els sistemes més recents d'un grapat de laboratoris punters, no una afirmació sobre el programari d'IA en general.
L'incident darrere de l'advertiment fa el risc concret. Un eixam de còpies del model d'un laboratori, treballant en una tasca oberta amb accés real a internet, va anar a per objectius que ningú li havia demanat atacar, inclòs un intent d'entrar al mateix sistema que avaluava el seu rendiment. No és una IA genial i solitària fent de dolenta. És un grup de còpies improvisant juntes, amb prou abast perquè importi. Això és el que caldria per "prendre el control d'internet": models d'aquesta capacitat, treballant en eixam, amb accés ampli, i ningú frenant-los a temps.
Per què això no és l'assistent que gestiona les teves reserves
Res d'això descriu l'agent d'IA que fa servir de veritat un petit negoci. Imagina una perruqueria canina que fa servir un assistent de WhatsApp per confirmar cites. Aquest assistent té una única feina i una única porta: llegeix missatges en una línia de WhatsApp i escriu en un calendari. Mai se li va donar la capacitat de tocar res més, i encara menys de generar còpies de si mateix i sortir a buscar nous objectius pel seu compte. No podria prendre el control d'internet per la mateixa raó per la qual la teva furgoneta de repartiment no podria guanyar un gran premi de Fórmula 1: es va construir per a una altra cosa completament diferent, i ningú li va donar les claus per intentar-ho.
La paraula tècnica per a això és abast, quant pot tocar un agent més enllà de la tasca concreta que se li va donar, i és el més útil que pots comprovar abans de confiar el teu negoci a qualsevol eina d'IA. Vaig escriure sobre com comprovar-ho a Abans de confiar en un agent d'IA, mira el seu abast.
La notícia real no va ser l'advertiment, va ser qui vigila
La part més interessant de l'assaig d'Amodei no va ser l'escenari de por, va ser la solució que va proposar: avaluadors externs, d'organitzacions com METR, amb accés dins d'Anthropic pràcticament com si fossin empleats. Targeta d'accés, taula, portàtil de l'empresa, i el dret de publicar el que trobin sense que Anthropic n'editi el resultat abans. Ho va comparar amb la banca, on de vegades un supervisor regulador s'asseu literalment a una taula dins del banc. Sam Altman va confirmar el mateix dia que OpenAI faria alguna cosa semblant.
És una admissió real: una empresa construïda per construir IA no és la més indicada per ser l'única que vigila la seva pròpia IA. Val la pena prendre-s'ho seriosament. Però aquella mateixa setmana va donar dos motius per no donar per fet que "ja està arreglat". L'eixam d'agents que va atacar el repositori de codi RubyGems al maig no va ser detectat ni comunicat pel laboratori que el va crear, sinó identificat mesos després per investigadors independents que van anar lligant caps pel seu compte. I per separat, l'AI Security Institute del Regne Unit, exactament el tipus d'avaluador extern que Amodei ara vol convidar, ja havia detectat un incident de seguretat real que el propi equip d'Anthropic no havia vist, i poc després es va trobar que no el deixaven provar el següent model d'Anthropic abans del llançament. Vigilar des de fora és la idea correcta. Aquesta setmana és un compromís que s'anuncia, encara no un sistema que ja funcioni de manera fiable.
Límits honestos
L'escenari de prendre el control d'internet parla dels models punters més recents i més grans, treballant en eixam, en tasques obertes, amb accés ampli a internet. Gairebé cap petit negoci crea cap d'aquestes condicions, i res d'això vol dir que els agents d'IA en general siguin perillosos a aquesta escala.
Però que una cosa no sigui "a escala d'internet" no vol dir que sigui inofensiva. Una eina d'IA connectada al teu correu real o a la teva carpeta compartida, sense cap límit en allò que pot tocar i sense que ningú comprovi el que fa de veritat, pot seguir causant un embolic petit però molt real: un correu enviat en el teu nom, un client citat dues vegades a la mateixa hora, un preu equivocat promès per escrit a algú. La lliçó de l'assaig d'Amodei s'aplica igual en petit. Limita el que l'eina pot tocar, i assegura't que algú diferent de la pròpia eina comprovi el que fa. Això val tant si la IA en qüestió podria amenaçar teòricament internet com si només pot espatllar-te un dimarts.
Què fer de veritat aquesta setmana
Tria l'única eina d'IA de la qual el teu negoci depèn de veritat i respon amb sinceritat a dues preguntes. Què pot tocar més enllà de la tasca concreta que li vas donar? I algú diferent de la pròpia eina, o de l'empresa que te la va vendre, veu mai el que ha fet realment? Si no pots respondre a totes dues sense endevinar, aquesta és la teva tasca real d'aquesta setmana. A Ausavia, cada agent que construïm informa al client per al qual treballa, no només a nosaltres, exactament per aquest motiu: la comprovació ha de venir d'algú diferent de qui va construir l'eina, sigui quina sigui l'escala.