Imagina que tens un restaurant familiar i configures un assistent d'IA per contestar les reserves per WhatsApp. A la casella d'ajustos escrius les teves normes: "No acceptis mai taules de més de vuit persones. No ofereixis mai descomptes." El proves dues vegades. Es porta bé. Te'n vas a casa tranquil.
Aleshores un client escriu, amb educació i força extensió. És el 70è aniversari de la seva mare, són dotze, i segur que un lloc tan bonic com el teu pot fer una excepció. L'assistent diu que sí. I a sobre hi afegeix una postra de regal.
Ningú no ha piratejat res. Aquella norma mai no va ser una norma. Era una súplica.
El que escrius és una petició, no un cadenat
Un model d'IA no busca la teva instrucció en un reglament per obeir-la. Llegeix tot el que té al davant (la teva norma, el missatge del client, l'historial de reserves) i escriu les paraules que millor encaixen a continuació. El teu "mai" és un text més dins el munt. Gairebé sempre guanya. No sempre.
I passa fins i tot amb els laboratoris més grans. Aquesta setmana, Arthur Holland Michel escrivia a MIT Technology Review sobre com les empreses entrenen els models perquè rebutgin peticions nocives. La negativa s'ensenya amb premis i penalitzacions, i ell la descriu com a probabilística: de vegades falla. Un investigador de Harvard que cita va comprovar que els xatbots principals solien rebutjar preguntes de risc repetides, però no sempre. Paul Röttger, antic avaluador d'OpenAI, va veure com un model produïa alguna cosa que hauria d'haver rebutjat i, mesos després i amb més entrenament, rebutjava una petició semblant. Un dels investigadors que estudia el funcionament intern diu que el mecanisme continua sent en part una hipòtesi. L'article explica també que uns investigadors italians van esquivar les proteccions de dues dotzenes de models fent servir poesia.
Aquestes empreses tenen equips sencers dedicats a dir "no". Una norma escrita en una eina per a petits negocis en té molt menys a favor.
Per què el missatge d'un client pot funcionar com una ordre
Hi ha un segon problema, que el Centre Nacional de Ciberseguretat del Regne Unit (NCSC) va explicar amb claredat en una entrada de desembre de 2025 (en anglès). Els models de llenguatge actuals no tenen una frontera real entre instruccions i dades. La teva norma és una instrucció. El missatge d'un client són dades. Però el model llegeix les dues coses com a text, de manera que un missatge que soni a instrucció pot acabar obeint-se.
L'NCSC diu que aquest tipus d'atac, la injecció d'instruccions (prompt injection), potser no es resoldrà mai del tot, i que l'objectiu ha de ser reduir-ne la probabilitat i el dany. Adverteix també contra trucs com bloquejar frases del tipus "ignora les instruccions anteriors", perquè es poden reformular sense fi.
Al restaurant, això vol dir que cada missatge, ressenya i correu que llegeix l'assistent és text d'un desconegut que podria convèncer-lo d'alguna cosa.
Posa el límit allà on el model no el pugui discutir
El consell pràctic de l'NCSC és fer servir salvaguardes de programari corrent, no d'IA, per limitar el que el sistema pot fer. I recull un principi del desenvolupador Simon Willison: quan un model processa alguna cosa d'un tercer, els seus privilegis baixen als d'aquest tercer. Un assistent que llegeix correus de fora no hauria de tenir eines potents.
Al restaurant, es tradueix així:
- El mateix sistema de reserves només admet grups de fins a vuit. Per a dotze, l'assistent només et pot enviar una "sol·licitud de grup" amb les dades.
- L'assistent no té accés a la caixa ni a cap ajust de descomptes. No pot donar el que no pot abastar.
- Tot el que surti del normal t'arriba com una aprovació d'un toc, abans que el client senti el sí.
Conserva també la norma escrita. Serveix perquè l'assistent sigui amable i expliqui què passa després. Però el "mai" ja viu al programari, on cap encant no l'arriba.
On això no serveix
No tota norma es pot convertir en cadenat. "No prometis terminis que no puguis complir" o "sigues amable amb qui ve enfadat" són qüestió de criteri, i cap ajust no les fa complir. Per a aquestes, llegeix cada setmana una mostra de les converses, incloses aquelles en què l'assistent va dir que no. L'article de MIT és clar també que els models rebutgen de més, i descarten peticions innocents, de manera que un bon client es pot quedar sense resposta sense motiu.
A més, els cadenats redueixen el risc, no l'esborren. I aquí no he provat cap producte concret. Quan un proveïdor et digui que la seva IA "mai" farà alguna cosa, pregunta què ho garanteix. Si la resposta és "la instrucció", ja tens la resposta.
Si t'interessa saber on recau el pes legal quan un agent actua sense que ningú miri, ho vaig explicar a És legal deixar que una IA actuï sense que tu ho comprovis?. I sobre l'accés en si, Hauries de donar una clau del teu negoci al teu agent d'IA? hi va més a fons.
Una cosa per a aquesta setmana
Tria la norma que més t'empiparia veure trencada. I pregunta't: si demà la IA l'ignorés, què l'aturaria? Si la resposta sincera és "la instrucció que vaig escriure", trasllada el límit a un ajust, un permís o un pas d'aprovació. Així deixes de confiar-hi a cegues.