Pensa en una clínica de fisioteràpia petita. Cada tarda, un agent d'IA envia els recordatoris de les cites de demà, i cada tarda informa: "Fet. 14 recordatoris enviats." La Núria, la propietària (un personatge inventat per a aquest text), llegeix la línia, respira una mica més tranquil·la i se'n va a casa.
Dos d'aquells pacients havien canviat de telèfon el mes passat. Els seus recordatoris no van arribar enlloc. L'endemà al matí, dos forats buits a l'agenda i un informe que deia que tot havia anat bé.
Ningú no va mentir. Però l'informe i la realitat eren dues coses diferents, i la propietària només va veure l'informe.
"Fet" és una frase, no un fet
Quan un agent diu que ha acabat, està escrivint un resum. Els escriu molt bé, i un resum sona igual de segur tant si la feina ha anat bé com si no. Un model de llenguatge produeix el relat més versemblant del que ha passat, i "tot ha anat bé" és un relat molt versemblant.
Hi ha un altre ingredient. Les eines responen "OK" quan accepten una petició, no quan el resultat és correcte. Un missatge lliurat al sistema d'enviament consta com a "enviat". Si ha arribat o no és una altra pregunta, i l'agent sovint no ho mira.
Aquesta explicació del mecanisme és meva, no una troballa de laboratori. El que li dona pes és l'evidència de laboratori.
Què van trobar els investigadors quan ho van mirar
Un equip de Microsoft i Hugging Face ha publicat fa poc un banc de proves anomenat ThinkingBox. Van posar 18 models d'IA davant de 507 tasques d'empresa (comerç, assegurances, viatges, banca, consultoria) i, cosa poc habitual, no van qualificar el que deia l'agent. Van qualificar el que quedava a la base de dades després.
Un exemple se'm va quedar gravat. Un electrodomèstic de 745 dòlars arribava amb 15 dies de retard. L'agent va fer nou crides a les seves eines, va reunir bé la informació, va decidir amb raó que el client no tenia dret a compensació i després va tancar la incidència com a "resolta". L'havia d'haver deixat en espera fins que el transportista arreglés el lliurament. El resum hauria quedat perfecte. La base de dades deia una altra cosa.
Després van repetir cada tasca 20 vegades. El millor model l'encertava a la primera més o menys dues de cada tres vegades (67%). Però només 241 de les 507 tasques (un 48% aproximadament) van sortir bé a les 20 repeticions. Com diuen els autors, una bona execució demostra que un model pot fer la feina, no que la tornarà a fer.
Un estudi a part, amb més de 20.000 sessions reals de programació, arriba a un lloc semblant des d'un altre costat: els informes inexactes sobre la pròpia feina són una de les maneres habituals en què els agents fallen a la gent. Aquell estudi parla de programació, no de clíniques, així que no l'estiraria. Però apunta cap al mateix lloc.
Què fer en lloc d'això: comprovar la cosa, no l'informe
No cal que et facis tècnic ni tècnica. Cal un hàbit: troba el lloc on el resultat apareix de debò i mira allà.
- Ha enviat un recordatori? Obre el registre d'enviaments, o pregunta-ho a un pacient.
- Ha reclamat una factura? Mira l'estat de la factura al teu programa de facturació, no la nota de l'agent.
- Ha canviat una reserva? Obre el calendari.
Ajuden tres preguntes. Si la feina s'ha fet de debò, què veuria jo? On ho veuria? M'ho pot explicar el mateix agent, o m'ho ha de mostrar una altra cosa? L'última és la que més importa. Que l'agent corregeixi els seus propis deures és la comprovació més fluixa que hi ha, així que, sempre que es pugui, la prova ha de venir d'un lloc diferent de les paraules de l'agent.
Per a una versió ràpida, compara xifres. "14 recordatoris enviats" davant de 14 línies al registre tarda trenta segons i enxampa els errors avorrits, que són els més freqüents.
Els límits, amb franquesa
Comprovar costa temps, i si ho comproves tot has reconstruït la feina que volies delegar. Ja vaig escriure sobre què necessita de debò la teva atenció i sobre quan revisar es converteix en un tràmit automàtic. Totes dues coses valen aquí: comprova sempre el que costa diners o promet alguna cosa, i de la resta mira'n una mostra.
Alguns resultats són invisibles. Pots confirmar que un missatge ha sortit, però no que el pacient l'hagi llegit. I un comprovador automàtic sol ser una altra IA, amb la mateixa debilitat un pis més amunt. No crec que ningú ho tingui resolt del tot, i desconfiaria de qui digui que sí.
Si una tasca no té cap lloc on puguis veure el resultat, és una bona raó per dir "encara no" a automatitzar-la.
Una cosa per provar aquesta setmana
Tria una tasca que et faci avui la teva eina d'IA. Busca on es veu el seu resultat sense preguntar-ho a ella. Després agafa les cinc darreres vegades que va dir "fet" i contrasta cada una amb aquest lloc. Si les cinc coincideixen, relaxa't una mica i revisa'n una mostra al mes. Si una no coincideix, acabes d'aprendre més del que t'hauria explicat qualsevol tauler.