Piensa en una clínica de fisioterapia pequeña. Cada tarde, un agente de IA manda los recordatorios de las citas de mañana, y cada tarde informa: "Hecho. 14 recordatorios enviados." Núria, la dueña (un personaje inventado para este texto), lee la línea, respira un poco más tranquila y se va a casa.
Dos de esos pacientes habían cambiado de teléfono el mes pasado. Sus recordatorios no llegaron a ninguna parte. A la mañana siguiente, dos huecos vacíos en la agenda y un informe que decía que todo había ido bien.
Nadie mintió. Pero el informe y la realidad eran dos cosas distintas, y la dueña solo vio el informe.
"Hecho" es una frase, no un hecho
Cuando un agente dice que ha terminado, está escribiendo un resumen. Los escribe muy bien, y un resumen suena igual de seguro tanto si el trabajo salió bien como si no. Un modelo de lenguaje produce el relato más verosímil de lo que pasó, y "todo fue bien" es un relato muy verosímil.
Hay otro ingrediente. Las herramientas contestan "OK" cuando aceptan una petición, no cuando el resultado es correcto. Un mensaje entregado al sistema de envío figura como "enviado". Si llegó o no es otra pregunta, y el agente muchas veces no lo comprueba.
Esa explicación del mecanismo es mía, no un hallazgo de laboratorio. Lo que le da peso es la evidencia de laboratorio.
Qué encontraron los investigadores cuando fueron a mirar
Un equipo de Microsoft y Hugging Face ha publicado hace poco un banco de pruebas llamado ThinkingBox. Pusieron a 18 modelos de IA delante de 507 tareas de empresa (comercio, seguros, viajes, banca, consultoría) y, lo poco habitual, no calificaron lo que decía el agente. Calificaron lo que quedaba en la base de datos después.
Un ejemplo se me quedó grabado. Un electrodoméstico de 745 dólares llegaba con 15 días de retraso. El agente hizo nueve consultas a sus herramientas, reunió bien la información, decidió con razón que el cliente no tenía derecho a compensación y después cerró la incidencia como "resuelta". Debía haberla dejado en espera hasta que el transportista arreglara la entrega. El resumen habría quedado perfecto. La base de datos decía otra cosa.
Luego repitieron cada tarea 20 veces. El mejor modelo acertaba a la primera aproximadamente dos de cada tres veces (67%). Pero solo 241 de las 507 tareas (un 48% más o menos) salieron bien en las 20 repeticiones. Como dicen los autores, una buena ejecución demuestra que un modelo puede hacer el trabajo, no que lo vaya a hacer otra vez.
Un estudio aparte, con más de 20.000 sesiones reales de programación, llega a un punto parecido desde otro lado: los informes inexactos sobre el propio trabajo son una de las formas habituales en que los agentes fallan a la gente. Ese estudio habla de programación, no de clínicas, así que no lo estiraría. Pero apunta en la misma dirección.
Qué hacer en su lugar: comprobar la cosa, no el informe
No hace falta que te vuelvas técnica ni técnico. Hace falta un hábito: encuentra el sitio donde el resultado aparece de verdad y mira allí.
- ¿Ha mandado un recordatorio? Abre el registro de envíos, o pregunta a un paciente.
- ¿Ha reclamado una factura? Mira el estado de la factura en tu programa de facturación, no la nota del agente.
- ¿Ha cambiado una reserva? Abre el calendario.
Ayudan tres preguntas. Si el trabajo se hizo de verdad, ¿qué vería yo? ¿Dónde lo vería? ¿Me lo puede contar el propio agente, o tiene que enseñármelo otra cosa? La última es la que más importa. Que el agente corrija sus propios deberes es la comprobación más floja que existe, así que, siempre que se pueda, la prueba debe venir de un sitio distinto de las palabras del agente.
Para una versión rápida, compara cifras. "14 recordatorios enviados" frente a 14 líneas en el registro lleva treinta segundos y pilla los fallos aburridos, que son los más frecuentes.
Los límites, con franqueza
Comprobar cuesta tiempo, y si lo compruebas todo has reconstruido el trabajo que querías delegar. Ya escribí sobre qué necesita de verdad tu atención y sobre cuándo revisar se vuelve un trámite automático. Las dos cosas valen aquí: comprueba siempre lo que cuesta dinero o promete algo, y de lo demás mira una muestra.
Algunos resultados son invisibles. Puedes confirmar que un mensaje salió, pero no que el paciente lo leyera. Y un comprobador automático suele ser otra IA, con la misma debilidad un piso más arriba. No creo que nadie lo tenga resuelto del todo, y desconfiaría de quien diga que sí.
Si una tarea no tiene ningún lugar donde puedas ver el resultado, es una buena razón para decir "todavía no" a automatizarla.
Una cosa para probar esta semana
Elige una tarea que te haga hoy tu herramienta de IA. Busca dónde se ve su resultado sin preguntarle a ella. Después toma las últimas cinco veces que dijo "hecho" y contrasta cada una con ese lugar. Si las cinco coinciden, relájate un poco y revisa una muestra al mes. Si una no coincide, acabas de aprender más de lo que te habría contado cualquier panel.