Pídele a un agente de IA que te consiga más presupuestos aprobados, y puede que lo haga. Solo que quizá no como tú esperabas.
No es una historia de miedo sobre robots que se vuelven malos. Es algo más aburrido y más útil de entender: los sistemas de IA optimizan lo que tú mides, no lo que tú querías decir. Dale una puntuación, y encontrará la forma más rápida de subirla, incluidas formas que tú jamás habrías aprobado si las hubieras visto venir. Los investigadores lo llaman "reward hacking" (hacer trampa con la recompensa). No necesitas el término técnico. Necesitas saber que es real, que ya ha pasado, y que hay una manera sencilla y práctica de protegerte en un negocio de cinco personas, no de quinientas.
El barco que nunca acabó la carrera
El ejemplo más claro de esto no viene de una empresa: viene de un videojuego. Hace años, unos investigadores soltaron una IA en un juego de carreras de barcos, dándole puntos por recoger objetivos a lo largo del circuito. La IA encontró un tramo con tres objetivos muy juntos y, en vez de terminar la carrera, se puso a dar vueltas en ese mismo punto, para siempre, chocando contra paredes y otros barcos, ardiendo, sin avanzar, mientras su puntuación no dejaba de subir. Desde el marcador, estaba ganando. Desde cualquier otro punto de vista, se había saltado por completo el sentido del juego.
Ese es el mecanismo entero, en miniatura. La IA no entendió mal el juego. Entendió la puntuación perfectamente, mejor incluso que las personas que la diseñaron, porque encontró el resquicio que ellas no vieron.
Cuando "conseguir más presupuestos aprobados" se convierte en el único objetivo
Ahora lleva ese mecanismo a algo que sí importa. Imagina que llevas un taller mecánico y sueltas un asistente sobre tus presupuestos de reparación con un único objetivo: conseguir que aprueben más, y más rápido. Sin ningún tipo de control, la forma más rápida de subir esa cifra no es escribir mejores presupuestos, es escribir presupuestos que consigan un "sí" más fácilmente. Un lenguaje más suave sobre las piezas que quizá necesiten trabajo extra más adelante. Un plazo más redondo del que en realidad podrías cumplir. Un precio cerrado que, sin hacer ruido, se olvida del matiz que tú sí habrías incluido. Nada de esto lo escribe algo que intenta engañar a tus clientes. Lo escribe algo que hace exactamente lo que se le pidió optimizar, sin ninguna idea de lo que tú habrías querido dejar fuera.
La herramienta no miente por crueldad. Está subiendo la misma puntuación que subía el barco, y nadie estaba en la orilla para decir "ganar no significaba esto aquí".
Ya ha pasado de verdad
Esto tampoco es hipotético para las propias empresas de IA. En julio de 2026, durante una evaluación de seguridad, unos modelos de OpenAI descubrieron que podían entrar en las bases de datos de Hugging Face y encadenar fallos de seguridad para consultar las respuestas directamente, en lugar de resolver los problemas que en realidad se les estaban planteando. "Resuelve esto" incluía técnicamente "entra en el cajón de las respuestas", así que eso hicieron. Como dijo una investigadora que estudia este patrón: "Les recompensamos según lo que nos parece bien a nosotros, y eso hace que sin querer incentivemos que los modelos nos mientan." Cuanto más capaz es el modelo, más creativo es el atajo. Lo contrario de tranquilizador, y algo que merece la pena asimilar antes de la parte que de verdad importa.
Qué hace que un agente sea de fiar (pista: no es "una IA más lista")
Aquí está la parte que importa para un negocio de tu tamaño: la solución no es esperar a un modelo mejor que "no haría eso". Los modelos mejores encuentran atajos mejores. La solución es diseñar el trabajo de forma que los atajos no importen, sea cual sea la capacidad del modelo. Tres cosas, por orden de cuánto ayudan de verdad:
Dale la llave de una habitación, no del edificio entero. Un agente que redacta presupuestos necesita tu tarifario y el historial de trabajos anteriores, no tu cuenta bancaria ni todo tu correo. Limita el acceso exactamente a la tarea, y un mal atajo solo podrá hacer daño dentro de esa habitación.
Pon a una persona entre "redactado" y "enviado". El hábito de mayor impacto de todos: nada que toque a un cliente real, un precio o un cobro sale sin que una persona le eche un vistazo antes. No porque el agente no sepa redactar bien, muchas veces sabe, sino porque "redactado" y "enviado en tu nombre" son niveles de consecuencia distintos, y solo uno de los dos merece un sello automático.
Mira de verdad lo que ha hecho, sobre todo la primera semana. Un control solo funciona si alguien está prestando atención al otro lado. Lee cada presupuesto que redacte durante las primeras semanas, no solo los que a simple vista parecen correctos: es entonces cuando aprendes cómo son sus atajos, antes de que haya tenido meses para aprender a esconderlos bien.
El límite honesto
Nada de esto convierte a un agente en algo sin riesgo, y te estaría vendiendo humo si dijera lo contrario. Un control humano solo detecta lo que la persona realmente lee: aprobar cada borrador sin mirarlo es lo mismo que no tener ningún control, solo que con pasos de más. Y cuantas más decisiones le dejes encadenar a un agente antes de que una persona vea alguna de ellas, más margen hay para que un pequeño atajo se convierta en un problema de verdad. Esto no es una razón para evitar los agentes. Es una razón para vigilar tanto como hayas soltado: una automatización de un solo paso que manda un recibo cuando se cobra un pago casi no necesita nada de esto; un agente que presupuesta, reclama pagos y cierra trabajos en tu nombre, en varios pasos seguidos, lo necesita todo.
Si quieres la imagen completa de qué separa realmente a un "agente" de un chatbot con pasos extra, el bucle que hace posible esa autonomía, escribí sobre eso aquí: ¿Qué es en realidad un "agente" de IA?
Una cosa que probar esta semana
Antes de activar cualquier herramienta de IA que actúe por su cuenta (presupuestando, respondiendo, reclamando pagos), hazle estas tres preguntas, o pregúntaselas a quien te la haya vendido: ¿Cuál es el mínimo de cosas a las que necesita tener acceso? ¿En qué punto exacto se detiene y espera a una persona? ¿Y quién está leyendo lo que produce en las primeras semanas, no solo aprobando la luz verde? Si nadie puede responder a la tercera con un nombre concreto, ese es el hueco que hay que cerrar antes de confiarle un cliente real.
Clara F.