Imagina que tienes un restaurante familiar y configuras un asistente de IA para contestar las reservas por WhatsApp. En la casilla de ajustes escribes tus normas: "Nunca aceptes mesas de más de ocho personas. Nunca ofrezcas descuentos." Lo pruebas dos veces. Se porta bien. Te vas a casa tranquilo.
Entonces un cliente escribe, con educación y bastante extensión. Es el 70 cumpleaños de su madre, son doce, y seguro que un sitio tan bonito como el tuyo puede hacer una excepción. El asistente dice que sí. Y encima añade un postre de regalo.
Nadie ha hackeado nada. Esa norma nunca fue una norma. Era un ruego.
Lo que escribes es una petición, no un candado
Un modelo de IA no busca tu instrucción en un reglamento para obedecerla. Lee todo lo que tiene delante (tu norma, el mensaje del cliente, el historial de reservas) y escribe las palabras que mejor encajan a continuación. Tu "nunca" es un texto más en el montón. Casi siempre gana. No siempre.
Y pasa incluso con los laboratorios más grandes. Esta semana, Arthur Holland Michel escribía en MIT Technology Review sobre cómo las empresas entrenan a los modelos para rechazar peticiones dañinas. La negativa se enseña con premios y penalizaciones, y él la describe como probabilística: a veces falla. Un investigador de Harvard al que cita comprobó que los chatbots principales solían rechazar preguntas de riesgo repetidas, pero no siempre. Paul Röttger, antiguo evaluador de OpenAI, vio cómo un modelo producía algo que debería haber rechazado y, meses después y tras más entrenamiento, rechazaba una petición parecida. Uno de los investigadores que estudia el funcionamiento interno dice que el mecanismo sigue siendo en parte una hipótesis. El artículo cuenta también que unos investigadores italianos esquivaron las protecciones de dos docenas de modelos usando poesía.
Esas empresas tienen equipos enteros dedicados a decir "no". Una norma escrita en una herramienta para pequeños negocios cuenta con bastante menos.
Por qué el mensaje de un cliente puede funcionar como una orden
Hay un segundo problema, que el Centro Nacional de Ciberseguridad del Reino Unido (NCSC) explicó con claridad en una entrada de diciembre de 2025 (en inglés). Los modelos de lenguaje actuales no tienen una frontera real entre instrucciones y datos. Tu norma es una instrucción. El mensaje de un cliente son datos. Pero el modelo lee las dos cosas como texto, así que un mensaje que suene a instrucción puede acabar obedeciéndose.
El NCSC dice que este tipo de ataque, la inyección de instrucciones (prompt injection), quizá nunca se resuelva del todo, y que el objetivo debe ser reducir su probabilidad y su daño. Advierte también contra los trucos como bloquear frases del tipo "ignora las instrucciones anteriores", porque se pueden reformular sin fin.
En el restaurante, eso significa que cada mensaje, reseña y correo que lee el asistente es texto de un desconocido que podría convencerlo de algo.
Pon el límite donde el modelo no pueda discutirlo
El consejo práctico del NCSC es usar salvaguardas de software corriente, no de IA, para limitar lo que el sistema puede hacer. Y recoge un principio del desarrollador Simon Willison: cuando un modelo procesa algo de un tercero, sus privilegios bajan a los de ese tercero. Un asistente que lee correos de fuera no debería tener herramientas potentes.
En el restaurante, se traduce así:
- El propio sistema de reservas solo admite grupos de hasta ocho. Para doce, el asistente solo puede mandarte una "solicitud de grupo" con los datos.
- El asistente no tiene acceso a la caja ni a ningún ajuste de descuentos. No puede dar lo que no alcanza.
- Todo lo que se salga de lo normal te llega como una aprobación de un toque, antes de que el cliente oiga el sí.
Conserva también la norma escrita. Sirve para que el asistente sea amable y explique qué pasa después. Pero el "nunca" ya vive en el software, donde ningún encanto lo alcanza.
Dónde esto no sirve
No toda norma se puede convertir en candado. "No prometas plazos que no puedas cumplir" o "sé amable con quien viene enfadado" son cuestión de criterio, y ningún ajuste las hace cumplir. Para esas, lee cada semana una muestra de las conversaciones, incluidas aquellas en las que el asistente dijo que no. El artículo de MIT es claro también en que los modelos rechazan de más, y descartan peticiones inofensivas, así que un buen cliente puede quedarse sin respuesta sin motivo.
Además, los candados reducen el riesgo, no lo borran. Y aquí no he probado ningún producto concreto. Cuando un proveedor te diga que su IA "nunca" hará algo, pregunta qué lo garantiza. Si la respuesta es "la instrucción", ya tienes la respuesta.
Si te interesa saber dónde recae el peso legal cuando un agente actúa sin que nadie mire, lo conté en ¿Es legal dejar que una IA actúe sin que tú lo compruebes?. Y sobre el acceso en sí, ¿Deberías darle una llave de tu negocio a tu agente de IA? va más a fondo.
Una cosa para esta semana
Elige la norma que más te molestaría ver rota. Y pregúntate: si mañana la IA la ignorara, ¿qué se lo impediría? Si la respuesta sincera es "la instrucción que escribí", traslada el límite a un ajuste, un permiso o un paso de aprobación. Así dejas de confiar a ciegas.