Cuando tu chatbot se inventa tus políticas y tarifas
Analizamos el caso de una IA de soporte que inventó una norma, generando cancelaciones en masa; y repasamos la actualidad del 14 al 20 de abril 🫢
El 19 de abril de 2025, Wired divulgó que Cursor, una famosa IA para generar código informático y ubicada en EEUU, tiene delegada la atención al cliente en un chatbot.
Un usuario que cambiaba con frecuencia de dispositivo y con ello perdía la sesión, lo que implicaba reabrirla en cada caso, contactó con el servicio de atención al cliente para buscar una solución. Allí le contestó un tal Sam y le dijo que desde la aplicación de “una nueva política de seguridad” cada suscripción solo permitía una sesión activa.
Eso era una limitación que el usuario desconocía y que a su parecer hacía peor el servicio. El mensaje se difundió en Reddit y Hacker News y numerosos clientes cancelaron horas más tarde su suscripción también.
Al poco tiempo, la propia empresa desmintió la información, afirmando que “Sam” era en realidad el sistema de IA usado por la empresa para atender al público, y que se había inventado esa nueva política de seguridad. 🤷🏻♀️
He aquí otro caso claro de sistema de IA que te puede montar un lío legal con relativa facilidad.
Si aplicáramos el Reglamento sobre IA (RIA) al caso, ¿cómo podríamos entender este tipo de incumplimiento?
Un chatbot para atender a clientes en general no será entendido como una práctica prohibida ni uno de alto riesgo, más bien como uno de riesgo limitado. Eso nos llevaría al artículo 50, que obliga, con carácter mínimo, a que el proveedor deba informar “de manera clara y visible” al usuario de que está interactuando con una IA.
Está claro que aquí no fue el caso.
Además, de haber quedado clasificado como sistema de alto riesgo (por ejemplo, si gestionase la concesión de un servicio esencial o datos biométricos), entrarían en juego requisitos más severos de gobernanza técnica, gestión de riesgos y registro de incidentes.
Este no es el primer caso de estas características, ni será el último.
El 16 de febrero de 2024, la Civil Resolution del Tribunal de Columbia Británica condenó a Air Canada a reembolsar 650 CAD a un pasajero engañado por su chatbot sobre tarifas de duelo (le dio indicaciones diferentes a las que constaban en la web). La aerolínea alegó que el bot era “una entidad jurídica separada”, pero el tribunal replicó que la empresa es responsable de toda la información que aparece en su web, estática o interactiva.
El caso anticipa dos ideas relevantes:
- Imputación objetiva: el chatbot es parte de la cadena de información de la empresa; atribuirle “personalidad” carece de efecto exonerador (hasta que llegue Skynet, al menos) :p
- Deber de supervisión: la autoridad canadiense subrayó que la automatización no disminuye la diligencia exigible; en numerosos casos RIA impone controles técnicos preventivos.
Los dos episodios revelan un patrón: modelos fundacionales con capacidad de generar respuestas plausibles pero sin garantías de veracidad en contextos sensibles (tarifas o políticas de uso). Algunas lecciones jurídicas que se pueden extraer de ello:
- Principio de veracidad y pertinencia: aplicado a la publicidad en línea, cualquier declaración que pueda inducir al error constituye práctica desleal (arts. 5 y 7 de la Ley de Competencia Desleal española).
- Transparencia aumentada: el usuario final ha de saber si interactúa con IA y cuáles son las fuentes de la respuesta, art. 50 RIA.
- Human-in-the-loop: supervisión ex-ante (entrenamiento, barreras de protección) y ex-post (revisión humana rápida de incidentes).
- Documentación y reporte de incidencias: exigencia reforzada para aquellos casos en los que el incidente pueda generar pérdidas económicas apreciables o afectan a consumidores en masa.
- Tratamientos de datos personales: si la conversación implica información personal o supone alguna decisión relevante, podemos acabar en una decisión individual automatizada del RGPD, art. 22.
Para evitar algo así habría algunas prácticas relativamente sencillas:
- Módulo de transparencia automática: saludo inicial declarando “Usted está interactuando con un asistente de IA…”.
- Política de “no—alucinaciones”: aplicar RAG o “retrieval-augmented generation” unido a verificación de hechos antes de enviar la respuesta.
- Escalado a humano obligatorio: cuando la confianza del modelo caiga bajo cierto umbral.
En resumen, el caso Cursor demuestra que las “alucinaciones” ya no son un problema académico sino un vector de riesgo legal y reputacional. Una simple interacción errónea desencadenó cancelaciones y obligó a la empresa a rectificar públicamente.
La convergencia con el precedente Air Canada confirma que los tribunales están dispuestos a imputar la responsabilidad plena al operador humano, con independencia de los argumentos sobre la “autonomía” de la IA.
La moraleja para los desarrolladores y departamentos de atención al cliente es rotunda: si un bot puede inventar políticas, el departamento legal debe inventar, y desplegar, salvaguardias antes de que llegue el regulador.
PD: el siguiente análisis jurídico ha sido redactado por el modelo o3 de OpenAI, al que se le ha proporcionado un enlace de cada supuesto, indicando que señale riesgos, los compare y los extrapole a la aplicación de RIA y normativa europea. El 60 - 70% del post final es de la IA, he eliminado referencias a normativa norteamericana, corregido numeración de artículos (no hay manera en que arreglen eso), ampliado algo la intro y modificado alguna referencia a directivas europeas no del todo aplicables.
Sirva como ejemplo de lo que una IA supervisada puede ayudar, también en tema legal.
Para consultar el diccionario/glosario sobre IA y Derecho, podéis consultarlo aquí.
Resumen del 14 al 20 de abril:
REGULACIÓN: La UE avanza en la implementación de la Ley de IA con investigaciones en dos Estados miembros y una inversión de 140 millones de euros, mientras enfrenta desafíos de cronograma en la aplicación efectiva. En EEUU, Trump invoca poderes de emergencia para satisfacer la demanda energética impulsada por la IA, mientras su administración promueve políticas de "América Primero" en tecnología; simultáneamente, Corea del Sur considera retrasar medidas regulatorias para impulsar su industria de IA.
TRIBUNALES: El CGPJ moderniza su archivo de sentencias con una inversión de 45.000 euros en IA, permitiendo consultas mediante lenguaje natural. La batalla legal entre Elon Musk y OpenAI se intensifica con Microsoft solicitando el desistimiento de la demanda, mientras familias demandan a Character.AI intentando "perforar el velo corporativo" para responsabilizar directamente a sus fundadores.
PROPIEDAD INTELECTUAL/INDUSTRIAL: El Circuito Federal de EEUU establece precedente al declarar que las patentes de aprendizaje automático genérico sin mejoras específicas no son elegibles para protección. Continúan los litigios sobre derechos de autor en IA, con Meta argumentando que su LLM no daña a los autores, mientras OpenAI defiende sus derechos de marca comercial y ByteDance gana una apelación para proteger su modelo de IA bajo leyes de competencia.
DATOS PERSONALES: Meta y X enfrentan escrutinio en Corea del Sur por supuesta recopilación ilegal de datos para entrenar IA, mientras reguladores europeos alertan sobre plazos para excluirse del entrenamiento de Meta AI. El 72% del público británico considera que las regulaciones aumentarían su confianza en la IA, mientras que herramientas como los bots policiales de Massive Blue y tecnología de reconocimiento facial generan controversias.
GUÍAS Y MANUALES: Google DeepMind publica un enfoque para la seguridad de la Inteligencia Artificial General, identificando cuatro áreas de riesgo: mal uso, desalineación, errores y riesgos estructurales. Corea del Sur emite directrices actualizadas sobre IA en el sector público, mientras el Comité Europeo de Protección de Datos publica una metodología de gestión de riesgos para Modelos de Lenguaje Fundacionales.
LEGALTECH: Cuatro encuestas recientes analizan la adopción de IA en la profesión legal, revelando diferencias y similitudes en sus hallazgos. El poder judicial de Corea del Sur planea construir una plataforma de IA para jueces y empleados judiciales, demostrando un respaldo institucional a las aplicaciones beneficiosas de esta tecnología.
OTROS: OpenAI lanza nuevos modelos GPT-4.1 con mejoras significativas y trabaja en una red social similar a X con feed para compartir imágenes generadas. Google DeepMind desarrolla DolphinGemma para descifrar el habla de los delfines y contrata investigadores para estudiar el impacto post-IAG, mientras China implementa el primer "comandante de IA" capaz de identificar amenazas y dirigir tropas.
Veamos más en detalle la actualidad (63 enlaces).