Las deficiencias en la gestión de la IA en la práctica jurídica pueden exponer a los directores jurídicos a citas erróneas, errores contractuales, brechas de confidencialidad y riesgos de incumplimiento normativo. Esta guía describe los controles que necesitan los equipos jurídicos, entre los que se incluyen la verificación de fuentes, la validación humana, la protección de datos y una arquitectura de IA específica para el ámbito jurídico.
…
Los fallos de gobernanza de la IA se producen cuando las organizaciones implementan la inteligencia artificial sin las estructuras de supervisión, los marcos de rendición de cuentas ni los controles de verificación necesarios para detectar y prevenir resultados perjudiciales. El fallo suele comenzar cuando una organización implementa la IA sin asignar la responsabilidad por los errores.
En la práctica jurídica, las deficiencias de gobernanza de la IA pueden adoptar diversas formas:
- Hechos inventados y citas falsas. La IA genera información que parece verosímil y que se presenta con seguridad, pero que es totalmente falsa.
- Resultados sesgados o discriminatorios. El modelo reproduce a gran escala los sesgos presentes en sus datos de entrenamiento
- Divulgación de datos confidenciales: la información de los clientes introducida en herramientas de IA públicas llega a infraestructuras de terceros.
- Errores en los contratos y cláusulas omitidas. La revisión asistida por IA pasa por alto términos fundamentales, genera formulaciones que no son exigibles u omite disposiciones específicas del acuerdo.
- Infracciones de cumplimiento provocadas por la IA. El modelo interpreta erróneamente, clasifica incorrectamente o, sencillamente, ignora las obligaciones normativas.
Cada uno de ellos constituye un fallo de gobernanza que tiene su origen en la forma en que la organización implementa y supervisa la IA. Lo que está realmente en juego se entiende mejor cuando ese fallo aterriza en un departamento jurídico.
Ejemplo de un fallo de gobernanza
El escrito parecía sólido. Los argumentos estaban bien estructurados, la investigación era exhaustiva y las citas parecían fidedignas. El problema no salió a la luz hasta que la parte contraria realizó una comprobación rutinaria de la jurisprudencia. Tres de los casos citados no existían. Los había generado una herramienta de IA. Lo hizo con un formato lo suficientemente convincente como para pasar desapercibidos a primera vista. El tribunal impuso sanciones. La reputación del bufete sufrió un golpe que ningún resultado posterior pudo reparar.
No se trató de un fallo aislado. Puso de manifiesto una deficiencia en la gestión: no existía ningún proceso de verificación, estructura de rendición de cuentas ni política que exigiera una revisión humana antes de la presentación. Y se trata de una deficiencia que, desde entonces, ha afectado a cientos de profesionales del derecho en múltiples jurisdicciones. Y con consecuencias cada vez más graves año tras año.
Los fallos de gobernanza de la IA van más allá del ámbito jurídico
El sector jurídico no es el primero en descubrir el coste de una IA no regulada. Pero quizá sea el que más tiene que perder. En todos los sectores, las organizaciones ya han pagado un alto precio por implementar la IA sin los controles adecuados. Comprender lo que les ha sucedido resulta instructivo antes de analizar qué implica esto concretamente para la práctica jurídica.
Ejemplos
Un chatbot del servicio de atención al cliente de Air Canada facilitó información incorrecta sobre una tarifa por fallecimiento. Un tribunal canadiense consideró a la aerolínea responsable de la información engañosa facilitada por su chatbot. Esto a pesar de que la aerolínea alegó que su política publicada indicaba lo contrario. El fallo en la gestión fue evidente: no hubo revisión humana, ni validación de los resultados, ni cadena de responsabilidad.
Una empresa de consultoría presentó a un cliente gubernamental un informe generado por IA que contenía citas académicas inventadas. Posteriormente, la empresa accedió a realizar un reembolso parcial. El daño a su reputación fue más difícil de cuantificar. El error más común fue la falta de un proceso para verificar los resultados de la IA antes de publicarlo.
En ambos casos, fue la organización la que asumió las consecuencias, no la IA. Esa estructura de responsabilidad no cambia al pasar del servicio de atención al cliente o la consultoría al ámbito jurídico. Si acaso, se refuerza. Porque en el ámbito jurídico, el profesional responsable del trabajo también asume responsabilidad personal.
Fallos de gobernanza de la IA en la práctica jurídica
La profesión jurídica se enfrenta a las mismas deficiencias de gobernanza que cualquier otro sector. Lo que las hace más peligrosas en este caso es la capa de responsabilidad profesional que se suma a ellas. Los abogados tienen obligaciones éticas para con sus clientes y ante los tribunales. Los directores jurídicos pueden enfrentarse a responsabilidades de la organización y, en función de los hechos y la jurisdicción, a responsabilidades personales por las decisiones relacionadas con la IA. Cuando la IA opera sin una gobernanza adecuada en este contexto, las consecuencias rara vez se limitan a una simple situación embarazosa.
El caso que convirtió la gobernanza en un asunto judicial
En el caso Mata contra Avianca, un abogado de Nueva York utilizó ChatGPT para redactar un escrito judicial. No hubo ningún paso de verificación, ninguna política que obligara al abogado a confirmar las fuentes ni ningún tipo de marco de control. Varias de las citas jurisprudenciales eran totalmente inventadas. El tribunal sancionó a los abogados implicados. Y el caso se convirtió en un punto de referencia en las directrices judiciales, los materiales del colegio de abogados y los debates sobre ética jurídica en múltiples jurisdicciones.
Lo que siguió no fue una llamada de atención. Fue una tendencia. Desde mediados de 2023, se han documentado más de 300 casos de «alucinaciones jurídicas» generadas por IA en distintos países. De los cuales al menos 200 se registraron en los primeros ocho meses de 2025, según el análisis citado. En las dos primeras semanas de agosto de 2025, tres tribunales federales distintos sancionaron a abogados por errores generados por la IA, entre ellos un letrado que utilizó una plataforma de investigación jurídica diseñada específicamente para este fin, en lugar de un chatbot genérico.
La IA no libera la tecnología de la responsabilidad
Ni siquiera las herramientas comercializadas específicamente para el ámbito jurídico se libran de ello. Diversos estudios han revelado que las herramientas de IA aplicadas al ámbito jurídico pueden generar información incorrecta o sin fundamento. Los sistemas basados en la generación aumentada por recuperación pueden seguir llegando a conclusiones jurídicas incorrectas o sin fundamento. Incluso cuando los proveedores los describen como «libres de alucinaciones».
El patrón es siempre el mismo: no fue la IA la que decidió actuar sin supervisión, sino la organización. Eso es lo que convierte estos casos en fallos de gobernanza de la IA. Y no simplemente en fallos de la IA.
Errores en los contratos: cuando nadie revisa el trabajo
Las alucinaciones en los escritos jurídicos acaparan la mayor parte de la atención. Pero es en la revisión de contratos donde los fallos en la gobernanza de la IA causan el daño más silencioso. Pensemos en un contrato con un proveedor de 120 páginas revisado bajo presión de tiempo. La IA identifica los riesgos principales y ofrece un resumen claro. Ningún proceso de gobernanza exige que una persona compruebe el resumen cotejándolo con el original. Se firma el contrato. Seis meses después, surge una disputa. Su equipo descubre que la cláusula de indemnización se clasificó erróneamente. Y que una limitación de responsabilidad fundamental no figuraba en absoluto en el resumen.
La revisión de contratos asistida por IA resulta realmente útil. Sin embargo, sin controles de gobernanza —en particular, la revisión humana de las cláusulas de alto riesgo—, genera errores que se acumulan con el tiempo. Firmar un contrato basándose en un resumen que no ha sido revisado crea una brecha de gobernanza.
La revisión de los contratos es un punto débil. Otro sería la confidencialidad, y sus riesgos pueden pasar desapercibidos hasta que se produzca el daño.
La confidencialidad de los clientes: la laguna en la gobernanza que nadie ve
Imagine una situación por la que quizá su equipo jurídico ya haya pasado. Un compañero pega un acuerdo de conciliación confidencial en una herramienta pública de IA generativa para obtener un resumen rápido. No existe ninguna política que lo prohíba, ni una lista de herramientas aprobadas, ni un marco de clasificación de datos que abarque las entradas de IA. La herramienta procesa el documento al instante. Dependiendo de los términos y la configuración de la herramienta, la entrada puede conservarse, revisarse o utilizarse para mejorar el servicio. Considere esto como una posible divulgación y confirme las condiciones de tratamiento de datos del proveedor.
Subir material privilegiado a un sistema de IA de terceros puede generar riesgos de renuncia a derechos, de confidencialidad o de protección de datos, dependiendo de la jurisdicción, las condiciones del proveedor y las medidas de seguridad establecidas. Una vez que la información confidencial sale del entorno controlado de su organización, es posible que esta ya no pueda determinar dónde se procesa ni quién puede acceder a ella. La pérdida de datos suele pasar desapercibida hasta que ya no es así.
Los riesgos relacionados con la confidencialidad y los contratos son graves. Pero existe una tercera categoría de fallos en la gobernanza de la IA que se desarrolla de forma más lenta y tiende a salir a la luz en el peor momento posible: el cumplimiento normativo.
Riesgo de cumplimiento normativo: cuando la IA se autorregula
Es posible que las herramientas de IA entrenadas con datos generales u obsoletos no reflejen los requisitos normativos actuales. Un responsable de cumplimiento normativo que pregunte a una herramienta de IA generativa si una actividad concreta de tratamiento de datos está permitida según la última versión de una normativa de protección de datos podría recibir una respuesta segura, detallada y totalmente errónea. A falta de un mecanismo de control que exija que el resultado se verifique con una fuente primaria, esa respuesta podría dar lugar a una decisión real.
El riesgo se multiplica en las organizaciones que operan en varias jurisdicciones. Lo que cumple con la normativa en un país, a menudo no lo hace en otro. Un sistema de IA genérico puede pasar por alto esa complejidad o no señalar los límites de su propio conocimiento. Esa limitación debe reflejarse en los controles de implementación de la organización.
Estos modos de fallo se vuelven más difíciles de detectar a medida que se generaliza el uso de la IA sin una supervisión adecuada. Lo que nos lleva al fallo de gobernanza que resulta más difícil de prever.
La trampa de la dependencia: cuando la gobernanza se erosiona desde dentro
El fallo más insidioso en la gestión de la IA en el ámbito jurídico no se manifiesta mediante sanciones ni resoluciones judiciales. Se va gestando con el tiempo, a medida que la IA se va integrando en los flujos de trabajo cotidianos. Y cuando los hábitos de verificación van desapareciendo.
A medida que el uso de la IA se convierte en algo habitual, el hábito de la verificación independiente se va debilitando. Los equipos empiezan a confiar en los resúmenes sin leer los documentos originales. Se basan en cláusulas redactadas por la IA sin comprobar su aplicabilidad. Con el tiempo, la capacidad profesional de realizar un análisis jurídico crítico se va erosionando, y la organización queda expuesta a riesgos que son difíciles de detectar hasta que algo sale visiblemente mal.
Cuando algo sale mal, las consecuencias profesionales pueden ser graves y se hacen sentir rápidamente.
Las consecuencias profesionales de los fallos en la gobernanza de la IA
Las sanciones económicas, las resoluciones judiciales públicas, los procedimientos disciplinarios y el riesgo de responsabilidad por negligencia profesional son consecuencias documentadas de una gobernanza inadecuada de la IA.
Los tribunales han afirmado en repetidas ocasiones que los abogados siguen siendo responsables de la exactitud de los escritos que presentan, incluso cuando el uso indebido de la IA sea involuntario. La firma que figura en el escrito siempre es humana, y la obligación profesional que representa no se transfiere a una herramienta.
Para los equipos de asesoría jurídica, las consecuencias organizativas pueden incluir investigaciones regulatorias, litigios contractuales y daños a la reputación como consecuencia de una presentación incorrecta, la omisión de una cláusula contractual o una violación de la confidencialidad.
Las organizaciones pueden reducir estos riesgos creando una estructura de gobernanza antes de que se produzca el próximo fallo.
Cómo crear un marco de gobernanza de la IA para las operaciones jurídicas
La gestión del riesgo relacionado con la gobernanza de la IA en las operaciones jurídicas es una responsabilidad de liderazgo que recae en el ámbito de competencias del consejero jurídico. No es necesario que comprenda cómo funciona un modelo de lenguaje a gran escala. Lo que sí debe saber es qué controles tiene implantados su organización antes de que cualquier miembro de su equipo se base en los resultados de la IA para tomar una decisión de gran importancia.
Preguntas que hay que plantearse antes de implementar una herramienta de IA
- ¿Dónde se tratan los datos? ¿Salen del entorno controlado de su organización?
- ¿En qué datos y fuentes jurídicas se basa el sistema, y cómo se actualizan dichas fuentes?
- ¿Ofrece la herramienta información sobre la procedencia de las fuentes, de modo que cada resultado remita a un documento verificable?
- ¿Qué certificaciones de seguridad independientes, declaraciones y compromisos de privacidad son de aplicación? Las normas ISO 27001 y SOC 2 Tipo II abordan ámbitos diferentes, mientras que las obligaciones del RGPD dependen de la actividad de tratamiento y de las partes implicadas.
- ¿Impide la arquitectura de la herramienta que se utilicen los datos de los clientes para entrenar el modelo?
- ¿Cuál es la tasa de error documentada del proveedor en lo que respecta a las consultas jurídicas?
Más allá de la selección de herramientas, la cultura de gobernanza es más importante que una política de gobernanza. Una política que establezca «verificar todos los resultados de la IA» no sirve de nada si no se aplica, no se imparte formación al respecto y no se integra en los procesos de aprobación del flujo de trabajo. La revisión humana debería ser obligatoria en momentos críticos, como antes de presentar una documentación, firmar un contrato o realizar una presentación ante las autoridades reguladoras. Gartner identifica la gobernanza de la IA como un elemento fundamental de la gestión del riesgo asociado a la IA. La clave está en si su organización es capaz de crear esa infraestructura antes de que la necesite.
Adaptar los controles de gobernanza de la IA a los riesgos de los casos de uso
| Nivel de riesgo | Casos de uso | Se requiere control |
|---|---|---|
| Riesgo bajo | Maquetación de documentos, traducción, planificación | Revisión estándar |
| Riesgo medio | Resumen de documentos, seguimiento de asuntos | Control aleatorio realizado por personas |
| Riesgo alto | Investigación jurídica, análisis de contratos, presentación de documentos ante las autoridades reguladoras | Autorización obligatoria por parte de una persona |
Los marcos de gobernanza y la cultura de la verificación son esenciales. Pero solo le servirán hasta cierto punto si las herramientas de IA que utiliza tu equipo no se diseñaron, en un principio, para el trabajo jurídico.
Por qué la IA específica para el ámbito jurídico reduce el riesgo de gobernanza
La brecha en materia de gobernanza de la IA es mayor cuando la herramienta es un sistema de IA genérico, entrenado con datos generales de Internet e implantado sin controles específicos para el ámbito jurídico. Para los equipos jurídicos, la distinción entre la IA de uso general y la específica para el ámbito jurídico es una decisión de gobernanza.
Las herramientas genéricas de inteligencia artificial pueden generar un lenguaje fluido con un tono jurídico, pero pueden carecer de los controles y el contexto jurídico necesarios para el trabajo relacionado con la gobernanza, la normativa y las particularidades de cada jurisdicción. Esa laguna es precisamente donde se producen los fallos de gobernanza.
El motor de IA soberano de DiliTrust, Lini (Legal Intelligence, Navigation, Insights), se ha desarrollado internamente en el Laboratorio de Aprendizaje Automático de DiliTrust para tareas jurídicas y de gobernanza. Lini opera dentro de su entorno de cliente, basándose en los documentos y registros que ya tiene en la plataforma. Las respuestas de Lini, vinculadas a sus fuentes, permiten la trazabilidad, lo cual constituye un importante control de gobernanza. Los datos de los clientes nunca se utilizan para entrenar el modelo: Lini utiliza conjuntos de datos sintéticos, y la información de su organización permanece dentro de su entorno controlado.
Para subsanar las deficiencias en materia de gobernanza de la IA es necesario contar con un motor de IA diseñado desde cero para cumplir con los requisitos de cumplimiento normativo, soberanía y auditabilidad propios del ámbito jurídico. Para los directores jurídicos que están creando un marco de gobernanza en torno a la IA, la arquitectura de la herramienta no es una cuestión de adquisición, sino que constituye la base misma del sistema.
La brecha en materia de gobernanza es una elección. Y también lo es subsanarla.
Todo director jurídico debe evaluar si la gobernanza de la IA de la organización es tan rigurosa como el resto de sus controles profesionales de riesgos.
Los fallos en la gobernanza de la IA se producen cuando las organizaciones anteponen la rapidez a los controles, la comodidad a la rendición de cuentas o las suposiciones a la verificación. El riesgo suele tener su origen en herramientas públicas y de uso gratuito que no han sido homologadas para el ejercicio de la abogacía.
Los directores jurídicos que liderarán este periodo son aquellos que consideran la gobernanza de la IA como una función jurídica fundamental: fomentar una cultura de verificación, establecer políticas claras y seleccionar herramientas diseñadas para cumplir con los estándares profesionales que sus organizaciones deben respetar.
Descubra cómo Lini, el motor de IA de DiliTrust, ayuda a los equipos jurídicos a trabajar con precisión, autonomía y total trazabilidad.
Más información sobre Lini →
Preguntas frecuentes sobre los fallos de gobernanza de la IA
¿Puede una herramienta pública de IA generar un riesgo de confidencialidad o de secreto profesional?
Sí. Trata cualquier subida de material confidencial o sometido a secreto profesional a una herramienta pública de IA como un posible problema de confidencialidad, en función de las condiciones de la herramienta, su configuración y la jurisdicción aplicable. En una organización europea, valora además el tratamiento conforme al RGPD.
¿La generación aumentada por recuperación elimina las alucinaciones de la IA jurídica?
No. La recuperación mejora la fundamentación, pero no elimina las citas inventadas ni las conclusiones mal fundadas. La investigación de Stanford HAI encontró que las herramientas de IA legal siguen produciendo información incorrecta, así que las respuestas enlazadas a la fuente y la verificación humana siguen siendo necesarias antes de presentar un escrito, firmar un contrato o remitir información a un regulador.
¿Qué debe preguntar una dirección jurídica a un proveedor de IA legal antes de autorizar su uso con información confidencial?
Pregunte dónde se tratan los datos, si permanecen dentro de tu entorno, si se utilizan para el entrenamiento de modelos, cómo se relacionan los resultados con los documentos originales, qué certificaciones de seguridad y verificaciones independientes se aplican, y qué índices de error se han registrado en las consultas jurídicas. Estas respuestas indican si el producto garantiza la confidencialidad y la auditabilidad.
