Por qué la IA jurídica fracasa si no cuenta con un sistema que la respalde

Un sistema operativo jurídico (Legal OS) es una base interconectada y regulada para el trabajo jurídico. Vincula registros, relaciones, permisos, identidades y flujos de trabajo entre las herramientas que utiliza un departamento jurídico. Así, la inteligencia artificial puede recuperar la información adecuada, explicar su procedencia y enviar el resultado al revisor correspondiente.

Incluso los profesionales del derecho más escépticos pueden reconocer las ventajas de la IA aplicada al derecho. En el ámbito jurídico, la IA puede redactar, resumir, clasificar, comparar y responder preguntas en cuestión de segundos.

Condiciones para el funcionamiento de la IA

La IA necesita tres condiciones para funcionar correctamente. Primero, los datos limpios le proporcionan material fiable. Segundo, los datos interconectados le aportan un contexto jurídico. Y, por último, los flujos de trabajo regulados hacen que los resultados sean aplicables y defendibles. La gobernanza de datos es un concepto conocido y del que se habla a menudo. Antes de implementar la IA jurídica, un proveedor responsable se preguntará si los datos están limpios, estructurados y regulados.

La segunda condición recibe menos atención: la conectividad. Se hace patente una vez que se han depurado los datos y se han implementado las herramientas. ¿Qué ocurre cuando la información está depurada, pero se encuentra en herramientas independientes que no se comunican entre sí?

Los usuarios finales pierden el contexto. Es posible que tengan que cotejar la información manualmente. O realizar varios pasos de verificación antes de poder confiar en el resultado. ¿Qué sentido tiene disponer de una gestión de contratos con un conjunto de datos y contexto si este no coincide con los datos y el contexto de la solución de gestión de entidades o de la herramienta de gestión de asuntos?

Muchos proyectos se topan con dificultades porque no existe un marco de conexión que sustente las herramientas. Ni tampoco un sistema de contexto compartido y regulado. Un «sistema operativo jurídico» proporciona una base de datos común que conecta esas fuentes a través de registros, relaciones, identificadores, autoridad, permisos y contexto de flujo de trabajo comunes. Sin esa base, los datos limpios siguen estando incompletos, ya que los registros aislados pueden perder el contexto jurídico.

La gobernanza de los datos no es el único requisito previo para que la IA funcione

Disponer de datos limpios y bien gestionados es un punto de partida sensato. Y un paso que ningún departamento jurídico puede omitir si pretende invertir en soluciones jurídicas basadas en la inteligencia artificial. Esto proporciona al sistema de inteligencia artificial material de mejor calidad y más preciso con el que trabajar. Pero no responde a todas las preguntas que surgen en el ámbito jurídico.

Los organismos reguladores internacionales y nacionales han elaborado marcos y normas para la gestión de riesgos relacionados con la IA. En la Unión Europea, la Ley de IA ha establecido requisitos en materia de calidad de los datos, registro, documentación, trazabilidad y supervisión humana. El Marco de Gestión de Riesgos de la IA del NIST para la IA generativa, por ejemplo, sitúa la explicabilidad, la procedencia, la equidad y la supervisión en el centro del debate.

Esos requisitos dependen de registros interrelacionados y flujos de trabajo controlados, así como de documentos bien estructurados. La trazabilidad requiere un vínculo entre una fuente, su versión, el usuario que accedió a ella y la acción que se llevó a cabo a continuación. La procedencia depende de saber de dónde procede la información y qué registro es el de referencia. Los permisos dependen de un modelo compartido de identidad y acceso. La supervisión humana depende de un flujo de trabajo que asigne la revisión, registre la decisión y conserve las pruebas. Los documentos bien gestionados por sí solos no pueden proporcionar esos vínculos.

Lo que estos marcos tienen en común es que se centran en la calidad, la fiabilidad y la trazabilidad de los datos. Para que la inteligencia artificial sea fiable y trazable en el ámbito jurídico, necesita contexto.

Qué debe conocer un departamento jurídico

Un departamento jurídico debe saber varias cosas:

  • ¿Qué fuente es la más fiable?
  • Quién es el usuario
  • A qué puede acceder ese usuario
  • ¿Qué contexto empresarial es el aplicable?
  • Lo que hizo la IA
  • ¿Quién revisa el resultado?
  • ¿Qué pruebas deben conservarse?

La verdad es que estos datos rara vez se encuentran todos en un mismo archivo. La identidad, el estado del asunto, las versiones del contrato, los plazos, los responsables, los procesos de aprobación y las obligaciones posteriores a la firma pueden estar almacenados en distintos lugares.

No es ninguna novedad, pero conviene recordar que el trabajo jurídico depende del contexto. Y que este se garantiza gracias a la información interrelacionada.

Cómo se relacionan el contexto y la conectividad

El estudio comparativo de LegalBench pone de manifiesto que el rendimiento de la IA jurídica depende de la tarea. Y, por lo tanto, del tipo de trabajo jurídico que se realice. Una solución de gestión de contratos puede contener un historial de relaciones diferente al de una plataforma de gestión de asuntos. En el peor de los casos, no existe ninguna relación porque las herramientas están desconectadas entre sí.

La investigación de LegalBench-RAG no demuestra que sea necesario un «sistema operativo jurídico», pero respalda una idea más concreta: el rendimiento de la IA depende de la tarea, de la calidad de la recuperación de información y del contexto que se proporcione al modelo. Un repositorio desconectado puede dificultar el control de esas condiciones. Por ello, los departamentos jurídicos deberían evaluar los errores de recuperación, los fallos en los permisos y la conciliación manual en sus propios flujos de trabajo antes de formular afirmaciones arquitectónicas más generales.

La información que parece completa dentro de una herramienta pierde valor cuando los registros relacionados se encuentran en otro lugar. Cuando las herramientas comparten identificadores, metadatos y reglas de origen, resulta más fácil recuperar y verificar el contexto jurídico. Eso no garantiza una respuesta correcta, pero proporciona a la IA y a su revisor una base más sólida para verificar el resultado.

Los datos limpios proporcionan a la IA información que procesar. Los datos conectados le aportan el contexto jurídico en el que se enmarcan.

La prueba de referencia LegalBench-RAG evalúa otra faceta del problema. Sus preguntas, anotadas por expertos, se asocian a ubicaciones exactas dentro de un amplio corpus jurídico. Un sistema puede razonar correctamente a partir del pasaje adecuado. Y, aun así, fallar cuando la búsqueda devuelve un resultado plausible pero irrelevante. LegalBench-RAG demuestra por qué la calidad del resultado depende de que la herramienta recupere información de la fuente correcta. El usuario sigue necesitando saber qué fuente es fidedigna cuando varios repositorios inconexos contienen registros similares.

Por eso tiene sentido optar por un sistema en lugar de un conjunto de herramientas: para vincular un documento con el asunto, el contrato, la entidad, la contraparte, la jurisdicción, el titular, la categoría de riesgo, el plazo y los permisos correspondientes. Gran parte de esta información se encuentra en los metadatos o en el historial del flujo de trabajo, más que en el texto del documento.

Un sistema operativo jurídico proporciona a la IA una base para mantener las relaciones entre registros en todas las herramientas.

La IA necesita un marco jurídico, no un montón de papeles

Imagine una organización que se enfrenta a un asunto importante que debe resolverse con urgencia. El asunto se debe a una cláusula incorrecta en un contrato, vinculada a una entidad concreta que lo firmó. El abogado interno encargado del asunto necesita consultar el contrato en el CLM. Y dicho contrato debe coincidir con los detalles del asunto. También necesita consultar el historial de gastos del asunto. Y vincularlo a la autorización del consejo que permitió un gasto hasta un umbral determinado.

La tarea de la IA es concreta: «¿Qué contratos vigentes firmados por esta entidad generan exposición en el asunto y qué obligaciones siguen pendientes?». En un sistema operativo jurídico conectado, la respuesta puede vincular a la entidad con los contratos vigentes, las versiones de los contratos y las obligaciones, para luego relacionar esos registros con el asunto, el registro de gastos y la aprobación del consejo de administración. Se puede verificar cada fuente, y las obligaciones pendientes se pueden remitir a un responsable para su revisión.

En un sistema conectado, la solicitud puede partir de la gestión de asuntos, la gestión de entidades, el portal del consejo de administración o el CLM. Cuando se trabaja con un sistema operativo jurídico, no se pierde ningún contexto. Todas las piezas encajan a la perfección. No es necesario realizar conciliaciones ni comprobaciones duplicadas.

La arquitectura puede variar según los proveedores y los sistemas. Lo importante es que los enlaces entre los registros incluyan identificadores estables, metadatos actualizados y compartidos, la autoridad de origen, el estado de la versión, los permisos y el historial de eventos.

El problema de las soluciones puntuales, como una herramienta de «redlining» o un sistema de seguimiento de asuntos, es que cuentan con sus propios repositorios y no establecen esas relaciones de forma automática. Un «Legal OS» permite a los equipos trabajar con información compartida entre distintas herramientas. Porque recupera los registros adecuados y mantiene su contexto. Sin un sistema básico, el departamento jurídico se expone a mayores riesgos y errores.

Los riesgos de la IA antes de la implantación de un sistema

Se ha recuperado una fuente incorrecta u obsoleta

Es posible que exista la información correcta, pero el sistema devuelve un registro diferente debido a que la clasificación, los metadatos o las relaciones entre documentos son deficientes. Aparece un borrador de política junto a la aprobada, un asunto cerrado parece activo o un documento de una entidad relacionada se incluye en la respuesta. El resultado puede parecer razonable, aunque se base en una fuente errónea.

Los contratos se modifican, las políticas caducan y los procedimientos se sustituyen. Sin controles sobre el estado de las versiones, las fechas, el historial y el ciclo de vida, un sistema de IA puede considerar que un registro antiguo sigue vigente. Es fácil pasar por alto este problema, ya que el documento puede ser auténtico y pertinente para un momento anterior.

La fuente no está autorizada.

Cuando los permisos se copian de forma incorrecta en un índice de búsqueda, la información privilegiada, confidencial, laboral, de investigaciones, de fusiones y adquisiciones o del consejo de administración puede quedar expuesta a usuarios no autorizados. Las directrices de AWS sobre la recuperación que tiene en cuenta los permisos recomiendan verificar la autorización con el sistema fuente de referencia. Una etiqueta añadida durante la indexación no es protección suficiente para el trabajo jurídico sensible.

El contexto está incompleto

La respuesta puede estar repartida entre un contrato, un expediente del asunto, una autorización y un expediente de la entidad correspondiente. Si la búsqueda arroja un solo fragmento, la IA tiene que completar la información mediante inferencias. Esto puede ocultar un plazo, pasar por alto una restricción, confundir a la entidad firmante u omitir una decisión anterior.

El resultado generado por la IA no va a ninguna parte

Se genera un resumen, pero nadie se hace cargo del siguiente paso. Un riesgo contractual es detectado, pero no se inicia ningún proceso de aprobación. Se identifica un plazo de una entidad, pero no se crea ninguna tarea.

Cuando la IA queda al margen de los flujos de trabajo de recepción, tramitación, contratación, documentación y revisión, genera un dato más que el equipo jurídico debe gestionar manualmente.

El sistema está conectado, pero no está regulado

La conexión entre repositorios puede aumentar la información disponible sin aclarar qué fuente es oficial, quién la mantiene, cómo se resuelven los conflictos o cuándo llegan los cambios al índice de IA. De este modo, el departamento dispone de un conjunto más amplio de contexto cuya autoridad es incierta.

La gobernanza requiere responsables designados, normas de origen, controles de acceso, supervisión y un proceso para corregir los fallos.

Las alucinaciones siguen representando un riesgo más generalizado

Ni siquiera una fuente bien seleccionada garantiza una respuesta sólida. Investigadores de Stanford detectaron índices de «alucinaciones» de entre el 58 % y el 88 % en modelos de uso general que respondían a preguntas jurídicas específicas, y pruebas posteriores revelaron que las herramientas especializadas en investigación jurídica seguían generando «alucinaciones». La evaluación de Stanford sobre las herramientas de investigación jurídica basadas en IA nos recuerda que la recuperación de información y la especialización jurídica reducen algunos riesgos, pero no los eliminan por completo.

Los equipos jurídicos necesitan referencias bibliográficas, verificación, revisión humana y supervisión de la producción. Una prueba piloto con un conjunto de datos limpio y un solo usuario no dice mucho sobre el rendimiento ante documentos, funciones, permisos y plazos variables.

La IA jurídica resulta fiable cuando funciona sobre una base conectada y regulada. Un conjunto de repositorios aislados genera lagunas entre las fuentes, los permisos y los flujos de trabajo, y es precisamente en esas lagunas donde se originan los errores de recuperación, el acceso no autorizado y las acciones abandonadas.

DiliTrust ayuda a los departamentos jurídicos a sentar esas bases en todos los contratos, asuntos, entidades y procesos de gobernanza. Gracias a unos flujos de trabajo interconectados y a una base de datos jurídicos compartida, la IA jurídica dispone del contexto necesario para respaldar decisiones que las personas pueden revisar y defender. Descubra la suite de DiliTrust.

¿Cómo debería un departamento jurídico comprobar si los repositorios desconectados están afectando a la precisión de la IA?

Utilice flujos de trabajo jurídicos reales, no plantillas genéricas de evaluación comparativa. Pida al sistema que identifique los contratos activos vinculados a un asunto, verifique el acceso del usuario y asigne las obligaciones pendientes a su responsable. Compare la precisión de las fuentes, los errores de permisos, la conciliación manual y el tiempo de revisión antes y después de conectar los registros.

¿Exige la Ley de IA de la UE un «sistema operativo jurídico» (Legal OS) para la IA jurídica?

La Ley de IA de la UE no prescribe una arquitectura específica. Sus requisitos dependen de la función del sistema y de la categoría de riesgo, mientras que un sistema operativo jurídico puede ayudar a poner en práctica la gobernanza de datos, el registro, la trazabilidad y la supervisión humana al conectar identidades, fuentes, versiones y flujos de trabajo de revisión.

¿Qué pruebas deben conservar los equipos jurídicos cuando la IA respalda una decisión jurídica?

Conserve el registro de origen, la versión, el contexto de recuperación, la identidad del usuario, la decisión de acceso, la solicitud y el resultado, el revisor, la decisión final y las marcas de tiempo. Las normas exactas de conservación dependen del asunto y de la legislación aplicable, pero los registros conectados y los eventos del flujo de trabajo facilitan la reconstrucción de la cadena de pruebas cuando se impugna una decisión.

¿Cuándo debería un equipo jurídico optar por un «sistema operativo jurídico» (Legal OS) en lugar de otra solución puntual?

Se debe optar por un «sistema operativo jurídico» (Legal OS) cuando un caso de uso abarque contratos, asuntos, entidades, decisiones del consejo de administración o límites de permisos. Una solución puntual puede responder a una cuestión concreta, pero el equipo seguirá enfrentándose a la conciliación manual y a una distribución de competencias poco clara entre los sistemas. DiliTrust conecta estos flujos de trabajo jurídicos en una única plataforma.

Ana Aguirre
Autor/a

Ana Aguirre

Content Marketing Manager en DiliTrust

Ana Aguirre es Content Marketing Manager en DiliTrust, con más de 7 años de experiencia creando contenido en el ámbito del tech y el SaaS. Le apasiona el Legal Tech y sigue de cerca cómo el entorno regulatorio, incluyendo temas como la CSRD, está cambiando la forma de trabajar de los equipos jurídicos y sus decisiones tecnológicas. Ana se enfoca especialmente en cómo la IA está transformando la función legal, desde el día a día hasta lo que viene para los equipos jurídicos.