Implantar la IA de forma amplia y rápida da la sensación de ser un avance. Mientras los paneles de control se llenan de actividad y las cifras de adopción suben, los equipos directivos expresan su satisfacción y señalan el uso como prueba de que la IA está funcionando. El problema es que las métricas de vanidad no pueden medir el éxito real de la IA jurídica. Existe una diferencia significativa entre actuar con rapidez y hacerlo de forma eficiente. Y sin el marco adecuado, esa diferencia pasa desapercibida en el panel de control, pero resulta innegable en la cola de trabajo pendiente.
Sin un marco que defina el lugar que le corresponde a la IA, los problemas que surgen suelen pasar desapercibidos. Por ejemplo, esfuerzo mal empleado, aumento de costes, equipos que asumen tareas de reelaboración que nunca se señalaron como tales. Los equipos jurídicos internos acaban heredando un trabajo que parecía completo cuando salió de la IA: contratos que hay que redactar de nuevo, análisis que hay que replantearse, memorandos que tienen la forma de una respuesta pero no su contenido.
A medida que aumenta el trabajo generado por la IA, el departamento jurídico debería evaluar el éxito de la IA en función de la calidad de los resultados. Lamentablemente, la mayoría de las organizaciones no realizan un seguimiento de la calidad. Este problema de calidad tiene un nombre: «workslop». Por eso, la calidad de los resultados debería ser el verdadero indicador del éxito de la IA en el ámbito jurídico. A este patrón de error se le da un nombre. Y conlleva un coste que la mayoría de las organizaciones aún no han empezado a cuantificar.
Cuando se marca como «hecho», pero no lo está
La mayor parte de los daños se producen antes de que nadie se dé cuenta de que algo va mal.
La teoría del «workslop»
Harvard Business Review acuñó el término «workslop» para referirse a los resultados de la IA que parecen pulidos pero carecen de fondo, un concepto que Rupali Patel Shah analiza en un artículo reciente sobre el coste oculto de la adopción de la IA en el ámbito jurídico.
El resultado final del «workslop» es sencillo: el usuario final recibe el producto del trabajo rápidamente, pero lo que se entrega es deficiente en cuanto a contenido o criterio, por lo que otro miembro del equipo acaba teniendo que asumir la reelaboración y perdiendo tiempo. La rapidez de una persona se convierte en el problema de otra. El coste se acumula rápidamente en un departamento jurídico, donde los documentos tienen un gran peso profesional.
Qué significa esto, concretamente, en el ámbito jurídico
En el ámbito jurídico, el «workslop» no solo supone una pérdida de tiempo. Llena las carpetas de expedientes, las unidades compartidas y las bases de conocimientos con contenido que parecía completo en el momento de su creación, pero que posteriormente no se puede rastrear ni considerar fiable. A medida que los equipos cambian y crecen con el tiempo, el departamento jurídico construye su conocimiento institucional sobre la base de información errónea. Este se va deteriorando silenciosamente, documento a documento, cada uno de los cuales parece razonable a primera vista.
Esta es también la causa de la falta de visibilidad en las fases posteriores. Dicha falta de visibilidad se analiza en otro artículo reciente sobre velocidad vs. eficiencia de la IA. El problema surge cuando el trabajo avanza rápidamente, pero no deja constancia fiable de cómo se tomaron las decisiones ni de por qué.
Estos son solo algunos de los problemas que surgen cuando la IA se implementa sin un objetivo claro y se evalúa con indicadores que no reflejan la realidad del trabajo jurídico.
¿Qué ocurre cuando el volumen se convierte en el objetivo final?
Las métricas de vanidad rara vez son la forma adecuada de medir el éxito real. Cuando los responsables se fijan únicamente en las cifras de uso, el éxito de la IA en el ámbito jurídico suele parecer bueno sobre el papel. La cuestión es si la IA está ayudando realmente y dando resultados.
Maximización de tokens
Cuando las organizaciones miden el éxito de la IA en función de su uso, los empleados aprenden que el consumo es sinónimo de relevancia, una dinámica que Rupali Patel Shah denomina «token maxxing». La clasificación premia el volumen. El objetivo pasa a ser utilizar más la IA, y no obtener mejores resultados. La gente la utiliza porque se espera que lo haga, y eso es algo totalmente distinto, con sus propias conclusiones previsibles.
Enfoque erróneo
Cuando el departamento jurídico se centra en métricas sencillas para medir el progreso, como el uso, se crea una falsa impresión de resultados. El objetivo es comprender si el uso de la IA ha supuesto una mejora neta para todo el equipo. No solo una mejora para la persona que realizó el trabajo. La rapidez no siempre se traduce en un ahorro de tiempo o en una mejora del trabajo, por lo que los indicadores deben ser prácticos. Lo último que debe hacer una herramienta de IA es convertirse en una carga.
Los indicadores que importan son de carácter práctico: ¿el contrato era más sólido? ¿Se cerró el asunto más rápido? ¿El equipo tuvo tiempo para dedicarse a tareas que requirieran un criterio profesional? La calidad de los resultados es la verdadera medida del éxito de la IA jurídica. El volumen es una distracción.
Coste en términos de confianza
El volumen, como medida principal, plantea un problema totalmente distinto. Los equipos jurídicos, que ya se muestran cautelosos ante la adopción de la IA, se ven doblemente penalizados: por un lado, la presión para utilizar más estas herramientas; por otro, los miembros más prudentes tienen que asumir en silencio el trabajo adicional generado por los compañeros que las utilizan de forma descuidada. Se trata de un problema cultural. Ninguna nueva función lo soluciona, y redoblar los esfuerzos para aumentar las tasas de adopción y uso solo lo empeora.
Para solucionarlo es necesario adoptarlas de forma más consciente, y eso empieza por saber si las herramientas realmente funcionan.
Cómo medir el éxito de la IA en el ámbito jurídico
Para redefinir el éxito de la IA en el ámbito jurídico, lo primero es determinar si el trabajo realizado y los resultados son realmente mejores. Muchas funciones jurídicas carecen de un sistema de evaluación basado en esta lógica. A continuación se presentan algunos ejemplos de cómo se aplica esto en la práctica, en las áreas fundamentales de la gestión jurídica empresarial.
| Lo que los equipos suelen medir | Lo que realmente te indica | Qué hay que medir en su lugar | Por qué es importante |
| Número de usuarios activos de IA | ¿Quién tiene acceso a la herramienta? | % de borradores elaborados con ayuda de la IA que se aprueban sin necesidad de revisión | Si los resultados están listos para su uso |
| Documentos o borradores creados | Volumen producido | Promedio de ciclos de revisión por documento revisado con ayuda de la IA | Si la IA está reduciendo el trabajo o generándolo |
| Horas estimadas ahorradas | Aumento de la velocidad a nivel de tarea | Tiempo total del ciclo, desde la solicitud hasta el cierre | Si el flujo de trabajo se agilizó realmente de principio a fin |
| Tasa de adopción de la IA | Avances en la implantación de la herramienta | Carga de revisión posterior por miembro del equipo | Si la rapidez a nivel de tarea se traduce en eficiencia a nivel funcional |
| Coste de las herramientas | Gasto | Coste por asunto cerrado o entrega verificada | Si el gasto está vinculado a un resultado real |
Las organizaciones que pueden responder a las preguntas de esa tercera columna están utilizando la IA con la estructura necesaria para saber exactamente qué les aporta. Esa claridad es la base de una estrategia de IA creíble: una visión clara de lo que funciona, qué hay que ajustar y en qué áreas puede invertir el departamento con confianza.
Un enfoque adecuado permite que la iniciativa sea escalable
Las organizaciones punteras utilizaron la IA de forma consciente, con una visión clara de dónde encajaba y con la estructura necesaria para demostrar su eficacia.
Nada de esto requiere una revisión completa de las herramientas existentes. Requiere infraestructura: un sistema de registro en el que el trabajo se asigne, revise, supervise y cierre en un único lugar, de modo que el antes y el después sean realmente visibles. Ese tipo de entorno operativo es el que convierte la intención en práctica y hace que el éxito de la IA jurídica sea algo que una organización pueda demostrar con pruebas, y no solo afirmar con confianza.
