Der umfassende und schnelle Einsatz von KI vermittelt den Eindruck von Fortschritt. Während sich die Dashboards mit Aktivitäten füllen und die Akzeptanzzahlen steigen, zeigen sich die Führungsteams zufrieden und verweisen auf die Nutzungszahlen als Beweis dafür, dass KI funktioniert. Das Problem ist jedoch, dass „Vanity Metrics“ den tatsächlichen Erfolg von KI im Rechtsbereich nicht messen können. Es besteht ein wesentlicher Unterschied zwischen schnellem und effizientem Handeln, und ohne das richtige Rahmenwerk ist die Kluft zwischen beiden im Dashboard unsichtbar, in der Nachbearbeitungswarteschlange jedoch unübersehbar.
Ohne einen Rahmen, der festlegt, wo KI eingesetzt werden soll, sind die daraus resultierenden Probleme meist eher versteckt: verschwendeter Aufwand, steigende Kosten, Teams, die Nachbesserungsarbeiten übernehmen, die nie als solche gekennzeichnet wurden. Interne Rechtsabteilungen übernehmen letztendlich Arbeit, die bei Verlassen der KI vollständig erschien: Verträge, die neu formuliert werden müssen, Analysen, die überdacht werden müssen, und Memos, die zwar die Form einer Antwort haben, aber nicht deren Inhalt.
Angesichts der zunehmenden Verbreitung von KI-generierten Arbeitsergebnissen sollte die Rechtsabteilung den Erfolg der KI anhand der Qualität der Ergebnisse messen. Leider erfassen die meisten Unternehmen die Qualität nicht. Dieses Qualitätsproblem hat einen Namen: „Workslop“. Deshalb sollte die Qualität der Ergebnisse der eigentliche Maßstab für den Erfolg von KI im Rechtsbereich sein. Das Muster, bei dem dies falsch gehandhabt wird, hat einen Namen – und verursacht Kosten, die die meisten Unternehmen noch nicht erfassen.
Wenn es als erledigt markiert ist, aber noch nicht erledigt ist
Der größte Teil des Schadens entsteht, bevor jemand bemerkt, dass etwas schiefgelaufen ist.
Die Workslop-Theorie
Die „Harvard Business Review“ prägte den Begriff „Workslop“ für KI-Ergebnisse, die zwar ausgefeilt wirken, aber keine Substanz haben – ein Konzept, das Rupali Patel Shah in einem aktuellen Artikel über die versteckten Kosten der KI-Einführung in der Rechtsbranche beleuchtet.
Das Endergebnis eines solchen Vorgehens ist einfach: Ein Endnutzer erhält das Arbeitsergebnis zwar schnell, doch die gelieferte Arbeit ist inhaltlich oder vom Urteilsvermögen her mangelhaft, sodass letztendlich ein anderes Teammitglied die Nachbesserung übernehmen muss und Zeit verliert. Die Schnelligkeit des einen wird zum Problem des anderen. In einer Rechtsabteilung, in der Dokumente berufliches Gewicht haben, summieren sich die Kosten schnell.
Was dies konkret für den Rechtsbereich bedeutet
In der Rechtsabteilung kostet schlampiges Arbeiten nicht nur Zeit. Es füllt Aktenordner, gemeinsame Laufwerke und Wissensdatenbanken mit Inhalten, die zum Zeitpunkt ihrer Erstellung fertig erschienen, später jedoch nicht mehr nachvollziehbar sind und denen man nicht mehr vertrauen kann. Da sich Teams im Laufe der Zeit verändern und wachsen, baut die Rechtsabteilung ihr institutionelles Wissen auf den falschen Informationen auf. Es verschlechtert sich still und leise, ein plausibel klingendes Dokument nach dem anderen.
Dies ist auch der Grund für die Lücke in der nachgelagerten Transparenz, die in einem anderen kürzlich erschienenen Artikel zum Thema „KI-Geschwindigkeit vs. KI-Effizienz“ untersucht wurde. Das Problem tritt auf, wenn die Arbeit zügig voranschreitet, aber keine verlässlichen Aufzeichnungen darüber hinterlassen werden, wie Entscheidungen getroffen wurden oder warum.
Dies sind nur einige der Probleme, die entstehen, wenn KI ohne klares Ziel eingesetzt und anhand von Kennzahlen bewertet wird, die die Realität der juristischen Arbeit nicht widerspiegeln.
Was passiert, wenn es nur noch um das Volumen geht?
Vanity-Metriken sind selten der richtige Maßstab für echten Erfolg. Wenn die Unternehmensleitung die Nutzung ausschließlich anhand von Zahlen betrachtet, sieht der Erfolg von KI im Rechtsbereich auf dem Papier meist gut aus. Die Frage ist jedoch, ob die KI tatsächlich hilft und Ergebnisse liefert.
Token-Maxxing
Wenn Unternehmen den Erfolg von KI anhand der Nutzungszahlen messen, lernen die Mitarbeiter, dass die Nutzung ein Zeichen für Relevanz ist – ein Phänomen, das Rupali Patel Shah als „Token-Maxxing“ bezeichnet. Die Rangliste belohnt das Volumen. Das Ziel ist dann, mehr KI einzusetzen, nicht bessere Ergebnisse zu erzielen. Die Menschen nutzen sie, weil es von ihnen erwartet wird, und das ist etwas ganz anderes, das seine eigenen vorhersehbaren Konsequenzen mit sich bringt.
Falscher Fokus
Wenn sich die Rechtsabteilung auf einfach zu erfassende Kennzahlen wie die Nutzungshäufigkeit konzentriert, um den Fortschritt zu messen, entsteht der falsche Eindruck, dass Ergebnisse erzielt wurden. Das Ziel besteht darin, zu verstehen, ob der Einsatz von KI für das gesamte Team einen messbaren Wert gebracht hat – und nicht nur für die Person, die die Arbeit erstellt hat. Schnelligkeit bedeutet nicht immer Zeitersparnis oder verbesserte Arbeitsergebnisse, daher müssen die Kennzahlen praxisorientiert sein. Das Letzte, was ein KI-Tool tun sollte, ist, zu einer Belastung zu werden.
Die entscheidenden Kennzahlen sind praktischer Natur: War der Vertrag besser ausgearbeitet? Konnte der Fall schneller abgeschlossen werden? Hatte das Team Kapazitäten für Aufgaben, die echtes Urteilsvermögen erforderten? Die Qualität der Ergebnisse ist der wahre Maßstab für den Erfolg von KI im Rechtsbereich. Das Volumen ist nur eine Ablenkung.
Die Kosten für die Moral
Das Volumen als primäre Kennzahl wirft ein ganz anderes Problem auf. Rechtsabteilungen, die ohnehin schon zurückhaltend gegenüber dem Einsatz von KI sind, werden doppelt bestraft: Einerseits stehen sie unter dem Druck, die Tools stärker zu nutzen, andererseits müssen die besonders umsichtigen Mitarbeiter stillschweigend die Nacharbeit übernehmen, die durch Kollegen entsteht, die diese Tools unbedacht einsetzen. Das ist ein kulturelles Problem. Keine neue Funktion kann es beheben, und ein noch stärkerer Fokus auf Einführungs- und Nutzungsraten verschlimmert die Situation nur noch.
Um das Problem zu beheben, ist eine bewusstere Umsetzung erforderlich, und das beginnt damit, herauszufinden, ob die Tools tatsächlich funktionieren.
Wie lässt sich der Erfolg von KI im Rechtsbereich messen?
Um den Erfolg von KI im Rechtsbereich neu zu definieren, muss zunächst geklärt werden, ob die Arbeitsergebnisse und Resultate tatsächlich besser sind. In vielen Rechtsabteilungen fehlt eine auf dieser Logik basierende Leistungsbewertung. Im Folgenden finden Sie einige Beispiele dafür, wie dies in der Praxis in den Kernbereichen des Unternehmensrechtsmanagements aussieht.
| Was Teams in der Regel erfassen | Was das Ihnen tatsächlich sagt | Was sollte stattdessen gemessen werden? | Warum das wichtig ist |
| Anzahl der aktiven KI-Nutzer | Wer hat Zugriff auf das Tool? | Prozentualer Anteil der KI-gestützten Entwürfe, die ohne Überarbeitung genehmigt wurden | Ob die Ergebnisse bereits zur Verwendung bereitstehen |
| Erstellte Dokumente oder Entwürfe | Produktionsmenge | Durchschnittliche Überarbeitungszyklen pro KI-gestütztem Dokument | Ob KI Arbeitsplätze abbaut oder neue schafft |
| Geschätzte Zeitersparnis | Geschwindigkeitssteigerung auf Aufgabenebene | Gesamtdauer vom Antrag bis zum Abschluss | Ob der Arbeitsablauf tatsächlich von Anfang bis Ende schneller verlief |
| KI-Einführungsrate | Fortschritt bei der Einführung des Tools | Belastung durch nachgelagerte Überprüfungen pro Teammitglied | Ob sich die Geschwindigkeit auf Aufgabenebene in Effizienz auf Funktionsebene niederschlägt |
| Tool-Kosten | Ausgaben | Kosten pro abgeschlossenem Vorgang oder verifiziertem Ergebnis | Ob die Ausgaben mit einem tatsächlichen Ergebnis verbunden sind |
Unternehmen, die die Fragen in der dritten Spalte beantworten können, setzen KI so strukturiert ein, dass sie genau wissen, welchen Nutzen sie daraus ziehen. Diese Klarheit bildet die Grundlage einer glaubwürdigen KI-Strategie: ein klares Bild davon, was funktioniert, was angepasst werden muss und wo die Abteilung mit Zuversicht investieren kann.
Der richtige Ansatz macht die Absicht skalierbar
Die hier vorgestellten Unternehmen setzten KI gezielt ein, hatten eine klare Vorstellung davon, wo sie zum Einsatz kommen sollte, und verfügten über die entsprechenden Strukturen, um dies unter Beweis zu stellen.
All dies erfordert keine vollständige Überarbeitung bestehender Tools. Was benötigt wird, ist eine Infrastruktur: ein System, in dem Aufgaben an einem Ort zugewiesen, geprüft, nachverfolgt und abgeschlossen werden, sodass der Vorher-Nachher-Vergleich tatsächlich sichtbar ist. Eine solche Betriebsumgebung ist es, die Absichten in die Praxis umsetzt und den Erfolg von KI im Rechtsbereich zu etwas macht, das ein Unternehmen anhand von Belegen nachweisen kann und nicht nur mit Zuversicht behauptet.
