Warum juristische KI ohne ein zugrunde liegendes System scheitert

…

Selbst skeptische Juristinnen und Juristen erkennen die Vorteile von Legal AI. Im Rechtsbereich kann KI innerhalb weniger Sekunden Entwürfe erstellen, Inhalte zusammenfassen und klassifizieren, Dokumente vergleichen und Fragen beantworten.

Damit KI zuverlässig arbeitet, braucht sie 3 Voraussetzungen: Saubere Daten liefern verlässliches Material, verknüpfte Daten stellen den rechtlichen Kontext her und gesteuerte Workflows machen die Ergebnisse umsetzbar und nachvollziehbar. Data Governance ist bekannt und wird häufig diskutiert. Vor der Einführung von Legal AI wird ein verantwortungsvoller Anbieter zunächst prüfen, ob die Daten sauber, strukturiert und ordnungsgemäß verwaltet sind.

Die zweite Voraussetzung erhält weniger Aufmerksamkeit: die Vernetzung. Sie wird sichtbar, sobald die Daten bereinigt und die Tools eingeführt wurden. Was passiert, wenn Informationen zwar sauber sind, aber in voneinander getrennten Tools liegen, die nicht miteinander kommunizieren?

Endanwender verlieren den Kontext. Sie müssen Informationen möglicherweise manuell abgleichen oder mehrere Prüfschritte durchführen, bevor sie dem Ergebnis vertrauen können. Welchen Nutzen hat ein Vertragsmanagement mit einem bestimmten Datenbestand und Kontext, wenn diese nicht mit den Daten und dem Kontext der Lösung für Entity Management oder des Matter-Management-Tools übereinstimmen?

Viele Projekte scheitern, weil unterhalb der Tools ein verbindendes Gerüst fehlt, also ein gemeinsames und einheitlich gesteuertes Kontextsystem. Ein Legal OS stellt eine gemeinsame Datenbasis bereit, die diese Quellen über gemeinsame Datensätze, Beziehungen, Identifikatoren, Zuständigkeiten, Zugriffsrechte und Workflow-Kontext miteinander verbindet. Ohne diese Grundlage bleiben selbst saubere Daten unvollständig, weil isolierte Datensätze den rechtlichen Kontext ausblenden können.

Saubere und gut verwaltete Daten sind ein sinnvoller Ausgangspunkt. Keine Rechtsabteilung kann auf diesen Schritt verzichten, wenn sie in KI-gestützte Lösungen für Rechtsabteilungen investieren will. Sie geben einem KI-System besseres und genaueres Material an die Hand, beantworten aber nicht alle Fragen, die sich im Rechtsbereich stellen.

Internationale und nationale Aufsichts- und Regulierungsbehörden haben Rahmenwerke und Regeln für das Risikomanagement von KI entwickelt. In der Europäischen Union legt die KI-Verordnung Anforderungen an Datenqualität, Protokollierung, Dokumentation, Nachvollziehbarkeit und menschliche Kontrolle fest. Deutsche und europäische Leitlinien, etwa des Bundesamts für Sicherheit in der Informationstechnik (BSI), stellen bei generativer KI außerdem Erklärbarkeit, Herkunftsnachweise, Fairness und Monitoring in den Mittelpunkt.

Diese Anforderungen setzen neben sauberen Dokumenten auch verknüpfte Datensätze und nachvollziehbare Workflows voraus. Nachvollziehbarkeit erfordert eine Verbindung zwischen der Quelle, ihrer Version, der Person, die darauf zugegriffen hat, und der anschließenden Handlung. Die Herkunft von Informationen lässt sich nur feststellen, wenn bekannt ist, woher sie stammen und welcher Datensatz maßgeblich ist. Zugriffsrechte beruhen auf einem gemeinsamen Modell für Identitäten und Berechtigungen. Menschliche Kontrolle setzt einen Workflow voraus, der die Prüfung zuweist, die Entscheidung dokumentiert und die Belege aufbewahrt. Saubere Dokumente allein stellen diese Verbindungen nicht her.

Gemeinsam ist diesen Rahmenwerken der Fokus auf Datenqualität, Zuverlässigkeit und Nachvollziehbarkeit. Damit KI im Rechtsbereich zuverlässig und nachvollziehbar arbeitet, braucht sie Kontext.

Eine Rechtsabteilung muss mehrere Fragen beantworten können:

• Welche Quelle ist maßgeblich?
• Wer ist die nutzende Person?
• Auf welche Informationen darf diese Person zugreifen?
• Welcher Geschäftskontext ist relevant?
• Welche Aktion hat die KI ausgeführt?
• Wer prüft das Ergebnis?
• Welche Belege müssen aufbewahrt werden?

Tatsächlich befinden sich diese Angaben nur selten in einer einzigen Datei. Identitäten, Status eines Vorgangs, Vertragsversionen, Fristen, Verantwortliche, Genehmigungswege und Verpflichtungen nach der Unterzeichnung können an ganz unterschiedlichen Stellen gespeichert sein.

Das ist keine neue Erkenntnis. Dennoch lohnt es sich, daran zu erinnern, dass Rechtsarbeit immer kontextabhängig ist und dieser Kontext durch verknüpfte Informationen entsteht.

Die Forschung zum LegalBench-Benchmark zeigt, dass die Leistungsfähigkeit von Legal AI von der jeweiligen Aufgabe und damit von der Art der Rechtsarbeit abhängt. Eine Lösung für Vertragsmanagement kann eine Beziehungshistorie enthalten, die sich von der eines Matter-Management-Systems unterscheidet. Im ungünstigsten Fall besteht überhaupt keine Beziehung, weil die Tools nicht miteinander verbunden sind.

Die Forschung zu LegalBench-RAG belegt nicht, dass ein Legal OS zwingend erforderlich ist. Sie stützt jedoch eine engere Aussage: Die Leistungsfähigkeit von KI hängt von der jeweiligen Aufgabe, der Qualität des Informationsabrufs und dem Kontext ab, der dem Modell zur Verfügung steht. Ein nicht vernetztes Repository kann es erschweren, diese Bedingungen zu kontrollieren. Deshalb sollten Rechtsabteilungen zunächst in ihren eigenen Workflows messen, wie häufig Abruffehler, Berechtigungsfehler und manueller Abgleich auftreten, bevor sie weitergehende Aussagen über die Systemarchitektur treffen.

Informationen, die innerhalb eines Tools vollständig wirken, verlieren an Wert, wenn zugehörige Datensätze an anderer Stelle liegen. Teilen die Tools Identifikatoren, Metadaten und Regeln für die maßgebliche Quelle, lässt sich der rechtliche Kontext leichter abrufen und überprüfen. Das garantiert keine korrekte Antwort, gibt der KI und der prüfenden Person jedoch eine bessere Grundlage, um das Ergebnis zu kontrollieren.

Saubere Daten geben der KI etwas zum Lesen. Verknüpfte Daten liefern den umgebenden rechtlichen Kontext.

Der LegalBench-RAG-Benchmark untersucht einen weiteren Teil des Problems. Die von Expertinnen und Experten annotierten Fragen sind exakten Stellen in einem umfangreichen Rechtskorpus zugeordnet. Ein System kann aus dem richtigen Abschnitt korrekt schlussfolgern und dennoch scheitern, wenn der Abruf einen plausiblen, aber irrelevanten Abschnitt liefert. LegalBench-RAG zeigt, warum die Qualität des Ergebnisses davon abhängt, ob das Tool Informationen aus der richtigen Quelle abruft. Wenn mehrere nicht verbundene Repositories ähnliche Datensätze enthalten, muss die nutzende Person weiterhin wissen, welche Quelle maßgeblich ist.

Genau deshalb ist ein System sinnvoller als eine Sammlung einzelner Tools: Es verbindet ein Dokument mit dem richtigen Vorgang, Vertrag, Unternehmen, Vertragspartner, Gerichtsstand, Verantwortlichen, Risikokategorie, Frist und den geltenden Zugriffsrechten. Viele dieser Informationen befinden sich in Metadaten oder in der Workflow-Historie, nicht im eigentlichen Dokumenttext.

Ein Legal Operating System gibt der KI eine Grundlage, um die Beziehungen zwischen Datensätzen über verschiedene Tools hinweg zu erhalten.

Ein Unternehmen bearbeitet einen wichtigen Vorgang, der dringend gelöst werden muss. Auslöser war eine fehlerhafte Klausel in einem Vertrag, der mit einem bestimmten Unternehmen verbunden ist. Dieses Unternehmen hat den Vertrag unterzeichnet. Die interne Rechtsberatung, die den Vorgang bearbeitet, muss den Vertrag im CLM einsehen können. Die Vertragsdaten müssen mit den Angaben im Vorgang übereinstimmen. Außerdem muss sie die Ausgabenübersicht des Vorgangs sehen und mit der Genehmigung des Boards verknüpfen können, die Ausgaben bis zu einem bestimmten Schwellenwert freigibt.

Die KI-Aufgabe ist konkret: „Welche aktiven Verträge, die von diesem Unternehmen unterzeichnet wurden, bergen Risiken für den Vorgang, und welche Verpflichtungen sind noch offen?“ In einem vernetzten Legal OS kann die Antwort das Unternehmen mit aktuellen Verträgen, Vertragsversionen und Verpflichtungen verknüpfen und diese Datensätze anschließend mit dem Vorgang, der Ausgabenübersicht und der Genehmigung des Boards verbinden. Jede Quelle lässt sich überprüfen. Offene Verpflichtungen können zur Prüfung an eine verantwortliche Person weitergeleitet werden.

In einem vernetzten System kann die Anfrage in Matter Management, Entity Management, Board Portal oder im CLM beginnen. Unter einem Legal OS geht kein Kontext verloren, und die einzelnen Informationen passen zusammen. Ein manueller Abgleich oder zusätzliche Gegenkontrollen sind nicht erforderlich.

Die Architektur kann sich je nach Anbieter und System unterscheiden. Entscheidend ist, dass die Verknüpfungen zwischen den Datensätzen stabile Identifikatoren, aktuelle und gemeinsam genutzte Metadaten, die maßgebliche Quelle, den Versionsstatus, Zugriffsrechte und die Ereignishistorie enthalten.

Das Problem bei Einzellösungen wie einem Tool zur Überarbeitung von Vertragsklauseln oder einem Vorgangs-Tracker besteht darin, dass sie eigene Repositories nutzen und diese Beziehungen nicht automatisch herstellen. Ein Legal OS ermöglicht Teams die Arbeit mit gemeinsamen Informationen über mehrere Tools hinweg, weil es die richtigen Datensätze abruft und ihren Kontext erhält. Ohne ein grundlegendes System setzt sich die Rechtsabteilung größeren Risiken und mehr Fehlern aus.

Die richtigen Informationen können vorhanden sein, trotzdem gibt das System aufgrund schwacher Rankings, Metadaten oder Dokumentbeziehungen einen anderen Datensatz zurück. Ein Richtlinienentwurf erscheint neben der freigegebenen Fassung, ein abgeschlossener Vorgang wirkt weiterhin aktiv oder ein Dokument eines verbundenen Unternehmens fließt in die Antwort ein. Das Ergebnis kann plausibel klingen und dennoch auf der falschen Quelle beruhen.

Verträge werden geändert, Richtlinien laufen aus und Verfahren werden ersetzt. Fehlen Versionsstatus, Daten, Herkunft und Kontrollen für den Lebenszyklus, kann ein KI-System einen alten Datensatz als aktuell behandeln. Das Problem bleibt leicht unbemerkt, weil das Dokument echt und für einen früheren Zeitpunkt relevant sein kann.

Wenn Berechtigungen nur unvollständig in einen Suchindex übernommen werden, können privilegierte, vertrauliche oder sensible Informationen aus den Bereichen Beschäftigung, Untersuchungen, M&A oder Board-Arbeit für die falsche Person sichtbar werden. AWS-Leitlinien für berechtigungsabhängige Informationsabfragen empfehlen, die Autorisierung gegen das maßgebliche Quellsystem zu prüfen. Ein beim Indexieren hinzugefügtes Kennzeichen reicht für sensible Rechtsarbeit nicht als Schutz aus.

Die Antwort kann sich über einen Vertrag, einen Vorgangsdatensatz, eine Genehmigung und eine zugehörige Unternehmensakte verteilen. Liefert der Abruf nur ein Fragment, muss die KI die Lücken durch Schlussfolgerungen füllen. Dabei kann sie eine Frist übersehen, eine Haftungsbegrenzung nicht berücksichtigen, das unterzeichnende Unternehmen verwechseln oder eine frühere Entscheidung übergehen.

Eine Zusammenfassung wird erstellt, aber niemand ist für den nächsten Schritt verantwortlich. Ein Vertragsrisiko wird erkannt, aber kein Genehmigungsvorgang eröffnet. Eine Frist für ein Unternehmen wird festgestellt, aber keine Aufgabe angelegt.

Wenn KI außerhalb der Workflows für Intake, Vorgänge, Verträge, Dokumente und Prüfungen eingesetzt wird, erzeugt sie lediglich eine weitere Information, die die Rechtsabteilung manuell weiterverarbeiten muss.

Die Verbindung von Repositories kann die verfügbare Informationsmenge erhöhen, ohne zu klären, welche Quelle offiziell ist, wer sie pflegt, wie Konflikte gelöst werden oder wann Änderungen den KI-Index erreichen. Die Rechtsabteilung verfügt dann über mehr Kontext, dessen Verbindlichkeit unklar bleibt.

Governance braucht klar benannte Verantwortliche, Regeln für maßgebliche Quellen, Zugriffskontrollen, Monitoring und einen Prozess zur Korrektur von Fehlern.

Selbst eine korrekt abgerufene Quelle garantiert keine belastbare Antwort. Forschende der Stanford University ermittelten bei allgemeinen Modellen, die konkrete Rechtsfragen beantworten sollten, Halluzinationsraten von 58% bis 88%. Spätere Tests zeigten, dass auch spezialisierte Tools für juristische Recherchen halluzinieren. Die Untersuchung von KI-Tools für juristische Recherchen durch Stanford erinnert daran, dass Informationsabruf und Spezialisierung auf den Rechtsbereich bestimmte Risiken verringern, sie aber nicht beseitigen.

Rechtsabteilungen brauchen Quellenangaben, Überprüfung, menschliche Kontrolle und Monitoring im Produktivbetrieb. Ein Pilotprojekt mit einem sauberen Korpus und einer einzigen nutzenden Person sagt wenig über die Leistung bei sich ändernden Dokumenten, Rollen, Zugriffsrechten und Fristen aus.

Legal AI wird zuverlässig, wenn sie auf einer vernetzten und gesteuerten Grundlage arbeitet. Eine Sammlung isolierter Repositories hinterlässt Lücken zwischen Quellen, Zugriffsrechten und Workflows. Genau dort entstehen Abruffehler, unberechtigte Zugriffe und nicht weiterverfolgte Aktionen.

DiliTrust unterstützt Rechtsabteilungen beim Aufbau dieser Grundlage für Verträge, Vorgänge, Unternehmen und Governance. Mit vernetzten Workflows und einer gemeinsamen rechtlichen Datenbasis verfügt Legal AI über den Kontext, den sie braucht, um Entscheidungen zu unterstützen, die Menschen prüfen und vertreten können. Entdecken Sie die DiliTrust Suite.