Es wurden über 600 Fälle von Halluzinationen bei KI im Rechtsbereich dokumentiert. Dabei handelt es sich lediglich um die Zahl der KI-Halluzinationen, die öffentlich gemeldet wurden. Die meisten Vorfälle, an denen Rechtsabteilungen beteiligt sind, kommen überhaupt nicht an die Öffentlichkeit.
Halluzinationen bei generativer KI werden weiterhin auftreten. Die Frage ist, ob Ihre Rechtsabteilung bereit ist, strategisch damit umzugehen.
Die Rechenschaftspflicht ist bereits auf Ihren Namen ausgestellt
Forschungsergebnisse und regionale Vorschriften machen deutlich: Rechtsanwälte und Privatpersonen sind grundsätzlich persönlich für jede von ihnen genutzte, durch KI generierte Ausgabe verantwortlich. Das entscheidende Wort ist „Nutzung“: Die Verantwortung entsteht in dem Moment, in dem ein Jurist auf eine KI-Ausgabe reagiert. Diese Nuance untermauert einen Gedanken, der bereits seit den Anfängen dieser Technologie besteht:
Ein Computer kann niemals zur Verantwortung gezogen werden; daher darf ein Computer niemals eine Managemententscheidung treffen.
Dieses berühmte Zitat aus dem IBM-Handbuch von 1979 zeigt, dass Technologie zwar ein Ergebnis liefern kann, die Entscheidung darüber, was mit diesem Ergebnis geschieht, jedoch allein beim Menschen liegt. Dies ist kein neues Prinzip und gilt auch für den heutigen Einsatz von KI im Rechtsbereich. Die menschliche Komponente war im Rechtswesen schon immer notwendig; die KI hat lediglich das Volumen und die Geschwindigkeit erhöht, mit der plausible Fehler unentdeckt bleiben können. Halluzinationen sind ein Grund dafür, warum die menschliche Note erforderlich ist. Eine Halluzination kann in einer Vertragsprüfung, einem Compliance-Memo oder einer Zusammenfassung für den Vorstand verborgen sein, und wenn sie ans Licht kommt, steht bereits der Name einer bestimmten Person darunter.
Da KI rechtlich nicht zur Verantwortung gezogen werden kann, muss bei jedem Arbeitsablauf oder Prozess, an dem KI beteiligt ist, auch ein Mensch mitwirken, einer, der bereit ist, die Verantwortung für das Ergebnis zu übernehmen. Diese Tatsache bestimmt alles, was folgt.
Zeit, den Prüfpunkt zu definieren
Jede Rechtsabteilung, die KI verantwortungsbewusst einsetzt, hat sich genau überlegt, welche Aufgaben das Tool übernehmen soll: sei es das Verfassen von Texten, das Zusammenfassen langer Dokumente oder das Aufzeigen von Risiken wie nicht standardmäßigen Klauseln. Dieser Teil der Diskussion ist mittlerweile ziemlich abgedroschen.
Was die meisten Teams noch nicht geschaffen haben, ist ein klarer Übergabepunkt: der Moment, in dem ein Mensch wieder eingreift und die Verantwortung für das Ergebnis übernimmt.
Ein Workflow zur Vertragsprüfung verdeutlicht dies sehr gut. KI kann nach risikobehafteten Formulierungen suchen, Unregelmäßigkeiten kennzeichnen, Präzedenzfälle heranziehen und schnell eine Zusammenfassung erstellen. All das ist wirklich nützlich. Doch irgendwo in dieser Kette muss ein Mitglied der Rechtsabteilung das Ergebnis lesen, sein Urteilsvermögen einsetzen und die Schlussfolgerung absegnen. Wenn dieser Moment nicht formal definiert ist, wenn davon ausgegangen wird, dass jemand die Überprüfung vornimmt, anstatt dass dies vorgeschrieben ist. Annahmen sind keine Governance, und irgendwann wird das Glück dieses Teams zu Ende sein.
Das Gleiche gilt für Compliance-Unterlagen, Due-Diligence-Prüfungen und behördliche Einreichungen. KI kann die schwere Arbeit übernehmen: Scannen, Markieren, Zusammenfassen. Doch sobald ein Ergebnis Ihre Abteilung verlässt oder bei einer Aufsichtsbehörde landet, ist es mit einem Namen verbunden.
Das Ziel besteht darin, sicherzustellen, dass in Ihrem Prozess bereits im Vorfeld festgelegt ist, wer für was verantwortlich ist. Mit anderen Worten: Wer überprüft dies, wie wird die Prüfung durchgeführt und wann findet sie statt?
Kontrolle, Aufsicht und Durchsetzung: Der Schlüssel zum Umgang mit rechtlichen KI-„Halluzinationen“
Der Aufbau eines Prozesses zur Bewältigung von KI-Halluzinationen erstreckt sich über drei Bereiche, die nacheinander ablaufen. Zunächst muss der General Counsel sicherstellen, dass die Grundlagen abgedeckt sind; das bedeutet, dass die Daten korrekt sein müssen. Zweitens muss die Rechtsabteilung eine Aufsichtsebene rund um diese Daten aufbauen. Drittens müssen alle Elemente eingehalten und durchgesetzt werden.
Legen Sie die Grundlagen richtig: Behalten Sie die Kontrolle über Ihre Daten
Die Qualität der Ergebnisse einer KI hängt ausschließlich von einer Sache ab: den Informationen, mit denen man sie füttert. Die Daten, die dieser Technologie zugrunde liegen, bestimmen alles Weitere, und unkontrollierte Daten führen zu unkontrollierten Ergebnissen.
Alle Verträge in Ihrem System, die Fallakten und die Compliance-Unterlagen müssen klar und übersichtlich sein. Sind diese Daten unvollständig, veraltet oder uneinheitlich strukturiert, kann kein KI-Tool dies ausgleichen. Es kommt vermehrt zu KI-Halluzinationen, wodurch sich die Fehler schwerer zurückverfolgen lassen.
Daten-Governance ist die Grundlage, kein vorbereitender Schritt. Erfassen Sie Ihre Datenbestände, legen Sie fest, welche Daten in das System gelangen, und entscheiden Sie bewusst, wo und wie KI zum Einsatz kommt. Nicht jeder Arbeitsablauf profitiert vom Einsatz von KI. Diejenigen, bei denen dies der Fall ist, benötigen dennoch saubere Eingabedaten, um zuverlässige Ergebnisse zu liefern.
Bewährte Verfahren
- Überprüfen Sie die Daten in Ihren Systemen, bevor Sie KI einsetzen: Verträge, Mandatsunterlagen und Compliance-Dokumentation
- Legen Sie klare Standards dafür fest, was als Eingabe zugelassen wird: Unvollständige oder veraltete Eingaben führen zu unzuverlässigen Ergebnissen.
- Planen Sie den Einsatz von KI sorgfältig: Legen Sie fest, wo und wofür sie eingesetzt wird, bevor Sie sie aktivieren.
Richten Sie sich nach Ihren Daten aus: Planen Sie die Überwachung ein
Nun haben Sie einen Arbeitsablauf. Die KI fasst Sachverhalte zusammen, prüft Verträge und weist auf Compliance-Probleme hin. Irgendwann wird ihr ein Fehler unterlaufen, denn Halluzinationen der KI sind unvermeidlich. Die eigentliche Frage ist, ob jemand den Fehler bemerkt, bevor er schwerwiegende Folgen hat.
Stellen Sie sich vor, wie das in der Praxis aussieht. Bei einer KI-gestützten Vertragsprüfung wird falsch ermittelt, welche Partei das Recht auf Kündigung aus Beliebigkeit hat. Die Klausel besagt eigentlich das Gegenteil, doch das Tool kennzeichnet sie fälschlicherweise. Ihr Team baut seine Verhandlungsposition auf dieser Fehlinterpretation auf. Die Gegenpartei weiß davon, doch Sie erfahren es erst, wenn der Vertrag abgeschlossen wird.
Warum ist diese Zuständigkeit so wichtig? Die Rechenschaftspflicht im Bereich der KI erfordert Konsequenzen, und diese Konsequenzen wiederum führen zu umsichtigem Handeln. Kurz gesagt: Jemand in Ihrer Rechtsabteilung muss die Verantwortung tragen, und das Unternehmen muss jemanden haben, an den es sich wenden kann, wenn sich Fehler häufen – etwas, das eine KI nicht leisten kann.
Bewährte Verfahren
- Bestimmen Sie einen festen Prüfer: eine Person mit einer offiziellen Funktion, und gehen Sie nicht einfach davon aus, dass sich jemand aus der Führungsetage darum kümmern wird. In bestimmten Rechtsordnungen kann dies sogar gesetzlich vorgeschrieben sein.
- Legen Sie fest, wie die Überprüfung erfolgt: beispielsweise anhand von Quelldokumenten oder anhand des Prüfpfads als Nachweis.
- Legen Sie eine formelle Hürde fest: Kein neuer KI-gestützter Vertrag darf das Team verlassen, bevor er nicht vollständig von einem Menschen geprüft wurde.
Kombinieren und durchsetzen: Die Rechenschaftspflicht bei KI zur Gewohnheit machen
Governance scheitert oft an den Rändern. Der Überprüfungsschritt, der einmal übersprungen wird, weil die Frist knapp war, wird zu dem Schritt, der regelmäßig übersprungen wird.
In der Regel läuft es so ab: Ein leitender Anwalt gibt ein von einer KI erstelltes internes Memo ohne Überprüfung frei. Das ist Routine; das Tool liefert meistens korrekte Ergebnisse. Niemand bemerkt den Fehler. Sechs Monate später wird dieselbe Abkürzung auch bei mandantenbezogenen Aufgaben genommen. Letztendlich hat diese Gewohnheit den Prozess verändert, ohne dass es irgendwelche Sicherheitsvorkehrungen gab.
Konsequenz ist die eigentliche Arbeit. Jeder in der Rechtsabteilung, der mit KI zu tun hat, muss verstehen, wo die Grenzen liegen und warum es sie gibt. Das bedeutet kontinuierliche Schulungen, während sich Tools und Anwendungsfälle weiterentwickeln und nicht nur eine einmalige Einführungssitzung. Gerade wenn der Druck groß ist, schneller voranzukommen, als es der Prozess zulässt, ist dieser Prozess am wichtigsten. Der Kontrollpunkt ist keine Empfehlung. Behandelt man ihn wie eine, verliert er seine Kontrollfunktion.
Bewährte Verfahren
- Schulen Sie alle Mitarbeiter, die mit KI arbeiten, und passen Sie diese Schulungen an, sobald sich die Tools und Anwendungsfälle weiterentwickeln
- Halten Sie den Überprüfungsschritt auch bei knappen Fristen ein. Gerade dann erst recht
- Führen Sie bei leitenden Mitarbeitern dieselben Maßstäbe an; die Unternehmensführung bröckelt von oben nach unten
Sie sind für den Prozess verantwortlich und tragen die Verantwortung dafür
Erst durch die Prozessgestaltung lässt sich der Einsatz von KI rechtfertigen. General Counsel können KI nutzen und gleichzeitig das Unternehmen schützen. Dazu sind ein festgelegter Prozess, klare Verantwortlichkeiten und ein Team erforderlich, das weiß, wo die Übergabe stattfindet.
Nur mit einer solchen Vorgehensweise können Juristen und die Rechtsabteilung darauf hinarbeiten, mit den „Halluzinationen“ der KI zu leben, denn diese werden nicht verschwinden.
Die KI befindet sich in der Prozessebene, die Rechtsabteilung in der Entscheidungsebene, und der Checkpoint-Prozess ist der Punkt, an dem beide Seiten aufeinandertreffen. Und genau diesen Teil müssen die General Counsel definieren, da nur sie wissen können, wer am besten geeignet ist, die einzelnen Schritte des juristischen Arbeitsablaufs zu überwachen.
Von KI-Risiko zu KI-Reife: Der Blueprint für Ihre Rechtsabteilung
Was Sie in diesem Blueprint finden:
- Von KI-Nutzung zu echtem KI-Mehrwert: was den Unterschied macht
- Die 3 Probleme, die keine Software allein lösen kann
- Ein 90-Tage-Plan zur KI-Einführung, den jede Rechtsabteilung umsetzen kann
Häufig gestellte Fragen
KI-Halluzinationen entstehen, wenn ein Tool plausibel klingende, aber sachlich falsche Ausgaben erzeugt: erfundene Urteilszitate, falsch wiedergegebene Klauseln oder frei erfundene regulatorische Verweise. In der Rechtsarbeit sind sie problematisch, weil der Anwalt oder die Anwältin, der bzw. die den Output unterzeichnet, persönlich für die Richtigkeit verantwortlich ist, unabhängig davon, wie er erstellt wurde.
Beginnen Sie mit den Daten: unkontrollierte Eingaben produzieren unkontrollierte Ausgaben. Dann definieren Sie den Prüfpunkt: einen namentlich benannten Prüfer, eine strukturierte Prüfung gegen Quelldokumente und ein formelles Gate, bevor ein KI-gestützter Output geteilt, eingereicht oder umgesetzt wird. Entscheidend ist, ob Ihr Prozess diesen Einsatz vertretbar macht.
Die Annahme, dass jemand prüft, anstatt es zu fordern. Der Prüfschritt muss formal zugewiesen, geschult und konsequent durchgesetzt werden. Ein KI-Fehler, der ungeprüft durch einen Workflow läuft (eine falsche Kündigungsklausel, eine falsch gelesene Verjährungsfrist), wird zu einem Berufshaftungsproblem in dem Moment, in dem er den Namen einer Juristin oder eines Juristen trägt.
