KI Governance Versagen entsteht, wenn Organisationen künstliche Intelligenz einsetzen, ohne die nötigen Aufsichtsstrukturen, Verantwortlichkeitsmodelle und Prüfmechanismen einzurichten, die schädliche Ergebnisse erkennen und verhindern. Häufig beginnt das Versagen damit, dass niemand für Fehler verantwortlich ist, sobald eine Organisation KI einsetzt.
In der Rechtspraxis tritt KI Governance Versagen in mehreren Formen auf:
Jede dieser Situationen zeigt ein Governance-Versagen bei der Einführung und Kontrolle von KI in Rechtsabteilungen.
Ein überzeugender Schriftsatz enthielt drei erfundene Gerichtsentscheidungen, die ein KI-Tool erstellt hatte. Da es keinen Prüfprozess und keine Vorgaben zur menschlichen Kontrolle gab, wurden die Fehler erst von der Gegenseite entdeckt. Das Gericht verhängte Sanktionen, und der Ruf der Kanzlei nahm Schaden.
Der Fall verdeutlicht die Risiken fehlender KI-Governance: Ohne klare Prüfprozesse, Verantwortlichkeiten und menschliche Kontrolle können KI-Fehler erhebliche rechtliche und reputative Folgen haben.
KI Governance Versagen reicht über die Rechtspraxis hinaus
Die Rechtsbranche ist nicht der erste Bereich, der die Kosten unkontrollierter KI zu spüren bekommt. Sie hat jedoch besonders viel zu verlieren. Organisationen aus verschiedenen Branchen haben bereits einen hohen Preis dafür bezahlt, KI ohne geeignete Kontrollen einzusetzen. Ihre Erfahrungen zeigen, was passieren kann, bevor wir die Folgen für die Rechtspraxis betrachten.
Ein Chatbot im Kundenservice von Air Canada gab falsche Informationen zu einem Tarif für Trauerfälle aus. Ein kanadisches Tribunal stellte fest, dass die Fluggesellschaft für die irreführenden Angaben ihres Chatbots haftbar war, obwohl sie sich auf ihre veröffentlichte Tarifregelung berief. Das Governance-Versagen war eindeutig: keine menschliche Prüfung, keine Validierung der Antworten und keine klare Verantwortlichkeitskette.
Ein Beratungsunternehmen legte einem staatlichen Auftraggeber einen KI-generierten Bericht mit erfundenen wissenschaftlichen Quellen vor. Später stimmte das Unternehmen einer teilweisen Rückerstattung zu. Der entstandene Reputationsschaden ließ sich schwerer beziffern. In beiden Fällen fehlte ein Prozess, der KI-Ergebnisse vor ihrer Weitergabe überprüft.
In beiden Fällen trug die Organisation die Folgen, nicht die KI. Daran ändert sich nichts, wenn der Einsatzbereich vom Kundenservice oder der Beratung in die Rechtspraxis wechselt. Im Gegenteil: In der Rechtsbranche kommt die persönliche Verantwortung der Berufsträger hinzu.
KI Governance Versagen in der Rechtspraxis
Die Rechtsbranche ist mit denselben Governance-Lücken konfrontiert wie andere Bereiche. Hier sind die Folgen jedoch gefährlicher, weil zusätzlich eine berufsrechtliche Verantwortung besteht. Rechtsanwältinnen und Rechtsanwälte haben Pflichten gegenüber ihren Mandanten und dem Gericht. Für General Counsels können organisatorische Haftungsrisiken entstehen. Je nach Sachverhalt und Rechtsordnung ist auch eine persönliche Verantwortlichkeit für Entscheidungen im Zusammenhang mit KI möglich.
In Deutschland kommen insbesondere die berufsrechtlichen Pflichten aus der Bundesrechtsanwaltsordnung (BRAO) und der Berufsordnung für Rechtsanwälte (BORA) hinzu. Wenn KI in diesem Umfeld ohne ausreichende Governance eingesetzt wird, bleibt es daher selten bei einem Reputationsschaden.
Der Fall, der Governance zu einer Frage für Gerichte machte
Im Fall Mata v. Avianca nutzte ein New Yorker Anwalt ChatGPT, um einen Schriftsatz zu erstellen. Es gab keine Prüfung der Ergebnisse, keine Richtlinie zur Bestätigung von Quellen und keinen Governance-Rahmen. Mehrere Fundstellen waren vollständig erfunden. Das Gericht belegte die beteiligten Anwälte mit Sanktionen. Der Fall wurde anschließend in gerichtlichen Hinweisen, Materialien von Anwaltskammern und Diskussionen zur anwaltlichen Berufsethik in mehreren Rechtsordnungen aufgegriffen.
Was folgte, war kein einmaliger Weckruf, sondern ein Muster. Seit Mitte 2023 wurden weltweit in verschiedenen Rechtsordnungen mehr als 300 Fälle von KI-bedingten Halluzinationen in der Rechtspraxis dokumentiert. Laut der zitierten Analyse wurden in den ersten 8 Monaten des Jahres 2025 mindestens 200 Fälle erfasst. In den ersten zwei Wochen des August 2025 verhängten drei verschiedene US-Bundesgerichte Sanktionen gegen Anwälte wegen KI-generierter Fehler. Einer der Anwälte hatte dabei keine allgemeine Chatbot-Anwendung, sondern eine speziell für die juristische Recherche entwickelte Plattform verwendet.
Auch Tools, die ausdrücklich für die juristische Arbeit vermarktet werden, sind nicht frei von solchen Problemen. Untersuchungen haben gezeigt, dass juristische KI-Tools weiterhin falsche oder nicht ausreichend belegte Informationen erzeugen können. Systeme mit Retrieval-Augmented Generation können zu falschen rechtlichen Schlussfolgerungen kommen, selbst wenn Anbieter sie als „halluzinationsfrei“ bezeichnen. Eine Untersuchung von Stanford HAI belegt diese Risiken.
Das Muster ist eindeutig: Die KI hat nicht selbst entschieden, ohne Aufsicht zu arbeiten. Die Organisation hat es zugelassen. Deshalb handelt es sich um KI Governance Versagen und nicht lediglich um einen Fehler der KI.
Vertragsfehler: wenn niemand die Ergebnisse prüft
Halluzinierte Inhalte in Schriftsätzen erhalten viel Aufmerksamkeit. Bei der Vertragsprüfung richten KI Governance Versagen jedoch häufig still und unbemerkt Schaden an. Nehmen wir einen 120-seitigen Lieferantenvertrag, der unter Zeitdruck geprüft wird. Die KI erkennt die wichtigsten Risiken und erstellt eine übersichtliche Zusammenfassung. Kein Governance-Prozess verlangt, diese Zusammenfassung mit dem Originaldokument abzugleichen. Der Vertrag wird unterzeichnet. Sechs Monate später entsteht ein Streit. Das Team stellt fest, dass die Freistellungsklausel falsch eingeordnet wurde und eine wichtige Haftungsbegrenzung in der Zusammenfassung vollständig fehlte.
Die KI-gestützte Vertragsprüfung ist sinnvoll und kann Rechtsabteilungen entlasten. Ohne Governance-Kontrollen, insbesondere ohne eine menschliche Prüfung risikoreicher Klauseln, können sich Fehler jedoch über längere Zeit fortsetzen. Einen Vertrag auf Grundlage einer ungeprüften Zusammenfassung zu unterzeichnen, schafft eine Governance-Lücke.
Die Vertragsprüfung ist ein Risikobereich. Die Vertraulichkeit ist ein weiterer. Ihre Risiken bleiben häufig unsichtbar, bis der Schaden bereits eingetreten ist.
Vertraulichkeit von Mandantendaten: die unsichtbare Governance-Lücke
Eine Situation, die in Rechtsabteilungen bereits vorkommen kann: Ein Kollege kopiert eine vertrauliche Vergleichsvereinbarung in ein öffentliches generatives KI-Tool, um schnell eine Zusammenfassung zu erhalten. Es gibt keine Richtlinie, die diesen Vorgang untersagt, keine Liste freigegebener Tools und kein Datenklassifizierungskonzept, das Eingaben in KI-Systeme berücksichtigt.
Das Tool verarbeitet das Dokument innerhalb weniger Sekunden. Je nach Nutzungsbedingungen und Einstellungen kann die Eingabe gespeichert, von Menschen geprüft oder zur Verbesserung des Dienstes verwendet werden. Behandeln Sie einen solchen Vorgang als mögliche Offenlegung und prüfen Sie die Regelungen des Anbieters zur Datenverarbeitung. Das Hochladen geschützter oder vertraulicher Informationen in ein KI-System eines Drittanbieters kann je nach Rechtsordnung, Anbieterbedingungen und vorhandenen Schutzmaßnahmen Risiken für die anwaltliche Verschwiegenheit, Geschäftsgeheimnisse oder den Datenschutz nach DSGVO mit sich bringen.
Sobald vertrauliche Informationen die kontrollierte Umgebung Ihrer Organisation verlassen, können Sie möglicherweise nicht mehr feststellen, wo sie verarbeitet werden oder wer darauf zugreifen kann. Der Datenverlust bleibt häufig unsichtbar, bis er es nicht mehr ist.
Compliance-Risiken: wenn die KI sich selbst überlassen bleibt
KI-Tools, die mit umfangreichen oder veralteten Daten trainiert wurden, bilden aktuelle regulatorische Anforderungen möglicherweise nicht zuverlässig ab. Fragt ein Compliance-Verantwortlicher ein generatives KI-Tool, ob eine bestimmte Verarbeitung personenbezogener Daten nach der geltenden DSGVO zulässig ist, kann er eine detaillierte, selbstbewusst formulierte und vollständig falsche Antwort erhalten. Gibt es keine Governance-Ebene, die eine Prüfung anhand einer Primärquelle verlangt, kann diese Antwort eine reale Entscheidung beeinflussen.
Das Risiko steigt, wenn eine Organisation in mehreren Rechtsordnungen tätig ist. Was in einem Land zulässig ist, kann in einem anderen gegen Datenschutz-, Berufs- oder branchenspezifische Vorgaben verstoßen. Ein allgemeines KI-System erkennt diese Unterschiede möglicherweise nicht oder weist nicht auf die Grenzen seines eigenen Wissens hin. Diese Grenzen müssen in den Kontrollen für den KI-Einsatz berücksichtigt werden.
Je stärker KI ohne ausreichende Aufsicht eingesetzt wird, desto schwerer lassen sich diese Fehler erkennen. Damit kommen wir zu einem Governance-Versagen, das sich besonders schwer vorhersehen lässt.
Die Abhängigkeitsfalle: wenn Governance von innen erodiert
Das tückischste KI Governance Versagen in der Rechtspraxis beginnt weder mit einer Sanktion noch mit einem Gerichtsbeschluss. Es entwickelt sich schleichend, wenn KI immer stärker in alltägliche Arbeitsabläufe eingebunden wird und die Gewohnheit einer unabhängigen Prüfung nachlässt.
Mit der zunehmenden Routine im Umgang mit KI wird die eigenständige Überprüfung schwächer. Teams verlassen sich auf Zusammenfassungen, ohne die Quelldokumente zu lesen. Sie übernehmen KI-generierte Klauseln, ohne deren rechtliche Durchsetzbarkeit zu prüfen. Mit der Zeit nimmt die Fähigkeit zur kritischen rechtlichen Analyse ab. Die Organisation wird dadurch Risiken ausgesetzt, die erst sichtbar werden, wenn bereits etwas schiefgelaufen ist.
Wenn ein Fehler eintritt, können die beruflichen Folgen schwerwiegend sein und sehr schnell eintreten.
Die beruflichen Folgen von KI Governance Versagen
Geldsanktionen, öffentlich zugängliche Gerichtsbeschlüsse, berufsrechtliche Verfahren und Haftungsrisiken wegen Beratungsfehlern gehören zu den dokumentierten Folgen einer unzureichenden KI-Governance.
Gerichte haben wiederholt klargestellt, dass Rechtsanwältinnen und Rechtsanwälte für die Richtigkeit ihrer Schriftsätze verantwortlich bleiben, auch wenn der Missbrauch von KI unbeabsichtigt war. Die Unterschrift unter einem Schriftsatz stammt weiterhin von einem Menschen. Die damit verbundene berufliche Pflicht geht nicht auf ein Tool über.
Für Teams unter der Leitung eines General Counsel können die organisatorischen Folgen aufsichtsrechtliche Prüfungen, Vertragsstreitigkeiten und Reputationsschäden umfassen. Auslöser können etwa ein fehlerhafter Schriftsatz, eine übersehene Vertragsklausel oder eine Verletzung der Vertraulichkeit sein.
Organisationen können diese Risiken reduzieren, indem sie einen Governance-Rahmen schaffen, bevor der nächste Fehler eintritt.
So bauen Sie einen KI-Governance-Rahmen für Rechtsabteilungen auf
Der Umgang mit KI-Governance-Risiken in Rechtsabteilungen ist eine Führungsaufgabe im Verantwortungsbereich des General Counsel. Sie müssen nicht wissen, wie ein Large Language Model funktioniert. Sie müssen wissen, welche Kontrollen vorhanden sind, bevor jemand in Ihrem Team KI-Ergebnisse für eine folgenreiche Entscheidung verwendet.
Fragen, die vor der Einführung eines KI-Tools geklärt werden sollten
Neben der Auswahl des richtigen Tools ist die Governance-Kultur wichtiger als ein reines Richtliniendokument. Eine Richtlinie mit dem Satz „Alle KI-Ergebnisse müssen überprüft werden“ bringt nichts, wenn sie nicht durchgesetzt, geschult und in Freigabeprozesse integriert wird.
Eine menschliche Prüfung sollte an kritischen Stellen verpflichtend sein, etwa vor der Einreichung eines Schriftsatzes, der Unterzeichnung eines Vertrags oder einer Meldung an eine Aufsichtsbehörde. Gartner zählt KI-Governance zu den wesentlichen Bestandteilen des KI-Risikomanagements. Entscheidend ist, ob Ihre Organisation die dafür nötige Infrastruktur aufbauen kann, bevor sie gebraucht wird.
KI-Governance-Kontrollen an die Risiken des Anwendungsfalls anpassen
| RISIKOSTUFE | ANWENDUNGSFÄLLE | KONTROLLE |
|---|---|---|
| Niedrig | Dokumentformatierung, Übersetzung, Terminplanung | Standardprüfung |
| Mittel | Dokumentzusammenfassung, Matter-Tracking | Stichprobenartige menschliche Prüfung |
| Hoch | Juristische Recherche, Vertragsanalyse, regulatorische Einreichungen | Verbindliche menschliche Freigabe |
Governance-Rahmen und eine ausgeprägte Prüfungskultur sind unverzichtbar. Sie reichen jedoch nicht aus, wenn die von Ihrem Team eingesetzten KI-Tools ursprünglich nicht für die juristische Arbeit entwickelt wurden.
Warum juristische KI das Governance-Risiko reduziert
Die Governance-Lücke wird größer, wenn ein allgemeines KI-System mit Daten aus dem offenen Internet trainiert und ohne rechtsspezifische Kontrollen eingesetzt wird. Für Rechtsabteilungen ist die Entscheidung zwischen allgemeiner und juristischer KI deshalb eine Governance-Frage.
Allgemeine KI-Tools können sprachlich überzeugende juristische Texte erstellen. Ihnen fehlen jedoch möglicherweise die Kontrollen und der rechtliche Kontext, die für Governance, Compliance und die Arbeit in verschiedenen Rechtsordnungen erforderlich sind. Genau an dieser Stelle entstehen Governance-Versagen.
DiliTrusts souveräne KI-Lini steht für Legal Intelligence, Navigation, Insights und wurde im Machine Learning Lab von DiliTrust speziell für rechtliche und Governance-Anwendungsfälle entwickelt. Lini arbeitet innerhalb Ihres Tenants und nutzt die Dokumente und Datensätze, die Sie bereits in der Plattform verwalten.
Die Antworten von Lini enthalten Quellenverweise und unterstützen dadurch die Nachvollziehbarkeit, eine wichtige Governance-Kontrolle. Mandantendaten werden niemals zum Training des Modells verwendet. Lini nutzt synthetische Datensätze, während die Informationen Ihrer Organisation in Ihrer kontrollierten Umgebung bleiben.
Um die Governance-Lücke zu schließen, braucht es eine KI-Engine, die von Grund auf für die Anforderungen an Compliance, Datensouveränität und Nachvollziehbarkeit in der Rechtspraxis entwickelt wurde. Für General Counsels, die einen Governance-Rahmen für KI aufbauen, ist die Architektur des Tools keine reine Beschaffungsfrage. Sie bildet die Grundlage des gesamten Kontrollsystems.
KI Governance Versagen entsteht, wenn Organisationen Tempo und Bequemlichkeit höher gewichten als Kontrollen, Verantwortlichkeit und Prüfung. Das Risiko beginnt häufig mit öffentlichen, kostenlosen Tools, die für den Einsatz in der Rechtspraxis nicht freigegeben wurden.
Erfahren Sie, wie die KI-Engine Lini von DiliTrust Rechtsabteilungen dabei unterstützt, präzise, souverän und vollständig nachvollziehbar zu arbeiten. Mehr über Lini erfahren →
Häufig gestellte Fragen
Kann ein öffentliches KI-Tool für Rechtsabteilungen ein Risiko für Verschwiegenheit oder Vertraulichkeit darstellen?
Ja. Das Hochladen geschützter oder vertraulicher Informationen in ein öffentliches KI-Tool sollte immer als mögliches Risiko für die anwaltliche Verschwiegenheit oder Vertraulichkeit behandelt werden. Maßgeblich sind die Nutzungsbedingungen und Einstellungen des Tools sowie die jeweils geltende Rechtsordnung.
Macht Retrieval-Augmented Generation juristische KI halluzinationsfrei?
Nein. Retrieval kann die Verankerung in verlässlichen Quellen verbessern, verhindert aber weder erfundene Fundstellen noch falsche rechtliche Schlussfolgerungen. Studien von Stanford HAI zeigen, dass juristische KI-Tools weiterhin fehlerhafte oder nicht ausreichend belegte Informationen erzeugen können. Deshalb bleiben Quellenverweise und eine menschliche Prüfung vor der Einreichung von Schriftsätzen, der Unterzeichnung von Verträgen oder regulatorischen Meldungen erforderlich.
Welche Fragen sollte ein General Counsel einem Anbieter juristischer KI stellen, bevor er die vertrauliche Nutzung freigibt?
Klären Sie, wo die Daten verarbeitet werden, ob sie innerhalb Ihres Tenants bleiben, ob sie zum Training des Modells verwendet werden und wie Ergebnisse mit Quelldokumenten verknüpft sind. Fragen Sie außerdem nach Sicherheitszertifizierungen, unabhängigen Prüfberichten und gemessenen Fehlerquoten für juristische Anfragen. Diese Antworten zeigen, ob das Produkt Vertraulichkeit und Nachvollziehbarkeit unterstützt.
