…
Wenn jeder Legal Tech Anbieter sein Produkt als KI-gestützt beschreibt, wie kann eine Rechtsabteilung dann erkennen, welche Aussagen auf ein zuverlässiges Tool hindeuten und welche auf „AI-Washing“?
Unter „AI-Washing“ versteht man irreführende oder übertriebene Aussagen über den Einsatz und die Leistungsfähigkeit von KI. Ein Anbieter könnte eine Genauigkeit behaupten, die nur in kontrollierten Tests erreicht wird, unterstützte Arbeitsabläufe als vollautomatisiert beschreiben oder Funktionen, die hauptsächlich auf Regeln oder dem Abgleich von Schlüsselwörtern beruhen, mit dem KI-Label versehen. Da die Aufsichtsbehörden in den USA und Europa ungenauen KI-Behauptungen zunehmend mehr Aufmerksamkeit schenken, benötigen Rechtsabteilungen und General Counsel eine praktische Methode, um diese zu bewerten.
Die Rechtsabteilung spielt hier eine doppelte Rolle. Sie beschafft Rechtstechnologie auf einem Markt, auf dem die Versprechen in Bezug auf KI oft über die tatsächliche Produktleistung hinausgehen, und berät das Unternehmen dabei, ob dessen eigene Aussagen zur KI fundiert sind. Die praktische Frage ist klar: Wie können Rechtsabteilungen Technologien auswählen, denen sie vertrauen können, und diese Entscheidung mit Belegen untermauern?
Wie „AI-Washing“ in der Praxis aussieht
„AI-Washing“ lässt sich leichter erkennen, wenn Rechtsabteilungen wissen, in welchen Formen es auftreten kann. Zu den häufig vorgebrachten Behauptungen über LegalTech-Tools gehören:
- Überhöhte Genauigkeitsangaben: Ein Anbieter gibt eine hohe Genauigkeitsrate an, ohne die Testbedingungen, den Dokumentensatz, den Rechtsraum oder die Fehlermarge zu erläutern.
- Übertreibung beim Thema Automatisierung: Ein Produkt wird als autonom beschrieben, obwohl Anwälte dessen Ergebnisse in entscheidenden Phasen überprüfen, korrigieren oder genehmigen müssen.
- Lücken in der Berichterstattung verschleiern: Ein Tool gibt vor, einen bestimmten Regulierungsbereich oder eine bestimmte Gerichtsbarkeit zu überwachen, obwohl seine Quellen begrenzt, veraltet oder unvollständig sind.
- KI als Etikett: Eine Funktion wird als KI-gestützt vermarktet, wenn sie sich hauptsächlich auf feste Regeln, den Abgleich von Schlüsselwörtern oder die Dokumentensuche stützt.
- Sich auf irrelevante Vergleichswerte verlassen: Ein Anbieter führt Testergebnisse an, die keinen Bezug zu den Dokumenten, Sprachen, Arbeitsabläufen oder dem Risikoprofil des Unternehmens haben.
Diese Behauptungen können in einer Präsentation überzeugend klingen. Schwieriger ist es jedoch, zu prüfen, ob sie sich in der tatsächlichen Arbeit des Rechtsteams bewähren.
Was macht AI-Washing für Rechtsabteilungen gefährlich?
Durch „AI-Washing“ entsteht eine zeitliche Verzögerung zwischen dem Verkaufsversprechen und dem Zeitpunkt, zu dem das Unternehmen die Grenzen des Produkts erkennt. Bis dahin ist das Tool möglicherweise bereits in einen Prozess mit hohem Durchsatz oder hohem Risiko integriert und fügt dem Unternehmen Schaden zu. Die Risiken variieren je nach Anwendungsfall:
| Rechtlicher Anwendungsfall | Risiko des „AI-Washing“ | Mögliche Folge |
|---|---|---|
| Vertragsprüfung | Eine nahezu perfekte Genauigkeit wird behauptet, ohne die Testbedingungen offenzulegen. | Übersehene Klausel, notwendige Neuverhandlung oder Haftungsrisiko |
| Aufsichtsrechtliches Monitoring | Der Umfang und die Aktualisierungszyklen sind unklar | Versäumte Entwicklung, Fehler bei der Einreichung, Geldbuße oder Nachbesserung |
| Rechtsrecherche | Quellenangaben lassen sich nicht zurückverfolgen oder überprüfen | Eine erfundene Rechtsquelle oder eine unzutreffende Aussage gelangt in ein Memo oder einen Schriftsatz |
| Dokumenten-verarbeitung | Die Bestimmungen zur Datenspeicherung und zu den Zugriffskontrollen sind vage | Bedenken hinsichtlich der Vertraulichkeit, Fragen zum Zeugnis-verweigerungsrecht oder Verstöße gegen gesetzliche Vorschriften |
„AI-Washing“ hat konkrete Folgen, und die Aufsichtsbehörden prüfen Behauptungen im Zusammenhang mit KI nun genauer. Das Vorgehen der SEC gegen Delphia und Global Predictions zeigt, wie bestehende Vorschriften auf irreführende Aussagen zum Thema KI angewendet werden können. Im Jahr 2024 erklärten sich die beiden Anlageberater bereit, Zivilstrafen in Höhe von 400.000 US-Dollar zu zahlen, nachdem die SEC festgestellt hatte, dass sie falsche und irreführende Angaben über ihren Einsatz von KI gemacht hatten.
In der Europäischen Union bestätigen die Leitlinien der Europäischen Kommission zur EU-KI-Verordnung, dass die Transparenzpflichten gemäß Artikel 50 seit dem 2. August 2026 für bestimmte KI-Systeme gelten, darunter auch einige Systeme, die mit Menschen interagieren oder Inhalte generieren.
Die Lehre für Rechtsabteilungen ist praktischer Natur. Behauptungen über ein KI-Produkt müssen anhand der Arbeit, der Daten und der mit dieser Arbeit verbundenen Verpflichtungen überprüft werden.
Warum Rechtsabteilungen von zwei Seiten mit „AI-Washing“ konfrontiert sind
Die Rechtsabteilung muss häufig die von ihr erworbene Technologie bewerten und dabei die Aussagen des Unternehmens zu KI im weiteren Sinne prüfen.
Als Technologieeinkäufer bewertet die Rechtsabteilung Produkte im Hinblick auf Vertragsanalyse, Due Diligence, Vorstandsmanagement, Dokumentenerstellung, Fallprüfung und Unternehmensverwaltung. Hinter einem vagen Versprechen der Automatisierung kann sich ein Produkt verbergen, das mehr Prüfarbeit erfordert als erwartet, nur mit bestimmten Dokumenten funktioniert oder in den für das Unternehmen relevanten Rechtsordnungen keine Abdeckung bietet.
Als Unternehmensberater prüfen der General Counsel und das Rechtsteam Aussagen über die KI des Unternehmens in behördlichen Einreichungen, Marketingmaterialien, Kundenangeboten und Verkaufsgesprächen. Jede Aussage muss widerspiegeln, was die Technologie in der Praxis leistet. KI-Governance spielt sowohl für den Anbieter als auch für das Anwenderunternehmen eine wichtige Rolle. Als wichtige Geschäftspartner tragen der General Counsel und die Rechtsabteilung dazu bei, sicherzustellen, dass die Technologie den Governance-Regeln des Unternehmens entspricht.
Die im Rahmen der Beschaffung gestellten Fragen sollten dem General Counsel Anhaltspunkte liefern, um eine Aussage im Zusammenhang mit KI später zu untermauern, einzugrenzen oder anzufechten. Sobald KI-gestützte Tools oder Funktionen zum Einsatz kommen, wird die Lieferantenbewertung Teil der KI-Governance.
So erkennen Sie einen vertrauenswürdigen Anbieter
Eine Produktpräsentation bietet Ihnen einen Ausgangspunkt, doch die eigentliche Bewertung beginnt erst, wenn die Rechtsabteilung fragt, wie sich das Produkt in seiner eigentlichen Umgebung verhält.
Testen Sie zunächst die Grenzen des Produkts aus.
Was macht die KI eigentlich, und wo sind ihre Grenzen?
Bitten Sie den Anbieter um eine Erklärung:
- Welche Aufgaben das System automatisiert und welche es unterstützt
- Wie die Leistung getestet wurde, einschließlich der verwendeten Dokumente, Sprachen und Rechtsordnungen
- Was passiert, wenn das System ungenau ist oder ein falsches Ergebnis liefert?
- Welche Entscheidungen erfordern eine Überprüfung oder Genehmigung durch einen Menschen?
- Wie das Produkt in die Risikogrenzen und Genehmigungsabläufe des Teams passt
Ein seriöser Anbieter sollte darlegen, wie sich seine Funktionen in die Abläufe des Rechtsteams einfügen, ohne dabei die Genauigkeit oder den Anwendungsbereich überzubewerten. Der Anbieter sollte zudem in der Lage sein, die Grenzen des Tools zu erläutern und anzugeben, in welchen Fällen menschliches Eingreifen erforderlich sein kann.
Sobald das Unternehmen die Grenzen und Möglichkeiten eines Produkts erkannt hat, kann sich die Rechtsabteilung den Themen Datenschutz und Datenmanagement zuwenden.
Wohin fließen die Daten, und wer hat die Kontrolle darüber?
Die Datenqualität ist zum Teil eine interne Angelegenheit, da die Rechtsabteilung und der Geschäftsbereich wissen, wie vollständig, fehlerfrei und zuverlässig ihre Daten sind. Der Dienstleister muss dennoch konkrete Fragen zum Datenmanagement beantworten, darunter:
- Wo werden die Daten verarbeitet und gespeichert?
- Wer hat Zugriff darauf, einschließlich Dienstleister und Unterauftragsverarbeiter?
- Werden Kundendaten zum Trainieren oder Verbessern eines gemeinsam genutzten Modells verwendet?
Sovereign AI ist wichtig, weil dadurch die Datenverarbeitung und der KI-Betrieb innerhalb festgelegter organisatorischer und rechtlicher Rahmenbedingungen bleiben. Das zugrunde liegende Modell kann zwar Technologien von Drittanbietern beinhalten, doch sollte der Anbieter darlegen, wer die Kontrolle über die Daten hat, wo die Verarbeitung stattfindet, wie der Zugriff verwaltet wird und ob Kundendaten zum Trainieren gemeinsamer Modelle verwendet werden. Der Leitfaden von DiliTrust zu privater KI für Rechtsabteilungen bietet eine nützliche Orientierungshilfe für diese Bewertung.
Der „AI Readiness Blueprint for General Counsel“ von DiliTrust bietet zudem einen umfassenderen Rahmen, um die Einführung von KI mit rechtlichen Kontrollmechanismen und geschäftlichen Prioritäten zu verknüpfen.
Ein Anbieter, der seine Datenflüsse, Verfahren zum Trainieren von Modellen, Zugriffskontrollen und Sicherheitsmaßnahmen nicht nachweisen kann, sollte keine sensiblen Rechtsunterlagen verarbeiten, bis diese Lücken behoben sind.
Der letzte Test befasst sich damit, wie der Anbieter reagiert, wenn das System versagt.
Was passiert, wenn das Tool einen Fehler macht?
Fragen Sie den Anbieter, ob das Produkt:
- Antworten bis zur Originalquelle zurückverfolgen lässt
- Benutzeraktionen und Korrekturen aufzeichnet
- Quellbasierte Antworten von generierten Vorschlägen unterscheidet
- Die Nutzer darauf hinweist, wenn Informationen fehlen oder unklar sind
- Die Korrektur oder Löschung eines fehlerhaften Ergebnisses möglicht ist
Halluzinationen von KI im Rechtsbereich können schwerwiegende Probleme verursachen, wenn ein erfundener Präzedenzfall oder eine ungenaue Zusammenfassung von Klauseln einen Entscheidungsträger erreicht. Die Datenqualität beeinflusst das Ergebnis, doch der Anbieter muss dennoch darlegen, wie die Ergebnisse erstellt und überprüft werden. Ein Rechtsteam kann nicht für Arbeit einstehen, die es nicht überprüfen kann.
Diese Fragen dienen der Bewertung des Anbieters von außen. Der General Counsel benötigt zudem einen internen Prozess, um nachzuverfolgen, welche Angaben der Anbieter gemacht hat und ob diese Angaben weiterhin zutreffend sind.
Welche Rolle der General Counsel in diesem Prozess übernimmt
Die Aufgabe des General Counsel besteht darin, die von der Organisation eingesetzte Technologie mit ihren rechtlichen, aufsichtsrechtlichen, vertraglichen und Offenlegungspflichten in Einklang zu bringen.
Das bedeutet in der Regel, dass man über drei Bedienelemente verfügen muss:
- Eine Übersicht über KI-Behauptungen: Sammeln Sie die Angaben des Anbieters, die Testbedingungen, bekannte Einschränkungen und zugelassene Verwendungszwecke an einem Ort, damit die Abteilungen für Recht, Beschaffung, Marketing und Sicherheit auf dieselbe Grundlage zurückgreifen können.
- Eine Überprüfung bei Produktänderungen: Neue Modelle, Funktionen, Unterauftragsverarbeiter oder Datenverarbeitungsverfahren können das Risikoprofil verändern. Überprüfen Sie externe Beschreibungen erneut, wenn sich das Produkt oder dessen Nutzung ändert, und vergewissern Sie sich, dass der Anbieter wesentliche Aktualisierungen mitteilt.
- Ein Verweis auf den KI-Verhaltenskodex: Der KI-Verhaltenskodex der Organisation sollte zu konkreten Fragen hinsichtlich der von den Mitarbeitern verwendeten Tools, der von ihnen verarbeiteten Daten und der weiterhin bestehenden menschlichen Kontrollmechanismen führen.
Dieser Prozess liefert dem Rechtsteam eine Dokumentation darüber, warum ein Tool ausgewählt wurde, wie es eingesetzt wird und wo seine Grenzen liegen. Außerdem erleichtert er die Pflege der Beziehung zum Anbieter, wenn sich das Produkt oder die Anforderungen des Unternehmens ändern.
Die Auswahl eines Partners bedeutet, dessen Unternehmensführung zu prüfen
Ein LegalTech-Anbieter wird Teil der Arbeitsumgebung des Rechtsteams. Seine Produktentscheidungen wirken sich auf die Qualität der juristischen Arbeit aus, seine Datenpraktiken beeinflussen das Risiko für die Organisation, und sein Umgang mit Fehlern bestimmt, wie schnell das Team reagieren kann.
Bevor Sie sich für einen Anbieter entscheiden, fragen Sie nach, ob dieser Folgendes bereitstellen kann:
- Eindeutige Dokumentation der Systemarchitektur, der Datenflüsse und der bekannten Grenzen
- Schulung der Nutzer zur Interpretation und Überprüfung der Ergebnisse
- Beachten Sie, wenn sich ein Modell, ein Merkmal, ein Unterauftragsverarbeiter oder eine Datenpraxis ändert
- Ein festgelegter Prozess zur Fehlermeldung und zum Vorfallmanagement
- Nachweis einer menschlichen Überprüfung und interne Verantwortung für die eigene KI-Governance
Ein Anbieter, der seine Kunden dazu auffordert, sich auf seine KI zu verlassen, sollte erläutern, wie er das System testet, Änderungen verwaltet, Vorfälle behandelt und seine Angaben auf dem neuesten Stand hält. Diese Antworten zeigen, ob der Anbieter den Standard versteht, dessen Einhaltung er von den Rechtsabteilungen verlangt.
Die Wahl der Technologie ist auch eine Entscheidung auf Führungsebene. Sie wirkt sich darauf aus, für welche Arbeit das Rechtsteam einstehen kann, welche Daten das Unternehmen unter Kontrolle halten kann und welche Aussagen es in der Öffentlichkeit über KI treffen darf. In einem Markt, in dem „AI-Washing“ zu regulatorischen, vertraglichen und Reputationsrisiken führen kann, gewinnt ein langfristiger Partner Vertrauen durch klare Belege, informative Aufklärung und ehrliche Antworten darauf, in welchen Bereichen menschliches Urteilsvermögen weiterhin erforderlich ist.
Häufig gestellte Fragen zu AI Washing und zur Bewertung von LegalTech-Lösungen
Welche Nachweise sollte eine Rechtsabteilung anfordern, bevor sie ein LegalTech-Tool mit KI kauft?
Fordern Sie die Testmethodik, Leistungsergebnisse für vergleichbare Dokumente, bekannte Einschränkungen, Datenflussdiagramme, Bedingungen für das Modelltraining, Zugriffskontrollen und Vorgaben für die menschliche Überprüfung an. Ein Live-Pilotprojekt mit repräsentativen, anonymisierten Arbeitsdokumenten zeigt, ob die Aussagen des Anbieters in Ihrer Umgebung Bestand haben, bevor das Tool in einem kritischen Arbeitsablauf eingesetzt wird.
Wie können Rechtsabteilungen prüfen, ob ein Anbieter Kundendaten zum Training seiner KI-Modelle verwendet?
Fordern Sie eine schriftliche Auskunft zu Modelltraining, Dienstleistern, Speicherfristen, Löschung und Produktverbesserungen an. Diese Zusage sollte im Vertrag oder in der Dokumentation zur Auftragsverarbeitung festgehalten sein und nicht nur in einer Vertriebspräsentation auftauchen. Prüfen Sie die Angaben erneut, wenn der Anbieter sein Modell oder seine Unterauftragsverarbeiter ändert.
Sind unzutreffende Marketingaussagen zu KI nach der EU-KI-Verordnung rechtswidrig?
Das hängt von der Aussage, dem System und der Rolle der Organisation ab. Artikel 50 begründet für bestimmte KI-Systeme Transparenzpflichten, die seit dem 2. August 2026 gelten. Unzutreffende Aussagen können zudem nach verbraucherschutz-, kapitalmarkt- oder vertragsrechtlichen Vorschriften rechtliche Risiken begründen. Rechtsabteilungen sollten die konkrete Nutzung und die jeweilige Aussage gemeinsam bewerten.
Meet Legal AI – Lini
Lini ist die KI, die Sie in allen Bereichen juristischer Arbeit unterstützt. Sie wurde darauf trainiert, wie ein Rechtsexperte zu denken und versteht die Nuancen von Governance, Compliance und Risikomanagement und argumentiert mit Kontext, nicht mit Annahmen.
