KI entwickelt sich immer weiter und ist Teil der meisten unserer täglichen Arbeitsmittel. Was sowohl Vorteile als auch Herausforderungen mit sich bringt. Eine davon ist die KI-Rechenschaftspflicht (AI Accountability). Ein Konzept, das eine grundsätzliche Frage aufwirft: Wer sollte für die Ergebnisse der KI-Technologie verantwortlich gemacht werden, ob gut oder schlecht.
Die Erwartungen an Juristen und General Counsel sind hoch. Von ihnen wird erwartet, dass sie ihre KI-Kenntnisse unter Beweis stellen und neben anderen Abteilungen wie der IT-Abteilung als Hüter der Unternehmensrisiken fungieren.
Die Gerichte ziehen eine klare Grenze: Wenn das System Vorgaben macht und der Mensch hauptsächlich die Ergebnisse bestätigt, wird die Aufsicht verfahrenstechnisch und nicht inhaltlich, und das ist kein Schutz. Angesichts des KI-Gesetzes in der EU und zunehmender staatlicher Vorschriften, die diesen Wandel widerspiegeln, muss sich der General Counsel auf die Arbeit mit KI vorbereiten. In diesem Artikel erfahren Sie, was der General Counsel wissen muss.
Was ist KI-Rechenschaftspflicht?
KI-Rechenschaftspflicht ist der Grundsatz, dass Menschen und nicht Maschinen die rechtliche und operative Verantwortung für KI-Ergebnisse tragen. Die wichtigsten Fragen, die gestellt werden und auf die es klare, verfügbare Antworten geben sollte, sind:
Der Begriff fand Anfang der 2020er Jahre Eingang in den Mainstream-Diskurs, als sich die KI branchenübergreifend ausbreitete. Im Gegensatz zu Transparenz (Offenlegung der Funktionsweise von KI) oder Ethik (Definition dessen, was getan werden sollte) stellt die KI-Rechenschaftspflicht sicher, dass jemand zur Rechenschaft gezogen werden kann, wenn etwas schief läuft. Es ist das Kontrollsystem, das die KI-Governance von der Politik zur Praxis macht.
Die regulatorische Realität: KI-Rechenschaftspflicht ist jetzt Pflicht
Das regulatorische Umfeld für KI-gestützte Technologien verändert sich. In den meisten Regionen der Welt werden neue Regeln oder Empfehlungen durchgesetzt:
- Die Europäische Union hat mit dem KI-Gesetz den ersten umfassenden KI-Rechtsrahmen geschaffen und setzt ihn ab 2024 in Kraft.
- In den Vereinigten Staaten berichten die American Bar Association und das NIST laufend über bewährte Praktiken und Leitlinien für das KI-Management.
- Außerdem werden 2024 allein in den USA 131 Bundesstaaten KI-Gesetze erlassen, was mehr als eine Verdoppelung gegenüber dem Vorjahr bedeutet.
Insgesamt sind die Gerichte bereit, nicht nur die Anbieter, sondern auch die Anwender von KI-Technologien zur Verantwortung zu ziehen. Wenn etwas schief geht, sind die Menschen verantwortlich, die das System genehmigt, eingesetzt oder genutzt haben. Dies gilt auch für den General Counsel eines Unternehmens.
Aber hier ist die entscheidende Erkenntnis: Laut den Ergebnissen von AuditBoard & Panterra Research nennen 44 % der GRC-Fachleute die unklare KI-Verantwortlichkeit als größtes Hindernis für eine wirksame Governance. Das Problem liegt nicht nur in den Tools selbst, sondern auch in den Eigentumsverhältnissen. Wenn die Verantwortlichkeit unklar ist, wird die KI-Governance eher zu einem Kontrollkästchen für die Einhaltung der Vorschriften als zu einem operativen Vorteil. Wenn die Verantwortlichkeit jedoch klar definiert ist, wird die KI-Verantwortlichkeit zu einem Rahmen, der den Rechtsabteilungen hilft, effektiver mit KI zu arbeiten und so die gesetzliche Verpflichtung in eine strategische Fähigkeit zu verwandeln.
Die KI-Rechenschaftspflicht geht einen Schritt weiter als die reine Zuständigkeitsfrage: Nicht nur wer verantwortet KI-Entscheidungen, sondern kann die Organisation nachweisen, wie sie zustande kommen? Dokumentiert, überprüfbar, erklärbar. Wenn diese Rechenschaftspflicht klar verankert ist, wird KI-Governance zu einem Rahmen, der Rechtsabteilungen hilft, effektiver mit KI zu arbeiten und die gesetzliche Verpflichtung in eine strategische Fähigkeit verwandelt.
Jede KI-Implementierung sollte in der Lage sein, die folgenden fünf Fragen vor der Inbetriebnahme zu beantworten, nicht danach
Fünf Fragen zur Rechenschaftspflicht bei KI
Sobald ein KI-System eingesetzt wird, sollte es immer eine Antwort auf die folgenden Fragen geben. Dies setzt natürlich voraus, dass sich das Unternehmen (und nicht nur der GC) vor der Einführung Gedanken darüber gemacht hat und während des gesamten Lebenszyklus des Tools eine kontinuierliche Überwachung durchführt:
Wer hat sie genehmigt?
Jedes System braucht eine verantwortliche Person und eine dokumentierte Genehmigung. Ein KI-Inventar ist die Voraussetzung, denn man kann nicht regieren, was man nicht sehen kann. Das KI-Inventar dient als Verzeichnis aller KI-Systeme (Tools und Modelle), die im gesamten Unternehmen eingesetzt werden, und ihrer jeweiligen Eigentümer.
Welche Daten hat sie berührt?
Bewährte Praxis – und nach dem KI-Gesetz eine gesetzliche Verpflichtung – ist die Prüfung von KI-Systemen mit hohem Risiko auf Verzerrungen in ihren Trainingsdaten. Unter bestimmten Umständen, wie z. B. im Rahmen des EU AI Act, ist dies eine Anforderung. Für rechtliche KI (Legal AI), die auf historische Dokumente trainiert wurde, bedeutet dies, dass sie auf kodierte juristische, demografische oder rechtswissenschaftliche Verzerrungen geprüft werden muss. Data Governance ist keine zusätzliche Verwaltungsarbeit, sondern das Kontrollsystem für Unternehmensrisiken.
Welchen Schaden könnte sie anrichten?
Allein im Jahr 2024 wurden 233 Vorfälle im Zusammenhang mit KI gemeldet, was einem Anstieg von 56 % entspricht. Anstatt zu fragen, ob ein Tool Schaden anrichten könnte, sollten Sie davon ausgehen, dass es das kann, und es vor dem Einsatz testen. Dies ist eine ständige Überwachungsverpflichtung, keine einmalige Überprüfung. Wie wird sie überwacht?
Ob verpflichtend oder nicht, dies ist eine gängige Best Practice, da sich Systeme mit der Zeit verändern. Die Ereignisprotokollierung und die laufende Überwachung ermöglichen es den Teams, eine genaue Dokumentation zu führen, die Fehler rechtfertigt und erklärt, wenn sie auftreten. Nach dem KI-Gesetz müssen Protokolle mindestens sechs Monate lang aufbewahrt werden. Prüfpfade zur Wahrung der Vertraulichkeit sind für Rechtsabteilungen von entscheidender Bedeutung.
Wer antwortet, wenn es scheitert?
Die Haftung des Anbieters kann nicht vollständig übertragen werden. In den USA machen die Gerichte die Bereitsteller unabhängig von den Haftungsausschlüssen der Anbieter haftbar. Im Rahmen der EU-Rechtsprechung schafft der AI Act eine eindeutige Haftung: Anbieter tragen die Hauptverantwortung, Bereitsteller die Nebenverantwortung gemäß Artikel 26. Die Geldstrafen können bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes betragen. Für Rechtsabteilungen ist das Paradoxon der Rechte real: Protokollierungsanforderungen können Prüfpfade in auffindbare Aufzeichnungen verwandeln, wenn die Governance nicht von Anfang an mit einem Schutz der Rechte ausgestattet ist.
Auch bei Misserfolgen muss der General Counsel vorangehen. Auch wenn KI-Governance eine Teamleistung ist, wird vom General Counsel erwartet, dass er an der KI-Verantwortung und Rechenschaftspflicht arbeitet, indem er einige Regeln und bewährte Verfahren befolgt.
Was KI-Rechenschaftsplficht für den General Counsel bedeutet
Die ACC-Umfrage 2026 unter Chief Legal Officers ergab, dass 47 % der CLOs sagen, dass ihre CEOs von ihnen erwarten, dass sie KI-Kenntnisse als wichtigste Fähigkeit entwickeln. Jetzt, da die KI-Governance in den Verantwortungsbereich der Führung fällt, ist der GC zu ihrem Anker geworden.
Die KI-Rechenschaftspflicht ist der Mechanismus, der Konsequenzen zuweist, wenn Dinge scheitern oder schief laufen, und um dies zu erreichen, müssen Organisationen nun Governance-Strukturen für dieses Prinzip aufbauen, für das es keinen wirklichen Präzedenzfall gibt.
Die gute Nachricht ist, dass dies ein weiterer Beweis dafür ist, dass die KI nicht dazu da ist, den Menschen zu ersetzen. Sie erzwingt lediglich einen Ansatz, der die dringend benötigte menschliche Rolle bei der Entscheidungsfindung und Rechenschaftspflicht stärkt. Wie Rupali Patel Shah, Head of Legal Solutions bei DiliTrust, in einem kürzlich erschienenen Artikel feststellte, „es scheint offensichtlich zu sein, aber irgendwie geht es im Lärm unter: KI kann nicht zur Rechenschaft gezogen werden – nicht rechtlich, nicht ethisch, nicht operativ.“
Letztlich kann KI keine Entscheidungen allein treffen; das tun Menschen. Der von einem KI-System verursachte Schaden ist immer auf eine menschliche Entscheidung zurückzuführen: welche Daten verwendet werden, welcher Anwendungsfall zugelassen wird, welche Aufsicht implementiert wird.
Zu den neuen Aufgaben des General Counsel gehören:
Die Verantwortung und Rechenschaftspflicht für KI liegt nicht bei einer einzelnen Abteilung. Sie wird gemeinsam von Kontrollgremien, IT, Compliance und den Geschäftsbereichen getragen. Doch dort, wo noch keine Governance-Strukturen bestehen, muss der General Counsel die Initiative ergreifen. Denn wenn etwas schiefgeht, werden Aufsichtsbehörden nicht fragen, ob Sie das Risiko vorhergesehen haben. Sondern ob Sie Entscheidungen dokumentiert, Prüfpfade lückenlos geführt und wirksame Kontrollen etabliert haben. Rechtliche Vertretbarkeit bemisst sich am Prozess, nicht an der Prognose.
KI erweitert die juristische Funktion, sie ersetzt sie nicht. Was den Wert der Rechtsabteilung ausmacht, ist das, was KI nicht replizieren kann: fundiertes Urteilsvermögen, Mut und vertrauensvolle Beziehungen. 63 % der CLOs erwarten, dass die Zahl der Mitarbeiter stabil bleibt, während sie KI zur Steigerung der Effizienz einsetzen – denn die Arbeit verschwindet nicht, sie entwickelt sich weiter.
KI-Rechenschaftspflicht ist keine Last. Es ist eine Chance, die Rolle der Rechtsprechung neu zu definieren. Gerade in einer Zeit, in der sich die Technologie schneller entwickelt als die Präzedenzfälle.
