Halluzinationen sind ein Feature, kein Bug: Warum KI niemals aufhören wird, sich Dinge auszudenken 

Und hier ist der Grund, warum Halluzinationen dauerhaft sind: KI ist darauf ausgelegt, Antworten zu finden. Das ist kein Konstruktionsfehler, sondern genau das, wofür sie konzipiert ist. Sie wurde nach dem Prinzip trainiert, dass eine Antwort erforderlich ist, und sie wird eine generieren. Wenn die Daten keine vollständige Antwort zulassen, hält das Modell nicht inne und sagt: „Ich weiß es nicht.“ Es füllt die Lücke. Es ist von Natur aus unfähig, mit Unsicherheit umzugehen, wie es ein vorsichtiger menschlicher Experte tun würde – einer, der sagt: „Lass mich das erst überprüfen, bevor ich meinen Namen darunter setze.“ Und bevor mir jemand entgegenhält: „Na ja, man muss die KI eben so trainieren, dass sie sich nichts ausdenkt“, sollte man wissen, dass genau diese Aussage der springende Punkt ist.

Kein noch so umfangreiches zusätzliches Training kann diesen Drang, eine Antwort zu geben, beseitigen. Man kann ihn zwar einschränken, anders gewichten, Leitplanken einbauen, die richtige Antwort überprüfen und der KI beibringen. Aber all das erfordert menschliches Eingreifen, und die zugrunde liegende Architektur ist darauf ausgerichtet, Lösungen zu finden. Immer.

Denken Sie darüber nach, was Verantwortlichkeit tatsächlich erfordert. Sie erfordert Konsequenzen – sowohl positive als auch negative –, die stark genug sind, um besseres, durchdachtes Verhalten zu motivieren. Ein Anwalt, der erfundene Rechtsprechung zitiert, muss mit Sanktionen, Beschwerden bei der Anwaltskammer und dem beruflichen Ruin rechnen. Ein Arzt, der aufgrund einer Vermutung statt aufgrund von Beweisen eine Fehldiagnose stellt, muss mit einem Behandlungsfehler rechnen. Auch ein Mitarbeiter, der bei der Arbeit Abstriche macht, muss mit einer Kündigung rechnen. Konsequenzen prägen das Verhalten. Sie schaffen die Voraussetzungen dafür, dass Urteilsvermögen sorgfältig eingesetzt wird.

KI kennt nichts davon. Sie kann nicht entlassen werden. Sie kann nicht sanktioniert werden. Sie kann weder finanzielle Schwierigkeiten noch berufliche Blamagen erleben. Sie hat, wie man so schön sagt, nichts zu verlieren. Ihre Ergebnisse sind nicht an irgendeine Form des Fortbestands oder des Wohlergehens gebunden. Sie ist darauf trainiert, Antworten zu liefern und das wird sie auch tun, selbst wenn sie die entsprechenden Belege dafür erst erfinden muss.

Denken Sie einmal darüber nach, was mit jedem System passiert, wenn man Konsequenzen aus der Gleichung herausnimmt. Die Qualität verschlechtert sich. Wenn es Ihnen egal ist, ob ein Gericht Ihre Argumentation für glaubwürdig hält, warum sollten Sie dann die Lücken nicht mit plausibel klingenden Zitaten füllen? Wenn es keine Strafe für eine falsche Antwort gibt, warum sollte man dann überhaupt zögern? Der Fall bei Sullivan & Cromwell handelt nicht von einem unachtsamen Werkzeug. Es ist die Geschichte eines Systems, das genau das tut, wozu es geschaffen wurde. In einem Kontext, in dem die Konsequenzen eines Fehlers vollständig bei einem Menschen liegen, der nicht aufmerksam genug war. Das ist ein Beispiel für menschliches Versagen, nicht für ein Versagen der Technologie.

Das sage ich so oft, dass meine Kollegen den Satz mittlerweile für mich zu Ende sprechen. Und ich komme immer wieder darauf zurück, wenn ich über KI nachdenke, denn es ist meiner Meinung nach der klarste Weg, um zu verstehen, was KI leisten kann und was nicht.

Urteilsvermögen ist die Fähigkeit, gegensätzliche Überlegungen abzuwägen, den Kontext zu berücksichtigen, Mehrdeutigkeiten zu berücksichtigen und zu einer Entscheidung zu gelangen, hinter der man stehen kann. In dem Wissen, dass man die Verantwortung für das Ergebnis trägt. Ein Prozess ist eine wiederholbare, strukturierte Abfolge von Schritten, die einen zuverlässig vom Input zum Output führt. Urteilsvermögen lässt sich nicht vermitteln. Ein Prozess hingegen schon.

KI ist bei der Bearbeitung von Prozessen wirklich außergewöhnlich gut. Algorithmusgestützte, auf große Datenmengen ausgerichtete Aufgaben der Mustererkennung sind ein echter Kraftmultiplikator, wenn man sie richtig einsetzt. Der Fehler, den wir immer wieder machen, besteht darin, dies als eine Einschränkung zu betrachten, die es zu überwinden gilt, anstatt es als eine klar definierte Fähigkeit zu sehen, die man sinnvoll nutzen kann.

Das richtige Denkmodell für die Arbeit mit KI lautet nicht „Vertrauen“, sondern „Überprüfen“. Es geht darum, Zeit beim Erstellen zu sparen, damit Sie mehr Zeit für die Prüfung aufwenden können. Lagern Sie die Arbeiten aus, die ein hohes Arbeitsvolumen, hohen Aufwand und geringen Mehrwert mit sich bringen. Automatisieren Sie das, was wirklich automatisierbar ist. Nutzen Sie KI, um den ersten Entwurf, die Zusammenfassung oder den ersten Überblick zu erstellen und lassen Sie das Ganze anschließend von einer Person überprüfen, die ein persönliches Interesse daran hat.

Was mich an vielen Diskussionen über KI-Fähigkeiten frustriert, ist Folgendes: Wir versuchen immer wieder, Probleme zu lösen, die bereits gelöst sind.

Zeitliche Intelligenz – die Fähigkeit, den Verlauf der Echtzeit zu verfolgen – gibt es bereits. Man nennt sie „Uhr“. Ein einfaches Modell kostet weniger als eine Tasse Kaffee. Und dennoch gibt es ernsthafte Leute, die erhebliche Ressourcen investieren, um einem großen Sprachmodell beizubringen, wie man die Zeit für einen Meilenlauf misst. Das ist doch mal eine echte Rube-Goldberg-Maschine!

Das allgemeine Muster ist immer dasselbe. Wir nehmen etwas, das leistungsstark, rechenintensiv und für komplexe Aufgaben wirklich nützlich ist und drängen es in einen Bereich, in dem ein einfaches, kostengünstiges und zuverlässiges Tool die Aufgabe bereits erfüllt. Warum? Weil wir von den Möglichkeiten so geblendet sind, dass wir nicht aufhören können, es mit Aufgaben zu überhäufen, für die es gar nicht benötigt wird.

Es gibt einen Begriff dafür, was passiert, wenn man ein Produkt vorschnell in den Massenmarkt drängt, bevor es bereit ist – in Märkte und für Anwendungsfälle, für die es gar nicht konzipiert wurde. Cory Doctorow hat diesen Begriff geprägt: „Enshittification“. Die Technologie verliert an Nutzen, die Erwartungen verzerren sich, und die eigentlichen Fähigkeiten gehen unter einem Berg schlechter Implementierungen unter.

Wir wenden dies in Echtzeit auf KI an. Und diejenigen, die den Preis dafür zahlen werden, sind diejenigen, die sie für weitreichende Entscheidungen nutzen, ohne zu verstehen, womit sie es eigentlich zu tun haben.

In „Die Unglaublichen“ gibt es eine Szene, in der das Baby Jack-Jack plötzlich Superkräfte entwickelt und niemand in seiner Umgebung weiß so recht, wie man damit umgehen soll, da er selbst noch nicht weiß, wie er sie kontrollieren kann. Er ist unglaublich mächtig, völlig unberechenbar und noch lange nicht bereit, seine Kräfte einzusetzen.

So sieht KI derzeit aus.

Das Potenzial ist real. Die Einblicke in die Leistungsfähigkeit sind wirklich beeindruckend. Aber wir verfügen nicht über die Infrastruktur, um die Nachfrage zu decken, die wir bereits erzeugen. Allein der Energiebedarf ist atemberaubend und wir sind noch weit von einer nachhaltigen Lösung entfernt. Uns wird ein Produkt verkauft, das in vielerlei Hinsicht noch dabei ist, herauszufinden, was es eigentlich ist. Und das Geschäftsmodell, um es dorthin zu bringen, besteht darin, so viele Menschen wie möglich davon zu überzeugen – oder dazu zu zwingen –, es jetzt zu nutzen, damit es aus ihren Interaktionen lernen und schließlich zu dem werden kann, als das es bereits vermarktet wird.

Es ist schon seltsam, von den Leuten zu verlangen, sich daran zu beteiligen, vor allem, wenn die Folgen der Fehler auf den Menschen und nicht auf das Tool zurückfallen.

Das bedeutet keineswegs, dass sich der Einsatz von KI nicht lohnt. Ganz im Gegenteil, in den richtigen Kontexten, mit der richtigen Überprüfung und für die richtigen Aufgaben ist sie absolut sinnvoll.

Wir sollten aufhören, darauf zu warten, dass KI ein Urteilsvermögen entwickelt, das sie niemals haben wird, und aufhören, von ihr zu erwarten, dass sie auf eine Weise Rechenschaft ablegt, die strukturell unmöglich ist. Wir sollten aufhören, uns zu wundern, wenn sie Halluzinationen hat, und aufhören, jede Halluzination als Beweis für eine Lücke zu betrachten, die eines Tages geschlossen werden wird.

Die beiden Erkenntnisse, die mir immer wieder in den Sinn kommen, sind ganz einfach: Man kann Vorgehensweisen vermitteln, aber nicht das Urteilsvermögen. Und KI kann nicht zur Verantwortung gezogen werden, da sie ein Werkzeug ist und keine Person.

Wenn man diese beiden Punkte ernst nimmt, wird der Rest des Gesprächs viel klarer. KI gehört in die Prozessebene: Aufbereiten, Zusammenfassen, Strukturieren, Entwerfen, Überfliegen, Sortieren. Menschen gehören in die Entscheidungsebene: Entscheiden, Validieren, Verantwortung für das Ergebnis übernehmen, sich den Konsequenzen stellen.

Halluzinationen lassen sich nicht einfach aus der Welt schaffen. Aber sie müssen nicht unbedingt das Problem sein. Das Problem besteht darin, ein für Abläufe entwickeltes Tool als Ersatz für das eigene Urteilsvermögen zu nutzen und sich dann zu wundern, wenn niemand den Preis dafür zahlt, dass man sich geirrt hat.

Es gibt immer jemanden, der das tut. Nur ist es nicht die KI.