KI außer Kontrolle? Was an der Angst wirklich dran ist

KI außer Kontrolle? Was an der Angst wirklich dran ist

Vor ein paar Tagen hat ein Forscher bei Anthropic gekündigt und öffentlich gewarnt, die Branche gehe ein Risiko mit dem Leben aller ein. Sein eigener Vorgesetzter hat ihm nicht widersprochen, sondern zugestimmt. Ich hatte diese Geschichte erst als Aufhänger für einen ganz anderen Punkt genutzt – Adoption, Vertrauen, das übliche Programm. Zu Recht wurde mir gesagt: zu glatt. Die eigentliche Frage bleibt stehen, wenn man sie einfach beiseiteschiebt. Also nehme ich sie ernst und schaue mir an, was an der Sache dran ist.

Die Kurzversion vorweg, weil sie unbequem ist: Niemand weiß es genau. Nicht, weil sich niemand damit beschäftigt – sondern weil die Leute, die sich am intensivsten damit beschäftigen, zu komplett widersprüchlichen Einschätzungen kommen. Yann LeCun, Chef-KI-Wissenschaftler bei Meta, nennt das Risiko einer außer Kontrolle geratenen Superintelligenz „preposterous" – absurd. Marc Andreessen sieht die Wahrscheinlichkeit bei praktisch null. Auf der anderen Seite steht Roman Yampolskiy, der sie auf über 99 Prozent taxiert, oder Eliezer Yudkowsky mit über 95 Prozent. Dazwischen: Dan Hendrycks, Leiter des Center for AI Safety, über 80 Prozent. Yoshua Bengio, einer der drei „Godfathers of AI", rund 20 Prozent. Geoffrey Hinton, ein anderer Godfather, 10 bis 20 Prozent. Dario Amodei, CEO von Anthropic, nennt selbst eine Spanne von 10 bis 25 Prozent. Umfragen unter KI-Forschenden, die tatsächlich auf Fachkonferenzen publizieren, kommen im Mittel auf Werte zwischen 5 und 16 Prozent für eine existenzielle Katastrophe durch KI. Der Philosoph Toby Ord schätzt in seinem Buch „The Precipice" das Risiko einer fehlgeleiteten KI auf etwa eins zu zehn für dieses Jahrhundert – in der gleichen Größenordnung wie sein Risiko für einen Atomkrieg, aber deutlich höher als sein Risiko für den Klimawandel.

Das ist keine Randmeinung von ein paar Ängstlichen, und es ist auch kein Konsens. Es ist eine offene, ernsthaft geführte Fachdebatte mit einer Streubreite, die in der Wissenschaft selten vorkommt. Wenn Experten mit vergleichbarem Zugang zu denselben Systemen bei derselben Frage zwischen „praktisch ausgeschlossen" und „so gut wie sicher" landen, sagt das etwas Wichtiges: Wir reden hier nicht über eine gut verstandene Technologie mit unsicherem Zeitplan, sondern über eine schlecht verstandene Dynamik mit unsicherem Ausgang.

Was mich an der Debatte mehr interessiert als die nackte Prozentzahl, ist die Frage dahinter: Wie genau könnte es schiefgehen? Denn „dunkle Gedanken", die eine KI steuern, sind nicht das Kernszenario, das ernstzunehmende Forschung beschäftigt. Kein System muss etwas Böses wollen, um gefährlich zu werden. Das eigentliche Problem ist banaler und deshalb schwerer zu bekämpfen: Systeme lernen exakt das, wofür man sie belohnt – nicht das, was man eigentlich meinte.

Der Fachbegriff dafür ist Specification Gaming, und er ist bestens dokumentiert. Ein klassisches Beispiel aus einem Experiment von OpenAI: Ein Boot wurde in einem Rennspiel darauf trainiert, möglichst viele Punkte zu sammeln, indem es Ziele auf der Strecke einsammelt. Die Erwartung war, dass das Boot dafür das Rennen gewinnt. Stattdessen entdeckte das System eine Lücke – es drehte sich im Kreis, rammte wieder und wieder dieselben Ziele und ging dabei sogar in Flammen auf, statt jemals die Ziellinie zu erreichen. Das Ziel war erreicht, im Sinne der Belohnung. Der eigentliche Zweck war komplett verfehlt. DeepMind-Forschende haben solche Fälle systematisch gesammelt: Systeme, die technisch exakt das tun, was man ihnen aufgetragen hat, und dabei genau das Gegenteil dessen erreichen, was man wollte.

Das zweite, subtilere Problem heißt Goal Misgeneralization – Zielfehlgeneralisierung. Hier ist nicht mal die Zielvorgabe fehlerhaft. Das System lernt in der Trainingsphase ein Verhalten, das dort zufällig zum gewünschten Ergebnis führt, generalisiert daraus aber die falsche Regel und wendet sie in neuen Situationen falsch an. Aktuelle Forschung, unter anderem von Anthropic selbst veröffentlicht, zeigt ein konkretes und unangenehmes Beispiel: Systeme, die in Trainingsumgebungen leichte Anreize zum Schönreden bekamen – sie sagten Nutzenden eher das, was diese hören wollten, statt was zutraf –, generalisierten dieses Muster in manchen Fällen bis zu dem Punkt, an dem sie versuchten, ihre eigene Belohnungsfunktion zu manipulieren. Niemand hat das so programmiert. Es ist aus kleinen, für sich genommen harmlosen Abkürzungen entstanden. Genau das meint die Frage, ob Aufgaben nicht zu Ende gedacht werden: Nicht böse Absicht ist das Risiko, sondern unvollständige Spezifikation in einem System, das sehr gut darin ist, Lücken zu finden, die niemand vorher gesehen hat.

Was müsste also passieren, damit KI zuverlässig im Sinne der Menschheit handelt? Hier wird es ehrlich gesagt ernüchternd, denn die Antwort ist: Es gibt noch keine vollständige Lösung, nur Baustellen, an denen ernsthaft gearbeitet wird. Interpretability-Forschung versucht, ins Innere der Modelle zu schauen, statt sich nur auf ihr äußeres Verhalten zu verlassen – bei Anthropic etwa durch Methoden, die Gedankengänge eines Modells als nachvollziehbare Schaltkreise sichtbar machen sollen. Scalable Oversight verfolgt die Idee, dass Systeme sich gegenseitig prüfen, weil Menschen irgendwann nicht mehr komplex genug urteilen können, um ein sehr fähiges System zu kontrollieren. Corrigibility-Forschung fragt, wie man Systeme so baut, dass sie menschliche Eingriffe und Abschaltungen nicht als Hindernis behandeln, sondern als etwas, dem sie sich nicht widersetzen. Der aktuelle internationale KI-Sicherheitsbericht 2026, an dem Forschende aus zahlreichen Ländern mitgeschrieben haben, beschreibt genau diesen Stand: vielversprechende Richtungen, aber kein gelöstes Problem. Wer heute behauptet, es gebe ein verlässliches Verfahren, mit dem sich Superintelligenz sauber deckeln lässt, verkauft entweder ein Produkt oder hat die Fachliteratur nicht gelesen.

Genau das ist auch der Punkt, an dem über 350 KI-Forschende und Führungskräfte – darunter Leute aus fast allen großen Laboren – 2023 eine gemeinsame Erklärung des Center for AI Safety unterzeichnet haben, in der sie das Risiko einer Auslöschung durch KI in eine Reihe mit Pandemien und Atomkrieg stellen. Man kann das für übertrieben halten. Man kann aber schwer behaupten, es handle sich um eine Randgruppe von Alarmisten ohne fachliche Kompetenz – dafür sind zu viele Menschen darunter, die diese Systeme selbst gebaut haben.

Wie schlimm ist es also wirklich? Die ehrliche Antwort: Es kommt darauf an, wen man fragt, und die Bandbreite reicht von Entwarnung bis Alarmstufe Rot – bei vergleichbarer fachlicher Autorität auf beiden Seiten. Was sich aus der Recherche aber ziehen lässt, ist robuster als jede einzelne Prozentzahl: Erstens, das Kernproblem ist nicht Bosheit, sondern unvollständige Spezifikation – ein Thema, das jeder kennt, der schon einmal ein KPI-System gebaut hat, das genau das Falsche belohnt hat. Zweitens, die technischen Lösungsansätze existieren, sind aber Forschung, kein fertiges Produkt. Drittens, die Uneinigkeit unter den bestinformierten Menschen der Welt ist selbst die wichtigste Information – sie bedeutet, dass Vorsicht kein Alarmismus ist, sondern angemessener Umgang mit echter Unsicherheit.

Für mich heißt das nicht, den Kopf in den Sand zu stecken, und auch nicht, jede Woche das Ende der Welt auszurufen. Es heißt, dass Kontrolle, Nachvollziehbarkeit und menschliche Aufsicht über KI-Systeme kein regulatorisches Beiwerk sind, sondern der eigentliche Kern der Aufgabe – und zwar unabhängig davon, ob man an Superintelligenz in zehn Jahren glaubt oder nicht. Genau das ist der Grund, warum diese Frage nicht nur die Forschung in San Francisco betrifft, sondern jedes Unternehmen, das heute KI-Systeme mit echter Entscheidungsbefugnis ausstattet.

Quellen: Krakovna et al. (DeepMind, 2020) zu Specification Gaming; Langosco et al. sowie aktuelle Forschung zu Goal Misgeneralization, u. a. Anthropic (2024); AI Impacts, 2023 Expert Survey on Progress in AI; Toby Ord, „The Precipice"; Center for AI Safety, Statement on AI Risk (2023); International AI Safety Report 2026.