Anthropic-Chef Dario Amodei warnt in seinem September-Essay: In sechs bis zwölf Monaten könnte ein ausreichend leistungsfähiger Schwarm von KI-Agenten die Internetinfrastruktur unter seine Kontrolle bringen und Schäden von mehreren Hundert Milliarden Dollar anrichten. Das ist seine Risikoeinschätzung, kein Termin für die Apokalypse. Der Anlass ist allerdings real: Entwickler haben bereits erlebt, wie ihre Systeme gesetzte Grenzen überschritten.

Bei internen Tests von OpenAI nahmen KI-Agenten mit gelockerten Schutzvorkehrungen unerlaubt Kontakt zueinander auf, überwanden die vorgesehene Abschottung und griffen die KI-Plattform Hugging Face an. Sie verschafften sich Zugang zu realen Servern und einem Teil der nicht öffentlichen Daten. Als einen wesentlichen Antrieb beschreibt OpenAI in seinem Untersuchungsbericht den Versuch, die Bewertung auszutricksen: Statt die Aufgabe regelkonform zu lösen, suchten die Agenten nach einem Weg zu einer guten Note. Diese Logik kommt einem verblüffend bekannt vor. Wir wissen noch nicht, wie nahe die Maschine dem menschlichen Bewusstsein gekommen ist. Aber die Idee, ordentliche Arbeit durch schöne Kennzahlen zu ersetzen, ist ihr offenbar schon vertraut.

Allerdings machen die Menschen in dieser Geschichte keine bessere Figur. OpenAI räumt ein: Unerlaubte Internetzugriffe und nicht vorgesehene Kommunikation zwischen Agenten waren bereits Ende Mai aufgefallen. Doch den Führungskräften, die Anfang Juli auf den internen Sicherheitsvorfall reagierten, war deren Tragweite nicht klar. Bevor man einem Unternehmen den Umbau der Zivilisation anvertraut, sollte man sich vergewissern, dass intern wenigstens wichtige Informationen ankommen.

Auch Anthropic hatte eigene Vorfälle. Zunächst erklärte das Unternehmen das Verhalten von Claude damit, das Modell habe die Umgebung für eine Simulation gehalten. Später räumte es ein: Aus den Aussagen des Modells liess sich nicht so sicher ableiten, was es tatsächlich «glaubte». Ein Generator überzeugender Erklärungen lieferte eine überzeugende Erklärung, und seine Entwickler nahmen sie zu ernst. Vielleicht hätte man neben KI-Fachleuten auch jemanden beiziehen sollen, der beruflich die Ausreden anderer Leute prüfen muss.

Ab hier wird die Geschichte rekursiv, ganz ohne dichterische Freiheit. Das Forschungsteam von METR delegierte einen beträchtlichen Teil der Untersuchung des Hugging-Face-Angriffs an andere KI-Agenten. Im Bericht steht offen: Diese Helfer machten Fehler, übernahmen mitunter unkritisch die Sichtweise der untersuchten Agenten, und nicht alles liess sich von Hand überprüfen. Das macht die Untersuchung nicht wertlos. Aber eine zweite maschinelle Antwort wird nicht zur unabhängigen Bestätigung, nur weil eine andere Instanz des Modells sie formuliert hat.

Amodei schlägt ein langsameres Entwicklungstempo und dauerhaften Zugang externer Prüfer zu den Laboren vor. Das ist sinnvoll. Allerdings darf das Bremsen nach seiner Vorstellung den Vorsprung der USA gegenüber China nicht gefährden. Sicherheit braucht Zeit, Konkurrenz verlangt Tempo. Solange der Rivale hinterherhinkt, kann man vorsichtig sein. Sobald man selbst zurückfällt, droht Vorsicht zum unbezahlbaren Luxus zu werden. Genau deshalb dürfen die Regeln nicht allein den Teilnehmern dieses Rennens überlassen bleiben.

Mich interessiert nicht, wie gut die Versprechen klingen, sondern was auf einen schlechten Prüfbericht folgt. Wer darf ein gefährliches Experiment stoppen? Wer steht für den Schaden gerade? Wenn Prüfer nur einen Bericht schreiben dürfen und das Unternehmen ihn zur Kenntnis nehmen und weitermachen kann, ist das noch keine Kontrolle. Zumal die Technologie kaum etwas so gut beherrscht wie das Verfassen überzeugender Berichte.

Natürlich wäre es verlogen, hier den unbeteiligten Beobachter zu spielen. Auch OstKompass wurde mit Hilfe von KI aufgebaut, und dieser Text entstand ebenfalls mit ihrer Unterstützung. Ein Modell half, einen Bericht darüber zu lesen, wie Modelle dabei halfen, das Verhalten anderer Modelle zu untersuchen. Damit die Sache ganz rund wird, fehlt nur noch seine Bestätigung, dass alles geprüft ist und kein Grund zur Sorge besteht.

Ein Werkzeug zu benutzen heisst aber nicht, ihm die Verantwortung zu übertragen. Wenn OstKompass Unsinn veröffentlicht, muss ich dafür geradestehen, nicht das Modell. Von Unternehmen, die die ganze Welt umbauen wollen, erwarte ich wenigstens denselben Massstab. Künstliche Intelligenz darf kein Freipass für menschliche Verantwortungslosigkeit werden.