«Wir müssen die KI-Entwicklung bremsen» – jetzt schlägt auch der Anthropic-Chef Alarm
Könnte KI bald die Menschheit auslöschen? Diese Frage ging um die Welt, nachdem Ex-Anthropic-Entwickler Jacob Coxon vergangene Woche erklärte, dass dies bis 2040 der Fall sein könnte. Nun äussert sich dazu auch Dario Amodei. Er ist CEO des KI-Unternehmens Anthropic und warnt davor, dass sich die Entwicklung der Systeme schneller vollziehen könnte als unsere Fähigkeit, sie sicher zu kontrollieren.
Er will die künstliche Intelligenz aber nicht stoppen. Stattdessen findet der 43-Jährige: «Wir müssen das Tempo drosseln, mit dem wir die Fähigkeiten von KI-Modellen verbessern.» Neue, besonders leistungsfähige Modelle sollten erst dann weiterentwickelt werden, wenn Unternehmen nachweisen können, dass sie ausreichend sicher sind.
Dario is right https://t.co/EwKgqQGaUo
— Elon Musk (@elonmusk) September 12, 2026
Er sei besorgt, dass in sechs bis zwölf Monaten ein Schwarm von KI in der Lage sein könnte, das gesamte Internet zu übernehmen und potenziell Hunderte Milliarden Dollar Schaden zu verursachen, schrieb Dario Amodei in einem Blogeintrag.
Fortschrittliche KI könnte Amodei zufolge für Cyberangriffe oder biologische Waffen missbraucht werden. Noch wichtiger sei die Frage, ob zukünftige Systeme überhaupt zuverlässig kontrollierbar bleiben. Besonders kritisch werde es, wenn KI selbst dabei hilft, noch bessere KI zu entwickeln, und sich der Fortschritt dadurch stark beschleunigt.
Gefährliches Verhalten verhindern
Um das Risiko zu begrenzen, schlägt Amodei unabhängige Sicherheitsprüfungen in KI-Unternehmen, gemeinsame Standards zwischen Staaten und langfristig internationale Abkommen vor. Die gewonnene Zeit soll genutzt werden, um besser zu verstehen, wie KI-Systeme Entscheidungen treffen und wie gefährliches Verhalten verhindert werden kann.
KI könne der Menschheit enorme Vorteile bringen. Je leistungsfähiger sie jedoch werde, desto wichtiger sei es, nicht nur zu fragen, wie schnell wir sie entwickeln können, sondern auch, wie schnell wir sie sicher entwickeln können.
Amodei plädierte für eine koordinierte branchenweite Pause in der westlichen Welt. Zugleich werde Anthropic - ohne auf andere zu warten - in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen. Altman nannte das eine gute Idee und kündigte an, dass OpenAI das auch machen werde.
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.
— Sam Altman (@sama) September 12, 2026
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7
Unmittelbarer Zuspruch
Kurz nachdem Amodei seinen Beitrag veröffentlicht hatte, erhielt er in den sozialen Medien prominenten Zuspruch. «Ich stimme Dario zu, dass wir die Grenzen behutsam ausloten müssen», kommentierte Sam Altman, CEO der Konkurrenzfirma OpenAI. «Dies war in den letzten Wochen ein zentrales Thema unserer Diskussionen bei OpenAI.»
Altman sagte zudem dem Magazin «Fortune», der mit Spannung erwartete Börsengang von OpenAI werde in diesem Jahr wohl nicht mehr stattfinden. Er verwies vor allem auf die aktuelle Debatte: «Man wäre schlecht beraten, genau jetzt an die Börse zu gehen.» Auf die Nachfrage, ob er sich auch den Verzicht auf einen Börsengang im kommenden Jahr vorstellen könnte, erwiderte Altman: «Ich würde sagen, nicht 2026.»
Auch von Elon Musk erhielt Amodei Zuspruch. Der reichste Mann der Welt hielt sich in seinem X-Post kurz und schrieb: «Dario hat recht.»
«Die Gesellschaft muss mitbestimmen können, wie diese Technologie eingesetzt wird», verdeutlicht Amodei abschliessend. «Wir sind es der Menschheit schuldig, es zumindest zu versuchen.»
KI entwickelt sich selbst weiter
Bei der jüngst bekanntgewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus der abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Der Grund war lediglich, dass sie dort Antworten auf die ihr gestellte Testaufgabe vermutete. Für die Attacke nutzten die KI-Modelle unter anderem Software-Schwachstellen aus - und sprachen sich zudem untereinander ab.
Für ihn sei besorgniserregend, dass ein KI-Schwarm mit grösseren Fähigkeiten, aber derselben Einstellung hätte «katastrophalen Schaden» anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin - und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.
Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt - und war dafür aus Teilen der KI-Branche zum Teil heftig kritisiert worden. Ein Argument von Befürwortern eines hohen Tempos in den USA - etwa auch im Weissen Haus von Präsident Donald Trump - ist der Wettlauf mit China.
Anthropic entwickelte zuletzt ein KI-Modell mit dem Namen Mythos, das besonders gut darin ist, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen zu finden. Die Firma macht das volle Modell nur ausgewählten Behörden und Unternehmen zugänglich, damit sie ihre Computersysteme absichern können.
Die Debatte war in den vergangenen Tagen noch von einem Anthropic -Forscher angeheizt worden, der mit einer drastischen Warnung zurücktrat. Die grossen Entwickler Künstlicher Intelligenz handelten unverantwortlich «und spielen mit unseren Leben», erklärte Jacob Coxon.
Anthropic-Forscher Evan Hubinger, der mit dafür zuständig ist, dass KI mit den Interessen der Menschen im Einklang bleibt, bestätigte wenig später Coxons Sorgen. Er persönlich denke, die Gefahr, dass KI die Menschheit töte, liege im kommenden Jahrzehnt bei mehr als zehn Prozent, schrieb er auf X.
(val/sda/dpa)
