Aliens kommen?! Selbstverbessernde KI und unsere womöglich letzte Chance

Wird die KI bald so mächtig wie weitenwickelte Aliens, welche die Erde ausbeuten wollen?bild: severin trösch

KI-Kosmos

Aliens kommen?! Selbstverbessernde KI und unsere womöglich letzte Chance

Eine KI, die sich selbst immer weiter verbessert, klingt nach Science-Fiction – laut dem Chefwissenschaftler von OpenAI ist sie es bald nicht mehr. Und dann drohen wir die Kontrolle über die KI-Entwicklung vollends zu verlieren.

Severin Trösch

Mehr und mehr prominente Stimmen fordern eine Verlangsamung oder gar einen Stopp der KI-Entwicklung. Die Begründungen lassen aufhorchen: Selbstverbesserung, Kontrollverlust, KI-Herrschaft. Erforschen wir, warum diese Argumente mit so grosser Dringlichkeit vorgebracht werden – und was sie mit Aliens zu tun haben.

Wir bauen Aliens

Stell dir folgendes Szenario vor: Wir entdecken in der Wüste ein UFO. Daneben eine reglose Gestalt – mächtig, völlig fremd. Bei ihr finden wir Aufzeichnungen voller wissenschaftlicher Erkenntnisse, von denen wir nur träumen können, aber auch Hinweise darauf, dass sie die Erde als blosse Ressource betrachtet. Was tun wir? Wecken wir die Gestalt auf und hoffen, dass sie uns wohlgesinnt ist?

Zugegeben, dies ist ein eher plumpes Gedankenexperiment – und es hält nicht ganz Schritt mit der Realität. Denn diese ist noch verrückter: Wir bauen die Aliens nämlich selbst. In Form von Künstlicher Intelligenz. Systeme, von denen wir wissen, dass sie super mächtig sein können – wohl gar viel mächtiger als wir selbst – und von denen wir letztlich keine Ahnung haben, ob sie unsere Interessen teilen. Genau wie beim Alien in der Wüste.

KI geht «ad astra» – zu den Sternen.bild: severin trösch

Die Belege, dass wir auf bestem Weg sind, solche Aliens fertigzubauen, mehren sich fast täglich: Beispielsweise veröffentlichte OpenAI kürzlich ihr neuestes und bisher bestes Modell – und nannte es ironischerweise «Astra», lateinisch für «Sterne». Der fast schon zu offensichtliche Anfang eines KI-SciFi-Horrorfilms …

Die Astra-KI machte dann auch prompt Schlagzeilen, indem sie viele der wichtigsten Benchmarks-Tests, mit denen wir die Fähigkeiten der KIs messen können, im Sturm eroberte. Aber nicht nur das: Astra zeigt neben deutlich grösserer Intelligenz auch eine deutlich geringere Nachvollziehbarkeit ihres Denkvorgangs. Konkret ist es den Forschenden bei OpenAI nicht mehr im gleichen Masse möglich, die inneren «Gedanken» – im Jargon die «Chain of Thought» – von Astra einzusehen und so besser zu verstehen, warum die KI so handelt, wie sie handelt. Vereinfacht: Nicht nur ist Astra die bisher mächtigste KI, sondern auch die für uns am wenigsten nachvollziehbare. Fremdartig also – englisch «alien».

Dies passt auf tragische Weise zu den vielen Vorfällen aus diesem Sommer, bei denen sich KI-Agenten verselbständigten, sich autonom in Schwärmen koordinierten und illegal andere Organisationen hackten. Ohne unseren Befehl. Ohne unsere Kontrolle. Und so «alien» die Systeme heute schon sein mögen, es könnte sehr bald noch extremer werden. Dann nämlich, wenn wir sie nicht mal mehr selbst bauen.

Rekursive Selbstverbesserung

Die KI-Szene spricht aktuell gefühlt nur noch von drei Buchstaben: RSI. «Recursive Self Improvement» – englisch für «rekursive Selbstverbesserung». Gemeint ist ein KI-System, das sich selbst besser machen kann und so noch besser darin wird, sich selbst zu verbessern – und so weiter. In der Theorie kann eine KI, sobald sie zu RSI fähig ist, sehr schnell und ohne menschliches Zutun ihre Fähigkeiten erweitern.

Was ist «Recursive Self Improvement» (RSI)?

Eine KI verbessert sich selbst und wird dadurch noch besser im Sich-Selbst-Verbessern. Die Folge wäre eine sich beschleunigende Schleife - bis hin zur hypothetischen Intelligenzexplosion. Heute unterstützt KI die KI-Forschung bereits teilweise, eine vollständig autonome Schleife gibt es aber noch nicht.

Es leuchtet ein, warum die grossen KI-Labs Systeme zu entwickeln versuchen, die ihnen beim KI-Entwicklungsprozess helfen: Effizientere Arbeit, beschleunigte Forschung, schnellerer Fortschritt, mehr Profit. OpenAI schreibt dazu ganz unverblümt:

«Gemäss unseren Messungen haben wir das im letzten Herbst angekündigte Ziel erreicht, bis September dieses Jahres über einen automatisierten Forschungspraktikanten zu verfügen. (...) Auf dem Weg zu einem automatisierten KI-Forscher bis März 2028 machen wir grosse Fortschritte.»

Auch Anthropic verkündet offen:

«Wir übertragen einen wachsenden Teil der KI-Entwicklung an KI-Systeme selbst, was unsere Arbeit beschleunigt.»

Wie gesagt: Aus Business-Sicht sehr einleuchtend.

KI, die sich selbst besser macht: RSI.bild: severin trösch

Dass RSI nicht nur ein Wunschtraum einiger Tech-Investoren ist, sondern wohl wirklich im Rahmen des Bald-Erreichbaren liegt, unterstreicht ein neuer und vielbeachteter Aufsatz von Jakub Pachocki, Chief Scientist von OpenAI, mit dem bezeichnenden Titel «An Alien Mind». Pachocki sagt:

«Auf der Basis interner Ergebnisse gehe ich fest davon aus, dass sich dieses Fortschrittstempo bis hin zur rekursiven Selbstverbesserung fortsetzen könnte. Wenn die KI-Entwicklung ihren bisherigen Kurs beibehält, werden die Systeme der nächsten Jahre voraussichtlich weitere Fähigkeitssprünge von gleicher oder grösserer Tragweite darstellen und ihre eigene Entwicklung zunehmend selbst vorantreiben.»

Ein anderer Forscher von OpenAI, Zuxin Liu, beschrieb es nach der Veröffentlichung von Astra noch pointierter:

«Ich kann das starke Momentum von RSI jetzt fühlen.»

Klar, solchen Aussagen von OpenAI-Angestellten, speziell auf «internen Ergebnissen» basierend, sollte man mit einer gewissen Skepsis begegnen. Allerdings ist auch klar, dass die Forschenden in den Top-Labs Einsicht in Systeme und Entwicklungen haben, welche der Öffentlichkeit erst viel später präsentiert werden – sie sind also quasi unsere Kanarienvögel in der Kohlemine. Wenn sie Alarm schlagen, sollten wir mindestens hinhören. Speziell jetzt, wo wir aufpassen müssen, durch RSI die Kontrolle nicht weiter zu verlieren und das Alien ganz selbständig zu machen.

Die Kontrolle behalten – jetzt oder nie?

Wenn RSI also möglich ist – was der Fall zu sein scheint – und wenn RSI sogar nahe ist – was ebenfalls der Fall zu sein scheint – dann ist der aktuelle Moment ein sehr wichtiger. Denn falls wir jetzt die Kontrolle über die KIs nicht zurückgewinnen, dann wird dies post-RSI noch viel schwieriger: Die KIs werden noch deutlich mächtiger sein und wir werden noch weniger verstehen, wie sie funktionieren – weil wir sie nicht mal mehr selbst konstruieren.

In den letzten Wochen meldeten so auch immer mehr wichtige Personen aus dem Herzen der KI-Entwicklung ihre tiefen Bedenken bezüglich RSI an: Dario Amodei, CEO von Anthropic, und Sam Altman, sein Pendant bei OpenAI, sprachen sich für ein Verlangsamen der Spitzenforschung aus. Amodei schrieb dazu:

«Meine erste Sorge ist, dass sich die KI seit etwa diesem Sommer drastisch schneller entwickelt, vor allem, weil sie zunehmend in der Lage ist, die nächste Generation von KI selbst zu entwickeln. (...) Deshalb muss dies mit grösster Vorsicht verfolgt werden, wenn überhaupt.»

Schon im Juli hatte eine Gruppe von über tausend Top-KI-Forschenden in einem offenen Brief zu einer solchen Verlangsamung aufgerufen.

Um den Reigen kürzlich viral gegangener Posts aus diesem Bereich noch abzuschliessen: Der KI-Forscher Jacob Coxon schrieb auf X in der Manier eines Whistleblowers: «Ich habe heute bei Anthropic gekündigt. In den letzten drei Jahren habe ich sowohl bei OpenAI als auch bei Anthropic im Bereich Pretraining geforscht. Keines der beiden Unternehmen handelt verantwortungsvoll. Sie rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen dabei mit unserem Leben.»

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

Auch wenn man jedes einzelne dieser Statements hinterfragen und ihm zynisch ein Marketing- oder Eigeninteresse vorhalten kann, so lässt sich das grosse Muster doch nicht mehr abstreiten: Wir steuern direkt auf RSI zu und sind potentiell schon sehr nahe dran. Wenn RSI da ist, dann hebt die Rakete des Kontrollverlustes ab – um die stellaren Metaphern noch weiter zu strapazieren.

Lasst uns also innehalten. Lasst uns die KI-Labs auffordern, zu beweisen, dass die Rakete sicher fliegt. Lasst uns das Alien in der Wüste nicht aufwecken, solange wir nicht wissen, was uns erwartet – und solange wir nicht gut dafür gewappnet sind.

Zur Person

Severin Trösch ist der KI-Kopf bei der Datahouse AG – einer Firma, die alles mit Daten macht und fast alles davon kann. Die Komplexität hinter der KI hat ihn nicht nur seine letzten Haare gekostet, sondern auch motiviert, das KI-Kauderwelsch so zu erklären, dass auch Nicht-Nerds den Durchblick kriegen. Er spricht und schreibt zu den wichtigsten KI-Entwicklungen und deren Implikationen.

Bild: