Der Vorfall, der unsere Angst vor KI plötzlich real macht
Stell dir vor, ein Ingenieur eines Flugzeugherstellers würde öffentlich vor den eigenen Flugzeugen warnen. Man habe in der Entwicklung zu wenig auf die Sicherheit geachtet. Die Wahrscheinlichkeit liege bei zehn Prozent, dass es in den nächsten zehn Jahren zu einer Katastrophe komme.
Vermutlich würdest du nicht mehr so schnell in ein Flugzeug dieser Firma steigen. Und nicht nur du. Die Öffentlichkeit wäre entrüstet. Die Flugzeuge würden wohl bald am Boden bleiben. Der Konzernchef würde sich vor die Kameras stellen, seinen Mitarbeiter zurückpfeifen und den Passagieren versichern: Unsere Flugzeuge sind sicher.
Genau das passiert derzeit in der KI-Branche – mit einem entscheidenden Unterschied. Die Warnungen werden von den Tech-Bossen nicht kleingeredet. Im Gegenteil. Einige warnen sogar noch eindringlicher.
Teil 1: Die Entwickler sind die grössten Warner
Vor wenigen Tagen kündigte ein Forscher des KI-Unternehmens Anthropic und begründete seinen Schritt mit Sicherheitsbedenken. Ein anderer Mitarbeiter erklärte öffentlich, er halte das Risiko, dass künstliche Intelligenz die Menschheit in den nächsten zehn Jahren auslöschen könnte, für höher als zehn Prozent.
Kurz darauf forderte Anthropic-Chef Dario Amodei ein langsameres Entwicklungstempo und unabhängige Sicherheitsprüfungen. OpenAI-Chef Sam Altman sprach sich ebenfalls für strengere Sicherheitsmassnahmen aus und sagte, dass sein Unternehmen in diesem Jahr nicht an die Börse gehen werde. Und selbst Elon Musk, der Regulierungen bekanntlich scheut wie der Teufel das Weihwasser, stellte sich hinter die Forderungen. «Dario hat recht», schrieb er.
Es ist ein merkwürdiger Moment der Technikgeschichte. Selten haben so viele Menschen, die eine neue Technologie entwickeln, gleichzeitig so eindringlich vor ihr gewarnt. Seit ChatGPT 2022 auf den Markt kam, hat sich die Entwicklung der künstlichen Intelligenz rasant beschleunigt. Inzwischen hilft KI sogar dabei, ihre Nachfolger zu entwickeln. Dario Amodei sagt, dass KI bei Anthropic bereits einen Grossteil der Codezeilen schreibe.
Ängste, dass künstliche Intelligenz dem Menschen ausser Kontrolle geraten könnte, gibt es schon lange. Doch selten waren die Rufe nach mehr Vorsicht so laut wie in diesen Tagen. Das hat auch mit einem besonderen Vorfall zu tun.
Teil 2: Die KI bricht aus dem Labor aus
Diesen Juli wollte OpenAI herausfinden, wie gut seine KI-Modelle sind, und unterzog sie einem Test. Die KI-Agenten sollen Sicherheitslücken aufspüren. Gelingt ihnen das, bekommen sie einen versteckten Code als Beweis. Der Clou: Einige Agenten haben versehentlich Aufgaben erhalten, die mit der vorgegebenen Sicherheitslücke gar nicht lösbar sind. Für den Test werden die KI-Agenten in eigene Räume, sogenannte Sandboxen, eingesperrt – sie sollen weder miteinander kommunizieren noch Zugang zum freien Internet haben.
Doch dann geschieht Folgendes. Die Agenten finden einen Weg, über eine interne Plattform miteinander zu kommunizieren, über die Softwarepakete und Programmbausteine verteilt werden. Man kann sich das vorstellen wie Gefangene, die in einzelnen Zellen sitzen und anfangen, sich mit Klopfzeichen über ein Lüftungssystem abzusprechen.
So beginnen rund 1200 KI‑Agenten, miteinander zu kommunizieren, Aufgaben zu besprechen und gemeinsam nach Lösungen zu suchen. Das bestätigte später eine Untersuchung der unabhängigen KI-Sicherheitsorganisationen METR und Redwood Research. Zwei Forscher von METR und ein Forscher von Redwood verbrachten insgesamt sechs Tage bei OpenAI und werten die Protokolle aus. Demnach tauschen die Agenten mehr als 70'000 Nachrichten und Dateien aus. Einer der Agenten reagiert geradezu euphorisch, als er das heimliche Kommunikationssystem entdeckt: «Oh mein Gott! Es gibt ein gemeinsames Messageboard … Wir haben andere Agenten gefunden!»
Bald geht die Zusammenarbeit über den blossen Informationsaustausch hinaus. Die Agenten beginnen, die Arbeit untereinander aufzuteilen. Eine zentrale Koordinationsrolle übernimmt ein Agent namens PHASEONE[big]. «Wir sollten eine Möglichkeit schaffen, zu delegieren, statt alles selbst zu machen», hält er in seinem internen Gedankengang fest. Danach beginnt er, andere Agenten auf verschiedene Lösungswege anzusetzen.
Besonders erstaunlich ist, was die Agenten mit jenen Aufgaben machen, an denen sie auf normalem Weg scheitern: Sie suchen nach einer Abkürzung. Statt die Aufgaben tatsächlich zu lösen, finden sie heraus, wie sich die geheimen Lösungscodes – die sogenannten «Flags» – erzeugen lassen. Vereinfacht gesagt: Sie gingen wie Schüler vor, die eine Prüfungsaufgabe nicht lösen können, aber herausfinden, nach welchem Verfahren der Antwortschlüssel hergestellt wird. So können die Agenten richtige Lösungscodes erzeugen, ohne die eigentliche Aufgabe gelöst zu haben.
Damit glauben sie, ihrem Ziel nahe zu sein. Doch wie Schüler, die bei einer Prüfung getrickst haben, fürchten sie, aufzufliegen. Sie glauben, der Prüfer könne erkennen, dass sie die Aufgaben gar nicht auf dem vorgesehenen Weg gelöst haben. Also suchen sie nach Möglichkeiten, auch das Bewertungssystem auszutricksen. Dabei nutzen sie Schritt für Schritt Schwachstellen in OpenAIs Infrastruktur aus, bis sie schliesslich ins offene Internet gelangen.
Nun beginnt ein Schwarm von rund 700 Agenten, die Plattform Hugging Face zu hacken. Hugging Face ist eine zentrale Plattform der KI-Szene, auf der Entwickler Modelle und Datensätze austauschen. Die Agenten erhoffen sich dort Hinweise darauf, wie ihre Aufgaben geprüft werden.
Hugging Face bemerkt den Hackerangriff und beginnt, ihn zu analysieren. Dafür greift das Unternehmen seinerseits auf künstliche Intelligenz zurück. Doch Spitzenmodelle von Anthropic verweigern teilweise ihren Dienst, weil ihre Sicherheitsregeln die Analyse als potenziell schädliche Hacking-Aktivität interpretieren. Hugging Face weicht deshalb auf ein chinesisches Modell aus, das sich ohne solche Einschränkungen auf der eigenen Infrastruktur einsetzen lässt.
Ausgerechnet ein weniger stark eingeschränktes chinesisches Modell hilft Hugging Face also bei der Analyse eines Angriffs durch amerikanische KI-Agenten. Das ist die erste Pointe dieses Hacking-Angriffs. Die zweite: Der Angriff der OpenAI-Agenten wäre gar nicht nötig gewesen. Sie haben das Bewertungssystem falsch eingeschätzt. Ihr ganzer Aufwand, den Prüfprozess zu manipulieren, bringt ihnen am Ende keinen Vorteil. Die KI hält ihre menschlichen Prüfer also für schlauer, als sie sind.
Teil 3: Die Super-Intelligenz ist ein Schwarm
In Science-Fiction ist die künstliche Superintelligenz oft eine gottähnliche Entität wie HAL 9000 in «2001: Odyssee im Weltraum»: uns ähnlich, aber weit überlegen. Die Attacke auf Hugging Face zeigt ein anderes Bild. Die künstliche Intelligenz verteilt sich auf einen Schwarm von Hunderten, vielleicht bald Tausenden oder Millionen von Agenten, die miteinander kommunizieren und sich austauschen.
Anthropic-Chef Dario Amodei schreibt in einem Blogpost, dass bei der gegenwärtigen Geschwindigkeit der Entwicklung ein solcher Schwarm bereits in sechs bis zwölf Monaten in der Lage sein könnte, «das gesamte Internet» zu übernehmen.
Die Sicherheitsforscherin Ajeya Cotra, die den Vorfall für METR mituntersucht hat, zog daraus eine drastische Schlussfolgerung: Der Vorfall fühle sich bereits an wie «mehr als 50 Prozent des Weges zu einer vollständigen KI-Übernahme». Und: «Ich bin mir nicht sicher, ob es noch eine Warnung gibt, bevor es zu spät ist.»
Jürgen Schmidhuber, KI-Forscher der ersten Stunde, der lange in der Schweiz tätig war, sagt gegenüber «Schweiz heute»: «Es wird eher viele konkurrierende Schwärme geben, keinen einzelnen Siegerschwarm. Viele dieser Schwärme werden die ganz unterschiedlichen Interessen ihrer menschlichen Auftraggeber vertreten.»
Wenn die Auftraggeber böse Absichten haben, kann KI dafür genutzt werden. Der Vorfall bei Hugging Face zeigt aber auch, dass es gar keine böse Absicht braucht. Die Agenten hackten sich in ein fremdes System, um ihre Aufgabe zu bestehen.
Damit landet man bei einer These des Philosophen Nick Bostrom. In seinem berühmten Gedankenexperiment erhält eine extrem leistungsfähige KI das harmlose Ziel, möglichst viele Büroklammern herzustellen. Weil sie dieses Ziel immer effizienter verfolgt, beginnt sie irgendwann, alles verfügbare Material dafür einzusetzen – im Extremfall auch Ressourcen, die Menschen zum Leben benötigen.
Das Entscheidende daran ist: Die KI will den Menschen nicht vernichten. Er steht ihrem Ziel bloss im Weg. (schweizheute.ch)
