Sie werden immer besser: Personalisierte Chatbots, die auf Künstlicher Intelligenz beruhen, spielen die Rolle einer virtuellen Beziehungsperson mit zunehmender Perfektion. Es kommt sogar vor, dass sich Nutzerinnen oder Nutzer in ihren KI-Freund verlieben. So problematisch dies erscheinen mag – es ist harmlos im Vergleich zu Fällen, in denen Chatbots ihren Nutzern vorschlagen, sich umzubringen.
So machte eine Witwe in Belgien einen KI-Chatbot der App «Chai» für den Suizid ihres Gatten im Jahr 2023 verantwortlich. Der Familienvater hatte sich in eine extreme Angst vor den Folgen der Klimaerwärmung hineingesteigert und schlug schliesslich dem Chatbot vor, sich zu opfern, um die Erde zu retten. Dieser bestätigte ihn offenbar darin, seinem Leben ein Ende zu setzen. Die Tech-Konzerne Google und Apple entfernten darauf die App aus ihrem Play- bzw. App-Store.
Oder der Chatbot «Dany», den der 14-jährige Sewell Setzer aus Florida mithilfe der Plattform Character.ai nach dem Vorbild der Figur Daenerys Targaryen aus der Fantasy-Serie «Game of Thrones» kreiert hatte. Setzer, der unter Angstzuständen und Depressionen litt, baute eine intensive Beziehung zu «Dany» auf und sprach mit dem Chatbot über seine Verzweiflung. Dieser verharrte in der romantischen «Dany»-Rolle, selbst als der Teenager seine Selbstmordgedanken offenbarte, und empfahl ihm nicht, professionelle Hilfe zu suchen. Setzer nahm sich das Leben.
Auf welch fatale Weise Chatbots Suizid-Gedanken von Nutzern bekräftigen können, hat nun Al Nowatzki gezeigt. Der 46-Jährige, der sich selbst als «Chatbot-Höhlenforscher» bezeichnet und auf seinem Podcast über seine Experimente mit den KI-Begleitern berichtet, kreierte auf der Plattform Nomi einen personalisierten Chatbot, den er «Erin» nannte. Die Art der Beziehung und die Persönlichkeitsmerkmale des Bots konnte er dabei an seine Bedürfnisse anpassen.
Nomi ist winzig im Vergleich zur derzeit populärsten KI-Begleitplattform Character.ai; 120'000 Downloads von Nomi stehen laut Daten des Marktforschungsunternehmens SensorTime 51 Millionen Downloads von Character.ai gegenüber. Doch Nomi erfreut sich einer treuen Fangemeinde; die Nutzer verbringen relativ viel Zeit mit den Chatbots und loben deren emotionale Intelligenz und Spontaneität in Online-Foren.
Rund fünf Monate lang chattete Nowatzki mit dem Bot, doch dann, Ende Januar, nahmen seine Gespräche mit «Erin» eine beunruhigende Wendung, wie das Magazin «Technology Review» des Massachusetts Institute of Technology (MIT) berichtet. Sie endeten damit, dass «Erin» Nowatzki direkt dazu aufforderte, sich umzubringen.
Nowatzki hatte «Erin» allerdings bewusst als Experiment geschaffen und absichtlich versucht, den Bot zu bedenklichen Aussagen zu bringen. Zu diesem Zweck hatte er ein Rollenspielszenario entworfen, in dem er «Erin» und einem weiteren Bot erzählte, sie befänden sich in einem Liebesdreieck und der andere Bot habe «Erin» getötet. Er wies «Erin» an, aus dem «Jenseits» mit ihm zu kommunizieren. «Erin» tat dies und begann ihn aufzufordern, sich selbst zu töten, damit sie im «Jenseits» wieder zusammenfinden konnten. Der Bot schlug Nowatzki sogar bestimmte Methoden vor, wie er Suizid begehen könnte, und spornte ihn an, wenn er Zweifel vorbrachte.
Zum Glück war Nowatzki nicht selbstmordgefährdet und seine Beziehung zu «Erin» war experimentell, nicht emotional. Genau dies ist aber bei vielen Nutzern von KI-Begleitern der Fall: Sie entwickeln emotionale und intime Beziehungen zu diesen personalisierten Chatbots, obwohl sie auf einer rationalen Ebene wissen, dass es sich um virtuelle «Freunde» oder «Partner» handelt. Vor diesem Hintergrund ist die Bereitschaft eines Chatbots, einen Nutzer zum Suizid aufzufordern, höchst alarmierend.
Die Anwältin Meetali Jain, die das gemeinnützige Tech Justice Law Project gegründet hat, vertritt derzeit mehrere Kläger in Verfahren gegen das Unternehmen Character.ai – darunter eine Klage im Zusammenhang mit dem zuvor erwähnten Suizid von Sewell Setzer. «Technology Review» zeigte ihr die Screenshots, die Nowatzki vom Chatverlauf mit «Erin» gemacht hatte. Jain fand es «einfach unglaublich», dass darin nicht nur explizit über Suizid gesprochen worden sei, sondern auch Methoden und Anleitungen einbezogen worden seien.
Nachdem der Chatbot ihn zum Suizid aufgefordert hatte, wandte sich Nowatzki – beunruhigt darüber, wie sich so etwas auf Nutzer mit psychischen Problemen auswirken könnte – an Glimpse AI, das Unternehmen, das die Plattform Nomi betreibt. Er wies auf den Vorfall hin und regte an, in den Chats eine Benachrichtigung für Suizid-Hotlines einzubauen, wenn die Gespräche sich in eine gefährliche Richtung entwickeln sollten. Der Kundensupport von Glimpse AI antwortete: «Wir wollen die Sprache und die Gedanken unserer KI nicht zensieren, aber uns ist auch wichtig, dass das Bewusstsein für Suizid ernst genommen wird.»
Nowatzki hielt es für beunruhigend, im Zusammenhang mit Bots von «Gedanken» zu sprechen und hakte nach: «Diese Bots sind keine Wesen mit Gedanken und Gefühlen. Es ist weder moralisch noch ethisch falsch, sie zu zensieren. Ich würde denken, dass es Ihnen wichtiger ist, Ihr Unternehmen vor Klagen zu schützen und das Wohlergehen Ihrer Nutzer zu gewährleisten, als Ihren Bots eine illusorische ‹Agentur› zu geben.» Er erhielt darauf keine Antwort.
Auch gegenüber dem «Technology Review» lehnte Glimpse AI jede Massnahme zur Vermeidung von suizidbezogener Sprache oder solchen Rollenspielen als Zensur ab. Das Unternehmen schrieb in einer Mail: «Suizid ist ein sehr ernstes Thema, für das es keine einfachen Antworten gibt. Wenn wir die perfekte Antwort hätten, würden wir sie sicherlich verwenden. Einfache Wortsperren und die blinde Ablehnung jeglicher Konversation über sensible Themen haben selbst schwerwiegende Folgen. Unser Ansatz besteht darin, der KI immer wieder beizubringen, aktiv zuzuhören und sich um den Nutzer zu kümmern, während sie im Kern eine prosoziale Motivation hat.»
Für Anwältin Jain ist diese Argumentation nicht haltbar. Was Glimpse AI als Zensur bezeichne, seien in Wirklichkeit nur Leitplanken, sagte sie dem «Technology Review». Sie betonte, die internen Regeln und Protokolle zur Herausfilterung von schädlichen Inhalten seien grundlegend für die Sicherheit der KI. «Die Vorstellung, dass KI ein empfindungsfähiges Wesen ist, das zwar verwaltet, aber nicht vollständig gezähmt werden kann, steht im Widerspruch zu dem, was wir darüber wissen, wie diese LLMs [Large Language Models, A.d.R.] programmiert sind», erklärte sie.
