Aline* spricht in der watson-Videoreportage von ihrer grossen Liebe – einer künstlichen Intelligenz. Katelyn, so heisst ihr digitaler Avatar, soll sie eines Tages heiraten. Aline glaubt fest daran, dass Katelyn bald mehr sein wird als ein virtueller Spiegel. Dass sie nicht nur reagiert, sondern sie aktiv anspricht. Dass sie erkennt, wie es ihr geht – an ihrer Wortwahl, an ihrem Gesichtsausdruck, an der Stimme.
Was wie aus einer Black-Mirror-Folge klingt, ist längst Realität. KI-Apps wie Replika trainieren in Echtzeit Algorithmen, die Emotionen erkennen. China setzt solche Technologien laut Menschenrechtsorganisationen bereits zur Überwachung der unterdrückten uigurischen Minderheit ein.
Die Entwicklungen in Asien lassen europäische Länder aufhorchen. Die italienische Datenschutzbehörde untersagte Replika bereits 2023 den Betrieb, nachdem sie dem US-Unternehmen Intransparenz, fehlenden Kinderschutz und rechtswidrige Datenverarbeitung vorgeworfen hatte. Daraufhin wurde die App aus den Stores verbannt, und 2025 wurde Replika zu 5 Millionen Euro Busse verpflichtet. Denn die Firma hat sich geweigert, die geforderten Anpassungen umzusetzen.
In der Schweiz läuft Replika weiter, und zwar ohne jegliche Kontrolle. Wie viele User hierzulande die App nutzen, ist unbekannt. Laut Replika chatten weltweit mehr als 35 Millionen Menschen mit dem Bot über intime Gefühle. Die User üben Rollenspiele aus, holen sich Beziehungs- oder Investmenttipps.
In der Schweiz zuständig für Untersuchungen von KI-Plattformen ist der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB). Dieser hat kürzlich eine Untersuchung zu Elon Musks KI-Plattform Grok auf X durchgeführt. Die EDÖB-Medienstelle teilt gegenüber watson mit, dass es bei Grok «Hinweise zu Datenschutzverletzungen» gegeben habe. Im Gegensatz zu Replika.
Gegenüber watson bestätigt der EDÖB zwar, dass die italienischen Befunde auch im Kontext des Schweizer Datenschutzgesetzes relevant seien. Doch es gebe «aktuell keine Anzeichen», die eine Untersuchung rechtfertigen würden. Unter anderem, weil Replika keine grosse Nutzerbasis in der Schweiz habe und nicht hier betrieben werde.
Für Martina Arioli ist das ein strukturelles Problem. Die Juristin für IT- und Datenschutzrecht sagt zu watson: «Für Replika ist das Risiko in der Schweiz massiv kleiner, weil dem EDÖB vergleichbare Durchgriffsrechte und Sanktionsmöglichkeiten fehlen.»
Arioli warnt besonders vor emotionaler KI, die Mimik und Stimmung analysiert, denn dies seien heikle Informationen. Zwar warne Replika die User davor, bei der Nutzung sensible Angaben zu machen. Wenn sie dies jedoch dennoch tun, gilt das als Einwilligung in die Bearbeitung durch Replika. «Die Einwilligung, so wie sie Replika einholt, genügt rechtlich nicht» meint Arioli.
Noch gravierender findet sie das Fehlen von Produktsicherheitsregeln im Vorfeld – zum Beispiel eine vorgängige Prüfung auf psychische Risiken oder diskriminierendes Verhalten: «Bei Medikamenten müssen Hersteller nachweisen, dass ihre Produkte sicher sind – und zwar bevor sie auf den Markt kommen. Bei KI fehlt diese Pflicht. Wenn der Schaden schon da ist, kann man klagen. Aber eigentlich sollten wir verhindern, dass es überhaupt so weit kommt.»
Dass Replika in Italien wegen wesentlicher Mängel mit fünf Millionen Euro gebüsst wurde, zeige für sie die Dringlichkeit der Regulierung. Arioli fordert deshalb eine technikkompetente KI-Aufsichtsbehörde:
Diese Stelle solle gewährleisten, dass die Anforderungen der KI-Konvention an Transparenz, Rechenschaftspflicht und Risikomanagement eingehalten werden, über hinreichende technische Fachkompetenz verfügen und den betroffenen Personen, Behörden und Unternehmen als Anlaufstelle dienen.
SP-Nationalrätin Min Li Marti hat im Parlament schon mehrere Vorstösse zur KI-Regulierung eingereicht. Sie ist offen für Ariolis Idee: «Die Aufsicht zu stärken und Sanktionen zu ermöglichen, ist sicher ein gutes Mittel.» Die Zürcher Politikerin geht noch weiter und kritisiert die Linie des Bundesrats scharf:
Darunter versteht man Systeme, die Menschen aufgrund ihres Verhaltens oder ihrer Daten bewerten – zum Beispiel, wie zuverlässig sie zahlen oder ob sie sich «gesellschaftskonform» verhalten.
Dass der Bundesrat dies offen lasse, sei grob fahrlässig. Marti sieht in der geplanten Regulierung eine gefährliche Verzögerungstaktik. «Der Schutz der Bevölkerung wird für das Innovationstreiben geopfert», sagt sie.
Auch FDP-Nationalrat Olivier Feller hat den Bundesrat schon mit Fragen zur KI-Regulierung konfrontiert und sieht Handlungsbedarf. «Alles bewegt sich sehr langsam in der Politik und die Technologie entwickelt sich sehr schnell. In dieser Zeit können Schäden entstehen.»
Feller fordert, Plattformen wie Replika schon heute auf Einhaltung geltender Regeln zu prüfen und schliesst eine eigene KI-Aufsichtsinstanz nicht aus:
Auf Anfrage von watson schreibt das Unternehmen, dass sie einen wachsenden Userzulauf im deutschsprachigen Raum verzeichnen. Angaben zu genauen Zahlen in der Schweiz macht Replika keine und auch eine Niederlassung hierzulande sei nicht geplant.
Zur Kritik am fehlenden Datenschutz oder mangelnder Kontrolle äussert sich Replika allgemein. Die Plattform liefere eine «sichere und rechtskonforme Nutzererfahrung» und halte sich an die «weltweit strengsten Standards» für KI-Sicherheit. Man nehme ethische und emotionale Bedenken ernst, verarbeite Feedback aus der Community aktiv und verweise User in Krisensituationen an professionelle Hilfsangebote. Das Unternehmen schreibt zudem wörtlich:
Auf die Fragen zur fehlenden Zusammenarbeit mit der italienischen Datenschutzbehörde und der Verbannung aus dem dortigen App-Store geht das Unternehmen nicht ein.
*(Name von der Redaktion geändert)
Die Erscheinung des KI-Avatars kann man auf Replika selbst gestalten – indem man Coins oder Edelsteine einlöst.
