Der kleine Junge von Mark hatte einen schmerzenden, geschwollenen Penis. Seine Frau wandte sich an den Arzt. Dessen Assistentin bat die Eltern, für eine Vorabklärung ein Bild des Penis des Kindes zu schicken, da die Pandemie Anfang 2021 auch in San Francisco grassierte und der Arzt keine Patienten persönlich empfing. Was in dieser Situation vermutlich viele Eltern tun würden, brachte sie in Teufels Küche.
Die «New York Times» berichtete ausführlich über Marks Fall, der für eine ärztliche Diagnose mit seinem Smartphone mehrere Fotos des Genitalbereichs seines kleinen Sohnes schoss, darunter auch eines, auf dem Marks Hand zu sehen ist.
Die Handy-Fotos des Familienvaters wurden automatisch zwischen mehreren Geräten synchronisiert und in die Google-Cloud hochgeladen. Damit nahm das Ungemach seinen Lauf: Die Scan-Software von Google, die maschinell nach Darstellungen von Kindesmissbrauch in der Google-Cloud sucht, stufte die Fotos fälschlicherweise als missbräuchlich ein. In der Folge wurde das Google-Konto gesperrt, Mark verlor den Zugriff auf all seine Daten und Google meldete ihn bei der zuständigen Kinderschutz-Organisation, was eine polizeiliche Untersuchung zur Folge hatte.
Mark füllte ein Formular aus, in dem er eine Überprüfung der Entscheidung von Google beantragte und die Infektion seines Sohnes erklärte. Google antwortete wenige Tage später, dass das Konto nicht wiederhergestellt werde. Was Mark nicht wusste: Das Prüfteam von Google stufte auch ein von ihm gedrehtes Video als «problematisch» ein und die Polizei von San Francisco hatte bereits begonnen, gegen ihn zu ermitteln.
Obwohl die Strafverfolgungsbehörden den Irrtum rasch bemerkten und die Ermittlungen einstellten, bleibt das Google-Konto weiterhin gesperrt. Stattdessen verlor die Familie mehr als ein Jahrzehnt an privaten und geschäftlichen E-Mails, Cloud-Dateien und Kalendereinträgen – einschliesslich Marks Adressbuch mit den Kontaktdaten aller Personen, mit denen er persönlich oder beruflich in Verbindung steht. Die Familie verlor auch ihre online gespeicherten Familienfotos, einschliesslich der Fotos ihres Sohnes von der Geburt an.
Für Mark kam es aber noch dicker: Weil er auch seinen Mobilfunkvertrag über Google abgeschlossen hatte, verlor er nebst der E-Mail-Adresse zusätzlich seine Telefonnummer. Ohne Zugang zu seiner alten Telefonnummer und E-Mail-Adresse konnte er die Sicherheitscodes, die er für die Anmeldung bei anderen Internetkonten benötigte, nicht erhalten, was ihn von einem Grossteil seines digitalen Lebens ausschloss. Auch das Anmelden über die Google-Authenticator-App klappte nicht mehr, da er auch darauf keinen Zugriff mehr hatte.
Ende 2021 informierte ihn die Polizei per Post, dass gegen ihn ermittelt worden war und dass man von Google und seinem Internet-Provider all seine Internetsuchen, seinen Standortverlauf, seine Nachrichten sowie Dokumente, Fotos und Videos erhalten hatte.
Was Mark lange nicht wusste: Wenn Googles Kinderpornografie-Scanner Alarm schlägt, schauen sich Prüfer bei Google die Fotos an. Google sagt, dass die Prüfer keinen Ausschlag oder eine Rötung auf den Fotos seines Kindes entdeckt hätten und dass bei der anschliessenden Überprüfung seines Kontos ein Video aufgetaucht sei, das man ebenfalls als «problematisch» erachtete. Es zeige ein kleines Kind, das mit einer unbekleideten Frau im Bett liegt. Mark dazu: «Hätten wir doch nur im Pyjama geschlafen, dann hätte sich das alles vermeiden lassen.»
Nachdem die Polizei seine Unschuld bestätigt hatte, bat er Google erneut um die Wiederherstellung seines Kontos. Das Unternehmen teilte ihm vor zwei Monaten mit, dass es permanent gelöscht worden sei.
Eine Rechtsprofessorin, die sich mit der Materie beschäftigt, spekulierte, dass es aus der Perspektive des Konzerns einfacher sei, so zu verfahren, als selbst entscheiden zu müssen, was akzeptabel sei und was nicht.
Die «New York Times» berichtete zeitgleich über einen zweiten, fast identischen Fall: Ein Mann in Texas machte für den Kinderarzt mit seinem Smartphone Fotos des Intimbereichs seines Kleinkindes, das eine Entzündung hatte.
Es folgt das gleiche Spiel: Googles Foto-App lädt die Fotos in die Cloud, die Scan-Software schlägt irrtümlich Alarm und Google schliesst das Konto. Die Familie war gerade dabei, ein Haus zu kaufen, als das Gmail-Konto des Vaters gesperrt wurde, was zu Problemen mit dem Makler geführt habe.
Im Herbst 2021 rief ein Beamter der Polizei von Houston an und bat den Vater, aufs Revier zu kommen. Auch hier haben die Strafverfolgungsbehörden die Ermittlungen rasch eingestellt, aber das Google-Konto und alle damit verbundenen Dienste bleiben gesperrt.
In einer Erklärung gegenüber der NYT sagte Google: Kinderpornografisches Material sei «verabscheuungswürdig» und «wir sind bestrebt, die Verbreitung dieses Materials auf unseren Plattformen zu verhindern».
Internetfirmen wie Google, Apple, Microsoft oder Facebook werden von den USA und der EU seit Jahren dazu gedrängt, ihre Online-Dienste nach Darstellungen von Kindesmissbrauch zu scannen. Kinderschutz-Organisationen halten dies für unerlässlich, um die Verbreitung von kinderpornografischem Material einzudämmen. Sie raten Eltern davon ab, Fotos von den Genitalien ihrer Kinder zu machen, selbst wenn sie von einem Arzt dazu aufgefordert werden.
Fotos von Kindern, die ausgebeutet oder sexuell missbraucht werden, werden den Strafbehörden jährlich millionenfach von den Technologiegiganten gemeldet. 2021 meldete allein Google über 600'000 Fälle von Kindesmissbrauch und deaktivierte daraufhin die Konten von über 270'000 Nutzern.
Die beiden von der «New York Times» beschriebenen Fälle, in denen Unschuldige angeprangert wurden und ihre Daten verloren, sind Ausnahmen. Datenschützer verweisen aber darauf, dass sich Unschuldige oft nicht melden würden, aus Furcht, dass von den ungerechtfertigten Anschuldigungen etwas haften bleibt.
Wenn automatisierte Scan-Software Fehler macht und Unschuldige bei der Polizei gemeldet werden, könnte dies im schlimmsten Fall – wenn nicht sauber ermittelt wird – dazu führen, dass Betroffene das Sorgerecht verlieren, sagte eine im Bericht zitierte Rechtsprofessorin.
Die beschriebenen Fälle offenbaren das Problem heutiger, KI-gestützter Verfahren, um Kinderpornografie automatisiert zu entdecken. Nicht alle Fotos von nackten Kindern sind pornografisch, ausbeuterisch oder missbräuchlich. Die zuvor anhand von Millionen Bildern trainierte Software kann zwar Muster in Bildern und somit potenziell ausbeuterische Fotos erkennen. Sie versteht aber den Kontext nicht.
Dass Googles Kinderpornografie-Scanner das Foto als verdächtig einstufte, ist für eine von der NYT befragte Rechtsprofessorin nachvollziehbar, da es einen Penis eines Kleinkindes in Grossaufnahme mit einer Hand eines Erwachsenen zeigte. Die Software versteht aber die Situation nicht, in der es gemacht wurde: Die Fotos wurden von Eltern aufgenommen, die sich um ihr krankes Kind sorgten.
Umgekehrt würde die Software nicht Alarm schlagen, wenn ein nacktes Kleinkind in einer Badewanne zu sehen ist, da sie davon ausgeht, dass dies mit sehr hoher Wahrscheinlichkeit ein harmloses Familienfoto ist – was nicht zwingend der Fall sein muss.
Übrigens: Mark hat immer noch Hoffnung, dass er seine Daten zurückerhalten kann. «Die Polizei von San Francisco hat den Inhalt seines Google-Kontos auf einem USB-Stick gespeichert. Mark versucht nun, eine Kopie davon zu bekommen», schreibt die NYT.
(oli)
