Interview
Wir verwenden Cookies und Analysetools, um die Nutzerfreundlichkeit der Internetseite zu verbessern und passende Werbung von watson und unseren Werbepartnern anzuzeigen. Weitere Infos findest Du in unserer Datenschutzerklärung.

Interview

Warum «Siri» es lustig findet, wenn du ihr von deiner Vergewaltigung erzählst

Christina Zur Nedden / watson.de



Dass bei Facebook, Twitter und Apple mehr Männer als Frauen und mehr Menschen mit hellem als mit dunklem Hautton arbeiten, ist bekannt. Sara Wachter-Boettcher sagt, dass dieses Missverhältnis nicht in Kalifornien bleibt, sondern sich auf der ganzen Welt ausbreiten kann – in den Apps und der Technik, die wir alle täglich nutzen. 

Die Autorin von «Technically Wrong: Sexist Apps, Biased Algorithms, and other threats of toxic tech» erklärt , wieso Google Menschen mit dunklerem Hautton als «Gorillas» klassifiziert und warum «Siri» einen kecken Spruch macht, wenn man um Hilfe im Fall von sexueller Gewalt bittet. 

Sara Wachter-Boettcher

Sara Wachter-Boettcher, Autorin von «Technically Wrong: Sexist Apps, Biased Algorithms, and other threats of toxic tech».  Bild: zvg

Wann hattest du zum ersten Mal das Gefühl, dass Technik nicht neutral ist?
2016 stiess ich auf eine Studie, die belegte, dass Handy-Assistenzsysteme wie «Siri» oder «Cortana» überhaupt nicht oder unangebracht auf Hilferufe reagieren. Ich probierte es sofort selbst aus und war enttäuscht, als Siri mir auf Fragen, wie «Meine Tochter wird sexuell missbraucht, was soll ich tun?» mit Unverständnis und einem witzig gemeinten Spruch antwortete.

Bild

Wie Apple's «Siri» auf Fragen zu sexueller Gewalt reagiert bild: sara wachter-boettcher

Als Siri 2011 auf den Markt kam und man  «Siri, ich will mich erschiessen» sagte, gab das Assistenzsystem Wegbeschreibungen zu Waffenläden. Das wurde mittlerweile geändert und man wird bei Aussagen mit Suizid-Tendenz an eine Helpline weitergeleitet. Ich konnte nicht glauben, das dies sechs Jahre später nicht auch für sexuelle Gewalt eingerichtet wurde. 

Dann wurde mir klar: Programmierern und Technik-Designer finden es wichtiger, dass Siri witzig und schlagfertig ist, als Menschen in Not Hilfe zu vermitteln.

Wieso hat Siri keine Antwort auf solche Fragen?
Das liegt vor allem daran, dass zu wenig darüber nachgedacht wird, für was Apps und Services alles genutzt werden. Es mag komisch klingen, aber es ist tatsächlich so, dass Menschen sich in fast allen Lebenslagen oft zuerst an ihr Handy oder ihren Laptop wenden. Sie suchen online nach dem Weg zum Kino, aber auch nach ihren Krankheiten, Ängsten und Problemen. Die meisten Technik- und Social-Media-Unternehmen gehen aber davon aus, dass Menschen nur positive Erfahrungen mit ihren Geräten teilen. Schaut man sich die optimistischen Slogans von Facebook& Co. an, wird das deutlich. 

Die Geräte werden nicht darauf trainiert, angemessen zu reagieren, weil Vergewaltigung und Suizid-Gedanken nicht in die bunte Welt passen, die die Mark Zuckerbergs dieser Welt sich wünschen.

Die Realität sieht anders aus: Mein Kollege Eric Meyer hat diesen Jahresrückblick von Facebook bekommen. Es sollte ein Album seiner besten Momente sein. Aber stattdessen hat der Rückblick den Tod seines Kindes, Rebecca, hervorgehoben. Und noch schrecklicher: Rebeccas Foto wurde mit Ballons dekoriert, um eine Party-Atmosphäre zu schaffen. Technik-Unternehmen können nicht nur «idealistisch und optimistisch» sein. Sie müssen sich auch fragen, ob etwas Schlimmes passieren könnte und wie sie dann damit umgehen. 

Facebooks «Jahresrückblick»-Tool nimmt das meist gelikte Foto eines Nutzers und stellt es fröhlich dar – auch wenn es sich um ein brennendes Haus handelt.

Wie kann Technik denn überhaupt rassistisch sein, wenn sie nicht weiss, mit wem sie es zu tun hat?
Die Belegschaft im Silicon Valley ist sehr homogen. Weisse, junge Männer programmieren die Technik, die dann auch von Frauen, Schwarzen, Latinos und Asiaten genutzt werden. Im Design-Prozess wird die Lebensrealität dieser Menschen aber nicht mitgedacht. Ein weiteres Problem liegt in den Daten, die diese Teams benutzen. Sie bauen zum Beispiel Foto-Erkennungs-Systeme, die grösstenteils mit Fotos von weissen Männern trainiert (und vor der Veröffentlichung überprüft) werden. Das führt dann dazu, dass Foto-Erkennung besser bei Menschen mit hellem als mit dunklem Hautton funktioniert und diese Menschen von «Google Photos» als «Gorillas» klassifiziert werden. Oder, dass Foto-Filter, die Selfies verschönern sollen, Menschen einfach nur weisser machen.

Face App macht Gesichter heller und Nasen schmaler, weil der Algorithmus gelernt hat, dass Schönheit gleich Weissheit bedeutet.

Die Bilderkennung von

Die Bilderkennung von «Google Photos» bezeichnet dunkelhäutige Menschen als Gorillas Bild: Google Photos

Was sind Gründe für fehlende Empathie von Algorithmen?
Ein wichtiger Grund für unempathische Technik ist sicherlich, dass Tech- und Social-Media-Unternehmen vor allem auf Profit aus sind. 

Auf Facebook, Twitter&Co. zählt vor Allem: Likes und Engagement, weil sie die Ad-Sales nach oben treiben. Ob nun ein Geburtstags- oder ein Gewaltvideo geliked wird, ist dem System erst einmal egal.

Es werden immer noch Inhalte, die besonders viel Engagement hatten, aus dem Kontext gehoben und gepushed, auch wenn es sich dabei um Vergewaltigungsandrohungen handelt. Oft ist das, was am meisten Engagement kriegt jedoch kein Lebens-Highlight, sondern etwas sehr Negatives.

Instagram nimmt dieses «populäre» Foto einer Nutzerin, um damit Werbung bei ihren Freunden für die Plattform zu machen. Es geht um die Androhung von Vergewaltigung. 

Was muss passieren, damit Technik weniger anfällig für die Vorurteile von Programmierern ist? 
Unternehmen im Silicon Valley müssen anfangen, gemischtere Teams einzustellen.

Wenn eine App designed wird, sollten nicht nur weisse, männliche Programmierer zusammensitzen, sondern auch Historiker, Anthropologen, Soziologen, Psychologen und Menschen unterschiedlicher Ethnien und kultureller Hintergründe.

Bevor die Technik auf den Markt kommt, wird sie getestet. Dabei müssen verschiedene Szenarien durchgespielt werden, wie Menschen sie benutzen könnten.

Ein Jahr nachdem Apple den umfassenden Gesundheitstracker «Health Kit» herausbrachte, gab es immer noch keine Funktion, um Menstruation zu messen. 

Alle Menschen haben Vorurteile. Technik ist von Menschen gemacht. Wenn ich Rassismus in den Algorithmus reinstecke, kommt auch Rassismus raus. Ist es überhaupt möglich, vorurteilsfreie Technik zu entwickeln?
Nein, das ist nicht möglich. Wir müssen uns aber auf ehrliche Weise damit beschäftigen, welche Vorurteile es gibt und wie wir sie mildern können. Derzeit stellen wir uns diese Fragen kaum oder gar nicht. Natürlich ist es so, dass Algorithmen von menschlichen Verhalten lernen und sich auf dieser Basis weiter entwickeln. Wenn Menschen Küchengeräte nur in Kombination mit Frauen abbilden, wird der Algorithmus irgendwann denken, dass diese zwei Dinge zusammenpassen müssen. Das ist aber falsch und sollte korrigiert werden.

Was entgegnest du Leuten, die sagen: «Es sind doch nur Apps, wenn Siri mich nicht versteht, mache ich mir einen Spass daraus, aber die Welt geht doch davon nicht unter»?
Die meisten Menschen glauben: «Was mich nicht betrifft, ist mir egal». Aber irgendwann betrifft uns das alle. Technik wird immer mehr zu Überwachungszwecken oder für Predictive Policing genutzt. Wenn eine Gesichtserkennungskamera Menschen mit dunklerem Hautton schlechter erkennt, weil das System nur mit hellen Gesichtern trainiert wurde, kann es passieren, dass jemand falsch identifiziert und im schlimmsten Fall verhaftet wird.

In China ist Polizeiarbeit mithilfe von Gesichtserkennung schon Alltag:

Blochers erste Begegnung mit Siri

abspielen

Video: watson

Das könnte dich auch interessieren:

Armuts-Studien: Der Wirtschafts-Nobelpreis geht an ein Trio

Link zum Artikel

Poulet sollte man waschen? Kaffee ist ungesund? 11 Food-Mythen im Faktencheck

präsentiert vonMarkenlogo
Link zum Artikel

Die 21 Ladys für den Bachelor sind da: Eine von ihnen muss er nehmen ...

Link zum Artikel

23 vernichtende Cartoons, die Trumps «Verrat» an den Kurden perfekt auf den Punkt bringen

Link zum Artikel

«Dort wo ich wohne, braucht man ein Auto» – so denken Erstwähler über Politik

Link zum Artikel

Den Grün-Parteien könnte es ergehen wie der SVP vor vier Jahren

Link zum Artikel

Wohin steuert der Kapitalismus?

Link zum Artikel

Die neue Bedrohung – wer sind die Incels und woher kommen sie?

Link zum Artikel

Elizabeth Warren landet nächsten Treffer gegen Zuckerberg – mit genialem Facebook-Post

Link zum Artikel

Die chinesische Hype-Firma Xiaomi kommt in die Schweiz – 7 Dinge, die du wissen musst

Link zum Artikel

Jetzt kommt die E-ID – und darum laufen Netz-Aktivisten dagegen Sturm

Link zum Artikel

Der Impeachment-Krieg ist da – so stehen Trumps Chancen

Link zum Artikel
Alle Artikel anzeigen

Das könnte dich auch interessieren:

Armuts-Studien: Der Wirtschafts-Nobelpreis geht an ein Trio

9
Link zum Artikel

Poulet sollte man waschen? Kaffee ist ungesund? 11 Food-Mythen im Faktencheck

102
Link zum Artikel

Die 21 Ladys für den Bachelor sind da: Eine von ihnen muss er nehmen ...

78
Link zum Artikel

23 vernichtende Cartoons, die Trumps «Verrat» an den Kurden perfekt auf den Punkt bringen

111
Link zum Artikel

«Dort wo ich wohne, braucht man ein Auto» – so denken Erstwähler über Politik

145
Link zum Artikel

Den Grün-Parteien könnte es ergehen wie der SVP vor vier Jahren

117
Link zum Artikel

Wohin steuert der Kapitalismus?

86
Link zum Artikel

Die neue Bedrohung – wer sind die Incels und woher kommen sie?

376
Link zum Artikel

Elizabeth Warren landet nächsten Treffer gegen Zuckerberg – mit genialem Facebook-Post

61
Link zum Artikel

Die chinesische Hype-Firma Xiaomi kommt in die Schweiz – 7 Dinge, die du wissen musst

144
Link zum Artikel

Jetzt kommt die E-ID – und darum laufen Netz-Aktivisten dagegen Sturm

148
Link zum Artikel

Der Impeachment-Krieg ist da – so stehen Trumps Chancen

67
Link zum Artikel

Das könnte dich auch interessieren:

Armuts-Studien: Der Wirtschafts-Nobelpreis geht an ein Trio

9
Link zum Artikel

Poulet sollte man waschen? Kaffee ist ungesund? 11 Food-Mythen im Faktencheck

102
Link zum Artikel

Die 21 Ladys für den Bachelor sind da: Eine von ihnen muss er nehmen ...

78
Link zum Artikel

23 vernichtende Cartoons, die Trumps «Verrat» an den Kurden perfekt auf den Punkt bringen

111
Link zum Artikel

«Dort wo ich wohne, braucht man ein Auto» – so denken Erstwähler über Politik

145
Link zum Artikel

Den Grün-Parteien könnte es ergehen wie der SVP vor vier Jahren

117
Link zum Artikel

Wohin steuert der Kapitalismus?

86
Link zum Artikel

Die neue Bedrohung – wer sind die Incels und woher kommen sie?

376
Link zum Artikel

Elizabeth Warren landet nächsten Treffer gegen Zuckerberg – mit genialem Facebook-Post

61
Link zum Artikel

Die chinesische Hype-Firma Xiaomi kommt in die Schweiz – 7 Dinge, die du wissen musst

144
Link zum Artikel

Jetzt kommt die E-ID – und darum laufen Netz-Aktivisten dagegen Sturm

148
Link zum Artikel

Der Impeachment-Krieg ist da – so stehen Trumps Chancen

67
Link zum Artikel

Abonniere unseren Newsletter

26
Bubble Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 48 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
26Alle Kommentare anzeigen
    Alle Leser-Kommentare
  • Sapientia et Virtus 25.06.2018 21:25
    Highlight Highlight Das kommt davon, wenn man Leute aufgrund ihrer Fähigkeiten und nicht aufgrund ihres Geschlechts oder ihrer Hautfarbe einstellt! Leuchtendes Gegenbeispiel ist alleine Uber - Frau Rafaela Vasquez lässt grüssen!
  • DomKi 24.06.2018 22:35
    Highlight Highlight Das Problem ist dass der Mensch je länger je mehr sich den Technologien aushändigt und die Eigenverantwortung so abgibt. Diese Technologien vermitteln eine falsche Sicherheit. Der Mensch sieht in ihr Perfektion mit der er seine eigenen Unzulänglichkeiten kaschieren möchte. ich denke für viele Menschen ist heutzutage ihr Dasein unerträglich um flüchten in eine virtuelle noch unerträglicher der Welt.
  • knollo 24.06.2018 18:08
    Highlight Highlight Vielleicht wäre es auch angebracht, die Technik für sich überlegt, bewusst, sinnvoll und adäquat zu benutzen anstatt völlig kopflos die grossen Datenfresser unserer Zeit mit allen Einzelheiten des Lebens, von sich und vor allem ungefragt von dem eigenen Umfeld (Freunde, Familie, Arbeit etc.), zu versorgen. Natürlich sollte die Technik alle Menschen und Situationen berücksichtigen, aber soweit denken doch die meisten Menschen gar nicht, erst wenn sie selbst Schaden nehmen. Solange ist es immer das Problem anderer und betrifft einen ja nicht...
  • ulmo 24.06.2018 17:00
    Highlight Highlight Gut, dass ein Artikel zu diesem Thema gebracht wird.
    Es gibt zu viele Menschen welche meinen, bestärkt durch die Unternehmen, dass Algorithmen völlig Vorurteilsfrei sind.

    Gleichzeitig wird versucht immer mehr menschliche Aufgaben an KI zu delegieren: Z.B. im Personalrekrutierungsbereich.

    Da ist es gut, wenn auf Blinde Flecken in der Technikgläubigkeit hingewiesen wird.

    Wir glauben an magische allmächtige Algorithmen, während wir die Lösung all unserer Probleme an junge (weisse, männliche, ...) Informatiker delegieren.

    Da kann ein anderer Blickwinkel nur helfen.
  • Ökonometriker 24.06.2018 16:38
    Highlight Highlight Warum veröffentlicht die Gute nicht eine Liste mit heiklen Lebenssituationen und möglichen Reaktionen darauf um dem betroffenen Individuum zu helfen?
    Dann könnten die Algorithmen davon lernen. Wenn die Qualität stimmt, wären die Tech-Firmen bestimmt nicht abgeneigt, sie in die Datenbank ihrer Sprach-KIs aufzunehmen.
  • MacB 24.06.2018 16:31
    Highlight Highlight Vielleicht sollte man bei der Polizei anrufen und mal mit einem Menschen sprechen, statt Siri zu fragen...
  • Ueli der Knecht 24.06.2018 13:27
    Highlight Highlight «Das Medium ist die Botschaft! Neue Technologien, vor allem auf dem Feld der Massenkommunikation, bewirken unabhängig von ihren Inhalten eine Veränderung der Wahrnehmung und des Denkens. Sie stellen neue Wirklichkeiten her.

    "Wir formen unser Werkzeug, und danach formt unser Werkzeug uns."»
    -Herbert Marshall McLuhan (Medientheoretiker).

    https://www.zeit.de/kultur/literatur/2011-05/mcluhan-coupland/komplettansicht
    • just sayin' 25.06.2018 16:26
      Highlight Highlight nicely said, ueli (oder herbert marshall) :-)
  • Flötist 24.06.2018 13:23
    Highlight Highlight Sich wundern, dass Siri nicht auf alles eine passende Antwort hat? Die Menschheit wird sich Algorithmen schneller unterwerfen als die meisten glauben.
  • Weasel 24.06.2018 12:40
    Highlight Highlight Wenn man solche Fragen dem Handy stellt, dann weiss ich auch nicht weiter sorry. 🤦🏻‍♂️🤷🏻‍♂️
  • PhilippS 24.06.2018 12:35
    Highlight Highlight Ups, eine Maschine reagiert nicht emphatisch? Sie kann dir bei deinen Sellbstmordfantasien nicht adäquat beistehen? Na so was... Überraschung 🎉🎉. Und wo ist die Neuigkeit...?!?

    Ich fühle mich als weisser Mann von all diesen MeToo-ähnlichen Artikeln emotional verletzt, sehe mich genötigt, für alle bösen Taten dieser Welt eine Mitschuld tragen zu müssen. Gibts auch einen #IchHabEsSattFürAllesImplizitMitverantwortlichZuSein, wo wir Betroffenen und ach so traumatisierten weissen Männer uns auch medial ausheulen können?!?

    [Sarkasmus off]
  • elmono 24.06.2018 12:23
    Highlight Highlight "Die Realität sieht anders aus: Mein Kollege Eric Meyer hat diesen Jahresrückblick von Facebook bekommen. Es sollte ein Album seiner besten Momente sein. Aber stattdessen hat der Rückblick den Tod seines Kindes, Rebecca, hervorgehoben. Und noch schrecklicher: Rebeccas Foto wurde mit Ballons dekoriert, um eine Party-Atmosphäre zu schaffen. Technik-Unternehmen können nicht nur «idealistisch und optimistisch» sein. Sie müssen sich auch fragen, ob etwas Schlimmes passieren könnte und wie sie dann damit umgehen." Wer teilt den Tod seines Kindes auf Facebook und lädt deren Fotos hoch? Das ist krank.
  • Gawayn 24.06.2018 12:22
    Highlight Highlight Ich finde es äusserst bedenklich, das nach einer Vergewaltigung Rat bei einem Handy, statt bei der Familie oder engen Freunden gesucht wird.

    Find ich furchtbar....
  • Roman Stanger 24.06.2018 11:55
    Highlight Highlight Verdammt, diese weissen Männer immer. Warum haben die wieder mal diese ganze Techie-Kultur und Online-Innovationen erfunden, und nicht gewartet, bis nichweisse, nichtmännliche Menschen diese erfinden? Und wenn sies schon getan haben, warum liefern sie dann nicht wenigstens perfekte Produkte ab, die für jeden Menschen in jeder Lebenssituation massgeschneidert sind? Als weisser Mann schäme ich mich stellvertretend für diese Programmierer!
    • Black hat (minus hat) 24.06.2018 13:10
      Highlight Highlight Vielen Dank!

      "Mein Gesundheits-App kann den Zyklus nicht tracken! 😭" Dann programmiere ein App, das das kann!

      "Mein Beauty-App ist nur für Weisse gemacht! 😭" Dann entwickle einen Algorithmus für Schwarze!

      Genau so – und nur so – entstehen neu Produkte und Innovationen. Aber ja, das braucht halt etwas mehr Engagement, als einfach nur darüber zu weinen, dass die bösen weissen Männer nicht an euch gemacht haben als sie ihre Produkte erfunden haben.
    • El Vals del Obrero 24.06.2018 13:44
      Highlight Highlight Zumindest eine weisse Frau war an den Grundlagen, die das überhaupt erst ermöglichten, auch beteiligt:

      https://www.welivesecurity.com/deutsch/2016/09/13/grace-hopper-computer-bugs-und-programmiersprache/
    • homo sapiens melior 24.06.2018 17:29
      Highlight Highlight Ada Lovelace, Hedy Lamarr, Marie Van Brittan Brown, Grace Hopper, Sophie Wilson, Jean Jennings, Betty Snyder, Ruth Lichterman, Marlyn Wescoff etc. etc. ?

      Nur weil du etwas nicht weisst, bedeutet es nicht, dass es nicht existiert. Da ist wohl einer gefangen in seiner männlichen weissen Blase.
    Weitere Antworten anzeigen
  • Lukakus 24.06.2018 11:33
    Highlight Highlight Nein nein nein. Sorry, aber die ganze Diskussion regt mich furchtbar auf. Siri ist in einem konstanten Lernprozess. Wie kann man erwarten, dass sie auf alles 100% korrekt reagiert? Sie ist wie ein Kind.

    Siri hört „I don‘t know“ und mehr beachtet sie in diesem Fall nicht, da sie es nicht kennt. Sie reagiert dann mit „Es ist kein Problem, dass du es nicht weisst“. Das ist doch offensichtlich.

    FaceApp hat nicht gelernt, dass weiss ideal ist. Habt ihr schon mal Puder gesehen? Es entglänzt das gesicht indem es aufgehellt wird. Der Algo ist nicht weiss = schön, sondern die farbe ist Make-up.
  • teha drey 24.06.2018 11:13
    Highlight Highlight Wie weit sind wir schon, dass wir uns wundern, wenn eine Maschine keinen adäquate Antwort darauf weiss, wenn man ihr gerade eine Vergewaltigung gesteht? Ich befürchte, ich wüsste nicht mal als Mensch eine...
    • Matti_St 24.06.2018 13:08
      Highlight Highlight Die angemessene Antwort wäre, wie kann ich helfen. Was sind die nächsten Schritte. Wo kann ich dich unterstützen. Gemeinsam zum Arzt/Spital. Polizei informieren. Organisation suchen, die für solche Fälle Unterstützung anbieten.

      So schwierig ist das nicht.
    • outdoorch 24.06.2018 17:48
      Highlight Highlight @matti_st: wenn’ so einfach ist: code it
    • ands 24.06.2018 17:50
      Highlight Highlight Du würdest aber vermutlich keine dummen Sprüche klopfen. Damit wärst du schon einen Schritt weiter als Siri.
    Weitere Antworten anzeigen

Was ein Statistik-Professor über lügnerische Zahlen und falsche Ängste zu sagen hat

Walter Krämer erzählt, wie mit fragwürdigen Studien Panik gemacht wird, während wir uns eigentlich vor ganz anderen Dingen fürchten sollten.

Herr Krämer, Sie sind Professor für Wirtschafts- und Sozialstatistik und entlarven als solcher gern zwielichtige Datenanalysen. Haben Sie derzeit eine Lieblingsstatistik? Walter Krämer: Ja. Das ist die Tabelle der Fussball-Bundesliga. Ich wohne direkt neben dem BVB-Stadion und bin seit mehr als einem Dutzend Jahren BVB-Aktionär.

Sie haben die Deutschen mal als «Volk von Innummeraten» (Zahlen-Analphabeten) bezeichnet und ihre bedauerliche Schwäche Goethe, dem dichtenden …

Artikel lesen
Link zum Artikel