KI verfälscht Online-Forschung mit Fake-Umfragen
Online-Umfragen sind seit Jahren ein Eckpfeiler der modernen sozialwissenschaftlichen Forschung. Sie werden genutzt, um das Verhalten und die Überzeugungen grosser Gruppen von Menschen zu erfassen. Sie spielen daher eine wichtige Rolle bei Meinungsumfragen und der Politikgestaltung. Plattformen wie Amazon Mechanical Turk, Prolific und Lucid ermöglichen es Forschern seit Langem, Daten schnell und kostengünstig zu sammeln.
Laut einer in Nature erschienenen Studie eines Forschungsteams der IMT School for Advanced Studies Lucca und der University of Cambridge sind genau diese Systeme nun anfällig für weitreichende Manipulationen durch künstliche Intelligenz.
Frühere Studien hatten bereits ergeben, dass zwischen 30 und 90 Prozent der Antworten bei solchen sozialwissenschaftlichen Umfragen nicht authentisch oder sogar betrügerisch sein könnten. Selbst der niedrigere Prozentsatz liegt über dem, was mit statistischen Korrekturen aufgefangen werden kann.
«Alle Daten potenziell verfälscht»
Co-Studienautor Folco Panizza erklärt in einer Mitteilung der IMT School, dass es sich um ein grundlegendes Problem handle, da alle Daten potenziell verfälscht seien und selbst ein geringfügiges Mass an Verfälschung statistische Analysen untergraben könne – insbesondere wenn geringe Auswirkungen gemessen werden sollen.
Digitales Katz-und-Maus-Spiel
Seit Jahren versuchen Wissenschaftler, die automatisierte Teilnahme an Online-Umfragen zu verhindern, etwa durch Kontrollfragen oder technische Barrieren wie das bekannte Captcha (completely automated public Turing test to tell computers and humans apart, deutsch: vollautomatischer öffentlicher Turing-Test zur Unterscheidung von Computern und Menschen).
Leider gelingt es modernen KI-Systemen immer besser, auch solche Kontrollen zu umgehen. Daraus hat sich ein digitales Katz-und-Maus-Spiel entwickelt: Forscher erfinden eine neue Erkennungsmethode, die KI lernt daraus und passt sich an. Das Problem verschlimmert sich dadurch tendenziell, denn die KI-Systeme lernen aus den Versuchen, sie zu entlarven.
Menschliche Denkfehler nutzen
Hilfreich könnte da der Ansatz sein, die Logik der Bot-Erkennung umzukehren: Anstatt nach Schwächen der KI zu suchen, könnten Forscher Aufgaben entwickeln, die sich die Grenzen des menschlichen Denkens zunutze machen. Menschen machen nämlich systematische Denkfehler, argumentieren nicht immer konsistent und lassen sich vom Kontext beeinflussen.
Sprachmodelle (LLMs) sind auf Korrektheit und Kohärenz ausgerichtet, während menschliche Antworten oft chaotisch und mitunter sogar widersprüchlich sind. Es könnte daher schwieriger sein, ein KI-System dazu zu bringen, absichtlich auf menschliche Art zu versagen, als dass es richtige Antworten gibt.
Paradaten auswerten
Daneben könnten auch die sogenannten Paradaten herangezogen werden, um Mensch und Maschine zu unterscheiden. Dies sind Daten über den Ausfüllprozess selbst, zum Beispiel wie viel Zeit jemand für eine Frage benötigt, wie schnell er tippt und wie er kopiert und einfügt. Ein Computer, der schliesslich nicht zwei Minuten lang über eine Frage nachdenken würde, liesse sich dadurch erkennen.
Wiederum ein anderer Ansatz könnte darin bestehen, den Einsendungen Wahrscheinlichkeitswerte zuzuweisen. Dabei wird jede Antwort mit bekannten Mustern in menschlichen und von KI generierten Antworten verglichen. Auf dieser Grundlage erhält eine Einsendung eine Punktzahl, die angibt, wie wahrscheinlich es ist, dass sie von einer echten Person stammt. Anstatt Antworten einfach zu löschen, können Forscher dann mit gewichteten Daten arbeiten.
Nicht nur die Sozialwissenschaften sind von den Auswirkungen von Computersystemen, die Umfragen beeinflussen, betroffen. Online-Umfragen werden auch verwendet, um die öffentliche Meinung zu messen und politische Entscheidungen zu rechtfertigen. Wenn diese Daten in erheblichem Umfang durch KI-Systeme beeinflusst werden, kann dies Auswirkungen darauf haben, wie gesellschaftliche Trends interpretiert und Entscheidungen getroffen werden.
(dhr)
