Studie zeigt: ChatGPT schreibt für viele die fesselnderen Kurzgeschichten als Menschen
Eine im Journal «Judgment and Decision Making» veröffentlichte Studie befasst sich damit, wie zuverlässig Menschen KI-Texte identifizieren können.
Die rund 1700 Teilnehmenden des ersten von insgesamt drei Experimenten wussten in dem Versuch nicht mit Sicherheit, von wem die Geschichte stammte, die sie lasen. Die Versuchsleiter hatten die Angabe dazu in der Hälfte aller Fälle vertauscht: Von dem KI-Chatbot ChatGPT verfasste Kurzgeschichten wurden somit als Werke eines Menschen ausgegeben und umgekehrt.
Dabei zeigte sich: Hielten die Teilnehmenden eine KI-Geschichte für ein menschliches Werk, fielen die Urteile am positivsten aus. Grund dafür sei, dass Menschen die Geschichten menschlicher Autoren eigentlich bevorzugen wollen, sagt Deena Weisberg, die als Psychologin an der katholischen Villanova University in den USA forscht. «Wir gehen davon aus, dass kreatives Schreiben einzigartige menschliche Fähigkeiten erfordert, etwa Lebenserfahrung oder emotionales Verständnis. Das führt dazu, dass Menschen die Fähigkeiten von KI unterschätzen.»
Kaum Kompetenzen bei der Unterscheidung
Zuvor hatten bereits mehrere Studien belegt, dass die meisten Menschen Sachtexte von einer KI nicht von jenen menschlicher Autoren unterscheiden können. Auch in den zwei folgenden Experimenten, die Weisberg mit ihrer Kollegin Sydney Sears durchgeführt hat, bestätigte sich dieser Befund. Weniger als jeder Zweite von insgesamt rund 900 weiteren Versuchsteilnehmern konnte nach dem Lesen zweier Kurzgeschichten korrekt zuordnen, welche davon generiert und welche von einem Menschen geschrieben worden war. Das Ergebnis war also statistisch zufällig.
Weisberg vermutet, dass der Mechanismus dahinter eine Art Zirkelschluss ist. «KI-Texte sind tendenziell klarer, direkter und leichter zu verarbeiten. Im Gegensatz dazu sind menschlich verfasste Geschichten oft subtiler und komplexer», erklärt sie. Die KI-Versionen der Geschichten hätten die Themen meist explizit benannt, anstatt von den Lesern zu fordern, Bedeutungen aus den Worten und Handlungen der Figuren selbst abzuleiten. Die Versuchspersonen bevorzugten deshalb die Geschichten von ChatGPT. Da sie aber der KI mit einer ablehnenden Haltung begegneten, schlussfolgerten sie, dass die Geschichte, die ihnen besser gefiel, von menschlichen Autoren stammen musste, heisst es im Diskussionsteil der Studie.
KI-Erfahrung hilft beim Erkennen
Einen Unterschied machte allerdings, wie viele Erfahrungen die Teilnehmer bereits mit KI-Chatbots gesammelt hatten. Wer angab, ChatGPT und ähnliche Tools bereits eine Weile zu benutzen, war tendenziell auch etwas besser darin, die Autoren der Texte richtig zuzuordnen. Das könne daran liegen, dass diese Personen bestimmte Strukturen und Floskeln wiedererkannten, die von KI häufig verwendet würden, sagt Weisberg. «Verbesserung der KI-Kompetenz könnte eine Möglichkeit sein, den Menschen dabei zu helfen, sich in der neuen, von KI geprägten Welt, in der wir leben, zurechtzufinden», schlussfolgert sie.
In Deutschland stellen sich viele Lehrerinnen und Lehrer die Frage, wie sie erkennen können, ob Schüler beim Verfassen von Hausarbeiten heimlich KI verwendet haben. Ein Hinweis könnte demnach ein gewisser Mangel an Abwechslung sein, heisst es in einem Beitrag der Gewerkschaft Erziehung und Wissenschaft (GEW). Chatbots griffen demnach häufig auf Wiederholungen zurück und verwendeten selten Redewendungen, Dialekt oder Slang. Allerdings gebe es im Netz auch viele Anleitungen, solchen einfachen Erkennungsmerkmalen auszuweichen – und die Sprache wieder menschlicher zu machen. Diese enthalte zum Beispiel mehr Fehler. (sda/dpa)
Was hat es mit «KI-Müll» auf sich?
«AI Slop» bedeutet auf Deutsch etwa «KI-Frass» oder «KI-Müll». Mit solchen Schlagwörtern werden problematische digitale Inhalte bezeichnet, die mit generativer KI erstellt wurden.
Gemeint sind Texte, Bilder, Videos oder sogar Musik, die mit sehr wenig Aufwand entstanden und nicht redaktionell geprüft wurden. Sie dienen vor allem dazu, Social-Media-Feeds zu füllen, Klicks zu generieren und Werbeeinnahmen zu maximieren.
Während Spam unerwünschte E-Mails bezeichnet, steht «AI Slop» für eine neue Welle von verhassten KI-Inhalten, die Suchmaschinen und grosse Plattformen wie YouTube überfluten. Ironie der Geschichte: Die Plattformbetreiber selbst, die marktbeherrschenden Techkonzerne, haben das Phänomen überhaupt erst ermöglicht.
Solche KI-Inhalte schaden der Sichtbarkeit sorgfältig recherchierter, menschlich erstellter Beiträge. Und sie verschmutzen das Internet als Informationsökosystem insgesamt. Nutzerinnen und Nutzer brauchen mehr Zeit, um Verlässliches vom «KI-Müll» zu trennen.
