Trau keiner Studie, die du nicht selbst gefälscht hast. Das ist die Lektion, die John Bohannon seiner Branche geben will. Zusammen mit seinem Team drehte er der Medienwelt eine Studie an, die angeblich beweist, dass Schokolade beim Abnehmen hilft. Sie wurde bewusst unter äusserst fragwürdigen Umständen durchgeführt.
Medien auf der ganzen Welt fielen darauf herein, auch in der Schweiz. So titelte «20 Minuten» an Ostern: «Schoggi macht schlank und schlau» und beruft sich auf Bohannons Studie. Bei der deutschen «Bild», Europas grösster Tageszeitung, landete die Story auf der Frontseite.
Der Clou: Die Daten sind echt. Es wurde eine klinische Studie mit Versuchspersonen durchgeführt. Und doch seien die Resultate wertlos, wie John Bohannon in einem Gastbeitrag auf io9 erläutert. Sie stützen sich auf die Daten von gerade mal 15 Teilnehmern. Ein solches Ergebnis kann statistisch signifikant sein – und doch nichtssagend. «Es war eine typische Studie in der Diätforschung. Das heisst: miserable Wissenschaft.»
Bohannon zog den Stunt zusammen mit den deutschen TV-Reportern Peter Onneken und Diana Löbl durch, die an einer Dokumentation über das System der «Ernährungs-PR» arbeiten (Die Doku läuft am 5. Juni auf Arte und am 7. Juni im Rahmen der ZDF-Sendung «planet e»). Die Filmer wollten demonstrieren, wie einfach es ist, nichtssagende Forschungsresultate zu grossen Schlagzeilen zu machen.
Der Ernährungswissenschaftler Uwe Knop hat sie bei dem Projekt beraten. «Einerseits wollte ich den Medien vertrauen und habe insgeheim gehofft, dass die Story nicht so grosse Kreise ziehen würde», sagt er zu watson. «Aufgrund meiner Kenntnisse, wie manipulative Ernährungs-PR seit Jahren Journalisten ‹benutzt›, war mir aber klar, dass es so weit kommen würde.»
Das Prinzip bei solchen Studien sei immer das Gleiche. «Für die Dokumentation wurde das gängige, erfolgsversprechende Muster angewandt, das bei Ernährungsmärchen immer zum Einsatz kommt», sagt Knop. Zu diesem Muster gehören gemäss Knop folgende Schritte:
Für das Projekt haben Bohannon und Co. keine Mühen gescheut: Sie haben mehrere 1000 Euro investiert – für Versuchspersonen, Berater, einen Doktor und einen Statistiker, der die Daten auswertete. Schliesslich fanden sich 15 Testsubjekte, die für den drei Wochen dauernden Versuch in drei Gruppen unterteilt wurden:
Die Resultate: Das Gewicht der Kontrollgruppe blieb in etwa gleich, Mitglieder der anderen beiden nahmen durchschnittlich fünf Pfund ab. Und dann fand der Statistiker, was er suchte: Teilnehmer der Schokoladen-Gruppe nahmen 10 Prozent schneller ab, hatten bessere Cholesterinwerte und fühlten sich besser.
Moment mal, mag man denken: Dann stimmt es ja doch, Schoggi macht wirklich schlank. John Bohannon weiht in ein «kleines, schmutziges Wissenschafts-Geheimnis» ein: «Wenn du eine grosse Anzahl an Faktoren an einer kleinen Gruppe testest, bekommst du fast garantiert ein ‹statistisch signifikantes› Resultat.»
So wurden bei den 15 Teilnehmern 18 verschiedene Werte geprüft – unter anderem Gewicht, Cholesterin, Natrium, Schlafqualität, Wohlbefinden. «Diese Art von Studie ist ein Rezept für irreführende Resultate», schreibt Bohannon.
«Die Werte sind wie Lotterie-Tickets. Jeder hat eine kleine Chance, ein signifikantes Resultat zu liefern, um das man eine Story basteln kann, die man den Medien verkauft. Je mehr Tickets du kaufst, desto höher deine Gewinnchancen.» Anfangs hätten sie nicht gewusst, wie die Schlagzeilen aussehen würden. Aber sie wussten, dass die Chancen auf mindestens ein signifikantes Resultat ziemlich gut waren.
Das Papier in einem wissenschaftlichen Journal zu publizieren, sei kein Problem gewesen, und nach einer knackigen Pressemitteilung stürzten sich die Medien geradezu auf die Story. Neben den erwähnten Medien nahmen sie auch die deutschen Online-Ausgaben von Cosmopolitan und Huffington Post auf, ausserdem Focus, Times of India, ein TV-Newssender aus Texas und eine australische Morgentalkshow.
Bohannon kritisiert die Faulheit von Journalisten, genauer zu recherchieren. Nicht nur hatte die Studie viel zu wenig Teilnehmer für ein wissenschaftlich vertretbares Ergebnis, der Journalist trat auch unter dem Pseudonym Johannes Bohannon auf, der noch nie etwas veröffentlicht hatte. Und sein Institute of Diet and Health ist nichts weiter als eine Website.
Was kann der an Ernährung interessierte Leser tun, um nicht auf wertlose Studien hereinzufallen? «Etwas muss dem Leser bewusst sein: Es gibt in der Ernährungswissenschaft keine Beweise, nur Vermutungen», sagt Ernährungswissenschaftler Knop. «Wer von einer Ernährungsstudie liest, darf also getrost darüber lachen und sie wieder vergessen.»
Wenn Watson sich davon also abheben will: Ihr wisst, was ihr zu tun habt...