Es ist schwer, gegen die Macht der Wissenschaft zu argumentieren. Von Studien, die den neuesten Ernährungstrend bewerten, bis zu Experimenten, die Prädiktoren des Glücks beleuchten, betrachten die Menschen wissenschaftliche Ergebnisse zunehmend als konkrete, verlässliche Fakten, die unser Denken und Handeln bestimmen können.
Verwandte Inhalte
- Wissenschaftler haben 100 Psychologiestudien wiederholt und weniger als die Hälfte hat die gleichen Ergebnisse erzielt
In den letzten Jahren hat jedoch ein wachsendes Kontingent von Wissenschaftlern begonnen, die akzeptierte Richtigkeit veröffentlichter Forschungsergebnisse in Frage zu stellen - auch nachdem sie die Hürden der Peer Review genommen haben und in weithin anerkannten Fachzeitschriften erscheinen. Das Problem ist die allgegenwärtige Unfähigkeit, einen großen Teil der Ergebnisse in zahlreichen Disziplinen zu reproduzieren.
So hat beispielsweise John Ioannidis, Professor für Medizin an der Stanford University, im Jahr 2005 anhand mehrerer Simulationen gezeigt, dass wissenschaftliche Behauptungen eher falsch als wahr sind. Und im vergangenen Sommer versuchte Brian Nosek, Professor für Psychologie an der Universität von Virginia, die Ergebnisse von 100 Psychologiestudien zu wiederholen und stellte fest, dass nur 39 Prozent der Ergebnisse unter strengen erneuten Tests erhalten blieben.
"Es gibt mehrere theoretische und empirische Belege, die die Reproduzierbarkeit eines wesentlichen Teils der wissenschaftlichen Literatur in Frage stellen", sagt Ioannidis. "Wir bekommen Millionen von Zeitungen, die nirgendwo hingehen."
Diese vorläufigen Ergebnisse haben die Schaffung eines völlig neuen Feldes hervorgebracht, das als Metaforschung bezeichnet wird - das wissenschaftliche Studium der Wissenschaft.
Diese Woche hat der Biologiearm der Public Library of Science (PLOS), einer gemeinnützigen Herausgeber- und Interessenvertretungsorganisation, einen neuen Bereich eingerichtet, der ausschließlich der Metaforschung gewidmet ist. In diesem Abschnitt werden Themen wie Transparenz in der Forschung, methodische Standards, Quellen der Befangenheit, Datenaustausch, Finanzierung und Anreizstrukturen erörtert.
Zum Auftakt werteten Ioannidis und seine Kollegen eine Stichprobe von 441 biomedizinischen Artikeln aus, die zwischen 2000 und 2014 veröffentlicht wurden. Sie überprüften, ob diese Artikel der Öffentlichkeit Zugang zu Rohdaten und Versuchsprotokollen gewährten, in nachfolgenden Studien repliziert und ihre Ergebnisse systematisch integriert wurden Überprüfungen eines Themenbereichs und Dokumentation von Finanzierungsquellen und anderen potenziellen Interessenkonflikten.
Ihre Ergebnisse waren gelinde gesagt beunruhigend. Beispielsweise lieferte nur eine Studie vollständige Versuchsprotokolle und keine Studien direkt verfügbare Rohdaten.
"Dies sind zwei Grundpfeiler der Reproduzierbarkeit", sagt Ioannidis. „Wenn Daten und das vollständige Protokoll nicht verfügbar sind, kann man nichts wirklich reproduzieren.“ Wie kann ein anderes Team ohne diese Schlüsselinformationen genau wissen, was zu tun ist und wie sich die Ergebnisse von denen im ursprünglichen Experiment unterscheiden?
Das Team stellte auch fest, dass die Behauptungen von nur acht der untersuchten Artikel später durch nachfolgende Studien bestätigt wurden. Und obwohl viele der Studien neue Erkenntnisse vorgaben, wurden die Ergebnisse von nur 16 Artikeln in spätere Übersichtsartikel aufgenommen, die als Lackmustest für die wahre Auswirkung einer Studie auf ein bestimmtes Thema dienen.
"Die Zahlen, die wir erhalten, sind ziemlich beängstigend", sagt Ioannidis.
Nicht alle Ergebnisse waren jedoch entmutigend. Der Prozentsatz der Artikel ohne Interessenkonflikterklärung ging von 94, 4 Prozent im Jahr 2000 auf 34, 6 Prozent im Jahr 2014 zurück. Dies ist wahrscheinlich auf das wachsende Bewusstsein für die schädlichen Auswirkungen von Verzerrungen auf die Forschungsergebnisse zurückzuführen.
In einer zweiten Metaforschungsstudie analysierte ein deutsches Team, wie der Verlust von Versuchspersonen während präklinischer Studien zu der weit verbreiteten Unfähigkeit beitragen könnte, Laborergebnisse in nützliche klinische Arzneimittel umzusetzen.
Forschungstiere könnten zufällig aus einer Studie verschwinden - zum Beispiel, weil das Tier gestorben ist - oder durch subtile voreingenommene Handlungen, wie das Entfernen aus dem Versuch, um Daten zu eliminieren, die die erwarteten Ergebnisse untergraben. Das Team zeigte, dass die voreingenommene Entfernung von Tieren die Ergebnisse verzerren und die Wahrscheinlichkeit eines falschen Positivs signifikant erhöhen kann - wenn angenommen wird, dass ein neues Medikament wirkt, dies jedoch nicht der Fall ist.
In einer getrennten Analyse vorklinischer Studien zu Schlaganfall und Krebs stellten die gleichen Forscher fest, dass in den meisten Veröffentlichungen der Verlust von Versuchspersonen nicht angemessen angegeben und die positiven Auswirkungen vieler getesteter Arzneimittel möglicherweise stark überschätzt wurden.
Warum kommt es dann überhaupt zu dieser Krise der Transparenz und Reproduzierbarkeit?
Während einige Probleme in bewussten oder unbewussten Forschungsabweichungen liegen können, ist es wahrscheinlich, dass die meisten Studien, die veröffentlicht werden, aufgrund der gegenwärtigen Anreizstruktur in der Wissenschaft einzigartig sind.
In der Cutthroat-Welt der Wissenschaft ist die Anzahl der Studien, die ein Forscher in renommierten Fachzeitschriften erhält, der wichtigste Erfolgsfaktor. Infolgedessen stehen die Wissenschaftler unter dem Druck, den größten Teil ihrer Zeit damit zu verbringen, die Durchbruchsergebnisse zu erzielen, die am wahrscheinlichsten veröffentlicht werden.
„Obwohl wir Wert auf Reproduzierbarkeit im Konzept legen, schätzen wir sie in der Praxis nicht wirklich“, sagt Nosek, Co-Direktor des Center for Open Science, eines gemeinnützigen Technologie-Startups, das Transparenz und Reproduzierbarkeit in der wissenschaftlichen Forschung fördert.
„Die wirklichen Anreize für mein Verhalten als Wissenschaftler sind Innovationen, neue Entdeckungen und neue Wege - nicht zu wiederholen, was andere getan haben. Das ist der langweilige Teil der Wissenschaft. “
Wissenschaftler sehen auch nur wenige Anreize, die Informationen bereitzustellen, die andere benötigen, um ihre Arbeit zu replizieren. Dies ist einer der Hauptgründe, warum die Behauptungen so vieler Studien nicht überprüft werden.
„Ich werde nicht dafür belohnt, dass ich meine Daten zur Verfügung stelle oder meine Methodik ausführlicher darlege, als es für eine Veröffentlichung erforderlich ist“, sagt Nosek.
In vielen Fachzeitschriften werden Wissenschaftler gebeten, ihre Methoden detailliert zu erläutern und Daten weiterzugeben. Diese Richtlinien werden jedoch nur selten durchgesetzt, und es gibt keine universellen Veröffentlichungsstandards.
„Wenn ich wüsste, dass es niemals Bullen auf den Straßen geben würde, würde ich mich dann immer an das Tempolimit halten? Nein, es liegt in der Natur des Menschen “, sagt Ivan Oransky, Mitbegründer von Retraction Watch, einer Organisation, die Rechenschaftspflicht und Transparenz fördert, indem sie Rückzüge in der wissenschaftlichen Literatur nachverfolgt. "Wenn Sie wissen, dass Sie niemand bestrafen wird, werden Sie keine Daten weitergeben."
Diejenigen Wissenschaftler, die Replikationsarbeiten durchführen möchten und experimentelle Details erhalten können, werden wahrscheinlich keine Finanzmittel von öffentlichen Stellen wie dem NIH erhalten, die Zuschussanträge in erster Linie nach Neuheit und Innovation beurteilen.
"Die Chancen stehen eindeutig gegen Replikation", sagt Ioannidis.
Hier kann das aufstrebende Feld der Meta-Forschung einspringen. Organisationen wie das Center for Open Science und das Meta-Research Innovation Center in Stanford (METRICS) arbeiten daran, das Belohnungssystem neu auszurichten und strenge universelle Standards festzulegen, die eine weitere Verbreitung fördern Transparenz- und Reproduzierbarkeitspraktiken.
„Wenn die Höhe der Finanzierung oder Beförderung davon abhängt, was mit Ihrer früheren Forschung geschehen ist - wenn sie reproduzierbar ist, wenn die Leute einen Sinn daraus ziehen können, wenn die Leute sie in etwas Nützliches übersetzen können, anstatt nur, wie viele Papiere Sie veröffentlicht haben -, dann ist das der Fall ein sehr starker Anreiz, die Forschung zu verändern, um reproduzierbarer zu werden “, sagt Ioannidis, Co-Direktor von METRICS.
"Ich bin zuversichtlich, dass sich diese Indikatoren verbessern werden", fügt er hinzu. "Und für einige von ihnen gibt es keine andere Möglichkeit, als nach oben zu gehen, weil wir bei Null beginnen."
