Wissenschaftliche Zeitschriften und die Presse bieten regelmäßig frische Portionen faszinierender psychologischer Forschungsergebnisse. Aber wie viele dieser Experimente würden ein zweites Mal zu denselben Ergebnissen führen?
Verwandte Inhalte
- Biomedizinische Studien sind erschreckend schwer zu reproduzieren
- Studien mit kürzeren Titeln werden häufiger zitiert
- Warum so wenige Wissenschaftler die Ursachen von Waffengewalt untersuchen
Laut der heute in Science vorgestellten Arbeit konnten weniger als die Hälfte der 100 Studien, die 2008 in drei Top-Psychologie-Journalen veröffentlicht wurden, erfolgreich repliziert werden. Die internationalen Bemühungen umfassten 270 Wissenschaftler, die im Rahmen des Reproduzierbarkeitsprojekts: Psychologie unter der Leitung von Brian Nosek von der University of Virginia die Studien anderer Personen erneut durchführten.
Die augenöffnenden Ergebnisse bedeuten nicht unbedingt, dass diese ursprünglichen Ergebnisse falsch waren oder dass der wissenschaftliche Prozess fehlerhaft ist. Wenn eine Studie einen Effekt feststellt, den eine zweite Studie nicht reproduzieren kann, gibt es mehrere mögliche Gründe, sagt Co-Autor Cody Christopherson von der Southern Oregon University. Das Ergebnis von Studie A kann falsch sein, oder das Ergebnis von Studie B kann falsch sein - oder es kann geringfügige Unterschiede in der Art und Weise geben, wie die beiden Studien durchgeführt wurden, die sich auf die Ergebnisse auswirkten.
„Dieses Projekt ist kein Beweis dafür, dass etwas kaputt ist. Es ist vielmehr ein Beispiel dafür, wie Wissenschaft das tut, was Wissenschaft tut “, sagt Christopherson. „Es ist unmöglich, sich in der Wissenschaft endgültig zu irren. Du musst dich vorübergehend irren, vielleicht viele Male, bevor du jemals Recht hast. “
Wissenschaftlich betrachtet gilt Forschung als reproduzierbar, wenn ein unabhängiges Team ein veröffentlichtes Experiment so genau wie möglich nach den ursprünglichen Methoden durchführen und die gleichen Ergebnisse erzielen kann. Dies ist ein wichtiger Teil des Prozesses zur Erstellung von Beweisen zur Unterstützung von Theorien. Noch heute, 100 Jahre nachdem Albert Einstein seine allgemeine Relativitätstheorie vorgestellt hat, wiederholen Wissenschaftler regelmäßig Tests ihrer Vorhersagen und suchen nach Fällen, in denen seine berühmte Beschreibung der Schwerkraft nicht zutrifft.
"Wissenschaftliche Beweise beruhen nicht auf dem Vertrauen in die Autorität der Person, die die Entdeckung gemacht hat", sagte Teammitglied Angela Attwood, Psychologieprofessorin an der Universität Bristol, in einer Erklärung und Beweise. "
Das Reproduzierbarkeitsprojekt, ein Crowdsourcing-Projekt auf Community-Basis, wurde 2011 gestartet, um zu testen, wie gut dieses Maß an Glaubwürdigkeit für neuere psychologische Forschungen gilt. Einige rekrutierte Wissenschaftler und Freiwillige überprüften einen Pool von Studien und wählten einen zur Replikation aus, der ihrem eigenen Interesse und Fachwissen entsprach. Ihre Daten und Ergebnisse wurden online ausgetauscht und von anderen teilnehmenden Wissenschaftlern überprüft und analysiert, um sie in die große wissenschaftliche Studie einzubeziehen.
Um die zukünftige Forschung zu verbessern, wurde in der Projektanalyse versucht, festzustellen, welche Arten von Studien am besten abschnitten und warum. Sie stellten fest, dass überraschende Ergebnisse am schwierigsten zu reproduzieren waren und dass die Erfahrung oder das Fachwissen der Wissenschaftler, die die ursprünglichen Experimente durchgeführt hatten, wenig mit einer erfolgreichen Replikation zu tun hatten.
Die Ergebnisse stützten auch das oft kritisierte statistische Instrument namens P- Wert, der misst, ob ein Ergebnis signifikant oder zufällig ist. Ein höherer Wert bedeutet, dass ein Ergebnis höchstwahrscheinlich ein Zufall ist, während ein niedrigerer Wert bedeutet, dass das Ergebnis statistisch signifikant ist.
Die Projektanalyse ergab, dass ein niedriger P- Wert ziemlich aussagekräftig ist, welche Psychologiestudien repliziert werden könnten. Beispielsweise konnten 20 der 32 Originalstudien mit einem P- Wert von weniger als 0, 001 repliziert werden, während nur 2 der 11 Arbeiten mit einem Wert von mehr als 0, 04 erfolgreich repliziert wurden.
Christopherson vermutet jedoch, dass die meisten seiner Mitautoren nicht möchten, dass die Studie als eindeutige Bestätigung der P- Werte gewertet wird, da sie die Einschränkungen des Tools erkennen. Mindestens ein Problem mit dem P- Wert wurde in der Studie hervorgehoben: Die ursprünglichen Studien hatten eine relativ geringe Variabilität des P- Werts, da die meisten Zeitschriften einen Grenzwert von 0, 05 für die Veröffentlichung festgelegt haben. Das Problem ist, dass der Wert durch Auswahl von Datensätzen erreicht werden kann. Das bedeutet, dass Wissenschaftler, die ein Ergebnis replizieren möchten, auch die in der ursprünglichen Studie verwendeten Methoden und Daten sorgfältig prüfen sollten.
Es ist auch noch nicht klar, ob die Psychologie ein besonders schwieriges Feld für die Reproduzierbarkeit sein könnte - eine ähnliche Studie zur Erforschung der Krebsbiologie wird derzeit durchgeführt. In der Zwischenzeit hofft Christopherson, dass die massiven Anstrengungen mehr solche Doppelkontrollen und Überprüfungen der bisherigen Forschung anstoßen werden, um den wissenschaftlichen Prozess zu unterstützen.
„Um es richtig zu machen, müssen die Annahmen und Ergebnisse der Vergangenheit regelmäßig überprüft und neue Wege gefunden werden, um sie zu testen. Wissenschaft ist nur dann erfolgreich und glaubwürdig, wenn sie selbstkritisch ist “, stellt er fest.
Leider gebe es keine Anreize, diese Art von Forschung zu betreiben, sagt er: „Um im akademischen Bereich engagiert und befördert zu werden, muss man Originalforschung veröffentlichen, daher sind direkte Replikationen seltener. Ich hoffe, dass die Universitäten und Förderorganisationen, die für die Förderung dieser Forschung verantwortlich sind, und die Medien, die über sie berichten, erkennen werden, dass sie Teil des Problems waren und dass die Abwertung der Replikation auf diese Weise zu einer weniger stabilen Literatur geführt hat als wir möchte. "
