Forschung im Realitätscheck: Wie verlässlich sind wissenschaftliche Studien wirklich?

Wer eine wissenschaftliche Studie liest, erwartet eindeutige Ergebnisse. Doch wie verlässlich die Befunde wirklich sind, zeigt sich oft erst, wenn sie unabhängig überprüft werden. Genau das war das Ziel von SCORE (Systematizing Confidence in Open Research and Evidence), dem weltweit größten Forschungsprojekt zur Verlässlichkeit wissenschaftlicher Befunde. Forschende aus knapp 100 Institutionen – darunter Prof. Dr. Jan Philipp Röer, Prof. Dr. Johannes Michalak und Prof. Dr. Thomas Ostermann von der Universität Witten/Herdecke (UW/H) – haben 164 veröffentlichte Arbeiten aus den Sozial- und Verhaltenswissenschaften getestet und die Ursprungsfrage mit neuen Versuchspersonen und Daten wiederholt. Zeigt sich dasselbe Ergebnismuster oder nicht?

Wissenschaft im Härtetest

Etwa die Hälfte der untersuchten Befunde ließ sich bestätigen, die andere nicht. Zudem fielen die Ergebnisse in den Wiederholungen meist schwächer aus als in den ursprünglichen Arbeiten. Das zeigt: Die eigentliche Herausforderung liegt weniger in einzelnen Studien, sondern darin, wie mit ihren Ergebnissen umgegangen wird. Häufig werden sie eindeutiger dargestellt, als sie tatsächlich sind – in der Wissenschaft selbst ebenso wie in Medien, Politik und Öffentlichkeit.

Selbstkritik als Stärke in der Wissenschaft

„Ich glaube nicht, dass das ein Problem für die Glaubwürdigkeit wissenschaftlicher Befunde ist“, sagt Prof. Dr. Jan Philipp Röer, Inhaber des Lehrstuhls für Allgemeine Psychologie an der UW/H. „Im Gegenteil. Eine fehlgeschlagene Replikation heißt nicht unbedingt, dass der ursprüngliche Befund falsch ist, sondern zunächst einmal nur, dass die Summe der einzelnen Ergebnisse weniger eindeutig ist als zuvor angenommen.“ Für ihn ist SCORE kein Anlass zur Resignation, sondern ein Auftrag: zu verstehen, unter welchen Bedingungen Befunde stabil sind und unter welchen nicht. Gescheiterte Replikationen sind dabei keine Sackgasse, sondern ein Wegweiser: Sie zeigen, wo weitere Forschung nötig ist, um das vollständige Bild zu zeichnen.

Was jetzt zählt: Transparenz und offene Daten

SCORE hat nicht nur geprüft – das Programm hat auch vorgelebt, wie Wissenschaft funktionieren sollte. Alle Datensätze, Auswertungsschritte und Codes liegen offen, für jeden zugänglich, nachvollziehbar und weiterverwendbar. Das ist das Versprechen von Open Science: Forschung nicht hinter verschlossenen Türen zu praktizieren, sondern als gemeinsames, überprüfbares Projekt zu verstehen. „Transparenz muss zum Standard werden“, sagt Röer. „Nur so kann Wissenschaft verlässliches Wissen schaffen, auf dem andere aufbauen können.“ 

Weitere Informationen: 

Die Ergebnisse der SCORE-Studie wurden in „Nature“ veröffentlicht, einer der renommiertesten wissenschaftlichen Fachzeitschriften der Welt. Naturegilt als Gütesiegel für Forschung von besonderer Relevanz und methodischer Qualität. Dass ausgerechnet eine Studie über die Grenzen wissenschaftlicher Verlässlichkeit dort erscheint, ist selbst ein Signal: Integrität und Selbstkritik in der Forschung werden zunehmend als wissenschaftliche Leistung anerkannt – nicht als Eingeständnis von Schwäche.