Art der Datenanalyse beeinflusst das Ergebnis

Warum die Vielfalt möglicher Interpretationen entscheidend ist

Auf den Punkt gebracht: 

• Wichtige Erkenntnis: Dieselben Daten können zu unterschiedlichen Ergebnissen führen, wenn verschiedene Methoden zur Analyse verwendet werden. Eine Studie in der Fachzeitschrift Nature zeigt, dass fast 500 Analysten unterschiedliche Schlussfolgerungen aus 100 Studien der Sozial- und Verhaltenswissenschaften zogen.
• Analytische Variabilität: Die Art der Datenanalyse beeinflusst die Ergebnisse erheblich. Entscheidungen über Datenbereinigung, Variablen und statistische Modelle sind entscheidend und können zu unterschiedlichen Schlussfolgerungen führen.
• Flexibilität der Datenanalyse: Unterschiedliche Ergebnisse sind nicht auf fehlende Fachkompetenz zurückzuführen. Selbst erfahrene Forschende kommen häufig zu abweichenden Ergebnissen, was die Flexibilität der Datenanalyse verdeutlicht.

Wenn Daten von verschiedenen Forschenden unterschiedlich ausgewertet werden, können die daraus gezogenen Schlussfolgerungen deutlich unterschiedlich aussehen. Das zeigt eine groß angelegte Studie, die nun in der renommierten Wissenschaftszeitung Nature erschienen ist. Die Studie wurde von einem internationalen Forschungsteam unter der Leitung von Balázs Aczél und Barnabás Szászi von der Eötvös Loránd Universität und der Corvinus Universität Budapest durchgeführt. Aus der Max-Planck-Gesellschaft waren Wissenschaftlerinnen und Wissenschaftler des Max-Planck-Instituts zur Erforschung von Kriminalität, Sicherheit und Recht (Freiburg), des Max-Planck-Instituts für Bildungsforschung (Berlin), des Max-Planck-Instituts für Verhaltensökonomik (Bonn) und des Max-Planck-Instituts für empirische Ästhetik (Frankfurt) als Co-Autorinnen und -Autoren beteiligt. 

Analyse-Flexibilität kann zu unterschiedlichen Schlussfolgerungen führen

In den letzten zehn Jahren haben die Sozial- und Verhaltenswissenschaften umfangreiche Reformen eingeführt, um die Forschung transparenter, strenger und zuverlässiger zu machen. Vorabregistrierung, registrierte Berichte, Replikationsstudien und Überprüfungen der analytischen Reproduzierbarkeit zielen alle darauf ab, Zufallsfunde und verzerrte Ergebnisse zu reduzieren.

Dennoch blieb eine zentrale Frage bisher wenig erforscht: Wie genau wirkt sich die Art und Weise aus, wie Daten ausgewertet werden? In der üblichen wissenschaftlichen Praxis analysiert meist ein einzelnes Forscherteam einen Datensatz und veröffentlicht nur ein einziges Ergebnis – nämlich das, das durch einen bestimmten Analyseweg gewonnen wurde.

Doch bei der Datenanalyse gibt es viele kleine, aber entscheidende Punkte: Wie werden die Daten bereinigt? Welche Variablen werden berücksichtigt? Welche statistischen Modelle werden verwendet? Und wie werden die Ergebnisse interpretiert?

Diese Entscheidungen bilden zusammen die sogenannte analytische Variabilität – die Flexibilität, die bei der Datenanalyse besteht. Dabei gibt es häufig nicht den einen „richtigen“ Weg. Viele dieser Entscheidungen sind fachlich gut begründbar und für sich genommen legitim. Dennoch kann diese Flexibilität dazu führen, dass auf Basis derselben Daten ganz unterschiedliche Schlussfolgerungen gezogen werden.

Unterschiedliche Schlussfolgerungen haben nichts mit fehlender Fachkompetenz zu tun

Die Forscher analysierten 504 verschiedene Varianten von Daten aus 100 Studien. Beteiligt waren 457 unabhängige Analysten, die dieselben Daten und dieselbe zentrale Forschungsfrage bekamen. Immer jeweils fünf Analysten waren für ein Paper verantwortlich. Jedoch durften sie selbst entscheiden, wie sie die Daten auswerten wollten.

Die Ergebnisse zeigten: Obwohl die meisten Re-Analysen die Hauptannahmen der ursprünglichen Studien bestätigten, unterschieden sich Effektgrößen, statistische Schätzungen und Unsicherheitsgrade oft erheblich. In nur etwa einem Drittel aller Fälle kamen alle Analysten zum gleichen Ergebnis wie die ursprünglichen Autorinnen und Autoren.

Besonders auffällig war dabei: Auch erfahrene Forscherinnen und Forscher mit fundierten statistischen Kenntnissen kamen häufig zu anderen Schlussfolgerungen. Das deutet darauf hin, dass die analytische Variabilität nicht auf fehlende Fachkompetenz zurückzuführen ist, sondern auf die inhärente Flexibilität der Datenanalyse.

Ein weiterer Faktor: Beobachtungsstudien erwiesen sich als weniger robust als experimentelle Studien. Komplexere Datenstrukturen ermöglichen mehr Analyseoptionen – und damit auch mehr Unsicherheit.

Neue Perspektive für die Wissenschaft

„Diese Ergebnisse stellen nicht die Glaubwürdigkeit früherer Forschungen in Frage“, sagt Balázs Aczél von der Eötvös Loránd Universität. „Vielmehr zeigen sie, dass die Präsentation einer einzigen Analyse oft nicht das wahre Ausmaß der empirischen Unsicherheit widerspiegelt. Das Ignorieren der analytischen Variabilität kann zu einem falschen Vertrauen in wissenschaftliche Schlussfolgerungen führen.“

Barnabás Szászi ergänzt: „Wir befürworten daher eine breitere Nutzung von Multi-Analysten- und Multiversum-Ansätzen – besonders bei Fragen von hoher wissenschaftlicher oder gesellschaftlicher Bedeutung. Anstatt nach einer einzigen wahren Antwort zu suchen, machen diese Ansätze sichtbar, wie stabil – oder fragil – wissenschaftliche Schlussfolgerungen tatsächlich sind.“

Plädoyer für mehr Transparenz

Die Studie, die nun in der renommierten Wissenschaftszeitung Nature erschienen ist, zeigt, dass die Wissenschaft nicht mehr nur auf ein einziges Ergebnis setzen sollte – sondern auf eine Vielfalt möglicher Interpretationen. Es geht darum, die Unsicherheit offenzulegen und transparenter zu kommunizieren, wie robust oder fragil ein wissenschaftliches Ergebnis wirklich ist.

In einer Welt, in der Daten immer mehr werden und die Forschung immer komplexer wird, könnte diese neue Perspektive ein wichtiger Schritt hin zu einer verantwortungsvolleren und transparenteren Wissenschaft sein.

Hintergrund 

Die Studie wurde im Rahmen des von der Defense Advanced Research Projects Agency (DARPA) geförderten SCORE-Programms durchgeführt, das sich dafür einsetzt, die Zuverlässigkeit und Transparenz wissenschaftlicher Forschung zu erhöhen. Die Ergebnisse unterstreichen die Notwendigkeit, nicht nur die Methodik, sondern auch die Analyseprozesse transparenter zu dokumentieren und zu evaluieren.