A Reproducible Paper

• Veranstaltungstyp: Seminar
• Einrichtungen: Fakultät für Psychologie und Bewegungswissenschaft
• Förderzeitraum: 01.09.2024 bis 30.09.2025
• Kurztitel: Repro

Ausrichtung des Projekts

Die Forschung sollte reproduzierbar sein. Die gleiche Analyse der gleichen Daten sollte das gleiche Ergebnis liefern. Das klingt zunächst selbstverständlich, aber viele Untersuchungen zeigen, dass ein großer Teil der wissenschaftlichen Literatur in verschiedenen Disziplinen nicht reproduzierbar ist. Forschungsdaten und Analysecodes werden oft nicht ohne weiteres weitergegeben, so dass es für andere Forscher praktisch keine Möglichkeit gibt, veröffentlichte wissenschaftliche Ergebnisse unabhängig zu überprüfen. In einigen Fällen sind nicht einmal die Wissenschaftler, die die Forschung durchgeführt haben, in der Lage, ihre eigenen Ergebnisse zu reproduzieren, und das nicht lange nach der Veröffentlichung der Arbeit. Die Investition der Öffentlichkeit in eine bestimmte Forschungsstudie beschränkt sich häufig auf einen - häufig kostenpflichtigen - Artikel im PDF-Format auf der Website eines gewinnorientierten Verlags.

Die reproduzierbare Durchführung von Forschungsarbeiten wird durch mindestens zwei Faktoren erschwert: Erstens sind die Anreize in der akademischen Forschung nicht förderlich, da die Quantität der Veröffentlichungen und der Impact-Faktor der Zeitschriften, in denen sie veröffentlicht werden, bei Einstellungen und Beförderungen häufig immer noch stärker berücksichtigt werden als die Qualität, Robustheit und Reproduzierbarkeit der Arbeit. Zweitens ist es tatsächlich schwierig, Forschung reproduzierbar zu machen, und angehende Forscher erhalten oft keine gezielte und umfassende Ausbildung in den einschlägigen Praktiken und Instrumenten.

^{Scott Graham / unsplash}

Dieselben Ergebnisse auf einem anderen Computer zu reproduzieren, ist oft kein triviales Problem. So müssen beispielsweise nicht nur der gesamte Code und alle Daten in einem zugänglichen Format verfügbar sein, sondern es muss auch die gleiche Software (oder Rechenumgebung) nachgebildet werden können. Generell stellt die reproduzierbare und transparente Verwaltung von Forschungsergebnissen über den gesamten Lebenszyklus hinweg - von der ersten Idee bis zur Veröffentlichung und darüber hinaus - eine große Herausforderung dar. Glücklicherweise können Wissenschaftler von Praktiken und Werkzeugen aus anderen Disziplinen lernen, insbesondere aus der Softwaretechnik, die die gemeinsame Arbeit an digitalen Objekten wie Code und Daten erheblich professionalisiert haben. Dazu gehören unter anderem die Nachverfolgung von Änderungen an digitalen Objekten mithilfe von Versionskontrollsystemen wie Git, bewährte Verfahren für die Code- und Datenverwaltung sowie die Schaffung stabiler und transportabler Berechnungsumgebungen mithilfe von Softwarecontainern wie Docker.

Dieser Kurs bietet eine Einführung in Werkzeuge und Praktiken, die es angehenden Wissenschaftlern ermöglichen, ihre Forschung reproduzierbar durchzuführen. Für eine effektivere Arbeit und bessere Wissenschaft.

Projektumsetzung

Nach dem erfolgreichen Ansatz unseres vorherigen Kurses über „Versionskontrolle von Code und Daten mit Git“ werden wir uns auf die Entwicklung einer Online-Lernressource mit dem vorläufigen Titel „The Repro Book“ (hier verfügbar) konzentrieren, nach dem Vorbild unseres „Version Control Book“. Dieser Online-Leitfaden wird an die Struktur des Seminars angepasst und dient als Lehrbuch für den Kurs. Während des Kurses werden die Teilnehmer in jeder Sitzung ein neues Konzept kennenlernen und dann das neu erlernte Werkzeug oder die neu erlernte Praxis mit praktischen Übungen umsetzen. Diese Übungen konzentrieren sich auf die Arbeit an einem kleinen Forschungsprojekt von der Konzeption bis zur Verbreitung, wobei die Methoden für reproduzierbare Forschung, die im Kurs vorgestellt werden.

Beteiligte Personen

Dr. Lennart Wittkuhn

Wissenschaftlicher Mitarbeiter

Schwerpunkt: 

• Kognitive Neurowissenschaften, insbesondere Lern- und Veränderungsmechanismen

Kontakt