Definition von „Reproduzierbarkeit“

CURE erkennt an, dass die Verwendung des Begriffs „Reproduzierbarkeit“ in verschiedenen Kontexten unterschiedlich ist, deren Definition verwirrend werden kann, wenn andere Wörter wie „Reproduzierbarkeit“ und „Wiederholbarkeit“ verwendet werden, um dieselben oder ähnliche Konzepte auszudrücken. CURE ist nicht bestrebt, einen universellen Standard für die Verwendung dieser Begriffe zu etablieren; Vielmehr ist es der Ansicht, dass es für Datenkurationspraktiker notwendig ist, ihre verschiedenen Bedeutungen und Nuancen zu verstehen. Im Folgenden finden Sie Beispiele dafür, wie diese Begriffe definiert wurden.

Goodman, Fanelli, & Ioannidis (s. 2)

  • Methoden Reproduzierbarkeit: Die Fähigkeit, die experimentellen Verfahren mit denselben Daten und Werkzeugen so genau wie möglich zu implementieren, um dieselben Ergebnisse zu erzielen.
  • Ergebnisse Reproduzierbarkeit: Die Produktion von bestätigenden Ergebnissen in einer neuen Studie, die den gleichen experimentellen Methoden gefolgt ist.
  • Inferenzielle Reproduzierbarkeit: Die Herstellung von Wissensansprüchen ähnlicher Stärke aus einer Studienreplikation oder Reanalyse.

Open Science Collaboration (S. 300-301)

  • Reproduzierbarkeit: (Bezogen auf Wiederholbarkeit und Replizierbarkeit) Bezieht sich darauf, ob Forschungsergebnisse auftreten. Im Großen und Ganzen bezieht sich Reproduzierbarkeit auf direkte Replikation, ein Versuch, die ursprüngliche Beobachtung mit den gleichen Methoden einer früheren Untersuchung zu replizieren, aber einzigartige Beobachtungen zu sammeln.Am weitesten verbreitet bezieht sich Reproduzierbarkeit auf konzeptuelle Replikation, ein Versuch, die Interpretation der ursprünglichen Beobachtung durch Manipulation oder Messung derselben konzeptuellen Variablen unter Verwendung verschiedener Techniken zu validieren.

NSF Workshop (s. 32)

  • Reproduzierbarkeit: Die Fähigkeit eines Experiments oder einer Berechnung, von anderen unabhängig arbeitenden Forschern dupliziert zu werden.Wiederholbarkeit: Die Fähigkeit eines Experiments oder einer Berechnung, mit derselben Methode dupliziert zu werden.
  • Zuverlässigkeit: Das Ausmaß, in dem eine Forschungsmethode jedes Mal die gleichen Ergebnisse liefert, wenn sie auf dasselbe System angewendet wird. Ein wissenschaftliches Ergebnis soll eine hohe Zuverlässigkeit haben, wenn das gleiche Ergebnis innerhalb der angegebenen Unsicherheit unter konsistenten Bedingungen erhalten wird.

Patel, Peng, & Leek (s. 3)

  • Reproduzierbar: Bei einer gegebenen Population, Hypothese, experimentellem Design, Experimentator, Daten, Analyseplan und Code erhalten Sie die gleichen Parameterschätzungen in einer neuen Analyse.
  • Replizierbar: Bei einer Population, Hypothese, experimentellem Design und Analyseplan erhalten Sie konsistente Schätzungen, wenn Sie Daten abrufen und die Analyse wiederholen.

Pröll & Rauber (Einleitung)

  • Reproduzierbar: Wenn und nur wenn konsistent, können wissenschaftliche Ergebnisse erzielt werden, indem dieselben Daten mit denselben Algorithmen und denselben Werkzeugen verarbeitet werden. Damit ein Experiment reproduzierbar ist, müssen wir mindestens die folgenden Informationen kennen: verwendete Forschungsdaten und Metadaten; im Experiment angewandte Methoden; und ools, Software und Ausführungsumgebung, die im Experiment verwendet werden.

Stodden (Abschnitt Terminologie)

  • Wiederholbarkeit: (Gleiches Team, gleicher Versuchsaufbau) Die Messung kann von demselben Team mit dem gleichen Messverfahren, dem gleichen Messsystem, unter den gleichen Betriebsbedingungen, am gleichen Ort an mehreren Versuchen mit der angegebenen Genauigkeit durchgeführt werden. Für Computerexperimente bedeutet dies, dass eine Forscherin ihre eigene Berechnung zuverlässig wiederholen kann.
  • Reproduzierbarkeit: (Anderes Team, gleicher Versuchsaufbau) Die Messung kann von einem anderen Team mit dem gleichen Messverfahren, dem gleichen Messsystem, unter den gleichen Betriebsbedingungen, am gleichen oder an einem anderen Ort an mehreren Versuchen mit der angegebenen Genauigkeit durchgeführt werden. Für Computerexperimente bedeutet dies, dass eine unabhängige Gruppe mit den eigenen Artefakten des Autors das gleiche Ergebnis erzielen kann.
  • Reproduzierbarkeit: (Anderes Team, anderer Versuchsaufbau) Die Messung kann mit der angegebenen Genauigkeit von einem anderen Team, einem anderen Messsystem, an einem anderen Ort in mehreren Versuchen durchgeführt werden. Für Computerexperimente bedeutet dies, dass eine unabhängige Gruppe das gleiche Ergebnis mit Artefakten erzielen kann, die sie völlig unabhängig entwickeln.

Goodman, S. N., Fanelli, D., & Ioannidis, J. P. A. (2016). Was bedeutet Reproduzierbarkeit in der Forschung? Wissenschaft Translationale Medizin, 8 (341), 341ps12. https://doi.org/10.1126/scitranslmed.aaf5027

Nationale Wissenschaftsstiftung. (2017). Workshop zu Robustheit, Zuverlässigkeit und Reproduzierbarkeit in der wissenschaftlichen Forschung. Abgerufen von http://www.mrsec.harvard.edu/2017NSFReliability/include/NSF_Workshop_Robustness.Reliability.Reproducibility.Report.pdf

Open Science Collaboration. (2014). Das Reproduzierbarkeitsprojekt. In V. Stodden, F. Leisch, & R. D. Peng (Hrsg.), Implementing Reproducible Research (S. 299-323). Chapman und Hall / CRC.

Patil, P., Peng, RD, & Lauch, J. (2016). Eine statistische Definition für Reproduzierbarkeit und Replizierbarkeit. bioRxiv, 066803. https://doi.org/10.1101/066803

Pröll, S., & Rauber, A. (2017). Enabling reproducibility for small and large scale research data sets. D-Lib Magazine, 23(1/2), https://doi.org/10.1045/january2017-proell

Stodden, V. (2016). Artifact review and badging. Retrieved from https://www.acm.org/publications/policies/artifact-review-badging

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.