Ciencia Abierta y Reproducible

XII Congreso Colombiano de Botánica

Álex Espinosa Correa

Universidad de Antioquia

Proposito

  • Mostrar la importancia de la reproducibilidad en la ciencia

¿Estamos en crisis?

Respuesta de 1576 cientificos a ¿existe una crisis de reproducibilidad? Baker (2016)

Registros de WoS que en el título, resumen o palabras clave contienen: «crisis de reproducibilidad», «crisis científica», «ciencia en crisis», «crisis en la ciencia», «crisis de replicación», o «crisis de replicabilidad». Fanelli (2018)

246 biólogo obtiene 246 resultados diferentes. Oza (2023)

¿Alguien por favor quiere pensar en los biólogos?

¿Cuántos trabajos publicados en su campo son reproducibles? Baker (2016)

“Why? Why? Oh, that’s why”

¿Ha fracasado al reproducir un experimento? ¿Qué factores contribuyen a que una investigación sea irreproducible? Baker (2016)

«Alguien tiene que hacer algo, por favor»

¿Alguna vez has intentado publicar un intento de reproducción? ¿Ha establecido procedimientos de reproducibilidad? Baker (2016)

Necesitamos cambios

El cambio estructural suele evocarse en el plano institucional y expresarse mediante nuevas normas y reglas; el cambio procedimental se refiere a comportamientos y conjuntos de prácticas de uso común en el proceso de investigación; el cambio comunitario engloba la forma en que evoluciona el trabajo y la colaboración dentro de la comunidad científica. Korbmacher et al. (2023)

Ciencia abierta

«Constructo inclusivo que combina diversos movimientos y prácticas con el fin de que los conocimientos científicos multilingües estén abiertamente disponibles y sean accesibles para todos, así como reutilizables por todos, se incrementen las colaboraciones científicas y el intercambio de información en beneficio de la ciencia y la sociedad, y se abran los procesos de creación, evaluación y comunicación de los conocimientos científicos a los agentes sociales más allá de la comunidad científica tradicional. La ciencia abierta comprende todas las disciplinas científicas y todos los aspectos de las prácticas académicas, incluidas las ciencias básicas y aplicadas, las ciencias naturales y sociales y las humanidades, y se basa en los siguientes pilares clave: conocimiento científico abierto, infraestructuras de la ciencia abierta, comunicación científica, participación abierta de los agentes sociales y diálogo abierto con otros sistemas de conocimiento.» UNESCO (2021)

Algunos beneficios de la ciencia abierta. UNESCO (2021)

Valores fundamentales y principios rectores

Valores fundamentales y principios rectores de la ciencia abierta. UNESCO (2021)

Taxonomía de la ciencia abierta

Investigación abierta reproducible

Reproducibilidad significa que los datos y el código de investigación están disponibles para que otros sean capaces de obtener los mismos resultados alcanzados en sus trabajos. Este concepto está íntimamente relacionado con el de replicabilidad, el acto de repetir una metodología científica con el objetivo de alcanzar conclusiones similares. Estos conceptos son elementos centrales de la investigación empírica.

Mejorar la reproducibilidad conduce a aumentar el rigor y la calidad de los trabajos científicos y, por tanto, a una mayor confianza en la ciencia. Bezjak et al. (2018)

La reproducibilidad se aplica directamente al método científico. Bezjak et al. (2018)

Repetibilidad, Replicabilidad, Reproducibilidad, y otras erres

Comparación de términos. Traducido de Plesser (2018).
Goodman et al. (2016) Claerbout & Karrenbach (1992) Association for Computing Machinery (2020)
Repetibilidad
Reproducibilidad de los métodos Reproducibilidad Replicabilidad
Reproducibilidad de los resultados Replicabilidad Reproducibilidad
Reproducibilidad inferencial

Explicación de la terminología sobre reproducibilidad y replicabilidad. Whitaker (2017).

El espectro de la reproducibilidad

Espectro de reproducibilidad más común. Peng (2011).

Compartir datos y código se considera suficiente para que muchos reproduzcan el análisis de datos. Sin embargo, esto no es suficiente. Akalin (2021).

Cómo fomentar la investigación abierta reproducible

Estrategias para hacer de la investigación reproducible y la formación en ciencia abierta la norma en las instituciones de investigación. Kohrs et al. (2023)

Pausa



10:00

Referencias

Akalin, A. (2021). Scientific data analysis pipelines and reproducibility. https://towardsdatascience.com/scientific-data-analysis-pipelines-and-reproducibility-75ff9df5b4c5
Association for Computing Machinery. (2020). Artifact review and badging - current. https://www.acm.org/publications/policies/artifact-review-and-badging-current
Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604), 452-454. https://doi.org/10.1038/533452a
Bezjak, S., Clyburne-Sherin, A., Conzett, P., Fernandes, P., Görögh, E., Helbig, K., Kramer, B., Labastida, I., Niemeyer, K., Psomopoulos, F., Ross-Hellauer, T., Schneider, R., Tennant, J., Verbakel, E., Brinken, H., & Heller, L. (2018). Open science training handbook. Zenodo. https://doi.org/10.5281/ZENODO.1212496
Campitelli, E., & Corrales, P. (2024). An R reproducibility toolkit for the practical researcher. https://reproducibility.rocks/
Claerbout, J. F., & Karrenbach, M. (1992). Electronic documents give reproducible research a new meaning. SEG Technical Program Expanded Abstracts 1992, 601-604. https://doi.org/10.1190/1.1822162
Da Silveira, L., Calixto Ribeiro, N., Melero, R., Mora-Campos, A., Piraquive-Piraquive, D. F., Uribe Tirado, A., Machado Borges Sena, P., Polanco Cortés, J., Santillán-Aldana, J., Couto Corrêa Da Silva, F., Ferreira Araújo, R., Enciso Betancourt, A. M., & Fachin, J. (2023). Taxonomía de la ciencia abierta: revisada y ampliada. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, 28, 1-24. https://doi.org/10.5007/1518-2924.2023.e91712/53422
Fanelli, D. (2018). Is science really facing a reproducibility crisis, and do we need it to? Proceedings of the National Academy of Sciences, 115(11), 2628-2631. https://doi.org/10.1073/pnas.1708272114
Goodman, S. N., Fanelli, D., & Ioannidis, J. P. A. (2016). What does research reproducibility mean? Science Translational Medicine, 8(341). https://doi.org/10.1126/scitranslmed.aaf5027
Kohrs, F. E., Auer, S., Bannach-Brown, A., Fiedler, S., Haven, T. L., Heise, V., Holman, C., Azevedo, F., Bernard, R., Bleier, A., Bössel, N., Cahill, B. P., Castro, L. J., Ehrenhofer, A., Eichel, K., Frank, M., Frick, C., Friese, M., Gärtner, A., … Weissgerber, T. L. (2023). Eleven strategies for making reproducible research and open science training the norm at research institutions. eLife, 12, e89736. https://doi.org/10.7554/eLife.89736
Korbmacher, M., Azevedo, F., Pennington, C. R., Hartmann, H., Pownall, M., Schmidt, K., Elsherif, M., Breznau, N., Robertson, O., Kalandadze, T., Yu, S., Baker, B. J., O’Mahony, A., Olsnes, J. Ø.-S., Shaw, J. J., Gjoneska, B., Yamada, Y., Röer, J. P., Murphy, J., … Evans, T. (2023). The replication crisis has led to positive structural, procedural, and community changes. Communications Psychology, 1(1), 3. https://doi.org/10.1038/s44271-023-00003-2
Lopp, S. (2019). Reproducible Environments. https://rviews.rstudio.com/2019/04/22/reproducible-environments/
Oza, A. (2023). Reproducibility trial: 246 biologists get different results from same data sets. Nature, 622(7984), 677-678. https://doi.org/10.1038/d41586-023-03177-1
Peng, R. D. (2011). Reproducible Research in Computational Science. Science, 334(6060), 1226-1227. https://doi.org/10.1126/science.1213847
Plesser, H. E. (2018). Reproducibility vs. replicability: a brief history of a confused terminology. Frontiers in Neuroinformatics, 11, 76. https://doi.org/10.3389/fninf.2017.00076
Posit Software. (2022). RStudio User Guide - renv. https://docs.posit.co/ide/user/ide/guide/environments/r/renv.html
Posit Software. (2024). Reproducible Environments. https://solutions.posit.co/envs-pkgs/environments/
Slingsby, J. (2024). A minimal introduction to reproducible research. https://www.ecologi.st/data-management/
UNESCO. (2021). Recomendación de la UNESCO sobre la Ciencia Abierta. https://doi.org/10.54677/YDOG4702
Whitaker, K. (2017). Showing your working: a how to guide to reproducible research. https://doi.org/10.6084/m9.figshare.4244996.v2