Fraude científico (IV). Algunas consecuencias
La existencia del fraude en investigación no es exclusivo de la investigación científica, recientemente se destapado un escándalo sobre la investigación forense del FBI (ref 1). Afecta a las pruebas de concordancia de cabellos que se han utilizado como prueba de cargo en centenares de casos. Revisiones independientes de las pruebas llevan a una falta de reproducibilidad masiva que pone en cuestión la validez de la propia técnica. Estos investigadores, convencidos de la culpabilidad del acusado, ven pruebas más allá de donde realmente las hay del mismo modo que los científicos convencidos de su hipótesis pueden caer en la ciencia patológica. Es interesante comprobar que, también en este caso, la repetición de las pruebas y el avance del conocimiento van corrigiendo los errores. En el caso forense las consecuencias de los errores han podido ser fatales dado que hay casos revisados en los que los acusados fueron condenados a muerte y se ha ejecutado ya la sentencia. En el caso de la ciencia ¿cuáles son las consecuencias de errores y fraudes? Fundamentalmente dos: retracción de artículos e irreproducibilidad resultados.
Cuando se publica un resultado incorrecto y se descubre el fallo hay varias posibilidades. Si el error no invalida las conclusiones del trabajo se publica una fe de erratas en un número posterior de la revista indicando el problema existente en la publicación original. Si el error sí invalida las conclusiones el trabajo debe ser retractado, eliminándolo de la publicación. La retracción pueden realizarla los autores o los editores de la revista dependiendo del caso. También puede ocurrir que haya errores que pasen desapercibidos, en este caso permanecerán en la literatura científica indefinidamente.
Figura 1. Tomada de (ref 3), aumento de retracciones con el paso del tiempo
La proporción de artículos retractados respecto de los publicados es insignificante. Sin embargo, desde el año 2000 aproximadamente, el número de retracciones está creciendo exponencialmente, incrementándose significativamente la proporción de retracciones respecto de artículos publicados, aunque sigue estando muy por debajo del uno por mil (ref 2,3). Otra observación interesante es la correlación que se observa entre la proporción de artículos retractados y la calidad de las revistas de las que se retiran (considerada a través de su índice de impacto). Las revistas más citadas son también las que sufren más retracciones (ref 4). Los expertos que analizan estas tendencias no creen estemos viviendo una explosión del fraude científico, sino que es su detección lo que se facilita. Es hacia el año 2000 cuando se incorpora de forma masiva el uso de internet al manejo de la literatura científica por parte de los investigadores. Esto ha supuesto que sea más fácil consultar lo publicado, lo que se refleja en que los artículos incluyen más citas (ref .5) y probablemente en que se cuestione más lo publicado, encontrándose más errores que dan lugar a retracciones. Esto explicaría también la correlación con el índice de impacto: las revistas más leídas, obviamente, se ven sometidas a un escrutinio más riguroso que hace aflorar errores y con ellos las retracciones. Es por tanto probable que en revistas con índice de impacto más bajo haya errores que nadie detecta y que permanecen en la literatura. Lo que ocurre es que esos resultados fallidos no sirven de cimiento para posteriores trabajos; si son erróneos pero fundamentalmente irrelevantes tampoco es un gran inconveniente.
Figura 2. Tomada de (ref 7), resultados de un estudios sobre la reproducibilidad de 100 trabajos.
Un segundo problema relacionado con las malas prácticas científicas es la irreproducibilidad de los resultados. Se ha llegado a publicar que “la mayoría de los resultados de investigación publicados son falsos” (ref 6). La afirmación se basa en una comparación estadística entre los resultados publicados y las distribuciones que serían esperables. El estudio se concentra en trabajos de medicina. Se puede criticar que para una afirmación tan gruesa las pruebas que se aportan son demasiado circunstanciales ya que no se identifica ningún caso concreto de fraude ni nada parecido. Recientemente se ha realizado un amplio estudio sobre la reproducibilidad de resultados publicados, en psicología en este caso (ref 7), obteniéndose unos datos muy pobres: el 61% de los resultados no se reproducían en absoluto y en el resto solo parcialmente. El problema está lejos de ser anecdótico, especialmente en disciplinas en las que es necesario repetir ensayos sobre gran cantidad de individuos y donde hay muchas variables que pueden interferir en los resultados (como medicina y psicología entre otros). Las características de estas disciplinas dejan unos huecos para las prácticas cuestionables que son difíciles de imaginar en otras en que los sistemas de estudio son más limpios y la evolución disciplinar más acumulativa (como la ingeniería de comunicaciones o la física teórica, por ejemplo). No es que en estas últimas no haya casos de fraude de los dos tipos estudiados, pero es difícil imaginar toda una carrera científica larga y muy exitosa montada sobre resultados fraudulentos (como el caso de Diederik A. Stapel (ref. 8)).
No importa cuál sea la razón última de la falta de reproducibilidad, presión por publicaciones positivas, tendencia a tamaños de muestra demasiado pequeños (por ahorrar costes), descuido en la realización de controles o fraude más o menos abierto. Sea como fuere, el resultado es que el avance real de las disciplinas afectadas está seriamente comprometido ante la falta de seguridad que ofrece la literatura establecida. Con el fin de atajar este problema se han propuesto desde soluciones un tanto peregrinas, como exigir a los doctorandos la repetición de resultados publicados (ref. 9) hasta planes de actuación más complejos a largo plazo como la propuesta de Ioanidis “como hacer más investigación publicada verdadera” (ref. 10). Su propuesta incluye cosas como: La adopción de proyectos colaborativos a gran escala, la cultura de la replicación, el registro, establecimiento de buenas prácticas de reproducibilidad, mejora de métodos estadísticos, estandarización de definiciones y análisis, etc. De alguna forma parece que el umbral de lo aceptable se ha desplazado en algunas disciplinas hasta límites que en realidad no queríamos aceptar y es necesario un trabajo de fondo para devolverlo a un lugar más razonable.
Referencias.
(ref 1) “Pseudosicence in the witness box”, Dahlia Lithwick, en Slate, 22 de abril de 2015, http://www.slate.com/articles/news_and_politics/jurisprudence/2015/04/fbi_s_flawed_forensics_expert_testimony_hair_analysis_bite_marks_fingerprints.html
(ref 2) “Por qué los editores de revistas científicas no quieren usar programas antiplagio y antifraud” Francisco Villatoro en La ciencia de la mula Francis, 5 de octubre de 2011, http://francis.naukas.com/2011/10/05/por-que-los-editores-de-revistas-cientificas-no-quieren-usar-programas-antiplagio-y-antifraude/
(ref 3) Nature 478, 26-28 (2011) http://www.nature.com/news/2011/111005/full/478026a/box/2.html
(ref 4) “Retracted Science and the Retraction Index”, F.C. Fang, A. Casadevall and R. P. Morrison, Infect. Immun. October 2011 vol. 79 no. 10 3855-3859 http://iai.asm.org/content/79/10/3855
(ref 5) "Growth in the number of references in engineering journal papers during the 1972–2013 period" I. Ucar, F. López-Fernandino, P. Rodriguez-Ulibarri, L. Sesma-Sanchez, V. Urrea-Micó and J. Sevilla. Scientometrics 98 (3), 1855-1864. http://link.springer.com/article/10.1007/s11192-013-1113-6
(ref 6) Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124 http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
(ref 7) "First results from psychology’s largest reproducibility test" Monya Baker. Nature News, 30 April 2015, doi:10.1038/nature.2015.17433. http://www.nature.com/news/first-results-from-psychology-s-largest-reproducibility-test-1.17433
(ref 8) Stapel en Wikipedia https://en.wikipedia.org/wiki/Diederik_Stapel
(ref 9) "Could students solve the irreproducibility crisis?", Chris Woolston. Nature 524, 9 (06 August 2015) doi:10.1038/524009f http://www.nature.com/news/could-students-solve-the-irreproducibility-crisis-1.18095
(ref 10) Ioannidis JPA (2014) How to Make More Published Research True. PLoS Med 11(10): e1001747. doi:10.1371/journal.pmed.1001747 http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1001747
No hay comentarios:
Publicar un comentario