domingo, 17 de julio de 2016

Sobre métricas en investigación

El factor de impacto (FI) de una revista mide el número medio de citas que reciben los artículos allí publicados (en un período dado y de un conjunto de revistas también definido). El número de citas que reciben los artículos de una revista sigue una distribución exponencial, tipo Pareto: pocos artículos reciben muchísimas citas mientras que muchísimos artículos reciben muy pocas. En distribuciones de este tipo la media es muy poco representativa de la conjunto (al contrario de lo que ocurre con distribuciones normales).

Por tanto, el FI de la revista donde está publicado es un mal proxi para la calidad de un artículo concreto. Haciendo eso estamos subestimando mucho la calidad de unos pocos trabajos y sobreestimando la de la gran mayoría. Aún así se utiliza de manera sistemática... La razón es histórica, el FI, así como el recuento de citas realizado por el JCR son muy anteriores a la generalización de la informática y las comunicaciones. Cuando había que ir a una biblioteca física a buscar el dato en un libro de papel, la media la revista era un dato valiosísimo y, aunque malo, era el único disponible.

La generalización de las TIC ha revolucionado todo este mundo, y hoy las citas de un artículo concreto se encuentran a un golpe de click (calculadas además de distintas formas: Wok, Scopus, Google Scholar). Además hay más vías de difusión de la información científica que los artículos (blogs, vídeos, tuits). Además se publica la misma información por varios caminos como preprints (arxive.org, por ejemplo) o la "versión del autor" en repositorios públicos abiertos.

Parece pues que es cuestión de tiempo (probablemente poco) que se cambie la forma de medir la calidad de las publicaciones a una basada en el artículo en vez de la basada en la revista. Y es estupendo ver a profesionales del ramo trabajando en ello: La bibliometría que viene: ALMetrics (Author Level Metrics) y las múltiples caras del impacto de un autor (un artículo al que llego por un blog, y a el por un tuit). La siguiente figura es de ese trabajo:

 

No hay comentarios: