Esta semana se ha comentado en la prensa local una curiosa clasificación de universidades en la que la nuestra aparece como décima. Se trata de un aspecto muy concreto: las citas que reciben los documentos científicos publicados por la institución.Bueno, siempre está bien hacer algo mejor que la mayoría, pero un indicador aislado no da una imagen coherente de nada. Si además mirásemos el número de publicaciones por profesor la posición sería otra (que no sé cual es, aunque creo recordar que estaba en el inestable Ranking de Buela-Casal).
En resumen, este tipo de clasificaciones basadas en un indicador único (y extraño) no tienen un significado claro respecto de la calidad de las universidades para el público en general, son sólo útiles en entornos muy técnicos de política universitaria, y aún así con cuidado. No es muy razonable que se hagan eco de ellos en la prensa general, y cuando lo hacen el mensaje que se manda es equívoco. Por cierto, quizá la diferencia de cobertura entre medios sea entonces reflejo de otras cosas. Además del tamaño, que se muestra en la imagen, la posición: en el "Navarra" estaba en la segunda mitad del periódico, hoja impar, esquina inferior izquierda, en el "Noticias" en la esquina superior derecha, página impar de las primeras.
No he conseguido encontrar el estudio original, aunque parece que la liebre salta en un artículo de El País del 31 de Mayo (reseñado en resúmenes de prensa de multitud de universidades, 1, 2, 3, etc aunque no lo encuentro en el propio periódico). El artículo, por cierto es una loa al I+D español más allá de lo decente por lo parcial e incompleto de los datos y lo tendencioso de las opiniones. Para mustra sólo la frase "la remuneración habitual de los investigadores en España es muy similar a la de británicos, franceses o alemanes".
Lo que si me he encontrado por casualidad es una reseña de un estudio profundo realizado en EEUU en el que se comprueba la diferencia entre indicadores de prestigio e indicadores de productividad científica objetiva. Parece que esto último evoluciona más rápidamente que lo primero, que no está claro que lo origina. En cualquier caso queda clara la complejidad de este tipo de medidas de la calidad de las universidades.
Joaquín,
ResponderEliminarTienes razón: un sólo índice no sirve para nada por sí solo y más aún es dudoso que pueda utilizarse para hacer rankings.
El tema es recurrente y salta por muchos sitios. Ya comentamos que en concreto los indicadores de citas son altamente prostituible. ¿En cuantos papers distintos puede descomponerse una investigación para repartir firmas y multiplicar el número de publicaciones?. La verdad es que en mis años de rata de biblioteca me dió la sensación de que hace 30 años, las publicaciones tenían mucho más peso por sí solas (tenían más contenido) mientras que hoy, para hacerte una idea del trabajo de un autor tienes que rastrear 18 revistas. Es la época de las publicaciones en fascículos.
He estado tratando de localizar un par de links respecto al tema en un blog que de vez en cuando ojeaba. Este arrastra una interesante discusión en la cual alguien opina lo que yo: que la calidad es más fácilmente expresable en prosa que con números ;). Por cierto, se menciona un caso que a mí me parece escandaloso, el de El Naschie y la revista Chaos solitions & fractals , uno de los mejores ejemplos de prostitución de indicadores.Es una pena que uno de los principales enlaces comentando el trabajo de El Naschie no esté operativo (http://golem.ph.utexas.edu/category/2008/11/the_case_of_m_s_el_naschie.html#c019893).
Un saludo
Muy interesante todo esto... En mi opinión cuantificar "variables no-físicas" es tan difícil como importante. Esas dos características hacen que la mayoría de los intentos fracasen, bien porque la dificultad lleve a soluciones inadecuadas, bien porque la importancia lleve a soluciones tendenciosas o ambas cosas a la vez.
ResponderEliminarTodas las críticas al sistema de publicaciones científicas son ciertas, y la lista es interminable. Aún así, es mejor tener ese sistema que no tener ninguno y dejar todo juicio al prestigiómetro subjetivo puro, a las "escuelas de pensamiento" y otras formas de mandarinazgo (ver áreas como Derecho, Sociología, etc. y la insatisfacción aún mayor en los juicios de calidad investigadora).
Es como si la existencia de imperfecciones en los telescopios invalidara absolutamente su uso. En vez de eso nos afanamos en mejorarlos, sacarlos de la atmósfera, hacerlos más grandes, etc. (creo que ya puse el mismo símil en otro comentario, pero es que me gusta mucho).
Sobre estas cosas (entre otras) tengo una asignatura que este año se ha documentado en un blog abierto, si tienes ganas de ver lo que piensan jóvenes ingenieros sobre la ciencia:http://abainv89.blogspot.com/
Está un poco desordenado pero puede resultar divertido.
Saludos
Gracias por el enlace. Curiosearé por ahí.
ResponderEliminarUn abrazo
El ranking de SCIMAGO aparece publicado en Magisnet
ResponderEliminarEstaba dándole vueltas al tema de la retórica y recordé un libro que leí hace mucho tiempo titulado "La retórica de la economía" escrito por un tal Donald N. McCloskey.
ResponderEliminarHe buscado por internet y me he encontrado con que Donald se llama hoy Deirdre (lo cual está bien porque todas las citas a D.McCloskey siguen siendo correctas) trás una operación de cambio de sexo y se define como una mujer postmoderna a favor del libre mercado, cuantitativa, retórico episcopaliana aristotélico feminista. Ahí queda eso.
En cualquier caso, el libro era muy bueno, o así lo recuerdo.
Una de las ideas centrales es que hay algunas discusiones que no pueden ser resueltas mediante la mensuración empírica ya que los participantes en la discusión no comparten o aceptan unas reglas de validación comunes.
Ya sé que es un hecho difícil de aceptar para un científico pero a veces los números distraen, sobre todo cuando el problema que se trata de resolver no es medir un ángulo de refracción de determinado medio sino tratar de explicar porqué muere gente de hambre en el África subsahariana o porqué una política suicida de inversiones de un tío al otro lado del charco termina con mi vecino en el paro...
Un saludo (que estás muy callado este mes... Junio... los exámenes :D )
@ Alvaro.
ResponderEliminarGracias por el enlace. Por cierto, las conclusiones que ahí se leen son estrictamente opuestas a las del artículo de El País.
@ RKincaid
Acabo de llegar de viaje, a ver si encuentro un hilo interesante y lo cuento en otro post. Entre eso, la charla de nanoóptica y otros asuntos ando especialmente liado. La docencia no, este cuatrimestre he andado razonablemente descargado.
Es un muy buen punto ese de que los números para describir cuestiones humanas han de suscitar un razonable consenso, han de ser aceptados, consensuados. Hay más problemas, los ángulos cambian poco cuando se sienten observados, los humanos mucho. El establecimiento de cualquier medida con repercusiones (como el número de papers) genera comportamientos estratégicos (como el fileteado extremo de los contenidos) que lleva a refinar la medida (con índices de impacto, por ejemplo) a lo que se responde de nuevo generando unas espléndidas carreras de armamentos que no proporcionan conocimiento sobre lo que se intentaba medir, sino que lo transforman (y no pocas veces a peor)... Aún así creo que es un esfuerzo inexcusable, cabezota que es uno.