Encuestas de docencia, la ficción de la calidad

Se ha puesto de moda evaluar de forma exhaustiva la calidad de la atención en multitud de servicios, de forma que se pasa uno la vida picando caritas más o menos sonrientes y recibiendo llamadas cada vez que llevas el coche al taller. En la universidad llevamos ya muchos años (dos décadas o así) con encuestas de satisfacción de la actividad docente.

Estas encuestas no siempre se han hecho de la misma forma. Recuerdo en mi universidad un tiempo en que su realización estaba encargada a una empresa que llegaba al aula sin avisar (el profesor sabía en qué semana, pero no el día exacto). Todos los estudiantes presentes debían participar, siquiera fuera como "no sabe, no contesta". Pero esos tiempos pasaron, ahora en nuestra universidad, como en casi todas, se habilita una encuesta telemática para que los alumnos que quieran, y cuando quieran, respondan a las preguntas. Se anima a la participación ofreciendo regalos sorteados entre los participantes y cosas así. A pesar de todo, la tasa de respuesta casi nunca supera el 30%. Pero lo más problemático es que no es una muestra aleatorizada.

En la universidad deberíamos saber que la estadística es una ciencia, de hecho hay departamentos y asignaturas al respecto. Cuando se hace un muestreo, hay que hacerlo de determinadas formas si queremos que las respuestas de la muestra sean representativas de la población total, en general hay que elegir la muestra aleatoriamente. Cuando en vez de aleatorizado se deja a la autoselección, la representatividad se sabe que es muy baja. Tienden a participar los individuos más motivados en un sentido u otro, los muy contentos o muy descontentos con la actividad.

Frente a esta crítica a veces te contestan que todos los profesores, varios cientos, están expuestos al mismo sesgo muestral, por lo que deberían ser significativas las diferencias entre unos y otros. Pero esto no deja de ser una hipótesis. Si hacemos mal una medida, pero igual de mal muchas veces ¿se cancelan los errores y las diferencias son creíbles? No lo tengo nada claro. Si cada medida no es estadísticamente significativa, dudo mucho que operaciones con ellas puedan serlo.

Por lo menos a nosotros aún no nos despiden a la tercera carita triste, como parece que sí se hace con los repartidores de pizza. Pero lo que parece un poco lamentable es que en la institución que se ocupa del conocimiento, la medida de su calidad sea tan poco fiable.


Este comentario me lo han sugerido unos tuits del compañero de la UO Sergio Palacios, ver.

ACTUALIZACIÓN.

Hoy en día ya no se discute en los comentarios de los blogs, esos tiempos pasaron hace mucho, se discute en redes sociales. En la conversación en Twitter me han llamado la atención sobre un paper que merece la pena, se trata de un metaestudio de 2017 que concluye que los estudiantes de los profesores mejor evaluados no aprenden más.