¿Es posible convertir las encuestas de evaluación del profesorado en instrumentos fiables para medir la calidad docente?

La respuesta corta es que no. Si tienes curiosidad, puedes seguir leyendo y te explicaremos con algo más de detalle los motivos.

Como ya contamos en un post anterior, las encuestas de evaluación del profesorado (EEP), es decir, esas encuestas en las que los alumnos evalúan a sus profesores, siguen siendo fuente de polémica. Los sesgos no instruccionales (fatores ajenos a la calidad docente y que sin embargo afectan a las valoraciones que reciben los docentes) tienen un impacto importante. Uno de ellos, el área al que pertenece la asignatura, es de hecho de los más relevantes, pues los alumnos penalizan a los profesores que imparten asignaturas “que no les gustan”, como las matemáticas, la estadística o la econometría (Arroyo-Barrigüete et al, 2023. https://doi.org/10.7717/peerj.13456).

La pregunta es, conociendo tanto los sesgos existentes como la magnitud de los mismos, ¿es posible corregir las EEP para que realmente reflejen la calidad docente? Por ejemplo, si sabemos que los profesores que otorgan mejores calificaciones reciben mejores EEP, quizá podríamos corregir las encuestas: si un profesor pone notas por encima de la media de sus compañeros en la misma asignatura, a la evaluación que obtenga en las EEP se le aplicaría una penalización para corregir el efecto espurio. Esto es por ejemplo lo que proponen Berezvai et al. (2022, https://doi.org/10.1080/02602938.2020.1821866).

El problema de este planteamiento es que hay tal cantidad de sesgos no instrucciones que parece complicado aplicar correcciones individualizadas. Es aquí donde Arroyo-Barrigüete et al. (2023) proponen un procedimiento relativamente original: ajustar modelos de regresión con todos los sesgos no instruccionales y trabajar con los residuos. Sin entrar en detalles técnicos (quienes estén interesados, abajo tienen la referencia al artículo), la idea es evaluar hasta qué punto es posible eliminar todos los sesgos no instruccionales simultáneamente y de forma automática, sin aplicar correcciones concretas. Y los resultados no fueron muy buenos… no es posible corregir las EEP. Es decir, incluso tras un procedimiento relativamente sofisticado de limpieza, sigue habiendo efectos espurios. Lamentablemente las EEP no recogen únicamente la calidad docente, sino un conjunto de factores muy variados, que en muchos casos nada tienen que ver con la capacidad del docente para enseñar.

A falta de una herramienta mejor, probablemente no quede otra alternativa que seguir usando las EEP. Pero debemos ser conscientes de sus limitaciones y problemas. Su utilidad podría estar limitada a aquellos docentes que obtienen EEP sistemáticamente muy buenas (probablemente sí sean buenos profesores) o muy malas (probablemente sí sean malos profesores). Pero en todo el rango intermedio, que es donde la mayoría de los docentes se mueve, las EPP ciertamente miden algo, pero a saber lo que es…

Artículo original:

https://www.sciencedirect.com/science/article/pii/S0191491X23000299?via%3Dihub

Arroyo-Barriguete, J. L., Bada, C., Lazcano, L., Márquez, J., Ortiz-Lozano, J. M., & Rua-Vieites, A. (2023). Is it possible to redress noninstructional biases in student evaluation of teaching surveys? Quantitative analysis in accounting and finance courses. Studies in Educational Evaluation, 77, 101263. https://doi.org/10.1016/j.stueduc.2023.101263