El artículo “La Torre Inclinada de PISA. Descomposición de resultados de las pruebas de rendimiento en componentes cognitivos y no cognitivos” de los autores Lex Borghans y Trudie Schils, ambos investigadores de la Universidad de Maastrich, pone de manifiesto que los resultados de las pruebas de rendimiento dependen tanto de habilidades cognitivas, como de habilidades no cognitivas.
La descomposición que realizan es posible utilizando toda la información que incluye el test, y no solo la puntuación global. Muestran que el rendimiento cae durante la prueba, que esta caída es estable en el tiempo y que no depende solo del conocimiento de los individuos, sino de las habilidades no cognitivas como los rasgos de personalidad y la motivación, pudiendo servir además de predictores sobre conductas o resultados futuros. Esta evidencia sugiere que la caída en los resultados mide más aspectos relacionados con la personalidad que con el conocimiento o las habilidades, por lo que concluyen que puede utilizarse como una medida objetiva de aspectos subjetivos de la personalidad distinta a las autoevaluaciones que los estudiantes pudieran hacer, sesgadas por la falta de autoconocimiento personal y vulnerables a la manipulación.
En PISA 2006, las preguntas estaban organizadas en 13 bloques diferentes de media hora de duración cada uno (siete de Ciencias, dos de Lectura y cuatro de Matemáticas). Con cuatro de estos bloques diferentes se construía un cuadernillo. En total se generaron 13 cuadernillos diferentes, y el orden de los bloques de contenidos era distinto en cada uno de estos. Este hecho se usa en el artículo para mostrar la caída de los resultados en los test. Los autores muestran como los estudiantes rinden mejor en las primeras preguntas que en las últimas. Al parecer, pierden la concentración o la voluntad de hacerlo bien mientras avanzan en la prueba. La siguiente figura muestra cómo para cada bloque de preguntas, salvo una pequeña excepción, la puntuación media es menor cuando el bloque se coloca más tarde dentro del cuadernillo.
Una pregunta importante que responden en el artículo referido es que la caída es una característica estable en el tiempo, y no un hecho particular del estudio en PISA 2006. Para ello replicaron el modelo con los datos de PISA 2003 y vieron que sus estimaciones de la caída en el rendimiento de la prueba por país están altamente correlacionados entre las distintas ediciones de PISA. Además, la correlación entre la caída y los resultados de la prueba es pequeña. Todo esto sugiere que la disminución de los resultados a lo largo de la prueba tiene que ser debido a algo más que al simple conocimiento de los estudiantes, esto es, la motivación, entre otros aspectos no cognitivos.
A continuación, analizan hasta qué punto estas diferencias en términos de motivación afectan a las puntuaciones y los rankings que se publican para comparar el rendimiento entre países. El artículo describe las diferencias en cada país participante, mostrando las desigualdades que hay dependiendo del país en que nos fijemos. Este efecto varía desde el 4% de Finlandia al 13% de Grecia. En el caso de España es de un 9%.
Los autores consiguen detraer el factor motivación de las puntuaciones reflejando mejor las habilidades de los estudiantes. Siguiendo este modelo, algunos países suben sustancialmente en la tabla cuando eliminamos la motivación, mientras que otros se ven afectados de forma contraria. Japón, Gran Bretaña, Italia y Grecia parecen rendir mejor si la medida se basa en la capacidad más que en la motivación, mientras que las puntuaciones de Bélgica, Austria o Alemania resultan ser relativamente altas debido a que su alumnado parece estar más motivado. Según los datos de este artículo, España estaría dentro del primer grupo de países.
En conclusión, los investigadores muestran aquí que es posible usar los resultados de los pruebas como PISA para medir diferentes aspectos de las habilidades o personalidad de los estudiantes. Además, muestran una clara disminución del rendimiento a lo largo de la prueba muy influida por la motivación. Dejan abierta la puerta a una mejora en su método de investigación y para ello proponen algunas alternativas. En términos generales concluyen que la motivación puede explicar el 19% de la variación de los resultados entre los países participantes.
Lee completo el artículo (inglés) en el siguiente enlace: http://sole-jole.org/13260.pdf
Borghans and Schils (2012). The Leaning Tower of Pisa: Decomposing Achievement Test Scores Into Cognitive and Noncognitive Components. Maastricht University.
Jaime Vaquero Jiménez
Imagen de cabecera: Flick.com
Te puede interesar…
- Presentación de los resultados de España y la OCDE del Informe PISA Resolución de Problemas
- Combatir las faltas a clase mejoraría los resultados en PISA
- Conclusiones y propuestas de la Jornada Equidad y Excelencia PISA 2012
De este estudio se desprende, que nosotros como profesores debemos tenerlo en cuenta, y ponerle a nuestro los exámenes y las pruebas más difíciles a primera hora y dejar las pruebas de las asignaturas más fáciles ( que tengan que razonar menos) para después.
Espero que todos aprendamos algo de los estudios que se realizan.
Saludos,
Marimar Carrascosa Ridruejo
Buenas tardes.
Considero que la motivación se ve mermada por el índice ponométrico, o de fatiga, causada por el esfuerzo y atención que requiere la realización de la prueba.
Para lograr mayor eficacia en la labor docente, nuestra programación contempla este factor, dado que su influencia es decisiva en razón inversa a la edad del alumnado: cuanto menor es la edad, mayor es la repercusión del índice ponométrico en la obtención de resultados educativos.
Las tareas que requieren mayor atención son llevadas a cabo en el primer tiempo de trabajo en el aula. Tanto la motivación como saber combinar adecuadamente actividades variadas, en las que entren en juego diferentes destrezas, pueden ser decisivas para paliar los efectos de la fatiga. Por este motivo, los docentes en general, y los dedicados a alumnos de menor edad, han de poseer la formación necesaria para poder combinar un variado elenco de actividades motivadoras.
Una vez más, queda patente que la formación inicial y permanente del profesorado, es un factor clave para el éxito escolar del alumnado.
Saludos.
Buenos días Marimar y Manuel, muchas gracias por vuestras aportaciones afinando más la idea en cuestión para muchos profesores y profesoras preocupados por el tema. Esta semana sacaremos otro post relacionado con la motivación de los estudiantes muy interesante, no dejéis de leerlo.
Un saludo y muchas gracias por su colaboración.