Con un nuevo conjunto de objetivos de educación post-2015 y metas en el horizonte, la comunidad internacional está mirando hacia el Instituto de Estadística de UNESCO (UIS) para ayudar a recoger los datos globales sobre los países en sus esfuerzos por mejorar los resultados de aprendizaje de los niños y jóvenes. UIS es una fuente oficial de datos de educación comparables a escala nacional, una posición única para identificar y producir una gama de nuevos indicadores junto con el apoyo de sus socios técnicos y financieros. Los retos que quedan por delante son enormes. Al dirigirnos a la gran cantidad de temas relacionados con la producción de datos, debemos abordar la siguiente cuestión fundamental: ¿Cómo se utilizará la información?
La visión desde el lugar donde los resultados eclipsan el análisis
Antes de unirme a la UIS como directora, dirigí una serie de iniciativas de evaluación de aprendizaje en mi país natal, Argentina. Con un pequeño equipo, nos centramos en dos áreas clave: producir la información relativa a las políticas necesarias para nuestro distrito y asegurar la precisión en cada paso del proceso, desde la psicometría, a la toma de muestras, la administración de la prueba y la producción de datos. No había espacio para el error – estábamos produciendo datos de alto impacto, que conformarían las políticas educativas y la asignación de recursos para las generaciones.
El trabajo era complejo, pero inspirador. Estábamos produciendo datos que podrían influir positivamente en la vida de los niños y sus familias. Pero para ser honesta, estaba nerviosa acerca de la publicación de los resultados. De hecho, me estremezco cuando las evaluaciones del aprendizaje son noticia de portada, con titulares como «malísimos resultados en la evaluación» en lugar de sugerir recomendaciones para abordar los problemas a los que se enfrentan los estudiantes, sus profesores y sus familias.
De repente, todo el tiempo y el dinero gastado en la producción y el análisis de los resultados se eclipsan por una tabla de clasificación donde se comparan los resultados de los niños de tu distrito con los que viven en diferentes países y circunstancias. Parece como si se estuviesen leyendo los resultados de un campeonato deportivo en lugar de los resultados de una prueba diseñada para diagnosticar las fortalezas educativas, oportunidades y riesgos de una generación de estudiantes.
La verdadera razón por la que llevamos a cabo evaluaciones educativas es proporcionar a todos los interesados - desde los ministros a los maestros, padres y estudiantes – la información necesaria para mejorar los resultados del aprendizaje. Pero no nos engañemos a nosotros mismos al pensar que los informes de los medios de comunicación reflejan un verdadero acceso a la información.
Irse o quedarse y participar
Hace casi 50 años, Albert Hirschman desarrolló el concepto de salida, voz y lealtad que describe cómo las personas pueden resolver disputas sobre la calidad de bienes en un mercado.
Fundamentalmente, existen dos opciones: irse (salir) o quedarse y participar (voz).
Los economistas tienden a preferir la solución de la salida porque ésta puede imponer disciplina y dar incentivos para mejorar un servicio: a menos que se pueda resolver el problema, el cliente dejará de comprar tu producto y se irá a la competencia. La opción alternativa implica voz o diálogo, por el que ambas partes trabajan para resolver sus diferencias.
Ahora vamos a considerar estas opciones aplicadas a evaluaciones de aprendizajes. Imagina el escenario: las pruebas revelan que los estudiantes de un distrito concreto no están adquiriendo las habilidades claves y se quedan atrás de aquellos de otras zonas del país. Los padres ¿se van del sistema o ponen de manifiesto (voz) sus quejas? ¿Tienen la opción de elegir?
Empecemos por asumir que todo el mundo tiene acceso a los resultados de las pruebas, aunque muchas veces no sea así. ¿Cuántas familias pueden abandonar el sistema educativo público y pagar por un sistema privado? Esta no es una opción para un gran porcentaje, si no la mayoría, de las familias. Podría apostar a que la mayoría de los claustros escolares conocen esto, lo que significa que la opción de la salida no es una amenaza creíble para lograr el cambio. De esta forma, las familias de los estudiantes deben confiar en su voz y ejercer presión desde los diferentes canales que existen, como pueden ser las elecciones municipales, las asociaciones de padres y madres y los consejos escolares. Pero ¿tienen la información para lograr un cambio?
El enfoque de la tabla de clasificación sólo les dice a los padres que sus hijos están en una desventaja sin proporcionar una visión de cómo los resultados podrían reflejar diferencias en su situación socioeconómica. Quizás lo más importante, hay poca o nula discusión sobre las habilidades que sus hijos están perdiendo.
La habilidad o el derecho a ejercitar su “voz” debe estar basada en un entendimiento sólido de los desafíos.
Esto muestra que debemos repensar en la forma de difundir los datos de las evaluaciones y cuál es el propósito. En lugar de sólo liberar los resultados, necesitamos preparar análisis para los diferentes tipos de usuarios- desde políticos hasta profesores que buscan reforzar sus planteamientos pedagógicos y padres que quieren trabajar con sus hijos sobre lo que aprenden en la escuela. Actualmente, tendemos a utilizar los datos para evaluar y gestionar los sistemas de educación, cuando en realidad también tenemos una rica fuente de información para atender directamente las necesidades de los estudiantes. En resumen, necesitamos aprovechar el potencial de aprendizaje de los datos de evaluación, haciéndola más accesible y utilizable para diferentes actores.
A través de este enfoque, también podemos ampliar el concepto de Hirschman añadiendo «lealtad» a la ecuación. Al hacer los datos de evaluación accesibles para todos, las escuelas se beneficiarán de la lealtad de los estudiantes y sus familias por informar y capacitar en los esfuerzos desplegados para mejorar sus resultados de aprendizaje.
Silvia Montoya,@montoya_sil. Directora del Instituto de Estadística de la UNESCO.
Nota: Esta entrada es una traducción al español de Alejandra Masa López y Ana Aznar Castillo, del INEE, basada en la versión original en Inglés disponible en este enlace.
Para más información…
Te puede interesar…
Totalmente de acuerdo con el articulo. Las evaluaciones no tienen sentido sin un análisis adecuado de los resultados que permita la puesta en marcha de remediales para mejorar. Por desgracia, la mayor parte de las evaluaciones de diagnostico que se hacen en España se limitan a entregar datos estadísticos sin análisis cualitativo. Por otro lado, la escasa cultura evaluativa hace que la mayoría de los docentes reciban esos datos con absoluta indiferencia puesto que consideran que su evaluación es suficiente para establecer el diagnóstico más acertado. De acuerdo tambien en que la difusión de la información a todos los miembros de la comunidad escolar es fundamental para que un centro mejore a nivel global.
Estimada Elena,
Gracias por tu comentario.
Te remitimos información por si te interesa profundizar en el tema:
https://blog.intef.es/inee/2015/03/16/buscando-respuestas-a-nuestros-resultados-en-pisa/
https://blog.intef.es/inee/2015/02/19/reflexiones-sobre-la-evaluacion-de-3o-de-educacion-primaria/
Recordarte que estamos a tu disposición para cualquier duda que pueda surgir.
Un saludo
Muy interesante la reflexión de la autora sobre el papel de los medios de comunicación y su función de altavoz a la hora de informar sobre los resultados de una prueba de evaluación. En mi opinión, los medios de comunicación son fundamentales en una sociedad libre y los derechos a la información y a la libre expresión constituyen dos importantes pilares de cualquier democracia. Una vez dicho esto no podemos olvidar que los medios intentan plasmar en un espacio reducido informes de cientos de páginas con informaciones muy relevantes para los expertos en el tema educativo pero que escapan al entendimiento de la mayor parte del público lo que les hace caer en generalizaciones y centrarse en aquello que es más llamativo y queramos o no una clasificación siempre es un elemento a destacar. Fácilmente reproducible, contiene mucha información en poco espacio y lo que es más importante impone un lugar determinado en una tabla a un colectivo, localidad, región o país. Además la redacción de la información está ya prácticamente hecha señalando directamente como ganadores a los que ocupan los puestos superiores de la tabla y como perdedores a los que ocupan los puestos finales. ¿Y si la solución está en eliminar estas clasificaciones y en analizar los datos relacionándolos con diferentes aspectos relevantes para la educación? Igual con este simple cambio conseguiríamos que las pruebas de evaluación no se convirtieran en meras clasificaciones similares a las de un campeonato de fútbol.
Me parece un artículo muy interesante.Nunca me había parado a pensar como se hacen estas evaluaciones ni para que,pero siempre pongo mucho ínterés cuando leo estas noticias.Ahora las leeré de otra manera.Gracias.
Al leer este artículo me han venido automáticamente a la mente las pruebas CDI que hasta el curso pasado se realizaban anualmente en 6º EP y 3º ESO en la Comunidad de Madrid . Lo que supuestamente eran pruebas de diagnóstico para detectar puntos de mejora e implementar soluciones, en la mayoría de las ocasiones terminaba siendo, al menos de cara a la opinión pública, un ranking de la competencia académica de los centros educativos.
En la misma línea que comenta José Luis García, hoy mismo se publica en un medio de tirada nacional un artículo firmado por Pilar Álvarez, donde se pone de relevancia el uso «interesado» de los resultados de dichas pruebas por parte de los centros que sacan mejores resultados; al mismo tiempo que dicho ránking logra estigmatizar a otros centros, si bien a posteriori no se toman medidas administrativas para paliar esas desigualdades.
(http://politica.elpais.com/politica/2016/04/25/actualidad/1461593791_387703.html)
Al mismo tiempo, me llama la atención que en las informaciones que aparecen en prensa respecto a los resultados de España en pruebas estandarizadas, no se suele explicar con la suficiente rigurosidad y profundidad la influencia del contexto en los resultados. Ha sido recientemente que he descubierto la fuerte relevancia del Índice de Estatus Social, Económico y Cultural (ESCS), especialmente a la hora de comparar los resultados de diferencias áreas territoriales o países.
Estupenda reflexión acerca de las evaluaciones, la información que se publica y las diferencias en el uso de las mismas. Me gusta que se diga explícitamente que los datos deben servir para conformar políticas educativas y asignación de recursos, ya que en general no es habitual escuchar que un programa o proyecto que se vaya a implementar surja a partir de un análisis o el resultado de una evaluación. Asimismo, habitualmente no aparecen en los medios de comunicación recomendaciones a partir de estas evaluaciones, ya que quizás y aunque debiera ser el principal objetivo, no creo que sea políticamente el principal propósito de las mismas. Por otro lado, estoy totalmente de acuerdo con que no puede ser que el resultado de la importante inversión que se hace en evaluaciones se traduzca exclusivamente en una tabla de resultados y poco más (La OCDE con el programa PISA 2012 produjo al menos 6 volúmenes con los resultados y análisis a partir de los datos de esta evaluación. En España, en casi todos los medios, los principales hallazgos fueron los resultados medios y el puesto que ocupaba España en el ranking).
Por todo ello, creo que debemos reflexionar, como dice la autora, acerca de la forma y del propósito, tanto de las evaluaciones, como de los resultados de éstas.