Como sabes, en los grandes estudios internacionales sobre la educación (PISA, TALIS, TIMSS, PIRLS…) se suelen proporcionar bases de datos públicas para ofrecer a la comunidad investigadora la posibilidad de realizar sus propios análisis. En nuestra página web te facilitamos enlaces para descargarlas http://www.educacionyfp.gob.es/inee/bases-datos.html.
La metodología que se emplea para calcular los errores típicos de los estadísticos que se quieren analizar es usando réplicas repetidas balanceadas (BRR) o técnicas de Jackknife (JRR). Esto se debe al tipo de muestro aplicado en estos estudios. En las bases de datos ya se encuentran las variables necesarias para realizar las réplicas.
Por otra parte, en las evaluaciones educativas en las que se estima el rendimiento competencial de los estudiantes, no se asigna un único valor a ese rendimiento, si no que se adjudica a cada estudiante una distribución de probabilidad final y se sortean unos valores dentro de esa distribución. Esos valores sorteados para cada estudiante son los denominados valores plausibles.
Realizar análisis de los datos con esta complejidad podría ser laborioso y difícil, pero afortunadamente existen herramientas informáticas que facilitan esta tarea. Una de esas herramientas nos la ofrece de manera gratuita la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) y se llama IDB analyzer. Para utilizarla necesitamos SPSS o SAS. Otras posibilidades son usar el Internacional Data Explorer o el paquete intsvy de R, por ejemplo.
Para descargar el software IDB analyzer puedes utilizar este enlace. Veamos algunos ejemplos de cómo usarlo.
Empezamos descargando los datos de PIRLS 2016 de España para SPSS y abrimos el programa IDB analyzer.
Seleccionamos “Analysis Module” entre las opciones que aparecen en la aplicación:
Después pulsamos el botón “Select” y buscamos el archivo de datos de PIRLS 2016 de España. Y en “Analysis Type” seleccionamos “PIRLS (Using Students Weights)”.
1er ejemplo: Calculamos la puntuación en comprensión lectora según el número de libros en el hogar.
Para calcular la puntuación media tenemos que elegir en “Statistics Type” la opción “Percentages and Means”, como se ve a continuación:
En la opción “Plausible Value Option” dejamos “Use PVs”, si en vez de rendimiento quisiéramos calcular la media de un índice cambiaríamos a “None Used”. Las dos opciones siguientes son el número de cifras decimales que se mostrarán en el formato de la tabla de resultados y si queremos que nos muestre un gráfico.
Ahora vamos a seleccionar las variables. En el panel de la izquierda, se nos muestra un listado con todas ellas (salvo algunas especiales como las de los valores plausibles, los pesos y las réplicas). Vamos a elegir la variable con el número de libros en el hogar que se llama «ASBG04 – GEN\AMOUNT OF BOOKS IN YOUR HOME» y pulsaremos la flecha para trasladarla a la tabla de “Grouping Variables”.
Después, en el panel de la derecha seleccionamos la tabla “Plausible Variables” y en el panel de la izquierda elegimos la primera variable «ASRREA01-05 – 1ST TO 5TH PLAUSIBLE VALUE: OVERALL READING PV1» para trasladarla al panel de la derecha pulsando en la flecha, como se ve en la siguiente imagen:
Ha llegado el momento de poner en qué carpeta y con qué nombre se guardarán los resultados de nuestro análisis. Para ello, pulsamos el botón “Define” y a continuación el botón “Start SPSS” que se ve en la siguiente imagen:
Entonces se creará un fichero con la sintaxis de SPSS necesaria para realizar los cálculos. Esa sintaxis se abrirá automáticamente en SPSS y sencillamente tendremos que ejecutarla, tal y como se muestra a continuación:
Cuando se acaben de realizar los cálculos veremos una tabla de texto con los resultados, similar a lo que se muestra en esta imagen:
Vemos que nos aparecen distintos datos de cada categoría según el número de libros en el hogar. En especial, la media en la columna ASRREA0 (Mean) y su error típico ASRREA0 (s.e.). En las últimas filas aparece la media de los países presentes en la base de datos, en este caso solo estaba España.
Además de la tabla de texto, en la carpeta que habíamos elegido para almacenar los resultados están los resultados como tabla de SPSS (.sav) y como hoja de cálculo (.xlsx), con contenido parecido al siguiente:
También aparecen dos ficheros cuyo nombre acaba en “_Sig” con información de la significatividad de la diferencia de medias entre las distintas categorías, dentro de cada país.
2o ejemplo: Calculamos el porcentaje de alumnado en cada nivel de rendimiento.
El procedimiento será similar al anterior pero en “Statistics Type” seleccionaremos “Benchmarks”. Para “Plausible Value Option” solo tenemos la opción de “Use PVs” y en “Benchmark Option” dejamos “Discrete”. Las dos opciones siguientes ya las comentamos en el ejemplo anterior.
En “Grouping Variables” no elegiremos añadir ninguna variable. Al igual que en el ejemplo anterior, en el panel de la derecha seleccionamos la tabla “Plausible Variables” y en el panel de la izquierda elegimos la primera variable «ASRREA01-05 – 1ST TO 5TH PLAUSIBLE VALUE: OVERALL READING PV1» para trasladarla al panel de la derecha pulsando en la flecha.
Ahora tenemos que poner los puntos de corte de la puntuación en comprensión lectora de los niveles de rendimiento. La mejor forma es pulsando la flecha hacia abajo dentro de “Achievement Benchmarks” y nos aparecerán los puntos de corte definidos en PIRLS, tal y como puede observarse en la siguiente imagen:
Ya solo falta poner en qué carpeta y con qué nombre se guardarán los resultados pulsando el botón “Define” y a continuación pulsamos el botón “Start SPSS”.
Ejecutaremos la sintaxis de SPSS que se ha creado y esperaremos a que se acaben de realizar los cálculos. Después veremos la siguiente tabla de texto:
En ella se muestran los cinco niveles de rendimiento en comprensión lectora con su porcentaje y error típico en las columnas “Percent” y “Percent (s.e.)” respectivamente.
Los resultados también estarán en formato de tabla de SPSS (.sav) y hoja de cálculo (.xlsx).
Para ampliar información es recomendable leer la ayuda que ofrece el propio programa.
Créditos fotográficos: Imagen destacada © Pixabay
Enlaces relacionados:
Bases de datos http://www.educacionyfp.gob.es/inee/bases-datos.html
Internacional Data Explorer https://nces.ed.gov/surveys/international/IDE/
IDB Analyzer https://www.iea.nl/data-tools/tools
