Selección de la muestra en estudios de evaluación de estudiantes a gran escala (PISA)

En cualquier estudio, ya sea de evaluación de competencias o de cualquier otro tipo, como puede ser de opinión, de análisis de necesidades, experimentos, etc., lo primero que debe hacerse es declarar la población objetivo, aquella parte de la población total que va a ser el objetivo del estudio. Por ejemplo, en la encuesta de población activa la población diana son las viviendas utilizadas como residencia principal y, dentro de ella, las personas que tienen 16 o más años (INE, 2016). En el Programa para la Evaluación Internacional de los Estudiantes (PISA, por sus siglas en inglés) la población objetivo son los estudiantes de 15-16 años matriculados en instituciones educativas, ya sean de titularidad pública o privada, en el grado 8 o más alto (2.º, 3.º y 4.º de ESO o programa de formación profesional en España). Con más precisión, por ajustes del momento en el que se realiza la evaluación, generalmente en abril para los países del hemisferio norte, se puede decir que la población objetivo incluye todos los estudiantes cuya edad va desde los 15 años y tres meses completos a los 16 años y dos meses completos en el comienzo del periodo de evaluación, y se permite a los países hasta un mes de variación en la definición de la edad de los estudiantes.

Siguiendo con el muestreo en PISA, en España, como en la gran mayoría de países, el diseño muestral es bietápico, estratificado en la primera etapa, en la cual las unidades de muestreo son los centros escolares con estudiantes de 15-16 años de edad, como se ha definido antes, o que tengan la posibilidad de tener a esos estudiantes en el momento de la evaluación.

Los centros educativos son seleccionados de una lista nacional de centros elegibles mediante muestreo sistemático, con probabilidades de elección proporcionales al tamaño del centro. El tamaño del centro es el número de estudiantes de 15-16 años, elegibles PISA, matriculados en el mismo. En el primer paso, los centros escolares se dividen en grupos mutuamente excluyentes,  denominados estratos explícitos. Cada estrato explícito incluye centros de características similares, de modo que con su formación se mejora la precisión de los estimadores.

En la segunda etapa del muestro se seleccionan estudiantes, de los centros elegidos en la primera etapa, de la lista completa de estudiantes de 15-16 años del centro. El tamaño de la muestra de estudiantes de cada centro se determina mediante una serie de criterios estandarizados, dependiendo del diseño de las pruebas de evaluación. De la lista completa de estudiantes, se realiza la selección por muestreo aleatorio en el que cada estudiante tiene la misma probabilidad de ser elegido. Si el centro tiene en lista menos estudiantes que el tamaño de la muestra, todos los estudiantes son elegidos para participar en las pruebas.

La Figura 1 muestra muestra de forma esquemática cómo sería el proceso de muestreo explicado.

Figura 1. Ejemplo de muestreo bietápico

Fuente: elaboración propia del INEE

En los países con muestreo trietápico, en primer lugar, se elige la zona geográfica con probabilidades proporcionales al tamaño de la zona, en segundo lugar, los centros y en tercer lugar los estudiantes de cada centro.

Representatividad de la muestra

Para que los estimadores del rendimiento de los estudiantes sean válidos, es decir tengan una buena precisión, la muestra debe obtenerse de tal manera que sea representativa del conjunto de estudiantes de 15-16 años en cada uno de los países participantes. Con este fin, una vez seleccionada la muestra con los criterios establecidos antes, es necesario mantener unos estándares de calidad en la recogida de la información. En particular

  • La cobertura de la población objetivo debe ser lo más amplia posible, de modo que solo se admite una tasa de exclusión a priori que sea inferior al 5 % de la población objetivo. Entre las causas de exclusión, se incluyen lugares remotos de difícil acceso, determinados grupos con problemas de idioma, alumnos con necesidades educativas especiales, etc. La exclusión puede ser a nivel de centros educativos o de estudiantes dentro de los centros. Por ejemplo, se podría excluir un centro que escolariza únicamente estudiantes con dificultades de idioma, o solo con necesidades educativas especiales o con discapacidades funcionales.
  • Exactitud y precisión. En PISA se seleccionan un mínimo de 150 centros educativos por país y si el país no llega a esa cifra de centros, todos los centros deben participar. En España participaron en PISA 2018 más de 1000 centros educativos, dando representatividad tanto al conjunto de España como a cada una de sus comunidades autónomas. En España se seleccionaron 42 estudiantes por centro, de forma aleatoria y con igual probabilidad, y si el centro tenía menos estudiantes matriculados, todos participaron en las pruebas. El objetivo es conseguir una participación suficiente de estudiantes de cara a lograr una buena precisión en la estimación de la varianza entre centros y dentro de los centros.
  • Tasa de respuesta de centros. En el proceso de selección de centros a cada uno de los elegidos se les asigna dos centros como potenciales sustitutos, en caso de renuncia del centro elegido inicialmente, renuncia que debe ser rigurosamente justificada. Habitualmente, se requiere una tasa de respuesta del 85 % entre los centros escolares seleccionados inicialmente. Si en la selección inicial, la tasa de respuesta queda entre el 65 % y el 85 %, se puede incrementar dicha tasa hasta niveles aceptables utilizando los centros sustitutos. Por debajo del 65% no se considera aceptable continuar con el proceso. Cada centro pesa en la muestra la suma de los pesos de sus estudiantes seleccionados.
  • Tasa de respuesta de los estudiantes. Para que los resultados de una encuesta o prueba sean fiables, la tasa de respuesta tiene que alcanzar un valor mínimo. En PISA, se requiere una tasa de participación global del 80 % de los estudiantes de 15-16 años seleccionados. Ahora bien, para que un centro sea considerado como participante se requiere que participen en las pruebas al menos el 50 % de sus estudiantes seleccionados. La tasa global de participación de los estudiantes se calcula teniendo en cuenta únicamente los estudiantes de los centros en los que participó al menos el 50% de los estudiantes seleccionados. Una vez más, se utilizan tasas ponderadas de respuesta de los estudiantes para evaluar esta norma. Cada estudiante es ponderado por el inverso de su probabilidad de selección en la muestra.
  • Si en un centro educativo la participación está entre el 25 % y el 50 %, dicho centro no se tendrá en cuenta a los efectos de estimación y documentación de tasas de respuesta, sin embargo, las respuestas de estos estudiantes se incluirán en la base de datos y se tendrán en cuenta a efectos de obtención de los estimadores. Los datos de un centro en el que la participación de los estudiantes es inferior al 25 % no se incluyen en la base de datos y el centro será considerado como no participante.

La Figura 2 resume los estándares de calidad que se han descrito para el caso de PISA.

Figura 2. Estándares de calidad en el muestro de PISA

Fuente: de elaboración propia INEE

Referencias