Entre el 27 de abril y el 30 de julio de 2021 se llevó a cabo en España la fase de recogida de datos del estudio piloto del segundo ciclo de la Evaluación Internacional de las Competencias de la población Adulta (PIAAC, por sus siglas en inglés). PIAAC es una evaluación internacional multicíclica a gran escala promovida por la OCDE cuyos aspectos metodológicos son gestionados por un consorcio de organismos internacionales (Consorcio PIAAC). En el ciclo 2 de PIAAC participan 33 países y economías con el objetivo de analizar el contexto socioeconómico, educativo, personal y profesional de la población adulta en edad laboral (16 a 65 años). Esta información se relaciona con el nivel de competencias de esta población en destrezas clave para el procesamiento de la información, por medio de la evaluación en tres dominios cognitivos: lectura, matemáticas y resolución de problemas adaptativos (APS Adaptive ProblemSolving, por sus siglas en inglés).
Uno de los aspectos que aporta mayor singularidad al estudio es el método empleado para la recogida de la información. En efecto, en el estudio principal, la recogida se basa en la realización de encuestas presenciales a una muestra representativa de hogares, a escala nacional, de la población objetivo residente en España. Para ello, los encuestadores se desplazan a dichos hogares donde una o dos personas son seleccionadas dependiendo del número de residentes elegibles. Seguidamente, y siempre en el entorno de la vivienda muestreada, se emplea una tablet para administrar un amplio cuestionario de antecedentes (BQ Background Questionnaire, por sus siglas en inglés) y, a continuación, una evaluación en uno de los tres dominios cognitivos mencionados anteriormente. En promedio, la duración estimada de ambas partes de la encuesta (cuestionario y evaluación) es de 90 minutos y su diseño puede verse en la Figura 1.
Figura 1. Diseño de la entrevista y flujos de tareas en el estudio piloto PIAAC ciclo 2. Elaboración propia INEE
En la fase piloto de la encuesta se replica el procedimiento anterior en un número limitado de provincias como se recoge más abajo. La metodología y desarrollo del piloto han estado enormemente condicionados por la pandemia desde su irrupción en marzo de 2020. Por aquel entonces, fue necesario suspender la salida a campo y retrasarla un año. Un largo camino en el que la alerta sanitaria con los cambios de la situación epidemiológica y el aumento de las coberturas vacunales obligaron a un replanteamiento a fondo del proyecto con el objetivo de salvaguardar la recogida de la información de forma segura sin menoscabo de la calidad de los datos para el análisis de materiales y procedimientos.
Este artículo hace un breve recorrido por algunas de las medidas que se han tomado en el contexto nacional e internacional con el fin de asegurar la viabilidad de un ambicioso proyecto que, en el caso de España, se gestiona desde el Grupo de Trabajo PIAAC España (GTEPIAAC), a través de un convenio de colaboración entre diversos organismos públicos.
En España, el 27 de abril de 2021 (un año y un mes después de lo previsto) comenzó la salida a campo en un contexto de gran incertidumbre y todavía con la prórroga del estado de alarma en vigor hasta el 9 de mayo. La ventana de aplicación, por tanto, quedaba reducida a tan solo 3 meses en lugar de los 4 inicialmente previstos. Ante tales dificultades, una de las tareas preparatorias para la salida se centró en la elaboración de un Plan de prevención específico para la realización de entrevistas de forma segura. Este plan, que también incluía un protocolo de actuación en caso de detección de casos positivos para SARS-CoV-2, fue preparado desde el GTEPIAAC bajo la estrecha supervisión del Ministerio de Sanidad a través de la Dirección General de Salud Pública.
Por otro lado, ante las elevadas incidencias acumuladas registradas en la mayoría de los municipios de la muestra y el, por entonces, lento avance en las coberturas vacunales, el despliegue de entrevistadores se realizó escalonadamente, empezando con 3 agentes activos únicamente en determinadas secciones de la provincia de Alicante, cuya incidencia acumulada de casos a 14 días*100 000 habitantes era inferior a 30. Posteriormente, tras poner a prueba el Plan de prevención y con incidencias más favorables, fueron desplegándose más entrevistadores en sucesivas oleadas en el resto de provincias seleccionadas: Asturias, Barcelona, Ciudad Real, Comunidad de Madrid, Córdoba, Girona y, posteriormente, Valencia.
El otro pilar sobre el que se basó el apoyo de Salud Pública para la prevención de riesgos en las operaciones de la encuesta fue la monitorización de campo en tiempo real facilitada a través del CCAES. Semanalmente, y durante toda la aplicación del estudio, este organismo emitía un informe con datos de incidencia acumulada a 7 y 14 días por municipios y códigos postales de las secciones de la muestra (Figura 2). Asimismo, estos informes eran analizados cada semana por el GTEPIAAC con la asistencia de los equipos técnicos de Sanidad, permitiendo con ello el despliegue de entrevistadores en aquellas secciones con incidencias más favorables.
Figura 2. Fragmento del informe de seguimiento semanal de incidencia acumulada durante el trabajo de campo. Se han omitido los indicadores de secciones (INE), municipios y códigos postales. Fuente: CCAES
Junto con la detallada información en tiempo real, el informe mostraba la situación de cada sección mediante un código de colores como puede verse en la figura 3. Estos códigos se recogen en el documento Actuaciones de respuesta coordinada para el control de la transmisión de COVID-19. De esta manera, la valoración del riesgo de cada sección podía evaluarse rápidamente, facilitando con ello la toma de decisiones para la salida de los entrevistadores.
Figura 3. Fragmento de los indicadores empleados en los informes de seguimiento identificativos de valoración de riesgo. Fuente: CCAES
La adversa situación sanitaria también obligó a tomar medidas en los procedimientos de muestreo. Dentro del GTEPIAAC, es el INE quien se encarga de la preparación, diseño y elaboración final de la muestra en ambas fases del estudio, piloto y principal. En este sentido, tras consulta y aprobación del Consorcio PIAAC se tomaron dos decisiones de amplio calado: por un lado, liberar desde el inicio del campo, todas las viviendas de la muestra de reserva en las secciones rurales ante la menor incidencia acumulada en estas áreas, y por otro, en base a las altas tasas de transmisión registradas a mediados de mayo, trasladar la selección de viviendas en zonas urbanas de Madrid a la ciudad de Valencia.
Por último, con el apoyo de la Delegación de Protección de Datos del MEFP, el GTEPIAAC, tras el pertinente análisis de riesgos de la Agencia Española de Protección de Datos, solicitó a la Dirección General de Telecomunicaciones y del Sector Audiovisual dependiente de la Comisión Nacional de los Mercados y la Competencia (CNMC), los listados telefónicos de las viviendas en la muestra del piloto. Dicha solicitud fue aceptada y supuso una adaptación clave en la operativa de la encuesta puesto que con ella se limitaba el número de contactos presenciales y se reducía el riesgo de transmisión. Este mecanismo fue también aceptado por el Consorcio y permitió, en algunos casos, realizar la selección de las personas por vía telefónica tras un primer intento presencial de los entrevistadores una vez localizada la vivienda.
Como conclusión, puede decirse que la aplicación del estudio piloto PIAAC ciclo 2 se ha realizado con éxito y que se han alcanzado los objetivos principales: realización del trabajo de campo en condiciones seguras para entrevistadores y respondientes, testeo de plataformas digitales de aplicación y de los procedimientos de la encuesta, obtención de un número suficiente de encuestas completas para poder realizar un análisis robusto de los ítems del cuestionario de antecedentes y de evaluación de competencias, etc. Gracias a estos logros, la aplicación del estudio principal prevista entre septiembre de 2022 y marzo de 2023 se afronta con mayor solidez. Todo esto ha sido posible gracias al esfuerzo compartido de los equipos humanos implicados y, muy especialmente, al apoyo recibido por parte de los organismos públicos mencionados, algo que desde el GTEPIAAC se quiere destacar de manera especial.
Créditos fotográficos: Imagen destacada © Pixabay
Más información sobre el estudio: https://www.educacionyfp.gob.es/inee/evaluaciones-internacionales/piaac/piaac-2-ciclo.html
Otros artículos de blog relacionados:
- PIAAC ciclo 2: introducción al cuestionario de contexto
- Publicación en el BOE del Convenio para el desarrollo, aplicación y análisis del Programa internacional para la evaluación de las competencias de la población adulta PIAAC Ciclo-2
