Más allá de PISA 

Salvo algunas honrosas excepciones, la cobertura mediática de la publicación del Informe PISA (Programme for International Student Assessment) 2022 ha estado plagada de deducciones dudosas, interpretaciones abusivas y correlaciones arbitrarias. Muchos opinadores han intentado llevar el agua a su molino, ya sea para atribuir el fracaso educativo a la inmigración, a la pérdida de la “cultura del esfuerzo” entre las nuevas generaciones, a la inmersión lingüística o al uso de los dispositivos móviles entre los menores.  

El informe PISA es una prueba estandarizada para el alumnado de quince años (independientemente del curso en que estén escolarizados) que evalúa cada tres años las competencias en lectura, matemáticas y ciencias en más de ochenta países de todo el mundo. El informe también recoge datos de las características de estudiantes, sus familias y sus centros, como el nivel socioeconómico, la ubicación del centro, el origen migrante o el género. En total, en 2022 se examinaron alrededor de 700.000 estudiantes. 

El informe manifiesta un retroceso mundial sin precedentes en el rendimiento educativo, con reducciones de quince puntos en matemáticas y diez en lectura, lo que equivale a un retroceso de nueve y seis meses respectivamente. Han resistido mejor los países asiáticos como Singapur, Corea del Sur o Japón. Y Europa ha sufrido una crisis notable, exceptuando Estonia y Suiza. La pandemia afectó de lleno a una generación de estudiantes recién estrenada su adolescencia con trece años. 

En España, se anticipaba una caída menor que en otros países por la reapertura escolar después del confinamiento en 2020, pero el sistema educativo en su conjunto ha perdido catorce puntos en matemáticas y ocho en lectura. Los nacidos en 2006 necesitarán años de apoyo para recuperarse, especialmente en Cataluña, donde los resultados de PISA han sido especialmente preocupantes.  

PISA es interesante para tomarle el pulso al estado del aprendizaje escolar en los distintos sistemas educativos

En los datos observamos que existe una fuerte relación negativa entre los países que cerraron menos días sus centros educativos durante la pandemia y el resultado en competencia matemática. Sin embargo, esta relación se torna insignificante cuando tenemos en cuenta el nivel socioeconómico medio de las familias en estos países (Cobreros Vicente & Gortázar, 2023). Cataluña presenta unas caídas especialmente pronunciadas para el alumnado de origen migrante. 

Estos días han corrido ríos de tinta sobre las posibles interpretaciones del fracaso de España en PISA. Se han mencionado como causas de los malos resultados la falta de recursos, los cambios curriculares, la segregación escolar, la jornada educativa, la digitalización del aprendizaje, la selección de los docentes, o el aumento de la población migrante, entre otros. Algunas hipótesis son más atinadas, otras más simplistas.  

Sabemos que el capital cultural de los progenitores (el número de libros en casa) es un factor relevante a la hora de explicar el desempeño educativo. La diferencia de rendimiento en matemáticas que puede ser explicada por nivel socioeconómico en España es del 16%, semejante a la media OCDE y no ha variado sustancialmente respecto a 2018. Otro dato interesante es que un alumno de origen migrante (primera o segunda generación) saca de media 32,5 puntos menos en matemáticas que uno de origen nacional, pero esta brecha se reduce a 6,6 puntos una vez descontamos el efecto de la desigualdad socioeconómica entre ambos grupos.  

Pero lo cierto es que PISA no es un instrumento para establecer relaciones causales. PISA tiene una función importante, pero no es esa. Se trata de una prueba muestral, no censal, y cambia de generación en cada edición. No podemos seguir a los alumnos a lo largo del tiempo en su recorrido por el sistema educativo y el mundo laboral. Para caracterizar el impacto de un determinado instrumento o programa educativo en el rendimiento escolar, para evaluar por qué unas escuelas rinden mejor que otras, necesitamos datos longitudinales a lo largo del tiempo.  

Este tipo de datos también nos permiten ejecutar programas piloto experimentales. ¿Aumentan las clases de refuerzo el rendimiento de los estudiantes de secundaria? ¿Y reducir la ratio de alumnos por profesor? ¿Qué modelo de agrupación de alumnos arroja mejores resultados? ¿Cuál es el efecto de la compactación de la jornada en la educación secundaria y primaria sobre las oportunidades educativas de los alumnos? ¿Mejora el nivel de los centros reforzar la autonomía de sus equipos directivos ¿E incentivar económicamente a sus maestros? ¿Qué modelos pedagógicos favorecen el aprendizaje de matemáticas? ¿La repetición de curso incentiva o desincentiva el rendimiento de los alumnos? La ventaja del método experimental es que puede establecer una relación causal creíble entre la introducción de un determinado programa pedagógico, política o reforma y el impacto concreto en el desempeño de los alumnos. 

PISA no es un instrumento para establecer relaciones causales

Algunas comunidades autónomas (Baleares, Canarias, País Vasco) llevan años realizando este tipo de pruebas censales cuyos resultados llegan en tres o cuatro meses a alumnos, familias y escuelas vía informes individualizados. En Cataluña destaca el desarrollo de un nuevo Plan de Investigación Educativa, donde la investigación cuantitativa y el uso de datos administrativos tiene un peso importante. Esta semana, la consejera de Educación Anna Simó anunciaba cambios en el Consejo de Evaluación del Sistema Educativo, e incluso su reconversión en una Agencia de Prospectiva del Sistema Educativo. 

Contar con una buena base de datos censales, abierta, con información individual y longitudinal del alumnado y de los docentes, permitiría cruzar variables de interés; por ejemplo, entre calificaciones académicas (ordinarias y en pruebas de competencias externas) y el hecho de que los alumnos sean o hayan sido beneficiarios de una beca escolar, o de alguna adaptación curricular, o hayan tenido unos determinados profesores u otros, etc.

Y también conectar los registros educativos disponibles con otros registros administrativos, como, por ejemplo, el de la Seguridad Social (para conocer la trayectoria y situación laboral de padres y madres, y también de los propios alumnos una vez finalizan sus estudios) o el de la Agencia Tributaria (para conocer la situación y evolución de los niveles de renta de las familias y alumnos en cuestión).  

El informe PISA es interesante para tomarle el pulso al estado del aprendizaje escolar en los distintos sistemas educativos. Pero es insuficiente para tomar decisiones informadas. Necesitamos datos administrativos o censales, información individual y longitudinal de alumnado y docentes, para mejorar la toma de decisiones de docentes, centros educativos y responsables políticos.