\u00bfQu\u00e9 mide el Proyecto Internacional de Evaluaci\u00f3n del Alumnado (PISA por sus siglas en ingl\u00e9s) de la Organizaci\u00f3n para la Cooperaci\u00f3n y el Desarrollo Econ\u00f3micos (OCDE)? Sus creadores lo definen como la literacy<\/em> (alfabetizaci\u00f3n, en su traducci\u00f3n literal) de los estudiantes de 15 a\u00f1os en distintas materias. Esta \u201calfabetizaci\u00f3n\u201d se puede entender como la capacidad de comprender y aplicar<\/a> en entornos de la vida cotidiana destrezas en lectura, matem\u00e1ticas y ciencias.<\/p>\n\n\n\n \u00bfPero hasta qu\u00e9 punto se puede atribuir \u00fanicamente a la escuela el desarrollo de esta capacidad? Se aprende en la escuela, pero tambi\u00e9n en otros contextos de la vida. La competencia lectora se puede desarrollar leyendo por ocio o con juegos de rol. La matem\u00e1tica, en juegos de ordenador o de mesa. La cient\u00edfica, consumiendo divulgaci\u00f3n cient\u00edfica o jugando a experimentar.<\/p>\n\n\n\n Las pruebas PISA intentan establecer cu\u00e1nto aprenden los estudiantes en un a\u00f1o de escolarizaci\u00f3n en cada pa\u00eds, concepto al que denominan \u201cefecto de un curso\u201d. Se estima empleando una serie de m\u00e9todos estad\u00edsticos que explicar\u00e9 a continuaci\u00f3n. Pero, como veremos, se corre el riesgo de que esta estimaci\u00f3n pueda ser m\u00e1s un \u201cartefacto\u201d estad\u00edstico que una realidad sustantiva.<\/p>\n\n\n\n Si fuese cierto que el efecto de un curso de escolarizaci\u00f3n es de 20 puntos, como se desprende en el \u00faltimo informe PISA, su principal hallazgo ser\u00eda lo poco eficaz que resulta un curso como medio para mejorar las competencias educativas. Es decir, que los estudiantes se \u201calfabetizan\u201d o mejoran su capacidad de aplicar en la vida real sus destrezas en lectura o matem\u00e1ticas al margen, en gran medida, de la ense\u00f1anza formal en el aula.<\/p>\n\n\n\n Para que los resultados de la prueba puedan ser comparables entre distintos pa\u00edses<\/a>, con diferentes sistemas educativos y distintos curr\u00edculos, la prueba se dise\u00f1a en el marco de un modelo de evaluaci\u00f3n psicom\u00e9trica denominado teor\u00eda de la respuesta al \u00edtem<\/a>.<\/p>\n\n\n\n Las puntuaciones se calibran estad\u00edsticamente con una curva \u201cnormal\u201d (o campana gaussiana<\/a>), que determina la media y la desviaci\u00f3n t\u00edpica. En el a\u00f1o 2000, por ejemplo, la media era 500 y la desviaci\u00f3n t\u00edpica 100. Por tanto, un 500 no tiene nada que ver con un 5 en un examen: nos indica que aproximadamente dos de cada tres estudiantes de la OCDE obtienen puntuaciones entre 400 y 600 puntos.<\/p>\n\n\n\n \u00bfC\u00f3mo interpretar estos puntos? La OCDE ha optado por definir ocho grupos y asociar cada uno de ellos a un nivel de competencias, en intervalos de unos 60-70 puntos. El resultado por debajo de 410-420 puntos, la frontera inferior del nivel 2, indica que el estudiante no cuenta con un m\u00ednimo de competencias para afrontar con cierto \u00e9xito la vida adulta.<\/p>\n\n\n\n La OCDE propone otra estrategia para darle sustancia a estas cifras tan abstractas: el efecto de un curso de escolarizaci\u00f3n. Pero esto es un problema, pues la prueba no est\u00e1 dise\u00f1ada para estudiar dicho efecto, pues solo se realiza a alumnado de 15 a\u00f1os. Lo que hace es comparar al alumnado de esa edad que est\u00e1 en distintos cursos.<\/p>\n\n\n\n Para estimar las diferencias entre un curso y otro, la OCDE procede con una metodolog\u00eda de \u201cresiduo\u201d, que consiste en atribuir al efecto de un a\u00f1o todo aquello que no puede atribuirse a otras causas. Se dise\u00f1a un modelo estad\u00edstico con todas las caracter\u00edsticas en las que difieren los que est\u00e1n en un curso y en otro (origen social, estatus migratorio y sexo, b\u00e1sicamente), y las diferencias que no se explican por dichas caracter\u00edsticas se atribuyen al a\u00f1o de la escolarizaci\u00f3n.<\/p>\n\n\n\n El procedimiento, por tanto, consiste en una simulaci\u00f3n estad\u00edstica, en la que se establece que si dos estudiantes de 15 a\u00f1os, uno en 4\u00ba y otro en 3\u00ba, son iguales en origen socioecon\u00f3mico y cultural, sexo y estatus migratorio (y la composici\u00f3n social del centro en el que estudian), las diferencias entre ellos se atribuyen a que est\u00e1n en cursos distintos.<\/p>\n\n\n\n Pero en el propio informe se reconoce que no necesariamente lo que est\u00e1n estudiando unos y otros estudiantes es lo mismo, pues, seg\u00fan los pa\u00edses, pueden cursar curr\u00edculos distintos (por ejemplo, en Espa\u00f1a, a los 15 a\u00f1os se puede estar en diferentes cursos: en diferentes cursos de la ESO, en FP B\u00e1sica, o en el Programa de Mejora del Aprendizaje y el Rendimiento hasta el curso 21\/22, en que se realiza PISA).<\/p>\n\n\n\n Este m\u00e9todo de \u201cresiduo\u201d hace que el efecto del curso (grade effect<\/em>) sea variable, tanto por oleada (o periodo en el que se realizan las pruebas) como por pa\u00eds. La evoluci\u00f3n de la puntuaci\u00f3n estimada en Espa\u00f1a ha pasado de unos 40 puntos en 2003 a 20 puntos en 2022.<\/p>\n\n\n\n Si bien el propio informe<\/a> (en su p\u00e1gina 165) avisa de que esta puntuaci\u00f3n es espec\u00edfica<\/a> de cada pa\u00eds y cada oleada, en la nota de prensa resumida de 2022 no se tienen en cuenta estas advertencias<\/a> y se presentan las variaciones entre 2018 y 2022 en t\u00e9rminos de \u201ccursos\u201d (absurdo, dado que entre oleadas cambia el tama\u00f1o del efecto). Como consecuencia, en la opini\u00f3n p\u00fablica, e incluso entre expertos, ha dominado la idea de que en 2022, \u201c20 puntos de PISA equivalen a un a\u00f1o de escolarizaci\u00f3n\u201d para todos los pa\u00edses. Para que nos hagamos una idea, en otros a\u00f1os que se muestran las estimaciones por pa\u00edses, en Espa\u00f1a, por ejemplo, se atribuyen 61 puntos al efecto de curso en 2012, mientras que el promedio de la OCDE es de 41.<\/p>\n\n\n\n Veinte puntos es un efecto peque\u00f1o. Al interpretar un efecto peque\u00f1o con una magnitud tan grande como un curso escolar, estamos trivializando los hallazgos educativos. Por un lado, magnificamos peque\u00f1as diferencias. Por otro, atribuimos grandes efectos a pol\u00edticas educativas, no tan efectivas. Y, adem\u00e1s, contribuimos al tremendismo educativo, pues a poco que haya diferencia ya hablamos de \u201cmedio curso de escolarizaci\u00f3n\u201d a una distancia que en cualquier orden de nuestra vida nos parece corta \u2013\u201cmedio curso\u201d, es decir 10 puntos (0,1 de desviaci\u00f3n t\u00edpica), es como comparar entre una persona de 1,70 m. y otra de 1,69 m\u2013.<\/p>\n\n\n\n Por todos estos problemas, parece m\u00e1s sensato mantener el criterio bien asentado en la investigaci\u00f3n educativa<\/a> de considerar que el efecto de un curso est\u00e1 entre 0,5 y 0,7 desviaci\u00f3nes t\u00edpicas. Aplicado a la m\u00e9trica de PISA, equivale a unos 50 – 70 puntos, m\u00e1s alineado con las oleadas anteriores, de unos 40 puntos.<\/p>\n\n\n\n Faltar\u00eda explicar por qu\u00e9 se ha devaluado tanto el efecto de un a\u00f1o de escolarizaci\u00f3n. Quiz\u00e1 debido a que la actividad presencial de las escuelas se suspendi\u00f3 durante semanas: a curso m\u00e1s corto, menor el efecto del curso.<\/p>\n\n\n\n O quiz\u00e1 a que se han producido cambios estructurales en c\u00f3mo el origen social, el sexo y la inmigraci\u00f3n influyen en marcar diferencias entre el alumnado. En este caso, atribuimos solo a la escuela la reducci\u00f3n de diferencias por estas caracter\u00edsticas entre el alumnado que est\u00e1 en un curso u otro.<\/p>\n\n\n\n En este sentido debe considerarse que el alumnado de las oleadas de 2018 y 2022 ha cursado toda su educaci\u00f3n obligatoria tras la Gran Recesi\u00f3n de 2008. Habr\u00eda que explorar si el empobrecimiento de las familias as\u00ed como los recortes en inversi\u00f3n por estudiante pudieron afectar al rendimiento de la escolarizaci\u00f3n.<\/p>\n\n\n\n Si bien a comienzos del ciclo depresivo hay evidencia de que las familias compensaron los recortes en educaci\u00f3n<\/a>, al alargarse la situaci\u00f3n la recesi\u00f3n s\u00ed ha da\u00f1ado la calidad educativa, bien de las escuelas, bien de las familias (m\u00e1s empobrecidas y estresadas por la crisis).<\/p>\n\n\n\nC\u00f3mo se punt\u00faan las pruebas de PISA<\/h2>\n\n\n\n
![\"\"](\"https:\/\/images.theconversation.com\/files\/611505\/original\/file-20240805-17-lyf226.jpeg?ixlib=rb-4.1.0&q=45&auto=format&w=754&fit=clip\")
<\/a>El efecto de un curso<\/h2>\n\n\n\n
![\"\"](\"https:\/\/images.theconversation.com\/files\/611504\/original\/file-20240805-17-iwc7ak.jpg?ixlib=rb-4.1.0&q=45&auto=format&w=754&fit=clip\")
<\/a>El efecto devaluado de un a\u00f1o de escolarizaci\u00f3n<\/h2>\n\n\n\n
\u00bfQu\u00e9 ocurri\u00f3 en la \u00faltima oleada?<\/h2>\n\n\n\n
![\"\"](\"https:\/\/images.theconversation.com\/files\/611506\/original\/file-20240805-17-s7z3fs.jpg?ixlib=rb-4.1.0&q=45&auto=format&w=754&fit=clip\")
<\/a>\n