HISTODIDÁCTICA

Dr. Julio Carabaña
Facultad de Educación, Universidad Complutense de Madrid
Versión en catalán en: Quaderns d'Avaluació. número 7 Generalitat de Catalunya. Enero 2007 (Pág. 35 a la 63)

1. Introducción

Antes de PISA, el programa de evaluación internacional de los resultados escolares llevado a cabo por la OCDE, existieron otras comparaciones de aprendizaje escolar entre países, entre las que destacan los llevados a cabo por la IEA. Nunca alcanzaron, sin embargo, ni la mitad de difusión y relevancia que ha alcanzado PISA, y no seguramente porque no lo merecieran. Ciertamente, PISA tiene una gran ventaja sobre estos otros programas anteriores, que consiste en haber seguido un estricto criterio de edad, evaluando a los alumnos de quince años, en lugar de evaluar, como los programas anteriores, a los alumnos de un curso, como octavo de EGB. Esta precisión en la población evaluada eleva muchísimo el rigor de la comparación, que no está ya viciada por las políticas de promoción de curso, tan diferentes según los países. Pero no es probable que la enorme repercusión que PISA ha alcanzado se deba solo a esta superioridad técnica. Más bien creo que debería atribuirse a la relevancia de la OCDE, a la gran cantidad de países que han participado y a la brillante diseminación de los resultados, debida en parte al hecho de que se ha realizado sobre terreno ya preparado por las anteriores comparaciones internacionales.

Una de las claves de las altas cotas de difusión e influencia logradas tanto por la primera como por la segunda de las olas de PISA parece haber sido lo que, curiosamente, puede ser una de las debilidades del informe. PISA se ha presentado ante la opinión pública como una evaluación no académica de las escuelas. Ha insistido en que su pretensión era evaluar los conocimientos, habilidades y destrezas necesarios para la vida en las futuras sociedades de la información, no rutinarios conocimientos escolares carentes de relevancia práctica. No hay duda de que este enfoque ha evitado a PISA el desprecio inherente a la idea de que los conocimientos escolares no sirven para la vida y de que adaptarse bien a la escuela no es señal de una buena adaptación a la vida, sino más bien de lo contrario. Pero ha llevado a PISA a plantear a los alumnos cuestiones con tan poca carga académica que en muchos casos se parecen mucho a un test de inteligencia general, limitando mucho el ámbito de la evaluación.

Aún cuando mida un solo aspecto de la enseñanza escolar, o mejor, un indicador de uno de sus objetivos, las habilidades cognitivas, los estudios PISA van camino de separar dos épocas en las ciencias de la educación. PISA ha medido los logros cognitivos de los alumnos de 15 años de un modo válido y fiable; ha establecido firmemente diferencias entre países, entre regiones, entre clases sociales y hasta entre grupos étnicos, y ha intentado explicar estas diferencias, consiguiéndolo las menos veces y no llegando a lograrlo las más. Puede decirse que PISA es importante tanto por las diferencias que explica como por las que deja por explicar. Más aún, puede que su mayor trascendencia esté en haber encontrado muchas diferencias que deja sin explicación o que desautorizan las explicaciones corrientes. Pese a todas las resistencias, estas diferencias inexplicadas irán minando, en un proceso que apenas acaba de comenzar, gran parte del saber establecido en las Ciencias de la Educación.

Lo que sigue pretende ser una modesta contribución a este trabajo de revisión de muchas doctrinas comúnmente aceptadas, y como subproducto, de las políticas que se justifican en ellas.

1. ¿Qué son y que no son diferencias?

Antes de hablar de las explicaciones conviene establecer lo que aceptamos como diferencia digna de explicación; pues en la historia de las ciencias sociales abundan las explicaciones, a veces ferozmente enfrentadas entre sí como teorías rivales, para hechos que nunca ocurrieron; la breve historia de PISA ha producido ya numerosas explicaciones de fenómenos aparentes, fruto solo de apresurada o interesadas lecturas de los datos.

¿Qué es pues una diferencia significativa?. Consideremos, para comenzar, una cuestión formulada en PISA a los alumnos de 15 años, la que se reproduce en el cuadro 1. De los seis niveles de respuesta que PISA distingue esta es una cuestión de nivel 4 cuando se responde correctamente y de nivel 6 cuando además se razona debidamente la respuesta. Están a nivel 4 aproximadamente uno de cada tres alumnos de 15 años.

PREGUNTA DE PISA 2003 DEL ÁMBITO MATEMÁTICO. ROBOS

La respuesta correcta es que el adjetivo 'enorme' aplicado al crecimiento de los robos mostrado por el gráfico no es razonable; esta respuesta sitúa alumno en el nivel 4 de los seis que PISA distingue, con una puntuación de 577 (la media de la OCDE está por convención en 500, la desviación típica en 100). Aproximadamente uno de cada tres alumnos de quince años se sitúan a este nivel. Si además el alumno razona la respuesta, diciendo que se necesita más información sobre la tendencia o que no es un aumento enorme en relación a las cifras absolutas, entonces se le atribuye el nivel 6, con una puntuación de 694 puntos que alcanzan menos del 4% de los alumnos.

PISA da mucha importancia a las 'habilidades' que permiten contestar correctamente esta pregunta. "Esta pregunta de respuesta abierta se sitúa en un contexto público", dice. "Es muy importante examinar los datos y los gráficos, ya que se utilizan con frecuencia en los medios de comunicación como modo de hacernos participar de forma efectiva en la sociedad. Se trata de una habilidad esencial para la competencia matemática. Muy a menudo, los diseñadores de gráficos utilizan sus habilidades (o su carencia de ellas) para que los datos sirvan de apoyo a un mensaje predeterminado, a menudo dentro de un contexto político" (PISA, 2004:82).

El mismo gráfico del cuadro 1 podría servir para representar la diferencia en las puntuaciones entre España y la media de la OCDE. En el primer informe PISA, España está en Lectura ocho puntos por debajo de la media de 500 puntos, en el segundo la distancia en Matemáticas a la media de 500 puntos es de 15 puntos.

Están en la memoria de todos los comentarios que esta diferencia mereció por parte de periodistas, políticos y expertos en educación. Básicamente se aceptó que los datos eran un desastre y cada cual echó la culpa del mismo a su trasgo favorito. En general, las interpretaciones de periodistas, profesores y políticos fueron como las del comentarista de la pregunta: estuvieron por debajo del nivel 4 de PISA.

La cuestión es grave, porque, si un 30% de los alumnos de 15 años son capaces de interpretar las cosas correctamente, ¿acaso todos los políticos y periodistas se reclutan entre el 70% de rendimiento inferior en la escala PISA?. O ¿están todos ellos, como insinúa el comentario de PISA, "utilizan(do) sus habilidades (o su carencia de ellas) para que los datos sirvan de apoyo a un mensaje predeterminado, a menudo dentro de un contexto político"?. Seguramente esto último. Pero entonces hay un grave problema de 'ciudadanía crítica' y participación, pues los que pueden leer correctamente la diferencia (supongamos que entre ellos muchos profesores de Matemáticas) no fueron capaces de hacer llegar a la prensa su punto de vista.

La cosa, sin embargo, no acaba aquí. Desde luego que no es muy alentador que entre las elites creadoras de opinión aquellos que no llegan al nivel 4 de la prueba de matemáticas de PISA abrumen a los (menos) que están por encima de este nivel. Pero es menos alentador todavía que el propio estudio PISA, o más en concreto, las numerosas comisiones nacionales de matemáticos que seleccionaron los ítems, dieran por buena una respuesta en el fondo errada. ¿En qué consiste el error?. Pues en que, en rigor, no se puede dar una diferencia por grande o por pequeña en términos sustantivos sobre la sola base su magnitud numérica. Los autores de la prueba de PISA pretenden que un aumento del 1,5% en el número de delitos no es importante porque en general los aumentos del 1,5% no son importantes. Falacia evidente. Los aumentos del 1,5% son importantes o incluso espectaculares en ciertos asuntos, y triviales o insignificante sen otros. Un aumento del 1,5% en las lluvias anuales indica regularidad más que variación y se tiene por despreciable; un aumento del 1,5% anual en el PIB se tiene por un aumento normal y corriente; un aumento (momentáneo) del 1,5 % en la temperatura corporal (pongamos de 37,5 a 38 grados) es síntoma de enfermedad, aunque sea leve; un aumento del 1,5% en la temperatura del planeta está provocando un considerable revuelo actualmente, y, por último, un aumento del 1,5% en el nivel de los océanos tendría, según todos los indicios, consecuencias catastróficas. En suma, para calificar una diferencia de grande o de pequeña hay que saber algo más que estadística y entender del asunto de que se trate, robos, fiebres, lluvias ... o aprendizaje.

2. ¿Es peor el sistema educativo español?

En el año 2000, según el primer estudio PISA, los alumnos españoles alcanzaban una puntuación (en una escala de media 500 y desviación típica 100) de 492 en lectura, la materia principal evaluada ese año; de 476 en Matemáticas, y de 491 en Ciencias (OECD, 2002)

En el estudio del año 2003, las puntuaciones de España, como la de casi todos los países (hay un par de excepciones que merecerían consideración muy atenta) se mantuvieron muy estables. España llegó a 485 puntos en Matemáticas, materia principal evaluada; a 481 en Lectura, y a 487 en Ciencias. La tabla 1 recoge los resultados en Matemáticas de PISA 2003.

TABLA1

PUNTUACION MEDIA DE LOS RESULTADOS EN COMPETENCIA

MATEMÁTICA POR PAISES

Como acabamos de decir, en ambas ocasiones los comentaristas se fijaron en la clasificación de los países, como si de una liga se tratara. De los 31 países participantes en la primera ola., España ocupaba el puesto número 18 en Lectura, el 23 en matemáticas y el 19 en Ciencias. En la segunda edición del estudio, España ocupaba puestos todavía más bajos. Sin fijarse en la magnitud de las diferencias, todo el mundo se dispuso a buscar las causas del desastre.

Pero el desastre en realidad no existía, como he insistido ya muchas veces (v. gr.,Carabaña, 2004). La inferioridad española respecto a la media no era ni mucho menos enorme. Cualquier comentarista de nivel 4 en PISA se debería haber dado cuenta de ello, aún sin saber razonar la respuesta. Tratemos nosotros de hacerlo.

Ante todo, bajo una consideración estrictamente estadística y para evitar la confusión entre estadística y sustancia, hay que decir que la diferencia es estadísticamente significativa. Aparece en una muestra de más de 10000 alumnos, que produce un error típico de tan solo 2,4 puntos, lo cual significa que hay 95% de probabilidades de que la media real se encuentre entre los 480 y los 490 puntos, y sólo 2,5% de probabilidades de que esté por encima de los 490 puntos. Como mucho, podemos conceder al azar del muestreo las diferencias que hay entre las diferentes medidas y los diferentes años, lo que nos situaría, en el mejor de los casos, siempre por debajo de 490 puntos. Por tanto, no hay duda de que se trata de una diferencia 'estadísticamente significativa'. O sea, que esa un otra diferencia muy cercana a ella es la diferencia real.

La estadística nos dice que la diferencia es real. No nos dice si es pequeña o grande en importancia. Mi interpretación es que se trata de una diferencia más bien pequeña, de poca importancia. Me baso para emitir tal juicio en que en la mayor parte de los contextos educativos despreciamos diferencias de esta magnitud. Traducida a nuestra escala habitual del 1 al 10, la puntuación española equivaldría a una nota de 4,85. )Qué haría una familia con un hijo que obtuviera esta nota cuando el conjunto de sus hermanos tiene un 5?. Seguramente no lo dejaría sin vacaciones. )Qué haría el director de un centro que encontrara esta diferencia entre uno de sus profesores y los restantes?. Seguramente no le bajaría el sueldo ni lo despediría. )Y cómo reaccionaría una organización docente con varios centros cuando uno presentara resultados de este tenor?. Seguramente no lo declararía en crisis ni procedería a tratamientos de choque. ¿ Por qué tendríamos que alarmarnos cuando se trata de países o regiones?.

Este juicio desdramatizador se ve apoyado por el hecho de que diferencias mayores que la que separa España de la media de la OCDE son comunes entre los países más desarrollados, como vemos a ver pronto, sin que ello parezca responder a ninguna otra diferencia importante entre los países.

3. ¿Hay en España más equidad?

Además de una media ligeramente inferior a la del conjunto, los informes PISA ha mostrado que los alumnos españoles alcanzan resultados más iguales que los de otros países. En el año 2000 tuvieron la menor dispersión de resultados de todos los países en Lectura, excepto Corea. En Matemáticas, la materia en que se centró el Informe PISA de 2003, España tenía una desviación típica de 88, muy por debajo de la media de 100 y solo superior por muy poco a las desviaciones típicas de Finlandia (84), Irlanda (85) y México (85).

En general, los comentaristas se han congratulado por esta igualdad, que, siguiendo a PISA han interpretado como equidad. (Así Consell Superior d'Avaluació, 2005: 103 ) El informe del INECSE, por ejemplo, se expresa en estos términos:

"El resultado más deseable sería una media global elevada unida a unos valores de dispersión reducidos, lo que indicaría un alto grado tanto de excelencia como de equidad. Se encontrará a continuación que los resultados obtenidos en España están lejos de alcanzar un alto grado de excelencia –sin suponer por ello un pronunciado fracaso-pero son muy aceptables en cuanto a equidad" (Pajares, 2005:31).

A mi entender, el informe del INECSE interpreta correctamente la diferencia de medias, pero no acierta cuando considera la igualdad como equidad y por ello como deseable. También yerra, desde luego, el propio Informe PISA, cuyos pasos sigue el español, que se expresa en estos términos:

"El análisis ha puesto de manifiesto que las grandes disparidades en el rendimiento no constituyen una condición necesaria para que un país alcance un alto nivel de rendimiento global. De hecho, algunos de los países con mejor rendimiento han alcanzado sus resultados a pesar de mostrar una escasa diferencia entre sus alumnos mejor y peor situados respecto al rendimiento" (OCDE, 2005:103).

Como puede apreciarse, PISA es mucho más prudente que el INECSE formulando juicios de valor explícitos, pero el sentido de este párrafo aparentemente técnico es el mismo. En efecto, estadísticamente el párrafo enuncia una obviedad; a saber, que la media y la dispersión de una distribución son independientes entre sí. No hacía falta PISA, desde luego, para poner de manifiesto que dispersiones mayores no implican medias más altas, ni que pueden resultar medias altas de puntuaciones poco dispersas, con tal, claro, de que sean puntuaciones altas. ¿De qué se trata, entonces?. El comentario de PISA está en realidad mirando de reojo a la economía; se esta haciendo eco del dilema entre eficiencia e igualdad tan caro a ciertos economistas neoliberales y lo está trasladando a las escuelas, constatando que hay países que hacen compatibles ambas. De paso, y como en economía, se asume sin más que la igualdad es equitativa y se la convierte en un objetivo tan deseable como la excelencia. No es necesario considerar aquí en qué medida es la enseñanza materia proclive a engendrar el conocido dilema. Nos vamos a detener, en cambio, en la equiparación de igualdad con equidad y en su consideración como objetivo central del sistema.

No es ni mucho menos evidente que en el campo del aprendizaje la igualdad sea equitativa, ni siquiera deseable. En general, únicamente en su sentido etimológico y literal se puede llamar equidad a la igualdad en resultados educativos de cualquier tipo. Hacerlo en el sentido habitual que relaciona equidad no ya con justicia, sino con deseabilidad, carece simplemente de sentido.

La justicia, en efecto, solo se puede atribuir a las verdaderas distribuciones, es decir aquellas en las que se reparte algo preexistente y limitado. Dicho con la más manida analogía: solo pueden ser justas o injustas aquellas distribuciones en las que realmente hay un pastel que se reparte. No puede predicarse la justicia ni la injusticia, en cambio, de las distribuciones ficticias, aquellas en las que la cosa aparece ya distribuida y solo por virtud de la estadística se la agrega en un todo imaginario. Puede ser justa o injusta la distribución de lo que se ha producido en común; ahí el criterio de justicia es que la dis-tribución sea proporcional a la con-tribución, según la definición clásica 'suum cuique tribuere'. Pero no puede ser justa ni injusta la distribución de lo que se ha producido por separado e independientemente, por la sencilla razón de que estrictamente hablando no se distribuye nada; cada cual tiene de antemano lo que ha conseguido por su cuenta. A no ser, claro está, que la producción individual depende de una previa distribución de medios de producción limitados, como suele ser el caso de la tierra.

Evidentemente, el aprendizaje es una de estas desigualdades de logro que no resultan de ninguna distribución, sino de la capacidad y el esfuerzo de los individuos. No hay una cantidad dada de aprendizaje que la enseñanza reparta entre los alumnos. A lo más hay una cantidad dada de recurso educativos. Durante mucho tiempo hemos considerado injustas las desigualdades en conocimientos porque dependían de una distribución desigual de estos reecursos. Hoy en día, y probablemente ya desde hace tiempo, se da una sustancial igualdad de recursos en la Enseñanza Básica, con las excepciones minoritarias de algunos centros privados y de las dotaciones extraordinarias para centros con especiales dificultades. En conjunto, como mostró ya el Informe Coleman en 1966 y han vuelto a confirmar los estudios PISA, si acaso una parte ínfima de las desigualdades de aprendizaje pueden retrotraerse a diferencias en los recursos materiales o personales de las escuelas.

Aún cuando esta distinción entre desigualdades de reparto y desigualdades de logro (mejor justificada en Carabaña, 2001) no fuera tan sólida ni relevante como yo digo y la expresión 'distribución del conocimiento' fuera algo más que una analogía impropia, no habría razón alguna para suponer que las distribuciones más iguales fueran más justas que las distribuciones más desiguales. En situación de igualdad de recursos, la norma básica de la justicia distributiva, la proporción entre contribuciones y retribuciones, se da casi de forma automática en el estudio y el aprendizaje, no habiéndose inventado todavía en este campo ninguna forma de que unos trabajen para otros. En principio, por tanto, debe suponerse que, cumplido el supuesto de escolarización aproximadamente igual de los alumnos de 15 años, que indudablemente se da al menos entre los alumnos de un mismo centro, cualesquiera diferencias de aprendizaje entre los alumnos son resultado de su capacidad y de su esfuerzo, y son por tanto esencialmente justas y equitativas, tanto las más pequeñas que se registran en Finlandia, Corea, México o España como las más grandes que se dan en, por ejemplo, Alemania.

Pero incluso si no se comparte ninguno de estos razonamientos sobre igualdad y justicia, se puede no estar de acuerdo con la idea de que "el resultado más deseable sería una media global elevada unida a unos valores de dispersión reducidos". Es obvio que una media alta es mejor que una media baja, pero no es tan evidente que una menor desigualdad sea siempre preferible. Dado un nivel medio cualquiera, la igualdad aumenta tanto cuando disminuye la gente por debajo de la media como cuando disminuye la gente por encima de ella. Lo primero es de celebrar, lo segundo de lamentar.

Nuestra igualdad, concretamente, se debe por un lado a que, contra lo que hemos creído durante mucho tiempo, tenemos pocos alumnos con resultados bajos. No cabe sino alegrarse de este factor de igualdad. Significa que tenemos menos fracaso escolar que otros países, en algunos de los cuales, curiosamente, no existe ni la noción. Desgraciadamente, la proporción de alumnos españoles de nivel bajo en Matemáticas en PISA 2003 ha aumentado respecto al de lectura en PISA 2000. Por debajo del nivel 2 en Matemáticas tenemos 14,1% de los alumnos. Hay países peor, pero son Turquía, Portugal, México, Italia y Grecia. Hay países más o menos iguales, que son Alemania, Austria, Estados Unidos, Hungría, Luxemburgo, Noruega, Polonia. Y hay muchos países que están mejor, con menos del 10% bajo nivel 2, como Bélgica, Canadá, Corea, Dinamarca, Finlandia, Japón, Nueva Zelanda o los Países Bajos. Hay que tener en cuenta, además, que el nivel 1 en matemáticas es realmente un nivel muy bajo. La frontera entre el nivel 1 y el nivel 2 viene fijada por un item como el de la escalera, que se reproduce en el cuadro 2. Como puede apreciarse, se trata de uno de los más simples y clásicos problemas de división. No hay duda de que estar bajo el nivel 2 revela un estado matemático más bien lamentable.

PREGUNTA DE PISA 2003 DEL ÁMBITO MATEMÁTICO. ESCALA CUADRO2

Por otro lado, la gran igualdad de resultados de los alumnos españoles se debe también a que tenemos pocos alumnos con resultados altos. Nuestra Enseñanza Básica está entre las que menos alumnos destacados produce. Tomemos como referencia el nivel 6, que fija arbitrariamente el Informe PISA 2000 en los 626 puntos. El porcentaje de alumnos con este nivel de Lectura en el estudio del 2000 es de menos de 1% en Brasil y México; está en torno al 3% en España, Portugal, Italia, Grecia, Rusia, Polonia, Letonia, Hungría y Corea; ronda el 10% en Suecia, Noruega, Dinamarca, República Checa, Austria, Alemania, Suiza, Francia, Japón y Estados Unidos; y alcanza el 15% en Finlandia, Holanda, Bélgica, Reino Unido, Irlanda, Australia, Nueva Zelanda y Canadá. Los resultados del estudio de 2003 son muy semejantes. En lo que PISA considera el nivel 6 de matemáticas, fijado en los 668 puntos, solo hay un 1,4% de españoles, un porcentaje semejante al de los países mediterráneos y muy inferior al de los países del centro y Norte de Europa, tal como refleja la tabla 1.

Aún habiendo un lado bueno y otro malo en la igualdad, cabría todavía congratularse de una dispersión pequeña si se cumplieran dos condiciones. Una, que no tener alumnos malos fuera mejor que tener alumnos buenos y dos que hubiera que optar entre una cosa o la otra. La segunda condición no se da. Como el mismo informe Pisa reconoce, no es necesario sacrificar a los alumnos de atrás para que avancen los de delante, ni frenar el avance de estos para que los rezagados corran más. El aprendizaje no es como la propiedad, que puede quitarse a unos y darse a otros; no es un juego de suma cero, donde lo que uno consiga lo pierde el otro. El saber es más bien comparable al maná con que Yahvé alimentó a su pueblo durante la travesía del desierto, un producto maravilloso que no sufre mengua alguna por mucho que todos tomen de él. Pero aún en el caso de que el dilema se planteara y hubiera que decidir entre dedicar recursos escasos a tener menos alumnos malos o más alumnos buenos, mucha gente diría que las elites suelen ser más necesarias para desarrollar la riqueza de los países que para mantenerla (Carabaña, 2004). No es entonces ni mucho menos obvio que sea correcta la política española de poner el énfasis en la reducción del fracaso escolar. Como concluye en su informe el Consell:

"Si es tenen en compte els resultats obtinguts en la majoria d'avaluacions de rendiment escolar, entre les quals s'ha d'incloure l'estudi PISA, es pot afirmar que a Catalunya s'ha assolit una escola de mínims per al conjunt de la població i s'és encara molt lluny d'assolir una escola d'òptims" (Consell Superior d'Avaluació, 2005:119). .

4. Las desigualdades entre países

Volvamos a las diferencias de medias. Otro indicio del escaso alcance de la diferencia de 15 puntos que separa España de la OCDE es que diferencias mayores son habituales entre los países desarrollados que componen esta organización sin estar ligadas sistemáticamente a ninguna característica notable de los países. Así, España tiene resultados iguales a países muy distintos del nuestro y muy distintos entre sí, como son Eslovaquia, Noruega, Luxemburgo, Polonia, Hungría, Letonia y Estados Unidos. No son en principio mala compañía, en el sentido de que es difícil compartir con todos ellos una inferioridad importante. Por otro lado, países muy iguales entre sí en todos los aspectos, como pueden ser los países nórdicos, muestran en resultados PISA diferencias de magnitud igual o mayor a la que estamos considerando. Noruega está a quince puntos de Suecia, que a su vez queda a solo 5 de Dinamarca, pero a 35 puntos de Finlandia. Entre los países centroeuropeos, Alemania y Austria quedan a más de treinta puntos de Holanda, Bélgica o Suiza. Y entre los antiguos países socialistas, Polonia y Hungría quedan a más de 25 puntos de la República Checa, mucho menos, por lo demás, que la antigua cabeza del bloque, Rusia.

Es cierto que si se toman los países con mejores y peores resultados, como Finlandia y Grecia, las diferencias son de 100 puntos, cercanas a una desviación típica; y también es cierto que todos los países del Sur de Europa, incluidas Italia y Servia, tienen resultados bajos. Pero son pocos países y, como pronto veremos, pequeños. Se hace, pues, mejor resumen de los hallazgos de PISA si se retienen las similitudes que si se retienen las diferencias. Digamos, pues, que PISA ha encontrado que los alumnos de todos los países europeos tienen a los quince años conocimientos extraordinariamente semejantes, Así, en PISA 2000, la distancia en Lectura entre el primer país europeo, Irlanda, y el último, Portugal, va de 527 a 470, situándose el grueso entre los 516 puntos de Suecia y los 479 de Polonia. En PISA 2003, como acabamos de decir, la distancia entre el primer país y el último es de casi cien puntos en Matemáticas; pero el grueso, otra vez, se sitúa entre los 511 puntos de Francia y los 466 de Italia. En Lectura, todos los países europeos menos tres (Finlandia, Grecia y Servia) se encuentran entre los 515 puntos de Irlanda y los 476 de Italia.

La semejanza de los resultados de los países europeos y desarrollados en general se acentúa si se contemplan desde la perspectiva de los países menos desarrollados. Estos países forman un bloque cuyas puntuaciones tienden a estar por debajo de los 400 puntos, claramente separados de los países desarrollados por el rango de puntuaciones entre 450 y 400, en el que hay muy pocos países y muy pequeños (Grecia y Servia). Además, las diferencias entre ellos son considerables, casi iguales a las encontradas entre los países desarrollados, pese a sus menores medias. Así, en PISA 2003, Uruguay, Tailandia, México, Indonesia y Túnez se encuentran entre los 423 puntos de Turquía y los 356 de Brasil (nótese, por cierto, el gran tamaño de cinco de ellos). La media es igualmente baja y las diferencias son también muy grandes si consideramos solo los países latinoamericanos. PISA 2000 incorporó en una segunda ola a algunos de ellos, con las siguientes puntuaciones en Lectura: Argentina, 421; Brasil, 398; Chile, 411; México, 423; Perú, 329. Llama la atención, desde luego, que los países de este continente no estén mejor que países de Asia o África mucho más pobres y de desarrollo mucho más tardío, como Indonesia y Tailandia, y que algunos, como Perú, estén peor.

5. Las diferencias entre países ricos

Cualquiera que considere todas estas diferencias entre países tiene que reconocer que muchas de ellas son inesperadas y sorprendentes. PISA tiene un enorme valor por haberlas constatado casi por primera vez de manera casi indiscutible. Y PISA tiene tanto o más valor, al menos a mi entender, por no haber encontrado explicación a la mayor parte de estas diferencias; o, más precisamente, por haber mostrado la insuficiencia de las explicaciones más comunes.

Comencemos por las explicaciones económicas. PISA ha permitido producir el gráfico 1, que muestra la relación entre el PIB per capita y sus medidas de aprendizaje. Sin ser totalmente incorrecta, la interpretación en términos de relación lineal que propone el mismo gráfico es altamente imprecisa. Se consigue una interpretación más exacta de los datos agrupando los países, como se ha hecho en el apartado anterior. Las puntuaciones de los países no crecen con el PIB, sino que pueden distinguirse dos grupos. En primer lugar, los países con PIB per capita por debajo de 10,000 dólares. Sus resultados son más bajos que los del resto de países, estando entre 350 y los 450 puntos. En segundo término los países con PIB per capita entre 10,000 y 40,000 dólares. La variación de sus puntuaciones entre los 450 y los 550 puntos no muestra relación alguna con el PIB per capita. Así pues, en vez de una línea inclinada, como se hace en el gráfico, habría que trazar dos líneas horizontales, una al nivel de 400 y la otra al nivel de 500. En esta interpretación hay un umbral, los 10,000 dólares per capita, por encima del cual el PIB deja de ejercer influencia.

GRAFICO 1. RENDIMIENTO DEL ALUMNADO Y RENTA NACIONAL

Realación entre el rendimiento del alumnado y el PIB per capita

(OCDE 2005 pág. 100)

También permite PISA producir un gráfico como el 2, que relaciona el gasto acumulado por alumno en términos de poder adquisitivo y los resultados en las pruebas de aprendizaje.

GRAFICO 2 RENDIMIENTO DEL ALUMNADO Y GASTO POR ALUMNO ENTRE LAS EDADES DE 6 Y 15 AÑOS

(OCDE 2005 pág. 102)

En su corta vida, este gráfico ha sido objeto de numerosos retorcimientos y violencias, todos tendentes a hacerle decir algo distinto a lo que claramente dice; a saber, que el gasto por alumno no vale como explicación de las diferencias entre países. Como se ve, el gráfico 2 muestra solo los países de la OCDE, todos los cuales están en el grupo en torno a 500 puntos, excepto México. Hay entre ellos enormes diferencias de gasto por alumno que no se reflejan en diferencias de aprendizaje. Estados Unidos o Italia gastan cuatro veces más que Eslovaquia en que sus alumnos aprendan lo mismo. Y "España y Estados Unidos presentan un rendimiento similar, mientras que Estados Unidos gasta aproximadamente 80,000 USD por alumno de edad comprendida entre los seis y los 15 años, en España esta cifra solamente alcanza los 47,000 USD" (PISA, 2003:103). Todo esto y más lo reconoce el informe PISA, que sin embargo acaba con el ambiguo siguiente dictamen:

"los resultados sugieren que si bien el gasto en las instituciones educativas constituye una condición imprescindible para proporcionar una educación de alta calidad, dicho gasto por sí solo no es suficiente para alcanzar unos altos niveles de resultados" (PISA, 2004.103).

La ambigüedad es bien explicable. Quizás sea demasiado pedir a un programa de la OCDE que declare bruscamente que lo que 'sugieren' los gráficos es la total carencia de sustento empírico de la relación entre gasto y resultados escolares. Los gráficos 'sugieren' que todo gasto superior al de los antiguos países socialistas, Eslovaquia, Polonia, Hungría o la República Checa, es realmente dinero tirado que no mejora los resultados escolares. No voy a extenderme en glosar las obvias y enojosas consecuencias políticas de una planificación eficiente de la enseñanza basada en estos gráficos.

Dejemos los factores económicos. Las diferencias de resultados entre países tampoco se pueden explicar por las diferencias en la ordenación de los sistemas educativos. La semejanza de los resultados en los países europeos contrasta, en efecto, con la evidente diversidad de los sistemas educativos y la presunta variedad de métodos de enseñanza. De los sistemas educativos, la diferencia más saliente es la que se da entre sistemas comprensivos y sistemas diversificados. En los países europeos con más tradición socialdemócrata, como Inglaterra y Suecia, se introdujo durante la segunda mitad del siglo la escuela unificada hasta los 15 años y más que existía desde mucho antes en Estados Unidos. Algunos autores, entre ellos Andreas Schleicher, responsable de PISA, han querido extraer de sus resultados un apoyo a los sistemas comprensivos. Sin embargo, no parece que pueda decirse que 'prácticamente todos los países que mostraron un buen rendimiento en PISA ponen el énfasis en las estrategias y enfoques de enseñanza dirigidos a grupos de alumnos heterogéneos dentro de sistemas educativos integrados" (Schleicher, 2005:69) sin forzar un tanto la lectura de los datos. Al cabo, si por un lado todos los alumnos finlandeses de quince años siguen un programa común, los holandeses, que quedan en segundo lugar, siguen programas diversos. Otra vez el informe PISA ofrece un mal ejemplo de prosificación de datos. Dice que "las comparaciones transnacionales simples muestran que, aunque el número de tipos distintos de centros o programas educativos disponibles para los alumnos de 15 años no está relacionado con el rendimiento promedio de un país en matemáticas, esta separación es la responsable del 39% de la diferencia entre centros de enseñanza en el conjunto de los países de la OCDE" (PISA, 2004:265). Debería cambiar la oración principal y la subordinada, y decir que 'aunque' la diversidad de programas produce más diferencias entre centros (¿no se diversifican acaso los programas para eso?), tal separación no influye en los resultados globales. Como principal o como concesiva, en todo caso la afirmación de que el número de ramas de la enseñanza secundaria no está relacionada con los resultados está ahí.

Más baldíos todavía, si cabe, han resultado los esfuerzos de PISA por explicar las diferencias entre países mediante variables relativas a las actitudes, implicación y estrategias de los alumnos o a las características de las escuelas, que ocupan el grueso del informe. No voy a insistir en ello, pues el propio PISA reconoce la futilidad de sus esfuerzos (cf. Además Artelt y otros, 2003; Wilms, 2003).

Hay un hecho muy notable que apoya la inocencia de las variantes organizacionales y pedagógicas en la producción de diferencias entre países. Se trata del hecho de que diferencias tan grandes o mayores que entre países se produzcan entre regiones del mismo país. En Alemania, estas diferencias fueron en PISA 2000 desde los 510 puntos de Baviera a los 448 de Bremen o los 455 de Sajonia-Anhalt (PISA-Konsortium, 2002:65). La más llamativa de todas es seguramente la que se da en Bélgica: en 2000 la puntuación de los flamencos era de 570 y la de los francófonos era de 450. En 2003 la diferencia se ha reducido a 553 y 498, pero no es ni mucho menos pequeña. Tampoco son pequeñas las que se dan entre las regiones de Italia: en PISA 2003, la puntuación de las regiones del Norte de Italia (Lombardía, Piamonte, Trento y Bolzano) estaba sobre 520, y la Toscaza y el Véneto estaban alrededor de 500. El resto de Italia quedaba más o menos a la altura de Grecia o Turquía, por debajo de los 450 puntos. En España, Castilla León, Cataluña y el País Vasco obtuvieron medias en trono a 500, lo que forzosamente pone a otras regiones, como Andalucia,, en torno a los 470. En cambio, entre Escocia, Gales, Inglaterra e Irlanda del Norte no hay diferencias, y en Suiza o Canadá son muy pequeñas cuando las hay. Nótese que las mayores diferencias se dan en Italia, que sigue manteniendo un sistema uniforme y centralizado, incluyendo la normativa de repetición de curso. Y que se dan las diferencias más pequeñas en Canadá y Suiza, donde no hay apenas noción de sistema educativo común, o entre Inglaterra y Escocia, que tienen sistemas educativos formal y realmente distintos. (OCDE, 2005:anexo B2).

¿No hay entonces ninguna explicación de las diferencias?. Hay por lo menos una, pero de nula importancia pedagógica. Se trata del tamaño del país. Obsérvese que los países mejores y peores son casi todos países pequeños, mientras que los países grandes tienden a tener puntuaciones medias. Si dividiéramos a los países grandes en regiones, como en efecto se ha hecho con Alemania o Italia, algunas estarían entre los países mejores y otras entre los peores. Piénsese que en Bélgica los flamencos estaban en 2000 al nivel de los finlandeses y los frencófonos al de los griegos (en 2003 las diferencias han disminuido). O en las diferencias que puede haber en Estados Unidos entre Boston y Arizona. Si, en cambio, agrupáramos en uno solo a los países nórdicos, Noruega bajaría hacia el centro la media de Finlandia, y si tomáramos como una unidad el Benelux, los luxemburgueses tirarían para abajo de la media del conjunto, del mismo modo que Eslovaquia compensaría a la República Checa y ambas junto con Hungría y Austria pondrían en torno a la media al antiguo Imperio Austro-húngaro.

Más difícil si cabe que explicar las diferencias de medias es explicar las diferencias en dispersión o desigualdad. Ni siquiera el tamaño de los países ayuda, pues la expectativa lógica de que los países grandes produjeran más variedad que los pequeños no se ve avalada por los datos. Es verdad que tres de los cuatro países que superan la media de 100 son países grandes (Alemania, Japón y Turquía); pero también es verdad que países diminutos como Liechtenstein, Luxemburgo o Islandia tienen dispersiones tan grandes o mayores como las de los Estados Unidos o Rusia.

En todo caso, esta explicación de las diferencias de medias por el tamaño no basta. Si con los pequeños países constituimos agregados más grandes, las diferencias disminuyen, pero subsisten. Europa del Norte queda en cualquier caso por encima de Europa Central, que queda por sobre Rusia, Estados Unidos y la Europa mediterránea. Canadá, Australia y Nueva Zelanda, como Japón y Corea, quedan en el nivel alto, mientras que Latinoamérica o Asia meridional quedan en el nivel más bajo por mucho que se los agregue. ¿Pueden explicarse las diferencias entre estos grandes bloques de países mejor que las diferencias entre países o regiones?.

6. Las diferencias con los países pobres y entre ellos mismos

No tengo desde luego una explicación satisfactoria; pero, otra vez, la gran variedad de los países participantes en PISA y la estricta homogeneidad de las medidas utilizadas permite por lo menos excluir las más habituales.

El hecho más importante, y que más ayuda a descartar explicaciones plausibles prima facie, es que los resultados PISA de los países poco desarrollados no son más desiguales que en los países desarrollados. La dispersión en Uruguay y Brasil es de 100, la de México es de 85, la de Indonesia, Tailandia y Túnez es de 82. La media de estos países no es baja porque tengan unos pocos alumnos en los niveles altos y muchos alumnos en los niveles bajos. Su media es baja porque no tienen a nadie en los niveles altos. Su problema principal no es de desigualdad, sino de nivel general.

No puede decirse que estos países tienen nivel bajo porque tienen grandes desigualdades, ni que el bajo nivel de los alumnos (recuérdese que se trata de alumnos escolarizados a los quince años) se debe a las grandes diferencias económicas o sociales. Lo mismo que su desigualdad entre individuos no es mayor que la europea, tampoco es mayor la distancia entre categorías sociales. Así, no es mayor que en Europa la distancia entre los hijos de las familias en mejor y peor situación sociocultural. Por ejemplo, la media de Brasil (398) está a unos cien puntos de la media española (493); pues bien, esos mismos cien puntos separan a los hijos de profesionales brasileños (428) de los hijos de profesionales españoles (526); o a los hijos de analfabetos brasileños (348) de los hijos de analfabetos españoles (434). Otro caso: en el país iberoamericano con puntuación más baja, Perú, los hijos de la gente sin estudios puntúan 285, mientras que los hijos de los universitarios puntúan 375.

Este hecho obliga a desechar la mayor parte de las explicaciones económicas y culturales de la brecha en aprendizaje entre los alumnos de países más y menos desarrollados. Ante todo, la explicación por la desigualdad económica. Brasil es uno de los países con más desigualdad económica del planeta. Sin embargo, sus resultados en PISA son de los más iguales. Como ha escrito Castro, en el comentario que acompaña al Relatorio del MEC brasileño, es comprensible que los alumnos pobres, frecuentando escuelas igualmente pobres, tengan resultados deplorables. Pero los alumnos de clase alta de las mejores escuelas no hay por qué imaginar que vayan a ser peores que los de los países ricos. Y no obstante lo son. Pese a que están predominantemente en escuelas privadas caras, los hijos de la clase alta brasileña leen más o menos igual que los hijos de los obreros españoles (Castro, 2001:89).

La propia economía queda en general malparada como explicación. Si la abundancia de recursos no funciona con los alumnos de clase alta, no se ve por qué habría de funcionar en general. PISA solo dispuso del gasto acumulado por alumno de los países de la OCDE, de tal modo que México es el único país menos desarrollado que aparece en el gráfico 1. Basta, sin embargo, para dejar ver que antiguos países socialistas de Europa logran mucho más con el mismo dinero. La lección no es, claro está, que no hagan falta mejores escuelas ni profesores dignamente considerados en los países pobres. Pero PISA recuerda que, una vez alcanzado un cierto nivel de recursos, los alumnos no aprenden más simplemente porque tengan mejores campos de deporte o profesores con mayores sueldos.

El hecho de que la medias sean distintas y las desigualdades iguales, afecta también gravemente a la explicación favorita de los sociólogos, el '"capital cultural"'. Según esta teoría, popularizada a partir de la obra de P. Bourdieu, las diferencias en aprendizaje por clases sociales se deberían a los hábitos aprendidos en casa. No es lo mismo, suele decirse, criarse con unos padres que leen, escuchan música y vigilan la marcha de sus hijos que en un hogar sin libros y ajeno, si no hostil, a la cultura escolar. Pues bien, esta explicación, que quizás de cuenta de una pequeña parte de las diferencias en el interior de los países, tiene mal traslado a las diferencias entre países. Exigiría, en efecto, atribuir a las clases ilustradas de Perú un '"capital cultural"' igual al de los españoles que nunca fueron a la escuela.

Puede considerarse la tradición como una variedad del "capital cultural'. Los países socialistas han estado separados durante casi medio siglo de los países capitalistas y actualmente son mucho más pobres. No obstante, sus alumnos aprenden igual que los alumnos de los países vecinos con los que comparten historia. Hungría, la República Checa o Polonia tienen los mismos resultados que Austria o Alemania, y Serbia tiene los resultados de Grecia o Turquía. También los países que fueron colonias inglesas –Canadá, Australia, Nueva Zelanda- tienen resultados muy altos, aunque con la excepción de Estados Unidos. Pero tampoco esta explicación por la tradición cultural se aplica bien a la semejanza entre los países menos desarrollados. Argentina y Uruguay alcanzaron la plena escolarización hace cien años, y en Brasil está todavía por lograr (una tercera parte de los jóvenes de 15 años no van a la escuela). Los países de América Latina alcanzaron la independencia hace doscientos años, mientras que Indonesia, Túnez y Tailandia la alcanzaron hace menos de cincuenta. Pero ni la historia de independencia ni la identidad del colonizador hacen que sus resultados difieran mucho.

Otra idea muy divulgada y lógica que se sostiene mal contra los datos PISA es que el nivel baja cuando todos van a la escuela. Esta incompatibilidad entre cantidad y calidad se utiliza mucho en España para explicar el presunto descenso de los niveles en la Enseñanza Secundaria Obligatoria (ESO). Pues bien, la tasa de escolarización de los mexicanos de 15 años es del 58%, la de los brasileños del 65%, la de los uruguayos del 72%, la de los indonesios del 73%; y sin embargo, otra vez, no por ello tienen mejores resultados que Argentina, Tailandia o Túnez, con tasas de escolarización cercanas al 100%. No excluye esto que la cantidad baje el nivel, pero si es así ha de haber otra fuerza que compensa este efecto.

Visto de otro modo. No hay diferencias entre Argentina (o Uruguay) y España (o Italia), ni en lengua, ni en religión, ni en cultura, ni en raza, ni casi en sistemas políticos. La organización del sistema educativo coincide en lo básico con la española, y hasta los libros de texto provienen en parte de la misma editorial. Mas aún, si se le pregunta a cualquier español que conozca los dos países, no dudará un instante en decir que los argentinos son más cultos y leídos que los españoles, se haga la comparación en conjunto, grupo a grupo o uno a uno. El periodista Juan Cruz, por ejemplo, visita Montevideo y compone un reportaje con lo que va sacando de sus amigos literatos (El País, Domingo ,11-6-06).

"Le pregunté a Enrique Irak, investigador, periodista, cuál sería su propio orgullo de Uruguay y dijo :"la escuela laica". "La escuela Laica, explicó Enrique, nació por un decreto de 1877 ¡en medio de la égida del dictador Latorre!". Después se quedó pensando Enrique y añadió: "la escuela laica, gratuita y obligatoria"; y aún se quedó más pensativo, hasta que añadió: "Fíjate, mi madre era limpiadora en una escuela, y allí me parió, en una sala. Entonces las mujeres no paraban para parir, seguían trabajando y ella siguió limpiando la escuela hasta que aparecí yo".

Y sin embargo, en las evaluaciones internacionales como PISA no pueden observarse las diferencias que uno se promete leyendo estas crónicas. Los resultados uruguayos son más parecidos a los de Perú que a los españoles. Están muy cerca de países con una tradición cultural completamente distinta, como Túnez, Indonesia o Tailandia. Y también, desde luego, están muy lejos de países con una tradición cultural tan lejana o más, como Japón o Corea.

Excluidas las causas económicas y las culturales, ¿qué nos queda para explicar todas estas diferencias de aprendizaje?. Mi hipótesis es que el retraso de los países retrasados se debe sobre todo a que las escuelas exigen menos a los estudiantes. Es solo una hipótesis que creo que merece la pena trabajar. En caso de confirmarse, tendríamos desde luego un nuevo problema, pues habría que volver a la cuestión de qué tiene que ver esta hipotética falta de exigencia con las condiciones económicas y con las tradiciones políticas y culturales de los países.

7. PARA CONCLUIR

Mi intención era tratar de muchas otras diferencias que, al igual que las diferencias entre los países, PISA ha establecido con precisión y amplitud nunca antes alcanzadas, debilitando al mismo tiempo la mayor parte de las explicaciones antes aceptadas: diferencias entre hombres y mujeres, diferencias entre centros, diferencias entre enseñanza pública y privada, diferencias entre inmigrantes y nativos, diferencias entre inmigrantes mismos, entre otras. Pero el tiempo y el espacio suelen resultar más limitados de lo que pensamos y queremos. Ojalá no lo sean tanto que no nos brinden otra ocasión de seguir hablando de estos temas.

Resumiré, por tanto, para terminar, en dos párrafos lo que he querido mostrar. En primer lugar que si es acertada mi interpretación de la diferencia de 15 puntos que separa España de la OCDE y de las diferencias entre países desarrollados, lo que el informe PISA muestra es que España (y, desde luego Cataluña), vienen tras los países que están a la cabeza del mundo en aprendizaje, como Finlandia, Japón o Corea, junto con los países más grandes y ricos de la OCDE, como Estados Unidos, Alemania o Francia., y a gran distancia de los países menos desarrollados, incluyendo algunos que, como Argentina o Uruguay, fueron muy por delante de nosotros hasta el último cuarto del siglo XX. Y en segundo lugar que no hay explicaciones – ni el gasto en enseñanza, ni la comprensividad o centralización de los sistemas educativos, ni la desigualdad económica y social- que den cuenta cumplida de las diferencias entre países, y menos todavía de las diferencias entre regiones dentro de los países.

La consecuencia práctica de estas evidencias no es, desde luego, una llamada urgente a la acción. Más bien parece que los expertos en educación, para ser coherentes con PISA, deberíamos reconocer la vanidad de nuestras disputas y la irresponsabilidad de nuestras recomendaciones políticas y callar la boca hasta que pudiéramos hablar con fundamento. Los políticos, por su parte, deberían dejar de imponer mediante leyes las ideas de los expertos, abandonar la ilusión demagógica de que tienen fórmulas organizativas y didácticas para que se aprenda más sin mayor esfuerzo y dedicarse a organizar el uso eficiente de los recursos, fomentando, desde luego, la motivación y el trabajo de alumnos y profesores.

Referencias