La evaluación en Historia con pruebas de corrección objetiva. Algunas implicaciones didácticas.
1. Introducción
A lo largo del curso 1997-1998, por encargo del CIC [1] y bajo la dirección del doctor Antoni Sans Martín [2] , un equipo formado por profesores universitarios vinculados a diversas responsabilidades en la gestión y/o corrección de las pruebas de las PAU [3] llevaron a cabo una investigación encaminada a la aplicación de ítems de corrección objetiva en dichas pruebas. Este estudio se realizó sobre tres materias instrumentales: Lengua Inglesa, Lengua y Literatura Catalana y Matemáticas.
En enero del año 1999 el CIC decidió ampliar la investigación a ocho disciplinas. A las tres del año anterior se añadieron Lengua y Literatura Castellana, Latín, Biología, Ciencias de la Tierra e Historia (materia común). Uno de los objetivos de la ampliación era comprobar, entre otras razones enunciadas más adelante, que la naturaleza de la disciplina no impedía la realización y medida del saber a través de pruebas de corrección objetiva y que, en todo caso, si estaban bien diseñadas medían igual que las pruebas de ensayo abierto [4] .
A tal efecto se constituyó un amplio equipo de trabajo [5] que empezó sus tareas en enero de 1999 y las finalizó en junio del mismo año. Cada uno de los responsables del equipo se encargó de coordinar a su vez otro equipo de trabajo de su propia disciplina. En el caso de la Historia se encargó de su coordinación el doctor Cristòfol-A. Trepat (UB) que contó para realizar su trabajo con tres profesores de Secundaria en activo con responsabilidades en la gestión de las PAU dentro del área de Ciencias Sociales [6] . A lo largo del año 2000 se analizaron los resultados y en mayo de este año se emitió el informe final. En el cuadro1 se resume el calendario de la investigación.
Cuadro núm. 1 Calendario de la investigación |
|
Seminario de formación [enero 99]
Elaboración de la tabla de especificaciones [febrero 99]
Redacción de preguntas [marzo 99]
Revisión de "jueces", pilotaje, redacción definitiva y revisión técnica [abril 99]
Contacto y planificación con los centros [abril 99] |
Aplicación a los centros [mayo 99, segunda quincena, pasadas las pruebas de centro y antes de las PAU]
Realización de las PAU [junio 99]
Recogida de datos del bachillerato [julio 99]
Análisis de los datos [setiembre-diciembre 99]
Informe final de la investigación [enero-mayo 2000] |
En este artículo se expondrán los objetivos, proceso y resultados de la investigación referidos exclusivamente a la materia de Historia. Sus autores estiman de un interés especial el proceso y los datos obtenidos por cuanto, más allá de la precisión y equidad de la medida en las PAU, introducen elementos contrastados sobre implicaciones didácticas positivas de este tipo de evaluaciones en el aprendizaje del alumnado de Historia. El estudio ofrece también la posibilidad de cambiar en algo los presupuesto habituales de la cultura de la evaluación del profesorado de esta materia que, por lo general, tiende por tradición a considerar las pruebas de corrección objetiva como algo excesivamente memorístico, incompleto y poco significativo en sus resultados.
2. Contexto y planteamiento del problema
En los últimos años del siglo XX y principios del XXI las pruebas de acceso a la Universidad –conocidas popularmente como "la Selectividad"—han constituido un claro referente académico y social que incluso ha generado una producción científica abundante recientemente resumida [7] . Es de sobra conocido por otra parte que, con variaciones, en el conjunto de los países de nuestro entorno los procedimientos selectivos están presentes en todos los procesos de transición de los estudios secundarios a los universitarios. Si bien en su origen (1975) las PAU estaban más enfocadas a medir la madurez básica del alumnado para acceder a la universidad, en los últimos años se han orientado a conseguir la ordenación de los alumnos y alumnas para otorgarles la prioridad en la elección de los estudios. Esta orientación más selectiva, como señala Keeves [8] , presupone la elaboración de pruebas que discriminen acertadamente; en cambio la certificación de madurez requiere pruebas que midan la adquisición de competencias perfectamente delimitadas. Esta doble finalidad ha hecho que algunos países hayan diferenciado dos pruebas en esta transición; en la primera se miden los conocimientos y habilidades cognitivas vinculadas a la enseñanza secundaria y, en la segunda, la capacidad para aprender en contextos universitarios [9] . Para la transición de la secundaria a la universidad en España sólo se dispone de unas únicas pruebas que vienen a cumplir las dos funciones aunque se centran fundamentalmente en la primera y con finalidades de ordenación final de matiz selectivo.
Los datos de todos los estudios de qué se dispone indican que las pruebas que se realizan en la actualidad no proporcionan suficiente capacidad discriminativa ya que, de hecho, son aún más homogeneizadoras que el expediente de secundaria. Esta circunstancia perjudica al alumnado con mejor expediente como puso ya de manifiesto el estudio del CIDE de 1991 [10] . En este estudio se demuestra que la probabilidad de que un alumno con sobresaliente mantenga la calificación en las PAU es de sólo un 1% mientras que la de un alumno con suficiente es catorce veces más alta. Esta situación puede explicarse por la tendencia hacia el centro de la escala que se produce cuando intervienen un número elevado de calificaciones para calcular una media así como la diferencia de rangos de puntuaciones entre la nota de secundaria (5.5-9) y las PAU (4-10). Por otra parte es necesario tener en cuenta que en el cálculo de la media de secundaria también intervienen muchas calificaciones y, en cambio, se obtiene una homogeneidad sensiblemente inferior. Esto lleva a pensar que la prueba de acceso debería ser más discriminativa para que ganara en equidad. Es tan injusto tratar de distinta manera aquello que es igual como tratar igual aquello que es diferente aunque políticamente a veces para algunos sea más sostenible.
Se encuentra ampliamente descrita en la bibliografía científica sobre medida educativa la problemática que plantea la realización de correcciones de pruebas que incluyen preguntas abiertas (o de ensayo abierto) en lo que se refiere a su validez y, en especial, a su fiabilidad. Las diferencias de calificaciones entre correctores previamente coordinados respecto a un mismo examen ponen habitualmente de manifiesto la aparición de discrepancias considerables en todas las asignaturas incluso entre aquellas que, como los Matemáticas, aparentemente puedan parecer más fácilmente objetivables. En las PAU los errores o las valoraciones extremas que se puedan cometer en la calificación de una asignatura no tienen ninguna posibilidad de compensación. Esto no ocurre, en cambio, en el caso de aplicaciones continuadas a lo largo de un curso ya que los errores se pueden compensar en el cálculo de medias.
3. Objetivos del estudio
Este estudio ha tenido por una de sus principales finalidades intentar el uso de técnicas adecuadas para resolver el problema de las discrepancias de calificación en pruebas de ensayo abierto y reflexionar sobre ellas. La mayoría de los sistemas educativos que realizan exámenes de este tipo han ido derivando hacia la aplicación de pruebas de corrección objetiva para garantizar al máximo la fiabilidad y la validez de los resultados evaluativos. En la selección de este modelo intervienen dos factores esenciales: su planteamiento permite un muestreo suficientemente representativo del universo de contenido y, por otra parte, la corrección es claramente objetiva y unívoca.
Como objetivos más específicos de este estudio se enuncian también los siguientes:
- Mejorar la fiabilidad de las correcciones de los exámenes a partir de la utilización de preguntas de corrección objetiva
- Analizar la problemática de su aplicación
- Establecer la fiabilidad interna de las pruebas y la validez referida al criterio externo de secundaria
- Sistematizar el proceso de trabajo en la tarea de la elaboración de preguntas definiendo y aplicando un modelo de organización:
- Establecimiento de una tabla de especificaciones
- Redacción de propuestas a preguntas
- Revisión por el equipo de redactores y el coordinador
- Aplicación pilotada con alumnos de bachillerato (cinco o seis por profesor/a)
- Revisión de la forma final por el equipo
- Concesión del visto bueno por parte del coordinador general
Concretando ya en la disciplina de Historia del bachillerato su equipo asumió la hipótesis común de la investigación según la cual la prueba de corrección objetiva medía igual –por lo que se refiere a la media—que la prueba de las PAU y que, en consecuencia, la correlación entre las calificaciones del expediente académico del alumno con el resultado de las PAU y de la prueba de corrección objetiva no presentaba diferencias significativas. Por otra parte la corrección objetiva y unívoca de las prueba no ejercía ninguna disfunción injusta en la calificación del alumnado y, además, la valoración se podía realizar sobre un muestra más amplia del universo de contenido.
El conjunto de objetivos y la verificación de la hipótesis implicó:
- la asunción por parte del equipo de Historia de un marco teórico sobre evaluación;
- la toma de decisiones sobre un universo de contenido;
- la elaboración del cuadro de especificaciones;
- la elaboración el diseño de la prueba, su pilotaje, y su redacción definitiva;
- la aplicación a una muestra de alumnos de segundo de bachillerato una vez superada la evaluación de su centro y antes de la prueba de las PAU [11] .
Finalmente el coordinador general recogió los datos, comparó los resultados con los de las PAU y el expediente académico de los alumnos de la muestra para verificar las hipótesis y dar cumplida cuenta de los objetivos propuestos.
A continuación se especifican los pasos de este proceso.
4. La evaluación en Historia: marco teórico y cuadro de especificaciones
Para el equipo de Historia supuso un auténtico reto didáctico enfrentarse ante una formalización teórica de la evaluación en Historia y asumir la reflexión y redacción de ítems de corrección objetiva puesto que todos sus componentes procedían de la tradición de prueba de ensayo abierta y, lógicamente, tenían una cierta desconfianza ante la posibilidad de verificar la hipótesis formulada.
En principio partieron de la definición clásica de evaluación: obtención de información para emitir juicios y tomar decisiones [12] . Se trataba, pues, de diseñar un instrumento que permitiera obtener información sobre el dominio final de la materia de Historia por parte del alumnado que optaba a entrar en la Universidad. Esta información debía permitir emitir un juicio sobre el nivel de su competencia y, en consecuencia, situarlo en un nivel determinado de cara a su acceso a los estudios universitarios. Para la redacción de los enunciados se tuvieron en cuenta los marcos teórico-prácticos sugeridos por el director de la investigación en el seminario de formación [13] .
La pregunta inicial que los integrantes del equipo se plantearon fue la siguiente: ¿qué significa exactamente que un o una alumno/a sabe suficiente historia para ingresar en la Universidad? Dicho de otra manera: ¿respecto de qué (universo de contenido) y cómo (estilo de aprendizaje) ha de manifestar su competencia en esta materia?
La respuesta a esta pregunta implicaba, en primer lugar, una decisión sobre el universo de contenido. Sobre este particular no se plantearon especiales dudas y se eligió el período que transcurre entre el inicio de la Restauración (1975) y el final de la guerra civil española (1939). De acuerdo con las concreciones del currículum de Historia para las PAU este período histórico ocupaba la parte central de la programación y, a la vez, dos tercios de su total. Cubría por otra parte el requisito oficial de la prueba de las PAU según el cual, de los dos ejercicios de cada opción, uno se situaría cronológicamente antes de 1939 y el otro después de esta fecha. Tampoco fue tema muy discutido, una vez analizados los libros de texto mas utilizados en el bachillerato de Catalunya delimitar los enunciados del universo de contenido (cuadro 2).
Cuadro 2 De la Restauración al final de la guerra civil (1975-1939) Universo de contenido de la prueba |
1. El sistema político de la Restauración 2. El catalanismo político: Prat de la Riba y la Mancomunitat 3. Evolución general demográfica y económica de España (1900-1939) 4. El bienio Reformador. La constitución de la República. 5. La Generalitat Republicana. El Estatut de 1932 6. El bienio conservador. El 6 de octubre en Catalunya. 7. Las elecciones de 1936. Causas de la guerra civil. 8. El estallido de la guerra: fases. 9. Revoluciones y reacciones en la retaguardia 10. La evolución de la condición femenina (1900-1939) |
La respuesta a la pregunta inicial comportaba también la concreción en Historia sobre los grados de cualidad en la manifestación del saber que se indicaron genéricamente para todas las materias en el seminario de formación. (cuadro núm. 3).
Cuadro núm. 3 Grados de cualidad en la manifestación del conocimiento |
1. La información 2. La comprensión 3. La aplicación 4. Síntesis y evaluación (o emisión de juicios valorativos) |
Para concretar en Historia la significación de estos grados u objetivos de conocimiento se tuvieron en cuenta las definiciones tradicionales de la didáctica general [14] y se reelaboraron de la manera más comprensible posible para su aplicación a la disciplina histórica. (cuadro núm. 4)
Cuadro 4 Definición de los niveles de cualidad en el aprendizaje |
|
1. Información | Habilidades para identificar y recordar hechos, hipótesis, teorías, conceptos, terminología y convenciones científicas |
2. Comprensión | Habilidades para comprender conocimientos científicos y sus relaciones manifestadas en la capacidad del alumnado para explicar e interpretar la información presentada y para expresarla de diferentes maneras |
3. Aplicación | Habilidades para aplicar el conocimiento científico a nuevas situaciones. Implica que el alumnado es capaz de seleccionar de entre los conocimientos que posee aquellos que son adecuados para resolver nuevas situaciones |
4. Síntesis-evaluación | Habilidades para analizar, sintetizar o evaluar (en el sentido de emisiones de juicios de valor) información científica. Implican la descomposición de la información en sus partes constituyentes y la reorganización en una nueva estructura |
Para esta prueba y tras largo debate se llegó a la conclusión de que lo procedente para esta investigación consistía en reunir los grados de cualidad en la manifestación del conocimiento histórico en tres bloques: conocimiento-información, comprensión-aplicación y síntesis-evaluación (cuadro núm. 5).
Cuadro núm. 5 Grado de cualidad en la manifestación del conocimiento histórico |
|
Conocimiento-información |
Cronología Identificación de hechos históricos Localización de hechos históricos Identificación de nombres |
Comprensión y aplicación |
Aplicación de vocabulario histórico Identificación de causas y efectos Establecimiento de relaciones conceptuales Identificación de ideas principales en fuentes estableciendo relaciones Identificación y explicación de continuidades y cambios |
Síntesis y evaluación | Identificación de diferentes interpretaciones o de diversas emisiones de juicios de valor |
Finalmente, al mismo tiempo que se elaboraban las preguntas, se estableció el cuadro de especificaciones. Este consistía en realizar un cuadro de doble entrada en el que en la primera columna consta el universo de contenido que se debe evaluar y en la fila superior los objetivos entendidos como estilos o niveles de aprendizaje. Finalmente en la último columna se establece el número y el porcentaje de las preguntas acerca del contenido (ponderación del contenido) y en la última fila el número y porcentaje de preguntas respecto de los objetivos entendidos como estilos de aprendizaje (ponderación de los objetivos). El resultado fue lo que se representa en el cuadro núm. 6.
5. El diseño de la prueba, pilotaje y redacción definitiva
El equipo de Historia no contó con precedentes conocidos y con ejemplos claros de la disciplina para poder realizar el diseño de la prueba. Para crearla no tuvo otro camino que atender a los principios técnicos de este tipo de pruebas, al currículum de la disciplina, a las normas de concreción de la prueba de las PAU para Catalunya, a la epistemología de la materia y a la propia práctica docente en Secundaria (con especial atención al contenido de los libros de texto de mayor presencia en el mercado).
Para el contenido de la prueba, pues, se partió de los siguientes principios:
1. Se fundamentó sobre los criterios utilizados en las pruebas normalizadas de las PAU a fin de que el alumnado sobre el que se aplicaba la investigación manifestara su conocimiento sobre aquello que había preparado para su examen.
2. Las preguntas seguirían un orden cronológico.
3. Se mezclarían en las preguntas los diversos niveles de cualidad de conocimiento (información, aplicación, etc.)
4. Se justificarían y fundamentarían las preguntas en función del currículum tanto en lo que se refiere a procedimientos como a hechos u objetivos terminales [15]
5. La prueba había de poder realizarse en un máximo de una hora y quince minutos.
Se decidió, a tenor de estos principios, que el 50% de la prueba versara sobre la Restauración y el 50% restante sobre la Segunda República (25%) y la Guerra Civil (25%). Los contenidos de hechos y conceptos elegidos fueron los que se hallaban definidos en el currículum (cuadro núm. 7).
Cuadro núm. 7 Base curriculares del contenido de la prueba |
Bloques conceptuales
|
Objetivos terminales |
|
Una vez establecidas todas las bases y criterios anteriores se procedió a la redacción de las pruebas [16] . Como por su naturaleza se trataba de una prueba de naturaleza selectiva los enunciados de las preguntas debían permitir una discriminación clara (preguntas de poca, mediana y mucha dificultad). Se tuvo un especial interés en mostrar que la prueba no era de carácter memorístico y que no podía superarse por azar a fin de explotar sus posibles implicaciones didácticas en el aprendizaje de la Historia. También se siguieron las normas que se resumen el cuadro núm. 8.
Cuadro núm. 8 Normas para la redacción de preuntas, ítems y distractores |
1. Se distribuyeron aleatoriamente las respuestas correctas 2. La respuesta correcta no debía ser más larga ni estar mejor construida que los distractores. 3. Los distractores habían de tener la misma probabilidad de ser correctos por forma. 4. Todas las opciones (respuesta y distractores) debían ser creíbles. 5. Se evitaron las construcciones negativas 6. Se evitaron respuestas o distractores como "ninguno de los anteriores" o "todas las anteriores" 7. Cada pregunta debía estar relacionada con un resultado de aprendizaje importante y relacionada con un objetivo operativo o tipo de aprendizaje, lo que debía poder ser verificado en el cuadro de especificaciones. 8. El pie de pregunta debía tener un sentido completo |
El primer banco de ítems estuvo elaborado en el mes de marzo y se sometió al dictamen del coordinador general de la investigación quien realizó diversas sugerencias técnicas. Entre los días 19 y 24 de abril se sometió a la consideración de los subcoordinadores de las pruebas de PAU, todos ellos profesores de Secundaria en activo que evaluaron su contenido e introdujeron precisiones importantes (actuaron como "jueces"). A continuación se pilotó la prueba en dos de los tres IES en los que impartían docencia los profesores del equipo y en un tercero. A tenor de los informes de los tres profesores se suprimieron algunas preguntas (la duración de la prueba había resultado excesiva) y se afinó la redacción de ítems, respuestas y distractores de acuerdo con lo que, respecto a su comprensión, fueron manifestando los alumnos a lo largo del ejercicio. Se aprovechó para comparar el resultado del pilotaje con la calificación del expediente del alumnado que había intervenido en él. Esto permitió avanzar ya algo respecto del tono de los resultados puesto que, en general, expediente y número de aciertos coincidían [17] y ello a pesar de haber realizado la ejecución del examen sin preparación previa ni estímulo alguno respecto de su resultado.
Entre el 26 de abril y el 5 de mayo la prueba se estableció definitivamente en un total de 23 preguntas. De ella se realizaron dos opciones (A y B) para evitar la copia fácil en el decurso de su aplicación y que sólo se diferenciaban por la permutación de distractores y respuestas.
A fin de facilitar la corrección y la comparación de la materia con los resultados obtenidos por la investigación en otras áreas el examen se formalizó de tal manera que el alumnado debía elegir entre cuatro enunciados de los que sabía que tres eran distractores y uno la respuesta correcta. No obstante para evitar simplificaciones, como se podrá observar en los ejemplos que se muestran más abajo, la comparación de fuentes y el número de afirmaciones ciertas o falsas a las que se hacía referencia fueron múltiples (véanse cuadros 10 y 11).
No se dispone aquí del espacio suficiente para reproducir toda la prueba que ocupaba un total de 19 páginas y en la que, a pesar de contar con ilustraciones y mapas, abundaban los textos y los cuadros. De todas maneras creemos que puede ser útil representar tres ejemplos de enunciados para mostrar el carácter no memorístico de la prueba de Historia.
Un ejemplo de pregunta fácil sería la siguiente (cuadro núm. 9):
Cuadro núm 9. Ejemplo de pregunta fácil |
2¿Cuál de los hechos que se mencionan a continuación ocurre en 1939 y justifica que los historiadores e historiadoras consideren este año significativamente como el final y el inicio respectivamente de dos etapas importantes de la historia de España? a) El inicio de la guerra civil española b) El final de la guerra civil europea c) La proclamación de la Segunda República d) Las elecciones del mes de febrero que dieron el triunfo al frente popular |
Otra pregunta, considerada de mediana dificultad, que constituye un ejemplo de "comprensión y aplicación" por cuanto el alumno ha de aplicar el concepto de inflación y ha de identificar causas y efectos es la que se ha reproducido en el cuadro núm. 10. En el cuadro núm. 11, se ha reproducido una pregunta considerada de alta dificultad.
La prueba se aplicó durante la última semana del mes de mayo en los cinco centros objeto de la muestra. Durante el mes de junio y julio se procedió, tal y como estaba previsto, a establecer los datos de calificación y las medias en el examen de PAU en la disciplina de Historia. En el mes de setiembre de recabó la información de la materia de los expedientes académicos. Y, finalmente, se procedió al análisis y comparación de los resultados.
Cuadro núm. 10 Ejemplo de una pregunta de mediana dificultad |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
10. Analiza las tres fuentes siguientes e indica si son verdaderas o falsas las afirmaciones que se enuncian a continuación teniendo en cuenta su contexto histórico. Marca una de las opciones encabezadas por letras.
Fuente A
Fuente: El Correo catalán, 1 de enero de 1918 citado por Tuñón de Lara, op. cit, pág. 27 Fuente B
Fuente: Instituto de Reformas Sociales, citado por Tuñon de Lara, op. cit. pág. 28 Fuente C
Fuente: Tuñon de Lara, op. cit, pág. 20 1) Durante los primeros años del siglo XX, especialmente a lo largo del año 1917, se produjo una inflación extraordinaria que se vio compensada por un incremento similar en los sueldos mientras los beneficios de las empresas, ejemplificadas en la industria del carbón, obtenían unos beneficios muy superiores al incremento de sueldos y precios al detall 2) Durante los primeros años del siglo XX, especialmente a lo largo del año 1917, se produjo una inflación extraordinaria que no se vio compensada por un incremento similar en los sueldos mientras los beneficios de las empresas, ejemplificadas en la industria del carbón, obtenían unos beneficios muy superiores al incremento de sueldos y de precios al detall. 3) En el encarecimiento de los productos básicos de consumo muy por debajo de la capacidad adquisitiva de la clase obrera los historiadores identifican una de las causas de la huelga general revolucionaria de 1917. 4) En general, de las fuentes se puede desprender que la rentabilidad empresarial, durante los primeros 20 años del siglo XX, creció mucho por encima de la capacidad adquisitiva dela clase obrera en un momento en el que la inflación se disparó, especialmente en lo que se refiere a los productos alimentarios básicos. Esta situación, entre otros motivos, se puede considerar una de las causas de la huelga general de 1917 y de las tensiones sociales de los años inmediatamente posteriores en Catalunya. |
Cuadro núm. 11 Ejemplo de pregunta de alta dificultad |
||
20. A continuación tienes un fragmento de un discurso de Franco (Fuente A) y otro de Martínez Barrio (fuente B), presidente de las Cortes, en el que manifiestan opiniones sobre el levantamiento militar de 18 de julio de 1936. Compara sus visiones respectivas sobre la insurrección militar y responde las preguntas que se te plantean continuación a propósito de esta comparación. Marca una de las opciones encabezadas por letras Fuente A (Franco) La situación de España es cada día más crítica; la anarquía reina en la mayoría de sus campos y pueblos; autoridades de renombre gubernativo presiden, cuando no fomentan, las revueltas; a tiro de pistola y ametralladoras se dirimen las diferencias entre los ciudadanos, que, alevosa y traidoramente asesinan, sin que los poderes públicos impongan la paz y la justicia. Huelgas revolucionarias de todo orden paralizan la vida de la Nación, arruinando y destruyendo sus fuentes de riqueza y creando una situación de hambre que lanzará a la desesperación a los hombres trabajadores. Los monumentos y tesoros artísticos son objeto del más enconado ataque de las hordas revolucionarias, obedeciendo la consigna que reciben de las directiva extranjeras, con la complicidad y negligencia de los gobernadores de monterilla. Los más graves delitos se cometen en las ciudades y en los campos mientras las fuerzas del orden público permanecen acuarteladas. (...) Al espíritu revolucionario e inconsciente de las masas, engañadas y explotadas por los agentes soviéticos, (...) se unen la molicie y negligencia de autoridades de todas clases que amparadas en un poder claudicante carecen de autoridad y prestigio para imponer el orden... ¿Es que podemos abandonar España a los enemigos de la Patria, (...) entregándola sin lucha y sin resistencia?. Fuente B (Martínez Barrio) Los generales y oficiales que se han lanzado en armas lo han hecho contra el Estado español, representado por un Presidente de la República, nombrado legalmente, y con la asistencia y aun con el voto de diputados de todos los partidos; por una Cámara legítima elegida sin tacha, durante el mando de un Gobierno adversario, de unos partidos que resultaron triunfantes en las elecciones, y por un poder ejecutivo, constitucionalmente designado, (...). Cierto es que el Estado y sus Poderes legítimos se encuentran asistidos con el más desinteresado de los concursos de las clases obreras, representadas por sus sindicatos y partido. Así, el Socialista, como el Comunista, así la CNT como la UGT, así la Federación de Grupos Libertarios, como el Partido Sindicalista (...) Pero detrás del Estado se encuentran también en línia de combate los partidos republicanos que contribuyeron a la instauración del régimen en abril del 31 (...); por las fuerzas de Tierra; Mar y Aire fieles al juramento que prestaron; por las clases comerciales, industriales y agrícolas del país; por los Funcionarios (...) y sobre todo por el pueblo español (...) Toda rebelión descansa sobre un supuesto de falsedad: el de aparentar creer que la gobernación del país está secuestrada por poderes ilegítimos y que el triunfo del Estado se traduciría en la implantación de un régimen político comunista. (...) ¿Por qué lo han hecho?. ¿Para qué lo han hecho?. (...) Simplemente se trata de sustituir la voluntad general del pueblo entero por la de una clase social deseosa de perpetuar sus privilegios. Ni amor a España, ni inquietud por el cuerpo de la Patria, ni temores por su desmembración, ni zozobra por el desarrollo de su economía... D. Martínez Barrio Indica si es cierto (V) o falso (F) que de la comparación entre las dos fuentes se puede deducir que: 1. Martínez Barrio cree que la insurrección no se ha hecho como dice Franco para salvar España de sus enemigos y para volver a instaurar el orden, sino para perpetuar los intereses de las clases más acomodadas en detrimento de la mayoría de la población. 2. Franco denuncia la claudicación del Gobierno ante las fuerzas revolucionarias. En esto coincide con Martínez Barrio cuando afirma que el Estado y sus poderes han pasado a manos de sindicatos y partidos obreros de cariz revolucionario como la CNT y el partido Comunista. Martínez Barrio condena el levantamiento y acusa a los insurrectos de rebelarse contra un gobierno legalmente y democráticamente constituido que cuneta con el apoyo de amplias capas de la sociedad. 4. Ambos coinciden a la hora de valorar negativamente la situación de deterioro del orden público y de paralización del desarrollo económico que vivía España
|
6. Análisis de los resultados
La prueba de Historia en su aplicación duró poco más de una hora de promedio. Por lo tanto su duración equivalía al tiempo habitual concedido para las PAU. Su corrección posterior se rigió por la fórmula habitual para este tipo de exámenes diseñados con el mismo número de alternativas por pregunta de las cuáles sólo una es cierta:
Errores
Calificación corregida : Aciertos - __________________
N – 1
siendo N el número de alternativas (que eran 4).
De los resultados obtenidos se procedió también a identificar el valor más bajo (mínimo) el más alto (máximo), la desviación típica (DT) y el coeficiente de fiabilidad de Cronbach (α). Finalmente se comparó la media que los alumnos de la muestra (187) obtuvieron en las PAU. Los resultados para la prueba de Historia se ofrecen en el cuadro 12:
Cuadro 12 Resultados de la prueba de Historia |
||||||
PRUEBA | Número de alumnos | Mínimo | Máximo | Media | D.T. | α de Cronbach |
PAU | 187 | 1,00 | 8,50 | 4, 86 | 1,97 | -- |
P. OBJETIVA | 0,84 | 9,42 | 5,58 | 2,01 | 0,68 |
Como se desprende de los resultados la diferencia de la media entre el examen obtenido en las PAU y la prueba objetiva por parte de los alumnos de la muestra es inferior a un punto (4,86-5,58) lo que indica que la prueba objetiva mide igual de media los conocimientos de Historia sin que, por otra parte, ningún alumno se vea afectado por una alteración en el rigor o laxitud de la interpretación de la corrección. Por otra parte el ámbito entre calificaciones mínimas y máximas también se mantienen en valores inferiores a un punto. La desviación típica muestra un grado casi idéntico de homogeneización en las calificaciones. Finalmente el α de Cronbach revela que la prueba era altamente fiable, coherente y tenía consistencia y coherencia interna [18] .
La prueba de corrección objetiva proporciona una calificación un poco más alta que la media de la prueba de las PAU, lo que no ocurrió en ninguna de las otras materias. Este fenómeno puede atribuirse al hecho de que la prueba medía un ámbito mucho más amplio del universo de contenido lo que da mayores posibilidades de acierto que la prueba de las PAU que sólo se refiere a dos aspectos concretos de todo el programa.
En el análisis por formas, tal y como revela el gráfico de barras de errores de medias (gráfico 1), se puede comprobar que la permuta de las respuestas y distractores (opciones A y B) de la prueba no condicionaban los resultados puesto que no hay diferencias significativas en las calificaciones que puedan atribuirse al modelo de examen. La alta coincidencia de valores manifiesta que las dos opciones pueden considerarse equivalentes.
También se midió el índice de dificultad. (cuadro 13 y gráfico 2). Como se desprende de los resultados la prueba presentaba una buena distribución interna por lo que a dificultad se refiere y, por lo tanto, discriminaba bien (la pregunta 2 la acertó el 91% mientras que la 20 sólo la respondieron correctamente el 28%).
Cuadro 13 Índice de dificultad |
|||
Número de pregunta | % de aciertos | Número de pregunta | % de aciertos |
1
2
3
4
5
6
7
8
9
10
11 |
51
91
78
63
86
67
63
70
77
58
83 |
12
13
14
15
16
17
18
19
20
21
22
23 |
46
39
52
37
80
82
65
79
28
57
77
55 |
|
Pie: en el gráfico se muestra el % de acierto de la prueba para cada pregunta. Su variabilidad muestra que la prueba estaba correctamente diseñada para permitir la discriminación y el orden.
Finalmente se procedió a comparar los resultados de las calificaciones del expediente académico de historia de los alumnos de la muestra con su resultado en la prueba objetiva y con el resultado que obtuvieron en las PAU a través de las pruebas de ensayo abierto. Para ello se utilizó el coeficiente de correlación de Pearson. [19] Los resultados se muestran en el cuadro 14.
Cuadro 14 Coeficiente de correlación |
|
Coeficiente de correlación | |
NOTA MEDIA DE LAS PAU | 0,43 |
PRUEBA DE CORRECIÓN OBJETIVA | 0,44 |
Así, pues, puede afirmarse que las pruebas de corrección objetiva tienen la misma correlación con las notas de secundaria que con las obtenidas en el examen de acceso a la Universidad.
7.CONCLUSIONES FINALES
Tras la investigación llevada a cabo se pueden resumir los resultados y las conclusiones en los párrafos que siguen.
En primer lugar se puede afirmar que si se siguen cuidadosa y estrictamente los criterios básicos para la elaboración de pruebas de corrección objetiva (elaboración de tablas de especificaciones, preguntas correctamente planteadas, aplicaciones piloto...) se consiguen resultados más válidos en relación a los conocimientos previos de los alumnos y alumnas.
En segundo lugar se confirma la idea según la cual cuando se plantean este tipo de pruebas es necesario llevar a cabo más esfuerzos y poner mucha más atención en su fase de preparación. Como es obvio este esfuerzo queda compensado sobradamente en aplicaciones tan amplias como ésta en el que el peso de la corrección es muy elevado y, a demás, puede hacerse por medios mecánicos.
En tercer lugar se pone de manifiesto que a lo largo del proceso de elaboración se pueden plantear preguntas de diversos tipos de aprendizaje (información, comprensión, aplicación, etc.) y que no necesariamente son memorísticas. A pesar de ello las áreas de expresión, así como los procesos de respuesta muy estructurados (como en el planteamiento de problemas, y nos referimos en este caso a la Historia) exigen preguntas de ensayo abierto.
En cuarto lugar se ha podido comprobar que los sistemas evaluativos estructurados de esta manera permiten una absoluta transparencia en lo que se refiere tanto a su contenido como a su corrección. El grado de inferencia del corrector queda controlado y los cuadros de especificaciones de las asignaturas pueden constituir guías claras y coherentes de carácter orientador para el alumnado y el profesorado implicados en las pruebas.
En quinto lugar se ha comprobado que no existen diferencias significativas entre los resultados obtenidos entre las dos opciones de la materia. Esto es absolutamente lógico ya que se ha utilizado el mismo tipo de prueba solamente permutando el orden de preguntas en cada opción.
En sexto lugar se ha constatado que las formulaciones objetivas que se han aplicado son más fiables a pesar de que se han comparado con pruebas de las PAU –con preguntas cerradas sobre una pequeña parte de la programación-- y en un momento en que la muestra del alumnado no había procedido al repaso previo al examen de selectividad. Un factor decisivo para explicar esta diferencia es la corrección objetiva y el mejor muestreo del programa de las asignaturas (se mide un ámbito más dilatado del universo de contenido).
Por lo tanto se puede dar por verificada en este estudio la hipótesis fundamental de partida según la cual las pruebas de corrección objetiva en Historia miden igual y son más fiables y equitativas en su emisión de juicio posterior que las pruebas de ensayo abierto. También ha quedado demostrado que la correlación con las notas de Secundaria es casi equivalente.
EPÍLOGO
Como resultado de esta investigación durante el curso 2000-2001 el equipo de subcoordinadores de las PAU en Catalunya, formada por 16 profesores y profesoras de Secundaria en activo, participó en una redacción piloto de preguntas de corrección objetiva a título de ensayo previo a posibles modificaciones parciales de la fórmula del examen de las PAU o del que en su caso decidan las Universidades catalanas en función de lo establecido por la nueva y polémica ley de ordenación universitaria. En las materias de Historia, Historia del Mundo contemporáneo e Historia del Arte se ha llevado a cabo un banco de ítems que a lo largo del segundo trimestre del curso 2001-2002 se colgarán en el web del Departament d'Universitats, Recerca i Societat de la Informació de la Generalitat de Catalunya.
Como era de suponer en el proceso de elaboración de dichas pruebas los recelos iniciales por parte del profesorado al que se había encargado la elaboración de los ítems fueron manifiestos. No obstante a lo largo del pilotaje de os ítems redactados, con sus propios alumnos la inmensa mayoría constató que los resultados medían igual que la media de los exámenes de ensayo abierto que había realizado. Además se empezó a considerar la posibilidad de la utilización de este tipo de pruebas de evaluación como una más de su quehacer profesional puesto que, si por una parte, llevan un tiempo importante en su elaboración previa, su corrección, como se ha dicho, es inmediata.
Y last but not least como resultado de esta investigación creemos que no debemos obviar una implicación didáctica final para las materias de Ciencias Sociales en la Secundaria. Es de sobra conocido que el aprendizaje es mas eficiente cuanto más continua es la ejercitación de las actividades de aprendizaje. Con la tradicional evaluación de uno o a lo sumo dos actividades de evaluación por trimestre –como es habitual en la Secundaria en las materias de Ciencias Sociales-- no se estimula la continuidad en el estudio. Al contrario: se estimula la concentración de esfuerzo en poco tiempo y, en consecuencia, el olvido fácil. Por el contrario, la existencia de bancos de ítems en las materias de Ciencias Sociales en la Secundaria podrían facilitar un seguimiento del proceso de aprendizaje del alumnado y, a la par, constituir un buen estímulo para la continuidad de su aprendizaje. La relación entre consolidación del aprendizaje de la Historia y la forma de evaluación utilizada podría constituir, pues, un útil campo de estudio para próximas investigaciones. Estamos convencidos de que se trata de una relación fundamental.
Dr. Antoni Sans Martín.
(Departamento de Métodos y Diagnóstico en Educación. Universitat de Barcelona)
Dr. Cristòfol-A. Trepat i Carbonell
(Departamento de Didáctica de las Ciencias Sociales. Universitat de Barcelona. Miembro del grupo de investigación DIGHES)
NOTAS