La evaluación en Historia con pruebas de corrección objetiva. Algunas implicaciones didácticas.

 

 

 

1. Introducción

 

A lo largo del curso 1997-1998, por encargo del CIC [1] y bajo la dirección del doctor Antoni Sans Martín [2] , un equipo formado por profesores universitarios vinculados a diversas responsabilidades en la gestión y/o corrección de las pruebas de las PAU [3] llevaron a cabo una investigación encaminada a la aplicación de ítems de corrección objetiva en dichas pruebas. Este estudio se realizó sobre tres materias instrumentales: Lengua Inglesa, Lengua y Literatura Catalana y Matemáticas.

 

En enero del año 1999 el CIC decidió ampliar la investigación a ocho disciplinas. A las tres del año anterior se añadieron Lengua y Literatura Castellana,  Latín, Biología, Ciencias de la Tierra e Historia (materia común). Uno de los objetivos de la ampliación era comprobar, entre otras razones enunciadas más adelante, que la naturaleza de la disciplina no impedía la realización y medida del saber a través de pruebas de corrección objetiva y que, en todo caso, si estaban bien diseñadas medían igual que las pruebas de ensayo abierto [4] .

 

A tal efecto se constituyó un amplio equipo de trabajo [5] que empezó sus tareas en enero de 1999 y las finalizó en junio del mismo año. Cada uno de los responsables del equipo se encargó de coordinar a su vez  otro equipo de trabajo de su propia disciplina. En el caso de la Historia se encargó de su coordinación el doctor Cristòfol-A. Trepat (UB) que contó para realizar su trabajo con tres profesores de Secundaria en activo con responsabilidades en la gestión de las PAU dentro del área de Ciencias Sociales [6] . A lo largo del año 2000 se analizaron los resultados y en mayo de este año se emitió el informe final. En el cuadro1 se resume el calendario de la investigación.

 

 

Cuadro núm. 1

Calendario de la investigación

 

Seminario de formación  [enero 99]

 

Elaboración de la tabla de especificaciones [febrero 99]

 

Redacción de preguntas [marzo 99]

 

Revisión de "jueces", pilotaje, redacción definitiva y revisión técnica [abril 99]

 

Contacto y planificación con los centros [abril 99]

Aplicación a los centros [mayo 99, segunda quincena, pasadas las pruebas de centro y antes de las PAU]

 

Realización de las PAU [junio 99]

 

Recogida de datos del bachillerato [julio 99]

 

Análisis de los datos [setiembre-diciembre 99]

 

Informe final de la investigación [enero-mayo 2000]

 

 

En este artículo se expondrán los objetivos, proceso y resultados de la investigación referidos exclusivamente a la materia de Historia. Sus autores estiman de un interés especial el proceso y los datos obtenidos por cuanto, más allá de la precisión y equidad de la medida en las PAU,  introducen elementos contrastados sobre implicaciones didácticas positivas de este tipo de evaluaciones en el aprendizaje del alumnado de Historia. El estudio ofrece  también la posibilidad de cambiar en algo los presupuesto habituales de la cultura de la evaluación del profesorado de esta materia que, por lo general, tiende por tradición a considerar las pruebas de corrección objetiva como algo excesivamente memorístico, incompleto y poco significativo en sus resultados.

 

 

 

2. Contexto y planteamiento del problema

 

En los últimos años del siglo XX y principios del XXI las pruebas de acceso a la Universidad –conocidas popularmente como "la Selectividad"—han constituido un claro referente académico y social que incluso ha generado una producción científica abundante recientemente resumida [7] . Es de sobra conocido por otra parte que, con variaciones, en el conjunto de los países de nuestro entorno los procedimientos selectivos están presentes en todos los procesos de transición de los estudios secundarios a los universitarios. Si bien en su origen (1975) las PAU estaban más enfocadas a medir la madurez básica del alumnado para acceder a la universidad, en los últimos años se han orientado a conseguir la ordenación de los alumnos y alumnas para otorgarles la prioridad en la elección de los estudios.  Esta orientación más selectiva, como señala Keeves [8] , presupone la elaboración de pruebas que discriminen acertadamente; en cambio la certificación de madurez requiere pruebas que midan la adquisición de competencias perfectamente delimitadas. Esta doble finalidad ha hecho que algunos países hayan diferenciado dos pruebas en esta transición; en la primera se miden los conocimientos y habilidades cognitivas vinculadas a la enseñanza secundaria y, en la segunda, la capacidad para aprender en contextos universitarios [9] . Para la transición de la secundaria a la universidad en España sólo se dispone de unas únicas pruebas que vienen a cumplir las dos funciones aunque se centran fundamentalmente en la primera  y con finalidades de ordenación final de matiz selectivo.

 

Los datos de todos los estudios de qué se dispone indican que las pruebas que se realizan en la actualidad no proporcionan suficiente capacidad discriminativa ya que, de hecho, son aún más homogeneizadoras que el expediente de secundaria. Esta circunstancia perjudica al alumnado con mejor expediente como puso ya de manifiesto el estudio del CIDE de 1991 [10] . En este estudio se demuestra que la probabilidad de que un alumno con sobresaliente mantenga la calificación en las PAU es de sólo un 1% mientras que la de un alumno con suficiente es catorce veces más alta. Esta situación puede explicarse por la tendencia hacia el centro de la escala que se produce cuando intervienen un número elevado de calificaciones para calcular una media así como la diferencia de rangos de puntuaciones entre la nota de secundaria (5.5-9) y las PAU (4-10). Por otra parte es necesario tener en cuenta que en el cálculo de la media de secundaria también intervienen muchas calificaciones y, en cambio, se obtiene una homogeneidad sensiblemente inferior. Esto lleva a pensar que la prueba de acceso debería ser más discriminativa para que ganara en equidad. Es tan injusto tratar de distinta manera aquello que es igual como tratar igual aquello que es diferente aunque políticamente a veces para algunos sea más sostenible.

 

Se encuentra ampliamente descrita en la bibliografía científica sobre medida educativa la problemática que plantea la realización de correcciones de pruebas que incluyen preguntas abiertas (o de ensayo abierto) en lo que se refiere a su validez y, en especial, a su fiabilidad. Las diferencias de calificaciones entre correctores previamente coordinados respecto a un mismo examen ponen habitualmente de manifiesto la aparición de discrepancias considerables en todas las asignaturas incluso entre aquellas que, como los Matemáticas, aparentemente puedan parecer más fácilmente objetivables. En las PAU los errores o las valoraciones extremas que se puedan cometer en la calificación de una asignatura no tienen ninguna posibilidad de compensación. Esto no ocurre, en cambio, en el caso de aplicaciones continuadas a lo largo de un curso ya que los errores se pueden compensar en el cálculo de medias.

 

 

 

3. Objetivos del estudio

 

Este estudio ha tenido por una de sus principales finalidades intentar el uso de técnicas adecuadas para resolver el problema de las discrepancias de calificación en pruebas de ensayo abierto y reflexionar sobre ellas. La mayoría de los sistemas educativos que realizan exámenes de este tipo han ido derivando hacia la aplicación de pruebas de corrección objetiva para garantizar al máximo la fiabilidad y la validez de los resultados evaluativos. En la selección de este modelo intervienen dos factores esenciales: su planteamiento permite un muestreo  suficientemente representativo del universo de contenido y, por otra parte, la corrección es claramente objetiva y unívoca.

 

Como objetivos más específicos de este estudio se enuncian también los siguientes:

 

 

  • Mejorar la fiabilidad de las correcciones de los exámenes a partir de la utilización de preguntas de corrección objetiva
  • Analizar la problemática de su aplicación
  • Establecer la fiabilidad interna de las pruebas y la validez referida al criterio externo de secundaria
  • Sistematizar el proceso de trabajo en la tarea de la elaboración de preguntas definiendo y aplicando un modelo de organización:

 

  1. Establecimiento de una tabla de especificaciones
  2. Redacción de propuestas a preguntas
  3. Revisión por el equipo de redactores y el coordinador
  4. Aplicación pilotada con alumnos de bachillerato (cinco o seis por profesor/a)
  5. Revisión de la forma final por el equipo
  6. Concesión del visto bueno por parte del coordinador general

 

 

Concretando ya en la disciplina de Historia del bachillerato su equipo asumió la hipótesis común de la investigación según la cual la prueba de corrección objetiva medía igual –por lo que se refiere a la media—que la prueba de las PAU y que, en consecuencia,  la correlación entre las calificaciones del expediente académico del alumno con el resultado de las PAU y de la prueba de corrección objetiva no presentaba diferencias significativas. Por otra parte la corrección objetiva y unívoca de las prueba no ejercía ninguna disfunción injusta en la calificación del alumnado y, además, la valoración se podía realizar sobre un muestra más amplia del universo de contenido.

 

El conjunto de objetivos y la verificación de la hipótesis implicó:

 

 

  • la asunción por parte del equipo de Historia de un marco teórico sobre evaluación;
  • la toma de decisiones sobre un universo de contenido;
  • la elaboración del cuadro de especificaciones;
  • la elaboración el diseño de la prueba, su pilotaje,  y su redacción definitiva;
  • la aplicación a una muestra de alumnos de segundo de bachillerato una vez superada la evaluación de su centro y antes de la  prueba de las PAU [11] .

 

 

Finalmente el coordinador general recogió los datos, comparó los resultados con los de las PAU y el expediente académico de los alumnos de la muestra para verificar las hipótesis y dar cumplida cuenta de los objetivos propuestos.

 

A continuación se especifican los pasos de este proceso.

 

 

 

4. La evaluación en Historia: marco teórico y cuadro de especificaciones

 

Para el equipo de Historia supuso un auténtico reto didáctico enfrentarse ante una formalización teórica de la evaluación en Historia y asumir la reflexión y redacción de ítems de corrección objetiva puesto que todos sus componentes procedían de la tradición de prueba de ensayo abierta y, lógicamente, tenían una cierta desconfianza ante la posibilidad de verificar la hipótesis formulada.

 

En principio partieron de la definición clásica de evaluación: obtención de información para emitir juicios y tomar decisiones [12] . Se trataba, pues, de diseñar un instrumento que permitiera obtener información sobre el dominio final de la materia de Historia por parte  del alumnado que optaba a entrar en la Universidad. Esta información debía permitir emitir un juicio sobre el nivel de su competencia y, en consecuencia, situarlo en un nivel determinado de cara a su acceso a los estudios universitarios. Para la redacción de los enunciados se tuvieron en cuenta los marcos teórico-prácticos sugeridos por el director de la investigación en el seminario de formación [13] .

 

La pregunta inicial que los integrantes del equipo se plantearon fue la siguiente: ¿qué significa exactamente que un o una alumno/a sabe suficiente historia para ingresar en la Universidad? Dicho de otra manera: ¿respecto de qué (universo de contenido) y cómo (estilo de aprendizaje) ha de manifestar su competencia en esta materia?

 

La respuesta a esta pregunta implicaba, en primer lugar, una decisión sobre el universo de contenido. Sobre este particular no se plantearon especiales dudas y se eligió el período que transcurre entre el inicio de la Restauración (1975) y el final de la guerra civil española (1939). De acuerdo con las concreciones del currículum de Historia para las PAU este período histórico ocupaba la parte central de la programación y, a la vez, dos tercios de su total. Cubría por otra parte el requisito oficial de la prueba de las PAU según el cual, de los dos ejercicios de cada opción, uno se situaría cronológicamente antes de 1939 y el otro después de esta fecha.  Tampoco fue tema muy discutido, una vez analizados los libros de texto mas utilizados en el bachillerato de Catalunya delimitar los enunciados del universo de contenido (cuadro 2).

 

 

Cuadro 2

De la Restauración al final de la guerra civil (1975-1939)

Universo de contenido de la prueba

1.  El sistema político de la Restauración

2.  El catalanismo político: Prat de la Riba y la Mancomunitat

3.  Evolución general demográfica y económica de España (1900-1939)

4.  El bienio Reformador. La constitución de la República.

5.  La Generalitat Republicana. El Estatut de 1932

6.  El bienio conservador. El 6 de octubre en Catalunya.

7.  Las elecciones de 1936. Causas de la guerra civil.

8.  El estallido de la guerra: fases.

9.  Revoluciones y reacciones en la retaguardia

10. La evolución de la condición femenina (1900-1939)

 

 

La respuesta a la pregunta inicial comportaba también la concreción en Historia sobre los grados de cualidad en la manifestación del saber que se indicaron genéricamente para todas las materias en el seminario de formación. (cuadro núm. 3).

 

 

Cuadro núm. 3

Grados de cualidad en la manifestación del conocimiento

 

1.  La información

2.  La comprensión

3.  La aplicación

4.  Síntesis y evaluación (o emisión de juicios valorativos)

 

Para concretar en Historia la significación de estos grados u objetivos de conocimiento se tuvieron en cuenta las definiciones tradicionales de la didáctica general [14] y se reelaboraron de la manera más comprensible posible para su aplicación a la disciplina histórica. (cuadro núm. 4)

 

 

Cuadro 4

Definición de los niveles de cualidad en el aprendizaje

1. Información Habilidades para identificar y recordar hechos, hipótesis, teorías, conceptos, terminología y convenciones científicas
2. Comprensión Habilidades para comprender conocimientos científicos y sus relaciones manifestadas en la capacidad del alumnado para explicar e interpretar la información presentada y para expresarla de diferentes maneras
3. Aplicación Habilidades para aplicar el conocimiento científico a nuevas situaciones. Implica que el alumnado es capaz de seleccionar de entre los conocimientos que posee aquellos que son adecuados para resolver nuevas situaciones
4. Síntesis-evaluación Habilidades para analizar, sintetizar o evaluar (en el sentido de emisiones de juicios de valor) información científica. Implican la descomposición de la información en sus partes constituyentes y la reorganización en una nueva estructura

 

 

Para esta prueba y tras largo debate se llegó a la conclusión de que lo procedente para esta investigación consistía en reunir los grados de cualidad en la manifestación del conocimiento histórico en tres bloques: conocimiento-información, comprensión-aplicación y síntesis-evaluación (cuadro núm. 5).

 

 

Cuadro núm. 5

Grado de cualidad en la manifestación del conocimiento histórico

Conocimiento-información

Cronología

Identificación de hechos históricos

Localización de hechos históricos

Identificación de nombres

Comprensión y aplicación

Aplicación de vocabulario histórico

Identificación de causas y efectos

Establecimiento de relaciones conceptuales

Identificación de ideas principales en fuentes estableciendo relaciones

Identificación y explicación de continuidades y cambios

Síntesis y evaluación Identificación de diferentes interpretaciones o de diversas emisiones de juicios de valor

 

 

Finalmente, al mismo tiempo que se elaboraban las preguntas, se estableció el cuadro de especificaciones. Este consistía en realizar un cuadro de doble entrada en el que en la primera columna consta el universo de contenido que se debe evaluar y en la fila superior los objetivos entendidos como estilos o niveles de aprendizaje. Finalmente en la último columna se establece el número y el porcentaje de las preguntas acerca del contenido (ponderación del contenido) y en la última fila el número y porcentaje de preguntas respecto de los objetivos entendidos como estilos de aprendizaje (ponderación de los objetivos). El resultado fue lo que se representa en el cuadro núm. 6.

 

 

 

5. El diseño de la prueba, pilotaje y redacción definitiva

 

El equipo de Historia no contó con precedentes conocidos y con ejemplos claros de la disciplina para poder realizar el diseño de la prueba. Para crearla no tuvo otro camino que atender a los principios técnicos de este tipo de pruebas, al currículum de la disciplina, a las normas de concreción de la prueba de las PAU para Catalunya, a la epistemología de la materia y a la propia práctica docente en Secundaria (con especial atención al contenido de los libros de texto de mayor presencia en el mercado).

 

Para el contenido de la prueba, pues, se partió de los siguientes principios:

 

 

1.      Se fundamentó sobre los criterios utilizados en las pruebas normalizadas de las PAU a fin de que el alumnado sobre el que se aplicaba la investigación manifestara su conocimiento sobre aquello que había preparado para su examen.

2.      Las preguntas seguirían un orden cronológico.

3.      Se mezclarían en las preguntas los diversos niveles de cualidad de conocimiento (información, aplicación, etc.)

4.      Se justificarían y fundamentarían las preguntas en función del currículum tanto en lo que se refiere a procedimientos como a hechos u objetivos terminales [15]

5.      La prueba había de poder realizarse en un máximo de una hora y quince minutos.

 

Se decidió, a tenor de estos principios, que el 50% de la prueba versara sobre la Restauración y el 50% restante sobre la  Segunda República (25%) y la Guerra Civil (25%). Los contenidos de hechos y conceptos elegidos fueron los que se hallaban definidos en el currículum (cuadro núm. 7).

 

Cuadro núm. 7

Base curriculares del contenido de la prueba

 

Bloques conceptuales

 

  1. El sistema político de la Restauración. Análisis de algunos hechos significativos.

  2. El catalanismo político hasta la Segunda República

  3. Poder económico y movimiento obrero en el siglo XX. Las tensiones ideológicas y sociales

  4. De la dictadura de Primo de Rivera a la Segunda República

  5. La Generalitat de Catalunya en el contexto de la Segunda República española hasta el 1936

  6. La Guerra Civil. Revolución social y conflictos políticos en Catalunya

  7. Los catalanes y la Guerra Civil: vida cotidiana y adscripciones ideológicas

Objetivos terminales

 

  • Describir el sistema político de la Restauración analizando algunos hechos significativos
  • Explicar los fundamentos ideológicos, los personajes, las obras principales y los hechos más relevantes de gobierno (Mancomunidad) del catalanismo político hasta la proclamación de la Segunda República
  • Explicar, analizándolo a partir de fuentes históricas o a propósito de algunos conflictos sociales concretos, las principales ideologías y formas de vida del movimiento obrero en Catalunya y España durante el siglo XX
  • Analizar el proceso político y social que permitió el paso de la monarquía a la Segunda República
  • Explicar la evolución de la situación demográfica y económica en España y en Catalunya hasta el estallido de la Guerra Civil
  • Analizar el período de la Segunda República y resumir las aportaciones de la Generalitat de Catalunya así como las continuidades y los cambios respecto de los períodos anteriores.
  • Interpretar las causa y explicaciones que motivaron la Guerra Civil y, en especial, los que se refieren a Catalunya
  • Relacionar los acontecimientos de la Guerra Civil con la situación política e ideológica del marco europeo analizando de una manera especial la mentalidad del socialismo y del anarquismo español
  • Distinguir la evolución a lo largo del siglo XX de los conceptos básicos de las ideologías políticas y sociales: liberalismo, nacionalismo, socialismo, anarquismo, fascismo, identificando imágenes paradigmáticas de la historia del siglo XX en referencia al desarrollo de estas ideologías en Catalunya
  • Describir los principales problemas (luchas por el poder, revolución social, crisis económica, colectivizaciones) durante la Guerra Civil en Catalunya, valorándolos  críticamente a través de fuentes contrapuestas.
  • Identificar y describir a través de fuentes la evolución de la condición femenina en Catalunya y España durante el siglo XX valorando, en su caso los avances y retrocesos, las continuidades y los cambios y su posible relación con las circunstancias históricas.

 

Una vez establecidas todas las bases y criterios anteriores se procedió a la redacción de las pruebas [16] . Como por su naturaleza se trataba de una prueba de naturaleza selectiva los enunciados de las preguntas debían permitir una discriminación clara (preguntas de poca, mediana y mucha dificultad). Se tuvo un especial interés en mostrar que la prueba no era de carácter memorístico y que no podía superarse por azar a fin de explotar sus posibles implicaciones didácticas en el aprendizaje de la Historia. También se siguieron las normas que se resumen el cuadro  núm. 8.

 

 

Cuadro núm. 8

Normas para la redacción de preuntas, ítems y distractores

1. Se distribuyeron aleatoriamente las respuestas correctas

2. La respuesta correcta no debía ser más larga ni estar mejor construida que los distractores.

3. Los distractores habían de tener la misma probabilidad de ser correctos por forma.

4. Todas las opciones (respuesta y distractores) debían ser creíbles.

5. Se evitaron las construcciones negativas

6. Se evitaron respuestas o distractores como "ninguno de los anteriores" o "todas las anteriores"

7. Cada pregunta debía estar relacionada con un resultado de aprendizaje importante y relacionada con un objetivo operativo o tipo de aprendizaje, lo que debía poder ser verificado en el cuadro de especificaciones.

8. El pie de pregunta debía tener un sentido completo

 

El primer banco de ítems estuvo elaborado en el mes de marzo y se sometió al dictamen del coordinador general de la investigación quien realizó diversas sugerencias técnicas. Entre los días 19 y 24 de abril se sometió a la consideración de los subcoordinadores de las pruebas de PAU, todos ellos profesores de Secundaria en activo que evaluaron su contenido e introdujeron precisiones importantes (actuaron como "jueces"). A continuación se pilotó la prueba en dos de los tres IES en los que impartían docencia los profesores del equipo y en un tercero. A tenor de los informes de los tres profesores se suprimieron algunas preguntas (la duración de la prueba había resultado excesiva) y se afinó la redacción de ítems, respuestas y distractores de acuerdo con lo que, respecto a su comprensión, fueron manifestando los alumnos a lo largo del ejercicio. Se aprovechó para comparar el resultado del pilotaje con la calificación del expediente del alumnado que había intervenido en él. Esto permitió avanzar ya algo respecto del tono de los resultados puesto que, en general, expediente y número de aciertos coincidían [17] y ello a pesar de haber realizado la ejecución del examen sin preparación previa ni estímulo alguno respecto de su resultado.

 

Entre el 26 de abril y el 5 de mayo la prueba se estableció definitivamente en un total de 23 preguntas. De ella se realizaron dos opciones (A y B) para evitar la copia fácil en el decurso de su aplicación y que sólo se diferenciaban por la permutación de distractores y respuestas.

 

A fin de facilitar la corrección y la comparación de la materia con los resultados obtenidos por la investigación en otras áreas el examen se formalizó de tal manera que el alumnado debía elegir entre cuatro enunciados de los que sabía que tres eran distractores y uno la respuesta correcta. No obstante para evitar simplificaciones, como se podrá observar en los ejemplos que se muestran más abajo, la comparación de fuentes y el número de afirmaciones ciertas o falsas a las que se hacía referencia fueron múltiples (véanse cuadros  10 y 11).

 

No se dispone aquí del espacio suficiente para reproducir toda la prueba que ocupaba un total de 19 páginas y en la que, a pesar de contar con ilustraciones y mapas, abundaban los textos y los cuadros. De todas maneras creemos que puede ser útil representar tres ejemplos de enunciados para mostrar el carácter no memorístico de la prueba de Historia.

 

 

Un ejemplo de pregunta fácil sería la siguiente (cuadro núm. 9):

 

Cuadro núm 9.

Ejemplo de pregunta fácil

2¿Cuál de los hechos que se mencionan a continuación ocurre en 1939 y justifica que los historiadores e historiadoras consideren este año significativamente como el final y el inicio respectivamente de dos etapas importantes de la historia de España?

a) El inicio de la guerra civil española

b) El final de la guerra civil europea

c) La proclamación de la Segunda República

d) Las elecciones del mes de febrero que dieron el triunfo al frente popular

 

Otra pregunta, considerada de mediana dificultad, que constituye un ejemplo de "comprensión y aplicación" por cuanto el alumno ha de aplicar el concepto de inflación y ha de identificar causas y efectos es la que se ha reproducido en el cuadro núm. 10.  En el cuadro núm. 11, se ha reproducido una pregunta considerada de alta dificultad.

 

La prueba se aplicó durante la última semana del mes de mayo en los cinco centros objeto de la muestra. Durante el mes de junio y julio se procedió, tal y como estaba previsto, a establecer los datos de calificación y las medias en el examen de PAU en la disciplina de Historia. En el mes de setiembre de recabó la información de la materia de los expedientes académicos. Y, finalmente, se procedió al análisis y comparación de los resultados.

 

 

 

 

 

 

Cuadro núm. 10

Ejemplo de una pregunta de mediana dificultad

10. Analiza las tres fuentes siguientes e indica si son verdaderas o falsas las afirmaciones que se enuncian a continuación teniendo en cuenta su contexto histórico. Marca una de las opciones encabezadas por letras.

a) 2, 3 y 4

b) 1 y 4

c) Sólo la 1

d) Sólo la 4

Fuente A

Evolución de los precios al detall en Barcelona (pts. per kg)

Artículos

1914

1917

% de aumento

Trigo

29

47

62

Harina

45

55

22

Patatas

10

19

90

Judías

62

78

8

Bacalao

150

244

62

Garbanzos

44

75

70

Alcohol

88

206

134

Fuente: El Correo catalán, 1 de enero de 1918 citado por Tuñón de Lara, op. cit, pág. 27

Fuente B

Cuadro de medias de jornales (pts./día)

Año

Hombres

Mujeres

Horas/día

Índice hombres

Índice mujeres

1913

2’81

1’31

10

100

100

1914

2’76

1’23

10

98’2

93’8

1915

3’02

1’31

10

107’4

100

1916

3’03

1’38

9-10

107’8

105’3

1917

3’11

1’42

9-10

110’6

108’4

1918

3’53

1’77

8-9

125’6

135’1

Fuente: Instituto de Reformas Sociales, citado por Tuñon de Lara, op. cit. pág. 28

Fuente C

Beneficios de la industria del carbón (1914-1918)

Años

Beneficio en pts. por tonelada

Beneficios totales en pts.

1914

8

28.900.000

1915

21,80

100 600 000

1916

42

230 500 000

1917

60

418 000 000

1918

64

455 000 000

Fuente: Tuñon de Lara, op. cit, pág. 20

1)       Durante los primeros años del siglo XX, especialmente a lo largo del año 1917, se produjo una inflación extraordinaria que se vio compensada por un incremento similar en los sueldos mientras los beneficios de las empresas, ejemplificadas en la industria del carbón, obtenían unos beneficios muy superiores al incremento de sueldos y precios al detall

2)       Durante los primeros años del siglo XX, especialmente a lo largo del año 1917, se produjo una inflación extraordinaria que no se vio compensada por un incremento similar en los sueldos mientras los beneficios de las empresas, ejemplificadas en la industria del carbón, obtenían unos beneficios muy superiores al incremento de sueldos y de precios al detall.

3)       En el encarecimiento de los productos básicos de consumo muy por debajo de la capacidad adquisitiva de la clase obrera los historiadores identifican una de las causas de la huelga general revolucionaria de 1917.

4)       En general, de las fuentes se puede desprender que la rentabilidad empresarial, durante los primeros 20 años del siglo XX, creció mucho por encima de la capacidad adquisitiva dela clase obrera en un momento en el que la inflación se disparó, especialmente en lo que se refiere a los productos alimentarios básicos. Esta situación, entre otros motivos, se puede considerar una de las causas de la huelga general de 1917 y de las tensiones sociales de los años inmediatamente posteriores en Catalunya.

Cuadro núm. 11

Ejemplo de pregunta de alta dificultad

20. A continuación tienes un fragmento de un discurso de Franco (Fuente A) y otro de Martínez Barrio (fuente B), presidente de las Cortes, en el que manifiestan opiniones sobre el levantamiento militar de 18 de julio de 1936. Compara sus visiones respectivas sobre la insurrección militar y responde las preguntas que se te plantean continuación a propósito de esta comparación. Marca una de las opciones encabezadas por letras

Fuente A (Franco)

La situación de España es cada día más crítica; la anarquía reina en la mayoría de sus campos y pueblos; autoridades de renombre gubernativo presiden, cuando no fomentan, las revueltas; a tiro de pistola y ametralladoras se dirimen las diferencias entre los ciudadanos, que, alevosa y traidoramente asesinan, sin que los poderes públicos impongan la paz y la justicia. Huelgas revolucionarias de todo orden paralizan la vida de la Nación, arruinando y destruyendo sus fuentes de riqueza y creando una situación de hambre que lanzará a la desesperación a los hombres trabajadores. Los monumentos y tesoros artísticos son objeto del más enconado ataque de las hordas revolucionarias, obedeciendo la consigna que reciben de las directiva extranjeras, con la complicidad y negligencia de los gobernadores de monterilla. Los más graves delitos se cometen en las ciudades  y en los campos mientras las fuerzas del orden público permanecen acuarteladas. (...)

Al espíritu revolucionario e inconsciente de las masas, engañadas y explotadas por los agentes soviéticos, (...) se unen la molicie y negligencia de autoridades de todas clases que amparadas en un poder claudicante carecen de autoridad y prestigio para imponer el orden...

¿Es que podemos abandonar España a los enemigos de la Patria, (...) entregándola sin lucha y sin resistencia?.

Fuente B (Martínez Barrio)

Los generales y oficiales que se han lanzado en armas lo han hecho contra el Estado español, representado por un Presidente de la República, nombrado legalmente, y con la asistencia y aun con el voto de diputados de todos los partidos; por una Cámara legítima elegida sin tacha, durante el mando de un Gobierno adversario, de unos partidos que resultaron triunfantes en las elecciones, y por un poder ejecutivo, constitucionalmente designado, (...).

Cierto es que el Estado y sus Poderes legítimos se encuentran asistidos con el más desinteresado de los concursos de las clases obreras, representadas por sus sindicatos y partido. Así, el Socialista, como el Comunista, así la CNT como la UGT, así la Federación de Grupos Libertarios, como el Partido Sindicalista (...) Pero detrás del Estado se encuentran también en línia de combate los partidos republicanos que contribuyeron a la instauración del régimen en abril del 31 (...); por las fuerzas de Tierra; Mar y Aire fieles al juramento que prestaron; por las clases comerciales, industriales  y agrícolas del país; por los Funcionarios  (...) y sobre todo por el pueblo español (...)

Toda rebelión descansa sobre un supuesto de falsedad: el de aparentar creer que la gobernación del país está secuestrada por poderes ilegítimos y que el triunfo del Estado se traduciría en la implantación de un régimen político comunista.

(...)

¿Por qué lo han hecho?. ¿Para qué lo han hecho?. (...) Simplemente se trata de sustituir la voluntad general del pueblo entero por la de una clase social deseosa de perpetuar sus privilegios.  Ni amor a España, ni inquietud por el cuerpo de la Patria, ni temores por su desmembración, ni zozobra por el desarrollo de su economía...

D. Martínez Barrio

Indica si es cierto (V) o falso (F) que de la comparación entre las dos fuentes se puede deducir que:

1.        Martínez Barrio cree que la insurrección no se ha hecho como dice Franco para salvar España de sus enemigos y para volver a instaurar el orden, sino para perpetuar los intereses de las clases más acomodadas en detrimento de la mayoría de la población.

2.        Franco denuncia la claudicación del Gobierno ante las fuerzas revolucionarias. En esto coincide con Martínez Barrio cuando afirma que el Estado y sus poderes han pasado a manos de sindicatos y partidos obreros de cariz revolucionario como la CNT y el partido Comunista.

        Martínez Barrio condena el levantamiento y acusa a los insurrectos de rebelarse contra un gobierno legalmente y democráticamente constituido que cuneta con el apoyo de amplias capas de la sociedad.

4.        Ambos coinciden a la hora de valorar negativamente la situación de deterioro del orden público y de paralización del desarrollo económico que vivía España

a) 1V, 2F,  3V, 4F

b) 1F, 2V, 3F, 4V

c) 1V, 2F, 3F, 4F

d) 1V, 2V, 3V, 4F

 

 

 

 

6. Análisis de los resultados

 

La prueba de Historia en su aplicación duró poco más de una hora de promedio. Por lo tanto su duración equivalía al tiempo habitual concedido para las PAU. Su corrección posterior se rigió por la fórmula habitual para este tipo de exámenes diseñados con el mismo número de alternativas por pregunta de las cuáles sólo una es cierta:

 

                                                           Errores

Calificación corregida : Aciertos -  __________________

                                                             N – 1

 

siendo  N  el número de alternativas (que eran 4).

 

 

 

De los resultados obtenidos se procedió también a identificar el valor más bajo (mínimo) el más alto (máximo), la desviación típica (DT) y el coeficiente  de fiabilidad de Cronbach (α). Finalmente se comparó la media que los alumnos de la muestra (187)  obtuvieron en las PAU.  Los resultados para la prueba de Historia se ofrecen en el cuadro 12:

 

Cuadro 12

Resultados de la prueba de Historia

PRUEBA Número de alumnos Mínimo Máximo Media D.T. α de Cronbach
PAU 187 1,00 8,50 4, 86 1,97 --
P. OBJETIVA   0,84 9,42 5,58 2,01 0,68

 

 

 

Como se desprende de los resultados la diferencia de la media entre el examen obtenido en las PAU y la prueba objetiva por parte de los alumnos de la muestra es inferior a un punto (4,86-5,58) lo que indica que la prueba objetiva mide igual de media los conocimientos de Historia sin que, por otra parte, ningún alumno se vea afectado por una alteración en el rigor o laxitud de la interpretación de la corrección. Por otra parte el ámbito entre calificaciones mínimas y  máximas también se mantienen en valores inferiores a un punto. La desviación típica muestra un grado casi idéntico de homogeneización en las calificaciones. Finalmente el α de Cronbach revela que la prueba era altamente fiable, coherente y tenía consistencia y coherencia interna [18] .

 

La prueba de corrección objetiva proporciona una calificación un poco más alta que la media de la prueba de las PAU, lo que no ocurrió en ninguna de las otras materias. Este fenómeno puede atribuirse al hecho de que la prueba medía un ámbito mucho más amplio del universo de contenido lo que da mayores posibilidades de acierto que la prueba de las PAU que sólo se refiere a dos aspectos concretos de todo el programa.

 

En el análisis por formas,  tal y como revela el gráfico de barras de errores de medias (gráfico 1), se puede comprobar que la permuta de las respuestas y distractores (opciones A y B) de la prueba no condicionaban los resultados puesto que no hay diferencias significativas en las calificaciones que puedan atribuirse al modelo de examen.  La alta coincidencia de valores manifiesta que las dos opciones pueden considerarse equivalentes.

 

sans1

 

También se midió el índice de dificultad. (cuadro 13 y gráfico 2). Como se desprende de los resultados la prueba presentaba una buena distribución interna por lo que a dificultad se refiere y, por lo tanto, discriminaba bien (la pregunta 2 la acertó el 91% mientras que la 20 sólo la respondieron correctamente el 28%).

 

 


Cuadro 13

Índice de dificultad

Número de pregunta % de aciertos Número de pregunta % de aciertos

1

 

2

 

3

 

4

 

5

 

6

 

7

 

8

 

9

 

10

 

11

51

 

91

 

78

 

63

 

86

 

67

 

63

 

70

 

77

 

58

 

83

12

 

13

 

14

 

15

 

16

 

17

 

18

 

19

 

20

 

21

 

22

 

23

46

 

39

 

52

 

37

 

80

 

82

 

65

 

79

 

28

 

57

 

77

 

55

 

 

sans2

 

 

 

Pie: en el gráfico se muestra el % de acierto de la prueba para cada pregunta. Su variabilidad muestra que la prueba estaba correctamente diseñada para permitir la discriminación y el orden.

 

Finalmente se procedió a comparar los resultados de las calificaciones del expediente académico de historia de los alumnos de la muestra con su resultado en la prueba objetiva y con el resultado que obtuvieron en las PAU a través de las pruebas de ensayo abierto. Para ello se utilizó el coeficiente de correlación de Pearson. [19] Los resultados se muestran en el cuadro 14.

 

 

Cuadro 14

Coeficiente de correlación

  Coeficiente de correlación
NOTA MEDIA DE LAS PAU 0,43
PRUEBA DE CORRECIÓN OBJETIVA 0,44

 

Así, pues, puede afirmarse que las pruebas de corrección objetiva tienen la misma correlación con las notas de secundaria que con las obtenidas en el examen de acceso a la Universidad.

 

 

 

7.CONCLUSIONES FINALES

 

Tras la investigación llevada a cabo se pueden resumir los resultados y las conclusiones en los párrafos que siguen.

 

En primer lugar se puede afirmar que si se siguen cuidadosa y estrictamente los criterios básicos para la elaboración de pruebas de corrección objetiva (elaboración de tablas de especificaciones, preguntas correctamente planteadas, aplicaciones piloto...) se consiguen resultados más válidos en relación a los conocimientos previos de los alumnos y alumnas.

 

En segundo lugar se confirma la idea según la cual cuando se plantean este tipo de pruebas es necesario llevar a cabo más esfuerzos y poner mucha más atención en su fase de preparación. Como es obvio este esfuerzo queda compensado sobradamente en aplicaciones tan amplias como ésta en el que el peso de la corrección es muy elevado y, a demás, puede hacerse por medios mecánicos.

 

En tercer lugar se pone de manifiesto que a lo largo del proceso de elaboración  se pueden plantear preguntas de diversos tipos de aprendizaje (información, comprensión, aplicación, etc.) y que no necesariamente son memorísticas. A pesar de ello las áreas de expresión, así como los procesos de respuesta muy estructurados (como en el planteamiento de problemas, y nos referimos en este caso a la Historia) exigen preguntas de ensayo abierto.

 

En cuarto lugar se ha podido comprobar que los sistemas evaluativos estructurados de esta manera permiten una absoluta transparencia en lo que se refiere tanto a su contenido como a su corrección. El grado de inferencia del corrector queda controlado y los cuadros de especificaciones de las asignaturas pueden constituir guías claras y coherentes de carácter orientador para el alumnado y el profesorado implicados en las pruebas.

 

En quinto lugar se ha comprobado que no existen diferencias significativas entre los resultados obtenidos entre las dos opciones de la materia. Esto es absolutamente lógico ya que se ha utilizado el mismo tipo de prueba solamente permutando el orden de preguntas en cada opción.

 

En sexto lugar se ha constatado que las formulaciones objetivas que se han aplicado son más fiables a pesar de que se han comparado con pruebas de las PAU –con preguntas cerradas sobre una pequeña parte de la programación--  y en un momento en que la muestra del alumnado no había procedido al repaso  previo al examen de selectividad. Un factor decisivo para explicar esta diferencia es la corrección objetiva y el mejor muestreo del programa de las asignaturas (se mide un  ámbito más dilatado del universo de contenido).

 

Por lo tanto se puede dar por verificada en este estudio la hipótesis fundamental de partida según la cual las pruebas de corrección objetiva en Historia miden igual y son más fiables y equitativas en su emisión de juicio posterior que las pruebas de ensayo abierto. También ha quedado demostrado que la correlación con las notas de Secundaria es casi equivalente.

 

 

 

EPÍLOGO

 

Como resultado de esta investigación durante el curso 2000-2001 el equipo de subcoordinadores de las PAU en Catalunya, formada por 16 profesores y profesoras de Secundaria en activo, participó en una redacción piloto de preguntas de corrección objetiva a título de ensayo previo a posibles modificaciones parciales de la fórmula del examen de las PAU o del que en su caso decidan las Universidades catalanas en función de lo establecido por la nueva y polémica ley de ordenación universitaria. En las materias de Historia, Historia del Mundo contemporáneo e Historia del Arte se ha llevado a cabo un banco de ítems que a lo largo del segundo trimestre del curso 2001-2002 se colgarán en el web del Departament d'Universitats, Recerca i Societat de la Informació de la Generalitat de Catalunya.

 

Como era de suponer en el proceso de elaboración de dichas pruebas los recelos iniciales por parte del profesorado al que se había encargado la elaboración de los ítems fueron manifiestos. No obstante a lo largo del pilotaje de os ítems redactados, con sus propios alumnos la inmensa mayoría constató que los resultados medían igual que la media de los exámenes de ensayo abierto que había realizado. Además se empezó a considerar la posibilidad de la utilización de este tipo de pruebas de evaluación como una más de su quehacer profesional puesto que, si por una parte, llevan un tiempo importante en su elaboración previa, su corrección, como se ha dicho, es inmediata.

 

Y last but not least como resultado de esta investigación creemos que no debemos obviar una implicación didáctica final para las materias de Ciencias Sociales en la Secundaria. Es de sobra conocido que el aprendizaje es mas eficiente cuanto más continua es la ejercitación de las actividades de aprendizaje. Con la tradicional evaluación de uno o a lo sumo dos actividades de evaluación por trimestre –como es habitual en la Secundaria en las materias de Ciencias Sociales-- no se estimula la continuidad en el estudio. Al contrario: se estimula la concentración de esfuerzo en poco tiempo y, en consecuencia, el olvido fácil. Por el contrario, la existencia de bancos de ítems en las materias de Ciencias Sociales en la Secundaria podrían facilitar un seguimiento del proceso de aprendizaje del alumnado y, a la par, constituir un buen estímulo para la continuidad de su aprendizaje. La relación entre consolidación del aprendizaje de la Historia y la forma de evaluación  utilizada podría constituir, pues, un útil campo de estudio para próximas investigaciones. Estamos convencidos de que se trata de una relación fundamental.

 

Dr. Antoni Sans Martín.

 

(Departamento de Métodos y Diagnóstico en Educación. Universitat de Barcelona)

 

Dr. Cristòfol-A. Trepat i Carbonell

 

(Departamento de Didáctica de las Ciencias Sociales. Universitat de Barcelona. Miembro del grupo de investigación DIGHES)

 

 

 

 NOTAS

[1] Consell Interuniversitari de Catalunya, organismo que reúne y coordina las siete universidades públicas catalanas.
[2] Universitat de Barcelona, profesor del Departamento de Métodos de Investigación y Diagnóstico en Educación
[3] Pruebas de Acceso a la Universidad
[4] Se da por supuesto que no todo saber se puede medir con pruebas de corrección objetiva. Así, por ejemplo, la capacidad de dibujo, de expresión oral o de expresión escrita de tipo creativo.
[5] El equipo, bajo la dirección del dr. Antoni Sans, estuvo formado por los doctores Miquel Berga (UPF), Anna Cuixart i Jardí (UPF), Joan Girbau i Badó (UB), Jorge Grané (UPC), Blanca Palmada (UdG), Montserrat Pons i Vallès (UPC), Ton Sales i Pont (UPC), Sebastià Xambó i Descamps (UPC) y Cristòfol-A. Trepat i Carbonell (UB). Contó con un 1.950.000 pts. de financiación a cargo del CIC.
[6] El equipo de Historia fue constituido por la profesora Elvira Fernàndez Núñez (IES "Sant Adrià"), el profesor Ernest Ferreres i Calvo (IES "Isaac Albéniz" de Badalona), responsables en las PAU de las materias de Historia del Mundo Contemporáneo y de Historia respectivamente, y por la profesora Dolors Freixenet i Mas (IES "Esteve Terrades" de Cornellà de Llobregat), subcoordinadora del área de Ciencias Sociales en las PAU para la zona del Baix Llobregat.
7MUÑOZ REPISO, M. et alt.: El sistema de acceso a la universidad en España. Tres estudios para aclarar el debate. Madrid: CIDE, 1997.
[8] KEEVES, J.P. "National examinations: design, procedures and reporting", en IIPE, 50, p.108.
[9] Véase  FERRER, F. "The system of university entrances: european view", en Prospect UNESCO/IBE. Vol. XXVIII, 3,  nº 107. Setiembre. 1998.
[10] CIDE: Estudio experimental de pruebas objetivas para el acceso a la universidad. Madrid: CIDE. 1991. [Documento policopiado]
[11] La prueba de Historia se aplicó a cuatro centros públicos y a uno privado con un total de 187 alumnos y alumnas. Se acordó mantener reserva sobre los nombres de los centros.
[12] TENBRINK, T.D.: Evaluación. Guía práctica para profesores. Madrid: Narcea, 1998.
[13] ESPIN, J.V.; RODRÍGUEZ, M.: L'avaluació dels aprenentatge a la Universitat. Barcelona: publicaciones de la UB. 1993, págs. 80 y ss. Y también, RINCON, D.; ARNAL, A.; LATORRE,A; y SANS, A.: Técnicas de investigación en ciencias sociales. Madrid: Dyckinson, 1995, págs. 138-176.
[14] Para la realización del cuadro de especificaciones y para establecer la relación entre cualidades del saber en la disciplina de Historia se consultó RODRIGUEZ DIÉGUEZ, J.L.: Didáctica general. Vol. I. Madrid: Cincel, 1986, pág. 115 y ss. Y también se recurrió a SÁENZ, O. (dir): Didáctica general. Madrid: Anaya, 1986, p. 82. A pesar de estas consultas, que resultaron de interés para formalizar los conceptos por parte de los miembros del equipo de Historia, la concreción de la cualidad del saber aplicado a Historia fue el resultado de la reflexión y el debate del grupo.
[15] En el diseño curricular de Secundaria los hechos, conceptos y principios, así como los procedimientos y valores vienen acompañados de un listado de objetivos terminales que se refieren al grado y tipo de aprendizaje de dichos contenidos. Equivale a la idea de los "criterios de evaluación" en los currícula españoles.
[16] Siguiendo las instrucciones del seminario de formación se eligieron los ítems de respuesta alterna (permiten medir el grado de indetificación, el recurerdo de información, la  relación causa-efecto), de correspondencia, de elección múltiple y el multiítem objetivo. Se obviaron los ítems de ordenación o jerarquización y los ítems de laguna.
[17] Ernest Ferreres realizó el ensayo previo a un grupo de 9 alumnos, Elvira Fernández a un grupo de 6 alumnos y Dolors Freixenet. Así, por ejemplo, en el informe de E. Ferreres una alumna que acostumbraba a ser calificada entre 5 y 6 respondió 17 de un total de 29. Un alumno de trayectoria sobresaliente, sin haber repasado la materia, respondió correctamente 22 de las 29. En cambio otro alumno en la línea del aprobado justo sólo contestó correctamente 13 preguntas, etc.
[18] El índice o α de Cronbach mide la fiabilidad de la prueba. Su escala es de 0 a 1 y se considera que una prueba es tanto más fiable cuanto más se aproxima a 1. A partir de 0,6 la prueba es coherente y tiene consistencia interna, es decir que el alumno competente acierta las preguntas más difíciles y el alumno incompetente se equivoca o no las responde. Por tanto el instrumento de medida mide eficazmente lo que pretende medir.
[19] El índice de correlación de Pearson establece una escala entre –1 y  + 1 indicando relación indirecta o directa respectivamente. 0 indica ausencia de relación.