Proves lingüístiques
Tal com estava previst, només començar el curs 2014-2015 es començaren a dissenyar les proves objectives de llengües i competència cultural per als estudiants de la doble titulació. En relació a la competència lingüística es dissenyaren els instruments següents:
- Una prova objectiva de competència gramatical
- Una prova d’expressió escrita
- Una prova d’expressió oral
- Un test de percepció de competència lingüística
LLENGUA CATALANA I CASTELLANA
En començar el segon semestre, es realitzà el pilotatge de tota aquesta bateria de proves tant en català com en castellà, ja que es realitzà des de les assignatures d’aquestes dues llengües situades justament en el segon semestre.
Durant el mes de febrer de 2015, es passaren les proves amb uns resultats més sistematitzables en el cas de les proves objectives i de percepció realitzades en qüestionari Google i amb resultats més subjectius, donada la naturalesa de les rúbriques utilitzades per mesurar l’expressió oral i escrita.
A continuació, i tal com estava previst, s’analitzaren no només els resultats sinó les dificultats que havien pogut tenir les proves per a l’alumnat, l’homogeneïtat entre les dues llengües i la validesa de les rúbriques. Es pogueren constatar diferents problemes:
- Els ítems de les proves objectives no havien estat realitzats de la mateixa manera des del punt de vista formal (en una llengua s’havia de triar entre dues opcions i en l’altra entre tres). Es feren, doncs, les rectificacions oportunes.
- En el cas de la prova d’expressió oral, la tria entre diferents possibilitats i el fet de demanar un text argumentatiu no acabà de funcionar, perquè no resultava homogeni. Així doncs, i en relació a una prova més creativa que s’havia utilitzat des d’anglès (a partir d’un test psicològic), optàrem per usar la gravació com a estímul perquè els alumnes poguessin crear la seva història en les dues llengües. El fet de permetre moltes possibilitats evitava la reiteració i el consegüent avorriment en el conjunt de proves que havia de realitzar l’alumnat.
- Pel que fa a les rúbriques usades per a la correcció tant de l’expressió escrita com de l’expressió oral resultaren valoracions sense criteris clars, amb la qual cosa el marge de puntuació per a cada apartat podia ser puntuat de manera molt diferent per part de cadascun dels avaluadors. Així doncs, s’establí la necessitat de fer rúbriques sobre una puntuació de quatre punts per a cada criteri, descrivint clarament el marge de cada puntuació. Per fer-ho, es posaren al costat rúbriques ja existents en l’ensenyament de català o castellà i, a partir d’aquestes, s’afinà fins tenir una rúbrica molt més fiable, que havia de donar els mateixos resultats per part de qualsevol professor que la usés.
- El test de percepció lingüística no presentà problemes, ja que en la seva creació s’havia partit de tests anteriors realitzats en el marc de l’assignatura de Llengua catalana per a l’ensenyament i, a partir d’aquí, es milloraren i ampliaren els ítems i després foren consensuats per tot el grup.
A partir d’aquí, es referen les proves, les quals es passaren als alumnes que iniciaren la doble titulació de Mestre el curs 2015-2016.
Les proves de llengua catalana i castellana van ser tres, dues de llengua escrita i una de llengua oral, a més d’un qüestionari de percepció, que permetia contrastar el resultat de les proves amb la percepció que cada alumne tenia sobre el seu domini de les habilitats orals i escrites en les dues llengües.
Prova objectiva
Per fer un diagnòstic complementari es va fer servir un qüestionari tipus test amb vint preguntes de respostes d’opció múltiple (en concret, hi havia tres respostes possibles) sobre el coneixement general de la llengua. Les preguntes estaven dividides de la següent forma: vuit centrades en qüestions relacionades amb la gramàtica, accentuació, ús de preposicions, etc.; tres, amb coherència; tres, amb cohesió; tres, amb lèxic i tres amb adequació. L’alumnat havia de limitar-se a marcar l’opció correcta, fet que va facilitar la seva realització i la posterior revisió.
Aquestes van ser les proves:
En el qüestionari cada una de les vint preguntes va tenir el mateix valor per treure la
nota final del test.
La gran majoria dels alumnes (93%) van aprovar el test, dels quals un 73% es va situar entre el 6 i el 8 (entre el bé i el notable). De fet, la nota mitjana del qüestionari va ser un 6,78. En el buidatge dels resultats, si s’ajuntaven els continguts lingüístics dels continguts textuals s’observava que la nota de continguts textuals era més bona (7,1 respecte a un 6,3), però tampoc hi havia una gran diferència, ja que era menys d’un punt.
Ara bé, convenia mirar cada apartat per separat perquè la nota de gramàtica (6,7) i de lèxic (6) també era força igual, amb una diferència de menys d’un punt, però contrastaven molt les notes de coherència (8,6) i adequació (8,9) amb les de cohesió (3,9), que no arribava ni a la meitat dels punts de les altres dues i era l’únic camp en què es trobava una mitjana de suspensos. Els exercicis de cohesió consistien en l’ús de pronoms (relatius i pronom en de complement del nom) i connectors. Per tant, es mostrava clarament que la quantitat de notes baixes en cohesió era important, també força en el lèxic i la gramàtica i que, en canvi, els apartats que tenien més quantitat de bones notes eren els de coherència i adequació.
Respecte a la llengua castellana, també la gran majoria dels estudiants (83,71%) va aprovar, tot i que la quantitat de suspesos (16,29%) va ser força alta. En aquest cas, la nota mitjana va ser un 5,87, un punt per sota de la de llengua catalana, atès que més de la meitat dels estudiants (51,17%) se situaven entre el 5,5 i el 6,5.
Tot i això, en el buidatge dels resultats es va observar que la diferència entre mitjanes era força gran. Per un costat, i coincidint amb la prova de llengua catalana, els dos camps amb les notes més altes van ser els de coherència (8,37) i adequació (7,21). En canvi, el camp amb la nota més baixa va ser el de lèxic (4,11) respecte al de gramàtica (5,09) i cohesió (5,89), a diferència de llengua catalana. De fet, el camp del lèxic va ser menys de la meitat del camp de coherència, la qual cosa s’havia de tenir en compte.
Llengua escrita
La prova en llengua escrita consistí en la redacció d’un text argumentatiu d’un mínim de tres-centres paraules en què l’alumnat havia d’opinar sobre un tema relacionat amb l’art. L’objectiu de la prova era valorar el nivell de correcció gramatical, coherència, cohesió, lèxic i adequació en l’ús de la llengua a través d’un text formal. Alhora, la prova també volia mesurar la competència cultural. Les proves en llengua escrita van ser les següents:
Els texts es van corregir amb una rúbrica resultat del consens de tots els professors implicats, a partir de rúbriques prèvies que ja es tenien per a l’avaluació en cadascuna de les llengües. La puntuació del text escrit es va dividir en dos apartats. El primer mirava l’adequació, coherència, cohesió i estil. La puntuació total d’aquests ítems sumava 10. El repartiment estava fet de manera que l’adequació valia un màxim d’un punt i la coherència, cohesió i estil valien tres punts cada un. El segon apartat estava dedicat a la correcció lingüística i sumava un total de 10 punts, dels quals es descomptava un punt per error. La nota del text argumentatiu es va obtenir valorant un 30% els aspectes gramaticals i un 70% els aspectes textuals, repartits en un 20% de coherència, 20% de cohesió, 20% de lèxic i 10% d’adequació.
En llengua catalana, la majoria de l’alumnat va aprovar l’escrit del text argumentatiu. En una nota sobre 10 punts, 25 alumnes (55,55%) van obtenir una puntuació de 5 o superior, i la franja més àmplia fou la situada entre el 5 i el 5,99 (24,44%). En ajuntar els continguts lingüístics i els continguts textuals es va veure que la nota de continguts textuals (3) era més bona que la dels continguts lingüístics (5,2) perquè els alumnes tenien menys errors en aquest camp.
Ara bé, en individualitzar els aspectes gramaticals i textuals es va poder comprovar que hi havia molta diferència entre les notes mitjanes de cada camp. Es va observar que l’alumnat feia molts més errors en gramàtica i ortografia (7) i en cohesió (6,6) que no pas en lèxic (3,5), coherència (2) o adequació (0,3), que, de mitjana, era el doble. De fet, 32 alumnes (71,11%) van fer cinc o més faltes gramaticals, entre els quals 10 en van fer més de deu. Cal veure, però, que no es concentraven una gran quantitat d’alumnes amb molts errors en aquests camps, sinó que la quantitat d’alumnes era molt repartida entre els que feien molts errors i els que en feien pocs.
En relació a la prova d’expressió escrita en llengua castellana, la gran majoria de l’alumnat (97,67%) va aprovar el text argumentatiu, percentatge molt més elevat que en llengua catalana. La franja més àmplia (58,15%) es va situar entre el 6 i el 7,49 i la nota mitjana de la prova fou un 6,74. En separar els diferents camps, es va veure que la quantitat de notes altes era més gran en uns camps que en altres. Per exemple, el camp que tenia la quantitat de notes més altes va ser el de la funció comunicativa mentre que el que les tenia més baixes va ser el de progrés de la informació.
En aquest cas, entre les notes dels diferents apartats dels dos camps no hi va haver gaire diferències. El camp amb la nota mitjana més alta va ser el d’adequació amb un 7,65 però els altres se situaven a una distància de menys d’un punt, com ara la coherència (6,17), la cohesió (6,51) i l’estil (6,44). En comparació amb la llengua catalana, els resultats van ser molt més equilibrats i sobretot hi va haver una clara diferència en el camp de cohesió.
Llengua oral
Pel que fa a la llengua oral, la prova (com ja hem dit, en les dues llengües) va consistir en una exposició de dos o tres minuts d’una història creativa imaginada a partir de la visualització d’un vídeo breu amb dibuixos en moviment. El document que es proporcionà als alumnes va ser el següent:
- Prova oral (català i castellà)
Per aconseguir la nota de la prova oral, es va valorar un 20% la coherència i la
cohesió, un 20% la sintaxi i la gramàtica, un 15% la fluïdesa i el control del temps, un 15% la pronunciació, un 15% el lèxic i l’adequació, un 10% la veu i un 5% la comunicació no verbal.
En llengua catalana, cal destacar que no hi va haver percentatge de suspesos. La gran majoria de l’alumnat (68,89%) va obtenir entre un 6 i un 7,9 (entre bé i notable) i la nota mitjana va ser d’un 7,32. En ajuntar els camps per temàtiques es va observar que la coherència (6,89), l’estil (6,36) i la prosòdia (7,38) tenien les notes més baixes, mentre que l’adequació (7,77) i la cohesió (7,71) tenien les més altes. Malgrat això, la diferència va ser molt petita, atès que era només d’un punt.
Respecte al castellà, tampoc hi va haver percentatge de suspesos però la majoria (73,34) es trobava entre el 5 i el 6,99 i, conseqüentment, no arribava al notable. En aquest cas, la nota mitjana va ser un 6,5. A l’hora de tornar a ajuntar els camps segons les temàtiques, es va poder observar que, igual que en llengua catalana, les notes més altes es trobaven en el camp de cohesió (7). No obstant això, a diferència del català, el camp de prosòdia també tenia de les notes més altes (6,7), a la meitat hi havia l’adequació (6,5) i les notes més baixes pertanyien a la coherència (6,3) i a l’estil (6). Cal remarcar, però, que, en concordança amb la llengua catalana, es van obtenir mitjanes similars i que la diferència va ser només d’un punt.
Qüestionari de percepció lingüística dels alumnes
Els qüestionaris comprenien deu preguntes de cada habilitat lingüística, les quals tenien quatre opcions per respondre: “gens d’acord”, “”una mica d’acord”, “força d’acord” i “completament d’acord”. Estaven escrites en primera persona del singular de manera que cadascú s’hi sentia identificat i contestava de forma individual.
Del qüestionari de català, en la majoria de respostes guanyà l’opció “força d’acord”. De les quaranta preguntes, en quatre ocasions l’opció “una mica d’acord” va ser la més escollida (“Quan en un discurs hi ha incorreccions fonètiques, me n’adono”, “Anoto les paraules que no entenc i les busco al diccionari”, “Em fixo en com està estructurat el text” i “Identifico els referents culturals que contenen els texts que llegeixo”). I en sis ocasions més l’opció “completament d’acord” fou la que va obtenir la majoria (“Segueixo sense problemes i entenc qualsevol discurs oral de registre formal”, “Segueixo sense problemes i entenc qualsevol discurs oral de registre col·loquial”, “M’agrada llegir”, “Abans d’iniciar el procés de redacció faig esquemes i esborranys” i “Rellegeixo el que he llegit abans de donar el text per acabat” i “Procuro que la presentació de l’escrit sigui polida i que la seva lectura sigui fàcil”). L’opció “gens d’acord” va ser sempre la minoritària i en dotze ocasions no va estar escollida per ningú.
El qüestionari es va dividir en puntuacions de l’1 al 4 i es va fer la mitjana de totes les puntuacions de cada alumne. No hi va haver cap estudiant que se situés per sota del 2,25 ni per sobre del 3,5; conseqüentment, ningú tenia una mitjana de suspens segons la seva percepció. De fet, la majoria (20 alumnes, que eren el 39,2%) se situaven entre el 2,75 i el 3 i la nota mitjana fou un 2,9. A l’hora de segmentar els resultats, es va comprovar que els camps que tenien les notes més altes eren els de comprensió oral (3,04) i expressió escrita (3,05) mentre que els que tenien les notes més baixes eren els d’expressió oral (2,85) i comprensió escrita (2,75).
Els resultats del qüestionari en llengua castellana foren molt semblants als de llengua catalana. També la majoria van ser “bastante de acuerdo” mentre que només quatre foren “completamente de acuerdo” (“Sigo sin problemes y entiendo cualquier discurso oral de registro col·loquial”, “me gusta leer” “releo lo que he leído antes de dar el texto por terminado” i “procuro que la presentación del escrito sea pulida y que su lectura sea fàcil”). Només en una ocasió hi va haver una majoria diferenciada d’”un poco de acuerdo” (“identifico las variaciones dialectales en los textos que leo”). Per la variable “nada de acuerdo” fou o nul·la o insignificant. Només en dues ocasions arribà al 17 % i al 20 % (“Además de los textos académicos, recomendados en las assignatures, también leo bastante literatura de creación” i “Me gusta escribir y dedico bastante tiempo a ello”).
Aquest qüestionari també es va dividir en puntuacions de l’1 al 4, es va fer la mitjana de les puntuacions de l’alumnat i es van obtenir resultats molt semblants als de llengua catalana. Cap estudiant tenia una mitjana de suspens (és a dir, es trobava per sota del 2) i la majoria (41,03%) se situava entre el 3 i el 3,19, resultats lleugerament superiors als de català. En canvi, la nota mitjana d’aquest qüestionari va ser 2,9 (molt a prop del 3), al igual que en llengua catalana.
En desglossar els camps, es van obtenir uns resultats molt semblants als de català. Els dos camps amb les notes més altes van ser comprensió oral (3,15) i expressió escrita (3,05) mentre que els altres que tenien les notes més baixes van ser els d’expressió oral (2,89) i comprensió escrita (2,82).
Proves culturals
En relació a la part de competència cultural, després de la preparació de la prova durant el primer semestre del curs 2014-2015 i la posterior aplicació al grup de doble titulació en el segon semestre, les dues investigadores encarregades del desplegament d’aquesta part van presentar una comunicació a Univest 2015 sobre aquest punt. Es van extreure aquí els punts més importants en què s’explicava el procés: “Mesurar la competència cultural és complicat ja que cal atendre a múltiples factors i hi ha el risc de definir-la sota una mirada subjectiva i ideològica. Per això, en la creació d’aquestes proves s’ha desenvolupat un procés ampli de recerca documental i bibliogràfica per assentar els fonaments teòrics, també analitzar els currículums de les etapes d’Infantil, Primària i Secundària, i sobretot s’ha discutit sobre les diferents dimensions a tenir en compte a l’hora de consensuar una definició per la competència cultural. A partir d’aquí, hem pogut extreure uns ítems determinats que ens han servit per dissenyar un instrument experimental per mesurar la competència cultural dels futurs mestres, una rúbrica per valorar el resultat i un altre instrument per mesurar la percepció que els futurs mestres tenen de la seva competència cultural”.
Tenint en compte l’estudi previ, es van concretar les dimensions de la competència cultural en tres, basades en referències com les de Giraldez (2009) i Alsina y Giraldez (2011) :
- Percepció, comprensió, apreciació i gaudi
- Expressió i creació
- Participació en projectes i activitats
D’aquí, en el ja tercer estadi, es van passar a extreure els descriptors clau que es concretaren en: pensament crític, sensibilitat estètica i creativitat.
Prova de competència cultural
D’acord amb aquest context d’actuació, a la tercera fase, la de concretar els instruments de recollida de dades, es va optar per crear un qüestionari, a mode de preguntes obertes, en les quals l’estudiant pogués mostrar evidències relacionades amb els descriptors assenyalats anteriorment (pensament crític, sensibilitat estètica i creativitat). Tot i que la prova es va dissenyar per mesurar la competència cultural, es va decidir fer dos qüestionaris diferents, un en català i un altre en castellà, i així també es tindrien altres evidències relacionades amb la part lingüística de la competència comunicativa. A mode de resum, les preguntes dels qüestionaris se centraven en:
- Establir relacions significatives entre dos àmbits culturals, la pintura i la poesia, així com identificar, analitzar i interpretar els seus elements formals i conceptuals. D’aquesta manera es podria mesurar els processos de comprensió, no tant dels poemes i obres en qüestió, sinó de les estratègies i recursos aplicats.
- Mostrar coneixement del bagatge artístic en preguntar-los pel nom d’obres relacionant-les amb el moviment o segle a què pertanyen. En aquest sentit, també es va proposar establir nexes entre obres musicals, literàries, teatrals i arquitectòniques amb conceptes abstractes.
Proves de competència cultural:
La correcció de les proves a través de la rúbrica la van desenvolupar paral·lelament les dues investigadores de manera independent per garantir en la mesura del possible l’objectivitat i després poder contrastar els resultats obtinguts.
En relació a l’anàlisi de dades de llengua catalana es va poder constatar que el percentatge de suspesos era molt baix (un 2,13%) i el nombre més alt de coincidència (el 40,43%) estava entre la qualificació del 7 i 7,9. Com a mitjana general, i relacionada amb tots els ítems avaluats, la qualificació global va ser d’un 7,32.
Concretament, el volum més gran de notes baixes es concentrava tant en el camp de coneixement de manifestacions artístiques (6,57) com en el de terminologia adequada (7,11) i sentit crític i relació creativa de conceptes (7,23). D’altra banda, es va veure que les qualificacions més altes es trobaven en el camp de relacions entre el poema i els quadres (7,85), en el d’identificació d’elements formals i conceptuals (7,7) i en el de relació i argumentació d’elements formals i conceptuals (7,47).
Respecte a la llengua castellana, els resultats foren bastant semblants als de català. El percentatge de suspesos va ser lleugerament superior (4,65%) i la majoria de l’alumnat (34,88%) també se situà entre el 7 i el 7,9. En aquest cas, la nota mitjana de tots els alumnes i de tots els camps en el coneixement general de llengua catalana va ser d’un 6,84, mig punt més baixa que a català.
Quant a l’anàlisi dels diferents aspectes, els camps que van tenir les notes més altes van ser el de relacions entre naturaleses mortes (7,49), el d’identificació d’elements formals i conceptuals (7,26) i el de relació i argumentació de les tres obres artístiques (7,2). En canvi, els que va obtenir les notes més baixes van ser el de coneixement de manifestacions artístiques (6,23), el de sentit crític i relació creativa de conceptes (6,23) i el de terminologia adequada (6,64). En conseqüència, es va observar que els resultats van ser bastant similars tant en llengua catalana com castellana.
Un cop finalitzada aquesta fase d’avaluació de la competència cultural a partir de la rúbrica es va veure la necessitat d’introduir canvis tant en l’instrument com en la mateixa rúbrica.
Qüestionari de percepció cultural dels alumnes
Altrament, es va considerar important introduir, a part, una pregunta reflexiva i oberta relacionada amb la percepció que els propis estudiants tenien sobre el seu nivell de competència cultural, acompanyada de la definició d’aquesta: Creus que ets competent culturalment? Aquest va ser el document que se’ls va donar:
En analitzar els resultats es va poder observar que la majoria (un 57%, que corresponia a la quantitat de 25 alumnes) se sentia competent en relació a la cultura mentre que la resta (43%, que corresponia a la quantitat de 19 alumnes) es declarava entre no competent al 100% i poc competent. A més, d’aquests últims un 53% (10 alumnes) afirmaven que en volien aprendre més mentre que el 47% (9 alumnes) no ho explicitaven.
A l’hora d’argumentar les respostes, primerament els alumnes que creien que eren competents ho afirmaven perquè havien entrat en contacte amb la cultura des de ben petits; perquè sabien aprecien la creativitat i l’expressió creativa de les experiències i les emocions i vincular-les amb els seus propis sentiments; perquè eren capaços de reconèixer, interpretar i valorar les manifestacions artístiques des d’una mirada sensible i crítica; i perquè tenien curiositat per les cultures que els rodejaven.
També afegien que la cultura donava un enriquiment personal, atès que cadascú podia expressar els seus pensaments i emocions (de manera que podia ser un gran recurs per superar problemes i adversitats) i, a més, permetia tenir diferents interpretacions d’una mateixa obra, la qual cosa ajudava a desenvolupar un pensament divergent. D’altra banda, comentaven que la cultura podia ajudar a entendre i apreciar la nostra societat i el món en general. Per tant, pensaven que era molt necessari invertir més en cultura i millorar la competència artística i cultural tant dins com fora l’escola.
Afegien que els futurs docents havien de dominar aquesta competència perquè aconseguia cridar l’atenció als infants i que aquests entenguessin millor tant l’obra artística com el món interior i els sentiments de l’autor. Per acabar, alguns consideraven que, segons la definició, eren competents culturalment però que caldria mostrar una mica de coneixement per acabar de ser-ho.
En segon lloc, els estudiants que creien que tenien una competència cultural limitada o massa baixa ho deien perquè no tenien interès en aquests camps (ja que s’allunyaven de la seva realitat) i perquè els havia resultat complicat realitzar la prova. No obstant això, comentaven que s’havia de donar més importància a la competència artística i cultural dins l’escola, ja que cal fomentar l’aprenentatge a partir de les experiències dels alumnes i donar més poder a assignatures com plàstica o música per treballar la creativitat i la cultura artística, aspectes essencials en el nostre dia a dia.
Finalment, els alumnes que consideraven que no eren competents a nivell artístic i/o cultural ho argumentaven comentant que, tot i agradar-los l’art, els era difícil entendre’l i identificar-lo. A més, remarcaven que, tot i ser competents en altres àmbits, tenien poc coneixement en aquesta àrea perquè no havien tingut prou curiositat per informar-se’n i perquè no l’havien pogut aprendre-la a l’escola, ja que no es treballava gaire. Conseqüentment, pensaven que la cultura i l’art s’havien de promoure més en els centres i s’havien d’ensenyar de forma diferent per tal que l’alumnat n’estigués més interessat, entengués millor el context que l’envolta, desenvolupés el seu esperit crític i s’enriquís personalment.