regne unit

Els resultats del REF2014 del Regne Unit marquen el camí a seguir en l’avaluació científica

Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estats Units)


Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible a: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]


Comencen a aparèixer noves notícies sobre el REF2021, l’exercici avaluatiu més important per al sistema científic al Regne Unit. Es tractarà de la segona ocasió en què s’avalua les universitats britàniques segons el sistema actual. Aprofitant la proximitat d’aquest exercici, comentarem els resultats de la seva primera implementació, el 2014, i introduirem algunes reflexions sobre les importants novetats que incorpora en el sistema d’avaluació britànic.

Recentment, el meu company Richard Woolley, investigador d’INGENIO (CSIC-UPV), i un servidor vam publicar al LSE impact blog un petit article d’opinió sobre el Research Excellence Framework del Regne Unit conegut com el REF. Aquest exercici, l’última edició del qual segueix sent motiu de continu debat malgrat haver transcorregut el 2014, és el procés d’avaluació de l’activitat investigadora més important del Regne Unit. Tot i el seu alt cost, al voltant de 250 milions d’euros, distribueix més d’un bilió i mig d’euros entre les universitats britàniques, convertint-se el seu disseny, metodologia i implementació en un tema de debat constant dins del sistema universitari britànic. Malgrat l’àmplia tradició avaluativa del Regne Unit (els seus primers exercicis d’avaluació institucional daten del 1986), l’any 2014 va suposar tota una fita al revolucionar radicalment tant els mètodes com els objectius. En aquesta breu nota, revisarem com funciona el REF, quins objectius persegueix i quins són els resultats obtinguts. Resumirem les principals conclusions derivades de les nostres anàlisis en els resultats del REF. Finalment, acabarem amb una petita reflexió sobre les importants diferències entre el sistema d’avaluació de la recerca a Espanya amb el del Regne Unit.

El Regne Unit, un pioner en l’avaluació de l’activitat en recerca

Des del 1986, el Regne Unit s’ha postulat com el gran pioner a apostar fort per fórmules avaluatives, mai exemptes de polèmiques, amb l’objectiu d’incentivar la competència entre institucions. Contràriament al que succeeix a Espanya, l’avaluació es realitza en l’àmbit institucional o departamental (donat que el que s’avaluen són «unitats d’avaluació» dins d’àrees científiques). Aquest procés avaluatiu compta amb panels d’avaluadors i exigeix per part de les institucions un important esforç tant econòmic com humà. Cada unitat haurà de seleccionar tant personal a temps complet com publicacions. En les seves múltiples edicions, ha sofert notables modificacions que reflecteixen els canvis de direcció i objectius del país en matèria de recerca.

Al principi, s’avaluava el nombre total de publicacions. El 1996, es va canviar la metodologia amb la finalitat d’incentivar la producció de recerca de «qualitat» (entesa com aquella altament citada) enfront de la «quantitat», introduint un nombre fix de publicacions a sotmetre a avaluació. No obstant, i malgrat continuats esforços i modificacions en les successives edicions, l’aleshores RAE, va seguir premiant la productivitat dels investigadors enfront del impacte científic. Al mateix temps, les crítiques van començar a créixer contra un sistema d’avaluació cada cop més costós. Entre d’altres qüestions, destaquem aquí dues crítiques. En primer lloc, s’hauria de qüestionar la necessitat d’emprar l’avaluació d’experts quan aquesta era fàcilment substituïble per indicadors bibliomètrics, donat que el focus d’atenció era la publicació científica. Més dura era la crítica relativa a si una avaluació basada en la publicació científica tenia sentit i si realment aquesta era la forma més adequada de capturar la repercussió que té la recerca en la societat.

2014 fou un any clau en l’avaluació de les universitats britàniques. Enrere va quedar l’antic RAE, refundat i conegut ara com a REF. Aquest sistema d’avaluació va seguir mantenint un apartat per a publicacions científiques, però va introduir la variable d’«impacte social» de l’activitat en recerca. Un concepte ambigu que es va definir com «un efecte, canvi o benefici econòmic, social, cultural, de política pública o serveis, a la salut, el medi ambient o la qualitat de vida més enllà de l’acadèmic». La tasca es complicava, ja que els objectius del REF ja no eren simplement distribuir fons o establir un marc de comparació entre universitats, sinó també produir evidències dels beneficis públics generats per la inversió en recerca. Per això, es van crear 36 unitats d’avaluació dividides en quatre panels (Ciències Biomèdiques i de la Salut; Ciències Físiques, de la Vida i Enginyeria; Ciències Socials; Humanitats i Arts) a las quals les universitats havien d’enviar tant una selecció de publicacions com casos d’estudi sobre la seva contribució social. Un veritable experiment de laboratori en el qual els revisors de cada panel (format  tant per científics com per d’altres actors socials) havien d’assessorar l’impacte social de cada cas d’estudi i puntuar-los d’acord a un sistema de quatre estrelles, (essent quatre la puntuació més alta).

La temeritat fou extrema. Prèviament, un comitè d’experts en avaluació científica va senyalar la falta d’indicadors quantitatius per avaluar l’impacte social. Això va fer que tot el procés quedés en mans dels panels d’experts, que van desplegar un important esforç per dotar-lo de la màxima transparència1. L’èxit en aquest model és encara incipient i, per bé que és lloable l’esforç i canvi de direcció en l’avaluació, queden moltes preguntes en l’aire sobre com s’ha interpretat què és impacte social. Tant els resultats de l’avaluació com la seva implementació han estat objecte d’avaluació i de gran debat a la comunitat científica britànica.

Excel·lència científica versus rellevància social

Gran part de la discussió s’ha centrat a analitzar de quina manera s’ha interpretat el concepte d’impacte social i la seva relació amb indicadors bibliomètrics o indicadors altmètrics. Així mateix, es tendeix a buscar una relació positiva entre excel·lència investigadora i impacte social, inferint no només que estan relacionats, sinó que aquesta relació és desitjable. En les nostres anàlisis sobre el REF, Richard i jo partíem d’una premissa totalment diferent. La cerca d’impacte social, d’una banda, i excel·lència investigadora de l’altra, obre la porta a un escenari més heterogeni i divers de l’activitat investigadora i dels diferents perfils acadèmics que existeixen. Suposem que el REF va dur a terme una avaluació exhaustiva i veraç tant de l’impacte social com de la producció científica. Suposem que l’impacte social és, de fet, una cosa mesurable i positiva. Ara, analitzem les universitats per a cada unitat d’avaluació. El que observem és un escenari d’allò més variat, on no només la correlació entre activitat investigadora i impacte social no és per a totes les unitats d’avaluació alta (en algun cas, com el de Medicina Clínica, és fins i tot negatiu), sinó que existeixen sobrats casos d’universitats amb una alta puntuació en una i no en l’altra.

Això suggereix nous camins i més heterogenis per a l’avaluació. Suposa abandonar el sistema lineal i homogeni fins ara emprat de concebre la recerca, on es premia la (falsa) figura de l’investigador tot terreny, que sobresurt en tots els àmbits de l’activitat acadèmica (transferència, recerca, docència, administració…); i passem a un altre on existeixen diversos perfils, tots ells necessaris per enriquir el sistema universitari.

Què podem aprendre a Espanya del REF2014?

Espanya ha estat sempre un sistema complex, on la tensió al «cafè per a tots» davant del reconeixement a l’individu ha afavorit un sistema caòtic, burocràtic i ple de contradiccions. Contrasta la força investigadora en bibliometria amb la ignorància i els errors majúsculs del nostre sistema que parteix d’una avaluació individual que perjudica la col·laboració i, per tant, la projecció internacional. El sistema britànic és clarament imperfecte, parteix de definicions ambigües i d’una implementació de caràcter més aviat experimental. No obstant, compta amb uns objectius clarament definits (la distribució de recursos) que pretenen enfortir el sistema universitari i de recerca britànic. Així mateix, es fomenta el debat en les qüestions de fons, amb anàlisis detallades i serioses sobre els efectes d’aquest sistema. A Espanya, l’objectiu de sistemes d’avaluació com els sexennis o les acreditacions és, com a mínim, dubtós, convertint-se al final en una mera qüestió burocràtica amb un sentit més aviat de monitorització que de millora del sistema.

Queda qüestionar-se si es tracta d’una excessiva atenció als criteris i indicadors emprats, que no permeten centrar la discussió en els objectius de l’avaluació. O, potser, simplement sigui perquè encara ens trobem històricament en un estadi anterior al britànic. Sigui per la raó que sigui, l’experiència britànica és una gran oportunitat per observar els importants canvis que estan per venir en avaluació científica i reflexionar sobre si estem seguint un camí adequat a les demandes actuals de la societat.


1 Totes les minutes de les converses com també els casos d’estudi estan disponibles a la web http://www.ref.ac.uk/2014/

Construïm col·leccions plegats (i 2)? Viabilitat de la gestió conjunta de monografies al Regne Unit

Santi Balagué
Cap de l'Equipament GEPA
Àrea de Biblioteques, Informació i Documentació - CBUC
Consorci de Serveis Universitaris de Catalunya (CSUC)


Feasibility study on monographs: final report (2017). [Kirkcudbright]:  Information Power. June. 46 p. Disponible a: http://www.ukrr.ac.uk/resources/NMSG%20Feasibility%20Study%20final%20Jun.... [Consulta: 27/11/2017]


El sector bibliotecari fa anys que experimenta i desenvolupa programes de col·laboració per assolir una àmplia gamma d'objectius: des de maximitzar economies d'escala i estalvis a la formació del personal, entre molts d’altres. I més en concret, i com s’apuntava fa uns anys en aquest Blok ressenyant el treball d’OCLC Cloud-sourcing research collections: managing print in the mass-digitized library environment, en l’àmbit de les biblioteques universitàries i de recerca fa temps que s’exploren les possibilitats de donar respostes de manera conjunta als desafiaments que suposa la gestió de les col·leccions impreses, la seva conservació i la limitació i reconversió dels espais disponibles a les biblioteques.

N’és un bon exemple la UKRR (UK Research Reserve), un programa col·laboratiu coordinat entre les biblioteques universitàries i de recerca britàniques i la British Library, per gestionar de manera eficient i sostenible a llarg termini la conservació de publicacions periòdiques impreses amb baixos nivells d’ús. Les grans col·leccions de revistes representen una valuosa font de coneixement, i per tant les biblioteques han de proporcionar-ne l'accés als investigadors perquè en puguin utilitzar el seu contingut. Tanmateix, els baixos nivells d'ús d'alguns d'aquests títols fa que les col·leccions es puguin emmagatzemar off-site, més enllà dels preuats espais de les biblioteques de campus o centrals, cosa que ha de permetre alliberar espai per a d’altres usos. Mitjançant la deduplicació coordinada de títols de revistes a tot el Regne Unit des de 2007, la UKRR ha processat més de 104 km de fons oferts pels membres participants i ha facilitat a les biblioteques la presa de decisions estratègiques sobre les seves col·leccions i espais. També ha contribuït a canviar trets de cultura organitzativa dins i fora del sector de l'educació superior.

Un informe de rabiosa actualitat: «Libraries deliver: ambition for public libraries in England 2016-2021»

Maite Comalat
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona


Libraries deliver: ambition for public libraries in England 2016-2021 (2016). 91 p. [S. L.]: Libraries Taskforce. Disponible a: https://www.gov.uk/government/uploads/system/uploads/attachment_data/fil.... [Consulta: 13/09/17].


Amb un títol suggeridor i ambiciós, l'any passat Libraries Taskforce, l'agència governamental anglesa de la qual forma part CILIP (Chartered Institute of Library and Information Professionals), va publicar un informe amb l'objectiu d'ajudar les biblioteques públiques proposant línies de treball, recollint bones pràctiques i comprometent el Govern a donar suport a les biblioteques perquè puguin satisfer millor les necessitats de la comunitat local i, alhora, enfortir la seva imatge.

En un context complex, en el qual, malgrat les xifres positives de visites físiques i en línia, dels usos i de les valoracions dels usuaris i no usuaris de les biblioteques, s'han tancat biblioteques, s'han reduït les inversions i el personal i s'ha qüestionat el seu paper, Libraries deliver: ambition for public libraries in England 2016-2021 reprèn el fil deixat per l'informe Sieghart, publicat l'any 2014, i dona resposta a una demanda del Department for Culture, Media and Sport (DCMS) i del Local Government Association (LGA) per desenvolupar la visió de futur de les biblioteques públiques a Anglaterra.

Les possibilitats de la mineria de text i dades a l’educació superior i a la investigació pública: una anàlisi de casos d’estudi del Regne Unit i França

Juan-Antonio Pastor-Sánchez
Professor titular del Departamento de Información y Documentación
Coordinador de biblioteques
Universidad de Murcia


Johnson, Rob; Fernholz, Olga; Fosci, Mattia (2016). Text and data mining in higher education and public research: an analysis of case studies from the United Kingdom and France. [S. l.]: Association des Directeurs & personnels de direction des Bibliothèques Universitaires et de la Documentation (ABDU). 47 p. Disponible a: http://adbu.fr/competplug/uploads/2016/12/TDM-in-Public-Research-Revised.... [Consulta: 19/05/2017].


L’ADBU (Association des Directeurs & personnels de direction des Bibliothèques Universitaires et de la Documentation) va publicar el desembre de 2016 l’informe Text and data mining in higher education and public research. L’estudi s’ha realitzat amb el suport del Govern francès, més concretament per part del Ministère de l’Education nationale, de l’Enseignement supérieur et de la Recherche (MENESR). L’informe està disponible sota llicència Creative Commons Attribution 4.0.

Es tracta d’una anàlisi de casos d’estudi d’investigadors de França i el Regne Unit amb la finalitat d’avaluar les possibilitats que ofereix l’aplicació d’excepcions respecte dels drets d’autor per a l’aplicació de tècniques de mineria de text i dades sobre materials subjecte a copyright.

Sens dubte, som davant d’un informe que es basa en l’interès de la Comissió Europea per modernitzar la legislació sobre copyright en entorns digitals, no només per a educació o investigació, sinó també per a la conservació del patrimoni cultural.

Les necessitats dels usuaris i la biblioteca del futur: ressenya de l’informe d’Axiell 2015

José-Antonio Gómez-Hernández
Universidad de Murcia. Facultad de Comunicación y Documentación


The library of the future: meeting the public’s needs (2015). Nottingham: Axiell. Disponible a: http://www.axiell.co.uk/library-of-the-future-report-download-for-free/. [Consulta: 02/01/2017].


Axiell és una empresa que dóna serveis a les biblioteques públiques del Regne Unit, i que va enquestar més de 2.000 persones majors de 16 anys d’aquest país per saber en quina mesura estaven evolucionant aquestes institucions per respondre les necessitats de la seva comunitat. L’objectiu era, d’una banda, identificar com i per què s’estava utilitzant la biblioteca pública i, de l’altra, explorar com es podria augmentar el seu aprofitament d’acord amb les noves expectatives dels usuaris.

L’informe resultant té a penes 13 pàgines amb abundants esquemes visuals, i es recolza en d’altres documents rellevants com The independent library report for England (Sieghart, 2014). Triem algunes observacions i recomanacions:  

Pàgines

Subscriure a RSS - regne unit