recerca

Els resultats del REF2014 del Regne Unit marquen el camí a seguir en l’avaluació científica

Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estats Units)


Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible a: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]


Comencen a aparèixer noves notícies sobre el REF2021, l’exercici avaluatiu més important per al sistema científic al Regne Unit. Es tractarà de la segona ocasió en què s’avalua les universitats britàniques segons el sistema actual. Aprofitant la proximitat d’aquest exercici, comentarem els resultats de la seva primera implementació, el 2014, i introduirem algunes reflexions sobre les importants novetats que incorpora en el sistema d’avaluació britànic.

Recentment, el meu company Richard Woolley, investigador d’INGENIO (CSIC-UPV), i un servidor vam publicar al LSE impact blog un petit article d’opinió sobre el Research Excellence Framework del Regne Unit conegut com el REF. Aquest exercici, l’última edició del qual segueix sent motiu de continu debat malgrat haver transcorregut el 2014, és el procés d’avaluació de l’activitat investigadora més important del Regne Unit. Tot i el seu alt cost, al voltant de 250 milions d’euros, distribueix més d’un bilió i mig d’euros entre les universitats britàniques, convertint-se el seu disseny, metodologia i implementació en un tema de debat constant dins del sistema universitari britànic. Malgrat l’àmplia tradició avaluativa del Regne Unit (els seus primers exercicis d’avaluació institucional daten del 1986), l’any 2014 va suposar tota una fita al revolucionar radicalment tant els mètodes com els objectius. En aquesta breu nota, revisarem com funciona el REF, quins objectius persegueix i quins són els resultats obtinguts. Resumirem les principals conclusions derivades de les nostres anàlisis en els resultats del REF. Finalment, acabarem amb una petita reflexió sobre les importants diferències entre el sistema d’avaluació de la recerca a Espanya amb el del Regne Unit.

El Regne Unit, un pioner en l’avaluació de l’activitat en recerca

Des del 1986, el Regne Unit s’ha postulat com el gran pioner a apostar fort per fórmules avaluatives, mai exemptes de polèmiques, amb l’objectiu d’incentivar la competència entre institucions. Contràriament al que succeeix a Espanya, l’avaluació es realitza en l’àmbit institucional o departamental (donat que el que s’avaluen són «unitats d’avaluació» dins d’àrees científiques). Aquest procés avaluatiu compta amb panels d’avaluadors i exigeix per part de les institucions un important esforç tant econòmic com humà. Cada unitat haurà de seleccionar tant personal a temps complet com publicacions. En les seves múltiples edicions, ha sofert notables modificacions que reflecteixen els canvis de direcció i objectius del país en matèria de recerca.

Al principi, s’avaluava el nombre total de publicacions. El 1996, es va canviar la metodologia amb la finalitat d’incentivar la producció de recerca de «qualitat» (entesa com aquella altament citada) enfront de la «quantitat», introduint un nombre fix de publicacions a sotmetre a avaluació. No obstant, i malgrat continuats esforços i modificacions en les successives edicions, l’aleshores RAE, va seguir premiant la productivitat dels investigadors enfront del impacte científic. Al mateix temps, les crítiques van començar a créixer contra un sistema d’avaluació cada cop més costós. Entre d’altres qüestions, destaquem aquí dues crítiques. En primer lloc, s’hauria de qüestionar la necessitat d’emprar l’avaluació d’experts quan aquesta era fàcilment substituïble per indicadors bibliomètrics, donat que el focus d’atenció era la publicació científica. Més dura era la crítica relativa a si una avaluació basada en la publicació científica tenia sentit i si realment aquesta era la forma més adequada de capturar la repercussió que té la recerca en la societat.

2014 fou un any clau en l’avaluació de les universitats britàniques. Enrere va quedar l’antic RAE, refundat i conegut ara com a REF. Aquest sistema d’avaluació va seguir mantenint un apartat per a publicacions científiques, però va introduir la variable d’«impacte social» de l’activitat en recerca. Un concepte ambigu que es va definir com «un efecte, canvi o benefici econòmic, social, cultural, de política pública o serveis, a la salut, el medi ambient o la qualitat de vida més enllà de l’acadèmic». La tasca es complicava, ja que els objectius del REF ja no eren simplement distribuir fons o establir un marc de comparació entre universitats, sinó també produir evidències dels beneficis públics generats per la inversió en recerca. Per això, es van crear 36 unitats d’avaluació dividides en quatre panels (Ciències Biomèdiques i de la Salut; Ciències Físiques, de la Vida i Enginyeria; Ciències Socials; Humanitats i Arts) a las quals les universitats havien d’enviar tant una selecció de publicacions com casos d’estudi sobre la seva contribució social. Un veritable experiment de laboratori en el qual els revisors de cada panel (format  tant per científics com per d’altres actors socials) havien d’assessorar l’impacte social de cada cas d’estudi i puntuar-los d’acord a un sistema de quatre estrelles, (essent quatre la puntuació més alta).

La temeritat fou extrema. Prèviament, un comitè d’experts en avaluació científica va senyalar la falta d’indicadors quantitatius per avaluar l’impacte social. Això va fer que tot el procés quedés en mans dels panels d’experts, que van desplegar un important esforç per dotar-lo de la màxima transparència1. L’èxit en aquest model és encara incipient i, per bé que és lloable l’esforç i canvi de direcció en l’avaluació, queden moltes preguntes en l’aire sobre com s’ha interpretat què és impacte social. Tant els resultats de l’avaluació com la seva implementació han estat objecte d’avaluació i de gran debat a la comunitat científica britànica.

Excel·lència científica versus rellevància social

Gran part de la discussió s’ha centrat a analitzar de quina manera s’ha interpretat el concepte d’impacte social i la seva relació amb indicadors bibliomètrics o indicadors altmètrics. Així mateix, es tendeix a buscar una relació positiva entre excel·lència investigadora i impacte social, inferint no només que estan relacionats, sinó que aquesta relació és desitjable. En les nostres anàlisis sobre el REF, Richard i jo partíem d’una premissa totalment diferent. La cerca d’impacte social, d’una banda, i excel·lència investigadora de l’altra, obre la porta a un escenari més heterogeni i divers de l’activitat investigadora i dels diferents perfils acadèmics que existeixen. Suposem que el REF va dur a terme una avaluació exhaustiva i veraç tant de l’impacte social com de la producció científica. Suposem que l’impacte social és, de fet, una cosa mesurable i positiva. Ara, analitzem les universitats per a cada unitat d’avaluació. El que observem és un escenari d’allò més variat, on no només la correlació entre activitat investigadora i impacte social no és per a totes les unitats d’avaluació alta (en algun cas, com el de Medicina Clínica, és fins i tot negatiu), sinó que existeixen sobrats casos d’universitats amb una alta puntuació en una i no en l’altra.

Això suggereix nous camins i més heterogenis per a l’avaluació. Suposa abandonar el sistema lineal i homogeni fins ara emprat de concebre la recerca, on es premia la (falsa) figura de l’investigador tot terreny, que sobresurt en tots els àmbits de l’activitat acadèmica (transferència, recerca, docència, administració…); i passem a un altre on existeixen diversos perfils, tots ells necessaris per enriquir el sistema universitari.

Què podem aprendre a Espanya del REF2014?

Espanya ha estat sempre un sistema complex, on la tensió al «cafè per a tots» davant del reconeixement a l’individu ha afavorit un sistema caòtic, burocràtic i ple de contradiccions. Contrasta la força investigadora en bibliometria amb la ignorància i els errors majúsculs del nostre sistema que parteix d’una avaluació individual que perjudica la col·laboració i, per tant, la projecció internacional. El sistema britànic és clarament imperfecte, parteix de definicions ambigües i d’una implementació de caràcter més aviat experimental. No obstant, compta amb uns objectius clarament definits (la distribució de recursos) que pretenen enfortir el sistema universitari i de recerca britànic. Així mateix, es fomenta el debat en les qüestions de fons, amb anàlisis detallades i serioses sobre els efectes d’aquest sistema. A Espanya, l’objectiu de sistemes d’avaluació com els sexennis o les acreditacions és, com a mínim, dubtós, convertint-se al final en una mera qüestió burocràtica amb un sentit més aviat de monitorització que de millora del sistema.

Queda qüestionar-se si es tracta d’una excessiva atenció als criteris i indicadors emprats, que no permeten centrar la discussió en els objectius de l’avaluació. O, potser, simplement sigui perquè encara ens trobem històricament en un estadi anterior al britànic. Sigui per la raó que sigui, l’experiència britànica és una gran oportunitat per observar els importants canvis que estan per venir en avaluació científica i reflexionar sobre si estem seguint un camí adequat a les demandes actuals de la societat.


1 Totes les minutes de les converses com també els casos d’estudi estan disponibles a la web http://www.ref.ac.uk/2014/

Triple salt mortal de les dades de recerca: sinergies del LEARN toolkit of best practice for research data management

Fernanda Peset, Universitat Politècnica de València
Ana Doñate-Cifuentes, Universidad CEU Cardenal Herrera
Antonia Ferrer-Sapena, Universitat Politècnica de València


LEARN toolkit of best practice for research data management (2017). [S.l.]: UCL [et al.]. Disponible a: http://learn-rdm.eu/wp-content/uploads/RDMToolkit_rev06-17.pdf


“El tot és més que la suma de les seves parts” Aristòtil, Metafísica.

Un cop més el nombre tres protagonitza les nostres ressenyes. Nombre associat a la creativitat, a la sociabilitat, a la comunicació científica… per no parlar de la seva relació amb la natura, la religió o les arts. No volem semblar supersticiosos, però és que novament aquest informe reflecteix aquell tres: s’estructura en tres grans parts i, tal com anotem en el títol i la cita, la seva suma produeix sinergies que van més enllà que la pura suma de les parts.
Passem ara a revisar-lo des de pressupòsits objectius. Aquest informe del projecte LEARN suposa un pas més en els temes sobre la gestió de dades de recerca (RDM) que la LERU va identificar en el seu Full de ruta per a les dades de recerca (2013; Aleixos et al., 2015). Cobreix gran part de les intencions que LEARN va proposar subministrar:

Investigadors en arxius i biblioteques patrimonials: què pensen dels centres i com treballen amb les fonts?

Pedro Rueda Ramírez
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona


Terra cognita: graduate students in the archives: a retrospective on the CLIR Mellon Fellowships for dissertation research in original sources (2016). Washington: Council on Library and Information Resources. VI, p. Disponible a: https://www.clir.org/pubs/reports/pub170/pub170. [Consulta: 27/11/2016]


Terra cognita és un informe valuós que analitza les opinions i les expectatives d’estudiants de doctorat i investigadors que utilitzen fonts primàries en centres patrimonials i biblioteques de tot el món. El programa del Council on Library and Information Resources ha ofert 210 beques de l’Andrew W. Mellon Foundation a investigacions doctorals. Els informes finals dels becaris entre 2003 i 2015 han estat el nucli de l’avaluació d’aquest informe. La lectura permet detectar alguns èxits del programa en la formació adquirida, la realització de treballs inèdits, el reforç de les comunitats acadèmiques implicades i les estratègies de debat al voltant de les metodologies en l’ús de fonts originals.

"Progressa adequadament, però necessita millorar"

Carina Rey Martín
Comissionada de Sistemes d'Informació i Documentació
Universitat de Barcelona


Arguimbau, Llorenç (coord.). Informe de la recerca en Informació, Documentació i Arxivística a Catalunya (2000-2013). Barcelona: [Institut d’Estudis Catalans], 2015. Disponible a: http://blogs.iec.cat/observatori/wp-content/uploads/sites/2/2015/11/INFR... [Consulta: 06/04/2016].


En aquest informe, promogut pel COBDC i realitzat per quatre professors de l’àrea, s’intenta respondre a la pregunta que en el seu moment es va fer l’Observatori de la Recerca de l’IEC (Institut d’Estudis Catalans), “Hi ha recerca en Informació i Documentació?” Però aquesta preocupació no és nova, ja a l’any 2002 Ernest Abadal relatava la II Jornada sobre la Recerca en Biblioteconomia i Documentació, celebrada el 19 de juny d’aquell any i indicava: “De cara al futur sembla important poder mantenir reunions científiques d'aquesta orientació per tal de contribuir a la difusió de la recerca en Biblioteconomia i Documentació, una àrea d'especialització que compta amb un potencial de creixement i unes possibilitats de finançament notables, però que no disposa encara d'una estructura consolidada d'equips de recerca. Aquestes jornades poden facilitar el coneixement i la col·laboració entre investigadors i grups de recerca. A ningú se li escapa que, actualment, les convocatòries públiques prioritzen cada cop més la creació de grans equips o el treball coordinat de diversos grups de recerca”.1

La marea mètrica en l’avaluació i gestió de la recerca científica

Llorenç Arguimbau Vivó
Observatori de la Recerca (OR-IEC)
Institut d’Estudis Catalans


Higher Education Funding Council for England (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Disponible a: http://bit.ly/TheMetricTide. [Consulta: 02/11/2015].


Aquest informe ha estat redactat per un grup de treball independent i multidisciplinari, integrat per experts en cienciometria i bibliometria, finançament de la recerca, política científica, publicació i, per últim, gestió i administració universitària. El grup de treball ha realitzat una àmplia revisió bibliogràfica (Suplement I) i ha consultat els agents implicats mitjançant trobades i tallers. Impulsat pel Higher Education Funding Council for England (HEFCE), l’estudi s’emmarca en el Research Excellence Framework (REF), el sistema d’avaluació de la qualitat de la recerca a les universitats britàniques.

Pàgines

Subscriure a RSS - recerca