Els resultats del REF2014 del Regne Unit marquen el camí a seguir en l’avaluació científica

Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estats Units)


Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible a: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]


Comencen a aparèixer noves notícies sobre el REF2021, l’exercici avaluatiu més important per al sistema científic al Regne Unit. Es tractarà de la segona ocasió en què s’avalua les universitats britàniques segons el sistema actual. Aprofitant la proximitat d’aquest exercici, comentarem els resultats de la seva primera implementació, el 2014, i introduirem algunes reflexions sobre les importants novetats que incorpora en el sistema d’avaluació britànic.

Recentment, el meu company Richard Woolley, investigador d’INGENIO (CSIC-UPV), i un servidor vam publicar al LSE impact blog un petit article d’opinió sobre el Research Excellence Framework del Regne Unit conegut com el REF. Aquest exercici, l’última edició del qual segueix sent motiu de continu debat malgrat haver transcorregut el 2014, és el procés d’avaluació de l’activitat investigadora més important del Regne Unit. Tot i el seu alt cost, al voltant de 250 milions d’euros, distribueix més d’un bilió i mig d’euros entre les universitats britàniques, convertint-se el seu disseny, metodologia i implementació en un tema de debat constant dins del sistema universitari britànic. Malgrat l’àmplia tradició avaluativa del Regne Unit (els seus primers exercicis d’avaluació institucional daten del 1986), l’any 2014 va suposar tota una fita al revolucionar radicalment tant els mètodes com els objectius. En aquesta breu nota, revisarem com funciona el REF, quins objectius persegueix i quins són els resultats obtinguts. Resumirem les principals conclusions derivades de les nostres anàlisis en els resultats del REF. Finalment, acabarem amb una petita reflexió sobre les importants diferències entre el sistema d’avaluació de la recerca a Espanya amb el del Regne Unit.

El Regne Unit, un pioner en l’avaluació de l’activitat en recerca

Des del 1986, el Regne Unit s’ha postulat com el gran pioner a apostar fort per fórmules avaluatives, mai exemptes de polèmiques, amb l’objectiu d’incentivar la competència entre institucions. Contràriament al que succeeix a Espanya, l’avaluació es realitza en l’àmbit institucional o departamental (donat que el que s’avaluen són «unitats d’avaluació» dins d’àrees científiques). Aquest procés avaluatiu compta amb panels d’avaluadors i exigeix per part de les institucions un important esforç tant econòmic com humà. Cada unitat haurà de seleccionar tant personal a temps complet com publicacions. En les seves múltiples edicions, ha sofert notables modificacions que reflecteixen els canvis de direcció i objectius del país en matèria de recerca.

Al principi, s’avaluava el nombre total de publicacions. El 1996, es va canviar la metodologia amb la finalitat d’incentivar la producció de recerca de «qualitat» (entesa com aquella altament citada) enfront de la «quantitat», introduint un nombre fix de publicacions a sotmetre a avaluació. No obstant, i malgrat continuats esforços i modificacions en les successives edicions, l’aleshores RAE, va seguir premiant la productivitat dels investigadors enfront del impacte científic. Al mateix temps, les crítiques van començar a créixer contra un sistema d’avaluació cada cop més costós. Entre d’altres qüestions, destaquem aquí dues crítiques. En primer lloc, s’hauria de qüestionar la necessitat d’emprar l’avaluació d’experts quan aquesta era fàcilment substituïble per indicadors bibliomètrics, donat que el focus d’atenció era la publicació científica. Més dura era la crítica relativa a si una avaluació basada en la publicació científica tenia sentit i si realment aquesta era la forma més adequada de capturar la repercussió que té la recerca en la societat.

2014 fou un any clau en l’avaluació de les universitats britàniques. Enrere va quedar l’antic RAE, refundat i conegut ara com a REF. Aquest sistema d’avaluació va seguir mantenint un apartat per a publicacions científiques, però va introduir la variable d’«impacte social» de l’activitat en recerca. Un concepte ambigu que es va definir com «un efecte, canvi o benefici econòmic, social, cultural, de política pública o serveis, a la salut, el medi ambient o la qualitat de vida més enllà de l’acadèmic». La tasca es complicava, ja que els objectius del REF ja no eren simplement distribuir fons o establir un marc de comparació entre universitats, sinó també produir evidències dels beneficis públics generats per la inversió en recerca. Per això, es van crear 36 unitats d’avaluació dividides en quatre panels (Ciències Biomèdiques i de la Salut; Ciències Físiques, de la Vida i Enginyeria; Ciències Socials; Humanitats i Arts) a las quals les universitats havien d’enviar tant una selecció de publicacions com casos d’estudi sobre la seva contribució social. Un veritable experiment de laboratori en el qual els revisors de cada panel (format  tant per científics com per d’altres actors socials) havien d’assessorar l’impacte social de cada cas d’estudi i puntuar-los d’acord a un sistema de quatre estrelles, (essent quatre la puntuació més alta).

La temeritat fou extrema. Prèviament, un comitè d’experts en avaluació científica va senyalar la falta d’indicadors quantitatius per avaluar l’impacte social. Això va fer que tot el procés quedés en mans dels panels d’experts, que van desplegar un important esforç per dotar-lo de la màxima transparència1. L’èxit en aquest model és encara incipient i, per bé que és lloable l’esforç i canvi de direcció en l’avaluació, queden moltes preguntes en l’aire sobre com s’ha interpretat què és impacte social. Tant els resultats de l’avaluació com la seva implementació han estat objecte d’avaluació i de gran debat a la comunitat científica britànica.

Excel·lència científica versus rellevància social

Gran part de la discussió s’ha centrat a analitzar de quina manera s’ha interpretat el concepte d’impacte social i la seva relació amb indicadors bibliomètrics o indicadors altmètrics. Així mateix, es tendeix a buscar una relació positiva entre excel·lència investigadora i impacte social, inferint no només que estan relacionats, sinó que aquesta relació és desitjable. En les nostres anàlisis sobre el REF, Richard i jo partíem d’una premissa totalment diferent. La cerca d’impacte social, d’una banda, i excel·lència investigadora de l’altra, obre la porta a un escenari més heterogeni i divers de l’activitat investigadora i dels diferents perfils acadèmics que existeixen. Suposem que el REF va dur a terme una avaluació exhaustiva i veraç tant de l’impacte social com de la producció científica. Suposem que l’impacte social és, de fet, una cosa mesurable i positiva. Ara, analitzem les universitats per a cada unitat d’avaluació. El que observem és un escenari d’allò més variat, on no només la correlació entre activitat investigadora i impacte social no és per a totes les unitats d’avaluació alta (en algun cas, com el de Medicina Clínica, és fins i tot negatiu), sinó que existeixen sobrats casos d’universitats amb una alta puntuació en una i no en l’altra.

Això suggereix nous camins i més heterogenis per a l’avaluació. Suposa abandonar el sistema lineal i homogeni fins ara emprat de concebre la recerca, on es premia la (falsa) figura de l’investigador tot terreny, que sobresurt en tots els àmbits de l’activitat acadèmica (transferència, recerca, docència, administració…); i passem a un altre on existeixen diversos perfils, tots ells necessaris per enriquir el sistema universitari.

Què podem aprendre a Espanya del REF2014?

Espanya ha estat sempre un sistema complex, on la tensió al «cafè per a tots» davant del reconeixement a l’individu ha afavorit un sistema caòtic, burocràtic i ple de contradiccions. Contrasta la força investigadora en bibliometria amb la ignorància i els errors majúsculs del nostre sistema que parteix d’una avaluació individual que perjudica la col·laboració i, per tant, la projecció internacional. El sistema britànic és clarament imperfecte, parteix de definicions ambigües i d’una implementació de caràcter més aviat experimental. No obstant, compta amb uns objectius clarament definits (la distribució de recursos) que pretenen enfortir el sistema universitari i de recerca britànic. Així mateix, es fomenta el debat en les qüestions de fons, amb anàlisis detallades i serioses sobre els efectes d’aquest sistema. A Espanya, l’objectiu de sistemes d’avaluació com els sexennis o les acreditacions és, com a mínim, dubtós, convertint-se al final en una mera qüestió burocràtica amb un sentit més aviat de monitorització que de millora del sistema.

Queda qüestionar-se si es tracta d’una excessiva atenció als criteris i indicadors emprats, que no permeten centrar la discussió en els objectius de l’avaluació. O, potser, simplement sigui perquè encara ens trobem històricament en un estadi anterior al britànic. Sigui per la raó que sigui, l’experiència britànica és una gran oportunitat per observar els importants canvis que estan per venir en avaluació científica i reflexionar sobre si estem seguint un camí adequat a les demandes actuals de la societat.


1 Totes les minutes de les converses com també els casos d’estudi estan disponibles a la web http://www.ref.ac.uk/2014/

Construïm col·leccions plegats (i 2)? Viabilitat de la gestió conjunta de monografies al Regne Unit

Santi Balagué
Cap de l'Equipament GEPA
Àrea de Biblioteques, Informació i Documentació - CBUC
Consorci de Serveis Universitaris de Catalunya (CSUC)


Feasibility study on monographs: final report (2017). [Kirkcudbright]:  Information Power. June. 46 p. Disponible a: http://www.ukrr.ac.uk/resources/NMSG%20Feasibility%20Study%20final%20Jun.... [Consulta: 27/11/2017]


El sector bibliotecari fa anys que experimenta i desenvolupa programes de col·laboració per assolir una àmplia gamma d'objectius: des de maximitzar economies d'escala i estalvis a la formació del personal, entre molts d’altres. I més en concret, i com s’apuntava fa uns anys en aquest Blok ressenyant el treball d’OCLC Cloud-sourcing research collections: managing print in the mass-digitized library environment, en l’àmbit de les biblioteques universitàries i de recerca fa temps que s’exploren les possibilitats de donar respostes de manera conjunta als desafiaments que suposa la gestió de les col·leccions impreses, la seva conservació i la limitació i reconversió dels espais disponibles a les biblioteques.

N’és un bon exemple la UKRR (UK Research Reserve), un programa col·laboratiu coordinat entre les biblioteques universitàries i de recerca britàniques i la British Library, per gestionar de manera eficient i sostenible a llarg termini la conservació de publicacions periòdiques impreses amb baixos nivells d’ús. Les grans col·leccions de revistes representen una valuosa font de coneixement, i per tant les biblioteques han de proporcionar-ne l'accés als investigadors perquè en puguin utilitzar el seu contingut. Tanmateix, els baixos nivells d'ús d'alguns d'aquests títols fa que les col·leccions es puguin emmagatzemar off-site, més enllà dels preuats espais de les biblioteques de campus o centrals, cosa que ha de permetre alliberar espai per a d’altres usos. Mitjançant la deduplicació coordinada de títols de revistes a tot el Regne Unit des de 2007, la UKRR ha processat més de 104 km de fons oferts pels membres participants i ha facilitat a les biblioteques la presa de decisions estratègiques sobre les seves col·leccions i espais. També ha contribuït a canviar trets de cultura organitzativa dins i fora del sector de l'educació superior.

Una perspectiva no-tan-global sobre l’alfabetització informacional

Cristóbal Pasadas Ureña
Biblioteca de la Facultad de Psicología
Universidad de Granada


Global perspectives on information literacy: fostering a dialogue for international understanding (2017). Association of College and Research Libraries. Working Group on Global Perspectives for Information Literacy, Student Learning and Information Literacy Committee. Chicago, IL: Association of College and Research Libraries. Disponible a: http://www.ala.org/acrl/sites/ala.org.acrl/files/content/publications/wh.... [Consulta: 09/10/2017].


L’Association of College and Research Libraries acaba de publicar un llibre blanc amb el títol de Global perspectives on information literacy: fostering a dialogue for international understanding, sota la direcció del Global Perspectives on Information Literacy Working Group de l’ACRL Student Learning and Information Literacy Committee. La idea d’aquest informe sorgeix de la necessitat d’entendre com apareix representada l’alfabetització informacional arreu del món i com s’aplica entre diferents cultures.

L’obra comprèn tretze capítols que cobreixen les experiències de diversos experts en alfabetització informacional en educació superior de diversos països (Canadà, Croàcia, Emirats Àrabs Units, Israel, Mèxic, Noruega, Nova Zelanda, Regne Unit, Sud-àfrica i Uganda). Cada capítol, al seu torn, s’estructura al voltant de quatre blocs temàtics (Tendències d’investigació, Models d’alfabetització informacional, Teoria i pràctica de l’alfabetització informacional i Rol dels professionals de les biblioteques) amb la finalitat de deixar al descobert possibles fils comuns i plantejaments específics a través de les diferents cultures. Cada capítol va acompanyat d’una excel·lent secció de referències que constitueix una de les principals aportacions de l’obra.

Les editorials acadèmiques i la producció de monografies científiques

Llorenç Arguimbau
Observatori de la Recerca
Institut d’Estudis Catalans


Giménez Toledo, Elea (2017). La edición académica española: indicadores y características. [Madrid]: Federación de Gremios de Editores de España. 190 p. Disponible a: http://ilia.cchs.csic.es/SPI/spi-fgee/docs/EAEV1.pdf. [Consulta: 10/11/2017].


Quin és el panorama de les editorials acadèmiques espanyoles? Quin és el reconeixement dels llibres científics en el sistema d’avaluació? Des de l’any 2008, el Grupo de Investigación sobre el Libro Académico (ILIA) del Consejo Superior de Investigaciones Científicas (CSIC) ha impulsat una línia de recerca per respondre aquestes qüestions. A més de nombroses publicacions científiques i diversos projectes competitius, la investigació del grup ha permès la creació del sistema d’informació Scholarly Publishers Indicators (SPI).

Els objectius del sistema SPI són, en primer lloc, millorar el coneixement del sector editorial de llibres en ciències socials i humanitats i, en segon lloc, obtenir informació objectiva mitjançant metodologies científiques. D’aquesta manera, també s’afavoreix el reconeixement científic dels llibres publicats a l’Estat espanyol. De fet, l’Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) ja utilitza el sistema SPI com a font d’informació de suport en els processos d’avaluació científica.

La propietat intel·lectual i les noves tecnologies

Mª Asunción Esteve Pardo
Professora agregada
Departament de Dret Civil
Universitat de Barcelona


Carbajo Cascón, Fernando (2017). La propiedad intelectual en la sociedad de la información: leer para descansar tranquilo. Peñaranda de Bracamonte: Bracamonte. 72 p. Disponible a: http://bibliotecadigital.jcyl.es/fr/catalogo_imagenes/grupo.cmd?path=101.... Consulta: [23/10/2017].


Aquest informe elaborat per Fernando Carbajo Cascón, professor titular de Dret Mercantil de la Universidad de Salamanca, és una síntesi en clau divulgativa de les nombroses publicacions que aquest autor ha realitzat en matèria de propietat intel·lectual. Conté una anàlisi del dret de propietat intel·lectual en l’àmbit de les noves tecnologies digitals i aborda els nombrosos interrogants que Internet planteja per aconseguir mantenir un equilibri entre els drets que la llei reconeix als autors i productors i l’accés a la cultura, l’educació i el coneixement.

L’informe conté una breu introducció on s’exposa a grans trets el contingut de la propietat intel·lectual: l’autor explica la diferència entre els drets que la Llei de Propietat Intel·lectual reconeix als creadors per incentivar el desenvolupament de les indústries culturals, com també els límits legals que la Llei mateixa imposa als titulars d’aquests drets per garantir l’accés a la cultura, l’educació i la informació.

Pàgines

Subscriure a blok de bid RSS