El gran repte del canvi d’avaluació científica en el context de la ciència oberta europea

Versió per a imprimirVersió per a imprimir

Núria Bautista-Puig
University of Gävle (Gävle, Suècia), Universidad Carlos III de Madrid
@NuriaBautista7

Eva Méndez
Universidad Carlos III de Madrid
@evamen


Towards a reform of the research assessment system: scoping report (2021). European Commission. Directorate General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible a: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 04/07/2021]. 

Hessels, Laurens K.; Koens, Lionne; Diederen, Paul J.M. (2021). Perspectives on the future of open science: effects of global variation in open science practices on the European research System. Luxembourg: Publications Office of the European Union. 49 p. Disponible a: <https://data.europa.eu/doi/10.2777/054281>. [Consulta: 04/07/2021].


La ciència oberta implica una nova forma de concebre la investigació que es basa en el treball col·laboratiu, en l'obertura i la transparència de totes les fases de la recerca, així com en una millor aproximació de la ciència a la societat. Implica, o hauria d’implicar, una transformació radical i un canvi sistèmic en la forma en què es realitza, finança, es comparteix i s’avalua la investigació, en un procés més eficient, transparent i sensible als canvis socials globals. En els últims set o vuit anys, la Comissió Europea ha alineat els seus esforços en aquesta direcció creant grups de treball específics, informes i reflexions, així com diverses polítiques i recomanacions que constitueixen petits passos per avançar cap aquest nou paradigma. 

L’any 2019, l’Institut Rahenau, juntament amb la Comissió, va publicar l’informe Perspectives on the future of open science (2019) on es presenta com els diferents nivells i mitjans d'implementació de polítiques de ciència oberta en els dos països amb les majors inversions en R+D (Estats Units i Xina) poden afectar les oportunitats europees per implementar l’open science, així com les conseqüències que se’n poden derivar al sistema europeu de ciència i innovació. A l’informe, s’analitzen tres grans dimensions de la ciència oberta (accés obert, dades obertes i col·laboració oberta) i s’identifiquen onze aspectes clau o facilitadors i vuit obstacles. Entre els aspectes que facilitaran la implementació, podem destacar, per exemple: donar crèdit a les pràctiques de ciència oberta, integrar la ciència oberta en les infraestructures, augmentar la sensibilització i el seu reconeixement, etc. I entre els aspectes o factors que obstaculitzen el seu desenvolupament podem destacar la falta de reconeixement o la incertesa sobre les limitacions legals (propietat intel·lectual, protecció de la privacitat, etc.). Les barreres s’agrupen al voltant de tres factors clau: sensibilització, informació i coneixement; incentius i desincentius per als investigadors; i l’adaptació del sistema a través de la inversió en infraestructures.

L’informe considera dos factors més que poden influir en les pràctiques de ciència oberta en els territoris que cobreix l’informe (Xina i Estats Units) i Europa: 1) el grau de tensió geopolítica; i 2) els mecanismes de coordinació de la ciència en la societat. Es plantegen així quatre escenaris diferents: 

  1. Defensa (tensió alta entre països i finançament en ciència enfocada a interessos empresarials, ocasionant que no s’implementin polítiques de ciència oberta pels alts costs).
     
  2. Creixement (la situació geopolítica és harmoniosa, però segueix havent-hi competició entre la ciència i la societat i la ciència oberta continua centrada en la cooperació amb les empreses).
     
  3. Missions (els governs prenen la iniciativa per abordar grans reptes de la societat i la ciència oberta es persegueix per accelerar la recerca i augmentar l'eficiència i l'eficàcia de la despesa pública de recerca).
     
  4. Prosperitat (baixa tensió geopolítica i l'enfocament a resoldre els reptes globals de la societat és òptim per al desenvolupament de la ciència oberta). 

A través d’aquests escenaris, els autors de l’informe prediuen fins a quin punt aquests països implementen impulsos i eliminen els obstacles per proporcionar una infraestructura científica oberta, ofereixen incentius com també creen oportunitats de sensibilització i formació per als investigadors. L’estudi està guiat per tres preguntes d’investigació:
 

  1. Com varia la combinació d’incentius i barreres per a l'adopció de pràctiques de ciència oberta a les tres regions (Europa, Estats Units, Xina). L’informe analitza de forma exhaustiva estímuls i obstacles comparant les tres regions analitzades. Es destaca que els investigadors xinesos tenen preferència per la via daurada d’accés obert i la seva política d’open data està centralitzada. Els Estats Units tenen un major nombre de repositoris (predominant la via verda) i amb un rol més rellevant dels mandats institucionals; finalment, a Europa l’accés híbrid de les publicacions s’ha convertit en la situació bàsica, i totes les polítiques europees d’open science segueixen el discurs de compartir, de la forma més immediata possible, tots els resultats d’investigació.
     
  2. La segona pregunta d’investigació se centra en els futurs escenaris possibles, combinant estímuls i barreres, que influeixen en les pràctiques de ciència oberta.
     
  3. L’última pregunta que condueix l’estudi se centra en els efectes positius i negatius de la ciència oberta en la qualitat de la investigació i en l’impacte social o la productivitat. Es realitza una comparativa basant-se en els quatre escenaris proposats i les recomanacions possibles de ciència oberta. Així, per exemple, a l’escenari de les Missions, l’estratègia política s’enfocaria a un nou acord institucional i de governança, inversions públiques massives i polítiques orientades a la missió, així com incentivar la cooperació i el foment de l’open science a través d’infraestructures i plataformes europees i d’incentius per col·laborar i compartir.

A l’informe també es remarca que la ciència oberta no és un objectiu en si mateix, sinó que ha de donar suport als objectius polítics més amplis de defensa i seguretat, competitivitat i creixement econòmic, sostenibilitat i salut o prosperitat general, així com respectar les diferències culturals. Finalment, es proposen una sèrie de recomanacions polítiques: la creació d'un perfil distintiu de la ciència europea; la coordinació d’inversions per estandarditzar dades i la capacitat de curar-les o preservar-les; com també inversions en el control de qualitat; desenvolupament i promoció de noves maneres d'incentivar i premiar els investigadors; estimulació de la col·laboració oberta amb una diversitat de socis no científics. Aquest informe prospectiu denota que, en el context europeu, la ciència oberta es troba en un procés de transició on el sistema d’incentius i l’avaluació de la ciència continuen sent el gran repte. 

En aquesta direcció, la Comissió Europea va publicar a final de l’any passat, i en aquest cas realitzat per la mateixa Unitat d’open science de la Comissió, un informe de l’abast de la reforma d’avaluació de la investigació a Europa, on es reflecteixen les postures de diversos agents implicats que van participar en les reflexions que recull l’informe. Towards a reform of the research assessment system té per objectiu establir un marc de referència per reformar el sistema actual d’avaluació de la recerca, particularment a Europa, i que afecta les fases clau de la carrera acadèmica/investigadora: reclutament, promoció i reconeixement. El document presenta les conclusions d’una sèrie de consultes en profunditat realitzades de març a novembre de 2021 amb 130 agents (tant europeus com internacionals) als quals se’ls presenta un enfocament coordinat, on la Comissió actua com a facilitadora, creant una «coalició», tant d’institucions que realitzen la investigació, com de les que financen, que són clau a l’hora d’implementar canvis que accelerin la transició cap a un nou sistema d’avaluació dels investigadors i de la investigació.  

L’informe parteix del fet que el sistema actual d’avaluació de la ciència es basa en mètodes inapropiats (per exemple, nombre de publicacions, Journal Impact Factor (JIF)) per avaluar la qualitat, el rendiment i l’impacte real dels seus investigadors, la qual cosa obstaculitza el progrés de la ciència oberta. En aquest sentit, es busca promoure una valoració més qualitativa, amb un ús més responsable dels indicadors bibliomètrics, cosa que implica, de forma imprescindible, un canvi sistèmic i cultural, allò que nosaltres denominem un «canvi de paradigma» cap a un sistema en què es promogui una valoració més qualitativa i es reconegui la multidimensionalitat del sistema d’avaluació a través dels mèrits intrínsecs, o de rendiment (mentoring, rols de lideratge, divulgació de la ciència, etc.). El fi últim d’aquest sistema d’avaluació renovat que propugna l’estudi de situació pretén aconseguir l'excel·lència i l'impacte i reforçar encara més la confiança de la societat en el sistema de recerca i innovació i en els seus resultats.

El document també identifica objectius i remarca principis bàsics (l’European code of conduct of research integrity, conegut com el codi ètic de l’ALLEA, o les recomanacions recollides en declaracions i manifests com els de DORA), així com un pla d’implementació amb accions entre organitzacions investigadores i/o finançadores per transformar aquests coneixements en canvis efectius.
Segons aquest informe, prolegomen d'un document de compromís que la Comissió espera llançar la tardor del 2022, les accions en les quals es comprometrien els signants del document són les següents:

  1. Treballar per alinear l’avaluació de la investigació amb principis i declaracions (per ex. DORA) per desenvolupar uns criteris d’avaluació tant d’investigadors com de les seves propostes d’investigació, on es reconegui i es recompensi la qualitat i l’impacte. 
     
  2. Promoure una avaluació d'alta qualitat que sigui evolutiva, autoreflexiva i utilitzada de forma sensata per evitar la duplicació de processos i costos.
     
  3. Reconèixer el treball de peer review com un servei i un valor desenvolupat pels investigadors.
     
  4. Assignar els recursos necessaris per crear infraestructures de suport i crear la motivació i sensibilització necessàries, etc.
     
  5. Compartir informació, pràctiques i experiència entre les organitzacions de recerca per facilitar l'aprenentatge mutu, com també crear guies i procediments comuns, que transcendeixin els models de valoració, etc. 

Els dos informes mostren que ens trobem encara en un (ja massa llarg) procés de transició cap a la ciència oberta, sent la Comissió Europea un actor clau per al progrés d’aquestes polítiques. En aquest sentit, en el primer informe es fixen clarament els àmbits i els reptes de la ciència oberta i els objectius a assolir, mentre que el segon, se centra en la clau de les barreres per la ciència oberta: el sistema d’avaluació, i proposa una sèrie d’accions per dissenyar enfocaments d’avaluació adequats, que incentivin la ciència en obert. Aquest últim informe promou un canvi en el sistema d’avaluació de la ciència i dels investigadors i recorda l’informe final de l’Open Science Policy Platform (OSPP) (on estaven representats molts dels agents que ara reflexionen sobre l’avaluació), destacant que hem de passar de «recomanacions», «conceptualitzacions» o principis a una implementació més pràctica (els PCI, Practical Commitments for Implementation de l’OSPP), amb accions concretes i amb una direcció comuna per part de tots els agents implicats per aconseguir una ciència més oberta i la reforma del sistema d’avaluació que ho faci possible. Constitueixen un bon punt de partida i marc de referència on, a més, els últims esdeveniments (la Paris Call on Research Assessment de 2022; la Recomanació de la UNESCO) demostren que els canvis en el sistema d’avaluació i la ciència oberta són ja, i seguiran sent, el tema fonamental per a la implementació de la ciència en obert, en els pròxims anys. 

© Imatge inicial d’Analogicus a Pixabay