recerca

El gran repte del canvi d’avaluació científica en el context de la ciència oberta europea

Núria Bautista-Puig
University of Gävle (Gävle, Suècia), Universidad Carlos III de Madrid
@NuriaBautista7

Eva Méndez
Universidad Carlos III de Madrid
@evamen


Towards a reform of the research assessment system: scoping report (2021). European Commission. Directorate General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible a: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 04/07/2021]. 

Hessels, Laurens K.; Koens, Lionne; Diederen, Paul J.M. (2021). Perspectives on the future of open science: effects of global variation in open science practices on the European research System. Luxembourg: Publications Office of the European Union. 49 p. Disponible a: <https://data.europa.eu/doi/10.2777/054281>. [Consulta: 04/07/2021].


La ciència oberta implica una nova forma de concebre la investigació que es basa en el treball col·laboratiu, en l'obertura i la transparència de totes les fases de la recerca, així com en una millor aproximació de la ciència a la societat. Implica, o hauria d’implicar, una transformació radical i un canvi sistèmic en la forma en què es realitza, finança, es comparteix i s’avalua la investigació, en un procés més eficient, transparent i sensible als canvis socials globals. En els últims set o vuit anys, la Comissió Europea ha alineat els seus esforços en aquesta direcció creant grups de treball específics, informes i reflexions, així com diverses polítiques i recomanacions que constitueixen petits passos per avançar cap aquest nou paradigma. 

L’any 2019, l’Institut Rahenau, juntament amb la Comissió, va publicar l’informe Perspectives on the future of open science (2019) on es presenta com els diferents nivells i mitjans d'implementació de polítiques de ciència oberta en els dos països amb les majors inversions en R+D (Estats Units i Xina) poden afectar les oportunitats europees per implementar l’open science, així com les conseqüències que se’n poden derivar al sistema europeu de ciència i innovació. A l’informe, s’analitzen tres grans dimensions de la ciència oberta (accés obert, dades obertes i col·laboració oberta) i s’identifiquen onze aspectes clau o facilitadors i vuit obstacles. Entre els aspectes que facilitaran la implementació, podem destacar, per exemple: donar crèdit a les pràctiques de ciència oberta, integrar la ciència oberta en les infraestructures, augmentar la sensibilització i el seu reconeixement, etc. I entre els aspectes o factors que obstaculitzen el seu desenvolupament podem destacar la falta de reconeixement o la incertesa sobre les limitacions legals (propietat intel·lectual, protecció de la privacitat, etc.). Les barreres s’agrupen al voltant de tres factors clau: sensibilització, informació i coneixement; incentius i desincentius per als investigadors; i l’adaptació del sistema a través de la inversió en infraestructures.

L’informe considera dos factors més que poden influir en les pràctiques de ciència oberta en els territoris que cobreix l’informe (Xina i Estats Units) i Europa: 1) el grau de tensió geopolítica; i 2) els mecanismes de coordinació de la ciència en la societat. Es plantegen així quatre escenaris diferents: 

  1. Defensa (tensió alta entre països i finançament en ciència enfocada a interessos empresarials, ocasionant que no s’implementin polítiques de ciència oberta pels alts costs).
     
  2. Creixement (la situació geopolítica és harmoniosa, però segueix havent-hi competició entre la ciència i la societat i la ciència oberta continua centrada en la cooperació amb les empreses).
     
  3. Missions (els governs prenen la iniciativa per abordar grans reptes de la societat i la ciència oberta es persegueix per accelerar la recerca i augmentar l'eficiència i l'eficàcia de la despesa pública de recerca).
     
  4. Prosperitat (baixa tensió geopolítica i l'enfocament a resoldre els reptes globals de la societat és òptim per al desenvolupament de la ciència oberta). 

A través d’aquests escenaris, els autors de l’informe prediuen fins a quin punt aquests països implementen impulsos i eliminen els obstacles per proporcionar una infraestructura científica oberta, ofereixen incentius com també creen oportunitats de sensibilització i formació per als investigadors. L’estudi està guiat per tres preguntes d’investigació:
 

  1. Com varia la combinació d’incentius i barreres per a l'adopció de pràctiques de ciència oberta a les tres regions (Europa, Estats Units, Xina). L’informe analitza de forma exhaustiva estímuls i obstacles comparant les tres regions analitzades. Es destaca que els investigadors xinesos tenen preferència per la via daurada d’accés obert i la seva política d’open data està centralitzada. Els Estats Units tenen un major nombre de repositoris (predominant la via verda) i amb un rol més rellevant dels mandats institucionals; finalment, a Europa l’accés híbrid de les publicacions s’ha convertit en la situació bàsica, i totes les polítiques europees d’open science segueixen el discurs de compartir, de la forma més immediata possible, tots els resultats d’investigació.
     
  2. La segona pregunta d’investigació se centra en els futurs escenaris possibles, combinant estímuls i barreres, que influeixen en les pràctiques de ciència oberta.
     
  3. L’última pregunta que condueix l’estudi se centra en els efectes positius i negatius de la ciència oberta en la qualitat de la investigació i en l’impacte social o la productivitat. Es realitza una comparativa basant-se en els quatre escenaris proposats i les recomanacions possibles de ciència oberta. Així, per exemple, a l’escenari de les Missions, l’estratègia política s’enfocaria a un nou acord institucional i de governança, inversions públiques massives i polítiques orientades a la missió, així com incentivar la cooperació i el foment de l’open science a través d’infraestructures i plataformes europees i d’incentius per col·laborar i compartir.

A l’informe també es remarca que la ciència oberta no és un objectiu en si mateix, sinó que ha de donar suport als objectius polítics més amplis de defensa i seguretat, competitivitat i creixement econòmic, sostenibilitat i salut o prosperitat general, així com respectar les diferències culturals. Finalment, es proposen una sèrie de recomanacions polítiques: la creació d'un perfil distintiu de la ciència europea; la coordinació d’inversions per estandarditzar dades i la capacitat de curar-les o preservar-les; com també inversions en el control de qualitat; desenvolupament i promoció de noves maneres d'incentivar i premiar els investigadors; estimulació de la col·laboració oberta amb una diversitat de socis no científics. Aquest informe prospectiu denota que, en el context europeu, la ciència oberta es troba en un procés de transició on el sistema d’incentius i l’avaluació de la ciència continuen sent el gran repte. 

En aquesta direcció, la Comissió Europea va publicar a final de l’any passat, i en aquest cas realitzat per la mateixa Unitat d’open science de la Comissió, un informe de l’abast de la reforma d’avaluació de la investigació a Europa, on es reflecteixen les postures de diversos agents implicats que van participar en les reflexions que recull l’informe. Towards a reform of the research assessment system té per objectiu establir un marc de referència per reformar el sistema actual d’avaluació de la recerca, particularment a Europa, i que afecta les fases clau de la carrera acadèmica/investigadora: reclutament, promoció i reconeixement. El document presenta les conclusions d’una sèrie de consultes en profunditat realitzades de març a novembre de 2021 amb 130 agents (tant europeus com internacionals) als quals se’ls presenta un enfocament coordinat, on la Comissió actua com a facilitadora, creant una «coalició», tant d’institucions que realitzen la investigació, com de les que financen, que són clau a l’hora d’implementar canvis que accelerin la transició cap a un nou sistema d’avaluació dels investigadors i de la investigació.  

L’informe parteix del fet que el sistema actual d’avaluació de la ciència es basa en mètodes inapropiats (per exemple, nombre de publicacions, Journal Impact Factor (JIF)) per avaluar la qualitat, el rendiment i l’impacte real dels seus investigadors, la qual cosa obstaculitza el progrés de la ciència oberta. En aquest sentit, es busca promoure una valoració més qualitativa, amb un ús més responsable dels indicadors bibliomètrics, cosa que implica, de forma imprescindible, un canvi sistèmic i cultural, allò que nosaltres denominem un «canvi de paradigma» cap a un sistema en què es promogui una valoració més qualitativa i es reconegui la multidimensionalitat del sistema d’avaluació a través dels mèrits intrínsecs, o de rendiment (mentoring, rols de lideratge, divulgació de la ciència, etc.). El fi últim d’aquest sistema d’avaluació renovat que propugna l’estudi de situació pretén aconseguir l'excel·lència i l'impacte i reforçar encara més la confiança de la societat en el sistema de recerca i innovació i en els seus resultats.

El document també identifica objectius i remarca principis bàsics (l’European code of conduct of research integrity, conegut com el codi ètic de l’ALLEA, o les recomanacions recollides en declaracions i manifests com els de DORA), així com un pla d’implementació amb accions entre organitzacions investigadores i/o finançadores per transformar aquests coneixements en canvis efectius.
Segons aquest informe, prolegomen d'un document de compromís que la Comissió espera llançar la tardor del 2022, les accions en les quals es comprometrien els signants del document són les següents:

  1. Treballar per alinear l’avaluació de la investigació amb principis i declaracions (per ex. DORA) per desenvolupar uns criteris d’avaluació tant d’investigadors com de les seves propostes d’investigació, on es reconegui i es recompensi la qualitat i l’impacte. 
     
  2. Promoure una avaluació d'alta qualitat que sigui evolutiva, autoreflexiva i utilitzada de forma sensata per evitar la duplicació de processos i costos.
     
  3. Reconèixer el treball de peer review com un servei i un valor desenvolupat pels investigadors.
     
  4. Assignar els recursos necessaris per crear infraestructures de suport i crear la motivació i sensibilització necessàries, etc.
     
  5. Compartir informació, pràctiques i experiència entre les organitzacions de recerca per facilitar l'aprenentatge mutu, com també crear guies i procediments comuns, que transcendeixin els models de valoració, etc. 

Els dos informes mostren que ens trobem encara en un (ja massa llarg) procés de transició cap a la ciència oberta, sent la Comissió Europea un actor clau per al progrés d’aquestes polítiques. En aquest sentit, en el primer informe es fixen clarament els àmbits i els reptes de la ciència oberta i els objectius a assolir, mentre que el segon, se centra en la clau de les barreres per la ciència oberta: el sistema d’avaluació, i proposa una sèrie d’accions per dissenyar enfocaments d’avaluació adequats, que incentivin la ciència en obert. Aquest últim informe promou un canvi en el sistema d’avaluació de la ciència i dels investigadors i recorda l’informe final de l’Open Science Policy Platform (OSPP) (on estaven representats molts dels agents que ara reflexionen sobre l’avaluació), destacant que hem de passar de «recomanacions», «conceptualitzacions» o principis a una implementació més pràctica (els PCI, Practical Commitments for Implementation de l’OSPP), amb accions concretes i amb una direcció comuna per part de tots els agents implicats per aconseguir una ciència més oberta i la reforma del sistema d’avaluació que ho faci possible. Constitueixen un bon punt de partida i marc de referència on, a més, els últims esdeveniments (la Paris Call on Research Assessment de 2022; la Recomanació de la UNESCO) demostren que els canvis en el sistema d’avaluació i la ciència oberta són ja, i seguiran sent, el tema fonamental per a la implementació de la ciència en obert, en els pròxims anys. 

© Imatge inicial d’Analogicus a Pixabay

Un cop de timó per canviar l’avaluació científica

Ángel M. Delgado-Vázquez
Cap del Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz


Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].


Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.

El passat novembre la Comissió Europea, a través de la Direcció General per a la Recerca i la Innovació va fer públic un document que, sota el suggeridor títol de Towards a reform of the research assessment system, posa sobre la taula algunes de les qüestions sobre les quals s’està debatent en els darrers temps de manera intensa. La seva principal motivació és la necessitat d’impulsar una acceleració dels canvis que en el sistema d’avaluació científica s’estan produint, per bé que encara de manera tímida. L’altre objectiu és el de comptar amb un marc comú que pugui d’alguna manera homogeneïtzar la manera com s’avalua la ciència, al mateix temps que s’abandonen algunes de les pràctiques actuals i que estan sent objecte continuat de crítica per les seves limitacions i biaixos.

El rol de la biblioteca en l’estratègia de la universitat

Ángel Borrego
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Cooper, Danielle; Hill, Catharine B.; Schonfeld, Roger C. (2022). Aligning the research library to organizational strategy. 25 p. [Washington, DC]: Association of Research Libraries (ARL); [Ottawa]: Canadian Association of Research Libraires (CARL); [New York, NY]: Ithaka S+R. Disponible a: <https://doi.org/10.18665/sr.316656>. [Consulta: 14/06/2022].


Recentment, les associacions de biblioteques de recerca dels Estats Units (Association of Research Libraries) i el Canadà (Canadian Association of Research Libraries) van encarregar a la consultora Ithaka S+R la realització d’un estudi per identificar les prioritats dels equips rectorals de les universitats d’aquests països, conèixer les seves expectatives sobre el paper de la biblioteca en la consecució d’aquests objectius i, en definitiva, determinar de quina manera poden contribuir les biblioteques universitàries a assolir les metes de la institució. Amb aquesta finalitat, els autors de l’informe van entrevistar durant el 2021 una seixantena de membres d’equips rectorals i responsables de biblioteques, generalment de forma individual i, en alguns casos, en forma de grup de discussió. La informació obtinguda en aquestes trobades es va completar amb l’anàlisi de diversos documents estratègics.

L’efervescència de les preprints

Remedios Melero
Instituto de Agroquímica y Tecnología de Alimentos (IATA)
Consejo Superior de Investigaciones Científicas (CSIC)


Puebla, Iratxe; Polka, Jessica; Rieger, Oya Y. (2022). Preprints: their evolving role in science communication. ATG LLC (Media). VII, 74 p. Disponible a: <https://doi.org/10.3998/mpub.12412508>. [Consulta: 29/05/2022]. 


El llibre es divideix en nou capítols amb una extensa bibliografia al final de l’obra. El primer comença fent un recorregut històric del sorgiment dels servidors de preprints i del seu ús com alternativa a una ràpida difusió dels avenços científics. Malgrat que, actualment, existeixen nombrosos servidors de preprints, aquesta monografia se centra en BioaRxiv, ArXiv, Research Square i SSRN

El 1991, Paul Ginsparg va crear el repositori de preprints Arxiv a través d’una llista de distribució que va passar al web el 1993. L’SSRN es va crear el 1994 per facilitar la distribució de treballs abans de la seva publicació formal, i el 1997 es va crear Repec amb l’objectiu de millorar la comunicació científica en economia. No obstant, en disciplines de ciències de la vida no van tenir èxit fins al 2013, any en què es van crear el PeeJ Preprints i el Bioarxiv, i va ser el 2016 quan ASAPbio va contribuir a coordinar i conjuminar esforços per a l’adopció de les preprints en matèries de ciències de la vida.

La persistència de les bretxes de gènere en el sistema científic espanyol: anàlisi de les àrees de ciència i tecnologia

Anna Villarroya
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Análisis de la presencia de mujeres en la producción científica española 2014-2018 (2022). Madrid: Fundación Española para la Ciencia y la Tecnología, FECYT. 26 p. Disponible a: <https://www.fecyt.es/es/publicacion/analisis-de-la-presencia-de-mujeres-en-la-produccion-cientifica-espanola-2014-2018>. [Consulta: 20/05/2022].


L’estudi Análisis de la presencia de mujeres en la producción científica española 2014-2018 promogut per la Fundación Española para la Ciencia y la Tecnología (FECYT) aporta un nou prisma d’anàlisi als estudis existents entorn de les desigualtats de gènere que es donen en l’àmbit de la producció científica. En aquest sentit, l’estudi analitza les característiques, l’impacte i la visibilitat internacional de la producció científica en què intervenen investigadores d’institucions espanyoles. Per això, s’han analitzat un total de 304.165 documents d’investigadors i investigadores d’institucions espanyoles publicats entre l’any 2014 i 2018 en revistes indexades a WOS (Web of Science), i s’ha comparat la producció científica en què participen dones respecte d'aquella en què no hi són presents.

Pàgines

Subscriure a RSS - recerca