avaluació

El gran repte del canvi d’avaluació científica en el context de la ciència oberta europea

Núria Bautista-Puig
University of Gävle (Gävle, Suècia), Universidad Carlos III de Madrid
@NuriaBautista7

Eva Méndez
Universidad Carlos III de Madrid
@evamen


Towards a reform of the research assessment system: scoping report (2021). European Commission. Directorate General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible a: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 04/07/2021]. 

Hessels, Laurens K.; Koens, Lionne; Diederen, Paul J.M. (2021). Perspectives on the future of open science: effects of global variation in open science practices on the European research System. Luxembourg: Publications Office of the European Union. 49 p. Disponible a: <https://data.europa.eu/doi/10.2777/054281>. [Consulta: 04/07/2021].


La ciència oberta implica una nova forma de concebre la investigació que es basa en el treball col·laboratiu, en l'obertura i la transparència de totes les fases de la recerca, així com en una millor aproximació de la ciència a la societat. Implica, o hauria d’implicar, una transformació radical i un canvi sistèmic en la forma en què es realitza, finança, es comparteix i s’avalua la investigació, en un procés més eficient, transparent i sensible als canvis socials globals. En els últims set o vuit anys, la Comissió Europea ha alineat els seus esforços en aquesta direcció creant grups de treball específics, informes i reflexions, així com diverses polítiques i recomanacions que constitueixen petits passos per avançar cap aquest nou paradigma. 

L’any 2019, l’Institut Rahenau, juntament amb la Comissió, va publicar l’informe Perspectives on the future of open science (2019) on es presenta com els diferents nivells i mitjans d'implementació de polítiques de ciència oberta en els dos països amb les majors inversions en R+D (Estats Units i Xina) poden afectar les oportunitats europees per implementar l’open science, així com les conseqüències que se’n poden derivar al sistema europeu de ciència i innovació. A l’informe, s’analitzen tres grans dimensions de la ciència oberta (accés obert, dades obertes i col·laboració oberta) i s’identifiquen onze aspectes clau o facilitadors i vuit obstacles. Entre els aspectes que facilitaran la implementació, podem destacar, per exemple: donar crèdit a les pràctiques de ciència oberta, integrar la ciència oberta en les infraestructures, augmentar la sensibilització i el seu reconeixement, etc. I entre els aspectes o factors que obstaculitzen el seu desenvolupament podem destacar la falta de reconeixement o la incertesa sobre les limitacions legals (propietat intel·lectual, protecció de la privacitat, etc.). Les barreres s’agrupen al voltant de tres factors clau: sensibilització, informació i coneixement; incentius i desincentius per als investigadors; i l’adaptació del sistema a través de la inversió en infraestructures.

L’informe considera dos factors més que poden influir en les pràctiques de ciència oberta en els territoris que cobreix l’informe (Xina i Estats Units) i Europa: 1) el grau de tensió geopolítica; i 2) els mecanismes de coordinació de la ciència en la societat. Es plantegen així quatre escenaris diferents: 

  1. Defensa (tensió alta entre països i finançament en ciència enfocada a interessos empresarials, ocasionant que no s’implementin polítiques de ciència oberta pels alts costs).
     
  2. Creixement (la situació geopolítica és harmoniosa, però segueix havent-hi competició entre la ciència i la societat i la ciència oberta continua centrada en la cooperació amb les empreses).
     
  3. Missions (els governs prenen la iniciativa per abordar grans reptes de la societat i la ciència oberta es persegueix per accelerar la recerca i augmentar l'eficiència i l'eficàcia de la despesa pública de recerca).
     
  4. Prosperitat (baixa tensió geopolítica i l'enfocament a resoldre els reptes globals de la societat és òptim per al desenvolupament de la ciència oberta). 

A través d’aquests escenaris, els autors de l’informe prediuen fins a quin punt aquests països implementen impulsos i eliminen els obstacles per proporcionar una infraestructura científica oberta, ofereixen incentius com també creen oportunitats de sensibilització i formació per als investigadors. L’estudi està guiat per tres preguntes d’investigació:
 

  1. Com varia la combinació d’incentius i barreres per a l'adopció de pràctiques de ciència oberta a les tres regions (Europa, Estats Units, Xina). L’informe analitza de forma exhaustiva estímuls i obstacles comparant les tres regions analitzades. Es destaca que els investigadors xinesos tenen preferència per la via daurada d’accés obert i la seva política d’open data està centralitzada. Els Estats Units tenen un major nombre de repositoris (predominant la via verda) i amb un rol més rellevant dels mandats institucionals; finalment, a Europa l’accés híbrid de les publicacions s’ha convertit en la situació bàsica, i totes les polítiques europees d’open science segueixen el discurs de compartir, de la forma més immediata possible, tots els resultats d’investigació.
     
  2. La segona pregunta d’investigació se centra en els futurs escenaris possibles, combinant estímuls i barreres, que influeixen en les pràctiques de ciència oberta.
     
  3. L’última pregunta que condueix l’estudi se centra en els efectes positius i negatius de la ciència oberta en la qualitat de la investigació i en l’impacte social o la productivitat. Es realitza una comparativa basant-se en els quatre escenaris proposats i les recomanacions possibles de ciència oberta. Així, per exemple, a l’escenari de les Missions, l’estratègia política s’enfocaria a un nou acord institucional i de governança, inversions públiques massives i polítiques orientades a la missió, així com incentivar la cooperació i el foment de l’open science a través d’infraestructures i plataformes europees i d’incentius per col·laborar i compartir.

A l’informe també es remarca que la ciència oberta no és un objectiu en si mateix, sinó que ha de donar suport als objectius polítics més amplis de defensa i seguretat, competitivitat i creixement econòmic, sostenibilitat i salut o prosperitat general, així com respectar les diferències culturals. Finalment, es proposen una sèrie de recomanacions polítiques: la creació d'un perfil distintiu de la ciència europea; la coordinació d’inversions per estandarditzar dades i la capacitat de curar-les o preservar-les; com també inversions en el control de qualitat; desenvolupament i promoció de noves maneres d'incentivar i premiar els investigadors; estimulació de la col·laboració oberta amb una diversitat de socis no científics. Aquest informe prospectiu denota que, en el context europeu, la ciència oberta es troba en un procés de transició on el sistema d’incentius i l’avaluació de la ciència continuen sent el gran repte. 

En aquesta direcció, la Comissió Europea va publicar a final de l’any passat, i en aquest cas realitzat per la mateixa Unitat d’open science de la Comissió, un informe de l’abast de la reforma d’avaluació de la investigació a Europa, on es reflecteixen les postures de diversos agents implicats que van participar en les reflexions que recull l’informe. Towards a reform of the research assessment system té per objectiu establir un marc de referència per reformar el sistema actual d’avaluació de la recerca, particularment a Europa, i que afecta les fases clau de la carrera acadèmica/investigadora: reclutament, promoció i reconeixement. El document presenta les conclusions d’una sèrie de consultes en profunditat realitzades de març a novembre de 2021 amb 130 agents (tant europeus com internacionals) als quals se’ls presenta un enfocament coordinat, on la Comissió actua com a facilitadora, creant una «coalició», tant d’institucions que realitzen la investigació, com de les que financen, que són clau a l’hora d’implementar canvis que accelerin la transició cap a un nou sistema d’avaluació dels investigadors i de la investigació.  

L’informe parteix del fet que el sistema actual d’avaluació de la ciència es basa en mètodes inapropiats (per exemple, nombre de publicacions, Journal Impact Factor (JIF)) per avaluar la qualitat, el rendiment i l’impacte real dels seus investigadors, la qual cosa obstaculitza el progrés de la ciència oberta. En aquest sentit, es busca promoure una valoració més qualitativa, amb un ús més responsable dels indicadors bibliomètrics, cosa que implica, de forma imprescindible, un canvi sistèmic i cultural, allò que nosaltres denominem un «canvi de paradigma» cap a un sistema en què es promogui una valoració més qualitativa i es reconegui la multidimensionalitat del sistema d’avaluació a través dels mèrits intrínsecs, o de rendiment (mentoring, rols de lideratge, divulgació de la ciència, etc.). El fi últim d’aquest sistema d’avaluació renovat que propugna l’estudi de situació pretén aconseguir l'excel·lència i l'impacte i reforçar encara més la confiança de la societat en el sistema de recerca i innovació i en els seus resultats.

El document també identifica objectius i remarca principis bàsics (l’European code of conduct of research integrity, conegut com el codi ètic de l’ALLEA, o les recomanacions recollides en declaracions i manifests com els de DORA), així com un pla d’implementació amb accions entre organitzacions investigadores i/o finançadores per transformar aquests coneixements en canvis efectius.
Segons aquest informe, prolegomen d'un document de compromís que la Comissió espera llançar la tardor del 2022, les accions en les quals es comprometrien els signants del document són les següents:

  1. Treballar per alinear l’avaluació de la investigació amb principis i declaracions (per ex. DORA) per desenvolupar uns criteris d’avaluació tant d’investigadors com de les seves propostes d’investigació, on es reconegui i es recompensi la qualitat i l’impacte. 
     
  2. Promoure una avaluació d'alta qualitat que sigui evolutiva, autoreflexiva i utilitzada de forma sensata per evitar la duplicació de processos i costos.
     
  3. Reconèixer el treball de peer review com un servei i un valor desenvolupat pels investigadors.
     
  4. Assignar els recursos necessaris per crear infraestructures de suport i crear la motivació i sensibilització necessàries, etc.
     
  5. Compartir informació, pràctiques i experiència entre les organitzacions de recerca per facilitar l'aprenentatge mutu, com també crear guies i procediments comuns, que transcendeixin els models de valoració, etc. 

Els dos informes mostren que ens trobem encara en un (ja massa llarg) procés de transició cap a la ciència oberta, sent la Comissió Europea un actor clau per al progrés d’aquestes polítiques. En aquest sentit, en el primer informe es fixen clarament els àmbits i els reptes de la ciència oberta i els objectius a assolir, mentre que el segon, se centra en la clau de les barreres per la ciència oberta: el sistema d’avaluació, i proposa una sèrie d’accions per dissenyar enfocaments d’avaluació adequats, que incentivin la ciència en obert. Aquest últim informe promou un canvi en el sistema d’avaluació de la ciència i dels investigadors i recorda l’informe final de l’Open Science Policy Platform (OSPP) (on estaven representats molts dels agents que ara reflexionen sobre l’avaluació), destacant que hem de passar de «recomanacions», «conceptualitzacions» o principis a una implementació més pràctica (els PCI, Practical Commitments for Implementation de l’OSPP), amb accions concretes i amb una direcció comuna per part de tots els agents implicats per aconseguir una ciència més oberta i la reforma del sistema d’avaluació que ho faci possible. Constitueixen un bon punt de partida i marc de referència on, a més, els últims esdeveniments (la Paris Call on Research Assessment de 2022; la Recomanació de la UNESCO) demostren que els canvis en el sistema d’avaluació i la ciència oberta són ja, i seguiran sent, el tema fonamental per a la implementació de la ciència en obert, en els pròxims anys. 

© Imatge inicial d’Analogicus a Pixabay

Un cop de timó per canviar l’avaluació científica

Ángel M. Delgado-Vázquez
Cap del Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz


Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].


Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.

El passat novembre la Comissió Europea, a través de la Direcció General per a la Recerca i la Innovació va fer públic un document que, sota el suggeridor títol de Towards a reform of the research assessment system, posa sobre la taula algunes de les qüestions sobre les quals s’està debatent en els darrers temps de manera intensa. La seva principal motivació és la necessitat d’impulsar una acceleració dels canvis que en el sistema d’avaluació científica s’estan produint, per bé que encara de manera tímida. L’altre objectiu és el de comptar amb un marc comú que pugui d’alguna manera homogeneïtzar la manera com s’avalua la ciència, al mateix temps que s’abandonen algunes de les pràctiques actuals i que estan sent objecte continuat de crítica per les seves limitacions i biaixos.

La persistència de les bretxes de gènere en el sistema científic espanyol: anàlisi de les àrees de ciència i tecnologia

Anna Villarroya
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Análisis de la presencia de mujeres en la producción científica española 2014-2018 (2022). Madrid: Fundación Española para la Ciencia y la Tecnología, FECYT. 26 p. Disponible a: <https://www.fecyt.es/es/publicacion/analisis-de-la-presencia-de-mujeres-en-la-produccion-cientifica-espanola-2014-2018>. [Consulta: 20/05/2022].


L’estudi Análisis de la presencia de mujeres en la producción científica española 2014-2018 promogut per la Fundación Española para la Ciencia y la Tecnología (FECYT) aporta un nou prisma d’anàlisi als estudis existents entorn de les desigualtats de gènere que es donen en l’àmbit de la producció científica. En aquest sentit, l’estudi analitza les característiques, l’impacte i la visibilitat internacional de la producció científica en què intervenen investigadores d’institucions espanyoles. Per això, s’han analitzat un total de 304.165 documents d’investigadors i investigadores d’institucions espanyoles publicats entre l’any 2014 i 2018 en revistes indexades a WOS (Web of Science), i s’ha comparat la producció científica en què participen dones respecte d'aquella en què no hi són presents.

Cap a una avaluació de la ciència més diversa, plural i reflexiva: el paper fonamental de les institucions finançadores de la recerca

Sergio Villanueva Baselga
Responsable de Relacions Internacionals
Cap d’Estudis del grau de Comunicació Audiovisual
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Curry, Stephen; de Rijcke, Sarah; Hatch, Anna; Pillay, Dorsamy; Van der Weijden, Inge; Wilsdon, James (2020). The changing role of funders in responsable research assessment: progress, obstacles and the way ahead. London: Research on Research Institute. 63 p. (RoRI working paper; 3). Disponible a: <https://rori.figshare.com/articles/report/The_changing_role_of_funders_in_responsible_research_assessment_progress_
obstacles_and_the_way_ahead/13227914/1
>. [Consulta: 27/01/2022].


De ben segur que a ningú li sorprèn que afirmi que vivim una època d’acadèmia accelerada, on la pressió per publicar costi el que costi augmenta per moments i en la qual l’existència de temps per pensar i reflexionar és gairebé un mite. Aquesta situació té el seu origen, en gran part, en els barems sota els quals s’avalua la producció científica, que prioritzen quantitat per sobre de la qualitat i la rapidesa per sobre de l’assossec. L’informe The changing role of funders in responsible research assessment: progress, obstacles and the way ahead es fa ressò d’aquesta situació i proposa un nou camí cap a un sistema d’avaluació de la recerca responsable on els finançadors de la ciència tenen un paper clau. 

Una relació en tensió: ciència oberta i avaluació científica a Iberoamèrica

Nancy Diana Gómez
Grupo Tecnodoc
Universidad Carlos III de Madrid (UC3M)


Babini, Dominique; Rovelli, Laura (2020). Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica. Ciudad Autónoma de Buenos Aires: CLACSO; [Madrid]: Fundación Carolina. 184 p. (Ciencia abierta). Disponible a: 
<http://webcarol.antares-e.com/wp-content/uploads/2020/12/Ciencia-Abierta.pdf>. [Consulta: 10/02/2021].


L’objectiu que persegueix l’informe és analitzar l’estat de les recerques i les polítiques científiques en ciència oberta, dades obertes de recerca i accés obert a Iberoamèrica, posant l’accent en la incidència d’aquests paradigmes en l’avaluació científica.
 
Per dur-lo a terme planteja les següents accions:

- Iniciar un debat sobre l’avaluació científica i els indicadors de qualitat considerats a la regió.

- Contribuir a una comparació sistemàtica entre les polítiques i lineaments de la ciència oberta, l’accés obert i dades obertes vinculats a les trajectòries de recerca dels científics.

- Analitzar alternatives, per vincular l’avaluació de les publicacions científiques amb els seus indicadors d’impacte en el context de l’accés obert de cada país.

- Difondre les experiències d’èxit.

Pàgines

Subscriure a RSS - avaluació