avaluació

Un cop de timó per canviar l’avaluació científica

Ángel M. Delgado-Vázquez
Cap del Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz


Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].


Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.

El passat novembre la Comissió Europea, a través de la Direcció General per a la Recerca i la Innovació va fer públic un document que, sota el suggeridor títol de Towards a reform of the research assessment system, posa sobre la taula algunes de les qüestions sobre les quals s’està debatent en els darrers temps de manera intensa. La seva principal motivació és la necessitat d’impulsar una acceleració dels canvis que en el sistema d’avaluació científica s’estan produint, per bé que encara de manera tímida. L’altre objectiu és el de comptar amb un marc comú que pugui d’alguna manera homogeneïtzar la manera com s’avalua la ciència, al mateix temps que s’abandonen algunes de les pràctiques actuals i que estan sent objecte continuat de crítica per les seves limitacions i biaixos.

El document, fruit de les consultes dutes a terme amb diferents agents (llista completa en el mateix document), durant el 2021, parteix de reconèixer els canvis profunds que les maneres de producció, disseminació i consum de la recerca, a causa sobretot de la digitalització i l’adopció de pràctiques de ciència oberta, no estan trobant ressò en la manera en què l’esforç d’institucions, grups, projectes i investigadors està sent mesurat i recompensat. Literalment torna sobre una asserció que, havent-se manifestat en nombroses ocasions, no ha aconseguit evidenciar-se en la suficient mesura en les organitzacions, agències, institucions i fins i tot en els individus mateixos sobre els quals recau la tasca d’avaluar. Literalment: These major evolutions are not aligned with the metrics that often dominate assessment: the number of publications and citations, and the quantity of publications in journals with high Journal Impact Factor (JIF). The race for publications – the so-called publish-or-perish culture – comes at the expense of quality, integrity, and trust in research. Also, using the JIF as a proxy for quality of research is shown to be inappropriate. Despite this, moving away from the use of JIF is non-trivial because it is easy to use and is engrained in academic culture, conferring prestige to authors and their institutions publishing in high JIF journals; whereas additional efforts may be required by alternatives such as more qualitative assessment methods.

Com es pot veure, es torna a posar el focus sobre la necessitat d’abandonar l’avaluació acumulativa i, amb especial èmfasi, en les mètriques de revistes, les anomenades journal level metrics, amb el Journal Impact Factor com a principal actor. El document pren com exemple l’avaluació curricular individual, on l’avaluació d’experts és un element fonamental, i reconeix com a necessari partir de l’avaluació qualitativa que ha de ser complementada, en tant que sigui necessari, de l’ús responsable d’indicadors quantitatius. Aquest tipus d’avaluacions ha d’incorporar, a més, una altra mena de resultats, més enllà de les publicacions i reconèixer l’existència de tipus de carreres acadèmiques fora de l’estàndard.

Aprofundint en la diversitat, el document es refereix a tenir molt en compte, ja no tan sols les diferents activitats, productes i rols que contribueixen de manera efectiva al desenvolupament de la recerca científica, sinó també a les diferències entre disciplines, països, maneres de fer ciència i objectes d’avaluació. 

El document advoca per servir de base per a la construcció d’un sistema d’avaluació que s’adapti tant a aquestes diferències com a les distintes necessitats de les institucions, respectant la seva autonomia, i que, no obstant, possibiliti la interoperabilitat i faciliti, entre d’altres, la mobilitat. 

Després de repassar les distintes iniciatives i regulacions posades en funcionament en el si de la Unió Europea en els darrers anys, es fa a continuació una proposta d’acció que consisteix en el bàsic, en una crida a les organitzacions encarregades del finançament, la creació i l’avaluació de la recerca, a firmar un acord i formar una aliança que advoqui per l’acceleració de l’adopció d’un seguit de mesures que van en el camí, abans assenyalat, d’implementar un sistema diferent d’avaluació de les activitats i els agents que fan possible l’avenç de la ciència.

És per això que es proposen una sèrie de mesures d’acompanyament, com són la dotació econòmica per part de governs i organitzacions de finançament de la recerca per poder fer efectius aquests canvis; campanyes de conscienciació i formació per a investigadors i institucions; la participació d’aliances d’universitats com a camp de proves; i el desenvolupament de mesures polítiques a diferents nivells per salvar les barreres legals.

L’acord estaria fundat sobre els principis generals de complir amb les pràctiques i regles ètiques i d’integritat; salvaguardar la llibertat de la recerca científica; respectar l’autonomia de les organitzacions de recerca; i l’assegurament de la independència i transparència de les dades, infraestructures i criteris necessaris per a l’avaluació científica, especialment la recol·lecció de dades, els algoritmes i el càlcul d’indicadors, assegurant-ne el seu control i propietat per part de la comunitat investigadora.

Pel que fa als criteris i processos d’avaluació, s’estableixen com a bàsics els principis d’enfocar l’avaluació cap a la qualitat dels resultats (més que la quantitat), posar el focus en l’obertura de la recerca, incloent-hi mètodes i dades, que els facin transparents i reproduïbles; dur a terme processos d’avaluació d’experts on el que és quantitatiu s’usi només de manera complementària quan sigui necessària, no per defecte; reconèixer l’impacte de la recerca més enllà de la comunitat científica mateixa, prenent en consideració l’impacte en la societat, en l’àmbit econòmic o tecnològic, i tenint present que aquests impactes poden tardar més o menys a arribar, depenent de la disciplina.

En línia amb això, s’assenyala la necessitat de valorar positivament la diversitat d’activitats i pràctiques científiques, com també els diferents resultats que poden produir i amb especial interès sobre aquelles que sustenten la ciència oberta. Igualment, reconèixer que els investigadors no poden rendir de la mateixa manera en totes les parcel·les de la seva activitat. Usar criteris d’avaluació i processos d’acord amb la varietat de disciplines, tipus de recerca i moment de la carrera investigadora; valorar i reconèixer els diferents papers que es poden jugar en la recerca, reconeixent el treball en equip i la col·laboració. 

Finalment, assegurar la igualtat de gènere i oportunitats i fer la ciència més inclusiva, tant entre els qui la fan, com en els seus resultats.

El document proposa un full de ruta per a les entitats signants que passa per alinear les seves avaluacions de la recerca als principis anteriorment enunciats; promoure una avaluació d’alta qualitat, evolutiva, autoreflexiva i usada de forma intel·ligent; reconèixer i recompensar l’avaluació d’experts; destinar recursos suficients per a aquesta tasca; i, finalment, compartir pràctiques i experiències, lliçons apreses d’aquest canvi d’enfocament de l’avaluació.

Lluny de tractar-se d’un d’aquells documents oficials que queden arraconats a l’últim calaix de l’escriptori, en el cas d’aquest s’ha seguit un camí que l’ha portat a ser presentat el febrer de 2022 a la Paris Open Science European Conference (OSEC). En aquest marc es va iniciar un procés d’adhesió a una possible coalició de suport, havent manifestat el seu interès, fins el passat mes de maig, més de 300 organitzacions internacionals, i de països principalment europeus. 

A Espanya han signat el document organismes de primer ordre en l’avaluació científica nacional com l’Agencia Estatal de Investigación o l’ANECA, a les quals acompanyen el Consejo Superior de Investigaciones Científicas (CSIC) i la Conferencia de Rectores de las Universidades Españolas (CRUE). No obstant, són poques les universitats signants (no arriben a dues desenes) i el paper de les agències i administracions autonòmiques, les societats científiques i els organismes privats de finançament és pràcticament testimonial, i malgrat això Espanya és el segon país amb més signants. 

És obvi que, encara que és probable que amb aquest document es doni un nou impuls al canvi de model necessari en l’avaluació científica, també ho és que més d’una organització signant no mostri major interès en la pròpia signatura que el de «sortir a la foto». 

© Imatge inicial de Brigitte Werner a Pixabay

La persistència de les bretxes de gènere en el sistema científic espanyol: anàlisi de les àrees de ciència i tecnologia

Anna Villarroya
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Análisis de la presencia de mujeres en la producción científica española 2014-2018 (2022). Madrid: Fundación Española para la Ciencia y la Tecnología, FECYT. 26 p. Disponible a: <https://www.fecyt.es/es/publicacion/analisis-de-la-presencia-de-mujeres-en-la-produccion-cientifica-espanola-2014-2018>. [Consulta: 20/05/2022].


L’estudi Análisis de la presencia de mujeres en la producción científica española 2014-2018 promogut per la Fundación Española para la Ciencia y la Tecnología (FECYT) aporta un nou prisma d’anàlisi als estudis existents entorn de les desigualtats de gènere que es donen en l’àmbit de la producció científica. En aquest sentit, l’estudi analitza les característiques, l’impacte i la visibilitat internacional de la producció científica en què intervenen investigadores d’institucions espanyoles. Per això, s’han analitzat un total de 304.165 documents d’investigadors i investigadores d’institucions espanyoles publicats entre l’any 2014 i 2018 en revistes indexades a WOS (Web of Science), i s’ha comparat la producció científica en què participen dones respecte d'aquella en què no hi són presents.

Cap a una avaluació de la ciència més diversa, plural i reflexiva: el paper fonamental de les institucions finançadores de la recerca

Sergio Villanueva Baselga
Responsable de Relacions Internacionals
Cap d’Estudis del grau de Comunicació Audiovisual
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Curry, Stephen; de Rijcke, Sarah; Hatch, Anna; Pillay, Dorsamy; Van der Weijden, Inge; Wilsdon, James (2020). The changing role of funders in responsable research assessment: progress, obstacles and the way ahead. London: Research on Research Institute. 63 p. (RoRI working paper; 3). Disponible a: <https://rori.figshare.com/articles/report/The_changing_role_of_funders_in_responsible_research_assessment_progress_
obstacles_and_the_way_ahead/13227914/1
>. [Consulta: 27/01/2022].


De ben segur que a ningú li sorprèn que afirmi que vivim una època d’acadèmia accelerada, on la pressió per publicar costi el que costi augmenta per moments i en la qual l’existència de temps per pensar i reflexionar és gairebé un mite. Aquesta situació té el seu origen, en gran part, en els barems sota els quals s’avalua la producció científica, que prioritzen quantitat per sobre de la qualitat i la rapidesa per sobre de l’assossec. L’informe The changing role of funders in responsible research assessment: progress, obstacles and the way ahead es fa ressò d’aquesta situació i proposa un nou camí cap a un sistema d’avaluació de la recerca responsable on els finançadors de la ciència tenen un paper clau. 

Una relació en tensió: ciència oberta i avaluació científica a Iberoamèrica

Nancy Diana Gómez
Grupo Tecnodoc
Universidad Carlos III de Madrid (UC3M)


Babini, Dominique; Rovelli, Laura (2020). Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica. Ciudad Autónoma de Buenos Aires: CLACSO; [Madrid]: Fundación Carolina. 184 p. (Ciencia abierta). Disponible a: 
<http://webcarol.antares-e.com/wp-content/uploads/2020/12/Ciencia-Abierta.pdf>. [Consulta: 10/02/2021].


L’objectiu que persegueix l’informe és analitzar l’estat de les recerques i les polítiques científiques en ciència oberta, dades obertes de recerca i accés obert a Iberoamèrica, posant l’accent en la incidència d’aquests paradigmes en l’avaluació científica.
 
Per dur-lo a terme planteja les següents accions:

- Iniciar un debat sobre l’avaluació científica i els indicadors de qualitat considerats a la regió.

- Contribuir a una comparació sistemàtica entre les polítiques i lineaments de la ciència oberta, l’accés obert i dades obertes vinculats a les trajectòries de recerca dels científics.

- Analitzar alternatives, per vincular l’avaluació de les publicacions científiques amb els seus indicadors d’impacte en el context de l’accés obert de cada país.

- Difondre les experiències d’èxit.

Canals de publicació dels resultats de les recerques

Rosângela Schwarz Rodrigues
Depto. Ciência da Informação
Universidade Federal de Santa Catarina


Aspesi, Claudio; Allen, Nicole; Crow, Raym; Joseph, Heather; McArthur, Joseph; Shockey, Nick (2020). 2020 update: SPARC landscape analysis and roadmap for action. [Washington, DC.]: SPARC. 38 p. Disponible a: <https://doi.org/10.31229/osf.io/2pwft>. [Consulta: 02/12/2020].

Aspesi, Claudio; Allen, Nicole; Crow, Raym; Daugherty, Shawn; Joseph, Heather; McArthur, Joseph; Shockey, Nick (2019). Landscape analysis: the changing academic publishing industry-implications for academic institutions. [Washington, DC.]: SPARC. 53 p. Disponible a: <https://doi.org/10.31229/osf.io/58yhb>. [Consulta: 02/12/2020].


L’Scholarly Publishing and Academic Resources Coalition (SPARC) és una coalició global que pretén democratitzar l’accés al coneixement i augmentar el retorn de les inversions en educació mitjançant l’accés obert als resultats de recerca i a materials didàctics. Els informes que generen són una veu que representa els interessos dels finançadors i de l’acadèmia. 

Claudio Aspesi, juntament amb d’altres col·legues, presenta un debat crucial sobre la comunicació de la ciència amb un enfocament necessari i poc corrent que considera el control simultani dels índexs d’avaluació i de les publicacions que els alimenten, com també les implicacions d’això sobre el sistema de reconeixement i avaluació de l’activitat científica. 

Pàgines

Subscriure a RSS - avaluació