evaluación

Un golpe de timón para cambiar la evaluación científica

Ángel M. Delgado-Vázquez
Jefe de Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz


Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].


Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.

El pasado noviembre la Comisión Europea, a través de la Dirección General para la Investigación y la Innovación hizo público un documento que, bajo el sugerente título de Towards a reform of the research assessment system, pone sobre la mesa algunas de las cuestiones sobre las que se viene debatiendo en los últimos tiempos de manera intensa. La principal motivación de este es la necesidad de impulsar una aceleración de los cambios que en el sistema de evaluación científica se vienen produciendo, aunque todavía de manera tímida. El otro objetivo es el de contar con un marco común que pueda de algún modo homogeneizar el modo en que se evalúa a la ciencia, a la par que se abandonan algunas de las prácticas actuales y que vienen siendo objeto continuado de crítica por sus limitaciones y sesgos.

El documento, fruto de las consultas llevadas a cabo con distintos agentes (listado completo en el propio documento), durante 2021, parte de reconocer los cambios profundos que los modos de producción, diseminación y consumo de la investigación, debidos sobre todo a la digitalización y a la adopción de prácticas de ciencia abierta, no están encontrando ecos en la manera en la que el esfuerzo de instituciones, grupos, proyectos e investigadores está siendo medido y recompensado. Literalmente vuelve sobre un aserto que, habiéndose manifestado en numerosas ocasiones, no ha logrado evidenciarse en la suficiente medida en las organizaciones, agencias, instituciones e incluso en los propios individuos sobre los que recae la tarea de evaluar. Literalmente: These major evolutions are not aligned with the metrics that often dominate assessment: the number of publications and citations, and the quantity of publications in journals with high Journal Impact Factor (JIF). The race for publications – the so-called publish-or-perish culture – comes at the expense of quality, integrity, and trust in research. Also, using the JIF as a proxy for quality of research is shown to be inappropriate. Despite this, moving away from the use of JIF is non-trivial because it is easy to use and is engrained in academic culture, conferring prestige to authors and their institutions publishing in high JIF journals; whereas additional efforts may be required by alternatives such as more qualitative assessment methods.

Como puede observarse, se vuelve a poner el foco sobre la necesidad de abandonar la evaluación acumulativa y, con especial énfasis, en las métricas de revistas, las llamadas journal level metrics, con el Journal Impact Factor como principal actor. El documento toma como ejemplo la evaluación curricular individual, en la que la evaluación por pares es un elemento fundamental, y reconoce como necesario partir de la evaluación cualitativa que debe ser complementada, en la medida de lo necesario, del uso responsable de indicadores cuantitativos. Este tipo de evaluaciones debe incorporar, además, otro tipo de resultados, más allá de las publicaciones y reconocer la existencia de tipos de carreras académicas fuera del estándar.

Ahondando en la diversidad, el documento se refiere a tener muy en cuenta, ya no solo las diferentes actividades, productos y roles que contribuyen de manera efectiva al desarrollo de la investigación científica, sino también a las diferencias entre disciplinas, países, modos de hacer ciencia y objetos de evaluación. 

El documento aboga por servir de base para la construcción de un sistema de evaluación que se adapte tanto a estas diferencias como a las distintas necesidades de las instituciones, respetando su autonomía, y que, sin embargo, posibilite la interoperabilidad y facilite, entre otras, la movilidad. 

Tras hacer repaso de las distintas iniciativas y regulaciones puestas en marcha en el seno de la Unión Europea en los últimos años, se hace a continuación una propuesta de acción que consiste en lo básico, en una llamada a las organizaciones encargadas de la financiación, la creación y la evaluación de la investigación, a firmar un acuerdo y formar una alianza que abogue por la aceleración de la adopción de una serie de medidas que van en el camino, antes señalado, de implementar un sistema diferente de evaluación de las actividades y los agentes que hacen posible el avance de la ciencia.

Para ello se proponen una serie de medidas de acompañamiento, como son la dotación económica por parte de gobiernos y organizaciones de financiación de la investigación para poder hacer efectivos dichos cambios; campañas de concienciación y formación para investigadores e instituciones; la participación de alianzas de universidades como campo de pruebas; y el desarrollo de medidas políticas a distintos niveles para salvar las barreras legales.

El acuerdo estaría fundado sobre los principios generales de cumplir con las prácticas y reglas éticas y de integridad; salvaguardar la libertad de la investigación científica; respetar la autonomía de las organizaciones de investigación; y el aseguramiento de la independencia y transparencia de los datos, infraestructuras y criterios necesarios para la evaluación científica, especialmente la recolección de datos, los algoritmos y el cálculo de indicadores, asegurando su control y propiedad por parte de la comunidad investigadora.

En lo que atañe a los criterios y procesos de evaluación, se establecen como básicos los principios de enfocar la evaluación hacia la calidad de los resultados (más que la cantidad), poner el foco en la apertura de la investigación, incluyendo métodos y datos, que los hagan transparentes y reproducibles; llevar a cabo procesos de evaluación por pares donde lo cuantitativo se use solo de manera complementaria cuando sea necesaria, no por defecto; reconocer el impacto de la investigación más allá de la propia comunidad científica, tomando en consideración el impacto en la sociedad, en el ámbito económico o tecnológico, y teniendo presente que estos impactos pueden tardar más o menos en llegar, dependiendo de la disciplina.

En línea con lo anterior, se señala la necesidad de valorar positivamente la diversidad de actividades y prácticas científicas, así como los diferentes resultados que pueden producir y con especial interés sobre aquellas que sustentan la ciencia abierta. Igualmente, reconocer que los investigadores no pueden rendir del mismo modo en todas las parcelas de su actividad. Usar criterios de evaluación y procesos acordes con la variedad de disciplinas, tipos de investigación y momento de la carrera investigadora; valorar y reconocer los distintos papeles que se pueden jugar en la investigación, reconociendo el trabajo en equipo y la colaboración. 

Finalmente, asegurar la igualdad de género y oportunidades y hacer la ciencia más inclusiva, tanto entre quienes la hacen, como en sus resultados.

El documento propone una hoja de ruta para las entidades firmantes que pasa por alinear sus evaluaciones de la investigación a los principios anteriormente enunciados; promover una evaluación de alta calidad, evolutiva, autorreflexiva y usada de forma inteligente; reconocer y recompensar la evaluación por pares; destinar recursos suficientes para esta tarea; y, finalmente, compartir prácticas y experiencias, lecciones aprendidas de este cambio de enfoque de la evaluación.

Lejos de tratarse de uno de esos documentos oficiales que quedan arrinconados en el último cajón del escritorio, en el caso de este se ha seguido un camino que le ha llevado a ser presentado en febrero de 2022 en la Paris Open Science European Conference (OSEC). En este marco se inició un proceso de adhesión a una posible coalición de soporte, habiendo manifestado su interés, hasta mayo pasado, más de 300 organizaciones internacionales, y de países principalmente europeos. 

En España han firmado el documento organismos de primer orden en la evaluación científica nacional como la Agencia Estatal de Investigación o la ANECA, a las que acompañan el Consejo Superior de Investigaciones Científicas (CSIC) y la Conferencia de Rectores de las Universidades Españolas (CRUE). No obstante, son pocas las universidades firmantes (no llegan a dos decenas) y el papel de las agencias y administraciones autonómicas, las sociedades científicas y los organismos privados de financiación es prácticamente testimonial, y a pesar de ello España es el segundo país con más firmantes. 

Es obvio que, aunque es probable que con este documento se dé un nuevo impulso al necesario cambio de modelo en la evaluación científica, también lo es que más de una organización firmante no muestre mayor interés en la propia firma que el de «salir en la foto». 

© Imagen inicial de Brigitte Werner en Pixabay

La persistencia de las brechas de género en el sistema científico español: análisis de las áreas de ciencia y tecnología

Anna Villarroya
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Análisis de la presencia de mujeres en la producción científica española 2014-2018 (2022). Madrid: Fundación Española para la Ciencia y la Tecnología, FECYT. 26 p. Disponible en: <https://www.fecyt.es/es/publicacion/analisis-de-la-presencia-de-mujeres-en-la-produccion-cientifica-espanola-2014-2018>. [Consulta: 20/05/2022].


El estudio Análisis de la presencia de mujeres en la producción científica española 2014-2018 promovido por la Fundación Española para la Ciencia y la Tecnología (FECYT) aporta un nuevo prisma de análisis a los estudios existentes en torno a las desigualdades de género que se dan en el ámbito de la producción científica. En este sentido, el estudio analiza las características, el impacto y la visibilidad internacional de la producción científica en donde intervienen investigadores de instituciones españolas. Para ello, se han analizado un total de 304.165 documentos de investigadores e investigadoras de instituciones españolas publicados entre el año 2014 y 2018 en revistas indexadas en WOS (Web of Science), y se ha comparado la producción científica en la que participan mujeres respecto a aquella en la que no están presentes.

Hacia una evaluación de la ciencia más diversa, plural y reflexiva: el papel fundamental de las instituciones financiadoras de la investigación

Sergio Villanueva Baselga
Responsable de Relaciones Internacionales
Jefe de Estudios del grado de Comunicación Audiovisual
Facultad de Información y Medios Audiovisuales
Universitat de Barcelona (UB)


Curry, Stephen; de Rijcke, Sarah; Hatch, Anna; Pillay, Dorsamy; Van der Weijden, Inge; Wilsdon, James (2020). The changing role of funders in responsable research assessment: progress, obstacles and the way ahead. London: Research on Research Institute. 63 p. (RoRI working paper; 3). Disponible en: <https://rori.figshare.com/articles/report/The_changing_role_of_funders_in_responsible_research_assessment_progress_
obstacles_and_the_way_ahead/13227914/1
>. [Consulta: 27/01/2022].


Seguro que a nadie le sorprende que afirme que vivimos una época de academia acelerada, donde la presión por publicar a toda costa aumenta por momentos y en la que la existencia de tiempo para pensar y reflexionar es casi un mito. Esta situación tiene su origen, en gran parte, en los baremos bajos los cuales se evalúa la producción científica, que priorizan cantidad por encima de la calidad y la rapidez por encima del sosiego. El informe The changing role of funders in responsible research assessment: progress, obstacles and the way ahead se hace eco de esta situación y propone un nuevo camino hacia un sistema de evaluación de la investigación responsable en el que los financiadores de la ciencia tienen un papel clave. 

Una relación en tensión: ciencia abierta y evaluación científica en Iberoamérica

Nancy Diana Gómez
Grupo Tecnodoc
Universidad Carlos III de Madrid (UC3M)


Babini, Dominique; Rovelli, Laura (2020). Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica. Ciudad Autónoma de Buenos Aires: CLACSO; [Madrid]: Fundación Carolina. 184 p. (Ciencia abierta). Disponible en: 
<http://webcarol.antares-e.com/wp-content/uploads/2020/12/Ciencia-Abierta.pdf>. [Consulta: 10/02/2021].


El objetivo que persigue el informe es analizar el estado de las investigaciones y las políticas científicas en ciencia abierta, datos abiertos de investigación y acceso abierto en Iberoamérica, haciendo hincapié en la incidencia de estos paradigmas en la evaluación científica.
 
Para llevarlo a cabo plantea las siguientes acciones:

- Iniciar un debate sobre la evaluación científica y los indicadores de calidad considerados en la región.

- Contribuir a una comparación sistemática entre las políticas y lineamientos de la ciencia abierta, el acceso abierto y datos abiertos vinculados a las trayectorias de investigación de los científicos.

- Analizar alternativas, para vincular la evaluación de las publicaciones científicas con sus indicadores de impacto en el contexto del acceso abierto de cada país.

- Difundir las experiencias exitosas.

Canales de publicación de los resultados de las investigaciones

Rosângela Schwarz Rodrigues
Depto. Ciência da Informação
Universidade Federal de Santa Catarina


Aspesi, Claudio; Allen, Nicole; Crow, Raym; Joseph, Heather; McArthur, Joseph; Shockey, Nick (2020). 2020 update: SPARC landscape analysis and roadmap for action. [Washington, DC.]: SPARC. 38 p. Disponible en: <https://doi.org/10.31229/osf.io/2pwft>. [Consulta: 02/12/2020].

Aspesi, Claudio; Allen, Nicole; Crow, Raym; Daugherty, Shawn; Joseph, Heather; McArthur, Joseph; Shockey, Nick (2019). Landscape analysis: the changing academic publishing industry-implications for academic institutions. [Washington, DC.]: SPARC. 53 p. Disponible en: <https://doi.org/10.31229/osf.io/58yhb>. [Consulta: 02/12/2020].


La Scholarly Publishing and Academic Resources Coalition (SPARC) es una coalición global que pretende democratizar el acceso al conocimiento y aumentar el retorno de las inversiones en educación por medio del acceso abierto a los resultados de investigación y a materiales didácticos. Los informes que generan son una voz que representa los intereses de los financiadores y de la academia. 

Claudio Aspesi, junto con otros colegas, presenta un debate crucial sobre la comunicación de la ciencia con un enfoque necesario y poco corriente que considera el control simultáneo de los índices de evaluación y de las publicaciones que los alimentan, así como las implicaciones de esto sobre el sistema de reconocimiento y evaluación de la actividad científica. 

Páginas

Suscribirse a RSS - evaluación