Un golpe de timón para cambiar la evaluación científica

Ángel M. Delgado-Vázquez
Jefe de Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz


Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].


Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.

El pasado noviembre la Comisión Europea, a través de la Dirección General para la Investigación y la Innovación hizo público un documento que, bajo el sugerente título de Towards a reform of the research assessment system, pone sobre la mesa algunas de las cuestiones sobre las que se viene debatiendo en los últimos tiempos de manera intensa. La principal motivación de este es la necesidad de impulsar una aceleración de los cambios que en el sistema de evaluación científica se vienen produciendo, aunque todavía de manera tímida. El otro objetivo es el de contar con un marco común que pueda de algún modo homogeneizar el modo en que se evalúa a la ciencia, a la par que se abandonan algunas de las prácticas actuales y que vienen siendo objeto continuado de crítica por sus limitaciones y sesgos.

El documento, fruto de las consultas llevadas a cabo con distintos agentes (listado completo en el propio documento), durante 2021, parte de reconocer los cambios profundos que los modos de producción, diseminación y consumo de la investigación, debidos sobre todo a la digitalización y a la adopción de prácticas de ciencia abierta, no están encontrando ecos en la manera en la que el esfuerzo de instituciones, grupos, proyectos e investigadores está siendo medido y recompensado. Literalmente vuelve sobre un aserto que, habiéndose manifestado en numerosas ocasiones, no ha logrado evidenciarse en la suficiente medida en las organizaciones, agencias, instituciones e incluso en los propios individuos sobre los que recae la tarea de evaluar. Literalmente: These major evolutions are not aligned with the metrics that often dominate assessment: the number of publications and citations, and the quantity of publications in journals with high Journal Impact Factor (JIF). The race for publications – the so-called publish-or-perish culture – comes at the expense of quality, integrity, and trust in research. Also, using the JIF as a proxy for quality of research is shown to be inappropriate. Despite this, moving away from the use of JIF is non-trivial because it is easy to use and is engrained in academic culture, conferring prestige to authors and their institutions publishing in high JIF journals; whereas additional efforts may be required by alternatives such as more qualitative assessment methods.

Como puede observarse, se vuelve a poner el foco sobre la necesidad de abandonar la evaluación acumulativa y, con especial énfasis, en las métricas de revistas, las llamadas journal level metrics, con el Journal Impact Factor como principal actor. El documento toma como ejemplo la evaluación curricular individual, en la que la evaluación por pares es un elemento fundamental, y reconoce como necesario partir de la evaluación cualitativa que debe ser complementada, en la medida de lo necesario, del uso responsable de indicadores cuantitativos. Este tipo de evaluaciones debe incorporar, además, otro tipo de resultados, más allá de las publicaciones y reconocer la existencia de tipos de carreras académicas fuera del estándar.

Ahondando en la diversidad, el documento se refiere a tener muy en cuenta, ya no solo las diferentes actividades, productos y roles que contribuyen de manera efectiva al desarrollo de la investigación científica, sino también a las diferencias entre disciplinas, países, modos de hacer ciencia y objetos de evaluación. 

El documento aboga por servir de base para la construcción de un sistema de evaluación que se adapte tanto a estas diferencias como a las distintas necesidades de las instituciones, respetando su autonomía, y que, sin embargo, posibilite la interoperabilidad y facilite, entre otras, la movilidad. 

Tras hacer repaso de las distintas iniciativas y regulaciones puestas en marcha en el seno de la Unión Europea en los últimos años, se hace a continuación una propuesta de acción que consiste en lo básico, en una llamada a las organizaciones encargadas de la financiación, la creación y la evaluación de la investigación, a firmar un acuerdo y formar una alianza que abogue por la aceleración de la adopción de una serie de medidas que van en el camino, antes señalado, de implementar un sistema diferente de evaluación de las actividades y los agentes que hacen posible el avance de la ciencia.

Para ello se proponen una serie de medidas de acompañamiento, como son la dotación económica por parte de gobiernos y organizaciones de financiación de la investigación para poder hacer efectivos dichos cambios; campañas de concienciación y formación para investigadores e instituciones; la participación de alianzas de universidades como campo de pruebas; y el desarrollo de medidas políticas a distintos niveles para salvar las barreras legales.

El acuerdo estaría fundado sobre los principios generales de cumplir con las prácticas y reglas éticas y de integridad; salvaguardar la libertad de la investigación científica; respetar la autonomía de las organizaciones de investigación; y el aseguramiento de la independencia y transparencia de los datos, infraestructuras y criterios necesarios para la evaluación científica, especialmente la recolección de datos, los algoritmos y el cálculo de indicadores, asegurando su control y propiedad por parte de la comunidad investigadora.

En lo que atañe a los criterios y procesos de evaluación, se establecen como básicos los principios de enfocar la evaluación hacia la calidad de los resultados (más que la cantidad), poner el foco en la apertura de la investigación, incluyendo métodos y datos, que los hagan transparentes y reproducibles; llevar a cabo procesos de evaluación por pares donde lo cuantitativo se use solo de manera complementaria cuando sea necesaria, no por defecto; reconocer el impacto de la investigación más allá de la propia comunidad científica, tomando en consideración el impacto en la sociedad, en el ámbito económico o tecnológico, y teniendo presente que estos impactos pueden tardar más o menos en llegar, dependiendo de la disciplina.

En línea con lo anterior, se señala la necesidad de valorar positivamente la diversidad de actividades y prácticas científicas, así como los diferentes resultados que pueden producir y con especial interés sobre aquellas que sustentan la ciencia abierta. Igualmente, reconocer que los investigadores no pueden rendir del mismo modo en todas las parcelas de su actividad. Usar criterios de evaluación y procesos acordes con la variedad de disciplinas, tipos de investigación y momento de la carrera investigadora; valorar y reconocer los distintos papeles que se pueden jugar en la investigación, reconociendo el trabajo en equipo y la colaboración. 

Finalmente, asegurar la igualdad de género y oportunidades y hacer la ciencia más inclusiva, tanto entre quienes la hacen, como en sus resultados.

El documento propone una hoja de ruta para las entidades firmantes que pasa por alinear sus evaluaciones de la investigación a los principios anteriormente enunciados; promover una evaluación de alta calidad, evolutiva, autorreflexiva y usada de forma inteligente; reconocer y recompensar la evaluación por pares; destinar recursos suficientes para esta tarea; y, finalmente, compartir prácticas y experiencias, lecciones aprendidas de este cambio de enfoque de la evaluación.

Lejos de tratarse de uno de esos documentos oficiales que quedan arrinconados en el último cajón del escritorio, en el caso de este se ha seguido un camino que le ha llevado a ser presentado en febrero de 2022 en la Paris Open Science European Conference (OSEC). En este marco se inició un proceso de adhesión a una posible coalición de soporte, habiendo manifestado su interés, hasta mayo pasado, más de 300 organizaciones internacionales, y de países principalmente europeos. 

En España han firmado el documento organismos de primer orden en la evaluación científica nacional como la Agencia Estatal de Investigación o la ANECA, a las que acompañan el Consejo Superior de Investigaciones Científicas (CSIC) y la Conferencia de Rectores de las Universidades Españolas (CRUE). No obstante, son pocas las universidades firmantes (no llegan a dos decenas) y el papel de las agencias y administraciones autonómicas, las sociedades científicas y los organismos privados de financiación es prácticamente testimonial, y a pesar de ello España es el segundo país con más firmantes. 

Es obvio que, aunque es probable que con este documento se dé un nuevo impulso al necesario cambio de modelo en la evaluación científica, también lo es que más de una organización firmante no muestre mayor interés en la propia firma que el de «salir en la foto». 

© Imagen inicial de Brigitte Werner en Pixabay

Oteando lejanías, revelar trayectorias

Lluís Anglada
Director del Àrea de Ciència Oberta
Consorci de Serveis Universitaris de Catalunya (CSUC)


2021 Environmental Scan (2021). ACRL Research Planning and Review Committee. (Chicago, IL): Association of College & Research Libraries. [52 p.]. Disponible en: <https://www.ala.org/acrl/sites/ala.org.acrl/files/content/publications/whitepapers/EnvironmentalScan2021.pdf>. [Consulta: 20/06/2022].

«Top trends in academic libraries: a review of the trends and issues» (2022). College & research libraries news, vol. 83, no. 6 (June), p. 243-256. Disponible en: <https://doi.org/10.5860/crln.83.6.243>. [Consulta: 20/06/2022]. 
Hi ha traducció castellana al blog Universo abierto, «ACRL Principales tendencias en las bibliotecas universitarias 2022». Disponible a: <https://universoabierto.org/2022/06/06/acrl-principales-tendencias-en-las-bibliotecas-universitarias-2022/>. [Consulta: 20/06/2022]. 


Confieso sin demasiada vergüenza la envidia que he tenido de los bibliotecarios norteamericanos que, ante cualquier compromiso para hablar de algún tema profesional, siempre pueden echar mano de uno de los muchos informes que habrá hecho algún comité. Los conocimientos profesionales en Europa están lógicamente más fragmentados y ni llegamos a tanto ni con tanta profundidad. 

Este es el caso del informe y el artículo que reseñamos, un «análisis del entorno» en forma de informe adaptado a artículo de «tendencias dominantes», que cada dos años hace un comité de la ACRL. El Research Planning and Review Committee es «responsable de crear y actualizar un análisis ambiental bienal para la asociación que incluya las tendencias en las bibliotecas académicas, la educación superior y el entorno más amplio, por ejemplo, económico, demográfico o político», para su presentación en la conferencia de la ACRL. El Comité identifica las «10 tendencias principales de la ACRL» para su publicación en forma de artículo cada dos años, es decir, los años en los que no se celebra el congreso de la ACRL. En este Blok, Llarina González Solar reseñó el análisis del entorno del año 2015 y yo mismo el del año 2019.

El rol de la biblioteca en la estrategia de la universidad

Ángel Borrego
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Cooper, Danielle; Hill, Catharine B.; Schonfeld, Roger C. (2022). Aligning the research library to organizational strategy. 25 p. [Washington, DC]: Association of Research Libraries (ARL); [Ottawa]: Canadian Association of Research Libraires (CARL); [New York, NY]: Ithaka S+R. Disponible en: <https://doi.org/10.18665/sr.316656>. [Consulta: 14/06/2022].


Recientemente, las asociaciones de bibliotecas de investigación de Estados Unidos (Association of Research Libraries) y Canadá (Canadian Association of Research Libraries) encargaron a la consultora Ithaka S+R la realización de un estudio para identificar las prioridades de los equipos rectorales de las universidades de estos países, conocer sus expectativas sobre el papel de la biblioteca en la consecución de estos objetivos y, en definitiva, determinar cómo pueden contribuir las bibliotecas universitarias a alcanzar las metas de la institución. Con esta finalidad, los autores del informe entrevistaron durante 2021 a una sesentena de miembros de equipos rectorales y responsables de bibliotecas, generalmente de forma individual y, en algunos casos, en forma de grupo de discusión. La información obtenida en estos encuentros se completó con el análisis de diversos documentos estratégicos.

¿Leen, los jóvenes? ¿Cómo? ¿Dónde? ¿Cuándo? ¿Qué?

Jaume Centelles
Promotor del Espai Llamps i Centelles


Jóvenes y lectura: estudio cualitativo y propuestas. [Por] Laboratorio Contemporáneo de Fomento de la Lectura. [Madrid]: Fundación Germán Sánchez Ruipérez, [2022]. 96 p. (Investigación e informes). Disponible en: <https://fundaciongsr.org/wp-content/uploads/2022/01/Jovenes-y-lectura.pdf>. [Consulta: 05/06/2022].


En el mundo escolar, a menudo nos hacemos muchas preguntas relacionadas con la lectura y la literatura crítica: ¿Somos un país lector? ¿En qué soportes leerán nuestros alumnos cuando sean mayores? ¿Qué deben leer? ¿Quién los acompañará en su camino lector? ¿Leemos por placer? ¿Leemos para compartir vivencias? ¿Leemos por supervivencia? ¿Necesitamos leer? ¿Ficción, o conocimientos? ¿Imaginamos un futuro sin libros? ¿Cómo nos convertimos en lectores? ¿Por azar, o por influencia de la familia y la escuela? ¿La lectura es una cuestión valorada socialmente? ¿Los familiares saben cómo ayudar a los niños para hacerlos más lectores? Etcétera.

La efervescencia de las preprints

Remedios Melero
Instituto de Agroquímica y Tecnología de Alimentos (IATA)
Consejo Superior de Investigaciones Científicas (CSIC)


Puebla, Iratxe; Polka, Jessica; Rieger, Oya Y. (2022). Preprints: their evolving role in science communication. ATG LLC (Media). VII, 74 p. Disponible en: <https://doi.org/10.3998/mpub.12412508>. [Consulta: 29/05/2022]. 


El libro se divide en nueve capítulos con una extensa bibliografía al final de la obra. El primero comienza haciendo un recorrido histórico del surgimiento de los servidores de preprints y de su uso como alternativa a una rápida difusión de los avances científicos. A pesar de existir actualmente numerosos servidores de preprints, esta monografía se centra en BioaRxiv, ArXiv, Research Square y SSRN

En 1991, Paul Ginsparg creó el repositorio de preprints Arxiv a través de una lista de distribución que pasó al web en 1993. El SSRN se creó en 1994 para facilitar la distribución de trabajos antes de su publicación formal, y en 1997 se creó Repec con el objetivo de mejorar la comunicación científica en economía. Sin embargo, en disciplinas de ciencias de la vida no tuvieron éxito hasta 2013, año en el que se crearon el PeeJ Preprints y el Bioarxiv, y fue en 2016 cuando ASAPbio contribuyó a coordinar y aunar esfuerzos para la adopción de las preprints en materias de ciencias de la vida.

Páginas

Suscribirse a blok de bid RSS