Lluís Anglada

Hacia una nueva cultura de la evaluación: experiencias institucionales en el marco de CoARA

Ángel Borrego
Facultad de Información y Medios Audiovisuales
Universidad de Barcelona (UB)

Lluís Anglada 
Consorcio de Servicios Universitarios de Cataluña (CSUC)
ORCID Id 0000-0002-6384-4927


Reformant l’avaluació de la recerca per afavorir la qualitat i l’impacte científic: Experiències i tendències en el marc de CoARA. (2025). Barcelona: Instituto de Bioingeniería de Cataluña. 3 vídeos. Disponible en:: <https://www.youtube.com/playlist?list=PLztiU5moh1RPvMAmDVbuwW1fNq2zawSFF>. Presentaciones disponibles en<https://zenodo.org/communities/jornadacoaracatalunya/records>. 


La Coalition for Advancing Research Assessment (CoARA) agrupa un amplio colectivo de organizaciones comprometidas con la reforma de los sistemas de evaluación de la investigación. Esta iniciativa surge en un contexto de creciente consenso sobre la necesidad de superar los modelos de evaluación basados principalmente en indicadores cuantitativos (como el factor de impacto o el número de publicaciones), con tal de impulsar una valoración más cualitativa, centrada en la diversidad de las contribuciones científicas y en prácticas responsables. Más de 700 organizaciones de investigación, entidades financiadoras, agencias de evaluación y sociedades científicas han adoptado los principios recogidos en el Agreement on Reforming Research Assessment (https://coara.eu/agreement/the-agreement-full-text/), publicado en julio de 2022.

El jueves 17 de julio de 2025, el Instituto de Bioingeniería de Cataluña (IBEC) acogió la jornada “Reformando la evaluación de la investigación para favorecer la calidad y el impacto científico: experiencias y tendencias en el marco de CoARA” (https://events.ibecbarcelona.eu/reformingresearchassessment), un espacio en el que diversas instituciones catalanas compartieron sus experiencias en la implementación de los principios de CoARA, con el objetivo de avanzar hacia un sistema de evaluación más justo e integral.

La actividad se estructuró en tres partes. La primera estuvo dedicada a la presentación de cinco proyectos financiados en el marco de la primera convocatoria del CoARA Cascade Funding Programme, un mecanismo de apoyo económico destinado a promover transformaciones institucionales en las prácticas de evaluación. Este programa contempla dos convocatorias (abril-junio de 2024 y febrero-abril de 2025) y subvenciona proyectos de un año en tres modalidades: intercambio de conocimiento (teaming projects), pruebas piloto (institutional pilot projects) y cambios institucionales (institutional change projects).

En esta sesión se presentaron los proyectos liderados por diferentes instituciones. La UOC se centró en consolidar la estrategia institucional de ciencia abierta; la Universitat Ramon Llull revisó sus prácticas de evaluación para identificar las dimensiones clave del nuevo paradigma (ampliación del concepto de investigación, inclusión de narrativas, transparencia, etc.); la UAB aplicó los criterios CoARA en una convocatoria interna de ayudas postdoctorales; el IBEC desarrolló un proyecto conjunto en colaboración con la Université de Carthage (Túnez); y el Centro de Regulación Genómica incorporó narrativas de impacto en sus procesos de evaluación. En general, todas las intervenciones coincidieron en la necesidad de sensibilizar al personal investigador, dada la falta de conocimiento o el escepticismo respecto a la propuesta de reforma. También se destacó la importancia de formar adecuadamente a las personas evaluadoras que deberán aplicar los nuevos criterios, así como la dificultad de hacer llegar estas iniciativas a todo el colectivo investigador, a menudo sobrecargado de tareas.

La segunda parte de la jornada puso el foco en el desarrollo de planes de acción institucionales. Se presentaron las estrategias de tres centros de investigación (ISGlobal, CREAF e IDIBAPS) y de dos universidades (UPC y UB). Los ponentes de los centros destacaron la necesidad de un compromiso institucional firme, con la implicación activa de las direcciones, para que los principios de CoARA se integren transversalmente en todas las políticas internas. También remarcaron la conveniencia de reconocer formalmente el trabajo de las personas evaluadoras. Las universidades, por su parte, señalaron la complejidad de aplicar criterios cualitativos en instituciones con gran diversidad disciplinaria, la necesidad de elaborar rúbricas específicas y la exigencia de disponer de tiempo para implementar los cambios de forma efectiva.

Finalmente, la mesa redonda de clausura ofreció una visión más amplia con la participación de agentes clave del sistema catalán de investigación. AQU Catalunya abordó la integración de los principios de CoARA en los procesos de acreditación. La Fundación "la Caixa" expresó su interés por el impacto social de la investigación que financian. La Institución CERCA, coordinadora de los 42 centros de investigación del sistema catalán, y la Agencia de Calidad y Evaluación Sanitarias de Cataluña (AQuAS), con responsabilidades de evaluación en el sistema de salud, también aportaron su perspectiva sobre la implementación del nuevo modelo de evaluación basado en evidencias y orientado a la mejora continua.

Si tuviéramos que destacar rasgos comunes entre las distintas experiencias expuestas en la jornada, podríamos señalar tres: en todos los casos, las instituciones adheridas a CoARA crean comités interdisciplinares para impulsar y hacer seguimiento de las acciones de reforma; también establecen planes de trabajo que identifican los momentos en que se aplican criterios de evaluación en algún proceso de la institución; y otorgan gran importancia a la difusión de los objetivos de la reforma, dado que no son compartidos de forma automática por todo el personal investigador más allá de los “convencidos”.

La jornada puso de manifiesto que la reforma de la evaluación de la investigación es una transformación compleja pero imprescindible para fomentar una ciencia más responsable, inclusiva y orientada al bien común. A pesar del interés creciente y la existencia de iniciativas inspiradoras, la implementación de los principios de CoARA exige tiempo, recursos y, sobre todo, un cambio cultural profundo dentro de las instituciones. El compromiso de los equipos directivos, la formación de las personas evaluadoras y la sensibilización del personal investigador emergen como condiciones clave para garantizar el éxito de esta transformación.

 

© Imagen inicial generada con inteligencia artificial (DALL·E, OpenAI).

¿Cómo podemos hacer que el sistema de comunicación científica esté (aceptablemente) al servicio de la ciencia?

Lluís Anglada 
Consorci de Serveis Universitaris de Catalunya (CSUC)
ORCID Id 0000-0002-6384-4927


Stern, Bodo; Ancion, Zoé; Björke, Andreas; Farley, Ashley; Qvenild, Marte; Rieck, Katharina; Sondervan, Jeroen; Rooryck, Johan; Kiley, Robert; Karatzia, Maria; Papp, Nora (2023). Towards responsible publishing: a proposal forn cOAlition S. Zenodo. En: <https://doi.org/10.5281/zenodo.8398480>. [Consulta: 14/09/2024].

Chiarelli, Andrea; Cox, Ellie; Johnson, Rob; Waltman, Ludo; Kaltenbrunner, Wolfgang; Brasil, André; Reyes Elizondo, Andrea; Pinfield, Stephen (2024). «Towards responsible publishing»: findings from a global stakeholder consultation. Zenodo. En: <https://doi.org/10.5281/zenodo.11243942>. [Consulta: 14/09/2024].


La pregunta que da título a esta reseña está ocupando un considerable espacio en blogs y redes sociales,1 revistas científicas2 e incluso medios de comunicación generalistas.3 La pregunta parece dar a entender que ahora no (pero antes, sí) el sistema a través del que se difundía la investigación funcionaba bien. Situémonos, pero no demasiado lejos, treinta años atrás; los resultados de la investigación se difundían en revistas impresas que eran subscritas previo pago por las pocas instituciones que, a nivel mundial, podían tener una colección amplia y los artículos se publicaban al cabo de un tiempo considerable respecto a su redacción, por poner dos ejemplos. No era tampoco un sistema demasiado «científico», pero era un sistema aceptado.

Paradójicamente, hoy hay descontento con el sistema actual, a pesar de que la situación sea claramente mejor dado que el acceso a la información científica es mucho más fácil de hacer y la capacidad de acceder a artículos es mucho más alta. La satisfacción queda distorsionada por la constatación que el sistema es una realidad más gobernada por lo que han sabido hacer las editoriales científicas comerciales (y por sus beneficios económicos) que no por quienes hacen investigación. Esta explicación viene al caso para entender los considerables esfuerzos de diferentes instancias dirigidos a reformar el sistema por el que hoy se difunde la investigación, esfuerzos dirigidos a tener uno de equitativo, con una accesibilidad universal (es decir, abierta) y, si puede ser, de menor coste. 

Alternativas no comerciales para la comunicación científica (revistas y repositorios). Dónde estamos.

Lluís Anglada
Consorci de Serveis Universitaris de Catalunya (CSUC)
ORCID iD 0000-0002-6384-4927


Arasteh, Sona; Blake,Oliver (2024). The European landscape of institutional publishing: a synopsis of results from the DIAMAS survey. DIAMAS. 29 p. Disponible en: <https://zenodo.org/records/10551710>. [Consulta: 11/05/2024].

Shearer, Kathleen; Nakano Koga, Silvia Mirlene; Rodrigues, Eloy; Manola, Natalia; Pronk, Martine; Proudman, Vanessa (2023). Current state and future directions for open repositories in Europe. OpenAIRE, LIBER, SPARC Europe, COAR. 36 p. Disponible en: <https://doi.org/10.5281/zenodo.10255559>. [Consulta: 11/05/2024].


Seguramente, dentro de unos años, encontraremos una solución y la información científica será abierta bajo unas condiciones de uso y económicas aceptadas por todos. Hoy, esto es un objetivo perseguido, pero todavía no conseguido, por la totalidad de los agentes implicados en esta larga cadena que forma la comunicación científica. Cuando llegue ese momento, será interesante examinar (con menos pasión de la que ponemos hoy) los diferentes y, en su mayoría, fallidos intentos para hacer que los resultados científicos sean accesibles a todo el mundo de forma equitativa, fácil y reutilizable.

Ciencia Abierta: un concepto y movimiento globales (y en transición)

Lluís Anglada 
Consorci de Serveis Universitaris de Catalunya (CSUC)


UNESCO Open Science Outlook 1: status and trends around the world (2023). Paris: UNESCO. 74 p. Disponible en: <https://doi.org/10.54677/GIIC6829>. [Consulta: 21/01/23].


Hace dos años, Ciro Llueca reseñaba, en este Blok, la Recomendación de la UNESCO sobre Ciencia Abierta donde afirmaba que el documento, aprobado por 193 países, «eleva el actual rango de la cultura open a derecho humano universal».i De todos modos, con la Ciencia Abierta, pasa como con muchos otros derechos humanos, que ni son fáciles de alcanzar ni su grado de cumplimiento es uniforme alrededor del planeta. 

Lo que sí que ha hecho la Recomendación ha sido impulsar el movimiento y globalizarlo. La Ciencia Abierta había sido hasta entonces un movimiento más europeo que internacional, aunque algunos de sus componentes ­—muy específicamente el Acceso Abierto— hayan tenido desarrollos ampliamente extendidos en el norte y el sur del continente americano. Todavía se está lejos de los objetivos de las recomendaciones, pero es innegable que los hitos que se plantean están siendo asumidos cada vez por más países, instituciones de investigación y por los propios investigadores.

Oteando lejanías, revelar trayectorias

Lluís Anglada
Director del Àrea de Ciència Oberta
Consorci de Serveis Universitaris de Catalunya (CSUC)


2021 Environmental Scan (2021). ACRL Research Planning and Review Committee. (Chicago, IL): Association of College & Research Libraries. [52 p.]. Disponible en: <https://www.ala.org/acrl/sites/ala.org.acrl/files/content/publications/whitepapers/EnvironmentalScan2021.pdf>. [Consulta: 20/06/2022].

«Top trends in academic libraries: a review of the trends and issues» (2022). College & research libraries news, vol. 83, no. 6 (June), p. 243-256. Disponible en: <https://doi.org/10.5860/crln.83.6.243>. [Consulta: 20/06/2022]. 
Hi ha traducció castellana al blog Universo abierto, «ACRL Principales tendencias en las bibliotecas universitarias 2022». Disponible a: <https://universoabierto.org/2022/06/06/acrl-principales-tendencias-en-las-bibliotecas-universitarias-2022/>. [Consulta: 20/06/2022]. 


Confieso sin demasiada vergüenza la envidia que he tenido de los bibliotecarios norteamericanos que, ante cualquier compromiso para hablar de algún tema profesional, siempre pueden echar mano de uno de los muchos informes que habrá hecho algún comité. Los conocimientos profesionales en Europa están lógicamente más fragmentados y ni llegamos a tanto ni con tanta profundidad. 

Este es el caso del informe y el artículo que reseñamos, un «análisis del entorno» en forma de informe adaptado a artículo de «tendencias dominantes», que cada dos años hace un comité de la ACRL. El Research Planning and Review Committee es «responsable de crear y actualizar un análisis ambiental bienal para la asociación que incluya las tendencias en las bibliotecas académicas, la educación superior y el entorno más amplio, por ejemplo, económico, demográfico o político», para su presentación en la conferencia de la ACRL. El Comité identifica las «10 tendencias principales de la ACRL» para su publicación en forma de artículo cada dos años, es decir, los años en los que no se celebra el congreso de la ACRL. En este Blok, Llarina González Solar reseñó el análisis del entorno del año 2015 y yo mismo el del año 2019.

Páginas

Suscribirse a RSS - Lluís Anglada