evaluación científica

Hacia una nueva cultura de la evaluación: experiencias institucionales en el marco de CoARA

Ángel Borrego
Facultad de Información y Medios Audiovisuales
Universidad de Barcelona (UB)

Lluís Anglada
Consorcio de Servicios Universitarios de Cataluña (CSUC)
ORCID Id 0000-0002-6384-4927


Reformant l’avaluació de la recerca per afavorir la qualitat i l’impacte científic: Experiències i tendències en el marc de CoARA. (2025). Barcelona: Instituto de Bioingeniería de Cataluña. 3 vídeos. Disponible en: <https://www.youtube.com/playlist list=PLztiU5moh1RPvMAmDVbuwW1fNq2zawSFF>. Presentaciones disponibles en <https://zenodo.org/communities/jornadacoaracatalunya/records>.


La Coalition for Advancing Research Assessment (CoARA) agrupa un amplio colectivo de organizaciones comprometidas con la reforma de los sistemas de evaluación de la investigación. Esta iniciativa surge en un contexto de creciente consenso sobre la necesidad de superar los modelos de evaluación basados principalmente en indicadores cuantitativos (como el factor de impacto o el número de publicaciones), con tal de impulsar una valoración más cualitativa, centrada en la diversidad de las contribuciones científicas y en prácticas responsables. Más de 700 organizaciones de investigación, entidades financiadoras, agencias de evaluación y sociedades científicas han adoptado los principios recogidos en el Agreement on Reforming Research Assessment (https://coara.eu/agreement/the-agreement-full-text/), publicado en julio de 2022.

El jueves 17 de julio de 2025, el Instituto de Bioingeniería de Cataluña (IBEC) acogió la jornada “Reformando la evaluación de la investigación para favorecer la calidad y el impacto científico: experiencias y tendencias en el marco de CoARA” (https://events.ibecbarcelona.eu/reformingresearchassessment), un espacio en el que diversas instituciones catalanas compartieron sus experiencias en la implementación de los principios de CoARA, con el objetivo de avanzar hacia un sistema de evaluación más justo e integral.

La actividad se estructuró en tres partes. La primera estuvo dedicada a la presentación de cinco proyectos financiados en el marco de la primera convocatoria del CoARA Cascade Funding Programme, un mecanismo de apoyo económico destinado a promover transformaciones institucionales en las prácticas de evaluación. Este programa contempla dos convocatorias (abril-junio de 2024 y febrero-abril de 2025) y subvenciona proyectos de un año en tres modalidades: intercambio de conocimiento (teaming projects), pruebas piloto (institutional pilot projects) y cambios institucionales (institutional change projects).

En esta sesión se presentaron los proyectos liderados por diferentes instituciones. La UOC se centró en consolidar la estrategia institucional de ciencia abierta; la Universitat Ramon Llull revisó sus prácticas de evaluación para identificar las dimensiones clave del nuevo paradigma (ampliación del concepto de investigación, inclusión de narrativas, transparencia, etc.); la UAB aplicó los criterios CoARA en una convocatoria interna de ayudas postdoctorales; el IBEC desarrolló un proyecto conjunto en colaboración con la Université de Carthage (Túnez); y el Centro de Regulación Genómica incorporó narrativas de impacto en sus procesos de evaluación. En general, todas las intervenciones coincidieron en la necesidad de sensibilizar al personal investigador, dada la falta de conocimiento o el escepticismo respecto a la propuesta de reforma. También se destacó la importancia de formar adecuadamente a las personas evaluadoras que deberán aplicar los nuevos criterios, así como la dificultad de hacer llegar estas iniciativas a todo el colectivo investigador, a menudo sobrecargado de tareas.

La segunda parte de la jornada puso el foco en el desarrollo de planes de acción institucionales. Se presentaron las estrategias de tres centros de investigación (ISGlobal, CREAF e IDIBAPS) y de dos universidades (UPC y UB). Los ponentes de los centros destacaron la necesidad de un compromiso institucional firme, con la implicación activa de las direcciones, para que los principios de CoARA se integren transversalmente en todas las políticas internas. También remarcaron la conveniencia de reconocer formalmente el trabajo de las personas evaluadoras. Las universidades, por su parte, señalaron la complejidad de aplicar criterios cualitativos en instituciones con gran diversidad disciplinaria, la necesidad de elaborar rúbricas específicas y la exigencia de disponer de tiempo para implementar los cambios de forma efectiva.

Finalmente, la mesa redonda de clausura ofreció una visión más amplia con la participación de agentes clave del sistema catalán de investigación. AQU Catalunya abordó la integración de los principios de CoARA en los procesos de acreditación. La Fundación "la Caixa" expresó su interés por el impacto social de la investigación que financian. La Institución CERCA, coordinadora de los 42 centros de investigación del sistema catalán, y la Agencia de Calidad y Evaluación Sanitarias de Cataluña (AQuAS), con responsabilidades de evaluación en el sistema de salud, también aportaron su perspectiva sobre la implementación del nuevo modelo de evaluación basado en evidencias y orientado a la mejora continua.

Si tuviéramos que destacar rasgos comunes entre las distintas experiencias expuestas en la jornada, podríamos señalar tres: en todos los casos, las instituciones adheridas a CoARA crean comités interdisciplinares para impulsar y hacer seguimiento de las acciones de reforma; también establecen planes de trabajo que identifican los momentos en que se aplican criterios de evaluación en algún proceso de la institución; y otorgan gran importancia a la difusión de los objetivos de la reforma, dado que no son compartidos de forma automática por todo el personal investigador más allá de los “convencidos”.

La jornada puso de manifiesto que la reforma de la evaluación de la investigación es una transformación compleja pero imprescindible para fomentar una ciencia más responsable, inclusiva y orientada al bien común. A pesar del interés creciente y la existencia de iniciativas inspiradoras, la implementación de los principios de CoARA exige tiempo, recursos y, sobre todo, un cambio cultural profundo dentro de las instituciones. El compromiso de los equipos directivos, la formación de las personas evaluadoras y la sensibilización del personal investigador emergen como condiciones clave para garantizar el éxito de esta transformación.

 

© Imagen inicial generada con inteligencia artificial (DALL·E, OpenAI).

Los resultados del REF2014 del Reino Unido marcan el camino a seguir en la evaluación científica

Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estados Unidos)


Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible en: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]


Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, comentaremos los resultados de su primera implementación, allá en 2014, e introduciremos algunas reflexiones sobre las importantes novedades que incorpora en el sistema de evaluación británico.

Recientemente, mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE impact blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones de euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación en un tema de debate constante dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto los métodos como los objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.

Suscribirse a RSS - evaluación científica