El gran reto del cambio de evaluación científica en el contexto de la ciencia abierta europea

Versión para impresiónVersión para impresión

Núria Bautista-Puig
University of Gävle (Gävle, Suecia), Universidad Carlos III de Madrid
@NuriaBautista7

Eva Méndez
Universidad Carlos III de Madrid
@evamen


Towards a reform of the research assessment system: scoping report (2021). European Commission. Directorate General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 04/07/2021]. 

Hessels, Laurens K.; Koens, Lionne; Diederen, Paul J.M. (2021). Perspectives on the future of open science: effects of global variation in open science practices on the European research System. Luxembourg: Publications Office of the European Union. 49 p. Disponible en: <https://data.europa.eu/doi/10.2777/054281>. [Consulta: 04/07/2021].


La ciencia abierta implica una nueva forma de concebir la investigación que se basa en el trabajo colaborativo, en la apertura y la transparencia de todas las fases de la investigación, así como en una mejor aproximación de la ciencia a la sociedad. Implica, o debería implicar, una transformación radical y un cambio sistémico en la forma en que se realiza, financia, se comparte y se evalúa la investigación, en un proceso más eficiente, transparente y sensible a los cambios sociales globales. En los últimos siete u ocho años, la Comisión Europea ha alineado sus esfuerzos en esta dirección creando grupos de trabajo específicos, informes y reflexiones, así como diversas políticas y recomendaciones que constituyen pequeños pasos para avanzar hacia este nuevo paradigma. 

En el año 2019, el Institut Rahenau, juntamente con la Comisión, publicó el informe Perspectives on the future of open science (2019) donde se presenta cómo los diferentes niveles y medios de implementación de políticas de ciencia abierta en los dos países con las mayores inversiones en I+D (Estados Unidos y China) pueden afectar a las oportunidades europeas para implementar la open science, así como las consecuencias que se pueden derivar en el sistema europeo de ciencia e innovación. En el informe, se analizan tres grandes dimensiones de la ciencia abierta (acceso abierto, datos abiertos y colaboración abierta) y se identifican once aspectos clave o facilitadores y ocho obstáculos. Entre los aspectos que facilitarán la implementación, podemos destacar, por ejemplo: dar crédito a las prácticas de ciencia abierta, integrar la ciencia abierta en las infraestructuras, aumentar la sensibilización y su reconocimiento, etc. Y entre los aspectos o factores que obstaculizan su desarrollo podemos destacar la falta de reconocimiento o la incertidumbre sobre las limitaciones legales (propiedad intelectual, protección de la privacidad, etc.). Las barreras se agrupan alrededor de tres factores clave: sensibilización, información y conocimiento; incentivos y desincentivos para los investigadores; y la adaptación del sistema a través de la inversión en infraestructuras.

El informe considera dos factores más que pueden influir en las prácticas de ciencia abierta en los territorios que cubre el informe (China y Estados Unidos) y Europa: 1) el grado de tensión geopolítica; y 2) los mecanismos de coordinación de la ciencia en la sociedad. Se plantean así cuatro escenarios diferentes: 

  1. Defensa (tensión alta entre países y financiación en ciencia enfocada a intereses empresariales, ocasionando que no se implementen políticas de ciencia abierta por los altos costes).
     
  2. Crecimiento (la situación geopolítica es harmoniosa, pero sigue habiendo competición entre la ciencia y la sociedad y la ciencia abierta continúa centrada en la cooperación con las empresas).
     
  3. Misiones (los gobiernos toman la iniciativa para abordar grandes retos de la sociedad y la ciencia abierta se persigue para acelerar la investigación y aumentar la eficiencia y la eficacia del gasto público de investigación).
     
  4. Prosperidad (baja tensión geopolítica y el enfoque en resolver los retos globales de la sociedad es óptimo para el desarrollo de la ciencia abierta).  

A través de estos escenarios, los autores del informe predicen hasta qué punto estos países implementan impulsos y eliminan los obstáculos para proporcionar una infraestructura científica abierta, ofrecen incentivos y crean oportunidades de sensibilización y formación para los investigadores. El estudio está guiado por tres preguntas de investigación:

  1. Cómo varía la combinación de incentivos y barreras para la adopción de prácticas de ciencia abierta en las tres regiones (Europa, Estados Unidos, China). El informe analiza de forma exhaustiva estímulos y obstáculos comparando las tres regiones analizadas. Se destaca que los investigadores chinos tienen preferencia por la vía dorada de acceso abierto y su política de open data está centralizada. Los Estados Unidos tienen un mayor número de repositorios (predominando la vía verde) y con un rol más relevante de los mandatos institucionales; finalmente, en Europa el acceso híbrido de las publicaciones se ha convertido en la situación básica, y todas las políticas europeas de open science siguen el discurso de compartir, de la forma más inmediata posible, todos los resultados de investigación.
     
  2. La segunda pregunta de investigación se centra en los futuros escenarios posibles, combinando estímulos y barreras, que influyen en las prácticas de ciencia abierta.
     
  3. La última pregunta que conduce el estudio se centra en los efectos positivos y negativos de la ciencia abierta en la calidad de la investigación y en el impacto social o la productividad. Se realiza una comparativa basándose en los cuatro escenarios propuestos y las recomendaciones posibles de ciencia abierta. Así, por ejemplo, en el escenario de las Misiones, la estrategia política se enfocaría a un nuevo acuerdo institucional y de gobernanza, inversiones públicas masivas y políticas orientadas a la misión, así como incentivar la cooperación y el fomento del open science a través de infraestructuras y plataformas europeas y de incentivos para colaborar y compartir.

En el informe también se remarca que la ciencia abierta no es un objetivo en sí mismo, sino que debe apoyar los objetivos políticos más amplios de defensa y seguridad, competitividad y crecimiento económico, sostenibilidad y salud o prosperidad general, así como respetar las diferencias culturales. Finalmente, se proponen una serie de recomendaciones políticas: la creación de un perfil distintivo de la ciencia europea; la coordinación de inversiones para estandarizar datos y la capacidad de curarlos o preservarlos; así como inversiones en el control de calidad; desarrollo y promoción de nuevas maneras de incentivar y premiar los investigadores; estimulación de la colaboración abierta con una diversidad de socios no científicos. Este informe prospectivo denota que, en el contexto europeo, la ciencia abierta se encuentra en un proceso de transición donde el sistema de incentivos y la evaluación de la ciencia continúan siendo el gran reto. 

En esta dirección, la Comisión Europea publicó a finales del año pasado, y en este caso realizado por la propia Unidad de open science de la Comisión, un informe del alcance de la reforma de evaluación de la investigación en Europa, donde se reflejan las posturas de diversos agentes implicados que participaron en las reflexiones que recoge el informe. Towards a reform of the research assessment system tiene por objetivo establecer un marco de referencia para reformar el sistema actual de evaluación de la investigación, particularmente en Europa, y que afecta las fases clave de la carrera académica/investigadora: reclutamiento, promoción y reconocimiento. El documento presenta las conclusiones de una serie de consultas en profundidad realizadas de marzo a noviembre de 2021 con 130 agentes (tanto europeos como internacionales) a los que se les presenta un enfoque coordinado, donde la Comisión actúa como facilitadora, creando una «coalición», tanto de instituciones que realizan la investigación, como de las que financian, que son clave a la hora de implementar cambios que aceleren la transición hacia un nuevo sistema de evaluación de los investigadores y de la investigación.  

El informe parte del hecho que el sistema actual de evaluación de la ciencia se basa en métodos inapropiados (por ejemplo, número de publicaciones, Journal Impact Factor (JIF)) para evaluar la calidad, el rendimiento y el impacto real de sus investigadores, lo que obstaculiza el progreso de la ciencia abierta. En este sentido, se busca promover una valoración más cualitativa, con un uso más responsable de los indicadores bibliométricos, lo que implica, de forma imprescindible, un cambio sistémico y cultural, aquello que nosotros denominamos un «cambio de paradigma» hacia un sistema en el que se promueva una valoración más cualitativa y se reconozca la multidimensionalidad del sistema de evaluación a través de los méritos intrínsecos, o de rendimiento (mentoring, roles de liderazgo, divulgación de la ciencia, etc.). El fin último de este sistema de evaluación renovado que propugna el estudio de situación pretende conseguir la excelencia y el impacto y reforzar todavía más la confianza de la sociedad en el sistema de investigación e innovación y en sus resultados.

El documento también identifica objetivos y remarca principios básicos (el European code of conduct of research integrity, conocido como el código ético de la ALLEA, o las recomendaciones recogidas en declaraciones y manifiestos como los de DORA), así como un plan de implementación con acciones entre organizaciones investigadoras y/o financiadoras para transformar estos conocimientos en cambios efectivos.
Según este informe, prolegómeno de un documento de compromiso que la Comisión espera lanzar el otoño de 2022, las acciones en las que se comprometerían los firmantes del documento son las siguientes:

  1. Trabajar para alinear la evaluación de la investigación con principios y declaraciones (por ej. DORA) para desarrollar unos criterios de evaluación tanto de investigadores como de sus propuestas de investigación, donde se reconozca y se recompense la calidad y el impacto.
     
  2. Promover una evaluación de alta calidad que sea evolutiva, autorreflexiva y utilizada de forma sensata para evitar la duplicación de procesos y costes. 
     
  3. Reconocer el trabajo de peer review como un servicio y un valor desarrollado por los investigadores.
     
  4. Asignar los recursos necesarios para crear infraestructuras de apoyo y crear la motivación y sensibilización necesarias, etc.
     
  5. Compartir información, prácticas y experiencia entre las organizaciones de investigación para facilitar el aprendizaje mutuo, así como crear guías y procedimientos comunes, que transciendan los modelos de valoración, etc. 

Los dos informes muestran que nos encontramos todavía en un (ya demasiado largo) proceso de transición hacia la ciencia abierta, siendo la Comisión Europea un actor clave para el progreso de estas políticas. En este sentido, en el primer informe se fijan claramente los ámbitos y los retos de la ciencia abierta y los objetivos a conseguir, mientras que el segundo, se centra en la clave de las barreras para la ciencia abierta: el sistema de evaluación, y propone una serie de acciones para diseñar enfoques de evaluación adecuados, que incentiven la ciencia en abierto. Este último informe promueve un cambio en el sistema de evaluación de la ciencia y de los investigadores y recuerda el informe final del Open Science Policy Platform (OSPP) (donde estaban representados muchos de los agentes que ahora reflexionan sobre la evaluación), destacando que debemos pasar de «recomendaciones», «conceptualizaciones» o principios a una implementación más práctica (los PCI, Practical Commitments for Implementation de la OSPP), con acciones concretas y con una dirección común por parte de todos los agentes implicados para conseguir una ciencia más abierta y la reforma del sistema de evaluación que lo haga posible. Constituyen un buen punto de partida y marco de referencia donde, además, los últimos acontecimientos (la Paris Call on Research Assessment de 2022; la Recomendación de la UNESCO) demuestran que los cambios en el sistema de evaluación y la ciencia abierta son ya, y seguirán siendo, el tema fundamental para la implementación de la ciencia en abierto, en los próximos años. 

© Imagen inicial de Analogicus en Pixabay