investigación

El gran reto del cambio de evaluación científica en el contexto de la ciencia abierta europea

Núria Bautista-Puig
University of Gävle (Gävle, Suecia), Universidad Carlos III de Madrid
@NuriaBautista7

Eva Méndez
Universidad Carlos III de Madrid
@evamen


Towards a reform of the research assessment system: scoping report (2021). European Commission. Directorate General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 04/07/2021]. 

Hessels, Laurens K.; Koens, Lionne; Diederen, Paul J.M. (2021). Perspectives on the future of open science: effects of global variation in open science practices on the European research System. Luxembourg: Publications Office of the European Union. 49 p. Disponible en: <https://data.europa.eu/doi/10.2777/054281>. [Consulta: 04/07/2021].


La ciencia abierta implica una nueva forma de concebir la investigación que se basa en el trabajo colaborativo, en la apertura y la transparencia de todas las fases de la investigación, así como en una mejor aproximación de la ciencia a la sociedad. Implica, o debería implicar, una transformación radical y un cambio sistémico en la forma en que se realiza, financia, se comparte y se evalúa la investigación, en un proceso más eficiente, transparente y sensible a los cambios sociales globales. En los últimos siete u ocho años, la Comisión Europea ha alineado sus esfuerzos en esta dirección creando grupos de trabajo específicos, informes y reflexiones, así como diversas políticas y recomendaciones que constituyen pequeños pasos para avanzar hacia este nuevo paradigma. 

En el año 2019, el Institut Rahenau, juntamente con la Comisión, publicó el informe Perspectives on the future of open science (2019) donde se presenta cómo los diferentes niveles y medios de implementación de políticas de ciencia abierta en los dos países con las mayores inversiones en I+D (Estados Unidos y China) pueden afectar a las oportunidades europeas para implementar la open science, así como las consecuencias que se pueden derivar en el sistema europeo de ciencia e innovación. En el informe, se analizan tres grandes dimensiones de la ciencia abierta (acceso abierto, datos abiertos y colaboración abierta) y se identifican once aspectos clave o facilitadores y ocho obstáculos. Entre los aspectos que facilitarán la implementación, podemos destacar, por ejemplo: dar crédito a las prácticas de ciencia abierta, integrar la ciencia abierta en las infraestructuras, aumentar la sensibilización y su reconocimiento, etc. Y entre los aspectos o factores que obstaculizan su desarrollo podemos destacar la falta de reconocimiento o la incertidumbre sobre las limitaciones legales (propiedad intelectual, protección de la privacidad, etc.). Las barreras se agrupan alrededor de tres factores clave: sensibilización, información y conocimiento; incentivos y desincentivos para los investigadores; y la adaptación del sistema a través de la inversión en infraestructuras.

El informe considera dos factores más que pueden influir en las prácticas de ciencia abierta en los territorios que cubre el informe (China y Estados Unidos) y Europa: 1) el grado de tensión geopolítica; y 2) los mecanismos de coordinación de la ciencia en la sociedad. Se plantean así cuatro escenarios diferentes: 

  1. Defensa (tensión alta entre países y financiación en ciencia enfocada a intereses empresariales, ocasionando que no se implementen políticas de ciencia abierta por los altos costes).
     
  2. Crecimiento (la situación geopolítica es harmoniosa, pero sigue habiendo competición entre la ciencia y la sociedad y la ciencia abierta continúa centrada en la cooperación con las empresas).
     
  3. Misiones (los gobiernos toman la iniciativa para abordar grandes retos de la sociedad y la ciencia abierta se persigue para acelerar la investigación y aumentar la eficiencia y la eficacia del gasto público de investigación).
     
  4. Prosperidad (baja tensión geopolítica y el enfoque en resolver los retos globales de la sociedad es óptimo para el desarrollo de la ciencia abierta).  

A través de estos escenarios, los autores del informe predicen hasta qué punto estos países implementan impulsos y eliminan los obstáculos para proporcionar una infraestructura científica abierta, ofrecen incentivos y crean oportunidades de sensibilización y formación para los investigadores. El estudio está guiado por tres preguntas de investigación:

  1. Cómo varía la combinación de incentivos y barreras para la adopción de prácticas de ciencia abierta en las tres regiones (Europa, Estados Unidos, China). El informe analiza de forma exhaustiva estímulos y obstáculos comparando las tres regiones analizadas. Se destaca que los investigadores chinos tienen preferencia por la vía dorada de acceso abierto y su política de open data está centralizada. Los Estados Unidos tienen un mayor número de repositorios (predominando la vía verde) y con un rol más relevante de los mandatos institucionales; finalmente, en Europa el acceso híbrido de las publicaciones se ha convertido en la situación básica, y todas las políticas europeas de open science siguen el discurso de compartir, de la forma más inmediata posible, todos los resultados de investigación.
     
  2. La segunda pregunta de investigación se centra en los futuros escenarios posibles, combinando estímulos y barreras, que influyen en las prácticas de ciencia abierta.
     
  3. La última pregunta que conduce el estudio se centra en los efectos positivos y negativos de la ciencia abierta en la calidad de la investigación y en el impacto social o la productividad. Se realiza una comparativa basándose en los cuatro escenarios propuestos y las recomendaciones posibles de ciencia abierta. Así, por ejemplo, en el escenario de las Misiones, la estrategia política se enfocaría a un nuevo acuerdo institucional y de gobernanza, inversiones públicas masivas y políticas orientadas a la misión, así como incentivar la cooperación y el fomento del open science a través de infraestructuras y plataformas europeas y de incentivos para colaborar y compartir.

En el informe también se remarca que la ciencia abierta no es un objetivo en sí mismo, sino que debe apoyar los objetivos políticos más amplios de defensa y seguridad, competitividad y crecimiento económico, sostenibilidad y salud o prosperidad general, así como respetar las diferencias culturales. Finalmente, se proponen una serie de recomendaciones políticas: la creación de un perfil distintivo de la ciencia europea; la coordinación de inversiones para estandarizar datos y la capacidad de curarlos o preservarlos; así como inversiones en el control de calidad; desarrollo y promoción de nuevas maneras de incentivar y premiar los investigadores; estimulación de la colaboración abierta con una diversidad de socios no científicos. Este informe prospectivo denota que, en el contexto europeo, la ciencia abierta se encuentra en un proceso de transición donde el sistema de incentivos y la evaluación de la ciencia continúan siendo el gran reto. 

En esta dirección, la Comisión Europea publicó a finales del año pasado, y en este caso realizado por la propia Unidad de open science de la Comisión, un informe del alcance de la reforma de evaluación de la investigación en Europa, donde se reflejan las posturas de diversos agentes implicados que participaron en las reflexiones que recoge el informe. Towards a reform of the research assessment system tiene por objetivo establecer un marco de referencia para reformar el sistema actual de evaluación de la investigación, particularmente en Europa, y que afecta las fases clave de la carrera académica/investigadora: reclutamiento, promoción y reconocimiento. El documento presenta las conclusiones de una serie de consultas en profundidad realizadas de marzo a noviembre de 2021 con 130 agentes (tanto europeos como internacionales) a los que se les presenta un enfoque coordinado, donde la Comisión actúa como facilitadora, creando una «coalición», tanto de instituciones que realizan la investigación, como de las que financian, que son clave a la hora de implementar cambios que aceleren la transición hacia un nuevo sistema de evaluación de los investigadores y de la investigación.  

El informe parte del hecho que el sistema actual de evaluación de la ciencia se basa en métodos inapropiados (por ejemplo, número de publicaciones, Journal Impact Factor (JIF)) para evaluar la calidad, el rendimiento y el impacto real de sus investigadores, lo que obstaculiza el progreso de la ciencia abierta. En este sentido, se busca promover una valoración más cualitativa, con un uso más responsable de los indicadores bibliométricos, lo que implica, de forma imprescindible, un cambio sistémico y cultural, aquello que nosotros denominamos un «cambio de paradigma» hacia un sistema en el que se promueva una valoración más cualitativa y se reconozca la multidimensionalidad del sistema de evaluación a través de los méritos intrínsecos, o de rendimiento (mentoring, roles de liderazgo, divulgación de la ciencia, etc.). El fin último de este sistema de evaluación renovado que propugna el estudio de situación pretende conseguir la excelencia y el impacto y reforzar todavía más la confianza de la sociedad en el sistema de investigación e innovación y en sus resultados.

El documento también identifica objetivos y remarca principios básicos (el European code of conduct of research integrity, conocido como el código ético de la ALLEA, o las recomendaciones recogidas en declaraciones y manifiestos como los de DORA), así como un plan de implementación con acciones entre organizaciones investigadoras y/o financiadoras para transformar estos conocimientos en cambios efectivos.
Según este informe, prolegómeno de un documento de compromiso que la Comisión espera lanzar el otoño de 2022, las acciones en las que se comprometerían los firmantes del documento son las siguientes:

  1. Trabajar para alinear la evaluación de la investigación con principios y declaraciones (por ej. DORA) para desarrollar unos criterios de evaluación tanto de investigadores como de sus propuestas de investigación, donde se reconozca y se recompense la calidad y el impacto.
     
  2. Promover una evaluación de alta calidad que sea evolutiva, autorreflexiva y utilizada de forma sensata para evitar la duplicación de procesos y costes. 
     
  3. Reconocer el trabajo de peer review como un servicio y un valor desarrollado por los investigadores.
     
  4. Asignar los recursos necesarios para crear infraestructuras de apoyo y crear la motivación y sensibilización necesarias, etc.
     
  5. Compartir información, prácticas y experiencia entre las organizaciones de investigación para facilitar el aprendizaje mutuo, así como crear guías y procedimientos comunes, que transciendan los modelos de valoración, etc. 

Los dos informes muestran que nos encontramos todavía en un (ya demasiado largo) proceso de transición hacia la ciencia abierta, siendo la Comisión Europea un actor clave para el progreso de estas políticas. En este sentido, en el primer informe se fijan claramente los ámbitos y los retos de la ciencia abierta y los objetivos a conseguir, mientras que el segundo, se centra en la clave de las barreras para la ciencia abierta: el sistema de evaluación, y propone una serie de acciones para diseñar enfoques de evaluación adecuados, que incentiven la ciencia en abierto. Este último informe promueve un cambio en el sistema de evaluación de la ciencia y de los investigadores y recuerda el informe final del Open Science Policy Platform (OSPP) (donde estaban representados muchos de los agentes que ahora reflexionan sobre la evaluación), destacando que debemos pasar de «recomendaciones», «conceptualizaciones» o principios a una implementación más práctica (los PCI, Practical Commitments for Implementation de la OSPP), con acciones concretas y con una dirección común por parte de todos los agentes implicados para conseguir una ciencia más abierta y la reforma del sistema de evaluación que lo haga posible. Constituyen un buen punto de partida y marco de referencia donde, además, los últimos acontecimientos (la Paris Call on Research Assessment de 2022; la Recomendación de la UNESCO) demuestran que los cambios en el sistema de evaluación y la ciencia abierta son ya, y seguirán siendo, el tema fundamental para la implementación de la ciencia en abierto, en los próximos años. 

© Imagen inicial de Analogicus en Pixabay

Un golpe de timón para cambiar la evaluación científica

Ángel M. Delgado-Vázquez
Jefe de Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Universidad Pablo de Olavide
ORCID: 0000-0003-2461-8553
@amdelvaz


Towards a reform of the research assessment system: scoping report (2021). European Commission, Directorate-General for Research and Innovation. Luxembourg: Publications Office of the European Union. 21 p. Disponible en: <https://data.europa.eu/doi/10.2777/707440>. [Consulta: 29/06/2022].


Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.

El pasado noviembre la Comisión Europea, a través de la Dirección General para la Investigación y la Innovación hizo público un documento que, bajo el sugerente título de Towards a reform of the research assessment system, pone sobre la mesa algunas de las cuestiones sobre las que se viene debatiendo en los últimos tiempos de manera intensa. La principal motivación de este es la necesidad de impulsar una aceleración de los cambios que en el sistema de evaluación científica se vienen produciendo, aunque todavía de manera tímida. El otro objetivo es el de contar con un marco común que pueda de algún modo homogeneizar el modo en que se evalúa a la ciencia, a la par que se abandonan algunas de las prácticas actuales y que vienen siendo objeto continuado de crítica por sus limitaciones y sesgos.

El rol de la biblioteca en la estrategia de la universidad

Ángel Borrego
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Cooper, Danielle; Hill, Catharine B.; Schonfeld, Roger C. (2022). Aligning the research library to organizational strategy. 25 p. [Washington, DC]: Association of Research Libraries (ARL); [Ottawa]: Canadian Association of Research Libraires (CARL); [New York, NY]: Ithaka S+R. Disponible en: <https://doi.org/10.18665/sr.316656>. [Consulta: 14/06/2022].


Recientemente, las asociaciones de bibliotecas de investigación de Estados Unidos (Association of Research Libraries) y Canadá (Canadian Association of Research Libraries) encargaron a la consultora Ithaka S+R la realización de un estudio para identificar las prioridades de los equipos rectorales de las universidades de estos países, conocer sus expectativas sobre el papel de la biblioteca en la consecución de estos objetivos y, en definitiva, determinar cómo pueden contribuir las bibliotecas universitarias a alcanzar las metas de la institución. Con esta finalidad, los autores del informe entrevistaron durante 2021 a una sesentena de miembros de equipos rectorales y responsables de bibliotecas, generalmente de forma individual y, en algunos casos, en forma de grupo de discusión. La información obtenida en estos encuentros se completó con el análisis de diversos documentos estratégicos.

La efervescencia de las preprints

Remedios Melero
Instituto de Agroquímica y Tecnología de Alimentos (IATA)
Consejo Superior de Investigaciones Científicas (CSIC)


Puebla, Iratxe; Polka, Jessica; Rieger, Oya Y. (2022). Preprints: their evolving role in science communication. ATG LLC (Media). VII, 74 p. Disponible en: <https://doi.org/10.3998/mpub.12412508>. [Consulta: 29/05/2022]. 


El libro se divide en nueve capítulos con una extensa bibliografía al final de la obra. El primero comienza haciendo un recorrido histórico del surgimiento de los servidores de preprints y de su uso como alternativa a una rápida difusión de los avances científicos. A pesar de existir actualmente numerosos servidores de preprints, esta monografía se centra en BioaRxiv, ArXiv, Research Square y SSRN

En 1991, Paul Ginsparg creó el repositorio de preprints Arxiv a través de una lista de distribución que pasó al web en 1993. El SSRN se creó en 1994 para facilitar la distribución de trabajos antes de su publicación formal, y en 1997 se creó Repec con el objetivo de mejorar la comunicación científica en economía. Sin embargo, en disciplinas de ciencias de la vida no tuvieron éxito hasta 2013, año en el que se crearon el PeeJ Preprints y el Bioarxiv, y fue en 2016 cuando ASAPbio contribuyó a coordinar y aunar esfuerzos para la adopción de las preprints en materias de ciencias de la vida.

La persistencia de las brechas de género en el sistema científico español: análisis de las áreas de ciencia y tecnología

Anna Villarroya
Facultat d’Informació i Mitjans Audiovisuals
Universitat de Barcelona (UB)


Análisis de la presencia de mujeres en la producción científica española 2014-2018 (2022). Madrid: Fundación Española para la Ciencia y la Tecnología, FECYT. 26 p. Disponible en: <https://www.fecyt.es/es/publicacion/analisis-de-la-presencia-de-mujeres-en-la-produccion-cientifica-espanola-2014-2018>. [Consulta: 20/05/2022].


El estudio Análisis de la presencia de mujeres en la producción científica española 2014-2018 promovido por la Fundación Española para la Ciencia y la Tecnología (FECYT) aporta un nuevo prisma de análisis a los estudios existentes en torno a las desigualdades de género que se dan en el ámbito de la producción científica. En este sentido, el estudio analiza las características, el impacto y la visibilidad internacional de la producción científica en donde intervienen investigadores de instituciones españolas. Para ello, se han analizado un total de 304.165 documentos de investigadores e investigadoras de instituciones españolas publicados entre el año 2014 y 2018 en revistas indexadas en WOS (Web of Science), y se ha comparado la producción científica en la que participan mujeres respecto a aquella en la que no están presentes.

Páginas

Suscribirse a RSS - investigación