investigación

Los resultados del REF2014 del Reino Unido marcan el camino a seguir en la evaluación científica

Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estados Unidos)


Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible en: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]


Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, comentaremos los resultados de su primera implementación, allá en 2014, e introduciremos algunas reflexiones sobre las importantes novedades que incorpora en el sistema de evaluación británico.

Recientemente, mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE impact blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones de euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación en un tema de debate constante dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto los métodos como los objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.

El Reino Unido, un pionero en la evaluación de la actividad investigadora

Desde 1986, el Reino Unido se ha postulado como el gran pionero en apostar fuerte por fórmulas evaluativas, nunca exentas de polémicas, con el objetivo de incentivar la competencia entre instituciones. Contrariamente a lo que sucede en España, la evaluación se realiza a nivel institucional o departamental (ya que lo que se evalúan son «unidades de evaluación» dentro de áreas científicas). Dicho proceso evaluativo cuenta con paneles de evaluadores y exige por parte de las instituciones un importante esfuerzo tanto económico como humano. Cada unidad deberá seleccionar tanto personal a tiempo completo como publicaciones. En sus múltiples ediciones, ha sufrido notables modificaciones que reflejan los cambios de dirección y objetivos del país en materia de investigación.

En un principio, se evaluaba el número total de publicaciones. En 1996, se cambió la metodología con el fin de incentivar la producción de investigación de «calidad» (entendida como aquella altamente citada) frente a la «cantidad», introduciendo un número fijo de publicaciones a someter a evaluación. Sin embargo, y a pesar de continuados esfuerzos y modificaciones en las sucesivas ediciones, el entonces RAE, siguió premiando la productividad de los investigadores frente al impacto científico. Al mismo tiempo, las críticas empezaron a arreciar contra un sistema de evaluación cada vez más costoso. Entre otras cuestiones, destacamos aquí dos críticas. En primer lugar, cabía cuestionarse la necesidad de emplear la evaluación por pares cuando esta era fácilmente sustituible por indicadores bibliométricos, ya que el foco de atención era la publicación científica. Más dura era la crítica relativa a si una evaluación basada en la publicación científica tenía sentido y si realmente esta era la forma más adecuada de capturar la repercusión que tiene la investigación en la sociedad.

2014 fue un año clave en la evaluación de las universidades británicas. Atrás quedó el antiguo RAE, refundado y conocido ahora como REF. Dicho sistema de evaluación siguió manteniendo un apartado para publicaciones científicas, pero introdujo la variable de «impacto social» de la actividad investigadora. Un concepto ambiguo que se definió como «un efecto, cambio o beneficio económico, social, cultural, de política pública o servicios, a la salud, el medio ambiente o la calidad de vida más allá del académico». La tarea se complicaba, ya que los objetivos del REF ya no eran simplemente distribuir fondos o establecer un marco de comparación entre universidades, sino también producir evidencias de los beneficios públicos generados por la inversión en investigación. Para ello, se crearon 36 unidades de evaluación divididas en cuatro paneles (Ciencias Biomédicas y de la Salud; Ciencias Físicas, de la Vida e Ingeniería; Ciencias Sociales; Humanidades y Artes) a las que las universidades debían enviar tanto una selección de publicaciones como casos de estudio sobre su contribución social. Un verdadero experimento de laboratorio en el que los revisores de cada panel (formado tanto por científicos como por otros actores sociales) debían asesorar el impacto social de cada caso de estudio y puntuarlos de acuerdo a un sistema de cuatro estrellas, (siendo cuatro la puntuación más alta).

La temeridad fue extrema. Previamente, un comité de expertos en evaluación científica señaló la falta de indicadores cuantitativos para evaluar el impacto social. Esto hizo que todo el proceso quedara en manos de los paneles de expertos, que desplegaron un importante esfuerzo por dotarlo de la máxima transparencia1. El éxito en dicho modelo es aún incipiente y, aunque es loable el esfuerzo y cambio de dirección en la evaluación, quedan muchas preguntas en el aire sobre cómo se ha interpretado qué es impacto social. Tanto los resultados de la evaluación como la implementación de la misma han sido objeto de evaluación y de gran debate en la comunidad científica británica.

Excelencia científica versus relevancia social

Gran parte de la discusión se ha centrado en analizar cómo se ha interpretado el concepto de impacto social y su relación con indicadores bibliométricos o indicadores altmétricos. Asimismo, se tiende a buscar una relación positiva entre excelencia investigadora e impacto social, infiriendo no sólo que están relacionados, sino que dicha relación es deseable. En nuestros análisis sobre el REF, Richard y yo partíamos de una premisa totalmente distinta. La búsqueda de impacto social, por un lado, y excelencia investigadora por otro, abre la puerta a un escenario más heterogéneo y diverso de la actividad investigadora y de los distintos perfiles académicos que existen. Supongamos que el REF llevó a cabo una evaluación exhaustiva y veraz tanto del impacto social como de la producción científica. Supongamos que el impacto social es, de hecho, algo medible y positivo. Ahora, analicemos las universidades para cada unidad de evaluación. Lo que observamos es un escenario de lo más variopinto, donde no sólo la correlación entre actividad investigadora e impacto social no es para todas las unidades de evaluación alta (en algún caso, como el de Medicina Clínica, es hasta negativo), sino que existen sobrados casos de universidades con una alta puntuación en una y no en la otra.

Esto sugiere nuevos caminos y más heterogéneos para la evaluación. Supone abandonar el sistema lineal y homogéneo hasta ahora empleado de concebir la investigación, donde se premia a la (falsa) figura del investigador todoterreno, que excede en todos los ámbitos de la actividad académica (transferencia, investigación, docencia, administración…); y pasamos a otro donde existen diversos perfiles, todos ellos necesarios para enriquecer el sistema universitario.

¿Qué podemos aprender en España del REF2014?

España ha sido siempre un sistema complejo, donde la tensión al «café para todos» frente al reconocimiento al individuo ha favorecido un sistema caótico, burocrático y lleno de contradicciones. Contrasta la fuerza investigadora en bibliometría con la ignorancia y los fallos de bulto de nuestro sistema que parte de una evaluación individual que daña la colaboración y, por ende, la proyección internacional. El sistema británico es claramente imperfecto, parte de definiciones ambiguas y de una implementación de carácter más bien experimental. Sin embargo, cuenta con unos objetivos claramente definidos (la distribución de recursos) que pretenden fortalecer el sistema universitario y de investigación británico. Asimismo, se fomenta el debate en las cuestiones de fondo, con análisis pormenorizados y serios sobre los efectos de dicho sistema. En España, el objetivo de sistemas de evaluación como los sexenios o las acreditaciones es, cuando menos, dudoso convirtiéndose al final en una mera cuestión burocrática con un sentido más bien de monitorización que de mejora del sistema.

Queda cuestionarse si se trata de una excesiva atención a los criterios e indicadores empleados, que no permiten centrar la discusión en los objetivos de la evaluación. O, tal vez, simplemente se deba a que aún nos encontramos históricamente en un estadio anterior al británico. Sea la razón que sea, la experiencia británica es una gran oportunidad para observar los importantes cambios que están por venir en evaluación científica y reflexionar sobre si estamos siguiendo un camino adecuado a las demandas actuales de la sociedad.


1 Todas las minutas de las conversaciones así como los casos de estudio están disponibles en la web http://www.ref.ac.uk/2014/

Triple salto mortal de los datos de investigación: sinergias del LEARN toolkit of best practice for research data management

Fernanda Peset, Universitat Politècnica de València
Ana Doñate-Cifuentes, Universidad CEU Cardenal Herrera
Antonia Ferrer-Sapena, Universitat Politècnica de València


LEARN toolkit of best practice for research data management (2017). [S.l.]: UCL [et al.]. Disponible en: http://learn-rdm.eu/wp-content/uploads/RDMToolkit_rev06-17.pdf


“El todo es más que la suma de sus partes” Aristóteles, Metafísica.

Una vez más el número tres protagoniza nuestras reseñas. Número asociado a la creatividad, a la sociabilidad, a la comunicación científica… por no hablar de su relación con la naturaleza, la religión o las artes. No queremos parecer supersticiosos, pero es que de nuevo este informe refleja ese tres: se estructura en tres grandes partes y, como anotamos en título y cita, su suma produce sinergias que van más allá que la pura suma de las partes.
Pasemos ahora a revisarlo desde presupuestos objetivos. Este informe del proyecto LEARN supone un paso más en los temas sobre la gestión de datos de investigación (RDM) que la LERU identificó en su Hoja de ruta para los datos de investigación (2013; Aleixos et al., 2015). Cubre gran parte de las intenciones que LEARN propuso suministrar:

Los medios sociales en la comunicación científica

Natalia Arroyo
Especialista en medios sociales y tecnología móvil para bibliotecas y centros de información
Responsable de la Mediateca de la Universidad Isabel I


Work, Samantha; Haustein, Stefanie; Bowman, Timothy D.; Larivière, Vincent (2015). Social media in scholarly communication: a review of the literature and empirical analysis of Twitter use by SSHRC Doctoral Award recipients. [Montreal]: Canada Research Chair on the Transformations of Scholarly Communication. University of Montreal. 87 p. Disponible en: http://crctcs.openum.ca/files/sites/60/2015/12/SSHRC_SocialMediainSchola.... [Consulta: 29/01/2017].


La conversación se ha trasladado a los medios sociales, también en el ámbito de la comunicación científica. En los últimos años, se viene analizando cómo los investigadores utilizan los medios sociales y cómo difunden los resultados de investigación y se han introducido las métricas alternativas, que más bien parecen complementarias. Un estudio del Canada Research Chair on the Transformations of Scholarly Communication, de la Universidad de Montreal, comisionado por el Social Sciences and Humanities Research Council (SSHRC), aporta un amplio estado de la cuestión sobre el tema que resulta muy útil para conocer los diferentes puntos de vista abordados en la bibliografía. Además, este trabajo incluye un análisis del uso de Twitter por parte de los receptores de los premios doctorales del SSHRC.

Investigadores en archivos y bibliotecas patrimoniales: ¿qué piensan de los centros y cómo trabajan con las fuentes?

Pedro Rueda Ramírez
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona


Terra cognita: graduate students in the archives: a retrospective on the CLIR Mellon Fellowships for dissertation research in original sources (2016). Washington: Council on Library and Information Resources. VI, p. Disponible en: https://www.clir.org/pubs/reports/pub170/pub170. [Consulta: 27/11/2016]


Terra cognita es un informe valioso que analiza las opiniones y las expectativas de estudiantes de doctorado e investigadores que utilizan fuentes primarias en centros patrimoniales y bibliotecas de todo el mundo. El programa del Council on Library and Information Resources ha ofrecido 210 becas de la Andrew W. Mellon Foundation a investigaciones doctorales. Los informes finales de los becarios entre 2003 y 2015 han sido el núcleo de la evaluación de este informe. La lectura permite detectar algunos éxitos del programa en la formación adquirida, la realización de trabajos inéditos, el refuerzo de las comunidades académicas implicadas y las estrategias de debate en torno a las metodologías en el uso de fuentes originales.

"Progresa adecuadamente, pero necesita mejorar"

Carina Rey Martín
Comisionada para Sistemas de Información y Documentación
Universitat de Barcelona


Arguimbau, Llorenç (coord.). Informe de la recerca en Informació, Documentació i Arxivística a Catalunya (2000-2013). Barcelona: [Institut d’Estudis Catalans], 2015. Disponible en: http://blogs.iec.cat/observatori/wp-content/uploads/sites/2/2015/11/INFR... [Consulta: 06/04/2016].


En este informe, promovido por el COBDC y realizado por cuatro profesores del área, se intenta responder a la pregunta que en su momento se hizo el Observatori de la Recerca del IEC (Institut d’Estudis Catalans), “¿Hay investigación en Información y Documentación?” Pero esta preocupación no es nueva, ya en el año 2002 Ernest Abadal relataba la II Jornada sobre la Recerca en Biblioteconomia i Documentació, celebrada el 19 de junio de ese año e indicaba: “De cara al futuro parece importante poder mantener reuniones científicas de esta orientación para contribuir a la difusión de la investigación en Biblioteconomía y Documentación, un área de especialización que cuenta con un potencial de crecimiento y unas posibilidades de financiación notables, pero que no dispone todavía de una estructura consolidada de equipos de investigación. Estas jornadas pueden facilitar el conocimiento y la colaboración entre investigadores y grupos de investigación. A nadie se le escapa que, actualmente, las convocatorias públicas priorizan cada vez más la creación de grandes equipos o el trabajo coordinado de diversos grupos de investigación”.1

Páginas

Suscribirse a RSS - investigación