Los resultados del REF2014 del Reino Unido marcan el camino a seguir en la evaluación científica

Nicolás Robinson-Garcia
School of Public Policy
Georgia Institute of Technology (Estados Unidos)


Research Excellence Framework 2014: the results (2014). Higher Education Funding Council for England (HEFCE) … [et al.] 62 p. Disponible en: http://www.ref.ac.uk/2014/media/ref/content/pub/REF%2001%202014%20-%20fu.... [Consulta: 10/12/2017]


Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, comentaremos los resultados de su primera implementación, allá en 2014, e introduciremos algunas reflexiones sobre las importantes novedades que incorpora en el sistema de evaluación británico.

Recientemente, mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE impact blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones de euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación en un tema de debate constante dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto los métodos como los objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.

El Reino Unido, un pionero en la evaluación de la actividad investigadora

Desde 1986, el Reino Unido se ha postulado como el gran pionero en apostar fuerte por fórmulas evaluativas, nunca exentas de polémicas, con el objetivo de incentivar la competencia entre instituciones. Contrariamente a lo que sucede en España, la evaluación se realiza a nivel institucional o departamental (ya que lo que se evalúan son «unidades de evaluación» dentro de áreas científicas). Dicho proceso evaluativo cuenta con paneles de evaluadores y exige por parte de las instituciones un importante esfuerzo tanto económico como humano. Cada unidad deberá seleccionar tanto personal a tiempo completo como publicaciones. En sus múltiples ediciones, ha sufrido notables modificaciones que reflejan los cambios de dirección y objetivos del país en materia de investigación.

En un principio, se evaluaba el número total de publicaciones. En 1996, se cambió la metodología con el fin de incentivar la producción de investigación de «calidad» (entendida como aquella altamente citada) frente a la «cantidad», introduciendo un número fijo de publicaciones a someter a evaluación. Sin embargo, y a pesar de continuados esfuerzos y modificaciones en las sucesivas ediciones, el entonces RAE, siguió premiando la productividad de los investigadores frente al impacto científico. Al mismo tiempo, las críticas empezaron a arreciar contra un sistema de evaluación cada vez más costoso. Entre otras cuestiones, destacamos aquí dos críticas. En primer lugar, cabía cuestionarse la necesidad de emplear la evaluación por pares cuando esta era fácilmente sustituible por indicadores bibliométricos, ya que el foco de atención era la publicación científica. Más dura era la crítica relativa a si una evaluación basada en la publicación científica tenía sentido y si realmente esta era la forma más adecuada de capturar la repercusión que tiene la investigación en la sociedad.

2014 fue un año clave en la evaluación de las universidades británicas. Atrás quedó el antiguo RAE, refundado y conocido ahora como REF. Dicho sistema de evaluación siguió manteniendo un apartado para publicaciones científicas, pero introdujo la variable de «impacto social» de la actividad investigadora. Un concepto ambiguo que se definió como «un efecto, cambio o beneficio económico, social, cultural, de política pública o servicios, a la salud, el medio ambiente o la calidad de vida más allá del académico». La tarea se complicaba, ya que los objetivos del REF ya no eran simplemente distribuir fondos o establecer un marco de comparación entre universidades, sino también producir evidencias de los beneficios públicos generados por la inversión en investigación. Para ello, se crearon 36 unidades de evaluación divididas en cuatro paneles (Ciencias Biomédicas y de la Salud; Ciencias Físicas, de la Vida e Ingeniería; Ciencias Sociales; Humanidades y Artes) a las que las universidades debían enviar tanto una selección de publicaciones como casos de estudio sobre su contribución social. Un verdadero experimento de laboratorio en el que los revisores de cada panel (formado tanto por científicos como por otros actores sociales) debían asesorar el impacto social de cada caso de estudio y puntuarlos de acuerdo a un sistema de cuatro estrellas, (siendo cuatro la puntuación más alta).

La temeridad fue extrema. Previamente, un comité de expertos en evaluación científica señaló la falta de indicadores cuantitativos para evaluar el impacto social. Esto hizo que todo el proceso quedara en manos de los paneles de expertos, que desplegaron un importante esfuerzo por dotarlo de la máxima transparencia1. El éxito en dicho modelo es aún incipiente y, aunque es loable el esfuerzo y cambio de dirección en la evaluación, quedan muchas preguntas en el aire sobre cómo se ha interpretado qué es impacto social. Tanto los resultados de la evaluación como la implementación de la misma han sido objeto de evaluación y de gran debate en la comunidad científica británica.

Excelencia científica versus relevancia social

Gran parte de la discusión se ha centrado en analizar cómo se ha interpretado el concepto de impacto social y su relación con indicadores bibliométricos o indicadores altmétricos. Asimismo, se tiende a buscar una relación positiva entre excelencia investigadora e impacto social, infiriendo no sólo que están relacionados, sino que dicha relación es deseable. En nuestros análisis sobre el REF, Richard y yo partíamos de una premisa totalmente distinta. La búsqueda de impacto social, por un lado, y excelencia investigadora por otro, abre la puerta a un escenario más heterogéneo y diverso de la actividad investigadora y de los distintos perfiles académicos que existen. Supongamos que el REF llevó a cabo una evaluación exhaustiva y veraz tanto del impacto social como de la producción científica. Supongamos que el impacto social es, de hecho, algo medible y positivo. Ahora, analicemos las universidades para cada unidad de evaluación. Lo que observamos es un escenario de lo más variopinto, donde no sólo la correlación entre actividad investigadora e impacto social no es para todas las unidades de evaluación alta (en algún caso, como el de Medicina Clínica, es hasta negativo), sino que existen sobrados casos de universidades con una alta puntuación en una y no en la otra.

Esto sugiere nuevos caminos y más heterogéneos para la evaluación. Supone abandonar el sistema lineal y homogéneo hasta ahora empleado de concebir la investigación, donde se premia a la (falsa) figura del investigador todoterreno, que excede en todos los ámbitos de la actividad académica (transferencia, investigación, docencia, administración…); y pasamos a otro donde existen diversos perfiles, todos ellos necesarios para enriquecer el sistema universitario.

¿Qué podemos aprender en España del REF2014?

España ha sido siempre un sistema complejo, donde la tensión al «café para todos» frente al reconocimiento al individuo ha favorecido un sistema caótico, burocrático y lleno de contradicciones. Contrasta la fuerza investigadora en bibliometría con la ignorancia y los fallos de bulto de nuestro sistema que parte de una evaluación individual que daña la colaboración y, por ende, la proyección internacional. El sistema británico es claramente imperfecto, parte de definiciones ambiguas y de una implementación de carácter más bien experimental. Sin embargo, cuenta con unos objetivos claramente definidos (la distribución de recursos) que pretenden fortalecer el sistema universitario y de investigación británico. Asimismo, se fomenta el debate en las cuestiones de fondo, con análisis pormenorizados y serios sobre los efectos de dicho sistema. En España, el objetivo de sistemas de evaluación como los sexenios o las acreditaciones es, cuando menos, dudoso convirtiéndose al final en una mera cuestión burocrática con un sentido más bien de monitorización que de mejora del sistema.

Queda cuestionarse si se trata de una excesiva atención a los criterios e indicadores empleados, que no permiten centrar la discusión en los objetivos de la evaluación. O, tal vez, simplemente se deba a que aún nos encontramos históricamente en un estadio anterior al británico. Sea la razón que sea, la experiencia británica es una gran oportunidad para observar los importantes cambios que están por venir en evaluación científica y reflexionar sobre si estamos siguiendo un camino adecuado a las demandas actuales de la sociedad.


1 Todas las minutas de las conversaciones así como los casos de estudio están disponibles en la web http://www.ref.ac.uk/2014/

¿Construimos colecciones juntos (y 2)? Viabilidad de la gestión conjunta de monografías en el Reino Unido

Santi Balagué
Jefe del Equipament GEPA
Àrea de Biblioteques, Informació i Documentació - CBUC
Consorci de Serveis Universitaris de Catalunya (CSUC)


Feasibility study on monographs: final report (2017). [Kirkcudbright]:  Information Power. June. 46 p. Disponible en: http://www.ukrr.ac.uk/resources/NMSG%20Feasibility%20Study%20final%20Jun.... [Consulta: 27/11/2017]


El sector bibliotecario experimenta y desarrolla desde hace años programas de colaboración para conseguir una amplia gama de objetivos: desde maximizar economías de escala y ahorro en la formación del personal, entre muchos otros. Y más concretamente, y como se apuntaba hace unos años en este Blok reseñando el trabajo de OCLC Cloud-sourcing research collections: managing print in the mass-digitized library environment, en el ámbito de las bibliotecas universitarias y de investigación hace tiempo que se exploran las posibilidades de dar respuestas de manera conjunta a los desafíos que supone la gestión de las colecciones impresas, su conservación y la limitación y reconversión de los espacios disponibles en las bibliotecas.

Constituye un buen ejemplo la UKRR (UK Research Reserve), un programa colaborativo coordinado entre las bibliotecas universitarias y de investigación británicas y la British Library, para gestionar de manera eficiente y sostenible a largo plazo la conservación de publicaciones periódicas impresas con bajos niveles de uso. Las grandes colecciones de revistas representan una valiosa fuente de conocimiento, y por tanto las bibliotecas deben proporcionar su acceso a los investigadores para que puedan utilizar su contenido. Sin embargo, los bajos niveles de uso de algunos de estos títulos hace que las colecciones puedan almacenarse off-site, más allá de los preciados espacios de las bibliotecas de campus o centrales, lo que debe permitir liberar espacio para otros usos. Mediante la deduplicación coordinada de títulos de revistas en todo el Reino Unido desde 2007, la UKRR ha procesado más de 104 km de fondos ofrecidos por los miembros participantes y ha facilitado a las bibliotecas la toma de decisiones estratégicas sobre sus colecciones y espacios. También ha contribuido a cambiar aspectos de cultura organizativa dentro y fuera del sector de la educación superior.

Una perspectiva no-tan-global sobre la alfabetización informacional

Cristóbal Pasadas Ureña
Biblioteca de la Facultad de Psicología
Universidad de Granada


Global perspectives on information literacy: fostering a dialogue for international understanding (2017). Association of College and Research Libraries. Working Group on Global Perspectives for Information Literacy, Student Learning and Information Literacy Committee. Chicago, IL: Association of College and Research Libraries. Disponible en: http://www.ala.org/acrl/sites/ala.org.acrl/files/content/publications/wh.... [Consulta: 09/10/2017].


La Association of College and Research Libraries acaba de publicar un libro blanco con el título de Global perspectives on information literacy: fostering a dialogue for international understanding, bajo la dirección del Global Perspectives on Information Literacy Working Group del ACRL Student Learning and Information Literacy Committee. La idea de este informe surge de la necesidad de entender cómo aparece representada la alfabetización informacional a lo largo y ancho del mundo y cómo se aplica entre diferentes culturas.

La obra comprende trece capítulos que cubren las experiencias de diversos expertos en alfabetización informacional en educación superior de varios países (Canadá, Croacia, Emiratos Árabes Unidos, Israel, México, Noruega, Nueva Zelanda, Reino Unido, Sudáfrica y Uganda). Cada capítulo, a su vez, se estructura en torno a cuatro bloques temáticos (Tendencias de investigación, Modelos de alfabetización informacional, Teoría y práctica de la alfabetización informacional y Rol de los profesionales de las bibliotecas) con el fin de dejar al descubierto posibles hilos comunes y planteamientos específicos a través de las diferentes culturas. Cada capítulo va acompañado de una excelente sección de referencias que constituye una de las principales aportaciones de la obra.

Las editoriales académicas y la producción de monografías científicas

Llorenç Arguimbau
Observatori de la Recerca
Institut d’Estudis Catalans


Giménez Toledo, Elea (2017). La edición académica española: indicadores y características. [Madrid]: Federación de Gremios de Editores de España. 190 p. Disponible en: http://ilia.cchs.csic.es/SPI/spi-fgee/docs/EAEV1.pdf. [Consulta: 10/11/2017].


¿Cuál es el panorama de las editoriales académicas españolas? ¿Cuál es el reconocimiento de los libros científicos en el sistema de evaluación? Desde el año 2008, el Grupo de Investigación sobre el Libro Académico (ILIA) del Consejo Superior de Investigaciones Científicas (CSIC) ha impulsado una línea de investigación para responder a estas cuestiones. Además de numerosas publicaciones científicas y diversos proyectos competitivos, la investigación del grupo ha permitido la creación del sistema de información Scholarly Publishers Indicators (SPI).

Los objetivos del sistema SPI son, en primer lugar, mejorar el conocimiento del sector editorial de libros en ciencias sociales y humanidades y, en segundo lugar, obtener información objetiva mediante metodologías científicas. De esta manera, también se favorece el reconocimiento científico de los libros publicados en el Estado español. De hecho, la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) ya utiliza el sistema SPI como  fuente de información de apoyo en los procesos de evaluación científica.

La propiedad intelectual y las nuevas tecnologías

Mª Asunción Esteve Pardo
Profesora agregada
Departamento de Derecho Civil
Universitat de Barcelona


Carbajo Cascón, Fernando (2017). La propiedad intelectual en la sociedad de la información: leer para descansar tranquilo. Peñaranda de Bracamonte: Bracamonte. 72 p. Disponible en: http://bibliotecadigital.jcyl.es/fr/catalogo_imagenes/grupo.cmd?path=101.... Consulta: [23/10/2017].


Este informe elaborado por Fernando Carbajo Cascón, profesor titular de Derecho Mercantil de la Universidad de Salamanca, es una síntesis en clave divulgativa de las numerosas publicaciones que este autor ha realizado en materia de propiedad intelectual. Contiene un análisis del derecho de propiedad intelectual en el ámbito de las nuevas tecnologías digitales y aborda los numerosos interrogantes que Internet plantea para lograr mantener un equilibrio entre los derechos que la ley reconoce a los autores y productores y el acceso a la cultura, la educación y el conocimiento.

El informe contiene una breve introducción en la que se expone a grandes rasgos el contenido de la propiedad intelectual: el autor explica la diferencia entre los derechos que la Ley de Propiedad Intelectual reconoce a los creadores para incentivar el desarrollo de las industrias culturales, así como los límites legales que la propia Ley impone a los titulares de estos derechos para garantizar el acceso a la cultura, la educación y la información.

Páginas

Suscribirse a blok de bid RSS