Evaluando la evaluación… por pares

Wellcome Trust (2015). Scholarly Communication and Peer Review: The Current Landscape and Future Trends. Research Information Network CIC. Disponible a: http://www.wellcome.ac.uk/stellent/groups/corporatesite/@policy_communications/documents/web_document/wtp059003.pdf [Consulta: 15/09/2015]

El informe sobre el peer review publicado por Research Information Network por encargo de Wellcome Trust trata de recoger los anhelos y preocupaciones de todos los implicados así como los intentos de superarlos. Sus fuentes de información han sido la literatura profesional  y unas entrevistas realizadas a algunos de los protagonistas. En ellas basan las limitaciones que reconocen: no han hecho una revisión total de la literatura¹ y los encuestados forman parte de un único colectivo, las editoriales² (en concreto 11 de: BMJ Group, PeerJ, Nature Publishing Group, Oxford Journals, Springer, eLife, PLOS ONE, Sage, Peerage of Science, Elsevier y Wiley). Consideran no obstante que han podido identificar las características clave del actual panorama, los cambios que están teniendo lugar y algunas de las tendencias de futuro.

Su principal virtud es que toca de manera sencilla, breve y entendible prácticamente todos los aspectos implicados en el proceso de revisión por pares, incluyendo ejemplos de prácticamente cada una de las opciones, desvelando las deficiencias y apuntando las críticas tanto del sistema tradicional como de las alternativas, ya que cada iniciativa tiene defensores y detractores y sus propios problemas. Además la presentación y las conclusiones son como un paréntesis en que se sintetiza (a veces con las mismas palabras) lo que se desarrolla en la parte central del texto y que pretende abordar 6 cuestiones:

• Necesidad de más transparencia y apertura en el proceso de revisión (afectando al contenido más que al evaluador).
• Más interacción entre implicados: editores, revisores y autores.
• Se busca proporcionar métricas a nivel de artículo.
• Creciente interés en proporcionar recompensas a los evaluadores en forma de crédito y reconocimiento académicos.
• Mejorar la guía, formación y retroalimentación de los revisores; así como evaluar y puntuar revisiones y revisores.
• Interés en diferenciar entre los diferentes propósitos del peer review.

¿Qué nos dice en concreto el informe?

Destaca el papel central de las revistas en el progreso de la ciencia, subrayando que a sus roles tradicionales ya avanzados en el origen mismo de la revista científica se ha añadido la presión por publicar sobre todo en revistas que tienen el status más alto dentro de sus disciplinas, porque la publicación se ha convertido en una forma de medir el rendimiento personal, el de equipos de trabajo, el de instituciones e incluso de países (¿por qué si no tanto énfasis en los rankings en que nadie cree y en los que todo el mundo quiere aparecer?). Esto ha multiplicado el número de publicaciones (dos millones al año en 28.000 revistas) y ha trasladado la presión a editoriales y editores, y estos al proceso de revisión.

Se describe qué es el peer review y cuáles sus propósitos, el papel de editores, revisores y editoriales (en este sentido es importante tener en cuenta que es el editor el que rechaza o acepta un artículo en base a las opiniones de los revisores), las críticas que se hacen al sistema (falta de eficacia, sesgos, retrasos, coste, sobrecarga de revisores, perversión del propio sistema) y las distintas modalidades de revisión por pares.

La más extendida en las Ciencias es la del simple ciego (el evaluador sabe quién es el autor), bien valorada por menos de la mitad de investigadores; la de doble ciego (ni autor ni revisor conocen la identidad del otro), utilizada sobre todo en Ciencias Sociales, es considerada el mejor sistema por una gran mayoría; y la de open review en que ambos conocen la identidad del otro es relativamente nueva y mejor vista en algunas áreas, sobre todo de Medicina. 

Se plantea el deseo de que exista una interacción mayor entre editores, revisores y autores, facilitada por los desarrollos tecnológicos aunque los tradicionales sistemas de gestión editorial no lo contemplen. Se mencionan algunos casos: intercambio entre revisores y autores (Frontiers), entre revisores y editor (eLife).

Otra opción posible es publicar tanto las revisiones como las respuestas de los autores a las mismas (BioMed Central, EMBO, BMJ, Sage…) lo que no significa publicar los nombres de los revisores, ni que todos los autores quieran que se conozca toda la historia de sus publicaciones.

No se olvida la relación entre pre-prints y revisión por pares (partiendo del caso de arXiv y mencionando los de ACP, PeerJ y F1000Research) ni las revisiones en cascada o portables que para evitar la redundancia de esfuerzos al evaluar el mismo trabajo en diferentes revistas plantean la rotación dentro de una misma editorial o entre varias (con menos éxito).

Se cuestiona que la reproductibilidad sea una forma de medir la validez de los resultados de una investigación ya que una proporción pequeña de estudios en Biociencias es verdaderamente reproducible, puesto que se dan dos problemas: uno ligado a la complejidad de los análisis estadísticos y la falta de expertos capaces de evaluarlos y sobre todo por el incremento sin precedentes del volumen de datos utilizados en las investigaciones que tiene como consecuencia que aunque se hagan públicos en un repositorio no se pueda esperar que los evaluadores examinen tal conjunto de datos en profundidad.

Una manera de superar el retraso en la publicación de una investigación sería trasladar el proceso de revisión a un momento posterior a su publicación; algo que se entiende de diferentes maneras (F1000Research y Science Open o The Winnower). Buena parte se queda sin revisiones. Además creemos que no queda demasiado claro siempre en qué consiste exactamente la publicación.

En una línea similar se defienden los comentarios y ratings proporcionados por PLOS ONE, F1000Prime (solo Biología y Medicina), diferentes altmétricas (cada vez más complejas, sofisticadas e integradas con las clásicas), gestores bibliográficos, espacios como ResearchGate y Academia.edu o nuevas plataformas donde se pueden escribir y leer revisiones de trabajos publicados (PubPeer, PubMedCommons, ResearchGate’s Open Review). Las críticas que recogen estos sistemas se centran en que pocos artículos han recibido evaluaciones, que no hay manera de saber si los que las hacen tienen conocimientos relevantes en el campo científico evaluado y que hay una tendencia a centrarse en lo negativo en vez de en lo positivo.

Las editoriales ven la revisión post publicación como un importante suplemento pero no como algo que reemplace a la revisión por pares.

Se dedica un espacio a la formación de editores y revisores (menos cuidada en el caso de los últimos, que a veces ni siquiera reciben información sobre el destino del trabajo evaluado). Se considera una buena manera de formar aquella en la que los investigadores senior incorporan a los junior al proceso, añadiéndoles en la firma de la evaluación. Claro que también se da el caso de los que hacen recaer la evaluación en estos últimos sin que figuren de ninguna manera ni el editor sepa que han intervenido.

Se trata también de recompensar el trabajo de los revisores, no de manera monetaria: haciéndolos más visibles, dando algún tipo de crédito, etc. Hay iniciativas como Publons, que agrega información sobre revisiones para crear perfiles de revisor; o Academic Karma (Australia) que permite crear un perfil de revisor, junto con requerimientos de diferentes revistas… y que sus editores puedan ver el perfil del revisor y encargarle trabajos. 

Por último se habla de las plataformas independientes de peer review cuyo negocio consiste en proporcionar una revisión que orienta sobre las posibilidades de publicar en una o varias revistas. Algunos ejemplos: Rubriq, Axios, Peerage of Science (del mundo de la Biología y Ecología) el último con 4 pasos y posibilidad de que los editores vean trabajos y revisiones.

Hay discrepancia sobre su utilidad: unos creen que podrían reducir los costes de publicación, otros que sólo resultarían útiles para mega-revistas y no para las especializadas. Se apunta por otro lado a que hay reticencia a aceptarlas porque se quiere monitorizar el control editorial y no dejarlo en manos ajenas. Una pregunta que nos hacemos por nuestra parte es si no acabarán influyendo en los trabajos que se aceptan en determinadas revistas.

Alguna otra cuestión que creemos relevante y se apunta en diferentes momentos es que la evaluación por pares es un proceso conservador ya que suele responder mal a resultados inesperados o a disciplinas nuevas. También a que el mecanismo conlleva que haya determinados resultados que no se publiquen (los negativos, los que refrendan o replican a previos, etc.). 

Otra, que no siempre se consideran todos los aspectos implicados en el anonimato del revisor. Uno de los más relevantes es el que protege a los investigadores nóveles cuando evalúan trabajos de otros ya consagrados o reconocidos. Por algo los revisores más proclives al anonimato son los que rechazan un artículo. 

Las iniciativas nuevas que apoyan algunas editoriales no suponen que olviden la idiosincrasia de su comunidad científica y lo que conlleva. Como los autores indican en su última frase: a menos que definan con más claridad sus propósitos, algunas de las actuales experimentaciones tienen un corto recorrido.

Quedamos, por tanto, a la espera de los próximos resultados de una investigación que dicen proseguir.

[1] Cabe destacar el que es mencionado como Mulligan 2012 (http://onlinelibrary.wiley.com/doi/10.1002/asi.22798/abstract) -aunque publicado en la revista en 2013- que recoge los resultados de una encuesta realizada en 2009 a investigadores con publicaciones en WoS. Son muchos (4.037) aunque la encuesta fue enviada a 40.000. De ellos sólo 53 del área de Arte y Humanidades, incluidos junto con los 354 del área de ciencias sociales y económicas en un mismo grupo. Llama la atención el nivel de publicación de los que respondieron: el 56% tenía más de 20 publicaciones, el 29% más de 50 y un 11% más de 100.

[2] Tenemos un problema con los términos editor y publisher. Ambos podrían traducirse como editor. Para diferenciarlos hemos optado por llamar a los primeros editores (o directores) y a los segundos editoriales.