Añadir nuevo comentario

Juzgar la calidad de las revistas según las descargas de artículos no es fácil

Versión para impresiónVersión para impresión
Tomàs Baiget
El profesional de la información
 

Shepherd, Peter T (2007). Final report on the investigation into the feasibility of developing and Implementing. United Kingdom Serials Group (UKSG) <http://www.uksg.org/usagefactors/final>

Este proyecto evaluó la posibilidad de elaborar y aplicar factores de uso (UF) de las revistas contando las descargas de artículos (en pdf y html). Se hizo una encuesta en dos fases:

 

-Fase 1, entrevistas telefónicas en profundidad a un total de 29 autores, directores, bibliotecarios y editores de revistas.

-Fase 2 estudio basado en la web en el que participaron casi 1.400 autores y 155 bibliotecarios.

La información obtenida ayudó a determinar no sólo si un UF es un concepto significativo con el potencial suficiente para proporcionar información adicional sobre el valor y la calidad de las revistas online, sino también cómo se podría aplicar.

También se obtuvieron consejos útiles sobre posibles temas a estudiar más a fondo, si se decidiera continuar este proyecto. El aparente interés de los altos ejecutivos para participar en las entrevistas y el gran número de respuestas a la encuesta recibidas por internet indican el alto grado de interés en poder disponer de medidas de calidad de las revistas en general y en el concepto de factor de uso UF en particular.

En base a estos resultados, al autor del informe le parece que no sólo sería factible desarrollar un factor de uso de las revistas, sino que existe un amplio apoyo para su implementación.

Entre las principales conclusiones y recomendaciones están:

  • • se considera que las estadísticas de uso Counter todavía no son una base lo suficientemente sólida sobre la que construir una nueva medida mundial como el UF, pero la confianza en ellas está creciendo y son vistas como la única base viable para el UF.
  •  
  • • la mayoría de los editores apoyan el concepto de UF, parecen estar dispuestos, en principio, a participar en el cálculo y publicación de UFs, y aprueban ver sus revistas ordenadas de acuerdo con el UF.
  •  
  • • existe diversidad de opiniones sobre la forma de calcular el UF, y en particular sobre cómo definir los siguientes términos: "uso total", "periodo de uso especificado", y "número total de artículos publicados online". Para afinar las definiciones de estos términos será necesario realizar pruebas con datos de uso real.
  •  
  • • no hay una diferencia significativa entre los autores en diferentes áreas de investigación académica sobre la validez de los factores de impacto (IF) de revistas –de Thomson ISI- como una medida de su calidad.
  •  
  • • la gran mayoría de autores en todos los campos de investigación académica celebraría tener una nueva medida del valor de las revistas basada en el uso.
  •  
  • • donde estuvieran disponibles, los UFs serían un factor muy valorado entre los bibliotecarios, no sólo para evaluar las revistas para su potencial compra, sino también de cara a la renovación o cancelación de las suscripciones.
  •  
  • •los editores, en general, no está dispuestos a dar sus datos de uso a terceros para el cálculo y consolidación de los UFs. La mayoría prefiere calcular ellos mismos los UFs de sus revistas y que este proceso sea auditado. Esto se percibe generalmente como una extensión natural del trabajo que ya realizan para Counter. Si bien ello puede tener implicaciones para los sistemas de las editoriales, no son vistas como problemáticas.
  •  
  • • Counter, en general, tiene la confianza tanto de los bibliotecarios como de los editores y se considera que tendrá un rol en el desarrollo y mantenimiento de los UFs, posiblemente en colaboración con otra organización de la industria de la información. La organización que realice esta función deberá contar con la confianza tanto de los bibliotecarios como de los editores, y deberá incluir representantes de ambos colectivos.
  •  
  • • existen varios problemas estructurales con los datos de uso online que tendrían que tenerse en cuenta para que los UFs sean creíbles. Entre ellos destaca la percepción de que los datos de uso online son mucho más manipulables que los datos de citas.
  •  
  • • si el UKSG desea continuar este proyecto hay una gran probabilidad de que otros organismos se interesen en apoyarlo financieramente.
  •  
  • • una gran biblioteca académica típica está suscrita a más de 20.000 revistas. Sólo unas 8.000 de ellas están indizadas en el Science Citation Index, las cuales sirven de fuente para calcular los Factores de Impacto. Una de las ventajas del UF es que, en teoría, podría abarcar todas las revistas online.

En la pág. 31 el informe lista los "problemas estructurales" que habría que solucionar para obtener un UF fiable:

  • -Es más fácil de inflar de manera sistemática los datos de uso online que los datos de citación. Los editores querrán inflar los UFs de sus revista. Alguien podría estar descargando artículos mediante un robot para hacer subir las estadísticas. Un autor que sea profesor puede pedir a todos sus alumnos que se bajen su artículo para luego trabajarlo en clase… ¿Es Counter capaz de controlar esto?
  • -Será muy difícil controlar el 100% de las descargas de una revista online, pues el entorno de publicación está cada vez más distribuido. Además de en su propio servidor la revista puede estar distribuida desde otras plataformas, o agregada con otras revistas en una base de datos, los artículos pueden estar en diferentes repositorios, webs particulares… ¿Qué cobertura tiene que haber para obtener UFs comparables y creíbles de las revistas?
  •  
  • -Las colecciones de contenidos grandes alojados en un único servicio online tienden a tener un efecto amplificador sobre el uso de los elementos individuales de ese servicio. Esto proporciona a los editores más grandes una ventaja que da por resultado mayores UFs para sus revistas.
  •  
  • -La impresión de artículos no está cubierta por Counter. ¿Socavaría su omisión la credibilidad del UF?

Conclusión
En vista de los problemas descritos en el informe, la opinión de este reseñador es que es inviable poner en marcha un factor de uso (UF) basado en el número de descargas de los artículos de las revistas.

Una solución parecida basada en las referencias en vez de en los artículos en pdf podría ponerla en marcha Thomson Reuters con su Web of Science (como complemento a su IF) o Elsevier con Scopus (como complemento a su SJR), contando el número de referencias descargadas de cada revista, en las búsquedas realizadas desde todo el mundo. De hecho este dato (de la WoS) se tiene en cuenta para calcular el Eigenfactor y valorar más las citas de las revistas más usadas (no todas las citas valen igual).

Un UF calculado en esas bases de datos sería más fiable en cuanto que todas las referencias descargadas son de pago -aunque estaría limitado a las revistas que tienen indizadas-. Pero pretender contar las descargas de pdfs, cuando éstas se pueden hacer gratuita e ilimitadamente desde dentro de los campus de las universidades, y cuando los pdfs pueden distribuirse desde múltiples plataformas y repositorios, lo vemos muy difícil.