Ampliant el cercle: la incorporació de mesures alternatives a l'avaluació de la investigació

Versió per a imprimirVersió per a imprimir
Marta de la Mano González
Professora Titular d'Universitat
Dpto Biblioteconomía y Documentación. Universidad de Salamanca

 

WOUTERS,P.; COSTAS, R. Users, narcissism and control: tracking the impact of scholarly publications in the 21st entury. Utrech: SURFfoundation, 2012

QUIN ÉS L'IMPACTE DE LA MEVA RECERCA? Aquesta pregunta ha intrigat sempre a estudiosos i científics de totes les disciplines. Durant la major part de la història de la ciència, va ser una pregunta difícil de contestar. Senzillament, era massa complicat saber qui estava llegint el treball d'un, al marge del cercle, relativament petit, de col·legues propers. Això ha canviat completament en els últims anys amb l'impacte de les noves tecnologies de la informació i l'aparició d'Internet. Avui en dia, la comunicació dels treballs científics utilitza, no només vehicles tradicionals com els llibres i les publicacions periòdiques, sinó també altres formes de comunicació textual menys formals, característiques de l'entorn digital, que es veuen impulsades cada vegada més per la web social. Investigacions que solien trigar mesos o fins i tot anys en arribar als lectors, poden ser conegudes gairebé instantàniament via blogs i Twitter.

Però l'actual sistema d'avaluació de la recerca, basat essencialment en l'anàlisi de cites, no reflecteix aquestes noves formes de treball i comunicació. Aquest tipus d'activitat queda fora de l'abast d'indicadors i instruments tradicionals com el factor impacte, els índexs de cites i els rànquings que, centrats en l'anàlisi dels productes científics difosos a través de canals formals, romanen al marge d'aquestes altres xarxes de intercanvi, menys visibles però, sovint, més importants a l'hora de valorar l'impacte d'un determinat treball, teixides a través de connexions personals i comunicacions informals desenvolupades en la xarxa.

És evident que es necessiten nous mètodes i mesures d'avaluació de la recerca adaptats a l'entorn web, que complementen les tradicionals mesures bibliomètriques, i permetin valorar aquestes formes d'intercanvi cada vegada més generalitzades. Conegudes com "Mesures alternatives" o "altmetrics", es basen en l'ús de la informació científica en els mitjans de comunicació socials i, actualment, s'han convertit en objecte d'estudi preferent entre els investigadors de l'avaluació de la ciència, tal com mostren els nombrosos estudis apareguts recentment sobre aquest tema.

És en aquest context de generalització de noves formes d'intercanvi científic en l'entorn web i recerca de nous instruments per a la seva mesura i avaluació on podem situar l'informe elaborat per Wouters i Costes. Impulsat per l'organització d'universitats holandeses SURF com a part del seu programa SURFHARE, aquest estudi se situa dins de la línia de treball centrada en la investigació de noves formes de mesurar la qualitat i l'impacte dels productes científics. Tal com s'explicita en la introducció, l'informe se centra en l'anàlisi de diferents eines de rastreig que han acompanyat l'aparició de productes informatius basats en la web, intentant d'establir fins a quin punt poden superar les limitacions de les actuals mesures d'impacte i esdevenir mesures alternatives que les complementin.

Des d'aquesta perspectiva i com a punt de partida de l'estudi, en el segon capítol s'exploren les principals limitacions d'aquestes mesures tradicionals, centrant-se en l'anàlisi de cites, generalitzat des dels anys 80 com el principal indicador de l'impacte de la recerca. L'anàlisi d'aquestes limitacions servirà de teló de fons per plantejar les principals qüestions de l'estudi, que graviten totes elles sobre el potencial real de les mesures emergents per millorar l'avaluació de l'impacte. La resposta a aquestes preguntes va a articular el contingut i les conclusions de l'informe.

Amb aquest objectiu, s'aborda en el tercer capítol el que constitueix el nucli del treball i, sens dubte, la seva principal aportació: l'anàlisi detallada i sistemàtica de les noves eines en línia que podrien utilitzar-se en l'avaluació de l'impacte de les publicacions científiques.

Entre els 16 instruments inclosos en l'estudi podem trobar des de prestigiosos sistemes d'avaluació d'experts fins a serveis gratuïts de subministrament de cites. Entre els primers hi haurien eines com la nova web Faculty of 1000 (F1000) que proporciona revisions i rànquings de publicacions biomèdiques, Peer Evaluation que es podria considerar la versió oberta i gratuïta de l'anterior, o PaperCritic que a més d'oferir la possibilitat als investigadors de classificar i revisar les publicacions, actua com un sistema de gestió de referències. Entre els segons, cal assenyalar Google Scholar, possiblement el motor de cerca més popular en l'entorn acadèmic, així com el nou servei que ha posat en marxa, Google Citations, que permet obtenir les cites d'un treball a partir de les mencions incloses a la base de dades de Google Scholar, l'eina competitiva desenvolupada per Microsoft, el Microsoft Academic Search, similar a les anteriors, o PlosOne que proporciona nombroses estadístiques d'ús i cites d'articles inclosos en les seves publicacions periòdiques. Al costat d'aquestes eines, podem trobar altres amb perfils diferents com TotalImpact que aspira a presentar l'"Impacte invisible" d'articles científics sobre la base d'un document ID, o sistemes avançats de gestió de referències com Mendeley i Zotero, entre d'altres.

Per a cada un d'ells s'indiquen les seves principals característiques, les possibilitats que ofereixen i els problemes que plantegen en ser utilitzats en l'avaluació de l'activitat investigadora, seguint un patró sistematitzat d'anàlisi que abasta aspectes com la cobertura, les opcions de cerca i filtrat , la descàrrega i exportació de dades, les característiques de la interfície, les possibilitats d'obtenir indicadors, o el grau de normalització.

Els resultats d'aquest exhaustiu i laboriós exercici d'avaluació es recullen en una excel·lent taula resum amb la qual es tanca aquest tercer capítol, i en la qual s'inclouen fins a 22 característiques de les eines analitzades, permetent la comparació entre elles.

L'informe finalitza amb un últim capítol en què, en primer lloc, es sintetitzen les principals conclusions extretes de l'anàlisi anterior, indicant les fortaleses i debilitats identificades. Segons els autors, molts d'aquests instruments tenen una interfície d'usuari atractiva i la majoria poden utilitzar lliurement, encara que alguns puguin requerir la intervenció de registre previ. A més, tots ells proporcionen alguna mesura a nivell d'article, manuscrit o llibre. Aquestes tres característiques els converteixen en eines atractives per als investigadors a nivell individual, ja que els permeten obtenir amb rapidesa evidències estadístiques sobre l'impacte, l'ús o la influència dels seus treballs, sense massa esforç. És a dir, resulten molt útils com "Tecnologies del narcisisme", Enteses com aquelles que permeten a l'investigador realitzar una autoavaluació, encara que limitada, de l'impacte que té la seva feina.

No obstant això, també presenten alguns desavantatges molt importants. El primer és la dificultat que presenten la majoria d'aquestes eines per poder comprovar l'exactitud i integritat de les dades que manegen, el que condiciona la qualitat de les estadístiques i indicadors que generen, el segon problema està relacionat amb els problemes que tenen per produir indicadors d'impacte normalitzats i la consegüent dificultat per comparar o extrapolar, i el tercer amb la limitació que solen presentar a la cobertura de les dades i la seva falta de transparència. Aquests i altres problemes que podrien assenyalar en relació a la gestió i la descàrrega de les dades, dificulten en gran manera el seu ús com "Tecnologies de control", utilitzades en l'avaluació formal de la recerca. Per ser considerades com a tals s'haurien d'adherir a un protocol molt més estricte pel que fa a la qualitat de les dades i la precisió i validesa dels indicadors.

Més enllà d'aquestes limitacions, els autors presenten quatre importants arguments a favor de l'ús d'aquestes mesures alternatives: el primer és la seva diversitat i capacitat de filtrat, necessaris per a poder rastrejar les variades formes de comunicació científica que s'han generalitzat a la web, el segon és la velocitat, ja que a diferència de les mesures habituals, permeten obtenir gairebé a l'instant una mesura de l'impacte d'una publicació, el tercer argument, més polític que tècnic, és el de l'obertura, i l'últim rau en el fet que molts indicis de l'activitat científica a la Web són útils per mesurar determinats aspectes de l'impacte de la investigació i no poden ser capturats per l'anàlisi de cites o l'avaluació per parells.

Davant aquesta constatació, finalitzen l'informe amb una sèrie de recomanacions orientades a afavorir l'evolució i transformació d'aquestes mesures alternatives des de la seva condició de "Tecnologies del narcisisme" a "tecnologies de control", de manera que puguin aconseguir una major acceptació i suport entre la comunitat científica. Per això apunten tres línies principals de recerca en aquest àmbit: la primera i més important, seria la creació d'un sòlid entramat conceptual que servís de base per a la validació de les noves mesures desenvolupades, la segona, de caràcter més metodològic, estaria relacionada amb la normalització dels instruments i dades existents, i la tercera i última apuntaria a la producció, normalització i ús de les noves mesures.

M'agradaria acabar la ressenya d'aquest informe, destacant el seu caràcter pioner ja que, tal com indiquen els autors, es tracta de la primera anàlisi d'aquestes característiques realitzat fins ara. Si a això hi afegim el grau d'actualitat, així com la seva utilitat, i projecció per a tots aquells que estem embarcats en l'aventura de la investigació i cada vegada més pressionats per demostrar el grau de visibilitat i impacte del nostre treball, es tracta, sens dubte, de un document de gran interès, la lectura és molt recomanable.