avaluació de la recerca

Mètriques sota context: el camí per l’avaluació dels impactes de la recerca en Ciències Socials i Humanitats

Carles Viladiu
Gabinet de Projectes Estratègics Institucionals (GAPEI)
Universitat de Barcelona


Severinso, Peter (2017). Approaches to assessing impacts in the Humanities and Social Sciences. Ottawa: Federation for the Humanities and Social Sciences = Fédération des Sciences Humaines. 28 p. Disponible a: https://www.ideas-idees.ca/sites/default/files/impact_report_en_final.pdf. [Consulta: 21/03/2018].


Des del seu origen, els criteris d’avaluació de la recerca dels àmbits de les Humanitats i les Ciències Socials han estat sotmesos a crítiques constructives. El fet que aquests àmbits no semblen disposar d’indicadors d’impacte tan acceptats internacionalment com altres àmbits científics, i també el difícil encaix entre un enfocament internacional i una projecció en l’entorn més proper han promogut iniciatives de reflexió, de cerca de consens i de propostes per a l’objectivació. En el nostre entorn, cal fer esment del document d’AQU Catalunya de l’any 2010. L’informe que ara ressenyem pot considerar-se una nova aportació al coneixement des d’una perspectiva externa.

L'avaluació de les editorials d'humanitats i ciències socials

Amadeu Pons
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona
 

Giménez-Toledo, Elea; Tejada-Artigas, Carlos; Mañana Rodríguez, Jorge. SPI: scholarly publishers indicators: books in humanities and social sciences. Beta. [Madrid]: CSIC, CCHS (Centro de Ciencias Humanas y Sociales), [2012]. <http://epuc.cchs.csic.es/SPI>. [Consulta: 12 set. 2014].

Per norma general, per a l'avaluació de la producció científica d'un autor, d'una institució o d'un país es té més en compte el mitjà de difusió on es publiquen els resultats de la recerca que no pas els treballs en si. No es jutja cada article en particular, sinó que es valora la qualitat de les revistes on es publiquen. Es parteix de la base que una revista de qualitat no publicaria un treball que no reunís els requisits necessaris ni els mèrits suficients.

L'avaluació de les revistes científiques té en compte tres aspectes diferents: el compliment d'unes normes d'ISO referides a la presentació formal dels continguts, el seguiment de bones pràctiques en la gestió i els processos editorials i, sobretot, el grau d'impacte de les revistes. Aquest darrer punt de vista és segurament el que pesa més. El que es mesura són les vegades que els articles d'una determinada revista són citats en articles d'altres revistes. D'això se'n diu impacte. Com més impacte tingui una revista (més popularitat) més ben considerada és. Es parteix de la base que ningú no citaria un treball que no hagués servit d'alguna cosa.

Altmetrics: noves maneres de mesurar l'impacte de la recerca

Ángel Borrego
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona
 

National Information Standards Srganisation (NISO) (2013). Information Standards Quarterly. EEUU, MA: NISO. Vol. 25. Núm. 2.  46 p. [Consultat el: 27/10/2013]. Disponible a: <http://www.niso.org/apps/group_public/download.php/11304/isqv25no2.pdf>. ISSN 1041-0031

altmetrics

L'agència nord-americana de normalització (NISO) publica un magazine trimestral sota el títol Information Standards Quarterly per difondre la seva activitat en l'àmbit de les biblioteques, l'edició i les tecnologies de la informació. El nombre corresponent a l'estiu de 2013 (volum 25, número 2) està dedicat a les possibilitats de recompte a les xarxes socials -els m'agrada de Facebook, els favorits compartits, les piulades, etc.- Per avaluar la informació científica, el que s'ha donat a conèixer com altmetrics.
 
La secció monogràfica del número inclou, a més d'una editorial, cinc articles. El primer d'ells és Consuming Article - Level Metrics : Observations and Lessons, de Scott Chamberlain, i identifica com el principal avantatge de les dades de la web social per a l'avaluació de la ciència el fet que ofereixin informació d'articles individuals, davant la tradicional utilització d'un indicador, el factor d'impacte, que mesura de manera agregada les cites rebudes per tots els articles d'una revista. El treball també ofereix els resultats d'un estudi empíric sobre la consistència de les xifres ofertes per quatre serveis de subministrament de dades altmètriques (PLoS, ImpactStory, Altmetric i Plum Analytics) per a una mostra de 565 articles. Els resultats mostren la inconsistència de la informació oferta pels diversos proveïdors per a un mateix conjunt d'articles degut, probablement, a la diversitat d'estratègies emprades per a la seva recopilació. Alhora, l'autor ens alerta de l'absència d'un context que ens ajudi a interpretar correctament les xifres obtingudes: què vol dir que un article hagi estat tuitejat 149 vegades? A quantes cites equivalen aquests 149 tuits?
 
Subscriure a RSS - avaluació de la recerca