avaluació

Mesurar el grau d’accés obert de les editorials acadèmiques

Ernest Abadal
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona


Björk, Anna; Paavola, Juho-Matti; Ropponen, Teemu; Laakso, Mikael; Lahti, Leo (2018). Opening academic publishing: development and application of systematic evaluation criteria. [S.l.]: Open Science and Research Initiative. 41 p. Disponible a: <https://openscience.fi/opening-academic-publishing>. [Consulta: 02/09/2018].


Fa uns anys Finlàndia es va proposar ser un dels països líders en ciència oberta i accés obert i és per això que el seu Ministeri d'Educació i Cultura va promoure l'Open Science and Research Initiative, un programa d’acció per al període 2014-2017 que incloïa un full de ruta, diverses activitats i també l’elaboració de diversos estudis sobre ciència oberta, com ara el grau d'apertura de les universitats i centres de recerca (2015), els costos globals de l'accés obert a Finlàndia (2016) i també l’informe sobre l’apertura de les editorials (2018) que ara ressenyem.

L’estudi ha estat dut a terme per la consultora finesa Oxford Research Oy, per Open Knowledge Finland (organització sense ànim de lucre que promou la difusió lliure del coneixement) i també ha comptat amb la col·laboració de Mikael Laakso, un prestigiós investigador sobre accés obert a la ciència.

L'objectiu de l'informe és establir un conjunt d'indicadors que serveixin per avaluar de manera estandarditzada quin és el grau d'apertura cap a l’accés obert que tenen les editorials acadèmiques. Si es vol avaluar el progrés en qualsevol àmbit cal disposar d’indicadors i contrastar-los amb la realitat de manera periòdica. En aquest sentit, es tracta d’un anhel similar al que va demostrar la Comissió de seguiment sobre el grau de compliment de l'article 37 de la Llei de la Ciència (creada per la FECYT) quan va establir un indicador per avaluar el percentatge d’accés obert a Espanya.

La primera part de l’informe serveix per establir i definir els indicadors per a l'avaluació de les editorials i també per detallar com s’ha de fer per aplicar-los. Els indicadors són set i s’apliquen globalment a una editorial acadèmica:

  • Percentatge de revistes en accés obert
  • Cost dels APC (article processing charges)
  • Ús de llicències CC (Creative Commons)
  • Permisos autoarxiu
  • Facilitats de descàrrega del text i les metadades (text and data mining)
  • Apertura de les citacions
  • Accessibilitat de les informacions sobre accés obert

A cada un dels indicadors se’ls assigna una puntuació que va de 0 a 3 en funció del grau d’apertura. Així, per exemple, pel que fa als costos dels APC es puntua amb 0 si se superen els 2.000 euros per article, amb 1 (1.000-2.000 euros), 2 (500-1.000) o 3 (menys de 500 euros) i, pel que fa al grau d’apertura de les citacions, la màxima puntuació s’obté si els editors s’han adherit a la Initiative for Open Citation.

Un cop establert l’instrument d’avaluació, a la segona part de l’informe es passa a aplicar-lo a nou dels principals editors científics: ACM (Association for Computing Machinery), ACS (American Chemical Society), Elsevier, IEEE (Institute of Electrical and Electronic Engineering), LWW (Lippincott, Williams & Wilkins), Sage, SpringerNature, Taylor and Francis, i Wiley-Blackwell. La recollida de dades es fa per mitjà de la consulta als seus portals web i també a DOAJ (Directory of Open Access Journals), Sherpa-Romeo i GOAJ2 (Golden OA Journals). En aquesta part s’analitzen un total de 158 revistes de les nou editorials amb SpringerNature encapçalant la llista (77 títols revisats) i IEEE (que només en té 4), tancant-la. Aquestes diferències són notables i, des del meu punt de vista, condicionen notablement els resultats.
Les puntuacions finals obtingudes –que es poden veure a la il·lustració adjunta– són bastant disperses i mostren un rang prou ampli, ja que van dels 14 punts (70 % del total de puntuació) d’SpringerNature i Taylor and Francis fins als 6 punts d’ACS (el 30 %). També es constata que la meitat dels editors no arriben a la puntuació mínima d’apertura cap a l’accés obert.

 

 

 

 

 

 

 

L’aplicació dels indicadors a les editorials ha estat difícil i complexa ja que hi ha algunes qüestions avaluades que no apareixen explícitament als portals web dels editors (i probablement caldria determinar-les per mitjà d’enquestes o entrevistes). També cal tenir present que es fa una avaluació global d’editorials i no pas de revistes i que les editorials poden tenir polítiques i actuacions diferents en funció de la revista, de la disciplina o del país (podria ser el cas, per exemple, del preu dels APC). Finalment, ja s’ha indicat que el nombre de revistes analitzades varia molt segons quina era l’editorial. Aquestes limitacions fan que, des del meu punt de vista, els resultats obtinguts siguin només exploratoris i no es puguin considerar concloents. Poden ser un primer pas si es continua amb l’aplicació anual dels indicadors i es crida l’atenció a les editorials cap a la millora de les seves pràctiques per aprofundir en l’edició en accés obert.

En resum, es tracta d’un informe que obre una línia de treball innovadora i d’interès però que no arriba encara a propostes concloents. Ja se sap que, en el cas dels indicadors és molt més fàcil establir-los que no pas estendre el seu ús o ampliar la seva acceptació per part d’altres comunitats. És per això que l’impacte de la proposta cal mirar-la amb una certa distància i esperar una mica més de temps per veure la seva consolidació i la utilització que se’n faci per part, també, d’altres agents. En qualsevol cas, és un bon començament.

La marea mètrica en l’avaluació i gestió de la recerca científica

Llorenç Arguimbau Vivó
Observatori de la Recerca (OR-IEC)
Institut d’Estudis Catalans


Higher Education Funding Council for England (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Disponible a: http://bit.ly/TheMetricTide. [Consulta: 02/11/2015].


Aquest informe ha estat redactat per un grup de treball independent i multidisciplinari, integrat per experts en cienciometria i bibliometria, finançament de la recerca, política científica, publicació i, per últim, gestió i administració universitària. El grup de treball ha realitzat una àmplia revisió bibliogràfica (Suplement I) i ha consultat els agents implicats mitjançant trobades i tallers. Impulsat pel Higher Education Funding Council for England (HEFCE), l’estudi s’emmarca en el Research Excellence Framework (REF), el sistema d’avaluació de la qualitat de la recerca a les universitats britàniques.

Biblioteques públiques dels EUA: nou indicadors per mesurar el seu acompliment

Marcela Fushimi
Universidad Nacional de La Plata


Swan, D. W., Grimes, J., Owens, T., Vese, Jr., R. D., Miller, K., Arroyo, J., Craig, T., Dorinski, S., Freeman, M., Isaac, N., O'Shea, P., Schilling, P. Scotto, J. (2013). Public Libraries in the United States Survey: Fiscal Year 2010 (IMLS-2013–PLS-01). Institute of Museum and Library Services. Washington, DC. <http://www.imls.gov/research/public_libraries_in_the_us_fy_2010_report.aspx> [Consulta: 20 febrer 2013].

New York Public Library

El passat 22 de gener es va publicar un informe amb els resultats de la revisó realitzada per a l'any fiscal 2010 a les biblioteques públiques dels Estats Units d'Amèrica, que analitza dades de 8.951 biblioteques en els 50 estats i el districte de Colúmbia, amb 17.078 biblioteques menors i mòbils. Segons l'informe, les biblioteques públiques ofereixen serveis a 297,6 milions de persones als Estats Units, el que equival al 96,4% del total de la població del país.

L'enquesta de biblioteques públiques és voluntària i la realitza anualment l'Institut de Serveis per Biblioteques i Museus (Institute of Museum and Library Services, IMLS), que recull les dades des de 2003. El IMLS és la font primària de suport federal a les 123 mil biblioteques i 17.500 museus existents als EUA, i com agència federal, atorga beques i subsidis, dóna suport a la investigació i el desenvolupament de polítiques que promoguin la innovació, per ajudar a que les comunitats i individus tinguin un ampli accés públic al coneixement, al patrimoni cultural i l'aprenentatge al llarg de la vida.

Assessment 360

Judit Casals
CRAI Unitat de projectes
Universitat de Barcelona
 

Cowan, Susanna M. (2012). Assessment 360: Mapping Undergraduates and the Library at the University of Connecticut. March 2012. [Washington, DC: Council on Library and Information Resources]. 68 p.
<http://www.clir.org/pubs/resources/Assessment360.pdf/at_download/file>. [Consulta: 18/07/2012].


Aquest informe, liderat per Susanna M. Cowan, ha estat elaborat pel grup "Undergraduate Education Team" de les biblioteques de la Universitat de Connecticut (USA) i publicat pel CLIR (Council on Library on Information Resources).

Recull l'experiència i els resultats d'aquest projecte, dut a terme durant 2010 que, com altres estudis realitzats per universitats americanes durant les dues últimes dècades, avaluen els serveis bibliotecaris per continuar assegurant que els serveis que es dissenyen i s'ofereixen estan orientats a l'usuari i satisfan les seves necessitats.

L'objectiu inicial de l'estudi és dibuixar un mapa de quina és l'experiència dels estudiants de grau (al voltant de 21.000 en aquesta universitat) envers l'ús dels recursos tecnològics i dels espais, inclosa la biblioteca, i els seus hàbits d'estudi i de cerca d'informació. En funció d'aquesta realitat observada i de la posició inicial de la biblioteca en relació a aquests hàbits i usos, l'objectiu principal és determinar quines línies de treball futures caldrà establir per adaptar-se a les necessitats dels estudiants.

Subscriure a RSS - avaluació