Des de fa temps existia un intens debat a escala mundial dins de l’acadèmia sobre la necessitat de reformar l’avaluació de la recerca, allunyar-nos d’una avaluació merament quantitativa i basada en indicadors bibliomètrics obtinguts en plataformes comercials estrangeres i buscar una avaluació més qualitativa.
Aquesta tendència s’havia posat de manifest amb força durant els darrers anys amb les diferents iniciatives a favor de la reforma de l’avaluació de la recerca: els compromisos de la San Francisco Declaration on Research Assessment(DORA, 2013), Leiden Manifesto for research metrics (2015), l’informe The Metric Tide (2015), els Hong Kong principles (2019) i els principis de la Coalition for Advancing Research Assessment (CoARA, 2022).
Precisament a Europa ha estat CoARA el gran impulsor d’una aplicació més práctica d’aquest moviment, aconseguint un ampli compromís per part d’organitzacions de recerca, entitats finançadores, autoritats d’avaluació, societats i associacions professionals. El propòsit fonamental és establir una direcció comuna i uns principis rectors per implementar la reforma dels mètodes i els processos pels quals s’avalua la investigació, el personal investigador i les organitzacions de recerca.
El nou enfocament avaluador es pot sintetitzar en els següents principis:
- Multidimensionalitat de les mètriques
- Reducció dels indicadors tradicionals i ús responsable de mètriques (centrades en persones, no en números)
- Respecte pel context
- Respecte per la disciplina
- Inclusió de la interdisciplinarietat
- Diversitat de contribucions
- Multilingüisme
- Integració de pràctiques de ciència oberta
- Verificació i obertura de les dades
- Transparència en el procés
- Flexibilitat i equitat
A Espanya: ANECA i la seva reforma
En consonància amb el marc conceptual d’aquest moviment internacional i amb les seves recomanacions, i davant l’interès generalitzat per part de tots els agents implicats en la recerca científica, la legislació espanyola va anar incorporant aquesta visió de forma ordenada:
- Ley 17/2022, de 5 de septiembre, por la que se modifica la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación.
- Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario.
- Real Decreto 678/2023, de 18 de julio, por el que se regula la acreditación estatal para el acceso a los cuerpos docentes universitarios y el régimen de los concursos de acceso a plazas de dichos cuerpos
Aquesta evolució normativa va establir a Espanya un marc legal estable que afavoria l’alineació dels criteris d’avaluació i el treball de les entitats avaluadores.
A l’Estat espanyol, l’organisme públic encarregat d’avaluar, certificar i acreditar la qualitat del sistema universitari espanyol és l’Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Entre les seves funcions principals destaca la promoció de la millora contínua de les universitats i, en aquesta sentit, actua en els processos d’avaluació del professorat universitari:
- valorant els mèrits dels aspirants als cossos docents universitaris, i
- avaluant les activitats docents, investigadores, de gestió i de transferència del coneixement del Personal Docent i Investigador (PDI). Els més coneguts són els trams de recerca, a través dels quals es reconeix un complement de productivitat al professorat (sexenni).
En aquest escenari, ANECA va veure una oportunitat per promoure una major diversitat de carreres investigadores i de superar determinades pràctiques qüestionades feia temps per la comunitat científica. Es va adherir a CoARA l’abril del 2023 i, seguint els seus principis, va publicar els seus nous criteris d’avaluació de l’activitat investigadora per a tot el professorat universitari que volia sol·licitar un sexenni de recerca en la seva convocatòria de l’any 2023. Els canvis van ser prou significatius i importants com per parlar d’una “reforma”. Per ajudar en aquest canvi cultural, l’esborrany dels criteris d’avaluació va ser sotmès prèviament a consulta pública (durant el mes de novembre) i va rebre nombroses aportacions del professorat universitari, del personal investigador, dels serveis de suport a la investigació i d’altres agents del sistema universitari i científic espanyol.
La convocatòria del 2023 va suposar, doncs, que l’Agència integrés les orientacions del moviment internacional de reforma de l’avaluació de la recerca. De forma sintètica, els canvis introduïts van ser:
- Acceptació d’una major diversitat d’aportacions.
- Ús de diferents dimensions, mètriques i fonts per avalar la rellevància i l’impacte de les aportacions presentades: defugir la valoració exclusiva del mitjà de difusió o la mera indexació en bases de dades concretes.
- Promoure l’accés obert i l’ús de repositoris institucionals i temàtics.
- Valorar positivament les investigacions multidisciplinars i interdisciplinàries.
Amb aquesta orientació s’aconseguia, entre d’altres aspectes, un ús responsable de les mètriques, on els indicadors bibliomètrics són útils però com a complements d’una valoració més qualitativa i basada en l’entorn.
A Catalunya i a la nostra Universitat
Si fixem la mirada en el nostre àmbit més proper, cal destacar que a Catalunya és responsabilitat de l’Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU) la promoció i l’avaluació de la qualitat en el sistema universitari català. Això ho realitza fent-se càrrec de l’avaluació, acreditació i certificació de la qualitat en l’àmbit de les universitats i dels centres d’ensenyament superior de Catalunya (ensenyaments, professorat, centres i serveis). Afegint-se també al canvi en l’avaluació de la recerca (AQU s’adhereix a CoARA el 2022), adopta tots els principis ja mencionats anteriorment, potser no d’una forma tan trencadora com va fer ANECA però sí aplicant-los en les seves avaluacions entre el professorat universitari català.
Com es tradueix tot això en la nostra vida diària i activitat dins la Universitat? La realitat és que cada any marxem de vacances de Nadal amb la notícia d’una nova convocatòria de sexennis i trams de recerca tant d’ANECA com d’AQU per al personal docent i investigador. I l’inici de cada any s’encara amb la feina intensa que això suposa, tant per al PDI com per al personal de la Universitat que dona servei a aquests processos de recerca. Aquí és on entren en joc dos serveis clau que ofereixen les Biblioteques de la UAB:
- La web de Suport a l’Acreditació i Avaluació de la Recerca (SAAR), disponible a www.uab.cat/ca/biblioteques-acreditacio. Facilita al personal investigador la informació de les convocatòries de les agències acreditadores, oferint detalls sobre els requisits i criteris necessaris per valorar la producció científica en programes d’ANECA (ACADEMIA, PEP, CNEAI) i AQU (Acreditacions i Mèrits de Recerca). Des de la seva creació l’any 2012 s’ha anat actualitzant de forma regular per adaptar-se als canvis nacionals i internacionals. Per exemple, arran de la reforma liderada per ANECA, comentada anteriorment, el 2024 es van afegir a la web dos nous apartats:
- Narrativa: amb recomanacions generals i exemples de casos pràctics (article, capítol de llibre i exposició) pel que fa a les mètriques d’aportació, mitjà de difusió i contribució a la ciència oberta.
- Impacte social: útil per fer un pla de mesura i gestió de l’impacte social de la recerca. Explica les etapes del camí cap a l’impacte, com mesurar-lo i bones pràctiques.
- El servei d’assessorament personalitzat en acreditació i avaluació de la recerca, que ofereix al PDI orientació i suport en la identificació i accés a les fonts i els recursos més adequats per demostrar el valor de les seves aportacions en els diferents processos d’avaluació (siguin acreditacions, sexennis o mèrits de recerca).
No hi ha dubte que el nou paradigma respon de manera més adequada a les necessitats actuals de la ciència. No obstant això, la inclusió de criteris qualitatius implica destinar més temps tant per avaluar com per justificar l’impacte de la recerca. Ara resulta fonamental saber construir narratives sòlides de les contribucions científiques. Per això, és necessari que totes les parts involucrades col·laborin per consolidar una cultura científica basada en una valoració més responsable i ètica de l’activitat investigadora, capaç d’afrontar els nous desafiaments científics. En aquest context, les Biblioteques de la UAB estan a disposició de la comunitat universitària per donar suport quan sigui necessari.
Núria Álvarez
Biblioteca de Ciències Socials
La UAB amb els Objectius de Desenvolupament Sostenible
