Qualità della ricerca: come confrontare aree diverse

Parte una nuova tornata dell’esercizio di valutazione della qualità della ricerca nelle università italiane per il periodo 2011-2014. Nella prima edizione non sono mancate le critiche su criteri adottati e utilizzo dei risultati. La proposta di una metodologia alternativa per il confronto tra aree.
Valutazione della ricerca nel periodo 2011-2014
Il decreto ministeriale 458 del 25 giugno 2015 sulle Linee guida della valutazione della qualità della ricerca (Vqr) per il 2011-2014 e la successiva pubblicazione del bando provvisorio da parte dell’Anvur (Agenzia nazionale di valutazione del sistema universitario e della ricerca) hanno ufficialmente aperto il secondo round di una procedura la cui prima edizione (per il 2004-2010) ha suscitato un intenso dibattito su criteri adottati e utilizzo dei risultati. Una riflessione su come è stata organizzata la Vqr 2004-2010 consente di avanzare alcune proposte delle quali si potrà forse tenere conto già nella procedura 2011-2014 o, più probabilmente, in quella 2015-2018.
Articolandosi sulle quattordici aree Cun (Consiglio nazionale universitario), la finalità principale della prima Vqr è stata quella di valutare la ricerca all’interno di ciascuna area, al fine di offrire agli atenei una misura del posizionamento dei propri dipartimenti in ambito nazionale. Sapere che un dipartimento ha i risultati migliori a livello nazionale, mentre un altro ha i peggiori permette in effetti di fare delle scelte. Tuttavia, se è vero che l’autonomia consente in linea di principio alle università italiane di operare come imprese multi-divisionali dotate di un meccanismo interno di incentivi basato sulla competizione tra divisioni operative (dipartimenti scientifici), è altrettanto vero che per rendere il meccanismo di quasi-mercato realmente efficiente occorrerebbe fornire agli organi di governo di ciascun ateneo una misura che tenga conto anche del loro grado di internazionalizzazione.
Sulla base della Vqr 2004-2010, Anvur e Commissione ricerca della Crui (Conferenza dei rettori delle università italiane) hanno condotto un confronto basato sul dipartimento virtuale associato e l’indicatore di voto standardizzato, che ha risposto soltanto in parte al fabbisogno di strumenti informativi da parte degli atenei. Le sue principali criticità risiedono, da un lato, nel fondarsi su risultanze empiriche rese obsolete dalla forte mobilità in uscita (per quiescenza) e in entrata (per reclutamento o trasferimento) di docenti negli anni successivi a quelli coperti dalla prima Vqr; dall’altro, nell’avere sopravvalutato i dipartimenti di aree nelle quali tutti gli atenei del paese hanno risultati di ricerca sensibilmente inferiori rispetto agli omologhi di altri paesi avanzati. Mentre per quanto riguarda la prima criticità non si può che auspicare un più rigoroso rispetto dei tempi di avvio e svolgimento delle procedure, per ovviare alla seconda si può proporre l’adozione di una metodologia alternativa.
L’indicatore di vantaggio comparato rivelato
Si consideri un’ipotetica Area Cun per la quale esistano numerose riviste internazionali indicizzate in Isi o Scopus e privilegiate per le proprie pubblicazioni dai docenti delle università estere collocate per quella stessa area in posizione preminente in ranking come Qs o Thes. Nella prospettiva di una loro piena integrazione nel contesto internazionale, le università italiane dovrebbero spingere i propri docenti a (cercare di) pubblicare in quelle riviste. Ad esempio, una corretta procedura di valutazione dovrebbe precludere la possibilità che un dipartimento della ipotetica area i cui docenti pubblicano su riviste nazionali non indicizzate Isi o Scopus “scavalchi” nella valutazione un dipartimento internazionalizzato di altra area. Operativamente, si potrebbe costruire un indicatore di vantaggio comparato rivelato nella ricerca (Vcrr) concettualmente analogo all’indice di Balassa (1965), largamente utilizzato negli studi sulle differenze internazionali nella tecnologia. Utilizzando dati relativi alle pubblicazioni in sedi editoriali indicizzate in Isi o Scopus, l’indicatore Vcrr_i,j dell’ateneo i per l’area Cun j sarebbe calcolato per un dato intervallo temporale come rapporto tra due rapporti: al numeratore il numero medio per ricercatore di pubblicazioni in sedi editoriali indicizzate in Isi/Scopus nell’area j dell’ateneo i sul numero medio per ricercatore di pubblicazioni in sedi editoriali indicizzate in Isi/Scopus in tutte le j aree dell’ateneo i e al denominatore il numero medio per ricercatore di pubblicazioni in sedi editoriali indicizzate in Isi/Scopus nell’area j dei primi i atenei mondiali sul numero medio per ricercatore di pubblicazioni in sedi editoriali indicizzate in Isi/Scopus in tutte le j aree dei primi i atenei mondiali. Per tutti i valori di Vcrr_i,j ≥1 l’ateneo i avrebbe un vantaggio comparato rivelato nella ricerca all’interno della corrispondente area j. Sulla base di questo parametro potrà poi decidere se potenziare ulteriormente le aree nelle quali Vcrr_i,j≥1 o le altre aree, optando a seconda delle proprie preferenze per una strategia picking the winners o una strategia picking the losers.