Voti alla ricerca: i risultati della Vqr

Sono stati presentati i primi risultati del terzo esercizio di valutazione della ricerca. Sarà la base per assegnare parte del finanziamento statale alle università. Pur con varie modifiche alla metodologia, c’è una sostanziale stabilità delle valutazioni.

Cambiamenti metodologici rispetto al passato

Il 13 aprile sono stati presentati alla stampa i primi risultati del terzo esercizio di valutazione della ricerca delle università e degli enti di ricerca italiani. La valutazione si riferisce al periodo 2015-2019, e si aggiunge a due altre precedenti valutazioni (2004-2010 e 2011-2014). Si tratta di una tappa importante per le università e gli enti di ricerca, perché sulla base di questi risultati verrà distribuito circa un terzo del finanziamento ordinario statale nel prossimo quinquennio.

Dal momento che la valutazione 2015-2019 ha introdotto cambiamenti significativi rispetto alle edizioni precedenti, ci pare di interesse analizzare se potranno apportare modifiche rilevanti nella distribuzione delle risorse che emergerà dall’esercizio. I cambiamenti riguardano la selezione dei valutatori e le modalità della valutazione dei lavori di ricerca. In primo luogo, i Gev (i Gruppi di esperti valutatori) non sono più stati scelti da Anvur, ma sorteggiati tra un sottoinsieme di docenti e ricercatori che soddisfacevano alcuni requisiti di produttività scientifica e che si erano candidati allo scopo. In secondo luogo, ai componenti dei Gev era richiesto di effettuare una valutazione dei prodotti con “peer review informata” da indicatori bibliometrici, riducendo al minimo la valutazione di esperti anonimi esterni al gruppo. I due elementi potrebbero indurre una maggior eterogeneità delle valutazioni espresse rispetto agli esercizi valutativi precedenti, dal momento che la comunità scientifica di provenienza dei componenti Gev è stata nei fatti più ampia e il sistema di valutazione meno standardizzato.

Il numero di prodotti che ciascuna istituzione ha inviato alla valutazione è rimasto proporzionale al personale strutturato nelle università e negli enti di ricerca (tre prodotti per ciascun docente o ricercatore), ma era possibile compensare eventuali ricercatori inattivi con prodotti di altri ricercatori dello stesso dipartimento e area disciplinare (fino a un massimo di quattro prodotti). Il cambiamento tende a eliminare il problema dei cosiddetti inattivi e a ridurre quindi i divari tra atenei.

L’analisi dei risultati

In estrema sintesi, a ciascuno dei lavori valutati viene attribuito un voto (tra 0 e 1); il risultato complessivo di un’istituzione può essere sintetizzato dal voto medio, che può essere distinto tra docenti e ricercatori reclutati o promossi nel 2015-2019 e personale già in servizio.

Un confronto accurato dei risultati della valutazione richiederebbe un’analisi disaggregata per area disciplinare, ma questi dati non sono ancora stati resi disponibili. Ci limiteremo quindi a un confronto aggregato a livello di ateneo, ben sapendo che stiamo paragonando insiemi molto eterogenei per dimensione e articolazione disciplinare. L’indicatore che utilizziamo è molto intuitivo: si tratta dell’indicatore R, cioè il voto medio conseguito da un ateneo in rapporto al voto medio conseguito dall’insieme con cui si confronta. I quattro gruppi che prendiamo in considerazione sono 61 università statali, 19 università non statali, 9 università telematiche e 6 scuole a ordinamento speciale. Ignoriamo le differenze dimensionali, pur sapendo che vi sono economie di scala nella produzione scientifica, così come maggiori complessità organizzative nelle università più grandi. Un valore di R vicino a 1 indica che il contributo alla ricerca (come misurato dalla Vqr) è approssimativamente uguale al peso dell’ateneo in termini di personale. Se tutti gli atenei avessero un valore di R uguale all’unità, i fondi premiali sarebbero distribuiti in modo proporzionale alla dimensione dell’ateneo. Atenei con R maggiore dell’unità riceveranno proporzionalmente più del loro peso numerico, e viceversa.

La tabella riporta il voto medio nella Vqr 2015-2019 distinto tra voto medio dei lavori del personale già in servizio (colonna 1) e personale promosso nel periodo o reclutato dall’esterno (colonna 2). La prima osservazione che possiamo fare è che in circa un terzo delle università statali (metà per le non statali) il voto medio dei neo reclutati o promossi è maggiore di quello del personale già in servizio, un riflesso del fatto che reclutamento e progressione di carriera (oltre che l’età anagrafica) sono correlati con la produttività scientifica.

Prendendo una media delle prime due colonne, pesata sulla base dei prodotti attesi di ciascuna istituzione, otteniamo una graduatoria degli atenei basata sulla valutazione della produzione scientifica. Nelle statali l’ordinamento è aperto da alcune università del Nord-Est (Trento, Verona, Padova) e chiuso da alcune del Centro-Sud (Basilicata, Messina e Perugia Stranieri). Pur non disponendo esattamente degli stessi dati per l’esercizio precedente (in cui il voto medio era pubblicato per aree disciplinari) possiamo tentare un confronto con i risultati della valutazione 2011-2014.

Possiamo quindi ricostruire (con una certa approssimazione) il voto medio di ateneo solo per il personale stabile (colonna 6). Calcolando quindi per simmetria l’ordinamento 2015-2019 sulla base del personale stabile (colonna 5) possiamo quindi analizzare la correlazione tra ordinamenti. La figura successiva riporta gli ordinamenti per le università statali, da cui si evince una sostanziale stabilità nel tempo, particolarmente per atenei medi e grandi (l’indice di correlazione tra i ranghi è infatti pari a 0,78). Si osserva qualche miglioramento significativo (i punti al di sotto di una ideale bisettrice) per alcune università medio-piccole, come Napoli Parthenope (+36 posizioni), Urbino (+28) e Roma 3 (+19). Simmetricamente perdono posizioni Tuscia e Siena Stranieri (-22) e Macerata (-21). Stabile anche l’ordinamento delle università non statali, che vede nelle prime posizioni atenei a vocazione medica (Milano Humanitas e Milano San Raffaele) o economica (Milano Bocconi e Roma Luiss).

Per quanto riguarda infine gli altri due gruppi ha poco senso riferirsi a ordinamenti, data la scarsa numerosità e il posizionamento relativo: le scuole a ordinamento speciale stanno in alto nel voto medio, mentre le università telematiche si posizionano molto in basso in termini di valutazione della qualità della ricerca.

Possiamo quindi concludere questa prima ricognizione dei risultati affermando che la Vqr si è rivelata robusta alla erraticità normativa che ha imposto molti cambiamenti nella metodologia di valutazione. Mancano ancora dati sulla valutazione della Terza Missione, una delle novità introdotte dalla Vqr 2015-2019. Tuttavia, la vicinanza dell’indicatore R rispetto all’unità, suggerisce che la distribuzione dei fondi premiali per la maggioranza degli atenei non si discosterà molto da una ripartizione proporzionale alla distribuzione del personale docente tra le università.