Una valutazione molto chiara *

L’esercizio di valutazione della qualità della ricerca 2004-2010 è certamente complesso. Ma i suoi risultati sono chiari. Tuttavia, per rispondere ad alcune questioni sollevate dopo la pubblicazione del rapporto, l’Anvur precisa alcuni punti che potrebbero suscitare confusione e fraintendimenti.

LA VQR 2004-2010
L’esercizio di valutazione della qualità della ricerca (Vqr) 2004-2010 dell’Anvur si è concluso a fine giugno con un mese di anticipo sul termine stabilito dal decreto ministeriale di luglio 2011.
Grazie all’impegno di 450 esperti riuniti in quattordici gruppi (uno per area scientifica) e di oltre 14mila revisori peer, l’Anvur ha analizzato nel dettaglio la “qualità” della ricerca scientifica nel nostro paese al livello di strutture (università e enti di ricerca), sottostrutture (dipartimenti universitari) e settori scientifico-disciplinari. I risultati sono pubblici dal 16 luglio, a disposizione degli organi di governo delle strutture affinché li utilizzino, nella loro autonomia, per azioni incisive di miglioramento.
La Vqr 2004-2010 è caratterizzata da una notevole complessità, di cui la documentazione pubblicata sul sito dell’Agenzia dà ampiamente conto in modo del tutto trasparente. La complessità, tuttavia, non può essere utilizzata per creare confusione ad arte o per dare l’impressione che le valutazioni non offrano chiari elementi di giudizio al policy maker e ai cittadini.
Le valutazioni prodotte da Anvur offrono informazioni idonee a distinguere tra quegli atenei ed enti di ricerca che ottengono risultati lusinghieri da quelli che ottengono invece performance deludenti. Ciò deve essere ben chiaro in primis alle strutture valutate, che su questa base decideranno quali strategie adottare per migliorarsi; ma anche al decisore politico, che deciderà come ripartire i finanziamenti; e infine ai cittadini, che legittimamente chiedono di conoscere la qualità della ricerca nel nostro paese e nelle nostre università ed enti di ricerca. Il ruolo di valutazione e divulgazione dei risultati è assegnato con chiarezza all’Anvur dal legislatore.
Per chiarire alcuni aspetti sollevati nel dibattito pubblico, si offrono qui precisazioni sull’esercizio di valutazione e sulla presentazione dei risultati nel rapporto e alla stampa, in materiali resi pubblici sul sito dell’Agenzia il giorno stesso della loro presentazione. Si tratta di aspetti marginali, di cui non meriterebbe discutere se non per il fatto che potrebbero generare confusione e gettare dubbi su un progetto di grande importanza per la ricerca italiana e che ha impegnato migliaia di docenti e ricercatori.
I RISULTATI AGGREGATI A LIVELLO DI ATENEO O ENTE DI RICERCA
Tutte le valutazioni sulla qualità della ricerca si riferiscono alle singole aree disciplinari. Peraltro, come è avvenuto in precedenza nell’esercizio svolto dal Civr (Comitato di indirizzo per la valutazione della ricerca) per la valutazione triennale della ricerca 2001-2003, l’aggregazione degli indicatori a livello di struttura (università o enti di ricerca) prevista dal decreto e dal bando che disciplinano la Vqr 2004-2010 richiede la definizione di pesi per le diverse aree disciplinari. I pesi possono riflettere meramente la dimensione relativa delle diverse aree; in altre parole, si potrebbe dire che il peso relativo di una certa area di ricerca è il numero di prodotti presentati in quell’area in rapporto al numero di prodotti complessivamente presentati. Analisi più sofisticate potrebbero tenere conto anche di altri fattori: ad esempio, come avviene in altri paesi, del costo relativo della ricerca nelle diverse aree disciplinari.
Nella presentazione pubblica del 16 luglio scorso è stato utilizzato il criterio della dimensione relativa, che è di gran lunga il più semplice da comunicare al grande pubblico. Tuttavia, nel rapporto finale l’aggregazione tra aree diverse viene effettuata utilizzando una media di pesi che riflettono diversi possibili criteri, compreso quello della dimensione relativa: tutto ciò è descritto con chiarezza e trasparenza nel rapporto. (1) In definitiva, il rapporto mette in evidenza che la scelta dei pesi si può basare su criteri diversi (ma non per questo arbitrari), e che quindi su tale scelta è giusto che si usi la massima trasparenza da parte del decisore politico. La scelta dell’una piuttosto che dell’altra struttura di pesi può far variare leggermente la posizione delle singole università nella graduatoria, anche se, sul piano quantitativo, le differenze osservate nei valori aggregati degli indicatori sono minime.
I RISULTATI DISTINTI PER DIMENSIONE DEGLI ATENEI
 Alcuni commentatori hanno sollevato dubbi sull’operato dell’Anvur anche per quanto riguarda la distinzione tra grandi, medi e piccoli atenei. In generale, è bene premettere che non esiste una definizione univoca possibile di grande o piccolo ateneo; la classificazione delle strutture su questa base non può che riflettere i fenomeni che si vogliono analizzare, anche se permane un certo grado di discrezionalità, come quando si tracciano i confini amministrativi dei territori.
Nel rapporto finale, Anvur calcola due serie distinte di indicatori: la prima collegata alla ricerca e la seconda alla cosiddetta terza missione. Le graduatorie che utilizzano gli indicatori di qualità della ricerca dividono le università in tre segmenti dimensionali (grandi, medie, piccole) a seconda del numero di prodotti presentati alla valutazione in ogni area scientifica. Quindi è ovvio che una struttura possa essere considerata “grande” in un’area scientifica (ad esempio i Politecnici nell’ingegneria) e “piccola” in un’altra (ancora i Politecnici nell’economia o nelle scienze umane). In altre parole, non vi sono grandi università tout court indipendentemente dall’area considerata. Tutte le tabelle del rapporto finale che riportano i valori degli indicatori di ricerca si riferiscono sempre a un’area scientifica, con la distinzione in grandi, medie e piccole università relativamente all’area.
Per la presentazione pubblica, e solo al fine di semplificare l’esposizione, sono state fornite analisi dei risultati della ricerca basate su una distinzione tra atenei grandi, medi e piccoli definiti sulla base di terzili della distribuzione del numero di soggetti valutati dell’intera università (numero di docenti e ricercatori a tempo pieno equivalente).
Un primo insieme di tabelle è quindi costituito da una versione semplificata della tabella 6.6 del rapporto finale, che utilizza un codice dei colori per mettere in evidenza in ogni area la posizione delle università in uno dei quattro quartili della distribuzione dell’indicatore di qualità della ricerca R (rapporto tra voto medio di struttura nell’area e voto medio di area). Nella tabella 6.6. del rapporto ognuna delle caselle colorate riporta a fianco il segmento dimensionale dell’ateneo nell’area. Nella versione fornita alla stampa, per rendere la tabella 6.6 di più facile lettura, si sono invece suddivisi gli atenei in tre gruppi (grandi, medi e piccoli) utilizzando soglie dimensionali indipendenti dall’area, ovvero basate sui terzili della distribuzione del numero di soggetti valutati. Dunque, nessuna contraddizione, ma semplicemente una presentazione dei risultati di più facile fruibilità, che attribuisce a ogni ateneo una classificazione univoca e indipendente dal peso dell’ateneo nelle singole aree.
Allo stesso modo, sono stati diffusi i risultati di un’analisi, non inclusa nel rapporto, in cui si presentano i migliori atenei, distinti nuovamente in grandi, medi e piccoli sulla base dei terzili dei soggetti valutati, basata sul cosiddetto indicatore di “miglioramento”.
L’indicatore di miglioramento è dato dal rapporto tra l’indicatore aggregato di struttura Irfs1 descritto nella nota 1 e la quota di prodotti attesi del singolo ateneo (una misura della sua dimensione relativa). È un indicatore che mostra come la singola università per effetto della valutazione abbia un peso maggiore o minore a quello che la stessa avrebbe in termini di prodotti da presentare alla valutazione; se nel riparto dei fondi si utilizzasse l’indicatore Irfs1, un ateneo con Irfs1=12 per cento e peso pari a 10 per cento in termini di prodotti da valutare, avrebbe un indice di miglioramento pari a 1,2, ovvero vedrebbe la sua quota di finanziamenti accresciuta del 20 per cento rispetto a una ripartizione basata sulla sola dimensione di ateneo. Si tratta quindi in entrambi i casi di analisi ulteriori rispetto ai risultati della valutazione presentati nel rapporto.
Nella sezione 7 del rapporto finale riguardante le attività di terza missione delle università si è operata una tripartizione in grandi, medie e piccole che tendeva a distinguere maggiormente tra strutture più grandi e strutture più piccole, nel convincimento che le università più piccole abbiano maggiori difficoltà a svolgere attività che richiedono strutture amministrative dedicate (si pensi alla presenza di un ufficio brevetti, a un incubatore di imprese, eccetera), e che le maggiori potessero averne un vantaggio. Da qui è scaturita la scelta di dividere la distribuzione dei soggetti valutati in quartili e definire come “grandi atenei” il 25 per cento maggiore, piccoli il 25 per cento minore e medi gli altri.
Le soglie per distinguere tra grandi e piccoli atenei utilizzate per le attività di terza missione sono per costruzione diverse da quelle usate per presentare i risultati della ricerca: non deve destare alcuna meraviglia o scandalo che un esercizio che utilizzi queste soglie per ricalcolare le tabelle offerte alla stampa sui risultati per la ricerca, in cui per scelta e senza sotterfugi si sono usate soglie diverse, possa ottenere risultati differenti.
LA DISTRIBUZIONE DEI RISULTATI PER DIMENSIONE DI ATENEO
Si è sostenuto che la distribuzione dei voti medi ottenuti nella Vqr sulla base della dimensione di ateneo non farebbero altro che riflettere la legge debole dei grandi numeri, ovvero assumerebbero una distribuzione per cui i piccoli hanno valutazioni con risultati molto modesti o molto positivi, e i grandi sono condannati a una posizione intermedia, mai eccellenti, mai mediocri, che riflette il valor medio della distribuzione dei voti.
Tutto ciò sarebbe vero se, pescando a caso un ricercatore nell’università, la sua qualità nella ricerca e quindi dei suoi prodotti valutati riflettesse una distribuzione di probabilità unica per tutti gli atenei, ovvero se i docenti si distribuissero casualmente tra gli atenei secondo una stessa distribuzione della loro qualità.
Ma se così fosse, non solo la Vqr, ma qualunque valutazione della qualità della ricerca sarebbe del tutto inutile. Le cose stanno molto diversamente, come dimostrano i sedici grafici seguenti, che riportano il voto medio degli atenei che hanno conferito almeno cento prodotti nelle sedici aree della Vqr.
La soglia di cento prodotti equivale a mettere insieme nello stesso grafico atenei medi e grandi, superando anche la distinzione operata nei documenti Vqr tra atenei piccoli, medi e grandi. Lasciamo alla fantasia dei lettori la definizione della forma dei grafici, ma sembra che in tutte le aree vi sia una forte dispersione della qualità, anche per gli atenei di maggiori dimensione (che raggiungono a volte risultati molto buoni e altre volte risultati meno buoni).
Risultati altrettanto chiari si ottengono se si mette in relazione l’indice aggregato di miglioramento con la dimensione di ateneo; di nuovo non vi è evidenza di una distribuzione casuale dei risultati. Ma se anche si osservasse una maggior polarizzazione per i microatenei, potremmo sostenere che è il risultato di un’estrazione di docenti distribuiti casualmente tra gli atenei? Ne dubitiamo fortemente. Nella categoria dei microatenei si concentrano infatti sia le scuole superiori, ultra specializzate nella ricerca, sia le università telematiche, nate per soddisfare la didattica a distanza più che per fare avanzare la ricerca: non dovemmo attenderci che in questo segmento dimensionale i risultati siano molto polarizzati sulla base di scelte consapevoli ma niente affatto casuali? Il caso non ha dunque nulla a che fare con i risultati della Vqr.
 

* Sergio Benedetto è membro del comitato direttivo Anvur e coordinatore nazionale della valutazione della ricerca; Roberto Torrini è direttore di Anvur.
 (1) Una volta calcolati i sette indicatori, denominati Iras, per ciascuna area (espressi come percentuali di area), pesati ciascuno per il peso assegnato dal bando Vqr, l’aggregazione a livello di struttura richiede la definizione dei pesi di area. Si calcola così il cosiddetto indicatore Irfs1:

 
Rimandando al rapporto per un’analisi dettagliata, si fa presente come ciascun indicatore Iras può essere espresso come il prodotto tra la dimensione relativa dell’ateneo (ad esempio in termini di prodotti da valutare) e la valutazione relativa ottenuta dall’ateneo in quell’area: ovvero si può ottenere come il prodotto della dimensione relativa dell’ateneo in ciascuna area per un fattore che assume valore maggiore o minore di uno a seconda che la valutazione dell’ateneo sia superiore o inferiore a quella media. Si tratta quindi di indicatori che inflazionano o deflazionano la dimensione relativa degli atenei a seconda che la loro valutazione per i diversi indicatori nelle diverse aree sia superiore o inferiore a quella osservata in media nelle diverse aree di ricerca. L’indicatore aggregato Irfs1 mantiene le stesse proprietà e può quindi essere direttamente utilizzato per una ripartizione di finanziamenti che tenga simultaneamente conto della dimensione dell’ateneo e della valutazione ottenuta nella Vqr.
Questo metodo di aggregazione ha il grande pregio di non richiedere il confronto tra le valutazioni espresse dalle diverse aree scientifiche: confronti tra aree diverse, oltre a essere metodologicamente discutibili (si pensi ad esempio alla difficoltà di confrontare la qualità di un articolo di fisica teorica con un trattato di diritto costituzionale) evita il rischio di indurre i valutatori a “esagerare” le valutazioni della propria area di ricerca nel timore che valutazioni non eccellenti possano riflettersi in una penalizzazione per l’intera area. Tutte le valutazioni nella Vqr sono effettuate confrontando i risultati all’interno di ciascuna area: per restare nell’esempio, lavori di fisica con altri lavori di fisica, opere di diritto con altre opere di diritto (mele con mele e pere con pere). Riteniamo che questo sia un punto di forza e non di debolezza dell’esercizio, anche nel confronto internazionale, in continuità peraltro con l’opera di valutazione pionieristica svolta in precedenza dal Civr.