La valutazione di qualità della ricerca e i Dipartimenti di Eccellenza

I risultati della valutazione di qualità della ricerca a livello di ateneo mostrano forti differenze rispetto a cinque anni fa. Segno che la decisione di dare maggiori incentivi economici alle università migliori non ha creato eccessiva disuguaglianza.

In un articolo precedente abbiamo analizzato i punteggi di ateneo emersi dall’ultimo esercizio di valutazione della qualità della ricerca (Vqr) per il 2015-19. In quella sede, abbiamo confrontato gli atenei sulla base dell’indicatore R, cioè il rapporto tra voto medio conseguito da ciascun ateneo e voto medio conseguito dall’insieme di atenei con cui si confronta.

Tuttavia, il voto medio di un ateneo è una media dei voti conseguiti da tutte le aree disciplinari presenti al suo interno, che però sono difficilmente confrontabili. Fisici e filosofi hanno tradizioni disciplinari diverse: i primi pubblicano lavori su riviste in gruppi a volte molto numerosi, i secondi scrivono più spesso monografie a firma singola. Un ateneo generalista include sia gli uni che gli altri: come confrontare i risultati della valutazione dei due gruppi? Nella graduatoria degli atenei si considera la media ponderata degli indicatori R delle diverse aree, ma si tratta di un confronto solo limitato alle medie, che non tiene conto della dispersione dei voti all’interno di ciascuna area.

Il 15 maggio, il Ministero dell’Università e della Ricerca (Mur) ha pubblicato i risultati della valutazione dei dipartimenti universitari, sempre a partire dagli esiti della Vqr 2015-19. La graduatoria consente di avviare la seconda edizione dell’iniziativa “Dipartimenti di Eccellenza” (articolo 1, commi 314 – 337, Legge 221/2016). In estrema sintesi, l’iniziativa finanzia direttamente le unità decisionali (i dipartimenti universitari delle università pubbliche) invece che gli atenei nel loro insieme (come nel caso del Fondo di Finanziamento Ordinario).

Il meccanismo allocativo procede attraverso tre tappe: Anvur costruisce una graduatoria di tutti i dipartimenti utilizzando l’Indicatore Standardizzato della Performance Dipartimentale (Ispd – nota metodologica qui). Per calcolare Ispd, Anvur standardizza il punteggio di ogni lavoro di ricerca in riferimento al settore disciplinare cui è stato sottoposto nella Vqr. I risultati sono poi aggregati per ciascun docente, e infine sommati tra i componenti del dipartimento. Si ottiene quindi una graduatoria di tutti i dipartimenti, con un indicatore che viene espresso con punteggio da 1 a 100.

Sulla base di questa graduatoria, la metà superiore (cioè i 350 dipartimenti con Ispd più elevato) presenta un progetto di sviluppo per il quinquennio successivo (in questo caso, il 2023-27), che viene valutato da una commissione ministeriale. Il voto finale attribuito è la somma ponderata tra Ispd (pesato al 70%) e voto della commissione (fino a un massimo di 30 punti). I primi 180 dipartimenti, ripartiti con quote prestabilite nelle 14 aree Cun, ricevono un finanziamento aggiuntivo di circa 7.5 milioni di euro nel quinquennio, con il quale possono reclutare nuovi docenti, investire in infrastrutture e promuovere iniziative formative. La graduatoria, anche se limitata alla metà superiore, ed il confronto con la graduatoria precedente ci consente alcune ulteriori considerazioni sulla nuova Vqr.

Confrontiamo ora la graduatoria dei 350 dipartimenti migliori nel 2022 (secondo i dati della Vqr 2015-19) con quelli considerati migliori nel 2022 (con dati della Vqr 2011-14), tenendo a mente che è stata resa pubblica solo la metà alta della distribuzione.

A prima vista le distribuzioni dei 350 ammessi è molto simile nei due anni. Nel 2017, la media di Ispd (tra i 350 ammessi) è 93,3, nel 2022 è di 96. Ad un aumento della media, corrisponde anche una minore variabilità: lo scarto quadratico medio è di 9 punti nel 2017, e di 6,4 punti nel 2022. La differenza principale tra le due distribuzioni è che il numero di dipartimenti a punteggio pieno è passato da 119 a 144, coerentemente con una maggior concentrazione della distribuzione.

Le Figure 1 e 2 confermano questo andamento. In ciascun grafico abbiamo aggiunto (con punteggio fittizio pari a 65) i 107 dipartimenti ammessi nel 2017 ma non ammessi nel 2022 (Figura 1) e i 109 dipartimenti ammessi nel 2022 ma non ammessi nel 2017 (Figura 2).

Figura 1 – Distribuzione di Ispd nel 2017

Figura 2 – Distribuzione di Ispd nel 2022

La Figura 3 riporta le differenze di punteggio tra le due valutazioni, ed evidenzia che vi è stato un notevole turnover tra gli ammessi del 2022, pari al 30 per cento. Ciò che colpisce di più è che 40 dipartimenti finanziati nell’esercizio precedente non sono compresi nei 350 migliori del 2022. Ne segue che la nuova Vqr potrà modificare sensibilmente la distribuzione dei fondi nel prossimo quinquennio rispetto al periodo precedente.

Figura 3 – Distribuzione della differenza (Ispd 2022 – Ispd 2017)

La Tabella 1 indica la posizione dei dipartimenti nel 2022 a seconda della posizione nel 2017 per i 459 dipartimenti inseriti nell’elenco dei 350 ammessi solo nel 2017, solo nel 2022, o in entrambi gli anni. Per esempio, la prima riga indica (nel totale) che 107 dipartimenti che nel 2022 sono entrati tra i 350 migliori, nel 2017 non erano stati ammessi alla fase successiva. Interessante notare che tra questi 107, 35 dipartimenti hanno conseguito il punteggio massimo, una variazione molto significativa rispetto alla valutazione della Vqr precedente. Scorrendo la tabella, sulla diagonale principale si nota anche che 108 dipartimenti non hanno cambiato punteggio.

Tabella 1 – Distribuzione congiunta di Ipd 2017 e Ispd 2022

Possiamo riassumere i risultati del confronto notando che su 350 dipartimenti ammessi nel 2022, un terzo circa ha mantenuto la stessa posizione, un terzo si è mosso pur rimanendo tra i migliori e un terzo è una new entry che proviene dalla parte bassa della graduatoria precedente. Questi movimenti sembrano contraddire l’analisi dei punteggi a livello di ateneo, dove avevamo registrato invece una notevole stabilità delle graduatorie. Come si spiega questo apparente paradosso?

Una prima possibilità è che le variazioni dei punteggi riflettono effettivamente cambiamenti di qualità, che però vengono assorbiti in un confronto più aggregato, a livello di atenei. Al momento della sua approvazione, il progetto “Dipartimenti di Eccellenza” fu criticato perché si disse che avrebbe introdotto un meccanismo che amplifica le disuguaglianze iniziali, premiando dipartimenti che avrebbero poi migliorato ulteriormente il proprio posizionamento, ottenuto più fondi, e così via. Il forte turnover nella graduatoria suggerisce invece che i fondi allocati risultano solo parzialmente efficaci ai fini della performance di ricerca. Nonostante abbiano ricevuto un fondo aggiuntivo, molti dipartimenti hanno peggiorato la loro posizione relativa; altri, pur non avendolo ricevuto, si sono impegnati per un miglioramento e sono inseriti in graduatoria.

Una seconda possibilità è che le differenze di posizioni riflettono cambiamenti nel metodo di valutazione. L’analisi a livello di ateneo è molto aggregata, e quindi “assorbe” nella media le differenze tra settori disciplinari nei criteri di valutazione usati dai singoli panel della Vqr (Gev), riproponendo una graduatoria abbastanza simile alla precedente. Viceversa, l’analisi a livello di dipartimento con punteggi standardizzati elimina le differenze di distribuzione tra settori disciplinari, e quindi enfatizza maggiormente le differenze di valutazione. In questo caso il forte turnover potrebbe indicare che vi sono state differenze notevoli nei criteri di valutazione, almeno di alcuni Gev. In assenza di informazioni ulteriori sui risultati della valutazione a livello di aree e settori disciplinari, non ci si può esprimere sull’affidabilità di queste congetture. Ne sapremo di più quando Anvur pubblicherà i risultati completi della Vqr.