Così la valutazione della ricerca non premia gli atenei migliori

La valutazione della qualità della ricerca 2004-2010 determina la ripartizione di una parte dei fondi tra i vari atenei. Ma l’approccio seguito per valutare i lavori dei ricercatori suscita qualche dubbio. E un metodo alternativo dà una “classifica” molto diversa. I programmi per il futuro.
LE RISORSE E LA VALUTAZIONE DELLE UNIVERSITÀ
Il decreto ministeriale 815 del 4/11/2014 alloca il 18 per cento del fondo 2015 di finanziamento ordinario delle università al miglioramento dell’efficacia e dell’efficienza nell’utilizzo delle risorse. Almeno tre quinti della quota, dunque, sono ripartiti sulla base dei risultati conseguiti nella valutazione della qualità della ricerca 2004-2010 (Vqr). E nei prossimi anni questa somma è destinata a crescere fino a un massimo del 30 per cento,
La Vqr è una valutazione di tipo ibrido, peer-review per le scienze umanistiche e sociali e prevalentemente bibliometrica per le altre (ma per vincolo normativo almeno il 50 per cento dei prodotti totali è stato valutato tramite peer-review).
Si tratta poi di una valutazione basata solo su tre prodotti di ricerca per ciascun ricercatore o professore nell’arco di sette anni, senza tener conto del numero di co-autori (né del primo e ultimo autore, nei prodotti attinenti alle scienze della vita). Anche i punteggi previsti fanno sorgere qualche dubbio: quello massimo di 1 è stato assegnato a un prodotto indipendentemente dal fatto che rappresentasse la scoperta del secolo o semplicemente un buon lavoro, così come a un prodotto che si collocava al 50° percentile nella scala di impatto mondiale è andato 0,5 e 0 a uno al 49°.
L’APPROCCIO ALTERNATIVO
Nei settori bibliometrici, sarebbe stata forse più precisa, robusta e affidabile una valutazione che: i) si fondasse sull’intera produzione scientifica 2004-2010 indicizzata nelle base dati citazionali; ii) tenesse conto delle co-authorship e del primo-ultimo autore; iii) pesasse i prodotti per il loro reale impatto citazionale relativo; iv) evitasse storture di altro tipo.
Sulla base di questi quattro criteri abbiamo perciò costruito una nostra applicazione alternativa alla Vqr. E il confronto tra la classifica di performance Vqr e quella ottenuta con il nostro approccio rivela che il 92 per cento delle università cambia posizione, con penalizzazioni per alcune di diversi punti percentili e, specularmente, un miglioramento per altre. Il confronto per quartili di performance a livello di area disciplinare mostra altre le differenze, riportate in tabella 1.
In scienze biologiche il 69 per cento delle università posizionate nel primo quartile nella classifica Vqr non lo sarebbero nell’altra; il 50 per cento in ingegneria industriale e dell’informazione; il 46 per cento in scienze matematiche e informatiche.
COSTI E CONSEGUENZE
La stima del costo complessivo della Vqr non è immediata: si va da 300 milioni a 182 milioni. Quella più conservativa calcola costi comunque non inferiori a 60 milioni di euro: 10 diretti, come dichiarato dall’Anvur, e cinque volte tanto di costi indiretti, sostenuti dalle istituzioni valutate.
Il costo complessivo di un approccio come il nostro (applicabile ai due terzi dei ricercatori) è di circa 1 milione di euro, senza alcun costo indiretto. In definitiva, si sono spesi decine di milioni di euro in più per una valutazione meno precisa e affidabile.
Oltretutto, il risultato che ne consegue è una ripartizione inefficiente delle risorse premiali dell’Ffo, che a sua volta determina un impatto sulla crescita economica inferiore a quello massimo attuabile. Allocando meno risorse a università più produttive – e viceversa – si ha infatti un minor ritorno socio-economico sulla spesa in ricerca.
A questo effetto si aggiunge quello dovuto a una minore efficienza nella distribuzione interna dei fondi da parte delle università che, tra l’altro, non dispongono della valutazione individuale dei ricercatori, misurabile invece attraverso il secondo approccio. Per inciso, una valutazione individuale sarebbe funzionale anche a tanti altri processi interni agli atenei, tra cui per esempio l’attribuzione degli scatti stipendiali su base premiale o la valutazione dei collegi di dottorato.
Un’ulteriore conseguenza negativa a livello macro-economico è relativa alle scelte inefficienti di studenti, imprese e stakeholder in genere, fondate su informazioni di merito relativo inesatte. Per non parlare poi del danno d’immagine arrecato a tutte le università penalizzate e in particolare a quella immeritatamente posizionata all’ultimo posto nella classifica Vqr su cui si è abbattuto il dileggio mediatico.
Perché, dunque, la normativa sulla Vqr e sulla sua formulazione operativa non ha recepito lo stato dell’arte sulle metodologie e tecniche bibliometriche di valutazione della ricerca su scala nazionale? Si tratta di metodologie già ampiamente note e diffuse.
Tra l’altro, le prime comunicazioni sulle specifiche dell’imminente Vqr 2011-2014 lasciano intuire una sostanziale continuità con il passato. Ma chi è chiamato a decidere non dovrebbe arroccarsi in posizioni di difesa pregiudiziale delle decisioni pregresse e la comunità scientifica italiana dovrebbe prendere una posizione in merito: finché si è in tempo è d’obbligo confrontarsi, senza dare nulla per scontato. L’Italia non è nelle condizioni di potersi permettere né sprechi di danaro pubblico, né una crescita rallentata.