Gli esercizi di valutazione della ricerca, e i ranking che ne derivano, possono influenzare le scelte di iscrizione degli studenti. E così determinare un aumento delle disuguaglianze. Specialmente se non si danno agli atenei gli strumenti per migliorare.
Valutazione della ricerca e scelte degli studenti
Un recente articolo di Francesco Ferrante su lavoce.info mette in guardia dai pericoli rappresentati dalla pubblicazione di ranking di scuole e università, in particolare quando sono basati su dati grezzi, ossia che non tengono conto dei fattori di contesto. I ranking potrebbero contribuire ad aumentare le disuguaglianze sociali perché non tutte le famiglie sono in grado di utilizzare a proprio vantaggio le informazioni che forniscono. Ad esempio, l’iscrizione in un buon ateneo lontano da casa potrebbe richiedere notevoli risorse finanziarie, escludendone di fatto l’accesso alle famiglie meno abbienti.
In un nostro recente lavoro abbiamo analizzato l’impatto del primo esercizio di valutazione della ricerca (Valutazione triennale della ricerca, Vtr 2001-2003) sulle scelte degli studenti. La Vtr ha prodotto per la prima volta in Italia indicatori ufficiali di qualità della ricerca, distinti per ateneo e campo di studi. Utilizzando i dati del Miur per il 2002-2011 abbiamo messo in relazione il numero totale degli immatricolati per le lauree di primo livello per ateneo e gruppo scientifico-disciplinare con i risultati ottenuti nella Vtr. Come suggerito da alcuni commentatori, gli esercizi di valutazione della ricerca e le classifiche che ne derivano potrebbero fornire utili informazioni alle famiglie e agli studenti quando si tratta di scegliere l’ateneo e la materia degli studi universitari. Questo è tanto più vero quanto più l’offerta formativa è ampia e le fonti informative affidabili sono poche. In questo caso i ranking della qualità della ricerca potrebbero anche assurgere a metro di valutazione della “qualità” complessiva degli atenei e, pertanto, orientare le scelte di iscrizione. Nel nostro studio, abbiamo anche considerato gli immatricolati con voto di diploma elevato (90 o più) e provenienti dai licei, caratteristiche che risultano fortemente legate al background socio-economico degli studenti (non disponibile nei dati pubblici Miur).
Strumenti per migliorare
La nostra analisi evidenzia una serie di fatti interessanti. Una volta neutralizzati gli effetti del contesto locale, legati alla maggiore attrattività di certi territori (ad esempio, minore tasso di disoccupazione), limitando il confronto agli atenei nella stessa provincia e gruppo scientifico-disciplinare, mostriamo una relazione statistica positiva molto robusta tra la percentuale di prodotti eccellenti nella Vtr e le immatricolazioni totali. Aumentare di circa 20 punti la percentuale di prodotti di ricerca eccellenti accrescerebbe il numero totale di immatricolati del 6 per cento circa. Abbiamo anche controllato se l’associazione positiva tra iscrizioni e percentuale di prodotti eccellenti sia anteriore alla pubblicazione dei risultati della valutazione. In caso affermativo, il risultato della Vtr potrebbe semplicemente cogliere alcune caratteristiche di atenei o gruppi disciplinari che non siamo in grado di osservare (ad esempio, la reputazione) e che ne determinano la maggiore attrattività, sia prima che dopo l’esercizio di valutazione. Tuttavia, la figura 1 mostra che gli effetti sono nulli prima del 2006; sembra pertanto escludere questa interpretazione e avvalorare invece l’esistenza di un nesso di causa-effetto. Gli effetti risultano ancora maggiori per gli studenti con voto di diploma elevato o provenienti dai licei.
Figura 1 – Effetto dei prodotti “eccellenti” nella Vtr sulle immatricolazioni universitarie
Nota: I “coefficienti” indicano l’aumento percentuale nelle immatricolazioni generato dall’incremento di 19 punti (una deviazione standard) nella percentuale di prodotti giudicati eccellenti nella Vtr. Un coefficiente di 0.1 ad esempio implica un aumento del 10 per cento.
Un approfondimento dell’analisi ha poi mostrato che gli effetti stimati sono di grandezza simile per gli atenei del Sud e del Nord, anche se la stima è precisa solo per i secondi, e che l’effetto positivo della Vtr sembra essere limitato a quelli di più recente costituzione.
Un’implicazione del nostro lavoro è che gli esercizi di valutazione della ricerca e le forme di finanziamento premiale che vi sono associate possono avere come conseguenza un aumento delle disuguaglianze sia territoriali che sociali nell’istruzione, se non sono accompagnati da strumenti compensativi che consentano agli atenei con bassi risultati di migliorare nel tempo, come ad esempio incentivi alla mobilità geografica dei ricercatori o comunque l’allentamento dei vincoli finanziari che la limitano, privilegiando le carriere interne . Solo per fare un esempio, nel recente finanziamento dei “Dipartimenti di eccellenza” (in gran parte basato sull’ultima Vqr) nell’area 13 – “Scienze Economiche e Statistiche”, solo 4 dipartimenti su 18 hanno sede al Sud o nelle Isole. Senza adeguati incentivi alla mobilità dei docenti (il cui uso dovrebbe essere sempre e comunque soggetto ad attento monitoraggio e valutazione), in futuro sarà particolarmente difficile per le università del Sud recuperare il terreno perduto attirando non solo i migliori talenti della ricerca, ma anche bravi studenti.
* L’articolo esprime il punto di vista degli autori e non coinvolge in alcun modo le istituzioni a cui sono affiliati.
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Professore Ordinario di Economia Politica presso il Dipartimento di Economia Management e Metodi Quantitativi (DEMM) dell’Università degli Studi di Milano. Si occupa prevalentemente di ricerca empirica su temi di economia del lavoro, economia dell’istruzione, economia della popolazione ed economia sanitaria, con particolare riguardo alla valutazione delle politiche. Nel 2016-2018 ha svolto funzioni di Grant Holder presso il Competence Centre on Microeconomic Evaluation (CC-ME) della Commissione Europea fornendo supporto alla valutazione delle politiche pubbliche. E’ attualmente research fellow dei network Institute of Labor Economics (IZA), Global Labor Organization (GLO) e Centro Studi Luca d’Agliano (LdA). Ha ottenuto un Ph.D. in Economics all'Università degli Studi di Ancona e un Ph.D. in Economics alla University of Warwick.
Luciano Munari
Il risultato della ricerca è interessante ma mette in evidenza una distorsione preoccupante. Non è detto che all’eccellenza nella ricerca corrisponda anche una eccellenza nella didattica, anzi nella mia esperienza quarantennale di docenza universitaria ho riscontrato che è quasi sempre il contrario. Pertanto, la scelta dell’Ateneo da parte degli studenti in base ai ranking di valutazione della ricerca può essere fuorviante e portare a scelte sbagliate. Ai giovani serve una buona formazione e questa non è quasi mai correlata positivamente con l’eccellenza nella ricerca.
Carlo Fusaro
Premesso che sono molto d’accordo con il commento di Luciano Munari, né questo commento né la ricerca devono indurre a allentare la presa sugli esercizi VQR che hanno avuto effetti complessivamente assai positivi in un mondo poco abituato alla valutazione e finora del tutto autoreferenziali. Ora nell’articolo di Biancardi e Bratti leggo parole che mi preoccupano. Per esempio: «gli esercizi di valutazione della ricerca e le forme di finanziamento premiale che vi sono associate possono avere come conseguenza un aumento delle disuguaglianze sia territoriali che sociali nell’istruzione, se non sono accompagnati da strumenti compensativi che consentano agli atenei con bassi risultati di migliorare nel tempo, come ad esempio incentivi alla mobilità geografica dei ricercatori o comunque l’allentamento dei vincoli finanziari che la limitano». Ora in un sistema di risorse limitate è ovvio che “premiare” l’eccellenza vuol dire dare di più a chi fa meglio e meno a chi fa peggio. C’è poco da fare. Si chiama meritocrazia. Altra cosa, ma da tenere a mio avviso separata, è condurre politiche di potenziamento degli atenei più deboli.
Massimiliano Bratti
Concordo. La VQR dovrebbe premiare l’eccellenza. Per interventi di potenziamento dei più “deboli” si dovrebbero usare altre forme, sempre che queste risorse siano messe in campo. La “linea d’intervento Sud” del PRIN sembra un tentativo di porre in parte rimedio al “divide” geografico prodotto dai Dipartimenti di Eccellenza. Tuttavia con la linea Sud non so quanti RTD-A o RTD-B si riusciranno a finanziare, e sono questi che presentano oggi la più elevata produttività ai fini della VQR.
Si potrebbe discutere se in una situazione di scarsità di risorse (pubbliche e che si possono attrarre dal territorio) gli Atenei “deboli” abbiano dei reali strumenti per scalare posizioni nella VQR. Un modo rapido per farlo (il REF UK insegna) è di intervenire sul reclutamento. Per migliorare si potrebbero attrarre “cervelli” da altri Atenei/estero, che però a parità di stipendio preferiranno andare nei “Dipartimenti di Eccellenza”, e che costerebbero comunque 3 volte tanto rispetto alle promozioni interne se si tratta di PA o PO. Quindi la mia preoccupazione è che se si vuole veramente potenziare/far migliorare gli Atenei “deboli” (nella VQR) ci vogliono strumenti e politiche adatti. Una possibilità potrebbe essere, con un intervento ad-hoc, premiare finanziariamente gli Atenei (del Sud o meno) che migliorano di più rispetto alla precedente VQR. P.S. Se fare bene dipendesse da quante risorse si ricevono, allora la “meritocrazia” dipenderebbe non da ciò che si fa, ma da quanto si ha.
Gianni De Fraja
Ottimo articolo Daniele e Massimiliano (and nice paper, too). Aggiungerei che è importante separare due obiettivi profondamente diversi: (i) premiare l’eccellenza (meritocrazia, come dice Carlo Fusaro), e (ii) cercare di sviluppare il Mezzogiorno. I politici devono decidere se vogliono perseguirli (e quanto sono disposti a sborsare per ciascuno), e noi economisti dovremmo trovare il modo migliore per farlo. Per (i) un metodo basato su algoritmi noti in anticipo e sufficientemente chiari (tipo VQR o REF nel Regno Unito), è probabilmente la cosa migliore. Per (ii)? Una competizione tra dipartimenti (per fondi, posti di professore, etc), basata su progetti chiari e specifici, con specifici obiettivi di miglioramento entro tempi definiti, e penalità all’università di appartenenza qualora questi obiettivi vengano mancati potrebbero forse indirizzare risorse in modo più efficace di una distribuzione di fondi a pioggia alle università del mezzogiorno.
Massimiliano Bratti
Grazie Gianni. Concordo con entrambe le tue proposte. In particolare, come suggerisci, ragionare in termini di perseguimento di obiettivi di miglioramento (per cui ognuno corre “contro se stesso” anche se ha scarse chance di raggiungere la vetta), e di legare fondi alla valutazione dell’effettivo miglioramento, creando i giusti incentivi, mi sembra il modo migliore per spingere tutti a fare meglio e perseguire l’obiettivo (ii).
FRANCESCO FERRANTE
Caro Gianni in un sistema sotto finanziato (un laureato italiano costa la metà di uno tedesco a parità di potere di acquisto, dati OCSE 2009, prima dei pesanti tagli intervenuti) l’allocazione meritocratica implica necessariamente effetti “regressivi” nel senso che le università che stanno in basso nei ranking riceveranno molto meno di quanto necessario per svolgere la loro funzione. L’eccellenza in Italia, con i suoi forti ritardi educativi concentrati soprattutto nel Mezzogiorno (vedi dati PISA-INVALSI), si può perseguire solo stanziando risorse aggiuntive ad hoc. Altrimenti l’esito è inevitabile: polarizzazione e peggioramento della qualità media del sistema. Si dimentica inoltre che la capacità delle università di raccogliere risorse aggiuntive sui territori, rispetto al FFA, dipende anche’ssa dal grado di sviluppo socioeconomico di questi ultimi. Sul tema dei ranking suggerisco di leggere la breve nota su questo sito di Fuggetta.