Un passo nella giusta direzione

L’obiettivo esplicito era considerare il “Posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale”. Questo criterio è essenziale nel valutare la ricerca dei singoli e delle università. Non so se questo sia successo in tutte le discipline. Nell’area che conosco meglio, la mia esperienza diretta come referee e un’attenta lettura delle conclusioni finali del panel incaricato di scienze economiche e statistiche suggerisce che questo criterio di eccellenza scientifica internazionale sia stato in larga parte rispettato.
Questo non è successo senza discussioni e dissensi. Esiste ancora nell’accademia italiana una componente che ritiene che il riferimento a standard internazionali nasconda l’imposizione di un paradigma particolare (l’economia neoclassica) dominante negli Stati Uniti e di lì esportato. Questa posizione è sbagliata ed è basata su una visione distorta e antiquata di che cosa sia la ricerca economica a livello internazionale. E ignora gli sviluppi nuovi e la diversificazione avvenuta dalla fine degli anni Sessanta a oggi. Fortunatamente queste posizioni si sono rivelate minoritarie.

Un altro elemento positivo è che l’esercizio sia stato condotto con grande trasparenza, in tempi relativamente brevi e con buona efficienza, nonostante alcuni problemi tecnici. Certamente può essere ripetuto regolarmente, in modo da riflettere i cambiamenti di qualità in corso nelle università italiane.
È interessante che in alcuni casi chi (rettori, direttori di dipartimento, eccetera) doveva decidere dentro le università gli studi da sottomettere, lo abbia fatto non in base a criteri di qualità, ma di equilibrio politico interno: pensavano forse che l’esercizio non sarebbe stato serio o che non ci sarebbero state conseguenze finanziarie? Nonostante tutto, per economia e statistica la valutazione del Civr dà risultati più affidabili di quelli che si ottengono valutando la qualità della ricerca nelle università sulla base del numero dei progetti finanziati dal Miur (come ad esempio l’indagine Censis-Repubblica).
È certamente possibile e necessario introdurre miglioramenti e cambiamenti nel processo di valutazione e nelle strutture che ne sono incaricate, ma manca qui lo spazio per una discussione approfondita. (2) Un tema su cui bisogna discutere è invece l’istituzione di un un’agenzia per la ricerca come la National Science Foundation negli Stati Uniti, separata e indipendente dalle strutture ministeriali, e incaricata di valutare la qualità scientifica degli gli atenei e dei progettidi ricerca. Un secondo tema importante è che cosa possiamo imparare da esercizi sulla valutazione delle università condotti in altri paesi, come il Research Assessment Exercise nel Regno Unito.

Il limite principale di tutto il processo di valutazione appena condotto è la mancanza di un chiaro legame con la riallocazione delle risorse finanziarie a favore delle università con il livello di ricerca più alto, a scapito delle università di peggiore qualità.
A regime, il ministro Moratti ha suggerito che il 30 per cento delle risorse dovrebbero essere allocate sulla base della valutazione della qualità della ricerca scientifica di ciascun ateneo.
Tuttavia, non è chiaro quali saranno in pratica le conseguenze finanziarie per ciascuna università di questo primo ciclo di valutazione e quando verrà ripetuto. Se al giudizio non seguisse una riallocazione delle risorse, il processo risulterebbe di limitata utilità. Solo se i soldi vanno dove si produce ricerca (come avviene per esempio nel Regno Unito, nel contesto di un sistema essenzialmente pubblico) si può nutrire un minimo di speranza per il futuro della ricerca nell’università. D’altra parte, si può facilmente immaginare le resistenze che possono sorgere verso una tale riallocazione e non mi è chiaro se esista in Italia la volontà politica di vincerle.

Quali sono le conclusioni di questo processo di valutazione per il raggruppamento che comprende le scienze economiche e statistiche? Un primo risultato interessante è che se la qualità media della ricerca in economia e statistica non è soddisfacente, quella in economia aziendale è assolutamente disastrosa (con poche eccezioni). Basta un unico dato indicativo: solo il 27 per cento dei contributi di economia aziendale sono pubblicati su riviste internazionali di qualche prestigio. (3) Per economia la proporzione è il 57 per cento e per statistica il 75 per cento.
Per quanto riguarda il ranking delle università non ci sono molte sorprese. (4)
Tra le grandi strutture la Bocconi (0.89), Bologna (0.81), Siena (0.80), Torino (0.76) e la Cattolica (0.70) occupano i primi cinque posti. Tra le medie strutture, Modena e Reggio Emilia (0.89), Salerno (0.86), Venezia(0.86), Pavia (0.85), e Padova (0.85) sono in testa alla classifica.
Rimane il fatto deprimente che nei ranking internazionali le università italiane vanno male. Appaiono, per esempio, al meglio solo tra il cinquantesimo ed il sessantesimo posto (Bocconi e Bologna ) tra le istituzioni europee e statunitensi, in termini di stock di produzione scientifica totale nel periodo 1996-2000 (pesata per la qualità delle riviste). In termini di produzione pro capite le cose vanno peggio (solo la Bocconi appare tra il sessantesimo e il settantesimo posto). (5)

Una domanda interessante è come risponderanno le università alla loro posizione nelle classifiche. Per esempio, a quali pressioni si sentirà sottoposta un’università che è in fondo alle classifiche, per fare meglio? L’umiliazione in termini di reputazione può essere fonte di miglioramento, ma non basta. L’incentivo economico sarebbe certamente più potente. Per ora c’è da sperare che la brutta figura fatta contribuisca a dare più voce ai ricercatori di qualità e li aiuti nelle loro battaglie per un’università migliore. Considerazioni analoghe si applicano per le università in cima alla classifica: l’incentivo economico rafforzerebbe il loro desiderio di rimanervi.
Se gli incentivi fossero giusti (e non lo sono nella situazione attuale, nemmeno con la riforma Moratti), bisognerebbe lasciare autonomia alle università nelle politiche di assunzione, promozione e remunerazione. In mancanza di incentivi per le università ad assumere i migliori ricercatori e di stipendi competitivi e differenziati per attrarli, la fuga dei cervelli verso l’estero continuerà.
È troppo presto per dire se le dovute conseguenze verranno tratte da questo primo passo nella direzione giusta e se esso verrà seguito da altre modifiche sostanziali. Confesso che il mio ottimismo del desiderio è tenuto sotto controllo dal pessimismo della ragione, che riconosce come sia difficile cambiare un sistema distorto con molti ricercatori e dipartimenti di bassa qualità avversi al cambiamento.

(1) Ricordiamo brevemente le procedure. Le “strutture” (dipartimenti, centri di ricerca) dovevano selezionare un numero di contributi (articoli, capitoli in libri, etc.) prodotti durante il periodo 2001-2003 pari al 50 per cento del numero medio di ricercatori a tempo pieno nel triennio (per l’università, in pratica, un prodotto ogni quattro unità di personale accademico). I contributi venivano assegnati a componenti di diversi panel (uno per ciascuna area di ricerca) composti da esperti selezionati dal ministero dell’Istruzione, dell’università e ricerca, che a loro volta li assegnavano a referee esterni. I contributi dovevano essere valutati in base alla qualità, rilevanza, originalità e internazionalizzazione. Ciascun contributo poteva essere valutato come “eccellente”, “buono”, “accettabile”, o “limitato” dai referee. Ciascun panelista, sulla base del lavoro dei referee proponeva una di queste quattro valutazioni, su cui poi il panel doveva esprimersi a maggioranza. Il Civr procedeva poi ad aggregare i voti per ciascuna struttura e a esprimerli come qualità media ponderata (quindi su una scala che ha 1.0 come valore massimo) dando peso 1 a “eccellente”, peso 0.8 a “buono”, peso 0.6 ad “accettabile” e peso 0.2 a “limitato”. Per dettagli si veda: http://vtr2006.cineca.it/
(2) Temi specifici da discutere sono, ad esempio: a) la scelta tra misure di flusso e di stock (meglio queste ultime); b) il numero totale e per membro dei contributi (ora troppo piccolo); c) l’automatizzazione (o meno) di parte del processo sulla base di una classifica delle riviste fondata sulla loro qualità (o del tipo di case editrici per libri e capitoli); d) la lunghezza del periodo coperto e la frequenza della valutazione; e) la scelta dei membri dei panel.
(3) Riviste con Impact Factor attribuito dall’Institute for Scientific Information.
(4) Una sorpresa è la classifica di Roma Tor Vergata (ventottesima su trentuno strutture medie), che risulta meglio piazzata (seconda) nella classifica di Dosi e Sembenelli, basata sul numero di contributi pro capite che compaiono in Econ Lit. (Si veda G. Dosi e A. Sembenelli, “Una nota sulla produttività scientifica dei docenti italiani nelle discipline economiche”, mimeo, 2005, tabella 4). Lascio agli interessati decidere quanto ciò sia dovuto al fatto che una minoranza di ricercatori di grande valore sia circondata da un grande numero di ricercatori mediocri e quanto alla scelta dei contributi presentati al Civr.

(5) Si veda tabella B1 e B2 (prime due colonne) in Combes, P.P. and L. Linnemer, “Where are the economists Who Publish? Publication Concentration and Rankings in Europe Based on Cumulative Pubblications”. Journal of the European Economic Association, December 2003.

Nelle dichiarazioni del ministro Moratti la valutazione del Civr dovrebbe fornire la base per assegnare una parte rilevante delle risorse pubbliche (il 30 per cento del Fondo di funzionamento ordinario del Miur) secondo criteri di qualità della ricerca. Ovviamente, l’effettiva attuazione di questi indirizzi è condizionata all’esito delle prossime elezioni, sebbene in questi giorni si siano moltiplicate le richieste perché il finanziamento degli atenei, e la ripartizione delle risorse tra le loro strutture interne, sia condizionato, seppur parzialmente, ai risultati del Civr.
È comprensibile che questo esercizio di valutazione abbia suscitato un ampio dibattito sull’appropriatezza della metodologia utilizzata. In particolare, nell’ambito dell’area delle scienze economiche, si sono registrate delle profonde divergenze circa i criteri adottati e i rischi di discriminazione delle aree disciplinari meno rappresentate a livello internazionale. Rispetto a queste questioni centrali, che mettono in discussione l’intero impianto della valutazione, vogliamo qui soffermarci su un aspetto tecnico apparentemente marginale, che tuttavia può condizionare in modo radicale la lettura dei risultati diffusi dal Civr.

È necessario richiamare brevemente i punti essenziali della procedura seguita.
Le linee guida dettate dal Civr richiedevano che ogni struttura, intesa come singolo ateneo o centro di ricerca, selezionasse un numero di contributi (articoli, capitoli in libri, eccetera), prodotti durante il periodo 2001-2003, pari al 50 per cento del numero di ricercatori a tempo pieno afferenti a quella struttura nella media del triennio. Ciascun contributo è valutato da un panel di area (ad esempio, “scienze economiche e statistiche”) secondo la scala “eccellente”, “buono”, “accettabile”, o “limitato”. A partire da queste valutazioni, il Civr ha poi ricavato un indicatore sintetico della qualità della ricerca per ogni struttura in ciascuna area mediante una media pesata che assegna il peso 1 a “eccellente”, 0,8 a “buono”, 0,6 ad “accettabile” e 0,2 a “limitato”. Si è quindi creata una graduatoria delle strutture in base a questo indicatore distintamente per ciascuna area di ricerca.
È chiaro che il valore assunto da questo indicatore sintetico varia al variare del numero dei contributi presentati (tranne, ovviamente, nel caso limite di una struttura che abbia solo prodotti di un unico livello di qualità). Quindi, il numero dei contributi valutati dovrebbe essere proporzionale a un indicatore di produzione potenziale misurato, ad esempio, dal numero di ricercatori afferenti a una particolare struttura in quella specifica area. Questo è il punto critico. Il legame fra contributi presentati e numero di ricercatori è stato fissato nelle linee guida del Civr con riferimento all’intera struttura e non alla specifica area oggetto di valutazione. È quindi accaduto che nelle singole aree molti atenei siano stati valutati su un numero di contributi superiore/inferiore al 50 per cento dei ricercatori di quell’area.
Con quali effetti? È ovviamente impossibile stabilire quali pubblicazioni avrebbero presentato, e a quali pubblicazioni avrebbero rinunciato, gli atenei che si sono rispettivamente posizionati al di sotto o al di sopra della regola del 50 per cento. Tuttavia, per comprendere la rilevanza del problema può essere utile ricorrere a qualche ipotesi ragionevole. Sebbene i criteri specifici utilizzati dai panel non fossero noti al momento della presentazione dei contributi, è verosimile ritenere che gli atenei fossero in grado di selezionare nell’ambito della propria produzione scientifica i contributi migliori, quelli “eccellenti” o “buoni”. Si può quindi assumere che se a un ateneo fosse stato richiesto di sottoporre più contributi rispetto a quelli effettivamente presentati, li avrebbe integrati con pubblicazioni di qualità certamente non superiore. Specularmente, un ateneo che avesse dovuto ridurre il numero di contributi presentati, avrebbe ritirato quelli di qualità più bassa.
La tabella 1 mostra i risultati di questo esercizio limitatamente all’area di scienze economiche e statistiche e alle strutture di “medie dimensioni” secondo la classificazione del Civr. Ovviamente, date le ipotesi qui adottate, gli atenei che hanno presentato al Civr relativamente pochi contributi (quelli “sotto la regola del 50 per cento”) tendono a scendere in graduatoria, mentre quelli effettivamente valutati su un numero di pubblicazioni superiore a quanto indicato dalla regola del 50 per cento risalgono posizioni. Il riordinamento che ne risulta non è affatto marginale, con alcuni salti di posizione particolarmente ampi (Venezia, Pisa e Palermo verso il basso; Lecce, Cassino e Padova verso l’alto).
Rimediare all’errore commesso in questo ciclo di valutazione è estremamente difficile. Qualsiasi criterio alternativo utilizzato per correggere il ranking sarebbe oggetto di legittime opposizioni da parte delle università perdenti. È quindi auspicabile che nei prossimi cicli di valutazione si ponga maggiore attenzione a questi dettagli tecnici, ad esempio verificando, sia in fase di presentazione che di valutazione, la corrispondenza fra numerosità dei contributi e numerosità dei ricercatori.