Un giudizio sul Civr

Complessivamente, il panel 13 (Economia e Statistica) ha valutato 971 prodotti distinti attribuiti dalle strutture a quattro categorie della classificazione Isi: 574 (59 per cento) da IS0058 (“Economia”), 201 (21%) da IS0142 (“Matematica”), 183 (19 per cento ) da IS0132 (“Management”), e 13 (1 per cento ) da IS0328 (“Sociologia e Antropologia”). Per quanto riguarda la loro tipologia, 526 prodotti (54 per cento ) erano articoli in riviste con fattore di impatto (If), 187 (19 per cento) libri, 156 (16 per cento) articoli in riviste senza If, e 102 (11 per cento) capitoli di libro, mentre erano assenti prodotti di altra tipologia (brevetti, ecc.). Per quanto riguarda invece la lingua in cui erano scritti, 770 (79 per cento ) erano in inglese, 193 (20 per cento ) in italiano, 5 in francese, e 3 in altre lingue.
La tabella 1 presenta la distribuzione dei prodotti del panel 13 per categoria Isi e tipologia (percentuale di lavori in italiano in parentesi). (1) Per quanto riguarda gli articoli su rivista (che rappresentano il 70 per cento dei lavori presentati), si osserva una certa concentrazione in un numero limitato di riviste. (2)
L’esercizio di valutazione della ricerca è iniziato alla fine di gennaio 2005. Dopo l’elezione del presidente e una prima tornata di discussioni preliminari, si è deciso di strutturare il panel in tre sottogruppi: Economia (463 prodotti, 6 panelist), Business/Finanza (249 prodotti, 3 panelist) e Statistica/Econometria (259 prodotti, 3 panelist). L’assegnazione dei prodotti ai panelist è stata fatta dal presidente, tenuto conto dell’area di specializzazione e dei suggerimenti di ciascun panelist.
L’assegnazione di un prodotto a esperti esterni (almeno due) è stata fatta dal panelist incaricato. C’è stato disaccordo tra i panelist circa l’interpretazione e il peso da dare ai criteri Civr per la valutazione dei prodotti. Ogni panelist ha seguito criteri propri nell’assegnare i prodotti agli esperti esterni e ha dato loro indicazioni non sempre coincidenti. Di conseguenza, esperti differenti potrebbero avere usato standard differenti nel valutare i prodotti. Per circa due terzi dei prodotti, la valutazione esterna è stata completata tra aprile e giugno (tre mesi). Per il restante un terzo, il processo di valutazione esterna si è concluso solo alla fine di novembre (otto mesi).
La tabella 2 mostra l’affiliazione degli esperti esterni dell’Area 13. Rispetto agli altri panel Civr, il panel 13 ha fatto minore ricorso a esperti affiliati a istituzioni italiane (università ed enti di ricerca) e maggiore ricorso a esperti appartenenti a istituzioni straniere (spesso ricercatori italiani in università straniere).
Basandosi sui giudizi degli esperti esterni, i panelist incaricati hanno proposto un giudizio di sintesi agli altri componenti del sottogruppo. Il consenso è stato raggiunto quando una maggioranza dei componenti del sottogruppo si è detta d’accordo sul giudizio proposto. Alla fine del processo, si è raggiunto il consenso a livello di sottogruppo (in alcuni casi dopo uno o al massimo due iterazioni) per 967 dei 971 prodotti (99,6 per cento). Per 830 di questi prodotti (l’85,8 per cento), il consenso è stato unanime. Per il sottogruppo Business, il consenso non è stato unanime in sei casi, per il sottogruppo Economia in 123 casi (26,7 per cento dei prodotti dove si è raggiunto il consenso), per il sottogruppo Statistica in un caso. Per quattro prodotti (tre di Economia, uno di Statistica), il giudizio finale è stato raggiunto attraverso votazione a maggioranza all’interno del panel.
La tabella 3 mostra la distribuzione dei giudizi finali per il panel 13 e per ciascuna delle quattro categoria Isi. Nel complesso, il panel 13 e il panel 14 (Scienze politiche e sociali) sono i soli panel Civr con quote di prodotti classificati come “Buono” o “Eccellente” inferiori al 60 per cento.

Date le caratteristiche dei prodotti valutati, e l’ampio ricorso a esperti affiliati a istituzioni straniere, i risultati del panel 13 non sono sorprendenti. Per chiarire questo punto, la tabella 4 mostra le stime dei coefficienti di regressioni separatamente per categoria Isi, dove la variabile dipendente è il punteggio numerico assegnato dal panel 13 (= 1*E + .8*B + .6*A + .2*L), e i predittori sono indicatori della tipologia di prodotto e della lingua di pubblicazione (tutti i coefficienti sono statisticamente significativi al livello 5 per cento). L’intercetta è una stima del punteggio numerico atteso per un prodotto pubblicato in una rivista straniera con If.
In media, gli articoli in riviste con If ricevono valutazioni più elevate, mentre i capitoli di libro quelle più basse. Si può mostrare che, per gli articoli in riviste con If, la probabilità di ricevere un giudizio di “Buono” o “Eccellente” cresce con l’If della rivista. Si può inoltre mostrare che le differenze nella distribuzione dei giudizi tra i panelist del panel 13 si attenuano o scompaiono una volta che si tenga conto delle differenze nella tipologia e nella lingua dei prodotti assegnati.
Queste relazioni, tutte fortemente significative dal punto di vista statistico, si possono prestare a due diverse interpretazioni. La prima è che la reputazione della rivista dove è stato pubblicato contribuisce in modo cruciale a determinare il giudizio sul prodotto. La seconda è che il giudizio dato a un prodotto dipende solo dalla sua qualità intrinseca ma, in media, conferma la reputazione della rivista in cui è stato pubblicato. Sebbene si possano citare casi a favore della prima interpretazione, mi sembra che l’evidenza favorisca di gran lunga la seconda.
Per concludere, sono convinto che il Civr sia stato un grande successo, riuscendo a processare in breve tempo (circa dieci mesi) un gran numero di prodotti (quasi 18mila) e contribuendo a mettere in moto un processo salutare all’interno dell’università italiana. Il sistema informatico che ne rappresenta la spina dorsale ha funzionato in modo molto efficiente e senza intoppi. Con l’esperienza maturata e la tecnologia a disposizione, l’esercizio potrebbe essere addirittura svolto ogni anno e la graduatoria delle strutture potrebbe basarsi su una media mobile triennale. In questo modo, una nuova valutazione sarebbe necessaria solo per circa un terzo dei prodotti valutati dal Vtr 2001-2003. Il vantaggio principale di questa maggiore frequenza è che le strutture potrebbero aggiustare le loro politiche e i loro incentivi con maggiore gradualità e osservare con maggiore rapidità l’esito del lavoro svolto.

(1) Il panel 13 (Economia e Statistica) era formato da dodici componenti, di cui otto da università italiane e quattro da istituzioni straniere: Pierre Dehez (Università Cattolica di Lovanio, Belgio), Jean-Paul Fitoussi (Ofce, Francia), Francesco Giavazzi (Università Bocconi), Daniel Gros (Ceps, Belgio), Marco Lippi (Università di Roma La Sapienza), Luigi Pasinetti (Università Cattolica), Daniel Peña (Università Carlos III, Spagna), Alessandro Penati (Università Cattolica di Milano), Franco Peracchi (Università di Roma Tor Vergata, presidente), Alessandro Petretto (Università di Firenze), Alessandro Riccaboni (Università di Siena), e Guido Tabellini (Università Bocconi).

(2) Per la categoria Isi “Economia”, le nove riviste più frequenti (con 82 articoli su 415) sono: Journal of Banking and Finance (12), European Economic Review (11), Scottish Journal of Political Economy (10), Journal of Economic Dynamics and Control (9), Applied Economics (9), Research Policy (8), Journal of Public Economics (8), Journal of Economic Behavior and Organization (8), e Journal of Economic Theory (7). Per la categoria Isi “Management”, le nove riviste più frequenti (con 20 articoli su 72) sono: Organization Science (3), Research Policy (3), Management Science (2), Journal of Management Studies (2), Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R & D Management (2), Small Business Economics (2), e Revue Française du Marketing (2). Per la categoria Isi “Matematica”, le nove riviste più frequenti (con 53 articoli su 188) sono: Biometrika (10), Computational Statistics and Data Analysis (10), European Journal of Operational Research (9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance Mathematics and Economics (4), Environmetrics (4), Statistics and Probability Letters (4), e Journal of Statistical Planning and Inference (4).

Tabella 1: Distribuzione dei prodotti del Panel 13 per tipologia (% di lavori in italiano in parentesi)

Attraverso la valutazione di un campione ristretto di prodotti di ricerca scelti dalle università, il sistema Civr perviene a una classifica di “eccellenza” degli atenei.
La prima domanda che occorre porsi è se risorse scarse vadano allocate alle università secondo un concetto più o meno assoluto e immutabile di eccellenza oppure secondo una più articolata serie di criteri strategici, variabili nel tempo e nello spazio. Ovvero, un’università è eccellente perché i suoi risultati sono conformi a un concetto dogmatico di eccellenza oppure perché raggiunge determinati obiettivi strategici?
Indipendentemente dal significato di eccellenza, l’allocazione di risorse scarse alle università dovrebbe essere effettuata in funzione dei rispettivi programmi di azione necessari per realizzarne la strategia. Il ruolo del Governo si estrinseca nel definire con chiarezza gli indirizzi politici nei settori di attività degli atenei; nel richiedere piani strategici alle singole sedi per verificarne l’allineamento con gli indirizzi politici e realizzare l’integrazione sinergica complessiva; nell’assegnare coerentemente le risorse necessarie; e nel controllare che gli obiettivi strategici siano effettivamente raggiunti.
Sul primo punto, il Consiglio europeo di Lisbona 2000 è un esempio eclatante cui riferirsi: non solo fissa gli indirizzi politici dell’Unione sulla ricerca, ma formula una missione, quantitativamente misurabile in un arco temporale definito. Sugli altri, un esempio è fornito dal “libero mercato” americano. Il Government Performance and Results Act del 1993 richiede a tutti i laboratori di ricerca pubblici una particolare attenzione all’impatto socio-economico delle attività intraprese per assolvere alle rispettive missioni istituzionali e di produrre tre documenti distinti: un piano strategico relativo a un periodo di cinque anni; un piano e un rapporto annuale di performance. Questo tipo di controllo (detto behavior control) è molto più stringente, e appropriato, dell’opposto modello fondato sul controllo dei risultati (outcome control), cui il sistema Civr può approssimativamente essere ricondotto.
La prospettiva strategica nell’allocazione delle risorse, a differenza del sistema di valutazione Civr, presuppone che le università possano avere obiettivi strategici diversi e, quindi, essere valutate in maniera non necessariamente uniforme. Inoltre, altrettanto importante è riconoscere che le università presentano una peculiarità organizzativa più unica che rara: i suoi membri operano contemporaneamente in due settori di attività, la formazione e la ricerca; addirittura in tre, con l’assistenza sanitaria, negli atenei attivi nelle scienze mediche. A seconda delle competenze distintive di ciascuna università, e dei bisogni contestuali derivanti dalla localizzazione e da altri fattori, potrebbe perciò rivelarsi opportuno differenziare l’enfasi sulle diverse attività o, in ciascuna di queste, perseguire obiettivi diversi o in diversa misura. All’interno della medesima attività, quale la ricerca, si potrebbe poi, privilegiare un’area disciplinare rispetto a un’altra, indipendentemente dal livello di conoscenza nell’area stessa; e potrebbe essere così in un’area geografica del paese e l’opposto in un’altra.
Una modalità di allocazione delle risorse fondata su sistemi rigidi di valutazione come quello proposto dal Civr, non solo non permette di rispondere alle molteplici e diverse esigenze che la complessità di un sistema-paese presenta, ma potrebbe rivelarsi addirittura disfunzionale.

Proviamo a prefigurare l’efficacia di un sistema incentivante basato sulla valutazione Civr. Verosimilmente la reazione di ogni ateneo sarebbe quella di privilegiare nell’allocazione interna delle risorse i suoi champion, per mantenere o migliorare la propria posizione nella classifica nazionale. Ciò è sicuramente un bene, a meno che il champion non svolga ricerca in settori disciplinari non strategici o in cui non esistano imprese italiane in grado di coglierne le ricadute (una recente indagine ha mostrato che accade nel 28 per cento dei casi). Il personale di ricerca tutto, poi, aspirerebbe a diventare champion all’interno della propria università. E ciascun ricercatore tenderà perciò a codificare le nuove conoscenze generate in prodotti “certificati” a livello internazionale, quali gli articoli scientifici nelle riviste con impact factor più alto.
Siamo certi che sia di questo che il nostro paese ha bisogno? Negli anni 1995-2000, nelle università americane, a fronte di spese in ricerca aumentate del 22 per cento, le pubblicazioni scientifiche sono diminuite del 10 per cento; in Canada del 9 per cento, in Olanda del 5 per cento e nel Regno Unito dell’1 per cento. Viceversa, il numero dei brevetti depositati e concessi in licenza dalle università americane e canadesi è cresciuto nello stesso periodo, rispettivamente, del 220 e del 160 per cento.
Nel medesimo arco di tempo, l’Italia ha fatto registrare il più alto tasso di crescita annuale di pubblicazioni tra i paesi del G7, portandoci ai livelli di produttività scientifica di Stati Uniti (e di gran lunga superiore agli altri membri del G7). Si è però ampliato il gap nella produzione brevettuale e nel licensing. Nel 2002, in Italia, i brevetti di titolarità universitaria erano quattro ogni mille ricercatori, nel Regno Unito ventidue, mentre negli Stati Uniti già nel 1999 avevano superato la soglia di quaranta. Le università americane e canadesi concedono in licenza in media il 60 per cento dei brevetti depositati; quelle italiane il 13 per cento.
È stato empiricamente dimostrato che sono per lo più le grandi imprese, e non le piccole, a utilizzare le pubblicazioni scientifiche quali fonte di informazione per l’attività innovativa: con la struttura del nostro settore industriale, si può prevedere che a usufruire “dell’eccellenza” di risultati di ricerca così codificati sarà molto probabilmente la concorrenza straniera più che il sistema produttivo nazionale.
I criteri di valutazione Civr inducono, come è avvenuto negli altri paesi, un cambiamento nella codifica delle nuove conoscenze o, piuttosto, alimentano la tendenza attuale? Qual è il senso di rafforzare un incentivo che è già intrinseco nella comunità scientifica mondiale (ottenere il riconoscimento internazionale dei propri pari) e i cui esiti eccessivi (in concomitanza di una scarsa produzione brevettale) si rivelano controproducenti per l’impatto competitivo e lo sviluppo economico del nostro paese? Cosa accadrà, poi, a quel tipo di ricerca, già di per sé esigua, più finalizzata a soddisfare i bisogni specifici del nostro sistema paese che non a brillare nel firmamento della scienza internazionale?
Un’ultima riflessione meritano le implicazioni indirette di un sistema incentivante. I fondi attuali (di cui non si prevede un incremento) assicurano a malapena la sopravvivenza operativa, ridurli sotto una certa soglia per alcune università potrebbe implicare un ritorno complessivo netto negativo. Non è un motivo per non procedere, ma le cautele devono essere senz’altro maggiori, soprattutto se si considerano i beneficiari finali dell’attività di ricerca di un’università, quali le imprese che gravitano sul territorio, gli studenti e i pazienti. Un esercizio di valutazione, inoltre, non dovrebbe essere finalizzato solo a premiare i migliori, ma anche a capire perché alcune strutture sono meno efficienti di altre ed eventualmente intervenire con misure correttive, il che non si traduce sempre e necessariamente in un’allocazione di minori risorse.

In merito all’efficienza dello strumento di valutazione proposto mi limiterò solo ad alcune osservazioni di carattere generale.

Il modello proposto dal Civr, con gli opportuni miglioramenti e integrato con misurazioni più o meno automatizzate di produttività a più ampio spettro, potrebbe rivelarsi uno strumento utile, seppur molto costoso, ai fini di un benchmarking tra istituzioni. Utilizzarlo, invece, quale strumento discriminante per l’allocazione delle risorse potrebbe essere, a mio avviso, iniquo, inappropriato e, forse, anche controproducente per il sistema-paese.

Alla luce della valutazione dell’Area 13 (Scienze economiche e statistiche), ritengo che l’informazione corretta che il Civr offre sia, né più né meno, la distribuzione spaziale della qualità degli studiosi, misurata secondo gli standard disciplinari relativi alle pubblicazioni scientifiche. Si tratta naturalmente di una informazione importante, ma che non va fraintesa e quindi male applicata. Il fraintendimento più serio si avrebbe se questa informazione venisse fatta coincidere sic et simpliciter con la qualità delle rispettive istituzioni (dipartimenti). Per due ragioni.
La prima è che il sistema italiano impedisce ai dipartimenti di attuare una politica attiva del personale anche solo lontanamente paragonabile a quella anglosassone (come scoprirono, con sconcerto, i peer reviewer del mio dipartimento durante la loro visita). In pratica, tranne rari casi, la composizione di un dipartimento italiano è in buona misura frutto di fattori extra-scientifici (dalle scelte domiciliari dei docenti, ai fabbisogni didattici delle facoltà, ai loro equilibri disciplinari) sui quali il dipartimento stesso ha scarso controllo.
La seconda ragione, più generale, è che la qualità di un dipartimento non è fatta solo dalle punte di eccellenza nelle pubblicazioni (se ne ha), ma anche da una pluralità di altri fattori, tra cui la media e la varianza delle prestazioni dei suoi studiosi, la capacità di esprimere un profilo scientifico ben definito e riconosciuto in uno o più settori o specialità, la continuità della produzione scientifica, la capacità di formazione, il sistema di relazioni scientifiche nazionali e internazionali di cui fa parte, la capacità di autofinanziamento. Nei sistemi anglosassoni, sono questi i fattori che formano la reputazione e capacità di attrazione del dipartimento di studiosi di alto livello, che sfociano in un ranking elevato delle pubblicazioni. Invece, pur lasciando da parte il bizzarro raggruppamento delle “piccole strutture”, si ha il fondato dubbio che il metodo Civr non sia immune dall’effetto “one-man-orchestra“. Si tratta notoriamente del fatto che un dipartimento può “ospitare” uno o due studiosi di livello internazionale, avere un rating molto alto dalle loro pubblicazioni, ma presentare pochi risultati apprezzabili su tutte le altre caratteristiche che ho ricordato sopra. Basta confrontare la varianza dei rating dei prodotti. È auspicabile che il Civr voglia correggere i segnali distorsivi che provengono dalle “one-man-orchestra”. E, comunque, attenzione a non confondere causa (qualità del dipartimento) ed effetto (qualità delle pubblicazioni).

Sul fronte dei criteri di valutazione dei prodotti, mi soffermo solo su due delle questioni più controverse: eterogeneità e pluralismo. Ne dà conto il voluminoso e controverso rapporto del panel di Area 13.
Per qualche ragione ignota, l’Area 13 è un coacervo di discipline (economia politica, economia aziendale, statistica, storia economica), una Babele non solo riguardo al crisma di “scientificità” di scuole, temi e metodi, ma anche della tipologia (paper vs. libro) o della lingua (inglese vs. altri idiomi) del prodotto scientifico per eccellenza. La relazione del panel dell’Area mette in evidenza questo problema e la difficoltà d’individuare criteri valutativi comparabili tra le diverse anime. Condivido il principio di non creare piccoli gruppi autoreferenziali ma forse nella costituzione dell’Area 13 si è ecceduto in senso opposto.
Per quanto riguarda il pluralismo della ricerca, non voglio scomodare i ben noti maestri del pensiero scientifico per ricordare che la delimitazione del perimetro della “scienza” è un’operazione con una importante componente convenzionale e contingente, e che il progresso scientifico è dato non solo dalla ricerca “normale” entro il perimetro dato qui e ora, ma anche (soprattutto?) dalle rotture ed esplorazioni al di là di esso. Ora, un problema chiave della politica (ed economia) della ricerca è: ci sono gli incentivi giusti per investimenti nelle ricerche extraperimetrali? Che probabilità di riconoscimento hanno un ricercatore o un dipartimento che investono in un’area di ricerca che non ha (ancora) una posizione consolidata nel perimetro tracciato e presidiato dalla comunità dei top journal? Perché i top journal economici hanno indicatori d’impatto e readership molto inferiori non solo rispetto alle scienze naturali, ma anche ad altre scienze umane e sociali? Quali sono le metodologie di valutazione più appropriate per evitare sia la ciarlataneria sia il conformismo autoreferenziale e improduttivo?
Concludo ribadendo che la valutazione della ricerca del Civr è una operazione importante e meritoria, che va salvaguardata da tentazioni qualunquiste o di delegittimazione. Tuttavia, a tale fine, il dato Civr va inserito in un sistema di indicatori che devono intercettare le diverse dimensioni della qualità di un dipartimento e la loro evoluzione nel tempo. Da questo punto di vista, ritengo che il sistema di valutazione più appropriato rimanga la peer review. Aggiungo che il sistema degli indicatori dovrebbe essere accompagnato da una costante attività di informazione, dialogo e verifica tra ciascun dipartimento e gli organi di governo degli atenei, gli unici veri attori chiave per arrivare anche in Italia a una distribuzione virtuosa delle risorse per la ricerca.

La metafora calcistica non è fuori luogo: i rettori, come presidenti nel calciomercato, cercano di ingaggiare docenti con buoni curriculum vitae, e i docenti a loro volta usano il potere contrattuale dato da un buon cv per ottenere stipendi e condizioni migliori.
Gli incentivi sono immediati, prestigio e soldi. Le pagine web delle università di successo mettono spesso in bella mostra il risultato del Rae. Dal punto di vista finanziario, un buon Rae è per un ateneo come un miliardario russo per una squadra di calcio: una percentuale molto alta del finanziamento complessivo dipende infatti dal risultato della valutazione. (1)
Le regole del Rae sono semplici. Ogni dipartimento sottopone al Rae tutti i ricercatori “attivi”, in ruolo il 31 ottobre 2007, e per ogni ricercatore quattro prodotti pubblicati nei sette anni precedenti. Per ognuna delle settanta aree disciplinari un panel, scelto in modo da essere rappresentativo della disciplina, sia come aree di ricerca, sia come reputazione internazionale, formula un giudizio di sintesi su ciascun dipartimento.
L’esperienza inglese, ormai ventennale, ha cambiato molte cose nell’accademia, per lo più in meglio, rafforzando gli incentivi in direzioni socialmente positive. L’efficienza degli atenei viene premiata a scapito del blasone, e i risultati si vedono nelle classifiche pubblicate dai giornali e i siti web usati dagli studenti stranieri. All’interno di ciascun ateneo, c’è accesa competizione tra facoltà e tra dipartimenti. L’allocazione di nuovi posti e di promozioni riflette il contributo (finanziario e di prestigio) all’università: chi vince e porta soldi viene premiato.
Chi, come me, lavorava in Gran Bretagna alla prima valutazione, ha visto spazzar via la torpida e assopita atmosfera, magistralmente descritta nei romanzi di David Lodge, dell’università di provincia, dove la fine del trimestre era l’inizio di una lunga vacanza, e non, come oggi, un periodo in cui si può finalmente “lavorare in pace”.
La promozione oggi non dipende più dall’età, ma dalle pubblicazioni. A parità di anzianità e di disciplina, ci sono oggi professori pagati il doppio, o più, dei colleghi. Tra discipline, la variazione è ancora maggiore. “Si vota con i piedi” spostandosi, alla ricerca di migliori ambienti accademici e stipendi migliori, e si porta con sé entusiasmo ed esperienza. Moltissimi professori di economia sono stati professori allo stesso livello in un’altra università. Alzi la mano chi è stato ordinario in Italia in due atenei.

Sono d’accordo con Tullio Jappelli e Fabio Schiantarelli: l’Italia ha cominciato nel complesso bene. Si tratta ora di continuare, seguendo i principi che spiegano il successo del sistema inglese.
Occhio agli incentivi. Una caratteristica del sistema britannico è che si valutano i lavori dei docenti in ruolo a una certa data, indipendentemente da dove sono stati scritti; è quindi una misura dello stock di capitale umano presente all’università, misurato dalla produzione recente. In Italia contano le pubblicazioni scritte nell’ateneo, ed è perciò misurato il flusso di pubblicazioni. L’incentivo alla ricerca è maggiore nel sistema inglese, perché consente a un docente di “portare con sé” i suoi lavori, e aumentare così il suo valore sul mercato: una pubblicazione di successo ha valore immediato per ciascun dipartimento, mentre in Italia ha valore solo in quanto indicatore di qualità.
Accettazione del mondo accademico. In Gran Bretagna sono tutti d’accordo che si tratti di un buon sistema: chi si sente maltrattato non dà la colpa agli arbitri, ma si tira su le maniche e cerca di far meglio la prossima volta. Molti degli elementi essenziali per l’accettazione sono già presenti nel meccanismo italiano: la consultazione con la comunità accademica, la peer review, la rappresentatività del panel, il coinvolgimento di docenti che lavorano all’estero, la chiarezza delle regole.
Ampia base. Nel sistema italiano il numero di prodotti da giudicare è limitato: un dodicesimo per persona anno, contro quattro settimi per persona anno in Gran Bretagna. Inoltre, ogni ricercatore deve sottoporre quattro lavori, mentre in Italia tutti i prodotti presentati da un’università potrebbero, al limite, essere scritti dallo stesso docente. Soprattutto, se i finanziamenti seguiranno la valutazione (e a un certo punti i tornei estivi dovranno pur finire, e il campionato cominciare), è importante far “pagare” agli atenei l’assenza di una cultura di ricerca diffusa.
Introduzione graduale. Il primo ciclo inglese ebbe natura informale, senza chiare conseguenze finanziarie immediate, un po’ come un torneo di calcio estivo. Aprì però la strada a cicli di valutazioni sempre più effettive, con un aumento continuo della dipendenza tra risorse e performance, evitando però di creare crisi, e preferendo indirizzare i finanziamenti aggiuntivi verso le università di successo, lasciando che quelle che non funzionano si spengano lentamente, invece che fallire.
Flessibilità. Dopo ogni tornata c’è una valutazione ufficiale, e spesso il sistema cambia. Ad esempio, il prossimo Rae avrà un periodo più lungo che in passato, e non avrà più le sette categorie del 2001, ma un istogramma, come per il Civr. In passato, il punteggio di un dipartimento era dato dalla valutazione del docente mediano: così si poteva aumentare la probabilità di un punteggio più elevato non presentando i docenti al di sotto della mediana del dipartimento. Questo comportamento tattico è stato percepito come fuorviante, e irrilevante ai fini dello stimolo alla ricerca, ed e stato perciò sostituito da un sistema che ne elimina l’incentivo finanziario. Altri esempi sono la specificità del tipo di prodotto all’area di ricerca e l’assenza di automatismi tra classificazione di un lavoro e qualità della rivista o della casa editrice. I panel riconoscono che in certe aree (ad esempio, le scienze, medicina, le aree economiche) contano solo le riviste con sistema di referee, mentre in altre (archeologia, critica letteraria) la ricerca originale è spesso pubblicata in libri. Inoltre, possono esserci articoli di qualità eccellente pubblicati in riviste secondarie, e viceversa, una nota di due pagine su una rivista prestigiosa, non è di per sé eccellente.

I componenti del panel sono esperti riconosciuti sul piano nazionale e internazionale nelle rispettive discipline; un quarto proviene dall’estero, un elemento di eccezionale novità nel quadro asfittico e autoreferenziale di buona parte dell’università italiana. Ciascun panel ha previsto esplicitamente come affrontare i casi di conflitti di interesse (coautori, colleghi della stessa università, parenti, eccetera). Anche qui, si tratta di una positiva novità.

I raggruppamenti disciplinari

Ciascun panel ha valutato circa mille lavori di aree di ricerca molto ampie, che comprendono mediamente quattromila ricercatori ciascuna (diecimila per le scienze mediche, seimila per quelle biologiche). Ad esempio, per le scienze mediche è stato attivato un solo panel che ha valutato lavori di oncologia, neurologia, endocrinologia, cardiologia, immunologia, eccetera. Il panel di scienze economiche e statistiche ha valutato, tra gli altri, lavori di statistica, economia politica, matematica finanziaria, economia aziendale. Il panel di scienze biologiche ha esaminato lavori di biologia molecolare, biochimica, fisiologia, e così via.
Nell’università italiana molte decisioni sono prese dai cosiddetti “settori scientifico-disciplinari”. Se ne contano cinquanta in medicina, un centinaio nelle scienze letterarie, diciannove nelle scienze biologiche, altri diciannove nelle scienze economiche e statistiche: in totale, circa quattrocento. Si tratta di piccoli o grandi raggruppamenti di docenti che si comportano spesso come corporazioni medievali, erigendo barriere all’ingresso e impedendo che le altre discipline possano “mettere il naso” nei loro affari. Fino ad oggi, le decisioni sull’ingresso in ruolo dei docenti, le conferme e le promozioni (i concorsi) sono prese da commissioni elette all’interno dei settori disciplinari. I panel del Civr hanno eliminato, o quanto meno attenuato, alcune di queste barriere, valutando con una stessa metrica settori della stessa area di ricerca, uniformando gli standard di qualità e promuovendo, in prospettiva, la competizione orizzontale tra settori disciplinari. Qualsiasi riforma dell’università non potrà prescindere da una profonda revisione dei settori scientifici esistenti.

I lavori presi a riferimento

La valutazione ha preso in esame le pubblicazioni nel triennio di riferimento, non le pubblicazioni dei docenti che al momento della valutazione lavoravano presso la sede. Questo criterio tende a scoraggiare comportamenti strategici e opportunistici; ad esempio assumere un docente per un anno, al solo scopo di inserire i suoi lavori e migliorare il ranking. Tuttavia, si introduce un elemento di inerzia troppo accentuato. Supponiamo che nel 2006 l’università X decida di migliorare la propria ricerca in un certo settore assumendo un nuovo docente. Il docente prenderà servizio alla fine del 2006; le sue pubblicazioni del periodo 2004-06 non saranno però attribuite alla nuova sede e non saranno quindi oggetto del secondo ciclo di valutazione. Bisognerà attendere il terzo ciclo (2007-09), che sarà reso pubblico due anni dopo, nel 2011, per capire se e come il nuovo docente avrà modificato il ranking. Meglio sarebbe prevedere un aggiornamento annuale o biennale della valutazione, acquisendo i prodotti già valutati, e aggiungendo quelli che ogni anno si rendono disponibili.

I prodotti selezionati dalle università (uno per ogni quattro ricercatori) e dagli enti di ricerca (uno per ogni due ricercatori) sono stati preliminarmente valutati da due esperti esterni al panel. Sulla base dei primi due giudizi, un componente del panel ha poi espresso una proposta di giudizio finale, vagliata all’interno del panel da uno specifico sottogruppo, che ha riesaminato il giudizio finale, esprimendo il proprio consenso o dissenso motivato. Nei casi in cui il consenso non è stato raggiunto dal sottogruppo, il giudizio finale è stato espresso collegialmente dal panel. Questa procedura garantisce il massimo di imparzialità, e tuttavia può comportare l’allungamento dei tempi anche quando non è necessario, ad esempio per lavori pubblicati su riviste internazionali di prestigio.

I costi sono stati contenuti, meno di quattro milioni di euro secondo le cifre diffuse dal ministero dell’Istruzione, università e ricerca. Si tratta di una somma di circa quattro volte inferiore a quella del sistema di valutazione inglese, che si aggira sui 15 milioni di euro.
I tempi invece non sono stati brevi: un anno per selezionare i lavori da parte delle università, un altro per la valutazione dei panel. In futuro, sarà necessario comprimerli, anche sulla base dell’esperienza acquisita. Soprattutto perché la valutazione è efficace ex-ante, quando sono note le conseguenze della valutazione sulla distribuzione delle risorse: solo così si può sperare che orienti le scelte del corpo accademico, migliori la qualità della ricerca e stimoli la concorrenza tra università.

Le relazioni finali dei panel sono disponibili integralmente sul web, in italiano e in inglese. Contengono un resoconto del lavoro svolto, delle decisioni prese, delle procedure adottate. Dai verbali emerge che nella grande maggioranza dei casi le decisioni sono state prese all’unanimità; il dissenso è limitato a pochissimi casi, documentati con relazioni di minoranza. Le responsabilità individuali e le prese di posizione non sono coperte dall’anonimato. Si tratta di un principio di trasparenza di grande valore rispetto alle abitudini vigenti nell’accademia italiana.

Anche l’elenco dei lavori valutati è disponibile sul web. Chi lavora nelle università italiane sa quanto poco tempo sia dedicato alla discussione di temi di ricerca, e quanto invece a cavilli, regolamenti, delibere, verbali, riunioni estenuanti. Il Civr offre per la prima volta l’occasione per sapere cosa si fa nell’università, chi lo fa, come lo fa. Ci si può rendere conto di quali temi di ricerca vengono affrontati e quali sono i gruppi di ricerca attivi nelle varie sedi.

Il ministro Moratti ha dato una lettura molto positiva dei risultati. “La ricerca italiana supera l’esame della valutazione,” – ha osservato nel comunicato ufficiale – “dall’analisi dei dati emerge uno spaccato confortante della ricerca nazionale”.
Come sempre, è difficile stabilire se un bicchiere sia mezzo pieno o mezzo vuoto. La tabella riporta, per ciascuna area disciplinare, il numero di lavori valutati, la percentuale dichiarata eccellente, il punteggio medio e il punteggio minimo e massimo ottenuto in ciascun settore. Complessivamente, il 30 per cento dei prodotti valutati è stato giudicato “eccellente”, dove per “eccellente” si intende il 20 per cento più elevato secondo la scala di valore condivisa dalla comunità scientifica internazionale. Anche se è difficile confrontare i ranking di aree di ricerca con standard internazionali diversi, la percentuale di lavori dichiarati “eccellenti” è di oltre il 50 per cento nelle scienze fisiche e letterarie, ma raggiunge solo il 10 per cento nelle scienze agrarie, il 17 per cento nelle scienze economiche e statistiche, il 20-22 per cento nelle scienze giuridiche, nelle scienze politiche e sociali e in ingegneria civile e architettura. Anche all’interno delle aree vi è notevole dispersione. Guardando le sole strutture grandi e medie (almeno quaranta ricercatori), per molti settori l’oscillazione tra valori minimi e massimi è di circa 20 punti; sale a 30 per la chimica, la biologia, l’ingegneria civile, e a oltre 40 per le scienze economiche. Vi sono quindi significative differenze tra aree e all’interno delle aree. Bisogna poi ricordare che il Civr ha preso in esame soltanto le pubblicazioni migliori, in media soltanto una ogni quattro ricercatori.

Il ministro Moratti ha ribadito spesso che in sede di assegnazione delle risorse pubbliche per la ricerca, si terrà conto dei risultati della valutazione del Civr e che il 30 per cento del Fondo di funzionamento ordinario del Miur sarà calcolato sulla base della qualità della ricerca delle varie strutture. Ma sappiamo che il ministro è orientato verso altri incarichi. Sarà applicato questo principio? E con quali modalità?

Non ci sono solo i fondi del Miur. I rettori potranno, se vorranno, adottare misure specifiche per premiare o incentivare aree di eccellenza nelle rispettive università. Già ora ciascuna sede può predisporre un piano di sviluppo della ricerca razionalizzando le risorse esistenti, senza chiedere stanziamenti aggiuntivi. Come saranno utilizzati i ranking nazionali delle singole aree nelle rispettive università? Quali procedure saranno messe concretamente in atto per non disperdere le aree di eccellenza che esistono? Tra le aree meno forti, come saranno identificate quelle che sono suscettibili di sviluppo?

Nota. Il rating è il rapporto tra prodotti “pesati” per la qualità e il numero totale di prodotti valutati. I prodotti pesati si ottengono come E+0.8×B+0.6×A+0.2×L, dove E = Eccellente; B = Buono; A = Accettabile; L = Limitato. Minimi e massimi si riferiscono a mega-strutture (più di 400 ricercatori), grandi strutture (tra 100 e 400) o medie (tra 40 e 100), escludendo quindi le piccole (meno di 40). I valori medi si riferiscono a tutti i prodotti valutati. Non vengono riportate le 5 “aree speciali”.

L’obiettivo esplicito era considerare il “Posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale”. Questo criterio è essenziale nel valutare la ricerca dei singoli e delle università. Non so se questo sia successo in tutte le discipline. Nell’area che conosco meglio, la mia esperienza diretta come referee e un’attenta lettura delle conclusioni finali del panel incaricato di scienze economiche e statistiche suggerisce che questo criterio di eccellenza scientifica internazionale sia stato in larga parte rispettato.
Questo non è successo senza discussioni e dissensi. Esiste ancora nell’accademia italiana una componente che ritiene che il riferimento a standard internazionali nasconda l’imposizione di un paradigma particolare (l’economia neoclassica) dominante negli Stati Uniti e di lì esportato. Questa posizione è sbagliata ed è basata su una visione distorta e antiquata di che cosa sia la ricerca economica a livello internazionale. E ignora gli sviluppi nuovi e la diversificazione avvenuta dalla fine degli anni Sessanta a oggi. Fortunatamente queste posizioni si sono rivelate minoritarie.

Un altro elemento positivo è che l’esercizio sia stato condotto con grande trasparenza, in tempi relativamente brevi e con buona efficienza, nonostante alcuni problemi tecnici. Certamente può essere ripetuto regolarmente, in modo da riflettere i cambiamenti di qualità in corso nelle università italiane.
È interessante che in alcuni casi chi (rettori, direttori di dipartimento, eccetera) doveva decidere dentro le università gli studi da sottomettere, lo abbia fatto non in base a criteri di qualità, ma di equilibrio politico interno: pensavano forse che l’esercizio non sarebbe stato serio o che non ci sarebbero state conseguenze finanziarie? Nonostante tutto, per economia e statistica la valutazione del Civr dà risultati più affidabili di quelli che si ottengono valutando la qualità della ricerca nelle università sulla base del numero dei progetti finanziati dal Miur (come ad esempio l’indagine Censis-Repubblica).
È certamente possibile e necessario introdurre miglioramenti e cambiamenti nel processo di valutazione e nelle strutture che ne sono incaricate, ma manca qui lo spazio per una discussione approfondita. (2) Un tema su cui bisogna discutere è invece l’istituzione di un un’agenzia per la ricerca come la National Science Foundation negli Stati Uniti, separata e indipendente dalle strutture ministeriali, e incaricata di valutare la qualità scientifica degli gli atenei e dei progettidi ricerca. Un secondo tema importante è che cosa possiamo imparare da esercizi sulla valutazione delle università condotti in altri paesi, come il Research Assessment Exercise nel Regno Unito.

Il limite principale di tutto il processo di valutazione appena condotto è la mancanza di un chiaro legame con la riallocazione delle risorse finanziarie a favore delle università con il livello di ricerca più alto, a scapito delle università di peggiore qualità.
A regime, il ministro Moratti ha suggerito che il 30 per cento delle risorse dovrebbero essere allocate sulla base della valutazione della qualità della ricerca scientifica di ciascun ateneo.
Tuttavia, non è chiaro quali saranno in pratica le conseguenze finanziarie per ciascuna università di questo primo ciclo di valutazione e quando verrà ripetuto. Se al giudizio non seguisse una riallocazione delle risorse, il processo risulterebbe di limitata utilità. Solo se i soldi vanno dove si produce ricerca (come avviene per esempio nel Regno Unito, nel contesto di un sistema essenzialmente pubblico) si può nutrire un minimo di speranza per il futuro della ricerca nell’università. D’altra parte, si può facilmente immaginare le resistenze che possono sorgere verso una tale riallocazione e non mi è chiaro se esista in Italia la volontà politica di vincerle.

Quali sono le conclusioni di questo processo di valutazione per il raggruppamento che comprende le scienze economiche e statistiche? Un primo risultato interessante è che se la qualità media della ricerca in economia e statistica non è soddisfacente, quella in economia aziendale è assolutamente disastrosa (con poche eccezioni). Basta un unico dato indicativo: solo il 27 per cento dei contributi di economia aziendale sono pubblicati su riviste internazionali di qualche prestigio. (3) Per economia la proporzione è il 57 per cento e per statistica il 75 per cento.
Per quanto riguarda il ranking delle università non ci sono molte sorprese. (4)
Tra le grandi strutture la Bocconi (0.89), Bologna (0.81), Siena (0.80), Torino (0.76) e la Cattolica (0.70) occupano i primi cinque posti. Tra le medie strutture, Modena e Reggio Emilia (0.89), Salerno (0.86), Venezia(0.86), Pavia (0.85), e Padova (0.85) sono in testa alla classifica.
Rimane il fatto deprimente che nei ranking internazionali le università italiane vanno male. Appaiono, per esempio, al meglio solo tra il cinquantesimo ed il sessantesimo posto (Bocconi e Bologna ) tra le istituzioni europee e statunitensi, in termini di stock di produzione scientifica totale nel periodo 1996-2000 (pesata per la qualità delle riviste). In termini di produzione pro capite le cose vanno peggio (solo la Bocconi appare tra il sessantesimo e il settantesimo posto). (5)

Una domanda interessante è come risponderanno le università alla loro posizione nelle classifiche. Per esempio, a quali pressioni si sentirà sottoposta un’università che è in fondo alle classifiche, per fare meglio? L’umiliazione in termini di reputazione può essere fonte di miglioramento, ma non basta. L’incentivo economico sarebbe certamente più potente. Per ora c’è da sperare che la brutta figura fatta contribuisca a dare più voce ai ricercatori di qualità e li aiuti nelle loro battaglie per un’università migliore. Considerazioni analoghe si applicano per le università in cima alla classifica: l’incentivo economico rafforzerebbe il loro desiderio di rimanervi.
Se gli incentivi fossero giusti (e non lo sono nella situazione attuale, nemmeno con la riforma Moratti), bisognerebbe lasciare autonomia alle università nelle politiche di assunzione, promozione e remunerazione. In mancanza di incentivi per le università ad assumere i migliori ricercatori e di stipendi competitivi e differenziati per attrarli, la fuga dei cervelli verso l’estero continuerà.
È troppo presto per dire se le dovute conseguenze verranno tratte da questo primo passo nella direzione giusta e se esso verrà seguito da altre modifiche sostanziali. Confesso che il mio ottimismo del desiderio è tenuto sotto controllo dal pessimismo della ragione, che riconosce come sia difficile cambiare un sistema distorto con molti ricercatori e dipartimenti di bassa qualità avversi al cambiamento.

(1) Ricordiamo brevemente le procedure. Le “strutture” (dipartimenti, centri di ricerca) dovevano selezionare un numero di contributi (articoli, capitoli in libri, etc.) prodotti durante il periodo 2001-2003 pari al 50 per cento del numero medio di ricercatori a tempo pieno nel triennio (per l’università, in pratica, un prodotto ogni quattro unità di personale accademico). I contributi venivano assegnati a componenti di diversi panel (uno per ciascuna area di ricerca) composti da esperti selezionati dal ministero dell’Istruzione, dell’università e ricerca, che a loro volta li assegnavano a referee esterni. I contributi dovevano essere valutati in base alla qualità, rilevanza, originalità e internazionalizzazione. Ciascun contributo poteva essere valutato come “eccellente”, “buono”, “accettabile”, o “limitato” dai referee. Ciascun panelista, sulla base del lavoro dei referee proponeva una di queste quattro valutazioni, su cui poi il panel doveva esprimersi a maggioranza. Il Civr procedeva poi ad aggregare i voti per ciascuna struttura e a esprimerli come qualità media ponderata (quindi su una scala che ha 1.0 come valore massimo) dando peso 1 a “eccellente”, peso 0.8 a “buono”, peso 0.6 ad “accettabile” e peso 0.2 a “limitato”. Per dettagli si veda: http://vtr2006.cineca.it/
(2) Temi specifici da discutere sono, ad esempio: a) la scelta tra misure di flusso e di stock (meglio queste ultime); b) il numero totale e per membro dei contributi (ora troppo piccolo); c) l’automatizzazione (o meno) di parte del processo sulla base di una classifica delle riviste fondata sulla loro qualità (o del tipo di case editrici per libri e capitoli); d) la lunghezza del periodo coperto e la frequenza della valutazione; e) la scelta dei membri dei panel.
(3) Riviste con Impact Factor attribuito dall’Institute for Scientific Information.
(4) Una sorpresa è la classifica di Roma Tor Vergata (ventottesima su trentuno strutture medie), che risulta meglio piazzata (seconda) nella classifica di Dosi e Sembenelli, basata sul numero di contributi pro capite che compaiono in Econ Lit. (Si veda G. Dosi e A. Sembenelli, “Una nota sulla produttività scientifica dei docenti italiani nelle discipline economiche”, mimeo, 2005, tabella 4). Lascio agli interessati decidere quanto ciò sia dovuto al fatto che una minoranza di ricercatori di grande valore sia circondata da un grande numero di ricercatori mediocri e quanto alla scelta dei contributi presentati al Civr.

(5) Si veda tabella B1 e B2 (prime due colonne) in Combes, P.P. and L. Linnemer, “Where are the economists Who Publish? Publication Concentration and Rankings in Europe Based on Cumulative Pubblications”. Journal of the European Economic Association, December 2003.

Nelle dichiarazioni del ministro Moratti la valutazione del Civr dovrebbe fornire la base per assegnare una parte rilevante delle risorse pubbliche (il 30 per cento del Fondo di funzionamento ordinario del Miur) secondo criteri di qualità della ricerca. Ovviamente, l’effettiva attuazione di questi indirizzi è condizionata all’esito delle prossime elezioni, sebbene in questi giorni si siano moltiplicate le richieste perché il finanziamento degli atenei, e la ripartizione delle risorse tra le loro strutture interne, sia condizionato, seppur parzialmente, ai risultati del Civr.
È comprensibile che questo esercizio di valutazione abbia suscitato un ampio dibattito sull’appropriatezza della metodologia utilizzata. In particolare, nell’ambito dell’area delle scienze economiche, si sono registrate delle profonde divergenze circa i criteri adottati e i rischi di discriminazione delle aree disciplinari meno rappresentate a livello internazionale. Rispetto a queste questioni centrali, che mettono in discussione l’intero impianto della valutazione, vogliamo qui soffermarci su un aspetto tecnico apparentemente marginale, che tuttavia può condizionare in modo radicale la lettura dei risultati diffusi dal Civr.

È necessario richiamare brevemente i punti essenziali della procedura seguita.
Le linee guida dettate dal Civr richiedevano che ogni struttura, intesa come singolo ateneo o centro di ricerca, selezionasse un numero di contributi (articoli, capitoli in libri, eccetera), prodotti durante il periodo 2001-2003, pari al 50 per cento del numero di ricercatori a tempo pieno afferenti a quella struttura nella media del triennio. Ciascun contributo è valutato da un panel di area (ad esempio, “scienze economiche e statistiche”) secondo la scala “eccellente”, “buono”, “accettabile”, o “limitato”. A partire da queste valutazioni, il Civr ha poi ricavato un indicatore sintetico della qualità della ricerca per ogni struttura in ciascuna area mediante una media pesata che assegna il peso 1 a “eccellente”, 0,8 a “buono”, 0,6 ad “accettabile” e 0,2 a “limitato”. Si è quindi creata una graduatoria delle strutture in base a questo indicatore distintamente per ciascuna area di ricerca.
È chiaro che il valore assunto da questo indicatore sintetico varia al variare del numero dei contributi presentati (tranne, ovviamente, nel caso limite di una struttura che abbia solo prodotti di un unico livello di qualità). Quindi, il numero dei contributi valutati dovrebbe essere proporzionale a un indicatore di produzione potenziale misurato, ad esempio, dal numero di ricercatori afferenti a una particolare struttura in quella specifica area. Questo è il punto critico. Il legame fra contributi presentati e numero di ricercatori è stato fissato nelle linee guida del Civr con riferimento all’intera struttura e non alla specifica area oggetto di valutazione. È quindi accaduto che nelle singole aree molti atenei siano stati valutati su un numero di contributi superiore/inferiore al 50 per cento dei ricercatori di quell’area.
Con quali effetti? È ovviamente impossibile stabilire quali pubblicazioni avrebbero presentato, e a quali pubblicazioni avrebbero rinunciato, gli atenei che si sono rispettivamente posizionati al di sotto o al di sopra della regola del 50 per cento. Tuttavia, per comprendere la rilevanza del problema può essere utile ricorrere a qualche ipotesi ragionevole. Sebbene i criteri specifici utilizzati dai panel non fossero noti al momento della presentazione dei contributi, è verosimile ritenere che gli atenei fossero in grado di selezionare nell’ambito della propria produzione scientifica i contributi migliori, quelli “eccellenti” o “buoni”. Si può quindi assumere che se a un ateneo fosse stato richiesto di sottoporre più contributi rispetto a quelli effettivamente presentati, li avrebbe integrati con pubblicazioni di qualità certamente non superiore. Specularmente, un ateneo che avesse dovuto ridurre il numero di contributi presentati, avrebbe ritirato quelli di qualità più bassa.
La tabella 1 mostra i risultati di questo esercizio limitatamente all’area di scienze economiche e statistiche e alle strutture di “medie dimensioni” secondo la classificazione del Civr. Ovviamente, date le ipotesi qui adottate, gli atenei che hanno presentato al Civr relativamente pochi contributi (quelli “sotto la regola del 50 per cento”) tendono a scendere in graduatoria, mentre quelli effettivamente valutati su un numero di pubblicazioni superiore a quanto indicato dalla regola del 50 per cento risalgono posizioni. Il riordinamento che ne risulta non è affatto marginale, con alcuni salti di posizione particolarmente ampi (Venezia, Pisa e Palermo verso il basso; Lecce, Cassino e Padova verso l’alto).
Rimediare all’errore commesso in questo ciclo di valutazione è estremamente difficile. Qualsiasi criterio alternativo utilizzato per correggere il ranking sarebbe oggetto di legittime opposizioni da parte delle università perdenti. È quindi auspicabile che nei prossimi cicli di valutazione si ponga maggiore attenzione a questi dettagli tecnici, ad esempio verificando, sia in fase di presentazione che di valutazione, la corrispondenza fra numerosità dei contributi e numerosità dei ricercatori.

“Nel 2004, ciascuna struttura (università o ente di ricerca) ha selezionato e trasmesso al Civr, per via telematica, i migliori prodotti della ricerca, riferiti al triennio 2001-2003. In questo primo esercizio di valutazione, il numero dei prodotti da presentare è pari al 50 per cento del numero dei ricercatori equivalenti che operano all’interno della struttura, per un totale di circa 18.500 prodotti, nel rispetto delle seguenti tipologie: articoli su riviste, brevetti, libri e loro capitoli, manufatti e progetti. (1)
Contemporaneamente, le strutture di ricerca sono state impegnate nel compito di fornire al Civr una serie di indicatori di performance, da mettere in correlazione con la valutazione dei prodotti, per giungere al giudizio finale del Civr sulla struttura. (cfr. Slide 1). In relazione al taglio disciplinare, i prodotti sono stati trasmessi agli specifici panel di area, in totale venti, di cui quattordici relativi alle aree scientifiche del Consiglio universitario nazionale, integrati da ulteriori sei, relativi ad altrettante aree scientifiche speciali, previste dal Civr. La numerosità dei prodotti presentati in ciascuna area è sintetizzata in tabella”. (Slide 2)

“Per definire la composizione dei panel, sono stati individuati specifici criteri, alla cui determinazione hanno partecipato osservatori esterni, provenienti dal mondo dell’università, degli enti di ricerca e dell’industria. I panel, costituiti complessivamente da centocinquantasei esperti italiani e stranieri, sono stati nominati dal ministro Letizia Moratti lo scorso mese di gennaio, su indicazione del Civr. L’elezione dei presidenti dei panel, cui spetta il compito di affidare ai componenti del panel i prodotti da valutare (in relazione alle specifiche competenze di ciascuno), è avvenuta telematicamente”. (Slide 3)

“I componenti dei panel affidano la valutazione dei prodotti a esperti esterni, attingendoli dalla banca dati del Civr (che ne comprende circa 13mila) ovvero, qualora ne ravvisino l’esigenza, integrando la stessa con ulteriori esperti. Ciascun prodotto deve essere valutato da almeno due esperti esterni, in termini di qualità, rilevanza, originalità/innovazione, internazionalizzazione, impatto economico-occupazionale, anche potenziale (Slide 4), mentre il terzo giudizio è affidato direttamente al panel. Per ciascun criterio, gli esperti formulano un giudizio di merito descrittivo, sintetizzandolo in una delle seguenti categorie: eccellente, buono, accettabile e limitato (Slide 5). Il panel ha il compito di ricondurre all’unicità i giudizi separati degli esperti, tramite valutazione collegiale, con assoluta trasparenza.
Il processo esiterà in ranking list di area, che coinvolgeranno tutte le strutture che hanno presentato prodotti nella specifica area. Ai panel è affidato anche il compito di redigere un rapporto finale, dal quale emergeranno i punti di forza e di debolezza delle aree, anche in un confronto internazionale. (Slide 6) Non saranno previste ranking list delle strutture, che saranno soggette, invece, a un giudizio articolato e circostanziato del Civr. La pianificazione temporale ufficiale del processo prevede la conclusione entro il 30 giugno del 2006, ma è verosimile che si possa anticipare in maniera consistente questa data”.

“A oggi, quasi tutti i prodotti selezionati dalle strutture sono stati valutati. In fase avanzata sono anche i giudizi di consenso dei panel, in base ai quali si costruirà la ranking list delle strutture che hanno partecipato all’esercizio. I panel dovranno anche consegnare una relazione generale sullo stato dell’area. Ranking e relazioni saranno rese pubbliche anche separatamente, mano a mano che i panel concluderanno i loro lavori. Anche i dati informativi richiesti alle strutture sono in avanzato stato di elaborazione e saranno resi pubblici in tempi brevi. La relazione finale del Civr, già in fase di elaborazione, si concluderà quando tutti i panel avranno trasmesso i loro rapporti”.

“Così dovrebbe essere, ma questa è comunque decisione politica. Il Civr fornirà una serie di criteri e indicatori per la ripartizione delle risorse sulla base dei risultati dell’esercizio”.

“L’ultima proposta del Miur prevede che il 30 per cento del Fondo di funzionamento ordinario sia calcolato sulla base delle performance di ricerca delle varie strutture. Ricordo che, al momento, l’unico indicatore, per il quale esiste al momento una proposta articolata, applicata in via sperimentale dal Cnvsu per il Fondo di funzionamento ordinario 2004, è tarato sui risultati dei bandi dei progetti di ricerca nazionali (Prin)”.

“I rettori hanno piena autonomia nel decidere se usare le risorse loro assegnate per implementare aree di successo o per irrobustire aree deboli, ma strategiche. Ricordo, inoltre, che la valutazione triennale è nata per valutare le strutture, non i singoli ricercatori. Anche se, opportunamente modificato, il sistema del Civr potrebbe rappresentare un prezioso strumento per la valutazione del curriculum scientifico dei singoli ricercatori”.

“Il decreto ministeriale prevede la continuazione a cadenza triennale, tuttavia è anche necessario che il decreto venga reiterato. Questo nuovo decreto ministeriale dovrebbe uscire nel dicembre 2006, a tre anni di distanza dal primo, per rendere possibile un tempestivo svolgimento del nuovo esercizio e la sua conclusione in tempi molto rapidi”.

“La Conferenza dei rettori ha appoggiato con grande chiarezza l’esercizio Civr, fin dal suo inizio, come dimostrato da uno specifico parere ufficiale, nel quale sono stati inseriti diversi suggerimenti integrativi, completamente recepiti dal Civr e introdotti nel decreto ministeriale istitutivo della valutazione triennale. Inoltre, durante lo svolgimento della valutazione triennale, la Conferenza dei rettori ha promosso diversi incontri con il Civr, che hanno fornito l’occasione per utili approfondimenti. Non va infine dimenticato il notevole numero di incontri (circa novanta) con il presidente del Civr, organizzati per iniziativa delle varie sedi universitarie, che hanno favorito una capillare diffusione della comprensione dei meccanismi e dei principi sui quali si fonda la valutazione”.

(1) Nell’università, essendo due i compiti istituzionali (ricerca e formazione), due ricercatori sono assimilati a un ricercatore equivalente; negli enti di ricerca, invece, in considerazione dell’unicità del compito istituzionale (ricerca), ciascun ricercatore corrisponde a un ricercatore equivalente.