Alla luce della valutazione dell’Area 13 (Scienze economiche e statistiche), ritengo che l’informazione corretta che il Civr offre sia, né più né meno, la distribuzione spaziale della qualità degli studiosi, misurata secondo gli standard disciplinari relativi alle pubblicazioni scientifiche. Si tratta naturalmente di una informazione importante, ma che non va fraintesa e quindi male applicata. Il fraintendimento più serio si avrebbe se questa informazione venisse fatta coincidere sic et simpliciter con la qualità delle rispettive istituzioni (dipartimenti). Per due ragioni.
La prima è che il sistema italiano impedisce ai dipartimenti di attuare una politica attiva del personale anche solo lontanamente paragonabile a quella anglosassone (come scoprirono, con sconcerto, i peer reviewer del mio dipartimento durante la loro visita). In pratica, tranne rari casi, la composizione di un dipartimento italiano è in buona misura frutto di fattori extra-scientifici (dalle scelte domiciliari dei docenti, ai fabbisogni didattici delle facoltà, ai loro equilibri disciplinari) sui quali il dipartimento stesso ha scarso controllo.
La seconda ragione, più generale, è che la qualità di un dipartimento non è fatta solo dalle punte di eccellenza nelle pubblicazioni (se ne ha), ma anche da una pluralità di altri fattori, tra cui la media e la varianza delle prestazioni dei suoi studiosi, la capacità di esprimere un profilo scientifico ben definito e riconosciuto in uno o più settori o specialità, la continuità della produzione scientifica, la capacità di formazione, il sistema di relazioni scientifiche nazionali e internazionali di cui fa parte, la capacità di autofinanziamento. Nei sistemi anglosassoni, sono questi i fattori che formano la reputazione e capacità di attrazione del dipartimento di studiosi di alto livello, che sfociano in un ranking elevato delle pubblicazioni. Invece, pur lasciando da parte il bizzarro raggruppamento delle “piccole strutture”, si ha il fondato dubbio che il metodo Civr non sia immune dall’effetto “one-man-orchestra“. Si tratta notoriamente del fatto che un dipartimento può “ospitare” uno o due studiosi di livello internazionale, avere un rating molto alto dalle loro pubblicazioni, ma presentare pochi risultati apprezzabili su tutte le altre caratteristiche che ho ricordato sopra. Basta confrontare la varianza dei rating dei prodotti. È auspicabile che il Civr voglia correggere i segnali distorsivi che provengono dalle “one-man-orchestra”. E, comunque, attenzione a non confondere causa (qualità del dipartimento) ed effetto (qualità delle pubblicazioni).

Sul fronte dei criteri di valutazione dei prodotti, mi soffermo solo su due delle questioni più controverse: eterogeneità e pluralismo. Ne dà conto il voluminoso e controverso rapporto del panel di Area 13.
Per qualche ragione ignota, l’Area 13 è un coacervo di discipline (economia politica, economia aziendale, statistica, storia economica), una Babele non solo riguardo al crisma di “scientificità” di scuole, temi e metodi, ma anche della tipologia (paper vs. libro) o della lingua (inglese vs. altri idiomi) del prodotto scientifico per eccellenza. La relazione del panel dell’Area mette in evidenza questo problema e la difficoltà d’individuare criteri valutativi comparabili tra le diverse anime. Condivido il principio di non creare piccoli gruppi autoreferenziali ma forse nella costituzione dell’Area 13 si è ecceduto in senso opposto.
Per quanto riguarda il pluralismo della ricerca, non voglio scomodare i ben noti maestri del pensiero scientifico per ricordare che la delimitazione del perimetro della “scienza” è un’operazione con una importante componente convenzionale e contingente, e che il progresso scientifico è dato non solo dalla ricerca “normale” entro il perimetro dato qui e ora, ma anche (soprattutto?) dalle rotture ed esplorazioni al di là di esso. Ora, un problema chiave della politica (ed economia) della ricerca è: ci sono gli incentivi giusti per investimenti nelle ricerche extraperimetrali? Che probabilità di riconoscimento hanno un ricercatore o un dipartimento che investono in un’area di ricerca che non ha (ancora) una posizione consolidata nel perimetro tracciato e presidiato dalla comunità dei top journal? Perché i top journal economici hanno indicatori d’impatto e readership molto inferiori non solo rispetto alle scienze naturali, ma anche ad altre scienze umane e sociali? Quali sono le metodologie di valutazione più appropriate per evitare sia la ciarlataneria sia il conformismo autoreferenziale e improduttivo?
Concludo ribadendo che la valutazione della ricerca del Civr è una operazione importante e meritoria, che va salvaguardata da tentazioni qualunquiste o di delegittimazione. Tuttavia, a tale fine, il dato Civr va inserito in un sistema di indicatori che devono intercettare le diverse dimensioni della qualità di un dipartimento e la loro evoluzione nel tempo. Da questo punto di vista, ritengo che il sistema di valutazione più appropriato rimanga la peer review. Aggiungo che il sistema degli indicatori dovrebbe essere accompagnato da una costante attività di informazione, dialogo e verifica tra ciascun dipartimento e gli organi di governo degli atenei, gli unici veri attori chiave per arrivare anche in Italia a una distribuzione virtuosa delle risorse per la ricerca.

Attraverso la valutazione di un campione ristretto di prodotti di ricerca scelti dalle università, il sistema Civr perviene a una classifica di “eccellenza” degli atenei.
La prima domanda che occorre porsi è se risorse scarse vadano allocate alle università secondo un concetto più o meno assoluto e immutabile di eccellenza oppure secondo una più articolata serie di criteri strategici, variabili nel tempo e nello spazio. Ovvero, un’università è eccellente perché i suoi risultati sono conformi a un concetto dogmatico di eccellenza oppure perché raggiunge determinati obiettivi strategici?
Indipendentemente dal significato di eccellenza, l’allocazione di risorse scarse alle università dovrebbe essere effettuata in funzione dei rispettivi programmi di azione necessari per realizzarne la strategia. Il ruolo del Governo si estrinseca nel definire con chiarezza gli indirizzi politici nei settori di attività degli atenei; nel richiedere piani strategici alle singole sedi per verificarne l’allineamento con gli indirizzi politici e realizzare l’integrazione sinergica complessiva; nell’assegnare coerentemente le risorse necessarie; e nel controllare che gli obiettivi strategici siano effettivamente raggiunti.
Sul primo punto, il Consiglio europeo di Lisbona 2000 è un esempio eclatante cui riferirsi: non solo fissa gli indirizzi politici dell’Unione sulla ricerca, ma formula una missione, quantitativamente misurabile in un arco temporale definito. Sugli altri, un esempio è fornito dal “libero mercato” americano. Il Government Performance and Results Act del 1993 richiede a tutti i laboratori di ricerca pubblici una particolare attenzione all’impatto socio-economico delle attività intraprese per assolvere alle rispettive missioni istituzionali e di produrre tre documenti distinti: un piano strategico relativo a un periodo di cinque anni; un piano e un rapporto annuale di performance. Questo tipo di controllo (detto behavior control) è molto più stringente, e appropriato, dell’opposto modello fondato sul controllo dei risultati (outcome control), cui il sistema Civr può approssimativamente essere ricondotto.
La prospettiva strategica nell’allocazione delle risorse, a differenza del sistema di valutazione Civr, presuppone che le università possano avere obiettivi strategici diversi e, quindi, essere valutate in maniera non necessariamente uniforme. Inoltre, altrettanto importante è riconoscere che le università presentano una peculiarità organizzativa più unica che rara: i suoi membri operano contemporaneamente in due settori di attività, la formazione e la ricerca; addirittura in tre, con l’assistenza sanitaria, negli atenei attivi nelle scienze mediche. A seconda delle competenze distintive di ciascuna università, e dei bisogni contestuali derivanti dalla localizzazione e da altri fattori, potrebbe perciò rivelarsi opportuno differenziare l’enfasi sulle diverse attività o, in ciascuna di queste, perseguire obiettivi diversi o in diversa misura. All’interno della medesima attività, quale la ricerca, si potrebbe poi, privilegiare un’area disciplinare rispetto a un’altra, indipendentemente dal livello di conoscenza nell’area stessa; e potrebbe essere così in un’area geografica del paese e l’opposto in un’altra.
Una modalità di allocazione delle risorse fondata su sistemi rigidi di valutazione come quello proposto dal Civr, non solo non permette di rispondere alle molteplici e diverse esigenze che la complessità di un sistema-paese presenta, ma potrebbe rivelarsi addirittura disfunzionale.

Proviamo a prefigurare l’efficacia di un sistema incentivante basato sulla valutazione Civr. Verosimilmente la reazione di ogni ateneo sarebbe quella di privilegiare nell’allocazione interna delle risorse i suoi champion, per mantenere o migliorare la propria posizione nella classifica nazionale. Ciò è sicuramente un bene, a meno che il champion non svolga ricerca in settori disciplinari non strategici o in cui non esistano imprese italiane in grado di coglierne le ricadute (una recente indagine ha mostrato che accade nel 28 per cento dei casi). Il personale di ricerca tutto, poi, aspirerebbe a diventare champion all’interno della propria università. E ciascun ricercatore tenderà perciò a codificare le nuove conoscenze generate in prodotti “certificati” a livello internazionale, quali gli articoli scientifici nelle riviste con impact factor più alto.
Siamo certi che sia di questo che il nostro paese ha bisogno? Negli anni 1995-2000, nelle università americane, a fronte di spese in ricerca aumentate del 22 per cento, le pubblicazioni scientifiche sono diminuite del 10 per cento; in Canada del 9 per cento, in Olanda del 5 per cento e nel Regno Unito dell’1 per cento. Viceversa, il numero dei brevetti depositati e concessi in licenza dalle università americane e canadesi è cresciuto nello stesso periodo, rispettivamente, del 220 e del 160 per cento.
Nel medesimo arco di tempo, l’Italia ha fatto registrare il più alto tasso di crescita annuale di pubblicazioni tra i paesi del G7, portandoci ai livelli di produttività scientifica di Stati Uniti (e di gran lunga superiore agli altri membri del G7). Si è però ampliato il gap nella produzione brevettuale e nel licensing. Nel 2002, in Italia, i brevetti di titolarità universitaria erano quattro ogni mille ricercatori, nel Regno Unito ventidue, mentre negli Stati Uniti già nel 1999 avevano superato la soglia di quaranta. Le università americane e canadesi concedono in licenza in media il 60 per cento dei brevetti depositati; quelle italiane il 13 per cento.
È stato empiricamente dimostrato che sono per lo più le grandi imprese, e non le piccole, a utilizzare le pubblicazioni scientifiche quali fonte di informazione per l’attività innovativa: con la struttura del nostro settore industriale, si può prevedere che a usufruire “dell’eccellenza” di risultati di ricerca così codificati sarà molto probabilmente la concorrenza straniera più che il sistema produttivo nazionale.
I criteri di valutazione Civr inducono, come è avvenuto negli altri paesi, un cambiamento nella codifica delle nuove conoscenze o, piuttosto, alimentano la tendenza attuale? Qual è il senso di rafforzare un incentivo che è già intrinseco nella comunità scientifica mondiale (ottenere il riconoscimento internazionale dei propri pari) e i cui esiti eccessivi (in concomitanza di una scarsa produzione brevettale) si rivelano controproducenti per l’impatto competitivo e lo sviluppo economico del nostro paese? Cosa accadrà, poi, a quel tipo di ricerca, già di per sé esigua, più finalizzata a soddisfare i bisogni specifici del nostro sistema paese che non a brillare nel firmamento della scienza internazionale?
Un’ultima riflessione meritano le implicazioni indirette di un sistema incentivante. I fondi attuali (di cui non si prevede un incremento) assicurano a malapena la sopravvivenza operativa, ridurli sotto una certa soglia per alcune università potrebbe implicare un ritorno complessivo netto negativo. Non è un motivo per non procedere, ma le cautele devono essere senz’altro maggiori, soprattutto se si considerano i beneficiari finali dell’attività di ricerca di un’università, quali le imprese che gravitano sul territorio, gli studenti e i pazienti. Un esercizio di valutazione, inoltre, non dovrebbe essere finalizzato solo a premiare i migliori, ma anche a capire perché alcune strutture sono meno efficienti di altre ed eventualmente intervenire con misure correttive, il che non si traduce sempre e necessariamente in un’allocazione di minori risorse.

In merito all’efficienza dello strumento di valutazione proposto mi limiterò solo ad alcune osservazioni di carattere generale.

Il modello proposto dal Civr, con gli opportuni miglioramenti e integrato con misurazioni più o meno automatizzate di produttività a più ampio spettro, potrebbe rivelarsi uno strumento utile, seppur molto costoso, ai fini di un benchmarking tra istituzioni. Utilizzarlo, invece, quale strumento discriminante per l’allocazione delle risorse potrebbe essere, a mio avviso, iniquo, inappropriato e, forse, anche controproducente per il sistema-paese.