I pericoli dell’one-man-department

Alla luce della valutazione dell’Area 13 (Scienze economiche e statistiche), ritengo che l’informazione corretta che il Civr offre sia, né più né meno, la distribuzione spaziale della qualità degli studiosi, misurata secondo gli standard disciplinari relativi alle pubblicazioni scientifiche. Si tratta naturalmente di una informazione importante, ma che non va fraintesa e quindi male applicata. Il fraintendimento più serio si avrebbe se questa informazione venisse fatta coincidere sic et simpliciter con la qualità delle rispettive istituzioni (dipartimenti). Per due ragioni.
La prima è che il sistema italiano impedisce ai dipartimenti di attuare una politica attiva del personale anche solo lontanamente paragonabile a quella anglosassone (come scoprirono, con sconcerto, i peer reviewer del mio dipartimento durante la loro visita). In pratica, tranne rari casi, la composizione di un dipartimento italiano è in buona misura frutto di fattori extra-scientifici (dalle scelte domiciliari dei docenti, ai fabbisogni didattici delle facoltà, ai loro equilibri disciplinari) sui quali il dipartimento stesso ha scarso controllo.
La seconda ragione, più generale, è che la qualità di un dipartimento non è fatta solo dalle punte di eccellenza nelle pubblicazioni (se ne ha), ma anche da una pluralità di altri fattori, tra cui la media e la varianza delle prestazioni dei suoi studiosi, la capacità di esprimere un profilo scientifico ben definito e riconosciuto in uno o più settori o specialità, la continuità della produzione scientifica, la capacità di formazione, il sistema di relazioni scientifiche nazionali e internazionali di cui fa parte, la capacità di autofinanziamento. Nei sistemi anglosassoni, sono questi i fattori che formano la reputazione e capacità di attrazione del dipartimento di studiosi di alto livello, che sfociano in un ranking elevato delle pubblicazioni. Invece, pur lasciando da parte il bizzarro raggruppamento delle “piccole strutture”, si ha il fondato dubbio che il metodo Civr non sia immune dall’effetto “one-man-orchestra“. Si tratta notoriamente del fatto che un dipartimento può “ospitare” uno o due studiosi di livello internazionale, avere un rating molto alto dalle loro pubblicazioni, ma presentare pochi risultati apprezzabili su tutte le altre caratteristiche che ho ricordato sopra. Basta confrontare la varianza dei rating dei prodotti. È auspicabile che il Civr voglia correggere i segnali distorsivi che provengono dalle “one-man-orchestra”. E, comunque, attenzione a non confondere causa (qualità del dipartimento) ed effetto (qualità delle pubblicazioni).

Sul fronte dei criteri di valutazione dei prodotti, mi soffermo solo su due delle questioni più controverse: eterogeneità e pluralismo. Ne dà conto il voluminoso e controverso rapporto del panel di Area 13.
Per qualche ragione ignota, l’Area 13 è un coacervo di discipline (economia politica, economia aziendale, statistica, storia economica), una Babele non solo riguardo al crisma di “scientificità” di scuole, temi e metodi, ma anche della tipologia (paper vs. libro) o della lingua (inglese vs. altri idiomi) del prodotto scientifico per eccellenza. La relazione del panel dell’Area mette in evidenza questo problema e la difficoltà d’individuare criteri valutativi comparabili tra le diverse anime. Condivido il principio di non creare piccoli gruppi autoreferenziali ma forse nella costituzione dell’Area 13 si è ecceduto in senso opposto.
Per quanto riguarda il pluralismo della ricerca, non voglio scomodare i ben noti maestri del pensiero scientifico per ricordare che la delimitazione del perimetro della “scienza” è un’operazione con una importante componente convenzionale e contingente, e che il progresso scientifico è dato non solo dalla ricerca “normale” entro il perimetro dato qui e ora, ma anche (soprattutto?) dalle rotture ed esplorazioni al di là di esso. Ora, un problema chiave della politica (ed economia) della ricerca è: ci sono gli incentivi giusti per investimenti nelle ricerche extraperimetrali? Che probabilità di riconoscimento hanno un ricercatore o un dipartimento che investono in un’area di ricerca che non ha (ancora) una posizione consolidata nel perimetro tracciato e presidiato dalla comunità dei top journal? Perché i top journal economici hanno indicatori d’impatto e readership molto inferiori non solo rispetto alle scienze naturali, ma anche ad altre scienze umane e sociali? Quali sono le metodologie di valutazione più appropriate per evitare sia la ciarlataneria sia il conformismo autoreferenziale e improduttivo?
Concludo ribadendo che la valutazione della ricerca del Civr è una operazione importante e meritoria, che va salvaguardata da tentazioni qualunquiste o di delegittimazione. Tuttavia, a tale fine, il dato Civr va inserito in un sistema di indicatori che devono intercettare le diverse dimensioni della qualità di un dipartimento e la loro evoluzione nel tempo. Da questo punto di vista, ritengo che il sistema di valutazione più appropriato rimanga la peer review. Aggiungo che il sistema degli indicatori dovrebbe essere accompagnato da una costante attività di informazione, dialogo e verifica tra ciascun dipartimento e gli organi di governo degli atenei, gli unici veri attori chiave per arrivare anche in Italia a una distribuzione virtuosa delle risorse per la ricerca.