Un punto critico nella valutazione

Nelle dichiarazioni del ministro Moratti la valutazione del Civr dovrebbe fornire la base per assegnare una parte rilevante delle risorse pubbliche (il 30 per cento del Fondo di funzionamento ordinario del Miur) secondo criteri di qualità della ricerca. Ovviamente, l’effettiva attuazione di questi indirizzi è condizionata all’esito delle prossime elezioni, sebbene in questi giorni si siano moltiplicate le richieste perché il finanziamento degli atenei, e la ripartizione delle risorse tra le loro strutture interne, sia condizionato, seppur parzialmente, ai risultati del Civr.
È comprensibile che questo esercizio di valutazione abbia suscitato un ampio dibattito sull’appropriatezza della metodologia utilizzata. In particolare, nell’ambito dell’area delle scienze economiche, si sono registrate delle profonde divergenze circa i criteri adottati e i rischi di discriminazione delle aree disciplinari meno rappresentate a livello internazionale. Rispetto a queste questioni centrali, che mettono in discussione l’intero impianto della valutazione, vogliamo qui soffermarci su un aspetto tecnico apparentemente marginale, che tuttavia può condizionare in modo radicale la lettura dei risultati diffusi dal Civr.

È necessario richiamare brevemente i punti essenziali della procedura seguita.
Le linee guida dettate dal Civr richiedevano che ogni struttura, intesa come singolo ateneo o centro di ricerca, selezionasse un numero di contributi (articoli, capitoli in libri, eccetera), prodotti durante il periodo 2001-2003, pari al 50 per cento del numero di ricercatori a tempo pieno afferenti a quella struttura nella media del triennio. Ciascun contributo è valutato da un panel di area (ad esempio, “scienze economiche e statistiche”) secondo la scala “eccellente”, “buono”, “accettabile”, o “limitato”. A partire da queste valutazioni, il Civr ha poi ricavato un indicatore sintetico della qualità della ricerca per ogni struttura in ciascuna area mediante una media pesata che assegna il peso 1 a “eccellente”, 0,8 a “buono”, 0,6 ad “accettabile” e 0,2 a “limitato”. Si è quindi creata una graduatoria delle strutture in base a questo indicatore distintamente per ciascuna area di ricerca.
È chiaro che il valore assunto da questo indicatore sintetico varia al variare del numero dei contributi presentati (tranne, ovviamente, nel caso limite di una struttura che abbia solo prodotti di un unico livello di qualità). Quindi, il numero dei contributi valutati dovrebbe essere proporzionale a un indicatore di produzione potenziale misurato, ad esempio, dal numero di ricercatori afferenti a una particolare struttura in quella specifica area. Questo è il punto critico. Il legame fra contributi presentati e numero di ricercatori è stato fissato nelle linee guida del Civr con riferimento all’intera struttura e non alla specifica area oggetto di valutazione. È quindi accaduto che nelle singole aree molti atenei siano stati valutati su un numero di contributi superiore/inferiore al 50 per cento dei ricercatori di quell’area.
Con quali effetti? È ovviamente impossibile stabilire quali pubblicazioni avrebbero presentato, e a quali pubblicazioni avrebbero rinunciato, gli atenei che si sono rispettivamente posizionati al di sotto o al di sopra della regola del 50 per cento. Tuttavia, per comprendere la rilevanza del problema può essere utile ricorrere a qualche ipotesi ragionevole. Sebbene i criteri specifici utilizzati dai panel non fossero noti al momento della presentazione dei contributi, è verosimile ritenere che gli atenei fossero in grado di selezionare nell’ambito della propria produzione scientifica i contributi migliori, quelli “eccellenti” o “buoni”. Si può quindi assumere che se a un ateneo fosse stato richiesto di sottoporre più contributi rispetto a quelli effettivamente presentati, li avrebbe integrati con pubblicazioni di qualità certamente non superiore. Specularmente, un ateneo che avesse dovuto ridurre il numero di contributi presentati, avrebbe ritirato quelli di qualità più bassa.
La tabella 1 mostra i risultati di questo esercizio limitatamente all’area di scienze economiche e statistiche e alle strutture di “medie dimensioni” secondo la classificazione del Civr. Ovviamente, date le ipotesi qui adottate, gli atenei che hanno presentato al Civr relativamente pochi contributi (quelli “sotto la regola del 50 per cento”) tendono a scendere in graduatoria, mentre quelli effettivamente valutati su un numero di pubblicazioni superiore a quanto indicato dalla regola del 50 per cento risalgono posizioni. Il riordinamento che ne risulta non è affatto marginale, con alcuni salti di posizione particolarmente ampi (Venezia, Pisa e Palermo verso il basso; Lecce, Cassino e Padova verso l’alto).
Rimediare all’errore commesso in questo ciclo di valutazione è estremamente difficile. Qualsiasi criterio alternativo utilizzato per correggere il ranking sarebbe oggetto di legittime opposizioni da parte delle università perdenti. È quindi auspicabile che nei prossimi cicli di valutazione si ponga maggiore attenzione a questi dettagli tecnici, ad esempio verificando, sia in fase di presentazione che di valutazione, la corrispondenza fra numerosità dei contributi e numerosità dei ricercatori.