Lavoce.info

Un punto critico nella valutazione

La diffusione dei risultati del primo ciclo di valutazione della produzione scientifica condotta dal Civr sul triennio 2001-03 rappresenta una novità di grande rilievo per la ricerca italiana.

Come ben documentato dai commenti di Fabio Schiantarelli e Tullio Jappelli apparsi su lavoce.info, il processo di valutazione è stato articolato e complesso, riguardando oltre 17mila prodotti di ricerca valutati da oltre 150 esperti che si sono avvalsi del giudizio di 6.600 referee esterni. Questo enorme sforzo ha portato come prodotto finale a delle graduatorie dei vari atenei italiani, distintamente per ciascuna area di ricerca, a seconda del giudizio attribuito alla loro produzione scientifica.

Questione di metodologia

Nelle dichiarazioni del ministro Moratti la valutazione del Civr dovrebbe fornire la base per assegnare una parte rilevante delle risorse pubbliche (il 30 per cento del Fondo di funzionamento ordinario del Miur) secondo criteri di qualità della ricerca. Ovviamente, l’effettiva attuazione di questi indirizzi è condizionata all’esito delle prossime elezioni, sebbene in questi giorni si siano moltiplicate le richieste perché il finanziamento degli atenei, e la ripartizione delle risorse tra le loro strutture interne, sia condizionato, seppur parzialmente, ai risultati del Civr.
È comprensibile che questo esercizio di valutazione abbia suscitato un ampio dibattito sull’appropriatezza della metodologia utilizzata. In particolare, nell’ambito dell’area delle scienze economiche, si sono registrate delle profonde divergenze circa i criteri adottati e i rischi di discriminazione delle aree disciplinari meno rappresentate a livello internazionale. Rispetto a queste questioni centrali, che mettono in discussione l’intero impianto della valutazione, vogliamo qui soffermarci su un aspetto tecnico apparentemente marginale, che tuttavia può condizionare in modo radicale la lettura dei risultati diffusi dal Civr.

È necessario richiamare brevemente i punti essenziali della procedura seguita.
Le linee guida dettate dal Civr richiedevano che ogni struttura, intesa come singolo ateneo o centro di ricerca, selezionasse un numero di contributi (articoli, capitoli in libri, eccetera), prodotti durante il periodo 2001-2003, pari al 50 per cento del numero di ricercatori a tempo pieno afferenti a quella struttura nella media del triennio. Ciascun contributo è valutato da un panel di area (ad esempio, “scienze economiche e statistiche”) secondo la scala “eccellente”, “buono”, “accettabile”, o “limitato”. A partire da queste valutazioni, il Civr ha poi ricavato un indicatore sintetico della qualità della ricerca per ogni struttura in ciascuna area mediante una media pesata che assegna il peso 1 a “eccellente”, 0,8 a “buono”, 0,6 ad “accettabile” e 0,2 a “limitato”. Si è quindi creata una graduatoria delle strutture in base a questo indicatore distintamente per ciascuna area di ricerca.
È chiaro che il valore assunto da questo indicatore sintetico varia al variare del numero dei contributi presentati (tranne, ovviamente, nel caso limite di una struttura che abbia solo prodotti di un unico livello di qualità). Quindi, il numero dei contributi valutati dovrebbe essere proporzionale a un indicatore di produzione potenziale misurato, ad esempio, dal numero di ricercatori afferenti a una particolare struttura in quella specifica area. Questo è il punto critico. Il legame fra contributi presentati e numero di ricercatori è stato fissato nelle linee guida del Civr con riferimento all’intera struttura e non alla specifica area oggetto di valutazione. È quindi accaduto che nelle singole aree molti atenei siano stati valutati su un numero di contributi superiore/inferiore al 50 per cento dei ricercatori di quell’area.
Con quali effetti? È ovviamente impossibile stabilire quali pubblicazioni avrebbero presentato, e a quali pubblicazioni avrebbero rinunciato, gli atenei che si sono rispettivamente posizionati al di sotto o al di sopra della regola del 50 per cento. Tuttavia, per comprendere la rilevanza del problema può essere utile ricorrere a qualche ipotesi ragionevole. Sebbene i criteri specifici utilizzati dai panel non fossero noti al momento della presentazione dei contributi, è verosimile ritenere che gli atenei fossero in grado di selezionare nell’ambito della propria produzione scientifica i contributi migliori, quelli “eccellenti” o “buoni”. Si può quindi assumere che se a un ateneo fosse stato richiesto di sottoporre più contributi rispetto a quelli effettivamente presentati, li avrebbe integrati con pubblicazioni di qualità certamente non superiore. Specularmente, un ateneo che avesse dovuto ridurre il numero di contributi presentati, avrebbe ritirato quelli di qualità più bassa.
La tabella 1 mostra i risultati di questo esercizio limitatamente all’area di scienze economiche e statistiche e alle strutture di “medie dimensioni” secondo la classificazione del Civr. Ovviamente, date le ipotesi qui adottate, gli atenei che hanno presentato al Civr relativamente pochi contributi (quelli “sotto la regola del 50 per cento”) tendono a scendere in graduatoria, mentre quelli effettivamente valutati su un numero di pubblicazioni superiore a quanto indicato dalla regola del 50 per cento risalgono posizioni. Il riordinamento che ne risulta non è affatto marginale, con alcuni salti di posizione particolarmente ampi (Venezia, Pisa e Palermo verso il basso; Lecce, Cassino e Padova verso l’alto).
Rimediare all’errore commesso in questo ciclo di valutazione è estremamente difficile. Qualsiasi criterio alternativo utilizzato per correggere il ranking sarebbe oggetto di legittime opposizioni da parte delle università perdenti. È quindi auspicabile che nei prossimi cicli di valutazione si ponga maggiore attenzione a questi dettagli tecnici, ad esempio verificando, sia in fase di presentazione che di valutazione, la corrispondenza fra numerosità dei contributi e numerosità dei ricercatori.

Leggi anche:  Economia aziendale, una disciplina in evoluzione

Struttura

Classifica modificata

Classifica originaria

Guadagni/perdite di posizione

Prodotti presentati in eccesso (+)/
difetto (-)

Univ. PADOVA

1

5

4

0

Univ. SALERNO

2

2

0

-1

Univ. PAVIA

3

4

1

-2

Univ. MODENA e REGGIO EMILIA

4

1

-3

-6

Univ. CHIETI-PESCARA

5

6

1

-2

Univ. LECCE

6

23

17

6

Univ. URBINO

7

7

0

0

Univ. BERGAMO

8

10

2

1

Univ. PIEMONTE ORIENTALE

9

8

-1

0

Univ. MILANO-BICOCCA

10

9

-1

0

Univ. MILANO

11

12

1

0

Univ. TRENTO

12

11

-1

0

Univ. VENEZIA

13

3

-10

-14

Univ. ROMA TRE

14

13

-1

-1

Univ. TRIESTE

15

14

-1

-3

Univ. CALABRIA

16

17

1

0

Univ. UDINE

17

16

-1

0

Univ. BRESCIA

18

18

0

0

Univ. CASSINO

19

27

8

4

Univ. CAGLIARI

20

19

-1

0

Univ. PARMA

21

20

-1

0

Univ. CATANIA

22

22

0

1

Univ. PISA

23

15

-8

-5

Univ. Politecnica MARCHE

24

24

0

0

Univ. VERONA

25

25

0

-1

Univ. ROMA TOR VERGATA

26

28

2

0

Univ. PERUGIA

27

26

-1

-2

Univ. PALERMO

28

21

-7

-9

Univ. MESSINA

29

29

0

-4

Univ. GENOVA

30

30

0

0

Univ. NAPOLI PARTHENOPE

31

31

0

0

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Sulle residenze universitarie il governo non cambia strategia

Precedente

Il fisco à la carte dei distretti

Successivo

Gas, una crisi annunciata

  1. Lorenzo Marrucci

    A mio parere il punto sollevato dagli autori va anche incrociato con un altro punto critico di cui nessuno sembra essersi occupato.
    Il giudizio di eccellente/buono/accettabile/limitato dato a ciascun prodotto è stato fondato su una collocazione in una scala percentuale di qualità di tutta la produzione scientifica internazionale (ad esempio eccellente = rientrante nel miglior 20% di tutta la produzione), giudicata da ciascun referee e in ultima analisi dal panel. Tuttavia, il tasso di pubblicazione annuo per ricercatore varia molto da un settore scientifico ad un altro. Ad esempio, un fisico medio attivo nella ricerca pubblica 3-5 articoli l’anno in riviste internazionali (a volte molto di più), mentre i tassi di pubblicazione di uno scienziato politico o di un economista, anche molto attivo nella ricerca, sono comunque più bassi. Basta guardare il numero di pubblicazioni tipiche dei ricercatori di maggior successo e di pari anzianità nei rispettivi campi.
    D’altra parte, il numero di pubblicazioni richieste dal VTR per ciascun settore erano invece le stesse, ossia una ogni due ricercatori equivalenti (o 4 docenti universitari). Questo implica che settori ad alto tasso di pubblicazione, come la fisica, hanno potuto agevolmente selezionare i migliori lavori e ricevere valutazioni mediamente migliori, mentre settori come le scienze politiche o l’economia hanno avuto meno possibilità di selezione. Ne deriva un bias a favore di settori ad alto tasso di pubblicazione, non necessariamente corrispondente ad un effettivo miglior posizionamento del settore nel panorama internazionale (almeno non nella misura che appare dai numeri del VTR). Allo stesso tempo, ne deriva un incentivo, per le strutture multi-disciplinari, ad esibire un maggior numero di prodotti nei settori (come la fisica) in cui è più facile ottenere giudizi elevati. Questo problema andrebbe considerato prima del prossimo VTR.

  2. Piersante Sestini

    Temo che tutta l’impalcatura del cirv sia concettualmente sbagliata. Temo anche che questo dipenda dagli interessi della lobby accademica che l’ha progettato e sostenuto, e che non rappresentano necessariamente gli interessi della collettività nei confronti dell’università. La ragion d’essere di un buon sistema di valutazione della qualità è quello di mettere in luce i punti deboli di una struttura o di un processo, per permettere di intervenire in modo mirato per migliorarli, investendo nei settori in cui questi sono carenti. Per contro, il cirv sembra fatto per mettere in evidenza ed esltare i punti forti delle varie università/facoltà, le cosiddette “punte di eccellenza”, nascondendone però completamente i punti deboli, anche quelli presenti nella stessa struttura. Per dire, se una struttura avesse alcuni buoni ricercatori e il resto pessimi, sarebbe classificata addirittura meglio di una che li avesse tutti di buon livello. O perfino se una avesse prodotto un’ottima ricerca ma fosse del tutto carente dal punto di vista didattico, sarebbe considerata migliore di una che si mantenesse su un buon livello in entrambi i settori, ugualmente vitali, dell’università. Come dicevo, l’impressione è che questa scelta dipenda dal punto di vista dei proponenti, che puntano ad una casta di “eccellenti” da premiare, tagliando le risorse agli altri. Fermo restando che il concetto di indirizzare risorse solo a chi dimostra di essere in grado di utilizzarle degnamente è sacrosanto, un sistema in cui “a chi ha sarà dato e a chi non ha sarà tolto”, non è detto che sia conveniente per la colletività, il cui interesse, a mio avviso, è di migliorare il sistema universitario nel suo complesso non di sperperare i soldi rafforzando le strutture che già funzionano invece di irrobustire i punti deboli.

  3. Marcello Romagnoli

    Mi inserisco in questo dibattito circa il metodo di valutazione dell’attività di ricerca dell’Università. In questo manca la valutazione dell’attività di ricerca legata a contratti con aziende o, ancor meglio, con la Comunità Europea. Nel mio campo, quello dell’Ingegneria, tale attività non solo è pesante, ma anche importante e molto “challenger”. Inoltre influisce sull’economia del paese e su quella del mio dell’Ateneo. E’ meglio allora pensare sola alla ricerca pura per avere un migliore giudizio da parte del CIVR o è meglio avere contratti con cui finanziare anche la ricerca pura? Un altro dubbio è quello che mi sorge quando mi chiedo se il valutatore dei miei lavori è effettivamente in grado di capire la loro qualità. Se è, casualmente, una persona che si occupa di materie similari forse si, altrimenti no. Io non sarei onesto nel dire che posso capire la qualità del lavoro di un ingegnere meccanico o informatico. Spero inoltre che, dopo una prima fase di sperimentazione, si arrivi ad una valutazione ricercatore per ricercatore e che i fondi vadano ai ricercatori meglio piazzati.

Lascia un commento

Non vengono pubblicati i commenti che contengono volgarità, termini offensivi, espressioni diffamatorie, espressioni razziste, sessiste, omofobiche o violente. Non vengono pubblicati gli indirizzi web inseriti a scopo promozionale. Invitiamo inoltre i lettori a firmare i propri commenti con nome e cognome.

Powered by WordPress & Theme by Anders Norén