Lavoce.info

Così la valutazione della ricerca non premia gli atenei migliori

La valutazione della qualità della ricerca 2004-2010 determina la ripartizione di una parte dei fondi tra i vari atenei. Ma l’approccio seguito per valutare i lavori dei ricercatori suscita qualche dubbio. E un metodo alternativo dà una “classifica” molto diversa. I programmi per il futuro.
LE RISORSE E LA VALUTAZIONE DELLE UNIVERSITÀ
Il decreto ministeriale 815 del 4/11/2014 alloca il 18 per cento del fondo 2015 di finanziamento ordinario delle università al miglioramento dell’efficacia e dell’efficienza nell’utilizzo delle risorse. Almeno tre quinti della quota, dunque, sono ripartiti sulla base dei risultati conseguiti nella valutazione della qualità della ricerca 2004-2010 (Vqr). E nei prossimi anni questa somma è destinata a crescere fino a un massimo del 30 per cento,
La Vqr è una valutazione di tipo ibrido, peer-review per le scienze umanistiche e sociali e prevalentemente bibliometrica per le altre (ma per vincolo normativo almeno il 50 per cento dei prodotti totali è stato valutato tramite peer-review).
Si tratta poi di una valutazione basata solo su tre prodotti di ricerca per ciascun ricercatore o professore nell’arco di sette anni, senza tener conto del numero di co-autori (né del primo e ultimo autore, nei prodotti attinenti alle scienze della vita). Anche i punteggi previsti fanno sorgere qualche dubbio: quello massimo di 1 è stato assegnato a un prodotto indipendentemente dal fatto che rappresentasse la scoperta del secolo o semplicemente un buon lavoro, così come a un prodotto che si collocava al 50° percentile nella scala di impatto mondiale è andato 0,5 e 0 a uno al 49°.
L’APPROCCIO ALTERNATIVO
Nei settori bibliometrici, sarebbe stata forse più precisa, robusta e affidabile una valutazione che: i) si fondasse sull’intera produzione scientifica 2004-2010 indicizzata nelle base dati citazionali; ii) tenesse conto delle co-authorship e del primo-ultimo autore; iii) pesasse i prodotti per il loro reale impatto citazionale relativo; iv) evitasse storture di altro tipo.
Sulla base di questi quattro criteri abbiamo perciò costruito una nostra applicazione alternativa alla Vqr. E il confronto tra la classifica di performance Vqr e quella ottenuta con il nostro approccio rivela che il 92 per cento delle università cambia posizione, con penalizzazioni per alcune di diversi punti percentili e, specularmente, un miglioramento per altre. Il confronto per quartili di performance a livello di area disciplinare mostra altre le differenze, riportate in tabella 1.
In scienze biologiche il 69 per cento delle università posizionate nel primo quartile nella classifica Vqr non lo sarebbero nell’altra; il 50 per cento in ingegneria industriale e dell’informazione; il 46 per cento in scienze matematiche e informatiche.
COSTI E CONSEGUENZE
La stima del costo complessivo della Vqr non è immediata: si va da 300 milioni a 182 milioni. Quella più conservativa calcola costi comunque non inferiori a 60 milioni di euro: 10 diretti, come dichiarato dall’Anvur, e cinque volte tanto di costi indiretti, sostenuti dalle istituzioni valutate.
Il costo complessivo di un approccio come il nostro (applicabile ai due terzi dei ricercatori) è di circa 1 milione di euro, senza alcun costo indiretto. In definitiva, si sono spesi decine di milioni di euro in più per una valutazione meno precisa e affidabile.
Oltretutto, il risultato che ne consegue è una ripartizione inefficiente delle risorse premiali dell’Ffo, che a sua volta determina un impatto sulla crescita economica inferiore a quello massimo attuabile. Allocando meno risorse a università più produttive – e viceversa – si ha infatti un minor ritorno socio-economico sulla spesa in ricerca.
A questo effetto si aggiunge quello dovuto a una minore efficienza nella distribuzione interna dei fondi da parte delle università che, tra l’altro, non dispongono della valutazione individuale dei ricercatori, misurabile invece attraverso il secondo approccio. Per inciso, una valutazione individuale sarebbe funzionale anche a tanti altri processi interni agli atenei, tra cui per esempio l’attribuzione degli scatti stipendiali su base premiale o la valutazione dei collegi di dottorato.
Un’ulteriore conseguenza negativa a livello macro-economico è relativa alle scelte inefficienti di studenti, imprese e stakeholder in genere, fondate su informazioni di merito relativo inesatte. Per non parlare poi del danno d’immagine arrecato a tutte le università penalizzate e in particolare a quella immeritatamente posizionata all’ultimo posto nella classifica Vqr su cui si è abbattuto il dileggio mediatico.
Perché, dunque, la normativa sulla Vqr e sulla sua formulazione operativa non ha recepito lo stato dell’arte sulle metodologie e tecniche bibliometriche di valutazione della ricerca su scala nazionale? Si tratta di metodologie già ampiamente note e diffuse.
Tra l’altro, le prime comunicazioni sulle specifiche dell’imminente Vqr 2011-2014 lasciano intuire una sostanziale continuità con il passato. Ma chi è chiamato a decidere non dovrebbe arroccarsi in posizioni di difesa pregiudiziale delle decisioni pregresse e la comunità scientifica italiana dovrebbe prendere una posizione in merito: finché si è in tempo è d’obbligo confrontarsi, senza dare nulla per scontato. L’Italia non è nelle condizioni di potersi permettere né sprechi di danaro pubblico, né una crescita rallentata.
Schermata 2015-04-01 alle 12.12.50

Leggi anche:  Voti più alti se il preside è un leader “flessibile”

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Più rigore sulle università telematiche

Precedente

Rapporto indipendente del Commissario straordinario per la revisione della spesa

Successivo

Il merito in Italia, questo sconosciuto

  1. Alessandro

    Attenzione, la retorica dell’eccellenza trita e ritrita ha portato a profonde storture negli Atenei, difficilmente sanabili con una bibliometria che è già molto discussa in giro per il mondo.
    Intanto occorrerebbe banalmente dividere la produzione per numero di autori; poi arginare la prolificazione dello stesso pane e dello stesso pesce, cambiato di titolo e con un giro al carosello degli autori.
    Ma sarebbe decisamente un altro passo avanti rapportare i risultati ai fondi ricevuti, alle strutture e strumenti in senso lato realmente accessibili, e a tutti quei servizi che stimolano la ricerca.
    Non da ultimo, occorre creare un meccanismo compensativo che lascia un finanziamento funzionale garantito a tutti per la libertà della ricerca e della didattica: perché gruppi forti saranno sempre più forti, esaltando il darwinismo accademico/sociale, inutile, nuova gattopardesca forma del feudalesimo baronale. Invece i più deboli non riescono ad avere un cent., a rimanere aggiornati, e se gli si rompe il pc dovranno tornare a carta e penna! Salvo vincere progetti europei e portare le loro ricerche all’estero!!
    Attenzione anche alle nefaste ricadute sulla didattica di qualità: tutte questi indici premiano le classi pollaio (150-250 studenti), con lezioni semplici, leggere ed esami ancora più facili, perché così lo studente, non facendo fatica e sacrifici, darà i voti migliori e finirà gli studi più in fretta… ma a cosa serve per la società italiana e per il suo tessuto industriale?!?!

  2. Giovanni Federico

    Due punti
    i) le valutazioni dei costi sono stime fantasiose basate sui costi opportunità dei referee. Non ho mai visto usare gli stessi criteri per il costo-opportunità dei referee per riviste scientifiche. Il costo per lo stato è dell’ordine dei 5-6 milioni, peraltro risparmiati non pagando i referees
    ii) se ho capito bene (il link rimanda ad un articolo a pagamento), gli autori propongono una bibliometria pura. E cosa propongono per i settori non bibliometrici?

  3. Giulio

    Fa una certa impressione vedere confondere la nozione di costo opportunità (non usata in nessuna delle stime citata) con quella di costi indiretti. Anche quei fantasiosi dei britannici usano il sistema dei costi indiretti.

  4. paolo logli

    Bravi ricercatori e bravi scienziati non sono necessariamente bravi a insegnare.Mi sembra più’ corretto stimare quanti laureati trovino lavoro poco tempo dopo la laurea nei settori da loro prescelti(come si fa alla Bocconi)

Lascia un commento

Non vengono pubblicati i commenti che contengono volgarità, termini offensivi, espressioni diffamatorie, espressioni razziste, sessiste, omofobiche o violente. Non vengono pubblicati gli indirizzi web inseriti a scopo promozionale. Invitiamo inoltre i lettori a firmare i propri commenti con nome e cognome.

Powered by WordPress & Theme by Anders Norén