Valutare la ricerca con un indice. Bibliometrico

Esercizi di valutazione della ricerca sono sempre più diffusi in tutto il mondo. Richiedono però un notevole investimento di risorse. Si possono invece costruire semplici e trasparenti indici bibliometrici che riescono a dar conto della qualità dei lavori scientifici, riducendo nettamente i costi.

Come si costruisce un esercizio di valutazione

La ricerca è una delle attività proprie delle università, ma come possiamo capire se fanno un buon lavoro? Per affrontare la questione è ormai diffusa la pratica di condurre indagini periodiche sulle attività di ricerca delle istituzioni universitarie. Manca però un accordo unanime su come impostare un’indagine di alta qualità.
La letteratura accademica (per esempio, nel 2013 Daniel Sgroi e Andrew J. Oswald) ha proposto modi per combinare misure relative alla quantità e alla qualità della produzione scientifica, che però tendono a essere complesse e non trasparenti. E la mancanza di trasparenza è un problema. Coloro che sono sottoposti alla valutazione potrebbero infatti adattare i loro comportamenti in modo da essere considerati positivamente nell’indagine. Ma se gli individui equivocano il comportamento che il sistema incentiva, allora la qualità della ricerca potrebbe diminuire, non aumentare. Se poi il sistema di valutazione è facilmente manipolabile, “truccarlo” potrebbe perfino determinare cambiamenti controproducenti del comportamento, che non innalzano la qualità della ricerca. Infine, è necessario che i partecipanti accettino di essere valutati: se boicottano l’indagine, tutto l’esercizio è vanificato.
Per essere accettato, un sistema di valutazione deve essere oggettivamente valido e comprensibile. Gli attuali modelli di valutazione possono però essere costosi: le stime dei costi dei recenti esercizi di valutazione nel Regno Unito oscillano tra i 121 milioni e un miliardo di sterline.
Poiché una delle principali voci di spesa è il controllo tra pari (peer review), a prima vista sembra più vantaggioso un sistema basato sulla bibliometria – cioè su indicatori di attività e non sul parere di esperti chiamati a valutare qualitativamente il risultato delle ricerche. Né si può dare per certo che la peer review garantisca alti standard qualitativi. Joshua Gans e George Shepherd mostrano come il lavoro di ricerca di vincitori di premi Nobel e Clark non sia stato riconosciuto da colleghi della stessa disciplina, un punto sollevato anche da William Starbuck.
D’altra parte, per valutare l’accuratezza dei metodi di valutazione bibliometrici è necessario accertare la loro capacità di distinguere tra buona e cattiva ricerca. È un esercizio che non è stato finora condotto e quindi la loro efficacia resta dubbia.

Un indice semplice e trasparente

In due nostri lavori, abbiamo affrontato il problema costruendo semplici e facilmente comprensibili misure bibliometriche. Abbiamo poi valutato la loro validità utilizzando una serie di benchmark: per esempio, un ipotetico “dipartimento” che include solo vincitori di premio Nobel, un secondo gruppo, definito “leading”, è formato da membri di dipartimenti americani che si collocano ai primi posti nelle classifiche internazionali, mentre un altro dipartimento “forze di mercato” è basato su ranking reputazionali. L’idea è che se il metodo bibliometrico riesce a distinguere i diversi gruppi benchmark, allora può essere considerato adatto a distinguere tra buona e cattiva ricerca.
I nostri risultati confermano che questi semplici indici bibliometrici sono in grado di distinguere adeguatamente i diversi gruppi, sebbene alcuni funzionino meglio di altri. Per esempio, utilizzare griglie più sottili ai fini del ranking o valutare un più ampio numero di lavori aumenta la capacità di individuare la ricerca di più alta qualità. Utilizzare le citazioni di uno studio contenute in ricerche successive insieme al semplice conteggio delle ricerche svolte può migliorare i risultati del sistema di valutazione, soprattutto quando le citazioni sono registrate per lunghi periodi.
Nel nostro lavoro effettuiamo anche un primo conto sommario dei costi dei metodi bibliometrici per sottolineare che sono più economici della revisione fra pari, senza per questo essere necessariamente meno accurati nel valutare un dato lavoro, almeno in alcuni campi.
Nel complesso, dunque, il nostro studio suggerisce di fare maggiore affidamento sulla bibliometria – almeno in alcuni settori della ricerca – per risparmiare sui costi senza perdere in accuratezza. Nondimeno una certa prudenza è necessaria perché abbiamo valutato le misure su gruppi e non su singoli individui: la bibliometria funziona bene “in media”, ma può essere fuorviante in casi singoli o su limitati orizzonti temporali. Nell’insieme, comunque, possiamo considerare i metodi bibliometrici come una modalità per esaminare i risultati della ricerca in modo esaustivo e per valutarne la qualità in modo accurato, allo stesso tempo mantenendo bassi i costi.

(Traduzione di Matteo Laffi)

* La versione originale dell’articolo, in lingua inglese, è disponibile su www.voxeu.org.