Lavoce.info

Valutare la ricerca con un indice. Bibliometrico

Esercizi di valutazione della ricerca sono sempre più diffusi in tutto il mondo. Richiedono però un notevole investimento di risorse. Si possono invece costruire semplici e trasparenti indici bibliometrici che riescono a dar conto della qualità dei lavori scientifici, riducendo nettamente i costi.

Come si costruisce un esercizio di valutazione

La ricerca è una delle attività proprie delle università, ma come possiamo capire se fanno un buon lavoro? Per affrontare la questione è ormai diffusa la pratica di condurre indagini periodiche sulle attività di ricerca delle istituzioni universitarie. Manca però un accordo unanime su come impostare un’indagine di alta qualità.
La letteratura accademica (per esempio, nel 2013 Daniel Sgroi e Andrew J. Oswald) ha proposto modi per combinare misure relative alla quantità e alla qualità della produzione scientifica, che però tendono a essere complesse e non trasparenti. E la mancanza di trasparenza è un problema. Coloro che sono sottoposti alla valutazione potrebbero infatti adattare i loro comportamenti in modo da essere considerati positivamente nell’indagine. Ma se gli individui equivocano il comportamento che il sistema incentiva, allora la qualità della ricerca potrebbe diminuire, non aumentare. Se poi il sistema di valutazione è facilmente manipolabile, “truccarlo” potrebbe perfino determinare cambiamenti controproducenti del comportamento, che non innalzano la qualità della ricerca. Infine, è necessario che i partecipanti accettino di essere valutati: se boicottano l’indagine, tutto l’esercizio è vanificato.
Per essere accettato, un sistema di valutazione deve essere oggettivamente valido e comprensibile. Gli attuali modelli di valutazione possono però essere costosi: le stime dei costi dei recenti esercizi di valutazione nel Regno Unito oscillano tra i 121 milioni e un miliardo di sterline.
Poiché una delle principali voci di spesa è il controllo tra pari (peer review), a prima vista sembra più vantaggioso un sistema basato sulla bibliometria – cioè su indicatori di attività e non sul parere di esperti chiamati a valutare qualitativamente il risultato delle ricerche. Né si può dare per certo che la peer review garantisca alti standard qualitativi. Joshua Gans e George Shepherd mostrano come il lavoro di ricerca di vincitori di premi Nobel e Clark non sia stato riconosciuto da colleghi della stessa disciplina, un punto sollevato anche da William Starbuck.
D’altra parte, per valutare l’accuratezza dei metodi di valutazione bibliometrici è necessario accertare la loro capacità di distinguere tra buona e cattiva ricerca. È un esercizio che non è stato finora condotto e quindi la loro efficacia resta dubbia.

Leggi anche:  Sulle residenze universitarie il governo non cambia strategia

Un indice semplice e trasparente

In due nostri lavori, abbiamo affrontato il problema costruendo semplici e facilmente comprensibili misure bibliometriche. Abbiamo poi valutato la loro validità utilizzando una serie di benchmark: per esempio, un ipotetico “dipartimento” che include solo vincitori di premio Nobel, un secondo gruppo, definito “leading”, è formato da membri di dipartimenti americani che si collocano ai primi posti nelle classifiche internazionali, mentre un altro dipartimento “forze di mercato” è basato su ranking reputazionali. L’idea è che se il metodo bibliometrico riesce a distinguere i diversi gruppi benchmark, allora può essere considerato adatto a distinguere tra buona e cattiva ricerca.
I nostri risultati confermano che questi semplici indici bibliometrici sono in grado di distinguere adeguatamente i diversi gruppi, sebbene alcuni funzionino meglio di altri. Per esempio, utilizzare griglie più sottili ai fini del ranking o valutare un più ampio numero di lavori aumenta la capacità di individuare la ricerca di più alta qualità. Utilizzare le citazioni di uno studio contenute in ricerche successive insieme al semplice conteggio delle ricerche svolte può migliorare i risultati del sistema di valutazione, soprattutto quando le citazioni sono registrate per lunghi periodi.
Nel nostro lavoro effettuiamo anche un primo conto sommario dei costi dei metodi bibliometrici per sottolineare che sono più economici della revisione fra pari, senza per questo essere necessariamente meno accurati nel valutare un dato lavoro, almeno in alcuni campi.
Nel complesso, dunque, il nostro studio suggerisce di fare maggiore affidamento sulla bibliometria – almeno in alcuni settori della ricerca – per risparmiare sui costi senza perdere in accuratezza. Nondimeno una certa prudenza è necessaria perché abbiamo valutato le misure su gruppi e non su singoli individui: la bibliometria funziona bene “in media”, ma può essere fuorviante in casi singoli o su limitati orizzonti temporali. Nell’insieme, comunque, possiamo considerare i metodi bibliometrici come una modalità per esaminare i risultati della ricerca in modo esaustivo e per valutarne la qualità in modo accurato, allo stesso tempo mantenendo bassi i costi.

Leggi anche:  Revisioni Pnrr: sono tutte giustificate?

(Traduzione di Matteo Laffi)

* La versione originale dell’articolo, in lingua inglese, è disponibile su www.voxeu.org.

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Digitalizzare aiuta a gestire meglio i fondi Ue

Precedente

Ora di finanza obbligatoria

Successivo

Per chi aumentano (di poco) i licenziamenti

  1. Marco Trento

    A ma sembra un sistema del tutto assurdo e arbitrario. Il sistema è tarato sui dipartimenti americani. Un dipartimento è “definito “leading”, [se] è formato da membri di quelli che sono considerati i migliori dipartimenti americani”. Considerati “migliori” da chi? La qualità dei dipartimenti americani quindi è eccellente a prescindere? La qualità americana non è non dimostrata attraverso la valutazione, ma presa come come metro della valutazione stessa. Ma che razza di sistema valutativo “oggettivo” sarebbe questo? È totalmente arbitrario, alla radice.

    • Marco Simonetti

      Per esprimersi nel merito bisognerebbe leggere nel dettaglio il metodo, cosa che non ho fatto. Mi sento però di commentare che la valutazione della ricerca dovrebbe cercare di considerare il problema dell’utilità della ricerca, almeno di quella parte che non riguarda le basi. La valutazione della ricerca da parte del mondo della ricerca mi pare debba essere in ogni caso un capitolo soltanto, e non tutta la valutazione.

  2. IC

    In Italia l’approccio a ogni metodo cela furbizie, Ad es il numero di pubblicazioni non dovrebbe far passare in seconda linea la qualità. Aggiungasi che il numero minimo di pubblicazioni per certe discipline è inferiore a quello di discipline similari con tematiche e metodologie spesso sovrapponibili come nel settore degli studi aziendali

Lascia un commento

Non vengono pubblicati i commenti che contengono volgarità, termini offensivi, espressioni diffamatorie, espressioni razziste, sessiste, omofobiche o violente. Non vengono pubblicati gli indirizzi web inseriti a scopo promozionale. Invitiamo inoltre i lettori a firmare i propri commenti con nome e cognome.

Powered by WordPress & Theme by Anders Norén