Valutare la ricerca è indispensabile. E per farlo la comunità accademica giudica la qualità delle pubblicazioni scientifiche attraverso due metodi: la recensione dei pari e gli indicatori bibliometrici basati sulle citazioni. I secondi hanno il vantaggio di essere più democratici ed economici dei primi, ma anche due gravi limiti. Non esistono infatti dati di buon livello per tutte le discipline e manca un metodo bibliometrico standard. Meglio allora affidarsi a una saggia cooperazione tra revisione dei pari e bibliometria.
Valutare la ricerca è fondamentale per instaurare un sistema meritocratico. Le pubblicazioni recensite sono il prodotto della ricerca maggiormente riconosciuto dalla comunità accademica.
DUE METODI PER UNA VALUTAZIONE
Due sono i metodi di valutazione della qualità delle pubblicazioni accademiche comunemente impiegati: la recensione dei pari ("peer review", in inglese), dove un numero limitato di esperti del settore di interesse della pubblicazione leggono l’articolo, meditano, rileggono e infine formulano un giudizio su vari aspetti di qualità, quali correttezza, significatività, originalità. E gli indicatori bibliometrici basati sulle citazioni. Si valuta il numero di citazioni ricevute dalla pubblicazione, confrontandolo possibilmente con la media delle citazioni ricevute da pubblicazioni del medesimo settore e anno. Maggiore è il numero di citazioni ricevute da una pubblicazione, maggiore è il numero di autori che hanno fatto uso nel loro lavoro del contenuto della pubblicazione in oggetto, maggiore è l’impatto della stessa sulla comunità accademica.
L’uso degli indicatori bibliometrici basati su citazioni ha almeno due innegabili vantaggi rispetto al metodo della recensione dei pari: 1) democrazia. Il giudizio, tramite le citazioni, viene dato dall’intera comunità degli studiosi della materia, e non da pochi pari (potenzialmente di parte). Questo permette di valutare l’impatto della pubblicazione sull’intera comunità accademica, qualità non facilmente sondabile dai revisori. 2) Economia. La (parziale) automazione del processo bibliometrico permette la valutazione di campioni di grosse proporzioni a un costo di ordini di grandezza inferiore rispetto alla recensione dei pari.
Quindi, la bibliometria suggerisce un modello economico e democratico, in opposizione a un modello oneroso e oligocratico.
Detto questo, la bibliometria ha i suoi limiti e deve essere usata con estrema cura e ottima conoscenza dell’argomento. I limiti principali del metodo bibliometrico sono la copertura non ottimale e la mancanza di una metodologia condivisa. Non esiste a oggi una sorgente dati bibliometrica con un grado di copertura ottimo per tutte le discipline. Le basi bibliografiche fornite da Thomson Reuters (Isi) coprono in modo scarso le discipline umanistiche, modesto le scienze sociali, e variabile (talvolta ottimo) le scienze. (1)
Elsevier Scopus ricalca più o meno lo stesso grado di copertura.
Così come non esiste attualmente un metodo bibliometrico accettato come standard dalla comunità accademica. Al contrario, si assiste a un incessante proliferare di indicatori bibliometrici, spesso poco ragionati e ridondanti.
Un indicatore bibliometrico è una funzione applicata a un insieme di dati: il suo risultato dunque può cambiare a seconda dei dati su cui viene calcolato. Un risultato attendibile si ottiene solo applicando buoni indicatori su buoni dati. L’applicazione di un buon indicatore non risolve il problema di dati poco attendibili, e buoni dati non bastano se l’indicatore è fallace.
UNA DISCIPLINA ANTICA
Il nostro gruppo all’università di Udine ha da poco terminato una analisi approfondita dell’esercizio di valutazione triennale della ricerca italiana diretto dal Civr, Vtr 2001-2003, interamente basato sul metodo della recensione dei pari. (2) Una parte del fondo ordinario delle università 2009 è stato assegnato agli atenei secondo indicatori legati tra l’altro agli esiti del Vtr. Abbiamo mostrato, in sostanza, che il giudizio dei pari e gli indicatori bibliometrici non sono variabili indipendenti, ma, allo stesso tempo, neppure completamente sovrapponibili.
Ritengo, come scritto nelle conclusioni del lavoro, che una saggia cooperazione tra revisione dei pari e bibliometria sia la strada da seguire per il prossimo esercizio quinquennale di valutazione, Vqr 2004-2008. Tra l’altro, pare che i futuri esercizi anglosassoni di valutazione si muoveranno proprio in questa direzione, sostituendo il longevo Research Assessment Exercise, in atto dal 1986, con uno nuovo formato chiamato Research Excellence Framework , in cui il revisore verrà opportunamente informato delle statistiche di citazioni in quei settori ove tali informazioni sono considerate robuste, vale a dire nelle discipline scientifiche e mediche ("informed peer review").
Concludo facendo osservare che la bibliometria è una disciplina antica. Studia la conoscenza attraverso la sua divulgazione per mezzo del processo di pubblicazione. I primi studi bibliometrici sono fatti risalire ad Alphonse de Candolle a fine Ottocento. (3) Derek John de Solla Price e Eugene Garfield sono considerati i pionieri della disciplina. (4) Le leggi empiriche di Lotka, Bradford e Zipf costituiscono la trilogia fondamentale della materia. (5)Scientometrics, nata nel 1979, è stata la prima rivista completamente dedicata all’argomento. Il mero calcolo delle citazioni rappresenta l’aspetto più conosciuto, ma anche più mondano, della bibliometria.
(1) B. M. Althouse, J. D. West, C. T. Bergstrom, and T. Bergstrom Differences in impact factor across fields and over time, Journal of the American Society for Information Science and Technology 60: 27-34, 2008.
(2) M. Franceschet and A. Costantini, "The first Italian research assessment exercise: a bibliometric perspective".
(3) A. de Candolle, Histoire des sciences et des savants depuis deux siècles, Genève/Basel: H. Georg, 1873.
(4) A. J. Lotka, The frequency distribution of scientific productivity, Journal of the Washington Academy of Sciences, 16:317-323, 1926.
S. C. Bradford, Sources of information on specific subjects, Engineering, 137:85-86, 1934.
(5) G. K. Zipf, Human behavior and the principle of least effort: An introduction to human ecology, Addison-Wesley, Cambridge, MA, 1949.
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Insegna Data Science all’università di Udine. Negli ultimi anni si è specializzato su argomenti relativi a blockchain, criptovalute e arte crittografica. È consulente scientifico del consorzio CryptoValues e del Museum of Contemporary Digital Art (MoCDA) e membro fondatore della startup NiftyValues. Con il nome d’arte hex6c è uno dei primi artisti del movimento della crypto art.
giuseppe saccomandi
Attenzione che la bibliometria possa dare delle informazioni interessanti non ci piove, ma che possa essere più democratica della recensione alla pari è falso. Chiaramente la bibliometria può essere facilmente falsificata. La cosa è stata dimostrata recentemente dal caso della rivista international journal of nonlinear sciences and numerical simulation salita stranamente ed improvvisamente al secondo posto della categoria ISI mechanics grazie ad un uso scandaloso delle autocitazioni (basta vedere il JCR 2008 ed i dati che riguardano la rivista). Molto riviste stanno usando lo stesso metodo. L’editor chiede agli autori di un lavoro sottomesso di citare un numero impressionante e inadeguato di lavori dello stesso giornale. Se questi non lo fanno si ritarda l’accettazione finale del lavoro. Inoltre esiste il fenomeno del decimo eminente. Il 10% dei lavori di una rivista fanno il 90% del suo impact factor. Basta andare wul web of science è divertirsi. Per esempio dei 3062 lavori pubblicati da Nature nel 2000 ben 33 hanno più di 1000 citazioni, ma ben 1656 hanno meno di 10 citazioni con moltissimi con zero citazioni. Insomma, per valutare per bene un lavoro bisogna leggerlo e capirlo.
Oliviero Carugo
Secondo me e’ impossibile (e quindi inutile) ricercare una tecnica che consenta di "misurare il merito scientifico" in modo perfetto. Gli scienziati sono come i calciatori: cercano di fare gol. Ma conta di piu’ chi ne fa uno solo in una partita vinta1 a 0 oppure chi ne segna quattro in una partita persa 5 a 4? Oppure e’ meglio segnare di testa e di collo del piede? A me pare che il controllo di qualita’ della produzione scientifica dovrebbe servire piu’ che altro a evitare i purtroppo frequenti scandali. Nel caso di giudizi individuali, su di un singolo scienziato, si potrebbero evitare assunzioni sbagliate e invereconde carriere. In quello di giudizi collettivi, per esempio su un dipartimento, si potrebbero evitare ingerenze politico-clientelari. Sarebbe invece rischioso accettare meccanismi automatici brutali. Come per esempio vincolare gli onorari a un qualche indice di produttivita’ individuale, indice che per definizione e’ inaffidabile.
Alessandro Figa' Talamanca
Penso che non si possa più dire che una citazione comporti il riconoscimento da parte di altro autore della importanza di un articolo. E’ diventato molto comune citare articoli che non si sono mai letti. Certamente la maggior parte dei lavori citati non sono rilevanti per il lavoro dell’autore citante. Utilizzando l’ottima banca dati delle recensioni della American Mathematical Society ho confrontato in diversi casi il numero delle citazioni di un autore nelle "reference lists", con il numero delle citazioni nelle recensioni. Il risultato è che spesso un autore citato nelle "reference lists" dieci volte di più di un altro autore arranca un bel po’ dietro il secondo autore nel numero di citazioni che appaiono nelle recensioni. Il numero degli autori che possono essere citati in una recensione è naturalmente limitato. Si citano in genere i due o tre lavori, al massimo, che sono rilevanti per il lavoro recensito. Si tratta insomma di "moneta" non svalutata come quella delle citazioni in bibliografia.
AM
Ritengo che il numero delle citazioni sia uno dei parametri, e forse non il più importante, per valutare un lavoro scientifico o una rivista. Lo stesso dicasi per il numero dei download. Ma tornando alle citazioni occorre distinguere la tipologia delle citazioni. Escludiamo dapprima le autocitazioni, ma anche citazioni di altri possono avere un significato limitato con riferimento al valore della ricerca. Vi sono le citazioni interessate, come ad es. gli allievi che citano i loro maestri ad ogni occasione e quelle dei candidati nei concorsi che citano abbondantemente i potenziali commissari, soprattuttlo quelli che hanno maggiore probabilità di entrare nella commissione concorsuale. Vi sono infine le citazioni di scambio. Ritengo comunque che le citazioni da parte di autori stranieri abbiano maggior valore perchè generalmente sono meno "interessate", ma per queste citazioni conta molto il pubblicare (1) in lingua inglese e (2) su riviste internazionali a larga diffusione e di buon livello scientifico.