Lavoce.info

RICERCA PER INDICE H

La valutazione della ricerca avrà sempre più risvolti concreti, perché una parte delle risorse pubbliche sarà attribuita sulla base dei risultati conseguiti da ciascun ateneo. Tutti gli indici bibliometrici hanno ovviamente il limite di esprimere in modo estremamente sintetico l’attività di un ricercatore. Tuttavia, si può provare a utilizzare l’indice h fondato sull’impatto dei risultati conseguiti dai docenti di una università o facoltà. Ecco la classifica per atenei e settori disciplinari, se si considerano le pubblicazioni dei professori ordinari di Economia.

La valutazione della ricerca sarà sempre più spesso un tema di dibattito con risvolti concreti, perché una parte delle risorse pubbliche per l’università sarà attribuita sulla base dei risultati conseguiti da ciascun ateneo. Intendiamo contribuire al dibattito presentando nuovi dati sull’attività di ricerca nell’area economica, simili a quelli già disponibili in altri settori. (1)  
L’indicatore che consideriamo è fondato sull’impatto dei risultati della ricerca dei docenti di uno specifico ateneo o facoltà. L’esercizio è limitato agli economisti, e in particolare ai 696 ordinari delle discipline economiche (Economia politica, Politica economica, Scienza delle finanze, Storia del pensiero economico, Econometria, Economia applicata). In futuro potrà essere interessante estendere il confronto agli associati e ai ricercatori. Tra i vari possibili indicatori bibliometrici della ricerca, abbiamo scelto di utilizzare il cosiddetto “indice h”, una misura di impatto del lavoro scientifico proposta nel 2005 dal fisico Jorge Hirsch.

DEFINIZIONE E LIMITI

L’indice è definito in questo modo: “Un ricercatore con un indice pari a h ha pubblicato h lavori ricevendo almeno h citazioni ciascuno”. Per calcolare h si considerano tutte le pubblicazioni di un autore e le si ordinano sulla base delle citazioni ricevute. L’indice h è il numero d’ordine del lavoro (primo, secondo, terzo, e così via) pari al numero delle citazioni ottenute da quel lavoro. Ad esempio, supponiamo che un autore abbia scritto 10 lavori, il primo dei quali è stato citato 12 volte, il secondo 8 volte, il terzo 3 volte e i rimanenti non hanno ricevuto nessuna citazione. L’indice è pari a 3, cioè 3 lavori sono stati citati almeno 3 volte.
L’indice tiene conto sia della quantità della produzione scientifica (il numero di lavori), sia della notorietà (l’impatto che i lavori hanno avuto nella comunità scientifica). Un ricercatore non può avere un h elevato senza aver scritto molti lavori. Tuttavia ciò non è sufficiente, perché chi ha pubblicato molto, ma scritto articoli poco citati ha un valore di h relativamente basso. L’indice h è perciò più completo di indicatori basati solo sul numero complessivo di lavori, oppure sul numero complessivo di citazioni.
Come tutti gli indicatori bibliometrici, l’indice di Hirsch ha dei limiti, perché esprime in modo estremamente sintetico l’attività di un ricercatore. È affidabile solo se confronta ricercatori che lavorano nello stesso campo, perché la produzione scientifica, il numero di coautori, l’abitudine e le modalità delle citazioni variano molto da un settore disciplinare a un altro. In fisica, un ricercatore che è moderatamente produttivo possiede un h pari al numero di anni di lavoro; scienziati che operano nel campo medico o biologico tendono ad avere valori di h più elevati, anche perché tendono a pubblicare in collaborazione; nelle scienze sociali i valori di h sono in genere molto più bassi. Spesso, scienziati con una breve carriera alle spalle sono fortemente penalizzati, perché non hanno ancora avuto il tempo di produrre molti lavori, o perché le citazioni di un lavoro si accumulano solo gradualmente nel tempo. L’indice inoltre non tiene conto del fatto che uno scienziato potrebbe essere molto influente anche se ha prodotto solo pochi lavori molto citati. Infine, l’indice considera anche le autocitazioni e i casi in cui il lavoro è citato in senso negativo. Altri indicatori, quali quelli desumibili da Isi, escludono le autocitazioni, ma non includono i libri, che invece sono conteggiati nell’indice h quando si tratta di opere disponibili anche in formato elettronico.
L’indice h si può calcolare facilmente sulla base di database e software disponibili su internet. Per quanto riguarda gli economisti, il sitohttp://ideas.repec.org/i/eall.htmlcalcola l’indice solo per  chi si è registrato al sito e non comprende libri e atti di congressi. Invece il programma “Publish or Perish”, che si può scaricare gratuitamente dal sito http://www.harzing.com/resources.htm#/pop.htm,calcola h e altri indicatori bibliometrici sulla base delle informazioni contenute in Google Scholar.
La qualità di h dipende dalla qualità delle banche dati su cui è costruito. Tra tutte, ci è sembrato che Google Scholar sia da preferire: l’altra fonte possibile di dati bibliometrici, il Social Science Citation Index, disponibile nella banca dati Thomson Isi Web of Knowledge, si limita a considerare citazioni di lavori pubblicati su riviste, mentre Google Scholar comprende anche atti di congressi e moltissime riviste non di lingua inglese. Gli errori di misura nel calcolo di h sono inevitabili. oltre al fatto che alcuni libri o riviste minori non sono inclusi nella banca dati di Google Scholar, h può risentire delle omonimie e del fatto che la citazione contiene un nome dell’autore non corretto. Per limitare gli errori di misura si è scelto di riportare i dati soltanto in forma aggregata (per settore, ateneo e facoltà) e comunque dopo controlli per evitare il più possibile casi di omonimie e citazioni di articoli di discipline diverse dall’economia. Per circoscrivere i casi delle omonimie si è deciso inoltre di uniformare la ricerca prendendo in considerazione solo lavori citati nei settori di “Business, Administration, Finance and Economics” e “Social Sciences, Arts, Humanities”. L’indice calcolato in questo modo sottostima h per gli autori i cui lavori sono stati citati in altri settori disciplinari.

I RISULTATI

La tabella 1 riporta la distribuzione dell’indice h limitatamente ai professori ordinari per i sei settori delle discipline economiche, includendo anche i docenti in aspettativa. La media generale è 5,3. Ciò significa che, in media, ciascun docente ha pubblicato cinque lavori che sono stati citati almeno cinque volte. La distribuzione è fortemente asimmetrica, con oltre il 40 per cento dei docenti con valori di h compresi tra 0 e 2, e solo il 5 per cento con valori superiori a 16. I docenti dei raggruppamenti di Economia politica e di Econometria tendono ad avere valori di h leggermente superiori alla media. Dati non riportati in tabella indicano anche che il numero di anni di carriera scientifica, misurata a partire dall’anno della prima pubblicazione che appare in Google Scholar, ha un effetto positivo, anche se molto piccolo, su h: in media, h tende a essere di 1 punto più elevato per ogni otto anni di attività scientifica. Si riscontra anche una relazione piccola ma positiva tra i valori individuali di h e la numerosità dei docenti dell’ateneo di appartenenza, segnalando la presenza di qualche economia di scala nella ricerca.
La classifica degli atenei è riportata nella tabella 2. Per limitare gli errori di misura abbiamo escluso gli atenei con un numero di docenti ordinari inferiore a quattro. Nella stessa tabella riportiamo anche il numero di docenti ordinari di ciascun  ateneo, la mediana di h (il valore riportato dal docente che si colloca esattamente a metà della distribuzione di ciascun ateneo) e il coefficiente di variazione, una misura sintetica dell’eterogeneità nel contributo alla ricerca da parte dei singoli docenti dell’ateneo. I dati sono ordinati per valori decrescenti della media, ma la graduatoria sarebbe diversa se gli atenei venissero ordinati secondo i valori della mediana. Infine, la tabella 3 riporta la graduatoria nazionale delle facoltà, cioè i luoghi fisici di aggregazione degli studenti; raggruppare i docenti per facoltà è utile soprattutto nei grandi atenei, dove docenti e studenti sono distribuiti in molte facoltà con pochi contatti tra loro. I dati sono disponibili anche per dipartimento, ma la banca dati sulle afferenze dei docenti ai singoli dipartimenti non è sempre aggiornata. Solo tre facoltà in Italia hanno un valore medio superiore a 10. A titolo di confronto, i dipartimenti di economia dell’Istituto Universitario Europeo e della John Hopkins University registrano un valore medio di h pari a 17.
I risultati delle graduatorie non sono confrontabili con esperienze precedenti di ordinamenti delle facoltà e degli atenei. In particolare, non sono confrontabili con le valutazioni del Civr, perché il settore considerato dal Civr (le scienze economiche e statistiche) comprende non solo i docenti di economia, ma anche quelli di statistica e delle discipline aziendali. Inoltre il Civr ha valutato una quota molto piccola di lavori scientifici (un lavoro pubblicato nel 2001-03 per ogni quattro docenti, ma includendo anche associati e ricercatori), quelli giudicati migliori dagli atenei. L’indice h che abbiamo calcolato si riferisce invece a tutti i lavori censiti da Google Scholar ed eseguiti da tutti gli ordinari di economia; i lavori sono classificati esclusivamente sulla base del numero e della frequenza delle citazioni e non, come nel Civr, sulla base della “qualità, rilevanza e originalità” della ricerca. La classifica non è nemmeno confrontabile con quella di Censis-Repubblica, che prende in considerazione indicatori relativi alla didattica e al finanziamento della ricerca, senza considerare il numero e la diffusione delle pubblicazioni.

(1) Vedi ad esempio nell’area sociologica M. Diani, Indicatori bibliometrici e sociologia italiana, in corso di pubblicazione in Quaderni di Sociologia.

Tabella 1: Distribuzione dell’indice h tra i settori delle scienze economiche

Indice h Economia
Politica P01
Politica Economica P02 Scienza delle Finanze P03 Storia del Pensiero Economico
P04
Econometria
P05

Economia Applicata

P06

Totale Percentuale del totale Percentuale cumulata
                   
0-2 101 66 56 11 7 38 279 40.09 40.09
3-4 66 29 24 6 4 9 138 19.83 59.91
5-6 56 19 11 2 5 5 98 14.08 73.99
7-8 36 10 6 6 2 60 8.62 82.61
9-10 21 8 3 3 35 5.03 87.64
11-15 30 6 5 5 3 49 7.04 94.68
16-20 9 2 3 14 2.01 96.70
21-30 6 3 2 3 14 2.01 98.71
31-40 5 5 0.72 99.43
41-50 2 2 4 0.57 100.00
                   
Totale 332 145 105 19 32 63 696    
Media
di h
6.3 4.8 3.2 1.9 7.9 4.1 5.3    

 

Tabella 2: Distribuzione dell’indice h per  ateneo

  Ateneo Media Mediana Coefficiente di variazione Numero di docenti ordinari
1. S. ANNA di PISA 16.0 9 1.2 5
2. Bocconi MILANO 15.4 13 0.9 23
3. BRESCIA 8.8 6.5 0.8 10
4. TORINO 7.6 7 0.9 35
5. Politecnico di MILANO 7.5 5.5 1.0 8
6. SIENA 7.3 4 1.3 23
7. Tor Vergata ROMA 7.2 6 0.8 30
8. Ca Foscari di VENEZIA 7 6 1.0 13
9. BOLOGNA 6.8 6 0.7 46
10. Federico II di NAPOLI 6.7 3.5 1.5 22
11. PADOVA 6.3 3 1.0 14
12. LUISS – ROMA 6.2 4.5 0.9 14
13. CAGLIARI 6 2 1.0 8
14. TRENTO 5.8 5 0.7 16
15. Carlo BO 5.5 3 1.2 6
16. MILANO 5.3 3.5 1.1 18
17. FIRENZE 5.3 3 1.2 18
18. INSUBRIA 5.2 7 0.7 5
19. FERRARA 4.6 4 0.8 5
20. UDINE 4.5 4.5 0.7 4
21. PISA 4.3 3 0.9 17
22. MODENA e REGGIO 4.2 4 0.7 13
23. CASSINO 4.2 3 0.7 5
24. PAVIA 4.1 3.5 0.8 18
25. PIEMONTE ORIENTALE 4.1 5 0.6 9
26. ROMA TRE 4.0 2 1.6 21
27. Politecnica delle MARCHE 4.0 2 0.8 13
28. BERGAMO 4.0 3.5 1.0 8
29. Parthenope di NAPOLI 4.0 4 0.3 7
30. Cattolica del Sacro Cuore 3.8 2 1.1 34
31. BARI 3.7 2 1.3 13
32. PALERMO 3.5 3 1.2 8
33. VERONA 3.2 3 0.7 9
34. della CALABRIA 3.1 3 0.7 7
35. MILANO-BICOCCA 3.1 2.5 0.8 10
36. La Sapienza 3.0 3 0.9 62
37. PARMA 3.0 2 1.3 15
38. SALERNO 2.9 3 1.0 8
39. CATANIA 2.8 2 1.5 12
40. MACERATA 2.6 2 0.7 8
41. SALENTO 2.6 3 0.2 5
42. CHIETI-PESCARA 2.5 1 1.4 4
43. GENOVA 2.5 2 0.5 8
44. PERUGIA 2.4 1 1.0 5
45. MESSINA 1.8 1.5 1.0 6
46. TRIESTE 1.3 .5 1.5 6

 

Tabella 3: Distribuzione dell’indice h per facoltà e ateneo

  Facoltà Ateneo Media Mediana Coeff. di variazione N. docenti ordinari
1. Scienze Sociali S. ANNA di PISA 16.0 9 1.2 5
2. Economia Bocconi MILANO 15.4 13 0.9 23
3. Economia PADOVA 11.0 10 0.5 5
4. Scienze Politiche TORINO 9.1 8 0.9 16
5. Economia BOLOGNA 8.3 7 0.6 18
6. Economia SIENA 8.2 4.5 1.3 18
7. Scienze Politiche CAGLIARI 8.0 8 0.9 4
8. Economia Federico II di NAPOLI 7.8 3.5 1.5 16
9. Economia Tor Vergata 7.7 7 0.7 27
10. Scienze Politiche BOLOGNA 7.0 7 0.8 8
11. Economia Ca Foscari di VENEZIA 7.0 6 1.0 13
12. Economia BRESCIA 6.9 6 0.6 9
13. Economia Luiss – ROMA 6.7 6 1.0 12
14. Economia Carlo BO 6.6 6 1.0 5
15. Scienze Politiche MILANO 6.5 4.5 0.9 14
16. Scienze Statistiche BOLOGNA 6.3 6 0.7 7
17. Scienze Politiche PISA 5.8 5 0.7 5
18. Economia TORINO 5.8 4.5 0.9 14
19. Economia III Cattolica del Sacro Cuore 5.8 2 1.4 4
20. Economia TRENTO 5.5 5 0.8 15
21. Economia FERRARA 5.5 5 0.6 4
22. Economia FIRENZE 5.3 3 1.2 13
23. Scienze Politiche FIRENZE 5.3 1 1.8 4
24. Economia PAVIA 5.1 4.5 0.7 10
25. Ingegneria dei Sistemi Politecnico di MILANO 5.0 5.5 0.3 4
26. Scienze Politiche PIEMONTE ORIENTALE 4.8 5 0.1 5
27. Economia ROMA TRE 4.8 2.5 1.2 12
28. Economia MODENA e REGGIO 4.6 4 0.7 9
29. Scienze Statistiche La Sapienza 4.5 3 0.8 13
30. Economia INSUBRIA 4.5 5 0.8 4
31. Giurisprudenza ROMA TRE 4.5 2 1.1 4
32. Economia UDINE 4.5 4.5 0.7 4
33. Economia BOLOGNA (sede di Rimini) 4.4 4 0.5 5
34. Economia BARI 4.4 2.5 1.2 8
35. Economia BERGAMO 4.3 3.5 1.0 6
36. Economia Parthenope di NAPOLI 4.2 4 0.3 5
37. Economia CASSINO 4.2 3 0.7 5
38. Economia Politecnica delle MARCHE 4.0 2 0.8 13
39. Economia PISA 4.0 3 1.0 9
40. Giurisprudenza TORINO 4.0 4 0.9 4
41. Economia Cattolica del Sacro Cuore 3.9 2.5 1.1 18
42. Economia MILANO-BICOCCA 3.8 3 0.7 5
43. Giurisprudenza Federico II di NAPOLI 3.8 2.5 1.2 4
44. Economia della CALABRIA 3.8 4 0.8 4
45. Economia VERONA 3.7 4 0.6 7
46. Economia PALERMO 3.4 2 1.4 7
47. Economia PARMA 3.2 2 1.2 13
48. Economia MACERATA 3.0 3 0.9 4
49. Economia CATANIA 3.0 2 1.5 8
50. Scienze Politiche Cattolica del Sacro Cuore 2.7 2 0.9 7
51. Giurisprudenza La Sapienza 2.7 1 0.9 7
52. Economia La Sapienza 2.6 3 1.1 27
53. Economia GENOVA 2.4 2 0.5 5
54. Scienze Politiche La Sapienza 1.8 1.5 0.7 8
55. Scienze Politiche PADOVA 1.8 2 0.3 4
56. Economia TRIESTE 1.4 1.6 5
57. Economia SALERNO 1.4 1.4 5
58. Scienze Politiche BARI 1 .5 1.4 4

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Diritto allo studio universitario: non sarà un Lep a garantirlo
Leggi anche:  Scuola: il Piano estate non brilla per trasparenza

Precedente

SE I TRE GRANDI RISPARMIATORI DELL’ASIA SI PARLANO

Successivo

UN UOMO SOLO CONTRO LA DEFLAZIONE

27 commenti

  1. Giovanni Gellera

    Valutare l’operato di un professore o di un dipartimento sembra difficile, come fatto notare nell’articolo. L’indice h sembra uno strumento accettabile. Inevitabilmente tralascia alcuni aspetti come la trasmissione del sapere: scopo dell’universita’ non e’ solo produrre sapere, ma anche saperlo tramettere. Un professore (o un dipartimento) possono essere lodevoli anche solo per una puntuale trasmissione del sapere e quindi una spiccata capacita’ didattica, che in questo indice verrebbe ignorata. Penso pero’ che mezzi di valutazione come l’indice h non siano solo una mera "moda anglosassone", ma debbano essere utilizzati anche in Italia.

  2. Giorgio

    Se si controlla su "ISI web of science" l’indice h del ministro Brunetta (professore a tor Vergata) si scopre che ha scritto dal 1990 ad oggi due articoli citati ciascuno 0 (ZERO) volte. Ovvero il suo indice h e’ uguale a ZERO….. Chi e’ il fannullone allora?

  3. Fabio D'Orlando

    Faccio solo presente che l’h-index, se calcolato sul database di Google Scholar, è una misura alquanto imprecisa. Contrariamente a quanto pensano gli autori, Scopus (che non citano) e anche ISI Web of Science/Web of Knowledge (che citano) sono strumenti assai più raffinati. Tanto per dirne una, per aumentare il mio (piuttosto basso…) h-index calcolato con Google Scholar basta che metta on-line su SSRN, con un titolo diverso, un mio vecchio lavoro (anche già presente su SSRN, non se ne accorgono mica…) che cita altri miei lavori, e il gioco è fatto. E posso iterare il procedimento a piacere.

  4. daniele am.

    Tuttavia mi permetto di evidenziare un aspetto secondo me rilevante. Tutti questi indicatori dovrebbero essere strettamente correlati tra di loro, o no? Se non è cosi il risultato dell’adozione di un indice piuttosto che un altro avrebbe una natura fortemente discrezionale in termini di allocazione dei fondi e si risolverebbe ben poco (immagino ad esempio che i rettori delle università più rilevanti politicamente, ad esempio quelle con più iscritti, possano fare lobbying per indurre il legislatore ad adottare l’indice a loro più favorevole). Tuttavia, ad esempio l’università di salerno, che ha avuto uno dei punteggi più alti al CIVR, è nella parte bassa delle vostra tabella. Magari potrebbe essere utile rifare le stesse tabelle utilizzando un criterio dimensionale e vedere qual’è la concordanza coi ranking del CIVR.

  5. Giovanni Federico

    Giusto per curiosità, perchè vi siete limitati ai settori P01-P06, omettendo P07-P11 (Economia aziendale), P12 (Storia economica) e P 13 (Merceologia)? Forse i risultati sarebbero interessanti. Non sarebbe male anche un confronto con l’indice h del Dipartimento di Economia di Harvard.

  6. Bruno Stucchi

    Qualche anno fa su una prestigiosa rivista scientifica fu pubblicato un (modesto) articolo proveniente dal CERN di Ginevra. Era firmato da piu’ di mille "ricercatori". Forse era incluso anche l’elettricista che cambiava le lampadine bruciate. Suppongo che tutti i nostri mille abbiano poi incluso nel proprio curriculum anche quella pubblicazione. Il criterio delle citazioni incrociate funziona cosi’; il numero conta, non la qualita’.

  7. Galimberto

    Avete un’idea precisa di quali dati entrano in Google Scholar e come funziona? In mancanza di questo.

  8. ugo della croce

    Temo che la soglia di esclusione dall’indagine degli atenei sia fissata a 4 in modo arbitrario e comunque non giustificato.

  9. Alessandro Figà Talamanca

    Anche i matematici, in modo meno scientifico e completo, hanno svolto un’indagine sull’indice H. Ecco i risultati: "Per i matematici l’indice H assume valori molto bassi. Ad esempio in diversi settori MAT, per la maggioranza dei vincitori di concorsi di prima fascia degli ultimi 10 anni è minore o uguale a 4; nel 2006 due dei quattro vincitori della medaglia Fields (equivalene al Nobel) avevano indice H pari a 5; nel 2002 i due vincitori avevano indice 3 e 7, nel 1998 uno dei vincitori aveva indice 2. A causa di questi bassi valori l’indice H risulta poco discriminante e poco attendibile, varia bruscamente anche per poche citazioni, è facilmente modificabile, e il suo uso per la valutazione potebbe indurre distorsioni nei comportamenti dei matematici". E’ interessante che risultati analoghi portino matematici e economisti a conclusioni così diverse. Forse perché in matematica è maggiore il consenso nazionale ed internazionale su che cosa sia valida ricerca. A questo proposito è illuminante la discussione che si è svolta in seno al "Panel" per le scienze economiche in occasione della VTR 2003-2006, sulla base della relazione di minoranza di Pasinetti.

  10. Amando Pasquali

    Che gli economisti cerchino di applicare a sé gli strumenti che usano per valutare gli altri può apparire lodevole, ma il problema è semmai quello opposto, cioè far arretrare l’economia dopo che essa ha ormai invaso tutti i campi, a cominciare dalla politica, che ormai di fatto non esiste più. In 1.200 caratteri non si può esaurire l’argomento. Mi limito a ricordare come il principio alla base di questi ragionamenti (finanzio i ricercatori produttivi) abbia generato in diverse discipline ricerche, studi e persino "scoperte" che si sono rivelati in un secondo momento totalmente falsi, ma gli scienziati in questione non avevano alternative: o producevano un falso, o non potevano andare avanti nella ricerca. Poi, trattandosi di economia, h misura davvero la prodottuvità di un ricercatore o semplicemente la sua introduzione nelle alte sfere e il suo conformismo?

  11. Gianluca Cubadda

    Lavoro molto interessante ma basato, credo, sull’indice bibliometrico sbagliato. Ad esempio, se i tre lavori più citati di due autori hanno ottenuto 50, 40 e 3 pubblicazioni in un caso e 5, 4 e 3 pubblicazioni nell’altro, entrambi gli autori hanno un indice H pari a 3. Inoltre, le citazioni non sono corrette per l’età della pubblicazione e per il numero degli autori. Tra gli indici prodotti da "Publish or Perish", trovo molto più convincente lo "Age-weighted citation rate per-author". Infine, ritengo in questi confronti non si possa prescindere da una misura della qualità scientifica del canale editoriale che ospita il lavoro (Impact factor o simili). E’ facile produrre esempi di studiosi che esibiscono un discreto indice H su Google Scholar ma che sono privi di citazioni su archivi più affidabili quali Web of Science o Scopus.

  12. Guido Giuliani

    (1) La fonte Google Scholar non e’ attendibile, perche’ l’H-index va calcolato sulle citazioni da pubblicazioni omologhe. Vanno qundi escluse le citazioni da congressi (spesso non peer-reviewed). Anche le citazioni a libri andrebbero escluse, poiche’ la divulgazione di risultati scientifici nuovi dovrebbe avvenire tramite journals e non “monografie”. (2) La significativita’ dell’H-index e’ piuttosto alta. Per esperienza personale (settore “photonics”, a cavallo tra fisica e ingegneria) l’H-index consente di discriminare tra i bravi pubblicatori di risultati di scarso interesse e gli scienziati che svolgono ricerca di impatto elevato. (3) E’ sorprendentemente basso il valore medio dell’H-index dei docenti considerati. Una indagine sugli H-index degli idonei dei concorsi dal 2002 in poi per posti di 1° e 2° fascia per il settore della fisica ha fornito valori medi intorno a 13-15, e distribuzioni simil-gaussiane centrate intorno ai valori medi. Pur considerando le dovute differenze nelle consuetudini e nelle strategie di pubblicazione e citazione delle diverse discipline, il confronto e’ stridente. Mi piacerebbe leggere qualcosa nel merito da parte dei docenti del settore.

  13. Giuseppe Di Liddo

    Un indice così costituito però non considera la "ridondanza" tra diverse pubblicazioni e i tempi diversi che occorrono nelle varie discipline per scrivere un lavoro. Infatti da una breve sbirciata agli indici emergerebbe che gli economisti politici sono molto produttivi. In realtà se si volesse leggere l’insieme delle pubblicazioni di un economista politico si scoprirebbe come molto spesso i diversi articoli siano scarsamente innovativi l’uno rispetto all’altro e spesso gli autori scrivono diversi lavori che non sono altro che "diverse versioni di una stessa idea". Per un econometrico questo è più difficle, per uno statistico idem, per un matematico impossibile. Aggiungerei poi che Google scholar è un pessimo strumento di giudizio. Ad esempio: quante pubblicazioni ha Milton Friedman? 1.600 secondo Google Scholar. Ridicolo. Diviso per i suoi 94 anni di vita farebbe 17 pubblicazioni all’anno inclusa infanzia e vecchiaia. Se si considerano soli 60 anni di ricerca attiva diventerebbero 26 all’anno, cioè una ogni due settimane. Mi chiedo quando mangiasse, dormisse, insegnasse. Si commenta da se!

  14. Luca Lo Sapio

    La valutazione attraverso parametri e indici quantitativi della ricerca universitaria è non soltanto una possibilità virtuosa per agganciare l’erogazione dei fondi a strumenti di monitoraggio effettivo delle attività universitarie ma un dovere per incentivare il merito e gli stimoli. Il discorso che a volte viene prodotto su una presunta impossibilità di valutare la produttività e la ricerca nell’ambito delle facoltà umanistiche è a mio avviso un falso problema; che serva un sistema di valutazione flessibile e differenziato per ciascuna facoltà o tipologie di facoltà può essere vero ma che in assoluto valutare la ricerca, ad esempio in un corso di laurea come filosofia, equivalga a mercificare il sapere o a ridurlo a logiche di mercato mi sembra un discorso abbastanza debole. Anche una ricerca umanistica può essere valutata, va detto una volta per tutte! Si può valutare l’originalità del lavoro proposto, l’aggiornamento delle consultazionbi bilbiografiche, le finalità annesse al progetto di ricerca e la pertinenza di ciò che viene scritto.

  15. Aldo

    Mi congratulo per l’ottima iniziativa. Ho forti perplessità circa l’uso di Google Scholar, che ho avuto modo di utilizzare per le discipline dell’ingegneria. Le fonti considerate (riviste, atti di convegno, etc.) non sempre corrispondono a criteri omogenei di qualità. Il numero di citazioni è talvolta poco indicativo o addirittura fuorviante: per numerosi articoli ho riscontrato un numero di citazioni inferiore a quello determinato dalla banca dati ISI. Dopo alcuni test effettuati su diversi database, applicati ad alcune discipline ingegneristiche, sono arrivato alla conclusione che l’unico database qualificato, "certificato" ed affidabile è quello dell’ISI.

  16. Nicola Limodio

    Grandissimi! Finalmente si scopre chi lavora e chi no, i commenti precedenti presentano delle giustificazioni relativamente fondate, ma su tutti gli indicatori si può aver da ridire. Il GDP è un buon indicatore di benessere? Relativo o Assoluto? PPP oppure International $… insomma, qui c’è un dato che, forse approssimativo e grezzo, appare eccezionale (soprattutto innovativo). Quindi complimenti. PS. Io sono un Allievo della Scuola S.Anna di Pisa, ed è innegabile che qui i docenti diano tanto peso alla ricerca, e garantisco a chi scriveva precedentemente che l’argomentazione "sono-tutti-mainstream" o qualità delle pubblicazioni, opportunamente rilevate con un indicatore farebbe esplodere l’indicatore. Complimenti alla Voce!

  17. Markus Cirone

    Controllo periodicamente Google Scholar (GS) per le mie pubblicazioni (fisica) e non mi sembra affidabilissimo, per due motivi. 1) Alcuni miei articoli hanno visto addirittura diminuire le citazioni: articoli prima considerati, di cui sono venuto a conoscenza proprio grazie a GS, sono poi scomparsi in modo apparentemente incomprensibile. Eppure quegli articoli esistono. 2) Il numero delle citazioni riportato da GS differisce da quello riportato da altre riviste. Insomma, GS dà forse un’idea di massima, ma per il numero preciso non lo ritengo totalmente affidabile.

  18. enrico

    L’articolo è meritevole nel’intento. Un pò lacunoso nella tecnica adottata, come sottolineato da altri ricercatori. La più evidente lacuna sta nell’uso di scholar google. Molto meglio ISI. Poi sarebbe opportuno incrociare diversi indicatori bibliometrici e non solo uno. Ma la mia perplessità è la seguente. Gli autori sono a conoscenza che in UK proprio ieri Guardian e The Times hanno pubblicato le loro classifiche delle università inglesi, ordinate anche per dipartimenti? In UK la valutazione della ricerca (ma anche della didattica) è in uso da diversi anni, con metodi che si sono perfezionati negli anni. Governo e quotidiani stilano le loro classifiche indipendentemente, con criteri leggermente diversi tra loro. Allora non c’è proprio niente da inventare. Basterebbe adottare i criteri già in uso da molti anni in UK, no ? Ultima considerazione sull’indice h: bisognerebbe escludere le autocitazioni dal calcolo (queste possono impattare molto soprattuto per indice h molto basso).

  19. Ivano (studente fedII Napoli)

    A questo punto si potrebbero calcolare gli indici dei prof. di ogni dipartimento delle diverse università italiane, metterli a confronto con quelli dei loro colleghi di altre università universalmente accettate come le più prestigiose e pubblicarli nelle bacheche e nei siti internet dei loro dipartimenti. Forse si potrebbe anche, in modo simile, calcolare un indice che valuti le prestazioni dei singoli studenti (magari mettendo in correlazione i due indici, cercando di capire ad esempio se gli studenti più meritevoli sono allievi dei prof più ‘bravi’), stilando anche in questo caso delle classifiche e pubblicandole ad esempio sui siti dei diversi atenei, magari assegnando premi ai migliori studenti e ‘simpatici sfottò’ ai peggiori. Si potrebbe fare? Sarebbe utile?

  20. Giorgio R

    Secondo il DL 180 il sorteggio sarà solo fra i Professori Ordinari, possiamo dedurre dal vostro lavoro che almeno per i concorsi come Professore Associato (ma forse anche per qualche ‘Ricercatore’) ci saranno valutatori che hanno meno pubblicazioni dei valutati? Torna quindi attuale l’articolo di Checchi "Commissari per caso". Ps: ma non si possono avere i nomi di quelli che hanno più di 20?

  21. Gianfranco

    Ottimo lavoro veramente! Però sono d’accordo con chi critica il fatto che abbiate calcolato l’indice h a partire dai dati di Google Scholar invece di quelli forniti da ISI. Google include tutto quello che trova online, anche più versioni dello stesso working paper. Ne risulta avvantaggiato chi "fa tante cose" e le mette sul web rispetto a chi sceglie la qualità (riviste referate, magari internazionali). Per esempio, Daniele Checchi ha un h pari a 2 con ISI che diventa 16 con Google (8 volte tanto!). Jappelli invece, che ha ben altro CV, passa da 12 a 31. Sarebbe interessante confrontare i ranking dell’indice h costruiti con ISI e con Google Scholar. La mia impressione è che i due indicatori non siano molto lontani per le migliori Facoltà del mondo e invece possano anche essere molto diversi per alcune delle nostre.

  22. stefano marini

    Sono uno studente di economia presso l’università politecnica delle marche. scrivo perché non credo che la mia facoltà si debba trovare in una posizione cosi bassa e dietro a tante altre facotà meno virtuose. L’indice h se ho capito bene si basa sulle citazioni, ma a questo punto non si rischia di andare a finire in un circolo vizioso di scambi di favori fra professori? Poi si dovrebbe guardare alla dimensione dell’ateneo. Se in un ateneo ci sono più professori è normale che ci sono piu possibilità che vengano citati gli stessi.

  23. Francesco Billari

    Ottimo articolo, complimenti agli autori. Iniziamo ad essere piu’ trasparenti. Ho due domande 1) alcuni commenti hanno gia’ notato che vi sono altre banche dati. Scopus ad esempio, ha una semplice interfaccia di calcolo di h e disegna anche un ‘h graph’ facilmente. Per aggiungere ad un lettore precedente, l’indice h su Scopus di Checchi e’ 4, di Jappelli 11. Penso che comunque vi sia una correlazione elevata tra le banche dati, quelle pulite ma meno inclusive (ISI e Scopus) e quella sporca ‘democratica’ e accessibili (Google Scholar), ma bisogna fare i conti. L’aspetto principale e’ che h dipende naturalmente dall’eta’ (o meglio dall’anzianita’ di ricerca dell’autore) soprattutto per ricercatori in fase di attivita’. 2) perche’ fare il ranking usando la media e non la mediana (indice come si dice in statistica piu’ ‘robusto’ rispetto al singolo outlier), visto il basso numero di osservazioni per ogni ateneo? Premetto che sono un docente Bocconi (anche se non nei settori considerati dall’articolo). In generale, mi pare che questi indicatori siano migliori nel segnalare criticita’ per valori bassi che discriminare sui valori alti. Ma sono sensazioni.

  24. Lamberto Manzoli

    Scusate, a parte l’apprezzamento per il lavoro, che credo comunque in buona fede, ma se ho capito bene l’indice H è calcolato su 5 citazioni, ovunque esse siano in google? Quindi, sempre se ho capito bene, se io ho 5 siti e mi cito in tutti e 5, tutte le mie pubblicazioni hanno 5 citazioni! Se è così, tale indice è semplicemente ridicolo, e l’articolo è pura disinformazione. Peraltro, è stato ripreso da tutti i media, proprio complimenti. Ma non era più semplice prendere l’ISI? Inoltre, fare una classifica degli atenei sulla base di un indice con tali limiti – in parte correttamente elencati – e solo per i professori ordinari, non ha alcun senso, anzi, è profondamente sbagliato, si diffondono dati del tutto campati per aria.

  25. enrico

    Lamberto, non confondere google con scholar google ! Qui si parla di articoli, non di siti. Inoltre anche concedendo che tu abbia 5 articoli ed in ogni articolo citi tutti gli altri (cosa alquanto difficile da fare, ed impossibile qualora l’editore non accetti citazioni ad articoli "submitted, in press, in preparation", ecc.), l’h index sarebbe 4. A meno che tu non riesca a scrivere un articolo che citi se stesso!

  26. marco seeber

    Buon giorno, sto concludendo un dottorato largamente focalizzato sull’analisi di metodi e strumenti di valutazione della ricerca. Dalla mia esperienza gli indicatori bibliometrici sono molto lacunosi, soprattutto se utilizzati da soli, come viene brillantemente sintetizzato da questo articolo (cha considera IF, ma anche h-index, m-index e via dicendo): citation statistics – joint committee on qualitative assessment of research (si trova facilmente da google) la tendenza a identificare nel numero, in quanto tale, un elemento oggettivante è sempre più diffusa e.. fuorviante. E’ un pò come se per valutare la bellezza femminile ci limitassimo a peso, altezza, torace, vita e fianchi. un pò pochino, no? Usare i numeri per timore della soggettività del giudizio comporta rischi ancora maggiori. Le tecniche bibliometriche andrebbero sempre supportate da una robusta peer review.

  27. Davide Faiella

    L’indice H penalizza gli scienziati giovani, i quali non hanno ancora avuto il tempo di produrre molti lavori. Penalizza gli elementi potenzialmente più produttivi dato che le università preferiranno docenti più anziani, ma con indici più elevati. E come si sa i docenti più anziani vengono generalmente considerati meno produttivi. Aggiungendo poi che una parte dei finanziamenti agli atenei viene erogata a seguito della valutazione della ricerca(effettuata usando questi indici)mi sorge un dubbio:università con personale giovane e produttivo, ma poco considerato dagli indici verrebbero danneggiate a vantaggio di università con personale vecchio, poco produttivo ma con indici elevati?

Lascia un commento

Non vengono pubblicati i commenti che contengono volgarità, termini offensivi, espressioni diffamatorie, espressioni razziste, sessiste, omofobiche o violente. Non vengono pubblicati gli indirizzi web inseriti a scopo promozionale. Invitiamo inoltre i lettori a firmare i propri commenti con nome e cognome.

Powered by WordPress & Theme by Anders Norén