RICERCA PER INDICE H

Valutare l’operato di un professore o di un dipartimento sembra difficile, come fatto notare nell’articolo. L’indice h sembra uno strumento accettabile. Inevitabilmente tralascia alcuni aspetti come la trasmissione del sapere: scopo dell’universita’ non e’ solo produrre sapere, ma anche saperlo tramettere. Un professore (o un dipartimento) possono essere lodevoli anche solo per una puntuale trasmissione del sapere e quindi una spiccata capacita’ didattica, che in questo indice verrebbe ignorata. Penso pero’ che mezzi di valutazione come l’indice h non siano solo una mera "moda anglosassone", ma debbano essere utilizzati anche in Italia.

Faccio solo presente che l’h-index, se calcolato sul database di Google Scholar, è una misura alquanto imprecisa. Contrariamente a quanto pensano gli autori, Scopus (che non citano) e anche ISI Web of Science/Web of Knowledge (che citano) sono strumenti assai più raffinati. Tanto per dirne una, per aumentare il mio (piuttosto basso…) h-index calcolato con Google Scholar basta che metta on-line su SSRN, con un titolo diverso, un mio vecchio lavoro (anche già presente su SSRN, non se ne accorgono mica…) che cita altri miei lavori, e il gioco è fatto. E posso iterare il procedimento a piacere.

Giusto per curiosità, perchè vi siete limitati ai settori P01-P06, omettendo P07-P11 (Economia aziendale), P12 (Storia economica) e P 13 (Merceologia)? Forse i risultati sarebbero interessanti. Non sarebbe male anche un confronto con l’indice h del Dipartimento di Economia di Harvard.

Avete un’idea precisa di quali dati entrano in Google Scholar e come funziona? In mancanza di questo.

Anche i matematici, in modo meno scientifico e completo, hanno svolto un’indagine sull’indice H. Ecco i risultati: "Per i matematici l’indice H assume valori molto bassi. Ad esempio in diversi settori MAT, per la maggioranza dei vincitori di concorsi di prima fascia degli ultimi 10 anni è minore o uguale a 4; nel 2006 due dei quattro vincitori della medaglia Fields (equivalene al Nobel) avevano indice H pari a 5; nel 2002 i due vincitori avevano indice 3 e 7, nel 1998 uno dei vincitori aveva indice 2. A causa di questi bassi valori l’indice H risulta poco discriminante e poco attendibile, varia bruscamente anche per poche citazioni, è facilmente modificabile, e il suo uso per la valutazione potebbe indurre distorsioni nei comportamenti dei matematici". E’ interessante che risultati analoghi portino matematici e economisti a conclusioni così diverse. Forse perché in matematica è maggiore il consenso nazionale ed internazionale su che cosa sia valida ricerca. A questo proposito è illuminante la discussione che si è svolta in seno al "Panel" per le scienze economiche in occasione della VTR 2003-2006, sulla base della relazione di minoranza di Pasinetti.

Lavoro molto interessante ma basato, credo, sull’indice bibliometrico sbagliato. Ad esempio, se i tre lavori più citati di due autori hanno ottenuto 50, 40 e 3 pubblicazioni in un caso e 5, 4 e 3 pubblicazioni nell’altro, entrambi gli autori hanno un indice H pari a 3. Inoltre, le citazioni non sono corrette per l’età della pubblicazione e per il numero degli autori. Tra gli indici prodotti da "Publish or Perish", trovo molto più convincente lo "Age-weighted citation rate per-author". Infine, ritengo in questi confronti non si possa prescindere da una misura della qualità scientifica del canale editoriale che ospita il lavoro (Impact factor o simili). E’ facile produrre esempi di studiosi che esibiscono un discreto indice H su Google Scholar ma che sono privi di citazioni su archivi più affidabili quali Web of Science o Scopus.

Un indice così costituito però non considera la "ridondanza" tra diverse pubblicazioni e i tempi diversi che occorrono nelle varie discipline per scrivere un lavoro. Infatti da una breve sbirciata agli indici emergerebbe che gli economisti politici sono molto produttivi. In realtà se si volesse leggere l’insieme delle pubblicazioni di un economista politico si scoprirebbe come molto spesso i diversi articoli siano scarsamente innovativi l’uno rispetto all’altro e spesso gli autori scrivono diversi lavori che non sono altro che "diverse versioni di una stessa idea". Per un econometrico questo è più difficle, per uno statistico idem, per un matematico impossibile. Aggiungerei poi che Google scholar è un pessimo strumento di giudizio. Ad esempio: quante pubblicazioni ha Milton Friedman? 1.600 secondo Google Scholar. Ridicolo. Diviso per i suoi 94 anni di vita farebbe 17 pubblicazioni all’anno inclusa infanzia e vecchiaia. Se si considerano soli 60 anni di ricerca attiva diventerebbero 26 all’anno, cioè una ogni due settimane. Mi chiedo quando mangiasse, dormisse, insegnasse. Si commenta da se!

Mi congratulo per l’ottima iniziativa. Ho forti perplessità circa l’uso di Google Scholar, che ho avuto modo di utilizzare per le discipline dell’ingegneria. Le fonti considerate (riviste, atti di convegno, etc.) non sempre corrispondono a criteri omogenei di qualità. Il numero di citazioni è talvolta poco indicativo o addirittura fuorviante: per numerosi articoli ho riscontrato un numero di citazioni inferiore a quello determinato dalla banca dati ISI. Dopo alcuni test effettuati su diversi database, applicati ad alcune discipline ingegneristiche, sono arrivato alla conclusione che l’unico database qualificato, "certificato" ed affidabile è quello dell’ISI.

Controllo periodicamente Google Scholar (GS) per le mie pubblicazioni (fisica) e non mi sembra affidabilissimo, per due motivi. 1) Alcuni miei articoli hanno visto addirittura diminuire le citazioni: articoli prima considerati, di cui sono venuto a conoscenza proprio grazie a GS, sono poi scomparsi in modo apparentemente incomprensibile. Eppure quegli articoli esistono. 2) Il numero delle citazioni riportato da GS differisce da quello riportato da altre riviste. Insomma, GS dà forse un’idea di massima, ma per il numero preciso non lo ritengo totalmente affidabile.

A questo punto si potrebbero calcolare gli indici dei prof. di ogni dipartimento delle diverse università italiane, metterli a confronto con quelli dei loro colleghi di altre università universalmente accettate come le più prestigiose e pubblicarli nelle bacheche e nei siti internet dei loro dipartimenti. Forse si potrebbe anche, in modo simile, calcolare un indice che valuti le prestazioni dei singoli studenti (magari mettendo in correlazione i due indici, cercando di capire ad esempio se gli studenti più meritevoli sono allievi dei prof più ‘bravi’), stilando anche in questo caso delle classifiche e pubblicandole ad esempio sui siti dei diversi atenei, magari assegnando premi ai migliori studenti e ‘simpatici sfottò’ ai peggiori. Si potrebbe fare? Sarebbe utile?

Ottimo lavoro veramente! Però sono d’accordo con chi critica il fatto che abbiate calcolato l’indice h a partire dai dati di Google Scholar invece di quelli forniti da ISI. Google include tutto quello che trova online, anche più versioni dello stesso working paper. Ne risulta avvantaggiato chi "fa tante cose" e le mette sul web rispetto a chi sceglie la qualità (riviste referate, magari internazionali). Per esempio, Daniele Checchi ha un h pari a 2 con ISI che diventa 16 con Google (8 volte tanto!). Jappelli invece, che ha ben altro CV, passa da 12 a 31. Sarebbe interessante confrontare i ranking dell’indice h costruiti con ISI e con Google Scholar. La mia impressione è che i due indicatori non siano molto lontani per le migliori Facoltà del mondo e invece possano anche essere molto diversi per alcune delle nostre.

Ottimo articolo, complimenti agli autori. Iniziamo ad essere piu’ trasparenti. Ho due domande 1) alcuni commenti hanno gia’ notato che vi sono altre banche dati. Scopus ad esempio, ha una semplice interfaccia di calcolo di h e disegna anche un ‘h graph’ facilmente. Per aggiungere ad un lettore precedente, l’indice h su Scopus di Checchi e’ 4, di Jappelli 11. Penso che comunque vi sia una correlazione elevata tra le banche dati, quelle pulite ma meno inclusive (ISI e Scopus) e quella sporca ‘democratica’ e accessibili (Google Scholar), ma bisogna fare i conti. L’aspetto principale e’ che h dipende naturalmente dall’eta’ (o meglio dall’anzianita’ di ricerca dell’autore) soprattutto per ricercatori in fase di attivita’. 2) perche’ fare il ranking usando la media e non la mediana (indice come si dice in statistica piu’ ‘robusto’ rispetto al singolo outlier), visto il basso numero di osservazioni per ogni ateneo? Premetto che sono un docente Bocconi (anche se non nei settori considerati dall’articolo). In generale, mi pare che questi indicatori siano migliori nel segnalare criticita’ per valori bassi che discriminare sui valori alti. Ma sono sensazioni.

Lamberto, non confondere google con scholar google ! Qui si parla di articoli, non di siti. Inoltre anche concedendo che tu abbia 5 articoli ed in ogni articolo citi tutti gli altri (cosa alquanto difficile da fare, ed impossibile qualora l’editore non accetti citazioni ad articoli "submitted, in press, in preparation", ecc.), l’h index sarebbe 4. A meno che tu non riesca a scrivere un articolo che citi se stesso!

L’indice H penalizza gli scienziati giovani, i quali non hanno ancora avuto il tempo di produrre molti lavori. Penalizza gli elementi potenzialmente più produttivi dato che le università preferiranno docenti più anziani, ma con indici più elevati. E come si sa i docenti più anziani vengono generalmente considerati meno produttivi. Aggiungendo poi che una parte dei finanziamenti agli atenei viene erogata a seguito della valutazione della ricerca(effettuata usando questi indici)mi sorge un dubbio:università con personale giovane e produttivo, ma poco considerato dagli indici verrebbero danneggiate a vantaggio di università con personale vecchio, poco produttivo ma con indici elevati?