I primi risultati del processo di valutazione della ricerca universitaria da parte del Civr e il paventato uso che se ne potrebbe fare ai fini dell’assegnazione delle risorse, impone una riflessione attenta. Associare una valutazione a una premiazione significa creare un sistema incentivante che influenza scelte, azioni, comportamenti e, inevitabilmente, risultati.

Risorse scarse e finanziamenti “eccellenti”

Attraverso la valutazione di un campione ristretto di prodotti di ricerca scelti dalle università, il sistema Civr perviene a una classifica di “eccellenza” degli atenei.
La prima domanda che occorre porsi è se risorse scarse vadano allocate alle università secondo un concetto più o meno assoluto e immutabile di eccellenza oppure secondo una più articolata serie di criteri strategici, variabili nel tempo e nello spazio. Ovvero, un’università è eccellente perché i suoi risultati sono conformi a un concetto dogmatico di eccellenza oppure perché raggiunge determinati obiettivi strategici?
Indipendentemente dal significato di eccellenza, l’allocazione di risorse scarse alle università dovrebbe essere effettuata in funzione dei rispettivi programmi di azione necessari per realizzarne la strategia. Il ruolo del Governo si estrinseca nel definire con chiarezza gli indirizzi politici nei settori di attività degli atenei; nel richiedere piani strategici alle singole sedi per verificarne l’allineamento con gli indirizzi politici e realizzare l’integrazione sinergica complessiva; nell’assegnare coerentemente le risorse necessarie; e nel controllare che gli obiettivi strategici siano effettivamente raggiunti.
Sul primo punto, il Consiglio europeo di Lisbona 2000 è un esempio eclatante cui riferirsi: non solo fissa gli indirizzi politici dell’Unione sulla ricerca, ma formula una missione, quantitativamente misurabile in un arco temporale definito. Sugli altri, un esempio è fornito dal “libero mercato” americano. Il Government Performance and Results Act del 1993 richiede a tutti i laboratori di ricerca pubblici una particolare attenzione all’impatto socio-economico delle attività intraprese per assolvere alle rispettive missioni istituzionali e di produrre tre documenti distinti: un piano strategico relativo a un periodo di cinque anni; un piano e un rapporto annuale di performance. Questo tipo di controllo (detto behavior control) è molto più stringente, e appropriato, dell’opposto modello fondato sul controllo dei risultati (outcome control), cui il sistema Civr può approssimativamente essere ricondotto.
La prospettiva strategica nell’allocazione delle risorse, a differenza del sistema di valutazione Civr, presuppone che le università possano avere obiettivi strategici diversi e, quindi, essere valutate in maniera non necessariamente uniforme. Inoltre, altrettanto importante è riconoscere che le università presentano una peculiarità organizzativa più unica che rara: i suoi membri operano contemporaneamente in due settori di attività, la formazione e la ricerca; addirittura in tre, con l’assistenza sanitaria, negli atenei attivi nelle scienze mediche. A seconda delle competenze distintive di ciascuna università, e dei bisogni contestuali derivanti dalla localizzazione e da altri fattori, potrebbe perciò rivelarsi opportuno differenziare l’enfasi sulle diverse attività o, in ciascuna di queste, perseguire obiettivi diversi o in diversa misura. All’interno della medesima attività, quale la ricerca, si potrebbe poi, privilegiare un’area disciplinare rispetto a un’altra, indipendentemente dal livello di conoscenza nell’area stessa; e potrebbe essere così in un’area geografica del paese e l’opposto in un’altra.
Una modalità di allocazione delle risorse fondata su sistemi rigidi di valutazione come quello proposto dal Civr, non solo non permette di rispondere alle molteplici e diverse esigenze che la complessità di un sistema-paese presenta, ma potrebbe rivelarsi addirittura disfunzionale.

Leggi anche:  Acquisizione o fabbrica nuova? Quello che conta è la qualità delle istituzioni

Pubblicazioni contro brevetti

Proviamo a prefigurare l’efficacia di un sistema incentivante basato sulla valutazione Civr. Verosimilmente la reazione di ogni ateneo sarebbe quella di privilegiare nell’allocazione interna delle risorse i suoi champion, per mantenere o migliorare la propria posizione nella classifica nazionale. Ciò è sicuramente un bene, a meno che il champion non svolga ricerca in settori disciplinari non strategici o in cui non esistano imprese italiane in grado di coglierne le ricadute (una recente indagine ha mostrato che accade nel 28 per cento dei casi). Il personale di ricerca tutto, poi, aspirerebbe a diventare champion all’interno della propria università. E ciascun ricercatore tenderà perciò a codificare le nuove conoscenze generate in prodotti “certificati” a livello internazionale, quali gli articoli scientifici nelle riviste con impact factor più alto.
Siamo certi che sia di questo che il nostro paese ha bisogno? Negli anni 1995-2000, nelle università americane, a fronte di spese in ricerca aumentate del 22 per cento, le pubblicazioni scientifiche sono diminuite del 10 per cento; in Canada del 9 per cento, in Olanda del 5 per cento e nel Regno Unito dell’1 per cento. Viceversa, il numero dei brevetti depositati e concessi in licenza dalle università americane e canadesi è cresciuto nello stesso periodo, rispettivamente, del 220 e del 160 per cento.
Nel medesimo arco di tempo, l’Italia ha fatto registrare il più alto tasso di crescita annuale di pubblicazioni tra i paesi del G7, portandoci ai livelli di produttività scientifica di Stati Uniti (e di gran lunga superiore agli altri membri del G7). Si è però ampliato il gap nella produzione brevettuale e nel licensing. Nel 2002, in Italia, i brevetti di titolarità universitaria erano quattro ogni mille ricercatori, nel Regno Unito ventidue, mentre negli Stati Uniti già nel 1999 avevano superato la soglia di quaranta. Le università americane e canadesi concedono in licenza in media il 60 per cento dei brevetti depositati; quelle italiane il 13 per cento.
È stato empiricamente dimostrato che sono per lo più le grandi imprese, e non le piccole, a utilizzare le pubblicazioni scientifiche quali fonte di informazione per l’attività innovativa: con la struttura del nostro settore industriale, si può prevedere che a usufruire “dell’eccellenza” di risultati di ricerca così codificati sarà molto probabilmente la concorrenza straniera più che il sistema produttivo nazionale.
I criteri di valutazione Civr inducono, come è avvenuto negli altri paesi, un cambiamento nella codifica delle nuove conoscenze o, piuttosto, alimentano la tendenza attuale? Qual è il senso di rafforzare un incentivo che è già intrinseco nella comunità scientifica mondiale (ottenere il riconoscimento internazionale dei propri pari) e i cui esiti eccessivi (in concomitanza di una scarsa produzione brevettale) si rivelano controproducenti per l’impatto competitivo e lo sviluppo economico del nostro paese? Cosa accadrà, poi, a quel tipo di ricerca, già di per sé esigua, più finalizzata a soddisfare i bisogni specifici del nostro sistema paese che non a brillare nel firmamento della scienza internazionale?
Un’ultima riflessione meritano le implicazioni indirette di un sistema incentivante. I fondi attuali (di cui non si prevede un incremento) assicurano a malapena la sopravvivenza operativa, ridurli sotto una certa soglia per alcune università potrebbe implicare un ritorno complessivo netto negativo. Non è un motivo per non procedere, ma le cautele devono essere senz’altro maggiori, soprattutto se si considerano i beneficiari finali dell’attività di ricerca di un’università, quali le imprese che gravitano sul territorio, gli studenti e i pazienti. Un esercizio di valutazione, inoltre, non dovrebbe essere finalizzato solo a premiare i migliori, ma anche a capire perché alcune strutture sono meno efficienti di altre ed eventualmente intervenire con misure correttive, il che non si traduce sempre e necessariamente in un’allocazione di minori risorse.

Leggi anche:  Mission impossible: rifinanziare le misure anno per anno

Lo strumento di valutazione

In merito all’efficienza dello strumento di valutazione proposto mi limiterò solo ad alcune osservazioni di carattere generale.

· Le risorse finanziarie appaiono nei criteri di valutazione solo come output e non come input (la produttività del lavoro non viene normalizzata rispetto al capitale).

· Il processo di valutazione, sofisticato a valle, lo è molto meno a monte. Mentre gli esperti esterni valutano comparativamente prodotti afferenti al medesimo settore, la selezione interna avviene tra prodotti afferenti ad aree disciplinari diverse, il che non è affatto semplice. In più, la selezione interna potrebbe essere condizionata da fattori estrinseci alla qualità del prodotto, la posizione o il potere degli autori all’interno dell’organizzazione.

· È possibile che in un’area disciplinare, a parità di ricercatori, un’università che presenti n prodotti valutati eccellenti risulti migliore di un’altra con n prodotti eccellenti e i buoni.

· La dimensione di riferimento, nei quattro raggruppamenti delle classifiche di area, non è relativa agli addetti, bensì al numero di prodotti, scelti arbitrariamente da ciascuna università per area disciplinare. Pur volendo considerare la ripartizione dimensionale delle università per addetto, essa andrebbe legittimata dimostrando la presenza di rendimenti di scala costanti del lavoro all’interno di ciascuna classe, ma diversi per classe. A questo punto sarebbe anche lecito chiedersi, però, se esistano vantaggi di diversificazione (numerosità delle aree disciplinari nella singola università).

Il modello proposto dal Civr, con gli opportuni miglioramenti e integrato con misurazioni più o meno automatizzate di produttività a più ampio spettro, potrebbe rivelarsi uno strumento utile, seppur molto costoso, ai fini di un benchmarking tra istituzioni. Utilizzarlo, invece, quale strumento discriminante per l’allocazione delle risorse potrebbe essere, a mio avviso, iniquo, inappropriato e, forse, anche controproducente per il sistema-paese.

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Un appalto che aiuta lo sviluppo