Uno spazio per la valutazione in Italia *

Molti documenti comunitari e vari dispositivi legislativi assegnano alla valutazione delle politiche pubbliche un ruolo primario e strategico. Eppure, in Italia resta l’incertezza su chi, come e quando sarà messo in condizione di produrla. Tre proposte per dare il giusto spazio a questa pratica.

PERCHÉ LA VALUTAZIONE

Ogni giorno, da più parti si invoca la valutazione dell’efficacia di politiche e programmi come meccanismo di promozione della qualità della spesa. Non è solo la scarsità di risorse finanziarie disponibili a giustificare il ricorso alla valutazione degli effetti delle politiche pubbliche, ma un movimento culturale di vasto respiro, il quale con sempre maggior insistenza reclama che l’operato delle amministrazioni sia sottoposto a un esame qualificato da parte di soggetti esterni, che possano esprimere giudizi attendibili non influenzati da interessi di parte attraverso metodi validati dalla comunità scientifica anche con il fine di suggerire, sulla base di solide evidenze empiriche, soluzioni alternative a quelle messe in atto. (1)
Eppure, nonostante una formale adesione a questo importante e condivisibile principio, le autorità pubbliche italiane non sembrano aver investito adeguatamente nella valutazione delle politiche, frutto più di sollecitazioni esterne della Commissione europea, che di una genuina domanda endogena di valutazione. (2) E non si tratta solo del volume di risorse finanziarie destinate alla valutazione di politiche e programmi finanziati direttamente o indirettamente, attraverso la fiscalità generale, anche se un eventuale confronto con quanto destinato a questa funzione da altri paesi sviluppati sarebbe imbarazzante per il nostro paese.
Il vero problema è chi fa valutazione in Italia non gode dell’autonomia e della visibilità che potrebbe avere altrove e opera al servizio di organizzazioni, pubbliche o private, in cui sono preminenti altre attività – assistenza tecnica e supporto alla programmazione, monitoraggio, rendicontazione. Chi fa valutazione, sia esso un individuo o un’impresa o un’agenzia, soffre il più delle volte una situazione di dipendenza contrattuale dai gestori delle politiche valutate, i quali, vedendo nella valutazione un giudizio diretto della propria performance, non ne favoriscono la conduzione imparziale o la diffusione, perché temono che mettano in evidenza effetti nulli o negativi delle politiche. In queste circostanze, l’interpretazione fedele del proprio mandato di valutazione può essere pregiudiziale ai fini di un rinnovo del contratto o della partecipazione a un successivo bando, e il rapporto che si instaura tra chi fa e chi commissiona la valutazione è sovente di sudditanza.
In qualità di ricercatori che operano all’interno di strutture pubbliche votate a produrre conoscenza di supporto alla decisione pubblica ci siamo confrontati spesso con il disallineamento fra dichiarazioni di principio, su cui tutti sono d’accordo, e la realtà dei fatti, in cui la valutazione occupa sempre i gradini più bassi nella scala delle priorità politiche e istituzionali. I decisori pubblici commissionano valutazioni solo quando è loro espressamente e obbligatoriamente richiesto, con risorse residuali e senza una programmazione di medio-lungo termine. La complessità delle metodologie e degli oggetti di valutazione richiede invece un investimento di tempo e risorse, ma anche che nel pubblico si generi l’aspettativa di un ritorno di questo investimento in termini di crescita di conoscenza sul reale funzionamento delle politiche e la loro efficacia.
Una situazione simile si riscontra in ambiti settoriali come quello delle politiche del lavoro, dello sviluppo rurale, della sanità, della cooperazione internazionale allo sviluppo e delle infrastrutture. Le valutazioni che oggi vengono effettivamente condotte sono frutto più dell’iniziativa e delle capacità di singoli, che di una richiesta precisa da parte di soggetti istituzionali. Anche negli ambiti di policy in cui organismi tecnici preposti all’analisi esistono, non sembrano godere di maggiori spazi per condurre vere e proprie attività di valutazione. (3)
La dipendenza funzionale degli organismi preposti alla valutazione dalle autorità responsabili delle politiche va considerata il principale impedimento, anche se non l’unico, a quella sana interazione tra valutatore e decisore, che consente un genuino apprendimento collettivo sul funzionamento e gli effetti delle politiche stesse.

PROPOSTE PER UNA MIGLIORE VALUTAZIONE

Per uscire dallo status quo e innescare un circolo virtuoso, che alimenti la domanda e migliori la qualità dell’offerta di valutazione, occorre agire contemporaneamente su tre fronti collegati. (4)
Primo, occorre creare infrastrutture, pubbliche e accessibili liberamente (nel rispetto della normativa sulla privacy e sulla sicurezza del trattamento dei dati), volte alla produzione, conservazione e diffusione dei microdati necessari per l’applicazione dei metodi propri della valutazione di efficacia. Nel caso delle politiche dirette alle persone si deve trattare di microdati che riguardano i beneficiari degli interventi e gli individui facenti parte di potenziali gruppi di controllo. Prime esperienze di questo genere sono in via di implementazione nel campo delle politiche formative e più in generale delle politiche attive del lavoro, ma possono essere estese ad altre politiche. (5) La diffusione al pubblico dei dati di attuazione delle politiche moltiplica il numero delle persone che in proprio possono condurre valutazioni e le possibilità di verifica delle valutazioni che vengono effettuate.
Infatti, se sosteniamo che la funzione di valutazione vada protetta dalle ingerenze dei policy-makers, non per questo riteniamo che debba svolgersi in completa autonomia e irresponsabilità. I controlli a cui la valutazione deve essere sottoposta sono quelli sui metodi operati dalla comunità scientifica, e sui suoi risultati che sono soggetti alla verifica di merito da parte del pubblico degli interessati. Importanti passi verso la diffusione di dati sull’attuazione della politica di coesione sono già stati presi con la pubblicazione di dati a livello di progetto in modalità open sul sito opencoesione.gov.it.
Secondo, occorre assicurare indipendenza alle organizzazioni che dispongono di un mandato istituzionale per svolgere attività di valutazione. Le principali esperienze di riferimento a livello mondiale suggeriscono che esistono molteplici assetti istituzionali possibili. Le organizzazioni internazionali in genere affidano la valutazione delle loro operazioni a un ufficio dedicato e organico alla loro struttura, che però riporta gerarchicamente al board, e non al direttore esecutivo. Nella tradizione amministrativa anglosassone esistono istituti che redigono report periodici con carattere valutativo indirizzati al Parlamento. Altre soluzioni ancora sono praticabili.
L’attività di valutazione condotta in proprio da queste organizzazioni non deve essere intesa come chiusura del mercato o come impedimento allo sviluppo di ricerche accademiche. La piena accessibilità dei microdati alla comunità scientifica può consentire ad altri soggetti di effettuare altre valutazioni, successivamente a quelle condotte da chi ha incarichi istituzionali. (6) Disponibilità di microdati, trasparenza sui metodi utilizzati e diffusione dei risultati sono gli elementi essenziali per poter replicare gli studi valutati e quindi dare indicazioni sulla robustezza delle evidenze empiriche che ne emergono. Tanta valutazione, fatta in modo ricorrente da tanti soggetti, può portare a buona valutazione.
Terzo: affinché la valutazione dispieghi i suoi effetti benefici sul disegno e la realizzazione delle politiche pubbliche, è nostra opinione che sia necessario aprire uno spazio pubblico largamente (e legalmente) riconosciuto, che incoraggi e abiliti gli esperti in materia a profondervi un impegno dedicato e prolungato. È necessario che le attività svolte in questo spazio siano percepite come equidistanti tra gli interessi delle istituzioni, quelli dei cittadini e quelli dei vari stakeholder; che sia preannunciato al pubblico con anticipo il rilascio di questi lavori e che essi siano discutibili e verificabili da parte della comunità scientifica dopo la loro pubblicazione. Solo in queste condizioni è verosimile che si generi la diffusa aspettativa verso la produzione ricorrente di analisi valutative, quale impegno ineludibile verso il cittadino e il contribuente.
Siamo sicuri che una maggiore visibilità pubblica del lavoro dei valutatori potrebbe andare di pari passo con un incremento della qualità, oggi insufficiente, delle valutazioni e con un maggiore utilizzo dei loro risultati nelle fasi di disegno delle politiche.
Tutto ciò però è possibile solo se lo spazio istituzionale su cui far convergere i mandati di valutazione riguardasse più settori e potenzialmente tutta la spesa pubblica non ordinaria della pubblica amministrazione italiana.

(1) Sotto questo punto di vista, il documento recentemente diffuso dal Ministero per la Coesione Territoriale ‘Metodi e obiettivi per un uso efficace dei Fondi Comunitari 2014-2020’ rappresenta un cambio di paradigma considerevole nell’impostazione del disegno di policy, per il fatto che  assegna un ruolo strategico alla valutazione che ha pochi precedenti nel contesto italiano.
(2) La Commissione europea da tempo richiede la valutazione dei risultati e degli effetti delle politiche di coesione, finanziandone lo svolgimento. Anche la nuova proposta legislativa di regolamenti per i fondi strutturali impone la valutazione dei risultati. Per avere un’idea sulle linee guida relative alle nuove politiche di coesione vedi ad esempio i documenti http://ec.europa.eu/regional_policy/sources/docoffic/2014/working/wd_2014_en.pdfe http://ec.europa.eu/social/main.jsp?catId=701&langId=en.
(3) Costituisce una parziale eccezione il settore dell’istruzione in cui l’Invalsi e l’Anvur hanno acquisito di recente maggiori competenze e responsabilità. Si tratta però di un’attività diversa, in quanto continuativa e collegata all’erogazione di un servizio pubblico ordinario.
(4)Altre proposte sono contenute nel recentissimo documento dell’Associazione italiana di valutazione (Aiv)
(5) Un esempio è il progetto Sistaf dell’Isfol, concepito per poter essere messo in raccordo con le banche dati di fonte amministrativa riguardanti il mercato del lavoro.
(6) Della necessità di condividere i dati grezzi, sono consapevoli organizzazioni internazionali come la Banca Mondiale, che pubblicano consistenti dataset descrittivi degli interventi che mettono in campo. (cfr. Worldbank)

Nota >> La risposta ai commenti degli autori