Molti documenti comunitari e vari dispositivi legislativi assegnano alla valutazione delle politiche pubbliche un ruolo primario e strategico. Eppure, in Italia resta l’incertezza su chi, come e quando sarà messo in condizione di produrla. Tre proposte per dare il giusto spazio a questa pratica.
PERCHÉ LA VALUTAZIONE
Ogni giorno, da più parti si invoca la valutazione dell’efficacia di politiche e programmi come meccanismo di promozione della qualità della spesa. Non è solo la scarsità di risorse finanziarie disponibili a giustificare il ricorso alla valutazione degli effetti delle politiche pubbliche, ma un movimento culturale di vasto respiro, il quale con sempre maggior insistenza reclama che l’operato delle amministrazioni sia sottoposto a un esame qualificato da parte di soggetti esterni, che possano esprimere giudizi attendibili non influenzati da interessi di parte attraverso metodi validati dalla comunità scientifica anche con il fine di suggerire, sulla base di solide evidenze empiriche, soluzioni alternative a quelle messe in atto. (1)
Eppure, nonostante una formale adesione a questo importante e condivisibile principio, le autorità pubbliche italiane non sembrano aver investito adeguatamente nella valutazione delle politiche, frutto più di sollecitazioni esterne della Commissione europea, che di una genuina domanda endogena di valutazione. (2) E non si tratta solo del volume di risorse finanziarie destinate alla valutazione di politiche e programmi finanziati direttamente o indirettamente, attraverso la fiscalità generale, anche se un eventuale confronto con quanto destinato a questa funzione da altri paesi sviluppati sarebbe imbarazzante per il nostro paese.
Il vero problema è chi fa valutazione in Italia non gode dell’autonomia e della visibilità che potrebbe avere altrove e opera al servizio di organizzazioni, pubbliche o private, in cui sono preminenti altre attività – assistenza tecnica e supporto alla programmazione, monitoraggio, rendicontazione. Chi fa valutazione, sia esso un individuo o un’impresa o un’agenzia, soffre il più delle volte una situazione di dipendenza contrattuale dai gestori delle politiche valutate, i quali, vedendo nella valutazione un giudizio diretto della propria performance, non ne favoriscono la conduzione imparziale o la diffusione, perché temono che mettano in evidenza effetti nulli o negativi delle politiche. In queste circostanze, l’interpretazione fedele del proprio mandato di valutazione può essere pregiudiziale ai fini di un rinnovo del contratto o della partecipazione a un successivo bando, e il rapporto che si instaura tra chi fa e chi commissiona la valutazione è sovente di sudditanza.
In qualità di ricercatori che operano all’interno di strutture pubbliche votate a produrre conoscenza di supporto alla decisione pubblica ci siamo confrontati spesso con il disallineamento fra dichiarazioni di principio, su cui tutti sono d’accordo, e la realtà dei fatti, in cui la valutazione occupa sempre i gradini più bassi nella scala delle priorità politiche e istituzionali. I decisori pubblici commissionano valutazioni solo quando è loro espressamente e obbligatoriamente richiesto, con risorse residuali e senza una programmazione di medio-lungo termine. La complessità delle metodologie e degli oggetti di valutazione richiede invece un investimento di tempo e risorse, ma anche che nel pubblico si generi l’aspettativa di un ritorno di questo investimento in termini di crescita di conoscenza sul reale funzionamento delle politiche e la loro efficacia.
Una situazione simile si riscontra in ambiti settoriali come quello delle politiche del lavoro, dello sviluppo rurale, della sanità, della cooperazione internazionale allo sviluppo e delle infrastrutture. Le valutazioni che oggi vengono effettivamente condotte sono frutto più dell’iniziativa e delle capacità di singoli, che di una richiesta precisa da parte di soggetti istituzionali. Anche negli ambiti di policy in cui organismi tecnici preposti all’analisi esistono, non sembrano godere di maggiori spazi per condurre vere e proprie attività di valutazione. (3)
La dipendenza funzionale degli organismi preposti alla valutazione dalle autorità responsabili delle politiche va considerata il principale impedimento, anche se non l’unico, a quella sana interazione tra valutatore e decisore, che consente un genuino apprendimento collettivo sul funzionamento e gli effetti delle politiche stesse.
PROPOSTE PER UNA MIGLIORE VALUTAZIONE
Per uscire dallo status quo e innescare un circolo virtuoso, che alimenti la domanda e migliori la qualità dell’offerta di valutazione, occorre agire contemporaneamente su tre fronti collegati. (4)
Primo, occorre creare infrastrutture, pubbliche e accessibili liberamente (nel rispetto della normativa sulla privacy e sulla sicurezza del trattamento dei dati), volte alla produzione, conservazione e diffusione dei microdati necessari per l’applicazione dei metodi propri della valutazione di efficacia. Nel caso delle politiche dirette alle persone si deve trattare di microdati che riguardano i beneficiari degli interventi e gli individui facenti parte di potenziali gruppi di controllo. Prime esperienze di questo genere sono in via di implementazione nel campo delle politiche formative e più in generale delle politiche attive del lavoro, ma possono essere estese ad altre politiche. (5) La diffusione al pubblico dei dati di attuazione delle politiche moltiplica il numero delle persone che in proprio possono condurre valutazioni e le possibilità di verifica delle valutazioni che vengono effettuate.
Infatti, se sosteniamo che la funzione di valutazione vada protetta dalle ingerenze dei policy-makers, non per questo riteniamo che debba svolgersi in completa autonomia e irresponsabilità. I controlli a cui la valutazione deve essere sottoposta sono quelli sui metodi operati dalla comunità scientifica, e sui suoi risultati che sono soggetti alla verifica di merito da parte del pubblico degli interessati. Importanti passi verso la diffusione di dati sull’attuazione della politica di coesione sono già stati presi con la pubblicazione di dati a livello di progetto in modalità open sul sito opencoesione.gov.it.
Secondo, occorre assicurare indipendenza alle organizzazioni che dispongono di un mandato istituzionale per svolgere attività di valutazione. Le principali esperienze di riferimento a livello mondiale suggeriscono che esistono molteplici assetti istituzionali possibili. Le organizzazioni internazionali in genere affidano la valutazione delle loro operazioni a un ufficio dedicato e organico alla loro struttura, che però riporta gerarchicamente al board, e non al direttore esecutivo. Nella tradizione amministrativa anglosassone esistono istituti che redigono report periodici con carattere valutativo indirizzati al Parlamento. Altre soluzioni ancora sono praticabili.
L’attività di valutazione condotta in proprio da queste organizzazioni non deve essere intesa come chiusura del mercato o come impedimento allo sviluppo di ricerche accademiche. La piena accessibilità dei microdati alla comunità scientifica può consentire ad altri soggetti di effettuare altre valutazioni, successivamente a quelle condotte da chi ha incarichi istituzionali. (6) Disponibilità di microdati, trasparenza sui metodi utilizzati e diffusione dei risultati sono gli elementi essenziali per poter replicare gli studi valutati e quindi dare indicazioni sulla robustezza delle evidenze empiriche che ne emergono. Tanta valutazione, fatta in modo ricorrente da tanti soggetti, può portare a buona valutazione.
Terzo: affinché la valutazione dispieghi i suoi effetti benefici sul disegno e la realizzazione delle politiche pubbliche, è nostra opinione che sia necessario aprire uno spazio pubblico largamente (e legalmente) riconosciuto, che incoraggi e abiliti gli esperti in materia a profondervi un impegno dedicato e prolungato. È necessario che le attività svolte in questo spazio siano percepite come equidistanti tra gli interessi delle istituzioni, quelli dei cittadini e quelli dei vari stakeholder; che sia preannunciato al pubblico con anticipo il rilascio di questi lavori e che essi siano discutibili e verificabili da parte della comunità scientifica dopo la loro pubblicazione. Solo in queste condizioni è verosimile che si generi la diffusa aspettativa verso la produzione ricorrente di analisi valutative, quale impegno ineludibile verso il cittadino e il contribuente.
Siamo sicuri che una maggiore visibilità pubblica del lavoro dei valutatori potrebbe andare di pari passo con un incremento della qualità, oggi insufficiente, delle valutazioni e con un maggiore utilizzo dei loro risultati nelle fasi di disegno delle politiche.
Tutto ciò però è possibile solo se lo spazio istituzionale su cui far convergere i mandati di valutazione riguardasse più settori e potenzialmente tutta la spesa pubblica non ordinaria della pubblica amministrazione italiana.
(1) Sotto questo punto di vista, il documento recentemente diffuso dal Ministero per la Coesione Territoriale ‘Metodi e obiettivi per un uso efficace dei Fondi Comunitari 2014-2020’ rappresenta un cambio di paradigma considerevole nell’impostazione del disegno di policy, per il fatto che assegna un ruolo strategico alla valutazione che ha pochi precedenti nel contesto italiano.
(2) La Commissione europea da tempo richiede la valutazione dei risultati e degli effetti delle politiche di coesione, finanziandone lo svolgimento. Anche la nuova proposta legislativa di regolamenti per i fondi strutturali impone la valutazione dei risultati. Per avere un’idea sulle linee guida relative alle nuove politiche di coesione vedi ad esempio i documenti http://ec.europa.eu/regional_policy/sources/docoffic/2014/working/wd_2014_en.pdfe http://ec.europa.eu/social/main.jsp?catId=701&langId=en.
(3) Costituisce una parziale eccezione il settore dell’istruzione in cui l’Invalsi e l’Anvur hanno acquisito di recente maggiori competenze e responsabilità. Si tratta però di un’attività diversa, in quanto continuativa e collegata all’erogazione di un servizio pubblico ordinario.
(4)Altre proposte sono contenute nel recentissimo documento dell’Associazione italiana di valutazione (Aiv)
(5) Un esempio è il progetto Sistaf dell’Isfol, concepito per poter essere messo in raccordo con le banche dati di fonte amministrativa riguardanti il mercato del lavoro.
(6) Della necessità di condividere i dati grezzi, sono consapevoli organizzazioni internazionali come la Banca Mondiale, che pubblicano consistenti dataset descrittivi degli interventi che mettono in campo. (cfr. Worldbank)
Nota >> La risposta ai commenti degli autori
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Marcello Romagnoli
Ben venga la valutazione, ma non come quella scellerata che si sta realizzando nel campo universitario. Metodologie palesemente sbagliate, già criticate ed abbandonate all’estero, cervellotiche, caotiche e divoratrici di tempo utile.
Favorevole alla valutazione, ma cum grano salis e che abbia poi delle conseguenze.
Mita Marra
Concordo con gli autori e aggiungo 3 punti.
Un assetto istituzionale ed organizzativo formalmente indipendente (come gli OIV?) in cui condurre la valutazione delle politiche pubbliche e delle prestazioni amministrative non garantisce l’accettazione politica e culturale dell’informazione valutativa né la sua integrazione nei processi decisionali e di gestione, come esercizio di responsabilità pubblica e incentivo all’apprendimento. Non è neanche realistico attendersi un cambiamento immediato delle politiche e delle pratiche amministrative come effetto dei suggerimenti valutativi. La complessità dei processi decisionali non permette di isolare il contributo della valutazione, soprattutto quando questa è un insieme di approcci, metodi e tecniche attraverso cui si generano informazioni eterogenee (es. monitoraggio, controllo finanziario, misurazione di performance, impatto dei programmi).
Il vero problema è di natura culturale: il politico/committente deve essere aperto a capire come, dove e perché i programmi funzionano o meno e il valutatore è chiamato a dire la verità al potere-speak truth to power (Wildawsky)-senza ipocrisie retoriche autointeressate a favore dello status quo.
L’Associazione Italiana di Valutazione è uno spazio pubblico di condivisione di conoscenze e competenze valutative per formare i valutatori e sensibilizzare i committenti, i manager e i politici alla cultura della valutazione della spesa pubblica come continuo apprendimento a “fare meglio con…
andrea naldini
In generale sono d’accordo con voi, ma: cosa si intende per spazio pubblico? chi lo deve creare? andrebbe approfondito, per esempio finchè vi è un diretto collegamento tra decisore politico e decisore amministrativo, tale spazio è molto ristretto. Oppure, nel caso della PA spesso i sindacati si oppongono a qualsiasi valutazione per interessi di parte. Quindi è necessario creare obblighi di valutazione indipendente (come dite), obblighi della sua discussione a livello politico (in parlamento, p.e., si dovrebbe dscutere pubblicamente la valutazione della legge fornero o delle politiche di coesione). Al tempo stesso vanno resi pubblici i piani di valutazione, i biudget disponibili per la valutzione e tutte le valutazioni, ciò migliorerebbe anche la loro qualità.
alberto vergani
Grazie a Severati (che ben conosco in quanto compagno di Direttivo nella Associazione Italiana di Valuatazione della quale sono, per un mese ancora, Presidente) ed a Bianchi per il loro contributo. Voglio sottolineare, come elemento che merita alta considerazione, il fatto che le tre loro proposte “per una migliore valutazione” riguardano fattori e condizioni “di contesto” (materiali, organizzative, informative e quindi culturali) e non tecniche, metodi, strumenti, …. Non che queste non siano importanti – anzi – ma, senza le prime, tecniche e simili restano, come è nell’esperienza italiana, o esercizi teorici o di stile (se e quando ben fatti) o maschere dietro le quali nascondere la totale irrilevanza dei risultati delle valutazioni per il policy making quotidiano.
Mita Marra
Concordo con gli autori e aggiungo 3 punti. Un assetto istituzionale ed organizzativo formalmente indipendente (come gli OIV?) in cui condurre la valutazione delle politiche pubbliche e delle prestazioni amministrative non garantisce l’accettazione politica e culturale dell’informazione valutativa né la sua integrazione nei processi decisionali e di gestione, come esercizio di responsabilità pubblica e incentivo all’apprendimento. Non è neanche realistico attendersi un cambiamento immediato delle politiche e delle pratiche amministrative come effetto dei suggerimenti valutativi. La complessità dei processi decisionali non permette di isolare il contributo della valutazione, soprattutto quando questa è un insieme di approcci, metodi e tecniche attraverso cui si generano informazioni eterogenee (es. monitoraggio, controllo finanziario, misurazione di performance, impatto dei programmi). Il vero problema è di natura culturale: il politico/committente deve essere aperto a capire come, dove e perché i programmi funzionano o meno e il valutatore è chiamato a dire la verità al potere-speak truth to power (Wildawsky)-senza ipocrisie retoriche autointeressate a favore dello status quo. L’Associazione Italiana di Valutazione è uno spazio pubblico di condivisione di conoscenze e competenze valutative per formare i valutatori e sensibilizzare i committenti, i manager e i politici alla cultura della valutazione della spesa pubblica come continuo apprendimento a fare meglio con meno
Catina Balotta
Porrei l’accento su una questione che mi sembra rilevante rispetto a quanto già scritto e cioè “la terzietà della valutazione”, ovvero la sua capacità di esprimere un giudizio indipendentemente da chi la paga e da chi ne usa i risultati. Salvaguardare la terzietà della valutazione significa allinearla a delle esigenze che possiamo socialmente ritenere accettabili e che, di fatto, sono quelle che il committente ha legittime rispetto a ciò che vuole fare. La terzietà della valutazione in Italia incontra due grossi ostacoli. Il primo di natura endogena al processo valutativo: la partecipazione terza sfocia spesso in un cammino partecipativo diretto in cui un attore (il valutatore) non fa altro che proiettare i propri pregiudizi. Tale rischio può essere eluso da una parte dall’autodisciplina del professionista e dall’altra dalle garanzie provenienti dal contesto rispetto alla salvaguardia dell’autonomia di ciò che si ritiene essere un pensiero scientifico, rigoroso e giudicante. Il secondo ostacolo alla terzietà è rappresentato dalla mancanza di un vero mercato, all’interno del quale chi davvero sa fare valutazione è premiato. Altrimenti il tipo di risposte che la committenza in parte rischia di avere e in parte sollecita per interessi, è guidata da pensieri distorti quali: la possibilità di mantenere un buon rapporto tra le parti, la possibilità di prolungare il rapporto in futuro, la possibilità di nuove commesse o, più in generale, lo sviluppo di relazioni che generano…
fabiana musicco
Sono d’accordo in gran parte con la riflessione degli autori in merito a questo tema, sempre più spesso invocato da molti come una potenziale leva di cambiamento e miglioramento nei processi di elaborazione delle politiche, ma al contempo nei fatti concreti osteggiato dai policy maker. Certamente il tema della reale indipendenza del valutatore è importante, d’altra parte occorrono anche interventi di ristrutturazione delle basi dati e delle piattaforme dalle quali attingere le informazioni e gli elementi per poter svolgere al meglio i processi di valutazione. In questo senso, c’è ancora un elevato gap di competenze tra chi ha il potere di decidere (a monte) da dove partire per impostare efficaci processi di valutazione e chi ha la competenza specifica per realizzare tali processi. Da ultimo, chiediamoci dove vanno a finire e se vengono utilizzati i corposi report di valutazione che pure vengono redatti. Sono una valutatrice del fondo Fei (Integrazione cittadini extra Ue) e sono molto interessata a contribuire al dibattito anche portando la mia esperienza concreta.
Mauro Palumbo
Condivido quanto scrivono i colleghi e i commentatori del loro articolo.
La valutazione ha un importante ruolo da giocare nella trasparenza delle politiche pubbliche, anche perché, come sottolinea Patton, aiuta le persone a “pensare valutativamente” (dunque spinge i decisori a indicare obiettivi praticabili e misurabili, i cittadini a chiedersi quali effetti abbiano ottenuto le politiche, gli operatori a responsabilizzarsi sui risultati e non solo sui processi).
Può favorire un dibattito pubblico maggiormente informato e quindi cittadini e decisori più responsabili. Perché questo accada probabilmente occorre spingere sulle diverse leve segnalate dall’articolo e dal dibattito: non solo più valutazione, ma anche valutazione più accessibile (importante che siano pubblicati sia i micro dati sia delle sintesi che permettano anche al non addetto ai lavori di capire quanto emerge dalle valutazioni), valutazione più indipendente (ad esempio finanziata da – o svolta da organi dipendenti da – Assemblee elettive e non dagli Esecutivi), valutazione più discussa (ossia maggiore dibattito pubblico sui suoi esiti), valutazione più robusta (il dibattito sui risultati porterebbe anche a discutere dei metodi in modo ceh la buona valutazione sia vincente).
Aggiungo solo un punto non segnalato dagli autori: si ragioni anche sugli effetti della valutazione, che possono essere sia virtuosi (accentuare i comportamenti positivi di singoli e di istituzioni), sia negativi (favorire le resistenze alla valutazione o i comportamenti opportunistici). Sotto questo aspetto il rischio maggiore si corre quando la valutazione viene introdotta con una forte accentuazione della funzione di controllo, magari in concomitanza con tagli di spesa (dunque in prospettiva “puntitiva” piuttosto che “premiale” o “di apprendimento”), con metodi e finalità decise dall’alto, con effetti non discussi precedentemente, senza condivisione con gli stakeholder. Proprio chi ritiene che la valutazione debba assolvere un grosso ruolo nel nostro Paese deve prestare grande attenzione a questo rischio.
Antonella Bonaduce
Sono essenzialmente d’accordo sia sulle problematiche evidenziate che sulle possibili soluzioni proposte ma sono in disaccordo con la affermazione “la dipendenza funzionale degli organismi preposti alla valutazione dalle autorità resposnabili … va considerata il principale impedimento ….
Non penso infatti che sia il principale impedimento la indipendenza è infatti secondo me un principio corretto ma nella prassi un falso problema quello che rende difficile questa virtruosa interazione tra valutatore e decisore è la debolezza della domanda di valutazione che si lega alla debolezza della domanda di programmazione. E’ sull’innalzamento della qualità della programmazione che bisogna secondo me intervenire per favorire un uso efficace della valutazione. E questo vuol dire che ci deve essere una richiesta forte da parte in primo luogo della Commissione di una programmazione di qualità. Sicuramente le sette innovazioni di metodo di Barca vanno in questa direzione, ma gli effetti di questa proposta dipenderanno anche dalla capità di Governo e Commissione di mantenere alta questa richiesta di qualità rimandando indietro proposte di programmazioni e della capacità dei valutatori di offrire competenze utili alla attuazione delle innovazioni.
osimod
Buongiorno, e complimenti per l’articolo su cui nella sostanza concordo in pieno e che espone un problema grave e urgente.
Alcune riflessioni volte a migliorarne l’impatto:
– l’articolo e’ efficace per gli addetti ai lavori ma non per chi non lavora sulla valutazione (preaches to the converted) . Sarebbero utili riferimenti a casi concreti che dimostrino il problema e l’impatto di questo problema sulla qualita’ della gestione pubblica. In altre parole, perche’ questi problemi sono importanti? Perche’ e’ urgente intervenire? Davvero la valutazione e’ fatta male, e se si’, cosa comporta?
– non e’ chiara la relazione fra i problemi esposti e la prima raccomandazione
– non e’ chiaro cosa si intende per “spazio pubblico”. Un portale della valutazione? Il problema non e’ creare tale spazio; e’ far si che sia “riconosciuto” e “visibile” in un contesto in cui l’interesse per la valutazione e’ basso. Mi piacerebbe riflettere di piu’ su questo ultimo punto.
Insomma, mi sembra un ottimo contributo, ma deve segnare un inizio di una riflessione condivisa.
Francesco
Cari Paolo e Tito, intanto vi segnalo (ma già lo conoscete) mio editoriale pubblicato Sabato scorso sulla prima pagina de Il Messaggero http://www.visionwebsite.eu/vision/stampa_articolo.php?articolo=199 . Nell’articolo si propone di inserire l’obbligo di valutazione di tutte le politiche pubbliche (e dei fornitori di servizi pubblici) inserito accanto a quello dell’obbligo sul vincolo di bilancio nell’articolo 81 della Costituzione (e credo che almeno due dei “saggi” nominati da Napolitano siano d’accordo). Io propongo, in buona sostanza, di tradurre in italiano quello che dice la legge finanziaria della Commissione Europea e farlo diventare vincolante per tutte le amministrazioni pubbliche. Nell’articolo spiego i fondamenti persino etici di questa operazione (e i motivi ovvi per i quali senza di essa qualsiasi “spending review” sarà inevitabilmente lineare). Ovviamente si può disquisire sulla appropriatezza di provvedimenti così dall’altro e così impositivi. E, sicuramente, i dettagli della proposta andrebbero sviluppati (stando attenti al “diavolo” che inevitabilmente si nasconde nei “dettagli”). E tuttavia io credo che, pur apprezzando l’appello affinchè in Italia ci sia “spazio per la valutazione”, dobbiamo essere più ambiziosi e mainstream. E credo che il contesto è tale per cui si può provare a mettere – come dico nell’articolo – la valutazione (o il principio dell’accontability se in inglese funzionasse meglio) al centro dell’agenda politica . Magari al posto del dibattito spesso surreale sui “costi della politica” o dell’amministrazione. Perchè non organizziamo insieme, insieme agli altri commentatori e altri soggetti che non sono valutatori, una iniziativa su questo? Provando a far uscire il dibattito dalla comunità (assai piccola e spesso anche un pò autoreferenziale come tutte le comunità professionali) dei valutatori?
lunettes de vue ray ban
Uno spazio per la valutazione in Italia * | Bianchi, Severati
lunettes de vue ray ban http://porticodoparaiso.com/rayban-5.php?p=lunettes-ray-ban-de-vue