In Italia la regolamentazione consente di chiamare sondaggi anche indagini che utilizzano metodologie non fondate scientificamente o non sufficientemente documentate. Perché gli standard sono più blandi di quelli previsti per esempio negli Stati Uniti. Senza infrangere le regole si possono perciò ottenere risultati che tendano a rispondere alle aspettative dei committenti. La vittima principale della guerra dei sondaggi potrebbe però essere quello straordinario elemento della democrazia partecipativa che è linformazione statistica. La campagna elettorale per le elezioni del 9 aprile 2006 è caratterizzata, più di ogni altra, dalle discussioni sui sondaggi politico-elettorali. In Italia, la regolamentazione in materia consente di chiamare “sondaggi” anche indagini con metodologie non fondate scientificamente o non sufficientemente documentate. Per questo è possibile, senza infrangere le regole, ottenere risultati diversi tra indagini, ovvero risultati che tendano a rispondere alle “aspettative” dei committenti. Corriamo però un grande rischio: nella guerra dei sondaggi, la vittima principale potrebbe essere quello straordinario elemento della democrazia partecipativa che è linformazione statistica. I dati più recenti Abbiamo analizzato i dati relativi a quindici sondaggi sulle intenzioni di voto nelle elezioni pubblicati sul sito a questo deputato tra l1 e il 17 febbraio 2006. Il dito e la luna La statistica, nata ad uso dello Stato per fornire informazioni utili a chi governa, nel corso del tempo, ha saputo sviluppare come disciplina scientifica un corpo metodologico condiviso. I metodi e le tecniche di indagine campionaria ne costituiscono parte fondamentale. I sondaggi politico-elettorali In Italia, la disciplina dei sondaggi politico-elettorali è diversa da quella generale (si veda l’articolo successivo). Secondo larticolo 8 della legge 22 febbraio 2000 n. 28, le informazioni sui sondaggi politico-elettorali debbono essere trasmesse solo a un apposito sito internet. Il vantaggio è quello di poter facilmente consultare i risultati. Le informazioni tecniche riportate, potenzialmente utili per valutare la qualità dellindagine, sono tuttavia carenti. Sondaggi come profezie che si autoadempiono Poiché le informazioni richieste dalla normativa sono insufficienti per poter valutarne la qualità, è possibile eseguire sondaggi compiacenti e fornire sul sito informazioni tecniche generiche che non suscitino particolari sospetti, senza violare la regolamentazione. Per saperne di più Eurobarometro: http://europa.eu.int/comm/public_opinion/index_en.htm (1) Sondaggi condotti da Ipr Marketing (tre sondaggi), Euromedia Research, Tns Abacus (tre sondaggi), Ispo Limited (due sondaggi), Swg (tre sondaggi, dati relativi alla Camera), Ekma Ricerche srl (due sondaggi).
Per quattordici lUnione prevarrebbe sulla Casa delle libertà. (1) Facendo una media dei risultati di questi sondaggi, lUnione otterrebbe il 51,6 per cento, contro il 47,0 per cento della Casa delle libertà. Per lUnione il valore minimo riscontrato è il 50,9 per cento, il massimo il 52,5 per cento. Per la Casa delle libertà il valore minimo è il 46 per cento, il massimo il 47,9 per cento.
Nel solo caso del sondaggio commissionato da Forza Italia a Penn, Schoen e Berland Associati (Psb) prevale, lievemente, la Casa delle libertà (48,4 contro 48,2 per cento).
Nei (pochi) casi in cui viene riportata la quota di indecisi, è sempre particolarmente elevata, attorno al 23 per cento.
In passato, ad esempio nella corsa per la Casa Bianca, si è notato come il mercato delle scommesse fornisse previsioni affidabili dei risultati elettorali. Cosa dicono allora i bookmakers? Seppure in calo se si prende come riferimento linizio di febbraio, la probabilità che Romano Prodi divenga presidente del Consiglio in Italia è, al 19 febbraio, stimata tra il 65 e il 70 per cento, mentre la probabilità che sia Silvio Berlusconi a divenirlo è data tra il 30 e il 35 per cento.
Durante questa campagna elettorale, e in precedenza nella lunga discussione sulla misura dellinflazione, linformazione statistica è spesso trasformata da rappresentazione, scientificamente fondata, delle condizioni dello stato (delle cose) a mero strumento retorico.
Quando un dito indica la luna, lo stolto guarda il dito anziché la luna. Perché i politici sembrano concentrarsi sul dito piuttosto che sulla luna? Ciò rischia di distruggere la credibilità della statistica, ufficiale o di fonte privata. Possiamo permetterci di vivere senza informazioni statistiche credibili? Certamente no. Le statistiche ufficiali sono fondamentali per il funzionamento della pubblica amministrazione e dei mercati. I sondaggi di opinione sono a loro volta un elemento essenziale della democrazia partecipativa. Se con le elezioni politiche i cittadini indicano da chi vogliono farsi governare, rispondendo ai sondaggi dicono come vivono e quali sono i loro problemi. La Commissione europea, ad esempio, dal 1973 utilizza le indagini “Eurobarometro” per monitorare la pubblica opinione, allo scopo di “aiutare la preparazione di testi, la presa delle decisioni e la valutazione del suo operato”. Insomma, cannocchiali per osservare la luna.
Non è quasi mai indicato, ad esempio, il tasso di non risposta, ovvero la percentuale delle persone selezionate per lindagine che non sono state effettivamente intervistate perché non reperite o perché hanno rifiutato di rispondere. Quasi tutti i sondaggi politico-elettorali avvengono telefonicamente. Ma quanti sono quelli che hanno messo giù il telefono senza rispondere alle domande? I rischi di autoselezione, e quindi di errata rappresentazione della realtà, possono essere rilevanti. È possibile, ad esempio, che accettino di rispondere più facilmente i più schierati.
Non è sempre indicato il metodo di campionamento, se probabilistico (e quindi scientificamente fondato) o non probabilistico. Nel caso del sondaggio Psb è stato “utilizzato un programma di campionatura basato su una propria specifica metodologia e su recenti trend elettorali. Ogni elettore ha avuto la stessa probabilità di essere selezionato per il sondaggio”. Linformazione fornita sul sito non consente di ricostruire quale sia la “propria specifica metodologia”, ma la Psb non indica esplicitamente di aver seguito la prassi di “stratificare” il campione, cioè di rispettare la composizione degli elettori rispetto ad alcune cruciali variabili come sesso, età e area di residenza, prassi comunemente seguita dagli altri sondaggi. Questo potrebbe forse spiegare le differenze nei risultati: attraverso unindagine telefonica è più facile contattare persone che tendono a rimanere di più a casa, come gli anziani, soprattutto chiamando in orari lavorativi. Se gli anziani tendono poi più facilmente a dare il voto ai partiti più grandi e più noti, ecco pronta una possibile spiegazione del perché, in mancanza di stratificazione, nel sondaggio Psb risultano evidentemente sovrarappresentati, rispetto agli altri sondaggi, i dati sui partiti più grandi, come Ds e Forza Italia, mentre ad esempio i Verdi sono stimati allo 0,7 per cento e lUdeur allo 0,3.
Il problema è molto delicato, se si considera il sempre maggior utilizzo politico dei sondaggi, trasformati in strumento che può condizionare e orientare le intenzioni di voto. Il risultato dei sondaggi elettorali è sempre meno inteso come ritratto della realtà e sempre più, almeno nella speranza di alcuni committenti, come profezia che si autoadempie.
I fatti recenti confermano tale impressione. Il presidente Berlusconi ha due modi per provare a ribaltare a proprio favore i risultati dei sondaggi. Il primo è agire direttamente sulla luna, ovvero sulle effettive opinioni dei cittadini, cercando di convincerli che il Governo ha operato bene. Il secondo è agire sul dito, ovvero discutere i risultati dei sondaggi e diventare committente di nuovi, che diano esiti più in linea con i risultati che si aspettava di ottenere.
La delegittimazione da parte del premier dei sondaggi condotti dalla maggior parte degli istituti di ricerca è particolarmente problematica perché non fa leva sugli eventuali problemi metodologici. Al contrario, la critica si basa sui risultati dei sondaggi, “compiacenti” verso il centrosinistra. Molto più utile sarebbe se politici, stampa e pubblico generale incalzassero le agenzie sullaffidabilità scientifica delle informazioni fornite. Il metodo di campionamento è probabilistico? Qual è il tasso di non risposta? Sono state utilizzate tecniche di stratificazione? Qualora anche la discussione sui sondaggi continuasse a essere guidata dalle esigenze di parte e soprattutto dai risultati dei sondaggi stessi, verrebbe ulteriormente delegittimato quello straordinario elemento della democrazia partecipativa che è linformazione statistica.
Scommesse Elettorali. Sito per comparare le quote dei bookmakers inglesi: http://odds.bestbetting.com/specials/politics/italy/next-prime-minister
Sito ufficiale dei sondaggi politici ed elettorali: http://www.sondaggipoliticoelettorali.it/
Francesco C. Billari e Alessandro Rosina Se si prendono come riferimento i criteri di qualità forniti dallAmerican Association for Public Opinion Research, quelli adottati dallassociazione delle imprese italiane di categoria appaiono più laschi per un elemento chiave: non viene richiesta ladozione come standard di un campionamento probabilistico, che garantisce la base scientifica dei risultati secondo la teoria della statistica. I criteri dellassociazione Usa Quali criteri assicurano unelevata qualità dei sondaggi? Lassociazione americana , che gode di un elevato livello di credibilità scientifica, stila dodici linee guida per le indagini di opinione. Alcune ci interessano in modo particolare. E in Italia? Per i sondaggi di opinione esiste anche in Italia unapposita regolamentazione, emanata dallAutorità per le garanzie nelle comunicazioni. Lobiettivo è rendere i sondaggi “trasparenti, con committenti chiaramente identificati e metodologie di raccolta di tipo rigorosamente statistico”. La regolamentazione definisce in particolare cosa debba intendersi per sondaggio, quali sono le caratteristiche che deve avere, indica le modalità di pubblicazione e diffusione dei risultati, vigila sul rispetto delle disposizioni previste dal regolamento. Per saperne di più American Association for Public Opinion Research (Aapor): http://www.aapor.org/
Le imprese committenti di ricerche di mercato possono essere disposte ad accettare metodi non fondati su base probabilistica, ad esempio per ridurre i costi di indagine. Luso politico dei sondaggi di opinione impone, invece, il rispetto di criteri di qualità maggiormente fondati dal punto di vista scientifico, assimilabili a quelli che devono essere rispettati dalle statistiche ufficiali. Sarebbe fondamentale poi consentire laccesso ai dati individuali delle interviste, resi opportunamente anonimi: una condizione, considerata imprescindibile dallassociazione americana perché si possa verificare la qualità delle analisi, ma non prevista nel nostro paese.
· Il campione deve rappresentare bene la popolazione oggetto di indagine. Secondo questo approccio: “virtualmente tutte le indagine considerate seriamente dagli scienziati sociali, dai politici e dai mezzi di informazione utilizzano una forma di campionamento casuale o probabilistico, i cui metodi sono ben radicati nella teoria della statistica e nel calcolo delle probabilità. Stime affidabili ed efficienti possono essere ottenute indagando un campione della popolazione che sia costruito con cura, purché una grande proporzione degli intervistati fornisca le informazioni richieste. In particolare, ciò richiede attente ed esplicite stime della distorsione causata dalle mancate risposte e della rappresentatività del campione”.
· Occorre fare molta attenzione nella formulazione delle domande ai concetti che si vogliono misurare e alla popolazione oggetto di indagine. I risultati di un sondaggio sono influenzati oltre che dalla formulazione delle domande, anche dal modo in cui sono poste e dalle categorie di risposta fornite a priori.
· Usare tecniche di analisi statistica e di descrizione dei risultati adeguate. Ad esempio, “risultati e interpretazioni dovrebbero essere presentate in modo onesto e oggettivo, riportando con completezza tutti i risultati rilevanti, inclusi quelli che possano sembrare contraddittori e favorevoli. Gli errori (
) devono essere esplicitamente considerati nellanalisi dei dati e nellinterpretazione dei risultati (
). Le conclusioni devono essere chiaramente distinte dai risultati fattuali, e occorre porre una grande attenzione al fine di assicurare coerenza tra le conclusioni e i risultati presentati”.
· Rivelare la metodologia alla base dellindagine allo scopo di permetterne valutazione e replicabilità. Due aspetti sono fondamentali. La metodologia deve essere descritta in modo sufficientemente dettagliato, tale da poter permettere una possibile ripetizione dellindagine da parte di altri ricercatori. Inoltre, “tutti i dati (a condizione di rispettare la privacy e la confidenzialità) dovrebbero essere pienamente documentati e resi disponibili per un esame indipendente”.
LAapor condanna invece esplicitamente alcune scelte, tra cui una in particolare.
· Rappresentare i risultati di unindagine fatta attraverso un numero “verde” o simili metodi come esito di ricerca “legittima”. Le informazioni fornite da chi decide di telefonare o rispondere ad appelli specifici non rappresentano lopinione pubblica generale. Secondo lassociazione “ogni pubblicità o promozione per queste attività non solo danneggia le ricerche di mercato o di opinione legittime, ma può essere particolarmente fuorviante quando viene usata per influenzare le politiche pubbliche o semplicemente per disseminare informazioni sullopinione pubblica”.
Punti di particolare interesse sono la definizione di sondaggio, ovvero lindicazione “rigorosa” delle rilevazioni che possano essere considerate rappresentative della popolazione, e il contenuto della “nota informativa” tecnica, che deve sempre accompagnare la pubblicazione dei risultati.
Pur costituendo una fondamentale difesa contro il rischio di anarchia nella produzione di dati che pretendono di fornire ritratti autentici della realtà italiana, la regolamentazione presenta limiti rilevanti. La maggiore perplessità riguarda linclusione tra i sondaggi “rappresentativi” anche di rilevazioni effettuate con criteri “non probabilistici”. I campioni “non probabilistici” non consentono di valutare adeguatamente lerrore che si commette generalizzando i risultati dal campione alla popolazione. Eppure, nel regolamento dellAutorità tra le informazioni che devono essere contenute nel documento “metodologico” (articolo 3) vi è “la rappresentatività dei risultati, in termini di margine di errore, al livello fiduciario del 95 per cento, delle stime ottenute”. (1)
In altre parole, da un lato si consente di utilizzare un campione non probabilistico, ma dallaltro si impone che nella documentazione venga riportato il margine di errore, che un campione “non probabilistico” non può produrre. La regolamentazione dei sondaggi politico-elettorali (si veda larticolo precedente) è ancora più limitata.
Anche lAssociazione tra istituti di ricerche di mercato, sondaggi di opinione e ricerche sociali (Assirm) ha, oltre a un codice di autodisciplina, standard di qualità. Alcuni di essi sono assimilabili a quelli dettati dallAapor. Altri sono sorprendentemente più laschi.
· Fondamento “scientifico” del campione. Nella parte dedicata alla “Raccolta dei dati” ad esempio, lAssirm richiede, correttamente, che vengano dichiarate e documentate le scelte tecniche. Tra i criteri di campionamento, però, viene incluso esplicitamente il “campione non probabilistico”. Ci possiamo dunque legittimamente chiedere quanti sondaggi in Italia seguano effettivamente criteri di campionamento probabilistici, e quindi scientificamente fondati. Perché criteri non considerati come “seri” sono pienamente legittimi?
· Accessibilità ai dati. LAssirm, nel codice di autodisciplina (articolo 42) prevede la diffusione delle informazioni metodologiche per le indagini cui viene data una diffusione presso il grande pubblico. Non viene però menzionata la possibilità che i dati individuali opportunamente anonomizzati siano messi a disposizioni per analisi indipendenti.
Associazione tra istituti di ricerche di mercato, sondaggi di opinione, ricerca sociale (Assirm): http://www.assirm.it/
Autorità per le garanzie nelle comunicazioni: http://www.agcom.it/
(1) Delibera n. 153/02CSP modificata dalla delibera n.237/03/CSP,
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Alessandro Rosina è professore è ordinario di Demografia e Statistica sociale alla Facoltà di Economia dell'Università Cattolica di Milano, dove dirige il "Center for Applied Statistics in Business and Economics". E’, inoltre, Consigliere esperto del CNEL, coordinatore scientifico dell’”Osservatorio giovani” dell’Istituto Toniolo, co-coordinatore di Alleanza per l'Infanzia, membro del comitato di direzione di Osservatorio senior e di Futura Network (ASviS).
Professore di Demografia e Dean of the Faculty presso l'Università Bocconi di Milano. È stato docente presso l'Università di Oxford (Dipartimento di Sociologia, dove è stato anche Direttore) e il Nuffield College (dove è stato Professorial Fellow), e presso l'Istituto Max Planck per la ricerca demografica (Direttore della Ricerca Indipendente sulla Demografia della prima età adulta).
Ha lavorato in numerosi progetti internazionali e attualmente è il PI dell' European Research Council Advanced Grant. È stato presidente e segretario generale / tesoriere della European Association for Population Studies e ha ricevuto il "Clogg Award" dalla Population Association of America nel 2012. È Fellow della British Academy ed Affiliate della Population Studies Center, Università della Pennsylvania
Federica Pintaldi
Di seguito riporto una parte di un articolo da me scritto nel 2001. Non è curioso che cambiano i ruoli ma rimangono l’esperto americano e le polemiche!!!
La Guerra dei Sondaggi
In queste ultime settimane lo scontro elettorale, tra le altre cose, ha riguardato i dati di sondaggio. Per gli esponenti del Polo questo schieramento ha un ampio margine di vittoria sul centro-sinistra, per cui occorre andare al più presto alle urne. Secondo lesperto americano consulente di Rutelli lUlivo è ad appena a due punti di distanza dal centro-destra. Viene allora da chiedersi: quanto sono attendibili i sondaggi? ….
http://www.pericles.it/abcsondaggi1.asp?ID_Arteson=141
Eugenio Angelillo
Mi permetto di segnalare questo sito, dove, con tutti i limiti del caso, si cerca di discutere sull’effettiva attendibilita’ dei sondaggi e dei relativi limiti.
http://www.politicaonline.net/forum/forumdisplay.php?f=65
Paolo Poggioli
Essendo laureato in ingegneria, ho frequentato due corsi di statistica e quindi ho un po’ di famigliarità con gli argomenti di cui parlate.
Alle vostre considerazioni, mi permetto di aggiungere che visto l’impatto mediatico che hanno i sondaggi nel nostro paese, occorrerebbe una legge che li regolamenti. In particolare, per evitare le sparate di entrambi gli schieramenti politici, bisognerebbe stabilire dei criteri per documentare e prescrivere la scientificità dei sondaggi, basandosi sulle numerose teorie statistiche che sono universalmente riconosciute.
Lancio questa proposta al fine di fare in modo che anche chi, non per colpa sua, non ha gli strumenti per riconoscere le bufale dalle rilevazioni scientifiche, possa evitare di entrare in questo ciclone fasullo.
Claudio Alberti
Il nostro Paese, che con questa campagna elettorale sta entrando in una fase matura di americanizzazione della politica, fenomeno iniziato, come noto, con la discesa in campo dell’attuale Premier, è affetto da sondaggite. Si badi, la sondaggite non consiste nel fare sondaggi, cosa piuttosto naturale in una democrazia evoluta, ma nel discuterne continuamente i risultati sui media. Il dato fondamentale, infatti, è che la statistica si sta sempre più formatizzando (Mannheimer ospite quasi fisso da Vespa ne è stato un prodromo), sta entrando nell’ambito delle interviste televisive fatte per le strade a semplici cittadini: il sondaggio sta diventando un reality, o peggio, uno dei talk shows alla De Filippi, in cui si propone un esagerato protagonismo della gente pseudo-comune. Finché il circolo vizioso tv-talk show-politica-sondaggi-tv non sarà messo in crisi, dobbiamo aspettarci i sondaggi come quelli della Pbs.
mauro masselli
Concordo che alcuni indicatori (numerosità, tasso di mancata risposta, campione probabilistico, ragionato, per quota, pesi ….) possono aiutare a capire la fondatezza metodologica di un sondaggio ma dubito che siano sufficienti a “garantirla” e a garantire la neutralità dei risultati. Le scelte soggettive del ricercatore, gli intervistatori ed altri attori dell’indagine che influenzano i risultati sono difficilmente quantificabili in indicatori e quando è possibile farlo è molto costoso (vedi le esperienze della statistica ufficiale in Italia e in europa). Forse la remora per sondaggi frettolosi e compiacenti, sarebbe quella di dare pubblicità al confronto tra i risultati ed il valore vero (le elezioni). Immagino che l’affidabilità di molti istituti demoscopici sarebbe compromessa.