Dopo Brexit e presidenziali americane, anche i sondaggi sul referendum del 4 dicembre si riveleranno sbagliati? Nel nostro caso il problema è se il campione osservato sia o meno una buona rappresentazione di chi voterà. Perché i non rispondenti sono tanti. E ciò aumenta l’incertezza dei risultati.
Le previsioni sul 4 dicembre
La mattina del 9 novembre ci siamo ritrovati increduli a leggere della vittoria di Donald Trump. Il risultato ha sorpreso tutti, anche i mercati avevano scommesso su una sua sconfitta, ma sondaggisti e brokers avevano di nuovo sbagliato previsione. Eppure, il risultato del referendum sulla permanenza nell’Unione europea nel Regno Unito aveva messo in guardia sul rischio di sottovalutare la probabilità di eventi considerati irragionevoli dagli addetti ai lavori. Anche la notte del 4 dicembre, qui in Italia, rischiamo di avere sorprese.
Gli ultimi sondaggi pubblicati in Italia davano tutti il “no” in vantaggio. Il 18 novembre ne sono stati divulgati sei. Il più favorevole al “sì”, dava comunque avanti il “no”, seppure di pochissimo: 50,49 per cento contro il 49,41 per cento al “sì”. Divulgato da Termometro Politico, era però un sondaggio atipico, basato sulla partecipazione volontaria degli intervistati. Rilevazioni di questo tipo sono complesse da valutare perché la loro rappresentatività su scala nazionale è ottenuta a posteriori, calcolando medie pesate sulla base delle caratteristiche demografiche dei rispondenti.
Tra gli altri sondaggi, quello di Demopolis vedeva il “sì” distaccato di 4 punti percentuali rispetto al “no”. Gli ultimi quattro erano più pessimisti: Istituto Ixè indicava un vantaggio del “no” di 6 punti, Istituto Piepoli di 8, Demos&Pi e Demetra addirittura di 9 punti.
L’incertezza dei sondaggi
I sondaggi, però, sono sempre accompagnati da una misura di incertezza, calcolata attraverso alcune ipotesi sulla qualità dei dati raccolti. Assieme alle percentuali viene fornito un intervallo di confidenza. La forchetta indica in che intervallo possiamo aspettarci di trovare il risultato elettorale con una probabilità di errore minima, tipicamente il 5 per cento. I sondaggisti sono quindi consapevoli delle incertezze insite nelle loro previsioni. Quelle della figura 1 sono le forchette di confidenza al 95 per cento dei cinque sondaggi.
Figura 1
Fonte: Sondaggipoliticoelettorali.it
D’altra parte, anche le forchette possono essere sbagliate. Ci sono due assunzioni fondamentali che le rendono valide. La prima è che le persone rispondano in modo sincero a chi le intervista. La seconda è che la probabilità di intervistare un favorevole o un contrario alla riforma dipenda esclusivamente da quanti sono i favorevoli e quanti i contrari fra gli aventi diritto al voto.
Nel caso della Brexit e dell’elezione di Trump è stato ipotizzato che i sondaggi avessero sbagliato perché le persone non rispondevano in modo sincero riguardo alle loro intenzioni di voto. Votare “leave” e non votare “Clinton” era considerato socialmente inaccettabile per cui molte persone hanno nascosto la loro reale intenzione di voto.
Nel caso del referendum italiano, invece, un problema molto serio potrebbe essere il secondo: siamo certi che il campione osservato sia una buona rappresentazione di chi voterà?
Leggendo attentamente i dati allegati ai sondaggi non è chiaro, ad esempio, se gli italiani residenti all’estero siano stati contattati o meno. Anche i tassi di non risposta sono molto elevati. Il sondaggio Ixè riguarda mille risposte date su 9.266 soggetti contattati. Al sondaggio Demos&Pi addirittura i rispondenti sono meno di uno ogni dieci contattati: 1.232 risposte su 13.598 contatti.
È verosimile che le non risposte aumentino il grado di incertezza riguardo ai risultati. Se non possiamo essere certi che chi risponde abbia una probabilità di votare “sì” o “no” identica a chi non risponde, allora con il numero di non-risposte aumenta anche l’errore che ci dovremmo attendere di compiere.
Per capire come gli istituti che pubblicano sondaggi tengano conto di questo ulteriore fonte di incertezza occorre confrontare le forchette calcolate sotto l’assunzione che il campionamento sia casuale con quelle pubblicate dai sondaggisti. La cosa interessante è che, sulla base della documentazione pubblicata dagli istituti di sondaggio, le due forchette risultano identiche. Semplicemente i sondaggisti sembrano ignorare le non-risposte. Due sondaggi, uno con un tasso di risposta del 100 per cento e l’altro con un tasso di risposta del 10 per cento sono trattati in modo identico al momento della quantificazione dell’errore. Questa scelta metodologica può avere conseguenze molto serie.
Facciamo due ipotesi alternative, ammettiamo che la percentuale dei “sì” e dei “no” possa essere leggermente diversa fra chi accetta di rispondere e chi no. Nella prima ipotesi immaginiamo che la percentuale dei “sì” sia del 5 per cento più elevata fra i non rispondenti, nella seconda i non rispondenti votano “sì” con una probabilità il 5 per cento inferiore. Sulla base di queste ipotesi ho ricostruito l’orientamento di voto dei non rispondenti a ciascuno dei cinque sondaggi. E ho calcolato le forchette ammettendo, oltre all’incertezza dovuta al campionamento casuale, la possibilità che vi sia una differenza sistematica nell’orientamento di voto di rispondenti e non rispondenti.
Il risultato è un forte aumento dell’incertezza. Le percentuali minime e massime del “sì” e del “no” si avvicinano molto e spingersi a prevedere il risultato delle urne sembra piuttosto difficile.
Figura 2
Fonte: elaborazione su dati pubblicati su Sondaggipoliticoelettorali.it
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Professore Associato di Scienza delle Finanze all'Università di Firenze e Research fellow all'International Inequalities Institute, London School of Economics and Political Science.
Massimo GIANNINI
I problemi dei sondaggi sono: a) risposta non sincera dell’elettore; b) metodo ed estrazione del campionamento (esempio inclusione di regioni, estero, età, ecc); c) variazione del campione rispetto ad indagini passate; d) valutazione corretta degli astenuti e indecisi.
In Italia esiste anche un problema di”bias” del committente del sondaggio e dell’informazione. Si presentano i dati in modo da cercare di influenzare il voto. Cio’ in parte è successo con la Clinton, ma con il risultato che ha fatto aumentare l’astensionismo visto che molti democratici non sono andati a votare convinti che tanto avrebbe vinto comunque. In effetti la Clinton ha vinto di 2,4 milioni di voti in più ma con una distribuzione anormale e probabilmente non “catturata” adeguatamente dai sondaggi per i problemi sopra indicati.
L’elemento che sembra in ogni caso far variare molto il risultato finale rispetto ai sondaggi è la stima degli indecisi e dell’astensionismo.
Niccolò
Gentile autore, in primis complimenti per l’articolo, contributo scientifico eccellente e che può contribuire a ridar credibilità ad una disciplina che, dati gli ultimi insuccessi previsionali da lei citati e tanti altri più o meno recenti, sta rischiando di perdere la fiducia di chi non ne è esperto, dove invece, in un’era sempre più caratterizzata dall’insopportabilmente rapida diffusione di notizie false alla velocità di un click, è necessario si torni a parlare partendo da dati veri, di qualità e soprattutto ben analizzati.
Volevo poi chiederle se, effettivamente, a suo avviso, trascendendo le già ben poste valutazioni sulla metodologia statistica, e facendo invece considerazioni più di natura economica e sociale, esiste effettivamente la possibilità che un gruppo tendenzialmente a favore di una delle due fazioni stia sistematicamente astenendosi dal rispondere, e come dovrebbe un sondaggista (e, più in generale, un analista di dati) comportarsi in questi casi, giacché – come giustamente dice lei stesso – ignorare le non risposte può avere gravi conseguenze.
paolo brunori
grazie del commento. La stratificazione rappresenta un modo semplice per cercare di correggere il problema. D’altra parte, se la non risposta dipende da caratteristiche non utilizzate per la stratificazione (generalmente limitate a sesso, età e area geografica), questo correttivo risulta insufficiente. Un approfondimento interessante si trova nell’articolo del 2010 di Peress “Correcting for Survey Nonresponse UsingVariable Response Propensity” disponibile on line.
Niccolò
Grazie a lei per la risposta e per lo spunto fornito, trattasi d’argomento interessante di cui una miglior comprensione potrebbe tornarmi utile in futuro
Achille
Grazie per le riflessioni proposte. Aggiungerei qualche nota, partendo da una nota amara, ma penso realistica. Nella previsione di eventi quali quelli indicati nell’articolo (vince/perde) una previsione basta sul sorteggio, quindi casuale, avrebbe ottenuto migliori risultati. Forse siamo di fronte a fenomeni molto complessi, in cui spostamenti marginali comportano esiti opposti. In questi casi previsioni costose cosa aggiungono?
Comunque all’interno della logica dei sondaggi ho degli interrogativi.
Il fatto che meno del 10% degli interpellati risponda penso sia un indizio significativo sull’attendibilità delle previsioni.
Se i sondaggisti non includono nel loro campione la variabile “non sincerità” mi sembrerebbero ingenui.
In periodi di grande turbolenza e confusione il numero di soggetti che modificano i loro orientamenti non sono pochi e non è detto che lo facciano in modo uniformemente distribuito. Sarebbe interessante sapere quanto è pesata questa dimensione nel campionamento.
In diverse ricerche i risultati sono stati fortemente influenzati dal canale adottato per raggiungere i soggetti da intervistare. Usare il telefono o il contatto diretto, il telefono fisso o il cellulare, modifica la tipologia di soggetti con cui si entra in contatto.
paolo bisol
La lettura del suo articolo mi ha chiarito molte cose, indipendentemente dalle difficoltà obiettive di un sondaggio -riassunte nell’intervento di Giannini. Mi rimane comunque il dubbio sul perchè si proceda in tale maniera, facendo finta di niente. In fin dei conti i sondaggi applicano metodi matematici, che di solito non indulgono sull’affidabiità di misura. Credo che si dica ancora che una media, senza indicazione dell’errore standad, non significa nulla.
Arthemis
a me sembra che, sia per Brexit che per elezioni USA, siano stati assimilati a “sondaggi” anche le opinioni degli analisti che, quelle sì, erano più simili a desideri che previsioni. I sondaggi, o almeno i loro andamenti, mi risulta che tutti assieme avessero “visto” avvicinamento e probabile sorpasso di Leave e Trump.
Davide
A mio modesto parere non credo proprio che gli analisti non facciano i campioni in maniera corretta o che servano ulteriori stratificazioni. Il problema principale credo siano, piuttosto, gli indecisi e le astensioni, che in passato erano più prevedibili e ora sono un mondo più variegato ed esteso.