I test Invalsi sono un momento imprescindibile nella valutazione dell’istruzione in Italia. Ma uno studio mostra che nelle scuole dove era prevista la presenza di un osservatore esterno il tasso medio di risposte esatte si riduce. Non solo nella classe monitorata, ma in tutta la scuola. Accade in particolare al Sud. Le spiegazioni possono essere diverse, ma in quelle classi è anche meno probabile che molti studenti diano risposte simili, come invece avviene spesso in presenza di comportamenti scorretti. È un effetto di cui tener conto nel valutare i risultati.
A partire dallanno scolastico 2009-2010 i test riguardano luniverso delle scuole primarie italiane. In quellanno, lInvalsi ha inviato un osservatore esterno in un campione rappresentativo di classi (e scuole) scelte in maniera casuale, con il compito di garantire il corretto svolgimento del test e di trasmetterne i risultati allIstituto.
In un recente lavoro abbiamo usato i risultati dei test del 2009-2010 condotti nelle classi seconda e quinta della scuola primaria per valutare se e quanto la presenza di un osservatore esterno nelle classi selezionate abbia influito sui risultati sia della classe sorvegliata (effetto diretto) sia delle altre classi nella stessa scuola in cui non cera un osservatore esterno (effetto indiretto). (1)
Abbiamo misurato leffetto totale della presenza dellosservatore esterno con la differenza nel tasso medio di risposte corrette tra classi selezionate e classi di scuole non selezionate (e quindi senza osservatore nella scuola), e leffetto indiretto con la differenza nel tasso medio di risposte corrette tra classi non supervisionate di scuole in cui losservatore esterno è presente in unaltra classe e classi delle scuole non selezionate. Leffetto diretto è dato dalla differenza tra effetto totale e effetto indiretto.
Riportiamo i nostri risultati nella tabella 1, che riguarda il test di matematica delle classi seconde della scuola primaria (i risultati per le quinte sono simili). (2) Troviamo che la proporzione di risposte corrette nelle classi con osservatore esterno è di circa 5 punti percentuali più bassa rispetto alle classi delle scuole senza osservatore esterno, per le quali la proporzione di risposte corrette è circa il 63 per cento. Troviamo anche che il tasso di risposte corrette nelle classi senza osservatore esterno delle scuole selezionate in cui losservatore è presente in unaltra classe è inferiore di circa un punto percentuale al tasso osservato nelle scuole non selezionate. Concludiamo che leffetto diretto della presenza di un osservatore esterno è di ridurre il tasso medio di risposte esatte di circa quattro punti percentuali (circa il 7 per cento del risultato medio nelle scuole non selezionate).
Quando disaggreghiamo per macro aree, troviamo che leffetto totale della presenza di un osservatore esterno è decisamente maggiore al Sud (circa 9 punti percentuali o il 13 per cento in meno rispetto ai risultati medi delle classi senza osservatore esterno) che al Nord (2,5 punti percentuali) e al Centro (4,5 punti percentuali). Leffetto indiretto varia tra 1,5 punti percentuali al Sud e poco meno di un punto percentuale al Nord. (3)
Tabella 1 Effetti dellosservatore esterno sul tasso medio di risposte corrette
Nota: la variabile dipendente è la percentuale di risposte corrette ottenuta dagli studenti della classe nel test di matematica per la seconda primaria. Lunità di osservazione è la classe, e le stime sono pesate per la dimensione della classe. Gli errori standard robusti sono riportati tra parentesi. *** p<0.01, ** p<0.05, * p<0.1.
La tabella 2 riporta gli effetti della presenza dellosservatore esterno sulla distribuzione dei risultati del test allinterno della classe, limitatamente al Sud Italia per ragioni di spazio. Notiamo come la deviazione standard, che misura la dispersione dei risultati del test allinterno della classe, sia significativamente maggiore nelle classi con osservatore esterno. Ciò suggerisce che in queste classi è meno probabile che molti studenti diano risposte simili, come spesso avviene in presenza di comportamenti scorretti.
Osserviamo anche come gli effetti della presenza di un osservatore esterno siano particolarmente significativi per gli studenti con risultati più modesti, che appartengono al primo quartile della distribuzione.
In presenza dellosservatore esterno, questi studenti hanno un risultato inferiore di circa il 20 per cento al risultato medio conseguito da studenti dello stesso quartile in classi di scuole dove il test è condotto in assenza di controlli esterni.
Una possibile interpretazione di questi risultati è che la presenza di un estraneo che controlla la corretta esecuzione del test influenzi negativamente lo stato psicologico degli studenti, condizionandone in senso negativo i risultati. Ci sentiamo di escludere questa spiegazione in base ai risultati delle domande motivazionali rivolte agli studenti delle quinte che hanno svolto il test. Da questi dati emerge semmai che gli studenti nelle classi con un osservatore esterno sono meno ansiosi, più calmi e motivati a concludere in modo positivo lesperienza.
Tabella 2 Effetti dellosservatore esterno sulla distribuzione delle risposte corrette. Sud Italia.
COME INTERVENIRE
Una interpretazione alternativa è che la presenza di un osservatore esterno possa avere influito sulla modalità di svolgimento del test. Infatti, secondo quanto riportato da Invalsi, le classi selezionate hanno dovuto svolgere il test in locali adeguati, possibilmente diversi dalle solite aule, al fine di garantire unadeguata sorveglianza corretta. Poiché spesso le aule espongono elaborati, disegni, cartelloni inerenti ai programmi scolastici svolti dalla classe, lo spostamento potrebbe avere privato gli alunni di alcuni supporti a cui sono abituati.
La terza spiegazione è che in assenza di un osservatore esterno siano prevalsi comportamenti scorretti o da parte degli studenti o da parte dei docenti, che hanno il compito di sorvegliare lo svolgimento del test e di comunicare i risultati a Invalsi. È possibile, ad esempio, che il desiderio di ottenere risultati positivi per la classe o la scuola abbia spinto alcuni insegnanti a non sanzionare comportamenti scorretti, oppure a modificare o suggerire risposte a domande formulate, a loro giudizio, in modo confuso o non facilmente comprensibile dai loro studenti.
La presenza di un piccolo ma statisticamente significativo effetto indiretto dellosservatore esterno sulle classi della stessa scuola senza osservatore può essere dovuta al fatto che i docenti in queste classi temono che la presenza di un osservatore esterno nella scuola possa implicare in qualche modo un controllo più attento del loro operato, sebbene losservatore non abbia alcun mandato di controllo al di fuori della classe in cui si trova. Oppure i docenti potrebbero voler evitare che dal test emerga una eccessiva eterogeneità nei risultati delle classi di una stessa scuola. In tal caso, ci sarebbe lincentivo ad alterare in misura minore i risultati nella classe in cui amministrano il test al fine di impedire scostamenti eccessivi rispetto ai risultati della classe con losservatore esterno.
I nostri risultati mostrano che la presenza di un osservatore esterno ha effetti importanti sulla classe direttamente monitorata ed effetti indiretti anche sulle altre classi della stessa scuola. Se lobiettivo del test è valutare le scuole sulla base dei risultati ottenuti, sembra chiaro che un ranking basato sul risultato medio di ogni scuola che prescinda dal fatto che solo in alcune classi e scuole è stato presente un osservatore indipendente non può essere considerato uno strumento affidabile. Dati gli attuali vincoli di bilancio e i problemi organizzativi, risulta improponibile estendere la presenza degli osservatori allintero universo.
Quello che invece si può fare è utilizzare metodi di stima come quelli descritti in questo articolo per correggere il punteggio medio conseguito dalle classi e scuole che non hanno avuto losservatore esterno. (4)
(1) Bertoni M., Brunello G e Rocco L, (2012), When the Cat is Near the Mice Will Play Less: The Effect of External Examiners in Italian Schools, ISER Discussion Paper, Osaka University.
(2) Dalle analisi sono esclusi i risultati delle scuole della Valle DAosta e della Provincia di Bolzano, in cui tutte le classi sono state soggette a supervisione esterna.
(3) Secondo le nostre analisi, le notevoli differenze tra diverse Regioni del paese nelleffetto totale della presenza di un osservatore esterno sono correlate al diverso capitale sociale, ma anche alle differenti condizioni economiche locali.
(4) Una proposta di correzione diversa per gli studenti di terza media, che non utilizza lassegnazione casuale di osservatori esterni alle classi, è discussa ad esempio in Invalsi, 2011, Esami di Stato I ciclo. Prime analisi.
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Professore ordinario presso il Dipartimento di Scienze Economiche e Aziendali dall’Università di Padova. Ha conseguito il dottorato in economia presso la Toulouse School of Economics. È un economista applicato che si interessa di temi di economia del lavoro, dell’istruzione e delle determinanti socio-economiche della salute.
Professore associato di politica economica all'Università di Padova. Nella sua ricerca si occupa di economia del lavoro, della salute e dell'istruzione.
Giorgio Tassinari
Cari colleghi, quale è la fonte dei dati che avete utilizzato?
bob
la statistica è una scienza che andrebbe usata con cautela, altrimenti bisogna credere alla sintesi molto significativa di Totò! A mio avviso è il test stesso non affidabile, ma almeno da parte vostra ci dovrebbe essere l’attenzione nel manipolare tabelle e dati. Altrimenti si scade sul banale su cui non voglio neanche intervenire, sperando che 20 anni di follia siano passati e si possa recuperare in fretta.
giovanna martellato
Sarebbe interessante inoltre conoscere quanto costano alla scuola italiana le consulenze delle società private che preparano i test, nell’ottica della cosiddetta ‘verifica delle spese’. una mamma di due bambini che frequentano le scuole pubbliche e pubblico dipendente
Methodologos
Non è la prima volta che Lavoce interviene sulla questione invalsi. Sempre con lo stesso approccio: quei test sono imprescindibili. Ora siamo giunti a denunciare gli imbroglioni (quasi tutti) che barano su quelle prove sacrosante. Insomma, la scuola è un corpaccio malato fittamente popolato di insegnati ignoranti e truffatori. Si potrebbe finalmente avere una voce differente? Un pensiero trasversale? Una posizione diversa? L’apertura di un dibattito? Ci può essere qualcuno che dice che i test Invalsi così come sono stati pensati, organizzati e gestiti sono loro il vero imbroglio? Che spieghi come sono il frutto di un approccio ideologico per nulla neutro? Almeno si crea un po’ di discussione vera e non finta. Se la Voce è un luogo di dibattito, che il dibattito ci sia e le opinioni contrarie non vengano abbandonate tra i commenti che pochi leggono.
Marco
Articolo molto interessante che appartiene alla categoria rara di coloro i quali scelgono di fare luce su fenomeni piuttosto che oscurarli. Nel merito – e da profano – mi sentirei tuttavia di aggiungere che se un test non si fa con un controlo esterno e criteri corretti (ambienti adeguati) non ha senso forse nemmeno farlo. L’incentivo che premia la scuola è disegnato in modo tale da spingere gli insegnanti a chiudere un occhio: non ci vuole un PHD a Chicago per capirlo… Ciò premesso sono contrario all’uso di parametri automatici applicati al Sud o sulle scuole peggiori, semplicemente perché l’uso di parametri automatici rafforza il senso di vittimizzazione, ed in questo modo allontana ancora di più dallo scopo ultimo per il quale un test sulle competenze può essere disegnato. Con una interpretazione più sottile si potrebbe anche immaginare che chi sa che verrà penalizzato, perché si suppone che abbia il vizio di copiare, non solo non avrà più alcun incentivo a non copiare… ma avrà un incentivo ancora maggiore a farlo. Sottoporre a molti test senza esserre in grado di assicurarne uno svolgimento corretto è quindi efficace? O sarebbe meglio fare pochi test, ma affidabili?
frank
I Test Invalsi non servono a niente e meno che mai a valutare gli insegnanti e la scuola. Il modello della scuola migliore è quello di un Paese che investe nella scuola, nel futuro, che non lascia la scuola alla deriva, che non lascia la scuola senza fondi. I migliori insegnanti sono quelli che si impegnano esclusivamente nel loro lavoro professionale che non hanno altri impieghi al di fuori della scuola (liberi professionisti) e che vengono retribuiti adeguatamente (vedesi Germania, Danimarca) e devono decidere con coscienza e professionalità della preparazione dei propri allievi (caratteristiche perse ormai nella realtà della scuola italiana in quanto si promuove tutti).
bob
Methodologos Lei ha centrato il problema. Valutiamo lo strumento altrimenti come dice marco questi quiz sono strumenti facilmente addomesticabili a proprio uso e consumo. Quello che deprime che oltre lo strumento tarabile spesso anche le parole o i risultati vengono esposti per avere poi lo stesso obiettivo (Nord-Sud, etc). allora non serve il diagramma serve un bel film di Totò
loreto ruscio
Nella scuola di mio figlio (seconda elementare Celano – Aq) ad inizio anno ci hanno fatto acquistare un testo con gli esercizi per le prove invalsi utilizzato periodicamente per allenare gli alunni al test ufficiale di fine anno. Mi sono sempre chiesto se la pratica possa condizionare l’esito delle prove (sicuramente in meglio) non consentendo una verifica naturale delle capacità di apprendimento degli alunni e di insegnamento delle maestre.
harmless_economist
Non sarebbe possibile elaborare degli algoritmi, tipo quello usato da Levitt per le scuole di Chicago, per individuare quegli insegnanti che hanno più probabilmente barato?
Alberto Boiti
Non sono coinvolto nella scuola ma conosco diversi insegnanti, principalmente della primaria ma immagino che ce ne siano anche negli altri gradi, che intelligentemente somministrano in maniera corretta i test e poi, con pazienza ed umiltà ne analizzano i risultati per capire dove e come migliorare il proprio insegnamento.
I test sono certamente migliorabili e, mi dicono, sono migliorati ma non averli è una follia.
Sono convinto che le maggiori contestazioni e scorrettezze arrivino proprio dagli insegnanti peggiori, quelli che temono il confronto, quelli con il “mansionario” in mano e quelli che si crogiolano nel mito che basti buttare più risorse in qualsiasi campo per migliorare il risultato senza mai fare un po’ di esercizio critico.
Giovanni
Qualcuno potrebbe spiegarmi perché all’Invalsi sia stata assegnata una sede come villa Falconieri? Non bastavano alcune stanze in qualche anonimo palazzo? Quante persone e per quanto tempo hanno lavorato all’elaborazione dei quiz? E’ stata misurata la loro produttività?
luca cigolini
1. può funzionare? è nato con tutt’altro scopo! l’anno scorso è stato perfino piegato a strumento per integrare la valutazione finale degli alunni di terza media, con risultati inevitabilmente fuorvianti. 2. gli alunni devono essere valutati dai docenti, i docenti e le singole scuole da valutatori esterni. con i test invalsi ciò non avviene, al punto che le scuole che agiscono correttamente risultano penalizzate rispetto alle altre. è come se chiedessimo agli studenti di autogestire un compito in classe su cui verranno valutati: non bareranno soltanto i più seri ed i meglio preparati!
Miss Mag
Sono insegnante in una scuola secondaria e mi è stato chiaramente chiesto di barare ai test Invalsi, cosa che non intendo assolutamente fare! Confermo che è prassi soprattutto in classi in cui l’istituzione scolastica ha consapevolezza di aver commesso errori.
Marco Depolo
Un bell’esempio di articolo corretto senza essere leggibile solo da specialisti, complimenti. Spero si possano leggere, sulla scuola e sull’università, molti altri contributi che presentano dati sui risultati del sistema dell’istruzione e discutono di possibili interpretazioni alternative. Così, tanto per capire di più e non assecondare il costume secondo cui “il problema è ben altro”. Avrei voglia di un paese più ricco di passione civile, dove cioè dissensi e consensi si confrontano anche con i dati di realtà (e li preferiscono ai pre-giudizi).
Paolo R.
Un articolo molto interessante, una comparazione con la metodologia dei test Pisa potrebbe integrare l’articolo dando ulteriori spunti di discussione. Faccio notare che attualmente i problemi di misurazione dei test Invalsi sono decisamente peggiorati, perché é in atto una campagna nazionale da parte di associazioni studentesche, come l’UDS, e insegnanti, per boicottarli. A questo punto sarà interessante studiare l’effetto della variabile “attivismo politico” sui risultati, ma in ogni caso gli invalsi avranno perso una qualunque rilevanza come indice di qualità di una scuola.
Maurizio
Mi sorprende la normalità con cui si afferma che i docenti barano sui test; veramente sorprendente è poi la mancanza di qualunque sanzione. Che ne dite di partire dal licenziamento in tronco fino ad un risarcimento del danno? Fino a quando i comportamenti irregolari non saranno sanzionati il Paese rimarrà bloccato anzi andrà sempre peggio. Se il prof trucca i conti perché non lo può fare l’Assessore, il dirigente dell’ente locale, il Ministro e cosi via? Iniziamo a licenziare i disonesti.
Nonno Vincenzo
Se si usa un qualsiasi test per valutare una scuola o un team di insegnanti dando valore al confronto tra i risultati di un gruppo e gli altri, è abbastanza probabile che qualcuno sia tentato di “barare”. Il compito della scuola è ottenere allievi più preparati rispetto alle altre o non piuttosto di migliorare gli allievi che ha in modo più efficace delle altre? A mio avviso i test andrebbero fatti all’inizio di ogni ciclo e poi ogni anno, ed il punteggio basato sui miglioramenti ottenuti; a quel punto avrebbe senso confrontare il punteggio di un gruppo con quello degli altri. La cosa che non andrebbe mai fatta (e mi pare il precedente ministro ci abbia provato) è di usare il test per valutare il singolo allievo.
Alessandro Balestrino
Sono in generale d’accordo che la scuola debba essere valutata in qualche modo, e in linea di principio i test Invalsi potrebbero, magari limati e aggiustati, funzionare. Mi sembra però ormai che abbiano perso ogni credibilità, che siano osteggiati e boicottati con tale pervicacia che la loro attendibilità sia quantomeno dubbia. La strada indicata dagli autori potrebbe essere utile, ma per una pezza che si mette chissà quante altre falle si aprono. Dovremmo, forse, ripartire da zero e creare un nuovo sistema di valutazione, più condiviso e che non sia sentito come imposto. Sui test Invalsi pesano una storia infelice, l’impopolarità del precedente ministro nel mondo scolastico, e anche, va detto, l’errore di cercare di usarli per troppi scopi contemporaneamente (valutare la scuola, l’alunno, gli insegnanti …): ad ogni obiettivo dovrebbe corrispondere uno strumento, per evitare conflitti. Ad esempio è chiaro che se l’alunno riceve un voto potrebbe tentare di copiare, se riempie un foglio anonimo per finalità statistiche, no.
lubetano
Due domande dalle cui risposte dipende la validità dell’analisi:
1) Quali sono gli intervalli di confidenza degli effetti rilevati? La significativita statistica del p-value non accompagnata da intervalli di confidenza che non includano l’ipotesi nulla ha scarsa o nulla significatività sostanziale.
2) Si hanno elementi di giudizio dai quali si possa ricavare che l’assegnazione della variabile di trattatamento (presenza/non presenza dell’osservatore esterno) sia avvenuta in modo casuale?.
Enrico Tacchella
Prescindo dal valore intrinseco delle prove Invalsi (può darsi che sia una buona idea valutare in quel modo, ma i quesiti sono spesso assai discutibili e comunque limitati), ma se si crede che siano importanti non si possono fare a costo zero, bisogna investire il necessario per un’organizzazione attendibile. E si dovrebbe dire a che cosa servono. Il ministero dice che hanno una funzione solo di servizio e poi scrive a Bruxelles che li userà per ristrutturare le scuole: è ovvio che se bara il ministro barano anche le scuole. Credo che l’Invalsi voglia che le scuole barino (per sbandierare risultati): la procedura sembra concepita apposta perchè sia facilissimo farlo. Risulta che anche i testomani anglosassoni, viste le ricadute pesanti, invitino gli alunni da cui ci si aspettino risultati inferiori ad ammalarsi proprio quel giorno (un elegante e potente modo di barare senza barare). I risultati relativi a due classi della scuola dove lavoro risultano spediti all’Invalsi, ma mai arrivati: però i dati (a scanso di equivoci molto buoni come nelle prove Pisa) sono stati pubblicati senza batter ciglio: una conferma dell’attentibilità statistica del “prestigioso” Istituto?