Le prove Invalsi sono in alcune aree inaffidabili perché i risultati derivano da comportamenti scorretti. Se nella scuola primaria sono spesso gli insegnanti a dare una mano ai loro allievi, alle medie sono gli studenti che cercano di copiare le risposte dai loro compagni. In entrambi i casi si tratta di fenomeni di compensazione. Si bara di più nelle scuole con una situazione meno privilegiata o dove si registrano più difficoltà nell’apprendimento della disciplina. Una soluzione potrebbe essere quella di adottare un modello di valutazione basato sul progresso cognitivo.
Il fenomeno del cheating alle prove Invalsi è stato ben messo in luce in due interventi pubblicati di recente su lavoce.info. Uno studio condotto dalla Fondazione Giovanni Agnelli permette un ulteriore approfondimento sui fattori che possono influenzare la tendenza degli studenti a copiare nei test, oppure degli insegnanti ad aiutarli. (1) Alcuni di questi fattori hanno un carattere compensativo: sono gli studenti delle scuole con una situazione meno privilegiata e con più difficoltà nellapprendimento della disciplina a essere aiutati di più, oppure a ricorrere in maggior misura a comportamenti scorretti.
CHI BARA NELLA PRIMARIA. E CHI ALLE MEDIE
I livelli complessivi di apprendimento in alcune scuole e in alcune aree sono ampiamente sovrastimati per i comportamenti scorretti tenuti nel corso delle prove Invalsi. Il cheating può assumere forme diverse (copiatura, suggerimento della risposta esatta da parte del docente, aggiustamento mentre si compilano i fogli risposta, eccetera) ed è difficile averne una misura certa. Se applichiamo una definizione restrittiva, possiamo considerare sospetto il test di uno studente che presenti la stessa identica sequenza di risposte del test di un altro studente nella stessa classe. Nelle figure 1 e 2 sono riportate le distribuzioni delle performance in matematica degli studenti con test sospetto e di quelli con test non sospetto al termine della scuola primaria e al termine della scuola secondaria di primo grado. È evidente che la media dei risultati degli alunni che adottano comportamenti sospetti è significativamente più alta rispetto a quelli con comportamenti normali.
Anche la distribuzione della performance degli studenti sospetti varia significativamente fra i due gradi e probabilmente nasconde strategie differenti di cheating. Come si osserva nella figura 2.b, il cheating nella III classe della scuola media dove il test Invalsi è una prova molto importante, con un peso significativo perché contribuisce a definire il voto allesame di Stato nasce probabilmente dagli studenti stessi, tantè che anche i risultati di quelli che hanno copiato tra di loro, pur non sapendo se le risposta sia corretta, seguono una distribuzione (relativamente) normale. Di converso, il cheating nella scuola primaria sembra essere incoraggiato sistematicamente e in modo coordinato dagli insegnanti (ad esempio, utilizzando la prova come sostegno allapprendimento e correggendo i risultati in modo collettivo), facendo sì che i risultati si spostino omogeneamente verso lalto e non seguano più una distribuzione di probabilità continua (figura 1.b).
DIVARI TERRITORIALI
Le mappe della figura 3, che mostrano la percentuale delle sequenze identiche di risposte nella stessa classe per provincia, evidenziano come la tendenza al cheating sia maggiore in Sicilia e nelle Regioni del Sud.
Nella tabella 1 presentiamo i risultati della stima di un modello logistico sulla probabilità di avere un test sospetto. In tutti i gradi la probabilità è molto superiore al Sud e nelle Isole rispetto alle altre aree del paese. Ad esempio, un studente del meridione ha, rispettivamente per la II e la V classe della scuola primaria, una probabilità di 11 e 15 volte superiore di “barare” di uno studente settentrionale. La tendenza è crescente a mano a mano che si sale lungo i gradini del sistema scolastico.
OSSERVATORI IN CLASSE
Delleffetto dissuasivo della presenza di osservatori esterni che vigilano sul corretto svolgimento delle prove hanno già parlato Marco Bertoni, Giorgio Brunello e Lorenzo Rocco. (2) Lo studio della Fondazione Agnelli conferma in larga parte le loro conclusioni sulla scuola primaria, ma aggiunge nuove informazioni sugli effetti diretti (ovvero quando gli osservatori sono presenti nella classe) e indiretti (quando sono presenti nella scuola ma non nella classe) nella secondaria di primo grado. Come mostrato in tabella 1, se prendiamo come riferimento le classi con osservatore, vediamo che gli studenti che non hanno alcun controllo hanno una probabilità di cheating fino a tre volte superiore; anche quelli che si trovano in una classe senza osservatore di una scuola campionata , adottano comportamenti scorretti, sebbene in misura minore. Ma torna leffetto high stake nella prova di terza media: se la probabilità di copiatura rispetto a una classe monitorata nella scuola primaria è infatti attenuata nelle classi con supervisione indiretta (restando comunque due volte superiore a quelle con osservatore), in terza media la probabilità è invece praticamente la stessa che nelle classi delle scuole non monitorate. Il risultato è un ulteriore indizio della diversa origine del cheating. Se è vero che nella scuola primaria sono gli stessi insegnanti ad agevolare gli studenti, la presenza di un osservatore presso la scuola avrebbe leffetto indiretto di indurli a far sì che i risultati delle classi non campionate non appaiano troppo dissimili rispetto a quelli delle classi monitorate. Nelle scuole secondarie di I grado, dove invece sono soprattutto gli studenti a cercare di avvantaggiarsi copiando, la presenza di un osservatore esterno in unaltra classe della scuola non funge da deterrente efficace.
CARATTERISTICHE INDIVIDUALI E COMPOSIZIONE SOCIALE DELLA SCUOLA
Se si guarda al profilo socio-demografico degli studenti e al contesto scolastico si scopre che il cheating sembra avere un ruolo di compensazione degli svantaggi iniziali, sia nella primaria che nelle medie.
I risultati evidenziano come nelle scuole che mostrano una composizione sociale bassa, aumenta il rischio di comportamenti opportunistici. Si potrebbe presumere che queste scuole tendano ad aiutare di più nello svolgimento delle prove, ma potrebbe essere altresì il caso che siano gli studenti, in questi contesti socialmente svantaggiati, ad assumere più frequentemente comportamenti scorretti. (3)
Un altro fattore che determina una maggiore probabilità di copiare è il genere: le ragazze hanno una probabilità di circa 1,5 volte superiore dei ragazzi di “barare” al test di matematica. Sia che il cheating dipenda dagli insegnanti di scuola primaria, sia che la responsabilità vada attribuita agli studenti di scuola media, siamo di nuovo davanti a un fenomeno di compensazione, poiché le ragazze ottengono risultati in matematica sistematicamente inferiori rispetto ai ragazzi. Se allinizio del primo ciclo di studi (seconda primaria) non si notano differenze nella probabilità di cheating tra studenti italiani e studenti di origine straniera, entro la fine della primaria gli studenti italiani mostrano una tendenza al cheating del 35 per cento più alta. La tendenza si rafforza entro la fine della scuola media. È difficile dire se si tratti di un fattore culturale o se invece gli studenti italiani non siano facilitati, a livello relazionale, nello sviluppare strategie collettive di cheating con i loro compagni.
BATTERE IL CHEATING COL CONTRASTO DINTERESSI
Inviare un controllore esterno in tutte le classi è ovviamente unoperazione improba e finanziariamente non sostenibile se gestita dal centro. Ma se le scuole fossero chiamate a rispondere non delle performance assolute dei loro studenti, bensì di quelle relative, in unottica di guadagno cognitivo (valore aggiunto), il problema potrebbe trovare una facile soluzione nel primo ciclo scolastico. Adottare un modello di valutazione basato sul progresso cognitivo, cioè sulla differenza tra i livelli di apprendimento degli studenti in uscita da una scuola e i loro livelli in ingresso, consentirebbe infatti di giocare sul contrasto di interessi tra gli insegnanti del livello primario e quelli del livello secondario di I grado nellambito degli istituti comprensivi. I docenti della scuola media avrebbero tutto linteresse a evitare che i livelli di apprendimento misurati in uscita dalle scuole elementari siano sovrastimati a causa del cheating poiché questo renderebbe loro difficile creare valore aggiunto alle medie. Dunque, sarebbero i controllori ideali per i test dei livelli inferiori. Impiegare le risorse disponibili localmente libererebbe inoltre i fondi necessari a sistematizzare i controlli al livello superiore.
Dati
Fattori di cheating nella scuola primaria e secondaria di I grado (Tabella 1). Download file excel.
(1) Ferrer-Esteban, G. (2012). Cheating to the test in the Italian standardized assessment system: rationale and incentives. Working Paper, (in press). Fondazione Giovanni Agnelli
(2) Non solo nell’articolo su lavoce.info, vedi anche Bertoni, M., Brunello, G. e Rocco, L. (2012). When the cat is near, the mice wont play: the effect of external examiners in Italian schools. ISER Discussion Paper, Osaka University.
(3) Per la classe terza della scuola secondaria di I grado non è disponibile linformazione relativa al background sociale degli studenti. Quindi abbiamo imputato il valore medio della variabile Escs (status socioeconomico e culturale) degli studenti della I classe di secondaria della stessa scuola
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Claudio Della Ratta
Il vero problema non è forse controllare se si bara (e quindi controllare quello che realmente i ragazzi sanno) è fare in modo “che sappiano”. Nella scala dei valori è maggiormente importante che si acquisiscano le conoscenze rispetto alla misuraizone delle stesse (certo una cosa non è in contrapposizione con l’altra) Indubbiamente l’invalsi è uno strumento di misurazione della preparazione e non si occupa di trasmettere le conoscenze. Purtroppo la scuola, in generale, sembra sia carente nella preparazione. Questo emerge chiaramente dalla diversità di vedute tra chi predispone i test (che quindi dovrebbe avere ben chiaro il grado di preparazione potenziale dei ragazzi – e qui mi riaggancio a quanto scritto sopra in merito alle misurazioni) e il reale grado di conoscenza trasversale dei ragazzi, che troppo spesso non è all’altezza delle attese. Due sono i casi: o le attese sono troppo elevate o il grado di conoscenza dei nostri ragazzi non è appropriato.
Giupperallo
Lavoce.info ha dedicato ben due articoli al fatto che nei test invalsi si bara, “più al sud” e così mettiamo la coscienza al posto. Sono (ero) un affezionato lettore ( e sostenitore) di questo portale, gli interventi sulla “scuola” sono rarissimi e non riguardano mai la dispersione scolastica, l’edilizia fatiscente, l’abbandono dei docenti per i quali non sono mai previsti interventi di formazione. Quei pochi interventi riguardano solo ed esclusivamente le valutazione dei ragazzi e dei docenti, ma prima delle valutazione viene la formazione. Buona fortuna.
Savino
Mi risulta che il test di quest’anno prevedesse la codificazione di dati rilevanti da un biglietto ferroviario. E’ inutile conoscere tutto lo scibile teorico se poi i ragazzi non sono messi nelle condizioni di sapersi destreggiare in queste situazioni di vita concreta.
Carlo Turco
Teoricamente appare convincente la proposta riguardante il livello cognitivo, per mettere in contrasto gli interessi degli insegnanti delle secondarie con quelli delle primarie. Mi risulta meno chiaro come, in concreto, i primi potrebbero trasformarsi in efficaci controllori dei secondi (e non vorrei che, come risultato finale, si incentivasse la tendenza a barare nei risultati finali della scuola secondaria…). Certamente però c’è da chiedersi: possibile che non sia possibile comminare sanzioni esemplarmente convincenti laddove gli insegnanti si fanno complici (o promotori) del barare? In modo, cioè, da migliorare apprendimento e processi cognitivi sulla inderogabilità dell’applicazione delle regole?
Luca
Un piccolo commento, alla fine di questa tornata del test invalsiin terza media. Sembra che quest’anno, anche a detta dei docenti, la parte di matematica fosse particolarmente lunga e difficile e ben pochi alunni sono probabilmente stati in grado di risolverla esattamente (penso assai meno dell’un per cento, anche nelle scuole migliori). Prendendo per buono questo dato immagino che vi potesse essere dell’intenzionalità nell’avere il test abbastanza difficile: dopotutto se fosse troppo facile non sarebbe in grado di misurare le performance delle scuole (e degli alunni) migliori per ovvi motivi di “saturazione a fondo scala”. Paradossalmente però, questo intento produce come effetto l’abbassamento automatico del voto d’esame e agisce come un vero e proprio bias. Dal punto di vista del rilevamento statistico il prezzo da pagare è piccolo, dal punto di vista di chi affronta l’esame il prezzo da pagare è un po’ più elevato.
Luigi Calabrone
Negli anni sessanta del secolo scorso mia madre, insegnante di liceo in Lombardia, veniva regolarmente comandata in Lombardia come “commissaria” agli esami di maturità. Mia madre, e i colleghi commissari svolgevano il loro compito con molto impegno, rendendosi conto che il loro lavoro – in sostanza, di controllo dell’operato dei colleghi locali – giovava a tener alto il livello dell’insegnamento e valorizzava la loro professione. In seguito, mia madre si trasferì a Napoli, seguendo il lavoro del marito. La prima volta che fu comandata come commissaria in Campania, i colleghi, all’inizio del lavoro, le fecero il seguente discorso: “Siamo qui, unicamente, per aiutare questi poveri ragazzi a superare questi esami e a conseguire il diploma, aiutando le loro famiglie. Lo Stato li vuol fregare, non concedendolo; noi siamo qui per fregare lo stato, agevolandoli nel lecito ed anche nell’illecito”. Mia madre, in seguito, non volle più partecipare a queste allegre commissioni. Fino a che, nei pubblici funzionari, sarà diffusa questa mentalità, aspettiamoci che l’Italia abbia la stessa sorte della Grecia.
Marcello Battini
Trovo eccellente l’idea di sfrutare il conflitto d’interessi per aiutare una corretta somministrazione dei test Invalsi, ma, a condizione che un correto comportamento del personale docente comporti un vantaggio economico e normativo per gli stessi. Il controllo da parte di soggetti esterni potrebe coinvolgere docenti in quiescenza che, in qualche modo, potrebbero continuare ad avere rapporti con il mondo del lavoro, mettondo a disposizione le loro esperienze che, altrimenti, si rivolgono altrove. Faccio presente, per esperienza personale, che l’abitudine a copiare è molto diffusa anche in occasione di prove d’istituto e che, per disgrzia, molti insegnanti favoriscono questa diffusa pessima abitudini. In questo caso, dovrebbero essere previste delle punizioni, anche di tipo penale, nei confronti di chi “bara”. Cordialità.
&
Domande veloci: Ma, dal punto di vista di uno studente, a cosa serve il Test? Esistono degli “incentivi” a barare? Oppure si tratta di un fattore psicologico… Se – come sembra dal tuo studio – possiamo stimare la probabilita’ di “cheating”, possiamo allora anche purificare i risultati del test eliminando il “bias”? Oppure no? Sembrerebbe che la prob. of cheating sia correlata con misure di social capital, economic development, ecc. Hai provato a vedere se sia effettivamente cosi?
Marco L.
Egr.Professor Esteban il suo articolo e’ l’ennesima conferma di un Paese virtualmente unito ma in realta’ diviso “de facto” in tre macroregioni (aveva ragione il Professor Miglio) Se analizziamo gli indici reali nei vari campi sociali e lavorativi del nostro Sud, ovviamente a parte qualche rara eccezione ,c’e’ da piangere. Non e’ razzismo o altro ,e’ una mera lettura di dati insindacabili e purtroppo per vari motivi accettati dagli autoctoni presenti in quell’area geografica. Manca una coscienza ed un’educazione civica dei piu’ (non tutti per fortuna, ma sono soggiogati)ed e’ un processo lento e auspicabile a cominciare dalla famiglia e dalla scuola. Ipocrisia,presunzione ed altro dilagano per opportunismo e non per necessita’, “de gustibus non disputandum est”.
Emma
Penso che se le prove Invalsi di III media non facessero parte della valutazione d’esame, gli studenti sarebbero meno incentivati a copiare. Inoltre le prove non tengono conto della maturazione e dei progressi raggiunti dai singoli studenti, mentre lo spirito della valutazione nella scuola dell’obbligo è da intendere in questo senso. I risultati dell’Invalsi dovrebbero rientrare in un processo di valutazione delle scuole e non degli studenti.