Da quest’anno, un ottimo voto alla maturità permette di aggiungere punti ai risultati conseguiti nei test di ingresso alle facoltà a numero chiuso. Ma come evitare le ingiustizie? Meglio basarsi sulla performance assoluta dello studente o su quella relativa ai suoi pari? O affidarsi solo ai test?
VOTO DI MATURITÀ E TEST D’INGRESSO
A partire da quest’anno, l’ex ministro dell’Istruzione Francesco Profumo ha previsto un “bonus-maturità’’: fino a un massimo di 10 punti, da attribuire ai diplomati che abbiano conseguito almeno un punteggio di 80 centesimi nell’esame finale, che vanno a sommarsi ai punti conseguiti nei test di ingresso per i corsi universitari a numero chiuso.
Il bonus, però, viene attribuito allo studente sulla base della sua posizione rispetto ai percentili dei voti all’interno della sua scuola: il fatto che uno studente sia nel 95mo percentile indica per esempio che appartiene al 5 per cento degli studenti con punteggi più alti dell’istituto. Il bonus viene quindi assegnato sulla base dei risultati relativi degli studenti rispetto a quelli dei pari nelle stesse scuole. Il criterio potrebbe dunque far sì che studenti della stessa città, ma provenienti da scuole diverse, pur con lo stesso voto di diploma conseguano bonus di entità diversa: questa osservazione ha suscitato una certa dose di critiche, per il rischio di ingiustizie che ciò genererebbe. Ma un bonus che riflettesse delle “performance assolute” e non relative. ovvero un bonus uguale per tutti gli studenti con lo stesso punteggio di diploma a prescindere dalla scuola da cui provengono, basato ad esempio sui quantili calcolati a livello nazionale, offrirebbe forse la garanzia di essere “giusto”?
I TEST STANDARDIZZATI
Mettiamoci nei panni di un’università che voglia selezionare gli studenti nei corsi a numero chiuso e vediamo quali sono le opzioni disponibili.
Una possibilità è certamente quella di utilizzare dei test standardizzati. Hanno il vantaggio di essere gli stessi per tutti coloro che li sostengono, e pertanto consentono di valutare gli studenti utilizzando lo stesso “metro” di misura. Tuttavia, presentano anche dei limiti. Innanzitutto sono costosi, soprattutto se diversi test devono essere utilizzati in diverse discipline. E dato che non è possibile testare tutte le conoscenze in possesso dagli studenti utilizzando un numero limitato di quesiti e che il risultato degli studenti nei test potrebbe essere influenzato da fattori di breve-periodo (ad esempio lo stato psico-fisico durante il test), molte università ritengono utile integrarli con un bonus calcolato sulla base del voto di diploma. Bonus che può essere attribuito sulla base della performance assoluta dello studente oppure sulla base della sua performance relativa.
BONUS BASATO SULLA PERFORMANCE ASSOLUTA
Il bonus basato sulla performance assoluta è quello richiesto dai critici del “premio” pensato da Profumo. In base a questa idea, gli studenti con lo stesso voto di diploma dovrebbero conseguire lo stesso bonus (al massimo con una correzione relativa alla città o alla regione di residenza). Il criterio di uguaglianza formale rispetterebbe anche un criterio di uguaglianza sostanziale? Nell’ambito dell’economia dell’istruzione, ma anche di altre discipline (sociologia, pedagogia), ci si è già ampiamente occupati del fenomeno della cosiddetta grade inflation, o “inflazione dei voti”. È la tendenza che potrebbero avere certi docenti o scuole a attribuire voti più o meno alti a studenti con lo stesso livello di conoscenze o preparazione. Il fenomeno è stato già osservato nei dati del Programme for International Student Assessment dell’Ocse.
Il vantaggio offerto dal test Pisa è che è basato su un test standardizzato che misura le competenze degli studenti. Pur con i suoi limiti, si tratta di un raro caso in cui si ha la possibilità di confrontare tra scuole e regioni la corrispondenza tra le valutazioni interne degli insegnanti e il livello di competenze degli studenti. Nella tabella 1 abbiamo riportato i livelli medi di capacità in lettura (reading literacy) degli studenti misurato in Pisa 2009 corrispondenti a diverse fasce di voto attribuito agli studenti dai propri insegnanti. Sono state riportate le medie per tipo di scuola e per macro-area geografica. È evidente che alla stessa fascia di voto corrispondono livelli di competenze molto diversi. Negli istituti tecnici e professionali addirittura le competenze medie di coloro che riportato voti di 9 e 10 risultano più basse di quelle di coloro che hanno valutazioni di 7 o 8 al liceo (il fenomeno è trainato dal Centro e Sud), il che mostra chiaramente che in certe scuole gli insegnanti sono più generosi nei voti (grading standard). Un bonus uguale per tutti non offrirebbe pertanto sufficienti garanzie di “giustizia”.
Tabella 1. Medie dei punteggi Pisa in lettura (2009) per tipo di scuola, classe di voto e macro-area
BONUS BASATO SULLA PERFORMANCE RELATIVA
È da qui che chiaramente trae origine la soluzione introdotta da Francesco Profumo. Un bonus basato su performance assolute potrebbe creare incentivi avversi per le scuole, che avrebbero l’interesse ad alzare le valutazioni dei propri studenti per aumentarne la probabilità di accettazione nei corsi a numero chiuso. Ciò produrrebbe necessariamente un gonfiamento del livello dei voti (grade inflation) a livello di intero sistema scolastico, perché nessuna scuola vorrebbe rimanere indietro. Se il il bonus è basto sulla performance relativa, l’incentivo viene a mancare: anche alzando i voti di tutti gli studenti (nella stessa misura), la posizione relativa all’interno della scuola non cambia. Vediamo allora, sempre attraverso i dati Pisa, se questo criterio garantisce una migliore corrispondenza tra ranking dello studente e livello di conoscenze. Nella figura 1 è stata riportata la distribuzione dei punteggi Pisa per livello di scuola per il quartile più elevato del voto attribuito dai docenti misurato a livello di singola scuola. Abbiamo considerato solo le scuole con almeno dieci studenti. Idealmente vorremmo una distribuzione molto concentrata (ovvero poche differenze tra scuole), ma la figura 1 mostra che non è così, neppure all’interno delle quattro macro-aree geografiche. Quindi anche questo criterio preso da solo non funziona.
Figura 2. Distribuzione dei punteggi medi Pisa (2009) in lettura per scuola, per gli studenti nel quartile più elevato del voto degli insegnanti
IL “PECCATO ORIGINALE”
L’errore principale del bonus così come pensato dall’ex-ministro Profumo è che si basa sull’ipotesi che gli studenti si distribuiscano in maniera casuale tra le diverse scuole. Soltanto in questo caso infatti degli indicatori di performance relativi misurano anche in media la performance assoluta degli studenti. Ciò evidentemente non funziona in un sistema come quello italiano, differenziato per indirizzi, in cui gli studenti scelgono diversi tipi di scuola (licei, istituti tecnici, istituti professionali) a seconda del loro livello di abilità. In questo caso, usare degli indicatori basati sulla performance relativa ha degli esiti paradossali, per cui studenti “bravi” che hanno compagni altrettanto “bravi” (ovvero con punteggio di diploma elevato) potrebbero essere svantaggiati nell’attribuzione del bonus.
Nelle analisi sopra riportate abbiamo usato a scopo esemplificativo i dati Pisa, tuttavia a risultati analoghi si arriva utilizzando altre misure di performance scolastica. In un recente studio che ho condotto per la Fondazione Cariplo insieme a Daniele Checchi e Antonio Filippin, si è cercato di costruire indici di performance esterna delle scuole secondarie superiori lombarde sulla base dei risultati conseguiti dagli studenti che provenendo da queste scuole si sono iscritti agli atenei lombardi. (1) Abbiamo considerato quali indicatori di risultato scolastico il numero di crediti conseguiti e il voto medio negli esami universitari pesato per il numero di crediti. L’analisi mostra che voto di diploma, posizione relativa dello studente all’interno della scuola (percentile di voto di diploma) e punteggio nel test di ingresso contribuiscono tutti a spiegare in maniera indipendente il successo degli studenti a livello di studi universitari. (2)
In conclusione, se proprio devono essere introdotti correttivi al punteggio dei test di ingresso, questi dovrebbero prendere in considerazione sia il voto di diploma che la posizione relativa degli studenti all’interno della propria scuola. Bonus basati su uno solo dei due elementi rischiano di introdurre più ingiustizie di quelle che intendono rimuovere.
(1) Bratti, M., Checchi, D. e Filippin, A. (2011), “Valore di segnalazione del voto di diploma e grading standard nelle scuole secondarie superiori”, in Rapporto per la Fondazione Cariplo. Uno studio analogo esiste anche per il Piemonte: De Simone, G., Monastero, B. e Stanchi, A. (2009), “Un esercizio di valutazione esterna: come le università piemontesi giudicano (indirettamente) le scuole della Regione”, Programma Education Fondazione Giovanni Agnelli, Working Paper n. 18.
(2) Aumenti di una deviazione standard nel punteggio del test di ingresso e nel voto di diploma sono associati significativamente ad aumenti di una e di mezza unità (circa), rispettivamente, nel voto medio pesato per i crediti. L’aumento di uno nel percentile dello studente è associato invece a un aumento di mezza unità nello stesso indicatore di performance.
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Professore Ordinario di Economia Politica presso il Dipartimento di Economia Management e Metodi Quantitativi (DEMM) dell’Università degli Studi di Milano. Si occupa prevalentemente di ricerca empirica su temi di economia del lavoro, economia dell’istruzione, economia della popolazione ed economia sanitaria, con particolare riguardo alla valutazione delle politiche. Nel 2016-2018 ha svolto funzioni di Grant Holder presso il Competence Centre on Microeconomic Evaluation (CC-ME) della Commissione Europea fornendo supporto alla valutazione delle politiche pubbliche. E’ attualmente research fellow dei network Institute of Labor Economics (IZA), Global Labor Organization (GLO) e Centro Studi Luca d’Agliano (LdA). Ha ottenuto un Ph.D. in Economics all'Università degli Studi di Ancona e un Ph.D. in Economics alla University of Warwick.
Luigi Oliveri
Il vero punto debole è il test di ingresso ed il sistema a numero chiuso.
L’Università deve fare la selezione seria definendo un rigoroso percorso valutativo a scadenza e a risultati definiti. Solo chi lo supera va oltre nello studio.
Il muro eretto a monte è di per se poco equo, disincentinvante e ad elevato rischio di inefficacia.
Se non ci si convince che occorre rinunciare al filtro artefatto alle iscrizioni, le storture evidentissime dei test non saranno mai superate.
max
Tra l’altro non si capisce perché condannare a vita uno studente con problemi impedendogli poi di riscattarsi all’università.
Stefano Zucca
Sono un ricercatore della I Facoltà di lngegneria del Politecnico di Torino, che ogni anno richiede alle future matricole di affrontare un test di ingresso. Fino a qualche anno fa, era un test orientativo, dallo scorso anno è un vero e proprio test di ammissione.
Ricordo che durante l’incontro di presentazione del test da parte del Vice-Rettore per la Didattica, ci fu mostrato come non ci fosse alcuna correlazione tra il voto di maturità degli studenti iscritti negli ultimi anni e la durata dei loro studi. Mentre esisteva una buona correlazione tra il punteggio ottenuto al test di ingresso e tale durata.
Massimiliano
Nel nostro studio abbiamo analizzato la performance degli studenti nel primo anno di corso (il voto medio pesato per i crediti ed il numero di crediti conseguiti) usando l’analisi di regressione. Il nostro campione include anche un Politecnico. E’ possibile che per i laureati della sua Facolta’ il periodo impiegato a concludere gli studi non sia associato significativamente al voto di diploma. E’ anche vero che la rapidita’ del percorso formativo non e’ necessariamente l’unico indicatore di performance rilevante nel mercato del lavoro.
umbeD
Perchè non usare per il primo e/o semestre corsi tipo edx.org o coursera.org ?
Poi test di autovalutazione e quindi, per chi se la sente test in presenza.
Solo questo garantisce la continuazione del percorso universitario nella facoltà scelta.
Umbe
Renzo Rubele
I Cattolici e i Borghesi del 1921-22 erano gente più seria, perché chiesero ed introdussero l’Esame di Stato: e per loro le parole avevano un senso preciso. Significava esame uguale per tutti, e quindi valutazione uguale per tutti (esame “criterion-based”). Purtroppo erano anche idealisti (e.g. Croce atque Gentile docebant) e si dimenticarono di specificare in concreto i “criteri di valutazione” da applicare alle singole prove…Oggi sia i Cattolici che i Borghesi sono diventati Materialisti Meccanicisti Pavloviani e non si capisce più niente…
Giuseppe Marotta
Al di là degli aspetti tecnici, la scelta di Profumo di un decreto il 24 aprile, a ridosso della fine del secondo semestre, con modalità determinazione dei bonus entro fine maggio, ha avuto l’esito prevedibile di accrescere l’incertezza degli studenti e delle loro famiglie, nonché di innescare pressioni sui docenti. In breve un contributo significativo a creare ulteriori disagi nel funzionamento della scuola secondaria.
Meno discusso, ma potenzialmente ancora più grave, è l’altro provvedimento di Profumo, in data 14
febbraio, con il quale il
Dipartimento per l’Università informa che per il 2014 le (uniche) date dei test sono
addirittura collocate nella prima quindicina di Aprile. E’ facile prevedere che
in questo modo lo svolgimento del programma scolastico rischia di essere compromesso
in vista della preparazione ai test, per l’ovvia richiesta degli studenti
interessati e delle loro famiglie a
privilegiare determinati contenuti rispetto ai programmi ministeriali propri di
ciascuna scuola.
Valerio
“se proprio devono essere introdotti correttivi al punteggio dei test di ingresso, questi dovrebbero prendere in considerazione sia il voto di diploma che la posizione relativa degli studenti all’interno della propria scuola. Bonus basati su uno solo dei due elementi rischiano di introdurre più ingiustizie di quelle che intendono rimuovere”.
Buonasera, forse ho capito male, ma il meccanismo attuale prevede già che sia così. In una scuola dove il primo cento si trova al 90esimo percentile (e, naturalmente, il punteggio associato al 95esimo percentile è sempre 100), lo studente che si diploma con 100/100 non prende 10 punti di bonus, ma 9 (media fra gli 8 punti del 90esimo percentile e i 10 punti del 95esimo).
Grazie per la sua risposta
Massimiliano
Il problema di “equità” si pone non tanto per i confronti tra studenti all’interno della scuola, per cui indicatori di performance relativa vanno bene, ma per i confronti tra scuole. Nel suo esempio se sostituisco 100 con 90 (assumendo che quest’ultimo sia il voto massimo ottenuto in quella scuola, ovvero che non vi siano 100, e questo accade) ottengo esattamente gli stessi bonus. Il 90esimo percentile raccoglie il 10% dei voti più alti in una scuola, ma nulla garantisce che in quella scuola vi siano punteggi di 100. Occorrerebbe utilizzare una formula più complessa che tenga conto del fatto che ci può essere grade inflation ma che comunque due studenti che hanno preso voti di diploma di 100 e 90 in scuole diverse differiscono in parte nella qualità del loro percorso formativo (a prescindere dalla posizione in cui si collocano nel percentile di scuola).
Valerio
Altro commento: “studenti
“bravi” che hanno compagni altrettanto “bravi” (ovvero con punteggio di diploma
elevato) potrebbero essere svantaggiati nell’attribuzione del bonus”.
In realtà il termine di confronto non sono i compagni di quest’anno ma gli studenti dell’a.s. 2011-2012. Il voto di maturità degli attuali studenti viene “pesato” su quelli dello scorso anno.
Ettore Grassini
Ma è giusto attribuire un bonus? Ora, se due persone al test di accesso
beccano lo stesso punteggio (quindi, in linea teorica, possiedono le
stesse conoscenze che l’università ritiene rilevanti ai fini
dell’ammissione) perchè una deve avere un vantaggio sull’altra dettato dalla carriera scolastica pregressa? Per assurdo
la media che determina il bonus potrebbe essere pompata da voti
elevati in materie che non centrano completamente nulla con quelle che
si affronteranno all’uni, mentre quelle “caratterizzanti” potrebbero
avere avuto in media valutazioni inferiori alla media stessa. Quindi,
oltre che il voto assoluto e relativo bisognerebbe andare a guardare
come si compone quella media, materia per materia, per verificare
l’effettiva congruità del bonus. Questo però andrebbe a svantaggio da
chi alle superiori ha seguito un percorso non in sintonia con la scelta
che vorrebbe fare per l’università (es perito elettronico che voglia
fare medicina). Insomma mi sembra molto complicato attribuire un bonus,
ed il rischio di distorsioni nella sua attribuzione rimane sempre. La
via più semplice secondo me è non attribuirlo. Se passi il test vuol
dire che per l’università hai le conoscenze adeguate per iniziare il
cdl, altre non contano. E lo stress è una costante sia della vita
studentesca che si quella lavorativa. Quindi una migliore capacità di
gestione dello stesso perchè non dovrebbe essere effettivamente un “competenza”?
Gianni De Fraja
Nessuno lo difende, questo povero bonus, e allora ci provo io.
La difesa si basa su un semplice fatto: la scuola media superiore (e, in generale l’istruzione) ha due funzioni: preparare e selezionare. Se la scuola avesse un’unica funzione, quella di selezionare, i commenti che suggeriscono di dare un bonus basato solo sul voto assoluto della maturita’ (o di non dare alcun bonus) avrebbero perfettamente ragione.
Ma; c’e’ un ma. Il ma e’ che la scuola prepara anche. Bene o male, ma prepara, e proprio qui e’ il problema: ci sono scuole migliori e scuole peggiori. La qualita’ della scuola dipende da tanti fattori, uno dei quali, importante suppur difficile da quantificare, e’ la qualita’, la motivazione, l’intresse eccetera dei colleghi studenti: se due studenti ottengono lo stesso voto alla maturita’ ma uno e’ stato cinque anni in un liceo dove quasi tutti gli allievi sono figli di laurati, hanno libri in casa, in vacanza visitano musei, di sera vanno a teatro, competono per fare bene a scuola, i cui docenti hanno tempo e entusiasmo, e un altro e’ stato in una scuola dove i docenti passano il loro tempo a impedire sesso e violenza in classe, dove prendere voti alti e fare i compiti a casa attira i bulli come una calamita, dove a cercarlo con il lumicino non si trova un amico assieme a cui studiare, il secondo ha piu’ potenziale intellettuale per fare bene all’universita’. Il suo voto e’ stato ottenuti in condizioni piu’ difficili del primo, e’ giusto (equo ed efficiente) che abbia un bonus.
Lasciatemi un’analogia calcistica: un talent-scout deve scegliere tra due calciatori quindicenni, simili come tecnica, disciplina, senso della posizione, e controllo di palla; uno ha giocato solo nei campetti di periferia, l’altro ha fatto parte delle primavere della Juventus per cinque anni. Io sceglierei il primo perche’ ha piu’ potenziale. Cosi’ un’universita’ che vuole studenti capaci dovrebbe pensare a meccanismi che permettano di valutare il potenziale. Il bonus, cosi’ come concepito, pur con i suoi limiti e le ingiustizie individuali che senz’altro determina, e’ un buon tentativo in questa direzione.
Tra l’altro, l’ammissione al corso universitario piu’ selettivo in assouluto in Gran Bretagna e’ basato sul risultato relativo agli altri studenti della stessa scuola. Se chi ha concepito il bonus in Italia si e’ basato su quest’esperienza, mi levo tanto di cappello a un funzionario capace. Well done!
Alessandro Balestrino
Si dice nel testo dell’articolo, che “… dato che il risultato
degli studenti nei test [standardizzati] potrebbe essere influenzato da fattori di
breve-periodo (ad esempio lo stato psico-fisico durante il test), molte
università ritengono utile integrarli con un bonus calcolato sulla base del voto di diploma.” Ma per come è assegnato in Italia il voto di “maturità”, cioè dando un peso modesto alla carriera dello studente e privilegiando la prova in sé, anche i fattori di breve periodo possono essere molto influenti (incluso certo lo stress psico-fisico). Quindi il vantagguio informativo per le università non sarebbe grandissimo….
IlGranchio
La nuova versione del bonus è meglio, peggio o non modifica sostanzialmente le cose?
Massimiliano
Partendo dal presupposto che nessun criterio azzera completamente il rischio di ingiustizie, il problema e’ quello di renderle minime. La nuova versione mi sembra un passo in avanti rispetto alla struttura precedente. Infatti:
1) il bonus e’ attribuito sulla base della performance assoluta: e’ pertanto impossibile che a voti diversi corrisponda lo stesso bonus (questo e’ fondamentale se si ritiene che il voto di diploma sia una buona misura delle capacita’/risultati degli studenti);
2) lo sbarramento per godere del bonus e’ sia sul voto assoluto 80/100, che sull’80esimo percentile per commissione di esame. Per cui si considera il ranking dello studente per lo sbarramento, al fine di correggere per la grade inflation a livello di commissione.
Condizionatamente al fatto di superare lo sbarramento (quindi avere un voto di 80/100 e posizionandosi sopra l’80esimo percentile) sono sempre possibili delle ingiustizie qualora le commissioni abbiano diversi standard di valutazione, ad esempio se una commissione attribuisce voti mediamente piu’ alti di un’altra a parita’ di performance all’esame/risultati nel percorso di studi. Inoltre correggere per il percentile a livello di commissione si basa sull’assunzione che gli studenti sia distribuiti in maniera casuale tra commissioni all’interno della stessa scuola, sicuramente più verosimile di quella della distribuzione casuale tra scuole ipotizzata dal precedente bonus. Ciò non toglie che potrebbero esservi casi (credo più rari) di concentrazione di studenti particolarmente abili/capaci in certe classi o di insegnanti particolarmente capaci nelle stesse classi, per cui una concentrazione di voti alti non necessariamente è indice di grade inflation.
Maria Gianfilippi De Parenti
Bel lavoro. Di fatto il Sistema dell’80° percentile (bonus basato sulla performance relativa) era ancora più iniquo del bonus da solo (basato sulla performance assoluta), perché penalizzava, e non solo nel Nord Italia, i bravi studenti del Liceo Classico (quelli con voti dall’80 al 96) per agevolare quelli degli altri istituti. Basta guardare i voti minimi per prendere il bonus: http://www.universitaly.it/index.php/accessoprogrammato/scuolapercentili. Ma se avessero deciso per tempo di “pesare” i punti bonus moltiplicandoli con coefficienti uguali o minori di 1, a seconda dei percentili?