un testo tratto da La voce.info di cui non condividiamo il giudizio si INVALSI ma che mostra cosa significa teach to test, insegnare per i quiz e legare aumenti di finanziamenti al risultato dei quiz...
di Marco Bertoni , Giorgio Brunello e Lorenzo Rocco (...)Uno studio mostra che nelle scuole dove era prevista la presenza di un osservatore esterno il tasso medio di risposte esatte si riduce. Non solo nella classe monitorata, ma in tutta la scuola. Accade in particolare al Sud. Le spiegazioni possono essere diverse, ma in quelle classi è anche meno probabile che molti studenti diano risposte simili, come invece avviene spesso in presenza di comportamenti scorretti. È un effetto di cui tener conto nel valutare i risultati.
A partire dall’anno scolastico 2009-2010 i test riguardano l’universo delle scuole primarie italiane. In quell’anno, l’Invalsi ha inviato un osservatore esterno in un campione rappresentativo di classi (e scuole) scelte in maniera casuale, con il compito di garantire il corretto svolgimento del test e di trasmetterne i risultati all’Istituto.
In un recente lavoro abbiamo usato i risultati dei test del 2009-2010 condotti nelle classi seconda e quinta della scuola primaria per valutare se e quanto la presenza di un osservatore esterno nelle classi selezionate abbia influito sui risultati sia della classe sorvegliata (effetto diretto) sia delle altre classi nella stessa scuola in cui non c’era un osservatore esterno (effetto indiretto). (1)
Abbiamo misurato l’effetto totale della presenza dell’osservatore esterno con la differenza nel tasso medio di risposte corrette tra classi selezionate e classi di scuole non selezionate (e quindi senza osservatore nella scuola), e l’effetto indiretto con la differenza nel tasso medio di risposte corrette tra classi non supervisionate di scuole in cui l’osservatore esterno è presente in un’altra classe e classi delle scuole non selezionate. L’effetto diretto è dato dalla differenza tra effetto totale e effetto indiretto.
Riportiamo i nostri risultati nella tabella 1, che riguarda il test di matematica delle classi seconde della scuola primaria (i risultati per le quinte sono simili). (2) Troviamo che la proporzione di risposte corrette nelle classi con osservatore esterno è di circa 5 punti percentuali più bassa rispetto alle classi delle scuole senza osservatore esterno, per le quali la proporzione di risposte corrette è circa il 63 per cento. Troviamo anche che il tasso di risposte corrette nelle classi senza osservatore esterno delle scuole selezionate – in cui l’osservatore è presente in un’altra classe – è inferiore di circa un punto percentuale al tasso osservato nelle scuole non selezionate. Concludiamo che l’effetto diretto della presenza di un osservatore esterno è di ridurre il tasso medio di risposte esatte di circa quattro punti percentuali (circa il 7 per cento del risultato medio nelle scuole non selezionate).
Quando disaggreghiamo per macro aree, troviamo che l’effetto totale della presenza di un osservatore esterno è decisamente maggiore al Sud (circa 9 punti percentuali o il 13 per cento in meno rispetto ai risultati medi delle classi senza osservatore esterno) che al Nord (2,5 punti percentuali) e al Centro (4,5 punti percentuali). L’effetto indiretto varia tra 1,5 punti percentuali al Sud e poco meno di un punto percentuale al Nord. (3)
Tabella 1 – Effetti dell’osservatore esterno sul tasso medio di risposte corrette
In un recente lavoro abbiamo usato i risultati dei test del 2009-2010 condotti nelle classi seconda e quinta della scuola primaria per valutare se e quanto la presenza di un osservatore esterno nelle classi selezionate abbia influito sui risultati sia della classe sorvegliata (effetto diretto) sia delle altre classi nella stessa scuola in cui non c’era un osservatore esterno (effetto indiretto). (1)
Abbiamo misurato l’effetto totale della presenza dell’osservatore esterno con la differenza nel tasso medio di risposte corrette tra classi selezionate e classi di scuole non selezionate (e quindi senza osservatore nella scuola), e l’effetto indiretto con la differenza nel tasso medio di risposte corrette tra classi non supervisionate di scuole in cui l’osservatore esterno è presente in un’altra classe e classi delle scuole non selezionate. L’effetto diretto è dato dalla differenza tra effetto totale e effetto indiretto.
Riportiamo i nostri risultati nella tabella 1, che riguarda il test di matematica delle classi seconde della scuola primaria (i risultati per le quinte sono simili). (2) Troviamo che la proporzione di risposte corrette nelle classi con osservatore esterno è di circa 5 punti percentuali più bassa rispetto alle classi delle scuole senza osservatore esterno, per le quali la proporzione di risposte corrette è circa il 63 per cento. Troviamo anche che il tasso di risposte corrette nelle classi senza osservatore esterno delle scuole selezionate – in cui l’osservatore è presente in un’altra classe – è inferiore di circa un punto percentuale al tasso osservato nelle scuole non selezionate. Concludiamo che l’effetto diretto della presenza di un osservatore esterno è di ridurre il tasso medio di risposte esatte di circa quattro punti percentuali (circa il 7 per cento del risultato medio nelle scuole non selezionate).
Quando disaggreghiamo per macro aree, troviamo che l’effetto totale della presenza di un osservatore esterno è decisamente maggiore al Sud (circa 9 punti percentuali o il 13 per cento in meno rispetto ai risultati medi delle classi senza osservatore esterno) che al Nord (2,5 punti percentuali) e al Centro (4,5 punti percentuali). L’effetto indiretto varia tra 1,5 punti percentuali al Sud e poco meno di un punto percentuale al Nord. (3)
Tabella 1 – Effetti dell’osservatore esterno sul tasso medio di risposte corrette
Nota: la variabile dipendente è la percentuale di risposte corrette ottenuta dagli studenti della classe nel test di matematica per la seconda primaria. L’unità di osservazione è la classe, e le stime sono pesate per la dimensione della classe. Gli errori standard robusti sono riportati tra parentesi. *** p<0.01, ** p<0.05, * p<0.1.
La tabella 2 riporta gli effetti della presenza dell’osservatore esterno sulla distribuzione dei risultati del test all’interno della classe, limitatamente al Sud Italia per ragioni di spazio. Notiamo come la deviazione standard, che misura la dispersione dei risultati del test all’interno della classe, sia significativamente maggiore nelle classi con osservatore esterno. Ciò suggerisce che in queste classi è meno probabile che molti studenti diano risposte simili, come spesso avviene in presenza di comportamenti scorretti.
Osserviamo anche come gli effetti della presenza di un osservatore esterno siano particolarmente significativi per gli studenti con risultati più modesti, che appartengono al primo quartile della distribuzione.
In presenza dell’osservatore esterno, questi studenti hanno un risultato inferiore di circa il 20 per cento al risultato medio conseguito da studenti dello stesso quartile in classi di scuole dove il test è condotto in assenza di controlli esterni.
Una possibile interpretazione di questi risultati è che la presenza di un estraneo che controlla la corretta esecuzione del test influenzi negativamente lo stato psicologico degli studenti, condizionandone in senso negativo i risultati. Ci sentiamo di escludere questa spiegazione in base ai risultati delle domande motivazionali rivolte agli studenti delle quinte che hanno svolto il test. Da questi dati emerge semmai che gli studenti nelle classi con un osservatore esterno sono meno ansiosi, più calmi e motivati a concludere in modo positivo l’esperienza.
Tabella 2 – Effetti dell’osservatore esterno sulla distribuzione delle risposte corrette. Sud Italia.
La tabella 2 riporta gli effetti della presenza dell’osservatore esterno sulla distribuzione dei risultati del test all’interno della classe, limitatamente al Sud Italia per ragioni di spazio. Notiamo come la deviazione standard, che misura la dispersione dei risultati del test all’interno della classe, sia significativamente maggiore nelle classi con osservatore esterno. Ciò suggerisce che in queste classi è meno probabile che molti studenti diano risposte simili, come spesso avviene in presenza di comportamenti scorretti.
Osserviamo anche come gli effetti della presenza di un osservatore esterno siano particolarmente significativi per gli studenti con risultati più modesti, che appartengono al primo quartile della distribuzione.
In presenza dell’osservatore esterno, questi studenti hanno un risultato inferiore di circa il 20 per cento al risultato medio conseguito da studenti dello stesso quartile in classi di scuole dove il test è condotto in assenza di controlli esterni.
Una possibile interpretazione di questi risultati è che la presenza di un estraneo che controlla la corretta esecuzione del test influenzi negativamente lo stato psicologico degli studenti, condizionandone in senso negativo i risultati. Ci sentiamo di escludere questa spiegazione in base ai risultati delle domande motivazionali rivolte agli studenti delle quinte che hanno svolto il test. Da questi dati emerge semmai che gli studenti nelle classi con un osservatore esterno sono meno ansiosi, più calmi e motivati a concludere in modo positivo l’esperienza.
Tabella 2 – Effetti dell’osservatore esterno sulla distribuzione delle risposte corrette. Sud Italia.
COME INTERVENIRE
Una interpretazione alternativa è che la presenza di un osservatore esterno possa avere influito sulla modalità di svolgimento del test. Infatti, secondo quanto riportato da Invalsi, le classi selezionate hanno dovuto svolgere il test in locali adeguati, possibilmente diversi dalle solite aule, al fine di garantire un’adeguata sorveglianza corretta. Poiché spesso le aule espongono elaborati, disegni, cartelloni inerenti ai programmi scolastici svolti dalla classe, lo spostamento potrebbe avere privato gli alunni di alcuni supporti a cui sono abituati.
La terza spiegazione è che in assenza di un osservatore esterno siano prevalsi comportamenti scorretti o da parte degli studenti o da parte dei docenti, che hanno il compito di sorvegliare lo svolgimento del test e di comunicare i risultati a Invalsi. È possibile, ad esempio, che il desiderio di ottenere risultati positivi per la classe o la scuola abbia spinto alcuni insegnanti a non sanzionare comportamenti scorretti, oppure a modificare o suggerire risposte a domande formulate, a loro giudizio, in modo confuso o non facilmente comprensibile dai loro studenti.
La presenza di un piccolo ma statisticamente significativo effetto indiretto dell’osservatore esterno sulle classi della stessa scuola senza osservatore può essere dovuta al fatto che i docenti in queste classi temono che la presenza di un osservatore esterno nella scuola possa implicare in qualche modo un controllo più attento del loro operato, sebbene l’osservatore non abbia alcun mandato di controllo al di fuori della classe in cui si trova. Oppure i docenti potrebbero voler evitare che dal test emerga una eccessiva eterogeneità nei risultati delle classi di una stessa scuola. In tal caso, ci sarebbe l’incentivo ad alterare in misura minore i risultati nella classe in cui amministrano il test al fine di impedire scostamenti eccessivi rispetto ai risultati della classe con l’osservatore esterno.
I nostri risultati mostrano che la presenza di un osservatore esterno ha effetti importanti sulla classe direttamente monitorata ed effetti indiretti anche sulle altre classi della stessa scuola. Se l’obiettivo del test è valutare le scuole sulla base dei risultati ottenuti, sembra chiaro che un ranking basato sul risultato medio di ogni scuola che prescinda dal fatto che solo in alcune classi e scuole è stato presente un osservatore indipendente non può essere considerato uno strumento affidabile. Dati gli attuali vincoli di bilancio e i problemi organizzativi, risulta improponibile estendere la presenza degli osservatori all’intero universo.
Quello che invece si può fare è utilizzare metodi di stima come quelli descritti in questo articolo per correggere il punteggio medio conseguito dalle classi e scuole che non hanno avuto l’osservatore esterno. (4)
(1) Bertoni M., Brunello G e Rocco L, (2012), “When the Cat is Near the Mice Will Play Less: The Effect of External Examiners in Italian Schools”, ISER Discussion Paper, Osaka University.
(2) Dalle analisi sono esclusi i risultati delle scuole della Valle D’Aosta e della Provincia di Bolzano, in cui tutte le classi sono state soggette a supervisione esterna.
(3) Secondo le nostre analisi, le notevoli differenze tra diverse Regioni del paese nell’effetto totale della presenza di un osservatore esterno sono correlate al diverso capitale sociale, ma anche alle differenti condizioni economiche locali.
(4) Una proposta di correzione diversa per gli studenti di terza media, che non utilizza l’assegnazione casuale di osservatori esterni alle classi, è discussa ad esempio in Invalsi, 2011, “Esami di Stato I ciclo. Prime analisi”.
Una interpretazione alternativa è che la presenza di un osservatore esterno possa avere influito sulla modalità di svolgimento del test. Infatti, secondo quanto riportato da Invalsi, le classi selezionate hanno dovuto svolgere il test in locali adeguati, possibilmente diversi dalle solite aule, al fine di garantire un’adeguata sorveglianza corretta. Poiché spesso le aule espongono elaborati, disegni, cartelloni inerenti ai programmi scolastici svolti dalla classe, lo spostamento potrebbe avere privato gli alunni di alcuni supporti a cui sono abituati.
La terza spiegazione è che in assenza di un osservatore esterno siano prevalsi comportamenti scorretti o da parte degli studenti o da parte dei docenti, che hanno il compito di sorvegliare lo svolgimento del test e di comunicare i risultati a Invalsi. È possibile, ad esempio, che il desiderio di ottenere risultati positivi per la classe o la scuola abbia spinto alcuni insegnanti a non sanzionare comportamenti scorretti, oppure a modificare o suggerire risposte a domande formulate, a loro giudizio, in modo confuso o non facilmente comprensibile dai loro studenti.
La presenza di un piccolo ma statisticamente significativo effetto indiretto dell’osservatore esterno sulle classi della stessa scuola senza osservatore può essere dovuta al fatto che i docenti in queste classi temono che la presenza di un osservatore esterno nella scuola possa implicare in qualche modo un controllo più attento del loro operato, sebbene l’osservatore non abbia alcun mandato di controllo al di fuori della classe in cui si trova. Oppure i docenti potrebbero voler evitare che dal test emerga una eccessiva eterogeneità nei risultati delle classi di una stessa scuola. In tal caso, ci sarebbe l’incentivo ad alterare in misura minore i risultati nella classe in cui amministrano il test al fine di impedire scostamenti eccessivi rispetto ai risultati della classe con l’osservatore esterno.
I nostri risultati mostrano che la presenza di un osservatore esterno ha effetti importanti sulla classe direttamente monitorata ed effetti indiretti anche sulle altre classi della stessa scuola. Se l’obiettivo del test è valutare le scuole sulla base dei risultati ottenuti, sembra chiaro che un ranking basato sul risultato medio di ogni scuola che prescinda dal fatto che solo in alcune classi e scuole è stato presente un osservatore indipendente non può essere considerato uno strumento affidabile. Dati gli attuali vincoli di bilancio e i problemi organizzativi, risulta improponibile estendere la presenza degli osservatori all’intero universo.
Quello che invece si può fare è utilizzare metodi di stima come quelli descritti in questo articolo per correggere il punteggio medio conseguito dalle classi e scuole che non hanno avuto l’osservatore esterno. (4)
(1) Bertoni M., Brunello G e Rocco L, (2012), “When the Cat is Near the Mice Will Play Less: The Effect of External Examiners in Italian Schools”, ISER Discussion Paper, Osaka University.
(2) Dalle analisi sono esclusi i risultati delle scuole della Valle D’Aosta e della Provincia di Bolzano, in cui tutte le classi sono state soggette a supervisione esterna.
(3) Secondo le nostre analisi, le notevoli differenze tra diverse Regioni del paese nell’effetto totale della presenza di un osservatore esterno sono correlate al diverso capitale sociale, ma anche alle differenti condizioni economiche locali.
(4) Una proposta di correzione diversa per gli studenti di terza media, che non utilizza l’assegnazione casuale di osservatori esterni alle classi, è discussa ad esempio in Invalsi, 2011, “Esami di Stato I ciclo. Prime analisi”.
