A EUROPEAN LANGUAGES PROJECT

THE LANGUAGE MAGICIAN – Risultati delle recenti ricerche sul progetto Erasmus+

28. novembre 2018

Una delle fasi principali del progetto THE LANGUAGE MAGICIAN è stata senz’altro la raccolta di dati generati dagli studenti che hanno preso parte alla sperimentazione del gioco in Germania, Regno Unito, Italia e Spagna. Questa operazione, avvenuta in diversi momenti per tutta la durata del progetto, ha avuto un duplice obiettivo: innanzitutto, verificare la validità dello strumento, ossia la sua qualità e adeguatezza allo scopo previsto; in secondo luogo, acquisire una prima impressione delle competenze linguistiche degli alunni coinvolti nel pilotaggio. In aggiunta ai risultati del gioco, i partner hanno elaborato un questionario finale proposto agli studenti al termine di ogni sessione, al fine di rilevare il livello di motivazione percepito dai partecipanti.

Durante la prima fase di pilotaggio, effettuata a partire da ottobre 2016, è stato testato il primo livello del gioco, il quale è indirizzato ad alunni delle scuole primarie che abbiano già svolto 50-70 ore di lezione di lingua straniera in classe, verificandone le abilità di comprensione orale e scritta e di produzione scritta, oltre a una combinazione di abilità differenti e trasversali (logica, memoria). Analogamente, la seconda fase di sperimentazione è servita a testare il secondo livello del gioco in tutte le cinque lingue del progetto: inglese, tedesco, spagnolo, italiano e francese.

In totale, gli studenti che hanno provato il gioco durante le fasi di pilotaggio sono stati più di 6.000, dove il Livello 1 ha visto un numero maggiore di partecipanti rispetto al Livello 2. L’analisi dei dati è stata effettuata su 2.574 set di dati per la prima fase, mentre i soggetti esaminati per la seconda fase relativa al secondo livello sono stati 885, di cui 141 apprendenti di tedesco come lingua straniera, 96 di spagnolo, 80 di italiano e 568 di inglese. I risultati descritti di seguito sono relativi a dati provenienti da Spagna, Germania, Italia e Regno Unito.

I risultati[1] indicano che lo strumento è in grado di determinare la differenza fra studenti più e meno abili. Rispetto alla distribuzione dei dati, questa devia verso sinistra (o devia positivamente verso destra) e può essere descritta come uniforme, potendo, allo stesso tempo, essere interpretata come una distribuzione normale dei dati.

La ricerca ha avuto l’ulteriore compito di verificare il grado di affidabilità del gioco nel rilevare i progressi compiuti dagli alunni nelle varie abilità linguistiche. I risultati mostrano2 come la maggior parte dei partecipanti alle sessioni di sperimentazione abbiano svolto correttamente gli item che compongono le diverse attività. Tuttavia, oltre agli aspetti teorici che sostengono il gioco, è necessario tenere in considerazione un altro aspetto costitutivo dello strumento, il quale verifica le abilità per mezzo di attività ludiche, ossia che gli esercizi iniziali apportano un contributo significativo al livello di motivazione negli alunni man mano che procedono all’interno del gioco.

La serie di attività successive, elaborate per valutare la comprensione scritta, presenta un livello di difficoltà superiore3. Per quanto riguarda invece le attività di produzione scritta (l’unica abilità produttiva testata all’interno del gioco, in quanto raramente viene affrontata nei primi anni di apprendimento linguistico), queste risultano essere prevedibilmente molto difficili. In generale, i risultati hanno mostrato che il grado di difficoltà è adeguato al target e può essere perfino definito “buono” 4.

Per verificare la validità (affidabilità) dello strumento di valutazione, sono state misurate non solo le abilità individuali, ma anche competenze linguistiche generali attraverso un C-test adattato al gioco. Il C-test è uno dei test più ampiamente studiati dalla ricerca e già dagli anni ’80 è stato dimostrato che si tratta di un metodo affidabile, valido e oggettivo per quantificare le competenze linguistiche. Questa forma specifica di cloze test è utilizzata a diversi livelli di istruzione come strumento di valutazione linguistica. Con l’ausilio dell’analisi della regressione bivariata, che permette di testare la correlazione fra due caratteristiche, è stato posto il quesito riguardo a quanto le attività che costituiscono il gioco fossero anche in grado di misurare le competenze linguistiche: dalla percentuale ottenuta, la risposta fornita dall’analisi è stata decisamente positiva5. Il dato è stato inoltre confermato dall’approccio e dal metodo lavorativo applicati dal team del progetto.

Grazie alle ricerche effettuate, può essere ulteriormente affermato che le attività proposte agli alunni sono adatte a misurare le loro competenze linguistiche e possono svolgere un ruolo determinante nel monitorare il livello delle singole abilità acquisite. Oltre allo studio dello strumento in sé, sono stati presi in esame anche gli aspetti motivazionali del test, che gli studenti hanno trovato estremamente stimolante, come dimostrano i risultati ottenuti tramite un questionario loro somministrato. Da quest’ultimo si evince inoltre che, stando alle affermazioni dei giocatori, l’ambiente di apprendimento è positivamente influenzato dall’utilizzo di un gioco per computer come mezzo di valutazione, in quanto questo non viene percepito come tale dalla maggioranza dei partecipanti. Mentre giocano, ciò che provano è soprattutto divertimento nell’affrontare le sfide incontrate durante la sessione, come affermato dagli studenti stessi. Anche il feedback degli insegnanti verso THE LANGUAGE MAGICIAN è stato positivo, ritenendo inoltre che il sostegno della ricerca accademica al progetto sia di grande valore.

Con questi risultati alla mano, i ricercatori coinvolti nel progetto possono a pieno titolo raccomandare l’utilizzo del gioco online come strumento di valutazione delle abilità linguistiche nelle scuole primarie.

Josefine Klein (Università di Lipsia)

________________________________________

Ulteriori articoli pubblicati che illustrano i risultati delle ricerche svolte sul progetto:

https://www.thelanguagemagician.net/resources/ , “Presentations Final Conference – Assessment with a Magic Touch” – Session 3 “Session 3- Research results form piloting THE LANGUAGE MAGICIAN – by Louise Courtney, Suzanne Graham, Norbert Schlüter, Josefine Klein and Anna Cicogna

https://www.thelanguagemagician.net/research-background-language-magician/  “Some research background to the Language Magician, 19. October 2017, by Suzanne Graham, University of Reading

 

[2]

1 Una media di 58,86 item su 83 e una deviazione standard di 12,72 sono considerati dei buoni risultati. Il numero di esercizi svolti correttamente è compreso fra un minimo di 27 e un massimo di 83.

2 Per gli studi sull’affidabilità del secondo livello, l’indice di difficoltà (p) è dato e mostra la percentuale di item che di media vengono svolti correttamente da un singolo giocatore. Un indice basso sta ad indicare un item difficile, mentre uno alto individua un item facile, e che è stato quindi risolto correttamente da numerosi partecipanti. Un livello ideale di difficoltà si dovrebbe aggirare su 50, nel qual caso indicherebbe che lo strumento è in grado di differenziare accuratamente le performance migliori da quelle più deboli. Nella pratica, questi assunti teorici purtroppo trovano difficilmente un vero riscontro, in quanto uno dei fattori fondamentali nella valutazione è la motivazione, la quale aumenta proporzionalmente alla facilità dell’esercizio.

3 I risultati mostrano un p-value di 79,20, un indice di difficoltà pari a p=74,40 per la comprensione orale e pari invece a 66,72 per le abilità integrate.

4 I p-value corrispondono a 24,10. L’intera serie di attività mostra un p-value complessivo di 66,63, che può quindi essere definito “buono”.

5 Con un r2 pari a .66, il modello di stima può fornire una variazione del 66%, che è notevole per gli studi di scienze umane.

Lascia un commento

Partners

Goethe-Institut
Uni Stra Perugia
Uni Reading
Uni Leipzig
Gobierno La Rioja Educacion
CEP Norte
ALL
Westminster

Associate Partner

Logo: Italian Consulate General in London

By continuing to use the site, you agree to the use of cookies. more information

We use cookies to personalise content and to analyse our traffic with Google Analytics.

Close