A EUROPEAN LANGUAGES PROJECT

Jüngste Forschungsergebnisse aus dem EU-Projekt THE LANGUAGE MAGICIAN

3. September 2018

Im Rahmen des TLM-Projekts wurden über mehrere Erhebungszeiträume Daten von Schülerinnen und Schülern in Deutschland, Großbritannien, Italien und Spanien erhoben. Mithilfe der erhobenen Daten sollte auf der einen Seite die Validität des Instruments – also seine Qualität und Eignung – überprüft und auf der anderen Seite ein erster Eindruck von den sprachlichen Kompetenzen der Schülerinnen und Schüler gewonnen werden. Zudem wurde mittels eines Fragebogens am Ende des Spiels die Motivation der Probanden erhoben.

In der ersten Erhebungswelle ab Oktober 2016 wurde das erste Level des Spiels getestet, welches für Grundschülerinnen und Grundschüler mit 50 bis 70 Stunden Fremdsprachenunterricht konzipiert wurde und die Fertigkeitsbereiche Hörverstehen, Leseverstehen und Schreiben sowie eine Mischung der genannten Fertigkeiten (Integrated Skills) testete. In der zweiten Erhebungswelle wurde das zweite Level des Spiels an Schülerinnen und Schüler mit 70 bis 100 Stunden Fremdsprachenunterricht getestet. Zusätzlich zu den Sprachen Englisch, Spanisch und Deutsch konnten in der zweiten Welle die sprachlichen Kompetenzen der Schülerinnen und Schüler im Italienischen untersucht werden. Die Fertigkeitsbereiche Hörverstehen, Leseverstehen, Schreiben und Integrated Skills standen dabei wieder im Fokus der Beobachtungen.

Im Laufe der Pilotierung des Projekts testeten mehr als 6.000 Schülerinnen und Schüler das Spiel. Level 1 wurde von mehr Testpersonen als Level 2 gespielt. Für die Datenanalyse konnten 2574 Datensätze aus Level 1 verwendet werden. Bei der Analyse der Daten der zweiten Erhebungswelle wurden 885 Probanden untersucht, 141 davon mit der schulischen Fremdsprache Deutsch, 96 mit Spanisch, 80 mit Italienisch und 568 mit der schulischen Fremdsprache Englisch. Im Folgenden sollen exemplarisch die Ergebnisse für die Testsprache Englisch aus den Ländern Spanien, Deutschland und Italien beschrieben werden.

Die Ergebnisse[1] deuten an, dass das Testinstrument gut zwischen starken und schwachen Lernern differenzieren kann. Mit Blick auf die Verteilung der Daten lässt sich eine linksschiefe (bzw. rechtssteile) und flache Verteilung der Daten feststellen, die noch als eine Normalverteilung der Daten interpretiert werden kann.

Eine weitere Forschungsaufgabe war zu prüfen, wie reliabel – also zuverlässig – das Computerspiel als Lernstandsanalyse-Instrument funktioniert. Es zeigte sich[2], dass die Items (einzelnen Aufgaben) von einem Großteil der Schülerinnen und Schüler korrekt bearbeitet worden sind. Allerdings müssen neben den testtheoretischen Aspekten auch pädagogische Aspekte bei einer Testung mittels der Gaming-Methode berücksichtigt werden, denn die ersten Aufgaben leisten einen wesentlichen Beitrag für die Motivation der Schülerinnen und Schüler bei der Bearbeitung der Testbatterie. Für das darauffolgende Set an Aufgaben zur Überprüfung des Leseverstehen lässt sich eine ansteigende Schwierigkeit[3] der Aufgaben feststellen. Das abschließende Set an Aufgaben zur Fertigkeit Schreiben und somit der einzigen getesteten produktiven Fertigkeit, welche zudem auch kaum in den ersten Lernjahren fokussiert wird, stellt sich erwartungsgemäß als sehr schwierig heraus. Insgesamt konnte mit den Ergebnissen nachgewiesen werden, dass der Schwierigkeitsgrad angemessen ist bzw. sogar mit gut bewertet werden kann[4].

Um die Validität (Zuverlässigkeit) des Testinstruments zu überprüfen, wurde neben den einzelnen Fertigkeiten auch die allgemeine Sprachkompetenz mittels eines adaptierten C-Tests gemessen. Der C-Test gilt als eines der Testverfahren, welches am intensivsten beforscht wurde und seit den 80er Jahren als reliables, valides und objektives Verfahren zur Messung von allgemeiner Sprachkompetenz gilt. Es handelt sich um eine spezifische Form des Lückentextes, der nicht nur im Hochschulbereich als Instrument zur Einstufung auf bestimmten Niveaustufen genutzt wird. Mit Hilfe einer bivariaten Regression – dabei wird der Zusammenhang zwischen zwei Merkmalen geprüft – wurde der Frage nachgegangen, inwieweit die entwickelte Testbatterie auch sprachliche Kompetenzen misst. Mit einer hohen Prozentzahl konnte diese Frage mit ‚Ja‘ beantwortet werden[5]. Dieser Nachweis bestätigte gleichzeitig die Herangehens- und Arbeitsweise des Projektteams.

Zudem kann davon ausgegangen werden, dass das entworfene Set von Aufgaben sprachliche Kompetenz misst und einen wesentlichen Beitrag zur Diagnose von Sprachkompetenz, inklusive der einzelnen Fertigkeitsbereiche, liefern kann. Neben dem Testinstrument selbst wurden auch die motivationalen Aspekte der Testung untersucht. Es konnte gezeigt werden, dass die Aufgabenformate sehr motivierend für die Schülerinnen und Schüler sind. Des Weiteren führt besonders die Lernstandserhebung mit Hilfe eines Computerspiels zu einer äußerst positiv bewerteten Lernsituation für die Probanden, welche erfreulicherweise von der Mehrheit der Lernenden nicht als Testsituation wahrgenommen wird. Es ist vielmehr der Spaß beim Spielen, der für die Schülerinnen und Schüler bei der Bearbeitung der Aufgaben im Vordergrund steht. Die wissenschaftliche Begleitung wurde als sehr positiv im Feedback zum Spiel für das Projekt THE LANGUAGE MAGICIAN bewertet. Mit diesen Ergebnissen kann die Verwendung des Spiels als Instrument zur Erhebung des Lernstands im schulischen Bereich uneingeschränkt von den am Projekt beteiligten Wissenschaftlern empfohlen werden.

Josefine Klein

Universität Leipzig

 

Weitere Artikel, in denen Forschungsergebnisse veröffentlicht wurden:

https://www.thelanguagemagician.net/resources/ , “Presentations Final Conference – Assessment with a Magic Touch” – Session 3 “Session 3- Research results form piloting THE LANGUAGE MAGICIAN – by Louise Courtney, Suzanne Graham, Norbert Schlüter, Josefine Klein and Anna Cicogna

https://www.thelanguagemagician.net/research-background-language-magician/  “Some research background to the Language Magician, 19. October 2017, by Suzanne Graham, University of Reading

[1] Mit einem Mittelwert von 58.86 (von 83) Items und einer Standardabweichung von 12.72 zeigten sich gute Ergebnisse. Die Anzahl der korrekt gelösten Aufgaben lag bei einem Minimum von 27 und einem Maximum von 83.

[2] Für die Reliabilitätsanalysen des zweiten Levels wird der Schwierigkeitsindex (p) angegeben, welcher den prozentualen Anteil der Items anzeigt, die ein Proband durchschnittlich lösen kann. Ein niedriger Index zeigt dabei eine schwierige Aufgabe an, ein hoher p-Wert eine leichte Aufgabe, die demzufolge von vielen Probanden korrekt gelöst wurde. Im Idealfall sollte der Schwierigkeitsgrad bei ungefähr 50 liegen und kann auf diese Weise eine Differenzierung im unteren Leistungssegment und im oberen Leistungssegment ermöglichen. In der pädagogischen Praxis sind diese theoretischen Vorgaben leider kaum umsetzbar, denn ein wesentliches Moment bei der Testbearbeitung ist die Motivation, welche mit der Machbarkeit der Aufgaben steigt.

[3] Es lassen sich p-Werte von 79.20, sowie bei den Aufgaben zum Hörverstehen ein Schwierigkeitsindex von p=74.40 und bei den Integrated Skills von p=66.72 feststellen.

[4] Es zeigen sich p-Werte von 24.10. Die gesamte Testbatterie kann mit einem Schwierigkeitsindex von p=66.63 somit als gut bewertet werden.

[5] Das Schätzmodell kann mit einem r2 von .66 eine für sozialwissenschaftliche Fragestellungen sehr beachtliche Varianzaufklärung von 66 % leisten.

Schreibe einen Kommentar

Partner

Goethe-Institut
Uni Stra Perugia
Uni Reading
Uni Leipzig
Gobierno La Rioja Educacion
CEP Norte
ALL
Westminster

Associate Partner

Logo: Italian Consulate General in London

Durch die Nutzung dieser Website erklären Sie sich damit einverstanden, dass sie Cookies verwendet. Mehr Info

We use cookies to personalise content and to analyse our traffic with Google Analytics.

Schliessen