Lernverläufe analysieren
Wie Daten aus digitalen Lernumgebungen genutzt werden können, um Schülerinnen und Schüler in ihrem Kompetenzerwerb zu unterstützen
Markus Kubsch & Knut Neumann
Die Corona-Pandemie hat eindrucksvoll gezeigt, wie wichtig digitale Technologien für das schulische Lernen sind. Dies unterstreicht die Bemühungen der vergangenen Jahre, den Einsatz digitaler Technologien im Unterricht auszubauen. Dabei geht es nicht nur darum, Arbeitsblätter über Lehr-Lern-Plattformen bereitzustellen oder häufiger digitale Medien wie Simulationen einzusetzen. Sondern vielmehr ermöglichen digitale Technologien es, den Unterricht in Teilen neu zu denken. Natürlich fördern digitale Lehr-Lern-Umgebungen selbstreguliertes Lernen und digitale Messsysteme erleichtern es, Messwerte automatisiert zu erfassen und auszuwerten. Das eigentliche Potential digitaler Technologien liegt jedoch woanders: Bei der Arbeit mit ihnen fallen umfangreiche Daten an. Dies umfasst zunächst die von Schülerinnen und Schülern bei der Bearbeitung der Aufgaben generierten Produkte wie z.B. die erfassten Messwerte. Zusätzlich werden aber auch Daten im Rahmen des Prozesses der Aufgabenbearbeitung erfasst, z. B. in welcher Reihenfolge welche Messwerte aufgezeichnet wurden. Der Forschungsbereich „Learning Progression Analytics“ (LPA) am IPN erforscht, wie sich die bei der Arbeit mit digitalen Technologien anfallenden Daten nutzen lassen, um die Lernverläufe von Schülerinnen und Schülern zu rekonstruieren, die Effektivität der Lernverläufe im Hinblick auf die Entwicklung angestrebter Kompetenzen zu bestimmen und Ursachen mangelnder Effektivität zu identifizieren, um Schülerinnen und Schüler individuell in ihrem Lernen unterstützen zu können.
Digitalen Technologien wird vielfach ein großes Potential für die Verbesserung von Unterricht zugeschrieben. Neben anderen Vorteilen verspricht man sich vor allem eine stärkere Individualisierung und somit einen an die Bedürfnisse der einzelnen Schülerinnen und Schüler angepassten Unterricht. So kann eine Lehrkraft in einer digitalen Lehr-Lern-Plattform unterschiedlichen Gruppen von Schülerinnen und Schülern oder sogar einzelnen Schülerinnen und Schülern spezifische Aufgaben zuweisen. Zugleich ermöglichen digitale Medien wie Videos, interaktive Simulationen oder Selbsttesteinheiten den Schülerinnen und Schülern einen an ihre individuellen Bedürfnisse angepassten Zugang zu den jeweiligen Inhalten. Um das Potential digitaler Technologien für einen stärker individualisierten Schulunterricht nutzen zu können, sind jedoch zwei Voraussetzungen notwendig:
Erstens werden, wenn die Schülerinnen und Schüler sich nicht einzeln durch eine Lehr-Lern-Umgebung klicken sollen, digital gestützte Unterrichtseinheiten benötigt. Digital gestützte Unterrichtseinheiten sind reguläre Unterrichtseinheiten, die digitale Technologien nutzen, um Schülerinnen und Schüler besser in ihrer Kompetenzentwicklung zu unterstützen. Dies geschieht beispielsweise, indem den Schülerinnen und Schülern in ihrem digitalen Arbeitsbuch zur Unterrichtseinheit zu jedem Demonstrationsexperiment ein Video zur Verfügung gestellt wird. Schülerinnen und Schüler, die bei der Durchführung des Demonstrationsexperiments nicht gleich die richtige Beobachtung gemacht haben, können dies so nachholen.
Zweitens müssen die digital gestützten Unterrichtseinheiten den Schülerinnen und Schülern sowie der Lehrkraft Rückmeldung zum Lernverlauf geben. Idealerweise nicht nur darüber, ob einzelne Aufgaben erfolgreich bearbeitet wurden, sondern insbesondere auch über die im jeweiligen Fach angestrebten Kompetenzen. Denn aus der empirischen Lehr-Lern-Forschung ist gut bekannt, dass eine falsch bearbeitete Aufgabe nicht notwendigerweise unproduktiv für die Kompetenzentwicklung sein kann. Im Gegenteil kann sie kognitiv aktivierend wirken und kombiniert mit entsprechender Instruktion sogar zu einer verbesserten Kompetenzentwicklung führen. Dafür ist es aber notwendig, die Lernverläufe einzelner Schülerinnen und Schüler zu verfolgen und im Hinblick auf ihren Beitrag zur (längerfristigen) Kompetenzentwicklung zu bewerten, um ihnen sowie den Lehrkräften Rückmeldung geben zu können.
Digitale Unterrichtseinheiten als Basis
Im Projekt AFLEK wird gemeinsam mit dem Leibniz-Institut für Bildungsforschung und Bildungsinformation (Arbeitsgruppe Prof. Dr. Hendrik Drachsler) und der Ruhr-Universität Bochum (Arbeitsgruppe Prof. Dr. Nikol Rummel) untersucht, inwieweit es möglich ist, Lernverläufe zu rekonstruieren und ob die Rückmeldung von Informationen zu Lernverläufen an Lehrkräfte tatsächlich zu einer verbesserten Kompetenzentwicklung führt. Das Projekt AFLEK baut auf dem Projekt energie.TRANSFER auf (siehe IPN Journal 7). Im Projekt energie.TRANSFER wurden insgesamt zwölf Unterrichtseinheiten entwickelt, deren Ziel es war, Schülerinnen und Schüler darin zu unterstützen, vernetztes Wissen über Physik zu entwickeln. Diese kurzen Unterrichtseinheiten sind so angelegt, dass sie nahtlos in den Unterricht zu verschiedenen Sachgebieten der Physik eingebunden werden können. Die Einheiten folgen dem Ansatz des forschend-entdeckenden Lernens, bei dem die Schülerinnen und Schüler ausgehend von einer interessanten und für sie persönlich relevanten Fragestellung (wie z. B. warum ein Laptop manchmal heiß wird), schrittweise das zur Beantwortung der Frage notwendige Wissen erarbeiten. Dazu nutzen sie naturwissenschaftliche Arbeitsweisen wie die Konstruktion und Nutzung von Modellen, die Planung, Durchführung und Auswertung von Experimenten sowie die Entwicklung und Diskussion von Erklärungen.
Die Einheiten wurden als digital gestützte Unterrichtseinheiten konzipiert und in der Lehr-Lern-Plattform Moodle implementiert. Ein Grund hierfür war, den Lehrkräften eine einfache Adaptierbarkeit der Einheiten zu ermöglichen. Zu diesem Zweck umfassten die Einheiten physikdidaktische Zusatzinformationen wie die didaktischen Ziele der einzelnen unterrichtlichen Aktivitäten sowie Erläuterungen zur Wahl der jeweiligen Methoden und Medien. Diese Zusatzinformationen konnten in Moodle nur in der Rolle der Lehrkraft eingesehen werden. Ein weiterer Vorteil der Implementation der Einheiten war die Möglichkeit, digitale Technologien einsetzen zu können, um den Unterricht stärker zu individualisieren. Dies betrifft z. B. Videos von Experimenten, die zuvor von der Lehrkraft im Unterricht durchgeführt wurden und zu denen die Schülerinnen und Schüler Fragen beantworten sollten. Ein weiteres Beispiel ist die Nutzung von digitalen Technologien zur Modellbildung. Dadurch lassen sich komplexe Zusammenhänge in einfacher Weise darstellen. Die Implementation in Moodle erlaubt eine nahtlose Integration mit anderen Aufgaben. So können die zuvor im Rahmen einer Frage generierten Konstrukte automatisch in die Modellbildung übernommen und die Ergebnisse zur Formulierung von Schlussfolgerungen bereitgestellt werden. Des Weiteren ermöglicht es, die von den Schülerinnen und Schülern im Rahmen der Aktivitäten generierten Artefakte – im Wesentlichen frei formulierte Antworten – einfacher automatisiert auszuwerten. Die Auswertung solcher Antworten ist allerdings nicht trivial, da klassische Auswertestrategien wie die Detektion bestimmter Schlüsselwörter fehleranfällig sind. Rechtschreibfehler oder Paraphrasierungen können zu fehlerhaften Bewertungen führen. Verfahren der künstlichen Intelligenz (konkret: des maschinellen Lernens) können hier helfen.
Computerbasierte Auswertung von Freitextantworten
Die Forschung zu maschinellem Lernen hat in den vergangenen Jahrzehnten große Fortschritte erziehlt. So wird maschinelles Lernen heute in vielen alltäglichen Anwendungen genutzt – u. a. in der Erkennung von gesprochener Sprache, bei der Bedienung digitaler Assistenten oder bei Empfehlungen im Online-Shopping. Trotz der Weiterentwicklungen ist die maschinelle Auswertung von Freitextantworten nicht unproblematisch; insbesondere, wenn es darum geht, die Antworten nicht nur als richtig oder falsch zu bewerten, sondern bestimmte fachliche Vorstellungen oder Alltagsvorstellungen zu detektieren. Ebendies war aber das Ziel des Projekts AFLEK. Denn nur, wenn klar ist, über welches Wissen Schülerinnen und Schüler bereits verfügen, und welches Wissen noch fehlt, kann im Hinblick auf die Entwicklung der angestrebten Kompetenzen nachgesteuert werden. Die reine Bewertung, ob eine Aufgabe richtig oder falsch bearbeitet wurde, reicht hierbei nicht aus.
Wenn Freitextantworten maschinell ausgewertet werden, kommen im Allgemeinen Verfahren der computerbasierten natürlichen Sprachverarbeitung (englisch: natural language processing, NLP) zum Einsatz. Ein Problem dabei ist die Länge der Antworten. Kurze Antworten sind schwieriger zu verarbeiten. Dies wird umso mehr zum Problem, wenn nicht nur ein einzelnes Kriterium (z. B. Richtigkeit), sondern mehrere Kriterien, wie z. B. unterschiedliche fachliche Vorstellungen, vorhergesagt werden sollen. Deshalb wurden im Projekt sogenannte Transformer-Modelle eingesetzt. Diese Modelle basieren auf neuronalen Netzen und kombinieren die Vorteile einer verbesserten Trainingsgeschwindigkeit bei gleichbleibender Vorhersagegüte mit einer höheren Sensitivität für den (sprachlichen) Kontext. Transformer-Modelle sollten es daher ermöglichen, auch bei kurzen Antworten fachliche Vorstellungen zuverlässig über verschiedene Kontexte hinweg zu erkennen. Im Rahmen des Projekts AFLEK wurden zum Training der Transformer-Modelle die Antworten der Schülerinnen und Schüler zu zwei Unterrichtseinheiten aus dem Projekt energie.TRANSFER von ausgebildeten Mitarbeiterinnen und Mitarbeitern zunächst aufwendig per Hand kodiert. Für jede Antwort wurde das Vorliegen verschiedener fachlicher Vorstellungen – z. B. der Vorstellung von Energieformen (wie elektrischer Energie oder Wärmeenergie) oder der Vorstellung von Energieumwandlungen (wie der Umwandlung elektrischer Energie in Wärmeenergie) – kodiert. Diese Kodierungen wurden genutzt, um für jede erwartete fachliche Vorstellung verschiedene Modelle zur maschinellen Auswertung der Antworten zu trainieren und zu testen. Neben Transformer-Modellen gehörten dazu u. a. auch Entscheidungs-Baum- und Lineare-Regressions-Modelle. Die Ergebnisse zeigen, dass es möglich ist, auch bei den üblichen kurzen Schülerantworten das Vorhandensein bzw. das Fehlen bestimmter fachlicher Vorstellungen zuverlässig zu erkennen. Darüber hinaus wurde deutlich, dass Transformer-Modelle und dabei insbesondere die deutsche Version des von Google entwickelten Transformer-Modells BERT die beste Vorhersagegüte liefern.
Verknüpfung von Wissen
Die derart trainierten Modelle können nun genutzt werden, um die Entwicklung des Wissens der Schülerinnen und Schüler - im Sinne des Vorhandenseins bestimmter fachlicher Vorstellungen und Verknüpfungen zwischen ihnen - zu rekonstruieren. Diese Rekonstruktion kann man sich als Wissensnetzwerk vorstellen. In einem Experiment mit zwei Schülerinnen bzw. Schülern, die im Folgenden als Person A und Person B bezeichnet werden, wurde die Entwicklung dieser Wissensnetzwerke beobachtet. Es wurde untersucht, welche Wissenselemente die Personen in den Aufgaben verwendet haben, die bis zum Zeitpunkt der Erstellung der Netzwerke bearbeitet wurden. Es konnte festgestellt werden, dass beide Personen zu Beginn der Unterrichtseinheit noch keine Verbindungen zwischen den Wissenselementen herstellten. Im Verlauf der Unterrichtseinheit wurde jeweils eine Verbindung zwischen den Wissenselementen thermische Energie und elektrische Energie deutlich. Die Personen waren zu diesem Zeitpunkt in der Lage, jene Wissenselemente gemeinsam in Aufgaben zu nutzen, z.B. indem sie beschrieben, dass die beiden Energieformen in einem Phänomen zu beobachten sind. Darüber hinaus zeigte sich im Fortlauf ein deutlicher Unterschied zwischen beiden Personen: Während Person A das Wissens zur Energieumwandlung mit den beiden Energieformen verknüpfte und dieses Wissen in den bearbeiteten Aufgaben erfolgreich anwandte, war dies bei Person B nicht der Fall. Person B wandte lediglich das Wissen über die Energieformen, nicht aber über die Energieumwandlung an. Hiernach konnte beobachtet werden, dass die Personen keine weiteren Ideen in ihre Wissensnetzwerke integriert haben, ihr vorhandenes Wissen jedoch weiterhin erfolgreich nutzen und somit festigen konnten.
Welchen Nutzen haben diese Wissensnetzwerke für den Unterricht? Sie bieten sowohl differenzierte als auch intuitiv zugängliche Informationen zum Wissen der Schülerinnen und Schüler. Im obigen Beispiel wird deutlich, dass Person A und B auch bis zum Ende der Einheit keine Verbindung zwischen Energieformen und damit verknüpften Größen - den sogenannten Indikatoren für das Vorhandensein von Energie einer bestimmten Form - herstellen. Die Lehrkraft könnte basierend auf diesen Informationen noch einmal darauf eingehen, dass es für die Erklärung von Phänomenen wichtig ist, nicht nur zu benennen, welche Energieformen ineinander umgewandelt werden, sondern auch, woran man dies erkennt. Aus Sicht der Forschung ergibt sich die spannende Frage, inwieweit diese Verbindungen überhaupt für die Entwicklung naturwissenschaftlicher Kompetenz relevant sind - wie in der Fachdidaktik gemeinhin angenommen. Diesen und ähnlichen Fragen wird zurzeit in der Forschungsgruppe "Learning Progression Analytics" nachgegangen. Hierfür werden im Projekt ALICE in Kooperation mit dem Leibniz-Institut für Bildungsforschung und Bildungsinformation (Arbeitsgruppe Prof. Dr. Hendrik Drachsler), der Ruhr-Universität Bochum (Arbeitsgruppe Prof. Dr. Nikol Rummel) sowie dem Leibniz-Institut für Wissensmedien (Arbeitsgruppe Prof. Dr. Ulrike Cress) Lernverläufe in deutlich längeren Unterrichtseinheiten im Umfang von ca. zehn Wochen in Mathematik und den Naturwissenschaften analysiert. Der im Projekt AFLEK entwickelte Zugang dient dafür als Grundlage.
Die Abbildung zeigt die Entwicklung der Wissensnetzwerke zweier Schülerinnen bzw. Schüler, im Folgenden als Person A und Person B bezeichnet (Person A oben; Person B unten) über die Unterrichtseinheit. In den Wissensnetzwerken stellen die Kreise die für die Unterrichtseinheit relevanten Wissenselemente über Energie dar: Energieumwandlung, die Energieformen thermische Energie und elektrische Energie sowie Indikatoren für diese beiden Energieformen. Indikatoren sind für die jeweiligen Energieformen charakteristische physikalische Größen, z. B. im Falle der thermischen Energie die Temperatur.
Fazit
Zusammenfassend nutzt die Arbeitsgruppe Learning Progression Analytics Verfahren der künstlichen Intelligenz, speziell des Maschinellen Lernens, um aus Produktdaten (z.B. Antworten von Schülerinnen und Schülern) und Prozessdaten (z.B. Videoabspielverhalten) aus digitalen Lehr-Lern-Umgebungen zunächst Lernstände zu rekonstruieren. Dann werden basierend auf diesen Lernständen individuelle Lernverläufe rekonstruiert und diese hinsichtlich ihres Erfolgs bezüglich der Kompetenzentwicklung bewertet. Dadurch soll eine Grundlage geschaffen werden, um Schülerinnen und Schüler zukünftig automatisiert und individuell in ihrer Kompetenzentwicklung unterstützen zu können. Dies geschieht beispielsweise durch Rückmeldung an Schülerinnen und Schüler sowie an Lehrkräfte oder sogar den Vorschlag weiterer Aufgaben oder Instruktionsstrategien. Gerade in Zeiten des (zunehmenden) Lehrkräftemangels leisten die im Bereich Learning Progression Analytics angesiedelten Projekte somit einen wichtigen Beitrag zur Sicherung und Verbesserung der Unterrichtsqualität.
Über die Autoren:
Prof. Dr. Marcus Kubsch war von 2016 bis 2023 Postdoktorand in der Abteilung für Didaktikder Physik am IPN und ist inzwischen Professor für Physikdidaktik an der Freien Universität Berlin. m.kubsch@fu-berlin.de
Prof. Dr. Knut Neumann ist Direktor der Abteilung für Didaktik der Physik am IPN. neumann@leibniz-ipn.de
