RATINGS
Optimizing the selection and training of raters: How do rater characteristics and training features affect the quality of judgments of teaching quality?

Das deutsch-schweizerische Verbundprojekt RATINGS untersucht Einflussfaktoren auf die Güte von Unterrichtsbeurteilungen. Unterrichtsbeurteilungen werden zur Beurteilung von Lehrkräften, als Grundlage für Unterrichtsentwicklung und in der Unterrichtsforschung verwendet. Dabei sind die Reliabilität und Validität der Beurteilungen von großer Bedeutung. Forschung zur Qualität von Unterrichtsbeurteilungen hat jedoch gezeigt, dass die Reliabilität und Validität der Beurteilungen von Unterrichtsqualität oft nicht zufriedenstellend ist. Systematische und kausale Evidenz zur Frage, wie Unterrichtsbeurteilungen verbessert werden können, liegt bislang kaum vor. Ziel des beantragten Projekts ist die systematische Untersuchung der Effekte zentraler Merkmale der Beurteilenden und des Trainings der Beurteilenden auf die Güte (Reliabilität und Validität) der Beurteilung von Unterrichtsqualität. Dadurch sollen Erkenntnisse generiert werden, wie die Auswahl und das Training von Beurteilenden verbessert werden kann.

Das Projekt fokussiert bei der Beurteilung von Unterrichtsqualität die drei Basisdimensionen Klassenführung, konstruktive Unterstützung und kognitive Aktivierung. Untersucht wird die Bedeutung der folgenden Aspekte für die Qualität der Beurteilung von Unterrichtsqualität: (1) inhaltsbezogene und generische Merkmale der Beurteilenden, (2) spezifische Konstellationen von Beurteilenden bei typischen Anzahlen von Beurteilenden, (3) experimentelle Manipulationen des Fachwissens und fachdidaktischen Wissens der Beurteilenden in Bezug auf den Inhalt der zu beurteilenden Unterrichtsstunden, (4) experimentelle Manipulationen der Übungsphase im Training sowie (5) experimentelle Manipulationen der Trainingsdauer.

Beurteilt werden Unterrichtsstunden in zwei zentralen Unterrichtsfächern: Naturwissenschaften (Fokus auf das Thema Schwimmen und Sinken; Klassenstufen 3-4) und Mathematik (Fokus auf das Thema Satz des Pythagoras; Klassenstufen 8-9). Zur Untersuchung der Fragestellungen 1 und 2 werden die Daten der Kontrollgruppen in vier Experimenten genutzt. Zur Untersuchung der Fragestellungen 3-5 werden die o.g. Aspekte experimentell variiert. Zentrale abhängige Variablen sind Interrater Reliabilität, Übereinstimmung mit Referenzurteilen und prädiktive Validität im Hinblick auf das fachliche Verständnis und Interesse von Schüler:innen. Mit Teilstichproben der Experimente werden qualitative Studien durchgeführt, um vertiefte Einsichten in Bezug auf Fragestellung 3 und 4 zu gewinnen.

Projektbeteiligte

Prof. Dr. Anna-Katharina Praetorius (U Zürich)
Prof. Dr. Thilo Kleickmann (CAU Kiel)
Prof. Dr. Mirjam Steffensky (U Hamburg)
Prof. Dr. Aiso Heinze (IPN Kiel)