Wie valide sind Papier-und-Bleistift-Tests zur Erfassung computerbezogener Kompetenzen?

Ziel dieser Untersuchung war es, einen Papier-und-Bleistift-Test zur Erfassung von computerbezogenen Kompetenzen mit einem computerbasierten Performanztest hinsichtlich spezifischer Validitätsaspekte zu vergleichen. Der Papier-und-Bleistift-Test mit 36 Items wurde im Rahmen der National Educational Panel Study (NEPS) für Jugendliche am Ende der Sekundarstufe I entwickelt und an 396 Jugendlichen hinsichtlich seiner psychometrischen Qualität überprüft. Für die Validierung wurde einer Teilstichprobe (n = 133) in einem Within-Persons-Design eine Hälfte des Tests in Form computerbasierter Performanzitems vorgegeben, die andere Hälfte in der ursprünglichen Form, d. h. als Papier-und-Bleistift-Test präsentiert. Neben der Struktur der Zusammenhänge beider Testformen wurden die konvergente und diskriminante Validität beider Testmodi über Zusammenhänge mit theoretisch einschlägigen Referenzkonstrukten (kognitive Grundfähigkeiten, computerbezogene Schülermerkmale) überprüft. Die Ergebnisse weisen für beide Testformen auf eine ausreichende Validität hin. Jedoch ergeben sich für den computerbasierten Performanztest hinsichtlich aller Kriteriumsvariablen signifikant bessere Kennwerte.