In länderübergreifenden und auch kleineren Vergleichsstudien kommt immer mehr das computerbasierte Testen zum Einsatz. Für eine Studie zur Überprüfung der Grundkompetenzen, welche die Leistungen von Schülerinnen und Schülern in allen Kantonen erheben soll, übernimmt die FH Graubünden das Datenmanagement.

Text: Prof. Dr. Ingo Barkow, Elham Müller, Dr. Heiko Rölke / Bild: DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation

Computer-based Assessment (kurz: CBA) ist der englische Fachausdruck für computerbasiertes Testen. Solche Tests sind nicht auf bestimmte Fachbereiche oder Anwendungsgebiete beschränkt. Gerade in der heutigen Zeit nimmt die Verbreitung von CBA immer mehr zu. CBAs nehmen damit einen mindestens gleichberechtigten Platz wie traditionelle mündliche und schriftliche Prüfungen ein.

Beliebig wiederholen und parallel durchführen

Die Vorteile von CBAs sind vielfältig: Einmal entworfen, lassen sie sich beliebig oft wiederholen und auch parallel durchführen. Ihre Verbreitung ist nicht an Personen oder die Verteilung von Materialien gekoppelt, sondern kann vielfach über das Internet erfolgen. Oft lassen sich CBAs ganz oder teilweise automatisiert bewerten, was zu einer Arbeitserleichterung führt und – noch wichtiger – auch zu einer besseren Vergleichbarkeit der Bewertungen.

Diese Vorteile fallen insbesondere dann ins Gewicht, wenn viele Tests in kurzer Zeit mit hohen Anforderungen an die Gleichbehandlung der Testteilnehmenden durchgeführt werden müssen. Vorreiter bei der Einführung von CBAs für breite Bevölkerungsschichten waren die weltweiten Vergleichsstudien der OECD (Organization for Economic Cooperation and Development, www.oecd.org), beispielsweise die PISA-Studie (Programme for the International Student Assessment). Aufbauend auf den Erfahrungen mit PISA hat die Schweizer Konferenz der kantonalen Erziehungsdirektoren (EDK) schon vor einigen Jahren beschlossen, auch das Schweizer Schulmonitoringprogramm «Überprüfung der Grundkompetenzen» computerbasiert durchzuführen und damit europaweit eine Vorreiterrolle einzunehmen.

Schweizer Erhebung von schulischen Leistungen

Beim Projekt «Überprüfung der Grundkompetenzen» (ÜGK) handelt es sich um eine systematische Überprüfung verschiedener Klassenstufen im Schweizer Schulsystem in den Domänen Mathematikverständnis, Schulsprache, erste und zweite Fremdsprache sowie Naturwissenschaften. Dabei soll geprüft werden, ob die Harmonisierung der obligatorischen Schule in der Schweiz in den vier Grundpfeilern Grundbildung, nationale Bildungsziele, Lehrpläne und Lehrmittel sowie Eckwerte des Sprachunterrichts wirksam ist. Die Studie wurde seitens der EDK in Auftrag gegeben. ÜGK ist dabei mit internationalen Studien wie OECD PISA verzahnt; die Ergebnisse werden im Nationalen Bildungsbericht veröffentlicht. Bei der ÜGK handelt es sich um einen computerbasierten Test, der bislang im Jahr 2016 in der neunten Klassenstufe (Mathematik) und 2017 in der sechsten Klassenstufe (Schulsprache und erste Fremdsprache) durchgeführt wurde. Jede Welle der ÜGK umfasst 25 000 Schülerinnen und Schülern aus allen 26 Kantonen. Die erste Projektphase wurde zum Jahresende 2017 erfolgreich abgeschlossen; die Ergebnisse werden im Nationalen Bildungsbericht 2018 veröffentlicht. Die nächste Phase – mit Erhebungen in den Jahren 2020 und 2022 – wird derzeit vorbereitet.

Für die Erhebung im Jahr 2016 entwickelte die FH Graubünden ein cloudbasiertes Auslieferungssystem für die Onlinetestung im Bereich Mathematik. Die Schülerinnen und Schüler konnten die Aufgaben somit im Internet auf den Schulcomputern lösen. Für die Erhebung im Jahr 2017 wurde eine Bring-in-Lösung entwickelt, so dass die Schülerinnen und Schüler die Aufgaben auf Tablets lösen konnten. Bei der Erhebung 2022 wird im Rahmen einer Machbarkeitsstudie die computerbasierte Testung von Zweitklässlern (HarmoS 4) evaluiert. Diese Gruppe hat oft noch nicht das notwendige Leseverständnis für einen computerbasierten Test. Daher müssen graphische Aufgaben und Vorlesefunktionen im Rahmen der Software getestet werden. Die Machbarkeitsstudie wird Anfang 2019 durchgeführt und beinhaltet Aufgaben aus den Fachbereichen Mathematik, Naturwissenschaften, Lese- und Hörverständnis.

Datenmanagement durch die FH Graubünden

Die FH Graubünden leitet seit November 2015 innerhalb der ÜGK die Arbeitsbereiche IT sowie das Datenmanagement. Dies beinhaltet unter anderem die Entwicklung und Anpassung der Assessment-Software, die Bereitstellung und Betreuung der Server und die Installation der Software für die Testauslieferung.

Zudem koordiniert das Team der FH Graubünden die beteiligten nationalen und internationalen Partner in den Bereichen IT und Daten. Zu den Partnern gehören das DIPF (Leibniz-Institut für Bildungsforschung und Bildungsinformation) in Frankfurt und das Schweizer Kompetenzzentrum Sozialwissenschaften (FORS) in Lausanne. Die FH Graubünden ist damit auch im Wissenschaftlichen Konsortium sowie in der Projektleitung der Studie vertreten. Die weiteren vier Arbeitsbereiche der ÜGK werden durch die Aufgabendatenbank der EDK, die Pädagogische Hochschule St. Gallen (PHSG), die Scuola Universitaria Professionale della Svizzera Italiana (SUPSI) und den Service de Recherche en Education (SRED) verantwortet.

Der Erfolg des Teams der FH Graubünden hat dazu geführt, dass in diesem Jahr ein Zusatzprojekt mit dem Namen «OpenCBA» seitens EDK und Staatssekretariat für Bildung, Forschung und Innovation (SBFI) bewilligt wurde. Hierbei geht es um die Entwicklung eines Managementsystems für alle Verwaltungsprozesse im Rahmen grosser Assessment-Studien wie ÜGK und PISA mittels eines zentralen Repositoriums. Das Projekt umfasst nach einer Kick-off-Phase im Jahr 2019 die Umsetzung von 16 Kernprozessen in Form eines modularen Systems, dessen Entwicklungszeit voraussichtlich fünf bis sechs Jahren in Anspruch nehmen wird.