Alles ganz anders?

Österreichs mieses PISA-Ergebnis offenbar ein Irrtum

Knalleffekt wenige Tage vor der Präsentation der PISA-Studie am 7. Dezember: Die OECD wird über die Ergebnisse für Österreich "nur mit Vorbehalt berichten" und "von Vergleichen mit den Ergebnissen früherer PISA-Untersuchungen für Österreich absehen". Als Grund wird die "negative Atmosphäre" während der Testphase nach den Boykott-Aufrufen im vergangenen Jahr genannt. Damit erscheint das blamable Ergebnis in anderem Licht.

Österreichs Ergebnis bei der PISA-Studie, so war im Vorfeld bekannt geworden, sei diesmal "katastrophal" (siehe "Krone"-Bericht in der Infobox). Jedoch: "Die Tests für PISA 2009 wurden in Österreich in einer Zeit durchgeführt, die durch eine Auseinandersetzung zwischen der Lehrergewerkschaft und dem Unterrichtsministerium geprägt war", sagt nun die OECD und erinnert damit an die Boykott-Aufrufe im Zuge der Auseinandersetzung um die Lehrerarbeitszeit zwischen der Lehrergewerkschaft und Unterrichtsministerin Claudia Schmied im Frühjahr vergangenen Jahres.

Dieser Aufruf sei zwar wenig später widerrufen worden, "dennoch haben einzelne Testteilnehmer an PISA 2009 diesen Boykott umgesetzt". Es hätten deshalb Testbögen, die erkennbar von diesem Boykott betroffen waren, aus dem Datensatz für Österreich entfernt werden müssen, schreibt die OECD.

"Negative Atmosphäre" während der Testphase
"Auch wenn der Datensatz für Österreich nach dieser Bereinigung den technischen Standards für PISA 2009 entspricht, kann die negative Atmosphäre während der Testphase die Motivation und Leistungen der Testteilnehmerinnen und -teilnehmer beeinflusst haben", heißt es seitens der OECD, die daher "davon ausgehen muss, dass die Testbedingungen, unter denen die Daten 2009 erhoben wurden, nicht uneingeschränkt mit den Testbedingungen früherer PISA Studien vergleichbar sind". 

Aus diesem Grund wird die OECD die Ergebnisse für Österreich nur mit Vorbehalt berichten und keine Vergleiche mit den Ergebnissen früherer PISA-Untersuchungen ziehen. Welchen Aussagewert die Österreich-Ergebnisse der neuen PISA-Untersuchung dann noch haben, wenn keine Vergleiche mit früher gezogen werden können und die aktuellen Ergebnisse nur mit Vorbehalt zu sehen ist, ist derzeit noch nicht klar.

Studienleiterin: "Daten sauber und verwendbar"
Claudia Schreiner, Leiterin des Salzburg-Zentrums des Instituts für Bildungsforschung, das die Studie in Österreich durchgeführt hat, widersprach der OECD. "Aus wissenschaftlich-technischer Sicht" seien die Daten "sauber und verwendbar". Die Testhefte jener "vergleichsweise wenigen" Schüler, die die Teilnahme boykottiert haben, seien ausgeschieden worden, so Schreiner. Die OECD habe auch bestätigt, dass die technischen Standards eingehalten wurden.

An nur insgesamt acht Standorten hätten Testleiter von einer gehäuften Teilnahmeverweigerung berichtet. Das sei aber leicht zu interpretieren und auszusortieren gewesen. Einige hätten auch "das Testheft verwendet, um uns Botschaften mitzuteilen, die nichts mit PISA zu tun haben" - auch diese Hefte seien in Absprache mit der OECD aussortiert worden. Insgesamt habe es sich dabei um 200 Schüler gehandelt. 

Zur Sicherheit habe man auch die Testhefte aller Teilnehmer an den betreffenden Schulen herausgenommen, weil dort eventuell die Atmosphäre beeinträchtigt gewesen sein könne und dies durch Gewichtung ausgeglichen. "Das war technisch und statistisch problemlos in den Griff zu kriegen." Die Mindestteilnahmequote von 4.500 Schülern sei mit rund 6.600 verwerteten Heften weit überschritten, auch die vorgeschriebene Rücklaufquote von 90 Prozent mit mehr als 92 Prozent übertroffen worden.

Die PISA-Studie
Bei der PISA-Studie werden die Leistungen von 15- bzw. 16-jährigen Schülern in 67 Staaten verglichen. Im Mittelpunkt steht diesmal - neben den Kompetenzbereichen Mathematik und Naturwissenschaften - das Lesen. In Österreich wurden im April und Mai 2009 rund 6.500 Schüler des Jahrgangs 1993  - also am Ende ihrer Pflichtschulzeit - zwei Stunden lang getestet.