Kritik an PISA unberechtigt

(bikl) Anfang November hatte der Münchner Physiker Joachim Wuttke dem PISA-Institut der OECD "spektakuläres Scheitern" vorgeworfen. Den Wissenschaftlern seien bei den Auswertungen eklatante Fehler unterlaufen, so seine Kritik. Wuttkes Aussagen sorgten für Presserummel und Aufregung bei Bildungspolitikern. Umgehend hatte die Kultusministerkonferenz den Direktor des Berliner Instituts für Qualitätsentwicklung im Bildungswesen (IQB), Professor Olaf Köller, beauftragt, die Vorwürfe zu prüfen. Im Gespräch mit bildungsklick de erläutert der Wissenschaftler seine Ergebnisse.

Herr Köller, Sie haben sich mit den Vorwürfen von Joachim Wuttke auseinandergesetzt. Was ist dran an dieser Kritik?

Olaf Köller: Sein Kernvorwurf an PISA war ja, dass die Feststellung der Leistungsergebnisse nicht nach ‚State of the Art’ gemacht würden, dass dort Fehler aufgetaucht seien. Aber Joachim Wuttke hat nicht wirklich verstanden, was in PISA gemacht wird. Seine Recherchen waren unzureichend. Hätte er nämlich über den technischen Report von PISA hinaus weitere Literatur hinzugenommen, wäre ihm sofort klar gewesen, wie in PISA skaliert wird. Das wird in jedem deutschen PISA-Bericht im Anhang genau beschrieben. Und dort sieht man auch sofort, mit welcher Software die Leistungswerte ermittelt werden. Das ist eine ganz normale kommerzielle Software und die Algorithmen, die dort verwendet werden, sind gut dokumentiert. Daran kann man im Grunde genommen schon zeigen, dass nichts an den Vorwürfen von Herrn Wuttke dran ist, sondern dass tatsächlich so gearbeitet wird, wie Herr Wuttke sich das wünscht. Diese Verfahren werden seit 30 Jahren benutzt, um Leistungsdaten festzustellen und zwar nach dem derzeitig besten Stand des Möglichen.

Aber Wuttke ist doch auch Wissenschaftler, warum sind ihm dann solch gravierende Fehler bei seiner Kritik unterlaufen?

Olaf Köller: Joachim Wuttke ist Physiker. Das wäre ungefähr so, als wenn ich als Sozialwissenschaftler die Arbeit von CERN in der Schweiz infrage stellen würde, weil ich ein paar Berichte gelesen habe. Wenn man eine Forschungstradition, die im Grunde genommen weltweit seit 40, 50 Jahren besteht, kritisieren will, dann muss man das systematisch aufarbeiten. Dazu reicht es nicht, ein Buch zu lesen und sich dann in seinem stillen Kämmerlein etwas zusammenzureimen.

Neben Wuttke haben ja auch noch einige andere Wissenschaftler in dem Buch „Pisa & Co – Kritik eines Programms“ die Studien infrage gestellt. Sind denn diese Vorwürfe berechtigt?

Olaf Köller: Es gibt immer Kritikpunkte. Und Wissenschaft zeichnet sich immer dadurch aus, dass sie nicht vollkommen ist. In jeder Studie werden Fehler gemacht - das ist überhaupt keine Frage. Aber die Kritik, die häufig geübt wird, funktioniert so, dass man sich eine oder ganz wenige Aufgaben als pars pro toto herausnimmt und daran die ganze Studie misst und schlecht macht. Man hat das Gefühl, dass diejenigen, die diese harte Kritik äußern, nicht genug vom Kuchen abbekommen und dass möglicherweise auch Neid in der Kritik steckt.

Es gab ja einige konkrete Vorwürfe von Wuttke, beispielsweise, dass das deutsche Ergebnis deshalb so schlecht sei, weil hier auch die Sonderschüler in die Studie miteinbezogen wurden.

Olaf Köller: In der Bewertung der Veränderung von TIMSS in den 90er Jahren zu PISA 2000 ist immer wieder dieses Argument benutzt worden: „Deutschland schneidet im internationalen Vergleich PISA 2000 noch schlechter ab als in TIMSS, weil die Sonderschüler in der Stichprobe sind.“ Das heißt, was Herr Wuttke dort auf das Tableau gebracht hat, ist im Grunde seit 2001 bekannt gewesen. Das ist auch offensiv vertreten worden. Dass in einzelnen anderen Ländern die Stichprobe nicht so gezogen wird - auch das ist nicht neu. Und wir haben immer argumentiert, dass die ungünstige Veränderung von TIMSS nach PISA 2000 genau darauf zurückzuführen ist.

Die Sonderschüler wurden also ganz bewusst in die Untersuchung miteinbezogen?

Olaf Köller: Ja, das ist ganz bewusst geschehen. Die Zielvorgabe war: 15-Jährige, die mindestens die siebte Jahrgangsstufe besuchen. Dazu zählen in Deutschland natürlich auch Sonderschüler, sofern sie in der Lage sind, den Test zu bearbeiten. Das ist immer auch international die Vorgabe.

Das heißt also, auch etliche andere Länder haben Sonderschüler in der Studie berücksichtigt?

Olaf Köller: Ja, auch in anderen Ländern wurden Sonderschüler miteinbezogen. Was man außerdem sagen muss: Es gibt Länder, die die Stichprobenvorgaben nicht erfüllen. Diese Länder werden dann entweder aus dem internationalen Vergleich herausgenommen oder sie bekommen in den entsprechenden Tabellen eine Fußnote, in der steht, dass sie die Vorgaben nicht erfüllen. Auch das ist bekannt und wird immer in PISA publik gemacht. So wurden beispielsweise Hamburg und Berlin aus dem nationalen Vergleich 2000 ausgeschlossen, weil sie die Stichprobenvorgaben nicht erfüllt hatten.

Wuttke hat außerdem bemängelt, die Testdauer habe Einfluss auf die Ergebnisse gehabt. Was sagen Sie zu diesem Vorwurf?

Olaf Köller: Je länger sie testen, desto präziser werden die Ergebnisse. Ich habe in meiner Stellungnahme versucht, das mit einem Fußballspiel zwischen einem Bundesligisten und einem Landesligisten zu vergleichen. Nach fünf Minuten wird’s möglicherweise noch 0:0 stehen, nach zehn Minuten vielleicht 1:0, nach fünfzehn Minuten vielleicht schon 3:0, nach neunzig Minuten wird es 8 oder 10 zu 0 stehen. Das heißt, je länger der Wettkampf oder die Testung stattfindet, desto klarer kommen auch die Unterschiede zutage. Insofern hat Wuttke Recht: Hätte man kürzer getestet, wären die Unterschiede anders gewesen. Dazu eins noch zum Schluss: Man setzt für Studien Bedingungen fest und die Ergebnisse, die dann zustande kommen, entstehen unter diesen Bedingungen. So ist Wissenschaft und so sind auch solche Studien.

Mehr zum Thema

• Bildungsforscher für stärkere PISA-Kontrolle
• OECD: Vorwürfe unwissenschaftlich
• PISA wissenschaftlich unseriös?

Weiterführende Links

• IPN - Leibniz-Institut für die Pädagogik der Naturwissenschaften an der Universität Kiel
• Stellungnahme von Prof. Dr. Olaf Köller zu dem Wuttke-Aufsatz
• Institut zur Qualitätsentwicklung im Bildungswesen (IQB)

Schlagworte

• PISA (Studie)
• Bildungswesen