UnstatistikWarum Pisa-Vergleiche mit Vorsicht zu genießen sind

Immer wieder gibt die Pisa-Studie Anlass für internationale Vergleiche zwischen Ländern, die sind allerdings gar nicht so leicht zu machen
Immer wieder gibt die Pisa-Studie Anlass für internationale Vergleiche zwischen LändernNeonbrand from Unsplash

Rund 600.000 15-jährige Schüler aus 79 Ländern – davon 5451 aus Deutschland –  haben an der Pisa-Studie 2018 teilgenommen. Alle drei Jahre fragt die internationale Bildungsstudie die Fähigkeiten der Jugendlichen in den Bereichen Leseverständnis, Mathematik und Naturwissenschaften stichprobenartig ab. Das Fazit in diesem Jahr:  Deutschland liegt überall leicht über dem OECD-Durchschnitt. Allerdings sind die Werte in Mathematik und Naturwissenschaften schlechter als in den Vorjahren.

„Insgesamt bleibt der Abstand zu den Spitzenreitern in Asien und Europa groß“, heißt es in der Pressemitteilung der Studie weiter. Die internationale Komponente der Untersuchung lädt dabei immer wieder zum Vergleich der Länder ein. So schreibt unter anderem Bild.de: „Allerdings schneiden die Schüler in Deutschland in allen Bereichen schlechter ab als die in China, Estland, Finnland, Hongkong (China), Irland, Kanada, Korea, Macau (China), Neuseeland, Peking-Shanghai-Jiangsu-Zhejiang (China), Polen und Singapur.“ Auch Spiegel Online zieht den Vergleich und verweist auf das Ranking anhand der Lesefähigkeit: „Die Jugendlichen in Deutschland erzielten dabei 498 Punkte – und kommen damit im OECD-Länder-Ranking auf Platz 15 von 37. Insgesamt belegen sie Rang 20 von 79.“

Stichproben sind je nach Land unterschiedlich

Die Vergleiche anhand der einheitlichen Punktevergabe sind oft aber gar nicht so aussagekräftig, kritisieren die Experten der Unstatistik. Denn die gemessenen Schulleistungen basierten auf Stichproben – und die gestalte jedes Land unterschiedlich.

In manchen asiatischen Ländern, die oft zu den Pisa-Spitzenreitern gehörten, nähmen demnach nur rund 80 Prozent der Schüler in den zufällig ausgewählten Schulen an den Testaufgaben teil. In Deutschland seien es dagegen über 95 Prozent. Zudem gebe es  durchaus Hinweise, dass in manchen Ländern vor allem schlechtere Schüler nicht an den Pisa-Prüfungen teilnehmen. Vergleiche der Bepunktung tendierten dann dazu, Äpfel mit Birnen zu vergleichen, warnen die Experten der Unstatistik.

Auch der wachsende Migrantenanteil bei Jugendlichen werde gerade in der öffentlichen Debatte oft nicht ausreichend beleuchtet. So werde Deutschland häufig mit Kanada verglichen, das ebenfalls einen hohen Anteil an jugendlichen Zuwanderern habe, bei Pisa allerdings besser abschneide. Das Problem, das die Experten der Unstatistik dabei sehen: In Kanada zeigten Schüler mit Migrationshintergrund als Folge einer selektiven Einwanderungspolitik im Durchschnitt bessere Leistungen als einheimische. Sie heben also den Durchschnitt. Kinder mit Migrationshintergrund in Deutschland schnitten dagegen in der Schule schlechter ab, insbesondere weil sie zum Teil erst die deutsche Sprache lernen müssten. Daher drücken sie den Durchschnitt.

Vorsicht bei vorschnellen Vergleichen

Um die Unsicherheit in den Schätzergebnissen zu berücksichtigen, haben die Autoren der Studien bereits in der Vergangenheit sogenannte Konfidenzintervalle ausgewiesen. Dabei fielen die Differenzen zwischen den einzelnen Staaten teilweise so gering aus, dass viele von ihnen statistisch nicht signifikant sind. Ferner wiesen die Berichte der OECD auch ausführlich auf die Unterschiede zwischen Kindern mit und ohne Migrationshintergrund hin.

In diesem Jahr gilt außerdem die sozioökonomische Herkunft der Schüler als weiterer entscheidender Faktor. In Deutschland sei der Zusammenhang von der Herkunft der Schüler und ihrer Schulleistungen im OECD-Vergleich überdurchschnittlich stark ausgeprägt, so die Studie. Der Ausstattungs- und Lehrermangel an einigen der untersuchten Schulen wird zumindest genannt, wenn auch nicht als Faktor für die Leistung der Jugendlichen berücksichtigt.

Die Experten der Unstatistik mahnen deshalb zur Vorsicht bei vorschnellen Vergleichen hinsichtlich der Pisa-Studie. Stattdessen sollten vor allem die Ergebnisse des jeweiligen Landes im Vordergrund stehen. Hier könne die Pisa-Studie durchaus Erkenntnisse zu relativen Defiziten in einzelnen Bereichen liefern.

 


Mit der „Unstatistik des Monats“ hinterfragen der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer und RWI-Vizepräsident Thomas Bauer jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen.
Alle „Unstatistiken“ finden Sie im Internet unter www.unstatistik.de. Im Campus Verlag erschienen ist das Buch „Warum dick nicht doof macht und Genmais nicht tötet – Über Risiken und Nebenwirkungen der Unstatistik“