Veröffentlicht am 03.10.13

Wenn Messen das Denken ersetzt

oder: Statistik von Bildungsökonomen

Wie es der Zufall wollte, erschienen Ende September 2013 zwei Beiträge zu empirischer Bildungsforschung, die sich in ihrer Argumentation und den Kernaussagen gegenseitig ausschließen. In der Zeit erschien ein Interview mit den beiden Bildungsökonomen Eric Hanushek (Stanford) und Ludger Wößmann (ifo Institut für Wirtschaftsforschung und Professor für Bildungsökonomik an der LMU, München). Anlass war das gerade erschienene Buch der beiden: „Endangering Prosperity – A Global View of the American School“. Die Kernaussage von Hanushek und Wößmann: „… eine nahezu perfekte Vorhersage der künftigen wirtschaftlichen Entwicklung einer Nation“ sei anhand der Testergebnisse von Schülern in Mathematik und Naturwissenschaften möglich. An einfachen Kurven (S. 61, in der Zeit S. 88) wird die Entwicklung des  Bruttoinlandsprodukts (BIP) der USA bis zum Jahr 2085 berechnet, abhängig von der angenommenen Leistungssteigerung in Mathematiktests. Würden amerikanische Schülerinnen und Schüler in Mathe so gut wie die deutschen, betrüge das BIP im Jahr 2085 über 150 Tsd. Dollar mehr pro Kopf und Jahr. Könnten die amerikanischen Youngsters bis dahin so gut wie die kanadischen rechnen, stiege des BIP auf 225 Tsd. Dollar. Und käme die amerikanische Jugend schließlich auf so gute Testergebnisse wie die von Singapur, würde die Marke von 300 Tsd. Dollar mehr pro Kopf  und Jahr übertroffen. Hanushek:

„Wenn man über mehr als 40 Jahre hinweg die Testergebnisse und das Wirtschaftswachstum in einem Land ins Verhältnis setzt, bekommt man ein verblüffendes Ergebnis: Das Bildungsniveau der Schüler hat ganz klar einen Effekt auf das Wirtschaftswachstum. Mit diesem Wissen haben wir simuliert, welchen Effekt eine Schulreform in den USA auf die Wirtschaft haben könnte.“

Das Problem: Diese Simulation beruht auf Denkfehlern. Zwar ist es möglich, dass Bildungsstand und Wirtschaftswachstum korrelieren, aber nicht zwingend. In der Retrospektion sind historische Fakten und zeithistorischer Kontext bekannte Parameter und werden, wenn auch nicht immer reflektiert, mit berücksichtigt. In der Projektion wird notwendig verkürzt, da soziale, politische und kulturelle Entwicklungen nicht „berechnet“ werden können. So zu tun, als wäre die isolierte Betrachtung eines Aspekts (hier der Schulbildung) möglich, ist zumindest  gewagt.

In der FAZ erschien tags darauf ein Beitrag von Wolfram Meyerhöfer (Universität Potsdam). Unter dem Titel „Empirische Gewissheit gibt es nicht“ steht im Leseeinstieg: „Lernprozesse zu vermessen ist völlig aussichtslos. Doch es spricht auch wenig dafür, dass sich Lernergebnisse genau beziffern lassen.“ Während Hanushek und Wößmann die PISA-Testeritis nicht in Frage stellen und stattdessen aus den Testergebnissen spekulative Prognosen über die Wirtschaftsentwicklung über Generationen hinweg ableiten, befragt Meyerhöfer das Zahlenkonvolut im Detail. Meyerhöfer ist kein Bildungsökonom und Prognostiker. Er ist als Mathematiker von Haus aus Analytiker und lehrt Mathematikdidaktik. In seinem Beitrag analysiert er die empirische Bildungsforschung sachlich. Deren Ziel sei nicht, das Lernen zu verstehen und zu verbessern („Man müsste sich dann mit Lernen und Vergessen beschäftigen, mit Interesse und Langeweile, mit Nutzen und Nutzlosigkeit, mit der Motivation und der Demotivation von Schulnoten.“ (übersetzt: mit Menschen, mit sozialen, (inter-)personalen und z.B. psychologischen Komponenten und Kontexten, die schwer bis gar nicht messbar sind)), sondern mit der Vermessung des Gelernten. Dazu werde als „neuester Schrei des Bildungssektors“ (Meyerhöfer) das Kompetenzstufenmodell eingesetzt, das er systematisch seziert. Kompetenzstufenmodelle seien der Versuch, die Resultate der Empirischen Bildungsforschung relevant erscheinen zu lassen, ohne es zu sein. Dazu würden systematisch Skalen, Punkte und Statistiken instrumentalisiert, um fälschlich Relevanz behaupten zu können:

„Dieses Vorgehen wirkt technisch raffiniert und löst bei manchen Begeisterung aus, weil der statistische Apparat suggeriert, dass hier Wissenschaft am Werke sei und dass das Pädagogische endlich einmal harte Zahlen liefert.“

Doch während die zitierten Bildungsökonomen mit derlei Zahlen fröhlich ihre Rechner und Statistikprogramme füttern, so groß- wie freizügig Parameter ändern und algorithmisch abenteuerliche Prognosen produzieren, bis die Ergebnisse aufmerksamkeitsheischend sind („torture your data until they confess“), konstatiert Meyerhöfer als Mathematiker zur Datenbasis dieser Spekulationen:

„Das Problem dieses Ansatzes ist, dass er nicht funktioniert. Schaut man auf das statistische Procedere, so leuchtet unmittelbar ein, dass man auf diese Weise keinerlei ernsthafte Aussage über Bildungsprozesse oder Bildungssysteme generieren kann.“

An einer PISA-Testaufgabe zeigt Meyerhöfer exemplarisch die Fehlerhaftigkeit bereits des Ansatzes und leitet daraus den Generalwiderspruch zwischen Schule als Lehr- und Vermittlungsanstalt auf der einen und der sich zunehmend verselbständigenden Testindustrie auf der anderen Seite ab. Er fasst zusammen:

„Wenn ein Kompetenzstufenmodell mit Aufgaben entworfen wird, die mehrere Lösungswege zulassen, lässt es sich nicht empirisch absichern. Wenn es aber mit Aufgaben erstellt wird, die nur einen Lösungsweg zulassen, dann ist es didaktisch kontraproduktiv, weil solche Aufgaben in die geistige Verarmung führen. Eine gute Testaufgabe – bei der man genau benennen kann, was sie misst – ist das Gegenteil einer bildenden Schulaufgabe, welche geistige Vielfalt und Debatte über diese Vielfalt herausfordert.“

Anders formuliert: Was ist die Aufgabe von Schule? Die Optimierung von Testergebnissen schulfremder Rankingagenturen oder lernende Schüler(innen)? Liest man nach dem Beitrag von Meyerhöfer noch einmal das Interview in der Zeit, kommt man ins Grübeln. Bildungsökonomen berechnen statistisch aus den PISA-Zahlen der Mathe-Tests 15-jähriger Schüler(innen) das Bruttoinlandsprodukt der USA bis zum Jahr 2085, obwohl diese Aufgaben entweder in die geistige Verarmung führen (was Ursache für das schlechte Abschneiden der amerikanischen Schüler im Mathe-Test sein könnte) oder es sind keine Aussagen über Lernprozesse möglich – und damit eher keine spekulativen Prognosen über die Wirtschaftsentwicklung der USA.

Möglicherweise – und das sei vorsichtig im Konjunktiv formuliert, weil sich rein statistisch natürlich viel „berechnen“ lässt, wenn man Parameter und Prämissen entsprechend auswählt, gewichtet, weglässt (und sich mit nichts so gut Lügen lässt wie mit Zahlen, siehe Bosbach; Korff)  – müssten diese Bildungsökonomen sich noch einmal mit den Grundlagen der Logik befassen, bevor sie so großzügige Thesen wie die wirtschaftliche Entwicklung einer ganzen Nation über mehr als zwei Generationen aus Testergebnissen eines normierenden Mathematik-Tests für 15-Jährige ableiten. (Die Logik als philosophische Disziplin ist der Kontrapunkt zu statistischer und algorithmischer Spekulation.) Zu fragen ist eher, warum diese Form der „Bildungs-Empirie“ (und „self promotion“) ein Forum in der Zeit bekommt.

Quellen:
Bosbach, Gerd ; Korff, Jens Jürgen; Lügen mit Zahlen : wie wir mit Statistiken manipuliert werden, München: Heyne, 2012
Hanushek, Eric A.; Peterson, Paul E.; Woessmann, Ludger: Endangering Prosperity: A Global View of the American School, Brookings Institution Press, 2013
Meyerhöfer, Wolfram [Gewissheit, 2013]: Empirische Gewissheit gibt es nicht, in: FAZ vom 27. September 2013, S. 7 (Bildungswelten)
Meyerhöfer, Wolfram: Das Kompetenzstufenmodell von PISA: Eine empirische Dekonstruktion
Wagner, Peter [Rechnen,2013]: Rechnen macht reich. Gefährden schlechte Mathematiknoten unsere Zukunft? Ein Gespräch mit dem amerikanischen Bildungsökonomen Eric Hanushek und seinem deutschen Kollegen Ludger Wößmann. in: Die Zeit, Nr. 40 vom 26. September 2013, S.87 (Chancen)

Zu den Autoren: