Veröffentlicht am 02.07.14

Turbo-Abiturienten lernen keinesfalls besser – Die Widerlegung der Aussagen der Studie KESS 12

Gastbeitrag in der Wirtschaftswoche vom 19. Mai 2014

Sind Hamburgs Abiturienten mathematisch und naturwissenschaftlich klüger geworden? Nach welchen Maßstäben übertrifft das achtjährige Gymnasium das neunjährige? Die Widerlegung der Aussagen der KESS-12-Studie.

Ende des Jahres 2012 wurde in Hamburg eine vielbeachtete Studie der erstaunten Öffentlichkeit vorgestellt, in der die Kompetenzen und Einstellungen der Hamburger Schülerinnen und Schüler überprüft wurden (KESS 12 = 12-jähriger Abiturjahrgang). Die zentralen Aussagen dieser behördenintern durchgeführten Studie fanden deutschlandweite Beachtung: Die Leistungen der Hamburger Abiturienten des ersten G8-Jahrgangs von 2011 seien nicht nur in Englisch, sondern auch in Mathematik und den Naturwissenschaften mindestens so gut und teilweise sogar besser als die der Abiturienten von 2005 nach neunjähriger Schulzeit (G9). Gleichzeitig konnte die Abiturientenzahl deutlich erhöht werden (plus 33%). Nach dem Bildungssenator räumte die Studie gleich mit zwei Vorurteilen auf. Eine Vergabe höherer Abschlüsse für mehr Schülerinnen und Schüler müsse keineswegs zu einer Absenkung des Leistungsniveaus führen. Hohe Abiturientenquoten seien kein Beweis für ein niedriges Abiturniveau. Zusätzlich zeige die Studie, dass die aufkommende Kritik an der Verkürzung der Schulzeit auf acht Jahre unberechtigt sei. Ganz im Gegenteil habe die Einführung von G8 keinesfalls geschadet, sie sei vielmehr der Garant dieses Erfolges. In der Berichterstattung wurde dies Ergebnis als Sieg der Verkürzung der Schulzeit von G9 auf G8 gewertet: »Turbo-Abiturienten lernen besser« konnte man nahezu einheitlich der teilweise sicherlich auch erstaunten Presse entnehmen.

Die geheimnisvollen TIMSS-Testinstrumente

Diese Ergebnisse überraschten vor allem diejenigen, die hinter einer Steigerung der Quantität die Absenkung der Qualität vermuteten, denn beide verhalten sich in der Regel umgekehrt proportional zueinander. Insofern stachelten diese doch überraschenden Aussagen dazu an, die verwendeten Testinstrumente in KESS  12 in der Mathematik und den Naturwissenschaften einmal näher zu untersuchen. Dies stellte nun in der Tat eine nahezu unüberwindbare Schwierigkeit dar, da viele dieser über einen langen Zeitraum laufenden Studien, wie beispielsweise auch TIMSS und PISA, die ihnen zugrunde liegenden Testinstrumente selbst für wissenschaftliche Zwecke nicht offen legen. Dies verwundert umso mehr, da aufgrund der Ergebnisse dieser Studien weitreichende bildungspolitische Weichenstellungen vorgenommen werden. Nun gelang es nach vielen Anfragen von wissenschaftlicher und politischer Seite aus an die Hamburger Behörde, die in KESS 12 verwendeten Aufgabenformate zumindest einer wissenschaftlichen Institution in weiten Teilen zu benennen.

Überraschenderweise wurden nun dort keine Zentralabituraufgaben von 2005 und 2011 miteinander verglichen, wie man eigentlich hätte erwarten können oder müssen, sondern es wurden TIMSS/III-Aufgaben aus den TIMS-Studien der neunziger Jahre verwendet. Diese Studien sind mittlerweile abgeschlossen und die Testinstrumente im Nachhinein einzusehen. Interessanterweise wurden die dort verwendeten Testitems niemals zum Nachweis der Überprüfung von Abiturleistungen eingesetzt. Sie entstanden seinerzeit unter US-amerikanischer Leitung und sollten dazu dienen, die mathematischen und naturwissenschaftlichen Kenntnisse von Schülern in verschiedenen Ländern mit unterschiedlichen curricularen Vorgaben zu erfassen.

Bei den Untersuchungen stellte sich nun heraus, dass die Testitems aus TIMSS/III zur »naturwissenschaftlichen und mathematischen Grundbildung« dem Stoff der Sekundarstufe I — größtenteils sogar deren unteren Jahrgangsstufen und zum Teil der Grundschule — zuzuordnen sind. Dies wird dort auch eindeutig und klar ausgewiesen. So ist beispielsweise in einer Aufgabe zur Prozentrechnung die Information gegeben, dass 25% von bestimmten Ereignissen A eine bestimmte Folge B haben und dass von allen Ereignissen B wiederum 80% eine Folge C haben. Gefragt ist, wie oft die Folge C aus A resultiert. Zu berechnen sind somit 80% von 25%, also 20%, und das als Multiple-Choice-Aufgabe, wobei eine mögliche Antwort mit 105% (!) angegeben wird, also unsinnig ist. Jeder Siebtklässler sollte dies können. Diese Aufgaben besagen etwas über die wünschenswerte mathematische Allgemeinbildung, aber nichts über das mathematische Niveau oder gar die Studierfähigkeit von Abiturienten.

Auch die Items zur »voruniversitären Mathematik« aus TIMSS/III testen überwiegend Inhalte der Sekundarstufe I, nur etwa 1/3 bezieht sich eindeutig auf den Stoff der Sekundarstufe II. Der Begriff „voruniversitär“ hat dabei keinesfalls etwas mit der Universität zu tun, sondern berücksichtigt die teilweise mehr als unterschiedlichen Struktur- und Bildungskonzepte der beteiligten Länder vor dem letzten Schulabschluss. Knapp 70% (!) aller Testitems sind Multiple-Choice-Fragen, zu deren Lösung sich häufig die clevere Anwendung eines Ausschlussverfahrens anbietet, wie man es aus der Fernsehsendung »Wer wird Millionär« kennt. Selbst bei dem einzig zu führenden Beweis geht es nur um Winkel in einem ebenen Dreieck. An Wissen sind nur die Innenwinkelsumme 180 Grad im Dreieck sowie Neben- und Scheitelwinkelbeziehungen nötig, Stoff der Klasse 6. Man kann damit sukzessive alle auftretenden Winkel genau hinschreiben und den Beweis führen. Diese Aufgabe hat mit der gymnasialen Oberstufe rein gar nichts zu tun.
Die Aufgaben zur naturwissenschaftlichen Grundbildung aus TIMSS/III beziehen sich in erster Linie auf Themenbereiche mit konkretem Alltagsbezug und sind durch Alltagswissen, Lesekompetenz, Cleverness und gesunden Menschenverstand von Schülern der Eingangsstufen in der Sekundarstufe I zu lösen. Die Aufgaben sind auch in TIMSS/III entsprechend ausgewiesen. Warum man mit Pfennigabsätzen Parkett eher zerstört als mit normalen dürfte mit gesundem Menschenverstand auch für Siebtklässler lösbar sein.

Besonders interessant ist die Aufgabe, in der dem Schüler der Begriff der biologischen Kontrolle vorgestellt wird und er sich in Zusammenhang zur Schädlingsbekämpfung dazu äußern soll. Dieser Begriff ist in der Biologie und den Biowissenschaften unbekannt. Ob es eine TIMSS-Erfindung ist, ob die Aufgabe überhaupt in Deutschland entwickelt wurde oder gar auf Übersetzungsfehlern beruht, kann hier nicht entschieden werden. Auch die dem Schüler vorgegebene Information, dass Insektizide wegen hoher Kosten und Schäden zur Schädlingsbekämpfung ausscheiden, ist falsch. Der Schüler soll hier anscheinend eine Meinung übernehmen, keinesfalls sich eine selbst bilden. Der Bedrohung frisch geschlüpfter Jungvögel der DARWIN-Finken durch eingeschleppte Fliegenlarven kann man derzeit selbst auf den Galapagos-Inseln nur entgegen wirken, indem man die frisch geschlüpften Vögel aus ihren Nestern herausnimmt, die Nester mit Insektiziden besprüht und so die Fliegenlarven abtötet. Dann setzt man die Jungvögel wieder in ihr Nest. Dies ist derzeit die einzige Methode, die zumindest in ersten Probedurchläufen wirkt.

Auch die Durchführung solcher Schnelltests hat mit den tatsächlichen Abiturprüfungsaufgaben nichts gemeinsam. Wenn die Schüler in einer Stunde bis zu 30 solcher Aufgaben (eventuell sogar mehr) zu beantworten haben — davon ist wohl auch in KESS 12 auszugehen — muss man sich insbesondere als Fachdidaktiker und Lehrer fragen, was man mit dieser Art von »Blitzschach« mit Aufgabenstellungen im überwiegenden Multiple-Choice-Verfahren eigentlich erheben will. Zum Lösen reicht meist die Ausschlusstechnik. Man arbeitet also rückwärts und nicht vorwärts. Ganz ungeschickt wäre es, die Aufgabe zunächst zu lösen, um dann die entsprechende Lösung anzukreuzen. Das kostet Zeit. Am besten beginnt man vor allem bei länglichen Textaufgaben mit den zur Alternative gestellten Lösungen, liest dann erst den Aufgabentext und schaut, was passt. Man fördert durch diese Tests nicht das Nachdenken (i.e. mathematisches Denken), sondern das flexible Entscheiden, wie das vielleicht ein Börsenmakler beherrschen muss, der nicht alle Informationen durchdenken kann, sondern ad hoc entscheiden muss. In der Mathematik muss man nachdenken können: Argumente und Begründungen gehen in wissenschaftlichen Fächern vor Geschwindigkeit, die Schule ist kein Assessment-Center.

Methodische Zweifel

Die Behörde weist KESS 12 auf ihrer Internetseite als eine Längsschnittstudie aus. Eine Längsschnittstudie ist eine Studie, in der zu mehreren Zeitabschnitten die gleichen Personen über einen längeren Zeitraum getestet werden. Dies ist in KESS 12 in Bezug auf den Vergleich der Abiturientenjahrgänge von 2005 und 2011 nicht der Fall. KESS 12 ist ein Kohortenvergleich, also ein Vergleich verschiedener Querschnitte. Der Abiturjahrgang von 2005 und der von 2011 unterscheiden sich bezüglich der Testpersonen zu 100%, denn es ist nicht davon auszugehen, dass ein Abiturient von 2005 das Abitur 2011 noch einmal gemacht hat. Kohortenvergleiche der vorgenommenen Art sind grundsätzlich bedenklich, da es nicht möglich ist, alle Faktoren zu erfassen, die Kohorten unterscheiden. Aussagen dazu sind entsprechend hoch spekulativ. Dies trifft insbesondere auf die Kohortenvergleiche der Abiturjahrgänge von 2005 und 2011 in KESS 12 zu, da es gerade in diesem Zeitraum in Hamburg zu grundlegenden Veränderungen in den Schulstrukturen, in den Lehrplänen oder Kerncurricula und letztlich vor allem in den Abiturprüfungsbestimmungen  gekommen ist.

Fazit

Kommen wir nun zum Schluss. Die deutschen Aufgabenformate im Zentralabitur — auch in Hamburg — entsprechen in keiner Weise den in KESS 12 eingesetzten TIMSS/III Testinstrumenten, deren Bearbeitung folglich keinen Aufschluss über die tatsächlichen Abiturleistungen der getesteten Schülerinnen und Schüler im Zentralabitur geben kann. Die verwendeten Aufgaben und Aufgabenformate besitzen keinerlei curriculare Validität, das heißt sie entsprechen nicht den Anforderungen der Einheitlichen Prüfungsanforderungen und Bildungsstandards für die allgemeine Hochschulreife der Kultusministerkonferenz. Sie erweisen sich als völlig ungeeignet, derartige weichenstellende Aussagen für G8 oder G9 vorzunehmen. Hamburgs G8 Abiturienten von 2011 sind keineswegs in Mathematik oder den Naturwissenschaften besser als die G9 Abiturienten von 2005.

Auch die Steigerung der Abiturientenquote konnte nur erreicht werden, weil insbesondere die fachlichen Ansprüche in den Zentralabiturarbeiten bei gleichzeitiger Erleichterung der formalen Vorgaben und Korrekturvorschriften je nach Fach mehr oder weniger deutlich abgesenkt wurden. Darauf weisen mehrere bereits erschienene und noch in der Bearbeitung befindliche Analysen von Hamburger Zentralabiturarbeiten in verschiedenen Fächern deutlich hin. Längst nicht nur auf Hamburg bezogen meinte ein Kollege: »Aus der Sicht der Psychologie ist die Vermehrung der Abiturientenquote auf das von Ihnen genannte Niveau bei gleichzeitiger Erhöhung des Resultats die kognitive Form der alchemistischen Goldherstellung, Hamburg hat sich immer eine Bestnote in der Alchemie erworben«.

Der Beitrag in der Wirtschaftswoche: Die Erhöhung der Abiturientenrate (WiWo)

Und hier finden Sie die grundlegende Analyse der Aussagen aus KESS 12, erschienen in der Vierteljahreszeitschrift für wissenschaftliche Pädagogik: H. P. Klein et al „Sind Hamburgs Schülerinnen und Schüler mathematisch und naturwissenschaftlich klüger geworden?