Evaluation (1): Einführung

Playdoyer für datengestützte Schul- und

Unterrichtsentwicklung 

Wie immer zu Beginn eines Jahres überlegt man sich, wo man in Zukunft seine Schwerpunkte setzen möchte. Ich nehme seit einiger Zeit wahr (und habe im letzten Jahr unter dem Hashtag Generation Z immer wieder darüber berichtet), dass unsere Schülerinnen und Schüler zunehmend verunsichert sind. Diese jungen Menschen wachsen in einer Welt auf, die von digitalem Wandel, globalen Krisen und einer noch nie dagewesenen Vielfalt an Möglichkeiten und Unsicherheiten geprägt ist. Gleichzeitig zeigen nationale und internationale Studien wie TIMMS 2023, ICILS 2023, das MINT Nachwuchsbarometer 2024 oder das Schulbarometer 2024 Kompetenzdefizite in zentralen Bildungsbereichen auf. Diese Defizite betreffen nicht nur das Fachwissen, sondern auch grundlegende Zukunftskompetenzen, die dringend benötigt werden.

Aber wie reagieren wir als Schulsystem darauf? Sind wir bereit, die Herausforderungen anzunehmen? Und vor allem: Sind wir bereit, uns selbst in Frage zu stellen und neue Wege zu gehen? Diese Fragen waren in den letzten zehn Jahren meiner beruflichen Tätigkeit (Institut für Qualitätsentwicklung, Hessische Lehrkräfteakademie) immer wieder Ausgangspunkt für den Beginn einer Leitbilddiskussion in einer Schulgemeinschaft, die durch Coaching oder Beratung begleitet wurde.

Dieser Beitrag ist der Auftakt zu einer Reihe von Artikeln, die Ihnen helfen sollen, die Qualität des Lernens und Lehrens systematisch zu verbessern. Ergebnisse zentraler Bildungsstudien werden vorgestellt und für die eigene Arbeit reflektiert. Ich zeige Ihnen, wie Sie durch gezielte schulinterne Befragungen die Bedürfnisse und Perspektiven Ihrer Schülerinnen und Schüler besser verstehen und darauf aufbauend handeln können. Und ich stelle Ihnen die Praxis einiger Schulen vor, die sich aus meiner Sicht erfolgreich auf den Weg gemacht haben. Mit einer Einführung in das Konzept der “Data Team Intervention”, einem vor allem in den Niederlanden eingesetzten Evaluationsverfahren, lege ich einen ersten Schwerpunkt auf die datengestützte Schul- und Unterrichtsentwicklung.

Es erfordert Mut, sich auf neue Prozesse einzulassen. Es erfordert Offenheit, Ergebnisse kritisch zu hinterfragen. Und es erfordert die Bereitschaft, Verantwortung zu übernehmen, um gemeinsam etwas zu bewegen.

Ich lade Sie nun ein, diesen Weg mitzugehen.

Nadine Emmerling, Kultusministerium Baden-Württemberg

Die Transformation in einer Kultur der Digitalität beschreibt den Wandel in Bildung und Gesellschaft, der durch die Digitalisierung und die tiefgreifenden Veränderungen in der Art und Weise, wie wir kommunizieren, lernen und arbeiten, hervorgerufen wird. Im schulischen Kontext bedeutet dies, dass Schulen ihre Strukturen, Lehrmethoden und Lerninhalte an die Herausforderungen und Möglichkeiten der digitalen Welt anpassen müssen.

Die Digitalisierung ist so eng und selbstverständlich mit unserem Alltag verbunden (von der Onlinerecherche über den Fahrkartenautomaten bis zum Intranet der Kultusverwaltung). Der Schule kommt dabei die Aufgabe zu, junge Menschen dabei zu unterstützen, angesichts der rasanten und tief greifenden Veränderungsprozesse im beruflichen, im sozialen und im politischen Kontext diese Welt aktiv zu gestalten. Die jungen Menschen nutzen digitale Medien schon vielfach für ihr Lernen – mal zielgerichtet, mal weniger; mal lernförderlich, mal weniger; mal im Wissen um rechtliche Rahmenbedingungen (z. B. den Datenschutz, das Urheberrecht, den Jugendmedienschutz), mal ohne dieses Wissen. Vor allem die Schule ist der Ort, an dem Lernende in didaktisch aufbereiteten Kontexten digitale Medien sinnvoll und qualitätsorientiert einsetzen lernen können.

Schnell stellte sich die Frage nach einem Standard. In den Kultusministerien wurden Qualitätsstandards bzw. Referenzrahmen entwickelt. Diese bildeten (und bilden in einigen Bundesländern immer noch) die Grundlage für die Rückmeldungen der Landesschulinspektorinnen und -inspektoren. Vergleicht man die Qualitätsrahmen der Länder miteinander, so fällt auf, dass sie sich nur in Nuancen unterscheiden. Allen gemeinsam ist die Analyse einer Schule nach folgenden Kriterien

• Ergebnissen / Leistung
• Lernkultur – Qualität der Lehr- und Lernprozesse
• Schulkultur
• Schulleitung und Schulmanagement
• Lehrerprofessionalität und Personalentwicklung
• Zielen und Strategien der Qualitätsentwicklung

Das Jahr 2024 ist geprägt von der Veröffentlichung zahlreicher Studien. Es geht um die Umsetzung der Bildungsstandards, um den angemessenen Einsatz von Technologien im Unterricht, um die Einstellung der Schülerinnen und Schüler zu Politik und Umwelt und vieles mehr. Darauf werde ich in den folgenden Beiträgen noch näher eingehen.

In diesem Beitrag geht es um die Akzeptanz interner und externer Evaluationsverfahren und damit um eine datengestützte Schulentwicklung. Evaluation wird verstanden als ein Prozess der systematischen Sammlung und Analyse von Daten bzw. Informationen mit dem Ziel, kriterienorientierte, begründete und nachvollziehbare Bewertungsurteile zu ermöglichen. Orientiert man sich an der Herkunft des Wortes (frz., zu évaluer «schätzen», «berechnen», von lat. valere «stark sein», «wert sein»), so wird deutlich, dass Evaluation etwas mit «Wert schätzen» zu tun hat, mit der Einschätzung des Wertes, der «Stärke» eines Produktes oder Prozesses anhand nachvollziehbarer Kriterien. Gute Evaluation hat viel mit einer «wertschätzenden» Grundhaltung zu tun, mit dem Bemühen, die Qualität von Schule und Unterricht zu verstehen, um sie weiterzuentwickeln. Interne Schulevaluation basiert auf der Überzeugung, dass Schulqualität erhalten und gefördert werden kann, wenn die Lehrkräfte vor Ort ihre Erfahrungen und ihr Wissen austauschen und für Entwicklungen fruchtbar machen. Sie sind es, die Schulqualität hervorbringen und die die Schule und ihr Umfeld vor Ort am besten kennen.

Die datengestützte Schulentwicklung unterscheidet zwischen schulinterner Evaluation (Small Data) und externer Evaluation (Big Data), die in der Regel von den Bildungsbehörden initiiert wird. Ein lernendes Schulsystem zeichnet sich durch die Fähigkeit aus, sich kontinuierlich an neue Herausforderungen anzupassen, Innovationen aufzunehmen und aus Erfahrungen zu lernen. Dies erfordert nicht nur strukturelle Veränderungen, sondern auch einen tiefgreifenden Wandel im Denken und in der Kultur der Schule als Organisation. Datengestützte Schulentwicklung ermöglicht fundierte Entscheidungen in Bezug auf die oben genannten Fragen zu treffen (Umsetzung der Bildungsstandards, angemessener Einsatz von Technologien im Unterricht, Einstellungen der Schülerinnen und Schüler zu Politik und Umwelt u.v.m.).

Kluge Evaluation hilft

• die eigene Praxis neu zu sehen
• sinnvolle und falsche Routinen zu erkennen,
• die Unsicherheit in Bezug auf die Wirkungen und die Wirksamkeit der eigenen Arbeit zu reduzieren,
• herauszufinden, was wirkungsvoll ist,
• Bestätigung für eine erfolgreiche und bewährte Praxis zu finden,
• Handlungsbedarf und Veränderungsbedürfnisse zu erkennen,
• Feedbacks für das eigene Lehren und Lernen zu nutzen,
• fundierte Grundlagen für die Arbeitsplanung und die Entscheidungen zu gewinnen,
• eine Grundlage für die Verständigung über gemeinsame Ziele zu schaffen,
• Rechenschaft abzulegen über das Mass der Zielerreichung und die Erreichung eigener und anerkannter externer Qualitätsansprüche.

Selbstreflexion ist Teil der Arbeitskultur von Schule

Früher nahmen die einzelnen Lehrerinnen und Lehrer die Verantwortung für eine hohe Schul- und Unterrichtsqualität vorwiegend individuell wahr. Mit der schulinternen Evaluation ist die Zielsetzung verbunden, dass die einzelnen Schulen schrittweise auch gemeinsame Formen der Qualitätssicherung und Qualitätsentwicklung aufbauen und diese im Schulbetrieb fest verankern.

Die Schule als pädagogische Einheit (“Lernende Schule”) wie auch einzelne Unterrichtsteams können Evaluationen nutzen, um die Wirkungen der gemeinsamen Arbeit auf die Schülerinnen und Schüler, auf die Lehr- und Betreuungspersonen sowie auf die Schule und nach außen einzuschätzen und zu beurteilen.

Evaluation ist ein Beteiligungsinstrument

Evaluation ermöglicht, die Sichtweisen der Beteiligten und Betroffenen einzuholen und auf dieser differenzierten Grundlage tragfähige, breit abgestützte Entscheide zu fällen. Durch Evaluationsvorhaben können Schülerinnen und Schüler sowie Erziehungsberechtigte in die Gestaltung und Entwicklung der Schule einbezogen werden. Grundlage für die Entscheidung über Entwicklungsschwerpunkte sind dann nicht nur die Sichtweisen innerhalb des Kollegiums, sondern auch regelmäßige Rückmeldungen von Kindern, Jugendlichen oder Erziehungsberechtigten über deren Sicht auf schulische Abläufe. Evaluation wäre in diesem Sinne auch als Beitrag zur Demokratisierung der Schule zu verstehen.

Anlässlich des 20-jährigen Bestehens des Instituts zur Qualitätsentwicklung im Bildungswesen (IQB) hielt Prof.’ Schildkamp den Festvortrag. Sie ist Professorin an der Fakultät für Verhaltens-, Management- und Sozialwissenschaften der Universität Twente in den Niederlanden. Ihr Lehrstuhl “Data Informed Decision Making for Learning and Development” widmet sich der Erforschung und Förderung datengestützter Entscheidungsfindung im Bildungsbereich. Ihre Arbeit konzentriert sich auf die professionelle Entwicklung im Bereich der datengestützten Entscheidungsfindung und die Anwendung von künstlicher Intelligenz (KI) im Bildungsbereich. Ihre Forschungsergebnisse bieten Einblicke und Strategien, wie Bildungseinrichtungen durch den gezielten Einsatz von Daten nicht nur effizienter arbeiten, sondern auch das Lernen und die Entwicklung der Lernenden nachhaltig verbessern können.

Zusammenfassung ihres Vortrags ^[1]https://www.schule.at/bildungsnews/detail/datenteams-als-gamechanger

Ein wesentlicher Aspekt ihrer Forschung ist die Einbeziehung der Lernenden in den Prozess der Datennutzung. Durch ihre aktive Beteiligung wird nicht nur ihre eigene Informationskompetenz gestärkt, sondern auch das gemeinsame Ziel einer kontinuierlichen Verbesserung der Bildungsqualität verfolgt. In ihrem Vortrag wies sie darauf hin, dass ihrer Erfahrung nach häufig eine Lösung für ein Problem umgesetzt wird, ohne die eigentlichen Ursachen zu analysieren. So würden beispielsweise bei schlechten Mathematikleistungen zusätzliche Stunden und neue Materialien eingeführt, ohne die Qualität des Unterrichts zu hinterfragen. Außerdem würden Lehrer manchmal die Notwendigkeit von Daten in Frage stellen, da sie glaubten, ihre Schüler auch ohne Daten gut zu kennen.Der Prozess sollte jedoch mit klaren Zielen beginnen, gefolgt von der Sammlung und Analyse von Daten, um zu verstehen, warum diese Ziele (nicht) erreicht werden. Daten müssten kontextualisiert und in handlungsrelevantes Wissen umgewandelt werden. Daten werden oft mit Rechenschaftspflicht in Verbindung gebracht, was zu kurzfristigen, engen Zielen und einem eingeschränkten Fokus (z.B. nur auf Leistung) führen kann. Eine Kombination aus Rechenschaftspflicht und Verbesserung ist für nachhaltige Ergebnisse unerlässlich.

Das Ziel der Bildungsbehörden und der Schulleitung sollte es sein, die datengestützte Zusammenarbeit, die Integration von Technologien und die professionelle Entwicklung der Lehrkräfte zu fördern. Sie fordert, die Autonomie der Lehrkräfte zu respektieren und ihnen gleichzeitig Unterstützung und Weiterbildung anzubieten. Für die Datenerhebung empfiehlt Schildkamp vielfältige Datenquellen, darunter Umfragen, Beobachtungen und Interviews mit Schüler/innen. Vor allem Schülerstimmen lieferten wertvolle Einblicke. Die Analyse der Daten sei ihrer Erfahrung nach weniger schwierig, da sie klaren Regeln folge. Die Herausforderung liege in der Interpretation und Umsetzung. Daten allein geben keine konkreten Handlungsanweisungen. Lehrkräfte müssten ihre pädagogische Expertise einbringen, um geeignete Maßnahmen abzuleiten. Der Dialog und die Zusammenarbeit im Team seien entscheidend, um unterschiedliche Perspektiven einzubeziehen und Vorurteile abzubauen.

Die Nutzung von Daten sollte als Instrument und nicht als Selbstzweck betrachtet werden. Eine erfolgreiche datengestützte Schulentwicklung erfordert eine ausgewogene Kombination aus Verantwortung, Unterstützung und einer Kultur der kontinuierlichen Verbesserung, die die Lehrkräfte unterstützt und einbezieht.

Schließlich stellte Schildkamp mit der „Data Team Intervention“ ein Konzept vor, das seit 15 Jahren in verschiedenen Ländern (u.a. Niederlande, USA, Schweden, Belgien, England) erprobt wird. Die Professorin lädt Schulleitungen und Lehrkräfte ein, dieses Instrument zu nutzen. Wesentliche Erkenntnisse aus der Forschung mögen zunächst frustrierend erscheinen sind aber im Spiegel der Komplexität von Bildung zu sehen: Erste Hypothesen erweisen sich oft als falsch. Der Prozess fördert ein Umdenken von externen Ursachen („Es liegt an den Eltern“) hin zu internen Lösungen („Was können wir tun?“). Die Arbeit in den Datenteams wiederum stärkt die Datenkompetenz, das Vertrauen in datengestützte Entscheidungen und die Zusammenarbeit im Kollegium. In den meisten Fällen verbessern die Schulen ihre Unterrichtsqualität und lösen die identifizierten Probleme. Es gibt aber auch Teams, die scheitern. Auch diese Misserfolge bieten Lernchancen. Die „Data Team Intervention“ ermöglicht fundierte Entscheidungen durch die Kombination von Datenanalyse, Zusammenarbeit und kontinuierlichem Lernen. Dies führt zu einer höheren Bildungsqualität und hilft Schulen, die vielfältigen Herausforderungen im Bildungsbereich systematisch anzugehen.

Die Data Team Intervention passt perfekt zum Ziel, Schulen zu einer systematischeren Auseinandersetzung mit Daten zu bewegen. Es kann helfen, Abwehrhaltungen gegenüber Lernstandserhebungen und/oder externe Evaluationen zu überwinden, da der Ansatz kollaborativ und lösungsorientiert ist. Prof.’in Schildkamp fasst ihre Erfahrungen so zusammen, hier in Zusammenarbeit mit Amanda Neck:

By identifying shared goals and engaging in a collaborative and dialogic use of multiple sources of data in a professional learning community, teachers, school leaders, and students can make more informed decision. This will lead to a higher quality of education.

Vor allem im Ausland gibt es zahlreiche Aktivitäten zur datengestützten Schul- und Unterrichtsentwicklung.

• „Data Teams“ in den Niederlanden
  • Teams aus Lehrkräften und Schulleitungen analysieren systematisch Schul- und Leistungsdaten, um Problembereiche wie Schülerleistungen oder Wohlbefinden zu verbessern.
  • Eine regelmäßige und strukturierte Begleitung durch Daten-Coaches stellt sicher, dass die Prozesse effizient ablaufen.
• Schulen in Alberta, Kanada
  • Schulen arbeiten mit regionalen Datenplattformen, um Entwicklungen zu verfolgen. Ein integriertes Dashboard zeigt individuelle Schülerleistungen und Kennzahlen zur Schulentwicklung an, die für Entscheidungen genutzt werden.
• Schulinterne Qualitätszirkel (Schweiz)
  • Schulen nutzen Qualitätszirkel, in denen Lehrkräfte gemeinsam Daten aus internen Erhebungen, Prüfungen und Schulinspektionen auswerten. Die Arbeit in kleinen Teams verteilt die Verantwortung und spart Zeit.

Mit dem Hinweis auf diese Entwicklungen im Ausland möchte ich es bei dieser Einführung belassen. Im 2. Teil plane ich die Vorstellung und Zusammenfassung zahlreicher Studien (Big Data) sowie die Darstellung einer (bundesweiten) Unterstützungsreaktion aus einer Datenanalyse (hier PISA 2018/2022). Mit dem 3. Teil setze ich die Reihe mit dem Blick auf schulinterne Maßnahmen fort. In diesem Beitrag stelle ich einige schulinterne Evaluationsverfahren (Small Data) vor, verbunden mit einem konkreten Unterstützungsangebot zum Evaluationsdesign. Um Anregungen für Maßnahmen zu geben und deren Umsetzung zu erleichtern, schlage ich im 4. Teil einige Lehr-Lern-Konzepte vor. Teil 5 enthält einige Praxisbeispiele und Teil 6 schließt die Blogserie mit einem „Big Picture” ab.

Lassen Sie sich überraschen, was ich vor allem mit dem letzten Spiegelpunkt meine.

… stay tuned …

Titelbild: Gerd Altmann @pixabay

Abschnitt Data Team Intervention: Jason Goodman @unsplash