Viele Schulen, viele Lehrkräfte experimentieren zurzeit mit den unterschiedlichsten Ansätzen hybrider Lernformen. Meine beiden letzten Beiträge haben eine Reihe von Szenarien vorgestellt. Dr. Persike fordert mit Blick auf die Einführung von Apps & Tools im Blended Learning Umfeld: „Evaluieren, evaluieren, evaluieren!“ In meiner Berufspraxis bin ich keiner Schulleitung begegnet, die eine Evaluation per se ablehnt. Ich habe dagegen vielfach in Steuergruppen- Schulleitungsbefragungen gehört: „Ist sinnvoll, ja, aber: keine Zeit.“ Dieser Beitrag wird zeigen, wie wichtig und zugleich hilfreich die Überprüfung einer Einführung von neuen Lehr-und Lernmethoden ist.

Beispiele aus der Praxis

Individuelle Evaluation

Der Mathe- Seminarleiter Tim Kantereit beschreibt sich in seinem Blog so:

Während des eigenen Referendariats vor knapp elf Jahren habe ich versucht, Lernplattformen im Unterricht zu etablieren. Seitdem konnte ich mit diversen Plattformen Erfahrungen sammeln. Darüber hinaus habe ich im Unterricht viel Erfahrung mit Portfolios und Lerntagebüchern gesammelt. Meine aktuellen Interessen liegen im Bereich Nutzung digitaler Medien, formative Assessment, agiler Didaktik und Feedback.

Es verwundert nicht, dass er sich in seinen Lerngruppen vergewissern wollte, wie seine Konzepte ankommen. Er hat eine Umfrage konzipiert, die folgende Hypothesen untersuchen sollte:

  1. SuS setzen vor allem in der Oberstufe bevorzugt auf traditionelle Lernmedien (Tafel, Stift, Papier, Buch) und Methoden (z.B. Lehrervortrag, Einzelarbeit, Partnerarbeit)
  2. Es sind vor allem jüngere Jahrgänge, die sich verstärkt den Einsatz digitaler Medien im Unterricht wünschen und für lernwirksam erachten.
  3. SuS sehen vor allem motivationale Aspekte im Umgang mit digitalen Medien im Unterricht.
  4. Ein Verbot von Smartphones lehnen sie ab.
  5. Das Erstellen von PowerPoint-Präsentationen ist den SuS bekannt und wird daher als Lernform akzeptiert. Podcasts und weitere Formate sind weitgehend unbekannt und werden weniger als lernförderlich angesehen.
  6. Die Nutzung digitaler Medien verändert das Denken und Schreiben und führt zu mangelhafter Konzentration.

Die Ergebnisse und Schlussfolgerungen stellt der Seminarleiter in einem Blogbeitrag vor. Sie zeigen: Er verfügt nun über ein Hintergrundwissen, das seinen Unterricht anpassen bzw. neu organisieren lässt.  

 

schulinterne Evaluation

Ein Schulleitungsmitglied einer Schweizer Schule berichtet über deren Evaluationserfahrungen bei Einführung eines Lernens in einer Lernlandschaft (LiLO) 1. Was versteht die Oberstufenschule Wädenswil unter einer Lernlandschaft?

In einer Lernlandschaft arbeiten und lernen bis zu drei Klassen (alters- und stufengemischt) gemeinsam. Alle Lernenden verfügen über einen persönlichen Arbeitsplatz. Dieser kann selber gestaltet werden und bietet einen Ort der Ruhe, wo konzentriertes Arbeiten möglich ist. In den Lernlandschaften arbeiten die Schüler in mindestens einem Drittel der Lektionen vermehrt selbstständig und übernehmen mehr Verantwortung für ihr Lernen. Sie setzen sich mit auf sie individuell angepassten Aufgaben auseinander. Lehrpersonen agieren häufiger in der Rolle der Lernbegleiterin und führen Lernende zu mehr Eigenverantwortung. In regelmäßigen Gesprächen mit den Lehrpersonen wird das Lernen reflektiert, die Arbeitsorganisation thematisiert und Unterstützung gegeben. Die Schüler führen ein Lernbuch (vgl. Abb. 1), in dem sie die Wochenplanung festhalten, persönliche Lernziele formulieren und überprüfen, wo sie in ihrem Lernen stehen. Dies erfordert Eigenverantwortung, die Fähigkeit, eigenes Handeln zu reflektieren, wird dadurch gestärkt. Zudem geben sie den Lehrpersonen regelmäßig Feedback zum Unterricht und zum System LiLO. Natürlich finden neben den Lernlandschaften weiterhin auch ›konventioneller‹ Unterricht statt, in dem die Lehrperson Teile des Schulstoffs vermittelt (Inputlektionen, lehrpersonengesteuert). Lernende, die bereits ein hohes Leistungsniveau aufweisen, erhalten zusätzliche Lernaufgaben und können sich vertiefter mit Inhalten auseinandersetzen. Sie übernehmen auch Aufgaben als Coaches für andere (peer-to-peer-learning). Dadurch können sie auch überprüfen, ob sie selber sattelfest sind, ihre Sozialkompetenz wird geschult. Die soziale Interaktion unter den Jugendlichen wird verstärkt und damit auch der gegenseitige respektvolle Umgang. Den Schülern ist es möglich, den größten Teil ihrer Aufgaben in der Schule zu erledigen, Hausaufgaben im engeren Sinne gibt es nicht mehr2.

Warum evaluiert die Schule? In dem Beitrag führt die Autorin i. W. die folgenden fünf Gründe an:

  • Ausgangspunkte und Ziele zu klären
  • Hinweise für die Planung zu gewinnen
  • die Entwicklung zu verfolgen und gegebenenfalls zu korrigieren
  • Ergebnisse zu erheben und zu werten
  • nach innen und außen Rechenschaft über unsere Projektarbeit vorzulegen.

Startpunkt der Schul- und Unterrichtsentwicklung bildete eine Evaluation über die Wahrnehmung der Schule bei den Schüler(inne)n, Eltern und Lehrpersonen. Mit einer großen anonymen Umfrage wurden die Befindlichkeit und das bisherige Schulgeschehen hinterfragt. Die Resultate wurden in einer Klausurtagung der ganzen Schule analysiert und schließlich Schlüsse für die weitere Schulentwicklung und Etablierung von Innovationen gezogen. Dieser Schulentwicklungsprozess wurde fortan jährlich an Planungs- und Evaluationstagungen fortgesetzt, bei denen alle Beteiligte den Fokus gemeinsam auf das Schulprogramm mit den Entwicklungsprojekten legten.

Das Projekt LILO wurde nicht von allen Lehrkräften durchgeführt. Es hatte somit Projektcharakter und das Ziel, die Lernlandschaften bei Erfolg verbindlich einzuführen. Fasst man die Ergebnisse der unterschiedlichen Evaluationen (IQESonline, Auswertungen, Interviews, Rückmeldungen, Lernbücher) zusammen, lassen sich daraus folgende Gelingensfaktoren für erfolgreiches eigenverantwortliches und individualisierendes Lernen festhalten:

  • Die Verantwortung für das Lernen liegt bei den Schüler(inne)n.
  • Durch Coachinggespräche und schriftliche Rückmeldungen findet individualisierte Lernbegleitung statt.
  • Jede Schülerin, jeder Schüler und alle Lehrpersonen verfügen über einen persönlichen Arbeitsplatz in der Lernlandschaft.
  • Klassen- und/oder Gruppenunterricht und selbstorganisiertes Lernen werden in ausgewogenem Verhältnis angeboten.
  • Das Lernen geschieht weitestgehend individualisiert.
  • Soziales und kooperatives Lernen findet regelmäßig statt (altersdurchmischtes und stufenübergreifendes Lernen sind niederschwellig möglich).
  • Das soziale Zusammenleben und die Räumlichkeiten werden gemeinsam durch die Schüler(innen) sowie deren Lehrpersonen gestaltet.
  • Nachhaltiges Lernen wird durch sorgfältig gestaltete Aufgabenstellungen ermöglicht.
  • Zusätzliche individuelle Lernzeiten werden außerhalb des Stundenplans angeboten.
  • Institutionalisierte Lehrpersonenteams zur Reflexion und Sensibilisierung von Abläufen und Situationen sind installiert.

Interessant: Die Autorin hebt hervor, dass diese Gelingenbedingungen im übrigen auch für andere Unterrichtsformate festgestellt wurden, mithin man also Indikatoren an die Hand bekam, Unterricht zu evaluieren!

Resumee der Autorin:

Es hat sich sehr bewährt, dass solch komplexe Vorhaben durch eine systematische Herangehensweise betrachtet und untersucht werden können, so dass weiterführende Entscheide darauf abstützen können. Es war eine Bestätigung der sorgfältigen Planung und Durchführung des Projekts, dass die Ziele im Bereich selbsttätiges Lernen, aktive Lernbegleitung und engere Zusammenarbeit der Lehrpersonen sehr gut erreicht wurden. Bei der Einbettung von sozialen und kooperativen Lernarrangements sowie der Nachhaltigkeit der Lernaufgaben haben wir die Ziele bisher nur teilweise erreicht, was Ansporn für weitere Entwicklungen und Verbesserungen ist. Innerhalb der OSW wird nun sorgfältig abgewogen, wie die Strukturen der Lernlandschaften aussehen sollten und wie die Teams zusammengesetzt werden. Für eine solch wegweisende Evaluation verantwortlich zu zeichnen, ist auch mit Erwartungsdruck und mit viel Verantwortung verbunden. Die Wichtigkeit eines transparenten Führungsverhaltens und einer sorgfältigen Informationspolitik wurde uns immer wieder vor Augen geführt.

Weitere Praxisbeispiele:

  • Praxisbeispiele Selbstevaluation. Die Pilotschulen der Selbstevaluation berichten von ihren Erfahrungen im Umgang mit Selbstevaluation und den dabei eingesetzten Instrumenten.
Externe Evaluation eines Schulträgers

Regelmäßige Leserinnen und Leser meines Blogs wissen, dass ich meine Medieneinsatzerfahrungen in einem Gymnasium des Wetteraukreises gesammelt habe. Der Kreis zeichnet sich seit Jahren durch eine professionelle Strategie in Implementationsfragen aus. Beeindruckt hat mich immer wieder die Bereitschaft der Lokalpolitikerinnen und -politiker, den Vorschlägen der IT-Gremien zu folgen:

  • Die IT-Abteilung des Kreises sorgte im regelmäßigen Fünfjahresrhythmus mit einem Roll-out neuer PCs, Laptops. Für diese Initiative mussten die Schulen ein Medienkonzept vorlegen.
  • Das Medienzentrum organisierte und unterstützte ab 2008 die Nutzung eines Lernmanagementsystems (wtkedu) mit Fortbildung und technischer Unterstützung.
  • Die Einführung von Tablet-Computern in Grundschulen wurde über den Aufbau einer Modellschule initiiert.

Die Professionalität der IT-Abteilung zeigt sich nicht zuletzt durch deren Bereitschaft, ihre Umsetzungen immer auf den Prüfstand zu stellen. Dazu nutzte sie einen externen Dienstleister (ifib Bremen). Es entstanden die folgenden beiden Berichte:

Mit diesen Evaluationen erhält der Schulträger wertvolles Hintergrundwissen, auch im Umgang mit der Kommunikationsplattform wtkedu.

Blaupause Evaluation

Orientiert man sich an der Herkunft des Wortes (frz., zu évaluer «abschätzen», «berechnen», von lat. valere «stark sein», «wert sein»), so wird deutlich, dass Evaluation etwas mit «Wert schätzen» zu tun hat, den Wert, die «Stärke» eines Produktes oder Prozesses anhand von nachvollziehbaren Kriterien einzuschätzen. Gute Evaluation hat viel mit einer «wertschätzenden» Grundhaltung zu tun, mit dem Bemühen, die Qualität von Schule und Unterricht zu verstehen, in der Absicht, sie weiterzuentwickeln.
Interne Schulevaluation basiert auf der Überzeugung, dass Schulqualität erhalten und gefördert werden kann, wenn die Lehrkräfte vor Ort ihre Erfahrungen und ihr Wissen austauschen und für Entwicklungen fruchtbar machen. Sie sind es, welche die Schulqualität hervorbringen und die umfassendsten Kenntnisse über die lokale Schule und ihr Umfeld besitzen.

 

Gute Evaluationen folgen transparenten Schritten, die Vertrauen und Verlässlichkeit für die Beteiligten schaffen. Wer eine Evaluation plant und durchführt, kann sich an den neun bewährten Schritten orientieren, wie sie in Schulen des Schweizer Kantons Zug vermittelt werden.

Kleine Schritte und verschiedene Zugänge sind möglich, der Einsatz auch einfacher Evaluationsformen ist realistisch: Mit all dem kann eine tragfähige Evaluationskultur in der Schule längerfristig aufgebaut werden.

Werkzeuge aus Digitalien

Evaluationsmaßnahmen können natürlich in Papierform durchgeführt werden. Effizienter scheint mir jedoch, digital unterstützende Instrumente einzusetzen. Der “Markt” ist unübersichtlich. Nach welchen Kriterien sollte man auswählen? Ich würde zuvörderst nach Landeslösungen suchen, denn diese sind in der Regel mit einem Service und Support seitens (nachgeordneter) Landesinstitute verbunden.

Falls eine eigene Marktrecherche durchgeführt werden soll, empfehlen sich folgende Kriterien:

  • Das Tool sollte webbasiert und weder flash- noch javabasiert sein
  • Mit dem Tool müssen sich Fragebögen online erstellen, beantworten und automatisch auswerten lassen. Fragebögen-Vorlagen müssen kopiert und verändert werden können.
  • Das Tool muss leicht zu bedienen sein.
  • Wenn Apps angeboten werden, müssen sie leicht zu installieren sein und über ein adaptives Design für Smartphone- Nutzung verfügen.
  • Der Anbieter weist eine DSGVO konforme Implementation nach, um die Schulgemeinde (Schulleitung, Eltern, Schülerinnen und Schüler) eine entsprechende Sicherheit zu geben

Wir haben 2016 in unserer Abteilung eine Softwareanalyse durchgeführt. Dabei haben wir ein Pflichtenheft aufgestellt und die Tools intern von Zweierteams evaluieren lassen. In Ergänzung dazu haben wir die Anbieter um eine Eigeneinschätzung gebeten. Am Ende stand IQESonline als kostenpflichtiges Produkt und LimeSurvey als „kostenfreies“ Produkt auf den ersten Plätzen. Die Anführungszeichen sind berechtigt: Denn im Unterschied zum kommerziellen Produkt muss das Land personell den Service und Support sicherstellen und das geht in der Regel zulasten der Unterrichtsversorgung, da Lehrkräfte mit Entlastungsstunden freigestellt werden.

Die folgende Übersicht ist nicht vollständig, sie dient einer Vorauswahl.

Linzer Diagnosebogen zur Klassenführung (LDK)

Der Linzer Fragebogen zu Klassenführung” (LDK) ist ein Fragebogen zum Führungshandeln von Lehrkräften. Er ist aus Forschungen zur Klassenführung und aus praktischen Erfahrungen in der Lehrerbildung hervorgegangen. Der LDK ist für Lehramtsstudierende und Lehrer/innen gedacht, die sich Klarheit über ihr pädagogisches Handeln sowie dessen Rahmenbedingungen und Auswirkungen verschaffen möchten, um ihr Handeln weiter zu entwickeln. Der LDK eignet sich auch als Forschungsinstrument.

  • Der Dienst ist kostenlos.
  • Kein eigener Webserver nötig.
  • zahlreiche Einsatzmöglichkeiten
  • viele Fragenbogenitems stehen zur Verfügung
  • ausgereiftes und bewährtes Evaluationstool
  • Die Auswahl der Fragen ist nicht veränderbar.
  • Es können keine eigene Fragen gestellt werden.

SEP-Klassik

Das klassische Selbstevaluationsportal (SEP-Klassik) bietet Lehrkräften, dem Leitungspersonal an Schulen sowie Haupt- und Fachseminarleitungen die Möglichkeit, Instrumente zur Selbstevaluation online zu nutzen und dadurch schnell und unkompliziert eine Rückmeldung zu zahlreichen Facetten des eigenen Handeln zu erfahren. Berlin und Brandeburg erhalten Unterstützung durch das das Institut für Schulqualität (ISQ).
  • Der Dienst ist kostenlos.
  • Kein eigener Webserver nötig.
  • zahlreiche Einsatzmöglichkeiten
  • viele Fragenbogenitems stehen zur Verfügung
  • ausgereiftes und bewährtes Evaluationstool
  • keine Apps verfügbar

Grafstat

Grafstat ist eines der ältesten im Schulbereich bekannten Befragungsprogramme. Es wird gefördert durch die Bundeszentrale für politische Bildung. Für Bildungseinrichtungen ist es kostenlos. Die Bedieneroberfläche verdeutlicht noch die Herkunft, sie folgt nicht dem Windows-Standard mit aufklappbaren Menüs. Die einzelnen Aktionen werden durch Klick auf die Buttons aufgerufen. An diese Bedienung muss man sich erst gewöhnen, jedoch findet man sich nach der Eingewöhnungszeit oder nach einer kurzen Anleitung durch einen Kundigen in den Grundfunktionen schnell zurecht.
  • Der Dienst ist kostenlos.
  • Kein eigener Webserver nötig.
  • zahlreiche Einsatzmöglichkeiten
  • Druckvorlage kann aus dem Programm schnell erzeugt werden (falls Internet ausfällt bzw. nicht vorhanden)
  • wegen HTML – Seitenstruktur vielfältige Möglichkeiten, den Seitenaufbau selbst zu gestalten
  • Daten können durch Gruppieren verdichtet und durch Filter eingeschränkt werden. Unterschiedliche Diagramme können selbständig gestaltet werden.
  • Es stehen keine vorgefertigten Fragebogen zur Verfügung.
  • Auswertung: Wenig intutiver Ablauf beim Abruf der Daten
  • Benutzeroberfläche nicht mehr zeitgemäß
  • keine Apps verfügbar
  • Informationsseite des Anbieters, Handbuch des Anbieters (aus 2008)
  • Youtube Channel des Anbieters
  • Video-Tutorial von Herrn Lockermann
  • Anleitung desLF-Portals (Baden Württemberg)
  • Einsatzbeschreibung von Grafstat im Rahmen einer Selbstevaluation (Landesprogramm Bildung und Gesundheit NRW): Grafstat Hinweise in den grün hinterlegten Textboxen
  • Limesurvey

    LimeSurvey™ ist eine Software, mit deren Hilfe Web-Umfragen durchgeführt werden können. In einigen Ländern (Baden Württemberg, Sachsen) und Städten (München) werden die Erstellung von Web-Umfragen dadurch erleichtert, dass die Software auf eigenen Servern gemäß DSGVO datenschutzkonform läuft. Schulseitig werden zur Nutzung von LimeSurvey™ folgendes benötigt:

    • einen Computer (z. B. Windows-PC, Mac oder Tablet) mit Internetanschluss
    • einen beliebigen, modernen Web-Browser
    • eine E-Mail-Adresse, um über eine E-Mail eine Einladung zugestellt zu bekommen.
    • Die Software ist kostenfrei (Open Source)
    • Community unterstützt zeitnah
    • zahlreiche Einsatzmöglichkeiten
    • Export für individuelle Aufbereitung der daten
    • Ergebnisabruf direkt möglich
    • Import externer Fragebögen (sofern im LS-Format)
    • Benutzerführung gewöhnungsbedürftig
    • Update häufig nötig und umständlich (kompletter Upload per ftp-Server). Sehr nützliches Tool “comfortupdate” ist kostenpflichtig und recht teuer (100€ / Jahr).
    • Unterstützung der Landesinstitute nur auf das Notwendigste beschränkt (Einrichtung der Schule), (in der Regel) kein Support bei individuellen Fragestellungen
  • Onlineumfragen erstellen – eine Anleitung des Medienzentrums München(pdf von Dr. Christian Lorenz), eine Anleitung für Fortgeschrittene vom Deutschen Institut für Erwachsenenbildung (DIE)
  • Tutorial zum Anlegen einer neuen Umfrage
  • Tutorial zum Anlegen einer neuen Fragengruppe
  • Kostenpflichtige Tools

    • ist in manchen Ländern kostenfrei,
    • verfügt über übersichtliche Einführungen/Handbücher zum Einsatz von Feedback- und Evaluationsverfahren,
    • Anbieter (Gründer) ist Lehrer in Berlin.

    -> Zum Anbieter

    Das Tool ist sehr zu empfehlen, da es wissenschaftlich begründet ist und technischen Support anbietet. Darüber hinaus besticht der Onlineauftritt mit

    • einer Bibliothek (z. B. Auszüge aus  PÄDAGOGIK – Publikationen, © Verlagsgruppe Beltz, Hans-Günter Rolff (Hrsg.): Handbuch Unterrichtsentwicklung. © Beltz Verlag u.v.m.)
    • Praxisberichten aus Schulen mit unterschiedlichen Schwerpunkten
    • einem in SElbstpublikationen deutlich wahrnehmbaren pädagogischen Verständnis, die Schülerinnen und Schüler in den Mittelpunkt des Lehrkräftehandels zu setzen

    -> Zum Anbieter

    Das Tool ist sehr zu empfehlen, da es wissenschaftlich begründet ist und technischen Support anbietet. Die Kosten sind im Vergleich zu den beiden anderen hier vorgestellten Wettbewerbern deutlich niedriger. Es ist keine Verschlüsselung (https) implementiert.

    -> Zum Anbieter

    Weitere Empfehlungen aus #twitterlehrerzimmer (ohne eigene Testerfahrungen)

    Schlussbemerkung

    Uneingeschränkt empfehlenswert ist das Tool SEP-Klassik auf der kostenfreien Seite. Die kostenpflichtigen Tools zeichnen sich durch einen umfangreichen Support und im Falle von IQESonline durch die Verfügbarkeit zahlreicher Materialien zur Schul- und Unterrichtsentwicklung aus.

    Eine weitere Empfehlung ist die Suche nach (Schul)Beratung. Es gibt in vielen Bundesländern entsprechend geschultes Personal, das Unterstützung anbietet. Ich selbst habe in einem hessischen Beratungssystem gearbeitet. Wir haben den Schulen externe Evaluationen angeboten, zu vielerlei Fragestellungen. Dabei sind u. a. auch Fragebögen zur Unterrichtsqualität (inkl. Anleitung) entstanden.

    Noch einmal zurück zu Tim Kantereit und seiner LerngruppenbefragungWarum nicht diese Ergebnisse mit Rückmeldungen von Schülerinnen und Schülern anderer Schulen vergleichen? Ich habe dazu eine Limesurvey- Umfrage erstellt. Das gesamte Material hat Tim für Interessierte in einem Google-Drive Ordner3 abgelegt. Dort befindet sich auch meine LimeSurvey- Vorlage zum Import in ein eigenes Limesurvey-System. 

    Abschließend eine Anregung aus aktuellem Anlass:

    Ich hoffe, dass die oben genannten Beispiele viele Schulleitungen und Steuergruppen dazu motivieren, ebenfalls  Schul- und Unterrichtsentwicklungsprozesse zu überprüfen. Die Literaturhinweise am Ende der 9-Schritt-Methode enthalten zahlreiche weitere Tipps und Praxisbeispiele. Im Sinne von – das Rad muss ja nicht immer neu erfunden werden – sollen sie auch einer Zeitersparnis dienen.

     

    Bildnachweis: Andreas Breitling @pixabay.com

     

    Footnotes

    1. Irene Schmid: Im Blick behalten, wie sich Veränderungen bewähren. In: Pädagogik 5-17, S. 20-24, Beltz-Verlag
    2. ebda
    3. https://twitter.com/Herr_Ka_Punkt/status/1213731245311569920