Schulinterne Evaluation

 

Evaluation wird verstanden als ein Prozess des systematischen Sammelns und Analysierens von Daten bzw. Informationen mit dem Ziel, an Kriterien orientierte Bewertungsurteile zu ermöglichen, die begründet und nachvollziehbar sind.
Prof. em. H.G. Rolff

Erziehungswissenschaftler

Orientiert man sich an der Herkunft des Wortes (frz., zu évaluer «abschätzen», «berechnen», von lat. valere «stark sein», «wert sein»), so wird deutlich, dass Evaluation etwas mit «Wert schätzen» zu tun hat, den Wert, die «Stärke» eines Produktes oder Prozesses anhand von nachvollziehbaren Kriterien einzuschätzen. Gute Evaluation hat viel mit einer «wertschätzenden» Grundhaltung zu tun, mit dem Bemühen, die Qualität von Schule und Unterricht zu verstehen, in der Absicht, sie weiterzuentwickeln.
Interne Schulevaluation basiert auf der Überzeugung, dass Schulqualität erhalten und gefördert werden kann, wenn die Lehrkräfte vor Ort ihre Erfahrungen und ihr Wissen austauschen und für Entwicklungen fruchtbar machen. Sie sind es, welche die Schulqualität hervorbringen und die umfassendsten Kenntnisse über die lokale Schule und ihr Umfeld besitzen.

 

Selbstreflexion ist Teil der Arbeitskultur von Schule

Früher nahmen die einzelnen Lehrerinnen und Lehrer die Verantwortung für eine hohe Schul- und Unterrichtsqualität vorwiegend individuell wahr. Mit der schulinternen Evaluation ist die Zielsetzung verbunden, dass die einzelnen Schulen schrittweise auch gemeinsame Formen der Qualitätssicherung und Qualitätsentwicklung aufbauen und diese im Schulbetrieb fest verankern.

Die Schule als pädagogische Einheit (“Lernende Schule”) wie auch einzelne Unterrichtsteams können Evaluationen nutzen, um die Wirkungen der gemeinsamen Arbeit auf die Schülerinnen und Schüler, auf die Lehr- und Betreuungspersonen sowie auf die Schule und nach außen einzuschätzen und zu beurteilen.

Evaluation ist ein Beteiligungsinstrument

Evaluation ermöglicht, die Sichtweisen der Beteiligten und Betroffenen einzuholen und auf dieser differenzierten Grundlage tragfähige, breit abgestützte Entscheide zu fällen. Durch Evaluationsvorhaben können Schülerinnen und Schüler sowie Erziehungsberechtigte in die Gestaltung und Entwicklung der Schule einbezogen werden. Grundlage für die Entscheidung über Entwicklungsschwerpunkte sind dann nicht nur die Sichtweisen innerhalb des Kollegiums, sondern auch regelmäßige Rückmeldungen von Kindern, Jugendlichen oder Erziehungsberechtigten über deren Sicht auf schulische Abläufe. Evaluation wäre in diesem Sinne auch als Beitrag zur Demokratisierung der Schule zu verstehen.

Kluge Evaluation hilft
  • die eigene Praxis neu zu sehen
  • sinnvolle und falsche Routinen zu erkennen,
  • die Unsicherheit in Bezug auf die Wirkungen und die Wirksamkeit der eigenen Arbeit zu reduzieren,
  • herauszufinden, was wirkungsvoll ist,
  • Bestätigung für eine erfolgreiche und bewährte Praxis zu finden,
  • Handlungsbedarf und Veränderungsbedürfnisse zu erkennen,
  • Feedbacks für das eigene Lehren und Lernen zu nutzen,
  • fundierte Grundlagen für die Arbeitsplanung und die Entscheidungen zu gewinnen,
  • eine Grundlage für die Verständigung über gemeinsame Ziele zu schaffen,
  • Rechenschaft abzulegen über das Mass der Zielerreichung und die Erreichung eigener und anerkannter externer Qualitätsansprüche.

Damit interne Schulevaluationen von den Beteiligten als sinnvoll und nützlich erlebt werden, müssen sie «handwerklich» gut gemacht sein. Was aber ebenso wichtig ist: Auf die Haltung der Lehrpersonen kommt es an! Eine Haltung des Fragens, des Neugierig-Seins, des Lernen-Wollens, der Wertschätzung und des Interessiert-Seins an Rückmeldungen und Einschätzungen anderer ist das, was Evaluationen lebendig und fruchtbar macht. Kleine Schritte und verschiedene Zugänge sind möglich, der Einsatz auch einfacher Evaluationsformen ist realistisch: Mit all dem kann eine tragfähige Evaluationskultur in der Schule längerfristig aufgebaut werden.

Einer der wichtigsten Bausteine einer erfolgreichen Unterrichtskultur ist das Feedbackgespräch. Vor allem für Schülerinnen und Schüler ist eine angemessene Feedbackkultur von großer Bedeutung, zumal diese Generation damit aufwächst. Viele Lehrkräfte scheuen sich vor solchen Gesprächen, mit der ständigen Angst im Hinterkopf, kritisiert zu werden. Eine Übersicht soll die Einführung von Instrumenten erleichtern helfen. 

Gute Evaluationen folgen transparenten Schritten, die Vertrauen und Verlässlichkeit für die Beteiligten schaffen. Wer eine Evaluation plant und durchführt, kann sich an den neun bewährten Schritten orientieren, wie sie in Schulen des Schweizer Kantons Zug vermittelt werden.

Kleine Schritte und verschiedene Zugänge sind möglich, der Einsatz auch einfacher Evaluationsformen ist realistisch: Mit all dem kann eine tragfähige Evaluationskultur in der Schule längerfristig aufgebaut werden.

Unterschied: Feedback und Evaluation

Häufig werden die beiden Begriffe synonym benutzt, obwohl einige grundlegende Unterschiede bestehen, wie die folgende, auf einer Fortbildung vorgestellten Gegenüberstellung zeigt:

 

Unterschied: formativ – summativ

Im Rahmen einer formativen Evaluation oder auch begleitenden Evaluation werden regelmäßig Zwischenergebnisse mit dem Ziel dargestellt, um eine laufende Maßnahme zu modifizieren oder zu verbessern. Das Ziel formativer Evaluationen besteht im Gegensatz zur summativen Evaluation letztlich darin, Maßnahmen selber zu optimieren bzw. sukzessive solche Rahmenbedingungen zu schaffen, die die Wirksamkeit einer Maßnahme eher wahrscheinlich machen. Bei formativen Evaluationen werden in regelmäßigen Intervallen Zwischenergebnisse festgehalten, die das Ziel verfolgen, laufende Interventionen notfalls zu modifizieren oder zu verbessern1.

Bei einer summativen Evaluation wird zusammenfassend die Qualität und Wirksamkeit einer durchgeführten Maßnahme beurteilt, wobei die Hypothesenprüfung typischerweise erfolgt, nachdem die zu untersuchende Intervention abgeschlossen ist. Summative Evaluationen werden dabei im Gegensatz zu formativen Evaluationen nach der Durchführung eines Programmes oder einzelner Maßnahmen eingesetzt, und sollen zusammenfassende Aussagen über deren Wirksamkeit ermöglichen. Das bedeutet, sie sollen in Erfahrung bringen, wie wirksam bestimmte Maßnahmen bzw. Programme waren2.

Auch hier ein Vertiefungstipp für eine intensivere Auseinandersetzung.

Feedback- und Evaluationsmaßnahmen können natürlich in Papierform durchgeführt werden. Effizienter scheint mir jedoch, digital unterstützende Instrumente einzusetzen. Der “Markt” ist unübersichtlich. Nach welchen Kriterien sollte man auswählen? Ich würde zuvörderst nach Landeslösungen suchen, denn diese sind in der Regel mit einem Service und Support seitens (nachgeordneter) Landesinstitute verbunden. Als in NRW tätige Lehrkraft würde ich z. B. Edkimo wählen, als BW- Lehrkraft auf minnit bzw. Limesurvey. Ansonsten bleibt nur: Wer suchet, der findet… Wenn man im #twitterlehrerzimmer (#twlz) um Empfehlungen bittet, bekommt man viele Rückmeldungen. Allerdings ohne eine qualitative Einschätzung (kann man bei Twitter auch nicht erwarten bzw. verlangen …). Das habe ich mit den beiden folgenden Slideanwendungen versucht.

Uneingeschränkt empfehlenswert sind die Tools bittefeedback (Feedback) und  SEP-Klassik (Evaluation) auf der kostenfreien Seite. Die kostenpflichtigen Tools zeichnen sich durch einen umfangreichen Support und im Falle von IQESonline durch die Verfügbarkeit zahlreicher Materialien zur Schul- und Unterrichtsentwicklung aus.

Bei einer Marktrecherche empfehlen sich folgende Kriterien:

  • Das Tool sollte webbasiert sein und weder flash- noch javabasiert sein
  • Mit dem Tool müssen sich Fragebögen online erstellen, beantworten und automatisch auswerten lassen. Fragebögen-Vorlagen müssen kopiert und verändert werden können.
  • Das Tool muss leicht zu bedienen sein.
  • Wenn Apps angeboten werden, müssen sie leicht zu installieren sein und über ein adaptives Design für Smartphone- Nutzung verfügen.
  • Der Anbieter weist eine DSGVO konforme Implementation nach, um die Schulgemeinde (Schulleitung, Eltern, Schülerinnen und Schüler) eine entsprechende Sicherheit zu geben

Die folgende Übersicht ist nicht vollständig, sie dient einer Vorauswahl. Ich empfehle auf pädagogischen Tagen / Konferenzen den Test auf mehrere Personen zu verteilen. Auch hier gilt es zu Beginn festzulegen, nach welchen Kriterien bewertet werden soll. Wir haben 2016 in unserer Abteilung eine Softwareanalyse durchgeführt. Dabei haben wir ein Pflichtenheft aufgestellt und die Tools intern von Zweierteams evaluieren lassen. In Ergänzung dazu haben wir die Anbieter um eine Eigeneinschätzung gebeten. Am Ende stand IQESonline als kostenpflichtiges Produkt und LimeSurvey als „kostenfreies“ Produkt auf den ersten Plätzen. Die Anführungszeichen sind berechtigt: Denn im Unterschied zum kommerziellen Produkt muss das Land personell den Service und Support sicherstellen und das geht in der Regel zulasten der Unterrichtsversorgung, da Lehrkräfte mit Entlastungsstunden freigestellt werden.

Feedbackmethoden

bittefeedback

Mit BitteFeedback.de kann man einfach und unkompliziert Feedback geben oder erfragen. Wenn man eine Umfrage erstellt hat, erhält man auf der letzten Seite (nach Eingabe der gewünschten Fragen) sowohl den Link zum Teilen mit den TN, als auch den Link, unter dem dann später die Ergebnisse abrufbar sein werden. Diesen Link muss man sich abspeichern, um später auf die Ergebnisse zugreifen zu können. Man kann selbst entscheiden, mit wem man den Link teilen möchte.
  • Einfache Benutzerführung.
  • Es werden keine persönlichen Daten erhoben.
  • Eine Registrierung ist nicht erforderlich. 
  • Es gibt lediglich zwei Antwortformate: Bewertung durch bis zu fünf Sternen, Eingabe von Text. Für viele Feedbackfragestellungen reichen diese Formate in der Regel.
  • Nur im Webinterface aufrufbar.
  • Alle Eintragungen werden nach 14 Tagen gelöscht. Nähere Informationen findest Du im Impressum und den Hinweisen zum Datenschutz
  • Mentimeter

    Mit dem in der Schulwelt sehr verbreiteten,  webbasierten Tool Mentimeter lassen sich schnell anonyme Umfragen erstellen. Mit ihm lassen sich ohne viel Aufwand Einzel- und Multiple Choice- Fragen erstellen. Außerdem sind freie Antwortformate in Textform möglich. Die Auswertung gestaltet sich in diesem Fall als Wortwolke.

    • Fragen lassen sich schnell generieren
    • Viele unterschiedliche Fragetypen: Neben Multiple Choice, offenen Fragen, auch Bewertung auf einer Skala (100 Punkte, die entsprechend der Anzahl der Items diese Obergrenze rechnerisch berücksichtigt!)
    • Videoeinbettung (allerdings nur in Google Chrome)
    • Keine Begrenzung der Teilnehmerinnen und Teilnehmer
    • sehr einfach in der Bedienung
    • Vorlagen helfen bei der Erstellung des Feedbacks 
    • keine App notwendig, da im Browser nutzbar 
    • kostenlose Standard-Version, die sehr viele Funktionalitäten aufweist
    • Englischsprachige Benutzerführung
    • Es können in der kostenfreien Variante nur maximal zwei Fragen gestellt werden.

    Oncoo

    Oncoo ist ein digitaler Werkzeugkasten zur Strukturierung von einigen Methoden im Unterricht. Unterstützt werden bisher eine digitale Kartenabfrage, ein Helfersystem, ein Lerntempoduett, Placemat sowie eine Zielscheibe zur Meinungsumfrage.

    • Die meisten Tools sind auch auf allen Endgeräten (PC, Laptop, Tablet, Smartphone) nutzbar.
    • Keine Registrierung oder Installation, weder für Lehrkräfte noch für Schüler: Nach der Auswahl eines Werkzeuges wird ein einmaliger Code erstellt, der die Anwender entsprechend zuordnet.
    • Nutzungsstatistik und Feedbacksystem
    • Keine Apps für iOS, Android

    Classroomscreen

    ExitPoll ist ein digitales Werkzeug, um ein schnelles Feedback zu einer zentralen Frage zu erhalten. Zum einen können SuS zu Beginn der Stunde auf die Frage vorbereitet werden (summative Abfrage) oder während es Unterrichtsprozesses, um eine ganz schnelle Einschätzung zu erhalten (formative Abfrage).

    • Das Tools ist auf allen Endgeräten (PC, Laptop, Tablet, Smartphone) nutzbar.
    • Keine Registrierung oder Installation, weder für Lehrkräfte noch für Schülerinnen und Schüler.
    • Sofortige Auswertung und Darstellung der Rückmeldung
    • Nur quantitative Rückmeldung. Für eine qualitative Einschätzung benötigt es ein anschließendes Gespräch im Plenum. Vielfach wird der ExitPoll am Ende der Stunde durchgeführt. Dann kann der Abstand zur nächsten Unterrichtsstunde möglicherweise zu groß geworden sein. 

    Edkimo

    Edkimo ist eine digitale Kommunikationsplattform, die Feedback, Partizipation und Evaluation im Lernprozess ermöglicht. Mit Edkimo können Lehrkräfte, Schulen und Bildungseinrichtungen mühelos ein konstruktives und anonymes Feedback der Lerngruppe und des Kollegiums einholen, auswerten und besprechen. Diese Rückmeldungen fließen unmittelbar in Partizipations- und Evaluationsprozesse ein und können direkt für die Schul- und Unterrichtsentwicklung genutzt werden, so die Einführung des Anbieters

    • Das Tool ist auf allen Endgeräten (PC, Laptop, Tablet, Smartphone) nutzbar.
    • Apps für iOS, Android
    • Sofortige Auswertung und Darstellung der Rückmeldung
    • Entwickler / Gründer ist Lehrer an einer Berliner Schule.
    • Nur für einige Bundesländer kostenfrei.

    ... und sonst

    Tipps aus dem #Twitterlehrerzimmer:

    Padlet von Andreas Schmitt zum Thema

    Evaluationsmethoden

    Linzer Diagnosebogen zur Klassenführung (LDK)

    Der Linzer Fragebogen zu Klassenführung” (LDK) ist ein Fragebogen zum Führungshandeln von Lehrkräften. Er ist aus Forschungen zur Klassenführung und aus praktischen Erfahrungen in der Lehrerbildung hervorgegangen. Der LDK ist für Lehramtsstudierende und Lehrer/innen gedacht, die sich Klarheit über ihr pädagogisches Handeln sowie dessen Rahmenbedingungen und Auswirkungen verschaffen möchten, um ihr Handeln weiter zu entwickeln. Der LDK eignet sich auch als Forschungsinstrument.

    • Der Dienst ist kostenlos.
    • Kein eigener Webserver nötig.
    • zahlreiche Einsatzmöglichkeiten
    • viele Fragenbogenitems stehen zur Verfügung
    • ausgereiftes und bewährtes Evaluationstool
    • Die Auswahl der Fragen ist nicht veränderbar.
    • Es können keine eigene Fragen gestellt werden.

    SEP-Klassik

    Das klassische Selbstevaluationsportal (SEP-Klassik) bietet Lehrkräften, dem Leitungspersonal an Schulen sowie Haupt- und Fachseminarleitungen die Möglichkeit, Instrumente zur Selbstevaluation online zu nutzen und dadurch schnell und unkompliziert eine Rückmeldung zu zahlreichen Facetten des eigenen Handeln zu erfahren. Berlin und Brandeburg erhalten Unterstützung durch das das Institut für Schulqualität (ISQ).
    • Der Dienst ist kostenlos.
    • Kein eigener Webserver nötig.
    • zahlreiche Einsatzmöglichkeiten
    • viele Fragenbogenitems stehen zur Verfügung
    • ausgereiftes und bewährtes Evaluationstool
    • keine Apps verfügbar

    Grafstat

    Grafstat ist eines der ältesten im Schulbereich bekannten Befragungsprogramme. Es wird gefördert durch die Bundeszentrale für politische Bildung. Für Bildungseinrichtungen ist es kostenlos. Die Bedieneroberfläche verdeutlicht noch die Herkunft, sie folgt nicht dem Windows-Standard mit aufklappbaren Menüs. Die einzelnen Aktionen werden durch Klick auf die Buttons aufgerufen. An diese Bedienung muss man sich erst gewöhnen, jedoch findet man sich nach der Eingewöhnungszeit oder nach einer kurzen Anleitung durch einen Kundigen in den Grundfunktionen schnell zurecht.
    • Der Dienst ist kostenlos.
    • Kein eigener Webserver nötig.
    • zahlreiche Einsatzmöglichkeiten
    • Druckvorlage kann aus dem Programm schnell erzeugt werden (falls Internet ausfällt bzw. nicht vorhanden)
    • wegen HTML – Seitenstruktur vielfältige Möglichkeiten, den Seitenaufbau selbst zu gestalten
    • Daten können durch Gruppieren verdichtet und durch Filter eingeschränkt werden. Unterschiedliche Diagramme können selbständig gestaltet werden.
    • Es stehen keine vorgefertigten Fragebogen zur Verfügung.
    • Auswertung: Wenig intutiver Ablauf beim Abruf der Daten
    • Benutzeroberfläche nicht mehr zeitgemäß
    • keine Apps verfügbar
  • Informationsseite des Anbieters, Handbuch des Anbieters (aus 2008)
  • Youtube Channel des Anbieters
  • Video-Tutorial von Herrn Lockermann
  • Anleitung desLF-Portals (Baden Württemberg)
  • Einsatzbeschreibung von Grafstat im Rahmen einer Selbstevaluation (Landesprogramm Bildung und Gesundheit NRW): Grafstat Hinweise in den grün hinterlegten Textboxen
  • Limesurvey

    LimeSurvey™ ist eine Software, mit deren Hilfe Web-Umfragen durchgeführt werden können. In einigen Ländern (Baden Württemberg, Sachsen) und Städten (München) werden die Erstellung von Web-Umfragen dadurch erleichtert, dass die Software auf eigenen Servern gemäß DSGVO datenschutzkonform läuft. Schulseitig werden zur Nutzung von LimeSurvey™ folgendes benötigt:

    • einen Computer (z. B. Windows-PC, Mac oder Tablet) mit Internetanschluss
    • einen beliebigen, modernen Web-Browser
    • eine E-Mail-Adresse, um über eine E-Mail eine Einladung zugestellt zu bekommen.
    • Die Software ist kostenfrei (Open Source)
    • Community unterstützt zeitnah
    • zahlreiche Einsatzmöglichkeiten
    • Export für individuelle Aufbereitung der daten
    • Ergebnisabruf direkt möglich
    • Import externer Fragebögen (sofern im LS-Format)
    • Benutzerführung gewöhnungsbedürftig
    • Update häufig nötig und umständlich (kompletter Upload per ftp-Server). Sehr nützliches Tool “comfortupdate” ist kostenpflichtig und recht teuer (100€ / Jahr).
    • Unterstützung der Landesinstitute nur auf das Notwendigste beschränkt (Einrichtung der Schule), (in der Regel) kein Support bei individuellen Fragestellungen
  • Onlineumfragen erstellen – eine Anleitung des Medienzentrums München(pdf von Dr. Christian Lorenz), eine Anleitung für Fortgeschrittene vom Deutschen Institut für Erwachsenenbildung (DIE)
  • Tutorial zum Anlegen einer neuen Umfrage
  • Tutorial zum Anlegen einer neuen Fragengruppe
  • Kostenpflichtige Tools

    • ist in manchen Ländern kostenfrei,
    • verfügt über übersichtliche Einführungen/Handbücher zum Einsatz von Feedback- und Evaluationsverfahren,
    • Anbieter (Gründer) ist Lehrer in Berlin.

    -> Zum Anbieter

    Das Tool ist sehr zu empfehlen, da es wissenschaftlich begründet ist und technischen Support anbietet. Darüber hinaus besticht der Onlineauftritt mit

    • einer Bibliothek (z. B. Auszüge aus  PÄDAGOGIK – Publikationen, © Verlagsgruppe Beltz, Hans-Günter Rolff (Hrsg.): Handbuch Unterrichtsentwicklung. © Beltz Verlag u.v.m.)
    • Praxisberichten aus Schulen mit unterschiedlichen Schwerpunkten
    • einem in SElbstpublikationen deutlich wahrnehmbaren pädagogischen Verständnis, die Schülerinnen und Schüler in den Mittelpunkt des Lehrkräftehandels zu setzen

    -> Zum Anbieter

    Das Tool ist sehr zu empfehlen, da es wissenschaftlich begründet ist und technischen Support anbietet. Die Kosten sind im Vergleich zu den beiden anderen hier vorgestellten Wettbewerbern deutlich niedriger. Es ist keine Verschlüsselung (https) implementiert.

    -> Zum Anbieter

    Weitere Empfehlungen aus #twitterlehrerzimmer (ohne eigene Testerfahrungen)

    Weiterführende Literatur

    Schulinterne Evaluation an berufsbildenden Schulen (Anleitung aus Rh.-Pfalz)

    Verfahrensschritte Interne Evaluation (Beiblatt Kanton Zürich)

    Handbuch der schulinternen Evaluation (SH)

    Infoseite – Evaluation, Schulentwicklung NRW 

    PPP zum Thema (im Rahmen einer Veranstaltung)

     

     

    Footnotes

    1. Stangl, W. (2020). Stichwort: ‘formative Evaluation’. Online Lexikon für Psychologie und Pädagogik.
    2. Stangl, W. (2020). Stichwort: ‘summative Evaluation’. Online Lexikon für Psychologie und Pädagogik.