Kürzlich hat der Bundesrechnungshof Kritik am Digitalpakt geübt. Es sei nicht feststellbar, ob sich durch die Bundesbeteiligung das digitale Lernen verbessere. „Der Erfolg der Digitalisierung misst sich nicht am Mittelabfluss oder den Klickzahlen, sondern am Kompetenzgewinn der Lernenden“, heißt es im Bericht[1]https://www.spiegel.de/panorama/bildung/bundesrechnungshof-fordert-ende-des-digitalpakts-schule-a-950541e6-b86e-4c2c-8f9a-57bca2d27bba. Das Ministerium konnte zum Prüfbericht Stellung nehmen. Demnach gab das Ministerium an: „Das BMBF sieht keine Möglichkeiten zur Änderung. Es könne den Ländern keine Vorschriften machen.“[2]https://www.spiegel.de/panorama/bildung/bundesrechnungshof-fordert-ende-des-digitalpakts-schule-a-950541e6-b86e-4c2c-8f9a-57bca2d27bba

Viele Bundesländer haben in ihren Schulgesetzen Evaluationsverfahren verankert. So heißt es etwa im Hessischen Schulgesetz[3]https://www.rv.hessenrecht.hessen.de/bshe/document/aiz-jlr-SchulGHE2017rahmen%4020210331:

Bildungsstandards enthalten wesentliche Ziele der pädagogischen Arbeit, ausgedrückt als Lernergebnisse der Schülerinnen und Schüler für die einzelnen Fächer in Form konkreter Beschreibungen des Könnensstandes und des Ausprägungsgrades zu einem bestimmten Zeitpunkt. Bildungsstandards bilden zugleich eine Grundlage für die Entwicklung von Maßnahmen interner und externer Evaluation.

Vorstellbar ist eine externe Evaluation im Auftrag des Ministeriums. Mit Fragestellungen, die Top-down Entwicklungen vorbereiten und weiterentwickeln helfen. Darum geht es mir in den folgenden Ausführungen zu meiner komplett überarbeiteten Themenseite Schulinterne Evaluation nicht. Denn siehe oben, Schulen können ja auch den Weg über die Selbstevaluation gehen.

Aus meiner mehrjährigen Arbeit als externer Evaluator weiß ich, wie schwer es Schulleitungen und Steuergruppen fällt, Ressourcen für diese herausfordernde Arbeit zu finden. Und doch: Zur Sicherung und Entwicklung der Qualität der Schule und der Lehr-Lernprozesse ist Schule gut beraten, bewährte Verfahren zu identifizieren und einzusetzen.

Feedback vs. Evaluation

Selbstevaluation bedeutet, dass die Verantwortung für die systematische Durchführung, Gestaltung und Auswertung einer Evaluation bei der Schule selbst liegt. Die dabei gewonnenen Erkenntnisse bilden die Grundlage für den schulischen Weiterentwicklungsprozess. Selbstevaluation dient also vorrangig der Selbstvergewisserung des eigenen Tuns, der Möglichkeit zur Selbststeuerung der eigenen Schule und eventuell auch der eigenverantwortlichen Rechenschaftslegung nach innen und nach außen.
Im Gegensatz zur Selbstevaluation als ein Qualitätsmerkmal einer Institution (Schule) steht beim Individualfeedback die persönliche Professionalisierung der Lehrkraft im Mittelpunkt. Aus den Rückmeldungen sowohl zwischen den Lehrkräften als auch zwischen Schülerschaft und Lehrkräften können die Lehrkräfte erkennen, welche Auswirkungen ihr pädagogisches Handeln bei den Schülerinnen und Schülern zeigt. Sie gewinnen aus den Rückmeldungen sowohl Anregungen zur Entwicklung des Unterrichts als auch persönliche Bestärkung. Das Individualfeedback trägt zusammen mit der Selbstevaluation dazu bei, dass eine Feedback-Kultur wächst, mit dem Ziel der Weiterentwicklung der Qualität von Schule und Unterricht. Hierbei werden zwei Ebenen unterschieden: die Weiterentwicklung der Institution auf der Basis von Evaluationen und die Weiterentwicklung der einzelnen Lehrkraft auf der Basis von Individualfeedback.
Die Unterschiedlichkeit wie auch die gegenseitige Abhängigkeit einer erfolgreichen Implementation einer Qualitätskultur einer Schule zeigt die folgende Tabelle [4]in Anlehnung an Handbuch-OES, S. 10

 

Online-Befragungen

Im #Edutwitter werden immer mal wieder Fragen zu Online-Befragungen aufgeworfen:

Auf der neugestalten Themenseite stelle ich zunächst einige Praxisbeispiele vor. Anschließend befasse ich mich mit Überlegungen zu Strategien bewährter Evaluationsverfahren, ehe ich dann konkret einige Server-basierte Online-Befragungssysteme mit ihren Stärken und Schwächen vorstelle. Zunächst allgemein und dann ausgewählt an einigen Umfragetools.

Schließlich gebe ich noch einige Tipps zur Itementwicklung, inkl. vieler Beispiele. Ich werde sie immer wieder ergänzen, sobald mir eine neue Sammlung bekannt wird. Gerne mich via Kontaktformular informieren …

LimeSurvey

Besondere Aufmerksamkeit widme ich mich (im Slider) mit der Implementation einer LimeSurvey– Instanz. Hier der kurze Steckbrief:

LimeSurvey™ ist eine Software, mit deren Hilfe Web-Umfragen durchgeführt werden können. In einigen Ländern (Baden Württemberg, Sachsen, Hessen) und Städten (München) werden die Erstellung von Web-Umfragen dadurch erleichtert, dass die Software auf eigenen Servern gemäß DSGVO datenschutzkonform läuft. Schulseitig werden zur Nutzung von LimeSurvey™ folgendes benötigt:

  • ein Computer (z. B. Windows-PC, Mac oder Tablet) mit Internetanschluss
  • ein beliebiger, moderner Web-Browser
  • eine E-Mail-Adresse, um über eine E-Mail eine Einladung zugestellt zu bekommen.

Stärken

  • Die Software ist kostenfrei (Open Source)
  • Community unterstützt zeitnah
  • zahlreiche Einsatzmöglichkeiten
  • Export für individuelle Aufbereitung der daten
  • Ergebnisabruf direkt möglich
  • Import externer Fragebögen (sofern im LS-Format)

Schwächen

  • Benutzerführung gewöhnungsbedürftig
  • Update häufig nötig und umständlich (kompletter Upload per FTP-Server). Sehr nützliches Tool “comfortupdate” ist kostenpflichtig und recht teuer (100€ / Jahr).
  • Unterstützung der Landesinstitute nur auf das Notwendigste beschränkt (Einrichtung der Schule), (in der Regel) kein Support bei individuellen Fragestellungen

Ich habe viele Jahre mit diesem Umfragesystem gearbeitet.  Auch wenn Limesurvey als „kostenlos“ ausgewiesen wird, kann ich es aufgrund des nicht zu unterschätzenden Einarbeitungs- und begleitenden Supportaufwands nicht uneingeschränkt empfehlen. Neben IT-Know-How benötigt es die Bereitschaft, die Kolleg*innen einzuführen und sie im Prozess zu unterstützen. Auch technisch muss man immer up to date bleiben. Bei keinem System werden so häufig Systemupdates bereitgestellt, die recht umständlich (via ftp) einzuspielen sind. Weil mich das viel zu viel zeit gekostet hat, habe ich sehr schnell das kostenpflichtigen ComfortUpdate (ca. 100€/Jahr) installiert. Und in der Tat, wie der Name es bereits andeutet: Auf Klick wird alles „erledigt“, in weniger als zwei Minuten …

Wenn man sich eingefuchst hat, verfügt eine Schule, ein Schulträger, ein Medienzentrum, … über ein leistungsfähiges Umfragetool. Der größte Vorteil liegt neben seiner Open Source Verfügbarkeit in der Option, die Software auf die eigene Schulerfordernisse anzupassen. Vor allem die Möglichkeit, die (Gestaltungs)Templates via HTML/CSS bearbeiten zu können, eröffnen viele individuelle Einstellungen.

Wer sich einmal „heranwagen“ will, dem empfehle ich:

Dann hat man es geschafft, nun sind einige Einstellungen vorzunehmen. Hier sind Aspekte zum Thema Datenschutz (hier von irights.info) zu berücksichtigen. Wer einige Beispiele kennenlernen möchte:

Wenn Sie neugierig sind, wie das Interface von LimeSurvey aussieht und sich bedienen lässt, können Sie auch zunächst mit der Demoversion spielen. Die Nutzung dieser Software empfiehlt sich umso mehr, wenn sie im Land technisch und personell unterstützt wird. Nach meiner Kenntnis in: Baden-Württemberg, Hessen (via Schulberatung), Sachsen

Ich habe kürzlich bei einer Fortbildungsveranstaltung mit einem sehr heterogen zusammengesetzten Kollegium die Veranstaltungsleitung darum gebeten, den Kompetenzstand der Lehrkräfte zu erheben. Ich habe bei der Vorbereitung und anschließenden Umsetzung meiner Fortbildungsreihe von den Ergebnissen großen Nutzen ziehen können: Ich konnte mir einen ersten Überblick verschaffen. Eine zweite Umfrage mit der Beschreibung der Erwartungshaltung vervollständigte mein Bild von dem Teilnehmer*innenkreis.

Die verlinkte Druckversion ist durch eine Exportfunktion entstanden und hat sich in meiner Praxis als hilfreich erwiesen. Zum Beispiel, wenn Schüler*innen und Eltern keinen Online-Zugriff haben oder wenn das WLAN der Schule seinen Geist aufgibt. Hier haben dann die Klassenlehrkräfte geholfen, die ausgefüllten Fragebögen einzugeben.

Schlussbemerkung

Wie immer im #Edutwitter gab es einige Rückmeldungen zu den Anfragen der beiden Kolleginnen (s.o.). Hier eine Zusammenfassung:

Überzeugt hat mich die Antwort von @frausonnig auf den (berechtigten) Hinweis von Florian R @FlorianRHH: Evaluieren kann (sollte?) man ja nur Ziele, die vorher gesteckt wurden…die kennt nur ihr :):

Tendenziell ja. Gleichzeitig ergeben sich ja auch manchmal unerwartete Nebeneffekte. Das herauszufinden finde ich spannend und wichtig.

Hier bestätigt sich, wie wichtig es ist, neben den eigenen Zielen noch Erfahrungswerte aus dem Prozess mit in die Evaluation aufzunehmen, ohne sie im Vorfeld im Blick gehabt zu haben. Das zeigen übrigens weitere Tweets im Thread. Allemal lesenswert …

Noch einmal zurück zum Bericht des Bundesrechnungshofs. Wir haben Mitte der 90er-Jahre als Schulen ans Netz e. V. den Schulen unterschiedlich hohe Geldbeträge zur Verfügung gestellt. In die Antragsbewilligung haben wir die Erwartungshaltung ausgesprochen, einen Projektbericht zu erhalten. Wir haben annähernd 2000 Berichte erhalten. Zugegeben: auf sehr unterschiedlichem Niveau. Und doch: Uns Verantwortlichen gaben sie eine Rückmeldung, woran und wie gearbeitet wurde. Die Schulverantwortlichen haben uns eine Rückmeldung gegeben, was gut lief und was weniger gut. Diese Rückmeldungen haben die weiteren Ausschreibungsverfahren geprägt. Darüber hinaus haben wir Ideen/Konzepte in Film- und Funkbeträgen, in Lehrer-Online und in eigenen Publikationen veröffentlicht. Übertragen auf die vom Bundesrechnungshof erwartete Evaluation auf Länder- und kommunaler Ebene: Die Berichte der Schulen können über die Rückmeldung Indikatoren einer erfolgreichen Implementation gewinnen und sind darüber hinaus für die eigene Aus- und Fortbildungsarbeit nutzbar.

… Stay tuned …

Bildnachweis: Shahid Abdullah from Pixabay