Orientiert man sich an der Herkunft des Wortes (frz., zu évaluer «abschätzen», «berechnen», von lat. valere «stark sein», «wert sein»), so wird deutlich, dass Evaluation etwas mit «Wert schätzen» zu tun hat, den Wert, die «Stärke» eines Produktes oder Prozesses anhand von nachvollziehbaren Kriterien einzuschätzen. Gute Evaluation hat viel mit einer «wertschätzenden» Grundhaltung zu tun, mit dem Bemühen, die Qualität von Schule und Unterricht zu verstehen, in der Absicht, sie weiterzuentwickeln.Interne Schulevaluation basiert auf der Überzeugung, dass Schulqualität erhalten und gefördert werden kann, wenn die Lehrkräfte vor Ort ihre Erfahrungen und ihr Wissen austauschen und für Entwicklungen fruchtbar machen. Sie sind es, welche die Schulqualität hervorbringen und die umfassendsten Kenntnisse über die lokale Schule und ihr Umfeld besitzen.
Selbstreflexion ist Teil der Arbeitskultur von Schule
Früher nahmen die einzelnen Lehrerinnen und Lehrer die Verantwortung für eine hohe Schul- und Unterrichtsqualität vorwiegend individuell wahr. Mit der schulinternen Evaluation ist die Zielsetzung verbunden, dass die einzelnen Schulen schrittweise auch gemeinsame Formen der Qualitätssicherung und Qualitätsentwicklung aufbauen und diese im Schulbetrieb fest verankern.
Die Schule als pädagogische Einheit (“Lernende Schule”) wie auch einzelne Unterrichtsteams können Evaluationen nutzen, um die Wirkungen der gemeinsamen Arbeit auf die Schülerinnen und Schüler, auf die Lehr- und Betreuungspersonen sowie auf die Schule und nach außen einzuschätzen und zu beurteilen.
Evaluation ist ein Beteiligungsinstrument
Evaluation ermöglicht, die Sichtweisen der Beteiligten und Betroffenen einzuholen und auf dieser differenzierten Grundlage tragfähige, breit abgestützte Entscheide zu fällen. Durch Evaluationsvorhaben können Schülerinnen und Schüler sowie Erziehungsberechtigte in die Gestaltung und Entwicklung der Schule einbezogen werden. Grundlage für die Entscheidung über Entwicklungsschwerpunkte sind dann nicht nur die Sichtweisen innerhalb des Kollegiums, sondern auch regelmäßige Rückmeldungen von Kindern, Jugendlichen oder Erziehungsberechtigten über deren Sicht auf schulische Abläufe. Evaluation wäre in diesem Sinne auch als Beitrag zur Demokratisierung der Schule zu verstehen.
Kluge Evaluation hilft
- die eigene Praxis neu zu sehen
- sinnvolle und falsche Routinen zu erkennen,
- die Unsicherheit in Bezug auf die Wirkungen und die Wirksamkeit der eigenen Arbeit zu reduzieren,
- herauszufinden, was wirkungsvoll ist,
- Bestätigung für eine erfolgreiche und bewährte Praxis zu finden,
- Handlungsbedarf und Veränderungsbedürfnisse zu erkennen,
- Feedbacks für das eigene Lehren und Lernen zu nutzen,
- fundierte Grundlagen für die Arbeitsplanung und die Entscheidungen zu gewinnen,
- eine Grundlage für die Verständigung über gemeinsame Ziele zu schaffen,
- Rechenschaft abzulegen über das Mass der Zielerreichung und die Erreichung eigener und anerkannter externer Qualitätsansprüche.
Feedback vs. Evaluation
Häufig werden die beiden Begriffe synonym benutzt, obwohl einige grundlegende Unterschiede bestehen, wie die folgende, auf einer Fortbildung vorgestellten Gegenüberstellung zeigt:
Unterschied: formativ – summativ
Im Rahmen einer formativen Evaluation oder auch begleitenden Evaluation werden regelmäßig Zwischenergebnisse mit dem Ziel dargestellt, um eine laufende Maßnahme zu modifizieren oder zu verbessern. Das Ziel formativer Evaluationen besteht im Gegensatz zur summativen Evaluation letztlich darin, Maßnahmen selber zu optimieren bzw. sukzessive solche Rahmenbedingungen zu schaffen, die die Wirksamkeit einer Maßnahme eher wahrscheinlich machen. Bei formativen Evaluationen werden in regelmäßigen Intervallen Zwischenergebnisse festgehalten, die das Ziel verfolgen, laufende Interventionen notfalls zu modifizieren oder zu verbessern1.
Bei einer summativen Evaluation wird zusammenfassend die Qualität und Wirksamkeit einer durchgeführten Maßnahme beurteilt, wobei die Hypothesenprüfung typischerweise erfolgt, nachdem die zu untersuchende Intervention abgeschlossen ist. Summative Evaluationen werden dabei im Gegensatz zu formativen Evaluationen nach der Durchführung eines Programmes oder einzelner Maßnahmen eingesetzt, und sollen zusammenfassende Aussagen über deren Wirksamkeit ermöglichen. Das bedeutet, sie sollen in Erfahrung bringen, wie wirksam bestimmte Maßnahmen bzw. Programme waren2.
Einer der wichtigsten Bausteine einer erfolgreichen Unterrichtskultur ist das Feedbackgespräch. Vor allem für Schülerinnen und Schüler ist eine angemessene Feedbackkultur von großer Bedeutung, zumal diese Generation damit aufwächst. Viele Lehrkräfte scheuen sich vor solchen Gesprächen, mit der ständigen Angst im Hinterkopf, kritisiert zu werden. Eine Themenseite soll den Zugung sowie die Einführung von Instrumenten erleichtern helfen.
Gute Evaluationen folgen transparenten Schritten, die Vertrauen und Verlässlichkeit für die Beteiligten schaffen. Wer eine Evaluation plant und durchführt, kann sich an den neun bewährten Schritten orientieren, wie sie in Schulen des Schweizer Kantons Zug vermittelt werden.
Kleine Schritte und verschiedene Zugänge sind möglich, der Einsatz auch einfacher Evaluationsformen ist realistisch: Mit all dem kann eine tragfähige Evaluationskultur in der Schule längerfristig aufgebaut werden.
Beispiele aus der Praxis
Individuelle Evaluation
Der Mathe- Seminarleiter Tim Kantereit beschreibt sich in seinem Blog so:
Während des eigenen Referendariats vor knapp elf Jahren habe ich versucht, Lernplattformen im Unterricht zu etablieren. Seitdem konnte ich mit diversen Plattformen Erfahrungen sammeln. Darüber hinaus habe ich im Unterricht viel Erfahrung mit Portfolios und Lerntagebüchern gesammelt. Meine aktuellen Interessen liegen im Bereich Nutzung digitaler Medien, formative Assessment, agiler Didaktik und Feedback.
Es verwundert nicht, dass er sich in seinen Lerngruppen vergewissern wollte, wie seine Konzepte ankommen. Er hat eine Umfrage konzipiert, die folgende Hypothesen untersuchen sollte:
- SuS setzen vor allem in der Oberstufe bevorzugt auf traditionelle Lernmedien (Tafel, Stift, Papier, Buch) und Methoden (z.B. Lehrervortrag, Einzelarbeit, Partnerarbeit)
- Es sind vor allem jüngere Jahrgänge, die sich verstärkt den Einsatz digitaler Medien im Unterricht wünschen und für lernwirksam erachten.
- SuS sehen vor allem motivationale Aspekte im Umgang mit digitalen Medien im Unterricht.
- Ein Verbot von Smartphones lehnen sie ab.
- Das Erstellen von PowerPoint-Präsentationen ist den SuS bekannt und wird daher als Lernform akzeptiert. Podcasts und weitere Formate sind weitgehend unbekannt und werden weniger als lernförderlich angesehen.
- Die Nutzung digitaler Medien verändert das Denken und Schreiben und führt zu mangelhafter Konzentration.
Die Ergebnisse und Schlussfolgerungen stellt der Seminarleiter in einem Blogbeitrag vor. Sie zeigen: Er verfügt nun über ein Hintergrundwissen, das seinen Unterricht anpassen bzw. neu organisieren lässt.
schulinterne Evaluation
Ein Schulleitungsmitglied einer Schweizer Schule berichtet über deren Evaluationserfahrungen bei Einführung eines Lernens in einer Lernlandschaft (LiLO) 3. Was versteht die Oberstufenschule Wädenswil unter einer Lernlandschaft?
In einer Lernlandschaft arbeiten und lernen bis zu drei Klassen (alters- und stufengemischt) gemeinsam. Alle Lernenden verfügen über einen persönlichen Arbeitsplatz. Dieser kann selber gestaltet werden und bietet einen Ort der Ruhe, wo konzentriertes Arbeiten möglich ist. In den Lernlandschaften arbeiten die Schüler in mindestens einem Drittel der Lektionen vermehrt selbstständig und übernehmen mehr Verantwortung für ihr Lernen. Sie setzen sich mit auf sie individuell angepassten Aufgaben auseinander. Lehrpersonen agieren häufiger in der Rolle der Lernbegleiterin und führen Lernende zu mehr Eigenverantwortung. In regelmäßigen Gesprächen mit den Lehrpersonen wird das Lernen reflektiert, die Arbeitsorganisation thematisiert und Unterstützung gegeben. Die Schüler führen ein Lernbuch (vgl. Abb. 1), in dem sie die Wochenplanung festhalten, persönliche Lernziele formulieren und überprüfen, wo sie in ihrem Lernen stehen. Dies erfordert Eigenverantwortung, die Fähigkeit, eigenes Handeln zu reflektieren, wird dadurch gestärkt. Zudem geben sie den Lehrpersonen regelmäßig Feedback zum Unterricht und zum System LiLO. Natürlich finden neben den Lernlandschaften weiterhin auch ›konventioneller‹ Unterricht statt, in dem die Lehrperson Teile des Schulstoffs vermittelt (Inputlektionen, lehrpersonengesteuert). Lernende, die bereits ein hohes Leistungsniveau aufweisen, erhalten zusätzliche Lernaufgaben und können sich vertiefter mit Inhalten auseinandersetzen. Sie übernehmen auch Aufgaben als Coaches für andere (peer-to-peer-learning). Dadurch können sie auch überprüfen, ob sie selber sattelfest sind, ihre Sozialkompetenz wird geschult. Die soziale Interaktion unter den Jugendlichen wird verstärkt und damit auch der gegenseitige respektvolle Umgang. Den Schülern ist es möglich, den größten Teil ihrer Aufgaben in der Schule zu erledigen, Hausaufgaben im engeren Sinne gibt es nicht mehr4.
Warum evaluiert die Schule? In dem Beitrag führt die Autorin i. W. die folgenden fünf Gründe an:
- Ausgangspunkte und Ziele zu klären
- Hinweise für die Planung zu gewinnen
- die Entwicklung zu verfolgen und gegebenenfalls zu korrigieren
- Ergebnisse zu erheben und zu werten
- nach innen und außen Rechenschaft über unsere Projektarbeit vorzulegen.
Startpunkt der Schul- und Unterrichtsentwicklung bildete eine Evaluation über die Wahrnehmung der Schule bei den Schüler(inne)n, Eltern und Lehrpersonen. Mit einer großen anonymen Umfrage wurden die Befindlichkeit und das bisherige Schulgeschehen hinterfragt. Die Resultate wurden in einer Klausurtagung der ganzen Schule analysiert und schließlich Schlüsse für die weitere Schulentwicklung und Etablierung von Innovationen gezogen. Dieser Schulentwicklungsprozess wurde fortan jährlich an Planungs- und Evaluationstagungen fortgesetzt, bei denen alle Beteiligte den Fokus gemeinsam auf das Schulprogramm mit den Entwicklungsprojekten legten.
Das Projekt LILO wurde nicht von allen Lehrkräften durchgeführt. Es hatte somit Projektcharakter und das Ziel, die Lernlandschaften bei Erfolg verbindlich einzuführen. Fasst man die Ergebnisse der unterschiedlichen Evaluationen (IQESonline, Auswertungen, Interviews, Rückmeldungen, Lernbücher) zusammen, lassen sich daraus folgende Gelingensfaktoren für erfolgreiches eigenverantwortliches und individualisierendes Lernen festhalten:
- Die Verantwortung für das Lernen liegt bei den Schüler(inne)n.
- Durch Coachinggespräche und schriftliche Rückmeldungen findet individualisierte Lernbegleitung statt.
- Jede Schülerin, jeder Schüler und alle Lehrpersonen verfügen über einen persönlichen Arbeitsplatz in der Lernlandschaft.
- Klassen- und/oder Gruppenunterricht und selbstorganisiertes Lernen werden in ausgewogenem Verhältnis angeboten.
- Das Lernen geschieht weitestgehend individualisiert.
- Soziales und kooperatives Lernen findet regelmäßig statt (altersdurchmischtes und stufenübergreifendes Lernen sind niederschwellig möglich).
- Das soziale Zusammenleben und die Räumlichkeiten werden gemeinsam durch die Schüler(innen) sowie deren Lehrpersonen gestaltet.
- Nachhaltiges Lernen wird durch sorgfältig gestaltete Aufgabenstellungen ermöglicht.
- Zusätzliche individuelle Lernzeiten werden außerhalb des Stundenplans angeboten.
- Institutionalisierte Lehrpersonenteams zur Reflexion und Sensibilisierung von Abläufen und Situationen sind installiert.
Interessant: Die Autorin hebt hervor, dass diese Gelingenbedingungen im übrigen auch für andere Unterrichtsformate festgestellt wurden, mithin man also Indikatoren an die Hand bekam, Unterricht zu evaluieren!
Resümee der Autorin:
Es hat sich sehr bewährt, dass solch komplexe Vorhaben durch eine systematische Herangehensweise betrachtet und untersucht werden können, so dass weiterführende Entscheide darauf abstützen können. Es war eine Bestätigung der sorgfältigen Planung und Durchführung des Projekts, dass die Ziele im Bereich selbsttätiges Lernen, aktive Lernbegleitung und engere Zusammenarbeit der Lehrpersonen sehr gut erreicht wurden. Bei der Einbettung von sozialen und kooperativen Lernarrangements sowie der Nachhaltigkeit der Lernaufgaben haben wir die Ziele bisher nur teilweise erreicht, was Ansporn für weitere Entwicklungen und Verbesserungen ist. Innerhalb der OSW wird nun sorgfältig abgewogen, wie die Strukturen der Lernlandschaften aussehen sollten und wie die Teams zusammengesetzt werden. Für eine solch wegweisende Evaluation verantwortlich zu zeichnen, ist auch mit Erwartungsdruck und mit viel Verantwortung verbunden. Die Wichtigkeit eines transparenten Führungsverhaltens und einer sorgfältigen Informationspolitik wurde uns immer wieder vor Augen geführt.
Weitere Praxisbeispiele:
- Praxisbeispiele Selbstevaluation. Die Pilotschulen der Selbstevaluation berichten von ihren Erfahrungen im Umgang mit Selbstevaluation und den dabei eingesetzten Instrumenten.
Externe Evaluation eines Schulträgers
Regelmäßige Leserinnen und Leser meines Blogs wissen, dass ich meine Medieneinsatzerfahrungen in einem Gymnasium des Wetteraukreises gesammelt habe. Der Kreis zeichnet sich seit Jahren durch eine professionelle Strategie in Implementationsfragen aus. Beeindruckt hat mich immer wieder die Bereitschaft der Lokalpolitikerinnen und -politiker, den Vorschlägen der IT-Gremien zu folgen:
- Die IT-Abteilung des Kreises sorgte im regelmäßigen Fünfjahresrhythmus mit einem Roll-out neuer PCs, Laptops. Für diese Initiative mussten die Schulen ein Medienkonzept vorlegen.
- Das Medienzentrum organisierte und unterstützte ab 2008 die Nutzung eines Lernmanagementsystems (wtkedu) mit Fortbildung und technischer Unterstützung.
- Die Einführung von Tablet-Computern in Grundschulen wurde über den Aufbau einer Modellschule initiiert.
Die Professionalität der IT-Abteilung zeigt sich nicht zuletzt durch deren Bereitschaft, ihre Umsetzungen immer auf den Prüfstand zu stellen. Dazu nutzte sie einen externen Dienstleister (ifib Bremen). Es entstanden die folgenden beiden Berichte:
- Planung, Analyse und Benchmarking der Gesamtausgaben von IT-Systemlösungen für die pädagogische Nutzung neuer Medien in Schulen, ifib 2008. Hier war der Wetteraukreis als einer von vier Kommunen beteiligt.
- Dokumentation eines Tablet-Projektes im Wetteraukreis, ifib 2018
Mit diesen Evaluationen erhält der Schulträger wertvolles Hintergrundwissen, auch im Umgang mit der Kommunikationsplattform wtkedu.
Peer Review
Was ist Peer Review?
Peer Review ist eine Form der externen Evaluierung mit dem Ziel, die evaluierte Bildungseinrichtung in ihren Bestrebungen zur Qualitätssicherung und Qualitätsentwicklung zu unterstützen.
Eine externe Gruppe von Expert*innen, so genannte Peers, werden eingeladen, um die Qualität unterschiedlicher Bereiche einer Bildungseinrichtung wie z.B. die Qualität des Unterrichts in einzelnen Fachbereichen oder auch der gesamten Bildungseinrichtung zu beurteilen. Sie statten der zu evaluierenden Einrichtung im Rahmen des Evaluierungsprozesses üblicherweise einen Besuch ab.
Peers sind KollegInnen aus anderen Einrichtungen, die in einem ähnlichen Umfeld arbeiten und einschlägige fachliche Kenntnisse und Expertise mitbringen. Sie sind den Personen, deren Arbeit evaluiert wird, “gleichgestellt”.
Peer Review baut auf bereits bestehenden Qualitätssicherungs- und -entwicklungsverfahren auf. Wird Peer Review in den Qualitätszirkel integriert, unterstützt es die fortlaufende Qualitätsverbesserung.
Wer ist ein/e Peer?
Ein/e Peer ist eine Person,
- die gleichgestellt ist mit der Person bzw. den Personen, deren Leistung überprüft wird
- die im gleichen oder einem ähnlichen Fachbereich arbeitet und/oder in einer vergleichbaren Einrichtung
- die extern (d.h. aus einer anderen Einrichtung kommt) und unabhängig ist (ohne persönliche/institutionelle Parteilichkeiten im Evaluierungsprozess)
und
- die über spezifische professionelle Fachkenntnisse und Expertise verfügt (ähnliche Ausbildung, Werte, professionelle Kompetenzen und Haltungen, gemeinsame Sprache etc.) und
- damit bis zu einem gewissen Grad “Insiderwissen” über den zu evaluierenden Bereich in den Prozess einbringt und dieses mit der externen Sichtweise verbindet (“externe/r InsiderIn”).
Peers werden manchmal auch als “kritische FreundInnen” bezeichnet.
Welchem Zweck dienen Peer Reviews?
Peer Reviews bezwecken
- die Kontrolle der vorgenommenen Selbstevaluation, des selbst erstellten Schulprofils,
- die externe Spiegelung von Rückmeldungen zu bedeutsamen Fragestellungen der Schule,
- die Unterstützung des gesamten Selbstevaluations- und Schulentwicklungsprozesses,
- die Aneignung von fachlicher Kompetenz der Peers bei der Durchführung des Verfahrens und
- die Möglichkeit der Profilbildung und Rechenschaftslegung nach außen.
Weiterführende Literatur:
Ratingkonferenz
Die Ratingkonferenz ist ein datengestütztes Evaluationsverfahren, bei welchem die qualitativen und quantitativen Aspekte der Evaluation und deren Vorzüge miteinander verbunden werden. Das Verfahren basiert im Wesentlichen auf zwei sich ergänzenden Prozesselementen:
- der individuellen Einschätzung (dem «Rating») von vorgegebenen Aussagen zum jeweiligen Evaluationsthema / -gegenstand (quantitatives/geschlossenes Element),
- der unmittelbar anschließenden, gemeinsam mit den Befragten vorgenommenen Auswertung und Interpretation der erhobenen Daten (qualitatives/offenes Element).
Die Aussagen (Items), die den Teilnehmerinnen und Teilnehmern zu Beginn der Ratingkonferenz zur individuellen Einschätzung vorgelegt werden, bilden die Basis des Verfahrens: Hier entstehen die Daten, auf die im Verlauf des diskursiven Auseinander-setzungsprozesses Bezug genommen wird. Ein idealer Umfang liegt bei etwa einem Dutzend Items. Auf keinen Fall sollte das Ratinginstrument mehr als zwanzig Items umfassen, denn zu viele Items bringen die Gefahr einer zu oberflächlichen qualitativen Interpretation mit sich. Die Items sollten so ausgewählt beziehungsweise formuliert sein, dass sie die wichtigsten Aspekte ansprechen, zu denen die Erfahrungen und Meinungen der Schülerinnen und Schüler gefragt sind. Für die Formulierung der Items sind grundsätzlich dieselben Hinweise zu beachten, die für die Gestaltung von Fragebogen gelten: Es braucht einfache, gut verständliche, präzise, neutrale (nicht suggestive) und eindimensionale Formulierungen. Für die Einschätzung der Items sollte eine mindestens vierstufige Skala vorgegeben werden – beispielsweise mit der folgenden Abstufung: 1 = trifft nicht zu; 2 = trifft teilweise zu; 3 = trifft überwiegend zu; 4 = trifft vollständig zu-
Entnommen aus:
Lehrevaluation als Anstoss zur Unterrichtsentwicklung, der Beitrag von Norbert Landwehr
Aus meiner Berufspraxis hier ein Beispiel aus einer externen Evaluation zum Ganztagsangebot einer Schule. Unter anderem wurde die Ratingkonferenz als Methode gewählt, um qualitativ mit Eltern und Lehrkräften ins Gespräch zu kommen. Hier die beiden Ablaufprogramme:
- Ratingkonferenz Eltern
- Ratingkonferenz Lehrkräfte
Unterrichtshospitation
Lehrkräfte geben ihr Wissen, ihre Erfahrungen und Planungen zur gegenseitigen Bereicherung weiter. Sie stärken damit die Verständigung und den Austausch. Gemeinsame Lehrprozessplanungen leisten einen Beitrag zur Sicherung der Unterrichtsqualität und entlasten die einzelnen Lehrkräfte, etwa durch Verabredung einer kollegialen Hospitation.
Kollegiale Unterrichtshospitationen mit anschließendem Feedback gelten als sehr wirksame Methode, den eigenen Unterricht zu reflektieren und zur Professionalisierung der Lehrkräfte beizutragen. Laut Kempfert & Ludwig[6] bringen sie folgende Vorteile:
- Der Unterricht wird gemeinsam untersucht, erforscht, reflektiert und verbessert.
- Die Beobachtungsschwerpunkte werden von den Lehrkräften ausgehandelt, sie orientieren sich an pädagogischen Werten.
- Ein Austausch zwischen Lehrerinnen und Lehrern kommt in Gang, der nicht nur die Qualität ihrer Arbeit verbessern, sondern auch die kollegiale Beziehung vertiefen und den Teamgedanken fördern kann.
- Beobachtungen sind Grundlage des kollegialen Gesprächs: Es wird nicht nur über Unterricht geredet – wie in der Supervision – sondern das Gespräch orientiert sich an Beobachtungsdaten.
- Die Lehrperson kann ihre Eigenperspektive mit einer Fremdperspektive vergleichen und bekommt die Chance, blinde Flecken in ihrer Arbeit zu entdecken.
- Neuerungen werden im Unterricht umgesetzt, systematisch erprobt und reflektiert
Lehrpersonen entwickeln ihre eigene Professionalität wie auch ihre eigene Didaktik weiter.
Für ein Selbststudium hier einige Empfehlungen:
- Material Unterrichtshospitation Landesbildungsserver BW
- Kollegiale Unterrichtsreflexion (KUR), Landesinstitut Hamburg
- HOSPITATION UND FEEDBACK, Material zur Anregung von Schulentwicklung vom Deutschen Zentrum für Lehrerbildung Mathematik
- Reichelt/Wenge: Unterrichtsbesuche, Hospitationen und Lehrproben. Das Buch bietet Leitfäden und Checklisten zu unterschiedlichen Unterrichtssituationen an, aus Sicht der Ausbildung (1. und 2. Phase) und Lehrerpraxis (3. Phase). Für einen wirksamen Unterricht sind maßgeblich Tiefenstrukturen in den Blick zu nehmen. Aktuelle Forschungsergebnisse finden sich in:
- Kognitiv aktivieren. Das Pädagogikheft wartet mit vielen Beispielen aus der Unterrichtspraxis auf. Vieles davon sollte Thema bei einer Unterrichtshospitation sein.
- Dann ist eben Schule. Blogbeitrag des Ausbilders Jan Marenbach (@jjjmare)
- Miro-„Protokoll“ einer Expert*innen-Runde zum Thema unter der Moderation des Ausbilders Jan Marenbach (@jjjmare)
-
Implementation von Evaluationsverfahren
Schulinterne Evaluation meint etwas ganz Selbstverständliches. Etwas, das viele Lehrerinnen und Lehrer in ihrem Berufsalltag immer wieder tun: Sie nehmen sich Zeit, um sich mit der Qualität und den Wirkungen der eigenen Arbeit auseinanderzusetzen. Evaluation bedeutet hier, einer schulischen Praxis auf den Grund zu gehen, um das Erreichte zu reflektieren, Bewährtes zu erkennen und gegebenenfalls auch Optimierungsbedarf zu eruieren. Evaluation heisst auch, gezielte Rückmeldungen von jenen zu erfragen, die von der Schul- und Unterrichtsqualität betroffen sind. In diesem Sinne ist Evaluation schon immer eine Tätigkeit von Lehrpersonen gewesen und gehört zu einem professionellen Berufsverständnis.
Damit interne Schulevaluationen von den Beteiligten als sinnvoll und nützlich erlebt werden, müssen sie «handwerklich» gut gemacht sein. Was aber ebenso wichtig ist: Auf die Haltung der Lehrpersonen kommt es an! Eine Haltung des Fragens, des Neugierig-Seins, des Lernen-Wollens, der Wertschätzung und des Interessiert-Seins an Rückmeldungen und Einschätzungen anderer ist das, was Evaluationen lebendig und fruchtbar macht. Kleine Schritte und verschiedene Zugänge sind möglich, der Einsatz auch einfacher Evaluationsformen ist realistisch: Mit all dem kann eine tragfähige Evaluationskultur in der Schule längerfristig aufgebaut werden.
Evaluationen beginnen in der Regel mit Bestandsaufnahmen. Der folgende Verfahrensablauf hat sich in der Praxis sehr bewährt:
Nähere Erläuterungen dazu bietet eine Veröffentlichung des ehemaligen Instituts für Qualitätsentwicklung (IQ): “Schulische Arbeitsprozesse mit Evaluation erfolgreich gestalten.”
Online-Befragungen
Befragungen können natürlich in Papierform durchgeführt werden. Effizienter scheint mir jedoch digital unterstützende Instrumente einzusetzen. Man unterscheidet zwei technische Varianten von Online-Befragungen:
- Server-basiert
- Fremder Server: z. B. Edkimo, 2ask, UNIPARK, LimeSurvey, maQ-online, soSci Survey
- Institutioneller Server (Landesinstitut, Schule) mit selbst gehosterter Instanz: z. B. SEP-Klassik, LimeSurvey, GrafStat
- Lokale Installation (eher selten)
- eigene Fragebögen
- GrafStat
Stärken
- Druck-, Versand- und Rücksendekosten entfallen
- Keine zeitliche oder räumliche Beschränkungen
- Innovative Antwort- und Fragenformate, z. B.
- Schieberegler
- Einbindung von Multimedia (Bild, Audio, Video, YouTube)
- Keine manuelle Datenerfassung
- weniger Fehler
- sofortige Datenverfügbarkeit
- Fehlervermeidung schon bei der Eingabe
- eindeutige Antwortoptionen und Korrekturen
- automatische Gültigkeitsprüfung
- Erleichterte Filterführung
- Darbietung von Fragen abhängig von vorhergehenden Antworten (in LimeSurvey: „Bedingungen“)
- Eliminierung von Reiheneffekten
- zufällige Darbietungsreihenfolge von Antwortoptionen
- Teilnehmendenverwaltung
- Definition geschlossener Benutzerkreise
- Vermeiden von Mehrfachausfüllen
- Teilnehmendenkommunikation
- Personalisierte Einladung
- Individuelle Erinnerungen an noch fehlende Teilnehmende
Schwächen
- Ausstattungs-/Kompetenzbedarf bei Befragenden
- Befragungssystem auf eigenem oder fremdem Server
- technische Kompetenzen
- Ausstattungs-/Kompetenzbedarf bei Befragten
- Erreichbarkeit der Adressaten
- Bei geschlossener Befragung E-Mail-Adresse oder individueller Vorkontakt erforderlich
- sonst in der Regel nur Convenience-Sample möglich
- Mögliche Zweifel an der Anonymitätszusicherung
- z. B. bei personalisierten Einladungs- und Erinnerungs-Mails
Der “Markt” ist unübersichtlich. Nach welchen Kriterien sollte man auswählen? Ich würde zuvörderst nach Landeslösungen suchen, denn diese sind in der Regel mit einem Service und Support seitens (nachgeordneter) Landesinstitute verbunden. Als in NRW tätige Lehrkraft würde ich z. B. Edkimo wählen, als BW- Lehrkraft auf minnit bzw. Limesurvey. Ansonsten bleibt nur: Wer suchet, der findet… Wenn man im #twitterlehrerzimmer (#twlz) um Empfehlungen bittet, bekommt man viele Rückmeldungen. Allerdings ohne eine qualitative Einschätzung (kann man bei Twitter auch nicht erwarten bzw. verlangen …). Das habe ich in der folgenden Slideanwendungen versucht.
Image by rawpixel.com on Freepik
Uneingeschränkt empfehlenswert ist das Tool SEP-Klassik auf der kostenfreien Seite. Die kostenpflichtigen Tools zeichnen sich durch einen umfangreichen Support und im Falle von IQESonline durch die Verfügbarkeit zahlreicher Materialien zur Schul- und Unterrichtsentwicklung aus.
Bei einer Marktrecherche empfehlen sich folgende Kriterien:
- Das Tool sollte webbasiert sein und weder flash- noch javabasiert sein
- Mit dem Tool müssen sich Fragebögen online erstellen, beantworten und automatisch auswerten lassen. Fragebögen-Vorlagen müssen kopiert und verändert werden können.
- Das Tool muss leicht zu bedienen sein.
- Wenn Apps angeboten werden, müssen sie leicht zu installieren sein und über ein adaptives Design für Smartphone- Nutzung verfügen.
- Der Anbieter weist eine DSGVO konforme Implementation nach, um die Schulgemeinde (Schulleitung, Eltern, Schülerinnen und Schüler) eine entsprechende Sicherheit zu geben
Ich empfehle auf pädagogischen Tagen / Konferenzen mögliche Testkandidaten auf mehrere Personen zu verteilen. Zu Beginn ist festzulegen, nach welchen Kriterien bewertet werden soll. Wir haben 2016 in unserer Abteilung eine Softwareanalyse durchgeführt. Dabei haben wir ein Pflichtenheft aufgestellt und die Tools intern von Zweierteams evaluieren lassen. In Ergänzung dazu haben wir die Anbieter um eine Eigeneinschätzung gebeten. Am Ende stand IQESonline als kostenpflichtiges Produkt und LimeSurvey als „kostenfreies“ Produkt auf den ersten Plätzen. Die Anführungszeichen sind berechtigt: Denn im Unterschied zum kommerziellen Produkt muss das Land personell den Service und Support sicherstellen und das geht in der Regel zulasten der Unterrichtsversorgung, da Lehrkräfte mit Entlastungsstunden freigestellt werden.
Eine weitere Empfehlung ist die Suche nach (Schul)Beratung. Es gibt in vielen Bundesländern entsprechend geschultes Personal, das Unterstützung anbietet. Ich selbst habe in einem hessischen Beratungssystem gearbeitet. Wir haben den Schulen externe Evaluationen angeboten, zu vielerlei Fragestellungen. Dabei sind u. a. auch Fragebögen zur Unterrichtsqualität (inkl. Anleitung) entstanden.
Abschließend will ich eine Frage aufgreifen, die immer mal wieder im #Edutwitter gestellt wird: Wie gestaltet man eigentlich einen Online-Fragebogen?
Eine echte Herausforderung: Entwicklung von (Fragebogen)Items
Eine Befragung muss valide, reliabel und objektiv sein. Wie definiert Wikipedia diese drei Gütekriterien?
- Die Reliabilität (lat. reliabilitas „Zuverlässigkeit“) ist ein Maß für die formale Genauigkeit bzw. Verlässlichkeit einer Befragung. Sie ist derjenige Anteil an der Varianz, der durch tatsächliche Unterschiede im zu beurteilenden Merkmal und nicht durch Erhebungsfehler erklärt werden kann. Hochreliable Ergebnisse müssen weitgehend frei von Zufallsfehlern sein, d. h. bei Wiederholung der Befragung unter gleichen Rahmenbedingungen würde das gleiche Ergebnis erzielt werden (Reproduzierbarkeit von Ergebnissen unter gleichen Bedingungen).
- Unter der Objektivität einer Befragung versteht man die Unabhängigkeit der Versuchsergebnisse von den Rahmenbedingungen (Randbedingungen) und verfälschenden Drittfaktoren. Dies bedeutet, dass eine Untersuchung unabhängig sein muss von den räumlichen Bedingungen, diversen Außeneinflüssen oder Untersuchungsleitungen. Im Laufe des Analyseprozesses wird aus dem subjektiven Eindruck eine intersubjektiv nachvollziehbare Betrachtungsweise.
- Die Validität (lateinisch validus „kräftig“ „wirksam“; englisch validity; auch: Gültigkeit) ist ein Gütekriterium für Beurteilungsverfahren. Validität bezeichnet in der Empirie die inhaltliche Übereinstimmung einer empirischen Erhebung mit einem logischen Beurteilungskonzept. Bezüglich Modellen und Hypothesen bezeichnet Validität die Übereinstimmung von Prognose respektive Schlussfolgerungen und Daten.
Items für Fragebögen zu entwickeln ist eine schwierige Aufgabe. Bevor ist ausführlicher darauf eingehe, vorab fünf wichtige Punkte:
- Kürze
- Antwortoption „Keine Antwort“
- Keine Zwangsfragen
- Fortschritt visualisieren
- Gleiches optisches Gewicht von Antwortalternativen
Nun ausführlicher:
Inhaltliches
- an den theoretischen, definitorischen Bestimmungen des Untersuchungsgegenstands/-merkmal orientieren
- alle ausgewählten Teilbereiche des Merkmals durch die Itemmenge abdecken
- Eindimensionalität: Jedem Item sollte nur ein Inhalt zugrunde liegen
- keine UND-Verknüpfung (wenige Ausnahmen, z. B. Schülerinnen und Schüler)
- keine Konditionalverknüpfung (außer bei höchst wahrscheinlichen Ereignissen / Bedingungen)
- OK: Wenn wir eine Regenpause haben, …
- OK: Wenn der Unterricht beginnt, …
- Ungünstig: Wenn mich meine Lehrerin in den Auszeitraum schickt, …
- Ungünstig: Wenn meine Lehrerin krank ist, …
- Nicht nach Dingen fragen, zu denen den Befragten die nötigen Informationen fehlen
- z. B. nach Konzepten, die nicht alle kennen (auch wenn sie es kennen sollten)
- Negativbeispiel einer Elternbefragung: „Ich kenne die Inhalte des Schulprogramms“
- Wenn noch keine Erfahrungen vorliegen (z. B. bei einer Elternbefragung am Schuljahresanfang)
- in einem kurzen Abschnitt davor die nötige Erklärung geben
- nach Kenntnisstand / Erfahrungen fragen, dann filtern (z. B. 1. Ich habe mich an der Schule schon einmal beschwert. 2. Nach meiner Beschwerde hat sich etwas geändert)
- Bei Items, die nur von Teilgruppen beantwortet werden können, kann man sich mit einem Vortext helfen, wenn es keine Filtermöglichkeit gibt:
- Wenn ja: Hat sich nach Ihrer Beschwerde etwas verändert?
- Ab hier bitte nur ausfüllen, wenn Sie Mathematik unterrichten.
Eigentliche Formulierungen
- Möglichst einfache Formulierungen verwenden
- Begriffe sollten für die Zielgruppe verständlich sein
- keine Fachsprache (z. B. kooperatives Lernen)
- keine Fremdworte (z. B. Diskrepanz)
- keine Abkürzungen (u. A., m. E.)
- keine mehrdeutigen Begriffe (angriffslustig?)
- Sehr lange Formulierungen vermeiden
- Sehr kurze Formulierungen vermeiden
- Aussagen oder Fragen?
- Aussagen lassen sich besser abstufen
- Aussagen verleiten zur Akquieszenz (Verzerrung des Ergebnisses, die dadurch entsteht, dass Probanden die Neigung haben, Antwortmöglichkeiten unabhängig vom Inhalt zuzustimmen).
- Fragen werden meist präziser beantwortet
- Je konkreter die Items sind, desto eher beantworten die Befragten das Item und geben nicht ihre allgemeine Haltung zur Schule wieder
- „Im ersten Schulhalbjahr 2015/2016 habe ich …“ statt „Ich mache …“
- Ich-Formulierungen können verdeutlichen, dass es um die individuelle Sichtweise geht (und nicht für das ganze Lehrerkollegium mitgedacht werden muss)
- „Ich finde die Vorbereitungsunterlagen zum Medientag hilfreich“ statt „Die Vorbereitungsunterlagen zum Medientag sind hilfreich“.
- Allzu extreme Verallgemeinerungen überfordern die Befragten
- Abstraktions- und Aggregationsleistung
- Ein ähnlicher Satzbau / Satzanfang bei den Items entlastet
- Schachtelsätze vermeiden
- Falls es nicht ohne geht: Rechtsverzweigte Strukturen sind für die meisten Menschen einfacher zu verstehen als linksverzweigte
- Rechts: Unsere Lehrerin bleibt freundlich, auch wenn wir zu laut sind.
- Links: Auch wenn wir zu laut sind, bleibt unsere Lehrerin freundlich.
- Aktivsätze sind einfacher zu verstehen als Passivsätze
- Die Schulleitung informiert mich über … .
- Ich werde von der Schulleitung über … informiert.
- Schlüsselworte / Passagen hervorheben
- sparsam einsetzen
- am besten durch Fettdruck
- Möglichst wenig Nominalisierungen
- „Das Entwickeln von Fragebögen fällt mir leicht.“
Richtung & Antwortformat
- Bei Qualitätsevaluation empfehlen sich inhaltlich positiv formulierte Items, sonst wird es mit den Antwortformaten zu schwierig & doppelte Verneinung:
- Item A: Es gibt an unserer Schule ein Mobbing-Problem.
- Item B: Es gibt an unserer Schule kein Mobbing-Problem
- Schülerinnen und Schüler:
- Ich kann die Pause ohne Ärger verbringen.
- Wir Schülerinnen und Schüler denken, dass unser Lernverhalten von elektronischen Geräten und Medien negativ beeinflusst wird.
- Lehrkräfte: G8 überfordert die Schülerinnen und Schüler.
- Das Item selbst soll keine Wertung / Quantifizierung enthalten
- die folgt im Antwortformat
- auch keine „Verabsolutierungen“ (z. B. immer, jederzeit, alle), weil man die nicht abstufen kann
- Schülerinnen und Schüler: Die Projektwoche in unserer Schule macht mir immer viel Freude.
- Lehrkräfte: Alle Entscheidungen zur Entwicklung der Schule, des Unterrichts und zu Erziehungsfragen werden von den Kolleginnen und Kollegen mitgetragen.
- Ausbildungsbetriebe: Die XXX-Schule hat hervorragend qualifizierte Lehrkräfte.
Itemsammlung
Eine weitere Empfehlung:
- Nutzen Sie Fragebögen (Items), die in den Bildungseinrichtungen unter wissenschaftlicher Begleitung entwickelt wurden. In der Regel sind Anpassungen notwendig.
- Die Farbe rot verweist auf Fragebögen mit einem expliziten Bezug zur Mediennutzung bzw. zum Medieneinsatz.
- Auf die Inhalte stoßen Sie nach dem Öffnen der jeweiligen Option durch einen Klick auf den sichtbaren Text.
Hessische Lehrkräfteakademie: Checkliste Medienbildung
Die Checkliste Medienbildung richtet sich an Schulen aller Schulformen, die sich intensiver mit ihrem Medienbildungsangebot auseinandersetzen möchten. Die Checkliste unterstützt Sie als Schulleiterin / Schulleiter bzw. Ihr Kollegium im Rahmen der Schulprogrammarbeit, bei der schulinternen Bestandsaufnahme und dient damit ausdrücklich nicht externen Kontroll- oder Rechenschaftslegungszwecken. Sie entscheiden, ob, wann und unter Beteiligung von wem Sie die Checkliste zum Einsatz bringen und wie Sie die daraus gewonnenen Erkenntnisse nutzen wollen.
Die Items in der Checkliste sind dem Hessischen Referenzrahmen (HRS) zugeordnet. Ein möglicher Umgang wird im Anschluss an die Items erläutert.
Die Behörde hat darüber hinaus einen Praxisleitfaden entwickelt.
Institut für Bildungsanalysen (IBBW): Schul-Tool, sowie Unterrichtsfeedbackbogen Tiefenstrukturen
Mit dem Schul-Tool können Schulen interne Evaluationen effizient und aufwandsarm durchführen und eine oder mehrere Personengruppen (Schülerinnen und Schüler, Eltern, Lehrkräfte, weiteres päd. Personal, Kooperationspartnerinnen und –partner) online befragen, wie sie bestimmte Bereiche oder Prozesse an der Schule wahrnehmen. Hier geht es zu den Fragebögen.
Der Unterrichtsfeedbackbogen sollte nicht ohne das dazugehörige Beobachtungsmanual verwendet werden. Die dort aufgeführte theoretische Grundidee und die Indikatoren bilden den Ausgangspunkt, um ein gemeinsames Verständnis für die einzelnen Merkmale der Unterrichtsqualität zu schaffen.
Institut für Bildungsanalysen (IBBW): Fragebogenmodul "Tool digitale Schule"
Bei den als PDF-Dokument eingestellten Fragebögen handelt es sich nur um Ansichtsversionen.
Für BW-LK: Wenn Sie eine Befragung damit durchführen möchten, registrieren Sie sich bitte, melden sich im Portal an und nutzen die eingerichteten Funktionen des Portals.
Aus dem Pädagogischen Landesinstitut Rheinland-Pfalz: u. a. mit „7C“- Fragebögen
In EVA Klasse finden Sie Fragebögen zu überfachlichen und zu fachlichen Aspekten von Unterricht. Fragebögen zu weiteren Themen wie z. B. zur digitalen Bildung sind vorgesehen.
Hier besonders empfehlenswert: Fragebögen 7C RLP
Sie basieren auf sieben Kategorien, mit denen die Qualität schulischer Prozesse zuverlässig beschrieben werden kann:
- Control (Klassenführung/Seminarführung/Führung von Mitarbeitern),
- Challenge (Herausforderung),
- Clarify (Klarheit),
- Captivate (Begeisterung),
- Confer (Zusammenarbeit und Rückmeldung),
- Care (Fürsorge) und
- Consolidate (Erfolgssicherung).
Die Kategorien ergaben sich aus groß angelegten internationalen Forschungsprojekten der Gates Foundation und stellen im Moment das am besten abgesicherte Modell von Unterrichtsqualität und Schulqualität dar.
Aus dem Staatsinstitut für Schulqualität und Bildungsforschung (ISB), ebenfalls mit 7C-Items
- Die Lehrkraft ist an einer unmittelbaren Rückmeldung zum Unterricht interessiert: Sie holt sich ein Feedback über eine Unterrichtsstunde oder eine Unterrichtssequenz mit dem Ziel, ihr Angebot besser auf die individuellen Voraussetzungen der Schülerinnen und Schülern abzustimmen. Dafür eignen sich insbesondere die Fragen und Instrumente, die von Helmke und Mitarbeitern unter dem Titel “Evidenzbasierte Methoden der Unterrichtsdiagnostik und -entwicklung (EMU)” angeboten werden. Die Instrumente “Kernbereich” und “Zusatszbereiche” erlauben Rückmeldungen über einzelne Unterrichtsstunden.
- Die Lehrkaft möchte eine Selbstvergewisserung vornehmen. Sie orientiert sich dabei an den Kriterien guten Unterrichts: Dafür eigenen sich die “Fragebögen und Itempools für die Unterrichtsbeurteilung über einen längeren Beurteilungszeitraum hinweg” die ebenfalls unter Evidenbasierte Methoden der Unterrichtdiagnostik und -entwicklung (EMU) angeboten werden, das von Wernke, Werner & Zierer (2015) ins Deutsche übersetzte Instrument The “Seven Cs“ of effective teaching – Development of teacher training students, EARLI, (“Die sieben Erfolgskriterien guten Unterrichts”) oder die im Zuge der externen Evaluation von Schulen entstandenen Fragen und Instrumente verschiedener Bundesländer.
- Die Lehrkraft wünscht eine Rückmeldung über ihren Beitrag zur Einlösung der schulischen Qualitätsziele: Sie bittet die Schülerinnen und Schüler um eine Rückmeldung über ihren persönlichen Beitrag zur Verwirklichung der schulischen Qualitätsziele. Dazu müssen in den meisten Fällen eigene Fragen und Instrumente entwickelt werden. Anregungen dafür bietet das Forschungsdatenzentrum Bildung (FDZ Bildung) des DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation. Über eine Konstruktliste lassen sich wissenschaftlich bewährte Items zu verschiedenen Kriterien der Schul- und Unterrichtsqualitäts abrufen.
Die Fragen aus dem EMU-Paktet und “die sieben Erfolgskriterien guten Unterrichts” sind im mebis-Befragungstool als Vorlagen hinterlegt. Diese Vorlagen lassen sich abändern, d. h. Fragen können gelöscht, geändert oder es können eigene Fragen aufgenommen oder eigene Vorlagen mit selbst gewählten Fragen erstellt werden.
Die Nicht-Bayern Schulleitungen und Lehrkräfte können eine sehr gut strukturierte Excel-Tabelle nutzen. Auch hier findet sich eine Umsetzung der sogenannten 7 C’s:
Original Version: MET (2012) Asking Students About Teaching. Übersetzung in: Wernke, Stephan / Werner, Jochen / Zierer, Klaus (2015) The „Seven Cs“ of effective teaching – Development of teacher training students, EARLI.
Feedbackportal Niedersachsen
Derzeit finden Sie im Feedbackportal insbesondere Schülerfragebögen zur Unterrichtsqualität. In diesen Fragebögen wird von einem wissenschaftlichen Modell ausgegangen, das auf drei Grunddimensionen zur Tiefenstruktur von Unterricht beruht (kognitive Aktivierung, konstruktive Unterstützung, effiziente Klassenführung). Jede dieser drei Dimensionen ist in mehrere Module unterteilt und steht Ihnen in einer allgemeinen und in einer auf die letzte Stunde bezogenen Lang- sowie Kurzform zur Verfügung. Sowohl die allgemeine als auch die auf die letzte Stunde bezogene Kurzform sind dabei jeweils auch in leichter Sprache, z. B. für den Einsatz in Grundschulklassen, verfügbar. Ergänzt wird unser Angebot um Fragebögen zu lernprozessbezogenen Schülertätigkeiten. Diese Fragebögen beziehen sich insbesondere auf das selbstgesteuerte bzw. selbstregulierte Lernen.
Alle Module können einzeln ausgewählt und kombiniert werden. Damit haben Sie die Möglichkeit, den thematischen Fokus und den Umfang Ihrer Befragung ganz individuell Ihrem Bedarf anzupassen. Jedes Modul besteht aus mehreren Aussagen, die nicht entfernt oder verändert werden können, um die wissenschaftliche Güte zu gewährleisten.
Sämtliche Fragebogen-Module können von Ihnen mit eigenen Fragen, mit geschlossenem oder auch offenem Antwortformat, ergänzt werden. Voraussetzung ist die Auswahl mindestens eines Moduls für Ihre Befragung.
Hier geht es zur Registrierung.
Toolbox Schulpädagogik/Schulentwicklungsforschung der Freien Universität Berlin
Die professionelle Expertise von Lehrkräften umfasst laut den Standards der Kultusministerkonferenz für die Lehrerinnen- und Lehrerbildung Schul- und Unterrichtsentwicklung. Schul- und Unterrichtsentwicklung geschieht immer auf der Grundlage von Informationen über Voraussetzungen, Prozesse, Kontextbedingungen und Ergebnisse von Lernen in einer bestimmten Schule, Klasse oder Gruppe. Wie zuverlässig diese Informationen sind, ist dabei entscheidend für Qualitätsentwicklung. Der Einsatz von validierten Instrumenten ist ein wichtiger Einflussfaktor was die Zuverlässigkeit von Informationen über schulisches Lernen betrifft.
Mit Verfahren der Bestandsaufnahme und der Evaluation können ganz unterschiedliche Fragen beantwortet werden. Zum Beispiel: Welche Eingangsvoraussetzungen bringen Schülerinnen und Schüler mit? Was haben Schülerinnen und Schüler in einem bestimmten Zeitraum in einem Fach gelernt? Wie gut unterstützt der Unterricht den Lernprozess der Schülerinnen und Schüler einer Klasse? Wie gut gelingt der Lehrkraft die Förderung bestimmter Gruppen von Schülerinnen und Schüler?
Instituts für Medien und Schule (Pädagogische Hochschule Schwyz)
Mit der Einführung des Lehrplans 21 in den Kantonen der deutschsprachigen Schweiz wird auch der Modullehrplan «Medien und Informatik» in Kraft gesetzt. Seine Umsetzung stellt neue Anforderungen an die Volksschullehrpersonen aller Stufen. Die “Selbstevaluation Medien und Informatik” (SE:MI) hilft Lehrpersonen, die eigenen Fähigkeiten kriteriengeleitet einzuschätzen. Es ist deshalb hilfreich, wenn Sie sich vor dem Ausfüllen des Fragebogens mit dem Lehrplanmodul «Medien und Informatik» des Lehrplans 21 vertraut machen.
Die Selbstevaluation hat keinen Prüfungscharakter. Die Rückmeldungen der Selbstevaluation dienen Ihnen als individuelle Orientierung, als Grundlage für Gespräche mit der Schulleitung und zur Planung von Weiterbildungen. Das Ausfüllen des Fragebogens dauert je nach Schulstufe zwischen 10-15 Minuten pro Modulteil.
Dieser Fragebogen soll somit Lehrpersonen helfen, selbst einzuschätzen, in wie weit sie die Kompetenzen aus dem Modullehrplan Medien und Informatik des Lehrplans 21 bereits vermitteln können. SE:MI kann damit auch eine Entscheidungshilfe bei der Wahl von Weiterbildungsangeboten sein.
Die Items sind nach kostenfreier Registrierung einsehbar. Das Tool kann auch außerhalb der Schweiz genutzt werden.
Projuventute (CH): Medienprofis-Test
Der Medienprofis-Test ist ein wissenschaftlicher Test, der mit spielerischen Elementen verbunden und adaptiv ist. Der Test ist für die Klassenstufen 3/4 bis 7/8 validiert und kostenfrei zugänglich. Er …
- ermöglicht den Lernanstoss bei den Schülerinnen und Schülern;
- hilft den Fachkräften Lernveranstaltungen zu planen und deren Wirksamkeit zu überprüfen;
- bietet den Fachkräften eine Orientierung in den bestehenden und neuerscheinenden Lehrmitteln rund um die Medienkompetenz.
- ist als adaptiver Test konzipiert. Das heisst, die Auswahl der Fragen passt sich während des Tests laufend dem Niveau des Kindes an.
Pädagogische Abteilung der deutschen Bildungsdirektion Südtirol: DigCompEdu
Die Fragen sind dem Digital Competence Framework for Educators (DigCompEdu) entnommen. Die Abteilung hat eine Limesurvey-Anwendung gebastelt, deren Nutzung unter der cc by Pädagogische Abteilung der deutschen Bildungsdirektion Südtirol Lizenz steht.
Dasgleiche hat Mike Ricken für seinen Landkreis organisiert. Wer einen Blick in die Umfrage werfen möchte: DigCompEdu (2021-09-22), Medienberatung Niedersachsen
Wer das dazugehörige Tool (SELFIE) nutzen möchte: Zur SELFIE-Registrierung geht hier lang: education.ec.europa.eu/selfie/registr
Zu den Fragebögen geht es hier lang: education.ec.europa.eu/sites/default/
Und zu Blended learning hier lang: education.ec.europa.eu/sites/default/
Bertelsmann-Stiftung
Die digitale Welt verändert das Lernen wie kaum eine gesellschaftliche Entwicklung zuvor. Lernen findet zunehmend virtuell statt. Doch wie gut sind die Bildungsinstitutionen in Deutschland darauf vorbereitet? Der „Monitor Digitale Bildung“ der Bertelsmann Stiftung schafft erstmals eine umfassende und repräsentative empirische Datenbasis zum Stand des digitalisierten Lernens in den verschiedenen Bildungssektoren in Deutschland – Schule, Ausbildung, Hochschule und Weiterbildung.
Fazit und Literaturhinweise
In meiner beruflichen Praxis habe ich neben den zahlreichen externen Evaluationen eine Reihe von begleitenden Evaluationen durchgeführt:
- Ganztagskonzept einer Grundschule an zwei verschiedenen Standorten
- Prozessbegleitende Evaluation eines klassenübergreifenden Projektansatzes (beginnend Jahrgang 5)
- Entwicklung einer Fortbildungsstrategie Medienbildung in einem Gymnasium
- Summative Schulleitungsrückmeldung
Das Evaluationsdesign ist in den Vorbereitungsgesprächen mit der Schulleitung entwickelt worden. In diesen Gesprächen gilt es Stolpersteine zu identifizieren, z. B. bezüglich Sprach- und Technikkompetenz, PC- und Internetzugriff, u. v. m. So haben wir in einem Fall – nach einem Totalausfall des WLAN – die Fragebögen ausgedruckt und von den Schüler*innen händisch ausfüllen lassen. Anschließend haben die Klassenleitungen die Fragebögen in die Datenbank eingepflegt. Für solche Worst Case Szenarien sind bereits im Vorfeld Lösungen zu entwickeln. Ansonsten kommt es schnell zu Akzeptanzproblemen, nicht nur bei der aktuellen, sonder auch bei allen zukünftig geplanten Online-Befragungen.
Häufig wurden verschiedene Instrumente eingesetzt: quantitativ (Onlinebefragung) wie qualitativ (Interviews, Ratingkonferenz). Eine Auswertungskonferenz schloss die schulinterne Evaluation (Beratung) ab. Es ist den Schulen zu wünschen, dass sie vor Ort eine entsprechende Ressource in Anspruch nehmen können, wie etwa in Hessen das regional tätige und überregional vernetzte Schulberatungssystem.
Noch einmal zurück zu Tim Kantereit und seiner Lerngruppenbefragung. Warum nicht diese Ergebnisse mit Rückmeldungen von Schülerinnen und Schülern anderer Schulen vergleichen? Ich habe dazu eine Limesurvey- Umfrage erstellt. Das gesamte Material hat Tim für Interessierte in einem Google-Drive Ordner 5 abgelegt. Dort befindet sich auch meine LimeSurvey- Vorlage zum Import in ein eigenes Limesurvey-System.
Weiterführende Links und Literaturhinweise
Links
- Schulinterne Evaluation an berufsbildenden Schulen (Anleitung aus Rh.-Pfalz)
- Verfahrensschritte Interne Evaluation (Beiblatt Kanton Zürich)
- Handbuch der schulinternen Evaluation , Schulfeedback-Handbuch für BS (beides SH)
- Infoseite – Evaluation, Schulentwicklung NRW
- PPP zum Thema (im Rahmen einer Veranstaltung)
- GTA in Sachsen – wie lässt sich Qualität messen?
- Vertiefungstipp formativ – summativ für eine intensivere Auseinandersetzung.
- Befragung mit Fragebogen, Blogbeitrag von Philippe Wampfler (@phwampfler)
Literaturhinweise
- Bühner, M. (2010). Einführung in die Test- und Fragebogenkonstruktion (3., überarbeitete Aufl.) München: Pearson Studium.
Testtheoretisch orientierte, aber dennoch praxisnahe Einführung in die inhaltliche Konstruktion von Fragebögen. Leseprobe.
- Dillman, D. A. (2014). Internet, Phone, Mail, and Mixed-Mode Surveys. The Tailored Design Method (4. Aufl.). New Jersey: Wiley.
Von der Stichprobengestaltung über die Fragebogenformulierung und ihre Präsentation. Mit vielen Guidelines.
- Fielding, N. G., Raymond M. L. & Blank, G. (2017). The SAGE Handbook of Online Research Methods (2. Aufl.). London: SAGE.
Allgemeine Hinweise zur Onlinebasierten Forschung. Enthält einen eigenen Abschnitt zu Online-Surveys einschließlich Softwareübersicht.
- Kuckartz, U., Ebert, T., Rädiker, S. & Stefer, C. (2009). Evaluation online: Internetgestützte Befragung in der Praxis. Wiesbaden: VS Verlag.
Umfassende Einführung in Online-Umfragen, mit Schwerpunkt auf den Einsatz im Kontext von Evaluationen.
- Thielsch, M. T., & Weltzin, S. (2012). Online-Umfragen und Online-Mitarbeiterbefragungen. In Praxis der Wirtschaftspsychologie II (S. 109-127). Münster: Monsenstein und Vannerdat.
Informativer Kurzüberblick über Online-Umfragen mit zahlreichen konkreten und praxisfundierten Hinweisen.
-
Dr. Ulrike Hartmann (DIPF, 2022): Den eigenen Unterricht reflektieren: Aber wie?
Mehr als ein bisschen Nachdenken: Für eine effektive, evidenzbasierte Reflektion des eigenen Unterrichts bleibt Lehrkräften in ihrem belasteten Arbeitsalltag wenig Zeit, viele fühlen sich damit überfordert. Wie Selbstanalyse dennoch gelingen kann, was sie bringt und welche wissenschaftlichen Ressourcen hilfreich sind, schildert Dr. Ulrike Hartmann vom Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF) in ihrem Gastbeitrag.
Footnotes
- Stangl, W. (2020). Stichwort: ‘formative Evaluation’. Online Lexikon für Psychologie und Pädagogik.
- Stangl, W. (2020). Stichwort: ‘summative Evaluation’. Online Lexikon für Psychologie und Pädagogik.
- Irene Schmid: Im Blick behalten, wie sich Veränderungen bewähren. In: Pädagogik 5-17, S. 20-24, Beltz-Verlag
- ebda
- https://twitter.com/Herr_Ka_Punkt/status/1213731245311569920