Know Your Impact durch Aktionsforschung – SKILL.de Teilvorhaben zur evidenzbasierten Evaluation universitärer Lehre

Evidenzbasierte Evaluation als Teil der Accountability Bewegung hat bereits viele Institutionen beeinflusst, z.B. Regierungsorganisationen, das Gedunsheitswesen, Unternehmen. Dasselbe passiert augenblicklich auch in der Hochschuldidaktik: Die Gesellschaft fordert Nachweise der Wirksamkeit universitärer Lehrmethoden durch Lehrende. Unter Berücksichtigung der Freiheit von Forschung und Lehre will das SKILL.de-Teilvorhaben „Know Your Impact“ eine zukunftsfähige Lösung erproben. Das Projekt bietet Lehrenden die Möglichkeit zum Erwerb der erforderlichen Kompetenzen, des Wissens und der Instrumente, um ihre eigene Lehre evidenzbasiert evaluieren zu können. Ziel ist die Verbesserung der eigenen Lehre und studentischen Lernens. Durch Aktionsforschung, die die eigenen Lehrpraktiken untersucht, sollen Lehrende in die Lage versetzt werden, in der stetigen hochschuldidaktischen Entwicklung aktiv zu werden.

I. Die Herausforderung: Know Your Impact

Forschung in ihren Fächern gehört für die meisten universitären Lehrenden zu ihrem Alltag. Dass die eigene Lehre auch Gegenstand von Forschung sein kann, ist ihnen aber zumeist fremd. Diese scharfe Trennung zwischen Forschung und Lehre hat zu einem erfahrungsbasierten, impressionistischen, individualistischen und unsystematischen Ansatz gegenüber Lehre geführt, in der „fast alles wirkt“. Die Konsequenzen sind unter anderem sichtbar in Befunden zu Studienabbruchquoten (wenn z.B. ca. 40% aller Studienanfänger in MINT Fächern ihr Studium abbrechen). Evaluation bietet die Chance zum Feedback, aus dem Vorschläge für Veränderungen und Verbesserungen hervorgehen können.  Gegenwärtig gibt es eine Reihe von Evaluationsverfahren in der Hochschuldidaktik, z.B. Studierendeneinschätzungen der Lehrenden, Lehrendenevaluationen durch standardisierte Tests, oder Lehrendenwahrnehmungen ihrer eigenen Effektivität durch Selbsteinschätzungsbögen. Aber die meisten Verfahren scheinen Lehrenden entweder als Messverfahren nicht adäquat, indem sie als Bedrohung der eigenen Autonomie wahrgenommen werden, oder sie haben keinerlei unmittelbare Folgen für die Veränderung der Lehre.

Es besteht ein deutlicher Unterschied zwischen Evaluationen, die von Außenstehenden (oder sog. Experten) durchgeführt werden und Evaluationen, die die Lehrenden selbst und für sich selbst durchführen. Aktuelle Forschungen legen nahe, dass wenn Menschen in einem Prozess involviert sind und ihn selbst bestimmen und ausführen können, eine höhere Chance besteht, dass Verhaltensveränderungen, Einstellungsveränderungen oder Wissenserwerb (Learning by doing) stattfinden, anstatt nur passiv Ratschlägen von Experten zuzuhören, die ihnen erzählen, was in der Lehre funktioniert.

II. Aktionsforschung in SKILL.de

Das Ziel des Aktionsforschungsvorhabens „Know Your Impact“ ist, Lehrende zu befähigen unabhängige, professionelle Problemlöser zu werden, die relevante, evidenzbasierte und kontextsensible Lösungen für tägliche Probleme zu finden, die sie in ihren Seminarräumen und Vorlesungssälen erleben.

Aktionsforschung berücksichtigt die Realität universitärer Lehre: Lehrende haben eine Vielzahl an Aufgaben: lehren, forschen, beraten, Konferenzbeiträge verfassen, Sitzungen, Zusammenarbeit mit anderen u.v.m. Darum ist Effizienz unerlässlich: Evidenzbasierte Evaluation muss machbar bleiben, d.h., sie darf nicht zu viel Zeit, Ressourcen und Energie in Anspruch nehmen. Auch muss alles unter der Kontrolle der Lehrenden selbst bleiben (sie bestimmen, welche Fragen ihrer Lehre sie sich anschauen möchten, sie auch tatsächlich von ihnen selbst verändert werden können) und sie sollten dies auch selbst wollen.

III. Durchführung

1. Alles beginnt mit einer organisatorischen Analyse. Jede Disziplin hat ihre einen Ziele, Strukturen und Herausforderungen. Solche Faktoren müssen sorgfältig berücksichtigt werden, andernfalls wird die schließlich gefundene Lösung irrelevant sein. Gemeinsam werden Schwerpunkte identifiziert (z.B. die Effektivität einer digital gestützten Lehrmethode) oder ein Problem wie mangelnde Motivation der Studierenden, häusliche Ausarbeitungen der Studierenden sind von geringer Qualität etc.).

2. Gemeinsam wird ein Design zum Sammeln empirischer Daten entwickelt. Die Lehrenden bekommen intensives individuelles Coaching über relevante Datenerhebungsverfahren.

3. Die Lehrenden sammeln, analysieren und interpretieren ihre Daten mit wissenschaftlichen Methoden. In allen Phasen erhalten sie Unterstützung und Feedback.

4. Die Lehrenden übernehmen die Rollen reflektierender Praktiker und Praktikerinnen. Basierend auf empirischer Evidenz und Analyse entwickeln sie einen Handlungsplan, der darauf zielt, auf Basis der gewonnenen Erfahrungen und Ergebnisse studentisches Lernen zu verbessern.

Als Teil des SKILL.de-Projekts will das Know-Your-Impact Teilvorhaben lebenslanges Lernen unterstützen: Lehrende, die ihre eigene Praxis erforschen, können voraussichtlich besser mit Veränderungen umgehen und Herausforderungen, die sich aus technologischem Wandel z.B. durch Digitalisierung ergeben. Darüber hinaus vermittelt SKILL.de Zugang zu kontinuierlichen Weiterentwicklungsmöglichkeiten. Das „Course Transformation Program“ von Wieman (Universität Stanford) wird den Lehrenden in SKILL.de vorgestellt. Damit lernen sie eine der wirksamsten lehrbezogenen Interventionen kennen, die im Moment diskutiert wird.

Projektleitung: Prof. Dr. Jutta Mägdefrau

Projektdurchführung: Dr. Sima Caspari-Sadeghi

Publikationen:

• Forster-Heinlein, Brigitte & Mägdefrau, Jutta (2023, in press).  Action Research in der Hochschullehre: Drei Beispiele aus dem Fach Mathematik. Empirische Pädagogik (3).
• Caspari-Sadeghi, Sima; Mille, Elena; Epperlein, Hella; Forster-Heinlein, Brigitte (2023): Democratizing Assessment for Sustainable Learning in Mathematics Instruction: Giving Students Agency in Classroom Research. In: Institute of Electrical and Electronics Engineers (IEEE), Global Engineering Education Conference (EDUCON). Kuwait: IEEE. Pp. 1–3.
• Caspari-Sadeghi, Sima (2022): Teaching Expertise in Context: How to Evaluate Teacher’s Situated Cognition? In: Higher Education Evaluation and Development, Vol. 16, No. 1. Bingley, UK: HEED. Pp. 1–5.
• Caspari-Sadeghi, Sima; Mille, Elena; Epperlein, Hella; Forster-Heinlein, Brigitte (2022): Stimulating Reflection through Self-Assessment: Certainty-based Marking (CBM) in Online Mathematics Learning. In: Mathematics Teaching Research Journal, Vol. 14, No. 2. Ney York, USA: MTRJ. Pp. 145–156.
• Caspari-Sadeghi, Sima; Forster-Heinlein, Brigitte; Mägdefrau, Jutta; Bachl, Lena (2021). Student-generated Questions: Developing Mathematical Competence through Online-Assessment. In: International Journal for the Scholarship of Teaching and Learning, Vol. 15, No. 1, Article 8. Statesboro, USA: CTE. Pp. 1–5.
• Caspari-Sadeghi, Sima; Forster-Heinlein, Brigitte; Mägdefrau, Jutta; Bachl, Lena (2021): Sustainable e-assessment in mathematics instruction. In: Kollosche, David (Ed.): Proceedings of the Eleventh International Mathematics Education and Society Conference, 1. Hamburg, Germany: tredition. Pp. 57–60.