Effectiveness of instructional interventions in higher education E-Book

• Herausgeber: Books on Demand
• Kategorie: Geisteswissenschaft
• Serie: Zeitschrift für Hochschulentwicklung Jg. 16
• Sprache: Englisch

Seitenzahl: 292

Veröffentlichungsjahr: 2021

Beschreibung

Answering the question of effectiveness of educational interventions is no easy task for a multitude of reasons. The effectiveness of an intervention depends not only on the intervention itself but also, for example, on the target group, the available infrastructure, the current legislation, the time of implementation or the expertise of the teachers. This special issue shows the diversity in the goals pursued and the interventions used to achieve them. It also shows methodological differences in effectiveness research and argues the need for nuanced interpretation and for explicitly considering the context for the intervention.

Leseprobe

Inhalt

Vorwort

Editorial: Effectiveness of instructional interventions in higher education

Jan Elen, Manfred Prenzel

Effektivitätsmessung durch die Evaluation von Lehr-Lernarrangements

Bianca Maria Pircher, Eva Maria Jabinger

Zur Wirksamkeit von Invention Activities auf das Lernen von Lehramtsstudierenden

Sonja Wedde, Annette Busse, Dorit Bosse

Bringing stress management into students’ curricula: Effectiveness of a holistic stress management intervention

Natalie Peters

Effectiveness of Service-Learning

Peter Slepcevic-Zach, Karina Fernandez

Die Wirkungen von MINT-Vorkursen – ein systematischer Literaturreview

Sarah Berndt, Annika Felix, Judit Anacker

Counselling in the introductory phase of studies

Malihe Brensing, Till Dannewald, Annika Kanzinger, Ulrike Mayer, Joerg Zender

(Ko-)konstruktivistisch, kompetenzorientiert und adaptiv unterrichten lernen

Matthias Baer, Mirjam Kocher, Anna Locher, Christine Villiger

Was bringt Gamifizierung bei Ingenieur*innen? Vergleich zweier Studiengänge in Deutschland

Tim Pidun

Triggering Factors for (Self-)Reflection. An Inquiry in the Context of an ePortfolio Initiative

Gernot Dreisiebner, Peter Slepcevic-Zach, Michaela Stock

Planning Effective Instructional Interventions

Frank Ulbrich

Freie Beiträge

Hochschulübergreifendes Service Learning in den Wirtschaftswissenschaften

Marlen Gabriele Arnold, Alina Vogel, Anne Fischer, Martin Ulber, Katja Beyer, Maxi Füllhase

Integrative Präsenz- und Digitallehre: Möglichkeiten zur Gestaltung eines effizienteren Selbststudiums von berufsbegleitenden Studierenden am Beispiel der Sozialen Arbeit

Nina Weimann-Sandig

Vorwort

Als wissenschaftliches Publikationsorgan des Vereins Forum Neue Medien in der Lehre Austria kommt der Zeitschrift für Hochschulentwicklung besondere Bedeutung zu. Zum einen, weil sie aktuelle Themen der Hochschulentwicklung in den Bereichen Studien und Lehre aufgreift und somit als deutschsprachige, vor allem aber auch österreichische Plattform zum Austausch für Wissenschafter/innen, Praktiker/innen, Hochschulentwickler/innen und Hochschuldidaktiker/innen dient. Zum anderen, weil die ZFHE als Open-Access-Zeitschrift konzipiert und daher für alle Interessierten als elektronische Publikation frei und kostenlos verfügbar ist.

Ca. 3.000 Besucher/innen schauen sich im Monat die Inhalte der Zeitschrift an. Das zeigt die hohe Beliebtheit und Qualität der Zeitschrift sowie auch die große Reichweite im deutschsprachigen Raum. Gleichzeitig hat sich die Zeitschrift mittlerweile einen fixen Platz unter den gern gelesenen deutschsprachigen Wissenschaftspublikationen gesichert.

Dieser Erfolg ist einerseits dem international besetzten Editorial Board sowie den wechselnden Herausgeberinnen und Herausgebern zu verdanken, die mit viel Engagement dafür sorgen, dass jährlich mindestens vier Ausgaben erscheinen. Andererseits gewährleistet das österreichische Bundesministerium für Wissenschaft, Forschung und Wirtschaft durch seine kontinuierliche Förderung das langfristige Bestehen der Zeitschrift. Im Wissen, dass es die Zeitschrift ohne diese finanzielle Unterstützung nicht gäbe, möchten wir uns dafür besonders herzlich bedanken.

Zur Ausgabe:

Answering the question of effectiveness of educational interventions is no easy task for a multitude of reasons. The effectiveness of an intervention depends not only on the intervention itself but also, for example, on the target group, the available infrastructure, the current legislation, the time of implementation or the expertise of the teachers. This special issue shows the diversity in the goals pursued and the interventions used to achieve them. It also shows methodological differences in effectiveness research and argues the need for nuanced interpretation and for explicitly considering the context for the intervention.

Seit der Ausgabe 9/3 ist die ZFHE auch in gedruckter Form erhältlich und beispielsweise über Amazon beziehbar. Als Verein Forum Neue Medien in der Lehre Austria freuen wir uns, das Thema „Hochschulentwicklung“ durch diese gelungene Ergänzung zur elektronischen Publikation noch breiter in der wissenschaftlichen Community verankern zu können.

In diesem Sinn wünschen wir Ihnen viel Freude bei der Lektüre der vorliegenden Ausgabe!

Martin Ebner und Hans-Peter Steinbacher

Präsidenten des Vereins Forum Neue Medien in der Lehre Austria

Jan ELEN (Leuven) & Manfred PRENZEL1 (Vienna)

Editorial: Effectiveness of instructional interventions in higher education

Editorial · DOI: 10.3217/zfhe-16-01/01

Introduction

Higher education gets constantly challenged by scientific and social developments. The question on whether higher education is performing its tasks well within the given context and whether higher education cannot perform its tasks even better is recurring. The question of the effectiveness of higher education fits seamlessly into this context and is the focus of this special issue.

Answering the question of effectiveness of educational interventions is no easy task for a multitude of reasons. First of all, it is not always completely clear what is meant by effectiveness. In simple terms, effectiveness refers to the question of whether the intended goal was actually achieved with a particular intervention. This assumes that the goal is clear, that the intervention is clear, that it can be clearly established whether the goal has been achieved and that the relationship between the intervention and the achievement of the goal can be clearly established. It is not easy to meet all these conditions: often there are several goals that are intertwined in a complex way and that are difficult to “measure”, the implementation of the intervention may be more or less different from how it was conceived or the effect of an intervention is difficult to delineate from the impact of contextual elements or parallel measures. And this immediately touches on a second reason why answering the question of effectiveness of educational interventions is no sinecure. Again and again, it is important to take the context into account as well. The effectiveness of an intervention depends not only on the intervention itself but also, for example, on the target group, the available infrastructure, the current legislation, the time of implementation or the expertise of the teachers.

However difficult, answering the question of the effectiveness of interventions remains an important task because it helps to scientifically substantiate and critically question such interventions. This special issue compiles on the effectiveness of an intervention. The special issue does not zoom in on one particular intervention but shows the diversity in the goals pursued and the interventions used to achieve them. It also shows methodological differences in effectiveness research.

The interventions in the special issue target various challenges for higher education. In addition to cognitive learning outcomes, also motivational, affective and metacognitive goals are aimed at. Some contributions address differences among new students whereas other look for ways in which students can be supported in their efforts to become competent professionals or in which societal issues can be brought into the curriculum. Given the diversity in the goals of the interventions it is not surprising that also the interventions themselves differ in multiple respects such as the focus (e.g., understanding, practice, reflection), the duration, the place in the curriculum (at the start, at the end) or the specific nature (e.g., counselling, gamification, ePortfolio).

The different contributions also reflect methodological diversity. While most are actual intervention studies, there are also more conceptual pieces (discussion of different practices to assess effectiveness, systematic review, etc.). The empirical studies differ in the sample size and the level of students, the nature of the assessment instruments (self-reports, exams) as well as the moment on which the assessment is done (immediate versus delayed results).

It was argued that studying the effectiveness of instructional interventions is complex. The different contributions nicely point this out by repeatedly arguing the need for nuanced interpretation and for explicitly considering the context for the intervention.

Overview

In their contribution (“Measuring effectiveness by evaluating teaching-learning arrangements”) Bianca Pircher and Eva Maria Jabinger illustrate the diversity of ways in which effectiveness of interventions can addressed. Building on real cases they discuss a variety of measures to point out that ‘effectiveness’ can have very different meanings. It may relate to student reactions and perceptions over proxy measures and formal assessments. The authors emphasize the need for adequately interpreting statements about effectiveness by explicitly considering the methods used to formulate the statements.

In a study (“The effectiveness of invention activities on student teacher learning” by Sonja Wedde, Annette Busse and Dorit Bosse ‘epistemic curiosity’ and (awareness of) ‘knowledge gaps’ is aimed at. They analyzed the effects of two approaches to solve problems prior to instruction in a sample of 106 student teachers. In a first approach student teachers were encouraged to invent solutions, in the second approach student teachers studied worked out examples. While the approaches do not seem to result in different effects for ‘curiosity’, results show that students in the invention group became more aware of knowledge gaps. The study is a nice example of the research in which effectiveness of interventions is studied by looking for differential effects of specific approaches. In these studies, the question is not only whether an intervention is effective but also which approach is more effective than another one with respect to prerequisites of the students.

The recent pandemic has clearly revealed the importance in higher education of students’ well-being. In her study (“Bringing stress management into students’ curricula: Effectiveness of a holistic stress management intervention”) Natalie Peters reports the effects of a ‘stress management intervention’ as implemented in a seminar. Given that for students participating in the seminar perceived stress was lower and contentment with life, well-being, and knowledge about stress and coping was higher in comparison to a group that did not attend the seminar, the stress management intervention is concluded to be effective. The study reflects the broadening scope of goals in higher education and illustrates research on effectiveness in which a control group is used that does not attend an alternative intervention.

A recurrent point of discussion in higher education pertains to the relationship between higher education and society. Service learning aims to directly address this issue. In their paper (“Effectiveness of Service-Learning”) Peter Slepcevic-Zach and Karina Fernandez present the results of an intervention study. They registered the perceptions of 82 students on the effects of a service-learning course across three measuring points. In this study the extent to which perceived effects are in line with intended effects is regarded to be a measure of effectiveness. The study further adds to the diversity by looking at long-term rather than immediate effects as the participants were also interviewed three years after completing the course.

Not all students are equally well-prepared for higher education. Numerous institutions offer provisions that may help students to be better prepared. In their contribution (“The effects of STEM pre-courses – A systematic literature review”) Sarah Berndt, Annika Felix and Judit Anacker discuss STEM pre-courses. Given the potential impact of context on the effectiveness of instructional interventions, it is indicated to look at a multitude of studies prior to make strong claims. A literature review therefore helps to our understanding of the effectiveness of an intervention as it highlights general effects as well as contextual factors that affect the effect. Based on their review Berndt, Felix and Anacker report that pre-courses have rather short-term effects at the subject level, but also non-subject related effects can be retrieved.

Pre-courses are one approach to handle differences among students. Structuring the semester is another one. In their contribution (“Counselling in the introductory phase of studies”) Malihe Brensing, Till Dannewald, Annika Kanzinger, Ulrike Mayer and Joerg Zender present the effects of such an intervention. Freshmen could choose to have three shorter exams during the semester or one exam at the end of the semester. Individual counselling was made mandatory for those who failed one of the shorter exams. As an indicator of effectiveness it was shown that after counselling students performed better on remaining exams. It is to be noted that in this study exam results are regarded to be a direct measure of effectiveness.

Higher education aims at preparing students to be competent professionals who are able to apply their knowledge in actual practice. A wide range of interventions is directed towards fostering competence development. In their study (“Acquiring competences for (co-)constructivist, competence-oriented, adaptive teaching”) Matthias Baer, Mirjam Kocher, Anna Locher, and Christine Villiger discuss the effectiveness of a three-parts intervention with both teacher students and experienced teachers. By doing so these authors highlight the importance of considering the target group when interpreting results of effectiveness studies. Data on a.o. self-assessments of teaching competence and attitude towards (co-)constructivist, adaptive, and competence-oriented teaching from the intervention groups were compared with similar data from two non-intervention groups (both student teachers and experienced teachers). The study illustrates the importance of considering multiple variables but also the complexity that results from doing so.

Preventing dropout and ensuring high learning outcomes are important goals of higher education. Multiple efforts are done to achieve these goals by using digital approaches. One of these approaches is gamification. While theoretically gamification has a huge potential, when, how and for whom it might work remains to be understood. A contribution in this regard (“Gamification: What’s in it for engineers? Comparison of two study courses in Germany”) by Tim Pidun points to the need for further research. Gamification was introduced in two engineering courses that share a computer science module: an economics-oriented and a technically oriented course. Positive effects (as measured on the one hand by exam results, and on the other hand by self-reported skills acquisition perceptions) could be retrieved only in the economics-oriented course, and not in the technically oriented course. The study highlights the importance for replication studies with different target groups in order to better understand the underlying mechanisms that affect effectiveness.

Effectiveness of interventions is not self-evident. That is nicely illustrated by the contribution (“Triggering Factors for (Self-)Reflection. An Inquiry in the Context of an ePortfolio Initiative”) by Gernot Dreisiebner, Peter Slepcevic-Zach and Michaela Stock. The study pertains to the effects as measured by self-reported competence development of an ePortfolio. The intervention aims at enhancing (self-)reflection. It is shown that obligation is an important triggering factor. The authors claim that in order to be effective integration of interventions in the curriculum is important.

Context does play an important role when it comes to the effectiveness of interventions. That is also exactly what is brought forward in the contribution (“Planning Effective Instructional Interventions”) by Frank Ulbrich. He proposes an approach to decide when and for whom an intervention is most suited in view of fostering the attainment of intended learning outcomes. In the approach the learners’ perspective is explicitly taken into account. The contribution highlights that proactive planning may enhance the effectiveness of an intervention.

Editors

Prof. Dr. Jan ELEN || KU LEUVEN, Centre for Instructional Psychology and Technology || Dekenstraat 2, BE-3000 Leuven

[email protected]

Prof. Dr. Dr. h.c. Manfred PRENZEL || Centre for Teacher Education, University of Vienna || Porzellangasse 4, A-1090 Vienna

[email protected]

Foto: facesbyfrank

1 email: [email protected], [email protected]

Bianca PIRCHER2 & Eva Maria JABINGER (Innsbruck)

Effektivitätsmessung durch die Evaluation von Lehr-Lernarrangements

Werkstattbericht · DOI: 10.3217/zfhe-16-01/02

Zusammenfassung

Im vorliegenden Beitrag wird die Thematik der Effektivitätsmessung von pädagogischen Maßnahmen im Masterstudiengang Qualitäts- und Prozessmanagement abgehandelt. Hierbei wird versucht, an Hand des Vier-Stufen-Modells nach Kirkpatrick die Überlegungen zur Messung und Interpretation der Maßnahmeneffektivität aufzuzeigen. Am Ende erfolgen ein Resümee und eine kritische Würdigung der eingesetzten Maßnahmen.

Schlüsselwörter

Effektivitätsmessung, PDCA-Zyklus, Evaluation, Vier-Stufen-Modell, Kirkpatrick

Measuring effectiveness by evaluating teaching-learning arrangements

Abstract

This paper deals with the subject of measuring the effectiveness of instructional interventions in the Master’s degree in Quality and Process Management. The aim is to use a practical example to demonstrate the considerations relevant for measuring and interpreting the effectiveness of the measures. The paper concludes with a summary and critical assessment of the measures implemented.

Keywords

effectiveness, PDCA-cycle, training evaluation, Kirkpatrick

1 Einleitung

Die Effektivitätsmessungen im hochschulischen Bereich werden sehr kontrovers diskutiert. Überblicksarbeiten finden sich dazu unter anderem im Magazin für Erwachsenenbildung.at (2020). Insbesondere finden sich in der kritischen Betrachtung von Effektivitätsmessungen Hinweise darauf, dass besonders im Bildungsbereich keine kausalen Wirkungen bei komplexen Interventionen, wie z. B. der Einführung eines neuen Curriculums, zu lokalisieren sind (SCHRADER, 2014, S. 204).

Besonders wird darauf verwiesen, dass gerade im Sozial- und Bildungsbereich wichtige Einflussfaktoren, die auf den Lernerfolg wirken, wie z. B. der soziale Status, nicht durch gesetzte Maßnahmen verändert bzw. beeinflusst werden können (SCHRADER, 2014, S. 205).

Daher wird in vielen Fällen auf die Messung einzelner Einflussfaktoren zurückgegriffen, die sich in der Lehrevaluation leicht abbilden lassen. Um dem entgegenzuwirken, sollte im vorliegenden Beitrag aufgezeigt werden, wie diese umfassende Thematik zugeschnitten auf einen Masterstudiengang bewältigt werden kann. Durch die Einführung der Evaluation nach dem Vier-Stufen-Modell nach Kirkpatrick wird eine umfassende Evaluation des Studiengangs aufgezeigt. Es soll damit nicht nur die Zufriedenheit und der Lernerfolg der Studierenden gemessen werden. Durch die Einführung von verschiedenen Maßnahmen soll auch eine Messung der Transferleistungen in den Praxisalltag sichtbar gemacht werden.

2 Ausgangslage

Der Bedarf an Evaluation von Lehrangeboten im Hochschulbereich in Österreich besteht längstens durch die im Hochschul-Qualitätssicherungsgesetz 2011 verankerte Pflicht, die interne Qualitätssicherung regelmäßig durch ein Audit sicherzustellen (REICHERT, 2019). Die Evaluationsergebnisse leisten dabei nicht nur einen wichtigen Beitrag für die professionelle Entwicklung von Weiterbildungsmaßnahmen, sondern liefern auch Grundlagen für die hochschuldidaktische und institutionelle Entwicklung einer Institution (HELLWIG, BRADSHAW & SCHROLLDECKER, 2020). Die Anbindung und Anpassung an die berufliche Praxis ist dabei besonders für berufsbegleitende Masterstudien an Fachhochschulen von Bedeutung (vgl. auch REINFELDT & FRINGS, 2003, S. 279).

Die fh gesundheit – Zentrum für Gesundheitsberufe Tirol GmbH (fhg) bietet insgesamt 13 Masterprogramme in berufsbegleitender Studienform an. In diesem Artikel wird vorrangig auf den Masterstudiengang Qualitäts- und Prozessmanagement im Gesundheitswesen (kurz QPM) fokussiert, der fünf Kernmodule beinhaltet: Qualitäts-, Prozess-, Risiko-, Projekt- und Change Management.

Die Studierenden des Masterstudiengangs QPM haben bereits in ihrem beruflichen Umfeld Erfahrungen mit den Inhalten des Studiengangs gemacht. Die persönlichen Zielsetzungen der Studierenden, sich für den Masterstudiengang an der fhg zu entscheiden, sind sehr individuell und vielfältig. Dennoch lassen sich zwei Hauptgründe durchgängig eruieren: persönliche Karriereentwicklung und fachliche Weiterbildung. Dies ist insofern von Bedeutung, da rund 80 % der Varianz des Lernerfolgs durch individuelle Faktoren der Studierenden und Lehrenden bedingt werden (ULRICH & HECKMANN, 2017, zitiert nach HATTIE, 2015).

Die Auseinandersetzung im Studiengang mit Lehrevaluationen dient allerdings nicht nur dazu, um den Studienerfolg der Studierenden zu analysieren und sichtbar zu machen. Vielmehr steht im Zentrum der berufsbegleitenden Studien an Fachhochschulen die Schnittstelle zwischen hochschulischer Bildung und der Transfer in die Praxis. Deshalb müssen die Angebote nicht nur im Sinne der Lehrevaluation und des Lernerfolges analysiert und entwickelt werden, sondern auch im Hinblick auf ihre Anschlussfähigkeit und Transferleistungen in der Praxis.

Gerade in den Kernfächern des Masterstudiengangs QPM steht die Anwendung der Instrumente des Qualitäts-, Risiko-, Prozess-, Projekt- und Change-Managements im Zentrum. Die gelernten theoretischen Inhalte und Instrumente sollen zielgerichtet auf Problemstellungen der Praxis angewendet werden.

Es stellt sich naturgemäß die Frage, wie effektiv die einzelnen, im Rahmen des Studiums gesetzten Maßnahmen wirken bzw. gewirkt haben. Dazu hat sich das interne Team des Masterstudiengangs QPM im Rahmen eines Projektes intensiv mit der Evaluation von Lehr- und Lernmaßnahmen in der Erwachsenenbildung auseinandergesetzt. Daraus resultiert auch die Zusammenfassung in diesem Artikel.

Auf Basis einer vom Masterstudiengang durchgeführten Evaluationsstudie zu Advanced-Life-Support-Trainings wurde an der Einführung und Weiterentwicklung des Evaluationsmodells nach Donald KIRKPATRICK (Ursprungsversion aus 1959) gearbeitet. Hierzu wurde eine Literaturrecherche zur Entwicklung und Anwendung des Modells in der Hochschullehre durchgeführt. Die Ergebnisse werden im nun Folgenden dargestellt.

3 Ergebnisse der Literaturrecherche

BARGEL & EL HAGE (2000) haben eine Übersichtsarbeit zum Thema Modelle und Lehrverfahren der Lehrevaluation veröffentlicht, in der hervorgeht, dass sich zu diesem Zeitpunkt vier grundsätzliche Modelle der Lehrevaluation an Hochschulen herausgebildet haben (BARGEL & EL HAGE, 2000, S. 208). Dazu gehören

Studentische Veranstaltungskritik:

Hier wird durch unterschiedliche Befragungsmöglichkeiten, wie Fragebögen oder Dialoge, die Beurteilung der Lehrveranstaltungen aus Sicht der Studierenden erhoben. Diese wird vorrangig als direkte Rückmeldung für die Lehrenden genutzt.

Rankings von Hochschulen und Fächern:

Die Grundlage für das erste hochschulvergleichende Ranking in Deutschland wurde 1989 durch eine Erhebung der Zeitschrift Der SPIEGEL geschaffen. Hier wurden insgesamt 6000 Studierende gebeten, ihren eigenen Fachbereich zu beurteilen, um daraus ein Ranking zu erstellen.

Die Lehrevaluation durch Hochschulrankings stößt allerdings auch auf Kritik. Es bleibt die Frage offen, inwieweit eine Bewertung zur Lehrleistung durch Studierende über eine gesamte Hochschule hinweg aussagekräftig sein kann.

Lehrberichte der Hochschulen und Fachbereiche:

Bereits seit Anfang der 1990er Jahre werden Lehrberichte und so bezeichnete Wissensbilanzen von Hochschulen erstellt. In dieser meist statistischen Datensammlung werden unterschiedliche Aussagen zu Fachstudiendauer, Drop-out- und Erfolgsquote, Notenverteilungen etc. dargestellt. Hierbei wird allerdings bemängelt, dass die Berichte der Hochschulen nicht einheitlich verfasst sind. Es gibt außerdem bislang keine Kriterien, die eine Vereinheitlichung, und damit verbunden, einen echten Vergleich ermöglichen.

Peer-Reviews und kollegiale Begutachtungen

Das „Niederländisches Modell“ der Lehrevaluation hat sich zur Beurteilung von Fachbereichen etabliert. Hier werden nach einer internen Datensammlung Fachkolleg*innen aus anderen Hochschulen ausgewählt, die vor Ort ein Audit durchführen.

Es wird festgestellt, dass bei den „Peer-Reviews“ ähnliche Schwierigkeiten auftreten, wie bei Lehrberichten der Hochschule, dass inhaltliche Aspekte des Studiums im Rahmen der Beurteilung meist vernachlässigt werden (BARGEL & EL HAGE, 2000, S. 208ff).

Die vorgestellten vier Modelle der Lehrevaluation werden einer genaueren Betrachtung und Kritik unterzogen. In weiterer Folge war es für das Projektteam ausschlaggebend zu eruieren, welche Modelle sich in der Zwischenzeit weiterentwickelt bzw. etabliert haben.

Ein sehr bekanntes und gut etabliertes Modell zur Evaluation ist das Vier-Ebenen-Modell (siehe Abb. 1) von Donald KIRKPATRICK (1959, 1967, 1994). In diesem Modell wird die Möglichkeit zur Effektivitätsmessung einer Maßnahme vorgestellt, die sich speziell mit dem Produkt einer Lehr-/Lernhandlung befasst. Es baut insgesamt auf vier Stufen auf und versucht nicht nur den Lernerfolg der Studierenden zu erfassen, sondern in letzter Konsequenz auch die Effektivität der Maßnahmen für die jeweilige Organisation.

Abb. 1: Vier-Ebenen-Modell nach Kirkpatrick (EVALEA)

Die Ebene eins erfasst die Reaktion der Teilnehmer*innen hinsichtlich Akzeptanz, Zufriedenheit, Nutzung oder Nützlichkeit des Gelernten. Diese Informationen geben vorwiegend Aufschluss über die Verbesserung bzw. Weiterentwicklung von Trainingsmaßnahmen. Die Befragung auf dieser Ebene kann sowohl am Ende des Trainings oder in zeitlichem Abstand erfolgen. Meist wird hier noch zwischen der Zufriedenheit mit der/dem Trainer*in, der räumlichen Atmosphäre, den Inhalten, der Seminargestaltung etc. differenziert. Die Reaktionsebene wird häufig auch als „Happiness-Index“ bezeichnet (KAUFFELD, 2016, S. 112).

Die Ebene zwei überprüft den Lernerfolg. Dies geschieht meist in Form von Prüfungen, die den Wissenszuwachs nach einer Trainingseinheit sichtbar machen sollen (KAUFFELD, 2016, S. 112). Bevorzugt wird hier ein Prä-post-Design, um den Lernzuwachs deutlicher darzustellen. Durch entsprechende Interventionen in der Überprüfung soll der Erreichungsgrad der vorgegebenen Lernziele gemessen werden.

Die Ebene drei macht den Transfer in den Arbeitsalltag sichtbar. Dies erfordert die Entwicklung von Kennzahlen, die das Verhalten der Lernenden in der Praxis deutlich bzw. nachvollziehbar machen. Hierzu werden unter anderem Transferbefragungen in Form von Interviews der Teilnehmer*innen mit ihren Vorgesetzten oder Kolleg*innen eingesetzt. Aber auch Arbeitsanalysen und Angaben zur Arbeitsleistung können herangezogen werden (KAUFFELD, 2016, S. 112f). Im hochschulischen Bereich können Lösungsstrategien von Studierenden im Hinblick auf Problemstellungen aus der Praxis analysiert werden.

Die Ebene vier stellt die Messung der Effektivität der Trainingsmaßnahmen für die Organisation als Gesamtes in den Mittelpunkt. Dabei werden die Auswirkungen des geänderten Verhaltens in Form objektiver Leistungskennzahlen gemessen (KAUFFELD, 2016, S. 113).

In einer Modifikation und Weiterentwicklung des Modells schlägt PHILIPPS (1998) die Berücksichtigung einer weiteren Ebene wie die des Return on Investment (ROI) vor (KAUFFELD, 2016, S. 113). In dieser weiteren Stufe wird der ROI berechnet, welcher die Kosten und den Nutzen eines Trainings in Beziehung zueinander setzt (KAUFFELD, 2016, S. 125).

VAN BUREN & ERSKINE (2002) haben die Häufigkeit der Messung der Erfolgsmaße in Organisationen erhoben und kommen zu dem Ergebnis, dass eine Zufriedenheitsmessung in 78 % der untersuchten Unternehmen durchgeführt wird, während der Lernerfolg „nur“ mehr bei 32 % gemessen wird. Die Messung des Transfererfolgs wird mit 9 % erhoben und die Messung des Unternehmenserfolges liegt nur mehr bei 7 % (KAUFFELD, 2016, S. 115).

Abb. 2: Vier Ebenen der Erfolgskontrolle (KAUFFELD, 2016, S. 115)

Dass Messungen zur Zufriedenheit und Lernerfolg häufiger vorgenommen werden lässt sich damit erklären, dass diese leichter umsetzbar sind und als direktes Feedback an Trainer*innen verwendet werden. Kritisch zu bemerken ist hierzu allerdings, dass eine hohe Zufriedenheit keinen Rückschluss auf den Transfer des Gelernten in die Praxis zulässt.

Für Evaluation des Masterstudiengangs QPM war es Voraussetzung, das Vier-Ebenen-Modell nach Kirkpatrick als Evaluationsmodell für die Lehre umzuarbeiten. Dies bedeutet, dass die Stufe 3 Verhalten und Stufe 4 Ergebnis nicht im beruflichen Umfeld der Studierenden erhoben, sondern im Rahmen des Studiums überprüft werden. Die Berechnung des ROI, als Erweiterung des Modells, wird mit den Studierenden insofern erarbeitet, als dass diese eine Rentabilitätsrechnung für sich persönlich anstellen. D. h., es werden sämtliche eingesetzte Kosten der/des Studierenden im Masterstudiengang QPM einer erwarteten Rentabilität nach Abschluss des Studiengangs gegenübergestellt und in Beziehung gesetzt.

4 Gesetzte Maßnahmen und Umgang mit Ergebnissen

Im folgenden Teil werden die gesetzten Maßnahmen und der Umgang bzw. die Verwendung der erzielten Ergebnisse den jeweiligen Stufen nach Kirkpatrick zugeordnet und beschrieben. Abschließend werden diese Maßnahmen und Ergebnisse kritisch reflektiert.

Stufe 1– Zufriedenheit

Für die Lehrveranstaltungsevaluation wird ein Online-Befragungsbogen eingesetzt, der von den Studierenden nach der letzten Einheit einer Lehrveranstaltung zu bearbeiten ist. Diese Evaluationsbögen machen vorwiegend die Ebene eins sichtbar, in dem die Akzeptanz und die Zufriedenheit der Studierenden mit der Lehrveranstaltung abgefragt werden. Konkret unterteilt sich der Evaluationsbogen in folgende Bereiche (siehe Abb. 3): Zufriedenheit mit

Abb. 3: Globale Werte der Lehrveranstaltungsevaluation (eigene Abbildung)

Die abgefragten Items sind mit „trifft völlig zu“ bis „trifft gar nicht zu“ zu bewerten. Zusätzlich werden offene Fragen eingebunden, in denen die Studierenden die drei wichtigsten Lernergebnisse formulieren sowie Raum für direkte Verbesserungsvorschläge finden.

Zusätzlich wurde im Juli 2020 und im Jänner 2021 eine Umfrage an alle Masterstudierenden ausgesandt, um die Zufriedenheit der Studierenden in den berufsbegleitenden Masterprogrammen mit der Umstellung auf das Distance Learning zu erheben. Die Umstellung erfolgte vom ausschließlichen Angebot an Präsenzveranstaltungen auf Distance Learning und wurde im Zuge der Covid-19-Pandemie und den damit verbundenen Lockdowns notwendig. Auch diese gesetzte Maßnahme bringt Ergebnisse zur Analyse auf Stufe 1 des Evaluationsmodells.

Umgang mit Ergebnissen

Die Evaluationsergebnisse stehen sowohl der Leitung des Masterstudiengangs QPM als auch den jeweiligen Dozierenden zur Verfügung und bilden die Grundlage für Entwicklungsgespräche mit den jeweiligen Lehrenden. Verbesserungsvorschläge der Studierenden werden aufgenommen und in die Planungen der nächsten Lehrveranstaltung miteinbezogen.

Kritische Betrachtung

Die Lehrveranstaltungsevaluation ist nicht speziell für den Masterstudiengang QPM entwickelt, sondern ist für alle angebotenen Studien an der fhg standardisiert. Die Aussagekraft der Zufriedenheitsmessungen der Studierenden ist insofern auch kritisch zu betrachten, da die Evaluationsergebnisse sehr stark von der Beziehung zwischen Lehrenden und Studierenden beeinflusst werden. Hierzu wäre der „Showeffekt“ in Lehrveranstaltungen zu nennen. D. h., gelingt es der/dem Vortragenden eine für Studierende angenehme „Show“ zu veranstalten, so wird auch die Evaluation dementsprechend gut ausfallen. Die Zufriedenheit mit einer Lehrveranstaltung hängt aber auch sehr stark vom empfundenen Arbeitsaufwand der Studierenden ab. Dieser ist durch die im Curriculum festgelegten ECTS vorgegeben. Wird der Arbeitsaufwand von den Studierenden als hoch bzw. intensiv wahrgenommen, schlägt sich dies auch in der Zufriedenheitsmessung nieder.

Die ausgesandte Umfrage zur Zufriedenheit mit dem Distance Learning brachte im Juli 2020 zufriedenstellende Ergebnisse, obwohl die Umstellung recht rasch und mit Behelfsmitteln umgesetzt werden musste. Die Ergebnisse der Befragung im Jänner 2021 zeigt einen deutlichen Anstieg in der Zufriedenheit der Studierenden mit dem Lehrangebot im Distance Learning. Eine Evaluation der gesetzten Distance-Learning-Maßnahmen zeigt im Vergleich zum Juli 2020 eine deutliche Steigerung in der Professionalität der Angebote.

Stufe 2 – Lernen

Der Lernerfolg der Studierenden wird durch vielfältige Maßnahmen während und nach Abschluss der Lehrveranstaltungen überprüft. Für jede laufende Lehrveranstaltung werden konkrete Lernziele, entsprechend der im Curriculum verankerten Learning Outcomes, formuliert. Deren Erreichung wird durch Online-Tests, Selbstüberprüfungen, Quizzes, Spiele oder mündlichen Prüfungen überprüft. Die Lernziele werden nach den Taxonomiestufen nach Bloom operationalisiert, entsprechend der gewünschten Stufe ausformuliert und durch geeignete Prüfungsverfahren kontrolliert.

Der Masterstudiengang QPM ist modular aufgebaut. Um ein Modul positiv abschließen zu können, ist am Ende des Semesters eine Modulprüfung zu absolvieren. Diese bestehen aus lehrveranstaltungsübergreifenden schriftlichen Prüfungen oder Projektarbeiten, die von den Studierenden selbstständig und unter Anwendung ihrer erworbenen Kenntnisse und Fähigkeiten selbstständig erledigt werden müssen.

Umgang mit Ergebnissen

Die Ergebnisse der Lernstandserhebungen in den Lehrveranstaltungen und der Modulprüfungen stehen den Studierenden, der Leitung des Masterstudiengangs QPM sowie den jeweiligen Modulverantwortlichen zur Verfügung. Für die Beurteilung der Lernstandsüberprüfungen in den Lehrveranstaltungen und der Beurteilung der Modulprüfungen werden vordefinierte Beurteilungskriterien und Durchführungsmodi verwendet. Diese werden bereits vor Beginn des Moduls im Rahmen einer Modulkonferenz festgelegt. Zusätzlich zu den Lernstandserhebungen und den Modulprüfungen werden, speziell bei Seminar- oder Projektarbeiten, schriftliche Feedbacks an die Studierenden übermittelt, um ihnen etwaige Verbesserungspotenziale aufzuzeigen.

Kritische Betrachtung

Lernstandserhebungen in den Lehrveranstaltungen stellen häufig eine Momentaufnahme bezüglich des Wissensstandes der Studierenden dar. Deren Aussagekraft hinsichtlich dessen, was Studierende tatsächlich wissen und können, wird allerdings als eher gering eingeschätzt. Aussagen zur Anwendung des Gelernten in der Praxis lassen sich daraus nur selten ableiten. Zwar werden die Überprüfungen gemäß den formulierten Lernzielen nach der Taxonomie nach Bloom angepasst, dennoch finden sich selten Überprüfungen auf den Stufen 4 Analyse bis 6 Beurteilung. Viel häufiger werden die Stufen 1 Wissen und 2 Verständnis, und in Ansätzen Stufe 3 Anwendung, überprüft.

Diese beiden bereits etablierten Evaluationsstufen des Kirkpatrick-Modells entsprechen den grundsätzlichen Verfahrensweisen an Hochschulen. Hier sind große Übereinstimmungen im Ablauf mit den Vorgehensweisen in anderen Hochschulen vorzufinden. Bis zum Beginn des Masterstudiengangs im Studienjahr 2019/21 wurden die Stufen 3 und 4 des Evaluationsmodells nicht oder nur untergeordnet überprüft. Mit dem Start des neuen Masterstudiengangs QPM wurde deshalb versucht eine erweiterte Evaluation, welche alle vier Stufen des Kirkpatrick-Modells umfasst, zu entwickeln und umzusetzen.

Stufe 3 – Verhalten

Für eine Beurteilung bzw. Evaluationsgrundlage einer möglichen Verhaltensänderung der Studierenden wurden mit dem Masterstudiengang 2019/21 zwei voneinander unabhängige Aufgabenbereiche für die Studierenden entwickelt und eingeführt, die eine selbstständige und unbegleitete Anwendung aller Inhalte des Masterstudiengangs von den Studierenden erfordert.

Maßnahme Entwicklungsportfolio

Im Rahmen eines Entwicklungsportfolios, welches die Studierenden nach einem vorgegebenen Leitfaden unbegleitet zu bearbeiten haben, wird versucht einer Evaluation auf Stufe 3 gerecht zu werden. Es soll dabei der Entwicklungsprozess der Studierenden im Rahmen des Studiums fokussiert werden. Durch die persönliche Auseinandersetzung der Studierenden mit den Studieninhalten und deren Umsetzung in der täglichen Praxis sollen sie sich ihrer eigenen Professionalisierung bewusst werden. Stärken und Schwächen sollen besser erkannt und Maßnahmen für eine systematische persönliche Weiterentwicklung abgeleitet werden.

Umgang mit den Ergebnissen

Die Beurteilung der Entwicklungsportfolios wird nach einem vorher festgelegten und ausformulierten Beurteilungsraster vorgenommen. Dazu zählen die Beurteilung der Qualität der ausgewählten Beispiele sowie des Reflexionsniveaus auf Basis der kognitiven Lernziel-Taxonomie nach Bloom. Zudem erhalten die Studierenden ein ausführliches schriftliches Feedback zu den eingereichten Portfolios.

Die Inhalte, Beurteilungen und Feedbacks zu den Entwicklungsportfolios stehen den Studierenden, der Leitung sowie dem gesamten internen Team des Masterstudiengangs QPM zur Verfügung. Diese Ergebnisse bilden wiederum eine Grundlage für mögliche Weiterentwicklungen und Überlegungen zur Überarbeitung des Curriculums bzw. der definierten Learning Outcomes im Studiengang.

Kritische Betrachtung

Das Entwicklungsportfolio wurde mit Beginn des laufenden Studiengangs neu eingeführt. Daher wird diese Form der Evaluation erstmalig mit dem Sommersemester 2021 endgültig abgeschlossen sein. Zwischenergebnisse aus den ersten drei Studiensemestern liegen bereits vor. Diese Ergebnisse zeigen, dass der Leitfaden zur Erstellung des Entwicklungsportfolios noch insofern zu verbessern ist, als dass klarere Vorgaben hinsichtlich der Beurteilungskriterien gemacht werden müssen. Die Auswertung der bisherigen Entwicklungsportfolios hat ebenso gezeigt, dass die Studierenden zwar ihre Lernentwicklungen in den einzelnen Modulen dokumentieren, jedoch selten auf die Veränderungen in ihrer täglichen Arbeitspraxis eingehen.

Maßnahme lehrveranstaltungsübergreifende Projektarbeit

Für eine studienbegleitende Evaluation einer Verhaltensänderung und der Überprüfung der Transferleistung der theoretischen Inhalte auf praxistaugliche Situationen wurde für die Studierenden des Masterstudiengangs QPM eine modul- und lehrveranstaltungsübergreifende Projektarbeit eingebaut. Diese wird im Rahmen einer Gruppenarbeit von den Studierenden über drei Semester hinweg bearbeitet und nach deren Abschluss im Rahmen einer Abschlusspräsentation zu Beginn des vierten Semesters vorgestellt.

Dazu wurde im ersten Semester, im Rahmen einer Lehrveranstaltung, der Abgleich zwischen theoretischen Inhalten der Aufbau- und Ablauforganisation und den in der Praxis wahrgenommenen Auswirkungen dieser in ihrem jeweiligen Arbeitsbereich erörtert. Daraus ergaben sich auch Bereiche, in denen die Studierenden Verbesserungspotential in den Schnittstellen zwischen den Arbeitsbereichen herausgefunden haben. Um dieses Verbesserungspotential auch praktisch zu evaluieren, wurden die Studierenden in vier Gruppen eingeteilt, um im jeweiligen Berufsfeld ein Start-up zu entwickeln.

Dabei sollten die Studierenden in die Lage versetzt werden, ihr eigenes Unternehmen zu gründen, und damit die aus ihrer Sicht identifizierten Schwachstellen in der Versorgung bzw. in der Schnittstellenarbeit der Versorgungsbereiche des Gesundheitswesens zu verbessern. Dabei können alle Inhalte des Studiums laufend eingearbeitet werden. Somit sind die Studierenden aufgefordert, die ihnen im Rahmen des Studiums zur Kenntnis gebrachten Inhalte in ihr Praxisprojekt einzuarbeiten und entsprechend ihren Vorstellungen umzusetzen.

Auf diesem Weg kann die Transferleistung auf der Ebene drei des Vier-Stufen-Modells nach Kirkpatrick evaluiert werden. Die Beurteilung der Praxisprojekte erfolgt in jedem Semester in ausgewählten Lehrveranstaltungen. Im Zentrum der Beurteilung steht dabei, in welchem Ausmaß und welcher Güte die im Studium vermittelten Theorien, Instrumente und Methoden im eigenen Unternehmen umgesetzt werden.

So wird das Praxisprojekt laufend evaluiert und die Studierenden haben die Möglichkeit, dieses kontinuierlich weiterzuentwickeln. Die finale Beurteilung folgt festgelegten Kriterien, die im Rahmen einer Teamkonferenz von allen beteiligten Lehrenden ausgearbeitet wurden.

Umgang mit den Ergebnissen

Die Abschlusspräsentationen werden einer externen Jury vorgestellt, die ihrerseits durch ihre Bewertung und ihr Feedback eine entsprechende Beurteilung der Praxistauglichkeit der entwickelten Unternehmen abgeben.

Kritische Betrachtung

Diese kann zum derzeitigen Zeitpunkt noch nicht genau erörtert werden, da die Abschlusspräsentation noch nicht stattgefunden hat.

Maßnahme Masterthesis

Ebenso zählt das Verfassen der Masterthesis zur Evaluation auf der Stufe 3. Hier müssen die Studierenden auf Basis einer praktischen Problemstellung und anhand einer daraus abgeleiteten selbstgewählten Forschungsfrage die Inhalte des Masterstudiengangs selbstständig anwenden. Durch die nach wissenschaftlichen Kriterien gestaltete Ausarbeitung sind diese Fähigkeiten unter Beweis zu stellen.

Hierbei erfolgt eine Evaluation auf der Ebene zwei, die den Lernerfolg der Studierenden insgesamt über alle Module sichtbar macht. Gleichzeitig erfolgt auch die Evaluation auf der Ebene drei, da die Inhalte auf eine bestimmte Frage- bzw. Problemstellung aus der Praxis umgelegt werden müssen. Somit rückt die praktische Anwendung, die einer Transferleistung gleichkommt, in den Fokus.

In der Beurteilung der Masterthesis wird der Lernerfolg durch den Einbezug der fachlichen und theoretischen Ebene der Inhalte berücksichtigt. Darüber hinaus wird aber auch die Transferleistung gemessen, indem die Anwendung der Inhalte, auf eine konkrete wissenschaftliche Fragestellung bezogen, beurteilt wird.

Maßnahmen zur Evaluation auf der Ebene vier

Die Evaluation auf der Ebene vier wird im Rahmen einer Langzeitstudie durchgeführt. Dazu werden Kennzahlen entwickelt, die geeignet sind. den längerfristigen und nachhaltigen Erfolg für den Masterstudiengang QPM zu beurteilen. Hierzu gehören unter anderem Kennzahlen wie die Weiterempfehlung des Studienganges seitens der Unternehmen, in denen die Absolvent*innen tätig sind, oder die Verleihung von Awards an Studierende. Zusätzlich lässt sich das langfristige Ergebnis des Studiengangs auch dahingehend erheben, inwieweit Unternehmen an das Institut des Studiengangs herantreten, um Praxisprojekte im Rahmen von Kooperationsverträgen abzuwickeln.

5 Diskussion

Die im vorigen Abschnitt beschriebenen Maßnahmen zur Evaluation des Studiengangs auf den einzelnen Stufen nach dem Kirkpatrick-Modell folgen im Wesentlichen dem PDCA-Zyklus, einem kontinuierlichen Verbesserungsprozess. So wie auch im Vier-Stufen-Modell nach Kirkpatrick, werden auch hier die Informationen der Vorstufe erhoben, analysiert und weiterentwickelt. Insgesamt soll dadurch eine kontinuierliche Verbesserung des Studienangebotes, aber auch der Inhalte erreicht werden.

Zusätzlich wird angemerkt, dass durch diese Vorgehensweise auch eine ständige Anpassung an die sich laufend ändernden Bedingungen in der Praxis möglich gemacht werden soll. Dies geschieht unter anderem dadurch, dass praktische Anwendungsbeispiele und Erfahrungen aus der Praxis in die Lehre eingeflochten werden.

Kritisch zu betrachten ist, dass eine exakte Messung der Effektivität einer gesetzten Maßnahme letztlich immer nur eine Momentaufnahme darstellt, die im nächsten Studiengang bereits wieder auf andere Voraussetzungen trifft und durch andere Studierende beurteilt und umgesetzt wird. Insofern lässt sich der Schluss ziehen, dass die Feststellung der Effektivität einer in Bezug auf den Studienplan gesetzten Maßnahme lediglich zu einem bestimmten Zeitpunkt und unter Beschreibung der konkreten Rahmenbedingungen erfolgen kann. Eine allgemeingültige Aussage dazu kann schwer getroffen werden. Damit verbunden ist eine weiterführende Veränderung und Anpassung der Maßnahme an neue Rahmenbedingungen laufend vorzunehmen.