evaluiert E-Book

Lars Balzer

• Herausgeber: hep verlag
• Kategorie: Bildung
• Sprache: Deutsch

Seitenzahl: 353

Veröffentlichungsjahr: 2015

Beschreibung

Evaluationen – jenseits von Ritualen, automatisierten Kontrollmechanismen und standardisierten Qualitätsmanagementprozessen – bringen hohen Nutzen für Lern- und Lehrprozesse. Das vorliegende Buch zeigt, wie dieses Versprechen durch seriöse und realistische Evaluationsplanung eingehalten werden kann. Es führt in die Grundlagen der Bildungsevaluation ein, erklärt die Fachsprache und gibt viele Hinweise auf vertiefende, speziell methodische Literatur. Kernstück ist ein Evaluationsprozess in zehn Schritten, veranschaulicht durch Praxisbeispiele. Übungsaufgaben mit Lösungen unterstützen das Selbststudium.

Leseprobe

Lars Balzer, Wolfgang Beywl

evaluiert

Planungsbuch für Evaluationen im Bildungsbereich

ISBN Print: 978-3-0355-0339-5

ISBN E-Book: 978-3-0355-0345-6

Gestaltung und Satz: tiff.any GmbH, Berlin, www.tiff.any.de

Umschlagfoto: Peter Bachmann, Bern, www.pbfotografie.ch

1. Auflage 2015

Alle Rechte vorbehalten

© 2015 hep verlag ag, Bern

www.hep-verlag.com

Inhaltsverzeichnis

Vorwort

1Einstieg ins Thema

2Was ist Evaluation?

2.1Wissenschaftliche Evaluation statt ­Alltags­bewertung

2.2Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-)Forschung

2.3Evaluation als Qualitätsmanagement bzw. ­Controlling?

2.4Evaluation als Beitrag zur gesellschaftlichen Entwicklung

3Evaluationsprozess und Auftrag

4Bestimmung des Evaluationsgegenstandes

5Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

5.1Geld- und Auftraggebende der Evaluation

5.2Finanzierende und Träger des Bildungsangebots

5.3Programmleitende und -mitarbeitende

5.4Teilnehmende

5.5Vorgesetzte, Arbeitgebende, Arbeitskollegen

5.6Sonstige Akteure

5.7Evaluierende

5.8Akteure im Zusammenspiel

6Bestimmung der Evaluationszwecke und ­-fragestellungen

6.1Evaluationszwecke

6.1.1Funktionale Unterscheidung von Evaluationszwecken

6.1.2Evaluationszwecke nach Verwendungsabsichten

6.1.3Zusammenspiel von Funktion, Zweck und Rolle der Evaluation

6.1.4Verdeckte Zwecksetzungen

6.2Evaluationsfragestellungen

6.2.1Festlegen der Fragestellungen

6.2.2Formulierung von Fragestellungen

6.2.3Arten von Fragestellungen

7Festlegung der Bewertungskriterien

8Auswahl von Erhebungsdesign und -methoden

8.1Erhebungsdesigns

8.1.1Ein-Gruppen-Designs

8.1.2Mehr-Gruppen-Designs

8.2Datenerhebungsmethoden

8.3Erhebungsdesign und Datenerhebungs­methoden im Zusammenspiel

9Durchführung der Erhebungen

10Datenauswertung, Interpretation und ­Bewertungssynthese

11Berichterstattung

11.1Adressierte

11.2Zeitpunkte

11.3Verantwortung und Zuständigkeiten

11.4Auswahl geeigneter Berichterstattungsformate

11.4.1Schriftliche Berichte

11.4.2Mündliche Berichterstattungsformate

12Nutzung der Ergebnisse

13Evaluation der Evaluation

Literaturverzeichnis

Verzeichnis der Abbildungen

Verzeichnis der Tabellen

Verzeichnis der Übungsaufgaben

Onlineressourcen für die Evaluation

Musterlösungen zu den Übungsaufgaben

Glossar

Vorwort

Evaluation hat in den letzten 20 Jahren auch im deutschsprachigen Raum eine steile Karriere gemacht. Ihre Wurzeln und großen Potenziale liegen insbesondere auch im Bildungsbereich. Evaluation kann helfen, Angebote vom Eltern-Kind-Turnen über den Computerkurs bis hin zur Facharzt-Weiterbildung und viele Hunderte mehr systematisch zu beschreiben und zu bewerten, meist mit dem Zweck, diese zu verbessern.

Diejenigen, die Bildungsprogramme finanzieren oder verantwortlich leiten, geben eine Evaluation in Auftrag, sei es an interne Mitarbeitende oder an Externe. Diese Evaluatorinnen und Evaluatoren müssen über einschlägiges Evaluationswissen und -können verfügen: wie sie zu relevanten und beantwortbaren Evaluationsfragestellungen kommen; wie sie Evaluationspläne an diese Fragestellungen anpassen; wie sie Evaluationskriterien festlegen; welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben; welche methodischen Klippen sie umschiffen müssen; wie sie gewonnene Daten verarbeiten; wie sie die Nutzung der erzielten Ergebnisse fördern können und vieles Weitere mehr.

Dieses Buch ist ein praxisnaher Leitfaden für die Planung und Durchführung einer Bildungsevaluation und bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der genannten Kompetenzen. Wenn Sie sich mit Unterstützung dieses Buches erarbeiten, wie Sie nützliche und glaubwürdige Evaluationen planen und durchführen, dann bauen Sie auf Hunderte vielfach erfolgreicher, oft auch sehr herausfordernder Lerngeschichten auf. Personen, die mit verschiedenen Vorgängerversionen dieses Buches gearbeitet haben, hatten es mit unterschiedlichen Problemstellungen und Hindernissen der (Bildungs-)Evaluation zu tun, und konnten vielfach entsprechende Lösungen für diese finden. Die vorliegenden Texte und Aufgaben haben ihre Wurzeln in Veranstaltungsskripten und Studienbriefen (z. B. Balzer & Beywl, 2014; Beywl & Balzer, 2009). Diese sind in zahlreichen Aus- und Weiterbildungsveranstaltungen erprobt und laufend verbessert worden.

So manche Darstellung und Erläuterung ist erst auf Drängen von engagierten Teilnehmenden entstanden, die uns überzeugten, dass wir unsere theoretischen Vorstellungen zu und praktischen Erfahrungen mit Evaluation genauer ausführen müssen. Andere Passagen – insbesondere die Übungsaufgaben – sind nach kritischen Rückmeldungen der Teilnehmenden gründlich überarbeitet worden. Vielfach haben wir Verbindungen zwischen den Kapiteln stärker betont, um dem Anspruch, Ihnen Evaluation als eine systematische wissenschaftliche Vorgehensweise zu vermitteln, gerecht zu werden. Wir haben z. B. die Lösungen zu den Aufgaben inhaltsanalytisch ausgewertet und dabei beurteilt, in welchem Maße sie zur Lernzielerreichung beitragen und ggf. Verbesserungen vorgenommen.

Der Titel dieses Buches ist ein Vorgriff auf das, was Sie nach einer systematisch durchgeführten Evaluation erreicht haben, und markiert den Abschluss eines Dreischritts:

∎evaluiert? – ein legitimer, vielfach notwendiger Checkpunkt, der in der Lebensphase eines Bildungsprogramms anzuwenden ist

∎evaluiert! – ein Planungsentschluss, der gefasst wird, wenn die Evaluation einer Bildungsmaßnahme als möglich und nutzenversprechend eingeschätzt wird

∎evaluiert. – der Schlusspunkt hinter der Durchführung einer Evaluation, an den sich gelegentlich ein neuer Dreischritt anschließt.

Mit dem im Untertitel genannten «Bildungsbereich» sind zahlreiche auch benachbarte Felder angesprochen. Zum einen sind dies alle Bildungsstufen von der frühen Bildung über die allgemeinbildenden Schulstufen und die grundständige Berufsbildung bis hin zur hochschulischen Bildung sowie der allgemeinen und beruflichen Weiterbildung. Zum anderen sind dies Handlungsfelder der sozialen Arbeit, des Gesundheitsbereichs, der Verbraucherarbeit, der Beratung, des Coachings und viele andere mehr. Wichtig ist, dass es zumindest im weitesten Sinne um intentionales, also zielgerichtetes Lernen geht, das im Rahmen von Programmen stattfindet. Was hier unter einem Programm verstanden wird, schlagen Sie am besten gleich im Glossar am Ende des Buches nach – das Wort bzw. der Wortbestandteil wird über 400-mal in diesem Buch genutzt.

Adressaten dieses Buches sind alle, die sich die fachlichen Grundlagen der Evaluation erarbeiten wollen, um Evaluationen im Bildungsbereich Schritt-für-Schritt planen und schließlich erfolgreich umsetzen zu können. Angesprochen sind zum einen Studierende in den grundständigen Bachelor-, besonders den Masterstudiengängen im Bereich der Bildungswissenschaften und auch der sozialen Arbeit sowie ihrer Bezugsdisziplinen, u. a. Psychologie, Soziologie und Wirtschaftswissenschaft. Zum anderen richtet sich das Buch an Weiterbildungsstudierende in Programmen, die ein substanzielles Element zur Evaluation enthalten, z. B. im Bereich des Projekt-, Change- oder Qualitätsmanagements. Schließlich gehören auch Fachpersonen in Bildungsorganisationen, die ihr Wissen und Können im Prozess der Arbeit auf- und ausbauen wollen, zu den Hauptadressaten. Erfahrene Evaluierende können dieses Buch im Rahmen eines kombinierten Schulungs- und Beratungsangebotes einsetzen. Präsenzzeiten der Teilnehmenden können – wie von uns vielfach umgesetzt – durch die vorbereitende Lektüre und evtl. in Kombination mit der Bearbeitung der Übungsaufgaben reduziert werden. Durch ein solches Konzept eines «inverted classroom» kann diese Präsenzzeit effektiver für kollegiale Beratung und Coaching durch Evaluationsexpertinnen und -experten genutzt werden. Dabei kann z. B. eine reale Evaluation über zehn – jeweils durch ein BuchKapitel erläuterte – Schritte geplant und ggfs. danach tatsächlich umgesetzt werden.

Detaillierte Lernziele dieses Buches finden sich je zu Beginn der Kapitel 2–13. Durch ein intensives Studium dieses Buches können Sie u. a. …

∎wissenschaftliche Evaluation definieren,

∎eine systematische Schrittfolge für eine für den Auftrag maßgeschneiderte Evaluation planen,

∎den jeweiligen Evaluationsgegenstand differenziert beschreiben,

∎die im Rahmen einer Evaluation zu berücksichtigenden Akteure identifizieren,

∎Evaluationszwecke und -fragestellungen präzise formulieren,

∎Kriterien für die systematische Bewertung klären und anwenden,

∎geeignete Erhebungsdesigns auswählen und Erhebungsmethoden bestimmen,

∎die Erhebungsarbeiten effizient und flüssig in den Bildungsalltag einbetten,

∎Auswertungs- und Bewertungsarbeiten konzipieren und abstimmen,

∎Evaluationsberichte auf die Adressierten zeitlich und inhaltlich abstimmen,

∎die effektive Nutzung der Evaluation und ihrer Ergebnisse vorbereiten

∎sowie Voraussetzungen für eine Evaluation der Evaluation – die sogenannte Meta-Evaluation – schaffen.

Die grundlegenden Kompetenzen der Datenerhebung – etwa in Bezug auf die drei Hauptgruppen Inhaltsanalyse, Beobachtung und Befragung – müssen Sie entweder bereits aus anderen Studien mitbringen oder durch Bearbeitung von einschlägigen Lehrbüchern zu empirischen Methoden evtl. in Kombination mit entsprechenden Studienangeboten erwerben. Gleiches gilt für die qualitativen und quantitativen Auswertungsverfahren. In den entsprechenden Kapiteln dieses Buches machen wir Literaturempfehlungen, welche durch Internetquellen ergänzt werden.

Es empfiehlt sich, das Buch von vorne nach hinten durchzuarbeiten. Das Kapitel 1 enthält eine kleine Fallbeschreibung dazu, welche Herausforderungen sich schon ganz zu Beginn der Evaluation einer Bildungsmaßnahme stellen. Das Beispiel ist bewusst einfach gewählt. Dennoch entfaltet sich in seinen fiktiven Dialogen bereits die Komplexität, deren Bewältigung auch für erfahrene Evaluierende immer wieder eine große Herausforderung darstellt. In vielen der über 40 Beispielkästen der nachfolgenden Kapitel wird auf dieses Eingangsszenario zurückgegriffen.

Die folgenden Kapitel 2–13 führen in die Methodologie und Fachsprache der Evaluation ein. Vielfach wird in späteren Kapiteln das Wissen der vorangehenden vorausgesetzt. Eine Besonderheit besteht darin, dass alle Fachbegriffe nach bestimmten Regeln definiert sind und sie bei jeder Verwendung im Buch stets dieselbe Bedeutung haben. Sie finden die Begriffserklärungen im angehängten Glossar, das – wie einige andere im Literaturverzeichnis aufgeführte aktuelle Publikationen – auf dem noch umfangreicheren Online-Glossar des Evaluationsinstituts Univation basiert (vgl. Schobert, Beywl & Niestroj, 2015, im Erscheinen), welches unter http://eval-wiki.org/glossar/Eval-Wiki:_Glossar_der_Evaluation verfügbar ist.

Die meisten Kapitel enthalten Übungsaufgaben. Diese ermöglichen es, Ziele unterschiedlicher Anspruchsniveaus zu verfolgen, von der Erarbeitung des Begriffsverständnisses über die Anwendung von Wissen auf vorgegebene Fallbeispiele bis hin zum Transfer auf reale Praxisbeispiele aus den Bildungsfeldern, in denen Sie tätig sind. Im Anhang des Buches finden Sie passende Musterlösungen. Für Autodidakten empfiehlt es sich, alle Übungsaufgaben durchzuarbeiten. Wenn Sie in Lerngruppen arbeiten, versuchen Sie dies gemeinsam auch bei schwierigen Übungsaufgaben z. B. des Kapitels 7. Wenn Sie an einer Präsenzveranstaltung teilnehmen, in der Sie von Evaluationsexpertinnen und -experten begleitet werden, ist auf die Bearbeitung der Übungsaufgaben eventuell zu verzichten, da sie dann bei der Anwendung des Wissens und dem Transfer ins Praxisfeld direkt unterstützt werden können.

Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum leichteren Verständnis haben wir diese sinngemäß ins Deutsche übersetzt und die übersetzten Textteile in den Text integriert.

Sollten Sie bei der Lektüre des Buches auf Fehler oder unklare Passagen stoßen, schreiben Sie uns bitte eine E-Mail an: [email protected]

Die Entstehung der Texte in diesem Buch geht teils zurück bis in die Mitte der 1990er-Jahre. Im Modellprogramm «Selbstevaluation in der Kinder- und Jugendhilfe» im Rahmen des Bundesjugendplans (D) fanden erste mehrwöchige Kurse statt. Michael Patton und Bob Stake, die nachfolgend mehrfach zitiert werden, führten damals einige Kurse durch, von deren Aufbau und Materialien sich Spuren auch noch in diesem Buch finden.

An der langen Entstehungsgeschichte des vorliegenden Buches haben viele Personen mitgewirkt. Seine ersten Weiterbildungsveranstaltungen zu Evaluation konnte Wolfgang Beywl Ende der 1990er-Jahre in der «Werkstatt für Demokratie und Öffentlichkeit» in Bonn (D) sowie der Jugendakademie Vlotho (D) durchführen; es folgte eine Serie am Bundesinstitut für Erwachsenenbildung in Strobl (A), bevor 2002 die Kurse im Rahmen des heutigen Master-Programms «Evaluation» am Zentrum für universitäre Weiterbildung der Universität Bern (CH) begannen. Er lehrt seit 2011 im Master Educational Sciences (Universität Basel und Pädagogische Hochschule FHNW) und startete 2012 den Zertifikatslehrgang «Bildungsevaluation» an der PH FHNW am Campus Brugg-Windisch (CH). Lars Balzer begann 2001 mit Evaluationskursen an der Universität Koblenz-Landau (D). Weitere an der Pädagogischen Hochschule Heidelberg (D), am Eidgenössischen Hochschulinstitut für Berufsbildung (CH), an der Universität Bern (CH), an der Fachhochschule Nordwestschweiz (CH), an der Berner Fachhochschule (CH), am Institut de formation continue (LUX) sowie an der Universität Johannesburg (SA) folgten. Gemeinsam haben beide Autoren im Rahmen zweier Studiengangkohorten des «Masters in Management und Coaching im Bildungs- und Sozialwesen» der Universität Luxemburg in die Evaluation des Bildungs- und Sozialbereichs eingeführt, und dies – wie schon in einigen Fortbildungen zuvor – konsequent mithilfe der Vorgängerversionen des Buches, das Sie nun in der Hand halten. Von den Hunderten Teilnehmenden dieser Evaluationsweiterbildungen haben uns zahlreiche Personen wertvolle Rückmeldungen gegeben, uns auf Lücken und Schwächen der Erklärungen und der Übungsaufgaben hingewiesen. Es war ein Privileg, mit diesen zusammenzuarbeiten. Viele unserer Kolleginnen und Kollegen aus dem Eidgenössischen Hochschulinstitut für Berufsbildung EHB IFFP IUFFP, dem Institut Weiterbildung und Beratung der Pädagogischen Hochschule FHNW sowie von Univation in Köln haben uns ebenfalls inspiriert, direkte Rückmeldungen oder auch nur ganz nebenbei wichtige Hinweise gegeben, von denen hoffentlich auch Sie als Leserinnen und Leser für Ihre Evaluationspraxis profitieren können.

Wolfgang Beywl und Lars Balzer, Bern und Zollikofen, im Mai 2015

2 Was ist Evaluation?

Lernziele von Kapitel 2:

∎Den Begriff der wissenschaftlichen Evaluation definieren können

∎Evaluation von Forschung abgrenzen können

∎Werte und Bewertung als Besonderheiten von Evaluation an Beispielen erläutern können

Auf dem Weg zur Definition

Auf die Frage, was Evaluation genau ist, gibt es keine einfache Antwort. Nach wie vor dürfte die These von Franklin und Thrasher (1976) gelten, wonach es so viele Evaluationsdefinitionen wie Evaluierende gibt[1]: «To say that there are as many definitions as there are evaluators is not too far from accurate» (S. 20).

Evaluation wird nach Glass und Ellet (1980, S. 211) sehr unterschiedlich definiert und abgegrenzt – und das gilt heute noch ebenso wie damals. Viele theoretische wie auch praktische Aktivitäten werden darunter subsumiert, ohne dass ein allgemeingültiges Evaluationsparadigma vorherrschen würde: «Evaluation is a set of theoretical and practical activities without a widely accepted paradigm.» Und je nach Zuordnung zu einer bestimmten wissenschaftlichen Disziplin wird der Begriff zudem unterschiedlich akzentuiert (Götz, 1998, S. 20). Erschwerend kommt hinzu, dass «allzu leicht […] heute auch triviale Formen der Rückmeldung zu Evaluationen» werden (Böttcher, Kerlen, Maats, Schwab & Sheikh, 2014, S. 7).

Diese beinahe beliebige Möglichkeit der Inanspruchnahme macht Evaluation für viele attraktiv, bietet aber auch schier unüberschaubare Ansatzpunkte für Kritik und Polemik. Unterschiedliche Ausdrücke und Aussagen werden in diesem Zusammenhang verwendet und diskutiert, wie «Evaluation als modernes Ritual» (Schwarz, 2006), Evaluation als notwendiges Übel (evaluation as a «necessary evil», Sullivan, 2011), «Evaluations Mania» (Frey, 2007a), Evaluation als sich ep­idemisch ausbreitende, neue Krankheit, die «Evaluitis» (Frey, 2007b, 2008), und «von der Inquisition zur Evaluation» (Hornbostel, 2008). Es werden sogar Warnungen ausgesprochen: «Vorsicht vor Evaluationismus!» (Kappler, 2010). Oder ist es gar so, dass wir uns zu Tode evaluieren, wie Preußler (2008) fragt – oder dass ein «Evaluationsnotstand» herrscht (Niedermair, 2012, S. 8)?

Für einen differenzierten Umgang mit diesem vermeintlichen Unwort ist es notwendig, einige Definitionen vorzustellen und eine Arbeitsdefinition für dieses Buch zu formulieren.

Wortstamm

Auf der Suche nach einer adäquaten Definition gibt der Wortstamm einen ersten Hinweis. Auch wenn eine unmittelbare Herleitung aus dem Lateinischen nicht angebracht ist (entgegen der weitverbreiteten Meinung existiert das Wort «evaluare» im Lateinischen nicht), legt das Lateinlexikon erste Spuren. Wurzeln finden sich nämlich im lateinischen Wort «valor», das im Deutschen so viel bedeutet wie «bei Kräften sein», «wert sein» oder «gültig sein». Man beachte hierbei die eindeutig positive Konnotation.

Den etymologischen Herleitungen des Begriffes von Karbach (1998) folgend, entwickelte sich daraus zunächst das französische «valoir», woraus die Substantivierung «valeur» (im Sinne vom «prix», also auch Wert) entstand. Daraus wurde wiederum das Verb «évaluer» abgeleitet und von diesem das Substantiv «évaluation» («Schätzung», «Ermittlung» oder «Wertbestimmung») gebildet.

Die daraus hervorgegangenen englischen Wörter «evaluate» («bewerten») sowie «evaluation» («Einschätzung», «Auswertung») bilden die Grundlage für die heute im Deutschen gebräuchliche Form des Begriffes.

Eine erste, vom Wortstamm ausgehende Umschreibung von Evaluation lautet also:

«Bestimmung des Wertes einer Sache»

(Bedeutung nach Wortstamm).

Folgt man dieser Bestimmung, so ist Evaluation – zumindest im französischen oder angelsächsischen Sprachraum – eine Bezeichnung für alltägliches menschliches Handeln. Denkend oder sprechend wird auf Basis eines Sinneseindruckes, z. B. des Blicks aus dem Fenster oder der herausgehaltenen Hand, ein Urteil – hier: über das Wetter – abgegeben. Es handelt sich um eine einfache Alltagsbewertung. Obwohl es sich auch in der deutschen Alltagssprache – z. B. in Tageszeitungen, Fernsehinterviews oder Talkrunden – seit einigen Jahren zu etablieren begonnen hat, solche subjektiven Ad-hoc-Bewertungen als «Evaluationen» zu bezeichnen, plädieren wir dafür, «Evaluation» und «evaluieren» für das wissenschaftlich abgestützte, systematische Beschreiben und Bewerten zu reservieren. Was darunter zu verstehen ist, wird nachfolgend präzisiert.

2.1 Wissenschaftliche Evaluation statt ­Alltags­bewertung

Kromrey (2001) unterscheidet den alltäglichen und den wissenschaftlichen Sprachgebrauch von Evaluation danach, was von wem wie und nach welchen Kriterien bewertet wird. Auf dem Weg zu unserer Definition von Evaluation für dieses Buch gilt es nun, diese und andere relevante Dimensionen zu beschreiben.

Wer oder was? – Der Evaluationsgegenstand

Zunächst gilt es zu klären, wer oder was evaluiert werden soll. Dies wird als Evaluationsgegenstand bezeichnet.

Die Menge an potenziellen Evaluationsgegenständen ist beinahe unüberschaubar. Wottawa und Thierau (2003, S. 59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und haben der Evaluation damit ein bereits sehr breites Tätigkeitsfeld eröffnet. Scriven (1981, S. 4) weitet dieses noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem möglichen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt (1990, S. 15) bringen es auf den Punkt: «Alles kann evaluiert werden.»

Wie? – Die Evaluationsmethoden

Entscheidend für die Abgrenzung zur Alltagsbewertung ist, dass Evaluationen zur Bestimmung des Wertes (Güte und Tauglichkeit) eines Evaluationsgegenstandes systematisch, umfassend und objektiv durchgeführt werden sollen, was folgende Definitionen festhalten:

«Evaluation: The systematic investigation of the worth or merit of an object»

(Joint Committee on Standards for Educational Evaluation, 1994, S. 3).

«Good evaluation is the systematic, comprehensive, objective determination of ­merit or worth»

(Scriven, 1974, S. 23).

Andere Autorinnen und Autoren gehen einen Schritt weiter und fordern explizit empirische Forschungsmethoden:

«Evaluation: Überprüfung der Wirksamkeit einer Intervention […] mit den Mitteln der empirischen Forschung»

(Bortz & Döring, 2006, S. 726).

Evaluation und Evaluationsforschung

In den 1960er-Jahren (z. B. Suchman, 1967, S. 7) gab es Positionen, welche die strikt akademisch-wissenschaftliche Vorgehensweise als «Evaluationsforschung» von einem weniger systematischen Vorgehen als «Evaluation» abgrenzten. Auch heutzutage ist dieses Begriffsverständnis anzutreffen (z. B. Gollwitzer & Jäger, 2014). In methodisch orientierten Texten wird manchmal auch ausschließlich mit dem Begriff «Evaluationsforschung» gearbeitet (z. B. Häder, 2010).

Manches spricht gegen diese Art der Begriffsverwendung. So legen semantisch ähnliche Wortkonstruktionen wie Sozialforschung, Genforschung oder Bildungsforschung keine soziale, genetische oder gebildete Forschung nahe, sondern eine Forschung über Soziales, Gene oder Bildung (vgl. Beywl, 1991; Hense, 2006, S. 26).

Entsprechend ist die Differenzierung Evaluation/Evaluationsforschung im beschriebenen Sinn aktuell rückläufig, wie an den letzten Auflagen des international meist verkauften Lehrbuchs zur Evaluation exemplarisch aufgezeigt werden kann. So wird in der fünften Auflage aus dem Jahr 1993 Evaluationsforschung als eine systematische Anwendung von sozialwissenschaftlichen Verfahren zur Einschätzung/Bewertung der Konzeption, Gestaltung, Umsetzung und Nützlichkeit sozialer Interventionsprogramme definiert:

«Evaluation research is the systematic application of social research procedures for assessing the conceptualization, design, implementation, and utility of social intervention programs»

(Rossi & Freeman, 1993, S. 5).

Demgegenüber lassen die Autoren seit der sechsten Auflage den Forschungszusatz «research» bei ihren zentralen Definitionen weg und definieren Programmevaluation als den Einsatz sozialwissenschaftlicher Verfahren zur systematischen Untersuchung der Wirksamkeit sozialer Interventionsprogramme:

«Program evaluation is the use of social research procedures to systematically ­investigate the effectiveness of social intervention programs […]»

(Rossi, Freeman & Lipsey, 1999, S. 4).

In der aktuellen siebten Auflage schreiben die Autoren explizit, dass die Begriffe Evaluation, Programmevaluation und Evaluationsforschung beliebig austauschbar verwendet werden: «Note that throughout this book we use the terms evaluation, program evaluation, and evaluation research interchangeably» (Rossi, Lipsey & Freeman, 2004, S. 6).

Auch andernorts ist diese Gleichsetzung zu beobachten: «Furthermore, I will make no distinction between evaluation research and evaluation» (Vedung, 2004, S. 112). Ähnliches wird ebenfalls in vielen deutschsprachigen Lehrtexten zum Ausdruck gebracht. So schreibt Stockmann (2004, S. 13): «Die Begriffe ›Evaluierung‹, ›Evaluation‹ und ›Evaluationsforschung‹ werden hier synonym verwendet» und Döring (2014, S. 167) beginnt ihren Text mit den Worten «Mit ›Evaluationsforschung‹, ›wissenschaftlicher Evaluation‹ oder kurz ›Evaluation‹ […]».

Was Ihnen beim Lesen dieses Textes vielleicht als Wortklauberei erscheint, markiert einen tiefen Umbruch im Verständnis von Evaluation. Dieser nahm Ende der 1960er-Jahre im Bildungsbereich in den USA seinen Anfang und hat dazu geführt, dass sich Evaluation zu einem eigenständigen, von der Alltagspraxis, von der Forschung und von weiteren Verfahren unterscheidbaren Ansatz der wissenschaftlichen Beschreibung und Bewertung pädagogischer und anderer komplexer Gegenstände entwickelt hat. Dies geht mit eigenen Lehrbüchern, Fachzeitschriften, Berufsverbänden, Ausbildungsgängen sowie berufsethischen Grundlagen einher. Einen Ausschnitt davon lernen Sie in diesem Buch kennen.

Im vorliegenden Buch verwenden wir den Terminus «Evaluation» und grenzen ihn von «Forschung» ab (➞ Kapitel 2.2). Den Begriff «Evaluationsforschung» reservieren wir für Forschung über Bedingungen, Praxis, Methoden, Nutzung und Auswirkungen von Evaluation.

Wer? – Die Evaluierenden

Wodurch genau sich das systematische, methodische Vorgehen einer Evaluation auszeichnet, ist Kern dieses Buches. Die hierfür notwendigen Kompetenzen gehen über eine korrekte Anwendung der empirischen Forschungsmethoden deutlich hinaus und schließen auch persönliche und soziale Qualifikationen ein, die sich Evaluierende aneignen müssen, sodass Evaluation etwas mehr ist als nur Sozialwissenschaft (Scriven, 2006).

Im Gegensatz zur Alltagsevaluation erfordert wissenschaftliche Evaluation spezielle Kenntnisse und Fertigkeiten: «Ein weiteres Unterscheidungsmerkmal besteht darin, dass wissenschaftliche Evaluationen von ›Experten‹ durchgeführt werden» (Stockmann, 2004, S. 14), die für die Anforderungen besonders ausgebildet sind. Die DeGEval – Gesellschaft für Evaluation e. V. hat Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008a, S. 7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur Durchführung empirischer Untersuchungen werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S. 333–335). Eine Liste der Schweizerischen Evaluationsgesellschaft (2012), die an Evaluationsteams und nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, formuliert ähnliche Anforderungen: Grundkenntnisse (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodische Kenntnisse (Konzepte und Designs von Evaluationen, Methoden und Instrumenten der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie soziale und diverse persönliche Kompetenzen.

Übungsaufgabe 1:

«Merkmale wissenschaftlicher Evaluation»

Lösen Sie nun die Übungsaufgabe 1: Stellen Sie fest, bei welchen der folgenden Vorgehensweisen es sich zumindest näherungsweise um wissenschaftliche Evaluation handelt, also nicht um Alltagsevaluation, und begründen Sie Ihre Zuordnung kurz. Zu bewerten ist in diesem Fall ein Kurs, in dem Informatikstudierende lernen sollen, ihre Projekte einem Fachpublikum vorzustellen.

a)Die zwanzigminütigen Präsentationen der Studierenden werden von drei verschiedenen Beobachtenden entlang eines einheitlichen, strukturierten Beobachtungsschemas protokolliert. Nachfolgend werden die festgehaltenen Beobachtungsdaten miteinander verglichen. Als Zusammenfassung werden für jede Beobachtungsdimension ein numerisch abgestuftes Urteil und eine kurze Begründung angegeben.

b)Ein besonders erfahrener Projektmanager eines mittelgroßen Softwareanbieters hält zu jeder Studierendenpräsentation seine persönlichen Eindrücke in Stichworten fest. Er notiert hauptsächlich aussagekräftige Adjektive (z. B. «exzellent», «unvollständig»), um die Besonderheiten der jeweiligen Präsentationen zu kennzeichnen.

c)Die PowerPoint-Präsentationen werden als Dokumente nach bestimmten Kriterien ausgewertet, z. B. Strukturiertheit des Aufbaus der gesamten Präsentation, erkennbarer Fokus der Präsentation, deutliche Botschaften an das Zielpublikum, korrekte Verwendung von Fachbegriffen. Falls möglich werden Zitate als Ankerbeispiele festgehalten. Diese werden als eine Basis für die Bestimmung des Lernerfolgs der Präsentierenden genutzt.

d)Die zwanzigminütigen Präsentationen werden von den Zuschauenden bewertet. Dabei wird jeder/jede gefragt, wie es ihm/ihr gefallen habe, was es zu verbessern gebe und welche Anmerkungen er/sie außerdem habe.

e)Zu jeder der zwanzigminütigen Präsentationen werden an die Zuschauenden Fragebogen ausgeteilt, die inhaltliche Dimensionen wie «inhaltliche Angemessenheit», «Verständlichkeit» oder «Präsentationstechnik» behandeln, bestehend aus je fünf Items mit sechs Antwortalternativen von «trifft gar nicht zu» bis «trifft voll und ganz zu». Die zusammengefassten Daten aus den eingesammelten Fragebogen werden für eine Bewertung der Präsentation genutzt.

2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-)Forschung

Wofür? –Die Evaluationszwecke

Bei aller Ähnlichkeit und auch angesichts gleicher Wurzeln unterscheidet sich Evaluation substanziell in ihrer typischen Zwecksetzung von Forschung.

Patton (2008, S. 40) bringt dies auf den Punkt. Forschung suche nach Wissen und Wahrheit, nützliche Evaluation unterstütze praktisches Handeln: «Research aims to produce knowledge and truth. Useful evaluation supports action.»

Das zentrale Interesse von Forschung besteht darin, Wissen («die Wahrheit») über bestimmte Sachverhalte zu generieren und darauf aufbauend Theorien aufzustellen und zu testen. Zweck davon ist, erzielte Ergebnisse im Hinblick auf möglichst unterschiedliche Personengruppen, Zeitpunkte, Situationen und geografische Räume zu verallgemeinern. Grundlagenforschung kann praktisch nützlich sein, aber ihre Nutzung ist zufällig und ungeplant: «Basic research may be useful, but its use is accidental and unplanned» (Vedung, 2004, S. 118).

Bei Evaluationen geht es hingegen selten um Theoriebildung. Zumeist steht das durch Informationen gesicherte Handeln in der Praxis im Vordergrund. Die Ergebnisse sollen binnen kurzer Frist handlungsrelevant und verwertbar sein:

«Zur Evaluation wird empirische Wissenschaft […] durch ein spezifisches Erkenntnis- und Verwertungsinteresse»

(Kromrey, 2001, S. 112).

Generalisierbarkeit von Ergebnissen spielt bei Evaluationen selten eine Rolle, denn Nutzen soll für konkrete Maßnahmen oder Projekte erzielt werden. Evaluation kann analog zur Erwachsenenpädagogik als «Handlungswissenschaft» bezeichnet werden.

SCHLÜSSELAUSSAGE

Forschung im Bereich Bildung will möglichst verallgemeinerbare Erkenntnisse über Lernendentypen, Mechanismen des Lernens, Zusammenhänge von Bildungsinstitutionen, Lernarrangements und Lernmethoden, Strategien der Bildungsfinanzierung etc. erzielen, will diese auf Theorien und Begriffssysteme abstützen und gesicherte verallgemeinerte Erkenntnis in der wissenschaftlichen Gemeinschaft der Bildungsforschenden vorantreiben.

Bildungsevaluation will für konkrete, raumzeitlich meist begrenzte Bildungsprogramme und -projekte, -studiengänge oder -kurse bestimmter Bildungsanbieter oder -träger und auf deren Informationsbedarfe zeitgenau abgestimmte Daten, Schlussfolgerungen und Bewertungen bereitstellen, sodass jene Akteure Entscheidungen treffen, Rechenschaft ablegen oder Optimierungsschritte einleiten können.

Im zweiten Fall ist präzise vorausgedacht, wozu und wann sowie über welche Kommunikationskanäle und Schnittstellen die Ergebnisse der Evaluation genutzt werden sollen: Leviton und Hughes (1981, S. 528) nennen diese Art der vorgesehenen Nutzung «instrumentell». Wir werden an späterer Stelle nochmals ausführlich auf Evaluationszwecke zu sprechen kommen (➞ Kapitel 6.1).

Evaluation am Beispiel des Bildungsbereiches ist die Sammlung und Nutzung von Informationen, um über ein Bildungsprogramm Entscheidungen zu treffen, wie einer der Pioniere der Bildungsevaluation schreibt:

«[…] collection and use of information to make decisions about an educational program»

(Cronbach, 1963, S. 672).

Dass die Nutzung von Evaluationsergebnissen zwar theoretisch gefordert, aber praktisch nicht immer vollzogen wird, unterstreicht Patton, indem er der allgemeinen Programmevaluation ein Konzept gegenüberstellt, welches einen vorgesehenen Evaluationsnutzen für vorgesehene Nutzende zugrunde legt:

«Utilization-focused program evaluation (as opposed to program evaluation in general) is evaluation done for and with specific, intended primary users for specific, intended uses»

(Patton, 2008, S. 37).

Auf welcher Basis? – Die Evaluationskriterien

Das nachfolgende Zitat der inzwischen verstorbenen Carol Weiss, die zu den herausragenden Evaluationstheoretikerinnen des letzten Jahrhunderts zählt, betont die Wichtigkeit des Bewertens auf Basis von Bewertungskriterien. Weiss beschreibt Evaluation als eine systematische Beurteilung der Durchführung und/oder der Resultate eines Programms oder einer Politik auf der Basis einer Reihe von expliziten oder impliziten Normen – und dies als Mittel zur Förderung der Verbesserung des Programms oder der Politik:

«Evaluation is the systematic assessment of the operation and/or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy»

(C. H. Weiss, 1998a, S. 4).

Indem Evaluation als nicht direkt zu einer Bewertung führend, sondern zunächst als die Identifikation, Klärung und Anwendung von belastbaren Kriterien definiert wird, um daraufhin den Wert (Güte und Tauglichkeit) eines Gegenstandes in Bezug auf diese Kriterien zu bestimmen, werden die Bewertungskriterien stark betont:

«[…] we define evaluation as the identification, clarification, and application of defensible criteria to determine an evaluations object’s value (worth and merit) in relation to these criteria»

(Fitzpatrick, Sanders & Worthen, 2012, S. 7).

Im Vergleich von Evaluation und Forschung ergibt sich darüber hinaus ein für die Praxis höchst relevanter, geradezu dramatischer Punkt: «Grundlagenforschung darf sich ›irren‹. Damit ist gemeint: Hypothesen, die als Ausgangspunkt gewählt werden, dürfen sich im Verlauf der Forschung als falsch erweisen. […] Deren informationsreiches Scheitern ist nicht selten der Startpunkt für grundlegende Erkenntnisse, die eine neue Forschungslinie begründen» (Kromrey, 2003, S. 98).

Eine solche, die Fehlbarkeit preisende Haltung gefährdet hingegen Legitimität und Akzeptanz von Evaluation: «Bei der Konzipierung des […] Designs ist große Sorgfalt darauf zu verwenden, dass die zugrunde liegenden Annahmen und Hypothesen einen hohen Grad empirischer Bewährung aufweisen und dass der Prozess der Gewinnung, Auswertung und Interpretation aller Informationen methodisch abgesichert und mit begleitender Qualitätskontrolle abläuft. Jede falsche Schlussfolgerung im Verwertungskontext, die wegen fehlerhafter […] Daten gezogen wird, hat Konsequenzen für einen nicht absehbaren Kreis von Betroffenen» (Kromrey, 2003, S. 98).

Wenn also grundlegende Skepsis, Misstrauen gegenüber jedem sicheren Befund sowie ständiges und wiederholendes Infragestellen einer Vorannahme hohe Tugenden der Grundlagenforschenden sind (gegen die allerdings nicht selten in unethischer Weise verstoßen wird), würde eine solche Haltung – zumindest, wenn in übertriebenem Maße praktiziert – die Akzeptanz und das wirtschaftliche Überleben eines Evaluationsbüros gefährden. Hier deutet sich ein erstes der vielen Dilemmata an, mit denen in Evaluationen umgegangen werden muss.

Für die angemessene Planung und Durchführung einer Untersuchung ist es unverzichtbar, eine klare Priorität auf Forschung oder Evaluation zu setzen: «Eine (unklare) Mischung schadet zumeist in beide Richtungen» (Reischmann, 2006, S. 30).

BEISPIEL 1

Angenommen, Bestandteil eines Weiterbildungskurses für Informatiker und Informatikerinnen ist, die Selbstlernfähigkeit der Teilnehmenden zu stärken. Dieses Ziel findet sich heute in nahezu allen Lernzielkatalogen, von der beruflichen Erstausbildung bis zur wissenschaftlichen Weiterbildung. Selbstlernfähigkeit ist immer gebunden an bestimmte Zielgruppen, Inhalte und methodische Vorgehensweisen, die Lernende einüben, transferieren und schließlich allein oder in Gruppen in Transferkontexten praktizieren sollen. Im Rahmen eines Evaluationsauftrages sollen Sie nun ein Instrument entwickeln, mit dem gemessen wird, in welchem Maße der Kurs dazu beigetragen hat, die Selbstlernfähigkeit bei der Zielgruppe zu erhöhen. Gehen Sie als skeptische Wissenschaftlerin an diese Fragestellung heran, so wird Ihnen schnell auffallen, dass Sie eine Eingangsmessung durchführen müssen, dass bei Ihrer Zielgruppe auch Reifungsprozesse stattfinden können, die nichts mit dem Kurs zu tun haben, dass es externe Variablen (Moderatorvariablen) gibt, die einen positiven (oder negativen) Einfluss auf die Selbstlernfähigkeit haben (z. B. das sich verändernde gesellschaftliche Klima oder der sich während der Kursdauer verändernde Arbeitsmarktdruck. Sie werden feststellen, dass es ganz unterschiedliche theoretische Konzepte der Selbstlernfähigkeit gibt, dass es hier Widersprüche in den theoretischen Annahmen gibt, aber auch in Bezug auf die zentralen unabhängigen Variablen oder die Verknüpfungen, die zentralen Mechanismen etc. Sie werden feststellen, dass man zur Entwicklung eines soliden Instruments wahrscheinlich einige Tausend Seiten Grundlagenliteratur auswerten und sich eventuell bei Fachleuten kundig machen müsste, welche vorliegenden Instrumente man nutzen könnte, dass Sie einige Vortests durchführen müssten, um jene an die spezifische Zielgruppe anzupassen, dass Sie eigentlich zumindest ein quasiexperimentelles Design durchführen müssten (also bei einem anderen Kurs ohne Selbstlerntraining auch eine Vorher-nachher-Messung durchführen müssten), besser aber ein experimentelles Design, also die Zuweisung der Lernenden nach Zufall zu einer Maßnahmen- und einer Kontrollgruppe etc. Hätten Sie dann nachher ein Ergebnis vorliegen, sei es nun, dass es einen Unterschied gibt zwischen der Maßnahmen- und der Kontrollgruppe oder dass es keinen gibt, so müssten Sie – je nach Größe des Unterschiedes – im Bericht eventuell einräumen, dass jener doch zufällig durch die Stichprobenziehung zustande gekommen sein könnte etc. Würde man Genauigkeit und Aussagekraft derart maximieren, ginge dies auf Kosten der Nützlichkeit, eventuell auch der Realisierbarkeit der Evaluation, denn Ihre Evaluation würde die Kosten des eigentlichen Programms möglicherweise um ein Vielfaches übertreffen, und die Ergebnisse lägen vielleicht erst zu einem Zeitpunkt vor, zu dem die Entscheidungen über das Programm längst gefallen sind.

Auf wessen Initiative – autonom oder beauftragt?

Der Weg zu Fragestellungen ist bei Evaluation und Forschung oft sehr unterschiedlich: In der Forschung bestimmen – zumindest vom Ideal her – die Forschenden die Fragestellungen und die wissenschaftlichen Hypothesen. Auf der Suche nach Erkenntnis sollen sie allein sich selbst und den Ansprüchen ihrer Disziplin gegenüber verantwortlich sein. In der Ausrichtung von Forschungsthemen sind sie dabei nicht selten intuitiv, durch biografische oder zeitgeschichtliche Besonderheiten geleitet. Friedrichs (1973, S. 50–55) nennt dies in seiner, für die sozial- und erziehungswissenschaftliche Forschung prägenden Dreigliederung den «Entdeckungszusammenhang». Diesem widmen die Forschenden relativ wenig Aufmerksamkeit ebenso wie dem «Verwertungszusammenhang». Für sie zentral ist hingegen der «Begründungszusammenhang» mit seinen Theorien, Hypothesen, Begriffen und dem gesamten forschungsmethodischen Inventar. Was in der Forschung eine nebensächliche Aufgabe ist – die genaue Festlegung des Evaluationsthemas inklusive der Fragestellungen –, ist in der Evaluation die erste Kernleistung, für die genügend Ressourcen zur Verfügung stehen müssen.

Übungsaufgabe 2:

«Risiken pragmatischer Evaluationen»

Lösen Sie nun die Übungsaufgabe 2

a)Notieren Sie Gefahren und Risiken, wenn Sie sich – z. B. wegen Zeitknappheit – von wissenschaftlichen Anforderungen an Evaluation lösen und auf «Evaluationen» ausweichen, die allein pragmatischen Überlegungen folgen.

b)Machen Sie einige Stichworte dazu, wie Sie sich – in Ihrer aktuellen oder künftigen Arbeitssituation – gegen solche Risiken schützen können.

Bedeutung des Kontextes

Bei Evaluationen läuft es oft anders ab: Sie sind zumeist Auftragsarbeiten, und ihre Zwecke und Fragestellungen sind zumindest grob vorgegeben. Sie werden nicht durch die Evaluierenden in eigener Regie nach ihrer Neugier und Kreativität konzipiert, sondern in enger Abstimmung mit den Auftraggebenden und weiteren Beteiligten aus dem Bereich des Evaluationsgegenstandes. Evaluationsvorhaben finden in einem kontrollierten Rahmen als Auftrag von Entscheidungsträgerinnen und -trägern statt und sind oft in politische Settings eingebunden. Mertens hebt als Besonderheit von Evaluation hervor, dass in ihr Politik und Wissenschaft von Natur aus miteinander verflochten seien. Evaluationen werden zur Bestimmung des Wertes und der Tauglichkeit öffentlicher Programme durchgeführt, die wiederum selbst Antworten auf – durch politische Entscheidungen bevorzugte – individuelle und gemeinschaftliche Bedürfnisse sind: «what distinguishes evaluation from other forms of social inquiry is its political inherency; that is, in evaluation, politics and science are inherently intertwined. Evaluations are conducted on the merit or worth of programs in the public domain, which are themselves responses to prioritized individual and community needs that resulted from political decisions» (Mertens, 1998, S. 220). Auch die nachfolgend geschilderte Möglichkeit, eine Vielzahl an Perspektiven auf den Evaluationsgegenstand einzunehmen, indem man Beteiligte und Betroffene einbezieht, kann der Vereinseitigung einer Evaluation vorbeugen, deren Vermeidung aber nicht garantieren.

Aktive Stakeholder als Partner

Beteiligte und Betroffene – Stakeholder – im Bildungsbereich sind z. B. Bildungsverantwortliche, Kursleitende, Bildungsteilnehmende und ihre Angehörigen/Vorgesetzten. Ihnen soll ein hoher Einfluss auf die Gegenstandsbestimmung und Themenfindung in der Evaluation eingeräumt werden. Im Vergleich zu deren Informationsinteressen spielen diejenigen der Evaluierenden keine oder höchstens eine untergeordnete Rolle.

Wie verwenden? – Nutzung der Evaluationsergebnisse

Bereits in der ersten Evaluationsphase wird in den Blick genommen, wer wann was konkret mit den erzeugten Evaluationsergebnissen tun soll – Pattons vorgesehener Evaluationsnutzen für vorgesehene Nutzende: «intended use for intended users» (2008, S. 59). Die Ergebnisverwendung wird vorbereitet und eingeleitet in Abstimmung zwischen Evaluierenden und Akteuren aus dem pädagogischen Feld.

Die darauffolgende Phase der Evaluation ist die Domäne der Evaluationsspezialistinnen und -spezialisten. Hier erfolgen die Auswahl der passenden Erhebungs- und Auswertungsmethoden, die Entwicklung und der Einsatz von empirischen Instrumenten, die Anwendung qualitativer und quantitativer Auswertungstechniken etc. Allerdings handeln die Evaluierenden auch hier nicht abgeschottet und isoliert von den Beteiligten und Betroffenen. Gelingende Nutzung von Evaluationsergebnissen setzt voraus, dass die Datengebenden und späteren Ergebnisnutzenden zumindest in groben Zügen verstehen, wie die Daten entstehen, und dass Transparenz und Nachvollziehbarkeit geschaffen werden.

Wertfreiheit versus Bewerten als zentrale Aufgabe

Was zunächst – in seiner Verbindung mit dem französischen Wortstamm «évaluer» – unproblematisch wirkt, erweist sich in der Konfrontation mit dem klassischen Verständnis von Forschung, wie es in der verbreiteten analytisch-nomologischen Wissenschaftstheorie vorliegt, als höchst problematisch: Hier beschränkt sich das «Wissenschaftliche» auf den Begründungszusammenhang, also auf Theorie und daran anschließende Empirie. Werturteile sind in diesem Verständnis aus dem Kern des Forschungsprozesses fernzuhalten; Letzterer verläuft objektiviert, ganz unabhängig von Vorlieben, Interessen sowie sozialen oder moralischen Überzeugungen der Forschenden und weiterer Mitglieder des Forschungsfeldes. Werte spielen nur im Entstehungskontext – also: «Was wird geforscht und welche Forschung wird gefördert?» – und dem Verwertungskontext – «Wer macht mit Ergebnissen von Forschung was?» – eine Rolle. Für deren Behandlung hält Forschung keine systematischen Verfahren bereit, sie gelten im Forschungsprozess als unberührbar, bleiben folglich dem Spiel politisch-gesellschaftlicher Kräfte überlassen und werden dem Bereich wissenschaftsethischer Reflexion zugewiesen.

Wenn Evaluation darauf abzielt, Gegenstände der sozialen Realität zu bewerten (also sie als mehr oder weniger «gut» einzustufen), hierfür – bereits in der Phase der Gegenstandsbestimmung (Entstehungszusammenhang) – Kriterien festzulegen (z. B. Bildungsziele, Bildungsbedarfe, vermiedene unerwünschte Nebenfolgen, Kosten-Nutzen-Relationen, Gerechtigkeitsmaße bzw. eine Kombination aus diesen Kriterien) und im Verwertungszusammenhang dazu beizutragen, dass die erzeugten Evaluationsergebnisse in Richtung der zugrunde liegenden Werte genutzt werden, verstößt sie damit nicht diametral gegen Grundüberzeugungen wissenschaftlicher Forschung (vgl. ausführlich Kromrey, 2007a)?

Keine Evaluation ohne Bewertung!