Welche Evaluationsliteratur wird in der Schweiz empfohlen?

  • Autore: Lars Balzer
  • Categoria di articoli: Resoconti dell'attività
  • Citazione: Lars Balzer, Welche Evaluationsliteratur wird in der Schweiz empfohlen?, in: LeGes 29 (2018) 1
Il n'est pas facile de garder une vue d'ensemble de la théorie et de la pratique de l'évaluation, compte tenu du grand nombre de textes existants sur des aspects très différents de cette question. La contribution offre une aide à l’orientation, dans une liste de lectures recommandées présentées par des experts en évaluation, à l'intention de leurs collègues ou des nouvelles personnes intéressées par l'évaluation. Les textes les plus recommandés sont également brièvement décrits. (jp)

Inhaltsverzeichnis

1.

Hintergrund und Vorgehen ^

[Rz 1]

Im Rahmen meiner internationalen Studie zu Bedingungen erfolgreicher Evaluationsprojekte, über deren Ergebnisse an anderer Stelle berichtet werden wird, wurden die Teilnehmenden des deutschsprachigen Studienteils zum Abschluss der zugrunde liegenden Onlinebefragung gebeten, Literaturempfehlungen für Personen abzugeben, die entweder an praktischer Evaluationstätigkeit oder an Evaluationstheorie interessiert sind. Jede Person konnte maximal 6 Literaturangaben nennen, je 3 für Praxis oder Theorie.

[Rz 2]

109 Personen haben den Fragebogen zwischen Frühjahr und Herbst 2017 vollständig ausgefüllt und angegeben, dass sie (hauptsächlich) in der Schweiz leben. Von diesen wiederum sind 83 (76,1%) auch Mitglied in der Schweizerischen Evaluationsgesellschaft SEVAL.

[Rz 3]

Von den 109 Personen gaben 38 insgesamt 121 Literaturempfehlungen ab.

[Rz 4]

In der nachfolgenden Zusammenstellung sind alle Empfehlungen aufgeführt, die eindeutig zu einer zitierfähigen Literaturangabe zugeordnet werden konnten. Wurden bei einem Buch auch alte Auflagen genannt, so wurde die jeweils neuste in die Liste übernommen. Einige Empfehlungen konnten nicht eindeutig identifiziert werden, weswegen sie für die folgende Liste ebenso wenig berücksichtigt werden konnten wie Angaben von der Art «alle Bücher von Autor xy», «amerikanische Literatur», «diverse Publikationen aus Projekt yz» oder einfach nur Nennungen von Autorinnen und Autoren und von Projekten, zu denen keine Publikationen eindeutig zugeordnet werden konnten. Ebenso wurden reine Internetseiten ohne eine formale Aufarbeitung als zitierbare Publikation nicht aufgenommen.

[Rz 5]

Auf diese Art und Weise resultieren schlussendlich 108 Empfehlungen.

2.

Empfohlene Literatur ^

2.1.

Übersicht ^

[Rz 6]

Das Spektrum der Literaturliste ist sehr breit. Es finden sich politikfeldübergreifende Texte ebenso wie Texte mit konkretem Bezug zu einem Politikfeld (z. B. Bildung, Entwicklungszusammenarbeit), wenngleich bei näherer Betrachtung oft klar wird, dass die beschriebenen Konzepte zumeist auch auf andere Politikfelder übertragbar sind. Einige Texte haben einen expliziten Bezug zur Schweiz, andere sind unabhängig von Regionen oder Ländern geschrieben. Empfohlen werden allerneuste Literatur ebenso wie Klassiker, die trotz ihres Alters nichts an Attraktivität verloren haben. Es werden Herausgeberwerke, Monografien, Buchkapitel, Zeitschriftenartikel und Berichte empfohlen. In der Liste finden sich zudem Namen von Autorinnen und Autoren, die schon seit Jahren die nationale und internationale Evaluationsdiskussion prägen, ebenso wie solche, die recht neu im Feld sind. Der Sprache des zugrunde liegenden Fragebogens entsprechend ist die Mehrzahl der Literaturempfehlung deutschsprachig, aber auch zentrale englischsprachige Texte werden empfohlen. Darüber hinaus gibt es eine französischsprachige Empfehlung.

[Rz 7]

Die nachfolgende Liste sortiert die Literaturstellen in absteigender Reihenfolge der Anzahl ihrer Empfehlungen. Zusätzlich wird angegeben, ob die entsprechende Literatur im Bereich der Evaluationstheorie oder -praxis empfohlen worden ist. Bei gleicher Anzahl Nennungen ist die Liste alphabetisch sortiert. Empfehlungen, die mindestens dreimal gemacht worden sind, werden zusätzlich kurz inhaltlich beschrieben.

2.2.

Fachtexte mit drei oder mehr Empfehlungen ^

[Rz 8]

(11 - 8/3; 11 Nennungen – 8 für praktische Evaluationstätigkeit / 3 für Evaluationstheorie) Widmer, T. & De Rocchi, T. (2012). Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.

Widmer und De Rocchi erläutern in ihrem Buch die Entwicklung der Evaluation im Allgemeinen und speziell in der Schweiz. Sie liefern eine Einführung in die Thematik sowohl für die Praxis als auch für die Aus- und Weiterbildung. In den Kapiteln «Einleitung», «Grundbegriffe der Evaluation», «Entwicklung der Evaluation», «Theorien, Konzepte und Modelle», «Methoden», «Evaluationsprozess – Schritt für Schritt», «Evaluation im Kontext», «Diskussion» sowie «Quellen und Literatur» werden die theoretischen, konzeptionellen und methodischen Grundlagen und Ansätze der Evaluation sowie die wichtigsten Rahmenbedingungen, in welchen sich die Evaluation bewegt, vorgestellt. Ebenso wird die konkrete Durchführung von Evaluationsprozessen anschaulich dargelegt, wobei die Evaluationsqualität und die Evaluationsnutzung speziell beleuchtet werden.

[Rz 9]

(8 - 7/1) Balzer, L. & Beywl, W. (2015). evaluiert – Planungsbuch für Evaluationen im Bildungsbereich. Bern: hep verlag.

«evaluiert» ist ein praxisnaher Leitfaden für die Planung und Durchführung einer Evaluation. Das Buch richtet sich besonders an Novizinnen und Novizen im Evaluieren. Das einführende Kapitel besteht aus einer einfach gehaltenen, ohne spezifische Feldkenntnis nachvollziehbaren Fallbeschreibung. Kapitel 2 entwickelt eine Definition von Evaluation. Die folgenden Kapitel leiten je zu einem der zehn Evaluationsschritte an: «Bestimmung des Evaluationsgegenstandes», «Bestimmung der interessierten Akteure und die Rolle der Evaluierenden», «Bestimmung der Evaluationszwecke und ‑fragestellungen», «Festlegung der Bewertungskriterien», «Auswahl von Erhebungsdesign und ‑methoden», «Durchführung der Erhebungen», «Datenauswertung, Interpretation und Bewertungssynthese», «Berichterstattung», «Nutzung der Ergebnisse» und schliesslich «Evaluation der Evaluation».

[Rz 10]

(7 - 7/0) Beywl, W., Kehr, J., Mäder, S. & Nistroy, M. (2017). Evaluation Schritt für Schritt: Planung von Evaluationen. (3., unveränderte Aufl.). Darmstadt: hiba gmbh & Co. KG Verlag.

Mit «Evaluation Schritt für Schritt» soll Praktikerinnen und Praktikern ein fundierter Überblick darüber verschafft werden, wie Evaluationen geplant und umgesetzt werden können. Hierzu liefert der Text neben der notwendigen Theorie hilfreiche Instrumente sowie zahlreiche praxisnahe Beispiele. Die Darstellung orientiert sich an einem langjährig eingesetzten und bewährten Stufenmodell, das die Lesenden von den ersten Überlegungen in sechs Schritten zur Nutzung der Ergebnisse der Evaluation führt. Dabei wird besonderer Wert darauf gelegt, dass die Evaluation für die Beteiligten stets nutzen- und nutzungsorientiert angelegt ist. Das Buch ist 2017 in dritter, aber gegenüber der Erstauflage von 2006 unveränderter Auflage erschienen.

[Rz 11]

(7 - 4/3) Döring, N. & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften (5. Aufl.). Berlin, Heidelberg: Springer.

Mit der grundlegend überarbeiteten 5. Auflage legen Döring und Bortz ihren Klassiker zu sozialwissenschaftlichen Forschungsmethoden vor. Sie beschreiben darin insbesondere alle Phasen des Forschungsprozesses von der Festlegung des Forschungsthemas, des Untersuchungsdesigns und der Operationalisierung über Stichprobenziehung, Datenerhebungs- und Datenanalysemethoden bis zur Ergebnispräsentation. Die Evaluationsforschung wird im Rahmen eines vertiefenden Kapitels behandelt.

[Rz 12]

(5 - 3/2) Bussmann, W., Klöti, U. & Knoepfel, P. (Hrsg.). (1997). Einführung in die Politikevaluation. Basel und Frankfurt am Main: Helbing & Lichtenhahn.

Die «Einführung in die Politikevaluation» ist das Ergebnis eines mit dem Nationalen Forschungsprogramm (NFP) 27 «Wirksamkeit staatlicher Massnahmen» bzw. mit dessen Vorgängerprogrammen eingeleiteten Lernprozesses schweizerischer Politikwissenschaftlerinnen und -wissenschaftler zum Thema «Evaluation öffentlicher Politik». Es versteht sich nicht als ein umfassendes Handbuch oder gar als eine Grundlegung für eine neue Evaluationstheorie. Vielmehr will es eine nach didaktischen Gesichtspunkten konzipierte Einführung in die bestehende schweizerische Evaluationsforschung sein, wie sie zum Zeitpunkt des Erscheinens in Lehre und Praxis fehlte. Dieses Bestreben kommt zum Ausdruck im stufenweisen Aufbau des Buches, der von den konzeptionellen Grundlagen bis hin zu den methodischen Techniken reicht, in den zahlreichen Querverweisen, im ausgebauten Schlagwortverzeichnis und im bewussten Verzicht auf jene Vollständigkeit, die man etwa in Handbüchern findet.

[Rz 13]

(5 - 5/0) SEVAL – Schweizerische Evaluationsgesellschaft. (2016). Evaluationsstandards der Schweizerischen Evaluationsgesellschaft. Freiburg.

Die Evaluations-Standards der Schweizerischen Evaluationsgesellschaft (SEVAL-Standards) leisten einen Beitrag zur Professionalisierung der Evaluationstätigkeit in der Schweiz. Sie formulieren zentrale Prinzipien, deren Beachtung die Glaubwürdigkeit und Qualität von Evaluationen erhöht. Die SEVAL-Standards bieten eine Grundlage und Hilfestellung für Planung und Durchführung von Evaluationen, für die Formulierung von Aufträgen, Ausschreibungen und Evaluationsvereinbarungen und für die begleitende Sicherung oder nachträgliche Beurteilung der Qualität von Evaluationen. Sie dienen auch als didaktisches Hilfsmittel für die professionelle Aus- und Weiterbildung.

[Rz 14]

(4 - 3/1) Patton, M. Q. (2008). Utilization-Focused Evaluation (4th edition). Thousand Oaks: Sage Publications.

Der von Patton entwickelte Ansatz «Utilization-Focused Evaluation» basiert auf der Grundidee, dass eine Evaluation an ihrer Nützlichkeit für vorgesehene Nutzende gemessen werden sollte. In seinem Buch beschreibt Patton, wie eine Evaluation deswegen geplant und umgesetzt werden sollte, damit sich die Chance erhöht, dass Evaluationsprozess und -resultate tatsächlich genutzt werden. Für eine solche Evaluation sind zwei Elemente besonders handlungsleitend: Erstens müssen die wichtigsten vorgesehenen Nutzenden zu Beginn des Evaluationsprozesses eindeutig identifiziert und einbezogen werden, um sicherzustellen, dass deren vorgesehene Nutzung ermittelt werden kann. Zweitens müssen die Evaluierenden sicherstellen, dass deren Nutzungsabsichten die Grundlage für alle anderen Entscheidungen sind, die im Laufe des Evaluierungsprozess zu treffen sind.

[Rz 15]

(3 - 2/1) de Perrot, A.-C. & Wodiunig, T. (2014). Evaluieren in der Kultur. Warum, was, wann und wie? – Ein Leitfaden für die Evaluation von kulturellen Projekten, Programmen, Strategien und Institutionen (4. Aufl.). Migros Kulturprozent & Schweizer Kulturstiftung Pro Helvetia: Zürich.

Der unter der Herausgeberschaft von Pro Helvetia und Migros-Kulturprozent erschienene Leitfaden «Evaluieren in der Kultur» will zur Entwicklung einer Evaluationskultur im Kulturbereich der Schweiz beitragen. Er vermittelt praxisnah, worum es beim Evaluieren geht und wie es geht. Er will Mut und Lust machen, es selbst auszuprobieren. Anhand zahlreicher Beispiele aus der Evaluationspraxis in der Kultur werden Anwendungsmöglichkeiten gezeigt und spezifische Themen rund ums Evaluieren vertieft. Um eine praxisnahe, benutzerfreundliche und leicht verständliche Arbeitshilfe zu verfassen, konzentriert sich der Leitfaden auf das Notwendige und baut Hintergrundinformationen so ein, dass er auch für Neulinge und Unerfahrene auf dem Gebiet verständlich ist. Er soll alle befähigen, ihre Tätigkeiten selbst oder in Zusammenarbeit mit externen Evaluierenden zu reflektieren.

[Rz 16]

(3 - 1/2) Flick, U. (2006). Qualitative Evaluationsforschung. Konzepte - Methoden - Umsetzungen. Reinbek bei Hamburg: Rowohlt Taschenbuch.

Der Sammelband «Qualitative Evaluationsforschung» entstand während zweier Symposien der Sektion «Methoden der qualitativen Sozialforschung» der Deutschen Gesellschaft für Soziologie. Das Buch verfolgt die Zielstellung einer mehr oder minder systematischen Einführung, die Bestandsaufnahme mit einem Beitrag zur konzeptionellen Weiterentwicklung qualitativer Evaluation vereinen möchte und vor allem in der Lehre Verwendung finden soll. Im Abschnitt «Konzepte» finden sich grundlegende Beiträge zur Evaluation, im Abschnitt «Methoden» werden qualitative Erhebungsverfahren vorgestellt, im Abschnitt «Umsetzungen» illustrieren Beispiele von Evaluationsprojekte das zuvor Geschriebene. In den Reflexionen wird der Blick auf den weiteren Kontext von Evaluation ausgeweitet.

[Rz 17]

(3 - 1/2) Rossi, P. H., Lipsey, M. W. & Freeman, H. E. (2004). Evaluation – A Systematic Approach (7th edition). Thousand Oaks: Sage Publications.

«Evaluation – A Systematic Approach» gilt als das auflagenstärkste Evaluationslehrbuch überhaupt. In die Kapitel «An Overview of Program Evaluation», «Tailoring Evaluations», «Identifying Issues and Formulating Questions», «Assessing the Need for a Program», «Expressing and Assessing Program Theory», «Assessing and Monitoring Program Process», «Measuring and Monitoring Program Outcomes», «Assessing Program Impact: Randomized Field Experiments», «Assessing Program Impact: Alternative Designs», «Detecting, Interpreting, and Analyzing Program Effects», «Measuring Efficiency» sowie «The Social Context of Evaluation» sind mehrere Jahrzehnte Erfahrung seit der ersten Auflage in den 1970er-Jahren eingeflossen.

[Rz 18]

(3 - 1/2) Weiss, C. H. (1998). Evaluation – methods for studying programs and policies (2nd edition). Upper Saddle River: Prentice Hall.

Das Buch von Weiss ist einer der Klassiker der methodisch orientierten Evaluationstexte. Es zeigt, wie Forschungsmethoden bei der Evaluation von sozialen Programmen einzusetzen sind, und bietet praktische Ratschläge zum Verständnis der Gründe für eine Studie, zur Identifizierung von zu beantwortenden Schlüsselfragen sowie zur Planung und Umsetzung des Gesamtdesigns der Evaluation. Dies geschieht mit den inhaltlichen Kapiteln «Setting the Scene», «Purposes of Evaluation», «Understanding the Program», «Planning the Evaluation», «Roles for the Evaluator», «Developing Measures», «Collecting Data», «Design of the Evaluation», «The Randomized Experiment», «Extensions of Good Design», «Qualitative Methods», «Analyzing and Interpreting the Data», «Writing the Report and Disseminating Results» sowie «Evaluating with Integrity».

[Rz 19]

(3 - 1/2) Widmer, T., Beywl, W. & Fabian, C. (Hrsg.). (2009). Evaluation – Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften.

Dieser Sammelband spiegelt Entwicklungsstand und Leistungsprofil der Evaluation in Deutschland, Österreich und der Schweiz wider. Viele, mit der jeweiligen Landessituation vertraute Autorinnen und Autoren leisten Beiträge zu zehn Themenfeldern: Agrarpolitik, Arbeitsmarktpolitik, Bildung, Energie- und Umweltpolitik, Entwicklungszusammenarbeit, Forschung und Technologie, Gesundheit, institutionelle Politik, Raumentwicklungspolitik und soziale Arbeit. Ländervergleichende Beiträge arbeiten Gemeinsamkeiten und Unterschiede themenspezifisch heraus. Ergänzt werden diese vierzig Beiträge um Querschnittsbeiträge zur Institutionalisierung und zur Nutzung von Evaluation in den drei Ländern.

2.3.

Fachtexte mit zwei Empfehlungen ^

[Rz 20]

Die folgenden Texte wurden zweimal empfohlen. Sie werden ohne weitere Beschreibung in alphabetischer Reihenfolge aufgeführt.

Alkin, M. C. (2013). Evaluation Roots – A Wider Perspective of Theorists» Views and Influences (2nd edition). Los Angeles: Sage Publications.

Giel, S., Klockgether, K. & Mäder, S. (Hrsg.). (2016). Evaluationspraxis. Professionalisierung - Ansätze - Methoden (2. Auflage). Münster: Waxmann.

Helmke, A. (2006). Unterrichtsqualität: Erfassen, Bewerten, Verbessern (4. Aufl.). Seelze: Kallmeyersche Verlagsbuchhandlung.

Joint Committee on Standards for Educational Evaluation, & Sanders, J. R. (2006). Handbuch der Evaluationsstandards – Die Standards des «Joint Committee on Standards for Educational Evaluation» (3. Auflage). Wiesbaden: VS Verlag für Sozialwissenschaften.

Pawson, R. & Tilley, N. (1997). Realistic evaluation. London: Sage Publications.

Ritz, A. (2003). Evaluation von New Public Management. Grundlagen und empirische Ergebnisse der Bewertung von Verwaltungsreformen in der schweizerischen Bundesverwaltung. Bern: Haupt-Verlag.

Stockmann, R. (Hrsg.). (2007). Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann.

Stockmann, R. & Meyer, W. (2014). Evaluation – eine Einführung (2. Auflage). Opladen: Verlag Barbara Budrich.

2.4.

Weitere empfohlene Fachtexte ^

[Rz 21]

Die Texte, die eine Empfehlung erhalten haben, sind nachfolgend aufgeführt.

Balthasar, A., & Biebricher, M. (2008). Damit Sie wissen, was Sie tun... Warum und wie offene Jugendarbeit bewerten? info animation, 15, 17–23.

Balzer, L. (2005). Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik.

Balzer, L. & Beywl, W. (2014). Evaluation in der Weiterbildung – Studienbrief EB 0830 im postgradualen Master-Fernstudiengang «Erwachsenenbildung» des Distance & International Studies Center (DISC) der Technischen Universität Kaiserslautern (2. Aufl.). Kaiserslautern: Technische Universität Kaiserslautern, Zentrum für Fernstudien und Universitäre Weiterbildung.

Bemelmans-Videc, M.-L., Lonsdale, J. & Perrin, B. (2007). Making Accountability Work: Dilemmas for Evaluation and for Audit. New York: Routledge.

Beywl, W. (2006). Evaluationsmodelle und der Stellenwert qualitativer Methoden. In U. Flick (Hrsg.), Qualitative Evaluationsforschung: Konzepte – Methoden – Umsetzung (S. 92–116). Reinbek: Rowohlt.

Beywl, W. & Niestroj, M. (2009). Das A-B-C der wirkungsorientierten Evaluation: Glossar – Deutsch Englisch – der wirkungsorientierten Evaluation (2. Auflage). Köln: Univation.

Burkard, C. & Eikenbusch, G. (2000). Praxishandbuch Evaluation in der Schule. Berlin: Cornelsen Scriptor.

Caspari, A. & Barbu, R. (2008). Wirkungsevaluierungen – Zum Stand der internationalen Diskussion und dessen Relevanz für die Evaluierung der deutschen Entwicklungszusammenarbeit. Evaluation Working Paper. Bonn: Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung.

Chambers, R. (1997). Whose Reality Counts? – Putting the first last (2nd edition). London: Intermediate Technology Publications.

Chambers, R. (2008). Revolutions in Development Inquiry. New York: Routledge.

Chen, H.-T. (1990). Theory-Driven Evaluations. Newbury Park: Sage Publications.

Farrokhzad, S. & Mäder, S. (2014). Nutzenorientierte Evaluation – ein Leitfaden für die Arbeitsfelder Integration, Vielfalt und Toleranz. Münster: Waxmann.

Hillenbrand, E., Karim, N., Mohanraj, P. & Wu, D. (2015). Measuring gender-transformative change. A review of literature and promising practices. CARE USA.

Horber-Papazian, K. (Ed.). (2015). Regards coisés sur l’évaluaiton en Suisse. Lausanne: Presses polytechniques et universitaires romandes.

Landwehr, N. & Steiner, P. (2007). Q2E – Qualität durch Evaluation und Entwicklung. Konzepte, Verfahren und Instrumente zum Aufbau eines Qualitätsmanagements an Schulen – Schuber mit 5 Broschüren (2. Auflage). Bern: h.e.p. Verlag.

Mathison, S. (Hrsg.). (2005). Encyclopedia of evaluation. Thousand Oaks: Sage Publications.

Mertens, D. M. & Wilson, A. T. (2012). Program Evaluation Theory and Practice. A Comprehensive Guide. New York: Guilford Press.

OECD DAC. (2013). Evaluating Development Activities: 12 Lessons from the OECD DAC. OECD DAC.

Pawson, R. (2013). The science of evaluation. London: Sage Publications.

Sager, F., Widmer, T. & Balthasar, A. (Hrsg.). (2017). Evaluation im politischen System der Schweiz. Zürich: NZZ Libro.

Scriven, M. (2012). The Logic of Valuing. New Directions for Evaluation, 133, 17–28.

Shadish, W. R., Cook, T. & Leviton, L. C. (1991). Foundations of program evaluation: Theories of practice. Thousand Oaks: Sage Publications.

Stockmann, R. (2004). Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren (CEval Arbeitspapiere Nr. 9). Centrum für Evaluation, Universität des Saarlandes: Saarbrücken.

Stufflebeam, D. L. & Shinkfield, A. J. (2007). Evaluation theory, models, and applications. San Francisco: Jossey-Bass.

Widmer, T. (2005). Leitfaden für Wirksamkeitsüberprüfungen beim Bund – Instrument zur Qualitätssicherung gestützt auf die Evaluationsstandards der Schweizerischen Evaluationsgesellschaft (SEVAL-Standards). Bern: Bundesamt für Justiz.

Wottawa, H. & Thierau, H. (2003). Lehrbuch Evaluation (3. Auflage). Bern: Huber.


 

 

Prof. Dr. Lars Balzer, Leiter Fachstelle Evaluation am Eidgenössischen Hochschulinstitut für Berufsbildung EHB, Zollikofen, E-Mail: evaluation@lars-balzer.info