Inhaltsverzeichnis
Das Handbuch zur Evaluation, herausgegeben von Reinhard Stockmann, Direktor des «Centrums für Evaluation» (CEval) und Professor für Soziologie an der Universität des Saarlandes, hat das deklarierte Ziel, ein breites Publikum ohne vertieftes Vorwissen in die Welt der Evaluation einzuführen. Entsprechend bieten die verschiedenen Kapitel auf insgesamt rund 500 Seiten Basis- aber auch Detailwissen zu unterschiedlichen Aspekten der Evaluation.
In den ersten beiden Kapiteln erläutert Reinhard Stockmann erstens den Zweck von Evaluationen und führt in Begrifflichkeiten und die Thematik ein. Kapitel 3 (verfasst von Wolfgang Meyer und Niklas Zierke) und 4 (verfasst von Reinhard Stockmann) befassen sich anschliessend mit der Abgrenzung und teilweise Vermischung von Evaluation und anderen Steuerungsinstrumenten (oder Konzepten, wie die Autor:innen sie nennen) wie Monitoring, Controlling, Auditing oder Benchmarking. Dem Thema Monitoring wird hierbei besonders viel Platz eingeräumt, indem praktische Handlungsanweisungen zum Aufbau und Einführung von Monitoringsystemen – die später Daten für Evaluationen zur Verfügung stellen können – gegeben werden. Der Vergleich der vorgenannten, behandelten Konzepte macht zudem die verschiedenen Leistungspotenziale, Gemeinsamkeiten und Unterschiede deutlich, woraufhin die Autor:innen konstatieren, dass eine Kombination ebendieser Instrumente die Steuerung von Politiken und Programmen sowie das Qualitätsmanagement verbessern kann. In Kapitel 5 wird vom Autor Stefan Silvestrini anhand eines fiktiven Szenarios der gesamte Ablauf einer Evaluation dargelegt, indem die drei Phasen der Planung/Vorbereitung, der Angebotserstellung und der schliesslichen Durchführung einer Evaluation beschrieben werden. Kapitel 6 von Reinhard Stockmann befasst sich mit dem Kontext, den verschiedenen Stakeholdern und deren Einfluss auf Evaluationen. Das Handbuch bietet hierbei einen Überblick über die vielen damit einhergehenden Herausforderungen und den notwendigen Fähigkeiten von Evaluator:innen, die es ihnen u.a. ermöglichen, eine angemessene und fruchtbare Interaktion mit den Stakeholdern aufrechtzuerhalten. In Kapitel 7 knüpfen Wolfgang Meyer und Niklas Zierke hier an und gehen zuerst auf die Durchführung einer Stakeholder-Analyse ein, bevor sie verschiedene Evaluationsdesigns (von (quasi-)experimentellen über nicht-experimentelle Designs) im Detail vorstellen und voneinander abgrenzen. In den Kapiteln 8 bis 10 erfahren die Leser:innen von Wolfgang Meyer respektive Niklas Zierke, welche Bedeutung eine hohe Messqualität für Evaluationen hat und wie dies gewährleistet werden kann, bevor verschiedenste Datenerhebungs- und Analyseverfahren sowie Datenmanagementmöglichkeiten vorgestellt werden. Im abschliessenden Kapitel behandeln Laszlo Szentmarjay, Janis Wicke und Vera Hennefeld die Frage des Reportings, das die Autor:innen als Gesamtheit der Aktivitäten definieren, die zum Zwecke des Informationsaustauschs zwischen unterschiedlichen an der Evaluation beteiligten Akteur:innen durchgeführt werden. Dabei werden Anforderungen, die von der Berichterstattung erfüllt werden müssen, sowie die verschiedenen Arten der Berichterstattung, die während der Evaluation implementiert werden können, identifiziert.
Insgesamt kann mit Blick auf das zu Beginn dieser Rezension zusammengefasste Ziel der Autor:innen, «Anfänger:innen» der Evaluation wichtiges Grundwissen zu vermitteln, festgestellt werden, dass dieses klar erfüllt wird. Der immense Erfahrungsschatz der verschiedenen Autor:innen spiegelt sich in diesem ausführlichen und sehr praxisnahen Handbuch wider und bietet der Leserschaft eine enorme Fülle an Informationen. Die elf Kapitel befassen sich dabei mit den zentralen Herausforderungen einer Evaluation und ermöglichen es dem resp. der interessierten Leser:in, sich vertieft mit bestimmten Aspekten – bspw. der Wahl des richtigen Evaluationsdesigns oder der angemessenen Methodik – auseinanderzusetzen. Diese durchgehende Praxisnähe ist es, wodurch sich das Handbuch zur Evaluation von anderen deutschsprachigen Werken zur Evaluation abgrenzt.
Ein wenig zu bedauern ist die Wahl der Autor:innen, nur in der männlichen Form zu schreiben (wobei die Autor:innen dabei den Empfehlungen der Gesellschaft für deutsche Sprache folgen und ausdrücklich auch immer alle anderen Menschen mitgemeint sind). Ob das Werk zudem dem eigenen Anspruch, das präsentierte Wissen «kompakt» (S. 20 des Handbuchs) vermitteln zu können, gerecht wird, kann dabei diskutiert werden. Aufgrund seiner Ausführlichkeit eignet sich das Handbuch zur Evaluation nur begrenzt für Leser:innen, die relativ schnell einen Überblick über die Thematik erhalten wollen. Andere Lehrbücher im deutschsprachigen Raum bieten hier einen schnelleren Einblick (Stockmann/Meyer 2014; Widmer/de Rocchi 2012; Sager et al. 2021), was natürlich gleichzeitig mit einem Verlust an Tiefe einhergeht, welche wiederum im hier diskutierten Handbuch zur Evaluation vorzufinden ist. Der ausführliche Index und die intuitive Struktur des Buchs bieten dabei Hand, sich in der Fülle an Informationen zurecht zu finden. Nicht oder nur am Rande behandelt werden Aspekte wie die Entwicklung der Evaluationspraxis in verschiedenen Ländern, die Frage der Nutzung von Evaluationsergebnissen oder aber der Bedeutung, die Evaluationen in der heutigen Verwaltungspraxis und der Politik spielen. Diese vermeintlichen Lücken sind aber unproblematisch, da sie bereits von anderen – teilweise von denselben Expert:innen verfassten resp. editierten – Hand- und Lehrbüchern abgedeckt werden (bspw. vorgenannte Werke oder Stockmann et al. 2022). Zusammengefasst ist das Handbuch zur Evaluation ein sehr umfassendes und praxisnahes Nachschlagewerk, das vor allem für Einsteiger:innen in die Evaluation eine sehr empfehlenswerte Lektüre darstellt und im deutschsprachigen Raum einen wichtigen Platz in der Literaturlandschaft einnimmt. Die am Handbuch beteiligten Autor:innen lassen keinen Zweifel an ihrer langjährigen und fundierten Expertise, die sie in sehr nützlicher und verständlicher Weise mit der Leserschaft teilen.
Susanne Hadorn, Kompetenzzentrum für Public Management, Universität Bern.
- Stockmann, Reinhard / Meyer, Wolfgang (2014): Evaluation: Eine Einführung, 2. Aufl., Leverkusen/Opladen: Barbara Budrich (UTB).
- Widmer, Thomas / De Rocchi, Thomas (2012): Evaluation: Grundlagen, Ansätze und Anwendungen, Zürich/Chur: Rüegger.
- Sager, Fritz / Hadorn, Susanne / Balthasar, Andreas / Mavrot, Céline (2021): Politikevaluation, Wiesbaden: Springer VS.
- Stockmann, Reinhard / Meyer, Wolfgang / Szentmarjay, Laszlo (Eds.) (2022): The institutionalisation of evaluation in the Americas, Springer Nature.