Rezension: Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot: Politikevaluation. Eine Einführung.

«Politikevaluation – Eine Einführung» führt titelkonform in die Grundlagen der Politikevaluation ein. Es zeigt deren Begrifflichkeiten, Entstehung, Theorien und die heute gültigen Konzepte sowie die empirischen Methoden für die Wirkungsanalyse öffentlicher Politik.

Das Buch richtet sich an Studierende an höheren Bildungsinstitutionen, die die Grundlagen der Evaluation kennenlernen möchten. Ebenso dient das Buch aber auch Akteurinnen und Akteuren, die sich mit der Aufgabe konfrontiert sehen, Evaluationen in einem politischen Kontext in Auftrag zu geben, zu erstellen, zu beurteilen oder zu nutzen. Dies betrifft die öffentliche Verwaltung, Nicht-Regierungsorganisationen, Verbände, sowie Mitglieder der Legislative und der Exekutive, die Policy-Entscheidungen treffen.

Im ersten Kapitel werden begriffliche Grundlagen geschaffen und insbesondere eine Arbeitsdefinition für Politikevaluation gegeben: «Politikevaluation bezeichnet die wissenschaftliche und empirisch gestützte Beurteilung der Konzeption, des Vollzugs und der Wirksamkeit öffentlicher Politik, seien dies Massnahmen, Programme oder Projekte.» (S. 2). Im Weiteren werden zusätzliche Bestimmungsstücke von Politikevaluation beschrieben. So werden «explizit deklarierte» (S. 3), «transparente Kriterien» (S. 11) als Grundlage verwendet für eine grundsätzlich notwendige «Bewertung» (S. 3), es ist eine «wissenschaftliche Herangehensweise» (S. 7) zu wählen und sie «ergibt nur einen Sinn, wenn ihre Befunde konkrete Verwendung finden können» (S. 7). Politikevaluation wird im Policy-Cycle eingebunden und ist darauf ausgerichtet, in politischen Entscheidungen konkret genutzt zu werden. Unterschiede zu anderen Konzepten wie Grundlagenforschung, Controlling, Monitoring oder Ex-Ante Analysen werden herausgearbeitet.

Kapitel 2 beschreibt öffentliche Politik als Prozess und definiert sie als Evaluationsgegenstand der Politikevaluation. Zentral für diesen Evaluationsgegenstand ist ein generisches Wirkungsmodell, mit dem ein «gesellschaftlich anerkanntes Problem» (S. 21) beschrieben werden kann. Eine «Problemursachenhypothese (oder Kausalhypothese)» (S. 23) «benennt die Gründe für das zu bearbeitende Problem» und ordnet es «konkreten Akteursgruppen zu» (S. 23). Deren Verhalten wäre für eine Problemlösung zu beeinflussen. Bei der «Interventionshypothese» geht es «um die Wahl der geeigneten Instrumente» (S. 24) zur möglichen Verhaltensänderung. Darauf aufbauend wird beschrieben, wie eine Evaluationsfragestellung zu formulieren ist, die «im Zusammenhang mit den Wirkungen der Politik» stehen (S. 34).

In Kapitel 3 wird die historische Entwicklung der Evaluation seit Mitte des 19. Jahrhunderts über vier Generationen beschrieben und deren Institutionalisierung im deutsch- und französischsprachigen Raum dargelegt. Grundpfeiler der Entstehung einer Disziplin werden entwickelt und es wird dargelegt, wozu Evaluationen dienen können. Als typische Evaluationszwecke werden «Bilanzierung», «Verbesserung», «Wissensgenerierung» und «Taktik» genannt.

Kapitel 4 stellt elf Evaluationsansätze vor, die gemäss des Baummodells von Alkin und Christie und dessen Zweige «Methods», «Use» und «Valueing» gruppiert sind. Ihre Stärken, Schwächen und Hauptanwendungsgebiete werden vergleichend gegenübergestellt.

Kapitel 5 führt durch Evaluationsgegenstände und passende Kriterien, strukturiert gemäss linearem Wirkungsmodell. Thematisiert werden als Evaluationsgegenstände «Politikkonzept» (mit den Evaluationskriterien «empirische Evidenz», «Intrapolicy Kohärenz» und «Interpolicy Kohärenz»), «Umsetzungsorganisation» (mit den Evaluationskriterien «Eignung» und «Nachhaltigkeit») sowie «Leistungen» bzw. «Outputs» (mit den Evaluationskriterien «Angemessenheit» und «Effizienz»), «Outcomes» sowie «Impacts» (jeweils mit den Evaluationskriterien «Wirksamkeit» und «Effizienz»).

Kapitel 6 zeigt erneut unter Rückgriff und ausführlicher Beschreibung des linearen Wirkmodells, ergänzt um die «realistische Evaluation» auf, wie kausale Wirkungsketten modelliert werden können.

Kapitel 7 widmet sich der «institutionellen Politik» als Sonderfall von Evaluationsgegenständen.

In Kapitel 8 wird zunächst «Evaluationsdesign» definiert und daraufhin der «Quervergleich», der «Vorher-Nachher-Vergleich» sowie der «Soll-Ist-Vergleich» als Vergleichsebene bestimmt, auf die eine systematische Bewertung aufbauen kann. Mit einer «konzeptionellen Triangulation» können Stärken und Schwächen der drei Designs durch ihre Kombination kompensiert werden.

Kapitel 9 erläutert kurz ausgewählte Aspekte für die konkreten Schritte der Datenerhebung und -analyse (qualitative, quantitative und gemischte Ansätze; Interviews; Fokus-Gruppen; Dokumentenanalyse; Umfragen; Beobachtungen; randomisierte kontrollierte Studien; quasi-experimentelle Studien; Quellen und Typen von Daten; Datenanalyse mit Interpretation; Empfehlungen; Transparenz und Reproduzierbarkeit).

Kapitel 10 befasst sich mit der «Nutzung von Evaluationsergebnissen» und zieht eine konzeptionelle Grenze zwischen dem eher klassischen Verständnis von «Verwendung» und dem neueren von «Einfluss». Daraufhin werden mit dem «instrumentellen», dem «konzeptionellen», dem «prozessbezogenen» sowie dem «symbolischen» verschiedene Arten des Nutzens von Evaluationen unterschieden. Abschliessend wird ein Bogen geschlagen zur evidenzbasierten Politik.

Kapitel 11 beschreibt zunächst die von diversen Evaluationsgesellschaften zur Verfügung gestellten Qualitätsstandards für Evaluationen und erläutert diese anhand der oftmals verwendeten Dimensionen «Nützlichkeit», «Durchführbarkeit», «Fairness» und «Genauigkeit». Darauf wird die Weiterverarbeitung einzelner Evaluationen in Form von «Meta-Evaluationen», «Meta-Analysen» und «Evaluationssynthesen» beschrieben und die Unabhängigkeit von Evaluationen problematisiert.

Das abschliessende Kapitel 12 würdigt die Potenziale der Evaluation für die politische Entscheidungsfindung generell und insbesondere für den direktdemokratischen Diskurs in der Schweiz.

Mit ihrem im Detail ausgearbeiteten Verständnis von Politikevaluation formulieren die Autorinnen und Autoren ein in sich schlüssiges und nachvollziehbares Konzept von Evaluation und setzen dabei vielfältige Akzente. Vieles dürfte auf breite Zustimmung stossen, wie zum Beispiel die zwingende Notwendigkeit von Bewertungen in einer Evaluation, deren Wissenschaftlichkeit, die Notwendigkeit von Evidenzbasierung politischen Handelns, die Zentralität von Nützlichkeit, oder auch Details wie die vertragliche Fixierung der geplanten Evaluation, die laufende Kommunikation über den Evaluationsfortschritt gegenüber allen an der Evaluation Beteiligten, und vieles weitere mehr. Manches unterscheidet den Text hingegen von anderen, oftmals politikfeldübergreifenden oder anderen Politikfeldern verpflichteten Lehrtexten zur Evaluation. So findet zum Beispiel eine Fokussierung auf Wirksamkeit statt, die andere, im Buch auch erwähnte mögliche Evaluationsansätze in den Hintergrund treten lassen. Von zentraler Bedeutung sind auf Ebene der Resultate zudem oft wirtschaftliche und an Effizienz orientierte Kriterien, wo andere ebenso bedeutsam sein könnten. Der Einbezug zentraler Stakeholder einschliesslich Bedarfs- und Erwartungsanalyse mit partizipativer Festlegung von Evaluationszwecken und -fragestellungen tritt hingegen in den Hintergrund, da sie vor dem Einsatz der Politikevaluation bereits erfolgt ist. Zu diskutieren könnte auch je nach Evaluationsansatz geben, dass sich Evaluationsfragestellungen im Laufe des Mandats nicht ändern sollen. All dies soll nicht als Kritik missverstanden werden, denn die hier vertretenen Besonderheiten sind stimmig ausgearbeitet im Hinblick auf den zugrunde liegenden Kontext. Die allgemeine fachliche Debatte dürfte damit um interessante Aspekte be- und angereichert sein.

Eingangs werden den einzelnen Kapiteln die verantwortlichen Autorinnen und Autoren zugewiesen. Der Text wird also in seiner Gesamtheit nicht von einer gemeinsamen Autorenschaft verantwortet. Dies dürfte sprachliche Inkonsistenzen erklären, die in einigen Fällen lediglich kosmetischer Natur sind (wie zum Beispiel die oftmals synonym verwendeten Begriffe Evaluationsforschung, Wirkungsforschung, Evaluation, Evaluationsstudie, oder Evaluationsdesign und Untersuchungsdesign), manchmal aber durchaus konzeptionelle Erschwernisse darstellen können, wenn in diesem Buch synonym verwendete Begriffe durchaus sinnvolle andere Bedeutungen haben könnten, wie in anderen Lehrtexten erarbeitet (zum Beispiel Zwecke, die die Evaluation betreffen vs. Ziele, die oftmals eher dem Evaluationsgegenstand zugewiesen werden, oder auch Fragestellungen, die an die Evaluation gerichtet sind vs. Fragen im Erhebungsinstrument). Ein für Lehrbücher nicht unüblicher Index oder sogar ein Glossar könnte die Begriffsverwendung noch schärfen. Eine andere Folge sind inhaltliche Redundanzen, wenn zum Beispiel die Definition des Evaluationsgegenstandes an verschiedenen Stellen und mit verschiedenen Schwerpunktsetzungen erfolgt, oder wenn das lineare Wirkungsmodell der Politikevaluation (in anderem Kapitel als lineares Modell der Politikevaluation bezeichnet) mehrmals ausführlich, aber unter Beizug anderer Quellen und mit anderer Schwerpunktsetzung, hergeleitet und beschrieben wird.

Die Autorinnen und Autoren wollen ein Lehrbuch mit Fokus auf die Evaluation öffentlicher Politiken für den deutschen Sprachraum vorlegen. Damit sind einige inhaltliche und didaktische Ansprüche verbunden. Inhaltlich ist für ein Evaluationslehrbuch zum Beispiel unabdingbar, dass Evaluation definiert und seine Funktionen und Zwecke bestimmt sind. Dies erfolgt ebenso wie die Beschreibung von Ansätzen und Theorien der Evaluation, die Darstellung eines Evaluationsprozesses sowie des relevanten Kontextes, der Einbezug von Evaluationsstandards, und auch eine (zumindest knappe) Darstellung von Methoden – all dies unter breiter Nutzung relevanter Primär- und Sekundärliteratur. Didaktischen Ansprüchen wird das Buch gerecht, indem klar die Zielgruppe und der Anwendungskontext benannt wird. Lernziele werden formuliert, wenngleich sehr global und übergreifend über das gesamte Buch hinweg. Das Buch folgt einer stringenten Struktur, einerseits mit einer nachvollziehbaren Gliederung der einzelnen Kapitel und andererseits mit einer sich durch nahezu alle Kapitel durchziehenden Aufbaulogik. Praxisbezug wird explizit hergestellt, oftmals im Text selbst und ergänzend systematisch mit in nahezu allen Kapiteln enthaltenen Unterkapiteln mit illustrativen Anwendungsbeispielen und Learnings aus der Felderfahrung sowie mit wie-vorgehen-Kästen. Farblich abgetrennte Zusammenfassungskästen, Abbildungen, Tabellen und Illustrationen unterstützen das Verständnis. Übungen und Lernaufgaben sind nicht direkt im Buch enthalten, auf ergänzende (im Rahmen dieser Rezension nicht geprüften) Angebote des Verlages wird aber verwiesen.

Als Gesamtfazit halte ich gerne fest, dass ich das Buch sehr gerne gelesen habe. Dieses Lehrbuch ist eine sehr wertvolle, didaktisch aufbereitete Ressource für all diejenigen, die sich in Politikevaluation sowohl theoretisch als auch praktisch einarbeiten wollen. Es ist damit sowohl Studierenden politikwissenschaftlicher Studiengänge als auch Verantwortlichen im politischen System, die Evaluationen beauftragen oder nutzen (oder dies vermehrt fundiert tun sollten), als Basisliteratur sehr zu empfehlen.

Prof. Dr. Lars Balzer, Leiter Fachstelle Evaluation an der Eidgenössischen Hochschule für Berufsbildung EHB, evaluation@lars-balzer.info, Juli 2023.