Systemische Policy-Evaluationen mit dem akteurzentrierten Institutionalismus: Ein neues, flexibleres Analyseframework für die quantitative Ära

Welche Eigenschaften machen aus einer Policy-Evaluation eine systemische Policy-Evaluation? Mit dem "Systemischen" ist oft nichts weiter als der strukturierte Einbezug von Komplexität gemeint. Konkret wird erwartet, dass man sich z.B. zu Nicht-Linearität, Feedbackschlaufen oder zu Dynamiken auf Mikro-, Meso- und Makroebene äussert, was aber zu kurz greift (siehe z.B. de Haan, 2006; Kok et al., 2021; Reynolds et al., 2016). Reynolds et al.'s (2016) Bedingungen gehen da bedeutend weiter: Erstens sollten Forschende untersuchen, welche Dinge mit welchen Akteuren verbunden sind und welche Konsequenzen darauf folgen («inter-relationships»). Zweitens muss den verschiedenen Perspektiven der Akteure Raum gewährt werden («multiple perspectives»). Drittens soll den Grenzen des Analyseobjekts spezielle Aufmerksamkeit gewährt werden («reflecting on boundary decisions»). Bei letzterem klingt der Methodenpluralismus mit, den Reynolds et al. (2016) zwar nicht als (vierte) Bedingung formulieren, aber aus der Notwendigkeit der Erfüllung der drei Bedingungen abgeleitet werden kann: Nur eine gleichzeitige Anwendung quantitativer und qualitativer Methoden wird dem Ziel der Generalisierbarkeit von validen Kausalmechanismen gerecht. Der Methodenpluralismus soll daher im Folgenden trotzdem als vierte Bedingung aufgenommen werden. Eine systemische Policy-Evaluation muss also die Erfüllung dieser vier Bedingungen selbst vorsehen oder zumindest erlauben.¹

Der vorliegende Beitrag liefert seinen Mehrwert, indem er ein angepasstes Analyseframework zu liefern versucht, welches diesen Bedingungen gerecht wird. Dieses soll einerseits auf die Erfüllung der vier systemischen Bedingungen in Policy-Evaluationen gerichtet sein. Andererseits soll es auf die Evaluation von Vollzugsentscheidungen (Politikumsetzung) zugeschnitten werden. Wie im Beitrag erklärt wird, liefert der «akteurzentrierte Institutionalismus» (AZI) die passendste Grundlage hierfür. Der AZI ist ein theoretisches Framework, das Renate Mayntz und Fritz Scharpf insbesondere aus der Funktionsweise deutscher und europäischer Politik und Verwaltung seit den 1970er-Jahren herleiteten (siehe z.B. Mayntz, 1978; Mayntz/Scharpf, 1975; Scharpf, 1970; Scharpf et al., 1978), 1995 erstmals als vollständiger Analyseansatz zu Papier brachten (Mayntz/Scharpf, 1995) und später in weiteren Entwicklungsschritten formalisierten (hauptsächlich Scharpf, 1997, 2000).

Der Beitrag formuliert daher die folgende Forschungsfrage: Wie kann der akteurzentrierte Institutionalismus für die systemische Evaluation von Vollzugsentscheidungen nutzbar gemacht werden?

Bevor im Folgenden mit der Beantwortung dieser Frage begonnen wird, soll zuerst das Verständnis des Begriffs einer Policy-Evaluation geklärt werden. Darunter werden folgende Evaluationen verstanden: Ex-post Evaluationen, welche den Wert, Nutzen, Verdienst oder Bedeutung einer Policy-Intervention nach deren Erlass bewerten und diese Bewertung als Zielerreichungsgrad formulieren (siehe Knoepfel et al., 2015; Scriven, 1991; Wollmann, 2007). Als Zielerreichungsgrad wird eine Bewertung des ist-Zustands verstanden, die sich als Distanz zum (ex-ante oder ex-post) definierten Ziel versteht und auf der Skala des Ziels verortet. Dies setzt die Existenz eines oder mehreren messbaren Ziele voraus, welche aber bei komplexen («wicked») Problemen oft nicht als vorausgesetzt und schon gar nicht als «objektiv» wahrgenommen werden können (Peters, 2017; Rittel/Webber, 1973).

Grundlage für den Beitrag liefert die theoretische Aufarbeitung der Literatur zur Policy-Evaluation, zu Vollzugsnetzwerken und Problemlösung in der Verwaltung aus Schmid (2024). Der Beitrag beginnt mit einer Begründung und Abgrenzung, weshalb der AZI zurzeit die bestgeeignete Grundlage zur Analyse von Wertschöpfung im Vollzug darstellt (Abschnitt 2). Darauf folgt die Präsentation des Frameworks und seiner Analysekategorien (Abschnitt 3). Danach wird erläutert, wie das Analyseframework die systemischen Bedingungen erfüllt (Abschnitt 4). In Abschnitt 5 folgt eine Darlegung der Neuerungen und Vorteile des Analyseframeworks. Das Fazit (Abschnitt 6) fasst den Beitrag zusammen und erläutert Limitationen, sowie weitere Forschungsmöglichkeiten.

Seit Lasswells (1951, 1971) Systematisierung der Problemlösung öffentlicher Belange und der Erhebung von «policy problem-solving» zur Wissenschaft, wurden eine Vielzahl von Policy-Analyseframeworks entwickelt, die in verschiedenster Art und Weise systemische Aspekte integrieren und den Forschenden mitunter auch evaluative Instrumente an die Hand geben. Gefragt ist eines, welches sich für systemische Policy-Evaluationen von Vollzugsentscheiden eignet. Die populärsten Policy-Analyseframeworks, die auf den ersten Blick zu diesem Zweck geeignet scheinen, sind neben dem AZI das «Advocacy Coalition Framework» (ACF, Sabatier, 1988; Weible/Sabatier, 2006 und das «Institutional Analysis and Development»-Framework (IAD, Ostrom, 1986, 1990).²

Neben dem AZI integrieren sowohl das ACF als auch das IAD systemische Aspekte, denn ihre Funktion besteht exakt darin, der unlimitierten Realität mit Heuristiken, d.h. Augenmerken auf Analysekategorien, zu begegnen. Was den Methodenpluralismus angeht, so sind sowohl das ACF (Pierce et al., 2017), als auch das IAD (Schlager/Cox, 2018) sehr divers aufgestellt. Der AZI wurde diesbezüglich noch nicht weiterentwickelt. Er ist – bis auf eine Simulation von Scharpf/Mohr (1997) und eine einzelne gefundene Studie (Kriesi/Jegen, 2001) quantitativ unerprobt.³ Der AZI soll also so geschärft werden, dass eine quantitative und framework-geleitete Anwendung des Ansatzes, wie bei den anderen auch, möglich gemacht wird.

Was die Nutzbarkeit der Analyseframeworks für Vollzugsentscheide anbelangt, so ist insbesondere das ACF weniger geeignet als der AZI und das IAD. Im Kern bieten alle drei Frameworks in erster Linie Erklärungen für den Zustand (und Wandel) von Politikentscheidungen oder Regelungssituationen. Beim ACF steht die Erklärung von Politikwandel im Zentrum, wobei dem «Basteln» («tinkering») an Policies und inkrementellem Lernen viel Aufmerksamkeit zuteil wird (siehe z.B. Pierce et al., 2017). Die Ausrichtung beschränkt sich jedoch grösstenteils auf die Erforschung der Policy-Erarbeitungsphase, weniger auf die Umsetzung von Policies, selbst wenn sich über die Erforschung der Rolle von Akteurskoalitionen in der Verwaltung viele Anknüpfungspunkte mit der Vollzugsforschung ergäben (siehe Weible et al., 2024). Aufgrund der Zugeschnittenheit der «Advocacy Coalitions» auf die Policy-Erarbeitungsphase sowie der primären Beschäftigung mit Politikwandel, bleibt das ACF für die Evaluation von Vollzugsentscheiden eher wenig geeignet.

Im Gegensatz dazu wurde das IAD von Beginn an explizit zur evaluativen Nutzung des Frameworks konzipiert (Ostrom, 2011). Eine Brücke zwischen IAD und Policy-Analyse, welche die evaluative Anwendung des IAD erlaubt, wurde schon früh von Ostrom und ihrer Gefolgschaft selbst erarbeitet (Polski/Ostrom, 2017). Was den inhaltlichen Fokus anbelangt, so ist das IAD aber hauptsächlich mit der Gouvernanz (gemeinsamer) natürlicher Ressourcen beschäftigt. Eine evaluative Anwendung auf Politik- und Verwaltungsoutputs bleibt zwar möglich, die IAD-Analysekategorien erscheinen aber nicht derart stark auf Verwaltung und Politik zugeschnitten wie jene des AZI.

Ähnlich wie bei den anderen beiden Analyseframeworks, besteht die gemeine Lesart des AZI auch darin, die «Auswahl vergangener Politikmassnahmen» (Scharpf, 1997) aus verschiedenen Politikalternativen zu erklären. Es wäre aber falsch den Ansatz so zu verstehen, dass er sich mit Erklärungen der Existenz von Policies begnügen sollte. Im Gegenteil, die Analyse der Wertschöpfung (inklusive Konsiderationen zu Verteilungs- und Verfahrensgerechtigkeit) ist tief in der Genese des AZI verankert: Der AZI soll die Kapazität eines Politiksystems erfassen, «gute» Entscheidungen zu treffen (Scharpf, 1997, S. 15), wobei sich «gut» in Scharpfs Referenznahmen auf eine Erhöhung der Input- oder Output-Legitimität eines politischen Systems bezieht (Scharpf, 1997, 1999). Scharpf ist es wichtig zu betonen, dass die normative [evaluative] Nutzung der Policyforschung nicht von der positivistischen getrennt werden kann und sollte (1997, S. 13 ff.). Deshalb sind evaluative Nutzungen des AZI nicht nur «erlaubt», sondern gar «erwünscht», auch wenn sie nicht der Tradition der AZI-Anwendungen entsprechen.

Die Frage, inwiefern die Analysekategorien für eine evaluative Nutzung angepasst werden müssen, kann daher eindeutig mit «nein» beantwortet werden. Die Annahme, die man dabei trifft, ist allerdings, dass dieselben Verwaltungs- und Politikfaktoren, welche (den Prozess zur Auswahl einer) Policy-Entscheidung erklären, auch die Wertschöpfung, die über diese Entscheidung generiert wird, erklären können (siehe Schmid, 2024). Das ist insbesondere dann der Fall, wenn die Suche nach Erklärung für die gemessene Wertschöpfung sich auf «Throughputs» oder «Outputs» im politischen System fokussiert und daher nahe am politischen oder dem Entscheidungsprozess bleibt (Scharpf, 1999; Schmidt, 2013). In solchen Fällen kann die Suche daher als unproblematisch gelten. Werden hingegen entferntere gesellschaftliche «Impacts» evaluiert, wird die Bedeutung der AZI-Analysekategorien zu (Verfahren in) Politik und Verwaltung relativiert und gesellschaftliche oder institutionelle Erklärungsfaktoren ausserhalb der Kernkompetenzen des AZI gewinnen an Erklärkungskraft. Es gilt also insbesondere den AZI dahingehend zu erweitern, dass neu auch die Analyse solcher «Impacts» möglich gemacht wird.

Passt der AZI denn auf die Eigenheiten der Vollzugsphase im Policy-Cycle? Unter der schwachen Annahme, dass Verwaltungspolitik nur «Politik mit anderen Mitteln» (Herd/Moynihan, 2019) darstellt, ist auch eine Anwendung des AZI auf Outputs (Outcomes, Impacts) in der Umsetzungsphase passgenau. Ein solcher Wechsel erscheint nur ungewöhnlich, weil der AZI zumeist für die Analyse wegweisender, (partei-) politischer Entscheidungen nationaler Regierungen und deren Erarbeitungsphase eingesetzt wurde (siehe z.B. Bartle, 2006; Bendrath/Mueller, 2011; Coleman, 2001; Von Maravic, 2007). Die Analyse von Verwaltungspolitik erfordert damit nur eine Anpassung der analytischen Ebene, wofür der AZI mit Lindenbergs (1991) Prinzip der abnehmenden Abstraktion aber bereits gerüstet ist. Der AZI bietet Heuristiken von Makro- bis Individualebene (siehe Scharpf, 1997) und schreibt vor, dass nur auf der höchstmöglichen Abstraktionsebene Erklärungen gesucht werden, die genügend Erklärungskraft besitzt. Erst wenn die Erklärungskraft ungenügend ist, wird die Suche auf die nächsttiefere Ebene verschoben (Mayntz/Scharpf, 1995, S. 50).

Abbildung 1: Das systemische Analyseframework für Policy-Evaluationen.

Dieser Abschnitt stellt die Grundzüge des neuen systemischen Analyseframeworks für die Policy-Evaluation vor. Detaillierte Informationen, insbesondere zu den Eigenheiten der Analysekategorien und zur Terminologie, können in Schmid (2024, Kap. 2) nachgeschlagen werden. Der Abschnitt beginnt mit dem Framework selbst und erklärt daraufhin die einzelnen Analysekategorien.

Abbildung 1 zeigt das Analyseframework. Tabelle A im Anhang fasst dieses in Worten zusammen. Das Framework unterscheidet einen für die Analyse wichtigen Kontext von Vollzugsarrangements dem Wertschöpfungskonzept (unterschiedliche Schraffierungen). Mit kursiver Schrift betitelt sind die Labels der analytischen Kategorien, mögliche Operationalisierungskonzepte werden in Normalschrift innerhalb der Analysekategorien angegeben. Im Framework gibt es drei verschiedene zu untersuchende Kausalbeziehungen: Link 1 beschreibt die Untersuchung des Einflusses der Hauptanalysekategorien des AZI, d.h. des Vollzugsarrangements, auf das Wertschöpfungskonzept. Andere Untersuchungsdesigns wären z.B. die Prüfung des Einflusses der Kontextvariablen auf die Ausgestaltung des Vollzugsarrangements. Eine dritte Möglichkeit (Link 3) besteht darin, den Einfluss des Kontexts unabhängig des Vollzugsarrangements auf das Wertschöpfungskonzept zu evaluieren. Ein Vergleich der Erklärungskraft der Vollzugsarrangementsfaktoren gegenüber der Kontextfaktoren ist damit auch möglich.

Das Arrangement von Akteuren - hier im Vollzug - ist der analytische Dreh- und Angelpunkt des AZI. Die Begrifflichkeit folgt Rieder et al. (2014) und umfasst das Netzwerk von Akteuren, welche in der Politikumsetzung tätig sind. Damit sind nicht nur staatliche Akteure gemeint, auch nicht- oder parastaatliche Akteure und Stakeholder werden darunter verstanden. Er ist nicht zu verwechseln mit den «implementation arrangements» nach Sager/Gofen (2022), die darunter ebenfalls Vollzugsstrukturen oder vollzugsformende Institutionen miteinbeziehen (zur Terminologie siehe auch Imperial, 2021; Peters, 2014).

Die analytischen Grundbausteine im AZI sind die Akteure. Dabei werden im Allgemeinen nur «korporative Akteure» verstanden, d.h. diejenige Art von kollektiven Akteuren, die einen hohen Grad an Unabhängigkeit von den Präferenzen der eigenen Mitglieder / Mitarbeiter:innen aufweisen (Scharpf, 1997, S. 54). Diese Akteure bezeichnet man als «stark integriert». Mit dieser Unabhängigkeit ist nicht unbedingt die Existenz einer Rechtspersönlichkeit gemeint, sondern die Voraussetzung einer eigenständigen, strategischen Handlungsfähigkeit des Kollektivs als Einzelakteur. Eine solche setzt weiter eine minimale Ressourcenausstattung voraus. Weiter sind die Existenz interner Entscheidungsfindungskriterien und eine minimale Konsistenz des Handelns mit den eigens gefassten Entscheidungen vonnöten (siehe Hindess 1989 in Hodgson, 2006, S. 9). Sinnvoll als Minimalkriterien zur Konstitution eines Akteurs sind weiter zwei «organisatorische» Kriterien: Der Akteur soll mindestens Grenzen der Zugehörigkeit definieren (z.B. Mitglieder/Mitarbeiter:innen), sowie eine interne Verteilung von Verantwortlichkeiten vornehmen (Hodgson, 2006, S. 8). In den allermeisten Fällen sind die Grundeinheiten der Analyse also Organisationen (d.h. Ministerien, Verwaltungsdepartemente oder auch Firmen, teilweise auch Clubs, Vereine oder Genossenschaften). Diese Akteursdefinition ist deshalb wichtig, weil der AZI die Hauptkonfliktlinien entlang der Aussengrenzen von Akteuren behandelt (Treib, 2015, S. 297).

Diese konstitutiven Kriterien erfüllen zwei Zwecke: Zum einen vereinfacht eine Analyse organisierter Interessen und Konfliktlinien die unlimitierte Realität. Sollte die Erklärungskraft dieser Analyseebene nicht ausreichen, kann immer noch auf eine Individual- oder Mikro-Ebene gewechselt werden. Der Fokus auf solche Akteure ist in dieser Hinsicht «sparsam». Zum anderen stellen diese Kriterien die Bedingung für die Validität einer Analyse organisierter Interessen dar. Was den Test dieser Bedingungen angeht, so behandelt die Literatur diese oder vergleichbare Bedingungssets oft implizit und es wird empfohlen, diese nur bei Verdacht auf Nichterfüllung zu testen. Für die empirische Praxis sind diese Bedingungen bei der Populationsdefinition und der Auswahl der Stichprobe relevant, sind aber im Allgemeinen als unproblematisch einzustufen (Schmid, 2024, S. 76).

Schwieriger ist es hingegen sicherzustellen, dass Organisationsvertreter:innen aus der Sicht ihrer Organisationen und nicht aus persönlicher Warte antworten (Mayntz/Scharpf, 1995, S. 50 f.). Hier schlägt Scharpf vor, pragmatisch zu bleiben und nur dann dafür zu korrigieren, wenn die Antworten aus dem erwarteten «Bezugsrahmen» fallen (Scharpf, 1997, S. 60 f.).

Neben der Auswahl der Akteure steht die Messung deren problemrelevanten Attribute im Zentrum. Hier schlägt Scharpf die Erfassung sogenannter «Interaktionsorientierungen» vor (1997, S. 84 ff.). Damit bezeichnet er die Herangehensweise an die Koordination mit anderen Akteuren im Vollzugsarrangements. Er unterscheidet Individualismus, Solidarität, Wettbewerb, Altruismus und Feindseligkeit. Ein empirisches Testen dieser Orientierungen mit Selbsteinschätzungen bleibt aber weitestgehend impraktikabel, denn eine solche Erhebung setzt eine vertrauensvolle Beziehung zwischen Forscher:in und interviewter Person voraus, die von einer professionellen, konstruktiven Haltung im Namen der Organisation abweichen können muss. Das ist nicht realistisch. Stattdessen hat sich als produktiv erwiesen, diese Interaktionsorientierungen über Meinungen zum Politikfeld und zu relevanten Problemaspekten zu approximieren. Schmid (2024) schlägt vor, dies entlang der aus dem ACF bekannten «core» und «secondary beliefs» zu erheben (siehe z.B. Markard et al., 2016, S. 7 für eine Anwendung und Sabatier/Weible, 2007, S. 194, für die Theorie). Dabei sind die «core beliefs» die Analysekategorie, welche Scharpfs Interaktionsorientierungen konzeptuell am nächsten kommt (siehe Lorenz, 2011, S. 410).

Als Akteurskonstellation wird ein Netz von Akteuren und deren Beziehungen verstanden. Im Hinblick auf die Lösung eines politischen Problems sind Akteure in den meisten Fällen von den Handlungen anderer abhängig (Scharpf, 1997, Kap. 4). Die Akteure stehen in relativen Positionen zueinander: Was die Machtposition betrifft, so kann sich diese in unterschiedlichen Befugnissen, Ressourcen oder Fähigkeiten manifestieren (Mayntz/Scharpf, 1995). Dazu kommt die Bedeutung von Konfliktlinien zwischen den Akteuren: In Scharpfs späterer spieltheoretischer Formalisierung steht letztere gar im Zentrum (1997, Kap. 4). Am einen Ende stehen Spiele purer Koordination, bei welchen die gemeinsame Wertschöpfung dem Maximum entspricht. Am anderen Ende stehen Spiele des puren Konflikts, Nullsummenspiele bei welchen der Eine gewinnt, was der Andere verliert. Die meisten Problemsituationen befinden sich dazwischen und werden als Spiele mit gemischten Motiven bezeichnet.⁴

Wie können solche Akteurskonstellationen gemessen werden? Normale Entscheidungsprozesse im Umsetzungsprozess würden eine spieltheoretische Umsetzung aufgrund übergrosser Komplexität verbieten.⁵ Den früheren Vorschlägen von Mayntz und Scharpf (1995) folgend, passt die soziale Netzwerkanalyse (Borgatti/Ofem, 2010; Scott, 2017; Wasserman/Faust, 1994) als Methode zur Messung von relativer Macht und Konflikten gut: Eine derartige Messung fasst die Absicht des AZI, relative Positionen und Beziehungen als Erklärung für die Wertschöpfung aus einer Entscheidung anzuführen, passend zusammen.

Die Messung relativer Macht geschieht oft über den «reputational approach» (Dahl, 1961), bei welchem Interviewpartner oder Umfragebeantwortende einzeln nach den fünf mächtigsten Organisationen im Vollzugsarrangement befragt werden. Aggregiert ergibt sich daraus ein Bild relativer Positionen (siehe z.B. Fischer/Sciarini, 2015). Zur Erfassung der Konfliktlinien werden Interviewpartner oder Umfrageteilnehmende oft nach der Intensität der Konflikte oder Übereinstimmung zueinander befragt. Aggregiert ergeben sich daraus die wichtigsten Konfliktlinien. Bei beiden Konzepten (Macht und Konflikte) muss jeweils theoretisch bestimmt werden, wie damit umgegangen werden muss, wenn Akteure nicht im Austausch stehen. Kann z.B. in diesen Fällen überhaupt ein Konflikt bestehen?

Im Gegensatz zu den Akteurskonstellationen, die sich mit Akteuren und deren Beziehungen beschäftigen, designiert der Begriff der Interaktionsformen in erster Linie die Modi der Entscheidungsfindung (Mayntz/Scharpf, 1995, S. 60f.; Scharpf, 1997, Kap. 5–8). Interaktionsformen beziehen sich also auf die Regeln im Vollzugsarrangement, nach welchen Entscheidungen getroffen werden können. Diese Regeln sind entweder Verhandlungssache (und daher ein Beziehungselement) oder vorgegeben (und daher eher ein strukturierendes Element). Die vier theoretischen Idealtypen aus der Literatur sind der Unilateralismus, verhandlungs-definierte (ev. fallspezifische) Regeln, Abstimmungen mit unterschiedlichen Erfordernissen (einfache Mehrheit bis Einstimmigkeitserfordernis) oder auch die hierarchische Bestimmung.

Realistischerweise befindet sich der Prozess der Vollzugsentscheidungsfindung in westlichen, gefestigten Demokratien mit bedeutender Verwaltungsmacht aber normalerweise in einem Modus der «Verhandlungslösung im Schatten der Hierarchie» (Scharpf, 1997, S. 197 ff.). Dieser Modus bezeichnet, dass die Entscheidfindung an Unterhändler:innen delegiert wird, wobei diese über das Einbringen der Vetoposition der jeweiligen Vorgesetzten die «roten Linien» definieren (und damit den möglichen Lösungsraum verkleinern). Unterhändler:innen verfügen also nur über gewisse Entscheidungsfreiheiten, die von den Vorgesetzten definiert werden.⁶

Es stellt sich die grundsätzliche Frage, inwiefern diese Entscheidungsregeln als Institutionen gelten und daher im vorliegenden Analyseframework in den Kontext (Struktur) verschoben werden müssten oder ob diese als Teil der Vollzugsarrangements («Agency») verstanden werden sollten. Diese Klassifizierung hängt davon ab, wo für die Forschenden Struktur aufhört und wo Agency beginnt (siehe z.B. Heugens/Lander, 2009). Im vorliegenden Analysebeitrag wurde der Vorzug der «Agency» gegeben, weil davon ausgegangen wird, dass die Lösungsraum-strukturierenden Verhandlungspositionen der Vorgesetzten den Unterhändler:innen beträchtliche Freiheitsgrade belassen. Dahinter liegt die weitere Annahme (als Bedingung bei den Akteuren formuliert), dass die Arbeitsteilung zwischen Unterhändler:innen und Vorgesetzten so gestaltet ist, dass die Vorgesetzten die fachliche Materie weniger vertieft kennen und sich v.a. mit Management befassen, weshalb inhaltliche Vorgaben von oben in solchen Fällen keine Wirkung entfalten können.

Für den Vollzugsprozess ist die Differenzierung der genannten Interaktionsmodi aber mehrheitlich ungeeignet, da dieser in gefestigten, westlichen Demokratien wie erwähnt kaum variiert. In einem Kausalitätsverständnis von Regularität können unterschiedliche Outcomes nicht durch gleichbleibende Faktoren erklärt werden.⁷ Deshalb muss die Suche nach einem geeigneten Operationalisierungskonzept auf einer tieferen Analyseebene (unterhalb der Modi, d.h. im Verhalten der Einzelakteure) gesucht werden.

Für die Messung der Wertschöpfung durch Interaktionsformen schlägt Schmid (2024) deshalb vor, die Kollaborationsintensität heranzuziehen. Dies entspringt der theoretischen Überlegung, dass die Grösse der möglichen Lösungsräume (und daher der maximale Nutzen insgesamt und für die einzelnen Akteure) davon abhängt, wie intensiv die Akteure miteinander arbeiten. Als «negative» Koordination wird eine Koordinationsform bezeichnet, bei welcher Akteure ihre Handlungen dahingehend anpassen, dass sie es vermeiden, einander zu schaden (siehe Lindblom, 1965; Mohr/Scharpf, 1997; Scharpf, 1993, 1994 und insb. Scharpf, 1997, S. 112 ff.). Unter der Annahme, dass ein Schaden nicht akzeptiert würde und ein Gewinn von Null die Vetoposition eines jeden Akteurs darstellt, erlaubt diese Koordinationsform die Suche nach Lösungen in einem Pareto-optimalen Lösungsraum (Scharpf, 1997, S. 114): In einem solchen Lösungsraum kommen nur Lösungen, die alle besserstellen, ohne jemanden schlechter zu stellen, überhaupt erst in Frage. Da eine Beachtung der Vetoposition nur das Wissen um die Vetoposition der anderen und nicht die Kollaboration mit den anderen voraussetzt, ist eine solche Koordination transaktionskostenarm. Am anderen Ende des Koordinationsspektrums steht die «positive» Koordination (oder die «Problemlösungs-Orientierung»), in welcher jeder Akteur vertieft mit den anderen kollaboriert und die eigene Vetoposition auf ein Minimum reduziert (d.h. Eigeninteressen aufgibt). Eine solche Koordination öffnet den Lösungsraum für die Wertschöpfung weit über den Pareto-Raum hinaus, zum Kaldorischen Raum (1939): In diesem Raum können Akteure einen Verlust in Kauf nehmen, im Vertrauen, dass sie dafür mit dem Wert, den andere dafür erhalten, kompensiert werden. Eine solche Koordination erfordert die enge Kollaboration jedes Akteurs mit jedem, was die Transaktionskosten aber exponentiell erhöht.⁸

In Fällen der Ähnlichkeit des Entscheigungsmodus können Interaktionsformen demnach über eine Koordinationsmessung auf dem Kontinuum der negativen zur positiven Koordination gemessen werden (z.B. eine Kombination aus Frequenz und «Tiefe» der Zusammenarbeit). Forschende können bspw. jeden Akteur um die Einschätzung zur Kollaborationsintensität mit jedem anderen Akteur bitten. Eine Aggregation auf Fallebene erlaubt dann den Vergleich zwischen Fällen desselben Problems.⁹

Im Vergleich zu Erklärungen aus dem Vollzugsarrangement («Agency») bewerten Mayntz/Scharpf (1995, S. 46) Erklärungsfaktoren, die dem Kontext entspringen, als «entfernter». Im geläufigen AZI-Verständnis gilt es also erst dann kontextuelle Erklärungen anzuführen, wenn Erklärungen aus dem Vollzugsarrangement die Sachlage nur ungenügend ergreifen. Zur Erhöhung der Flexibilität des hier vorgeschlagenen Analyseframeworks ist diesbezüglich eine Anpassung angebracht. Dazu wird der Kontext im Folgenden weiter spezifiziert.

Grundlage der Anpassung bildet ein zweckmässigeres Institutionenverständnis, als das sehr breite nach Mayntz und Scharpf (1995, S. 47) angeführte. Aus Sicht der Autoren ist eine Institution eine «[...] definierte, praktizierte und sanktionierte Regelung», welche «[...] wechselseitige Erwartungssicherheit begründe[t] und so soziales Handeln über die Grenzen persönlicher Beziehungen hinaus überhaupt erst möglich mach[t]». Im Vergleich zum umgangssprachlichen Verständnis von politischen Institutionen als in-sich geschlossenes, selbstreferenzielles Regelungsgefüge auf Makroebene (Verfassungsstufe) wie z.B. das Parlament, die Regierung, ist das AZI-Verständnis also viel stärker auf Policy-Regeln und auf die Mikro-Ebene ausgerichtet. Sogar informelle Regeln, wie z.B. ein Handschlag, der als Vertragsabschluss gilt, fänden darin Platz.

Schmid (2024) schlägt deshalb vor, die Mikroebene (Policy-Regeln) von der Mesoebene (Policy-Prinzipien) und von der Makroebene (Institutionen) getrennt zu betrachten. Eine solche Einordnung entspricht der möglichen Tragweite einer Änderung («orders of change», siehe Hall, 1993) und umgekehrt auch dem Schwierigkeitsgrad, eine solche Änderung herbeiführen zu können. Ein Beispiel: Die Regel, wie oft pro Monat sich Arbeitssuchende um Stellen bemühen müssen, um an Arbeitslosengelder zu gelangen, soll nicht als Institution, sondern als Policy-Regelung deklariert werden. Zwischen den Makro-Regelwerken und den Policy-Regeln stehen die Policy-Prinzipien: Als Beispiel könnte hier das Neubauverbot von Kernkraftwerken in der Schweiz genannt werden.

Für die Policy-Evaluation ist zudem eine Differenzierung zwischen Policy- und Institutioneneffekten grundlegend. Mit dieser Lösung ist eine zweifache Veränderung gegenüber der klassischen Interpretation des AZI festzustellen: Erstens ist eine Reduktion der Tragweite des Institutionenbegriffs angezeigt. Diese impliziert jedoch keine Änderung im Verständnis von Struktur und Agency des AZI. Zweitens verschiebt ein Fokus auf institutionelle Erklärungen die Aufmerksamkeit atypischerweise weg von traditionelleren Vollzugsarrangement-Erklärungen.

Zu Letzterem: Wünschen Forschende den Einfluss des Kontexts auf ein Outcome zu prüfen, dann gilt es, den Kontext aus dem analytischen Hintergrund hervorzuheben und ihn auf die gleiche kausale «Nähe» zum Outcome zu bringen, die der AZI den Erklärungen aus dem Vollzugsarrangement gewährt. Theoretische oder epistemologische Gründe dies nicht zu tun, liegen keine vor. Die Nähe der Vollzugsarrangements ist der Ausdifferenzierung des Akteurspezifischen im AZI geschuldet. Mit der Ausdifferenzierung des Kontexts in verschiedene Analysekategorien relativiert das vorliegende Analyseframework daher die Erklärungsmacht des AZI.

Systemische Policy-Evaluationen integrieren bestenfalls mehrere Kriterien, nach welchen Effektivität beurteilt werden soll. Dies erfordert erstens ein vertieftes theoretisches Auseinandersetzen mit den Dimensionen der Wertschöpfung und zweitens die Messung mehrerer Konzepte.

Knoepfel et al. (2015) unterscheiden drei Kriterienklassen zur Messung von Effektivität: Erstens gibt es jene Policy-Evaluationen, welche die Zieldefinition im Hinblick auf ein gegebenes Problem bewerten («Pertinence»). Diese stehen zweitens jenen gegenüber, welche die Verhältnismässigkeit und Angemessenheit der Policy-Intervention gegenüber dem Ziel evaluieren («Effectivity»). In den meisten Fällen werden drittens aber Outcomes oder Impacts mit dem Ziel (auf dessen Skala) verglichen («Efficacy»).

Weiter muss zwischen jenen Policy-Evaluationen unterschieden werden, welche die «Distanzmessung» des Outputs, Outcomes oder Impacts zum Ziel ins Zentrum stellen und jenen, die darüber hinaus gehen, indem sie zusätzlich Erklärungen zum Zielerreichungsgrad zu liefern versuchen. Letztere Form der Policy-Evaluation strebt nach Kausalität, während erstere sich eher mit beschreibenden Resultaten begnügt (s. Qualifizierung weiter unten). Die kausale Erforschung des Zielerreichungsgrads bedingt wiederum die konzeptuelle Trennung der Messung des Zielerreichungsgrads von der Messung möglicher Kausalfaktoren. Dementsprechend werden Kausalfaktoren also nicht in der Zielskala gemessen und gesucht.

Outputs entsprechen dem direkten Resultat eines Entscheidungsprozesses, also der Policy-Intervention selbst. Diese kann z.B. die Form von Programmentscheiden oder Verfügungen annehmen. Outcomes, hingegen, erfassen die Verhaltensänderungen der Zielgruppen aufgrund des Outputs/der Policy-Intervention (Steinebach, 2023). Outcomes selbst sind also eine zielgruppenlimitierte Bewertung des kausalen Effekts des Outputs, bzw. der Policy-Intervention. Dagegen sind Impacts als kausale Effekte des Outputs auf die grössere Gesellschaft und ihre Umwelt zu verstehen (Steinebach, 2023). Outcomes und Impacts werden zumeist auf der Zielskala gemessen; je nach Zielgruppennähe des Impact-Konzepts können Impacts und Outcome auch dasselbe messen.

Selbst wenn also eher eine beschreibende «Distanzmessung» zwischen dem Ziel und Outcomes oder Impacts erarbeitet wird, müssen zumindest kausale Annahmen über die Wirkung der Outputs auf die Zielgruppe oder die Gesellschaft und Umwelt getroffen werden. Dies bedeutet, dass selbst wenn eine Outcome- oder Impact-Evaluation keine kausale Erklärungen für den Ist-Zustand anbringen will, sie es über die Messung (oder Annahmen) zu einem gewissen Grad trotzdem tun muss. Bei der Messung von Outcomes, die sehr nahe an den Outputs liegen, entfällt diese Hypothese allerdings praktischerweise: Beispielsweise liegt mit der Vergabe der Verfügung zur Baubewilligung einer Windkrafturbine (Output) dessen Wirkung auf die Antragssteller:in (Zielgruppe) auf der Hand (siehe Schmid, 2024).

Mit zunehmendem Abstand der zu erklärenden Grösse (vom Output oder der Policy-Intervention bis zum Impact), stehen zudem verschiedene Gruppen von Erklärungsfaktoren im Zentrum. Im vorliegenden Analyseframework sind solche Verschiebungen erwünscht. Der Vergleich von Outputs mit Zielen muss sich auf andere Erklärfaktoren fokussieren als der Vergleich von Impacts mit dem Ziel. Der hohe «Abstraktionsgrad» einer Impactmessung im Vergleich zu einer Outputmessung, bestimmt die Suche nach Erklärungsfaktoren mit. Während dem Vollzugsarrangement in der Outputevaluation eine grosse Erklärkraft zukommt, tut sie dies bei Outcomes weniger und bei Impacts noch weniger. Bei Policy-Evaluationen, die das Outcome zu erklären suchen, muss vermehrt auf Kontexterklärungen zurückgegriffen werden, während bei Impactanalysen die Erklärungskraft von Variablen aus dem Vollzugsarrangement noch tiefer sein wird.

Das vorgeschlagene Analyseframework auf der Basis des AZI bietet die Voraussetzungen, die vier Bedingungen für systemische Policy-Evaluationen vollständig zu erfüllen. Wie es das tut, soll im Folgenden aufgezeigt werden.

Interaktionsfokus (Bedingung 1) und unterschiedliche Perspektiven (Bedingung 2)

Was den benötigten Interaktionsfokus angeht, so ist das Fundament des AZI bereits «relational» (Akteurskonstellationen, Interaktionsformen), weshalb der Ansatz auch als Teil der «interaktionsorientierten» Policy-Forschung klassifiziert wird (Scharpf, 1997, S. 43; 2000, S. 763). Wichtig bleibt aber auch, dass trotz Interaktionsfokus die Eigenheiten der Akteure selbst nicht ausser Betracht gelassen werden.

Die Bedingung einer Integration unterschiedlicher Perspektiven in den Analysen entspricht ebenfalls der grundsätzlichen Ausrichtung des AZI. Eine Anwendung des AZI erfordert gar die Berücksichtigung verschiedener Sichtweisen, d.h. verschiedener Akteure. Akteursorientierungen, Akteurskonstellationen und Interaktionsformen können andernfalls gar nicht gemessen werden.

Auslotung der Analysegrenzen (Bedingung 3)

Die Bedingung der expliziten Diskussion der analytischen Grenzen kann mit dem vorliegenden Analyseframework ebenfalls vollständig erfüllt werden. Dabei muss aber zwischen Grenzen bei der Suche nach Kausalfaktoren und deskriptiven Grenzen zur Populations- und Akteursbeschreibung unterschieden werden. Letztere kann über Repetitionen gelöst werden: Die Idee dahinter ist es, Vollzugsarrangements als Netzwerke mit verschiedenen Grenzen zu bauen, also die verschiedenen Netzwerkmessungen über Vollzugsarrangements verschiedener Grössen laufen zu lassen. Schmid (2024) schlägt vor, als Robustheitstest die maximal mögliche Reduktion auf theoretisch definierte Hauptakteure im Vollzugsarrangement vorzunehmen und das Messresultat zu vergleichen.¹⁰

Zu den Grenzen bei der Identifikation der Kausalfaktoren bevorzugt der AZI klassischerweise Erklärungen aus dem Vollzugsarrangement («Agency») gegenüber kontextbasierten Erklärungen (Struktur). Wie oben vorgeschlagen soll sich die Auswahl der Kausalfaktoren nach dem zu bewertenden Konzept (Output/Outcome/Impact) richten.

Methodenpluralismus: eine quantitative Nutzbarmachung des AZI (Bedingung 4)

Die Bedingung des Methodenpluralismus, als letzte Voraussetzung für systemische Policy-Evaluationen, erfordert primär die Nutzbarmachung des AZI mit quantitativen Methoden. Aufgrund der hohen Anzahl an Analysekategorien und oft kleinen Fallzahlen («large X small N problem») verbietet sich eine quantitative, inferentielle Applikation, welche über soziale Netzwerkanalysen hinausgeht, oft von selbst.

Die qualitative Tradition des AZI ist keiner theoretischen Unvereinbarkeit mit quantitativen Methoden geschuldet, sondern liegt allein in der Tradition bisheriger Anwendungen (Schmid, 2024, S. 91 f.). Mit der Ausnahme von Kriesi/Jegen (2001) und einer theoretischen Simulation von Scharpf/Mohr (1997) selbst habe ich keine quantitativen Studien gefunden, die den AZI explizit operationalisieren – und auch Kriesi/Jegen (2001) bleiben notwendigerweise partiell in der Anwendung.

Zur quantitativen Nutzbarmachung genügt aber eine epistemologische Anpassung (also eine Anpassung, wie die Realität über Methoden abgebildet werden kann). Eine ontologische Anpassung (welche Teile der Realität existieren und relevant sind) ist nicht notwendig. Die Erweiterung und Vertiefung wissenschaftlicher Erkenntnisse durch die Kombination mehrerer epistemologischer Positionen entspricht gar direkt dem grundlegenden wissenschaftlichen Bestreben nach verbesserter Durchdringung des Forschungsobjekts.

Verstehen wir unter der Unterscheidung qualitativer und quantitativer Methoden den Ersatz von Worten durch Zahlen (Creswell, 2014), so muss die Attribution von Zahlen zu sozialen Phänomenen als reduktionistisch gelten. Daraus entspringende Resultate gewinnen aber (bei gleichbleibender Messvalidität) im Gegenzug an Generalisierbarkeit. Ganz im Sinne der systemischen Policy-Evaluation eröffnen quantitative Methoden die Möglichkeit der Systemvergleiche und daher den Test der Fallspezifizität qualitativ angebrachter Erklärungen. Eine quantitative AZI-Anwendung muss auch nicht zwingend weniger valide Messungen bedeuten: Neben qualitativ erarbeiteter Tiefe der Messungen und Methoden können auch mehrere quantitative Modellierungsarten und Modellspezifikationen, wie auch verschiedene Messungen in denselben Modellen, zur gesuchten Tiefe beitragen.

Die Neuerungen dieses Analyseframeworks gegenüber der bestehenden Literatur, die sich explizit auf dem AZI abstützt, sind fünffach: Erstens passt der AZI genauso für Entscheidungen grosser Tragweite von Regierungen oder der europäischen Union, wofür der AZI bisher angewendet wurde, wie auch für wenig umfassendere und bedeutungsvolle Vollzugsentscheide. Dies gilt unter den schwachen Annahmen, dass Verwaltungspolitik die Fortsetzung der «Politik mit anderen Mitteln» (Herd/Moynihan, 2019) darstellt und dass die wertschöpfungsrelevanten Analysekategorien auf Meso- und Makroebene sich nicht grundlegend von denjenigen auf Mikroebene unterscheiden.

Zweitens wird eine Perspektivenänderung vorgeschlagen: Der Beitrag präsentiert die Idee, von der Erklärung des Zustandekommens einer Entscheidung zur Erklärung der Wertschöpfung, die aus einer Entscheidung folgt, zu wechseln. Ein solcher Wechsel steht in vollständiger Übereinstimmung mit den vorgeschlagenen Nutzungen der Autoren selbst: Laut Scharpf (1997, S. 13) kann das «Positivistische» vom «Normativen» nicht getrennt werden, und dies sei auch nicht gewünscht. Durch den AZI solle die Policyforschung gar befähigt werden, die Kapazität von politischen Systemen gute Entscheidungen treffen zu können, analysiert werden (1997, S. 15, 89 f.) Über die Diskussion der Lösungsräume und Verteilungsgerechtigkeitskriterien bietet er selbst Ansätze zum evaluativen Test eines solchen politischen (Vollzugs-)Systems.

Die dritte Neuerung liegt in der Nutzbarmachung des AZI für quantitative Methoden. Es gibt keinen theoretischen oder praktischen Grund, sich auf qualitative Methoden zu beschränken. Im Gegenteil, die Kombination von qualitativen und quantitativen Methoden entsprechen der guten Praxis der sozialwissenschaftlichen Forschung. Quantitative Methoden bringen Vorteile in der Generalisierbarkeit der Resultate, ermöglichen Vergleiche und testen daher die Kontext- oder Fallspezifizität der bisherigen qualitativen Erklärungen.

Eine Öffnung hin zu quantitativen Methoden dient aber auch dem Ziel einer systemischen Policy-Evaluation, generalisierbare Kausalmechanismen zu produzieren. In Scharpfs (1997, S. 30 f.) Verständnis wird Kausalität über die Identifikation von kausalen Mechanismen nach Little (1991) hergestellt. Littles (1991) Kausalmechanismen erfordern, dass ein solcher Mechanismus das Outcome in «law-like regularity» produziert. Das ist eine sehr strenge Anforderung von Kausalität für die Vollzugsforschung. Einerseits erfordert die Etablierung von Kausalität daher mindestens ein qualitatives Process-Tracing (z.B. nach Beach/Pedersen, 2013). Andererseits setzt das Erfordernis der Regelmässigkeit eine quantitative Überprüfung über mehrere Fälle voraus. Auf der Suche nach eindeutiger Kausalität wird die qualitative Suche optimal mit den Vorteilen quantitativer Methoden kombiniert. In diesem Sinne repräsentieren quantitative Methoden eine notwendige, aber nicht hinreichende Bedingung zur Etablierung von Kausalität im AZI.

Viertens werden Differenzierungen vorgeschlagen, die das Analyseframework weiter flexibilisieren: So lassen die Ausdifferenzierung des Kontexts in drei verschiedene Kategorien, sowie das Verschieben des Erklärfokus je nach Evaluation eines Output, Outcomes oder Impacts eine umfassendere Diversität an Policy-Evaluationen zu, als wenn primär auf Erklärfaktoren des Vollzugsarrangements eingegangen werden muss. Ebenfalls präsentiert das Analyseframework drei verschiedene Konzepte zur Bewertung vor (Pertinence, Effectivity, Effectiveness) und schlägt vor, mehrere davon zu testen. Damit nähert sich das Analyseframework dem Idealbild der «multi-Kriterien» Evaluation (Cegan et al., 2017), das eine ähnliche aber nicht deckungsgleiche Entwicklung der Literatur zu Policy-Evaluationen fordert wie die «systemische» Evaluation.

Fünftens bringt das Analyseframework eine theoretische Spezifizierung, die weit über die geläufige, fallspezifische Anwendung des Context-Mechanism-Outcome (CMO)-Wirkungsmodell (siehe Pawson/Tilley, 1997) hinausgeht. Das AZI kann gar als eine generalisierte, auf Akteurserklärungen spezialisierte, ontologisch und theoretisch konsistente Realisierung dieses Modells verstanden werden. Die Schärfung des AZI für die Zwecke der Policy-Evaluation im vorliegenden Analyseframework kann daher ebenfalls als theoretisch konsistente Verfeinerung des sehr geläufigen CMO-Wirkungsmodells verstanden werden.

Dieser Beitrag bietet ein neues Analyseframework für Policy-Evaluationen in der Umsetzungsphase von Politikmassnahmen (Vollzug). Es bezweckt die Darbietung eines ontologisch und theoretisch konsistenten Rahmen für jene Policy-Evaluationen, die institutionelle, policy-spezifische und genuin politische Erklärung in der Wertschöpfung von Vollzugsentscheiden analysieren wollen. Hierfür diskutiert der Beitrag die verschiedenen theoretischen und methodischen Fragen, die sich bei einer Anpassung des AZI an Policy-Evaluationen im Vollzug aufdrängen. Der Beitrag präsentiert das angepasste Analyseframework und bewertet, inwiefern dieses die Bedingungen einer systemischen Policy-Evaluation erfüllt.

Ziel des neuen Analyseframework ist es, die Wertschöpfung, welche durch Vollzugsentscheide generiert wird, zu analysieren. Je nach Analysefokus auf Outputs, Outcomes oder Impacts soll in unterschiedlichem Masse auf Kontexterklärungen (Struktur) oder Erklärungen aus dem Vollzugsarrangement (Agency) zurückgegriffen werden. Das Framework besteht aus den folgenden Analysekategorien: Der Kontext wird in den institutionellen Kontext, den Policy-Kontext und weiteren Kontextbedingungen eingeteilt. Das Vollzugsarrangement differenziert Akteure von Akteurskonstellationen und Interaktionsformen: Akteure werden als jene Kollektive (Organisationen, Firmen, Departemente, Institute, etc.) definiert, welche die Fähigkeit zum strategischen Handeln aufweisen und gewisse weitere organisatorische Details erfüllen. Diese Akteure haben gewisse Interaktionsorientierungen, d.h. sie hegen unterschiedliche problemrelevante Präferenzen (Attribut). Die Akteure befinden sich in relativen Konflikt- und Machtpositionen zueinander (Akteurskonstellationen, relational). Die Akteurskonstellationen unterscheiden sich in der Kapazität, Wert zu produzieren, weiter über die Regeln und Intensität der Zusammenarbeit (Interaktionsformen, relational). Daraus ergeben sich verschiedene Analysemöglichkeiten: Ein erster sieht vor, den Einfluss des Vollzugsarrangements auf das Output/Outcome oder den Impact zu evaluieren. Ein zweiter schlägt vor, die Wirkung relevanter Kontextfaktoren auf das Vollzugsarrangement zu prüfen. Eine dritte Möglichkeit besteht darin, die Wirkung des Kontextes auf das Output/Outcome oder den Impact zu bewerten. Eine vollständige Anwendung untersucht alle drei Wirkmechanismen; Teilanwendungen bleiben selbstverständlich genauso möglich.

Die Stärke des Analyseframeworks ist dessen Flexibilität und Anpassungsfähigkeit: Diese wird erstens dadurch erhöht, dass potenziellen Anwender:innen offen gelassen wird, welcher Analysekategorie wie viel Erklärungskraft zugeteilt werden soll. Die Untersuchung von Impacts wird Erklärungen aus dem institutionellen Kontext einen höheren Stellwert beimessen müssen als die Untersuchung von Outputs. Zweitens wird der Kontext theoriegeleitet ausdifferenziert. Drittens wird argumentiert, weshalb der AZI für quantitative Anwendungen geeignet ist. Viertens liefert der AZI aber schon selbst eine hohe Flexibilität, was auch dessen Erfolg mitbegründet. Herausgehoben sei hier z.B. das Prinzip der abnehmenden Abstraktion nach Lindenberg (1991), welches eine flexible Anpassung der Analyseebene nach Erklärungskraft bietet.

Limitiert ist das Analyseframework in den gängigen Restriktionen beobachtender Forschung. Ethische Bedenken reduzieren die Möglichkeiten für experimentelle Policy-Interventionen. Quasi-experimentelle Methoden sind in der Policy-Evaluation aber weitverbreitet: «Difference-in-Difference» (Callaway/Sant’Anna, 2021) oder auch «Synthetic Control» (Hainmueller/Diamond, 2007) Methoden beschreiben einen Verlauf einer Situation ohne Policy-Intervention und vergleichen dieses Konstrukt mit dem tatsächlichen Verlauf der Situation. Solche Methoden sind bei glaubwürdigen kontrafaktischen Argumenten sinnvoll und auch mit dem vorliegenden Analyseframework vereinbar, sofern sie den hypothetischen Zustand und den Ist-Zustand mit dem Ziel der Policy-Intervention in Verbindung setzen (zielorientierte Evaluationen). Nicht zu vergessen ist die soziale Netzwerkanalyse, welche sich hervorragend für die Analyse des Vollzugsarrangements eignet. In einer ähnlichen kontrafaktischen Logik gibt es auch viele Möglichkeiten, das Mapping des Vollzugsarrangements mit Modellen (z.B. Stochastic Actor-oriented Models, Exponential Random Graph Models, Relational Event Models) inferentiell zu nutzen.

Eine weitere Limitation besteht darin, dass im vorliegenden Beitrag aus Platzgründen nur wenige Operationalisierungsvorschläge der verschiedenen Analysekategorien vorgeschlagen werden. Weiter beschränkt sich der Beitrag nur auf Beispiele aus der Dissertation von Schmid (2024), welche als Ausgangs- und Grundlagedokument für diesen Beitrag diente. Weitere Forschung könnte beispielsweise den Operationalisierungs- und Beispielkatalog ergänzen.

Am meisten Potenzial für die Weiterentwicklung des hier präsentierten Analyseframeworks ist aber dessen Anwendung in möglichst verschiedenen Politikfeldern und Fragen. Die Policy-Evaluation erhält mit dem AZI in diesem Analyseframework nicht nur eine tausendfach validierte (meta-)theoretische Basis, sondern wird auch dazu befähigt, sich dem Ideal der systemischen Evaluation zu nähern.

Jonas Schmid ist Postdoktorand am Institut für Politikwissenschaft und am Oeschger-Zentrum für Klimaforschung an der Universität Bern. Er ist zudem Preisträger des «Prix SEVAL» 2025. E-Mail: jonas.schmid@unibe.ch.

• Bartle, Ian (2006): Europeans outside the EU: Telecommunications and electricity reform in Norway and Switzerland, in: Governance, 19(3), S. 407–436. https://doi.org/10.1111/j.1468-0491.2006.00324.x.
• Beach, Derek / Pedersen, Rasmus (2013): Process-tracing methods: Foundations and guidelines, Ann Arbor, University of Michigan Press.
• Bendrath, Ralf / Mueller, Milton (2011): The end of the net as we know it? Deep packet inspection and internet governance, in: New Media & Society, 13(7), S. 1142–1160. https://doi.org/10.1177/1461444811398031.
• Borgatti, Stephen / Ofem, Brandon (2010): Social Network Theory and Analysis, in Daly, Alan J. (Hrsg.), Social network theory and educational change, Cambridge, Harvard Education Press, S. 17–29.
• Callaway, Brantly / Sant’Anna, Pedro H. C. (2021): Difference-in-Differences with multiple time periods, in: Journal of Econometrics, 225(2), S. 200–230. https://doi.org/10.1016/j.jeconom.2020.12.001.
• Cegan, Jeffrey C. / Filion, Ashley M. / Keisler, Jeffrey M. / und Linkov, Igor (2017): Trends and applications of multi-criteria decision analysis in environmental sciences: literature review, in: Environment Systems and Decisions, 37(2), S. 123–133. https://doi.org/10.1007/s10669-017-9642-9.
• Coleman, William D. (2001): Agricultural policy reform and policy convergence: An actor-centered institutionalist approach, in: Journal of Comparative Policy Analysis, 3(2), S. 219–241. https://doi.org/10.1023/A:1011472230633.
• Creswell, John W. (2014): Research design: Qualitative, quantitative, and mixed methods approaches (4. Aufl.), Thousand Oaks, Sage.
• Dahl, Robert A. (1961): Who governs? Democracy and power in an American city, New Haven, Yale University Press.
• de Haan, J. (2006): How emergence arises, in: Ecological Complexity, 3(4), S. 293–301. https://doi.org/10.1016/j.ecocom.2007.02.003.
• Fischer, Manuel / Sciarini, Pascal (2015): Unpacking reputational power: Intended and unintended determinants of the assessment of actors’ power, in: Social Networks, 42, S. 60–71. https://doi.org/10.1016/j.socnet.2015.02.008.
• Hainmueller, Jens / Diamond, Alexis (2007): Synth: Synthetic Control Group Method for Comparative Case Studies. Abgerufen von https://CRAN.R-project.org.
• Hall, Peter A. (1993): Policy paradigms, social learning, and the state: The case of economic policymaking in Britain, in: Comparative Politics, 25(3), S. 275. https://doi.org/10.2307/422246.
• Herd, Pamela / Moynihan, Donald P. (2019): Administrative burden: Policymaking by other means, New York, Russell Sage Foundation.
• Heugens, Pursey P. M. A. R. / Lander, Michel W. (2009): Structure! Agency! (And other quarrels): A meta-analysis of institutional theories of organization, in: Academy of Management Journal, 52(1), S. 61–85. https://doi.org/10.5465/amj.2009.36461835.
• Hodgson, Geoffrey M. (2006): Economics and Institutions, Journal of Economic Issues, 15(1), S. 1–25.
• Imperial, Mark T. (2021): Implementation structures: The use of top-down and bottom-up approaches to policy implementation, in Oxford Research Encyclopedia of Politic, Oxford, New York, Oxford University Press. Abgerufen von https://oxfordre.com/politics/view/10.1093/acrefore/9780190228637.001.0001.
• Kaldor, Nicholas (1939): Welfare Propositions of Economics and Interpersonal Comparisons of Utility, in: The Economic Journal, 49(195), S. 549–552.
• Knoepfel, Peter / Larrue, Corinne / Varone, Frédéric / Savard, Jean-François (2015): Analyse et pilotage des politiques publiques: France, Suisse, Canada, Montreal, Presses de l’Université du Québec.
• Kok, Kristiaan P. W. / Loeber, Anne M. C. / und Grin, John (2021): Politics of complexity: Conceptualizing agency, power and powering in the transitional dynamics of complex adaptive systems, in: Research Policy, 50(3), 104183. https://doi.org/10.1016/j.respol.2020.104183.
• Kriesi, Hanspeter / Jegen, Maya (2001): The Swiss energy policy elite: The actor constellation of a policy domain in transition, in: European Journal of Political Research, 39(2), S. 251–287. https://doi.org/10.1111/1475-6765.00577.
• Lasswell, Harold D. (1951): The policy orientation, in Lerner, Daniel / Lasswell, Harold, D. (Hrsg.), The policy sciences: Recent developments in scope and method, Stanford, Stanford University Press, S. 3–15.
• Lasswell, Harold D. (1971): A Pre-View of Policy Sciences, New York, American Elsevier.
• Lindblom, Charles E. (1965): The intelligence of democracy: Decision making through mutual adjustment, New York, The Free Press.
• Lindenberg, Siegwart (1991): Die Methode der abnehmenden Abstraktion: Theoriegesteuerte Analyse und empirischer Gehalt, in Esser, Hartmut / Troitzsch Klaus (Hrsg.), Modellierung sozialer Prozesse, Bonn, Informationszentrum Sozialwissenschaften, S. 29–78.
• Little, Daniel (1991): Varieties of social explanation: An introduction to the philosophy of social science, Boulder, Westview Press.
• Lorenz, Astrid (2011): Constitutional negotiations in federal reforms: Interests, interaction orientation and the prospect of agreement, in: Regional & Federal Studies, 21(4-5), S. 407–425. https://doi.org/10.1080/13597566.2011.578891.
• Markard, Jochen / Suter, Marco / Ingold, Karin (2016): Socio-technical transitions and policy change --- Advocacy coalitions in Swiss energy policy, in: Environmental Innovation and Societal Transitions, 18, S. 215–237. https://doi.org/10.1016/j.eist.2015.05.003.
• Mayntz, Renate (1978): Intergovernmental implementation of environmental policy, in Hanf, Kenneth / Scharpf, Fritz W. (Hrsg.), Interorganizational policy making: Limits to coordination and central control, London, Beverly Hills, Sage, S. 201–214.
• Mayntz, Renate / Scharpf, Fritz W. (1975): Policy-making in the German federal bureaucracy, Amsterdam, New York, Elsevier.
• Mayntz, Renate / Scharpf, Fritz W. (1995): Der Ansatz des akteurzentrierten Institutionalismus, in Mayntz, Renate / Scharpf, Fritz W. (Hrsg.), Gesellschaftliche Selbstregelung und politische Steuerung, Frankfurt a.M., Campus, S. 39–72.
• Mohr, Matthias / Scharpf, Fritz W. (1997): Efficient self-coordination in policy-networks --- A simulation study, in: Scharpf, Fritz. W. (Hrsg.), Games real actors play: Actor-centered institutionalism in policy research, Boulder, Westview Press, S. 245–279.
• Ostrom, Elinor (1986): An agenda for the study of institutions, in: Public Choice, 48(1), S. 3–25. https://doi.org/10.1007/BF00239556.
• Ostrom, Elinor (1990): Governing the commons: The evolution of institutions for collective action, Cambridge, New York, Cambridge University Press.
• Ostrom, Elinor (2011): Background on the Institutional Analysis and Development Framework, in: Policy Studies Journal, 39(1), S. 7–27. https://doi.org/10.1111/j.1541-0072.2010.00394.x.
• Pawson, Ray / Tilley, Nick (1997): Realistic evaluation, London, Thousand Oaks, Sage.
• Peters, B. Guy (2014): Implementation structures as institutions, in Public Policy and Administration, 29(2), S. 1–14. https://doi.org/10.1177/0952076713517733.
• Peters, B. Guy (2017): What is so wicked about wicked problems? A conceptual analysis and a research program, in: Policy and Society, 36(3), S. 385–396. https://doi.org/10.1080/14494035.2017.1361633.
• Pierce, Jonathan J. / Peterson, Holly L. / Jones, Michael D. / Garrard, Samantha P. / Vu, Theresa (2017): There and Back Again: A Tale of the Advocacy Coalition Framework, in: Policy Studies Journal, 45(1), S. 13–46. https://doi.org/10.1111/psj.12197.
• Polski, Margaret M. / Ostrom, Elinor (2017): An Institutional Framework for Policy Analysis and Design, in Cole, Daniel H. / McGinnis, Michael D. (Hrsg.), A Framework for Policy Analysis, Lanham, Lexington Books. https://doi.org/10.5040/9781666993875.
• Renger, Ralph (2015): System evaluation theory (SET): A practical framework for evaluators to meet the challenges of system evaluation, in: Evaluation Journal of Australasia, 15(4), S. 16–28. https://doi.org/10.1177/1035719X1501500403.
• Reynolds, Martin / Gates, Emily / Hummelbrunner, Richard / Marra, Mita / Williams, Bob (2016): Towards Systemic Evaluation, in: Systems Research and Behavioral Science, 33(5), S. 662–673. https://doi.org/10.1002/sres.2423.
• Rieder, Stefan / Balthasar, Andreas / Kissling-Näf, Ingrid (2014): Vollzug und Wirkung öffentlicher Politiken, in: Papadopoulos, Yannis / Knoepfel Peter / Sciarini, Pascal / Vatter, Adrian / Häusermann, Silja (Hrsg.), Handbuch der Schweizer Politik = Manuel de la Politique Suisse (5. Aufl.), Zurich, Neue Zürcher Zeitung, S. 563–598.
• Rittel, Horst / Webber, Melvin (1973): Dilemmas in a General Theory of Planning, in: Policy Sciences, 4(1), S. 155–169.
• Sabatier, Paul A. (1988): An advocacy coalition framework of policy change and the role of policy-oriented learning therein, in: Policy Sciences, 21(2), S. 129–168. https://doi.org/10.1007/BF00136406.
• Sabatier, Paul A. / Weible, Christopher M. (2007): The advocacy coalition framework: Innovations and clarifications, in Sabatier, Paul A. (Hrsg.), Theories of the policy process (2. Aufl.), Boulder, Westview Press, S. 189–222.
• Sager, Fritz / Gofen, Anat. (2022): The polity of implementation: Organizational and institutional arrangements in policy implementation, in: Governance, 35(2), S. 347–364. https://doi.org/10.1111/gove.12677.
• Scharpf, Fritz W. (1970): Demokratietheorie zwischen Utopie und Anpassung, Konstanz, Universität Konstanz.
• Scharpf, Fritz W. (1993): Positive und negative Koordination in Verhandlungssystemen, in: Héritier, Adrienne (Hrsg.), Policy-Analyse: Kritik und Neuorientierung, Wiesbaden, VS Verlag für Sozialwissenschaften, S. 57–83. Abgerufen von http://link.springer.com/10.1007.
• Scharpf, Fritz W. (1994): Games real actors could play: Positive and negative coordination in embedded negotiations, in: Journal of Theoretical Politics, 6(1), S. 27–53. https://doi.org/10.1177/0951692894006001002.
• Scharpf, Fritz W. (1997): Games real actors play: Actor-centered institutionalism in policy research, Boulder, Westview Press.
• Scharpf, Fritz W. (1999): Governing in Europe: Effective and democratic? Oxford, New York, Oxford University Press.
• Scharpf, Fritz W. (2000): Institutions in Comparative Policy Research, in: Comparative Political Studies, 33(6–7), S. 762–790. https://doi.org/10.1177/001041400003300604.
• Scharpf, Fritz W. / Reissert, Bernd / Schnabel, Fritz (1978): Policy effectiveness and conflict avoidance in intergovernmental policy formation, in: Hanf, Kenneth / Scharpf, Fritz W. (Hrsg.), Interorganizational policy making: Limits to coordination and central control, London, Beverly Hills, Sage, S. 57–112.
• Schlager, Edella / Cox, Michael (2018): The IAD Framework and the SES Framework: An Introduction and Assessment of the Ostrom Workshop Frameworks, in Theories of the Policy Process (4. Aufl.), Routledge.
• Schmid, Jonas (2024): Decentralization and Wind Energy Permitting: An Evaluation of Implementation Effectiveness in Switzerland and Europe, Baden-Baden, Nomos. Abgerufen von www.nomos-elibrary.de/index.php?doi=10.5771.
• Schmidt, Vivien A. (2013): Democracy and legitimacy in the European Union revisited: input, output and «throughput», in: Political Studies, 61(1), S. 2–22. https://doi.org/10.1111/j.1467-9248.2012.00962.x.
• Scott, John (2017): Social network analysis (4. Aufl.), Thousand Oaks, Sage.
• Scriven, Michael (1991): Evaluation Thesaurus (4. Aufl.), Newbury Park, Sage.
• Steinebach, Yves (2023): Environmental Policy Outputs, Outcomes, and Impacts, in Jörgens, Helge / Knill, Christoph / Steinbach, Yves (Hrsg.), Routledge Handbook of Environmental Policy, Taylor & Francis, S. 28–42.
• Treib, Oliver (2015): Akteurzentrierter Institutionalismus, in Wenzelburger, Georg / Zohlnhöfer (Hrsg.), Handbuch Policy-Forschung, Wiesbaden, Springer, S. 277–303.
• Von Maravic, Patrick (2007): Decentralized corruption in Germany, in: Public Administration Quarterly, 30(3/4), S. 440–478.
• Wasserman, Stanley / Faust, Katherine (1994): Social network analysis: Methods and applications, Cambridge, New York, Cambridge University Press.
• Weible, Christopher M. / Fischer, Manuel / Ingold, Karin (2024): The advocacy coalition framework and policy implementation, in: Handbook of Public Policy Implementation, Edward Elgar Publishing, S. 180–192. Abgerufen von www.elgaronline.com.
• Weible, Christopher / Sabatier, Paul (2006): A guide to the advocacy coalition framework, in: Fischer, Frank / Miller, Gerald / Sidney, Mara (Hrsg.), Public Administration and Public Policy, CRC / Taylor & Francis, Bd. 3, S. 123–136.
• Wollmann, Hellmut (2007): Policy Evaluation and Evaluation Research, in: Handbook of Public Policy Analysis, Routledge.

Tabelle A: Das Analyseframework kurz erklärt.