In der Schweiz ist die Evaluation als wissenschaftliche Dienstleistung zur systematischen und transparenten Bewertung von Politik heute fest etabliert. So werden anhand von Evaluationen die Ressourcen, Leistungen, Prozesse und Wirkungen von staatlichen Aktivitäten regelmässig evaluiert. Aufgrund der Anzahl durchgeführter Evaluationen und der auf Evaluation spezialisierten Stellen zeichnen sich vor allem der Bildungsbereich, das Gesundheits- und Sozialwesen sowie die internationale Entwicklungszusammenarbeit durch eine rege Evaluationstätigkeit aus. Im internationalen Vergleich zählt die Schweiz heute zu jenen Staaten, in denen Evaluation am besten verankert ist und sich eine ausgeprägte Evaluationskultur entwickelt hat (Jacob et al. 2015).
Mit dem von Fritz Sager, Thomas Widmer und Andreas Balthasar herausgegebenen Sammelband wird die Rolle und Bedeutung der Evaluation im politischen System der Schweiz erstmals umfassend aufgearbeitet und dargestellt. Die einzelnen Beiträge des Sammelbandes stützen sich hauptsächlich auf die Ergebnisse eines kürzlich abgeschlossenen mehrjährigen Forschungsprogramms des Schweizerischen Nationalfonds («SynEval: Policy Evaluation in the Swiss Political System – Roots and Fruits»). Die meisten Autorinnen und Autoren der Beiträge haben selbst an dem Forschungsprogramm mitgewirkt, das an den Universitäten Zürich, Bern, Lausanne, Luzern und Genf realisiert wurde.
Warum sich die Schweiz als guter Nährboden für die Entwicklung einer Evaluationskultur erweist, wird im vorliegenden Sammelband untersucht. Im Vordergrund stehen dabei verschiedene Eigenschaften des politischen Systems wie der Föderalismus und die direkte Demokratie. Welche Bedeutung haben diese typischen Eigenschaften des schweizerischen politischen Systems für die Entwicklung der Evaluation in der Schweiz? Wie beeinflussen Evaluationen die Problemlösungsfähigkeit des schweizerischen politischen Systems? Welchen Beitrag leisten Evaluationen zur Stärkung der Demokratie und zur Versachlichung des politischen Diskurses? Haben Evaluationen weiterhin eine Berechtigung im politischen System der Schweiz? Diese Fragen werden im Buch aus einer politikwissenschaftlichen Perspektive beleuchtet.
Die Evaluationskultur, wie sie sich in der Entwicklung und im Umfang der Evaluationsaktivitäten, den in den Behörden aufgebauten Evaluationskapazitäten sowie der Professionalisierung der Evaluation zeigt, wird in Abhängigkeit der spezifischen Eigenheiten des schweizerischen politischen Systems untersucht. Umgekehrt beeinflusst die Evaluationskultur wiederum politische Inhalte, Strukturen und Prozesse. Wie Andreas Balthasar, Fritz Sager und Thomas Widmer einleitend feststellen, eignet sich die Schweiz ideal zur Untersuchung solcher Wechselwirkungen zwischen politischem System und Evaluation. Erstens erlaubt die Vielfalt der Schweiz Vergleiche innerhalb ihres politischen Systems. Zweitens sind der Föderalismus und die direkte Demokratie zwei herausragende Eigenschaften des schweizerischen politischen Systems, deren Bedeutung für die Evaluation kontrovers diskutiert wird.
Die Kontaktpunkte der Evaluation zum politischen System in der Schweiz werden im Beitrag von Fritz Sager, Johanna Künzler und Philipp Lutz systematisch herausgearbeitet. Die Autorin und die Autoren greifen dabei auf die analytische Unterscheidung von input- und outputorientierter Legitimierung von Politik zurück. Die Input-Legitimität betont den demokratischen Prozess als Grundlage staatlichen Handelns und ist im Selbstverständnis des schweizerischen politischen Systems tief verankert. Die Output-Legitimation dagegen beruft sich auf die Funktionalität und die Leistungserbringung staatlichen Handelns, wobei sich die Legitimation durch die Problemlösungskapazitäten der Politik und damit durch den Nutzen am «Gemeinwohl» ergibt. Evaluationen sind klassischerweise auf dieser Output-Seite angesiedelt. Mit seinen auf Konsens und Kompromissfindung ausgelegten Mechanismen wird im schweizerischen politischen System hingegen stark die inputseitige Legitimation betont, was für die Evaluation als eher hinderlich angesehen wird. Es zeigt sich aber, dass sich Input- und Output-Legitimation nicht auf den Beginn respektive das Ende des politischen Prozesses beschränken, sondern beide Legitimationsarten in den verschiedenen Phasen relevant sind. So kann die Output-Legitimation schon in der vorparlamentarischen Phase zum Zug kommen, wenn etwa bei der Erarbeitung einer neuen Politik auf Erkenntnisse aus anderen Politikprozessen (zum Beispiel anhand von Evaluationen) abgestützt wird. Zudem, so wird aufgezeigt, können Evaluationen in der Umsetzungsphase durch den Einbezug direkt Betroffener zur Input-Legitimation beitragen.
Vor dem Hintergrund der Eigenheiten des schweizerischen politischen Systems zeichnet Thomas Widmer die Geschichte der Evaluation in der Schweiz nach. Dabei unterscheidet er vier Entwicklungsperioden. In der Pionierphase bis zum Jahr 1990 wurde Evaluation in der Schweiz vorwiegend als «Kunst» betrieben, die sich durch punktuelle und sporadische Evaluationstätigkeiten auszeichnete, die kaum miteinander in Beziehung standen. In der anschliessenden Aufbauphase von 1990 bis 2000 entwickelte sich die Evaluation zu einem «Handwerk», indem sich die Evaluationsaktivitäten vor allem auf Bundesebene ausweiteten und systematischer wurden. Es entstand mit der Schweizerischen Evaluationsgesellschaft (SEVAL) eine Fachgesellschaft, welche die weitere Entwicklung der Evaluation in der Schweiz massgeblich prägen sollte. Die Phase fand ihren Abschluss mit der Verankerung der Evaluation in der Bundesverfassung (Art. 170 BV) und der Verabschiedung von schweizerischen Evaluationsstandards (SEVAL-Standards). In der Reifephase von 2000 bis 2010 wurde Evaluation zu einer eigentlichen «Manufaktur», indem Evaluationen nun arbeitsteilig und in mehr oder weniger klar organisierten Strukturen abgewickelt werden. Seit 2010 beobachtet Widmer schliesslich eine zunehmende Bürokratisierung der Evaluationstätigkeiten, in der Evaluation zunehmend zu einer «Industrie» zu verkommen drohe. Wie Widmer zeigt, orientiert sich die Evaluation heute verstärkt an der bürokratischen Logik des Audits und damit an den Postulaten der Rechtskonformität (compliance) und Kontrollierbarkeit (controllability). Die damit verbundene Standardisierung der Evaluation habe zur Folge, dass sich die Evaluation von den wissenschaftlichen Grundsätzen der methodischen Offenheit und Innovation wegbewege. Diese Tendenzen zeigen sich nach Widmer in zwei aktuellen Entwicklungen der Evaluationspraxis in der Schweiz, nämlich den auf einen bestimmten Evaluationsablauf ausgerichteten revidierten SEVAL-Standards sowie der Diskussion innerhalb der SEVAL über eine mögliche Zertifizierung von Evaluationsfachpersonen.
Gestützt auf eine im Rahmen des genannten Forschungsprogramms aufgebaute Datenbank (SynEval-Datenbank) geben Kathrin Frey, Vanessa Di Giorgi und Thomas Widmer ein detailliertes Bild über die Entwicklung der Evaluationsaktivitäten in den Politikbereichen Bildung, Energie und Gesundheit zwischen 2000 und 2012. Erfasst wurden alle öffentlich zugänglichen Evaluationen in den Kantonen Bern, Genf und Zürich sowie auf Bundesebene. Die ausgewählten Politikbereiche und Kantone zeichnen sich dadurch aus, dass sie gemäss früheren Untersuchungen eine vergleichsweise systematische und umfangreiche Evaluationstätigkeit aufweisen. Das umfangreiche Datenmaterial zeigt, dass kantonale Politiken – trotz weitreichender kantonaler Zuständigkeiten in den drei ausgewählten Politikbereichen – deutlich weniger häufig evaluiert werden als nationale Politiken. Zudem variieren die Evaluationsaktivitäten der untersuchten Kantone zum Teil erheblich. Auch wird deutlich, dass der Verwaltung auf Bundes- wie kantonaler Ebene eine herausragende Rolle als Auftraggeberin von Evaluationen zukommt und die Verwaltung damit die Evaluationsaktivitäten stark prägt.
Für alle Politikbereiche, jedoch beschränkt auf die Ebene des Bundes, zeichnen Andreas Balthasar und Chantal Strotz die historische Entwicklung der Evaluationsaktivitäten in der Schweiz nach. Der Autor und die Autorin gehen in ihrem Beitrag der Frage nach, ob sich in einzelnen Bundesämtern eine systematische Evaluationspraxis eingespielt und eine Evaluationskultur etabliert hat und ob es Verwaltungseinheiten gibt, die von dieser Entwicklung bisher weitgehend unberührt blieben. Zu diesem Zweck wurde eine frühere von Balthasar durchgeführte Erhebung für die Jahre 1999–2002 um eine Bestandsaufnahme für die folgenden Jahre bis 2015 erweitert. Dabei zeigt sich eine leichte zahlenmässige Zunahme der durchgeführten Evaluationen über die Jahre, wobei durchschnittlich jährlich rund 83 Evaluationen zu verzeichnen sind. Zwischen den Jahren gibt es allerdings deutliche Schwankungen. Diese könnten teilweise mit den beiden Erhebungszeitpunkten der Untersuchung zusammenhängen. Es ist jedoch auch gut möglich, dass der 1999 in der Bundesverfassung verankerte Artikel 170 in den folgenden Jahren eine gewisse Dynamik ausgelöst hat, die sich später wieder abschwächte. Auch vermuten der Autor und die Autorin mehr oder weniger unabhängige Entwicklungen in den einzelnen Bundesämtern und Dienststellen, die aufgrund des umfangreichen Datenmaterials nachgezeichnet werden können. Die quantitativen Befunde werden schliesslich mit einer qualitativen Analyse der Evaluationstätigkeiten in je einem ausgewählten Bundesamt mit einer starken (Bundesamt für Gesundheit), einer mittleren (Bundesamt für Energie) und einer schwachen (Eidgenössische Finanzverwaltung) Verankerung der Evaluation vertieft.
Die Evaluationskultur auf kantonaler Ebene untersuchen Olivier Dolder, Walter Rohrbach und Frédéric Varone. Sie begeben sich damit in ein bisher wenig erforschtes Feld. Bisherige Studien beschränkten sich hauptsächlich auf institutionelle Aspekte sowie auf die Evaluationstätigkeiten in den Kantonen. Über diese beiden Faktoren hinaus untersuchen die drei Autoren auch die Einstellungen der Mitarbeitenden von Verwaltungseinheiten hinsichtlich der Evaluation als ein konstituierendes Element von Evaluationskultur. Neben weiteren Datenquellen (u. a. die SynEval-Datenbank) bilden die Ergebnisse einer Onlineumfrage in den Kantonen Bern, Basel-Stadt und Luzern in den Politikfeldern Gesundheit und Bildung die empirische Grundlage. Dabei interessiert die Frage, ob sich die Evaluationskultur in unterschiedlichen Verwaltungseinheiten eher entlang von Politikfeldern (und damit kantonsübergreifend) oder eher kantonsspezifisch entwickelt hat. Die untersuchten Verwaltungseinheiten werden dann einem von drei Idealtypen zugeordnet: Einheiten mit kaum entwickelter, mit teilweise entwickelter oder mit voll entwickelter Evaluationskultur. Dabei zeigt sich, dass sich die Evaluationskulturen über die Jahre entwickelt respektive weiterentwickelt haben. Die Fallstudien machen zudem deutlich, dass sich die Evaluationskultur zwischen den Politikfeldern stärker unterscheiden als zwischen den Kantonen innerhalb eines Politikfeldes, was für eine politikfeldspezifische und weniger eine kantonsspezifische Entwicklung von Evaluationskultur spricht.
Institutionelle Fragen werden im Beitrag von Damien Wirths, Christian Rosser, Katia Horber-Papazian und Luzius Mader weiter vertieft. Untersucht werden die gesetzlichen Evaluationsklauseln, die die Bundes- und die Kantonsbehörden verpflichten, die Wirksamkeit staatlicher Massnahmen zu überprüfen oder überprüfen zu lassen. Während die Evaluationsklauseln auf Bundesebene bereits Gegenstand früherer Bestandsaufnahmen und wissenschaftlicher Studien waren, wendet sich der vorliegende Beitrag der Situation in den Kantonen zu. Und zwar wird erstmals eine Vollerhebung der Evaluationsklauseln in den kantonalen Verfassungen, Gesetzen und Verordnungen sowie deren Entstehung und Umsetzung präsentiert. Die Resultate der kantonalen Erhebung werden anschliessend durch einen Vergleich mit der Bundesebene in einen gesamtschweizerischen Kontext gestellt. Es zeigt sich, dass die Verankerung der Evaluation in der Bundesverfassung eine katalysierende Wirkung auch auf die Verankerung von Evaluationsklauseln auf kantonaler Ebene hatte.
Mit den Evaluierenden – also den Personen, die Evaluationen durchführen – beschäftigt sich der Beitrag von Lyn Pfleger, Stefan Wittwer und Fritz Sager. Nur wenige Berufsgruppen seien in Bezug auf ihren Tätigkeitsbereich und Ausbildungshintergrund so heterogen wie diejenige der Evaluierenden, halten die Autorin und die Autoren gleich zu Beginn ihres Beitrags fest. Wie die Darstellung der Ergebnisse aus einer Befragung der SEVAL-Mitglieder sowie eine Auswertung der in der SEVAL-Datenbank verzeichneten Evaluierenden zeigt, bezieht sich diese Vielfalt heute jedoch hauptsächlich auf die zentralen Arbeitsgebiete der Evaluierenden. Hinsichtlich ihrer Ausbildung und Berufserfahrung ist die Evaluationsgemeinschaft in der Schweiz deutlich homogener. Typischerweise haben die Evaluierenden einen Studienhintergrund in Sozial- oder Wirtschaftswissenschaften und arbeiten in universitären Instituten oder für ein privates Forschungsbüro. Die meisten haben eine langjährige Berufserfahrung und führten bereits mehr als zehn Evaluationen durch. Methodisch werden mehrheitlich Interviews, Befragungen und Dokumentenanalysen eingesetzt.
Mit Fragen zur Nutzung von Evaluationen durch Regierung und Verwaltung befassen sich Kathrin Frey und Simone Ledermann. Sie ordnen die Evaluation als eine Informationsform für die Wahrnehmung von Regierungs- und Verwaltungsaufgaben in den breiteren Kontext einer evidenzbasierten Politikgestaltung ein. In ihrer Synthese der bestehenden empirischen Forschung zeigen die Autorinnen auf, dass vor allem in der vorparlamentarischen Phase der Gesetzgebung Regierung und Verwaltung zwar häufig systematische Abklärungen vornehmen, Evaluationen dabei aber nicht zwingend im Vordergrund stehen. Die Autorinnen kommen deshalb zu einem mehrheitlich kritischen Befund, was den Beitrag der Evaluation zu einer evidenzbasierten Politikformulierung betrifft. Hingegen zeigt die aufgearbeitete Forschung, dass besonders die Verwaltung Evaluationen zur Evidenzbasierung ihrer Entscheide im Rahmen der Politikumsetzung nutzt. Während die unterschiedlichen Formen der Nutzung von Evaluationen (konzeptionelle, symbolische, prozessuale Nutzung) im politischen Prozess relativ gut erforscht sind, bleibt weitgehend offen, ob die Nutzung von Evaluationen tatsächlich zu einer wirksameren und damit besseren Politik führt. Die Autorinnen schlagen deshalb vor, die Forschung zur Nutzung von Evaluationen mit einer Wirkungsforschung zu ergänzen.
Wie die Parlamente in der Schweiz und ihre Mitglieder Evaluationen für Gesetzgebungs- und Oberaufsichtstätigkeiten nachfragen und nutzen, untersuchen Daniela Eberli und Pirmin Bundi. In der Schweiz kommt den Parlamenten bei der Evaluation eine zentrale institutionelle Rolle zu. So hat nach Artikel 170 BV die Bundesversammlung dafür zu sorgen, dass Massnahmen des Bundes auf ihre Wirksamkeit überprüft werden. In den Kantonen bestehen teilweise ähnliche Vorgaben. Umgekehrt ist aus der Literatur bekannt, dass Parlamente für Evaluationen ein schwieriges Umfeld sind, da Parlamentsbeschlüsse vor allem entlang ideologischer oder interessenbasierter Linien erfolgen. Vor dem Hintergrund dieses Spannungsfelds haben Eberli und Bundi die Nachfrage nach Evaluationen und deren Nutzung für die parlamentarische Oberaufsicht sowie die Gesetzgebung empirisch untersucht. Sie befragten hierzu die Parlamentsmitglieder auf Bundesebene sowie sämtlicher Kantonsparlamente. Dabei zeigt sich, dass die Parlamentsmitglieder Evaluationen durchaus nachfragen; eine Mehrheit der befragten Parlamentarierinnen und Parlamentarier gab an, bereits einmal einen Vorstoss eingereicht zu haben, der eine Evaluation anregte. Im Gegensatz dazu stellen die Autorin und der Autor allerdings eine geringe Nutzung von Evaluationen durch die Parlamentsmitglieder fest. Mögliche Gründe liegen bei den beschränkten Ressourcen der Milizparlamentarierinnen und -parlamentarier, der institutionell vergleichsweise eher schwachen Stellung der Parlamente gegenüber Regierung und Verwaltung sowie der Bedeutung der direktdemokratischen Instrumente im Gesetzgebungsprozess. Die Parlamente nutzen Evaluationen bisher hauptsächlich im Rahmen der Oberaufsicht über Regierung und Verwaltung, jedoch kaum im Rahmen ihrer Gesetzgebungstätigkeit.
Zum Schluss beleuchten Iris Stucki und Caroline Schlaufer die Bedeutung von Evaluationen im direktdemokratischen Diskurs. Sie zeigen in ihrem Beitrag anhand einer Analyse ausgewählter Abstimmungskampagnen, dass auch die meist negativ konnotierte symbolische Nutzung von Evaluationen zur Bestärkung einer bereits bestehenden Haltung durchaus auch positiv bewertet werden kann. So zeichnet sich die politische Nutzung von Evaluationen zum Beispiel dadurch aus, dass Informationen über die Wirkung der Politik in den politischen Diskurs Eingang finden. Auch wenn die Nutzung von Evaluationsergebnissen im Rahmen der Kampagnenführung hauptsächlich politisch motiviert ist, erhalten die Stimmbürgerinnen und Stimmbürger dadurch zusätzliche Informationen für ihre Meinungsbildung, was im Idealfall zu einer Verbesserung des direktdemokratischen Diskurses führt.
In ihrer abschliessenden Gesamtbetrachtung kommen die Herausgeber zum Schluss, dass das politische System der Schweiz der Evaluationstätigkeit zwar nicht unmittelbar förderlich ist, es verhindert sie aber auch nicht. Die übergeordnete Frage, ob das schweizerische politische System auch in Zukunft einen guten Nährboden für die (Weiter-)Entwicklung einer Evaluationskultur bildet, beantworten sie jedoch mit einem deutlichen Ja. So werden in den einzelnen Beiträgen nicht nur hinderliche Faktoren aufgezeigt, sondern auch ungenutztes Potenzial. Aus Sicht der Forschung identifizieren Sager, Widmer und Balthasar in ihren Schlussfolgerungen schliesslich drei zentrale Forschungslücken: Erstens ist die internationale Einbettung der schweizerischen Evaluationsaktivitäten bisher wenig erforscht. Während Verwaltung und Politik in internationalen Gremien (z. B. OECD, IWF, WHO) gut vertreten sind, ist die internationale Verflechtung der nationalen Evaluationsinstanzen bisher wenig erforscht. Zweitens fehlt systematisches Wissen über die Evaluationsaktivitäten auf kommunaler Ebene. Drittens ist die Forschung stark auf die Nutzung sowie auf die Bereitstellung von Evaluationen konzentriert. Bezüglich der Nachfrage nach Evaluationen bestehen trotz wichtiger Erkenntnisse aus den dargestellten Beiträgen viele offene Fragen.
Die vorliegende Buchpublikation bietet einen reichhaltigen und umfassenden Überblick über die Bedeutung der Evaluation im politischen System der Schweiz. Die einzelnen Beiträge stützen sich auf den nationalen und internationalen Forschungsstand und haben diesen durch ihre neuen und empirisch breit abgestützten Forschungsergebnisse entscheidend weiterentwickelt. Der Sammelband ist damit das massgebliche Überblickswerk zur Rolle und Praxis der Evaluation im schweizerischen politischen System. Er bietet sowohl Personen aus der Praxis – sei es seitens der Evaluierenden oder seitens der Auftraggebenden in den politischen Behörden und Verwaltungsstellen – als auch der Forschung eine fundierte und äusserst lesenswerte Gesamtschau aus politikwissenschaftlicher Sicht. Für die zukünftige Forschung über Evaluation in der Schweiz bilden das Buch eine unverzichtbare Grund- und Ausgangslage.
Christian Hirschi, Parlamentarische Verwaltungskontrolle, Bern
- Jacob, Steve / Speer, Sandra / Furubo, Jan-Eric, 2015, The Institutionalization of Evaluation Matters: Updating the International Atlas of Evaluation 10 Years Later, Evaluation 21(1), p. 6–31.