Table des matières
Die Institutionalisierung der Evaluation wird in drei Bereichen verortet und bewertet. Wie dies gemacht wurde, wird am Beispiel der Schweiz gezeigt. Die entsprechenden Bereiche und die verwendeten Kriterien sind kursiv gesetzt:
Der erste Bereich ist die Institutionalisierung im politischen System. In der Schweiz ist Evaluation auf Verfassungs-, Gesetzes- und auf Verordnungsebene rechtlich gut verankert. Evaluation ist in Form von Evaluationsdiensten organisatorisch gut ausdifferenziert und gehört prominent zum Tätigkeitsbereich des «Rechnungshofs» (Eidg. Finanzkontrolle). Ebenfalls hoch ist die Nutzung der Evaluation im Parlament, in Bezug auf die sektorale Breite und in Bezug auf die Intensität und die Frequenz von Evaluationen (S. 486). All dies gehört zum ersten Bereich.
Ebenfalls recht fortgeschritten ist zweitens die Nutzung der Evaluation im sozialen System, und zwar wie folgt: in der (allerdings noch eher bescheidenen) Bezugnahme auf Evaluationen in der Zivilgesellschaft, in der Forschung über Evaluation (dank dem Projekt Syneval: Sager, Widmer & Balthasar 2017), im medialen und öffentlichen Diskurs und im Zugang der Öffentlichkeit zu Evaluationen (S. 501).
Untersucht und verglichen wird drittens die Professionalisierung der Evaluation und dies in Bezug auf folgende Aspekte: die Evaluationsausbildung (insb. durch Studiengänge mit Master-Abschluss), die Organisation in einem Berufsverband und der Austausch und die Kommunikation über Evaluation in Newslettern (der SEVAL) und in der vorliegenden Zeitschrift LeGes.
Als einziges europäisches Land hat die Schweiz in keinem der drei Bereiche grössere Schwächen und schneidet insgesamt sehr gut ab. Wir kommen weiter unten darauf zurück.
In der Länderstudie Schweiz (S. 199–225) zeichnet Thomas Widmer ein kenntnisreiches, nuanciertes und präzises Bild der Evaluation in der Schweiz und der erreichten Fortschritte. Zum Hier und Heute äussert er auch verschiedene kritische Bemerkungen:
Als Nachzügler in Sachen Evaluation hat die Schweiz zwar eine erfolgreiche Entwicklung hinter sich: Eine Pionierphase bis 1990 (Evaluation als Kunst), eine Aufbauphase 1990–2000 (Evaluation als Handwerk) und eine Reifephase 2000–2010 (Evaluation als Manufaktur) (S. 201–205). Die Gegenwart (seit 2010) zeichnet der Autor aber in dunklen Farben. Evaluation sei standardisiert und bürokratisiert. Die Konkurrenz bei der Auftragsvergabe habe zur Folge, dass Evaluationsbüros übermässige Ressourcen in die Offertstellung investierten und für die eigentliche Durchführung nur noch ungenügende Mittel hätten. Er beobachtet eine Spaltung zwischen verwaltungsnaher Evaluation einerseits und eigentlicher Forschung und Innovation andererseits. Letztlich könne die aktuelle Lage als Industrie(phase) bezeichnet werden (S. 207).
Umgekehrt konstatiert Widmer bei der Verteilung der Evaluationsaktivitäten auf Aufgabengebiete und Bundesämter eine grosse Diversität, die er in Zusammenhang mit administrativen Machtüberlegungen, persönlichen Präferenzen und eingeschliffenen Routinen bringt (S. 211).
Widmer zeichnet somit ein paradoxes Bild der heutigen Situation: Überbürokratisiertes Evaluationsmanagement und wenig rationale Prioritätensetzung. Wie letzteres verbessert werden könnte (stärker regelbasiert und damit «bürokratischer»? Mehr Steuerung, aber von wem?) ist eine interessante Frage.
Widmer blickt auch kritisch auf jüngere Entwicklungen in der SEVAL (Revision der Evaluationsstandards, Ansätze zur Zertifizierung) und sieht darin Entwicklungen in Richtung Bürokratisierung und Abschottung gegenüber der Forschung (S. 218f.).
Zurück zum europäischen Quervergleich: Die sehr gute Platzierung der Schweiz erstaunt, haben doch andere Länder eine längere Evaluationstradition und gab bzw. gibt es dort Leuchttürme, welche die Evaluationsentwicklung in der Schweiz inspiriert haben. Woran hapert es in anderen Ländern?
Frankreich kennt eine lange, intensive, aber meist kurzlebige und im Zeitablauf selten kohärente Befassung verschiedener Staatspräsidenten mit Evaluation (S. 142f.). Seit der Reform 2008 gibt es mehrere Verfassungsbestimmungen zur Evaluation (Art. 24, 47–2, 48, 51–2). In der Exekutive gibt es indessen eine Vielfalt unterschiedlicher Praktiken und einen Mangel an Umsetzung. Zudem ist Evaluation im französischen Parlament kaum verankert. Vieles sei «window-dressing» (S. 163).
In Deutschland, gekonnt dargestellt von den Herausgebern des Buches, gab es in den 1960er Jahren frühe, vielversprechende, Ansätze zur Evaluation, die aber nicht fortgeführt wurden (S. 168). Verschiedene Ministerien seien in den letzten Jahren eigentliche «Evaluationsvermeider» gewesen, was erfolglos vom Bundesrechnungshof und neuerdings vom Normenkontrollrat bemängelt wurde (S. 192). Ministerien benutzten Evaluationen für Managementzwecke oder zur Legitimation. Die Institutionalisierung im Parlament sei schwach, aber es gäbe in den letzten Monaten ein wachsendes Interesse an Evaluation. Der Bundesrechnungshof spiele in der Evaluation eine wichtige Rolle.
Italien hat zwar ausgezeichnete Wissenschaftler im Bereich der Policy-Analyse und der Evaluation. Im Regierungs- und Verwaltungsapparat fristet Evaluation aber ein Dornröschendasein (S. 299), wofür die legalistische Denkweise stark verantwortlich sei. In Italien werde ein kohärentes Evaluationssystem auch durch die Mehrebenenstrukturen (auf halbem Wege stecken gebliebene Föderalismusreform) erschwert.
Das Vereinigte Königreich ist weit fortgeschritten bei der Professionalisierung der Evaluation, namentlich aufgrund schon früh etablierter Studiengänge in Evaluation und der Gründung der United Kingdom Evaluation Society (UKES) im Jahr 1994. In einzelnen Sektoren (Gesundheit, Bildung, internationale Zusammenarbeit) ist die Nutzung der Evaluation beachtlich. Es gibt aber generell wenig Vorgaben über die Evaluation, und das Parlament ist kaum beteiligt. Es komme häufig vor, dass Ministerien unliebsame Evaluationsberichte auf Büchergestellen verstauben liessen (S. 258).
Stellvertretend für die osteuropäischen Länder sei Rumänien beleuchtet. Nach der Revolution hat das Land während seiner Zeit als EU-Beitrittskandidat Reformeifer an den Tag gelegt und westliche Konzepte der Politiksteuerung übernommen. Namentlich die EU-Strukturfonds trugen dazu bei, Evaluation bekannt zu machen. Die EU, die Weltbank und die OECD legten Vorschläge und Ideen zur Modernisierung der Verwaltung vor (S. 440). Diese wurden im Rahmen verschiedener Strategien und Programme umgesetzt. Evaluation wurde als Bestandteil öffentlicher Politik gesehen. Aber die Reformen wurden zu hastig eingeführt und es fehlte eine Verankerung («ownership») der neuen Konzepte bei wichtigen Akteuren (wie Finanzministerium oder Generalsekretariat der Regierung). Aus diesem Grund trugen die Bemühungen bisher noch kaum Früchte (S. 442). Ob sich dies in naher Zukunft ändern wird, ist noch offen (S. 458).
Die Europäische Union hat ein umfassendes Evaluationssystem aufgebaut. Ex ante Evaluation (Impact analysis, IA) und ex post Evaluation sind auf überzeugende Art miteinander verbunden, und die Qualität der IA wird durch eine unabhängige und kompetente Behörde («Regulatory Scrutiny Board») überprüft. Die Reichweite der Evaluationsaktivitäten wurde von der Ausgabenpolitik auf Regulierungen ausgeweitet. Der Fokus der Evaluationsbemühungen verschob sich von der Rechenschaftsablegung zum Lernen. So überzeugend und äusserlich transparent dieses System ist: Es gibt bisher kaum Studien über die aktuelle Praxis der Evaluation und ihre Nutzung (S.468). Dies hängt wohl damit zusammen, dass Politikgestaltung in der EU in einem Geflecht von Akteuren und Institutionen erfolgt und sich darin verschiedene Perspektiven (managerial vs. politisch, sektoriell vs. übergreifend, national vs. supranational) spiegeln, die in ihrer je unterschiedlichen Logik forschungsmässig schwer zu erfassen sind.
Der Band wird abgeschlossen mit einem Synthesekapitel der drei Herausgeber. Es enthält sowohl quantitative wie auch qualitative Vergleiche, gestützt auf die Texte der Länderpräsentationen. Beim quantitativen Vergleich fällt auf, dass die Evaluation in professioneller Hinsicht in den untersuchten Ländern vergleichsweise gut verankert ist (S. 508). Sehr unterschiedlich sind hingegen die Institutionalisierung und Nutzung der Evaluation im politischen System: Rumänien, Portugal, Polen und Italien liegen im quantitativen Vergleich hinten, Deutschland, Finnland, die Niederlande und die Schweiz vorne (S. 496). Generell tief liegt die Verankerung der Evaluation in der Zivilgesellschaft und der öffentlichen Diskussion in allen untersuchten Ländern. In den einzelnen Ländern besteht zwischen dem Stand der drei kursiv gesetzten Bereiche keine Positivkorrelation: nur die Schweiz ist (wie schon eingangs erwähnt) in allen drei Bereichen überdurchschnittlich gut aufgestellt.
Als wesentliche Treiber für die Entwicklung der Evaluation sehen die drei Herausgeber die Suche nach einer rationaleren Verwaltung im Rahmen des New Public Managements (NPM) und die Anforderungen der EU nach Erfolgskontrolle im Rahmen der Strukturfonds. Darüber hinaus tun sie sich (nicht ohne Grund) schwer in der Suche nach Erklärungen. Länderweise seien die Gründe für den Erfolg einer Institutionalisierung der Evaluation sehr individuell (S. 514), und es sei schwierig zu erklären, weshalb Spätzünder wie die Schweiz und Finnland nun weit vorne lägen (S. 518).
Immerhin gibt es eine hohe Korrelation zwischen dem Entwicklungsstand der Evaluation im politischen System und den durch die Weltbank erarbeiteten Governance-Indices, insbesondere für die regulatorische Qualität und die Wirksamkeit des Regierungshandelns (S. 515). Dies eröffnet eine interessante, aber auch ernüchternde Perspektive für die Rolle der Evaluation im politischen System eines Landes: Während «die Evaluation» als Möglichkeit gesehen wird, die Wirksamkeit politischen Handelns zu verbessern, ist der Platz der Evaluation im politischen System von dessen Qualität abhängig. Evaluation als «Speaking truth to power» (Aaron Wildavsky 1980) braucht Gehör bei den Institutionen, welche die Macht verkörpern. Es fällt auf, dass keines der untersuchten 16 politischen Ländersysteme sowie die EU ein Interesse daran haben, sich einen – möglichst unabhängigen und von der Regierung unbeeinflussbaren – Spiegel auf deren Handeln vorhalten zu lassen.
Der vorliegende und die noch nachfolgenden Bände über die anderen Kontinente ermöglichen eine weltumspannende Kartierung der Institutionalisierung der Evaluation. Der Anspruch ist geografisch wesentlich breiter als der frühere «International Atlas of Evaluation» (Furubo et al. 2002). Allerdings hat auch der vorliegende Band Lücken: Während das Fehlen von Länderberichten zu Luxemburg, Griechenland, Zypern, Malta, Bulgarien, Slowenien, Kroatien, Slowakei, Ungarn, Estland und Litauen verständlich ist (geringer Grad der Institutionalisierung), ist das dem Mangel an geeigneten Autorinnen geschuldete Fehlen von Österreich und Schweden bedauerlich.
Ambitiös ist auch die inhaltliche Breite der Länderberichte. Sie beginnen mit einer in der Regel sehr aufschlussreichen Darstellung der Entwicklung der Evaluation und des politischen Systems. Anschliessend wird die Institutionalisierung der Evaluation in den drei Bereichen (s.o.) dargestellt. In einem abschliessenden Kapitel werden eine Gesamtbeurteilung vorgenommen und gegebenenfalls Trends aufgezeigt. Die Qualität der Beiträge ist, in Anbetracht der unterschiedlichen möglichen Zugänge zu Evaluation, beachtlich. Es fällt aber auf, dass nicht in allen drei Bereichen der Informationsgehalt gleich gehaltvoll ist. Häufig stehen für die Darstellung der Evaluation im Sozialsystem nur ungenügende Informationen zur Verfügung. Die Dichte der Länderbeiträge ist zudem unterschiedlich: Konzis und knapp gehaltenen Länderbeiträgen (bspw. Niederlande und Vereinigtes Königreich) stehen eher überdehnte Beiträge (bspw. Italien) gegenüber.
Insgesamt haben die Herausgeber und die beteiligten Autoren eine Herkulesaufgabe auf sich genommen und sie gut gemeistert. Mit Interesse wird zu verfolgen sein, welche Perspektiven die weiteren drei Bände eröffnen werden.
Werner Bussmann, Dr.oec., ehem. Mitarbeiter Bundesamt für Justiz.
- Sager, Fritz / Widmer, Thomas / Balthasar, Andreas (Hrsg.) (2017). Evaluation im politischen System der Schweiz. Zürich: NZZ Verlag.
- Wildavsky, Aaron (1980). Speaking Truth to Power: The Art and Craft of Policy Analysis. London: Macmillan Press Ltd.
- Furubo, Jan-Eric / Rist, Ray C. / Sandahl, Rolf (Hrsg.) (2002). International Atlas of Evaluation. New Brunswick/London: Transaction.
Stichworte: Evaluation, Evidenz, Institutionalisierung, Europa, internationaler Vergleich, Ländervergleich, Schweiz.