Evaluations et politiques publiques fondées sur les preuves

Pour aborder la contribution de l'évaluation pour une politique publique fondée sur les preuves dans les domaines de l'environnement, du climat et de l'énergie, la SEVAL a invité trois oratrices principales, et organisé cinq workshops lors de son congrès annuel du 1^er septembre 2023.

Les oratrices ont successivement apporté des éclairages sur la réalisation des analyses d’impact de la réglementation (AIR) au niveau international, sur le cas concret de l’évaluation de la politique forestière suisse et sur la prise en compte des évaluations dans le travail parlementaire. Durant les workshops, des thèmes aussi variés que la mobilité, la recherche dans le domaine de l’énergie, la protection des eaux souterraines, la politique climatique et la loi cantonale vaudoise sur l’énergie ont illustrés le rôle des évaluations dans les politiques publiques.

Toutes les présentations sont disponibles sur le site internet de la SEVAL: Congrès SEVAL 2023 – SEVAL et le présent article résume les contributions principales du congrès annuel. Dans la même logique que le déroulement du congrès, dont les présentations se font en français et en allemand, le compte-rendu comprend des contributions dans les deux langues, selon la langue principale de l’intervention.

Le jeudi après-midi précédant le congrès, des ateliers méthodologiques ont eu lieu. Ces ateliers ne sont pas nécessairement liés au thème du congrès. Ils permettent de présenter et de discuter d’aspects méthodologiques innovants ou intéressants. Neuf ateliers méthodologiques sur des thèmes variés et ce en français, en allemand et en anglais ont été organisés cette année. Les présentations sont également disponibles sur le site internet susmentionné. De plus, un compte-rendu des ateliers méthodologiques a été publié dans la Newsletter de la SEVAL (Newsletter no. 37, Novembre 2023).

Madame Yola Thürer, analyste politique au sein de la Division politique de régulation de l’Organisation de coopération et de développement économiques (OCDE), a apporté un point de vue international au congrès. Elle a commencé par rappeler le rôle, d’une part, des analyses d’impact de la régulation (AIR) pour concevoir des bases légales fondées sur les preuves et, d’autre part, des évaluations ex-post pour s’assurer que l’impact anticipé ait bien eu lieu, respectivement prendre les mesures correctrices. L’évaluation permet ainsi l’établissement de lois environnementales efficaces (les effets de la loi sont évalués de manière globale et l’optimisation se base sur les faits), en cohérence politique (convergence entre les différents ministères), ancrées dans un processus d’apprentissage et transparentes (le processus de prise de décision est rendu public).

En comparaison internationale, la Suisse occupe la cinquième place en ce qui concerne la réalisation de AIR. L’indicateur utilisé par l’OCDE prend en compte les dimensions suivantes: méthodologie, adoption systématique et transparence. D’une manière globale, il apparaît au niveau international que les alternatives aux mesures législatives qui pourraient être favorables à l’environnement sont insuffisamment prises en compte. De plus, bien que l’évaluation de l’effet des lois sur l’environnement soit de plus en plus rendu contraignant, la pratique reste lacunaire.

Selon les indicateurs de l’OCDE, la place de la Suisse en comparaison internationale pour les évaluations ex-post se situe dans le dernier tiers. La discussion à la suite de l’exposé a montré qu’une partie de l’explication tient dans l’organisation décentralisée de l’administration fédérale en ce qui concerne les évaluations ex-post.

En conclusion, le changement climatique rapide et les innovations technologiques rendent nécessaires des évaluations ex-post de manière régulière. De plus, la participation du public aux évaluations revêt un caractère essentiel. Elle permet d’apporter diverses perspectives, de faciliter la collecte et la vérification de données et d’améliorer la confiance et la transparence. Il faut toutefois aussi mentionner les limites à la participation du public: peu de citoyens voient l’opportunité de s’impliquer, les groupes sociaux marginalisés sont plus concernés par les questions climatiques que la moyenne et ont moins de ressources pour s'impliquer, finalement, la jeune génération qui sera la plus impactée par le réchauffement climatique n’est pas représentée dans le processus législatif.

Frau Eva Lieberherr, Leiterin der Gruppe Politik Natürlicher Ressourcen an der ETH Zürich, legte den Fokus ihrer Präsentation auf die Evaluation auf der Waldpolitik 2020. Seit 2011 bildet die Waldpolitik 2020 das Handlungsprogramm des Bundes, das darauf abzielt, die vielfältigen Funktionen des Waldes für Gesellschaft, Wirtschaft, Ökologie und Klima zu erhalten. Nach mehr als einem Jahrzehnt wird nun ein neues Aktionsprogramm für die Zeit ab 2025 entwickelt. Das Bundesamt für Umwelt (BAFU) hat eine Evaluation in Auftrag gegeben, um die Stärken und Schwächen der Waldpolitik 2020 zu bewerten und Verbesserungsmöglichkeiten für die zukünftige Waldpolitik aufzuzeigen. Die Evaluation hat aufgezeigt, dass die Waldpolitik 2020 als nationales «Dach» fungierte und von den Kantonen als Legitimation für ihre eigenen Strategien in der Wald- und Holzpolitik geschätzt wurde. Eine Herausforderung lag darin, dass die formulierten Ziele manchmal über das hinausgingen, was der Bund tatsächlich kontrollieren könnte. Das neue Aktionsprogramm für 2025 wird voraussichtlich auf diesen Erkenntnissen aufbauen, um eine effektivere und realistischere Waldpolitik zu gestalten.

Die Entwicklung sowohl der Waldpolitik als auch ihrer Bewertungsverfahren ist kontinuierlich vorangeschritten. Im Jahr 2016 fand eine Zwischenevaluation der Waldpolitik 2020 statt, welche die Controlling-Daten des BAFU analysiert sowie eine Umfrage bei den Kantonen bzgl. Grad der Umsetzung durchgeführt hat. Diese Bewertung der Zielerreichung der ersten Etappe (2012–2015) bot dem Bund wertvolle Erkenntnisse zur Weiterentwicklung der Waldpolitik 2020. Die Schlussevaluation im Jahr 2020 war wirkungsorientiert, identifizierte Optimierungsmöglichkeiten und legte Grundlagen für die künftige strategische Ausrichtung der Waldpolitik fest, einschliesslich der Möglichkeit einer Integration mit der Ressourcenpolitik Holz, der Bewertung des strategischen Überbaus und der Massnahmen. Es wurde verdeutlicht, wie diese Evaluation dazu beiträgt, die Grundlagen für politische Entscheidungen zu schaffen, die Wirksamkeit von Massnahmen zu beurteilen und den Fortschritt zu messen.

Die Waldpolitik 2020 bietet den Kantonen einen strategischen Rahmen für ihre eigene Waldpolitik. Allerdings wird die Ebene der Vorgaben manchmal als zu hoch empfunden, und die Waldpolitik 2020 hat einen indirekten Einfluss auf die kantonalen Waldpolitiken. Aus Sicht der Kantone und anderer Akteurerinnen und Akteure ist sie für die Zukunft, und v.a. für zukünftige Herausforderungen, in ihrer aktuellen Form nicht ausreichend geeignet. Eine Überprüfung ist insbesondere im Hinblick auf unterschiedliche Grade der Zielerreichung notwendig, was die Bedeutung einer gemeinsamen Weiterentwicklung unterstreicht. Die Verbesserung der Politikkohärenz kann helfen, Konflikte zwischen ökonomischen, sozialen und umweltpolitischen Zielen zu mildern.

In Bezug auf eine engere Verknüpfung der zukünftigen Waldpolitik mit der Ressourcenpolitik Holz und anderen sektoralen Politiken ist es entscheidend, den erwarteten Nutzen gegen das Risiko einer Überlastung der Waldpolitik und einer möglichen Ziellosigkeit abzuwägen. Eine Bestandsaufnahme zur besseren Kenntnis der potenziellen Handlungsmöglichkeiten der beteiligten Ämter könnte helfen, gezielte Partnerschaften an festgelegten Schnittstellen zu fördern.

Redaktion: Lilith Wernli (Bundesamt für Umwelt).

Par son intervention, Madame Christine Buillard-Marbach, Conseillère nationale fribourgeoise au sein du parti Le Centre, a apporté le point de vue d’une politicienne sur l’utilisation et la valorisation des évaluations et des preuves scientifiques dans son travail en tant que parlementaire.

Selon ses dires, les décisions parlementaires – et plus particulièrement celles prises dans des commissions parlementaires – se basent sur un équilibre subtil entre différents paramètres qu’il ne convient pas forcément d’opposer: les faits scientifiques et la pesée des intérêts. Madame Buillard-Marbach précise que ce procédé s’explique par notre système de milice. En effet, la grande majorité des parlementaires ne sont pas des experts, raison pour laquelle ils et elles s’appuient sur différents types de sources pour se forger une opinion. Parmi ces dernières figurent:

• les représentantes et représentants des universités et hautes écoles, des «think tank» qui se réclament de l’objectivité;
• des représentantes et représentants d’intérêts (par exemple l’économie, l’agriculture, etc.) qui se basent sur des faits concrets qui, néanmoins, ont déjà reçu une certaine pondération;
• l’Administration fédérale qui apporte des données et d’autres informations indispensables.

La tâche des politiciennes et politiciens dans les commissions parlementaires sera de trouver un bon équilibre entre les informations reçues en se basant sur leurs valeurs personnelles et intérêts. Inclure des experts scientifiques mais aussi écouter toutes les parties prenantes est crucial dans cette première phase décisionnelle. Quant aux partis politiques, leur influence augmente au moment où le dossier passe dans les chambres fédérales. Pendant ce processus, il est tout à fait possible que l’avis initial soit adapté. A titre d’exemple, Madame Buillard-Marbach mentionne le «Mariage pour tous», dossier dans lequel des échanges avec des personnes directement concernées l’ont fait changer d’avis.

D’autres facteurs expliquent également le succès des dossiers politiques comme le moment où celui-ci a été déposé, le ratio coût-bénéfice ou encore un consensus trouvé entre plusieurs partis politiques afin d’assurer d’une majorité au sein de la population.

Pour conclure, la Conseillère Nationale rappelle que les preuves sont indispensables aux parlementaires mais qu’elles ne sont de loin pas le seul élément sur lequel ils et elles se basent dans leur processus de décision.

A la question du rôle des évaluations dans ce processus de décision parlementaire, Madame Buillard-Marbach encourage les participantes et participants au congrès à rester à l’écoute, à communiquer clairement et à attendre le bon moment.

Rédaction: Cornelia Hänsli-Marrei (Habilis).

Cinq workshops ont été organisés en parallèle lors du vendredi après-midi du congrès. La diversité des sujets et des langues a permis aux participants de choisir parmi un bel éventail de workshops. Les workshops ont duré 90 minutes avec généralement une grande place laissée à la discussion et aux échanges.

Workshop 1 – Les évaluations de projets de transport et de mobilité – Quelle est leur valeur ajoutée et quel est leur potentiel pour l'avenir ?

Tobias Arnold d’Interface et Delphine Morlier de l’Office fédéral de l’énergie ont présenté l’utilité de développer un modèle d’impact déjà au niveau des porteurs projets. Il ne suffit pas que les évaluateurs développent un modèle d’impact a posteriori. En effet ils remarqueront rapidement tous les manquements dans le déroulement d’un projet à commencer par le manque de clarté dans la définition des objectifs et des résultats attendus en termes de changement de comportement (outcome) et d’effet (impact). Il est plus utile de développer un modèle d’impact dès la conception d’un projet. Cela permet de mieux réfléchir aux groupes-cibles et aux changements escomptés. Dans le secteur des transports prédominent une approche basée sur les disciplines techniques (ingénieur, système de transport, aménagement du territoire). Les évaluateurs sont issus des sciences sociales. Ils doivent apprendre à se connaître mutuellement afin de développer un langage et une compréhension communes. Créer des ponts entre les différentes disciplines reste un défi. De plus, le développement des infrastructures est le plus souvent la priorité dans le domaine des transports. Les programmes d’agglomération ont fait l’objet de discussions parmi les participantes et participants. Il en ressort que l’application des modèles d’impact demeure plus facile à appliquer dès la phase de conception pour de petits projets. Les résultats montrent une évolution lente mais positive vers une plus grande prise en compte des changements de comportement attendus au niveau des groupes-cibles. Une plus grande collaboration entre les techniciens et les évaluateurs s’avère pertinente.

Rédaction et modération: Laurent Crémieux (Contrôle fédéral des finances).

Workshop 2 – Möglichkeiten und Grenzen der Evaluation neuer Ansätze im Energie- und Klimabereich; Erfahrungen aus 10 Jahren Energieforschung Stadt Zürich

Energieforschung Stadt Zürich hat an den Nahtstellen von Verhalten und neuen Technologien zahlreiche Forschungsprojekte durchgeführt und diese sowohl formativ als auch summativ evaluiert. Was haben wir aus den Forschungsprojekten gelernt? Welche Ergebnisse sind für die Praxis besonders relevant?

Reto Dettli, ehemaliger Leiter der Geschäftsstelle Energieforschung Stadt Zürich und Silvia Banfi Forst, Energiebeauftragte Stadt Zürich, präsentierten Hintergründe, Organisation und inhaltliche Ausrichtung des abgeschlossenen Forschungsprogramms sowie ausgewählte Highlights von Forschungsprojekten.

Als Fazit betonte Reto Dettli, dass es in Bezug von Verhaltensänderungen keinen schlafenden Riesen bzw. keine Supermassnahme gibt. Nur ein kontinuierlich wirkender Massnahmenmix führt zu Veränderungen und der soziale Kontext der Personen ist besonders wichtig. Bestehende Communities bieten gute Voraussetzungen für Verhaltensänderungen oder Massnahmen zu deren Beeinflussung.

Silvia Banfi Frost betonte die Stärken eines langfristig ausgerichteten Forschungsprogramms für die öffentliche Hand und erläuterte anschaulich wie die Stadt Zürich die Erkenntnisse konkret in ihre Energie- und Klimapolitik umsetzte, beispielsweise in den Bereichen des Heizungsersatzes und damit zusammenhängender Beratung, der Weiterentwicklung von Mobilitätsangeboten sowie der Ernährung in städtischen Institutionen. Sie zeigte, dass die Sicherstellung einer fortlaufenden Diffusion der Erkenntnisse innerhalb der Stadtverwaltung anspruchsvoll ist und dass die Halbwertszeit des Wissens in Institutionen kürzer ist als man meint.

Organisation und Redaktion: Reto Dettli (econcept).

Workshop 3 – Kantonaler Vollzug, eidgenössische Evaluation: Möglichkeiten der Evaluation im Vollzugsföderalismus am Beispiel des Grundwasserschutzes

Simone Ledermann (Leiterin der Parlamentarischen Verwaltungskontrolle PVK) und Hans-Peter Schaub (Projektleiter bei Année Politique Suisse, ehemals Projektleiter bei der PVK) leiteten den Workshop mit dem Titel «Kantonaler Vollzug, eidgenössische Evaluation: Möglichkeiten der Evaluation im Vollzugsföderalismus am Beispiel des Grundwasserschutzes». Die Kompetenzverteilung im Grundwasserschutz stellt ein klassisches Beispiel für den Vollzugsföderalismus dar, der in der Schweizer Umwelt-, Klima- und Energiepolitik vorherrscht: Der Vollzug liegt grösstenteils bei den Kantonen, während der Bund für die Gesetzgebung und für die Aufsicht über den kantonalen Vollzug zuständig ist. Bei der Aufsicht hat er dabei zwei tendenziell widerstrebende Vorgaben der Bundesverfassung auszubalancieren: Einerseits muss der Bund über die Einhaltung des Bundesrechts durch die Kantone wachen (Art. 49 Abs. 2 BV), andererseits muss er diesen möglichst grosse Gestaltungsfreiheit bei ihren Umsetzungsaufgaben lassen (Art. 46 Abs. 3 BV). Im Workshop wurde ausgelotet, inwiefern in einem solchen vollzugsföderalistischen Kontext eine Evaluation auf Bundesebene einen Beitrag zu einer evidenzbasierten Politik leisten kann und wo sie an Grenzen stösst.

Ausgangspunkt bildete eine Evaluation zum planerischen Grundwasserschutz, die die PVK im Auftrag der Geschäftsprüfungskommissionen der eidgenössischen Räte durchgeführt hatte (BBl 2022 1772). Dabei erläuterten die Präsentierenden das Vorgehen der PVK, welche sich in diesem durch vielschichtige Interessen geprägten Politikfeld insbesondere auf die Aufsicht des Bundes über den kantonalen Vollzug konzentrierte, den – bekanntermassen lückenhaften – kantonalen Vollzug selbst hingegen nicht evaluierte. Vertreterinnen und Vertreter der kantonalen Verwaltungen wurden zwar mit Interviews und einer Umfrage in die Evaluation einbezogen, aber nicht über ihre Vollzugstätigkeit befragt, sondern darüber, wie sie als Aufsichtsbetroffene die Bundesaufsicht wahrnehmen. Das Ergebnis der Evaluation, dass die Bundesaufsicht im planerischen Grundwasserschutz bisher schwach und in dieser Form nicht zweckmässig war, führte zu zahlreichen Empfehlungen und Vorstössen der zuständigen parlamentarischen Kommission, die eine Stärkung der Aufsicht bezwecken (BBl 2022 1771). Der Bundesrat erklärte sich mit den Forderungen grösstenteils einverstanden (BBl 2022 2451).

Zwar kann – selbst wenn die resultierenden Empfehlungen umgesetzt werden – eine Evaluation auf Bundesebene in einem vollzugsföderalistischen Setting nicht direkt zu einem evidenzbasierteren Politikvollzug führen; wohl aber kann sie indirekt – durch eine Optimierung der Aufsicht – zu einer Förderung des Vollzugs beitragen, so ein Fazit aus dem Workshop. Eine weitere Erkenntnis der Workshop-Teilnehmenden war, dass der Vollzugsföderalismus für eine evidenzbasierte Politik umgekehrt auch Vorteile birgt, indem die Kantone im sprichwörtlichen föderalistischen Labor verschiedene Vollzugspraktiken anwenden und dadurch voneinander lernen sowie letztlich Best Practices voneinander übernehmen können.

Organisation und Redaktion: Hans-Peter Schaub (Année Politique Suisse), Simone Ledermann (Parlamentarische Verwaltungskontrolle).

Workshop 4 – Beitrag von Evaluationen zu einer evidenzbasierten Klimapolitik – die Rollen des BAFU und der EFK

In der Bundesverwaltung wurden sowohl die Ex-Post-Evaluationen als auch die Ex-Ante-Evaluationen in den letzten Jahren erheblich gestärkt und durch die Implementierung entsprechender Grundlagen und Prozesse weiter gefestigt. Dies wurde unter anderem durch den Bundesratsbeschluss von 2004 zur Intensivierung der Wirksamkeitsüberprüfungen sowie die Einführung der RFA-Richtlinie vorangetrieben. Diese Massnahmen unterstützen das Potenzial von Evaluierungen für eine evidenzbasierte Politikgestaltung. Dennoch stehen wir in der Praxis vor verschiedenen Herausforderungen. Der vierte Workshop widmete sich diesen Fragen am Beispiel der Klimapolitik. Dabei wurden die Perspektiven des Bundesamts für Umwelt (BAFU) sowie die Rolle der Eidgenössischen Finanzkontrolle (EFK) eingehend erörtert und diskutiert.

Roger Ramer, stellvertretender Leiter der Sektion Klimapolitik des BAFU, beleuchtete in seinem Vortrag die Rolle von Evaluationen im Gesetzgebungsprozess. Dabei wurde deutlich, dass das richtige Timing der Evaluation, im Sinne eines «window of opportunity», von entscheidender Bedeutung ist, um eine maximale Wirkung zu erzielen. Die rasche Veränderung politischer Prozesse und die komplexe, von Unsicherheiten geprägte Umgebung stellen Evaluationen vor Herausforderungen. Der Handlungsspielraum ist zu Beginn des Gesetzgebungsprozesses, d.h. während der Konzipierung und Ausarbeitung der Vorlagen, in der Regel am grössten. In dieser Phase spielen Evaluationen eine wichtige Rolle, weil sie zur wissenschaftlichen Fundierung der Vorlagen beitragen. Im weiteren Prozess verändern sich Vorlagen oft noch stark, und vor allem während der parlamentarischen Beratung bleibt kaum mehr Zeit für umfassende Untersuchungen. Zentrale Elemente, die zu Beginn des Prozesses erarbeitet wurden, haben aber oft Bestand, insbesondere wenn sie auf wissenschaftlichen Erkenntnissen beruhen. Die Präsentation von Emmanuel Sangra, Leiter der Evaluationseinheit der EFK, betonte ebenfalls die Bedeutung von Evaluationen. Neben der wissenschaftlichen Qualität der Ergebnisse sind auch deren Verbreitung, Übersetzung in konkrete Empfehlungen und die Einbindung der Stakeholder entscheidend. Um einen wirksamen Beitrag zur evidenzbasierten öffentlichen Politik zu leisten, sind zwei zentrale Kriterien von Bedeutung: Erstens die Qualität und wissenschaftliche Fundierung der Ergebnisse, und zweitens die Nützlichkeit der Evaluation. Besonders wichtig sind eine angemessene Fokussierung auf das Evaluationsobjekt, die Berücksichtigung der politischen Agenda, fachliche Kompetenz der Evaluierenden, Einbeziehung der Stakeholder, Glaubwürdigkeit der Bewertung, Relevanz der Empfehlungen und die Umsetzung dieser Empfehlungen. Die Qualität wird durch ein tiefes Verständnis des Evaluationsgegenstands und zuverlässige Ergebnisse erhöht.

In der Diskussion wurde die Bedeutung der finanziellen und organisatorischen Unabhängigkeit der EFK deutlich. Ebenso stellte sich heraus, dass die Glaubwürdigkeit von Evaluationen massgeblich von den für das Projekt bereitgestellten Ressourcen, dem vorhandenen Fachwissen, dem Zugang zu Informationen und einem transparenten Prozess abhängt. Sowohl von der EFK durchgeführte Evaluationen als auch solche, die direkt von den Amtsstellen in Auftrag gegeben werden, haben ihre Vor- und Nachteile. Dabei ist es entscheidend, den Zweck der Evaluation klar zu definieren. Eine zielgruppengerechte Verfassung des Schlussberichts, insbesondere der Zusammenfassung und Empfehlungen sind entscheidend für die anschliessenden Diskussionen auf parlamentarischer Ebene. Die Teilnehmenden waren sich einig, dass die Einbindung von Stakeholdern zur Verbesserung der Akzeptanz der Ergebnisse und damit zur Steigerung der Glaubwürdigkeit von Evaluationen beiträgt. Dies wiederum erhöht die Chancen, dass die Ergebnisse in die Gesetzgebung Eingang finden.

Organisation und Redaktion: Emmanuel Sangra (Eidgenössische Finanzkontrolle), Roger Ramer (Bundesamt für Umwelt), und Lilith Wernli (Bundesamt für Umwelt).

Workshop 5 – Evaluation dans le cadre de la révision complète de la loi vaudoise sur l’énergie

Le workshop a porté sur l’évaluation de la loi vaudoise sur l’énergie et conduit à différentes discussions. L’évaluation, réalisée avant le début des travaux de révision, a permis de constater que des données supplémentaires étaient nécessaires pour qu’elle soit menée dans les règles de l’art. Ainsi, en dehors de ses résultats de fond, les participants ont constaté qu’une évaluation des politiques publiques pouvait également permettre d’apporter un éclairage sur les données et indicateurs à disposition d’un service et la façon dont ils sont gérés.

La complexité du recueil de données dans le domaine de l’énergie – permettant pourtant d’établir les indicateurs nécessaires à un bon monitoring des politiques publiques – a été discuté entre les participants. La complexité de la répartition des compétences entre Confédération, cantons et communes ainsi que les différents agents énergétiques et leurs flux a fait l’objet de discussions sur la difficulté pour un canton ou une commune d’évaluer ses politiques publiques en l’absence de données complètes ou précises (par exemple, en l’absence de base légale pour les recueillir).

Les participants se sont également penchés sur la mise en lumière des résultats des audits et études réalisés de façon plus générale dans le domaine du climat et de l’énergie par l’Etat de Vaud, et la façon dont il pouvait être tenu compte de ceux-ci. En particulier dans le processus législatif, qui doit évidemment prendre en compte d’autres intérêts politiques et d’autres politiques publiques.

Organisation et rédaction: Victor Braune (Canton de Vaud), Rémy Schweizer (Canton de Vaud).

Mélanie Attinger (Economiste, Office fédéral des transports), avec différentes contributions mentionnées dans le texte.