Einblick in die Anwendung der SEVAL-Standards in der Bundesverwaltung

In allen wissenschaftlichen Bereichen bildet die Qualitätssicherung ein zentrales Element. Gleiches gilt für die Evaluation. Vor diesem Hintergrund hat die Schweizerische Evaluationsgesellschaft (SEVAL) im Jahr 2001 Standards verabschiedet. Die erste Fassung dieser Standards basierte auf den Standards des «Joint Committee on Standards for Educational Evaluation», das Evaluationsregeln in den USA und in Kanada erarbeitet hat. Eine Arbeitsgruppe der SEVAL hat diese Regeln in den Schweizer Kontext übertragen. Die 27 Standards wurden nach vier Qualitätskriterien gruppiert: Nutzen, Durchführbarkeit, Ethik und Genauigkeit.

Ab dem Jahr 2008 untersuchte eine neue Arbeitsgruppe der SEVAL die Anwendung und den praktischen Nutzen dieser Standards. Auf der Grundlage von Fallstudien, Interviews mit Expertinnen und Experten und einer Umfrage bei den SEVAL-Mitgliedern wurden die Standards zwischen 2013 und 2016 überarbeitet. Die neue Fassung baut auf den Grundgedanken der bisherigen Standards auf. Es wurde eine neue Struktur bestehend aus drei Gruppen von Standards gebildet. Neben allgemeinen Grundprinzipien wurden spezifische Standards für die Planung und Durchführung sowie für die Bewertung und Ergebnisvermittlung von Evaluationen festgelegt. Diese neuen Standards wurden am 8. September 2016 von der Generalversammlung der SEVAL verabschiedet.

Die Schweizerische Evaluationsgesellschaft SEVAL ist eine unabhängige private Gesellschaft. Sie wurde 1996 mit dem Ziel gegründet, den Dialog sowie den Informations- und Erfahrungsaustausch zwischen Politik, Verwaltung, Hochschulen und Beratungsfirmen zu fördern und die Qualität von Evaluationen zu verbessern. Die SEVAL ist mit der Bundesverwaltung eng verbunden. Viele Angestellte der Bundesverwaltung sind Mitglieder der SEVAL, einige sind im Vorstand. Die Mitglieder der SEVAL nehmen regelmässig an den Informations- und Austauschveranstaltungen des Netzwerks Evaluation in der Bundesverwaltung (Netzwerk) teil. Die enge Verknüpfung zeigt sich auch in umgekehrter Richtung: In der Arbeitsgruppe der SEVAL, welche die ersten Standards erarbeitet hatte, waren zahlreiche Personen aus der Bundesverwaltung vertreten. Nach der Verabschiedung der Standards wurde beim Bund im Jahr 2005 von Thomas Widmer mit dem «Instrument zur Qualitätssicherung gestützt auf die Evaluationsstandards der Schweizerischen Evaluationsgesellschaft (SEVAL-Standards)» ein Leitfaden für Wirksamkeitsüberprüfungen erstellt. Dieser Leitfaden trug wesentlich dazu bei, die Anwendung der Standards in der Bundesverwaltung zu gewährleisten und zu vereinfachen. Da der Leitfaden jedoch auf den alten Standards basiert und somit nicht mehr aktuell ist, ist er nicht mehr auf die Webseite des Netzwerkes zu finden.

Der Bundesrat beauftragte die Konferenz der Generalsekretärinnen und Generalsekretäre (GSK), die Frage der Qualitätssicherung und der Evaluationskriterien eingehend zu diskutieren. Die GSK empfahl im Dezember 2005 den Departementen und Ämtern, bei der Vergabe und Durchführung von Wirksamkeitsüberprüfungen die SEVAL-Standards zu verwenden. Die Standards müssen daher nicht zwingend verwendet werden, ihre Anwendung wird aber dringend empfohlen.

Für einen umfassenderen Überblick über die Evaluation in der Bundesverwaltung sowie die Verbindungen zwischen der SEVAL und dem Netzwerk ist der 2021 erschienene Artikel «Evaluationstätigkeit in der schweizerischen Bundesverwaltung» (Anthamatten et al. 2021) sehr aufschlussreich.

Sechs Jahre nach der Verabschiedung der neuen Standards von 2016 beschlossen die SEVAL und das Netzwerk, sich am 30. November 2022 zu treffen, um die Anwendung der neuen SEVAL-Standards in der Bundesverwaltung zu thematisieren. An der Veranstaltung wurde vorgeschlagen, die Frage der Nutzung der Standards durch die Auftraggeberinnen und Auftraggeber zu klären: Inwieweit sind die Standards bekannt? Inwieweit werden sie angewendet? Welche Schwierigkeiten treten in der Praxis auf? Welche Erfahrungen können geteilt werden? Sollen spezifische Instrumente entwickelt werden, um die Anwendung der Standards durch die Auftraggeberinnen und Auftraggeber zu unterstützen? Was benötigen die Auftraggeberinnen und Auftraggeber in dieser Hinsicht? Im Anschluss an diese Veranstaltung hat das Netzwerk eine Umfrage unter seinen Mitgliedern durchführt. Mit dieser Umfrage sollte ermitteln werden, welche Instrumente und Unterstützung notwendig sind, um die Anwendung der Standards in der Bundesverwaltung zu erleichtern und zu verbessern.

Im Mittelpunkt dieses Artikels stehen die Ergebnisse der Veranstaltung vom 30. November 2022 und der anschliessenden Umfrage.

An der gemeinsamen Veranstaltung von Netzwerk Evaluation der Bundesverwaltung und SEVAL zum Thema «Umsetzung der Evaluationsstandards durch die Auftraggeber» (Das Netzwerk Evaluation in der Bundesverwaltung (admin.ch)) ging es insbesondere um die zentrale Frage: «Welche Instrumente können die Anwendung von Evaluationsstandards in der Praxis der Auftraggeber stärken?»

Ziele der Veranstaltung waren:

• Die Identifikation eines möglichen Bedarfs für eine bessere Umsetzung der Standards in der Praxis der Auftraggeber
• Das Sammeln guter Beispiele für Instrumente zur Förderung der Umsetzung der Standards durch die Auftraggeber
• Die Klärung von Erwartungen und Bedürfnissen bei einer Überarbeitung des Leitfadens, der nicht mehr auf den aktuellen Vorgaben basiert.

Die Veranstaltung war in zwei Teile gegliedert.

Zunächst gab Christian Rüefli eine Einführung zu den SEVAL-Standards und Reinhard Zweidler zeigte Möglichkeiten, wie die SEVAL-Standards in der Praxis eingesetzt werden können. Dann berichteten drei Ämter aus ihrer Evaluationspraxis. Markus Weber und Sophie Vrtacic erläuterten die Rolle der SEVAL-Standards im Evaluationsmanagement des Bundesamtes für Gesundheit (BAG) und Lilith Wernli zeigte, wie im Bundesamt für Umwelt (BAFU) die SEVAL-Standards eingesetzt werden. Schliesslich erläuterte George Waardenburg die Praxis im Staatssekretariat für Bildung, Forschung und Innovation (SBFI). Bereits hier wurden erhebliche Unterschiede in der Herangehensweise von evaluationserfahrenen Bundesämtern deutlich, welche auch über sehr unterschiedliche handlungsleitende Dokumente verfügen.

Der zentrale Teil der Veranstaltung war dem partizipativen Austausch in Kleingruppen gewidmet. Die Gruppen bearbeiteten zentrale Themen entlang des Evaluationsprozesses und wurden aufgefordert, die gelebte Praxis zu beschreiben, die Bedürfnisse der Ämter im entsprechenden Bereich zu identifizieren und zu ermitteln, welche Hilfsmittel den Ämtern dienlich sein könnten.

Aus den Diskussionen ging hervor, dass die SEVAL-Standards sowohl bei der Ausschreibung als auch bei den eingereichten Angeboten in der Regel implizit, in einigen Fällen aber durchaus auch explizit, berücksichtigt werden. In einzelnen Ämtern existieren Leitfäden, die mehr oder weniger direkt auf die SEVAL-Standards Bezug nehmen. Die Frage, ob ein Anbieter die Standards einhalten werde, stellt sich in der Praxis nur dort, wo das Amt mit dem Anbieter noch nicht zusammengearbeitet hat und ihn nicht kennt. Sicherlich hat auch die heterogene Qualität der Ausschreibungen einen Einfluss auf die Umsetzung der Standards. Eine Harmonisierung der Ausschreibungsqualität wäre wünschenswert. Dafür könnten Schulungen oder die Schaffung einer Austauschplattform hilfreich sein.

Die Unabhängigkeit der Evaluierenden ist entgegen der weitverbreiteten Meinung keine Anforderung, die sich aus den SEVAL-Standards ergibt. Der Markt in der Schweiz wäre viel zu klein, um vollständige Unabhängigkeit wirklich gewährleisten zu können. Die Standards verlangen hingegen Ergebnisoffenheit, Unvoreingenommenheit, Transparenz und Nachvollziehbarkeit. Diesen Anforderungen gerecht zu werden, ist nicht immer einfach und kann in manchen Fällen durch die Ämter, die in einem politischen Kontext zu handeln haben, nicht wirklich eingefordert werden. Bevor zu diesem Themenbereich Hilfsmittel erarbeitet werden, sollte eine vertiefte Untersuchung klären, wie die Ämter und die Auftragnehmenden mit dieser Herausforderung umgehen.

Die Diskussion gab Hinweise auf nicht unwesentliche und je nach Zweck der Evaluation und Zusammensetzung der Begleit- und/oder Steuergruppe sehr unterschiedliche Druckversuche verschiedener Gruppen auf die Auftragnehmenden, wobei die Ämter diese Herausforderung sehr unterschiedlich angehen. Vermutlich ergäbe eine systematische Aufarbeitung der Praxis und der Hilfsmittel verschiedener Ämter eine «best practice» über den gesamten Evaluationsprozess, an dem sich andere Ämter messen und orientieren könnten. Bei den Rückmeldungen der Steuer- und der Begleitgruppe zu Berichtsentwürfen, wäre eine Triage der Kommentare zu fachlichen und wissenschaftlichen Aspekten zu bewertenden und politischen Aspekten nötig. Möglicherweise wäre es hilfreich, in einer Arbeitshilfe die Rollen von Begleit- und Steuergruppen sowie deren Aufgaben und Kompetenzen zu erläutern. Standard B4 (Evaluationsvereinbarung) empfiehlt u.a., die Pflichten und Rechte zu klären. Diese bedeutet auch, dass die Rollen, Aufgaben und Kompetenzen von Steuerungs- und Begleitgruppen in Abhängigkeit von Evaluationszweck und politischer Bedeutung der Evaluation diskutiert und vereinbart werden müssten.

Oft sind aus den Aufträgen der Leitungsorgane des Amtes weder Zweck noch Fragestellung klar und der Auftrag lautet einfach: «Evaluiert mal». In vielen Fällen fehlen auch Evaluationsklauseln in den Erlassen, die es ermöglichen würden, Evaluationszweck und Fragestellungen einzugrenzen. Sind Zweck und Fragestellungen und bestenfalls sogar Kriterien definiert, geschieht dies oft so allgemein, dass erst im Zuge der Auftragsklärung spezifiziert werden kann, was eigentlich gemacht werden soll. Die Möglichkeit, während der Laufzeit der Ausschreibung Fragen zu stellen oder spätestens im Kick-off ein gemeinsames Verständnis zu erarbeiten, scheint nicht immer zu genügen. Aus diesem Grund werden oft diejenigen Anbieter bevorzugt, die mit dem betreffenden Amt und seinen Herausforderungen besonders vertraut sind. In vielen Fällen ist auch lange unklar, wie die Evaluation genutzt werden soll oder es werden – weil dies von der Politik so gewünscht wird – Wirkungsmessungen verlangt, obwohl noch gar keine Wirkung beobachtet werden kann. Da Wirkmodelle und generell die Frage der Evaluierbarkeit von Massnahmen bei der Entwicklung von Programmen und Projekten selten zureichend berücksichtigt werden, muss dies in der Evaluation, so gut dies dann noch möglich ist, nachgeholt werden.

Gewisse Ämter haben ein eigenes Set von Hilfsmitteln. Vieles wird von Ämtern mit einer grossen Evaluationserfahrung im Internet zur Verfügung gestellt. Damit diese Dokumente in anderen Ämtern genutzt werden könnten, müssten sie aber auf die Realität der betreffenden Ämter angepasst werden. Diese Anpassungsarbeit kann dort kaum geleistet werden, wo Evaluationen ohnehin ein Schattendasein fristen. Auch Evaluationsklauseln in Gesetzen und Verordnungen erfüllen in vielen Fällen ihren Zweck nicht, insbesondere wenn sie nicht entsprechend der Anforderungen des Gesetzgebungsleitfadens formuliert sind. Oft wäre es wünschbar, Stakeholder im Vorfeld der Ausschreibung einer Evaluation an einen Tisch zu bringen, damit man sich auf Zweck und Nutzung der Evaluation einigen kann. Das wird aber nicht so häufig praktiziert. Hier wäre eine konkrete Anleitung zum guten Umgang mit Stakeholdern mit sehr divergierenden Interessen hilfreich. Festgestellt wurde auch ein weit verbreiteter Informationsmangel auf der Ebene der Leitungsorgane der Ämter. Die Leitungsorgane sollten wissen, was mit einer Evaluation erreicht werden kann, und welche Instrumente für eine Evaluation zur Verfügung stehen.

Ein Merkblatt zur Formulierung von Zweck und Fragestellungen in Ausschreibungen wäre hilfreich. Auch ein einfacher Peer-to-Peer Austausch von Amt zu Amt kann einfach und schnell zeigen, wie ein Problem andernorts gelöst wird. Manchmal wäre auch externes Coaching oder externe Beratung hilfreich, ohne dass gleich eine Machbarkeitsstudie in Auftrag gegeben werden muss.

Allgemein wurde der Wunsch formuliert, Handreichungen oder andere Hilfsmittel in einer Kooperation von Netzwerk und SEVAL zu erstellen. Dabei müssen insbesondere auch diejenigen Ämter einbezogen werden, welche wenig Evaluationserfahrung oder Evaluationskapazität haben.

Seitens der Evaluierenden wird einhellig festgestellt, dass die Liste der Evaluationsfragen im Verhältnis zum Budget oft zu lang ist. Bei langen Fragelisten braucht es eine Priorisierung entweder bei der Redaktion des Pflichtenheftes oder bei der Offertstellung. Die Praxis der Ämter, ein mögliches Kostendach transparent zu machen, ist sehr unterschiedlich. Werden aber nicht wenigstens Anhaltspunkte für einen möglichen Kostenrahmen geliefert, führt dies zu einem Preis- und nicht zu einem Leistungswettbewerb. Werden beim Wettbewerb die Vorgehensweise und die Methoden sehr stark vorgegeben und gleichzeitig das Budget fixiert, entsteht kein Wettbewerb. Die Evaluierenden beobachten, bei Zuschlagsentscheiden der Preis tendenziell (zu) stark gewichtet wird. Welche Methoden verwendet werden sollen, sollte idealerweise im Austausch zwischen Evaluatorinnen und Evaluatoren sowie Auftraggeberinnen und Auftraggebern diskutiert und festgelegt werden. Je nach Massgabe der Ressourcen könnte dann der Einsatz spezifischer Methoden vereinbart werden. Dies bedingt aber, dass nach dem Zuschlag die Bereitschaft besteht, das Vorgehen anzupassen. Es besteht ein gewisses Dilemma zwischen klaren Vorgaben zur (wissenschaftlichen) Vorgehensweise und Methode auf der einen Seite und methodischer Innovation auf der anderen Seite. Klare Vorgaben erleichtern die Umsetzung, erschweren oder verhindern aber gleichzeitig auch Innovationen. Letztere kommen dann zu Stande, wenn ein Abweichen vom Erhebungskonzept möglich ist. Das Detailkonzept bietet die Gelegenheit, die Methodenwahl zu besprechen und festzulegen. Allerdings muss nach Schätzung von Teilnehmenden etwa 20 Prozent des Budgets für ein Detailkonzept aufgewendet werden. Dies ist nicht immer finanzierbar.

Hilfreich wäre ein Dokument, in dem typische Leistungen und ihre ungefähren Kosten beschrieben werden. Das Ziel wäre nicht eine schematische Anwendung, sondern eine Information, welche Fragestellungen etwa welche Budgets nach sich ziehen. Damit könnten groben Fehlplanungen bei der Redaktion der Pflichtenhefte vorgebeugt werden. Das BAG arbeitet oftmals mit einer Methodentabelle, mit deren Hilfe die Wahl der angemessenen Methode und die Diskussion des Methodeneinsatzes erleichtert werden kann. Die Erarbeitung weiterer Hilfsmittel müsste noch diskutiert werden. Denkbar sind auch kleine Austauschveranstaltungen unter den Ämtern, bei denen Probleme vertraulich angesprochen werden können, ohne sich im grossen Kreis «outen» zu müssen.

Selbstevaluation wird vorwiegend bei betrieblichen Themen, etwa zur Verbesserung von Führungsinstrumenten verwendet, während externe Evaluationen standardmässig der Rechenschaftslegung dienen. Mischformen sind selten und wenn sie zur Anwendung kommen, ist der Teil der Selbstevaluation gering und dient meistens dazu, die Daten für die externe Evaluation zu generieren. Nicht immer ist es den Evaluierenden bei einer Selbstevaluation klar, dass auch in diesen Fällen die Standards angewendet werden müssen. Insbesondere Unvoreingenommenheit und Ergebnisoffenheit können nicht immer garantiert werden. Oft fehlt bei der Selbstevaluation auch das Methodenwissen. Deshalb kann es hilfreich sein, Selbstevaluationen durch externe Personen mit Evaluationswissen coachen oder moderieren zu lassen. Tendenziell werden weniger Selbstevaluationen durchgeführt als in vergangenen Jahrzehnten. Hilfreich wäre ein Merkblatt, das die Qualitäten und die Potentiale der verschiedenen Evaluationsformen (Selbst-, Fremd- und externe Evaluation) im Vergleich aufzeigt.

In den Ämtern, in denen die Evaluation eine grosse Rolle spielt, scheint die Situation hinsichtlich der Hilfsmittel und Handreichungen recht zufriedenstellend zu sein. Nicht vergessen darf man aber diejenigen Ämter, die weniger Evaluationen durchführen und in denen Evaluationswissen sowie entsprechende Handreichungen oft nicht ausreichend vorhanden sein dürften. Zudem fehlt auch die personelle und zeitliche Kapazität, die Hilfsmittel der evaluationserfahrenen Ämter an die eigene Situation zu adaptieren. Der Leitfaden von 2005 kann von evaluationsunerfahrenen Personen kaum mehr sinnvoll verwendet werden und sorgt eher für Verwirrung als für Hilfe. Deshalb ist der Leitfaden heute auf der Website des Netzwerks nicht mehr abrufbar. Es bräuchte ein praxisorientiertes Merkblatt, das den Prozess einer Evaluation mit Verweis auf die Standards erklären könnte. Dabei sollten auch die rechtlichen Grundlagen mitberücksichtigt werden. Die notwendigen Arbeiten könnten vom Bundesamt für Justiz (BJ) bzw. von der Leitung des Netzwerks in Zusammenarbeit mit der SEVAL übernommen werden.

Die Finalisierung der Evaluationsberichte wird in den Ämtern sehr unterschiedlich gehandhabt. Viele Ämter kennen Feedbackrunden mit Beteiligten und Betroffenen, Sounding Boards oder den Einbezug von Sparringpartnern, Coaches etc. Die Parlamentarische Verwaltungskontrolle verfügt über «Evaluation Management Systeme», die Eidgenössische Finanzkontrolle über «Audit Management Systeme», während etwa das BAG über eigene prozessorientierte Guidelines verfügt. In anderen Ämtern wird von Fall zu Fall entschieden, wie vorzugehen ist. Je nach Praxis der Bundesämter bzw. Evaluationsgegenstand werden nur Beurteilungen oder auch die Formulierung von konkreten Empfehlungen gewünscht. Unterteilt werden Empfehlungen in politische, strategische und operationelle Empfehlungen. Die Adressaten der Empfehlungen erhalten dann die Möglichkeit zur Stellungnahme zu den Empfehlungen.

Die geäusserten Wünsche sind sehr unterschiedlich. Begrüsst werden Arbeitspapiere zu einzelnen Themen/Aspekten (z.B. Durchführung von Befragungen), Bewertungsraster bzw. Beurteilungskriterien (Operationalisierung von Standards), klare Vorgaben in den Pflichtenheften hinsichtlich Einsatzes der Standards und Sicherung der Evaluationsqualität. Auch Hilfsmittel für die Formulierung nützlicher Empfehlungen wurden gewünscht sowie eine Anleitung, wie bei Evaluationen zu verfahren sei, die sowohl formativ als auch summativ ausgerichtet sind. Ferner wurde mehrfach betont, dass Wirkmodelle als gemeinsame Basis für das Verständnis notwendig sind. Schliesslich wurde angeregt, auch beim Onboarding neuer Mitarbeitender auf die angesprochenen Problemfelder und die SEVAL-Standards hinzuweisen.

Die grösste Herausforderung ist die Heterogenität der Bundesverwaltung mit ihren unterschiedlichen Amtskulturen, Evaluationskulturen und Evaluationserfahrungen. In vielen Fällen werden Evaluationen von Fachabteilungen, Rechtsabteilungen oder Finanzabteilungen gesteuert und nur zum Teil durch Evaluationsfachleute.

Die SEVAL-Standards sind dabei oft ein Orientierungsrahmen, der vor allem dann eine Chance hat, eingesetzt zu werden, wenn er in der einen oder anderen Weise in amtsinternen Handreichungen aufgenommen wurde. Diejenigen, die die Evaluation steuern, betrachten die Standards manchmal nur als ein abstraktes Konstrukt.

Praxisorientierte Handreichungen, vor allem auch für Ämter mit wenig Evaluationserfahrung, wären hilfreich. Mindestens so wichtig wären Austausch und Weiterbildungsveranstaltungen, die alle Mitarbeitenden der Ämter, welche Einfluss auf die Evaluationen ausüben, und zwar inklusive der Ebene der Amtsleitungen, ansprechen sollten.

Die SEVAL bzw. die Beratungsstelle könnte in Zusammenarbeit mit dem Netzwerk denjenigen Bundesämtern, die dies wünschen, einen Blick von aussen anbieten im Sinne eines «critical friend».

Es müssten auch Ideen entwickelt werden, wie der riesige Wissensvorrat, der in den letzten 25 Jahren in den Ämtern gesammelt wurde, für die gesamte Verwaltung auf einfache und zugängliche Weise nutzbar gemacht werden kann.

Auf der Grundlage der Ergebnisse der gemeinsamen Veranstaltung des Netzwerks und der SEVAL wurden von den Organisatoren Verbesserungsmöglichkeiten aufgezeigt. Mehrere davon wurden im Rahmen der Umfrage vertieft (siehe Kapitel 3). Erst nach dieser Überprüfungsarbeit können Entscheidungen über zu ergreifende Massnahmen getroffen werden.

Das Netzwerk Evaluation in der Bundesverwaltung hat entschieden, eine Umfrage unter seinen Mitgliedern durchzuführen, um Informationen zu zwei Themen zu sammeln: Zum einen die Zufriedenheit der Mitglieder mit den Leistungen des Netzwerks, und zum anderen den Unterstützungsbedarf für die Umsetzung der Standards in der Praxis. In diesem Artikel wird nur auf den Teil der Umfrage eingegangen, der sich auf die SEVAL-Standards bezieht.

Die Veranstaltung im November 2022 ermöglichte zwar eine erste Diskussion über die Bedürfnisse der Verwaltung zur Förderung der Umsetzung der SEVAL-Standards, jedoch wurde der konkrete Bedarf, um die Anwendung der SEVAL-Standards zu unterstützen, nicht ermittelt.

Die Umfrage begann mit einer Bestandsaufnahme der Kenntnisse und Praktiken im Zusammenhang mit den Standards. Diese Bestandsaufnahme sollte die Übersicht, die während der Veranstaltung im November 2022 gesammelt wurde, vervollständigen und konsolidieren. Der Fragebogen befasste sich ebenfalls mit der Zufriedenheit mit den Instrumenten und der Unterstützung, die den Befragten derzeit zur Verfügung stehen. Schliesslich wurde im Fragebogen um Angaben zu den derzeit fehlenden Instrumenten und Massnahmen, welche die Umsetzung der Standards in der Praxis fördern könnten, gebeten.

Da das Netzwerk eine informelle Austauschgruppe ist, gibt es keine Mitgliederliste, sondern eine Verteilerliste, an die Informationen und Einladungen zu Veranstaltungen des Netzwerks versendet werden. Die Umfrage wurde daher über diese Verteilerliste verschickt. Die Verteilerliste des Netzwerks umfasst 110 Personen.

Die Umfrage wurde online zwischen dem 26. März 2024 und dem 12. April 2024 durchgeführt. Der Fragebogen war in deutscher und französischer Sprache verfügbar.

30 Antworten auf die Umfrage gingen innerhalb der Frist ein. Diese stammen von 14 Organisationseinheiten (Ämter, öffentlich-rechtliche Anstalt des Bundes, usw.). Somit kann die Umfrage einen Einblick in der Anwendung der SEVAL-Standards in der Bundesverwaltung geben. Es handelt sich jedoch keineswegs um eine umfassende Bestandsaufnahme.

Die SEVAL-Standards sind bei allen Umfrageteilnehmenden bekannt (siehe Abb. 1). Sie werden aber unterschiedlich verstanden: Die Mehrheit (18) kennt den allgemeinen Inhalt der SEVAL-Standards und kann sich bei Bedarf auf sie beziehen. Für ein Drittel (10) sind die SEVAL-Standards fester Bestandteil ihrer Praxis.

Abbildung 1: Kenntnisse der SEVAL-Standards

(N = 30)

Die Abbildung 2 zeigt die Umsetzung der SEVAL-Standards in der allgemeinen Praxis. Während 18 Antwortende an der Umfrage die SEVAL-Standards in die Prozesse und Dokumente integriert haben, bilden sie für 17 einen abstrakten, allgemeinen Rahmen, in dem die Praxis eingebettet ist. Für 9 Umfrageteilnehmende werden die Standards als Massstab für die Qualitätssicherung verwendet.

Abbildung 2: Umsetzung der SEVAL-Standards in der allgemeinen Praxis

(N = 30, Mehrfachantworten möglich)

Bei den konkreten Evaluationsprojekten variiert die Art und Weise, wie die SEVAL-Standards in der Praxis umgesetzt werden. Mehr als die Hälfte (18) der Befragten erwähnt explizit die Standards im Pflichtenheft und nur 6 benennen diese im Vertrag (vgl. Abb. 3). Die Standards werden mit dem Auftragnehmenden von Fall zu Fall (8) besprochen, jedoch erfolgt es nur selten systematisch (3). Bei 5 Befragten soll der Auftragnehmende erläutern, wie dieser die SEVAL-Standards anwendet. Mit der Begleitgruppe werden die Standards von Fall zu Fall von 4 Umfrageteilnehmer besprochen, jedoch wird diese Diskussion nie systematisch durchgeführt. Ein Viertel zieht die SEVAL-Standards für die Bewertung der Angebote heran.

Abbildung 3: Umsetzung der SEVAL-Standards bei den konkreten Evaluationsprojekten

(N = 30, Mehrfachantworten möglich)

Für die Umsetzung der SEVAL-Standards können sich die Bundesämter und weitere organisatorischen Einheiten der Bundesverwaltung auf Instrumente und Unterstützung (Schulung, Expertise, Austausch, usw.) stützen.

Grundsätzlich sind die Befragten mit den Hilfsmitteln, die derzeit zur Verfügung stehen, zufrieden (Abb. 4). Für die Hälfte ist sogar keine zusätzliche, bzw. neue Massnahme zu treffen.

Abbildung 4: Zufriedenheit mit den bestehenden Instrumenten und Unterstützungen

(N = 30)

Die verwendeten Instrumente und Unterstützungen sind in der Reihenfolge ihrer Häufigkeit in der Abbildung 5 aufgelistet. Mehrere Items standen zur Auswahl.

Abbildung 5: Verwendete Instrumente und Unterstützungen

(N = 30, Mehrfachantworten möglich)

Die Instrumente und Unterstützungen «spezifisches Handbuch der Organisation», «Interne Prozesse», «Checkliste» und «Vom Netzwerk organisierte Veranstaltungen zum Informations- und Erfahrungsaustausch» zeigen eine grosse Zufriedenheit (Abb. 6). Weniger Interesse oder Erfolg wurde bei den Instrumenten und Unterstützung «Mentoring» und «Sparringpartner innerhalb der Bundesverwaltung» verzeichnet.

Abbildung 6: Zufriedenheit mit den Instrumenten und Unterstützungen

(N = 30, Mehrfachantworten möglich)

Die Nutzung eines für die gesamte Bundesverwaltung gültigen Leitfadens für Evaluationen wurde von zwei Drittel der Befragten als sehr nützlich bis eher nützlich beurteilt (Abb. 7).

Abbildung 7: Nutzen eines Leitfadens der Bundesverwaltung für Evaluationen

Nachdem die Teilnehmenden die bestehenden sowie im Fragebogen vorgeschlagenen Instrumente und Unterstützungen bewertet hatten, erhielten sie die Möglichkeit, weitere Massnahmen aufzulisten, die sie für notwendig halten, um die Anwendung der Standards in der Praxis zu fördern. Die Inputs wurden nach Themen gruppiert und in Stichworten formuliert. Jedes aufgelistete Element wurde nur einmal genannt (vgl. Abb. 8).

Abbildung 8: Zusätzlich nötige Instrumente und Unterstützungen

Sowohl die Veranstaltung vom 30. November 2022 als auch die Umfrage im Netzwerk haben gezeigt, dass die SEVAL-Standards in der Bundesverwaltung bekannt sind und angewendet werden. Zumindest in den Ämtern, die regelmässig Evaluationen durchführen und/oder über spezielle Evaluationsstellen verfügen, ist ihre Anwendung gewährleistet. In diesen Ämtern scheint die Situation zufriedenstellend zu sein, jedenfalls was die ihnen zur Verfügung stehenden Instrumente und Leitfäden betrifft.

Wie an der Veranstaltung vom 30. November 2022 auch festgestellt werden konnte, ist die Bundesverwaltung allerdings sehr heterogen. Dies ist einerseits eine Stärke, in manchen Fällen aber auch eine Herausforderung. Es fällt auf, dass Evaluationen oft von spezialisierten Stellen, manchmal aber auch von Rechtsdiensten oder von anderen Stellen in Auftrag gegeben werden. Letzteres geschieht vor allem bei (kleinen) Ämtern, die über nur wenig Erfahrung mit Evaluationen verfügen. Die Evaluationsaufträge werden nur zum Teil von Evaluationsspezialistinnen und -spezialisten vergeben.

Die Anwendung der SEVAL-Standards in der Bundesverwaltung könnte durch einen einheitlichen Leitfaden für die gesamte Bundesverwaltung noch verbessert werden – wie dies bereits im Jahr 2005 (auf der Grundlage der alten Standards) geschah. In diesem Punkt war die Umfrage im Netzwerk eindeutig: Die Verwendung eines für die gesamte Bundesverwaltung geltenden Evaluationsleitfadens wurde von zwei Dritteln der Antwortenden als sehr nützlich oder eher nützlich erachtet.

Deshalb wird das BJ, in Zusammenarbeit mit dem Netzwerk Evaluation, in Kürze mit der Arbeit für einen neuen Leitfaden beginnen. Dieser Leitfaden soll eine wirksame Hilfe bei der Durchführung von Evaluationen bieten und ein praxistaugliches Instrument liefern. Durch die Bezugnahme auf die Standards, wird der Leitfaden als Gedächtnisstütze dienen und die entscheidenden gesetzlichen Grundlagen in Erinnerung rufen. Es ist vorgesehen, dafür innerhalb der Bundesverwaltung eine Arbeitsgruppe einzusetzen. Es soll gleichzeitig aber auch mit der SEVAL zusammengearbeitet werden. Mit dieser Massnahme möchte das BJ diejenigen Ämter, denen kein eigener Leitfaden zur Verfügung steht, bei der Durchführung ihrer Evaluationen unterstützen und die Umsetzung der SEVAL-Standards in der Bundesverwaltung weiter verbessern. Weitere Massnahmen werden derzeit von der Begleitgruppe des Netzwerks diskutiert. Sie betreffen vor allem die Aus- und Weiterbildung.

Mélanie Attinger, Wissenschaftliche Mitarbeiterin; Bundesamt für Verkehr; melanie.attinger@bav.admin.ch.

Bertrand Bise, Stv. Leiter Fachbereich Rechtsetzungsprojekte I; Bundesamt für Justiz; bertrand.bise@bj.admin.ch.

Reinhard Zweidler, Fürsprech und Notar; EBP Schweiz AG, IFAA, und FHNW; reinhard.zweidler@ebp.ch.

• Anthamatten, Uschi / Bise, Bertrand / Röser, Philipp / Schneuwly, Dominique / Wallart, Nicolas / Wernli, Lilith / Wicki, Martin (2021): Evaluationstätigkeit in der schweizerischen Bundesverwaltung. Zeitschrift für Evaluation, 20(1), 156–178.