Evaluationen leisten einen wichtigen Beitrag zu evidenzbasierten Entscheidungen
und Gestaltungsprozessen in allen relevanten gesellschaftlichen Bereichen.
Dazu werden Evaluationen in der Schweiz durchwegs höchst professionell geplant und umgesetzt.
Sie werden breit genutzt und geschätzt und tragen damit wesentlich dazu bei,
Leistungen von Bund, Kantonen, Gemeinden, Nichtregierungsorganisationen
und Unternehmen zugunsten der Allgemeinheit zu verbessern.
Strategie des SEVAL-Vorstands 2018–2021 (SEVAL 2017)
In der Schweiz herrscht eine weitverbreitete Evaluationskultur, weil eine Nachfrage besteht, empirisch-basierte Entscheidungsfindung zu ermöglichen. Evaluationen sind in der Verfassung und in verschiedenen Gesetzen institutionalisiert. Es gibt dementsprechend ein weites Netzwerk von erfahrenen Evaluatorinnen und Evaluatoren, mehrere private Evaluationsbüros und Forschungsinstitute (u. a. Universitäten). Der Zweck von Evaluationen ist vielfältig: Rechenschaftspflicht, Lernen von bisherigen Aktivitäten (d. h. von Politiken, Programmen, Projekten, Massnahmen usw.), Anpassung bzw. Verbesserung von Aktivitäten, Verstehen von Zusammenhängen, Team-Motivation, Sinnfindung der angegangenen Aktivitäten und weitere Zwecke. Um eine hohe Qualität der Evaluationen zu gewährleisten, hat die Schweizerische Evaluationsgesellschaft (SEVAL) verschiedenste Massnahmen getroffen. So hat sie Qualitätsstandards definiert (SEVAL 2016), und ihre Strategie 2018–2021 (SEVAL 2017) gilt als Rahmen für die Professionalisierung der Schweizer Evaluatorinnen und Evaluatoren. Professionalisierung ist dabei kein Selbstzweck, sondern ein Weg, der zu besseren Leistungen beitragen soll. Wie am SEVAL-Kongress vom September 2019 gesagt wurde: «Professionalität ist ein Zustand, Professionalisierung ist ein Prozess» (Gauthier 2019).
Was aber heisst konkret «Professionalisierung der Evaluationstätigkeit»? Aus der Perspektive von Personen, die professionell als Evaluatorinnen und Evaluatoren tätig werden möchten, stellen sich Fragen wie: Ab wann ist man sich bewusst, dass man Evaluatorin oder Evaluator ist oder werden möchte? Wie kann man wissen, welche Kompetenzen einem fehlen, um sich Evaluatorin oder Evaluator zu nennen? Ab wann darf man sich überhaupt so nennen? Reicht ein abgeschlossenes Hochschulstudium? Soll und kann man sich zertifizieren lassen (z. B. gemäss kanadischem oder europäischem Modell)? Welche Erfahrungen sind wichtig?
In der Schweiz gibt es keine Hürden, sich als Evaluatorin oder Evaluator zu bezeichnen. Die Mitgliedschaft in der SEVAL ist keine Voraussetzung und entfaltet per se auch keine Signalwirkung, da der Verein allen interessierten Personen offensteht. Der Prozess zur Registrierung als Evaluations-Fachperson in der entsprechenden SEVAL-Datenbank ist einfach und zugleich intransparent: Eingabe der eigenen Daten, Prüfung des Dossiers durch den SEVAL-Vorstand und – wenn angenommen – Publikation auf der SEVAL-Website. Von aussen ist es aber nicht nur schwierig, einzuschätzen, wie kompetent diese Evaluations-Fachpersonen sind, sondern auch, ob man selbst schon erfahren genug ist, um sich guten Gewissens Evaluatorin oder Evaluator zu nennen – mit oder ohne Eintrag als Fachperson.
International haben sich junge, angehende Evaluatorinnen und Evaluatoren zusammengeschlossen, um solche und ähnliche Fragen zu beantworten, sich auszutauschen und sich gegenseitig zu unterstützen. In der Schweiz bestand bis vor kurzem kein Netzwerk, das sich konkret für die Interessen der jüngeren Fachpersonen in diesem Bereich einsetzt. Dies wurde mit der Initiative Swiss JEE geändert.
Die Gruppe der Schweizer jungen Evaluatorinnen und Evaluatoren, kurz Swiss JEE (jeunes évaluateurs émergents / junge, angehende Evaluatorinnen und Evaluatoren) entstand aus dem Wunsch zweier Masterabsolventinnen, erste Erfahrungen im Bereich von Evaluationen zu sammeln. Fragen kamen auf, wie man überhaupt diesen Einstieg angehen soll. Wer ist wer im Schweizer Evaluationsmarkt? Welche Organisationen mandatieren Evaluationen? Welche Organisationen führen Evaluationen durch? Wie kommt man in das Netzwerk der Evaluatorinnen und Evaluatoren? Kann man einfach an einer SEVAL-Tagung teilnehmen und Visitenkarten austeilen? Eine Internetrecherche zu «unerfahren» und «Evaluation» führte rasch zu einer internationalen Initiative von EvalYouth.
Die Initiative von EvalYouth basiert auf der Überzeugung, dass es das wichtigste und langfristige Ziel von Evaluationen auf internationaler Ebene ist, zu einer nachhaltigen Entwicklung im Sinne der Sustainable Development Goals (SDG) der Vereinten Nationen beizutragen. Dieses Ziel hängt von der Produktion von hochstehenden Evaluationen ab, die den Standards der Nützlichkeit, Durchführbarkeit, Korrektheit, Genauigkeit und Rechenschaftspflicht entsprechen. Die Nachfrage nach qualifizierten und kompetenten Evaluatorinnen und Evaluatoren ist gross und übersteigt zuweilen das Angebot. Dazu kommt, dass junge Fachpersonen in vielen Berufsvereinigungen unterrepräsentiert sind.
Dies führt zu einer ersten Herausforderung in der weltweiten Gemeinschaft der Evaluatorinnen und Evaluatoren: Wie können wir die nationalen, regionalen und internationalen Kapazitäten zur Erstellung hochwertiger Evaluationen erhöhen?
Die Qualität von Evaluationen hängt von der fachlichen Kompetenz der Evaluierenden, aber darüber hinaus unter anderem auch von einer adäquaten Vertretung der verschiedenen Anspruchsgruppen ab. Traditionell sind junge Menschen in Evaluationen von Politiken und Programmen oft unterrepräsentiert, obschon diese Politiken einen grossen Einfluss auf ihr Leben haben. Es ist wichtig, dass junge Menschen nicht nur als Datenquelle in Evaluationen eingebunden werden, sondern aktiv an Evaluationen mitarbeiten (EvalYouth 2016).
Damit ergibt sich eine zweite Herausforderung für die weltweite Gemeinschaft der Evaluatorinnen und Evaluatoren: Wie können junge Menschen besser in Evaluationsprozesse miteinbezogen werden?
Um diese beiden Herausforderungen anzugehen, wurde nach dem Internationalen Jahr der Evaluation 2015 an der Globalen Evaluationswoche in Katmandu die EvalYouth-Plattform gegründet. Diese Plattform verfolgt zwei Ziele:
- Förderung von jungen, angehenden Evaluatorinnen und Evaluatoren; Stärkung ihrer Kompetenzen, Erfahrungen und Vernetzung, damit sie zu hochstehenden Evaluationen auf regionaler, nationaler und internationaler Ebene beitragen können.
- Integration der jungen, angehenden Evaluatorinnen und Evaluatoren in die regionale, nationale und internationale Evaluationsszene.
Als junge, angehende Evaluatorinnen und Evaluatoren (JEE) versteht EvalYouth Personen, die mindestens eine der folgenden Bedingungen erfüllen (EvalYouth 2016):
- Sie sind unter 35 Jahren.
- Sie haben weniger als 5 Jahre Berufserfahrung im Bereich.
- Sie sind Studierende oder frischgebackene Hochschulabsolventinnen oder -absolventen, die daran interessiert sind, einen Beruf in der Evaluationsbranche zu beginnen.
- Sie sind Leute mit fachspezifischen Kenntnissen, die seit 5 Jahren oder weniger ein Interesse daran haben, professionelle Evaluatorinnen oder Evaluatoren zu werden.
Eine Plattform wie EvalYouth hilft, die Fragen junger, angehender Evaluationsfachleute zu beantworten. In der Schweiz existierte jedoch nichts dergleichen. Um dieses Vakuum zu füllen, kam die Idee auf, eine solche Initiative auch auf nationaler Ebene in der Schweiz zu lancieren. Aus den ursprünglich zwei Initiantinnen wurden vier, und die Swiss JEE wurden offiziell ins Leben gerufen. Der SEVAL-Vorstand zeigte sich nicht nur offen gegenüber dieser Initiative, sondern unterstützte sie auch aktiv. Diese Unterstützung ermöglichte das rasche Voranschreiten und die Entwicklung erster Aktivitäten der Gruppe.
Einer der ersten Schritte dieser jungen Initiative war es, ihre Vision in einem Konzeptpapier niederzuschreiben, das mit dem SEVAL-Vorstand geteilt wurde. Die wichtigsten Aspekte sind hier zusammengefasst.
Die grundlegende Vision von Swiss JEE ist es, eine dynamische, schweizweite Plattform für angehende Evaluatorinnen und Evaluatoren aufzubauen, die den Informations-, Wissens- und Erfahrungsaustausch zwischen JEE und etablierten Evaluationsfachleuten sowie die Bildung im Evaluationsbereich und Netzwerk-Gelegenheiten fördert. Die Evaluationsgemeinschaft soll somit mit Nachwuchs versorgt und verstärkt werden.
Swiss JEE soll den Wert des Schweizer Evaluationsmarktes (die institutionalisierte Evaluationskultur, die Möglichkeiten zur Innovation von Ansätzen und Methoden usw.) für angehende Evaluatorinnen und Evaluatoren hervorheben. Die Schaffung eines Netzwerks von jungen Evaluationsfachleuten in der Schweiz soll der SEVAL ausserdem eine Gelegenheit bieten, ihre Aktionen zu verbreiten und zukünftige oder gegenwärtige Mitglieder zu ermutigen, sich in ihre Aktivitäten einzubringen und an der Entwicklung der Gesellschaft mitzuwirken.
Zielpublikum von Swiss JEE sind junge, angehende Evaluatorinnen und Evaluatoren gemäss der Definition von EvalYouth. Für den erwünschten Austausch sind aber auch erfahrene Fachleute wichtig. Sie sollen deshalb in die Aktivitäten von Swiss JEE miteinbezogen werden. Um diese Aktivitäten genauer festzulegen, wurde mittels Online-Umfrage eine Bedarfsanalyse durchgeführt, deren Resultate nachfolgend dargelegt werden.
Die Umfrage der Swiss JEE hatte zum Hauptziel, die Bedürfnisse und Interessen der JEE zu identifizieren. Sie richtete sich neben JEE auch an erfahrene Evaluationsfachleute. Die Umfrage wurde mittels LimeSurvey zwischen August und Oktober 2018 durchgeführt und konnte auf Deutsch, Französisch oder Englisch beantwortet werden. Um möglichst viele JEE zu erreichen, wurde der Link zum Fragebogen durch bestehende Netzwerke wie die SEVAL, EvalYouth, das Schweizer Netzwerk in multilateralen Organisationen, Hochschulen und persönliche Kontakte verbreitet. Dabei wurden die Adressatinnen und Adressaten dazu aufgefordert, den Link zur Umfrage auch selbst weiter zu verbreiten. Deshalb ist nicht bekannt, wie gross die Grundgesamtheit aller Adressaten schlussendlich tatsächlich war. Somit ist es nicht möglich, eine Rücklaufquote auszuweisen.
Aus der Umfrage resultierten auswertbare Antworten von 104 Personen. Davon wurden 69 (66 %) als JEE gezählt, 35 als erfahrene Evaluationsfachleute (EX). Ungefähr zwei von drei teilnehmenden JEE waren jünger als 35, noch etwas mehr haben weniger als fünf Jahre Erfahrung im Evaluationsbereich. Gut die Hälfte der JEE hat den Fragebogen auf Deutsch beantwortet, etwas mehr als ein Drittel auf Französisch und ca. 10 Prozent auf Englisch. Die Teilnehmenden sind gut ausgebildet; knapp 90 Prozent verfügen über einen Masterabschluss oder einen Doktortitel. Die meisten stehen zudem bereits im Arbeitsleben, wobei sie sich ungefähr zu gleichen Teilen auf den akademischen Bereich, den öffentlichen Sektor, die Privatwirtschaft und NGO verteilen. Die nachfolgende Tabelle 1 gibt einen detaillierteren Überblick über die demografischen Daten. Da die Grundgesamtheit der JEE nicht bekannt ist, lässt sich nicht beurteilen, ob die Antwortenden repräsentativ für alle JEE in der Schweiz sind.
Tabelle 1: Merkmale der teilnehmenden JEE (Anzahl Antworten)
Den Befragten wurden die folgenden Themengebiete präsentiert, in den die Autorinnenund Autoren ungedeckte Bedürfnisse der JEE vermuteten: (1) Aus- und Weiterbildungsmöglichkeiten, (2) Netzwerkmöglichkeiten, (3) Wissens- und Erfahrungsaustausch, (4) Coaching und Mentoring sowie (5) Berufseinstiegsmöglichkeiten. Sowohl die JEE als auch die EX wurden pro Themengebiet zunächst nach den Bedürfnissen der JEE befragt (Antwortmöglichkeiten: grosses Bedürfnis, kleines Bedürfnis, kein Bedürfnis). Anschliessend wurde ihr persönliches Interesse abgefragt, an Veranstaltungen in diesem spezifischen Themengebiet teilzunehmen oder aktiv dazu beizutragen (Antwortmöglichkeiten: würde evtl. aktiv dazu beitragen, würde teilnehmen, nicht interessiert). Einige offene Fragen liessen Ergänzungen zu.
Bezüglich aller abgefragten Bereiche gibt es Handlungsbedarf. Bei jedem einzelnen Themengebiet waren mehr als 75 Prozent der antwortenden JEE der Meinung, dass Bedürfnisse (gross oder klein) vorhanden seien, zumeist gar über 90 Prozent. In jedem Fall waren über 50 Prozent der Meinung, dass die Bedürfnisse gross seien. Am grössten scheint der Bedarf bei Wissens- und Erfahrungsaustausch zu sein, am wenigsten dringend – aber gleichwohl gross – bei Coaching und Mentoring.
In den Antworten der EX sind klarere Schwerpunkte erkennbar. Zwar sind bezüglich aller Themengebiete annähernd 100 Prozent der Meinung, diesbezügliche Bedürfnisse seien bei den JEE vorhanden. Jedoch zeigen sich Unterschiede, wenn auf die Antworten zu den grossen Bedürfnissen fokussiert wird: Während bei Wissens- und Erfahrungsaustausch sowie Berufseinstiegsmöglichkeiten fast drei Viertel sowie bei Coaching und Mentoring zwei von drei der Befragten der Meinung sind, es gebe bei den JEE ein grosses Bedürfnis, sind bei Netzwerk- sowie Aus- und Weiterbildungsmöglichkeiten etwas weniger als die Hälfte dieser Meinung.
Die abgefragten Bereiche scheinen die relevanten Dimensionen abzudecken. Aus den Antworten auf die offenen Fragen kamen keine klaren Hinweise auf ein Themengebiet, das im Fragebogen nicht aufgeführt war.
Insgesamt lässt sich festhalten, dass die Resultate aus beiden Gruppen (JEE und EX) ähnlich sind. In keinem der abgefragten Bereiche sind die Bedürfnisse für aufstrebende Evaluatorinnen und Evaluatoren klar abgedeckt (siehe Abb. 1). Auch wird in beiden Gruppen von den meisten das grösste Bedürfnis im Wissens- und Erfahrungsaustausch gesehen. Die Unterschiede in der Beurteilung der Situation, sowohl zwischen einzelnen Bereichen als auch zwischen den Gruppen, sind jedoch klein. Dies bedeutet natürlich nicht, dass jeder Bereich für alle JEE eine ähnliche Bedeutung hat. So orten z. B. fast 60 Prozent der JEE ein grosses Bedürfnis bezüglich Berufseinstiegsmöglichkeiten, während zugleich knapp 20 Prozent angeben, dies sei kein Bedürfnis. Dies ist klar der höchste Wert für «kein Bedürfnis» und weist darauf hin, dass der Berufseinstieg für einige JEE eine Herausforderung darstellt, für andere hingegen gar nicht. Tatsächlich sind alle JEE, die diesbezüglich kein Bedürfnis benennen, bereits berufstätig. Die studierenden oder arbeitslosen JEE orten je zur Hälfte ein kleines oder grosses Bedürfnis.
Über die Gründe für die unterschiedliche Bewertung von erfahrenen und weniger erfahrenen Evaluatorinnen und Evaluatoren lässt sich aufgrund dieser Umfrage nur spekulieren. Es ist möglich, dass Erfahrene die Möglichkeiten zum Networking und für Weiterbildungen besser kennen, oder aber, dass sie deren Mehrwert mit Blick auf die eigene Karriere als geringer einstufen als die JEE. Die Differenzen sollten jedoch auch nicht überinterpretiert werden – schliesslich sind die Fallzahlen doch eher klein.
Abbildung 1. Anteil der JEE bzw. EX, die in den einzelnen Bereichen ein grosses Bedürfnis für JEE orten
Wie Abbildung 2 entnommen werden kann, wären die angehende Evaluatorinnen und Evaluatoren auch interessiert daran, an Veranstaltungen teilzunehmen oder gar einen Beitrag zu leisten. Erfreulicherweise sind auch einige der teilnehmenden erfahrenen Evaluationsfachleute interessiert, an Veranstaltungen teilzunehmen, die sich an JEE richten. Um Veranstaltungen in gewissen Bereich durchführen zu können, ist auch die aktive Unterstützung von erfahrenen Evaluatorinnen und Evaluatoren hilfreich. Es wäre zwar möglich, ein Mentoringsystem einzig zwischen mehr und weniger erfahrenen JEE aufzubauen. Dennoch eröffnet ein Austausch zwischen JEE und Erfahrenen weit grössere Möglichkeiten – für beide Seiten. Während die JEE von einem reichen Erfahrungsschatz profitieren und sich möglicherweise an bereits beschrittenen Wegen orientieren können, bietet sich Erfahrenen die Möglichkeit, sich mit neuen Methoden, einer frischen Sicht auf die Evaluation und der Weiterentwicklung ihres Berufsfelds auseinanderzusetzen.
Abbildung 2. Anteil der JEE bzw. EX, die zu Aktivitäten beitragen bzw. an ihnen teilnehmen möchten
Die Resultate der Umfrage zeigen, dass angehende Evaluatorinnen und Evaluatoren in Bezug auf ihren Beruf in vielen Bereichen Bedürfnisse haben, die gegenwärtig nicht befriedigt werden. Für die Initiative Swiss JEE sind die Resultate also positiv: Aktivitäten in den geplanten Bereichen greifen relevante Anliegen auf. Die Rückmeldungen zeigen eine grosse Unterstützung von Seiten der JEE, aber auch von erfahrenen Evaluationsfachleuten für die Initiative. Dank der Umfrage konnte überdies der Kontakt zu Personen aus beiden Gruppen hergestellt werden, was in die Planung der nächsten Schritte und erster Aktivitäten eingebunden werden kann.
Diese Ergebnisse liefern konkrete Elemente, um die zu Beginn dieses Artikels gestellten Fragen zu beantworten und auf dem Weg der Professionalisierung voranzukommen. Junge Evaluatorinnen und Evaluatoren sind interessiert und motiviert, aber es fehlt ihnen ein Rahmen, in dem sie sich zu Evaluationsprofis entwickeln können. Viele von ihnen verfügen bereits über Berufserfahrung in diesem Bereich, aber es besteht noch Bedarf an einem Wissensaustausch mit Gleichaltrigen oder Personen in derselben Situation. Das Gefühl der Zugehörigkeit zu einer Gemeinschaft durch die Möglichkeit der Vernetzung stärkt auch das Bewusstsein für Professionalität. Auf dem Weg zur Professionalisierung müssen sich die JEE in einem ersten Schritt legitimiert fühlen, sich als Evaluatorinnen und Evaluatoren zu bezeichnen. Swiss JEE will diesen Schritt begleiten.
Im Juni 2019 trafen sich mehr als 20 JEE und diskutierten mögliche Aktivitäten auf der Basis der Umfrageergebnisse. Die Ideen waren vielfältig: aktive Teilnahme an den SEVAL-Aktivitäten (Mitglieder der Gruppe trugen z. B. zum SEVAL-Kongress im September 2019 bei), Erstellung einer Plattform für den Wissensaustausch, Entwicklung eines Konzepts für den Einstieg in die professionelle Welt der Evaluation, Organisation eines «Speed-Datings» zwischen jungen und erfahrenen Evaluatorinnen und Evaluatoren, Mentoring und Coaching, Abende der Präsentation von Evaluationsprojekten, die von Mitgliedern des Netzwerks durchgeführt werden, öffentliche Präsentationsübungen und vieles mehr. Im Herbst 2019 haben JEE aktiv zum Erfolg des SEVAL-Kongresses beigetragen, sich zu einem zweiten Anlass getroffen und die offizielle Gründung als SEVAL-Arbeitsgruppe gefeiert. Auch in Zukunft werden die Swiss JEE zur Weiterentwicklung der Gemeinschaft Schweizer Evaluatorinnen und Evaluatoren beitragen: als organisch wachsende Initiative, die kontinuierlich motivierte Mitglieder sucht, mit Aktivitäten, die weiterhin innovativ und interaktiv sind, Spass machen sowie von und für junge, angehende Evaluatorinnen und Evaluatoren durchgeführt werden.
Nicoletta Lumaldo, Partnerin, Collaborative Impact.
Philipp Zogg, Evaluator / Projektleiter, Eidgenössische Finanzkontrolle (EFK).
Marion Baud-Lavigne, Evaluatorin / Projektleiterin, Parlamentarische Verwaltungskontrolle (PVK).
Anina Eggenberger, Koordinatorin Forschungslabor, Universität Lausanne (UNIL).
Die Autorinnen und der Autor haben die Plattform Swiss JEE initiiert.
- EvalYouth, 2016, Concept note.
https://www.evalpartners.org/sites/default/files/documents/evalyouth/EvalYouth%20Concept%20Note%20-%20July%202016.pdf - Gauthier, Benoît, 2019, The professionalization of evaluation practice: definitions, process, and trade-offs. Keynote-Speech an der SEVAL-Tagung 2019, 13. September 2019.
https://www.seval.ch/app/uploads/2019/10/20191004_The_professionalization_of_evaluation_practice.pdf - SEVAL, 2016, Evaluationsstandards der Schweizerischen Evaluationsgesellschaft. Von der Mitgliederversammlung am 9. September 2016 verabschiedet.
https://www.seval.ch/app/uploads/2018/01/SEVAL-Standards-2016_d.pdf - SEVAL, 2017, Strategie des SEVAL-Vorstands 2018–2021.
http://www.seval.ch/app/uploads/2018/08/Strategie2018-2021-def-d.pdf