Workshop 5 am SEVAL-Kongress zielte darauf ab, die Ansichten von SEVAL-Mitgliedern zum Thema «Partizipation in Evaluationen» zu erfassen. Die beiden Moderatorinnen Marion Baud-Lavigne (Parlamentarische Verwaltungskontrolle) und Nicolette Lumaldo (Collaborative Impact) aus den Reihen der Arbeitsgruppe Swiss JEE (junge angehende Evaluatorinnen und Evaluatoren) wollten herausfinden, was die zehn Workshop-Teilnehmenden konkret unter Partizipation verstehen. Anstelle von Präsentationen und darauf bezogene Diskussionen beinhaltete der Workshop verschiedene Blöcke, in denen – im Sinne konkreter Anschauungsbeispiele – unterschiedliche partizipative Arbeitsmethoden zum Einsatz kamen. Deren Ergebnisse und die daraus abgeleiteten Folgerungen sind nachfolgend zusammengefasst.
Zu Beginn des Workshops erstellten die beiden Moderatorinnen eine sogenannte «human scale» (menschliche Skala) zu vier Fragen: «Wie einfach oder schwer ist partizipative Evaluation in der Praxis umsetzbar?», «Ist Partizipation in Evaluationen unerlässlich oder reicht ein kleines Ausmass davon?», «Setzen Sie partizipative Elemente in allen Evaluationen ein, die Sie durchführen?» und «Würden Sie im Vergleich mit Ihrer aktuellen Evaluationspraxis partizipative Elemente lieber häufiger oder seltener einsetzen?». Bei jeder Frage waren die Teilnehmenden gebeten, sich gemäss ihrer Praxis bzw. Haltung gegenüber Partizipation in Evaluationen auf einer imaginären Skala zwischen zwei entgegengesetzten Positionen im Raum aufzustellen.
In einem zweiten Block tauschten sich zunächst jeweils zwei Teilnehmende über ihre Erfahrungen mit Partizipation in Evaluationen aus. Daran knüpfte eine Plenumsdiskussion an zur Frage «Was ist für Sie partizipative Evaluation?». Die Diskussion förderte folgende Erfahrungen und Ansichten zu Tage:
In der Erfahrung eines Teilnehmers erfolgt Partizipation in Evaluationsprozessen vor allem im Rahmen von Begleitgruppen, in denen Auftraggebende und Betroffene sich über den Evaluationsauftrag und das Pflichtenheft verständigen und Zwischen- und Schlussergebnisse diskutieren. Eine Teilnehmerin illustrierte dies am Beispiel der Schulevaluation, bei der Themen, Anliegen und Fragen meist gemeinsam mit Stakeholdern festgelegt werden und die sich diesbezüglich durch einen relativ hohen Grad an Partizipation auszeichnet. Auch in der Erfahrung eines weiteren Teilnehmers erfolgt Partizipation vor allem zu Beginn von Evaluationen zur Auftragsdefinition. Die entscheidende Frage sei aber, was danach folge, wie viel Partizipation man im Erhebungs- und Auswertungsprozess und bei der Ergebnisinterpretation zulassen wolle und solle.
Ein anderer Teilnehmer war der Ansicht, Partizipation solle kein Selbstzweck sein, sondern sollte für den konkreten Evaluationsprozess einen Nutzen bringen. Partizipation ist für ihn vor allem dann sinnvoll, wenn sich Evaluierende in ein für sie neues Thema einarbeiten müssen und dazu das Wissen und die Erfahrungen von Akteuren des untersuchten Feldes abholen wollen.
In der Diskussion zeigte sich, dass es für Evaluierende eine Herausforderung bedeuten kann, einen Teil ihrer Autonomie über den Prozess der Bewertung an Dritte abzugeben. Es geht dabei um die Definitionshoheit: Wer legt fest, was wie und nach welchen Kriterien evaluiert wird? Dies scheint auch eine Frage des Rollenverständnisses zu sein: Ein Teilnehmer sieht durch den Einbezug Dritter in Evaluationsprozesse seine Rolle als qualifizierter Fachexperte, der als externer Evaluator beauftragt ist, eine spezialisierte Dienstleistung zu erbringen, in Frage gestellt. Für einen anderen Teilnehmer nehmen Evaluierende in partizipativen Evaluationen hingegen eher die Rolle von «Facilitators» ein, die einen Prozess moderieren und unterstützen. Interessant, aber im Workshop ungeklärt blieb die Frage, wie sich Selbstevaluation und partizipative Evaluation zueinander verhalten: Hier beurteilen die am Evaluationsgegenstand Beteiligten ihre eigenen Aktivitäten; die Evaluation wird so von denen durchgeführt, die daran zu beteiligen wären.
Ein Teilnehmer stellte fest, dass einzelne Bundesämter als Auftraggebende von Evaluationen ihre Prozesse zunehmend für Stakeholder öffnen und so Partizipation vermehrt zulassen. Bei NGOs, Stiftungen und Akteuren der Entwicklungszusammenarbeit sei partizipative Evaluation weiter verbreitet als in anderen Feldern.
Einig waren sich die Teilnehmenden darin, dass die Integration partizipativer Elemente nicht nur eine Frage der eingesetzten Methodik ist, sondern Auswirkungen auf zahlreiche Aspekte des Evaluationsprozesse hat – auf die Planung, die Organisation und den Aufwand, aber auch auf die Anforderungen an Evaluierende. Schliesslich ist das Gelingen von Partizipation gemäss der Erfahrung eines Evaluators auch abhängig davon, wie gut die einbezogenen Stakeholder vorbereitet sind, um qualifiziert und nutzenbringend zur Informationsgewinnung beizutragen oder einen Bericht zu kommentieren. Dass gewisse Stakeholder nur bereit sind, an einer Evaluation mitzuwirken, wenn ihr Aufwand entschädigt wird, kann zudem einen limitierenden Faktor darstellen.
Für das dritte Workshop-Element widmeten sich vier Zweier- bzw. Dreiergruppen je einer Frage zur partizipativen Ausgestaltung von Evaluationen. Die Überlegungen dazu wurden auf Flipcharts gesammelt, dem Plenum vorgestellt und anschliessend kurz diskutiert.
Wer soll in Evaluationsprozesse einbezogen werden? Die Gruppe, die sich mit dieser Frage befasste, führte Akteursgruppen aus drei Kreisen auf:
- Auftraggebende, Mitauftraggebende und von Auftraggebenden berufene Kreise oder Personen
- Zielgruppen, Mittler und Multiplikatoren
- Weitere Betroffene, Interessenvertreterinnen und -vertreter sowie Repräsentantinnen und Repräsentanten öffentlicher Institutionen
Wann im Evaluationsprozess soll Partizipation erfolgen? Die Personen in dieser Gruppe erstellten eine Skizze und zeigten so auf, dass die Praxis je nach Tätigkeitsbereich (die Beteiligten sind in der Schulevaluation, der Politikevaluation und in der Finanzkontrolle tätig) unterschiedlich ausfällt (Abb. 1), was sich als Hinweis auf kontextspezifische Evaluationskulturen deuten lässt.
Abbildung 1: Ausmass der Partizipation in verschiedenen Evaluationskontexten
Quelle: Workshop-Flipchart
Wozu dient Partizipation in Evaluation, weshalb setzt man partizipative Elemente ein? Zu dieser Frage versammelte die Gruppe eine breite Palette verschiedener möglicher Motive und Zwecke: Partizipative Evaluation wird teilweise gefordert, ist für einige schlicht eine Normalität und für andere eine Modeerscheinung, oder sie entspringt einem Wunsch nach Innovation. Sie wird eingesetzt, weil sie zweckdienlich ist, weil sie Zugang zum Feld und zu Information ermöglicht, aber auch, weil sie die Akzeptanz einer Evaluation und ihrer Ergebnisse steigern kann. Partizipation unterstützt einen formativen Ansatz, sie ermöglicht die interaktive Reflexion und Lernen, und sie ermöglicht auch den Kompetenzaufbau.
Wie kann Partizipation in Evaluationen umgesetzt werden? Die mit dieser Frage betraute Gruppe trug folgende Vorschläge zusammen: Gruppenmethoden, Workshops und vergleichbare Formate, wie sie aus der Bürgerbeteiligung in politischen Prozessen bekannt sind, Sounding Boards und Begleitgruppen, Wissensbeschaffung über Internetforen und Diskussionsplattformen, Crowdsourcing (die Auslagerung von Aufgaben an eine Gruppe von Freiwilligen) oder den Einsatz von Apps oder Chats. Der Entscheid, welche Methode in einer spezifischen Evaluation zum Einsatz kommt, sollte davon abhängen, welchen Zwecken die Methode dienen soll. Interviews oder breit angelegte Umfragen wurden von den Workshopteilnehmenden nicht als explizit partizipative Methoden betrachtet, weil sie hauptsächlich der unidirektionalen Informationserhebung dienen und weniger auf Interaktion und Austausch ausgerichtet sind.
Der letzte Block des Workshops beleuchtete die Abschlussfrage, wann partizipative Evaluation notwendig bzw. durchführbar ist und wann nicht. Die Workshop-Teilnehmenden waren gebeten, ihre Überlegungen dazu auf Haftzetteln zu notieren und auf einem Flipchart in einem zweidimensionalen Diagramm mit den beiden Achsen «Durchführbarkeit» und «Notwendigkeit» der Partizipation unter Berücksichtigung der jeweiligen Ausprägungen «hoch» und «tief» zu verorten.
Zusammenfassend zeigte sich, dass in der Einschätzung der Workshop-Teilnehmenden partizipative Evaluationen vor allem unter folgenden Umständen nötig und gut durchführbar ist:
- Ex-ante-Evaluation von Umsetzbarkeit und Wirkungen, z. B. im Kontext von Regulierungsfolgenabschätzungen
- formative, lernorientierte Evaluationen
- Vollzugsevaluation
- Festlegen von Bewertungsmassstäben
- Entwicklung von Handlungsempfehlungen
- Triage von Informationen, Sicherstellung der Datenqualität
Ebenfalls nötig, aber schwerer durchführbar ist partizipative Evaluation unter folgenden Voraussetzungen:
- hohe Komplexität des Evaluationsgegenstands und seines Kontexts
- Pluralität der involvierten Werte, Konflikte
- untervertretene Stakeholder/Zielgruppen sind schlecht organisiert bzw. schwer erreichbar
- Ermittlung von Nebeneffekten bzw. Nebenwirkungen
- integrale Gesetzesevaluation
Die Durchführbarkeit scheint unter folgenden Umständen hoch:
- Zeit und Budget lassen Partizipation zu
- homogener Kreis der Beteiligten
Weniger notwendig und schwerer durchführbar ist partizipative Evaluation bei:
- rechenschaftsorientierten, summativ ausgerichteten Wirkungsevaluationen
- der Analyse von Daten
- hohen Ansprüchen an die Unabhängigkeit der Evaluation.
Der sehr interaktiv und diskussionsorientiert gestaltete Workshop zeigte insgesamt differenzierte Haltungen der Teilnehmenden gegenüber partizipativer Evaluation. Deren Sinn und Zweck stellte niemand grundsätzlich in Frage. Allerdings waren durchaus gewisse Vorbehalte und Nuancierungen erkennbar. Einzelne Teilnehmende stützten sich dabei auf konkrete Praxiserfahrungen mit partizipativer Evaluation. Andere hegten Bedenken, dass die Beteiligung von Stakeholdern an Entscheidungen in Zusammenhang mit der Evaluation die Unabhängigkeit und den Expertenstatus von Evaluierenden in Frage stellen kann. Hier besteht in der Tat ein Spannungsfeld, denn echte Partizipation zeichnet sich ja gerade dadurch aus, dass die Beteiligten nicht nur einseitig Informationen, Erfahrungen und Wissen an die Evaluation beisteuern, sondern auch die Möglichkeit zur Mitsprache, wenn nicht gar zur Mitentscheidung haben. Entsprechend sollen partizipative Methoden nicht nur der reinen Informationserhebung dienen, sondern sie sollten bidirektional ausgerichtet sein, indem sie Interaktion und Austausch ermöglichen. Dieses Spannungsfeld verweist auf eine Herausforderung in Bezug auf die Qualität von Evaluation: Der Einbezug von Beteiligten und Betroffenen ist ein Qualitätsmerkmal, er soll jedoch nicht zu verzerrten Ergebnissen führen und methodische Gütekriterien wie Validität und Repräsentativität beeinträchtigen. Wie dieser Balanceakt gemeistert werden kann, wurde am Workshop nicht diskutiert und wäre sicher eine anderweitig zu vertiefende Frage.
In einem weiteren Punkt waren sich die Workshopteilnehmenden einig: Partizipation ist grundsätzlich wünschbar und wertvoll, aber auch stets eine Frage der Machbarkeit und abhängig von den Rahmenbedingungen, in denen eine Evaluation geplant und umgesetzt wird. Es braucht entsprechende Freiheitsgrade auf der Ebene des Projektmanagements (Budget, Zeit), aber auch hinsichtlich des Evaluationsauftrags (Definition des Gegenstandes, der Fragestellungen, Kriterien und Methoden). Partizipation erfordert diesbezüglich eine gewisse Offenheit, die bei zu engen Vorgaben und Erwartungen an die Evaluation nicht gegeben ist. Ob partizipative Evaluation möglich ist, hängt somit teilweise von der Ausschreibungspraxis von Auftraggebenden und von den Pflichtenheften ab.
Partizipative Evaluation stellt gewisse Ansprüche an die Evaluierenden. Sie erfordert von ihnen ein bestimmtes Rollenverständnis, die Bereitschaft, einen Teil der Entscheidungshoheit über den Evaluationsprozess abzugeben, Flexibilität bei der Prozessgestaltung, spezifische Methodenkenntnisse und Moderationskompetenzen. Der Workshop hat gezeigt, dass Evaluierende unterschiedlich offen gegenüber Partizipation eingestellt sind und dass bezüglich der Methodenkompetenz sicherlich Entwicklungspotenzial besteht.
Schliesslich ist der Erfolg partizipativer Evaluation auch abhängig von den zu beteiligenden Akteuren. Diese müssen nicht nur die Möglichkeit haben, sich in eine Evaluation einzubringen, sondern müssen auch dazu bereit sein. Der Einbezug von Stakeholdern sollte neben einem Prozessnutzen auch substanziellen inhaltlichen Nutzen für die Evaluation schaffen. Deren Beiträge sollten somit möglichst qualifiziert und auf den Evaluationszweck ausgerichtet sein.
Die interaktive Methodik des Workshops war sehr gelungen, weil sie auf den Erfahrungs- und Gedankenaustausch ausgerichtet war. Dadurch gelang es, den Teilnehmenden, die in unterschiedlichen Rollen und Kontexten tätig sind, verschiedene Perspektiven auf das Thema aufzuzeigen, Gedankenanstösse zu vermitteln und so Lerneffekte zu ermöglichen. Zwei Beobachtungen zur Methodik versinnbildlichen jedoch die Vorbehalte, die einzelne Teilnehmende im Workshop gegenüber dem Einsatz partizipativer Methoden in Evaluationen äusserten: Zum einen blieb für eine synthetisierende Verdichtung der verschiedenen, partizipativ ermittelten Teilergebnisse aus den einzelnen Workshopblöcken keine Zeit. Zum anderen bleibt offen, inwiefern die Überlegungen der Teilnehmenden und die daraus gewonnenen Teilergebnisse ein für die Gesamtheit der SEVAL-Mitglieder repräsentatives Stimmungsbild zur Haltung zum Thema Partizipation zeichnen würden. Diese Ansprüche versuchte der Workshop allerdings auch gar nicht zu erfüllen. Das Format war bestens geeignet, um die Grenzen und Möglichkeiten partizipativer Evaluation auszuleuchten und Impulse zur Weiterentwicklung der Evaluationspraxis auf persönlicher, institutioneller und fachlicher Ebene zu setzen.
Christian Rüefli, Geschäftsführer des Büro Vatter, Politikforschung & -beratung; Mitglied des SEVAL-Vorstandes. ruefli@buerovatter.ch.