SEVAL Dialogreihe zwischen Evaluierenden und Auftraggebenden

Eine von Beginn weg gute Zusammenarbeit zwischen Evaluierenden und Auftraggebenden ist ein wichtiger Erfolgsfaktor für eine gelingende und wirkungsvolle Evaluation. Im Rahmen der SEVAL-Veranstaltung «Aus- und Weiterbildung in der Evaluation – Quo Vadis?» im April 2022 (siehe auch den Werkstattbericht in LeGes 34 (2023) 1) wurde insbesondere die Qualifizierung von Auftraggebenden als dringlicher Bedarf identifiziert, um dies zu gewährleisten. Die AG Kompetenzen der SEVAL organisiert daher gemeinsam mit der AG Evaluationsstandards eine vierteilige Dialogreihe (siehe Abbildung 1) zur Förderung des Austauschs zwischen Auftraggebenden und Evaluierenden, zur Verbesserung ihrer Zusammenarbeit und zur Weiterentwicklung von Kompetenzen in verschiedenen Phasen einer Evaluation.

Abbildung 1: Dialogreihe

An der zweiten Dialogveranstaltung haben sich 11 Evaluierende und 8 Auftraggebende zu zentralen Aspekten bei Ausschreibungen und Offerten ausgetauscht, u.a.: Wie finde und erkenne ich gute Evaluator:innen, Ausschreibungsarten und -verfahren, Kommunikation während der Offertenphase, Qualität und Umfang von Offerten, Bewertungskriterien, Vertragsverhandlungen, Auftragsklärung.

Nach einem Rückblick auf die erste Dialogveranstaltung (siehe den Werkstattbericht in LeGes 35 (2024) 1) haben die Evaluator:innen und Auftraggebenden von Evaluationen zunächst in getrennten Gruppen Herausforderungen in dieser Phase aus je ihrer Perspektive gesammelt und anschliessend gemeinsam diskutiert. Auf Basis der vielfältigen Herausforderungen wurden Spannungsfelder identifiziert und Handlungsansätze entwickelt.

Evaluierende und Auftraggebende sehen sich v.a. bzgl. Erwartungen, Interpretationsmöglichkeiten, der zunehmenden Konkurrenzsituation, den (mangelnden) Fachkompetenzen auf beiden Seiten, Formalia und Verbindlichkeiten mit Herausforderungen konfrontiert. Im Einzelnen:

Unklare Erwartungen

• Es ist für Auftraggebende nicht immer einfach, den Evaluationsgegenstand einzugrenzen und gute Evaluationsfragen zu formulieren, die mit dem vorhandenen Budget beantwortbar sind. Evaluierende treffen entsprechend häufig die Situation an, dass die Erwartungen der Auftraggebenden zu hoch und die Evaluationsfragen zu umfassend sind im Verhältnis zum gegebenen Kostendach. Sie stehen vor der Frage, bis zu welchem Grad sie sich bei der Zeit- und Kostenkalkulation «verbiegen» sollen, um ein Angebot einreichen zu können, welches sowohl den Erwartungen als auch dem Kostendach entspricht.
• Evaluierende nehmen oft Erwartungen wahr, die in der Ausschreibung oder in Vorgesprächen mitschwingen, ohne dass sie explizit ausformuliert sind. Für Evaluierende ist es schwierig, einschätzen zu können, inwiefern solche impliziten Erwartungen in der Evaluationsplanung berücksichtigt werden sollen.

Intuitiver Interpretationsspielraum

• Der Umgang mit dem sog. Bauchgefühl resp. mit Intuition bei der Entscheidungsfindung wird als schwierig erachtet. Bauchgefühl fliesst letztlich immer in die Beurteilung von Offerten ein, auch wenn es klare Bewertungskriterien gibt. Es bleibt immer Interpretationsspielraum und in Bewertungskriterien wie «Gesamteindruck der Evaluation» oder «Kommunikation» dürfte das Bauchgefühl eine besonders grosse Rolle spielen. Der Umgang mit dem Bauchgefühl ist aber nicht nur auf Auftraggebendenseite eine Herausforderung, sondern auch für Evaluierende, beispielsweise wenn sie Auftraggebende oder einen Auftrag nur schwer einschätzen können.

Konkurrenzsituation und Qualität

• Für Evaluierende ist es schwierig, wenn sie die Konkurrenzsituation im Offertverfahren nicht gut einschätzen können. Bei Einladungsverfahren ist oft nicht klar, wie viele Evaluationsinstitute eingeladen wurden, es ist schwierig abschätzbar, inwiefern Auftraggebende trotz formaler Offenheit informell bereits bei der Einladung ihre Favoriten haben oder inwiefern Evaluationsinstitute, welche beispielsweise eine Vorstudie gemacht haben, im Vorteil sein werden etc. Die Erarbeitung einer Offerte kann gut und gerne eine Woche Arbeitszeit in Anspruch nehmen und es ist hilfreich, wenn man durch Kenntnis der Situation die eigenen Chancen realistisch einschätzen kann.
• Wenn Auftraggebende den Mehrwert einer fachlich kompetent umgesetzten Evaluation nicht erkennen, ist die Gefahr gross, dass bei der Beurteilung der Angebote der Preis und nicht die Qualität im Vordergrund steht. Dies wird durch die zunehmende Konkurrenz durch Anbieter:innen ohne spezifische Evaluationskompetenz (Organisationsentwicklungsbüros, Beratungsinstitute oder Forschungseinrichtungen ohne entsprechende Spezialisierung) weiter befördert. Bei Auftraggebenden mit grosser Fachkompetenz in Evaluation (z.B. Evaluationsabteilungen in Bundesämtern) dürfte dies weniger der Fall sein.

Formalia

• Weitere Herausforderungen aus Sicht von Evaluierenden sind, wenn die Fristen zur Einreichung von Offerten zu kurz sind oder ungünstig liegen (z.B. wenn Evaluationen exakt zu Beginn der Sommerferien ausgeschrieben werden), wenn Auftraggebende über unzureichende Evaluationskompetenzen verfügen, wenn es im Offertprozess keine Möglichkeit für Rückfragen gibt, wenn Bewertungskriterien nicht kohärent verwendet werden, und wenn Absagen im Verhältnis zum Aufwand einer Offerterstellung unangemessen knapp oder inhaltlich nicht nachvollziehbar begründet werden. Für Auftraggebende ist es andererseits auch eine Herausforderung, Offerten abzulehnen und dies den Offertstellern kommunizieren zu müssen.

Nichteinhalten von Ankündigungen

• Sehr unangenehm ist für Evaluierende, wenn Ausschreibungen in der Offertphase zurückgezogen werden (z.B. aufgrund von Umstrukturierungen oder Budgetverschiebungen) oder wenn systematische Offertbewertungen am Schluss durch übergeordnete Entscheidungsträger:innen übersteuert werden («mit diesem Institut will ich keine Zusammenarbeit»).
• Für Auftraggebende ist es ärgerlich, wenn in der Offerte Evaluationsteams mit vielen kompetenten Mitarbeitenden vorgestellt werden, die dann aber gar nicht alle in der Evaluation mitarbeiten.

Ein zentrales Spannungsfeld betrifft den vorgegebenen Rahmen für eine geplante Evaluation. Die Evaluierenden begrüssen es, wenn die Vorgaben für eine Evaluation klar sind. Während Auftraggebende mit zu geringen Evaluationskompetenzen eine Herausforderung für Evaluierende sein können, weil beispielsweise unrealistische Vorgaben gemacht werden, hat aber auch die zunehmende Professionalisierung von Auftraggebenden Schattenseiten: wenn Auftraggebende aufgrund ihrer eigenen Expertise die gewünschte Evaluation allzu detailliert ausformulieren und beispielsweise die Datenquellen, die Erhebungsmethoden, die Stichprobengrösse etc. vorgeben, bleibt wenig Gestaltungsspielraum. Für Evaluierende ist es wichtig, ihre Expertise in die Diskussion einbringen und selbst ein angemessenes Evaluationsdesign entwickeln und vorschlagen zu können.

In diesem Zusammenhang rückt die Kommunikation über die Anforderungen an Offerten in den Fokus. Evaluierende haben den Eindruck, dass in manchen Pflichtenheften die formalen Aspekte des Vergabeverfahrens, v.a. die Erläuterung der Entscheidungskriterien, wichtiger sind als die inhaltlichen Aspekte des Evaluationsauftrags wie Informationen über den Evaluationsgegenstand, die Ziele, Nutzungszwecke und Fragestellungen der Evaluation. Vergabeverfahren scheinen teilweise stärker darauf ausgerichtet zu sein, eine möglichst transparente, nachvollziehbare, objektive und justiziable Entscheidung über die Auftragsvergabe zu gewährleisten, als darauf, möglichst gut auf das Erkenntnisinteresse und den Zweck der Evaluation ausgerichtete Offerten von hoher fachlicher und inhaltlicher Qualität hervorzubringen.

Dieses Spannungsfeld zieht sich weiter bis hin zur Bewertung der Offerten. Für Auftraggebende wird eine vergleichende Bewertung potenziell schwieriger, je unterschiedlicher die eingereichten Offerten sind. Andererseits ist es für Auftraggebende interessant, wenn unterschiedliche methodische Zugänge vorgeschlagen werden, aus denen ausgewählt werden kann.

Sowohl Auftraggebende als auch Evaluierende sind sich zunehmend bewusst, dass es in länger dauernden Evaluationen auch in der Umsetzungsphase Handlungsspielraum und Flexibilität für Anpassungen braucht. Es ist herausfordernd, für eine mehrjährige Evaluation bereits in der Offertphase den Umfang von Erhebungen über die gesamte Dauer bestimmen und kalkulieren zu können, wenn noch nicht klar ist, wie sich der Evaluationsgegenstand über die Jahre entwickeln wird und welche neuen Evaluationsfragen sich dadurch ergeben. Evaluierende wünschen sich von Auftraggebenden klare Signale, dass adaptive Evaluationsansätze willkommen sind, und Hinweise darauf, wie mit diesem Spannungsfeld zwischen verbindlicher Budgetierung und Adaptivität umgegangen werden soll.

Auch hinsichtlich der Vergabeverfahren (offenes Verfahren, selektives Verfahren, Einladungsverfahren, freihändige Vergabe, vgl. Webseite BKB) eröffnen sich weitere Spannungsfelder, beispielsweise zwischen Gleichbehandlung und Effizienz oder zwischen Bewährtem und Neuem: Aus Sicht von Auftraggebenden kann es wertvoll sein, gezielt Institute einzuladen, mit denen es bereits bewährte Zusammenarbeiten gibt. Für diese Institute ist ein solches Vorgehen angenehm. Allerdings beschränkt es den Wettbewerb und erschwert neuen Evaluator:innen, im Feld Fuss fassen zu können. Wenn breiter ausgeschrieben wird, steigt potenziell zwar der Aufwand für die Beurteilung der Offerten, aber neue Evaluator:innen bereichern den Wettbewerb und erhalten so eine Chance, sich zeigen und bewähren zu können.

Und schliesslich ergibt sich aus den o.g. Herausforderungen ein Spannungsfeld zwischen klaren Bewertungskriterien und Bauchgefühl.

In der kurzen Zeit des Dialogs konnten nicht für alle Herausforderungen und Spannungsfelder passende Handlungsansätze entwickelt werden. Es wurden aber folgende Ansätze thematisiert, welche eine gute Zusammenarbeit zwischen Auftraggebenden und Evaluierenden fördern. Diese sind zwar nicht grundsätzlich neu, die gemeinsame Reflexion im Dialog dürfte bei den Teilnehmenden jedoch zur Sensibilisierung für diese Themen beigetragen haben:

• In Ausschreibungen müssen Erwartungen klar und transparent sein. Auftraggebende müssen Anforderungen explizit benennen und ihre Bewertungskriterien transparent machen. Es braucht klare Vorgaben und Kriterien, diese dürfen aber nicht zu eng sein und sollten Gestaltungsspielraum lassen, damit Evaluator:innen ihre methodische Expertise angemessen einbringen können. Neben methodischer Expertise ist für Auftraggebende auch Sachexpertise zum entsprechenden Evaluationsgegenstand willkommen.
• Es braucht für Evaluierende im Prozess der Ausarbeitung ihrer Offerte die Möglichkeit für Rückfragen an die Auftraggebenden. Dies kann sowohl schriftlich als auch mündlich erfolgen, bilateral oder in einem gemeinsamen Briefing mit allen Interessierten. Wichtig ist, dass alle potenziellen Offertsteller dieselben Möglichkeiten haben, die für sie relevanten Informationen zu erhalten. Wenn Klärungen erfolgen, sind diese gut zu dokumentieren und gegebenenfalls allen Interessierten zugänglich zu machen. Ziel solcher Rückfrage-Runden sollte sein, möglichst «passgenaue» Offerten zu generieren, die den Auftrag gut verstanden haben und schlaue Lösungen für allfällige Herausforderungen vorschlagen – und so letztlich eine möglichst nützliche Evaluation ermöglichen.
• Auftraggebende sollten «neuen» Evaluationsinstituten Gelegenheit geben, sich zu präsentieren, sei dies im Rahmen von öffentlichen Ausschreibungen, spezifischen Anlässen für Evaluationsinstitute oder bilateralen Präsentationsgesprächen (z.B. 15 Minuten online). Es bietet sich insbesondere bei kleineren Evaluationsaufträgen mit begrenztem Risiko an, sich auf neue Partnerschaften einzulassen. Eine weitere Möglichkeit ist, Konsortien zu fördern, indem Evaluierende motiviert werden, gemeinsam Offerten einzureichen oder Auftraggebende beispielsweise zwei Offertsteller für eine gemeinsame Umsetzung anfragen.
• Mehrstufige, selektive Verfahren bieten sich als Kompromiss zwischen öffentlicher Ausschreibung und Einladungsverfahren an, um Evaluationsinstituten gleiche Chancen zu geben und den Aufwand trotzdem in Grenzen zu halten.
• Bei der Beurteilung von Offerten bewähren sich Bewertungsgremien mit mehreren Bewerter:innen und unterschiedlichen Blickwinkeln. Dies mindert die Gefahr von willkürlichen oder allzu sehr auf das Bauchgefühl einzelner Personen abgestützten Entscheiden.
• Bei der Beurteilung von Offerten sollten Auftraggebende explizit auf das Vorhandensein von Evaluationskompetenzen achten. Evaluationen sind komplexe Dienstleistungen, die Qualifikationen erfordern, die über Beratungs- und Forschungskompetenzen oder reine Themenexpertise zum Evaluationsgegenstand hinausgehen.
• Bei Evaluationen mit einer langen Umsetzungsphase sollten adaptive Designs möglich sein, damit die Evaluation neu aufkommende Fragestellungen aufgreifen und das Design den Entwicklungen des Untersuchungsgegenstandes anpassen kann.
• Am Schluss des Auswahlprozesses sollten Auftraggebende Absagen ausführlich und mit Bezug zu den Vorgaben und Bewertungskriterien nachvollziehbar begründen.
• Um zu gewährleisten, dass die in der Offerte vorgestellten kompetenten Evaluator:innen letztendlich wirklich eingesetzt werden, sollten explizit die Rollen der Beteiligten angegeben resp. eingefordert werden.

Last but not least soll einmal mehr auf die Evaluationsstandards der SEVAL verwiesen werden, welche eine gute Richtschnur für die Zusammenarbeit zwischen Auftraggebenden und Evaluierenden bilden (vgl. SEVAL-Standards). Bei Ausschreibung und Planung einer Evaluation werden Entscheidungen getroffen und Grundlagen gelegt, die für die Qualität einer Evaluation wichtig sind. Es geht dabei darum, die Inhalte, das Konzept, die Methodik, das Vorgehen und das Projektmanagement einer Evaluation so zu gestalten, dass diese ihren Zweck bestmöglich erfüllen und den Standards möglichst gerecht werden kann. Obwohl grundsätzlich alle Kriterien in jeder Phase relevant sind, gilt es in der Phase zwischen Pflichtenheft und Vertrag insbesondere die folgenden Kriterien herauszustreichen:

• A1 Ergebnisoffenheit und Unvoreingenommenheit
• A4 Nutzungsorientierung
• A6 Sicherstellung der erforderlichen Kompetenzen
• B1 Klärung von Gegenstand, Zweck, Evaluationsfragestellungen und Nutzung
• B4 Evaluationsvereinbarung
• B5 Zweckmässiges Evaluationskonzept
• C5 Dokumentation der Evaluation

Bei der Konzeption einer Evaluation können Auftraggebende und Evaluierende die Standards auf unterschiedliche Weise konkret nutzen:

Bei der Ausschreibung (Auftraggebende):

• Anhand der Standards überlegen, woran bei der Erstellung des Pflichtenhefts zu denken ist
• Standards als Inspiration für Eignungs- und ggf. Zuschlagskriterien
• Aufforderung an Evaluierende, sich in der Offerte zum geplanten Umgang mit den Standards zu äussern
• Auseinandersetzung der Offerierenden mit den Standards als Entscheidungskriterium

In der Offertphase (Evaluierende):

• Anhand der Standards überlegen, was bei der Konzeption der Evaluation zu beachten ist, wo bestimmte Herausforderungen bestehen können, ggf. Lösungen dafür vorschlagen
• Angaben zur vorgesehenen Qualitätssicherung / zum Umgang mit den Standards
• Auseinandersetzung mit bestimmten im konkreten Fall für die Qualität der Evaluation relevanten Aspekten

Bei Projektstart / im Vertrag (beide Seiten):

• Im konkreten Evaluationsprojekt potenziell relevante Aspekte aus den Standards oder mögliche Risiken für die Evaluationsqualität gezielt thematisieren, mögliche Strategien zum Umgang damit besprechen
• Anforderungen und Erwartungen an die Evaluation gestützt auf die Standards diskutieren
• Bestimmte Standards als besonders relevant definieren und konkretisieren
• Massnahmen der Qualitätssicherung im Evaluationsprozess definieren (Wer? Was? Wie? Wann?)

Auch in dieser zweiten Veranstaltung hat sich gezeigt, wie wichtig ein Dialog zwischen Auftraggebenden und Evaluierenden ist, jenseits von konkreten Auftragsverhältnissen. Der Dialog gibt «neuen» Evaluierenden im Feld die Möglichkeit, sich zu zeigen. Auftraggebende und Evaluierende können sich unbeschwert kennenlernen und offen diskutieren. Ein konstruktiver Dialog zu den Erfahrungen und Herausforderungen in der Phase der Ausschreibung einer Evaluation bis zum Vertrag aus der jeweils anderen Perspektive hat stattgefunden und nützliche Handlungsansätze wurden gemeinsam erarbeitet.

Die nächste Episode «Vom Vertrag zum Evaluationsbericht» folgt am 28.11.2024, von 17h bis 19h und anschliessendem Apero.

Veranstaltungsort: Zentrum für universitäre Weiterbildung, Universität Bern, Gebäude UniS, Schanzeneckstr. 1, Raum S003.

Es sind alle Teilnehmenden der beiden ersten Veranstaltung, aber auch neue Auftraggebende und Evaluierende herzlich eingeladen!

Anmeldung bis 18.11.2024: evaluation.zuw@unibe.ch

Günter Ackermann ist selbstständiger Evaluator und Dozent am Institut für Public Health an der ZHAW. Er leitet die AG Kompetenzen der SEVAL.

Dr. Stefanie Krapp leitet den Bereich Evaluation am Zentrum für universitäre Weiterbildung der Universität Bern und ist Mitglied der AG Kompetenzen der SEVAL.

Christian Rüefli ist Geschäftsführer des Büro Vatter, Politikanalyse und Co-Leiter der AG Evaluationsstandards der SEVAL.