Rund 120 Personen diskutierten am SEVAL-Kongress 2025 die Frage, wie Innovation und innovative Ansätze in diversen Politikbereichen evaluiert werden können und wie Evaluation das Lernen daraus unterstützen kann. Im Fokus standen die Herausforderungen und Möglichkeiten zur Bewertung von Innovationsprozessen.
Am Freitagnachmittag beleuchteten fünf Workshops während 75 Minuten das Kongressthema «Evaluation der Innovation» aus unterschiedlichen Perspektiven. Die thematisch breit aufgestellten Workshops, geleitet von Expertinnen und Experten aus der Verwaltung, privaten Evaluationsbüros und Wissenschaft, boten eine vertiefte Diskussion des gewählten Themas: Von der Wirkungsmessung in der Innovationsförderung und von Innovationsprogrammen, über die Frage, welche Regulierungen Innovation begünstigen, bis hin zu praxisnahen Beispielen der Evaluation von innovativen Pilotprojekten.
Workshop 1: Kausale Wirkungsmessung: Methodik und Ergebnisse bei Innovationsprojekten der Innosuisse
Andrin Spescha von der Konjunkturforschungsstelle Innovationsökonomie und Adrian Berwert, Leiter Wirkungsanalyse bei Innosuisse, gingen im ersten Workshop der Frage nach, wie sich die Wirkungen öffentlich finanzierter Innovationsförderung kausal erfassen lassen. Diskutiert wurde diese Frage anhand des Beispiels eines Evaluationsprojekts zur Wirkung der Innosuisse-Förderung von Forschungs-und Entwicklungskooperationen (F&E-Kooperationen) zwischen Unternehmen und Hochschulen. Moderiert wurde der Workshop von Claudia Peter, Partnerin und Bereichsleiterin Wirtschaft bei Innosuisse.
Mit der Finanzierung von F&E-Kooperationen zwischen privaten Unternehmen und öffentlichen Hochschulen durch Innosuisse stützt sich die Schweiz auf Bundesebene auf ein im internationalen Vergleich einzigartiges politisches Instrument. Das KOF der ETH Zürich hat den kausalen Effekt dieses Förderinstruments auf die Unternehmensleistung untersucht. Eine Herausforderung lag darin, dass der Effekt der Förderung auf die Unternehmensleistung nicht durch den Vergleich von geförderten mit nicht geförderten Unternehmen identifiziert werden kann. Da Unternehmen nicht zufällig Förderanträge stellen und Innosuisse seine Mittel nicht zufällig unter den Antragstellern verteilt, ist die Förderentscheidung mit einem doppelten Selektionsproblem behaftet. Beide Selektionsprobleme führen wahrscheinlich zu einem positiven Selektionsbias, was zu einer Überschätzung des Fördereffekts auf die Unternehmensleistung führen würde.
Um dieses Problem zu lösen, wurde die Difference-in-Differences (DiD) verwendet. Der wichtigste Aspekt einer solchen Analyse ist die Wahl einer geeigneten Kontrollgruppe. Die von Innosuisse geförderten Unternehmen müssen mittels einem Matching mit Unternehmen verglichen werden, die ihnen sehr ähnlich sind, aber keine Förderung erhalten haben. Der Vergleich basierte auf Unternehmenspaneldaten aus der Schweiz im Zeitraum 2010 bis 2022. Die Ergebnisse der Evaluation weisen laut den Ko-Referierenden darauf hin, dass die Förderung von Forschungskooperationen zwischen Unternehmen und Hochschulen die Unternehmensleistung erheblich steigert. Die Ko-Referierenden betonten, dass die Ergebnisse bei Innosuisse auf grosse Resonanz gestossen sind und auch für die Kommunikation gegenüber Politik und Öffentlichkeit genutzt werden. Dies war auch dank des Vergleichsdesigns mit Kontrollgruppe und der systematischen Datenerhebungen der letzten Jahre möglich, mittels derer erstmals eine direkte Wirkung der Innovationsförderung auf Unternehmen nachgewiesen werden konnte.
Berichterstattung basierend auf einer Workshopzusammenfassung von Andrin Spescha.
Workshop 2: Evaluation von Innovationsprogrammen: Konzepte, Erfahrungen und Herausforderungen
Im zweiten Workshop stellten Peter Kaufmann von KMU Forschung Austria, Anina Faes, Programmleiterin Wissens- und Technologietransfer beim Bundesamt für Energie, und Chaira Büchler von Interface Politikstudien in jeweils einem Input-Referat ihre Erfahrungen mit Innovationsprogrammen im Energiebereich vor. Moderiert wurde der Workshop von Stefan Rieder, Senior Consultant und Gesellschafter Interface Politikstudien.
Die öffentliche Hand fördert in verschiedenen Politikbereichen die Innovation von Produkten, Prozessen und Verfahren durch Innovationsprogramme, darunter auch im Energiebereich. Seit 2013 hat der Bund mit drei grossen Programmen – den SCCER, SWEET sowie den NFP 70/71 – insgesamt über 300 Millionen Franken in die Förderung von Innovationen und Forschung im Energiebereich investiert. Mit diesen Innovations- und Forschungsförderungsprogrammen wurde einerseits die Forschung in Konsortien aus Hochschulen und Unternehmen unterstützt. Andererseits verfolgten sie das Ziel, den Wissens- und Technologietransfer in die Praxis zu stärken, um so einen Beitrag zur Klimapolitik zu leisten. Die Frage stellt sich, wie die Evaluation beitragen kann, zu prüfen, ob die in die Programme gesteckten Erwartungen erfüllt werden konnten.
Peter Kaufmann ging dieser Frage aus einer internationalen Perspektive nach. Aus seiner Sicht zeichnen sich Innovationsprogramme im Energie- und Klimabereich zunächst durch eine hohe inhaltliche Komplexität aus. Entsprechend muss die Evaluation multidisziplinär organisiert sein. Zweitens komme hinzu, dass die Programme meist langfristig angelegt sind: oft zwischen 8 Jahre und mehr. Die Evaluation müsse darauf mit einem etappierten Konzept reagieren, das Flexibilität erlaubt. Dies gehe allerdings zu Lasten der Klarheit über die Methodik, das Vorgehen und die mutmasslichen Resultate – ein Dilemma zwischen Flexibilität und Klarheit der Verfahren. Schliesslich stelle der Transfer der Evaluationsergebnisse bei komplexen und langfristigen Programmen eine besondere Herausforderung dar. Es gelte mit den Verantwortlichen periodisch den Informationsbedarf festzulegen, und zwar für die verschiedenen Stakeholder. Die wichtigsten davon seien die Programmverantwortlichen, die Forschenden wie auch die Politik.
Anina Faes berichtete über die Herausforderungen aus Sicht des Programmes SWEET (SWiss Energy research for the Energy Transition). Sie hielt fest, dass die Evaluation für ein missionsorientiertes Forschungsprogramm einen stark nutzenorientierten Ansatz verfolgen muss und der Programmumsetzung Impulse für Optimierungen liefern soll. Wichtig sei in diesem Kontext die möglichst frühe Definition eines Wirkungsmodells. Für dessen Erarbeitung müsse bei komplexen Programmen wie bei SWEET genügend Zeit eingerechnet werden. Mit Hilfe des Wirkungsmodells könnten die Erhebungen im Programmverlauf geplant und die Evaluation auf die Bedürfnisse der Programmleitung ausgerichtet werden. Die Evaluation könne bei komplexen, auf lange Zeiträume angelegten Programmen nicht von vornherein abschliessend geplant werden. Vielmehr brauche es Flexibilität, um auf neu auftretende Herausforderungen reagieren zu können.
Mit welchen methodischen Herausforderungen sind wir bei der Evaluation Innovations- und Forschungsprogrammen konfrontiert? Chiara Büchler hob auf Grund ihrer Erfahrungen aus fünf Evaluationen von grösseren Innovationsprogrammen folgende Herausforderungen hervor: Erstens die frühzeitige Definition der notwendigen Datengrundlagen und die laufende Erhebung von Daten (insbesondere bei summativen Evaluationen). So werde beispielsweise die Erhebung von Adress- und Kontaktdaten von Projektpartnern während der Programmumsetzung oft vernachlässigt. Diese Daten fehlten dann bei der Erhebung der Wirkungen. Zweitens seien Wirkungen von Innovations- und Forschungsprogrammen häufig schwierig zu quantifizieren, insbesondere, wenn es um Struktur- und Netzwerkeffekte, Wirkungen in der Forschungsgemeinschaft oder um Auswirkungen des Wissens- und Technologietransfers geht. Auch der Zeitpunkt der Evaluation müsse darum sinnvoll gewählt werden: wird zu früh evaluiert, können noch keine Wirkungen festgestellt werden. Entsprechend seien angemessene qualitative (oder quantitative) Methoden zu wählen. Im Forschungsbereich nehmen sogenannte Peer-Reviews dabei einen wichtigen Stellenwert ein. Sie ist die Akzeptanz des Evaluationsteams bei den Programmakteuren von hoher Bedeutung. Gerade bei stark technologisch geprägten Programmen und Massnahmen bestehe ein gewisses Misstrauen gegenüber der Sachkompetenz der Evaluatoren. Die Programmverantwortlichen befürchteten, nicht angemessen verstanden und beurteilt zu werden. Entsprechend müssten sich die Evaluation mit entsprechendem Know-how verstärken.
Berichterstattung basierend auf einer Workshopzusammenfassung von Stefan Rieder, redigiert für LeGes.
Workshop 3: Welche Regulierungen begünstigen Innovation?
Im Zentrum des dritten Workshops standen erstens die Zusammenhänge von Regulierungen und Innovation, inklusive der Möglichkeiten gezielter Förderung der Innovation. Zweitens stand die Frage im Raum, wie sich Innovationspotenzial durch herkömmliche und mögliche neue Regulierungsinstrumente evaluieren lässt. Nicolas Wallart, Leiter Ressort Regulierungsanalyse/ -politik des SECO und Patrick Zenhäusern von Polynomics lieferten in Input-Referaten Denkanstösse und eine Einführung zu regulatorischen Testumgebungen. Moderiert wurde der Workshop von Benjamin Buser, Partner und Mitglied der Geschäftsleitung von Econcept.
In einem ersten Inputreferat zeigte Nicolas Wallart, wie Regulierungen Innovation fördern oder behindern können. Inwiefern dies auch eintritt, hängt damit zusammen, wie Regulierende ihre Handlungsspielräume tatsächlich nutzen. Aus Sicht des SECO bestehen wichtige Grundsätze für Regulierungen, um neutrale oder gar positive Innovationswirkungen zu ermöglichen. Eine innovationsfreundliche Regulierung sei:
- effizient, unbürokratisch, nur wenn nötig
- flexibel (Agilität), gleichzeitig vorhersehbar und transparent
- technologieneutral
- wettbewerbsfördernd
- auf andere Märkte übertragbar, möglichst wenig Hemmnisse (regionale, nationale, technische…)
- investitionsfreundlich (F&E Investitionen)
Das Unternehmensentlastungsgesetz und Regulierungsfolgeabschätzungen seien wichtige Instrumente, um diese Grundsätze in Regulierungsvorhaben zu stärken.
Das zweite Referat von Patrick Zenhäusern richtete den Fokus auf die Frage, wie Regulierungen selbst zu einem innovativem Testfeld werden und wie entsprechende Erfahrungen systematisch genutzt und in die Gesetzgebungs- und Normierungsprozesse einbezogen werden können. Je nach Ausgangslage, Regulierungsobjekt und Zielsetzungen könne zwischen Pilotprojekten, «Regulatory Sandboxes» und risikobasierten Regulierungen als regulatorische Testumgebungen unterschieden werden. Diese seien in sich schon Evaluationsmethoden, wie Zenhäusern anhand von aktuellen Beispielen aufzeigte. Pilotprojekte evaluieren, ob eine Regulierung revidiert werden sollte. Sandboxen im engeren Sinne evaluieren, inwieweit sich spezifisch innovative Geschäftsmodelle im bestehenden gesetzlichen Rahmen umsetzen lassen. Damit der Erkenntnisgewinn hierbei systematisch erfolgt, empfehle sich ein Vorgehen, welches gezielt nach Prozessanalyse, Akteuren und Herausforderungen unterscheidet.
In der anschliessenden Diskussion zeigte sich eine hohe Einigkeit hinsichtlich der Notwendigkeit, Regulierungen künftig wieder stärker zu vereinfachen, insbesondere auch mit Blick auf ein erwünschtes und für eine Wissensökonomie erforderliches Innovationsumfeld. In Testumgebungen werden interessante Ansätze hierzu erkannt, wobei die Eignung sehr situativ gegeben sei und mit Bedacht geprüft werden sollte. In jedem Fall immer anwendbar seien die Grundsätze einer innovationsfreundlichen Regulierung, wie diese mit der Regulierungsfolgeabschätzung auch etabliert sind. Die Bedeutung von Grundsätzen bestätigte sich auch hinsichtlich der Fragestellung zur Durchführung von Evaluationen in Testumgebungen. Diese würden anspruchsvolle und zuweilen kreative Evaluationsansätze erfordern, welche auf der Basis von systemischen Evaluationsmethoden und Standards entwickelt werden können.
Berichterstattung basierend auf einer Workshopzusammenfassung von Benjamin Buser, redigiert für LeGes.
Workshop 4: Evaluieren, um besser zu innovieren: Pilotprojekte erfolgreich begleiten
Der vierte Workshop behandelte die Frage, wie Pilotprojekte erfolgreich und wirkungsvoll evaluiert werden können. Sarah Mariéthoz von Interface Politikstudien Forschung Beratung präsentierte und diskutierte Erkenntnisse aus der formativen Evaluation des Pilotprojekts «Direkte Zusammenarbeit Sucht» des Groupement Romand d’Études des Addictions (GREA). Dieses Projekt testet neue Kooperationsformen zwischen Spitälern und Suchtfachpersonen in mehreren Sprachregionen. Der Workshop wurde moderiert von Christine Serdaly, Serdaly & Anker.
Die Referentin präsentierte zunächst den «Critical Friend»-Ansatz in der Evaluation eines Pilotprojekts. Prinzipien dieses Ansatzes sind die Rolle der Evaluierenden als «kritische Freunde», eine methodisch stringente und nützliche Vorgehensweise, ein kohärentes Evaluationskonzept, Pragmatismus als Leitidee und das Empowerment der Trägerschaft. In diesem Ansatz wird partizipativen Methoden eine hohe Bedeutung beigemessen, wie auch der Nutzung unabhängiger, externer Quellen für die Bewertung. Die Datenbasis soll transparent dokumentiert werden und ein regelmässiger Austausch zwischen dem Evaluationsteam und den Projektverantwortlichen stattfinden. Der «Critical Friend»-Ansatz eigne sich gemäss Referentin für die Evaluation von Pilotprojekten, da er durch kritische Reflexion und Diskussion die Innovation fördere.
Die Verwendung des Ansatzes für die begleitende Evaluation von Pilotprojekten bringe aber auch verschiedene Herausforderungen mit sich. Die Referentin illustrierte dies anhand von drei Spannungsfeldern zwischen unterschiedlichen SEVAL-Evaluationsstandards. Ein erstes Spannungsfeld (Standards A1, A2, A3) betreffe die Haltung der Evaluierenden, die zugleich die Rolle der Bewertung und der Beratung übernehmen. Eine zweite Herausforderung (Standards A4, B6) betreffe Evaluationsberichte: Diese seien zwar relevant für die Rechenschaftslegung, nicht aber zwingend für den Lernprozess und sollten trotzdem vertrauensbildend wirken. Eine pragmatische Wahrung von theoretischer Kohärenz und methodischer Stringenz sei notwendig. Resultate müssten belastbar, aussagekräftig und fundiert sein, bei gleichzeitig begrenzten Ressourcen. Ein drittes Spannungsfeld (Standards C5, C1, C2) entstehe aufgrund des Einsatzes von Mixed-Methods-Ansätzen, die üblicherweise bei der Evaluation von Pilotprojekten verwendet werden. Dies könne zwar zu einer besseren Abstützung der Resultate führen, aber gleichzeitig auch uneindeutige Antworten auf Evaluationsfragen liefern. Eine Herausforderung stelle dabei die transparente Gewichtung dar.
Berichterstattung erarbeitet gemeinsam mit Sarah Mariéthoz.
Workshop 5: Warum ein Pilotprojekt während der Testphase evaluieren? Das Beispiel DOMOS des Kantons Genf
Leila Badiss, Leiterin des Fachbereichs Wohnbegleitung des Hospice général, und Cornelia Hänsli Marrei von Habilis Conseil SA präsentierten im fünften Workshop die begleitende Evaluation des Pilotprojekts DOMOS. Moderiert wurde der Workshop von Laurent Cremieux, Evaluator bei der Eidgenössischen Finanzkontrolle und Präsident der SEVAL.
Das Projekt DOMOS wurde von der Direktion für Soziales des Kantons Genf lanciert und vom Hospice général umgesetzt. Ziel des Pilotprojets war, Mieter mit vorübergehenden finanziellen Schwierigkeiten durch die Übernahme ihrer Mietrückstände zu unterstützen. Zwischen September 2022 und April 2024 ermöglichte die von Habilis Conseil SA und socialdesign durchgeführte begleitende Evaluation eine Analyse der Nutzung der Massnahme, der Profile der Begünstigten, der direkten und indirekten Wirkungen der Unterstützung sowie der Erfolgsbedingungen im Hinblick auf eine mögliche Fortführung.
Nach einer kurzen Vorstellung des Projekts und seines Evaluationsansatzes konzentrierte sich die Diskussion im Workshop auf mehrere grundlegende Fragen:
- Welche Argumente sprechen dafür, vor Einführung eines gross angelegten Programms ein Pilotprojekt durchzuführen? Wie sollte dabei vorgegangen werden?
- Welchen Mehrwert hat eine Evaluation in dieser Projektphase?
- Ist das Wirkungsmodell des Projekts bereits in einem Pilotprojekt anwendbar?
- Sollte sich die Evaluation auf die Durchführung des Pilotprojekts beschränken oder kann sie bereits Schlussfolgerungen zum Projekt selbst enthalten?
Während des reichhaltigen und offenen Austauschs stachen unter den geteilten Erkenntnissen mehrere Elemente hervor:
- Das Monitoring der Daten ist ein wichtiges Element in der Pilotphase.
- Der qualitative Ansatz, d. h. der Austausch mit der Zielgruppe, hat zu einem genauen Verständnis ihrer Motivation, der Gründe für einen Abbruch, der Benutzerfreundlichkeit des Formulars, der Qualität des Austauschs mit dem Team und ihrer Verbesserungsvorschläge geführt. Dadurch konnte die Massnahme verbessert werden.
- Ein Wirkungsmodell ist für ein Pilotprojekt unverzichtbar, da die Evaluation eines Pilotprojekts zeigen muss, ob die Massnahmen die angestrebten Ziele erreichen oder nicht.
- Schliesslich kann eine begleitende, einfache und kostengünstige Evaluation konkrete und nützliche Erkenntnisse liefern und gleichzeitig die Anpassung des Systems unterstützen.
Der Workshop endete mit der gemeinsamen Feststellung, dass Pilotprojekte unverzichtbare Lernräume sind, um soziale Massnahmen zu testen, anzupassen und zu verfeinern. Die Evaluation, wenn sie begleitend konzipiert ist, verstärkt diese Dynamik, indem sie sowohl das strategische Denken als auch die kontinuierliche Verbesserung unterstützt. Die Workshopteilnehmenden verliessen den Workshop inspiriert und überzeugt vom Wert einer Evaluation, die Massnahmen klärt ohne ihre Dynamik zu bremsen.
Berichterstattung basierend auf einer Workshopzusammenfassung von Cornelia Hänsli Marrei.
Julia Rickenbacher, MA, Mitglied SEVAL-Vorstand und Programmleiterin Office of Child Health Equity an der Stanford Universität.
