Die Evaluation als sozialwissenschaftlicher Ansatz zur Bewertung von staatlichen Massnahmen hat sich in den vergangenen Jahrzehnten etabliert, wenn auch je nach Politikbereich unterschiedlich ausgeprägt. Während zum Evaluationsansatz mittlerweile auch für den deutschsprachigen Raum verschiedene Einführungs- und Überblickswerke vorliegen, fehlt ein aktuelles Grundlagenwerk aus vorwiegend rechtswissenschaftlicher Perspektive weitgehend.
Mit der vorliegenden Studie von Margrit Seckelmann soll diese Lücke zumindest teilweise geschlossen werden. Die umfangreiche Arbeit, die an der Deutschen Universität für Verwaltungswissenschaften in Speyer als Habilitationsschrift angenommen wurde und mit unzähligen Querverweisen und einem breiten wissenschaftlichen Apparat versehen ist, beinhaltet genaugenommen zwei Studien. Nach einem einleitenden Kapitel werden im ersten Hauptteil der Studie die sozialwissenschaftlichen Grundlagen der Evaluation im Rahmen der Überprüfung und Bewertung von Gesetzgebungstätigkeiten aufgearbeitet. Im zweiten Hauptteil geht es dann um die Analyse der Rolle und Bedeutung von Evaluation in der vorwiegend universitären Wissenschaft sowie der Wissenschaftspolitik. Am Ende werden übergreifende Schlussfolgerungen gezogen und ein paar generelle Forschungsperspektive aufgezeigt.
Im ersten Hauptteil mit dem Titel «Evaluationen in der Wissensgesellschaft» werden nach den einleitenden grundsätzlichen Überlegungen (Kap. 1) die Entwicklung, die Formen und die Verfahren der Evaluation grundsätzlich betrachtet. Dabei wird zunächst generell die zentrale Bedeutung der Evaluation im Rahmen einer evidenzbasierten Politikgestaltung aufgezeigt (Kap. 2). Seckelmann diskutiert aber auch mögliche Dysfunktionalitäten von Evaluationen. So können Evaluationen beispielsweise einen strukturkonservativen Effekt haben, indem im Ergebnis positiv evaluierte Sachverhalte zementiert und dadurch die Offenheit gegenüber Innovationen eingeschränkt wird.
Inwieweit sich Evaluationen als Instrumente zur Erfüllung einer gesetzgeberischen Pflicht eigenen, wird anschliessend weiter vertieft (Kap. 3). Die Rechtsanalyse zeigt, dass die Ermittlung der Folgen der Gesetzgebung durch Evaluation grundsätzlich «nur» durch den Gesetzgeber selbst eingefordert werden kann («Obliegenheit»). So lässt sich im deutschen Recht aus dem Grundgesetz keine generelle Verpflichtung zur Evaluation ableiten – ganz im Unterschied zur Schweiz, wo dem Parlament von der Verfassung explizit ein Evaluationsauftrag zugewiesen wird. Dies heisst aber auch im Falle von Deutschland nicht, wie Seckelmann anschaulich schildert, dass sich der Gesetzgeber nicht selbst binden und Evaluationen als Verpflichtung einfordern kann, wie er dies über gesetzliche Evaluationsklauseln auch tut. Evaluationsklauseln werden allerdings auch als nicht unproblematisch gesehen. Sie hätten oft eine Projektorientierung zur Folge, was gerade im Bereich der wissenschaftlichen Forschung (dieser Bereich wird im zweiten Hauptteil des Buches vertieft untersucht) bewirkt, dass sich die Forschung auf eher kurzfristig beantwortbare Fragen konzentriert und dadurch die Gefahr besteht, dass Grundlagenforschung vernachlässigt wird.
Dennoch fällt Seckelmanns Fazit unter dem Strich positiv aus, indem evaluative Verfahren – wenn sich die Entscheidungsträger deren Grenzen bewusst sind – «nur (aber immerhin) gut begründete Plausibilitäten an die Hand geben können» (S. 68). Dies, weil Wirkungsevaluationen immer mit Unsicherheiten verknüpft sind, weil sich Wirkungsketten meist nicht exakt rekonstruieren und Effekte nicht immer genau messen lassen. Nur von begründeten Plausibilitäten zu sprechen, scheint jedoch zu kurz zu greifen und ist teilweise auch überholt. Gerade quasi-experimentelle Ansätze sowie Entwicklungen in der stärker theoriegeleiteten Evaluation (z.B. theory-driven evaluation, Chen 2005) böten Ansätze für Wirkungsevaluationen, die Seckelmann in ihrem Grundlagenteil leider nicht weiter vertieft.
Die zentralen Begriffe und Merkmale der Evaluation werden dann in Kapitel 5 eingeführt. Seckelmann hält sich dabei an die Definition von Evaluation, wie sie von der Gesellschaft für Evaluation (DeGEval) als «die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes» umschrieben wurde, wobei mögliche Gegenstände beispielsweise «Programme, Projekte, Produkte, Massnahmen, Leistungen, Organisationen, Politik, Technologien oder Forschung» sind (S. 159). Die verschiedenen Dimensionen von Evaluation (Zeitlichkeit, Anwendungsfelder, Art der Durchführung, Akteure, Wirkungsstufen) werden anschliessend anschaulich beschrieben und erläutert. Sehr interessant zu lesen ist dann, wie neuere Ansätze zum politikorientierten Lernen auf die Gesetzgebungstätigkeit übertragen und die Eigenschaften von reflexivem, responsivem und experimentellem Recht sowohl theoretisch als auch anhand konkreter Beispiele aus Deutschland aufzeigt werden (Kap. 6).
Im zweiten Hauptteil mit dem Titel «Evaluationen in der Wissenschaft und Wissenschaftspolitik – oder Governance by information» wird der Einsatz evaluativer Verfahren und deren Folgen für ein spezifisches Anwendungsfeld vertieft, nämlich dem der wissenschaftlichen Forschung und der Wissenschaftspolitik. Die Wahl des Anwendungsfeldes wird damit begründet, dass die Wissenschaftspolitik (verstanden als Oberbegriff für die Hochschul-, die Forschungs- und die darauf bezogene Förderungspolitik) das Politikfeld sei, «in dem die Evaluation reflexiv wird». Und weiter: «Die Reflexivität folgt daraus, dass das Instrument der Evaluation auf sich selbst angewendet wird. So werden mithilfe evaluativer Verfahren die Funktionsweisen und Effekte von Evaluationen als Steuerungsinstrumenten evaluiert.» (S. 225). Damit nimmt Seckelmann keine klare Unterscheidung zwischen der Bewertung von Evaluationen (also der Evaluation von Evaluationen), der Forschung über Evaluation und der Anwendung von Evaluationen im Wissenschaftsbereich vor. Während sich für Ersteres in der Literatur der Begriff der Meta-Evaluation etabliert hat, meint Letzteres – und darauf konzentriert sich Seckelmann weitgehend – den Einsatz evaluativer Verfahren in einem Anwendungsfeld, das sich durch besondere Eigenschaften auszeichnet und sich von anderen Anwendungsfeldern abhebt, eben dem Wissenschaftsbereich und der Wissenschaftspolitik. Forschungsergebnisse über Evaluation lässt Seckelmann punktuell einfliessen.
Die Meta-Evaluation erwähnt Seckelmann nur ganz kurz und verfolgt sie nicht weiter (S. 546), was hingegen als unerlässlich erscheint, wenn die aufgeworfenen Fragen zur Selbstreflexivität und Qualitätssicherung im Evaluationsbereich vertiefter untersucht werden sollen. Auch innerhalb des untersuchten Anwendungsfeldes wäre eine deutliche Abgrenzung zwischen der vorwiegend universitären Wissenschaft und der Wissenschaftspolitik als Evaluationsgegenstände hilfreich oder sogar nötig gewesen. Zwar zeigt Seckelmann sehr überzeugend auf, dass sich wissenschaftliche Forschung durch das Postulat der Wissenschaftsfreiheit stärker der politischen Einflussnahme entzieht (und entziehen soll) als andere gesellschaftliche Bereiche (Kap. 7). Und Kapitel 9 widmet sich detailliert den problematischen Entwicklungen, die sich durch eine «flächendeckende Institutionalisierung evaluativer Verfahren» (S. 222) für die Organisation von Wissenschaftseinrichtungen ergeben. Die Folgen davon sind nach Seckelmann hauptsächlich eine kurzfristige Projektorientierung der Forschung und der Druck auf die Forschenden, in einem zeitlich enger gesteckten Rahmen möglichst schnell Resultate liefern zu müssen, zuungunsten einer längerfristig ausgerichteten und ergebnisoffenen Grundlagenforschung. In Kapitel 10 werden die sozialwissenschaftlichen Standards für Wissenschaftsevaluationen und die mit derartigen Verfahren einhergehenden Effekte und möglichen Fehlsteuerungen eingehend dargestellt.
Nach Seckelmann verschwimmt dadurch die «Grenze zwischen interner und externer Evaluation» (S. 526). Dieser Befund vermag jedoch – zumindest in dieser Terminologie – nicht ganz zu überzeugen. Denn damit werden Evaluation und Wissenschaft praktisch gleichgesetzt. Die Nutzbarkeit der Evaluationsergebnisse und der üblicherweise vorhandene Dienstleistungscharakter von Evaluationen grenzt diese jedoch von der wissenschaftlichen Grundlagenforschung ab. Es wäre sicherlich falsch, und hier ist Margrit Seckelmann natürlich zuzustimmen, wenn der Zweck von Wissenschaft auf die Frage ihrer Nutzbarkeit reduziert würde. Dass jedoch Förderinstrumente der Wissenschaftspolitik auf geeignete Weise zweckmässig evaluiert werden, ist damit jedoch nicht ausgeschlossen. Seckelmanns Kritik an evaluativen Verfahren zielt eher auf deren Ausgestaltung und Anwendung sowie auf generelle Entwicklungen der Standardisierung und Quantifizierung in der Forschung und der entsprechenden Förderungspolitik als auf die sozialwissenschaftliche Evaluation als solche.
Seckelmann sieht Evaluationen durchaus als nützliche Hilfsmittel für die Vorbereitung von Entscheidungen öffentlicher Akteure oder für die Bewertung des Vollzugs dieser Entscheidungen (S. 532). Es sei jedoch die «Janusköpfigkeit» evaluativer Verfahren zu berücksichtigen (S. 225). Sie verschaffen Informationen über die Bewährung von Steuerungsinstrumenten in der Praxis, sind aber andererseits selbst Steuerungsinstrumente, deren Auswirkungen es zu beobachten gilt. Evaluative Verfahren sind in der Wissenschaft und der Wissenschaftspolitik etabliert. Es ist deshalb wichtig, dass deren Effekte kritisch beleuchtet werden, was Seckelmann gestützt auf eine breite Literatur und viele praktische Beispiele überzeugend gelingt. Fachpersonen aus der Wissenschaftspolitik werden in diesem Buch deshalb verschiedene Anknüpfungspunkte für eine solche kritische Betrachtung zu evaluativen Verfahren in ihrem Politikfeld finden. Evaluationsfachleute und Fachpersonen, die sich generell mit Rechtssetzung befassen, werden vor allem die Kapitel zu den Wechselwirkungen zwischen Evaluation und Rechtsetzung im ersten Hauptteil des Buches mit Interesse lesen.
Christian Hirschi, Parlamentarische Verwaltungskontrolle, Bern.
Literaturverzeichnis
- Chen, Huey T., 2005, Practical Program Evaluation: Assessing and Improving Program Planning, Implementation, and Effectiveness. Thousand Oaks: Sage.