Evaluation Methods and Processes: Tensions between Expectations, Resources, and Competencies

Folgt man Wissenschaftstheoretikern wie Popper und Kuhn, hängen die Ergebnisse einer Evaluation immer auch von der Person des Evaluators ab sowie vom Kontext, in dem eine Evaluation stattfindet. Tatsächlich haben nicht nur diese Begleitumstände , sondern auch das begrenzte Knowhow der Evaluatoren sowie beschränkte Ressourcen einen Einfluss auf die Resultate, die bem Streben nach grösstmöglicher Objektivität anfallen. Aus den oftmals hohen Ansprüchen der Auftraggeber einerseits und diesen drei Faktoren – Erwartungen, zur Verfügung stehende Ressourcen und Kompetenzen der Evaluatorinnen und Evaluatoren – andererseits können Konflikte entstehen. Beispielsweise kann ein Auftraggeber fordern, dass die Schlussfolgerungen einer Evaluation stärker generalisiert werden, als dies aus wissenschaftlicher Sicht angezeigt ist. Es gilt somit, auftretende Spannungen zu verringern oder gar zu vermeiden. Dies kann erstens geschehen, indem Evaluator und Auftraggeber an verschiedenen Etappen im Evaluationsprozess Erwartungen, Ressourcen und die benötigten methodischen Ansätze verhandeln; zweitens, indem Evaluatorinnen und Evaluatoren innerhalb der wissenschaftlichen Gemeinde die jeweils geeignetsten Methoden und Regeln erörtern. / Apart from epistemological aspects, a number of practical factors related to expectations, resources, and competencies bias the selection and application of methods in the course of evaluation processes and thus the validity, objectivity and generalizability of the evaluation results. The article explores these factors and the various tensions between them, and discusses the challenges evaluators and evaluation commissioners have to face in order to avoid unsustainable truth claims and to be able to put evaluation findings into the right perspective. Negotiations with stakeholders or among peer evaluators are seen as two forms of quality control, which can become guide posts for conducting high-quality as well as context-bound evaluation. [keine Übersetzung der Zusammenfassung auf Französisch]

---