Politik und Verwaltung verschiedener Länder stehen vor ähnlichen Herausforderungen beim Aufbau von Organisationsstrukturen für die Evaluation von Maßnahmen zur Extremismusprävention. Die international vergleichende Analyse dieser Strukturen und der länderübergreifende Austausch können wertvolle Erkenntnisse zur Ausgestaltung von Evaluationsstrukturen in Deutschland beitragen. Dieses Spotlight präsentiert erste Ergebnisse der Länderstudien, die im Rahmen des PrEval-Projekts durchgeführt wurden. Im Fokus stehen die Herstellung einer ausgewogenen Balance zwischen Lernkultur und Rechenschaftspflicht sowie Fragen zur Finanzierung und der Durchführung passgenauer Evaluationsformate.
Bei der Evaluation von Maßnahmen zur Extremismusprävention stehen Politik, Verwaltung und zivilgesellschaftliche Organisationen in unterschiedlichen Ländern vor ähnlichen Herausforderungen. Wer legt fest, wie Evaluationen ausgerichtet und durchgeführt werden? Wie, wann und von wem werden sie in Auftrag gegeben, finanziert und umgesetzt? Und wie wird mit Evaluationsergebnissen umgegangen? Wenn Antworten auf diese Fragen institutionelle Pfadabhängigkeiten statt bewusste politische Entscheidungen widerspiegeln, kann das Evaluationen und infolgedessen auch Präventionsmaßnahmen unbeabsichtigt negativ beeinflussen. Politische Entscheidungsträger.innen sollten daher bewusst abwägen, wie Evaluationen auf unterschiedlichen Regierungsebenen organisiert werden sollen. Gut durchdachte Organisationsstrukturen hingegen verbinden die Bedürfnisse und Interessen diverser Akteure in der Extremismusprävention und den verwandten Feldern wie der Kriminalprävention und politischen Bildung. Sie können auch gemeinsame Ziele fördern und zwei Hauptfunktionen von Evaluation in Einklang bringen: das Lernen und die Rechenschaftspflicht.
Als relativ junger Politikbereich steht die Extremismusprävention unter dem großen öffentlichen und politischen Druck, Gewalttaten verhindern zu müssen. Die vielfältigen Träger von Präventionsmaßnahmen greifen dabei auf jahrzehntelange Erfahrungen und verschiedene fachspezifische, programmatische und methodische Herangehensweisen zurück. Gleichwohl mangelt es an etablierten Praktiken und einheitlichen Erfolgsfaktoren für Präventionsmaßnahmen. Dies gilt auch für den Aufbau geeigneter Evaluationsstrukturen. Die international vergleichende Analyse kann wertvolle Hinweise für Organisation und Aufbau der geeigneten Strukturen für Evaluation und wissenschaftliche Begleitung in Deutschland generieren. Dieses Spotlight präsentiert Zwischenergebnisse einer solchen Studie von Evaluationsstrukturen in Großbritannien, Kanada sowie den Niederlanden und beschreibt drei länderübergreifende Herausforderungen. Erstens, wie können Evaluationsstrukturen helfen, eine Balance zwischen einer konstruktiven Lernkultur einerseits und der Rechenschaftspflicht andererseits herzustellen? Wie sollten Evaluationen zweitens finanziert und drittens zeitlich geplant werden, um beiden Evaluationszielen gerecht zu werden?
Das PrEval-Projekt beschäftigt sich mit Evaluationsbedarfen, -kapazitäten und -designs in der deutschen Extremismusprävention. Eine Teilstudie legt dabei auch eine internationale Perspektive an und führt vergleichende Fallstudien der Evaluationsstrukturen in Finnland, Großbritannien, Kanada und den Niederlanden durch. Die Auswahl dieser vier Länder erfolgte auf Basis nachgewiesener Erfolge und Veröffentlichungen zur Evaluation von Extremismusprävention sowie anhand ihrer Größe, der Verwaltungsstrukturen, der Präventions- und Evaluationsansätze wie auch der generellen Vergleichbarkeit mit Deutschland. Zwischen Dezember 2020 und April 2021 wurden qualitative, halbstrukturierte Expert.inneninterviews mit Regierungsvertreter.innen, zivilgesellschaftlichen Organisationen, Wissenschaftler.innen und Evaluationsexpert.innen geführt. Auf Grundlage dieser Interviews sowie einer systematischen Literatur- und Dokumentenrecherche wurden die länderspezifischen Erfahrungen mit und Ausgestaltungsweisen von Evaluationsstrukturen analysiert. Ziel war es, Empfehlungen und Handlungsoptionen für Deutschland zu formulieren. Mehr zum PrEval-Projekt.
Balance von Rechenschaftspflicht und Lernen
Evaluationen sollen zum einen zeigen, dass in die Extremismusprävention investierte Gelder zielführend eingesetzt werden (Rechenschaftspflicht). Zum anderen sollen sie dabei helfen, Präventionsmaßnahmen zu optimieren und negative Auswirkungen zu minimieren (Lernen). Obwohl beide Funktionen sich prinzipiell nicht ausschließen, entstehen in der Planung und Umsetzung von Evaluationsprozessen sowie im Umgang mit Ergebnissen zuweilen Zielkonflikte. Sollten Evaluationen vorrangig dazu dienen, die Verantwortlichkeit für (Miss-)Erfolge nachzuzeichnen, auch wenn dies zu Angst und Abwehrhaltung führen kann? Oder ist es wichtiger, das Lernen in den Vordergrund zu stellen, um Maßnahmen weiterzuentwickeln und zu verbessern, auch wenn dabei die Frage nach der Verantwortungsübernahme unklar bleibt?
Die Herausforderung, eine Balance zwischen beiden Zielen herzustellen, ist länderübergreifend zu beobachten. Unsere Ergebnisse zeigen, dass der Druck, öffentliche Ausgaben für Präventionsmaßnahmen zu rechtfertigen, Lernprozesse behindern kann. Dies gilt vor allem dann, wenn Träger dazu gedrängt werden, Auswirkungen von Präventionsmaßnahmen nachzuweisen, deren Effekte schwierig zu messen sind. In Kanada äußern kleinere zivilgesellschaftliche Träger beispielsweise Vorbehalte gegenüber externen Wirkevaluationen. Obwohl sie Optimierungsprozessen positiv gegenüberstehen, führen sie solche Evaluationen ungern freiwillig durch, wenn die Weiterfinanzierung ihrer Projekte von positiven Ergebnissen abhängt. In Großbritannien wiederum fehlt es Trägern oft an personellen Ressourcen und Expertise, um standardisierte Evaluationen durchzuführen, auf Ergebnisse und Empfehlungen systematisch zu reagieren und die Anschlussfinanzierung von Projekten sicherzustellen. Hingegen zeigen Erfahrungen in den Niederlanden, wie Träger von der Rechenschaftsfunktion von Evaluationen profitieren können. Als sich in den 2000er Jahren Forschungsfeld und Fachpraxis weiterentwickelten, wuchs auch die Anzahl der Akteure, von denen einige vereinfachte Lösungen mit fragwürdigen Auswirkungen anboten. Dank einer offenen Evaluationskultur mit Rechenschafts- und Lernelementen besteht die niederländische Präventionspraxis heute aus einem professionellen Kreis von Praktiker.innen und Evaluator.innen.
Um Maßnahmen bedarfsorientiert zu verbessern, sollten Evaluationsstrukturen zwischen den verschiedenen Interessen aller beteiligten Akteure vermitteln – sei es mit Blick auf Vertraulichkeit bei Kooperationen, Vertrauen der Klient.innen, zukünftige Finanzierungen oder um Wirkungsnachweise zu erbringen und demokratische Kontrolle über öffentliche Ausgaben herzustellen. Erste Ergebnisse aus den Fallstudien verdeutlichen, dass eine konstruktive Lernkultur dazu beitragen kann, eine nachhaltige Evaluationspraxis aufzubauen.
Evaluationen zielgerichtet finanzieren
Die Finanzierung von Evaluationen beeinflusst das Verhältnis zwischen Auftraggeber.innen, Evaluierenden und Evaluierten. Denn Entscheidungen über Finanzierung und Mandate setzen Anreize für Träger und Evaluierende und beeinflussen, welches Wissen durch Evaluationen produziert wird. Diese Entscheidungen bestimmen außerdem, wer und was finanziert wird – oder nicht.
Föderale Strukturen und institutionelle Mandate können nicht-intendierte und dysfunktionale Folgen haben. In Kanada unterscheiden sich die Anforderungen und Finanzierungsstrukturen für Evaluationen zwischen den Provinzen sowie zwischen Provinz- und Zentralverwaltung. Bei Projekten auf Provinzebene fehlen oft finanzielle Mittel für externe Evaluationen, weshalb Träger vermehrt auf Selbstevaluationen und -berichte zurückgreifen. Kleine zivilgesellschaftliche Akteure befürchten, dass etablierte größere Träger begünstigt werden, die über Mittel für umfangreiche Evaluationen verfügen.
Finanzierungsentscheidungen beeinflussen auch die Zuständigkeiten bei der Auswahl von Evaluierenden und Evaluationsmethoden sowie den Umgang mit Ergebnissen. Entscheiden Politik und Verwaltung im Alleingang über diese Rahmenbedingungen, werden konstruktive Lernprozesse erschwert. Mehr Autonomie auf Seiten der Maßnahmenträger kann jedoch auch die Standardisierung und Vergleichbarkeit von Ergebnissen behindern. In Großbritannien berichten Evaluierende etwa, dass einige große Praxispartner über ein unverhältnismäßig großes Mitspracherecht bei der Ausgestaltung von Evaluationsprozessen verfügen, was sich zulasten von unabhängiger Qualitätssicherung und Unparteilichkeit auswirken kann. Evaluationskriterien und -standards sollten daher transparent angelegt sein und die Prozesse mit einem gewissen Grad an Standardisierung und flexibler Anpassung an Projektkontexte ausgerichtet werden. Um die richtige Balance zu finden, können Geber zusätzliche Mittel für externe Evaluationen bereitstellen und unabhängige Evaluationen fördern. Zudem sollten sie in Kapazitätsaufbau und Ressourcen für (Selbst-)Evaluationen investieren und, wie in den Niederlanden, Toolkits und Schulungen zur evidenzbasierten Projektarbeit für Träger ermöglichen.
Zeitpunkt von Evaluationen
Eine weitere länderübergreifende Herausforderung besteht darin, Evaluationsprozesse mit begrenzten Mitteln optimal für Lerneffekte und Rechenschaftspflicht auszurichten. Evaluationen können auf verschiedenen Ebenen durchgeführt werden – als Projekt-, Programm-, Themen-, Portfolio- oder Strategieevaluationen. Je nach Zeitpunkt der Evaluationen werden unterschiedliche Ziele verfolgt: ex-ante-Formate untersuchen vor Beginn einer Maßnahme ihre Ausrichtung, formative Evaluationen sollen die Maßnahmen im laufenden Prozess verbessern und ex-post-Formate konzentrieren sich auf die Implementierung und gewonnenen Erkenntnisse. Zeitpunkt, Ziel und Art von Evaluationen müssen aufeinander abgestimmt sein. Der Zeitpunkt für Evaluationen sollte schon bei der Projektkonzeption mitgedacht werden, da es sonst oft zu spät ist, um Projektaufbau und -durchführung anzupassen und sicherzustellen, dass Ergebnisse aufgearbeitet werden. Projektbegleitende und formative Formate können konstruktive Lernprozesse anstoßen und die Qualität von Maßnahmen stärken. Beispiele aus den Niederlanden verdeutlichen, dass Akteure durch formative Evaluationen Erkenntnisse über die Einhaltung der Zielvorgaben gewinnen können, um Maßnahmen frühzeitig anzupassen. Einen wichtigen Beitrag in niederländischen Ministerien leistet das Fachpersonal, das die Träger über den gesamten Evaluationszyklus hinweg berät.
Evaluations- und Projektzyklen müssen jedoch nicht zwangsläufig übereinstimmen – beispielsweise bei Evaluationen, die sich auf ein breiteres Förderprogramm oder eine Maßnahmenstrategie beziehen. Bei solchen übergreifenden Formaten ist es wichtig, Wissen durch Meta- und Vergleichsstudien aufzuarbeiten und der Fachpraxis zur Verfügung zu stellen. In allen Länderbeispielen betonen Evaluationsexpert.innen und Praktiker.innen die Wichtigkeit langfristig angelegter Evaluationen für den Erkenntnisgewinn, die durch kurze Projektzyklen häufig erschwert werden. Mittelgeber können mit flexiblen Finanzierungsmöglichkeiten zu aussagekräftigen Evaluationsergebnissen und ihrer systematischen Umsetzung beitragen.
Ausblick
Bewusste politische Entscheidungen über die Organisation und Finanzierung von Evaluationen im Bereich der Extremismusprävention sind wichtig. Sie tragen im Idealfall dazu bei, dass sich alle Akteure darin verbessern, Extremismus und Gewalt zu verhindern. Zwar können sich im Zuge von Evaluationsprozessen Zielkonflikte zwischen Lernen und Rechenschaftspflicht ergeben, doch sind beide Ziele im Sinne einer demokratischen Politikgestaltung und im Interesse aller beteiligten Akteure. Beim Aufbau von Evaluationsstrukturen sollte allerdings eine vertrauensvolle Lernkultur Priorität haben und Mittelgeber sollten strukturelle und finanzielle Anreize bewusst zu diesem Zweck einsetzen. Trotz länderspezifischer Besonderheiten bestehen ähnliche Herausforderungen. Vergleichende Analysen zu Evaluationsstrukturen und ein kontinuierlicher Austausch unterschiedlicher Akteure auf lokaler und internationaler Ebene helfen, aus Erfahrungen anderer zu lernen.
Download (pdf):
Dieses PRIF Spotlight ist gleichzeitig in englischer Sprache erschienen.
