close

Anmelden

Neues Passwort anfordern?

Anmeldung mit OpenID

Die Wirksamkeit der Beschäftigung mit der Wirksamkeit Harald

EinbettenHerunterladen
Die Wirksamkeit der Beschäftigung mit der Wirksamkeit
Harald Tornow, Wülfrath
Was haben Dienstleistungsorganisationen davon, sich mit den Wirkungen ihres Tuns zu
besch
häftigen? Wirkungsorientierung als Managementansatz in der Jugendhilfe wird
recht unterschiedlich bew
wertet und rezipiert. In diesem Aufsatz stelle ich meine Erfahrungen dar, die ich in vier Jahren WIIMES-Projekt gemacht habe. Ich versuche, Haltungen
und Vorgehensweisen von Organisationen bei der Rezzeption wirkungsorientierter Managementansätze zu systematisieren. Am Schluss des Aufsatzes stehen daraus abgeleitete Empfehlungen, wie Wirkungsorientierung einen Nutzen entfalten kann.
1. Wirkungsorientierung als Managementorientierung
Um gleich am Anfang ein mögliches Missverständnis auszuräumen: Hilfen zur Erziehung sind schon immer auf Wirkungen aus. Soziale Arbeit und allgemein jede Dienstleistung reagiert auf einen Mangel und hat zum Ziel, diesen Mangel zu beseitigen, zu lindern oder zu kompensieren. Welche Bedürfnisse, Mängel, Notlagen, Lebensrisiken als
Bedarfe definiert werden und wie diese gesellschaftlich, sozialpolitisch und ökonomisch
beantwortet werden, unterliegt epochalen und kulturellen Wandlungen. Doch egal, aufgrund welcher sozialpolitischen Rahmenbedingungen oder mit welchen Professionen,
Methoden und Organisationsmethoden auch immer erbracht, Soziale Arbeit hat immer
das Ziel, einen Unterschied herzustellen. Gesellschaften mit bestimmten Sozialsystemen
sollen anders aussehen als solche ohne diese Sozialsysteme. Menschen, die Sozialleistungen bekommen, sollen anders leben können, als solche, die allein gelassen werden.
Dieses nennen wir Wirkung.
Wenn im Folgenden Wirkungsorientierung als eine neue Art propagiert wird, Dinge zu
betrachten und an Aufgaben heranzugehen, dann bezieht sich das auf das Management Sozialer Arbeit. Unter Management verstehen wir die formalisierten und organisierten Aktivitäten des Planens, Steuerns und Überprüfens in Organisationen. Sozialmanagement ist die notwendige Folge einer zugenommenen und weiter zunehmenden
Professionalisierung Sozialer Arbeit und ihrer institutionalisierten Erbringung. In modernen Gesellschaften, die zentrale Aktivitäten rechtlich regeln und durch Institutionen
planen, durchführen und überprüfen lassen, ist professionelles Management eine notwendige Folge. Es mag jedem Einzelnen überlassen sein, dieses als notwendiges Übel
anzusehen oder es als einen Fortschritt anzusehen. Es ist eine zwingende Folge, dass es
dann, wenn Soziale Arbeit auf rechtlichen Normen beruht und wenn dafür öffentliche
Ressourcen verteilt werden müssen, nicht mehr ohne Management geht.
Das wesentliche Merkmal eines wirkungsorientierten Managements liegt darin, alle
Planungen, Steuerungsaktivitäten und Bewertungen an den (erhofften) Ergebnissen
auszurichten. Dieses ist die Grundlage eines jeden Qualitätsmanagements. Unabhängig
von dem spezifischen Modell ist allen QM-Systemen gemeinsam, dass sie sich auf die
37
Ergebnisse fokussieren. Dabei ist es egal, ob es sich um produzierende oder dienstleistende gewinnorientierte Unternehmen oder um non-profit Einrichtungen handelt, um
öffentlich-rechtliche Institutionen oder um komplexe Systeme bestehend aus einem
Geflecht von Behörden, Vereinen, Verbänden und Unternehmen wie beispielsweise Jugendhilfesysteme. Immer würde ein Qualitätsmanagement zuerst danach fragen, für
wen welche Erwartungen erfüllt werden sollen. Mithin kann festgestellt werden: Qualitätsmanagement ist wirkungsorientiertes Management.
Wozu dann überhaupt noch ein Qualitätsmanagementsystem? Eine Organisation
könnte sich ja damit zufrieden geben, selbstgesetzte Aufträge, Zielhorizonte und Haltungen (mission – vision – value) zu definieren und zu kommunizieren und dann darauf vertrauen, dass alle Organisationsmitglieder schon in der richtigen Weise auf dieser Basis handeln werden. Das Problem mit den Organisationen liegt leider darin, dass
sie ab einer gewissen Größe und im Laufe der Zeit dazu neigen, Eigenwelten zu entwickeln. Sie differenzieren sich intern aus, bilden Routinen, die allmählich den Charakter von zwangsläufiger Naturgesetzmäßigkeit annehmen; es bilden sich Hierarchien
und Grenzen und ein eigenes Weltbild. Mit anderen Worten, Organisationen, vor allem
erfolgreiche, neigen dazu, den Kontakt zu der sich wandelnden Umwelt und zu ihren
Kunden zu verlieren. Eine wesentliche Aufgabe des Qualitätsmanagements ist es, diesen Kontakt immer wieder herzustellen, die tatsächlichen Erwartungen und Ergebnisse
bei Kunden und anderen Interessensgruppen zu überprüfen und zu einem realistischen
Bild der Welt dort draußen zu kommen.
WIMES ist ein Projekt zur Überprüfung der Wirksamkeit von Jugendhilfeorganisationen
bei der Erreichung ihrer zentralen Ziele, als da sind: Einlösung von Kinderrechten und
die Verbesserung der Lebenssituation von jungen Menschen und ihren Familien; Unterstützung von Eltern in ihren Erziehungsaufgaben; Erziehung und Förderung der Entwicklung junger Menschen, sodass sie ihre Persönlichkeit entfalten und zu einem gemeinschaftsfähigen Mitglied der Gesellschaft werden können. Es gilt, Leid zu lindern,
Risiken zu mindern und Zukunftschancen für einzelne Menschen und die Gesellschaft
als Ganzes zu verbessern. Dafür lernen und arbeiten Fachleute. Dafür koordinieren und
entscheiden Führungskräfte, dafür werden personelle, finanzielle und materielle Ressourcen beschafft, erhalten und zusammengeführt.
In Organisationen entstehen zusätzliche Erwartungen. Mitarbeiter möchten sich verwirklichen können, ihre Arbeit gern machen und angemessen entlohnt werden. Sie suchen Sicherheit genauso, wie das Unternehmen selbst gern weiter existieren oder vielleicht sogar wachsen möchte und anerkannt sein will. Die zentrale Erwartung an die
Institution oder an das Unternehmen bleibt aber: Erfüllt die Institution oder das Unternehmen seinen eigentlichen Zweck? Im Fall der Jugendhilfe: Gibt es für junge Menschen wirklich ein Mehr als Lebensqualität, Gerechtigkeit und Zukunftschancen, kommen Menschen in Familien besser miteinander zurecht? Kann die Gesellschaft
berechtigter sagen, dass keiner verloren geht, Familien nicht allein gelassen werden und
jeder einzelne in eine gute Zukunft mitgenommen wird?
38
2. Erwartungen an eine wirkungsorientierte Jugendhilfe
Das Bundesmodellprogramm »Wirksame Jugendhilfe« war ein Großversuch, diese Fragen
zu stellen und die Antworten zu nutzen, um der Qualitätsentwicklung bei Hilfen zu Erziehung einen neuen Schub zu geben. Ursprünglich war der Fokus tatsächlich auf das Qualitätsmanagement gelegt worden. Eine zentrale Frage des Großprojektes war, ob nicht die
Entgeltsystematik zu wenig Bezug auf die tatsächlichen Ergebnisse für die Nutzer nimmt.
Die Zuweisung von Finanzen erfolgt bisher über die Kosten der Leistungserbringung multipliziert mit der Anzahl der Belegtage/face-to-face-Stunden oder Fallzahlen. Wird dabei
nicht der Leistungserbringer belohnt, der viele Leistungen erbringt und einen Klienten
möglichst lange hält? Diese Überlegung war übrigens rein hypothetisch aufgestellt worden, obwohl sie natürlich nicht einer gewissen Logik entbehrt. Mit der gleichen Logik hätte
aber auch vermutet werden können, dass unter wirtschaftlichen Gesichtspunkten ein Kostenträger »belohnt« wird, wenn er möglichst viele Bedarfe übersieht, Hilfen durch bürokratische Hürden erschwert oder passende (teurere) Hilfen durch unflexible Grundsätze,
wie »ambulant vor stationär« verhindert. Mit meinen Erfahrungen decken sich beide Hypothesen nicht. Dennoch hätte es ein lohnender Versuch sein können, durch eine veränderte,
wirkungsorientierte Steuerung der Effektivität einen höheren Stellenwert zu geben.
Ein zweiter Ausgangspunkt des Bundesmodellprogramms waren die Qualitätsentwicklungsvereinbarungen nach § 78 SGB, die nach mehreren Sichtungen auffällig unverbindlich und inhaltsleer waren. Hätte hier nicht ein Hebel liegen müssen, den beabsichtigten und tatsächlichen Wirkungen einen höheren Stellenwert zu geben?
Auch vor einer abschließenden Evaluation durch die Universität Bielefeld dürfte in dem
Bundesmodellprogramm klar geworden sein, dass eine rein betriebswirtschaftlich wirkungsorientierte Steuerung nicht erfolgreich ist. Das Verhältnis zwischen Leistungsträger und Leistungserbringer darf man eben nicht unter dem Aspekt von Kunden (Geldgeber) und Dienstleister (Leistung gegen Geld) auf dem Sozialmarkt sehen. Positiv erlebt
wurde die gelebte Partnerschaft zwischen Leistungsträger und Leistungserbringer als
strategische Allianz zur Verbesserung der Wirksamkeit von Hilfen zur Erziehung. Ausgehend von diesem Verständnis könnte die gemeinsame Überprüfung und Verbesserung
der Wirksamkeit von Hilfen zur Erziehung ein starker Hebel zu Qualitätsentwicklung in
der Jugendhilfe sein.
Als besonders wichtig hat sich das dialogische Prinzip herausgestellt. Nicht der Leistungsträger bewertet den Leistungserbringer (Ranking) und belohnt oder bestraft ihn
entsprechend. Sondern: Beide verstehen sich als Partner im Management wirksamer
Hilfeangebote und überlassen letztlich dem Anspruchsberechtigten und der Gesellschaft das Urteil über den Nutzwert der Hilfen zur Erziehung. Das letzte Wort des Kunden entbindet Fachleute und Management aber nicht von der Pflicht, sich auch selbst
von den erreichten Wirkungen ein Bild zu machen und sich möglichst frühzeitig auf
veränderte Bedarfe, wissenschaftliche Erkenntnisse, methodische Weiterentwicklungen
oder bessere Management-Modelle einzustellen.
39
Leider hat das Bundesmodell die Unterscheidung zwischen Management und Fachlichkeit nicht durchgehalten. In dem Maße, wie deutlich wurde, dass veränderte Entgeltregelungen, wirtschaftliche Anreize und angeblich rationalere Steuerungsmodelle zu keiner wirksameren Jugendhilfe führen, verlegte man sich auf die fachliche Frage, was
denn eine Hilfe wirksamer mache. Es ging nicht mehr, wie anfangs ausgeschrieben, um
die Frage, wie muss Jugendhilfe anders organisiert, finanziert und gesteuert werden,
sondern um die Frage, welche fachlichen Herangehensweisen und welche Rahmenbedingungen im Einzelfall förderlich sind.
Der zusammengestellte Abschluss-Katalog von wirkungsfördernden Bedingungen (s. ISA
(Hrg.): Praxishilfe zur wirkungsorientierten Qualifizierung der Hilfen zur Erziehung. Wirkungsorientierte Jugendhilfe Band 9. Münster, 2009) ist in Fachkreisen unbestritten
richtig. Nur ist er nicht neu und vor allem auch nicht aus dem Bundesmodellprogramm
empirisch gesichert abgeleitet. Das Fazit des Bundesmodellprogramms war, dass Wirkungen nicht durch Management, sondern im Wesentlichen durch eine hohe Fachlichkeit der Helfer, durch die Passung der Hilfeangebote und einen hohen Respekt vor den
Lebensleistungen und Autonomiewünschen der Klienten erreicht werden.
Heißt das nun im Umkehrschluss, dass ausschließlich die Beziehung, Haltung, Fachlichkeit im Einzelfall zählt? Das hieße, das Management allzu voreilig aus seiner Verantwortung zu entlassen. Die Management- und Systemfrage muss anders gestellt werden: In welchem Maße und durch welche Haltungen und Methoden schafft es eine
Institution oder ein System, Bedingungen zu schaffen, unter denen fachlich erfolgreich
gehandelt werden kann?
Wenn die Frage auf diese Weise gestellt ist, können und sollten auch wirtschaftliche
Gesichtspunkte berücksichtigt werden: in welchem Maße schafft es die Institution / das
System, Wirkungen zu erzielen bei gleichzeitigem geringst möglichen Mitteleinsatz?
Wenn Ökonomie nur darin besteht, Kosten zur sparen, kann das System vielleicht kurzfristig ökonomisch erfolgreich sein, wird aber möglicherweise später sehr viel Geld und
andere Ressourcen wie Ansehen, öffentliche Unterstützung und Zukunftsfähigkeit verlieren. Die Aufgabe eines Jugendamtes ist es nicht, die Kostenmisere öffentlicher Haushalte zu sanieren. Die Aufgabe einer Einrichtung ist es nicht, nach den Marktgesetzen
irgendwelche gut refinanzierten Projekte an Land zu ziehen oder sich mit Dumpingangeboten neue Märkte zu erobern. Die zentralen Ziele von Jugendhilfe finden sich im Gesetz, in Gerichtsurteilen, in jugendpolitischen Grundsatzpapieren und in den Leistungsversprechen von Leistungsträgern und Leistungserbringern.
3. Wirkungsorientierte Qualitätsentwicklung im WIMES-Projekt
Ungefähr 180 Einrichtungen und Institutionen der Jugendhilfe nehmen seit 2006 an
dem WIMES-Projekt teil. Die Angabe ist deswegen nur ungefähr zu machen, weil der
Einrichtungsbegriff nicht immer eindeutig ist. Teilnehmer sind oft Verbünde mit mehreren Standorten und konzeptionellen Ausrichtungen. Hier nennen wir »Einrichtung« eine
40
organisatorische Einheit, die räumlich zusammenhängt und einer Leitung mit Personalund Konzeptverantwortung untersteht.
Was haben diese Einrichtungen davon, sich intensiv mit ihrer Effektivität zu beschäftigen und dafür personelle Ressourcen und finanzielle Mittel einzusetzen? In welcher
Weise nutzen sie den Prozess der Datenerhebung und die Wirkungsberichte?
Die Einrichtungen im WIMES-Projekt haben sich irgendwann dafür entschieden, daran
teilzunehmen. Als Motivation dafür werden angegeben:
• Wir erhoffen uns Impulse für die Organisations- und Personalentwicklung.
• Ergebnisqualität kommt bisher in unserem Qualitätsmanagement zu kurz.
• Wir sind eine lernende Organisation.
• Wir halten es für professionell, wenn ein Verband sich offensiv mit der Wirkungsevaluation auseinandersetzt.
• Wir wollen uns auf den Fall vorbereiten, irgendwann einmal unsere Arbeit legitimieren zu müssen.
• Wir wollen unsere Ergebnisse den Auftraggebern und der Öffentlichkeit darstellen.
• Wir wollen uns frühzeitig auf Entwicklungen einstellen.
Keine Einrichtung hat angegeben, dass sie sich durch Kostenträger oder Öffentlichkeit
zu einer Wirkungsevaluation gezwungen sieht. Manche haben allerdings betont, dass es
für ihre Motivation leichter gewesen wäre, wenn die Jugendämter sich mehr für die
Wirksamkeit interessieren würden und wenn auch der öffentliche Jugendhilfeträger
sich selber um ein wirkungsorientiertes Qualitätsmanagement bemühen würde.
Einrichtungen, die sich zunächst zwar interessiert hatten, dann aber doch nicht an dem
Projekt teilgenommen haben, hatten dafür u. a. folgende Gründe:
• Wir arbeiten bereits mit einem anderen Verfahren (in der Regel EVAS)
• Wir sind gerade in einer Umstrukturierung oder haben eine andere »Baustelle« (häufigste Antwort).
• Wir haben existentielle Sorgen und den Kopf für so etwas nicht frei.
• Wir halten Effektivität nicht für messbar.
• Wir halten nichts von Qualitätsmanagement und allem, was entfernt danach aussieht.
• Solange der Kostenträger so etwas nicht fordert, warten wir ab.
Ich möchte im Folgenden untersuchen, inwieweit die teilnehmenden Einrichtungen ihre
Wirkungsevaluation haben nutzen können. Es geht also um die Meta-Fragestellung:
Wie wirkt die Auseinandersetzung mit Wirkungen?
Wir sind also nicht auf der Ebene der eigentlichen Leistungserbringung (primäre Dienstleistungsprozesse) sondern auf der Managementebene (Führungs- und Organisationsprozesse): Was für einen Nutzen hat ein wirkungsorientiertes QM-System?
41
Bei der Bestimmung von Nutzen (Outcome, Effekt) ist es wichtig, zwischen den Aktivitäten (Prozessen) und den Ergebnissen zu unterscheiden. Im WIMES-Projekt bestehen
die Aktivitäten darin, Daten zu dokumentieren und zu lenken (die Einrichtung selbst mit
Unterstützung durch das e/l/s-Institut) und Daten zentral zu erfassen und auszuwerten
(e/l/s-Institut). Das gelieferte Produkt ist ein differenzierter Bericht mit statistischen
Auswertungen, Tabellen, Grafiken und Kennzahlen über die Wirksamkeit bestimmter
HzE-Angebote.
Zur Systematisierung eines möglichen Nutzens folgen wir den Nutzen-Erwartungen, die
an eine Teilnahme im WIMES-Projekt geknüpft wurden. Bringt das Projekt etwas für
• das organisationale Lernen?
• die Verbesserung der Fachlichkeit und der Konzepte?
• die öffentliche Darstellung der Qualität?
• den Dialog mit den Jugendämtern?
• die öffentliche Beachtung und Anerkennung (Öffentlichkeitsarbeit und Image)?
Um Unterschiede zwischen den Einrichtungen hinsichtlich des erreichten Nutzens zu
erklären, untersuchen wir die Hypothese, dass die internen Rahmenbedingungen darauf
einen Einfluss haben, ob es zum Ausscheiden aus dem WIMES-Projekt kommt und in
welchem Maß bei den oben angegebenen Erwartungen tatsächliche Wirkungen erreicht
werden. Um die Ursachen genauer untersuchen zu können, müssten eigentlich auch externe Bedingungen herangezogen werden, über die aber nur mit einem größeren Aufwand Informationen hätten erhoben werden können. Die internen Bedingungen, die
hier eingeschätzt werden, sind sicherlich ebenfalls nicht erschöpfend. Hier werden nur
Ursachen herangezogen, die in Auswertungsworkshops genannt wurden oder als Begründungen für Beendigungen (Abbrüche) genannt wurden. Als unabhängige Variable,
die einen Einfluss auf Teilnahme und den Nutzen aus der Wirkungsevaluation haben
könnten, betrachten wir
• die allgemeine Belastungssituation des Trägers / der Einrichtung (wirtschaftliche
oder personelle/strukturelle Krisen),
• den Grad, in dem die Mitarbeiter in das Projekt einbezogen werden,
• die organisatorischen Voraussetzungen (QM, Schnittstellen, Dokumentation),
• die Haltung gegenüber dem WIMES-Projekt auf den unterschiedlichen hierarchischen Ebenen.
3.1 Methode
Als Datenbasis dienen Einschätzungen durch den Projektleiter, die anhand einiger Kriterien operationalisiert werden (siehe Tabelle 1 und 2). Als empirische Basis dienen 47
ausgewählte Träger (teilweise mit bis zu 13 Einrichtungen), von denen sechs inzwischen
ausgeschieden sind und als Vergleichsgruppe (Abbruch) dienen.
42
Nutzen:
Kriterien
internes ManagementLernen (Strategie und
Organisation)
Sind strategische Neuausrichtungen angeregt
und unterstützt worden?
Sind Strukturen bewertet, bestätigt oder
verändert worden?
Sind Zuständigkeiten, Rollen,
Organisationsmethoden bewertet, bestätigt
oder verändert worden?
Sind Primärprozesse und fachliches Handeln
überarbeitet worden (von der Aufnahme,
Diagnostik, Verlauf bis zur Beendigung)?
Sind Konzepte bewertet, bestätigt oder
verändert worden?
Sind Ergebnisse der Evaluation nach außen
kommuniziert worden? (Öffentlichkeit)
Sind die Jugendämter über die Evaluation
unterrichtet worden?
Sind die Ergebnisse im Einzelnen mit
Jugendämtern kommuniziert worden?
Hat es einen Wirkungsdialog in Form einer
gemeinsamen Bewertung und einer
Umsetzung von Beschlüssen gegeben?
Gab es Einrichtungsübergreifende
Auswertungen und Bewertungen?
Gibt es übergreifende fachliche und
politische Impulse?
internes fachliches
Lernen (Prozess und
Konzept)
externe Darstellung
Wirkungsdialoge mit
Jugendamt
Wirkungsdialoge in
Netzwerken und
Verbänden
Tabelle 1: Zielbereiche für möglichen Nutzen aus dem WIMES-Projekt.
Die Skalierung wird auf einer Rangskala auf vier Stufen vorgenommen:
0
1
2
3
kein Nutzen
in Ansätzen gibt es einen Nutzen
vereinzelt und unsystematisch entfaltet die Evaluation einen Nutzen
umfassend und systematisch entfaltet die Evaluation einen Nutzen
interne Bedingungen
Kriterien
Allgemeine Belastung
der Institution
o
Interne Kommunikation
o
o
Qualitätsmanagement
o
Haltung
o
o
o
o
o
Sind die Träger / Einrichtungen in besonders schwierigen Situationen
(wirtschaftliche und andere Krisen, Leitungswechsel aus Krisen heraus, besonderer
Druck durch Leistungsträger und politische Rahmensetzungen)?
Ist das Projekt intern kommuniziert?
Sind Mitarbeiter aller Ebenen beteiligt bei der Planung, Datenerhebung und
Bewertung der Ergebnisse?
Gibt es ein prozessorientiertes Qualitätsmanagement, in das Datenerhebung,
Auswertung und Lernen eingebaut werden kann?
Wie gut arbeiten Koordinator, Leitung, Verwaltung, Mitarbeiter zusammen?
Wie sorgfältig und genau werden die Daten erhoben?
Wie macht die Leitung deutlich, dass sie der Wirkungsevaluation einen Wert
beimisst (öffentliches Eintreten dafür, Teilnahme an Schulungen, Auswertungen,
Workshops)?
Wie ist die Haltung auf der mittleren Leitungsebene?
Wie ist die Haltung auf der operativen Ebene?
Tabelle 2: Interne Rahmendingungen für die Durchführung einer WIMES-Evaluation
43
Hier stufen wir ein nach einer bidirektionalen Rangskala:
-2
nach allen Kriterien negative und hemmende Bedingungen
-1
nach den überwiegenden Kriterien eher negativ und hemmend
0
positive und negative Bedingungen halten sich die Waage
1
bei den überwiegenden Kriterien eher positiv
2
nach allen Kriterien positiv
3.2 Die Ergebnisse im Einzelnen
3.2.1 Nutzwert
Ähnlich wie bei den Hilfen zur Erziehung gegen wir davon aus, dass ein Nutzen sich
nicht einseitig durch eine bestimmte Dienstleistung und Methode herstellen lässt, sondern dass er sich erst einstellt, wenn es zu einer Koproduktion zwischen Dienstleister
und Adressat kommt. Um einen Nutzen zu erreichen, muss eben der Dienstleistungsempfänger seine Möglichkeiten tatsächlich nutzen. Diese Abhängigkeit macht es
schwer, die Wirksamkeit einer Methode festzustellen. Letztlich weiß man bei ausbleibendem Nutzwert ohne differenziertere Untersuchung nicht, ob es Mängel in der Leistungserbringung sind oder ob der Leistungsempfänger aus anderen Gründen keinen
Nutzen erfahren hat.
Nutzen
kein
in Ansätzen
unsystematisch
systematisch
internes Management-Lernen
10
14
17
6
internes fachliches Lernen
7
16
15
9
externe Darstellung
9
13
17
8
7
14
4
6
11
12
Wirkungsdialoge
mit
22
Jugendamt
Wirkungsdialoge Netzwerke
18
Verbände
Tab. 3: Häufigkeiten, mit denen Einrichtungen einen Nutzen aus der Wirkungsevaluation haben (N=47)
Die Tabelle 3 gibt wieder, in welchem Maße die Einrichtungen in dem WIMES-Projekt
einen Nutzen haben realisieren können. Am wenigsten Effekte stellen wir bei den Dialogen mit den Leistungsträgern fest. Viele Teilnehmer würden gern ihre Evaluationsergebnisse zusammen mit den öffentlichen Partnern bewerten und zu gemeinsamen, abgestimmten Strategien kommen. In der Regel erwarten die Einrichtungen, dass die
Jugendämter nicht interessiert sind, weil diese wegen anderer »Baustellen« und Umstrukturierungen überlastet sind oder weil sie eigene Evaluationssysteme favorisieren.
Völlig anders sind dagegen die Erfahrungen der Einrichtungen, die ihre Jugendämter zu
Wirkungspräsentationen eingeladen haben. Die Erfahrungen sind durchgängig positiv.
Die Offenheit, mit der die Ergebnisse dargestellt wurden, führt zu Hochachtung und Respekt bei der anderen Seite. Die Diskussionen sind durch Interesse und positive »Stim44
mung« gekennzeichnet, wenngleich verbindliche und praktische Folgerungen oder gar
Absprachen meistens fehlen.
Wenn auch nicht systematisch eingesetzt, ist der Nutzen bei der Organisations- und
Personalentwicklung am höchsten. Nur 15 Prozent bis 25 Prozent der Einrichtungen
haben in dieser Hinsicht keinen Nutzen. Am deutlichsten teilt sich das Feld bei dem
Nutzen durch kollegiale Wirkungsdialoge. Die Hälfte der Einrichtungen tauscht sich
über ihre Ergebnisse in Fachverbänden, regionalen Kooperationsnetzwerken aus. Inzwischen werden bei diesen Treffen weiterführende Projekte zur Wirkungsforschung und zu
(fach-)politischen Strategien entwickelt und verabredet.
3.2.2 Abbrüche bei der WIMES-Evaluation
Sechs Einrichtungen haben nach ungefähr zwei Jahren das Projekt Wirkungsevaluation
mit WIMES abgebrochen. Wir wollen anhand des (fehlenden) Nutzens und der Art, wie
das Projekt in den Einrichtungen umgesetzt worden ist, Hypothesen finden, warum Einrichtungen abbrechen. Oder umgekehrt formuliert: Welche Bedingungen sind für eine
erfolgreiche Durchführung einer Wirkungsevaluation notwendig oder zumindest hilfreich? Dann wollen wir danach fragen, inwieweit der erreichte Nutzen von internen Bedingungen der Einrichtung abhängt.
Die internen Bedingungen für die Durchführung des WIMES-Projektes sind bei der
Mehrzahl der Einrichtungen eindeutig positiv (Tabelle 4). Zwei Einrichtungen sind kurz
nach dem Beginn des WIMES-Projektes in eine existenziell bedrohliche wirtschaftlicheund Leitungskrise geraten.
allg. Belastung der Institution
Interne Kommunikation
Qualitätsmanagement
Haltung
negativ
2
2
2
2
überwiege
nd negativ
2
2
3
3
positiv
negativ
1
5
4
5
/ überwiege
nd positiv
12
7
8
8
positiv
30
31
30
29
Tab. 4: Verteilung der Rahmenbedingungen des WIMES Projektes
Sechs Abbrüche sind keine ausreichende Stichprobe und eine Verallgemeinerung auf
andere Evaluationsmethoden ist nicht zulässig. Alle hier angeführten Befunde über Ursache und Wirkungen sind spekulativ. Vielleicht passten WIMES und diese Einrichtungen einfach nicht zueinander. Dennoch wollen wir eine Ahnung bekommen, in welcher
Weise spezifischer Nutzen und interne Bedingungen mit der Abbruchentscheidung zusammenhängen könnten.
45
Teilnahme
0
Abbruch
NUTZEN
4
8
12
0,0
2,5
5,0
7,5
10,0
0,0
2,5
5,0
7,5
10,0
Abb. 1: Verteilung des Gesamtnutzens, getrennt nach Abbruch versus Nicht-Abbruch
In der Abbildung 1 wird gegenübergestellt, in welchem Maße sich Einrichtungen, die
Teilnehmer im Projekt sind, und jene, die abgebrochen haben, hinsichtlich des Gesamtnutzens unterscheiden. Der Gesamtnutzen ist gleich der Summe aus den fünf Einzeleinschätzungen. Der mögliche Maximalwert ist 5*3=15.
Der Unterschied zwischen den beiden Gruppen ist hoch signifikant. Die abbrechenden
Einrichtungen hatten praktisch keinen Nutzen. Wenn die Kausalbeziehung zwischen
Nutzen und Fortführung des Projektes stimmt, kann von vier noch teilnehmenden Einrichtungen erwartet werden, dass sie das Projekt demnächst abbrechen, wobei eingeschränkt werden muss, dass diese mitunter erst seit Kurzem in dem Projekt teilnehmen.
Ein Nutzwert tritt in der Regel frühestens nach einem Jahr auf.
Mittels einer multivariaten Korrelation wollen wir untersuchen, was genau die Einrichtungen vermissen. Die Tabelle 4 zeigt, dass insbesondere die fehlende Verwendung zur
Außendarstellung und zur internen Weiterentwicklung ausschlaggebend war. Mit den
fehlenden Dialogen mit dem Jugendamt hätte man wohl leben können.
externe Darstellung
,758
internes Management-Lernen
,708
internes fachliches Lernen
,692
Wirkungsdialoge Netzwerke Verbände ,491
Wirkungsdialoge mit Jugendamt
,262
Gemeinsame Korrelationen innerhalb der
Gruppen zwischen Diskriminanzvariablen und
standardisierten kanonischen Diskriminanzfunktionen. Die Variablen sind nach ihrer
absoluten Korrelationsgröße innerhalb der
Funktion geordnet.
WilksChidf
Signifikanz
Lambda
Quadrat
,414
37,888
4
,000
Tab 5: Korrelativer Zusammenhang zwischen Nutzen und Abbruchsentscheidung
46
Gibt es einen Kausalzusammenhang zwischen den internen Bedingungen, unter denen
das WIMES-Projekt durchgeführt wurde, und der Abbruchentscheidung? Auch hierfür
wählen wir zwei Analyse-Zugänge.
Förderbedingungen insgesamt
Teilnahme
Abbruch
1
0
-1
-2
0
10
20
30
0
10
Anzahl
20
30
Anzahl
Abb. 2: Verteilung der internen Durchführungsbedingungen, getrennt nach Abbruch versus Nicht-Abbruch
Abbildung 2 zeigt deutlich, dass die internen Bedingungen sich auf den weiteren Einsatz von WIMES als Evaluationsmethode auswirken. Als Maß für die Förderbedingungen insgesamt wurden die Einzeleinschätzungen gemittelt. Der Wert +2 bedeutet also,
dass alle Teilbedingungen maximal förderlich waren. Dieses ist bei 34 Einrichtungen
der Fall. Insbesondere hängt die erfolgreiche Teilnahme am WIMES-Projekt von der
Haltung der Führungskräfte und der internen Kommunikation mit den Mitarbeitern ab
(Tabelle 6).
Haltung
Interne Kommunikation
Qualitätsmanagement
allg. Belastung der Institution
,977
,824
,558
,518
Wilks-Lambda
Chi-Quadrat
df
Signifikanz
,414
37,888
4
,000
Tab 6: Korrelativer Zusammenhang zwischen Durchführungsbedingungen und Abbruchsentscheidung
3.3 Nutzen und interne Bedingungen
Auch bei den weiterhin teilnehmenden Einrichtungen gibt es deutliche Unterschiede bei
der Nutzung der Wirkungsevaluation. In der Tabelle 7 ist der Zusammenhang unter Ausschluss der ausgeschiedenen Einrichtungen mittels einer Faktorenanalyse differenzierter analysiert worden. In zwei Dimensionen werden 70 Prozent der Gesamtzusammenhänge dargestellt. Hohe gemeinsame Ladungen auf einem Faktor zeigen einen großen
strukturellen Zusammenhang.
47
Komponente
internes Management-Lernen
internes fachliches Lernen
externe Darstellung
Wirkungsdialoge mit Jugendamt
Wirkungsdialoge Netzwerke Verbände
allg. Belastung der Institution
Interne Kommunikation
Qualitätsmanagement
Haltung
internes Lernen
0,75
0,72
kooperative
Qualitätsentwicklung
0,88
0,87
0,77
0,64
0,89
0,81
0,84
Tab. 7: Zusammenhang zwischen Nutzen und interne Bedingung; Faktorenanalyse
Extraktionsmethode:
Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.
Die Rotation ist in drei Iterationen konvergiert.
Es wird deutlich, dass der Nutzen, den WIMES für die interne Qualitätsentwicklung hat,
im Wesentlichen davon abhängt, ob es ein internes Qualitätsmanagement gibt, wie
Mitarbeiterinnen und Mitarbeiter einbezogen werden und ob das Projekt von den Führungskräften in der Einrichtung unterstützt wird. Dagegen scheint der Nutzen, der in
den Interaktionen mit Partnern und Öffentlichkeit entsteht, von anderen Faktoren abzuhängen. Hier scheinen eher Bedingungen der anderen Seite eine Rolle zu spielen: Gibt
es Jugendämter, die an wirkungsorientierter Qualitätsentwicklung interessiert sind?
Wie sind die regionalen Vernetzungen zwischen WIMES-Einrichtungen? Bei der Öffentlichkeitsarbeit hängt der Nutzen wahrscheinlich davon ab, ob es präsentable Ergebnisse
gibt und ob sich Politik und Öffentlichkeit dafür überhaupt interessieren. Diesbezüglich
habe ich ohnehin generell eine große Skepsis.
4. Fazit: Voraussetzung für die Nutzung von Wirkungsevaluationen in Einrichtungen
der Jugendhilfe
Ungefähr 80 Prozent der Einrichtungen im Projekt haben einen Nutzen aus der systematischen Wirkungsevaluation mit WIMES. Von diesen haben 66 Prozent einen wesentlichen Nutzen. Den größten Effekt hat die Wirkungsevaluation bei der internen fachlichen- und Organisationsentwicklung. Ob diese Effekte realisiert werden können, hängt
stark von der aktiven Identifikation der Leitungskräfte mit der wissenschaftlichen Auseinandersetzung mit den Wirkungen der Hilfen zur Erziehung und von dem Einbezug
der Mitarbeitenden ab.
Weniger Nutzen entfaltet die Wirkungsevaluation nach außen. Hierbei sind die Einrichtungen abhängig von den Haltungen der öffentlichen Leistungsträger. Die meisten Einrichtungen versuchen gar nicht erst, Wirkungsdialoge mit den öffentlichen Partnern zu
48
installieren. Da wo Jugendämter eingeladen werden, sind die Erfahrungen zwar positiv,
oft aber folgenlos. Einrichtungen, die nachhaltiger den Dialog mit den Leistungsträgern
suchen, schaffen es vereinzelt durch ihre Beharrlichkeit, Jugendämter in Qualitätspartnerschaften hineinzuholen. Dort, wo Leistungsträger und Leistungserbringer sich von
vornherein einig sind, dass eine wirkungsorientierte Jugendhilfe nur in einer Qualitätspartnerschaft gelingt, ist der Nutzen von WIMES am umfassendsten.
Bei den Diskussionen über Sinn- und Unsinn von Wirkungsorientierung oder die Qualität der WIMES-Methode in Verbänden, Fachöffentlichkeit und mit vielen Akteuren der
Jugendhilfe erlebe ich einen merkwürdigen Widerspruch. Auf der einen Seite wird bei
der Wirkung der Hilfen zur Erziehung (mit Recht) betont, dass es weniger die Methoden
und Konzepte sind, die Wirkungen erzeugen, sondern die Kooperationsbereitschaft der
Klienten, die Beziehungen zwischen den Akteuren und die Passung der Dienstleistungen. Sobald die Rede auf Evaluationsmethoden kommt, suchen die gleichen Diskussionspartner dagegen nach objektiven und aus sich heraus wirksamen Konzepten und
Methoden.
Meiner Meinung nach ist es letztlich gar nicht so wichtig, mit welchem Instrument evaluiert wird. Dieses muss nur praktikabel, anschlussfähig, verständlich und leidlich wissenschaftlich fundiert sein. Zentral für die Wirkung der Wirkungsorientierung ist, dass
diese das Lernen unterstützt und zu Dialogen führt. Nutzen erzeugt, was genutzt wird.
49
Document
Kategorie
Bildung
Seitenansichten
1
Dateigröße
107 KB
Tags
1/--Seiten
melden