Evaluation

Aufgrund von Unzufriedenheit mit den gängigen Evaluationsinstrumenten hat der hpkj e.V. in Kooperation mit der LMU München (Diplomarbeit) ein Instrument zur Wirkungsmessung entwickelt, das Zielwinkelverfahren®.
Will man die Einzigartigkeit der individuellen Fälle angemessen berücksichtigen, bietet es sich an, die Hilfeplanziele bzw. deren Erreichung als Grundlage für Evaluation zu nutzen. Nicht alle Ziele eignen sich für einen solchen Ansatz, grundsätzlich sollten sie möglichst STIMMIG sein, also spezifisch, terminiert, individuell maßgeschneidert und messbar, idealerweise gewichtet. Hauptproblem gängiger Verfahren ist, dass sie die Gütekriterien von Messinstrumenten nicht erfüllen. Neben mangelnder Reliabilität und Validität fällt dabei vor allem fehlende Objektivität ins Gewicht. Beim Zielwinkelverfahren® ist dies anders: Zum einen wird der Grad der Zielerreichung aus verschiedenen Blickwinkeln eingeschätzt, und zwar von den Kindern bzw. Jugendlichen, den Eltern, dem Kosten- und dem Maßnahmeträger. Unabhängig davon muss die Zielerreichung parallel auch durch beobachtbare Fakten (harte Daten) beschrieben werden, soweit das fachlich sinnvoll ist.

Im Einzelfall sind nur qualitative Aussagen möglich. Fasst man aber eine genügend große Anzahl von Fällen zusammen, kann ein Gesamtdurchschnitt gebildet werden, der Zielwinkel (ZW). Dieser Wert entspricht dann einer Erfolgsquote, wenn die Mittelwerte der beteiligten Gruppen nicht statistisch signifikant voneinander abweichen (Varianzanalyse). Etwaige »Messfehler« hätten sich sozusagen »herausgemittelt« (klassische Testtheorie). Finden sich signifikante Unterschiede, müssen diese genauer analysiert werden. Immerhin ist es dann noch möglich, ein Erfolgsintervall anzugeben. Je geringer die Abweichungen sind, desto größer ist die Reliabilität. Die Validität ist bereits augenscheinlich gegeben. Zusätzlich kann auch die Kriteriumsvalidität bestimmt werden, indem die Korrelation zwischen den harte Daten und den Einschätzungen berechnet wird.

In einem ersten modellhaften Praxistest hat sich das Verfahren bewährt und als ein Instrument erwiesen, das Evaluation lebendig werden lässt. Manche Beteiligte mussten sogar einräumen, dass Evaluation mitunter Spaß machen kann. Ergeben hat sich eine reliable Zielerreichungsquote von 75 Prozent. Die Korrelation zwischen den Einschätzungen und den harten Daten fiel mit .87 sehr hoch aus. Aufgrund der überzeugenden Erfahrungen wurde das ZWV® im Herbst 2007 als verbindliches Evaluationsverfahren des hpkj e.V. eingeführt.