Evaluationen im Gesundheitswesen und Sozialwesen: Wirkweisen verstehen und verstetigen

Evaluationen im Gesundheits- und Sozialwesen: Wirkweisen verstehen und verstetigen: Das Bild zeigt eine Reihe von Domino Steinen die von einer Hand auf der rechten Bildseite angestoßen werden.

Evaluationen im Gesundheitswesen und Sozialwesen: Wirkweisen verstehen und verstetigen

Evaluationen sind ein wichtiges Vorgehen, um Interventionen, Maßnahmen oder Programme im Gesundheits- und Sozialwesen vor dem Hintergrund wissenschaftlicher Methoden zu bewerten. Zunächst muss die Bedeutung von Wirkung und wie sie sich auf unterschiedlichen Ebenen manifestiert, definiert werden. Dieser Artikel gibt eine erste Einführung in das Thema Wirkungen, ihre praxisnahe Darstellung und wie wir Wirkungen verstehen und verstetigen können.

Wirkungen im Gesundheits- und Sozialwesen

Die Wirksamkeit von Interventionen, Maßnahmen und Programmen¹ im Bereich Gesundheit und Soziales ist von entscheidender Bedeutung für deren Implementierung und Verstetigung. Aber was bedeutet „wirksam“ in diesem Zusammenhang überhaupt und warum sollte man die Wirkung von Interventionen messen? Wirkung messen heißt hier, die Effektivität und Effizienz der Intervention mit Blick auf die angestrebten Ziele zu bewerten. Zusätzlich ist es wichtig, unerwünschte Wirkungen frühzeitig zu erkennen und zu vermeiden. Eine solche Wirkungsmessung schafft Transparenz über die eingesetzten Ressourcen und den daraus entstehenden Nutzen. Durch die Identifikation von Anpassungsbedarfen und Potenzialen kann außerdem die Effektivität einer Intervention kontinuierlich gesteigert werden. Das ist nicht nur für das projektinterne Vorgehen relevant, sondern kann auch evidenzbasierte Informationen liefern, die bei der organisatorischen und (gesundheits-/sozial-)politischen Entscheidungsfindung helfen können.

Komplexe Interventionen in komplexen Kontexten

Interventionen im Gesundheits- und Sozialwesen sind meist sehr komplex. Das kann einerseits an den jeweiligen inhaltlichen Komponenten liegen und andererseits an den Kontexten, in denen die jeweiligen Aktivitäten stattfinden. Kontextfaktoren können bspw. geografische, soziokulturelle, sozioökonomische oder gesetzliche Rahmenbedingungen umfassen, genauso aber auch Beziehungen, Kommunikation, Wissen, Überzeugungen und Fähigkeiten bei den Zielgruppen. Durch die hohe Komplexität ist es oft herausfordernd, die tatsächliche Wirkung von Interventionen über verschiedene Zeiträume hinweg kausal zu verstehen und zu dokumentieren.

Das Konzept der Wirkungsorientierung zur zielgerichteten Planung und Umsetzung

Hier kommt das Konzept der Wirkungsorientierung ins Spiel. Es soll dabei helfen, entsprechende Interventionen systematisch hinsichtlich der Erreichung konkreter Wirkungen von Anfang an zu planen und zu bewerten. Eine wirkungsorientierte Arbeitsweise wird auch vermehrt durch den Gesetzgeber gefordert, wie im Bundesteilhabegesetz (BTHG) und im Präventionsgesetz. Auch das aktuelle Gutachten des Sachverständigenrats Gesundheit und Pflege (2024) empfiehlt, alle Präventionsmaßnahmen stets hinsichtlich ihrer Evidenz bzw. im Hinblick auf Kosten-Nutzen-Verhältnis zu prüfen.

Wirkungen beziehen sich auf die Veränderungen oder Ergebnisse, die durch die Umsetzung einer Intervention erzielt werden. Diese können auf verschiedenen Ebenen auftreten, von unmittelbaren Wirkungen hin zu langfristigen gesellschaftlichen Veränderungen. Dies kann durch eine Wirkungslogik bzw. ein Wirkmodell operationalisiert und dargestellt werden. Ein Wirkmodell hilft dabei, Annahmen und Wirkmechanismen, die hinter einer Intervention stehen, zu definieren und zu verstehen. So können einerseits Ziele klar formuliert und ihre Messbarkeit sichergestellt werden. Andererseits können verschiedene Faktoren und Prozesse identifiziert werden, die zur Erreichung der angestrebten Ziele beitragen oder diesen entgegenstehen und damit auch potenzielle Probleme frühzeitig erkannt und bearbeitet werden. Zum Ende des Projektzeitraums kann mithilfe des Wirkmodells die Transparenz und Kommunikation über die Wirkweise und den erfolgten Ressourceneinsatz erleichtert und die Verstetigung, Übertragbarkeit und Weiterverbreitung des Projektes gefördert werden.

Die Wirktreppe als praxisnahe Darstellung von Wirkungen

Etabliert sind hier verschiedene Darstellungsformen, unter anderem die „Wirkungstreppe“ von PHINEO, die die unterschiedlichen Wirkungsebenen aufeinander aufbauend visualisiert. Sie besteht aus mehreren Stufen. Diese zeigen die schrittweise Entwicklung der Wirkung an, beginnend mit kurzfristigen Effekten und endend mit langfristigen Veränderungen.

Die Wirkungstreppe unterscheidet zwischen folgenden Wirkungsebenen:

Input & Rahmenbedingungen beschreiben die jeweiligen Rahmenbedingungen der Intervention und die Ressourcen, die für die Umsetzung aufgewendet werden. Das schließt unter anderem finanzielle Mittel, Personal und Materialien sowie die verfügbare Zeit ein.

Der Output (erbrachte Leistung) beschreibt die unmittelbaren Ergebnisse oder Produkte, die aus der Intervention entstehen. Beispielhaft zu nennen sind hier die Anzahl der durchgeführten Aktivitäten, die erreichte Zielgruppe oder die erbrachten Leistungen. Außerdem wird auf dieser Ebene auch eine unmittelbare Bewertung der Leistungen, wie die Zufriedenheit mit der Leistung, festgehalten.

Der Outcome (Veränderungen bei der Zielgruppe) umfasst die mittelfristigen Wirkungen einer Intervention, wie Veränderungen im Verhalten, in der Einstellung oder im Wissen der Zielgruppe.

Auf der Ebene des Impacts (Veränderungen auf gesellschaftlicher Ebene) werden die langfristigen gesellschaftlichen Veränderungen oder Effekte einer Intervention betrachtet, wie verbesserte Gesundheitsindikatoren, gesteigerte Lebensqualität oder soziale Integration. Veränderungen auf gesellschaftlicher Ebene sind allerdings von multiplen Einflüssen bestimmt, sodass in der Regel keine kausalen Zusammenhänge zwischen einer Intervention und gesellschaftlichen Veränderungen hergestellt werden. Durch die Wirkungslogik kann aber dargestellt werden, welchen Beitrag eine Intervention zum Impact leisten kann.

Das Bild zeigt eine vereinfachte Darstellung davon, wie man ein Wirkmodell wie eine Wirktreppe, aufbauen kann. Auf der untersten Ebene steht der Input (Rahmenbedingungen, Ressourcen, Prozesse). Die nächste Stufe beschreibt das Output (Erbrachte Leistungen, Nutzung, Akzeptanz und Zufriedenheit mit den erbrachten Leistungen). Ab der nächsten Stufe spricht man von Wirkungen. Hier wird das Outcome (Veränderungen bei der Zielgruppe) beschreiben. Die höchste Stufe der Wirktreppe ist der Impact (Gesellschaftliche Veränderungen). Eine so aufgebaute Wirktreppe hilft dabei, die Wirkungen von Interventionen zu verstehen.

Eigene Darstellung auf Basis von Kurz und Kubek, 2021

Die Wirktreppe in der Praxis

Um eine Wirktreppe zu entwickeln, müssen zu Beginn eines Projektes auf Basis von Bedarfsanalysen der bestehenden Herausforderungen und Problemstellungen klare Ziele definiert werden. Daran anknüpfend kann dann eine Wirklogik erarbeitet und eine Wirktreppe erstellt werden. Während des Projektverlaufs werden die dort aufgestellten Wirkungsannahmen in Form einer Evaluation analysiert. Dazu werden vorab Indikatoren entwickelt, die ermöglichen, die Wirkungen mittels verschiedener wissenschaftlicher Methoden zu messen. Anschließend werden entsprechend regelmäßig Daten gesammelt und die Wirktreppe anhand dessen aktualisiert. Dadurch entsteht ein kontinuierlicher Prozess der Bewertung und Anpassung, der es ermöglicht, den Fortschritt der Intervention zu verfolgen und gegebenenfalls Anpassungen vorzunehmen.

Insgesamt kann eine Wirktreppe bei der Überprüfung von Wirkannahmen, der detaillierten Ausarbeitung von Wirkungszielen, beim Projektmanagement und der Wirkungsanalyse unterstützen. Außerdem hilft sie beim internen Lernen und dem Herstellen eines gemeinsamen internen Verständnisses eines Projektes sowie bei der Kommunikation über das Projekt und der Legitimation ggü. Sponsoren, Politik und weiteren Förder*innen.

Fazit

Um die Komplexität der Wirkungen von Interventionen, Maßnahmen oder Programmen im Gesundheits- und Sozialwesen zu erfassen und die Wirksamkeit dieser zu bewerten, ist es sinnvoll zunächst eine Wirklogik, bspw. in Form einer Wirktreppe zu erarbeiten. Die Wirktreppe ist eine geeignete Methode zur umfassenden Evaluierung von Interventionen im Gesundheits- und Sozialwesen. Indem sie kurz- und langfristige Effekte systematisch erfasst und visualisiert, unterstützt sie Praktiker*innen und Projektmanager*innen dabei, den Erfolg ihrer Interventionen zu verstehen und gegebenenfalls Anpassungen vorzunehmen, um die gewünschten Ergebnisse zu erzielen. Zudem ist sie ein wichtiges Element, um die Nachhaltigkeit und Verstetigung zu sichern.

Quellen und Literatur

Kurz, B., & Kubek, D. (2021). Kursbuch Wirkung: Das Praxishandbuch für alle, die Gutes noch besser tun wollen: mit Schritt-für-Schritt-Anleitungen & Beispielen (6. überarbeitete Auflage). PHINEO. https://www.phineo.org/magazin/was-ist-soziale-wirkung

Humrich, W., Kilian, H., Richter-Kornweitz, A., Kolip, P. (2024). Wirkungsorientierung in Gesundheitsförderung und Prävention. In: Bundeszentrale für gesundheitliche Aufklärung (BZgA) (Hrsg.). Leitbegriffe der Gesundheitsförderung und Prävention. Glossar zu Konzepten, Strategien und Methoden. https://doi.org/10.17623/BZGA:Q4-i161.10

Robert Koch-Institut, Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit (Hg.) (2012): Evaluation komplexer Interventionsprogramme in der Prävention: Lernende Systeme, lehrreiche Systeme? Beiträge zur Gesundheitsberichterstattung des Bundes. Unter Mitarbeit von J. Kuhn, T. Ziese und T. Lampert. RKI. Berlin.

Ihre Ansprechpartner*innen für Wirkmodelle und Evaluationen

Sie interessieren sich für Wirkungen, Wirkmodelle oder Evaluationen? Sie arbeiten derzeit an einem Projekt, für das ein Wirkmodell von Nutzen wäre? Sprechen Sie uns an! Wir unterstützen Sie gern!