Summative Evaluation

Einführung

Eine zentrale Herausforderung für Netzwerkakteure, die gesundheitsbezogene Leistungen anbieten wollen, liegt darin, einen nachvollziehbaren Beleg für Effektivität und Nutzen neu entwickelter Angebote liefern zu können. Ein solcher Nutzenbeleg ist eine Voraussetzung für Angebote auf dem ersten Gesundheitsmarkt, d.h. im Rahmen der »klassischen« Gesundheitsversorgung, welche v.a. durch die gesetzliche und private Krankenversicherung oder Pflegeversicherung finanziert wird. Aber auch auf dem zweiten Gesundheitsmarkt, auf dem alle privat finanzierten Produkte und Dienstleistungen gehandelt werden, kann ein Nutzenbeleg ein hilfreiches Verkaufsargument für die Zielgruppe der Angebote und für potentielle externe Kostenträger darstellen.

Regionale Netzwerke entstehen häufig, weil Dienstleister sich erhoffen, dass sie in Kooperation mit anderen Akteuren Defizite in der Effektivität oder Effizienz ihrer Angebote beheben können. In vielen Fällen liegt dabei die übergeordnete Zielsetzung eines Netzwerkes bereits in seiner Entwicklungsphase vor, wohingegen die Festlegung von konkreten gesundheitsbezogenen Zielsetzungen für die einzelnen neu entwickelten oder angepassten Angebote der Netzwerkakteure oft erst im Nachhinein erfolgt. Diese nachträgliche Festlegung von Zielsetzungen und Zielgrößen kann dazu führen, dass eine spätere Effektivitätsüberprüfung nicht exakt die Wirkungsweise der umgesetzten Maßnahmen abbildet und somit der Effektivitätsnachweis erschwert wird. Ein Ziel von INDiGeR AP5 »summative Evaluation« bestand deshalb darin, bereits in der Entwicklungs- und Planungsphase von neuen oder adaptierten Angeboten eines Netzwerkes eine Hilfestellung für die Planung von konkreten Gesundheitszielen der einzelnen Maßnahmen anzubieten und somit deren Evaluation zu erleichtern.

Neben der Überprüfung der Effektivität und Effizienz von (gesundheitsbezogenen) Maßnahmen, spielt aber auch die Akzeptanz einer Maßnahme durch die Zielgruppe eine Rolle. Eine nachgewiesen wirksame Maßnahme kann tatsächlich nur wirksam sein, wenn sie auch auf Akzeptanz und Zustimmung stößt. Für die Akzeptanz einer Maßnahme durch die Zielgruppe ist auch die Zustimmung der Bevölkerung zu den gesundheitsbezogenen Maßnahmen wichtig, da das soziale Umfeld auf das individuelle Gesundheitsverhalten einen Einfluss haben kann. Ein weiteres Ziel von INDiGeR AP5 »summative Evaluation« bestand daher in der Entwicklung und Testung eines Konzepts zur strukturierten Messung der Akzeptanz von gesundheitsorientierten Projektzielen von regionalen Netzwerken und den damit verbundenen Maßnahmen.

 

Grundlagen

Gesundheitsziele sind im INDiGeR-Rahmenmodell auf Basis der „Internationalen Klassifikation der Funktionsfähigkeit, Behinderung und Gesundheit“ (ICF) der Weltgesundheitsorganisation (WHO) beschrieben. Die ICF und das ihr zugrunde liegende bio-psycho-soziale Modell der funktionalen Gesundheit streben eine Synthese aus einer biomedizinischen und einer sozialen Sicht auf Gesundheit – und gegebenenfalls ihrer Beeinträchtigung – an. Um Beeinträchtigungen der funktionalen Gesundheit zu überwinden oder zu lindern, kann Bedarf sowohl an medizinischer und therapeutischer Versorgung der Person als auch an unterstützendem sozialem Handeln zur Gestaltung des Umfelds bestehen. Das INDiGeR-Rahmenmodell greift diese erweiterte Perspektive auf und bietet einen praktikablen Ansatz, der es entstehenden und bestehenden Netzwerken ermöglicht, sich gesundheitsrelevante Ziele zu setzen und regionale Wirkungen der Maßnahmen, Interventionen und Hilfen zu messen.

Wissen, Methoden und Tools für die Praxis

Das INDiGeR AP5 »summative Evaluation« hatte zum Ziel, zukünftigen regionalen Netzwerken einerseits Hilfestellung für die Planung und Evaluation von konkreten Gesundheitszielen ihrer Maßnahmen, zu geben und andererseits ein Konzept zur strukturierten Messung der Akzeptanz der Bevölkerung für die Netzwerkaktivitäten zu entwickeln und zu erproben.

Zur Umsetzung dieser beiden Ziele erfolgten zunächst Bestandsaufnahmen der in den GeDiReMo »Chemnitz+«, »VorteilJena«, »PräventionsNetz Ortenaukreis«, »FISnet Augsburg« und »QuartiersNETZ Gelsenkirchen« umgesetzten Maßnahmen, d.h. die Dokumentation von Inhalt, Zielgruppen und Zielsetzungen der komplexen Interventionen. Hieraus wurden anschließend konkrete Zielgrößen abgeleitet und dokumentiert. Als Datenquellen wurden Internetauftritte und Veröffentlichungen, interne Projektdokumente und Rückfragen an Projektverantwortliche genutzt. Anschließend erfolgte eine Konsentierung der regionsspezifischen Bestandsaufnahmen mit den entsprechenden Regionen. Eine beispielhafte Beschreibung der Bestandsaufnahme und dem methodischen Vorgehen in der GeDiReMo »Chemnitz+« finden Sie hier.

Der zweite Schritt bestand in der Codierung der identifizierten gesundheitsbezogenen Zielgrößen mit Hilfe einer erweiterten Fassung der »Internationalen Klassifikation der Funktionsfähigkeit, Behinderung und Gesundheit (ICF)«, um die Zielgrößen in eine gemeinsame Sprache zu vereinheitlichen und in einen geschlossenen normativen Klassifikationsrahmen zu verorten. Die Codierung erfolgte durch zwei unabhängige Wissenschaftler unterschiedlicher Profession und wurde anschließend durch eine externe Arbeitsgruppe der Medizinischen Hochschule Hannover validiert Darüber hinaus wurden die verschiedenen Zielgrößen der jeweiligen GeDiReMo zu Zielgrößenclustern und diese dann zu noch gröber granulierten Themenbereichen von Zielgrößen zusammengefasst. Die so entstandene Evaluationsmatrix wird hier vorgestellt. Eine detaillierte methodische Beschreibung der Evaluationsmatrix und ihrer Entstehung findet sich in der Broschüre »Gesundheitsziele verorten, formulieren und messbar machen: Manual zur INDiGeR-Onlinehilfe«.

Die Evaluationsmatrix wurde deskriptiv ausgewertet und auf Basis dieser Ergebnisse wurde eine Onlinehilfe zur Planung von Gesundheitszielen entwickelt. Die Onlinehilfe ermöglicht eine strukturierte Erfassung von Problemstellung, Zielgruppen und Leistungen und unterstützt die Auswahl von für eine Evaluation geeigneten Zielgrößen. Auf die Onlinehilfe kann hier zugegriffen werden. Hinweise zur Anwendung der Onlinehilfe, sowie die einzelnen Funktionalitäten und Inhalte werden in der Broschüre »Gesundheitsziele verorten, formulieren und messbar machen: Manual zur INDiGeR-Onlinehilfe« beschrieben. Bei Bedarf kann über die Campus Akademie für Weiterbildung der Universität Bayreuth zusätzlich eine Schulung gebucht werden, bei der Hintergrundwissen zum Gesundheitsbegriff, zur Evaluation und zur Planung von Gesundheitszielen und Zielgrößen vermittelt und die Bedienung des Tools praktisch geübt wird.

Ein weiteres Ziel des AP 5 war die Entwicklung und Testung eines Konzepts zur strukturierten Messung der Akzeptanz der Bevölkerung hinsichtlich der gesundheitsorientierten Projektziele und den damit verbundenen Maßnahmen in den GeDiReMo. Dazu wurden auf Basis der Evaluationsmatrix Fragebögen für zwei GeDiReMo entwickelt. Dies beinhaltete zuerst die systematische Identifikation von zentralen Projektzielen der beiden GeDiReMo, um darauffolgend regionsspezifische Fragebögen konzipieren zu können. Beispielhaft finden sie hier den Auswahlprozess für die Projektziele in der GeDiReMo »FISnet Augsburg«. Die entwickelten Fragebögen sind jeweils dreigeteilt und beinhalten Fragen zu soziodemographischen Daten, zu Performance, Wahrnehmungen und Einstellungen der Befragten hinsichtlich der identifizierten Projektziele und zur Akzeptanz der identifizierten Projektziele und der damit verbundenen Maßnahmen. Als Beispiel für einen solchen regionsspezifischen Fragebogen können Sie die für die GeDiReMo »FISnet Augsburg« erstellte Fassung hier aufrufen. In Zeitraum vom 04. Juli - 03. August 2018 konnten telefonische Befragungen in zwei GeDiReMo durchgeführt und somit das entwickelte Konzept angewendet werden. Das Konzept für die Messung der Akzeptanz durch die Bevölkerung, die Methoden, mit denen dieses Konzept und die eingesetzten Fragebögen entwickelt wurden, sowie die Ergebnisse von Fragebögen und Evaluationskonzept finden sie hier.

 Veröffentlichungen

  • Schäfer, I., Stark, A., Schletz, A., Lühmann, D., Scherer, M. (2018): Gesundheitsziele verorten, formulieren und messbar machen: Manual zur INDiGeR-Onlinehilfe, Stuttgart: Fraunhofer Verlag.
  • Schäfer, I., Stark, A. Brylok, A., Meyer, S., Lühmann, D., Scherer, M. (2018): Systematische Bestandsaufnahme der Zielsetzungen gesundheitsbezogener Maßnahmen als Grundlage für die Effektivitätsmessung: Vorstellung des methodischen Vorgehens am Beispiel der Gesundheits- und Dienstleistungsregion Chemnitz+, in: Ganz, W., Eymann, T., Schäfer-Walkmann, S., Hockauf, H., Scherer, M. (Hrsg.), Dienstleistungen und Gesundheit in Regionen: Aspekte vernetzter Wertschöpfung, Stuttgart: Fraunhofer-Verlag, S. 164-175.
  • Schäfer, I., Stark, A., Lühmann, D., Scherer, M. (2018): Messung der Akzeptanz von Gesundheitszielen in der Bevölkerung: Testung eines Befragungsbasierten Evaluationskonzepts, in: Ganz, W., Eymann, T., Hockauf, H., Schäfer-Walkmann, S., Scherer, M. (Hrsg.), Dienstleistungen und Gesundheit in Regionen: Aspekte vernetzter Wertschöpfung, Stuttgart: Fraunhofer Verlag, S. 176-199.

Themenspezifische Literatur

  1. DIMDI - Deutsches Institut für Medizinische Dokumentation und Information (Hrsg.) (2005): Internationale Klassifikation der Funktionsfähigkeit und Behinderung und Gesundheit, World Health Organization: Genf.
  2. Grotkamp, S., Cibis, W., Nüchtern, E., Baldus, A., Behrens, J., Bucher, P.O., Dommen Nyffeler, I., Gmünder, H.P., Gutenbrunner, C., Hagen, T., Keller, K., Pöthig, D., Queri, S., Rentsch, H.P., Rink, M., Schian, H., Schian, M., Schwarze, M., von Mittelstaedt, G., Seger, W. (2012): Personbezogene Faktoren der ICF, Gesundheitswesen, 74(7): S. 449-58.
  3. Stucki, G., Rubinelli, S., Reinhardt, J.D., Bickenbach, J.E. (2016). Towards a Common Understanding of the Health Sciences, Gesundheitswesen, 78(8-09): e80-84.
  4. Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I., Petticrew, M. (2008). Developing and evaluating complex interventions: the new Medical Research Council guidance, BMJ, 29;337: a1655.
  5. Initiative Neue Qualität der Arbeit [INQA] (2011): Gesundheitsnetzwerke. Ein Leitfaden für Klein- und Mittelbetriebe. Online im Internet. URL: http://www.inqa.de/SharedDocs/PDFs/DE/Publikationen/inqa-41-gesundheitsnetzwerke.pdf. Zugriff am 21.06.2018.
  6. Landeszentrum Gesundheit Nordrhein-Westfalen [LZG NRW] (2016): Ergebnisevaluation von Maßnahmen der Prävention und Gesundheitsförderung. Online im Internet. URL: https://www.praeventionskonzept.nrw.de/_media/pdf/Neue_Projekte/leitfaden_selbstevaluation.pdf. Zugriff am 20.06.2018.
  7. Lehmann, H., Töppich, J. (2002): Qualitätssicherung in der Gesundheitsförderung und Prävention, Bundesgesundheitsblatt - Gesundheitsforschung – Gesundheitsschutz, 45: S. 234 – 239.
  8. Faselt, F., Hoffmann, S. (2010): Sozial-kognitive Theorie, in: Hoffmann, S., Müller. S. (Hrsg.), Gesundheitsmarketing: Gesundheitspsychologie und Prävention, Bern: Verlag Hans Huber, S. 55 – 64.
  9. Faselt, F., Hoffmann, S. (2010): Theorie des geplanten Verhaltens, in: Hoffmann, S., Müller. S. (Hrsg.), Gesundheitsmarketing: Gesundheitspsychologie und Prävention, Bern: Verlag Hans Huber, S. 65-75.