Comparing Community Capacities by Local Actors and External Experts: An Audit of Health Promotion Activities in Lenzsiedlung, Hamburg,Evaluation von Gemeinde-Kapazitäten durch Quartiersakteur:innen und externe Expert:innen im Vergleich - Ergebnisse der Auditierung der Gesundheitsförderungsaktivitäten in der Hamburger Lenzsiedlung
Aim The questionnaire “Capacity building in Neighbourhoods (KEQ)” has five dimensions which are regarded as intermediary outcome results of community health promotion. The questionnaire was to be completed by local actors and thus has some features of self-evaluation. We wanted to find out whether external experts make similar or more critical assessments.
Methods We conducted an audit of the health promotion activities in our intervention area (Hamburg neighbourhood Lenzsiedlung) in two steps. Five external health promotion experts functioned as auditors with experience in evaluating good practice projects of health promotion. The first part of the audit was a document-based evaluation, the second part a visit-based one during a two-day stay in the intervention area.
Results In the comparison of local actors’ assessments (KEQ questionnaire results) with those of external experts in the document-based audit, the judgements of external experts were more positive on all five dimensions of the questionnaire (deviations from +0.1 to +0.9 on a scale from 1 to 5). In the visit-based audit, there was convergence in the assessments of the local actors and the external experts. They were partly identical; only the dimension “local leadership” was viewed slightly more critically by the external experts.
Conclusions Based on our discussion of the four methodical problems of the comparison, we conclude that, on the whole, local actors do not tend to evaluate their activities too positively. However, if resources are available, one should try to confirm local views of outcomes by external assessments.
Ziel der Studie Der Fragebogen „Kapazitätsentwicklung im Quartier (KEQ)“ hat fünf Dimensionen und ist ein intermediäres Maß für Ergebnisse der quartiersbezogenen Gesundheitsförderung. Es wird von den quartiersinternen Akteur*innen ausgefüllt und hat damit Elemente einer Selbstbewertung. In einer Studie sollte geklärt werden, ob quartiersexterne Expert*innen mit ihrem Blick von außen zu gleichen oder kritischeren Einschätzungen kommen.
Methodik Es wurde ein Audit der Gesundheitsförderungsaktivitäten in der Hamburger Lenzsiedlung in zwei Stufen durchgeführt. Als Auditor*innen fungierten fünf externe Fachkolleg*innen aus dem Kooperationsverbund „Gesundheitliche Chancengleichheit“, die Erfahrungen in der Bewertung von Good Practice-Projekten der Gesundheitsförderung gesammelt haben. Die erste Phase des Audits war eine dokumentenbasierte Fremdbewertung, die zweite eine besuchsbasierte Vor-Ort Begehung und -Bewertung.
Ergebnisse Im Vergleich mit Quartiersakteur*innen (KEQ-Erhebungen) fielen die durchschnittlichen Einschätzungen der externen Expert*innen im dokumentenbasierten Audit auf allen fünf Dimensionen positiver aus (Abweichungen von +0,1 bis +0,9 auf einer Skala von 1 bis 5). Im besuchsbasierten Audit haben sich die Ergebnisse von KEQ-Beantworter*innen vor Ort und externen Auditor*innen stark angenähert: Zum Teil sind sie identisch; nur die Dimension Lokale Führung wurde von den externen Auditor*innen etwas kritischer gesehen.
Schlussfolgerung In der Diskussion werden vier methodische Probleme des Vergleichs angesprochen. Als Gesamtergebnis wird gefolgert, dass quartiersinterne Akteur*innen ihre Aktivitäten nicht zu positiv bewerten. Gleichwohl empfehlen wir, sofern entsprechende Mittel verfügbar sind, lokale Erfolgseinschätzungen durch Fremdbeurteilungen abzusichern.