Output / Publikation
Von der technischen Umsetzung zur messbaren Wirkung: Smart-City-Projekte wirkungsorientiert evaluieren
Das Urban Digitainability Lab am TUM Think Tank veröffentlicht einen neuen Forschungsbericht zur Frage, wie deutsche Kommunen die Wirkungen digitaler und nachhaltigkeitsorientierter Stadtentwicklungsprojekte systematisch erfassen können.
Der Bericht „Treiber und Hemmnisse für wirkungsorientierte Evaluationsprozesse in Smart Cities“ wurde von Andreas Marx, Helene von Schwichow und Nina Faecks verfasst. Er präsentiert die Ergebnisse einer Forschungszusammenarbeit mit den Städten Freiburg im Breisgau, Gütersloh, Kempten im Allgäu und Regensburg, die am Bundesförderprogramm „Modellprojekte Smart Cities“ teilnehmen. Die Forschung wurde durch die Stiftung Mercator gefördert.
Über die erfolgreiche Umsetzung hinausblicken
Kommunale Digitalisierungsprojekte werden häufig anhand ihrer unmittelbaren Umsetzung bewertet: Wie viele Sensoren wurden installiert? Wurde eine digitale Plattform entwickelt? Wie viele Personen haben ein Angebot genutzt?
Solche Kennzahlen geben Auskunft darüber, ob eine Maßnahme umgesetzt wurde. Sie zeigen jedoch nicht zwangsläufig, ob dadurch tatsächliche soziale, ökologische, organisatorische oder wirtschaftliche Veränderungen entstanden sind.
Eine wirkungsorientierte Evaluation geht daher einen Schritt weiter. Sie untersucht beispielsweise, ob digitale Projekte Verwaltungsprozesse verbessern, gesellschaftliche Teilhabe fördern, Ressourcen effizienter nutzen, die Klimaresilienz stärken oder die Lebensqualität erhöhen.
Der Forschungsbericht fragt deshalb nicht nur, ob Smart-City-Projekte erfolgreich umgesetzt wurden, sondern auch, welche Veränderungen sie bei ihren Zielgruppen und innerhalb der kommunalen Verwaltung bewirken.
Vier Städte und acht Projekte
Im Rahmen des neunmonatigen Forschungsprozesses wurden acht unterschiedliche kommunale Projekte untersucht. Dazu gehörten unter anderem Parkraumsensorik, Bodenfeuchtemessungen, Passantenfrequenzmessungen, digitale Jugendarbeit, digitale Angebote für ältere Menschen, barrierefreie Zugänge zu UNESCO-Welterbestätten und datenbasierte Maßnahmen zur Klimaanpassung.
Als konzeptionelle Grundlage diente das Input-Output-Outcome-Impact-Modell, kurz IOOI-Modell. Es unterscheidet zwischen vier aufeinander aufbauenden Ebenen:
- den in ein Projekt investierten Ressourcen und durchgeführten Aktivitäten,
- den unmittelbar daraus entstehenden Leistungen und Produkten,
- den mittelfristigen Veränderungen bei den jeweiligen Zielgruppen,
- den langfristigen gesellschaftlichen Auswirkungen.
Die Untersuchung kombinierte 27 Expert, projektspezifische Wirkungsmatrizen, zwei Datenerhebungsrunden sowie eine transdisziplinäre Evaluation des Evaluationsprozesses. Dadurch konnten sowohl die ersten Wirkungen der Projekte als auch die praktischen Erfahrungen mit Wirkungsevaluation im Verwaltungsalltag untersucht werden.
Zentrale Erkenntnisse
Ein wesentliches Ergebnis ist, dass wirkungsorientierte Evaluation in der kommunalen Praxis bisher noch nicht fest etabliert ist. Viele Beteiligte waren mit klassischen Leistungskennzahlen und outputorientierter Berichterstattung vertraut, verfügten jedoch nur über geringe Erfahrungen mit der Definition und Messung von Outcomes und langfristigen Auswirkungen.
Bei vielen untersuchten Projekten war die technische Umsetzung bereits weit fortgeschritten. Digitale Infrastrukturen, Plattformen, Workshops und Datensysteme waren häufig erfolgreich aufgebaut worden. Der Nachweis mittel- und langfristiger Wirkungen fiel dagegen je nach Projektstand sehr unterschiedlich aus.
Besonders schwierig war die Messung langfristiger gesellschaftlicher Auswirkungen auf der Impact-Ebene. Solche Veränderungen werden häufig erst nach mehreren Jahren sichtbar und werden zusätzlich von politischen, demografischen, institutionellen und ökologischen Faktoren beeinflusst. Innerhalb des Untersuchungszeitraums konnte lediglich ein Impact-Indikator als erfüllt bewertet werden.
Dies verdeutlicht sowohl den hohen zeitlichen Bedarf als auch die Schwierigkeit, langfristige gesellschaftliche Veränderungen eindeutig einem einzelnen kommunalen Projekt zuzurechnen.
Strukturelle Hemmnisse in der kommunalen Praxis
Die Studie identifiziert mehrere wiederkehrende Barrieren für eine erfolgreiche Wirkungsevaluation. Dazu gehören:
- begrenzte personelle und zeitliche Kapazitäten,
- fehlendes Wissen über Wirkungsmessung,
- fragmentierte oder nicht verfügbare Daten,
- unklare Verantwortlichkeiten,
- Schwierigkeiten bei der Zusammenarbeit zwischen verschiedenen Fachabteilungen,
- fehlende interne Budgets,
- eine geringe politische Priorisierung der Evaluation.
Die Datenerhebung stellte den größten zeitlichen und personellen Aufwand im gesamten Prozess dar. Relevante Daten lagen häufig nicht zentral vor, wurden nicht regelmäßig erhoben oder waren an einzelne Personen gebunden.
Ein als nicht erfüllt bewerteter Indikator bedeutet daher nicht zwangsläufig, dass ein Projekt keine Wirkung entfaltet hat. Er kann auch darauf hinweisen, dass die notwendigen Daten noch nicht verfügbar waren, die Erhebung noch nicht durchgeführt wurde oder sich die entsprechende Wirkung erst zu einem späteren Zeitpunkt zeigen kann.
Was eine erfolgreiche Wirkungsevaluation unterstützt
Trotz der bestehenden Herausforderungen identifiziert der Bericht mehrere zentrale Erfolgsfaktoren.
Das IOOI-Modell bot den Beteiligten einen klaren Orientierungsrahmen und eine gemeinsame Sprache für die Diskussion über Projektwirkungen. Auch die externe wissenschaftliche Begleitung wurde insbesondere bei der erstmaligen Anwendung wirkungsorientierter Ansätze als besonders wertvoll und teilweise unverzichtbar eingeschätzt.
Weitere wichtige Faktoren sind:
- eine klar benannte Ansprechperson für den Evaluationsprozess,
- die frühzeitige Einbindung relevanter Fachbereiche,
- eine verbesserte Kommunikation zwischen verschiedenen Verwaltungseinheiten,
- realistische und klar definierte Indikatoren,
- die tatsächliche Nutzung der Evaluationsergebnisse für Projektsteuerung und strategische Entscheidungen.
Der Bericht betont, dass Wirkungsevaluation bereits während der Projektplanung beginnen sollte. Wirkungsziele, Indikatoren, Datenquellen und Verantwortlichkeiten sollten nicht erst nach der Umsetzung festgelegt werden.
Langfristige Wirkungsziele können dabei auch dann als strategische Orientierung dienen, wenn sie innerhalb des ursprünglichen Projektzeitraums noch nicht vollständig messbar sind.
Empfehlungen für Kommunen, Politik und Fördermittelgeber
Kommunen sollten Wirkungsevaluation als festen Bestandteil des Projektmanagements etablieren und dafür eigene zeitliche, personelle und fachliche Ressourcen bereitstellen. Klare Zuständigkeiten, interdisziplinäre Zusammenarbeit und Kooperationen mit wissenschaftlichen Einrichtungen können die Qualität und Glaubwürdigkeit der Evaluation zusätzlich stärken.
Fördermittelgeber und politische Entscheidungsträger sollten Wirkungsevaluation systematisch in Förderprogramme integrieren. Gleichzeitig müssen zweckgebundene finanzielle Mittel, praktische Leitfäden, Beratungsangebote und standardisierte Vorlagen zur Verfügung gestellt werden.
Evaluation sollte nicht ausschließlich als zusätzliche Berichts- und Rechenschaftspflicht verstanden werden. Sie kann vielmehr dazu beitragen, öffentliche Entscheidungen zu verbessern, Ressourcen gezielter einzusetzen und die Transparenz sowie Legitimation kommunalen Handelns zu erhöhen.
Für Forschung und Wissenschaft unterstreicht der Bericht die Notwendigkeit, praxisnahe und projektspezifische Indikatoren weiterzuentwickeln, Methoden zur Messung langfristiger Wirkungen auszubauen und dauerhafte Partnerschaften zwischen Hochschulen und Kommunen zu etablieren.
Wirkungsevaluation ist damit nicht nur ein Instrument zur Messung von Projektergebnissen. Sie kann auch organisatorische Lernprozesse anstoßen, die Zusammenarbeit zwischen Fachabteilungen verbessern und Kommunen dabei unterstützen, ihre Ziele klarer zu definieren.
Indem Städte nicht nur fragen, ob eine digitale Lösung umgesetzt wurde, sondern welche tatsächlichen Veränderungen sie bewirkt, können sie den Beitrag ihrer Projekte zu einer nachhaltigen und sozial gerechten Stadtentwicklung besser verstehen.
