Veränderung und Ursache sind verschiedene Aussagen
Nach Einführung einer neuen Terminbestätigung sinken die Rückfragen. Gleichzeitig wurde die Bearbeitungszeit verkürzt und die Nutzerzahl verändert. Die beobachtete Entlastung ist real; ihr Anteil aus der Kommunikation ist noch nicht bestimmt. Eine Wirkungsauswertung formuliert deshalb vorab, welche Veränderung der Maßnahme zugerechnet werden soll und welche anderen Einflüsse berücksichtigt werden müssen.
Der Zweck ist eine bessere Fortführungsentscheidung, nicht der nachträgliche Beweis einer bevorzugten Lösung. Auch ein negatives oder uneindeutiges Ergebnis ist nützlich. Die Untersuchung darf nicht mehr Aufwand verursachen, als ihre mögliche Entscheidungsverbesserung rechtfertigt. Verbindliche Information und notwendige Schutzmaßnahmen werden nicht zur Erzeugung einer Vergleichsgruppe vorenthalten.
Kommunikationsmaßnahmen nach Wirkung und Aufwand bewerten
Eine passende Vergleichsgrundlage entwickeln
Mögliche Ansätze sind ein kontrollierter Versuch, eine gestaffelte Einführung oder ein sorgfältig ausgewählter Vergleichsbereich. Die Methode muss zum Fall passen. Unterschiede in Mengen, Fallarten, Besetzung und bereits bestehenden Trends werden geprüft. Ein einfacher Vorher-nachher-Vergleich kann orientieren, besitzt aber eine begrenzte kausale Aussagekraft.
Eine Differenz-von-Differenzen-Betrachtung vergleicht Veränderungen in einer behandelten und einer Vergleichsgruppe. Sie verlangt unter anderem eine tragfähige Annahme darüber, wie sich beide ohne Maßnahme entwickelt hätten. Ein einzelner früherer Messpunkt beweist keine parallele Entwicklung. Das Magenta Book beschreibt solche Methoden und ihre Voraussetzungen; die Übertragung auf einen betrieblichen Fall bleibt eine fachliche Entscheidung.
|
| Ziel | Welche zusätzliche Wirkung ist gemeint? | Vorab abgrenzen |
| Vergleich | Was wäre ohne die Maßnahme geschehen? | Plausibles Gegenfaktum |
| Aufwand | Wer erstellt, pflegt und verarbeitet? | Gesamten Vorgang betrachten |
| Nebenwirkung | Wer trägt neue Lasten? | Nicht nur gewünschte Kennzahl |
| Entscheidung | Wann fortführen oder ändern? | Annahmen und Ressourcen benennen |
Den vollständigen Aufwand und mögliche Nebenwirkungen erfassen
Zur Maßnahme gehören Erstellung, Fachprüfung, Übersetzung, Systemanpassung, laufende Pflege und Bearbeitung der Antworten. Empfängerzeit und zusätzliche Aufgaben der Nutzenden werden ebenfalls betrachtet. Eine kurze Nachricht kann intern effizient sein und extern viele Rückfragen erzeugen. Ein automatisierter Dialog kann Kontakte verlagern, statt sie zu lösen.
Ausgewiesen werden deshalb getrennt: tatsächliche Zahlungen, interne Zeit, Nutzerbelastung und qualitative Wirkung. Zeitentlastung ist zunächst Kapazität, sofern keine Zahlung entfällt. Verbesserte Verständlichkeit kann einen eigenständigen Wert besitzen, auch ohne kurzfristigen Geldvorteil. Dieser wird mit geeigneten Kriterien beschrieben, nicht durch erfundene Eurobeträge scheinbar präzise gemacht.
Ein Ergebnis mit seinen Bedingungen interpretieren
Messzeiträume, Abgrenzung und Datenqualität bleiben nachvollziehbar. Wiederholte Kontakte zum selben Fall werden nicht beliebig als neue unabhängige Beobachtungen gezählt. Eine sinkende Rückfragezahl wird auf mögliche Unterdrückung notwendiger Anliegen geprüft. Auch Veränderungen der Erfassung können ein Ergebnis beeinflussen.
Sensitivitäten zeigen, welche Annahme die Entscheidung verändert. Wie hoch darf die laufende Pflege sein, bevor die interne Entlastung entfällt? Was geschieht bei geringerem Zusatzbeitrag? Welche Wirkung ist für eine kleine Nutzergruppe besonders wichtig? Ergebnisse werden nicht nur als ein einziger Mittelwert dargestellt. Ungewissheit kann zu einer begrenzten Fortführung mit weiterer Beobachtung führen, statt zu einer künstlich sicheren Gesamtentscheidung.
Auswertung in eine verantwortliche Fortführung überführen
Die zuständige Leitung entscheidet über Beibehaltung, Anpassung, Ausweitung oder Beendigung. Die Entscheidung nennt Gründe, Ressourcen und verbleibende Unsicherheit. Ein erfolgreicher Pilot schafft noch keine dauerhaft finanzierte Pflege. Übertragungen auf andere Standorte prüfen deren Voraussetzungen erneut.
Der Nutzen der Evaluation liegt in weniger wirkungsloser Informationsarbeit und in einer besseren Verwendung begrenzter Ressourcen. Sie trennt Reichweite, Verständnis, Verhaltensänderung und Betriebswirkung. Eine Maßnahme muss nicht jede Stufe allein verursachen, um hilfreich zu sein. Ihr tatsächlicher Beitrag wird jedoch so beschrieben, dass andere Verantwortliche darauf eine belastbare Entscheidung stützen können.
