Hoe maak je zichtbaar wat het integrale gezondheidsbeleid in jouw gemeente oplevert? En hoe vind je de balans tussen leren van de uitkomsten en verantwoorden? Op deze pagina vind je handige informatie, praktische handvatten en een stappenplan om de monitoring en evaluatie van het gezondheidsbeleid in jouw gemeente op orde te krijgen. Deze pagina is ook te gebruiken ter inspiratie voor de monitoring van de GALA-doelen in jouw gemeente.
checklist
Evalueren: wat en waarom?
Monitoring en evaluatie worden vaak samen genoemd, maar er is een verschil. Onder monitoren verstaan we het verzamelen van data om de voortgang te bewaken. Een evaluatie geeft betekenis aan die data. Monitoren en evalueren heeft verschillende doelen. De belangrijkste zijn leren, enthousiasmeren en verantwoorden:
- Bij leren gaat het om het optimaliseren van beleid of inzicht krijgen in wat werkt en wat niet werkt. Doelgroep: Projectleiders, partners en uitvoerders.
- Bij enthousiasmeren gaat het om zichtbaar maken van wat je doet en bereikt, om zo de betrokkenheid of het draagvlak te vergroten. Doelgroep: de mensen voor wie het beleid bedoeld is, wethouders, bestuurders, partners.
- Bij verantwoorden laat je zien of doelen zijn behaald en of middelen zinvol zijn besteed. Doelgroep: wethouders, gemeenteraad, opdrachtgevers.
Naast de voorbereiding en uitvoering van je beleid, is monitoren en evalueren een belangrijk onderdeel van een planmatige aanpak. Evalueren doe je niet alleen achteraf. Om goed te kunnen leren, enthousiasmeren of verantwoorden is het slim om vanaf de start van je plan van aanpak of beleid aandacht voor monitoren en evalueren te hebben. Bespreek met partners wat jullie (ten minste) willen meten en maak het onderdeel van het projectplan en de begroting.
Hoe denk jij over evalueren?
Lastig, of iets wat nou eenmaal moet of wat ook weer geld kost. Er zijn veel (voor-)oordelen over evalueren. Wat vind jij? Ontdek wat je kunt doen om obstakels weg te nemen.
Als je monitoren en evalueren als moeilijk ervaart, doe het dan niet alleen. Zorg dat je minimaal één sparringpartner hebt. Weet ook dat monitoren klein kan beginnen. Zelfs kleine evaluaties kunnen je project of aanpak tussentijds vooruithelpen.
Begin eens met kleine stappen. Het bijhouden van een logboek kan bijvoorbeeld al helpen om inzichtelijk te maken wat er is gedaan of bereikt. Of vraag de lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst ) om begeleiding bij het starten van een evaluatie.
Probeer je enthousiasme over te brengen op mensen om je heen, ook de betrokken wethouder(s). Wat is voor jou de meerwaarde? Zorg dat monitoren niet iets is van jou alleen en betrek anderen bij het proces om de voortgang te kunnen bijhouden en vieren.
Door velen wordt monitoring en evaluatie puur ter verantwoording van hun inzet ingezet. Daar kan het aan bijdragen, maar er is veel meer uit te halen. Probeer verantwoording niet je hoofddoel te laten zijn en kijk op welke manier je informatie kunt ophalen die jouw aanpak of beleid verder kan brengen. Vaak zit dat in procesmatige factoren of bijvoorbeeld de samenwerking en veel minder in het uiteindelijke effect van je aanpak of beleid. Uiteindelijk draagt een goedlopend proces natuurlijk ook bij aan het effect.
Een deel van het totale budget voor je aanpak of beleid zal je inderdaad moeten reserveren voor monitoring en evaluatie. De omvang hiervan is afhankelijk van de mogelijkheden en de wensen. Als dit budget beperkt is: kijk dan vooral wat er wél kan met het beschikbare budget. Wat willen jullie echt weten of leren? Maak daar prioriteit van.
Wat kost evalueren?
Reserveer ongeveer 10-15% van het totale budget voor de evaluatie. Wees je bewust van:
- Directe kosten: uren evaluatiekartrekker, epidemioloog of onderzoeker, (papieren) vragenlijsten, meetinstrumenten, rapportages, databeheer.
- Indirecte kosten: uren inzet partners en belanghebbenden, andere organisaties, kennis en data van belanghebbenden.
Ook met een klein monitoring- en evaluatiebudget is er van alles mogelijk:
- Prioriteer wat je echt belangrijk vindt om in kaart te brengen.
- Welke bestaande data kunnen je helpen? Vraag bijvoorbeeld uw lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst ) naar wat er al gemonitord wordt in jouw gemeente.
Amersfoort monitort met weinig middelen 'Gezonde Wijk'-aanpak
Amersfoort monitort met weinig middelen 'Gezonde Wijk'-aanpak
Gemeente Amersfoort legt uit hoe je monitoring en evaluatie aanpakt als er geen extra geld beschikbaar is.
Wat helpt bij succesvol evalueren?
Het lijkt misschien allemaal logisch, maar omdat het zo belangrijk is: evaluatie van je gezondheidsbeleid lukt beter als…
- het belang van evalueren bekend is en erkend wordt;
- er een evaluatieplan is met reële verwachtingen en duidelijke keuzes;
- er een evaluatiekartrekker is benoemd;
- het SAMEN gebeurt;
- er voldoende tijd en budget is.
Stappenplan voor het evalueren van het beleid
Het stappenplan helpt je om de monitoring en evaluatie van het gezondheidsbeleid in jouw gemeente op orde te krijgen. Zo vergeet je niets en haal je optimaal resultaat.
Stap 1: Identificeer en betrek partners
Evalueren doe je samen. Breng in beeld met welke partijen je te maken hebt in de verschillende fases van het beleidsproces. Wie hebben er belang bij evaluatie? Wat kunnen zij toevoegen? Denk aan verbinding, kennis, data, tools of geld. Voorbeelden van relevante partners zijn collega’s (uit andere beleidsdomeinen), samenwerkingspartners in de wijk, wethouders, inwoners, de lokale GGD (Gemeentelijke/gewestelijke gezondheidsdienst ) of financiers.
Informeer en betrek andere partijen, zorg dat iedereen actief meedoet
Geef uitleg over de evaluatie en haal op welke behoeften er zijn. Voor draagvlak is het belangrijk dat de betrokkenen het nut van monitoren en evalueren inzien. Het kan hierbij helpen om vooraf duidelijk af te spreken wie welke rol heeft in het opzetten en uitvoeren van de evaluatie. Wie kan er cijfers verzamelen? Aan wie moet er verantwoording worden afgelegd? Wie stel je aan als kartrekker?
Bepaal samen met partners het hoofddoel en de doelgroep van de monitoring en evaluatie. Wil je leren, enthousiasmeren, verantwoorden of een combinatie hiervan? En voor wie evalueer je? Voor inwoners, de wethouder, of de gemeenteraad? Door dit samen te beslissen breng je focus aan en werk je gelijk aan draagvlak voor je evaluatie.
Stap 2: Stel samen haalbare doelen
Het vaststellen van een stip op de horizon is het vertrekpunt van je evaluatie. Bij welke resultaten is je gezondheidsbeleid of de uitvoering daarvan geslaagd? Wat heeft het de inwoners opgeleverd? Wat hebben zij gemerkt? Stel haalbare doelen op en denk na wat je daarvoor kan meten over de tijd. Dit doe je samen met je betrokken samenwerkingspartners.
Zorg dat de doelen van je gezondheidsbeleid helder en haalbaar zijn geformuleerd. Doelen die te hoog-over zijn opgesteld maken het moeilijker om te bepalen wat je precies gaat meten in je evaluatie. Zorg dat je doelen Specifiek, Meetbaar, Acceptabel, Relevant en Tijdsgebonden (SMART) zijn opgesteld.
Het uitwerken van een doelen-inspanningen-netwerk (DIN) of logisch model kan behulpzaam zijn. Je maakt hiermee inzichtelijk wat je (lange termijn) doelen zijn, maar ook welke activiteiten ondernomen worden om die doelen te behalen. Zo kun je inzicht geven OF de aanpak werkt, maar vooral ook HOE de aanpak werkt.
Doelen-inspanningen-netwerk (DIN)
Met een doelen-inspanningen-netwerk (DIN) visualiseer je de samenhang tussen doelen en inspanningen. Dit biedt inzicht in welke inspanningen nodig zijn om de doelen en uiteindelijk de ambitie te realiseren.
Met een logisch model maak je de logica achter een programma of project expliciet. Een logisch model helpt je om terug te redeneren welke middelen (input) en activiteiten (throughput) nodig zijn om te komen tot directe opbrengsten (output), korte- en middellangetermijneffecten (outcome) en langetermijneffecten (impact) te komen.
Stap 3: Maak een evaluatieplan
In deze stap maak je inzichtelijk wat je gaat meten om de voortgang op de opgestelde doelen te kunnen bijhouden. Welke gegevens heb je nodig en waar haal je deze vandaan? Welke methoden ga je inzetten om de effecten of het proces te kunnen volgen? Dit leg je vast in een evaluatieplan. Betrek je samenwerkingspartners bij het maken van beslissingen. Wat vind jij belangrijk en welke verwachtingen hebben jouw betrokken partners?
Bepaal wat je gaat meten: proces, effect of allebei?
Leg vast wat je wil gaan meten. Er zijn verschillende manieren om te evalueren.
Procesevaluatie
Als je wil weten of het beleid op de juiste wijze is uitgevoerd of als je inzicht wil in wat een aanpak een succes maakte of juist wat beter kan, dan kun je een procesevaluatie uitvoeren. Je evalueert bijvoorbeeld:
- de samenwerking met externe partijen, afdelingen of beleidsterreinen;
- de uitvoering van het programma of beleid;
- de ervaringen van samenwerkingspartners en doelgroepen;
- mogelijke externe factoren die invloed hebben op het beleid.
Vertaal deze punten in meetbare indicatoren. Voor het uitvoeren van een procesevaluatie kun je verschillende methoden gebruiken. Denk aan aanwezigheidsregistraties, interviews of gesprekken met deelnemers en professionals. Ook (korte) vragenlijsten om bijvoorbeeld de klanttevredenheid te meten, kunnen een goede manier zijn. Verder zijn notulen, logboeken en observaties vaak een belangrijke bron van informatie.
Effectevaluatie
Als je wil weten of het beleid het gewenste effect heeft, voer dan een effectevaluatie uit. Bij een effectevaluatie vergelijk je de situatie vóór en na de interventies.
Welk effect je precies onderzoekt, hangt af van de geformuleerde doelstellingen en de gekozen uitkomstmaten. Je kunt denken aan: kennis, vaardigheden, gedrag (bijvoorbeeld meer gaan bewegen) of gezondheidswinst (bijvoorbeeld minder overgewicht). Bij het uitvoeren van een effectevaluatie is het belangrijk dat je vooraf en na afloop van de uitvoering van de interventies de situatie in kaart brengt.
Lerende evaluatie
Een lerende evaluatie is een meestal een kortcyclische evaluatie waarin je samen de resultaten duidt en deelt wat je hebt bereikt en daarvan leert en eventueel je aanpak bijstelt, om vervolgens de cyclus opnieuw te starten. Een lerende evaluatie is onderdeel van je aanpak of het beleid. Je leert continu over je aanpak en hoe deze te optimaliseren. Bij een lerende evaluatie draait het om de vraag of het ingezette beleid (nog) werkt en zo nee, hoe het aangepast of bijgestuurd kan worden.
Een evaluatieplan bevat meestal de volgende elementen:
- Een korte samenvatting van beleid
- Doelen en SMART (Een doelstelling is SMART als wordt voldaan aan de volgende voorwaarden: Specifiek - Is de doelstelling eenduidig? Meetbaar - Onder welke (meetbare/observeerbare) voorwaarden of vorm is het doel bereikt? Acceptabel - Is deze acceptabel voor de doelgroep en/of het management? Realistisch - Is het doel haalbaar? Tijdsgebonden - Wanneer (in de tijd) moet het doel bereikt zijn? In plaats van Acceptabel (of het synoniem Aanvaardbaar) worden ook vaak Ambitieus (Bewerkstelligt het doel wel een echte verandering?), Actiegericht (Moet er echt iets voor worden gedaan?) of Aanwijsbaar gebruikt (Wie wijs je aan die het doel nastreeft?). ) doelstellingen
- Methoden (welke indicatoren of welke onderzoeksmethoden)
- Analyse en interpretatie
- Gebruik en verspreiden van opgehaalde informatie
Evaluatie logistiek en verantwoordelijkheden - Tijd en budget
- Gemaakte afspraken met eventuele samenwerkingspartners
Monitoring GALA
Monitoring van het GALA
Wil je weten wat er van jullie gemeente wordt verwacht voor de landelijke en lokale monitoring van het GALA, IZA of Sportakkoord? Op de pagina Monitoring GALA vind je hierover meer informatie.
Stap 4: Verzamel gegevens
Je hoeft niet opnieuw het wiel uit te vinden. Bekijk met de onderzoeksafdeling van de gemeente en de GGD (Gemeentelijke/gewestelijke gezondheidsdienst ) welke bestaande monitors, onderzoeken of datasets je kunt gebruiken. Een universiteit, academische werkplaats of hogeschool is ook een mogelijke vindplek.
Ga goed na of de gekozen indicatoren ook daadwerkelijk iets zeggen over het proces of effect. Een indicator is een meetbaar begrip, bijvoorbeeld 'aantal valongelukken in 2023 onder 75-jarigen', dat iets kan zeggen over het succes van de aanpak. Meer informatie over welke indicatoren je kunt gebruiken en bruikbare bronnen van data per thema vind je op de pagina Databronnen.
Maak afspraken over meten
Bespreek met stakeholders wie de gegevens verzamelt, waar die vandaan worden gehaald en hoe vaak dat gebeurt. Bespreek welke maatregelen je neemt om de privacy van respondenten te verzekeren.
Stap 5: Analyseer en interpreteer gegevens
Het grootste voordeel van monitoring en evaluatie wordt gevoeld wanneer er een sterke koppeling is met het beleid en de praktijk. Zo kunnen de resultaten direct bijdragen aan het leerproces.
Analyseer de gevonden gegevens
Ga samen na hoe jullie gegevens gaan analyseren en wie dit gaat doen. Het analyseren van kwantitatieve data bijvoorbeeld vereist specifieke kennis van statistiek. Zorg dat die expertise aanwezig is.
Interpreteer resultaten
Ga na of de behaalde resultaten overeenkomen met vooraf gestelde doelen. Zo niet, ga na hoe dit komt. Betrek de andere partijen bij de duiding van de uitkomsten. Dit zorgt ook voor een grotere betrokkenheid bij eventuele vervolgstappen.
Stap 6: Communiceer resultaten en verbeter de uitvoering
Maak de resultaten van de (tussentijdse) evaluatie zichtbaar en vier successen. Denk aan persoonlijke gesprekken, een nieuwsbrief, een krantenartikel, congres of symposium. Dit houdt samenwerkingspartners, bestuurders en inwoners betrokken. Bovendien kun je de resultaten gebruiken voor het bijsturen en doorontwikkelen van je beleid.
Meer weten?
Op de pagina Instrumenten vind je tools die je kunnen helpen met het monitoren en evalueren. Of kijk eens op de pagina Werk samen voor meer informatie over het opbouwen en onderhouden van samenwerking.
Ben je op zoek naar nog meer inspiratie over monitoren en evalueren? Bekijk dan zeker de Inspiratiewijzer. Dit is een gezamenlijk product van het RIVM (Rijksinstituut voor Volksgezondheid en Milieu), JOGG (JOGG Gezonde Jeugd, Gezonde Toekomst ), Pharos (Pharos is het expertisecentrum gezondheidsverschillen. ), Alles is Gezondheid, Vereniging Sport en Gemeenten, ZonMw (Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie ) en GGD (Gemeentelijke/gewestelijke gezondheidsdienst ) GHOR (Geneeskundige Hulpverleningsorganisatie in de Regio (GHOR) ) Nederland. iresearch heeft in opdracht van deze organisaties de inspiratiewijzer ontwikkeld op basis van ervaringen in de gemeentelijke praktijk.
Of bekijk het onderdeel Plannen, leren en evalueren in de kennisbundel Gezond leven in gemeente en regio van ZonMw.