Effectonderzoek bij toezicht: gaat het er komen?

Impact maken is de goede dingen doen én die dingen goed doen. Om achter dat laatste te komen, moet onderzocht worden wat het effect is van acties. Zo ook voor toezichthouders. Zij hebben daar nu gezamenlijk best practices voor opgesteld.

De Algemene Rekenkamer wijst toezichthoudende organisaties al tientallen jaren op het tekort aan inzicht in de effectiviteit van hun toezichtactiviteiten, en daarmee op het belang om werk te maken van effectonderzoek. De meest recente aanmaning staat in het rapport Door de mazen van toezicht en handhaving (oktober 2025) waarvoor de Rekenkamer 54 onderzoeksrapporten uit de periode 2023-2025 doornam.

Rode draden

Van de vier rode draden die de Rekenkamer daaruit haalde luidt nummer vier als volgt: ‘Onvoldoende inzicht in de effectiviteit; toezichthouders en handhavers weten vaak zelf niet in hoeverre hun werk bijdraagt aan de gestelde maatschappelijke doelen.’ Waarom is het in al die jaren ondanks het verschijnen van diverse methodologische handreikingen niet gelukt om effectonderzoek echt van de grond te krijgen? Die vraag is des te actueler, gezien het feit dat toezichthoudende organisaties in hun publicaties in toenemende mate benadrukken dat maatschappelijk effect (ook vaak met het woord impact aangeduid) centraal staat in hun handelen.

Een brede analyse voor inzicht

Als Werkgroep Effectonderzoek, een samenwerkingsverband van meerdere toezichthouders met als missie effectonderzoek te stimuleren, kwamen we al snel na de oprichting tot de conclusie dat een nieuwe methodologische handleiding niet de aangewezen weg was. Besloten werd om een bredere analyse te maken van het belang, maar vooral ook van de barrières van effectonderzoek voor toezichthouders. Zo’n bredere analyse zou dan mogelijk inzichten kunnen geven hoe je effectonderzoek wél op een succesvolle manier een impuls zou kunnen geven. Dat resulteerde in het rapport Wegwijzer Effectonderzoek.

Pleidooi voor bredere aanpak

Het rapport maakt duidelijk dat de versterking vanuit alle organisatielagen moet komen. Daarom bevat het zowel strategische, tactische als operationele onderdelen. Naast het nadrukkelijke pleidooi voor een bredere aanpak, is bijzonder dat dit rapport over effectonderzoek niet – zoals vaak in het verleden – door een onderzoeksinstituut is opgesteld, maar door de Rijksinspecties zelf. Dat klinkt door in het rapport: er is nadrukkelijk oog voor praktische haalbaarheid. De balans wordt gezocht tussen ideale en praktisch haalbare oplossingen. Daarvoor biedt het rapport zowel vele methodologische als organisatorische handreikingen. Het klinkt ook door in de vele voorbeelden van effectonderzoek, die bijna de helft van het rapport uitmaken.

Zonder effectonderzoeken is er een reële kans dat zwakke toezichtbenaderingen niet als zodanig worden geïdentificeerd en blijven bestaan

Belang effectonderzoek

Over het belang van effectonderzoek zijn we als werkgroep duidelijk: die is groot. Ten eerste dragen effectonderzoeken eraan bij om als toezichthoudende organisatie op een onderbouwde wijze verantwoording af te leggen aan de maatschappij. In plaats van alleen te rapporteren over activiteiten en directe resultaten (output), zoals aantallen uitgevoerde inspecties en opgelegde boetes, kan worden gerapporteerd over de behaalde effecten (outcomes). Ten tweede bieden effectonderzoeken kansen om te leren effectiever te worden: geeft een onderzoek zwakke effecten te zien, dan biedt dat kansen om toezichtmethoden aan te passen of alternatieven uit te proberen. Zonder effectonderzoeken is er een reële kans dat zwakke toezichtbenaderingen niet als zodanig worden geïdentificeerd en blijven bestaan.

Methodologische barrières

Tegenover het belang van effectonderzoek staan echter flinke barrières, zowel methodologische als organisatorische. Een belangrijke methodologische barrière is dat het vaak moeilijk is om een causaal verband tussen toezichtactiviteiten en geobserveerde effecten vast te stellen. Dit komt mede omdat de toezichthouder veelal één van de actoren is die aan een bepaalde problematiek werkt. Een tweede barrière is dat maatschappelijke effecten vaak niet of moeilijk zichtbaar zijn, of pas na vele jaren optreden. Een hoger niveau van veilig werken in een industriële omgeving is bijvoorbeeld niet goed zichtbaar. Ook het effect van een reductie van de emissies van gevaarlijke stoffen uit een installatie is niet (gelijk) zichtbaar: dat kan pas na vele jaren merkbaar worden in de vorm van minder gezondheidsklachten in de omgeving. Een derde grote barrière is dat het uitvoeren van effectonderzoeken volgens wetenschappelijke standaarden vaak complex en dus tijdrovend is.

Organisatorische obstakels

Alsof dat nog niet genoeg is, zijn er ook diverse organisatorische obstakels. De eerste is heel fundamenteel psychologisch van aard: plannen en uitvoeren wordt meestal aantrekkelijker gevonden dan gestructureerd en kritisch terugkijken. Een parallel kan worden getrokken met de Nederlandse nationale politiek: Prinsjesdag is erg populair, Verantwoordingsdag is dat veel minder. Een meer specifieke barrière kan optreden wanneer een effectonderzoek tegenvalt, in de zin van geobserveerde effecten. Dus dat slechts zwakke of geen effecten worden geconstateerd. Zo’n onderzoek kan dan in de la terechtkomen of, nog erger, aanleiding vormen om ‘schuldigen’ aan te wijzen. Zeker in dit laatste geval is dan de motivatie voor nieuwe onderzoeken snel om zeep geholpen. Een barrière in de uitvoering is ten slotte dat effectonderzoek vaak als ‘iets extra’s’ wordt gezien waarvoor de capaciteit niet wordt gereserveerd en dus meestal achterwege blijft.

Uitgangspunten

Om ondanks deze moeilijke context effectonderzoek toch te stimuleren en in te bedden in toezichthoudende organisaties, hebben we een aantal uitgangspunten geformuleerd die deels methodologisch en deels organisatorisch van aard zijn. Deze zijn in het rapport ook nader uitgewerkt in een serie handreikingen.

Methodologie
Qua methodologie pleiten we voor het kiezen van een middenweg in meerdere opzichten.

Ten eerste: denk niet dat opeens alle onderdelen en activiteiten van een toezichthoudende organisatie onderzocht moeten worden. Dat is compleet onmogelijk. Maak jaarlijks een beredeneerde keuze en baken binnen gekozen onderwerpen ook weer af. Houd het klein, uitbreiden kan altijd nog.

Ten tweede: waardeer het in kaart brengen van directe effecten. Dat wil zeggen gewenste veranderingen in (naleef)gedrag bij doelgroepen van toezicht. Dat levert belangrijke informatie op. Toch wordt er in veel gevallen naar gestreefd om direct de maatschappelijke effecten in beeld te brengen. Dat is vaak een brug te ver en leidt niet zelden tot teleurstellingen en vastlopende onderzoeken. Daarbij is het vaak mogelijk om op basis van de geobserveerde directe effecten op een zinvolle, zij het globale wijze naar maatschappelijke effecten te extrapoleren.

Ten derde: focus niet op het aantoonbaar maken van effecten maar op het plausibel maken ervan. Het eerste vereist een hoge wetenschappelijke standaard, het tweede een in de praktijk vaker haalbare standaard. Een belangrijke overweging hierbij is dat het plausibel maken van effecten in veel gevallen al voldoende is om de koers hetzij te verstevigen, hetzij te verleggen.

Organisatorisch
Organisatorisch gezien is het heel belangrijk dat toezichthoudende organisaties ontvankelijker worden voor effectonderzoek. Dat vereist in de eerste plaats dat organisaties openstaan voor leereffecten uit effectonderzoeken. Gebruik deze vooral niet om op af te rekenen. Elk effectonderzoek, ook al levert deze sterk tegenvallende effecten op, zou met open armen moeten worden ontvangen als kans om te leren.

In de tweede plaats is het belangrijk een open vizier te hebben bij de keuze van onderwerpen die je wilt onderzoeken: toezichtmethoden die al vele jaren worden toegepast en onaantastbaar lijken, zijn juist interessant voor effectonderzoek. Maar nieuwe aanpakken waar veel van wordt verwacht qua efficiëntie en effectiviteit zijn dat zeker ook. Die lijken soms ook onaantastbaar.

Niet verbazingwekkend is daarnaast het uitgangspunt dat een kwalitatief goede informatiehuishouding moet worden gestimuleerd. Zonder goede data is er ook geen goed effectonderzoek. Het verbeteren van de informatiehuishouding met het oog op het versterken van informatiegestuurd toezicht krijgt momenteel veel aandacht binnen toezichthoudende organisaties. Het is ook een ontwikkeling die de kansen voor effectonderzoek vergroot.

Ten slotte: alle hiervoor genoemde uitgangspunten hebben nauwelijks zin als topmanagers en middenmanagers effectonderzoek niet aan de orde stellen. Bij het begin van projecten kunnen zij vragen stellen als: hebben jullie nagedacht over de effecten? Welke kunnen dit zijn? Hoe gaan we dat straks in kaart brengen? En na afloop: is effectonderzoek uitgevoerd (of waarom niet)? Wat is daaruit naar voren gekomen? Hoe kunnen we daarvan leren? Zonder een actieve houding van managers blijft vrijblijvendheid troef.

Plannen en uitvoeren wordt meestal aantrekkelijker gevonden dan gestructureerd en kritisch terugkijken

Geen blauwdruk

Met deze uitgangspunten in gedachten moet het volgens ons mogelijk zijn om stapje voor stapje de kwantiteit en kwaliteit van effectonderzoeken te versterken. Is hiermee alles gezegd? Aan het werk en klaar? Nee, effectonderzoek is en blijft lastig. Elk effectonderzoek is bovendien anders voor elk onderwerp. Een eenvoudige blauwdruk is daarom niet te geven. Dat wordt geïllustreerd door de voorbeelden die we in onze wegwijzer hebben opgenomen. Deze zijn afkomstig van zes rijksinspecties met totaal verschillende toezichtterreinen.

Enkele voorbeelden: kalversterfte bij melkveebedrijven door de Nederlandse Voedsel en Warenautoriteit (NVWA), zwavelgehaltes in scheepsbrandstoffen door de Inspectie leefomgeving en Transport (ILT, zie kader), veiligheid van geothermieputten door Staatstoezicht op de Mijnen (SodM), kwaliteit van basisonderwijs door de Inspectie van het Onderwijs (IvhO), arbo-omstandigheden bij pakketdienstverlening door de Arbeidsinspectie (NLA) en het fenomeen gezamenlijke cliëntreis door de Inspectie gezondheidszorg en Jeugd (IGJ).

Zwavelgehalte in scheepsbrandstoffen

De doelgroepen van het programma ‘Schoon Schip’ bij de Inspectie Leefomgeving en Transport waren primair rederijen en leveranciers van scheepsbrandstoffen (bunkerleveranciers). Met het programma ‘Schoon Schip’ zijn in de loop van enkele jaren veel resultaten geboekt. Op basis van zowel de metingen van zwaveluitstoot met de remote-sensingmethoden als bij metingen in de haven, blijkt de niet-naleving op het gebied van zwavel sterk afgenomen. Op dit moment bedraagt de geschatte niet-naleving nog maar 1 á 2%. De maatschappelijke schade door zwaveldioxide-uitstoot is hierdoor significant verminderd.

De efficiëntie van de afzonderlijke remote-sensingtechnieken laat zien dat de ‘snuffelpaal’ (meetpaal die uitstoot van vervuilende stoffen detecteert) erg geschikt is om grote aantallen schepen te screenen op zwavelovertredingen. Bij deze resultaten is een wel een (methodologische) kanttekening te plaatsen: het is waarschijnlijk dat de geconstateerde reductie niet uitsluitend het gevolg is van de inspanningen van de ILT. Ook de sector zelf is via internationale afspraken in beweging gekomen. De precieze bijdrage van de ILT hier bepalen is hierdoor heel moeilijk te bepalen.

Niet alleen zijn de onderwerpen inhoudelijk sterk verschillend, we zien ook allerlei varianten qua methodiek. Sommige onderzoeken kenden voor- en nametingen, sommige zelfs een controlegroep. Daarnaast zijn er naast kwantitatieve ook kwalitatieve onderzoeken en soms ook een combinatie van beide. Belangrijk is ook dat de opgenomen voorbeelden geen rijtje perfecte illustraties zijn van een bepaald type onderzoek. Het zijn voorbeelden afkomstig van organisaties die lerend zijn dit type onderzoek onder de knie te krijgen.

Het effect van de Wegwijzer zelf

Heeft deze Wegwijzer zelf ook effect, in de zin dat het toezichthoudende organisaties aanzet om meer werk te maken van effectonderzoek? We zien inmiddels eerste bemoedigende signalen dat dit het geval is. Bij sommige toezichthoudende organisaties waar effectonderzoek nog geen enkele rol speelde, worden nu eerste stappen gezet om dit van de grond te krijgen. Bij andere toezichthouders waar incidenteel al wel onderzoeken werden uitgevoerd, krijgt het nu een duidelijker plaats in meerjarenplannen en andere beleidsstukken. Er worden ambassadeurs voor effectonderzoek op hoog niveau benoemd en in enkele gevallen worden er zelfs fte’s vrijgemaakt. In beide situaties merken we dat de Wegwijzer als een soort breekijzer heeft gewerkt.

Als werkgroep blijven we de voortgang in effectonderzoek actief stimuleren. Onder andere door successen en (nieuwe) barrières te delen. Als belangrijke indicator zien we daarbij dat effectonderzoeken een steeds belangrijker bestanddeel van onze jaarverslagen worden.