De kunst van impact

Iedereen kent ze: rapporten die na publicatie verdwijnen in een la. Maar wat bepaalt of een audit of evaluatie écht iets in beweging zet? Sjoerd Keulen, bijzonder hoogleraar Publieke Audit, Beleidsevaluatie en Verantwoording en directeur van de Rekenkamer Rotterdam, onderzoekt hoe de publieke sector kan leren van haar eigen verantwoording. Over timing, emotie en de kunst van impact

Waarom deze leerstoelcombinatie?

“De combinatie weerspiegelt precies wat rekenkamers doen. Aan de ene kant het financiële en het doelmatigheids- en doeltreffendheidsonderzoek (performance audit), aan de andere kant beleidsevaluatie als wetenschappelijke basis. En publieke verantwoording is de reden dat we het allemaal doen: rekenschap afleggen aan de volksvertegenwoordiging. Rekenkamers zijn onafhankelijk, wij werken niet voor ministeries of wethouders; wij rapporteren altijd rechtstreeks aan parlement of raad. Met de leerstoel wil ik vooral begrijpen hoe we de impact, ofwel de doorwerking, van audit en evaluatie kunnen vergroten. Daarnaast willen we weten hoe we de verantwoording in Nederland kunnen versterken. Dat is voor de Algemene Rekenkamer de reden om deze leerstoel te financieren.”

En persoonlijk?

“Wat mij daarbij vooral drijft, is dat de publieke audit meer is dan een controle-instrument. Het gaat over leren en verbeteren binnen de overheid. We kijken daarom niet alleen naar wat de Rekenkamer doet, maar ook hoe ambtelijke organisaties en politieke gremia omgaan met onze bevindingen. Het is belangrijk om te begrijpen welke factoren binnen organisaties de kans vergroten dat aanbevelingen worden opgepakt. Daarbij hoort ook inzicht in hoe de context en de beeldvorming rond de Rekenkamer zelf invloed hebben op de mate van doorwerking.”

Wat betekent impact voor jou?

“Impact betekent dat het onderzoek op het juiste moment, met de juiste kwaliteit, een echte vraag beantwoordt en de politieke besluitvorming helpt. Audits en evaluaties zijn te vaak een ‘moetje’ achteraf. Voor mij telt of het werk daadwerkelijk bijdraagt aan betere keuzen. Dat vergt oog voor context en timing: niet te vroeg, niet te laat, maar precies wanneer een organisatie en politiek er iets mee kunnen.”

“Als wij belerend overkomen, niet open communiceren of de context niet begrijpen, daalt de kans dat aanbevelingen landen”

“Impact heeft voor mij ook een morele en maatschappelijke dimensie. Het gaat niet alleen om het verbeteren van beleid, maar ook om het versterken van vertrouwen in publieke instituties. Wanneer burgers zien dat beleid kritisch, maar constructief wordt beoordeeld en dat er daadwerkelijk van fouten wordt geleerd, draagt dat bij aan de legitimiteit van de overheid. Beleid heeft bovendien een eigen ritme: onderzoeken hebben pas zin op het moment dat beleid echt geëvalueerd kan worden – niet te vroeg, niet te laat, maar precies op het juiste moment in de beleids- en politieke cyclus.”

Waarom is impact lastig meetbaar?

“Omdat impact uit veel factoren bestaat. Uit onderzoek in binnen- en buitenland zien we drie elementen. Een: het handelen van de auditor zelf is doorslaggevend. Als wij belerend overkomen, niet open communiceren of de context niet begrijpen, daalt de kans dat aanbevelingen landen. Twee: de organisatie moet de capaciteit hebben om aanbevelingen te verwerken; zonder mensen en middelen stokt doorwerking. En drie: de politieke en mediacontext duwt soms mee, maar in Nederland minder dan elders, mede omdat de Algemene Rekenkamer nauw met de Tweede Kamer optrekt. Het meten van die mix is ingewikkeld.”

Nog meer?

“Daarnaast is impact vaak indirect. Soms is de belangrijkste verandering niet direct zichtbaar in beleid, maar merkbaar in hoe ambtenaren of bestuurders over een onderwerp praten. In sommige gevallen ontstaat er een ‘doorwerking’ doordat andere organisaties, zoals planbureaus of adviesraden, onze bevindingen oppakken en verder brengen. Dat maakt het moeilijk om precies aan te wijzen welk effect door welk rapport is veroorzaakt. Toch is die diffuse invloed waardevol. Het laat zien dat auditwerk onderdeel is van een bredere leercurve in de publieke sector.”

Welke impact telt het meest?

“Politieke impact geeft energie – als de Kamer iets met je rapport doet of als de media het oppakt. Procedurele impact is nuttig, maar vaak ‘blauw’: toegangsrechten regelen, planningen aanscherpen. Het mooiste vind ik inhoudelijke impact: echte bijsturing van beleid omdat we onderliggende oorzaken zichtbaar maken. Dat duurt vaak jaren en is zelden het gevolg van één rapport. Het landt in een bredere context van adviesraden en planbureaus. Soms is beleid al tijdens ons onderzoek in beweging, dan lijkt de impact klein, maar is die juist groot. De meest duurzame impact is inhoudelijke verandering die voortkomt uit een breed besef dat beleid beter kan.”

Waaraan zie je dat?

“Dat zie je bijvoorbeeld wanneer ministeries zelf onderzoeken starten naar aanleiding van onze bevindingen. Of wanneer parlementaire commissies vragen stellen die direct aansluiten op ons werk. Ook subtiele veranderingen, zoals het verbeteren van informatievoorziening of het herzien van toezichtstructuren zijn waardevolle vormen van impact. Uiteindelijk gaat het erom dat de publieke sector leert van wat niet goed ging, en dat er ruimte is voor reflectie zonder meteen in de verdediging te schieten.”

Hoe helpen innovatieve methoden?

“Daarmee kun je andere vragen beantwoorden. Klassiek is het onderzoek waarin je dossiers leest en tien mensen interviewt. Innovatie betekent ook de praktijk in. We volgden bij de Algemene Rekenkamer bijvoorbeeld letterlijk de ‘reis van een kogel’ om te verklaren waarom munitieadministraties al jaren niet klopten. Zonder normenkader konden we toch een stevig oordeel geven door oorzaken bloot te leggen: verlies in de keten, ‘grijze’ voorraden, routines op de kazerne. Een ander voorbeeld van de Algemene Rekenkamer: met behulp van data-analyse konden 20.000 milieu-inspecties aan specifieke bedrijven worden gekoppeld. Dat kostte twee jaar datavoorbereiding, maar liet zien dat er een handjevol veelplegers is, maar dat die bedrijven niet het vaakst gecontroleerd werden. Zulke inzichten krijg je niet uit papier alleen.”

Wat helpt nog meer?

“Daarnaast helpt designdenken. Door ketens en gebruikersperspectief te visualiseren en betrokkenen samen aan tafel te brengen, ontstaat begrip over hoe processen echt werken en waar burgers of bedrijven vastlopen. Dat kan klein en wendbaar; je hebt er geen leger onderzoekers voor nodig, wel een andere bril. Innovatie vraagt ook vooral om een andere mindset: durven experimenteren, samenwerken met andere disciplines en methoden combineren. Zo leer je niet alleen dat iets misgaat, maar vooral waarom het misgaat. En dat levert de diepere inzichten op waar organisaties echt iets mee kunnen.”

Hoe werken rapporten door?

“Dat zijn drie dingen. Een: betrokkenheid en open communicatie tijdens het onderzoek, zodat bevindingen herkenbaar zijn en niet als verrassing landen. Twee: organisatorische randvoorwaarden bij de onderzochte partij – capaciteit, eigenaarschap, prioriteit. En drie: toon en taal. Te emotionele of beeldende taal kan defensief maken, te steriele taal mist urgentie. We onderzoeken nu zelfs of emotionele lading in auditrapporten de doorwerking beïnvloedt. Bewustwording hierover helpt om rapporten bruikbaar te schrijven.”

En als je het direct betrekt op de auditor?

“Doorwerking vraagt ook om vertrouwen. Als auditor moet je laten zien dat je snapt waar het over gaat en dat je er niet alleen bent om te controleren, maar ook om te helpen leren. Dat vraagt sensitiviteit voor de context: begrijpen wat er speelt binnen een organisatie en hoe jouw boodschap zal landen. Ambtenaren vragen vaak om meer context. En terecht, zolang dat geen excuus wordt om resultaten te relativeren of te verklaren waarom iets niet gelukt is. Dat betekent soms dat je eerder in gesprek gaat, conceptbevindingen deelt of samen reflecteert op oorzaken. Zo ontstaat eigenaarschap bij de onderzochte partij, en pas dan volgt echte verandering.”

In welke mate sturen emotie en politiek bij?

“Sterk. Auditing is intrinsiek politiek – van onderwerpkeuze tot publicatie. Dat geldt bij rekenkamers expliciet richting parlement, maar evengoed voor interne auditafdelingen in bedrijven. Emoties spelen vooral bij incidenten: scherpe metaforen en harde beeldspraak kunnen de relatie met de onderzochte partij belasten. Soms is dat nodig om urgentie te creëren, maar het kan ook doorwerking schaden. De kunst is om stevig te zijn op de inhoud en tegelijk respectvol in vorm en taal.”

“Auditors moeten zich bewust zijn van de politieke lading van hun werk. Elk rapport wordt gelezen door mensen met belangen, overtuigingen en emoties. Een scherpe formulering kan debat aanwakkeren, maar ook polariseren. Daarom is het belangrijk om taal zorgvuldig te kiezen, zonder de inhoud van de boodschap af te zwakken. Uiteindelijk gaat het erom dat de bevindingen serieus worden genomen en aanzetten tot verbetering. Niet dat ze alleen publicitaire waarde hebben.”

Wat leren we van schandalen?

“Schandalen zijn pijnlijk, maar brengen wel de onderstroom naar de oppervlakte. Eerst is er emotie, verontwaardiging, schok, soms personificatie in een symboolfiguur. Pas na dat rouwproces ontstaat een kans op vernieuwing en ruimte om te leren.”

“Normenkaders zijn essentieel voor volg- en uitlegbaarheid, maar ze kunnen ook leiden tot oppervlakkig vinkonderzoek”

Hoe kunnen auditors daarin bijdragen?

“Auditors kunnen structuur aanbrengen: feiten vaststellen, perspectieven verzamelen, patronen benoemen en oorzaken onderscheiden. Dat vraagt om methoden die emoties erkennen en meerdere perspectieven toelaten. Daarnaast is goed luisteren naar de verschillende verhalen binnen een organisatie van belang en heb je de moed nodig om lastige waarheden te benoemen. Wie in zo’n context met alleen een normenkader binnenkomt, slaat dood. Onafhankelijkheid en sensitiviteit zijn dan cruciaal.”

Een voorbeeld…

“Een goed voorbeeld is de parlementaire enquête naar woningcorporaties, waarbij het publieke debat en de verhoren al tijdens het proces tot verandering leidden. Het beleid begon al te schuiven voordat het eindrapport werd gepresenteerd. Uiteindelijk gaat het niet om schuld, maar om leren: begrijpen waarom iets is misgegaan en wat er nodig is om herhaling te voorkomen. Zo krijgt verantwoording betekenis voorbij het incident.”

Hoe werkt de wetenschap samen met auditors?

“Door data en methoden te delen, samen te publiceren en elkaars vragen te laten sturen. Bij de Algemene Rekenkamer werken tientallen gepromoveerden. Velen zijn een dag per week verbonden aan universiteit of hogeschool. Met ‘visiting scholars’ onderzoeken we doorwerking van audits, organisatorische absorptiecapaciteit en het taalgebruik in rapporten. Ook kijken we naar het daadwerkelijke gebruik van rekenkamerrapporten in de Tweede Kamer. Gaat het vooral om politiek bedrijven, of ook om leren en bijsturen? Door zulke bruggen te slaan, worden onze bevindingen methodisch sterker en relevanter voor de praktijk.”

Wetenschap en praktijk?

“Ja. Wetenschap en praktijk kunnen elkaar versterken door kennis te delen en gezamenlijk nieuwe onderzoeksvragen te formuleren. Universiteiten brengen methodologische diepgang, rekenkamers brengen praktijkervaring en toegang tot data. Die combinatie levert inzichten op die zowel academisch waardevol als bestuurlijk bruikbaar zijn. Het is precies die wisselwerking die de publieke audit verder kan brengen.”

Eén verandering voor meer impact?

“Minder vinkjes, meer verdieping. Normenkaders zijn essentieel voor volg- en uitlegbaarheid, maar ze kunnen ook leiden tot oppervlakkig vinkonderzoek. We moeten vaker doorstoten naar oorzaken met passende methoden. Dat hoeft niet duur of traag te zijn, als je scherp kiest welke vraag je wil beantwoorden en wanneer. Kies het juiste moment in de beleidscyclus en zet methoden in die verklaren in plaats van alleen constateren.”

Tot slot, als je vooruitkijkt…

“Dan zie ik dat de publieke audit van de toekomst vraagt om lef: om los te komen van routine, om interdisciplinair te werken en om ruimte te laten voor reflectie. Impact ontstaat niet uit checklists, maar uit nieuwsgierigheid en de bereidheid om te begrijpen waarom iets misgaat. Uiteindelijk is dat wat de samenleving van auditors mag verwachten.”