De auditor als antropoloog

In het op 18 mei 2022 gepresenteerde verantwoordingsonderzoek van de Algemene Rekenkamer is dit jaar een oorzaakanalyse opgenomen van het munitiebeheer bij Defensie dat zich specifiek richt op gedrag.

Anders dan meer bekende gedragsaudits wordt niet gewerkt met een vooraf opgesteld normenkader van gewenst gedrag, maar wordt participerend geobserveerd hoe procedures in de praktijk uitwerken. Met deze vernieuwende uitbreiding van het auditpalet, gebaseerd op methoden uit de antropologie, wil de Algemene Rekenkamer meer inzicht bieden in hardnekkige problemen.

Hoe het werkt in de praktijk

In oktober 2020 nam Mark van Twist afscheid als collegelid in buitengewone dienst bij de Algemene Rekenkamer. In Audit Magazine kruiste hij toen de degens met Ron de Korte en Jan Otten met zijn pleidooi voor meer operational auditing – meer onderzoeken naar de werking in de praktijk. Onderzoeken die Van Twist ook miste bij de Algemene Rekenkamer zelf. In dit artikel laten wij zien hoe we deze handschoen hebben opgepakt door een oorzaakanalyse, gericht op gedrag, uit te voeren naar een hardnekkig probleem: het gebrekkige munitiebeheer van het ministerie van Defensie. De gehanteerde methode is echter geen typische auditmethode en zal wellicht wat wenkbrauwen bij auditors doen fronsen: we hebben geobserveerd zonder normenkader.

Oordelen op Verantwoordingsdag

De Algemene Rekenkamer presenteert ieder jaar elke derde woensdag in mei haar bevindingen over de rechtmatigheid van de uitgaven van het rijk en over de stand van de bedrijfsvoering op de departementen. Zaken in de bedrijfsvoering die niet voldoen worden als ‘onvolkomenheden’ aangemerkt. Vaak gaat het hierbij om papieren beheersprocessen en de mate waarin het departement in control is.

Zo constateert de Algemene Rekenkamer dat de aantallen opgeslagen munitievoorraden niet kloppen en dat de beheersprocessen niet altijd worden gevolgd

Sommige van deze onvolkomenheden zijn hardnekkig. Zo constateert de Algemene Rekenkamer sinds 2016 dat de aantallen van de opgeslagen munitievoorraden van het ministerie van Defensie niet kloppen en dat de beheersprocessen niet altijd worden gevolgd. Een werkelijke oplossing voor dit probleem is ondanks diverse verbeterprogramma’s in al die jaren niet gevonden.

Dit was reden om ook naar onszelf en onze manier van auditen te kijken: als we blijven doen wat we altijd deden, helpen we de auditee niet verder. In een analyse van onze eigen onderzoeken zagen we dat we bij lang openstaande onvolkomenheden dezelfde typen financial audits verrichten en ook dezelfde conclusies blijven herhalen: men werkt niet volgens het vastgestelde beleid en de werkinstructies. Met als aanbeveling: ga dit wel doen.

De waaromvraag werd niet gesteld

De vraag waarom de procedures niet worden gevolgd, wordt in deze onderzoeken niet altijd beantwoord. Als gevolg daarvan wordt het eventuele antwoord niet gebruikt in de formulering van aanbevelingen. Hardnekkige problemen kunnen meerdere soorten oorzaken hebben. Er kunnen problemen zijn in de organisatie (bedrijfsvoering en governance) en/of met de middelen (geld en capaciteit). Op deze terreinen doet de Algemene Rekenkamer vaak onderzoek.

Een ander belangrijk type oorzaak is gedrag. Aan dit type oorzaak besteedt de Algemene Rekenkamer nog weinig aandacht. Cultuur wordt nog weleens als restvariabele opgenomen die de afwijking verklaart, maar is geen onderdeel van de aanbeveling: cultuur en gedrag hebben we namelijk niet onderzocht. Dit terwijl processen door mensen worden uitgevoerd. Tijd dus om naar de mens achter het papieren proces te kijken. Niet alleen in een voorbereid interview, maar juist door werk, werkdruk, instructies, keuzen en afwegingen zelf te ervaren in de praktijk.

Een oorzaakanalyse naar gedrag

Oorzaakanalyse (ook wel root cause analysis genoemd) is een verzameling methodieken die de auditor helpt om niet alleen vast te stellen dat een risico bestaat, maar vooral ook waarom dit gebeurt. Hiermee kan de auditor aanbevelingen doen die de tekortkomingen daadwerkelijk opheffen.

Vaak worden interviews of enquêtes gebruikt om gedrag te begrijpen. De meest bekende is TRIPOD BETA, een zeer systematische onderzoeksmethode afkomstig uit het ongevallen- en incidentenonderzoek (Turksema, Postma & De Haan, 2007). Andere technieken als de Five why’s of de visgraatdiagrammen helpen wel bij het bepalen of je met doorvragen echt bij de oorzaak (de root cause) van een probleem bent, maar niet hoe je die in gedrag kunt vaststellen (IIA, 2017).

Respondenten weten zelf niet altijd waarom zij op een bepaalde manier handelen of zij kunnen zich situaties niet meer helemaal herinneren

Niet altijd de ‘juiste’ antwoorden

De kwalitatieve methoden vanuit Learning Histories van Kleiner & Roth (1997) die binnen behavioural auditing worden gebruikt, helpen om na te denken over ‘sensitizing concepts’ en onderstrepen het belang van validatieworkshops en het gebruik van quotes om de essentie van auditees weer te geven. Respondenten geven dan als het ware een eigen analyse van hun gedrag. Echter, respondenten geven niet altijd de ‘juiste’ antwoorden. Zij weten zelf niet altijd waarom zij op een bepaalde manier handelen of zij kunnen zich situaties niet meer helemaal herinneren. Doordat wij door ons eerder onderzoek verwachten dat gedrag een belangrijke verklaring kon zijn voor de langdurige onvolkomenheid met betrekking tot munitiebeheer, wilden wij in onze oorzaaksanalyse vooral hier aandacht voor hebben. Daarom kozen wij voor participerende observatie in combinatie met diepte-interviews.

Observeren in vier stappen

Stap 1 – Opzet, vraag en ‘norm’
De munitieketen is een omvangrijk proces dat bij verschillende bedrijfsonderdelen van defensie wordt uitgevoerd. Daarom hebben we het onderzoek zoveel mogelijk ingericht als een ‘product journey’, waarbij we ‘één patroon’ volgden (Howard, 2014). Zo konden we alle bewegingen, handelingen en registraties van munitie observeren. Het patroon was bovendien een gemakkelijke kapstok om aan alle medewerkers van Defensie concreet uit te leggen waar ons onderzoek over ging.

We wisten bij aanvang van het onderzoek dat het munitiebeheerproces niet aan de ‘norm’ voldeed. Voor het gewenste gedrag hadden we geen ‘norm’: we wilden juist zien wat er gebeurde, wat leidde tot het afwijken van de norm. Op die manier gingen wij dus blanco het onderzoek in. Iets wat niet vaak gebeurt in audits, maar wel in gedragsonderzoek dat wordt uitgevoerd door antropologen.

Binnen het onderzoeksteam hebben we veel disciplines bij elkaar gebracht om de methode van de grond te krijgen: van operational auditors tot (gepromoveerde) antropologen. Op die manier werd kennis van oorzaakanalyse verbonden met kennis van observatie. Onze collega-antropologen waren niet alleen onderdeel van het auditteam, maar hebben de reguliere defensieauditors getraind in het doen, registreren en het op een gestructureerde wijze analyseren van observaties (Emerson, Fretz & Shaw, 2007).

Stap 2 – Observatie
We wilden zo dicht mogelijk bij participerende observatie komen: een beproefde methode uit de antropologie waarin de onderzoeker door ervaring kennis opdoet. Bij participerende observatie ‘doet’ de onderzoeker letterlijk ‘mee’ in de wereld van de onderzochte groep. Op die manier kan de onderzoeker de gemaakte keuzen begrijpen. Ook worden de interacties zichtbaar die zich rondom de keuze afspelen en kan de onderzoeker direct gerichte vragen stellen over de situatie, op een detailniveau die in een setting van alleen gesprekken onhaalbaar is.

Door veiligheidseisen voor het omgaan met munitie was dit niet volledig mogelijk. We hebben de methode daarop aangepast: door meerdere malen te observeren bij het verstrekken van munitie en het verbruiken van munitie tijdens oefeningen, probeerden de onderzoekers zo dicht als mogelijk bij de dagelijkse gang van zaken te komen. Dat betekende onder meer in de brandende zon lege hulzen rapen en met geluidsdempers op de oren – op veilige afstand – achter schietende militairen aanlopen. Tijdens de oefeningen maakten de onderzoekers aantekeningen (field notes) en foto’s. Vanwege de kans op beïnvloeding van gedrag zijn de observaties niet gefilmd.

Tijdens de observaties is gebruikgemaakt van intersubjectiviteit: de observaties worden door meer dan één onderzoeker gedaan en verschillen worden besproken

Als risico van deze methode wordt vaak subjectiviteit genoemd. Wij hebben dit risico ondervangen door in de opzet van ons onderzoek een aantal maatregelen te nemen: onderzoekers zijn getraind in het doen van observaties en het uitvoeren van diepte-interviews. Tijdens de observaties is gebruikgemaakt van intersubjectiviteit: de observaties worden door meer dan één onderzoeker gedaan en verschillen worden besproken.

Stap 3 – Analyse
De auditors die hebben geobserveerd, bespreken hun observaties in groepsdiscussies en komen tijdens de discussies tot patronen. Deze worden gedeeld met collega’s die de observaties niet hebben uitgevoerd om zo een subjectief perspectief te voorkomen en actief tegendenken in het onderzoeksproces in te bouwen.

Stap 4 – Validatie
In een focusgroep met vele verschillende eenheden van één krijgsmachtsonderdeel hebben we onze resultaten en observaties voorgelegd en gevraagd of deze rode draden herkend werden. Komt het door ons geobserveerde gedrag breder binnen de krijgsmacht voor? Daarnaast helpt deze werkwijze om biases in de observaties te voorkomen. Als triangulatie hebben wij daarnaast een documentstudie gedaan en gesproken met de diverse inspectiediensten die toezicht houden op het transporteren, behandelen en opslaan van munitie om te verifiëren of zij de observaties herkenden.

De methode toegepast: de uitkomsten

Defensie heeft zeven centrale munitiemagazijncomplexen van waaruit munitie wordt geleverd aan de operationele commando’s, zoals de marine en de luchtmacht. Voor deze decentrale voorraad munitie heeft het ministerie van Defensie 47 opslaglocaties die munitie voor oefeningen op schietterreinen uitgeven. Vanwege bijvoorbeeld de veiligheid en om vermissing of diefstal te voorkomen, wordt de voorraad munitie periodiek geteld om te vergelijken met de hoeveelheid die in het beheersysteem staat. In opzet een goed doordacht en goed lopend proces.

Vanwege de veiligheid is het munitieproces sterk gereguleerd. Er gelden tal van verplichtingen voor opslag en transport. De meerwaarde van het (vele) papierwerk dat hierbij hoort is voor de gebruikers van munitie niet altijd duidelijk. Veel militairen zien dit als ‘papieren bevrediging’. Ze houden omvangrijke administraties bij waar nooit naar wordt gevraagd en die geen onderdeel vormen van een controlecyclus. Tijdens onze observaties constateerden we dat deze ervaren papieren last leidt tot ongewenst gedrag.

Na een oefening wordt niet altijd alle munitie (veelal losse flodders, ofwel blanks) ingeleverd bij de munitiedepots. Deze achtergehouden patronen worden de ‘grijze voorraden’ genoemd

Grijze voorraden

Defensie is de afgelopen jaren vaak in het nieuws gekomen vanwege tekorten aan munitie, personeel en (werkend) materieel. Wij merkten in onze observaties dat er bij de gevechtseenheden een gevoel van munitieschaarste was, dat ook werd uitgesproken. Daarnaast zagen we dat oefeningen door materieelstoringen niet (volledig) doorgingen, waardoor er minder goed geoefend kon worden. Om al die redenen wordt na een oefening niet altijd alle munitie (veelal losse flodders, ofwel blanks) ingeleverd bij de munitiedepots. Deze achtergehouden patronen worden de ‘grijze voorraden’ genoemd.

Deze munitie wordt in de kazernes op daarvoor niet ingerichte plekken en dus onveilig bewaard. Op deze manier hebben eenheden eigen reserves voor het geval munitie bij de complexen niet voorradig is, of kan gemakkelijk een oefening worden geïmproviseerd als een oefening in een simulator niet door kan gaan vanwege een storing. Wij hebben dit gedrag breed binnen de krijgsmacht geconstateerd.

Deze grijze voorraad kan binnen het munitieproces bestaan, omdat munitie uitgegeven aan eenheden voor oefeningen in het systeem wordt beschouwd als ‘verschoten’. Dit brengt een veiligheidsrisico met zich mee, omdat er niet wordt bijgehouden hoeveel er wordt verschoten en hierdoor dus geen controle is op wat er al dan niet retour wordt gebracht. Hierdoor bestaat ook het risico dat door munitiecomplexen uitgegeven munitie ontvreemd wordt. Tot slot werkt dit systeem verspilling in de hand, doordat grijze voorraad soms alsnog opduikt bij de munitiecomplexen en dan vernietigd moet worden.

Munitie inleveren is een last

Na een oefening wordt vaak niet-verschoten munitie van eerdere oefeningen gevonden. Ook vinden militairen na de oefening ondanks controles nog weleens een paar patronen in hun tassen of bezittingen. Vroeger stonden hiervoor anoniem te gebruiken containers op de kazernes. Nu dienen deze te worden ingeleverd en met behulp van formulieren in het administratiesysteem SAP te worden ingevoerd. In de praktijk worden de formulieren voor het retourneren van gevonden munitie nauwelijks gebruikt, ook niet door de munitiespecialisten. Bij de eenheden lijken militairen deze munitie te laten liggen of ‘in de grond te trappen’. Verspillend gedrag zien we ook na oefeningen. Vanwege de administratieve last zijn er eenheden die liever de munitie opschieten dan inleveren.

Vanwege het personeelstekort binnen de munitieorganisatie vinden niet alle controles gestructureerd plaats. Zo werd bij de jaarlijkse telling een bunker niet bevroren waardoor tijdens het tellen munitie binnenkwam en vertrok. Ook werken medewerkers in de munitiedepots door het tekort soms op andere plaatsen, waardoor onbedoeld vier ogenprocedures of tweedelijnscontroles wegvallen. Bij sommige gevechtseenheden hadden logistieke ondersteuners zoveel ‘rechten’ binnen het systeem dat zij in de praktijk niet werden gecontroleerd.

Van oorzaak naar verbetering

De Algemene Rekenkamer constateert dat het huidige munitieproces gedrag in de hand werkt waardoor veiligheidsrisico’s ontstaan. Alleen door te observeren wat er in de praktijk gebeurt en door gesprekken te voeren, konden wij het wijdverbreide probleem van grijze voorraad en het lastig inleveren van gevonden munitie constateren én begrijpen. Pas door observaties konden wij vaststellen welke gevolgen en mogelijkheden het als ‘verschoten’ boeken van verdwenen munitie heeft. Dit besef hadden wij niet tijdens onze eerdere onderzoeken naar munitiebeheer die vooral gericht waren op de beheersingskant.

Pas door observaties konden wij vaststellen welke gevolgen en mogelijkheden het als ‘verschoten’ boeken van verdwenen munitie heeft

Het doel van een oorzaakanalyse is het komen tot aanbevelingen die het probleem oplossen. De Algemene Rekenkamer heeft de minister van Defensie daarom aanbevolen na te gaan of er manieren zijn om gevonden munitie gemakkelijker in te leveren en of hiermee ‘grijze’ voorraadvorming kan worden voorkomen. Ten tweede heeft de Algemene Rekenkamer aanbevolen om te bekijken of de administratieve last verminderd kan worden, bijvoorbeeld door toepassing van (nieuwe) technologie in het munitiebeheer en het doorlichten van de omvangrijke regelgeving op nut, noodzaak en tegenstrijdigheid. Hiermee zullen de medewerkers van Defensie hopelijk minder prikkels voelen om onveilig gedrag te vertonen.

Gedragsverandering vraagt tijd

Daarnaast heeft de Algemene Rekenkamer aanbevolen om vanuit het gehele munitiedomein de verbeteracties verder te synchroniseren en onder één eindverantwoordelijke te plaatsen en verantwoordelijkheden als monitoring beter vast te leggen. Op deze manier kunnen verbeteringen van het munitiebeheer voor de hele keten worden aangebracht. Hiernaast is ook aandacht voor gedrag noodzakelijk. Dit kan uiteindelijk alleen als er voldoende medewerkers zijn in de munitiebunkers om munitie veilig uit te geven en de voorraden bij te houden. De tekortkomingen zijn in de loop der jaren ontstaan, het zal dan ook een meerjarige inzet vragen die op te pakken. En dit geldt nog sterker bij gedragsveranderingen.

De resultaten van deze audit zijn gepubliceerd op www.rekenkamer.nl/vo2021/def . De auteurs schreven dit artikel op persoonlijke titel.

Literatuur

• Emerson, R. M., Fretz, R. I. en L.L. Shaw, Participant observation and fieldnotes. Handbook of ethnography, Sage, Londen, 352-368, 2007.
• Howard, T., ‘Journey mapping: A brief overview’, Communication Design Quarterly Review, 2(3), 10-13, 2014.
• IIA, Toepassingen van oorzaakanalyses bij audits: handvatten en ervaringen voor root cause analyses, 2017.
• Kleiner, A. en G. Roth, ‘How to make experience your company’s best teacher’, Harvard Business Review, 75(5), 172-178, 1997.
• Turksema, R., Postma, K. en A. De Haan, Tripod Beta and Performance Audit. Paper for the International Seminar on Performance Auditing, Oslo, 2007.