Toegevoegde waarde van agile auditing?

Een aantal jaren geleden werkte ik als ICT-releasemanager en maakte ik de omschakeling van de watervalmethode naar agile mee. Het succes van agile werken in softwareontwikkeling wekte de laatste jaren de interesse van auditors. Ik was benieuwd of agile auditing extra waarde toevoegt bij het uitvoeren van audits.

Bij mijn afstudeeronderzoek voor de post-masteropleiding Internal Auditing & Advisory aan de Erasmus Universiteit te Rotterdam onderzocht ik daarom hoe de overgang naar agile werken bij een internal auditfunctie (IAF) kan plaatsvinden en of agile werken van toegevoegde waarde is voor de IAF. Met toegevoegde waarde wordt in deze bedoeld of de audits effectiever en/of efficiënter worden uitgevoerd.

Op basis van literatuuronderzoek en interviews met auditors die ervaring hebben met agile auditing is een agile auditwerkwijze opgesteld. Deze werkwijze is in de praktijk bij het CAK getoetst met een case study. Het CAK is een zelfstandig bestuursorgaan (zbo) en voert in opdracht van het ministerie van Volksgezondheid, Welzijn en Sport wetten en regelingen uit binnen het domein zorg en welzijn.

Wat is agile auditing?

De traditionele auditaanpak is te vergelijken met de watervalmethode voor softwareontwikkeling; een methode met sequentiële stappen. Agile auditing maakt gebruik van de agilemethodologie voor softwareontwikkeling. Dit betekent werken in korte, iteratieve perioden – die sprints worden genoemd – of gebruikmaken van een flexibel projectmanagementproces dat bekend staat als Kanban, om de hele audit te doorlopen van planning tot het rapporteren van resultaten (Wolters Kluwer, 2021). Bij agile werken wordt de voortgang gemeten op basis van het aandeel gereed product en niet op basis van de uit te voeren activiteiten. Mijlpalen zijn data waarop de verschillende deelproducten (tussentijdse terugkoppeling) worden opgeleverd en niet wanneer bepaalde activiteiten zijn afgerond.

Bij agile werken wordt de voortgang gemeten op basis van het aandeel gereed product en niet op basis van de uit te voeren activiteiten

Best practices

De afgelopen jaren zijn organisaties aan de slag gegaan met agile auditing. Een aantal deelde hun ervaringen daarover in publicaties. Dit zijn allemaal commerciële organisaties, ervaringen van overheidsinstellingen waren op het moment van onderzoek niet gepubliceerd. Voor dit onderzoek zijn auditors van de Volksbank en Jumbo Supermarkten geïnterviewd. Iedere organisatie hanteert een eigen manier van agile auditing die is aangepast op de organisatie. Ook komen hybride vormen van waterval- en agilemethodieken veel voor, waarbij het beste van beide methoden wordt gecombineerd. Een hybride vorm wordt ook wel ‘agi-fall’ genoemd.

Agile is adaptief; er is geen one-size-fits-all. Er zijn wel technieken die volgens de bestudeerde literatuur in iedere agile audit zouden moeten worden opgenomen:
­

1. Audittaken worden opgeknipt in beheersbare, tijdsgebonden, stukken (sprints).
2. Er worden consistente, korte, doorlooptijden per sprint gebruikt.
3. De audit wordt gepland tijdens een gezamenlijke meeting met het hoofd Internal Audit, de auditors en de opdrachtgever.
4. Er worden audittaakoverzichten gemaakt en gedeeld met alle betrokkenen.
5. Er wordt een dagelijkse meeting gepland op hetzelfde tijdstip voor maximaal vijftien minuten.
6. Periodiek (bij voorkeur elke twee weken) wordt een review meeting gepland.
7. Na afronding van de audit wordt een lessons learned meeting gehouden (Catlin & Watkins, 2021).

Onderverdeling audit

Er zijn verschillende manieren om een audit onder te verdelen in sprints. Bij de eerste methode wordt een aanpak gekozen die is gebaseerd op de risico’s in het auditobject. Controls gericht op het mitigeren van de grootste risico’s in het proces komen in de eerste sprint, controls gericht op medium risico’s in de tweede sprint en de resterende controls in de derde sprint.

Een tweede methode is om het auditobject te verdelen in verschillende topics die van invloed zijn op het auditobject. Hierbij kan worden gedacht aan wet- en regelgeving, IT, governance, et cetera. Controls die betrekking hebben op deze topics vormen dan samen een sprint. Deze aanpak heeft als voordeel dat duidelijk is wanneer welke kennis en expertise nodig is voor de uitvoering van iedere sprint (KPMG, 2020), zodat dit op tijd met het kernteam kan worden afgestemd en men rekening kan houden met de planning.

Bij agile audits delen auditors de resultaten na elke sprint met de opdrachtgever en de auditee. Dit kan mondeling of in een kort verslag. Het is zeker niet de bedoeling dat er na elke sprint een uitgebreid rapport wordt geschreven!

Pilot audit

Voor het onderzoek is gekozen om een casestudy op te zetten. Hiervoor is een pilot agile audit uitgevoerd. Uit het literatuuronderzoek en bestudering van de best practices blijkt dat de meeste successen worden geboekt door eerst een pilot audit uit te voeren, waarbij het advies is om een eenvoudige audit te selecteren om vertrouwen te krijgen met de agilemethode.

Als voorbereiding op het project is in ‘sprint zero’ samen met de opdrachtgever de doelstelling, scope en planning bepaald. Bij traditionele audits wordt een uitgebreid opdrachtplan gemaakt. Voor dit onderzoek is de opdrachtbevestiging op één pagina weergegeven, waarbij alleen de echt noodzakelijke elementen, zoals doelstelling, scope en werkzaamheden zijn opgenomen. De standaardteksten die bij elke audit worden gebruikt, zijn op de intranetpagina geplaatst en daar is in de opdrachtbevestiging naar verwezen.

Er is gekozen voor sprints van twee weken, omdat de bestudeerde best practices deze sprintduur hanteren. Het voorwerk is in sprint zero verricht. In de eerste sprint zijn de documenten geanalyseerd, in de tweede sprint de interviews gehouden en in de derde sprint zijn de dossiers geanalyseerd. Na iedere sprint vond een bijeenkomst (review meeting) plaats met de auditors, de opdrachtgever en de contactpersoon van de audit. Daarbij werden de inzichten en observaties van de sprint door de auditors teruggekoppeld. Tijdens dezelfde meeting werd er een start gemaakt met de volgende sprint. In de vierde en laatste sprint is het definitieve rapport opgesteld en besproken met de proceseigenaar.

De geïnterviewden vinden unaniem dat agile auditing efficiënter is dan de traditionele auditwerkwijze

Resultaten

Na elke sprint van de pilot agile auditing is een korte vragenlijst ingevuld door de opdrachtgever, de contactpersoon en de auditors. Na afronding van de audit zijn deze personen uitgebreid geïnterviewd over de agile werkwijze. De resultaten van de pilot audit zijn als volgt:
­

• De geïnterviewden vinden unaniem dat agile auditing efficiënter is dan de traditionele auditwerkwijze. Alle betrokkenen weten van tevoren wanneer het rapport er moet liggen en werken daarnaartoe. De sprintdeadlines dwingen auditors om zich tot de hoofdzaken te beperken. Men weet wat er kan worden verwacht en wat, wanneer en door wie wat moet worden gedaan. Het werk is beter in te plannen dan bij traditionele audits.

• De meningen verschillen of agile auditing effectiever is. De tussentijdse terugkoppeling van resultaten wordt als zeer effectief beschouwd voor en door de opdrachtgever. Bevindingen kunnen daardoor sneller worden opgevolgd. Tijdens de pilot zijn bevindingen van de eerste sprint al tijdens de tweede sprint door de opdrachtgever opgepakt. Of agile auditing per definitie effectiever is voor auditors wordt betwijfeld. Audits worden anders, maar niet per se beter of sneller, uitgevoerd door agile auditing.

• Alle geïnterviewden gaven aan dat er bij dit onderzoek meer interactie was dan bij andere audits. Er werd snel geschakeld bij vragen en het gevoel van een gedeeld belang was sterk aanwezig.

Meer samenwerking?

Draagt agile auditing bij aan meer samenwerking tussen auditors en auditees? In dit onderzoek ging de samenwerking prima. Maar men is er niet over uit of dat door de toegankelijkheid (persoonlijkheden) van de auditees en auditors kwam of door agile auditing. Er is niet meer, maar wel goed samengewerkt. Doordat er vaker contact is, leert men elkaar beter en breder dan de context van de audit kennen, wat de samenwerking bevordert.

Voordelen

Voordelen van agile audits ten opzichte van traditionele audits zijn dat gegevens op tijd worden aangeleverd, omdat dat duidelijk en aan het begin van de audit is vastgelegd. Werkzaamheden waren daardoor beter in te plannen door de contactpersonen. Daardoor was het mogelijk om het rapport volgens planning op te leveren.

Werkzaamheden zijn dus goed in te plannen, voor zowel de auditors als andere betrokkenen. De audit is beter behapbaar door de afgebakende sprints, daardoor is de hele audit overzichtelijker. Aan het begin van de audit worden alle terugkoppelmomenten al ingepland. Ook interviews waarvan al bekend is dat deze gehouden moeten worden, worden al in de desbetreffende sprint afgesproken. Minder tekst in de opdrachtbevestiging en het rapport maakt het beter leesbaar. Bij het eindrapport zijn er geen verrassingen voor de opdrachtgever, omdat bevindingen tussendoor al zijn teruggekoppeld. Hierdoor verloopt de afstemming soepeler en kan er eerder actie worden ondernomen.

Nadelen

Wat zijn de nadelen van agile auditing ten opzichte van traditionele audits? Agile auditing is vrij rigide in de strakke planning en de ceremonies (meetings) die worden gehouden. Onvoorziene gebeurtenissen tijdens een sprint (zoals bijvoorbeeld onverwachte afwezigheid) leggen een groot beslag op een sprintperiode van twee weken. Daarnaast is er minder ruimte voor verder onderzoek omdat de tijdsduur van een sprint beperkt is.

Verbeteringen

Uit de resultaten van de pilot audit kwamen verbeteringen naar voren die tijdens toekomstige audits bij het CAK worden geïmplementeerd. Deze verbeteringen zijn dat tijdens de laatste sprint over de sprints heen wordt gekeken en wordt vastgesteld welke tussentijdse bevindingen al zijn opgelost. De lengte van de sprints kunnen flexibel worden gemaakt, tussen de twee en vier weken. De lengte van een sprint is dan afhankelijk van het onderwerp, de gewenste diepgang en aanwezigheid van betrokkenen. Wanneer er meerdere agile audits tegelijk lopen is een aanbeveling de start van de sprints niet in dezelfde week te plannen om zo het werk voor de betreffende auditors beter te kunnen verdelen.

Conclusie

Agile auditing zorgt voor meer toegevoegde waarde. Audits worden als effectiever beoordeeld, doordat bevindingen sneller worden opgevolgd door tussentijdse terugkoppeling. Audits worden als efficiënter beoordeeld, doordat er strak wordt gepland en betrokkenen weten wat er van hen wordt verwacht.

Er zitten ook potentiële nadelen aan agile auditing die niet uit de pilot naar voren zijn gekomen, maar wel bij betrokkenen opkwamen. Als sprints niet op werkzaamheden worden ingedeeld, maar bijvoorbeeld op basis van een afdeling of bedrijfsunit, dan bestaat de kans dat uitspraken van geïnterviewden minder anoniem worden. Bij de review meeting is dan makkelijker te herleiden naar wie wat heeft gezegd.

De scope van een agile audit kan gedurende het onderzoek wijzigen. Als bij agile auditing snel blijkt dat iets niet goed zit of juist helemaal prima is en de scope wijzigt naar een ander onderdeel, dan moet erover worden nagedacht welke invloed dat heeft op het eindoordeel. Dat geldt ook voor bevindingen die voor de laatste sprint zijn opgelost.

Tot slot is een interessante vraag of agile auditing door de intensievere samenwerking tussen auditors, contactpersonen en opdrachtgevers leidt tot onbewuste beïnvloeding van de auditors. Hiervoor zou grootschaliger onderzoek moeten plaatsvinden, waarbij bijvoorbeeld wordt gekeken of agile audits gemiddeld een beter oordeel krijgen dan traditionele audits.