Meer effect met data-analyse

Data-analyse wordt steeds belangrijker in de auditwereld. Ook binnen Audit Rabobank, waar we onder andere data driven assurance (DDA) verschaffen. De snelle ontwikkeling van DDA roept wel nieuwe vragen op: hoe volwassen zijn we als internal auditors in het toepassen van DDA? Hoe hoog leggen we de lat? En, hoe komen we daar? Het DDA-volwassenheidsmodel biedt houvast.

Steeds meer auditafdelingen van organisaties hebben DDA als belangrijk speerpunt aangewezen. Het vertrekpunt, in welke mate DDA nu al wordt toegepast en effect heeft in de audit, verschilt sterk tussen deze afdelingen. Echter, zowel auditafdelingen die op lagere als auditafdelingen die op hogere DDA-volwassenheidsniveaus presteren, hebben er baat bij om te bepalen wat werkt en waarom.

Deze kennis maakt het mogelijk om DDA-werk te systematiseren en om het echt onderdeel te maken van het DNA van de auditafdeling. Ook kan, ongeacht de huidige DDA-activiteiten in een auditafdeling, het vergroten van het begrip en zelfbewustzijn over DDA-volwassenheid de kwaliteit van het DDA-werk verbeteren. Uiteindelijk vergroot dit de impact van een auditafdeling op de hele organisatie.

DDA in de Rabobankorganisatie

Binnen Audit Rabobank hebben we gekozen voor een gespecialiseerd team van data-analisten, -scientists en -consultants, het zogenoemde audit data excellence team (ADET). Dit team heeft de opdracht om de auditteams te transformeren en het toepassen van data-analyse te versnellen. En dit in alle domeinen en wereldwijd, zoals credit, compliance, IT en Retail.

ADET werkt daarbij samen met een auditor in elk domein, die de opdracht heeft om DDA in de auditopdrachten van het eigen domein tot een succes te maken. Binnen Audit Rabobank wordt dit de dedicated product owner of DPO genoemd. Afhankelijk van het auditteam en het type audit, wordt DDA steeds vaker in verschillende fasen van de audit toegepast, van planning tot veldwerk en rapportage. Denk hierbij aan op signalen gebaseerde risicobeoordeling, het scopen van de audit, het bepalen van een risicosteekproef en het geautomatiseerd testen van de werking van controls. Het meten van het volwassenheidsniveau van DDA in de interne auditfunctie is belangrijk om te weten waar we staan én om te bepalen waar we naartoe willen.

Het meten van DDA-volwassenheid

Het veelgebruikte en bekende IIA-ambitiemodel wordt gebruikt om de kwaliteit te meten van allerlei aspecten van een interne auditfunctie en om de ambities voor de toekomst te formuleren. Een van de vele aspecten in dit model is data-analyse, dat met zeven andere topics (waaronder role and authority, governance and risk management, strategy en soft sontrols) wordt geschaard onder het thema: services and role of internal auditing.

Het meten van het volwassenheidsniveau van DDA in de interne auditfunctie is belangrijk om te weten waar we staan én om te bepalen waar we heen willen

Dit grotere thema wordt gescoord op een volwassenheidsschaal. Echter, wij voelden de behoefte om gedetailleerder te kijken naar de volwassenheid van DDA in de organisatie dan het IIA-ambitiemodel doet. Data-analyse omvat vele aspecten en het is de moeite waard om dieper naar deze aspecten te kijken om het huidige volwassenheidsniveau gedetailleerder vast te stellen, ambities beter te kunnen bepalen en te versnellen in de toepassing van aspecten.

Uitgangspunten van een meer gedetailleerde meting van de volwassenheid van DDA zijn:

1. het gebruik van verschillende volwassenheidsniveaus;
2. het onderscheiden van verschillende aspecten om tot een eindoordeel te komen;
3. de bruikbaarheid in de Audit Rabobankomgeving: het DDA-volwassenheidsmodel als meetinstrument en communicatiemiddel om de toepassing te versnellen.

DDA-volwassenheidsniveaus

Het denken over volwassenheid is een hot topic dat relevant is voor verdere professionalisering van de auditfunctie. Het is al langer een gedachtegoed in de software engineering (capability and maturity model), en je ziet het ook terug in de accountancy (zoals bijvoorbeeld blijkt uit een special van het Maandblad voor Accountancy en Bedrijfseconomie uit 2020).

Bij de ontwikkeling van ons DDA-volwassenheidsmodel zijn we uitgegaan van een bestaand gedetailleerd model: het UX-volwassenheidsmodel.¹ We hebben dit model aangepast voor DDA en uitgebreid. Het model onderscheidt zes volwassenheidsniveaus (zie figuur 1):

1. Afwezig – DDA wordt genegeerd of bestaat niet.
2. Beperkt – DDA-werk is zeldzaam, wordt ad hoc gedaan en is niet belangrijk.
3. Opkomend – het DDA-werk is functioneel en veelbelovend, maar wordt inconsistent en inefficiënt uitgevoerd.
4. Gestructureerd – de organisatie heeft een semisystematische DDA-gerelateerde methodologie die wijdverbreid is, maar met een verschillende mate van effectiviteit en efficiëntie.
5. Geïntegreerd – DDA-werk is veelomvattend, effectief en alomtegenwoordig.
6. Data driven – systematisch gebruik van DDA op alle (organisatie)niveaus leidt tot diepgaande inzichten en uitzonderlijke resultaten.

DDA-aspecten

We onderscheiden zeven DDA-aspecten die elk kunnen worden gescoord op deze zes niveaus. De aspecten zijn: ADET-ondersteuning, efficiëntie, waarde-focus, DDA-activiteiten, hergebruik, advies en kwaliteit. De combinatie van aspecten en volwassenheidsniveaus levert een 7×6 matrix op (zie figuur 2).

Bruikbaarheid: meetinstrument

De 7×6 matrix is praktisch toepasbaar gemaakt door middel van een vragenlijst. Over elk aspect (bijvoorbeeld, efficiëntie) wordt één vraag gesteld. De antwoordcategorieën beschrijven de zes volwassenheidsniveaus (bijvoorbeeld, van ‘No DDA applied’ tot ‘Efficiency gains are accelerating; The audit process is redefined’). Dit maakt het invullen makkelijk: welke beschrijving past het best?

Als alle zeven vragen zijn ingevuld kan worden bepaald wat het gemiddelde DDA-volwassenheidsniveau is (alle scores/7) of welk niveau de overhand heeft (bijvoorbeeld, vier van de zeven vragen worden gescoord in niveau 2). Elk team binnen een auditafdeling kan de vragenlijst zelfstandig invullen om te zien waar het staat. Binnen Audit Rabobank zijn er teams met een dominant ‘beperkt’ volwassenheidsniveau en anderen met een dominant ‘gestructureerd’ volwassenheidsniveau.

Het ambitieniveau

Een volgende stap is het bepalen van het ambitieniveau. Een afdeling met een beperkt volwassenheidsniveau kan de ambitie hebben binnen een bepaalde periode te komen tot een ‘opkomend’ volwassenheidsniveau. Hierna wordt bedacht wat er nodig is om dit niveau te bereiken. Denk aan DDA-trainingen voor specifieke tools of methoden, DDA-brainstormsessies om te komen tot relevante ideeën en hypothesen, het hergebruiken van bestaand DDA-werk zoals dashboards en het van elkaar leren.

Het DDA-volwassenheidsmodel maakt een veel meer open en meer resultaatgericht gesprek over de DDA-ambitie mogelijk

Om de versnelling te realiseren is ook het bespreken en doorbreken van belemmeringen van cruciaal belang. Veelgehoorde belemmeringen zijn het niet op tijd verkrijgen van relevante data, het niet weten waar te beginnen en daardoor het blijven gebruiken van de traditionele auditmethoden en het geen tijd vinden om analyses uit te voeren. Meer aandacht kan gegeven worden aan die aspecten die achterlopen op de rest of die als lastig worden ervaren. Bijvoorbeeld, het is mogelijk dat analyses gedaan worden binnen audits met behoorlijke impact, maar dat buiten de audits niemand elkaars DDA-werk en dashboards kent en ‘hergebruik’ dus achterloopt.

Bruikbaarheid: communicatiemiddel

We merken dat het DDA-volwassenheidsmodel een veel meer open en meer resultaatgericht gesprek over de DDA-ambitie mogelijk maakt. Te denken valt aan hoe de zaken ervoor staan én wat er nodig is ambities te realiseren. Aan welke hulp is behoefte? Hoe kan het werk efficiënter worden met behulp van DDA? Welke bestaande dashboards worden nog te weinig hergebruikt en hoe kan hergebruik gestimuleerd worden? Wat is de kwaliteit van het DDA-advies aan de auditmanagers? Wat is er voor nodig om de kwaliteit van het DDA-werk te verhogen? Het model is dus niet alleen bruikbaar gemaakt doordat er een vragenlijst aan gekoppeld is, maar ook doordat het als communicatie(hulp)middel ingezet kan worden om de dialoog over DDA te ondersteunen.

De DDA-ambitie van Rabobank

De huidige ambitie van Audit Rabobank is om te komen tot het geïntegreerde volwassenheidsniveau: DDA-werk is veelomvattend, effectief en alomtegenwoordig. Naast de zeven aspecten zoals beschreven in de matrix, zoals toename in efficiëntie en kwaliteit, houdt dit concreet in dat we ons willen richten op:

• Op data gebaseerde auditplanning. Door data onderbouwde prioriteitsstelling in de risicoanalyse en auditplanning.
• Data-first audits – Audits worden ‘by default’ data driven uitgevoerd en zo niet moet worden uitgelegd waarom.
• Bijna-realtime auditing – Datasignalen leiden op vrijwel continue basis tot auditwerkzaamheden door gebruik van slimme algoritmes.
• Algorithm assurance – Er worden steeds meer geavanceerde methoden op basis van machine learning en artificial intelligence gebruikt in de organisatie. Audit wil in staat zijn om hier een goed oordeel over te vormen als opmaat naar algorithm assurance.

Dit is een hoge ambitie, en we zijn ons er terdege van bewust dat dit opschalen aanzienlijke moeite en tijd zal kosten. Ook verwachten we dat er niet altijd een lineaire progressie zal zijn; het kan zelfs uitdagend zijn om een bepaald niveau vast te houden. Belangrijke voorwaarden voor succes zijn de steun van het management, goede samenwerking met eerste en tweede lijn, en het geloof dat DDA een belangrijke plek zal (blijven) innemen in de toekomst.

Voorwaarden voor succes zijn de steun van het management, een goede samenwerking met eerste en tweede lijn, en het geloof dat DDA een belangrijke plek inneemt

Vervolg

Inmiddels is het vrij onomstreden dat DDA veel kansen biedt om auditafdelingen beter, sneller en toekomstgerichter te maken. DDA verdient het om genoeg aandacht te krijgen. Het DDA-volwassenheidsmodel helpt om meer diepte aan te brengen op het vlak van DDA-ambities van een auditafdeling. Het explicieter maken en communiceren van ambities op het gebied van DDA is belangrijk om bewuster te groeien en om het tempo van de ontwikkelingen in het vakgebied én van andere auditafdelingen, die zeker niet stilstaan op DDA-gebied, bij te houden.

Een vervolg kan zijn om dit model verder te integreren met het IIA-ambitiemodel, zodat nog scherper op groei in DDA-volwassenheid kan worden gestuurd naast de andere relevante factoren.

Noot

1. Pernice, K., Gibbons, S., Moran, K. and K. Whitenton, The 6 Levels of UX Maturity. Publicatiedatum: 13-06-2021.