Data analytics volgens het push-leftprincipe

Data analytics bieden vele mogelijkheden voor de innovatie van het werk van internal auditors, maar de praktijk leert dat die nog onvoldoende benut worden. Dit artikel bespreekt hoe het push-leftprincipe internal auditors helpt om data analytics te positioneren in hun werk.

De toegenomen belangstelling voor data analytics leidt tot hoge verwachtingen en mogelijkheden, ook voor internal auditors. De situatie lijkt een beetje op big data: iedereen heeft het erover, maar (bijna) niemand gebruikt het nog. We noemen drie soorten verwachtingen.

1 – Kwantificering

De toegevoegde waarde van internal auditors blijft moeilijk te duiden, zeker als zij in operational audits de risico’s in een proces als laag inschatten en later toch blijkt dat de procesbeheersing serieuze tekortkomingen kent. Tegelijkertijd begrijpt iedereen dat internal auditors niet alles kunnen zien. Zeker als het gaat om grote processen, zou het dan niet mogelijk zijn om op basis van allerlei sporen die processen tegenwoordig achterlaten in systemen aangevuld met extra waarnemingen, op zijn minst de onzekerheid in de beoordeling van de internal auditor te kwantificeren?

Ook wordt de internal auditor geacht zijn unieke onafhankelijke positie en toegang tot databronnen om te zetten in op feiten gebaseerde observaties waar de organisatie op kan acteren. Niet alleen de interne maar in toenemende mate ook externe data, kloppen elke dag weer op zijn deur met de brutale boodschap: misschien bevatten wij wel toegevoegde waarde waardoor de organisatie beter in staat zal zijn haar doelen te verwezenlijken.

Deze combinatie maakt de vraag of internal auditors ook kwantitatief kunnen duiden wat hun toegevoegde waarde is – inclusief de kans dat zij in hun beoordeling iets over het hoofd zien – op termijn onvermijdelijk.

Casus Pensioenverzekeraar

In het kader van haar toezichtsproject Quinto vroeg de DNB een aantal pensioenverzekeraars om inzicht te geven in de juistheid van de aanspraken in de administratie. De vraag die hierbij centraal stond was: krijgt de deelnemer waar hij/zij recht op heeft? Een slimme data-analyse van de internal auditor toonde aan welke mutaties in welke systemen het meest foutgevoelig waren en hierdoor nader bekeken dienden te worden door middel van een steekproef. Met name voor complexe tailor-made pensioenproducten bleek het herleiden van de mutaties in aanspraken naar pensioencontracten een ingewikkelde en arbeidsintensieve klus.

De steekproef toonde verder aan dat de tailor-made pensioenproducten veel handmatig werk opleverden en dat dit tot veel foute mutaties leidde. Het inzicht in de controle-inspanning en foutgevoeligheid van deze complexe tailor-made producten overtuigde het management van het nut en de noodzaak van productrationalisatie en vormde daarmee een waardevol hulpmiddel in de besluitvorming over de te voeren productportfolio. In termen van figuur 1 in dit artikel: het risico dat aanspraken niet kloppen werd deels gemitigeerd door het inherente risico te verkleinen.

2 – Effectiviteit

Aan goedkope rekenkracht is in de meeste organisaties geen tekort. En anders is er nog de cloud die deze – tegenwoordig ook veilig – kan leveren. Algoritmes worden slimmer. Bron-documenten die vroeger nog handmatig uit hard-copy archieven moesten worden gelicht zijn steeds vaker integraal elektronisch beschikbaar. Dit roept zeker vanuit een data driven organisatie de vraag op of daarmee de werkzaamheden van de internal auditor effectiever kunnen worden en meer waarde kunnen toevoegen. Dit maakt de internal auditor die nog dagen spendeert aan het vangen van de complexe wereld in de twee dimensies van zijn spreadsheet (rijen en kolommen) zonder toegang tot die slimme algoritmes op zijn minst onrustig, want hij weet zelf ook wel dat voor data analytics geldt dat excelleren iets anders is dan Excel leren. Om te excelleren is meer nodig.

3 – Data driven audit

Steeds vaker baseren toezichthouders zich op uitgebreide data-extracties om hun oordeel te bepalen, zonder daarbij uitgebreid aandacht te besteden aan de inrichting van de processen die ten grondslag liggen aan de opgevraagde gegevens. Een voorbeeld hiervan is het uitvragen van ‘loan tapes’ tijdens de asset quality reviewexercitie door de ECB. Ook bij externe auditors wordt data steeds meer gebruikt bij het geven van goedkeurende verklaringen. Een voorbeeld hiervan zijn de data-analyses in het kader van de ISA 240-richtlijn (frauderichtlijn). Als toezichthouders en externe auditors zich minder richten op het proces roept dit de vraag op wie eventuele bevindingen terugvertaalt naar lacunes in het proces of de beheersmaatregelen. Tijd om aandacht te geven aan wat we het push-leftprincipe noemen.

Push-left data analytics als antwoord op uitdagingen

We zullen nu eerst het push-leftprincipe in beknopte vorm uitleggen en daarna toelichten hoe dit principe elk van de drie uitdagingen het hoofd biedt. Voor de volledige uitleg verwijzen wij naar het MAB-artikel uit 2013, waarin we het push-leftprincipe hebben geïntroduceerd.

Figuur 1 visualiseert het push-leftprincipe. Het product van de vier risico’s is, net als in het audit risk model, de kans dat een verantwoording een fout groter dan de controletolerantie van de auditor bevat. Boven de risico’s staat de keten van besluiten die deze risico’s beïnvloeden: de partijen die invloed uitoefenen op deze keuzen staan bovenaan. Van links naar rechts neemt de invloed van het management af terwijl die van de interne en externe auditors en toezichthouders juist toeneemt.

Data analytics maken het de internal en external auditor mogelijk om elk van de vier risico’s te kwantificeren. Waar dit niet mogelijk is schrijft het voorzichtigheidsbeginsel een risico van 100% voor. Slimme statistische modellen op diverse databronnen zorgen voor nieuwe mogelijkheden voor de kwantificering van met name het inherente risico, het interne beheersingsrisico en het cijferanalyserisico. Zie de kaders voor voorbeelden. Met deze vier risico’s kan de auditor het risico dat hij een tot een verkeerd oordeel komt kwantificeren.

Het push-leftprincipe betekent dat een auditor start aan de rechterkant (steekproef/cijferanalyse) en op basis hiervan kijkt naar het interne beheersingsrisico om dan stil te staan bij het inherente risico. Vaak zullen audits precies andersom gaan. Starten met het inschatten van inherente risico. Dan kijken naar processen, het beoordelen van interne beheersingsmaatregelen om te eindigen bij een steekproef (van links naar rechts).

Casus Uitkeringsinstantie

De interne accountantsdienst van een uitkeringsinstantie slaagt erin om de rechtmatigheidscontrole voor een bepaald type uitkering jaarlijks te vernieuwen door steeds meer elektronische data te betrekken zodat steeds minder criteria voor rechtmatigheid door middel van steekproeven gecontroleerd hoeven te worden. Daarnaast organiseert zij jaarlijks een risk & control self assessment workshop met de eerste en tweede lijn. De uitkomsten van die workshop worden gebruikt om business rules aan te scherpen en de massa slimmer te stratificeren op foutgevoeligheid.

Foutgevoelige strata worden intensiever gecontroleerd, hoewel er ook nog beperkte controlewerkzaamheden in de minst risicovolle deelmassa plaatsvinden. Gevonden fouten worden vertaald in nog slimmere stratificaties voor de controle van volgend jaar. De eerste en tweede lijn voelen zich gewaardeerd omdat hun kennis optimaal wordt ontsloten. Er ontstaat een cultuur waarin niet langer jaar-in-jaar-uit hetzelfde controleprotocol wordt afgedraaid, maar waarin het de ambitie is om het controleprotocol elk jaar wéér slimmer te maken.

Waar gevonden fouten eerder als een ramp werden beschouwd omdat ze niet in een geïsoleerde massa werden gevonden en dus al snel opbliezen tot een ontoelaatbare fout, worden ze nu juist verwelkomd omdat hun extrapolatie naar het geheel beperkt is maar ze wel handvatten bieden om nog slimmer te stratificeren. Een gevulde koek voor iedereen die een fout vindt!

Echter, de belangrijkste meerwaarde van het push-leftprincipe volgt als we juist van rechts naar links gaan. De internal auditor kan elke bevinding (bijvoorbeeld uit een steekproef) die hij zelf doet gebruiken om de zekerheid links van hem te vergroten. Als we rechts beginnen betekent dit dat hij gevonden fouten in zijn steekproeven gebruikt bij zijn cijferanalyses. Inzichten uit de cijferanalyses en steekproeven kunnen leiden tot business rules die in de interne beheersing van de processen kunnen worden ingebed. Geconstateerde zwakheden in de interne beheersing die zo worden ontdekt, kunnen leiden tot aanbevelingen tot productrationalisatie ter verlaging van het inherente risico, zodat delen van de interne controle overbodig worden. Een dergelijke aanbeveling is de ultieme push left. Hoe verder naar links de aanbeveling doorwerkt hoe hoger doorgaans ook de toegevoegde waarde. Het bovenstaande wordt aangegeven met de drie push-leftpijlen onder de figuur.

Binnen de organisatie bevindt de internal auditor zich rechts in de keten, terwijl hij via zijn controlemix wel de risico’s in de hele keten in kaart brengt. Hij heeft dus de mogelijkheden om een beweging naar links te initiëren. Op basis van de bevindingen van de toezichthouder of de externe auditor krijgt hij vanuit rechts ook nog eens goede ideeën voor steekproeven en cijferanalyses in zijn schoot geworpen. Naast het afgeven van gekwantificeerde zekerheid als daar aanleiding toe is initieert hij zo ook verbeteringen in zijn organisatie. Dit zijn de op feiten gebaseerde observaties waar de organisatie op kan acteren en waarvoor de internal auditor meer waardering zal oogsten en meer waarde zal kunnen toevoegen. Hij doet dit primair als continue verbeteraar van zijn eigen organisatie en pas secundair als verbeteraar van de auditprocessen.

Kortom, het push-leftprincipe zorgt ervoor dat de internal auditor zijn onzekerheid kwantificeert, steeds effectiever werkt maar vooral ook continu verbetering aanjaagt binnen zijn organisatie. Last but not least, zijn werk wordt er een stuk interessanter door en eventueel koudwatervrees voor data analytics zal snel omslaan in enthousiasme en kansen!