Kwaliteitsmeting audits: waar kijk je naar?

Internal audits vormen het kernproduct van interne auditfuncties (IAF’s). Het meten van de kwaliteit daarvan is daarom voor de IAF van belang. Onlangs zijn de Global Internal Audit Standards (GIAS) geactualiseerd en gepubliceerd door IIA, met hierin definities en principes die gaan over audits, kwaliteit en het meten ervan.

In de geactualiseerde GIAS is een nadrukkelijkere focus op een materiële benadering van kwaliteit (versus een formalistische benadering) waarneembaar. Kwaliteit wordt nu als volgt benaderd c.q. geformuleerd: quality = conformance + performance. Dit betekent dat, naast het voldoen aan standaarden, ook de prestatie in termen van efficiency en effectiviteit van de IAF relevant wordt geacht. Een brede(re) benadering van kwaliteit dus. Daarnaast is het volgens deze standaarden belangrijk dat er een systeem van interne kwaliteitsbeoordelingen is. En dat het meten van kwaliteit een bijdrage levert aan het verbeteren (ofwel, het lerende vermogen van de auditfunctie) hiervan.

Nadruk

Naar mijn ervaring wordt bij het (intern) meten van de kwaliteit van audits en het classificeren van het kwaliteitsniveau in de praktijk nog steeds vooral de nadruk gelegd op het toetsen van de vastleggingen die zijn opgenomen in afgesloten auditdossiers. Daarmee worden de elementen van interne beheersing bij een auditorganisatie in onvoldoende mate betrokken. Voor het – waar nodig – kunnen verbeteren zijn de elementen van interne beheersing die bepalend zijn voor die kwaliteit echter van primair belang.

Doelstelling

Op basis van de ontwikkelingen in de beroepsgroep en vanuit de regelgeving ontstaat de behoefte aan c.q. noodzaak voor een concreet en praktisch toepasbaar model. Een model dat aangeeft welke elementen van interne beheersing (controls) het meest bepalend zijn voor de kwaliteit van audits. En hoe de opzet, het bestaan en de werking van de controls op een effectieve en praktische wijze kunnen worden gemeten. Het model dient een wetenschappelijke basis te hebben, toe te zien op hard controls én soft controls en het meten hiervan moet concreet zijn gemaakt. Met name het bepalen welke soft controls relevant zijn en hoe deze meetbaar kunnen worden gemaakt is uitdagend en vernieuwend. Een dergelijke uitwerking is er (nog) niet, in ieder geval is er geen uitwerking die in breder verband is gepubliceerd en/of wordt toegepast. Het afstudeeronderzoek voor de post-masteropleiding Internal Auditing & Advisory aan de Erasmus School of Accounting & Assurance (ESAA) heb ik aangegrepen om zelf de handschoen op te pakken en een uitwerking te maken.

Het model bevat hard controls én soft controls, waarbij cultuur meetbaar is gemaakt

Onderzoek

Ik heb onderzocht welke elementen van interne beheersing (controls) bij een auditorganisatie bepalend zijn voor de kwaliteit van audits. En hoe deze op een effectieve en praktische manier kunnen worden gemeten. Met mijn onderzoek heb ik geprobeerd om een effectief en praktisch model op te stellen waarin relevante (actuele) elementen van het hele systeem onder de loep worden genomen, zoals ‘de zachte kant’.

Validatie

De validatie in de praktijk vond tijdens het onderzoek als volgt plaats:

• Zes academische experts (professoren, docenten, onderzoekers) zijn ingeschakeld op de voor het onderzoek relevante vakgebieden (management control, kwaliteitszorg, auditprofessie en onderzoeksmethodologie en -technieken) om de geselecteerde literatuur te bespreken en er zorg voor te dragen dat essentiële modellen en literatuur niet wordt gemist. Naar aanleiding van de afstemmingen met de experts kwam de definitieve selectie van literatuur tot stand die is gebruikt voor het onderzoek.
• Het model is daarnaast voorgelegd aan zeventien auditors (RA/RE/RO) om te toetsen op inhoud en praktische toepasbaarheid (praktijktoets). Deze personen werken als internal auditor, external auditor (accountant) of in het onderwijs (wetenschappelijk docent/onderzoeker), en zijn verbonden aan verschillende soorten organisaties (grote/kleine internal auditfuncties, grote/kleine accountantskantoren, universiteiten).

De reacties op het model (praktijktoets in het onderzoek) op de inhoud en praktische toepasbaarheid zijn overwegend positief. Op basis hiervan kan worden geconcludeerd dat het model geschikt is om te kunnen gebruiken in de praktijk.

Model

De onderzoeksuitkomsten heb ik in een model verwerkt. Het model geef ik de volgende titel mee: model measurement management control system of audit quality (3MCSAQ). Het model bevat hard controls én soft controls, waarbij cultuur meetbaar is gemaakt. Het model is het eindpunt van het onderzoek. Dit model kan worden gebruikt door IAF’s en auditfirma’s in hun kwaliteitsstelsel. Vanzelfsprekend met de kanttekening dat er altijd een bepaalde mate van modificatie nodig zal zijn om te zorgen voor toepasbaarheid in de (betreffende) praktijk.

Onderzoeksuitkomsten

Op basis van de literatuur zijn de relevante controls bepaald, dit resulteert uiteindelijk in 27 controls die zijn geclusterd naar 9 categorieën, waarbij elke categorie samenhangende controls bevat. Elke categorie is gebaseerd op meerdere literatuurbronnen en de namen van de categorieën zijn afgeleid van de aard van de controls. Het doel van het clusteren is om te komen tot een in de praktijk toepasbaar model. De controls zijn uitgedrukt in korte titels ten behoeve van de herkenbaarheid en praktische uitvoerbaarheid. Zie voor de uitwerking voor de controls in het model tabel 1.

De (meeste) controls in het model laten zich vanwege hun aard niet op een check-de-boxwijze meten. Het betekent dat gezien de complexiteit deze controls, met name de soft controls, moeilijker te meten zijn. Het operationaliseren – om te komen tot een model dat uitvoerbaar is in de praktijk – is gedaan aan de hand van de stappen die zijn benoemd in het boek Management control auditing: bijdragen aan doelrealisatie en verbetering (Bos et al. 2017). Zie tabel 2 voor een voorbeeld van leren en verbeteren de uitwerking van het meten voor de controls in de categorie C2.

Het onderzoeksrapport bevat de uitwerking van 27 controls. Daarnaast bevat het rapport een beknopt stappenplan (vijf stappen). Hierin wordt ingegaan op het toespitsen van het model op de eigen organisatie, en op de belangrijkste handvatten die kunnen worden gegeven voor interviews en enquêtes als methoden om controls te meten. Het rapport is opvraagbaar bij de auteur.

Een stap verder

De concrete en praktische uitwerking maakt dat het model een stap verder gaat en zich onderscheidt van bestaande modellen en regelgeving, zoals de international standard on quality management (ISQM1) uit 2022 die gericht is op audits. ISQM1 schrijft voor om KPI’s te bepalen en de effectiviteit van het kwaliteitsmanagementsysteem te evalueren. De precieze uitwerking hiervan wordt aan de auditorganisatie overgelaten, een blauwdruk voor het meten en het evalueren wordt niet gegeven. In het model is hierin wel voorzien doordat het meten van controls (in detail) is uitgewerkt naar:

• bronnen: personen, documenten en registraties;
• ontsluitingstechniek: ondervraging (interview/enquête) en inhoudsanalyse;
• indicatoren, meeteenheden en normen.

Conclusie

Met het model 3MCSAQ wordt geprobeerd om bij de kwaliteitsmetingen te kijken naar de relevante management controls met betrekking tot de kwaliteit van audits. Het model draagt bij aan het verkrijgen van inzicht in de kwaliteit, het evalueren van het kwaliteitsniveau en het verbeteren van het management control system (MCS). Het model bevat de elementen van interne beheersing (controls) die volgens de wetenschappelijke literatuur het meest bepalend zijn voor de kwaliteit van audits, en hoe deze (hard én soft) controls op een effectieve en praktische wijze kunnen worden gemeten.

Ik zie als belangrijkste redenen om het model te gebruiken:

• wetenschappelijke basis: het model is gebaseerd op wetenschappelijke literatuur, getoetst door academici;
• inhoud: hard controls, soft controls en het meten ervan bij elkaar gebracht in één model, auditors ingeschakeld om de inhoud te challengen;
• praktisch gehalte: de controls en het meten hiervan zijn concreet gemaakt tot op het niveau van uitvoering in de praktijk, het model is getoetst op praktische toepasbaarheid door auditors uit de praktijk.

Helpt het model auditorganisaties ook daadwerkelijk inzicht te krijgen in de kwaliteit van haar audits en om haar management control (verder) te verbeteren? Deze vraag kan (pas) worden beantwoord als het model is geïmplementeerd door auditorganisaties en de toegevoegde waarde ervan is onderzocht. Wie pakt deze handschoen op?