Observatieratings in auditrapportages

In de rubriek De afgestudeerde presenteert een recent afgestudeerde van de post-initiële RO-opleiding in Amsterdam of Rotterdam zijn of haar onderzoeksresultaten en geeft hierop een reflectie.

Onder een meerderheid van de interne auditfuncties (IAF’s) worden observatieratings gebruikt. Maar zijn internal auditors er zich wel voldoende van bewust wat het toevoegen van zo’n observatierating doet met de lezer van het auditrapport?

Het gebruik van observatieratings in internal auditrapportages nam de afgelopen jaren toe en wordt door de internal auditor gezien als een mooie tool om een mate van urgentie toe te voegen aan een observatie. Hoe kunnen situaties worden voorkomen waarin er meer discussie is over de kleur van de observatie dan over de inhoud van de observatie? En wegen de voordelen wel op tegen de mogelijke nadelige effecten?

Observatieratings

Veel IAF’s nemen aan het eind van een auditrapport een rating op om de bevindingen samen te vatten en de belangrijkste conclusies van het rapport onder de aandacht te brengen. Ook individuele bevindingen worden vaak voorzien van een rating. Deze observatieratings zijn bedoeld om het management een indicatie te geven van de mate van effectiviteit van de internal audit controls binnen het geauditeerde proces. Het toevoegen van een risicorating heeft daarnaast als doel de observaties in het auditrapport te prioriteren.

Een eenduidig ratingsysteem helpt auditors om het risico van een bevinding te classificeren in de context van de organisatie. Bovendien geeft het een richtlijn, benadrukt het de noodzaak om actie te ondernemen en biedt het een basis voor het vergelijken van uitgevoerde audits. In de praktijk zien we dat er een aantal methoden worden gebruikt binnen IAF’s. Beoordelingen kunnen worden gescoord met een cijfer, bijvoorbeeld van een tot en met vijf; een kleur, vaak rood, geel en groen; of met een bijvoeglijk naamwoord zoals ‘voldoende’, ‘matig’ of ‘onvoldoende’.

Hoe kunnen situaties worden voorkomen waarin er meer discussie is over de kleur van de observatie dan over de inhoud van de observatie?

Voor- en nadelen observatieratings

Als er vervolgens wordt gekeken naar de voor- en nadelen van observatieratings dan zijn er een aantal afwegingen. Observatieratings maken het makkelijker om de resultaten van internal audits met elkaar te vergelijken, bijvoorbeeld tussen locaties, filialen of regio’s. En het geeft de lezer van het auditrapport handvatten over de mate van prioriteit en dus opvolging. Daarentegen, wanneer observatieratings niet worden gebruikt, is het makkelijker voor de auditor om zich te concentreren op de opkomende thema’s en zal het een samenwerkingsrelatie stimuleren.

Verder zien we in de praktijk dat wanneer het management of het audit committee te veel nadruk legt op de observatierating, de rating een polariserend effect heeft op het management, waarvan de prestatie in één conclusie worden samengevat. Het gevolg is dat er soms meer tijd moet worden gestoken in de discussie over de rating van de observaties dan over de daadwerkelijk inhoud en acceptatie daarvan.

Naast de perceptie van de rating op de gebruiker van het internal auditrapport heeft de toepassing ook invloed op de perceptie van de internal auditor zelf. Voor de auditor is het een uitdaging om de ratingmethodologie goed te definiëren en consistent toe te passen. Verder is het belangrijk dat de internal auditor zich realiseert dat hij tools in handen heeft om de mate van urgentie en belang te beïnvloeden. Maar in hoeverre wordt de auditee dan beïnvloed door de observatierating bij het vormen van een oordeel?

Onderzoek

In een praktijkonderzoek onder meerdere personen die werken als manager in het Nederlandse bedrijfsleven, is een experiment uitgevoerd om deze vraag te beantwoorden. In dit experiment is getoetst hoe deze managers een viertal observaties prioriteren onder een tweetal condities; met observatierating in de vorm van een tweetal kleuren (groen en rood) en zonder rating.

Uit dit onderzoek blijkt dat de kleur van een rating, ongeacht de inhoud van de observatie, leidend is voor de mate van prioritering door de respondenten. En dit is interessant. Het betekent namelijk dat de toegekende observatierating de daadwerkelijke inhoud van de rating overschaduwt. Dit benadrukt dat de auditor zich er goed van bewust moet zijn welke rating hij gaat toekennen aan de observatie. Nattevingerwerk in het toekennen van een rating is dus geen optie!

In het meest extreme geval zou dit ertoe kunnen leiden dat een laag-risico-observatie, die onjuist een gele of zelfs rode kleur heeft gekregen, de overige observaties in een auditrapport overschaduwen. Aangezien de auditee voornamelijk steunt op dit ‘professional judgement’ van de auditor, zal de auditee dus onterecht op het verkeerde been worden gezet. Iets wat je wilt voorkomen bij het rapporteren aan het management en het audit committee.

Uit dit onderzoek blijkt dat de kleur van een rating – ongeacht de inhoud van de observatie – leidend is voor de mate van prioritering door de respondenten

Praktische adviezen

Met deze informatie in gedachten moeten IAF’s zich afvragen of het toekennen van observatieratings het juiste middel is om het uiteindelijk doel te bereiken: organisaties helpen bij het optimaal beheersen van risico’s. Enkele handvatten kunnen hierbij in acht worden genomen.

Allereerst moeten internal auditors er zich voldoende van bewust zijn dat het oordeel van een auditee significant beïnvloed kan worden met een observatierating. Het niet juist toepassen van een observatierating kan onbewust een verkeerd signaal afgeven naar de auditee in de noodzaak om actie te ondernemen.

Verder zal het toevoegen van bepaalde kleuren onbewuste associaties opwekken bij de auditee. Rood roept urgentie op en dient dus als stimulans tot het nemen van actie. Oranje staat voor overstuur en benadrukt een bepaalde mate van urgentie. Geel staat voor vrolijkheid en zal beperkte stimulans geven aan prioriteit. Groen en blauw staan voor veiligheid, en geven weinig tot geen stimulans tot actie.

Het toepassen van een consistente en eenduidige ratingmethodologie zal daarnaast bijdragen aan een beter begrip bij de auditee. Een afstemming van de observatieratingmethodologie met de auditee voorafgaand aan de rapportage zal de variantie in toepassing minimaliseren, net als de kans op discussie. En misschien wel het belangrijkste, het toepassen van de observatierating moet passen in het mandaat van de betreffende internal auditfunctie en de bedrijfscultuur waar de audit wordt uitgevoerd. Wanneer er internal audits worden uitgevoerd met als doel vergelijkbaarheid van afdelingen, landen, organisaties en of regionen voor dezelfde organisatie, dan heeft het gebruik van een observatierating wellicht de voorkeur. Bij opdrachten met vooral adviezen en minder assurance valt het kwartje – de afweging – al snel de andere kant op.

Ter afsluiting

Uit meerdere onderzoeken, en ook weer uit dit onderzoek, blijkt dat het binnen het internal auditvakgebied nog vaak onduidelijk is wat het effect op de lezer van een internal auditrapport is wanneer observatieratings worden gebruikt. Dit samen met de verwachte prominentere rol van internal audit, geeft aan dat er meer vraag is naar meer inzichten op dit onderwerp.

Sommige organisatie zullen zich zorgen maken dat ratings de auditor verplaatsen naar de ‘politierol’. Dit strookt niet met de ambitie van veel IAF’s die zich meer willen bewegen naar die ‘trusted advisor’-rol. Organisaties waar deze ratings discussies veroorzaken en de publicatie van auditrapportages vertragen vanwege die discussies, zullen zich waarschijnlijk steeds meer afvragen of deze ratings wel moeten worden gebruikt. Kortom, genoeg stof tot nadenken!