De opmars van modelaudits

Financiële, compliance-, risicomodellen bij banken: technisch en vaak complex en – zo is de gedachte – in goede handen van kwantitatieve specialisten. Echter, door de grotere afhankelijkheid van deze modellen neemt de behoefte aan assurance toe. De vraag waar auditors tegenaan lopen is: hoe dan? Dit artikel gaat in op de theorie en praktijk van audits naar interne modellen.

De leiding van banken en de ECB doen in toenemende mate een beroep op de internal auditfunctie (IAF) om behalve het raamwerk voor het managen van modelrisico’s ook de bancaire financiële, compliance- en risicomodellen zelf te beoordelen. Niet zo vreemd, want banken leunen steeds meer op deze kwantitatieve en complexe modellen in hun bedrijfsprocessen. Hierdoor neemt ook het risico toe dat modellen fouten bevatten of onjuist worden gebruikt.

Gebrekkig risicomanagement

Incidenten uit het verleden laten zien dat de financiële gevolgen enorm kunnen zijn. Een voorbeeld is een incident bij JP Morgan in 2012, bekend geworden onder naam ‘London Whale’. Door gebrekkig risicomanagement en een fout in een spreadsheet zijn posities opgebouwd die uiteindelijk tot een verlies van £ 7 miljard hebben geleid. Een ander voorbeeld is Aegon. De verzekeraar heeft door een fout in de adviesmodellen mogelijkerwijs klanten misleid en is hiervoor in augustus 2018 beboet door de Amerikaanse beurswaakhond SEC.

Banken gebruiken interne modellen voor het berekenen van het vereiste – het zogenaamde Basel pillar I – kapitaal voor krediet- en marktrisico’s. Het risico bij deze modellen is dat een bank te weinig kapitaal opzijzet. Geen wonder dat de ECB hamert op de wettelijke rol die de IAF heeft bij de beoordeling van deze modellen. Aan de andere kant worstelt de IAF op welke wijze audits naar modellen moeten worden uitgevoerd. Dit artikel biedt handvatten en is gebaseerd op mijn onderzoek aan de Executive MSc of Internal Auditing (EMIA) opleiding van de UvA.

Grip houden op modellen

Om modellen en het gebruik hiervan in de greep te houden hebben de banken een raamwerk voor het managen van modelrisico’s. In dit raamwerk is de besturing rondom modellen vastgelegd. Hierbij gaat het om antwoorden op vragen als: wie is verantwoordelijk voor het model, wie houdt het overzicht op de modellen en het gebruik daarvan, wie houdt bij welke modellen in gebruik zijn en wie valideert en monitort de modellen? Het three-lines-of-defensemodel geldt als uitgangspunt.

De eerste lijn zijn de bankiers. Zij gebruiken het model in hun processen en zijn verantwoordelijk voor de deugdelijkheid en het gebruik van het model. De tweede lijn bestaat uit validatie- en controlfuncties. De validatiefunctie controleert voor ingebruikname de juistheid van het model. Daarnaast vindt na ingebruikname monitoring plaats door middel van ‘back testing’. Onontbeerlijk hierbij is een modelvoorraadsysteem, waarbij modelgegevens worden bijgehouden als datum ingebruikname, laatste beoordelingsdatum, de uitkomst van deze beoordeling en het modelrisico uitgedrukt in omvang en complexiteit. De derde lijn, de IAF, beoordeelt de effectiviteit en efficiëntie van het geschetste raamwerk.

Onderzoek naar auditen interne modellen

In mijn afstudeeronderzoek ben ik nagegaan welke wettelijke eisen er gelden voor het auditen van interne modellen. Daarna is door middel van interviews in kaart gebracht welke benadering de vier grote Nederlandse – commerciële – grootbanken volgen. Het doel was om tot adviezen aan de IAF van banken te komen voor de uitvoering van audits naar interne modellen.

Het gebruik van interne modellen voor kapitaalberekening is gebonden aan voorwaarden en is pas toegestaan na goedkeuring van de ECB

Wettelijke eisen aan IAF voor auditen interne modellen

Alle Nederlandse banken moeten voldoen aan de CRR, de Capital Requirements Regulation. Hierin geeft de Europese wetgever weer voor welke risico’s banken kapitaal moeten aanhouden en op welke wijze dit kapitaal dient te worden berekend. Banken kunnen een standaardbenadering volgen of hiervoor interne modellen ontwikkelen. Voor grote banken loont het om interne modellen te ontwikkelen die rekening houden met het risicoprofiel van de leningenportefeuille c.q. handelspositie van de bank. Het gebruik van interne modellen voor kapitaalberekening is gebonden aan voorwaarden en is pas toegestaan na goedkeuring van de ECB. Een van de voorwaarden is dat de IAF de interne modellen en het gebruik daarvan periodiek evalueert.

De eisen aan de IAF voor het auditen van interne modellen staan in twee CRR-artikelen. Artikel 191 heeft betrekking op kredietrisicomodellen, artikel 368 op marktrisicomodellen. Daarnaast geeft de European Bank Authority (EBA) via regulatory technical standards nadere voorschriften voor interne modellen. Een onderdeel hiervan is het auditen van interne modellen. Voorts heeft de ECB in het zogenaamde TRIM (Targeted Review Internal Models) programma, hun interpretatie weergegeven van de CRR in de ‘ECB guide to internal models – general topics chapter’. Hierin staan eveneens de ECB-verwachtingen ten aanzien van de IAF.

Raamwerk voor auditen interne modellen

Uit de wet- en regelgeving zijn in het onderzoek zes componenten afgeleid die op zichzelf of in combinatie van belang zijn bij het auditen van interne modellen. In figuur 1 zijn deze zes componenten weergegeven. Centraal uitgangspunt, in het midden, zijn de verplichte IIA Standaarden. De componenten 1, 2, en 3 hebben betrekking op welke activiteiten de IAF dient uit te voeren bij het evalueren van interne modellen. Als eerste geldt er een verplichte jaarlijkse algemene beoordeling van de interne modellen die in gebruik zijn. Het gaat hier om een risicoanalyse met een overall oordeel over het risico van het interne modellenlandschap. Dit is de basis voor het auditplan ten aanzien van interne modellen. Ten tweede is het aan de IAF jaarlijks de governance ten aanzien van interne modellen te beoordelen. Ten slotte behoort de IAF volgens de ECB ‘deep dives’ uit te voeren, dit zijn de specifieke audits naar modellen.

De componenten 4, 5 en 6 betreffen wat de IAF dient te onderzoeken als er een audit (deep dive) wordt uitgevoerd naar een intern model. De beoordeling van interne modellen door de IAF is zeer breed. De beoordeling bestaat bij kredietrisicomodellen uit 8 en bij marktrisicomodellen uit 10 elementen. Elementen bij het auditen van een bestaand intern model zijn een beoordeling van het gebruik in de bancaire processen, van de documentatie, van de technische juistheid, van de monitoring en van de betrouwbaarheid van de data en IT-processen die samenhangen met het model. Component 6 bevat specifieke te auditen elementen bij nieuwe interne modellen. Voor nieuwe interne modellen die een grote impact hebben en/of zeer complex zijn moet de bank goedkeuring aanvragen bij de ECB. In tegenstelling tot voorheen verlangt de ECB nu dat de IAF de goedkeuringsaanvraag beoordeelt voordat deze wordt ingediend bij de ECB.

Door het toenemende belang en de complexiteit van modellen zullen het management en ECB een steeds groter beroep doen op de IAF

Modelaudits in de praktijk

Uit interviews met afdelingsmanagers van de IAF, validatie- en controlafdelingen van de vier commerciële grootbanken blijkt hoe zij de regelgeving over interne modellenaudits interpreteren en toepassen. Hierna volgen de drie belangrijkste observaties uit deze interviews.

• Ten eerste is er geen gemeenschappelijke visie over de uitvoering van interne modellenaudits. Zo verschilt de aanpak van de jaarlijkse algemene beoordeling van interne modellen. Banken voeren wel audits uit naar interne modellen, echter zonder een afzonderlijke risicoanalyse te maken van het totaal aan interne modellen, met daarbij een auditplan. En zonder hierover apart te rapporteren aan het senior management.
• Ten tweede geven de banken verschillend invulling aan modelaudits. Dit varieert van het beoordelen van de modelontwikkel- en validatieafdeling tot het technisch willen beoordelen en monitoren van de modellen. De uitvoering van het ‘technische deel’ van de modelaudit wordt bij de een in beginsel uitbesteed aan een externe consultant, bij de ander worden juist ‘quants’ in de auditdienst opgenomen en bij een derde wordt door ‘job rotation’ de vereiste kennis binnengehaald. Alle geïnterviewde auditors vinden het een uitdaging te voldoen aan de ECB-wens om minimaal één keer per drie jaar de interne modellen te beoordelen, hetzij afzonderlijk, hetzij in het kader van een thema-audit.
• Ten derde blijkt dat de geïnterviewde auditors vinden dat zij vooral ook de modellen technisch moeten beoordelen bij modelaudits. Daarentegen vinden de validatiemanagers en de kredietrisicocontrollers juist dat de IAF alle elementen rondom modelontwikkeling en -gebruik dient te evalueren bij modelaudits. Zij zijn van mening dat de IAF zich moet concentreren op het evalueren van die elementen die buiten de scope van validatie en de kredietrisicocontrol-afdeling vallen. Zij denken hierbij aan het gebruik van de modellen in de bancaire processen en aan de betrouwbaarheid van de data. In de praktijk kan dit er dus toe leiden dat bepaalde elementen uit het raamwerk voor modelaudits dubbel worden beoordeeld en bepaalde elementen tussen de wal en het schip vallen. Daarnaast blijkt dat de IAF’s verschillen van mening over of zij een modelaudit moeten uitvoeren bij een materiële modelwijziging.

Naar best practices voor modelaudits

Uit het onderzoek volgt een groot aantal adviezen. Deze adviezen zijn ingedeeld in drie categorieën:
1. voldoe aan wet- en regelgeving;
2. vergroot effectiviteit van modelaudits;
3. maak efficiënt gebruik van de beschikbare middelen.

Bij de eerste categorie, voldoe aan wet- en regelgeving, is de belangrijkste tip om de vereiste jaarlijkse algemene beoordeling van de interne modellen te baseren op een risicoanalyse en deze separaat te rapporteren aan het seniormanagement. De risicoanalyse maakt duidelijk naar welke onderdelen van het modellenlandschap een audit (deep dive) moet plaatsvinden. Het advies daarbij is dat de IAF bij een modelaudit niet alleen het model technisch onderzoekt, maar ook de daarmee samenhangende processen zoals data en IT-systemen en het gebruik van de modellen door de eerste lijn. Voorts: voer bij materiële modelwijzigingen altijd een audit uit op het ontwikkel- en goedkeuringsproces van modellen. Ten slotte, audit bij governance niet alleen de validatieafdeling maar ook de kredietrisicocontrolafdeling. Behalve dat dit wettelijk verplicht is, kan hierdoor ook vastgesteld worden of de IAF kan steunen op de werkzaamheden van validatie en de credit risk control unit.

Naar effectievere modelaudits

De tweede categorie adviezen gaat over het vergroten van de effectiviteit van modelaudits. Interne modellen zijn veelal ingewikkeld en gedetailleerd. Verder kan de beperkte beschikbaarheid van goede data de bank parten spelen. Dit kan tot een grote hoeveelheid bevindingen leiden. Het advies aan de IAF is juist om zich te beperken tot de achterliggende oorzaken en grote issues bij modelaudits. Zo blijkt dat bevindingen bij interne modellen veelal leiden naar de achterliggende oorzaak dat de datakwaliteit onvoldoende is.

Voer bij materiële modelwijzigingen altijd een audit uit op het ontwikkel- en goedkeuringsproces van modellen

Daarnaast is het advies om goed de scope van een model-audit met de opdrachtgever af te spreken. Het raamwerk voor modelaudits laat zien dat de scope van modelaudits zeer breed is. Uit de risicoanalyse kan blijken dat niet alle elementen even relevant te zijn. Neem de tijd om de scope van de modelaudit en de informatie die nodig is om tot een oordeel te komen, goed af te stemmen met de opdrachtgever.

Ten slotte, investeer in mensen en middelen. Een modelaudit kan niet zonder een auditor met kwantitatieve kennis. Zorg daarnaast dat een aantal auditors kennis en toegang heeft tot de technische tools waar ook de modelleer- en validatieafdeling mee werken.

Naar efficiënt gebruik van middelen

De derde categorie adviezen gaat over een efficiënt gebruik van middelen. Modelaudits moeten bijdragen aan de beheersing van het modelrisico binnen de bank. Vanuit de regel-geving en de ECB zijn er veel verplichte audits. Pas de diepgang van deze audits risk based aan. Hierdoor kan worden voldaan aan de regelgeving, maar wordt tegelijkertijd voorkomen dat veel capaciteit wordt ingezet op modellen met weinig risico. Leg daarnaast de focus bij modelaudits op die elementen met de minste checks and balances. Met andere woorden, steun zoveel mogelijk op de werkzaamheden van validatie- en controlafdelingen. Hierdoor wordt voorkomen dat dubbel werk wordt gedaan of dat bepaalde elementen niet worden onderzocht door tijd- en/of capaciteitsgebrek.

Ten slotte

De opmars van modelaudits is niet te stuiten. Door het toenemende belang en de complexiteit van modellen zullen het management en ECB een steeds groter beroep doen op de IAF. Publiceerde het IIA al in maart 2018 de praktijkgids Auditing van modelrisicomanagement, nu is ook voor het eerst de theorie en praktijk van het auditen van interne bancaire modellen onderzocht. Veel resultaten lijken ook bruikbaar voor overige modellen en voor andere sectoren, maar er is ook nog volop ruimte voor vervolgonderzoek!