Waarom elke auditor aan de slag moet met algoritmes

Algoritmes zijn net als blockchain en robotic process automation (RPA) een nieuwe techniek waar veel aandacht vanuit de media voor is. Maar wat doet een algoritme, welke risico’s kleven eraan en hoe toets je de effectiviteit? Miranda Pirkovski, strategisch onderzoeker bij de Algemene Rekenkamer, geeft haar visie.

Wat doet u bij de Algemene Rekenkamer?

“Op dit moment onderzoeken wij algoritmes en zijn we bezig een toetsingskader op te stellen voor het gebruik van algoritmes bij de rijksoverheid. Dit onderzoek coördineer ik met een multidisciplinair team met experts op het gebied van data/model, privacy, bestuurskunde, IT-audit, et cetera. Het uiteindelijke doel is het ontwerpen van een breed gedragen en bruikbaar toetsingskader voor algoritmes. Dit toetsingskader wordt, naar verwachting, begin 2021 gepubliceerd.”

Wat is een algoritme?

“Er is geen eenduidige definitie van een algoritme dat door de verschillende beroepsgroepen, zoals accountants en IT-auditors, wordt gehanteerd. Mensen hebben allemaal een ander beeld van de werking van een algoritme, mede gevoed door de media. Over het algemeen omschrijf ik zelf een algoritme als sets van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.
Daarnaast zijn er verschillende typen algoritmes. Zo is de complexiteit van een zogenaamd ‘lerend’ algoritme niet te vergelijken met een eenvoudig algoritme, zoals een eenvoudige beslisboom. Het is dus altijd goed om eerst vast te stellen met welk type algoritme je te maken hebt. ”

Waar worden algoritmes voor gebruikt?

“Dat is een goede vraag en is ook een van de kernvragen van ons onderzoek, waar wij kijken naar de inzet van algoritmes binnen de rijksoverheid. We zijn echter nog niet zo ver om op deze vraag een volledig en concluderend antwoord te geven. In het algemeen zie je dat algoritmes gebruikt worden, net als andere RPA-oplossingen, voor de ondersteuning van de alledaagse bedrijfsvoering. Zowel RPA als algoritmes ondersteunen en/of vervangen vaak repetitieve, handmatige handelingen. Op deze manier wordt de kans op fouten gereduceerd. In de media verschijnen ook regelmatig berichten over de toepassing van algoritmes om (betere) voorspellingen te doen. Als laatste wil ik het algoritme als tool voor risicoanalyse noemen. Op basis van een aantal vooraf gedefinieerde kenmerken ‘berekent’ het algoritme het risicoprofiel, bijvoorbeeld om risicogericht controles in te zetten.”

Wat is de beeldvorming over algoritmes?

“In ons onderzoek hebben we gemerkt dat een algoritme vaak als een black box wordt gezien. De beeldvorming en de beleving over een algoritme tussen mensen loopt ver uiteen en is soms niet juist en/of volledig. We signaleren ook dat de algemene kennis van algoritmes bij de meeste mensen niet of heel beperkt aanwezig is. Dat is niet erg, maar door deze beperkte kennis over (de werking van) een algoritme is men vaak huiverig en terughoudend. Dit hebben we eerder ook gezien bij andere technieken zoals blockchain en cloud. Ons onderzoek duikt in deze black box om vast te stellen wat een algoritme (niet) is en (niet) doet, om uiteindelijk meer kennis te delen en transparantie te creëren. En daarmee ook rust en vertrouwen in de techniek, zowel voor gebruikers (of afnemers) als toezichthouders. Een mooi voorbeeld van het creëren van transparantie is de gemeente Amsterdam die een digitaal algoritmeregister heeft opgesteld voor algoritmes waar de burger mee te maken kan krijgen en kan raadplegen met betrekking tot wat het algoritme precies doet.”

Welke risico’s kleven er aan het gebruik van een algoritme?

“Bij het opstellen van een breed en bruikbaar toetsingskader is gestart met een uitgebreide identificatie van mogelijke risico’s. Dat geldt dus ook voor algoritmes. Tot nu toe zijn er al veel risico’s geïdentificeerd. Deze zijn voor een groot deel terug te voeren op enkele belangrijke pilaren van onze grondwet. Je kunt denken aan bijvoorbeeld het risico op (on)bewuste discriminatie en schendingen van de privacyprincipes. Vaak zijn deze typen risico’s direct verbonden met ethische vraagstukken en dilemma’s. Daarnaast zien we ook de meer traditionele risico’s terug die betrekking hebben op de ‘hard IT controls’.
Door de nadruk op de risico’s van algoritmes te leggen, blijven de kansen van algoritmes voor de consument, het bedrijfsleven en de overheid onderbelicht. Algoritmes kunnen dag en nacht doorgaan en vervangen bijvoorbeeld eenvoudige handelingen. We moeten het gebruik van algoritmes ook zien als efficiënte en effectieve ondersteuning van menselijk handelen en moeten er vooral niet bang voor zijn.”

Wanneer is een algoritme betrouwbaar en bruikbaar?

“Voor de betrouwbaarheid (en dus de bruikbaarheid) is het van belang om een adequate beheersing te realiseren in alle fasen van de levenscyclus van een algoritme; van de ontwikkeling, de ingebruikname, het gebruik en het periodieke/ad-hoconderhoud van een algoritme. Dit is cruciaal als het om een intelligent algoritme gaat die naarmate de tijd vordert, andere uitkomsten genereert. Zo’n algoritme leert namelijk op basis van meer data. De beheersingsmaatregelen gedurende het gebruik en het onderhoud, de achterkant van een algoritme, zijn ook interessant voor een internal auditor. Echter, de techniek is maar de helft van het aspect betrouwbaarheid. De menselijke factor speelt een net zo grote rol.”

“Vergeet als internal auditor vooral niet om naar de mens achter het algoritme te kijken”

Wat is de menselijke factor bij een algoritme?

“Het andere aspect van betrouwbaarheid is de mens. Algoritmes nemen immers geen besluiten (definities aan de inputkant en interpretaties aan de outputkant). En de mens interpreteert en oordeelt nu eenmaal continu, vaak op basis van eigen, eerder opgedane denkbeelden, gedrag en ervaringen. En dat is dus ook een risico, het algoritme kan op een transparante en identieke manier rekenregels vertalen en automatiseren, echter persoon A geeft aan dezelfde uitkomst van een algoritme mogelijk een andere duiding dan persoon B.
De menselijke factor speelt ook bij de ontwikkeling en ingebruikname van een algoritme. Of het algoritme gebouwd is zoals het exact bedoeld is, is een belangrijke vraag om als internal auditor te stellen (en tevens een risico). Om de kans en de uitwerking van dit risico te verkleinen, is het van belang om de bouwers (vaak IT-afdelingen) en gebruikers (vaak operationele afdelingen, maar ook consumenten) van een algoritme bijeen te brengen. Idealiter bouwt de afnemer van een algoritme het algoritme zelf. Maar zelden is de hiervoor benodigde kennis en ervaring (van beide vlakken) bij een of enkele medewerkers van dezelfde afdeling beschikbaar.”

Wat kunt u vertellen over het toetsingskader dat wordt ontwikkelend?

“Er bestaat geen breed en bruikbaar toetsingskader voor algoritmes. Er zijn wel legio raamwerken op het gebied van ethiek, privacy, data, governance, et cetera. Deze raamwerken zijn de basis voor het toetsingskader waaraan wij werken. Ons kader moet vooral helpen bij het stellen van de juiste vragen op basis van de geïdentificeerde risico’s en thema’s. We hebben hierover ook contact met NOREA, de beroepsgroep voor IT-auditors. Zij zijn namelijk in dezelfde fase (en hebben vergelijkbare vragen) met hun onderzoek naar richtlijnen voor de IT-auditor op het gebied van artificial intelligence. Een vereiste voor het toetsingskader van algoritmes is dat het concreet en transparant moet zijn, het moet een handvat bieden voor verschillende disciplines met focus op de (internal) auditors en controleurs/inspecteurs. We realiseren ons dat het toetsingskader begin volgend jaar de basis legt en nog niet af is. We proberen ook allerlei belanghebbenden te enthousiasmeren om het raamwerk te (gaan) gebruiken en verder te ontwikkelen.”

Wat vindt u van de controle op het gebruik van algoritmes bij de Rijksoverheid?

“Ons onderzoek is nog niet afgerond, niet alleen Nederland maar ook in het buitenland zijn we als auditors allemaal op zoek naar hadvatten voor controles op algoritmes, zowel bij de ontwikkeling als bij het gebruik van algoritmes. Inmiddels groeit de omvang van het aantal algoritmes. In het verlengde daarvan groeien ook de verschillende toepassingsgebieden en complexiteit van de algoritmes. Om het speelveld te kunnen overzien, wordt vanuit maatschappelijk oogpunt de roep om toezicht en controle tegelijkertijd luider. Het moment waarop we ons onderzoek uitvoeren, sluit dus mooi aan bij deze vraag.”

Hoe zit het met de kennis van algoritmes bij de gemiddelde auditor?

“De gemiddelde IT-auditor heeft de capaciteit om de juiste vragen op het juiste moment te stellen rondom de techniek. Echter, de internal auditor is ook aan zet om ervaring op te (gaan en blijven) doen. Alle auditors moeten ermee aan de slag vanuit de eigen rol en eigenlijk heeft iedere auditor een minimale bewustwording nodig! Zoek elkaar daarvoor op, bundel kennis en kracht, identificeer de dwarsverbanden tussen de verschillende disciplines en probeer met diagnostisch onderzoek te achterhalen waarom algoritmes (niet) werken. En vergeet als internal auditor dan vooral ook niet naar de mens achter het algoritme te kijken. Mijn advies is om daar niet langer mee te wachten, stap nu in om het te volgen en erbij te zijn, anders loop je binnen de kortste keren achter!”