Agile beter auditen met data-analyse

UIT DE IT-AUDITOR
Dit artikel is eerder gepubliceerd op deitauditor.nl

Ben jij een (IT-)auditor? En vind je systeemontwikkelingsprocessen ook lastig te beoordelen door het gebruik van agile- en devopswerkwijzen? Dan ben je niet alleen.

De IT-auditaanpak ontstond in het oer-Cobol/Mainframetijdperk. Omdat de IT-wereld continu verandert, word jij als auditor voortdurend uitgedaagd om de auditaanpak van systeemontwikkeling daarop aan te passen. In de huidige tijd past een overweging om meer gebruik te maken van data-analyse voor de beoordeling van het systeemontwikkelproces. Dit kan door data te gebruiken die vaak toch al aanwezig is in het systeemontwikkeltraject. Ik vroeg me af of data-analyse misschien de ‘silver bullet’ voor de audit van agilesysteemontwikkeling is. In dit artikel vind je mijn reflecties op deze vraag.

Zelfstandig bepalen

Gecontroleerd, stap voor stap met nieuwe software door de ontwikkel-, test-, acceptatie- en exploitatietest-omgeving naar de productieomgeving zoals bij de watervalmethode is niet meer de standaard. Softwareontwikkelteams die agile- en devopswerkwijzen hanteren, kunnen meer zelfstandig bepalen of nieuwe software live kan. Idealiter ondersteund door een volledig geautomatiseerde ontwikkel- en implementatiestraat met gestandaardiseerde tests om snel nieuwe releases in productie te kunnen nemen.

Daar komt bij dat agilesysteemontwikkelingsprocessen informeler zijn. Het verdwijnen van de audittrail van wijzigingen, vastgelegd in ontwerpdocumentatie, maakt systeemontwikkeling minder ‘auditable’ op de traditionele wijze. De risico’s blijven ongeveer hetzelfde, maar het is zo lastiger om vast te stellen of nieuw opgeleverde software de gewenste (controle)functionaliteit bevat. Project- en procesaudits in een agilesysteemontwikkelomgeving zijn hierdoor minder makkelijk uitvoerbaar.

Onderzoek

De aanleiding voor dit artikel is onderzoek naar agile, audit en data-analyse dat ik deed voor de MBA-opleiding Digitalization and Boardroom Dynamics bij de Business University Nyenrode. Bij mijn onderzoek stond de volgende vraag centraal: hoe kan data-analyse auditors helpen bij de audit van agilesysteemontwikkeling?

Dit artikel behandelt achtereenvolgens:

1. Waarom data-analyse relevant is voor de audit van agilesysteemontwikkeling.
2. Drie belangrijke inzichten die kunnen helpen data-analyse te verbeteren.
3. Drie data-analyse praktijkcases (‘productiviteit’, ‘strategie’ en ‘risicomanagement’).

Meer data-analyse maakt de klant enthousiast

Bij softwareontwikkeling wordt veel gebruikgemaakt van data en data-analysehulpmiddelen. Dit onder meer voor het plannen van teams, testen van nieuwe software, meten van softwarekwaliteit en leveringstijd (‘time to market’). Tabel 1 geeft een nuttig overzicht van mogelijke databronnen die een auditor kan gebruiken, zoals: Jira, Microsoft Dynamics, Azure DevOps, Github en meer.

Door beschikbare data te analyseren, kun je als auditor met relatief weinig inspanning en kosten de systeemontwikkeling van de hele organisatie beoordelen. Zo kun je meer zekerheid over de betrouwbaarheid van systeemontwikkeling geven, naast de audits van individuele projecten, teams of processen.

Toen ik het onderwerp ‘meer controle op agilesysteemontwikkeling, maar wel met data-analyse’ met programmeurs en leidinggevenden van systeemontwikkelafdelingen besprak, werden ze enthousiast. Systeemontwikkelaars vinden soms dat auditors hun werk ‘verstoren’ met interviews, vragen om documenten en schermprints, en het bespreken van conceptbevindingen en rapporten. Vooral wanneer op een meer informele agile- of devopsmanier gewerkt wordt. Dat je met data-analyse het inzicht van systeemontwikkelaars en auditors kunt vergroten terwijl de ‘overlast’ van audits vermindert, wordt gezien als een potentieel en aantrekkelijk voordeel.

Auditors herkennen de mogelijkheden van data-analyse ook. Helaas is er geen standaardaanpak voor data-analyse van systeemontwikkeling beschikbaar, dus moeten we zelf op zoek naar oplossingen. Laten we samen eens kijken hoe dat zou kunnen.

Vergeet de data, hulpmiddelen en technologie… het gaat om mensen

Uit mijn onderzoek naar de vraag hoe data-analyse auditors kan helpen bij de audit van agilesysteemontwikkeling blijkt dat auditafdelingen vooral druk zijn met het uitvoeren van audits. Volgens auditors is er daardoor in de praktijk weinig aandacht voor nieuwe mogelijkheden voor data-analyse gericht op systeemontwikkeling.

Hoe kun je hiermee omgaan? Een goede eerste stap is om de huidige situatie rond data-analyse in het auditteam te analyseren met hulp van het DELTA-model van Davenport en Harris (2017). Dit kan helpen om vlot inzicht te krijgen hoe data-analyse in de (audit)organisatie beter kan. Het model beschrijft volwassenheidniveaus en stappen om naar een volgend niveau van data-analyse te gaan (zie tabel 2).

Tijdens mijn onderzoek heb ik gesproken met auditors, data-analisten en overige bedrijfsmedewerkers van een aantal grote corporate bedrijven. De interviewuitkomsten zijn geplot op het DELTA-model. In rood is de actuele situatie voor data-analyse gericht op agilesysteemontwikkeling op het model geplot. In groen de gewenste situatie volgens geïnterviewden.

De drie belangrijkste aanbevelingen die hieruit volgen zijn:

1. Ga als auditor nauwer samenwerken met bedrijfsafdelingen (Business, IT, Risk en anderen) om op een handigere en effectievere manier gebruik te maken van data-analyse.
2. Richt data-analyse op senior (IT-)managementbehoeften: wat houdt hen bezig?
3. Aandacht van het management van audit is essentieel om het data-analyse ‘vuurtje warm te houden’, vooral voor het bepalen van prioriteiten en vaststellen dat doelen gehaald worden.

Drie voorbeeldcases

Hierna volgen drie voorbeeldcases waarin deze aspecten in de praktijk zijn toegepast.

Voorbeeldcase 1 – Productiviteit
Stel, je wilt je als auditor een mening vormen over de productiviteit van systeemontwikkelteams. Dan kun je een maandenlange audit opstarten gericht op processen en de organisatie van productiviteitsmeting. Maar beter is het om direct naar de data gerelateerd aan systeemontwikkeling te kijken. In figuur 1 een overzicht van mogelijke databronnen die de auditor kan gebruiken.

Als de ontwikkelafdeling bijvoorbeeld JIRA als workflow managementtool gebruikt, kun je vragen naar data over de opgeleverde hoeveelheden software per team. Je kunt de resultaten uit JIRA vervolgens aanvullen met data over bedrijfs-KPI’s, testresultaten, aantallen changes of, creatiever, zelfs zover gaan dat je text mining doet op notulen van voortgangsoverleggen. Bij cliëntgerichte applicaties kun je feedback van gebruikers (de ‘vijf sterren’) analyseren om bijvoorbeeld gebruiksvriendelijkheid of beschikbaarheid van systemen te beoordelen, net zoals bij beoordelingssites voor restaurants of hotels. De uitkomsten geven meer inzicht of ontwikkelteams voldoende, relevante en goed functionerende nieuwe software maken. Ook kun je besluiten om ontwikkelteams extra aandacht te geven wanneer bepaalde grenzen worden overschreden.

Het voordeel van data-analyse is dat het sneller resultaten geeft dan een audit en makkelijk te herhalen is. Je bent zo sneller met het management in gesprek over de auditobservaties. En samen naar data kijken nodigt meer uit tot samenwerking met IT dan het uitbrengen van een ‘streng en afstandelijk’ auditrapport. Na deze analyse van de portfolio van applicaties kunnen ook gerichter vervolgaudits opgestart worden gericht op specifieke teams of kwaliteitsaspecten.

Omdat in dit artikel geen bedrijfsgegevens gedeeld kunnen worden, een publiek beschikbaar voorbeeld dat bruikbaar is als ijsbreker in gesprekken met IT over data-analyse. Figuur 1 geeft trends weer voor productiviteit van ontwikkelteams en kwaliteit van software tijdens het COVID-jaar 2021. Je kunt IT-collega’s uitleggen dat er bedrijven zijn die dit soort data gebruiken en vragen: kunnen wij dit ook inzichtelijk maken? Hieruit kunnen goede dialogen ontstaan over (on)mogelijkheden van data-analyse.

Voorbeeldcase 2 – Strategie
Stel dat het senior management als strategie nastreeft om de IT-organisatie eenvoudiger te maken. Je kunt dan als auditor plannen van aanpak en architectuurdocumenten gaan lezen om te zien hoe het ervoor staat. Maar overweeg ook eens om met data-analyse te kijken of het aantal producten, applicaties, operating systems, databases, et cetera, daadwerkelijk afneemt. Start dan met de vraag of het bedrijf dit zelf meet. Als dit niet het geval is, kun je zelf beschikbare data over aantallen applicaties en andere IT-componenten verzamelen en met bijvoorbeeld Excel vertalen in grafieken, zoals in figuur 2. Dit figuur bevat een voorbeeld van een eenvoudige grafiek die gebruikt kan worden in gesprekken tussen de auditor en de IT-organisatie over realisatie van een IT-strategie om het IT-landschap te vereenvoudigen.

Uit figuur 2 is af te lezen dat het aantal donkerblauwe componenten (aantal applicaties van business line A) afneemt maar de lichtblauwe aantallen niet (aantal applicaties van business line B). De cijfers kunnen uit bestaande administraties van IT-componenten gehaald worden. Achterliggend idee is dat de eerste aanzet voor data-analyse niet ingewikkeld hoeft te zijn om het gesprek op gang te brengen. Met deze eenvoudige analyse kun je met het senior management van de IT-organisatie in gesprek gaan over vragen als: waarom neemt component X wel af maar component Y niet? Is dit beeld in lijn met verwachtingen en de strategie? In plaats van een gesprek over gewenste situaties en implementatieplannen, kun je zo de vereenvoudigingsstrategie bespreken met data die ‘live’ de werkelijke situatie van het bedrijf weergeeft.

Voorbeeldcase 3 – Risicomanagement
In dit derde voorbeeld is in figuur 3 te zien dat een board (raad van bestuur, maar hiervoor is ook te lezen directie, MT of IT-committee) veel informatie ontvangt om de bedrijfsdoelstellingen en risico’s te kunnen managen, ook gerelateerd aan het systeemontwikkelproces. Standaarden voor risk-monitoringinformatie voor agilesysteemontwikkeling zijn beperkt beschikbaar en niet op de praktijk toegesneden. De uitdaging voor de auditor is daarom om de juiste vragen te stellen en daarmee data-analyses op te starten die op boardniveau aanvullende en relevante informatie geven. En of je nu auditmanager of auditor bent, iedereen kan met auditcollega’s de volgende vragen bespreken om zo tot nieuwe inzichten en data-analyseactiviteiten te komen:

• Welke actuele vraag over systeemontwikkeling in onze organisatie is relevant voor de board?
• Is hier al informatie over? Welke data zijn beschikbaar om de vraag te beantwoorden?
• Hoe kunnen we met het antwoord vlot impact hebben?

Het vraagt niet meer dan een ik-vind-dit-belangrijkhouding om dit op te starten. Afhankelijk van de situatie zijn natuurlijk veel antwoorden mogelijk. Drie voorbeelden van dergelijke vragen:

• Wat zijn de belangrijkste risico’s die onze agile softwareontwikkelteams identificeren? Gebruik vervolgens bijvoorbeeld data uit de risk logs van de devopsteams om antwoorden te vinden.
• Welke hr- en cultuuraspecten hebben impact op de effectiviteit en risicobeheersing van agile softwareontwikkelteams? Combineer vervolgens bijvoorbeeld data uit de incidentendatabases met data over teambezetting, opleiding en productiviteit van teams om high en low performanceteams te identificeren.
• Is er sprake van goede samenwerking en onderling vertrouwen in de ontwikkelteams? Gebruik hiervoor bijvoorbeeld de resultaten van medewerkerstevredenheidsenquêtes.

Vragen en antwoorden kunnen worden besproken met het auditmanagement, de afdeling Systeemontwikkeling, IT-management of de board en deze vragen en antwoorden kunnen op deze manier leiden tot nuttige vervolgacties.

Conclusie: er is een wereld vol data te ontdekken

De audit van agile- en devopssysteemontwikkeling is lastig door de meer informele manier van werken. De risico’s blijven min of meer gelijk, maar de invulling van controls verandert. Positief is dat veel data en data-analysehulpmiddelen beschikbaar zijn voor de beheersing van systeemontwikkeling. Meer aandacht voor het gebruik van data-analyse gericht op het systeemontwikkelproces biedt auditors daardoor kansen om toegevoegde waarde te blijven leveren. Naast data-analyse zullen reguliere project- en procesaudits blijven bestaan voor verdieping en begrip van details.

Er is nog geen standaardmethode beschikbaar om met data-analyse zekerheid te kunnen geven over de beheersing van agilesysteemontwikkeling. We moeten als auditors dus zelf aan de slag. In dit artikel passeerden drie voorbeeldcases de revue, die bedoeld zijn als suggesties en hopelijk inspireren om zelf data-analyse enthousiast op te pakken. Verder ging het over belangrijke factoren om van data-analyse voor systeemontwikkeling een succes te maken: 1) nauwere samenwerking van auditors met systeemontwikkelaars en andere bedrijfsafdelingen, 2) focus op senior managementvraagstukken. Maar misschien nog belangrijker zijn creativiteit en lef van de auditor, het valt of staat met de auditor. Wil je als auditmanager of auditor meer data-analyse? Begin dan vandaag met de eerste brainstorm hierover in het team!

Tot slot

Jezelf als auditor verdiepen in data-analyse gericht op systeemontwikkeling is soms een flinke zoektocht. Positief is dat wat je als auditor bedenkt en maakt voor data-analyse meerdere keren gebruikt kan worden. Dat is mooi. En nog mooier is dat de mogelijkheden voor data-analyse oneindig zijn. Er is een wereld vol data te ontdekken voor wie wil.