Home Magazine

IT-auditors en generatieve AI

13 mei, 2024
Momentopname december 2023
En toen was daar opeens ChatGPT, een publiek toegankelijke online implementatie van generatieve AI met verbluffende resultaten. Vervolgens verscheen een heel scala aan diensten en producten, gebaseerd op generatieve AI. Deze alom als veelbelovend verwelkomde innovatie is de IT-Audit beroepsgroep natuurlijk niet ontgaan. Uit een verkennende round table met zeven auditorganisaties georganiseerd door de kennisgroep Innovatie blijkt dat deze innovatie wordt opgepakt.
Auteurs: Amanda Feuerberg en Thomas Wijsman

Om te beginnen vatten we in onderstaand tekstkader samen wat de round table heeft opgeleverd. Vervolgens beschrijven we onze vraagstelling en de opzet van de round table. Daarna kleuren we het samenvattende beeld in met een overzicht van de belangrijkste goede praktijken die tijdens de round table zijn genoemd. Dan volgen een overzicht van veelbelovende use cases die zijn ingebracht en een drietal dilemma’s dat uit de discussies naar voren kwam. We eindigen met een slotwoord.
Samenvatting opbrengsten round table
Uit de round table komt het volgende algemene beeld naar voren. Alle zeven auditorganisaties hebben globaal de momenteel bekende kansen en risico’s van generatieve AI binnen hun werkveld in het vizier. Ze werken aan kennisopbouw en sommige organisaties zijn bezig bestaande tools in te zetten in de eigen organisatie of eigen tools te ontwikkelen. Het vermogen om zelf toepassingen te ontwikkelen varieert tussen de organisaties. Ook de focus en expertisegebieden bij het gebruik van generatieve AI zijn niet overal gelijk en hangen af van de klantbehoefte – bijvoorbeeld klantadvisering, onderzoek of interne processen. Bewustwording en kennisopbouw onder medewerkers vormen een belangrijk thema bij de introductie van generatieve AI. De organisaties onderkennen juridische en ethische vraagstukken en willen deze verder uitwerken. Sommige van de organisaties adviseren op bescheiden schaal klanten over de inzet en implicaties van generatieve AI of zijn van plan dat te gaan doen. Enkele organisaties hebben al concrete toepassingen van generatieve AI bij klanten, terwijl andere zich nog bezighouden met terreinverkenningen of pilots. Wat het gebruik van generatieve AI in audits betreft, bevinden de organisaties zich in de verkennings- of opbouwfase. Met dergelijke toepassingen zijn ze vooralsnog terecht voorzichtig.

Tijdens de round table werden de volgende kansen en bedreigingen gesignaleerd. Als kansen werden onder meer genoemd: taakverrijking en -verbreding voor medewerkers, verhoogde efficiëntie en aantrekkelijkheid van het vak, organisatorische ontwikkeling, concurrentievoordeel en klantgerichtheid, verbeterde compliance, internal controls en governance bij klanten. Tot de genoemde bedreigingen behoren onder meer: achterblijven in ontwikkeling, napraten van onbekende bronnen, privacy-inbreuken en bias, onderbenutting van menselijke expertise, wegebben van domeinkennis- en ervaring en gebrek aan toezicht en controle op de inzet van generatieve AI.

Ook werd duidelijk dat auditorganisaties zich met de introductie van generatieve AI voor een drietal dilemma’s gesteld zien. Ten eerste moeten ze een evenwicht vinden tussen het implementeren van nieuwe technologieën en het behouden van de waarde van menselijk kapitaal. Ten tweede moeten ze een balans zoeken tussen effectiviteit en morele en wettelijke overwegingen. Ten derde is er het dilemma dat ze enerzijds de boot niet willen missen, maar anderzijds weloverwogen en behoedzaam te werk moeten gaan.

De ontwikkelingen gaan snel en auditorganisaties zijn bezig verdere stappen te zetten. Deze momentopname uit december 2023 geeft een beeld van de richting waarin onze beroepsgroep zich beweegt.
Vraagstelling
We kennen allemaal de hype cycle van technologische innovaties. Na een lancering met veel fanfare en enthousiaste omarming van de nieuweling volgt teleurstelling – de hype creëerde te hoge verwachtingen. Dan volgt een periode van bezinning, waarna organisaties vanuit een nuchterder benadering realistische toepassingsmogelijkheden gaan verkennen. Onze beroepsgroep van IT-auditors is maar al te goed bekend met dit verschijnsel. Daarom was het niet onze verwachting dat de auditorganisaties meteen voluit op het fenomeen generatieve AI zouden zijn ingesprongen. Ook al omdat de Nederlandse overheid en de Europese Unie nog werk(t)en aan een visie en een juridisch kader. Tegelijkertijd zijn er ook veel kansen voor onze beroepsgroep. Vanuit deze overwegingen waren wij benieuwd naar de positie van onze beroepsgroep op het terrein van generatieve AI en kwamen we tot de volgende vraagstelling.

Vraagstelling: waar staat onze beroepsgroep op het pad van hype naar realiteit als het om generatieve AI gaat?
Opzet
Voor een antwoord op deze vraag hebben we de round table georganiseerd. De deelnemende organisaties waren de big-four-auditkantoren, een middelgroot kantoor en twee overheidsorganisaties met een wettelijke audittaak, namelijk de Algemene Rekenkamer en de Auditdienst Rijk.

Om de sessie een duidelijke focus te geven, hebben we het onderwerp van de round table, ‘Voortgang Generatieve AI’, gevisualiseerd in een onepager (zie figuur 1) met vier thema’s – twee intern en twee extern. Opmerking over het begrip ‘klanten’ in het thema rechtsonder: in dit artikel bedoelen we hiermee ook de organisaties die onder de controletaak vallen van de Algemene Rekenkamer of de Auditdienst Rijk. Rechts in de figuur staan de deelnemers aan de round table.

We vroegen de deelnemers per deelthema op een vijfpuntsschaal aan te geven waar hun organisatie stond. Ze lichtten hun inschatting toe met zelfklevende notities op flip-overvellen. Vervolgens bespraken we deze notities plenair. Het groeimodel gebruikten we alleen om het denkproces te stimuleren, niet om organisaties met elkaar te vergelijken.

We hebben we de deelnemers ook gevraagd naar kansen en bedreigingen van generatieve AI.
Figuur 1: De vier deelthema's van de round table
Stand van zaken bij de deelnemende organisaties
In deze paragraaf beschrijven we de geanonimiseerde stand van zaken, geordend per thema, van ‘Organisatie kennisopbouw’ linksonder rechtsom naar ‘In audit bij/in opdracht klanten’ rechtsonder. Voor elk thema volgt eerst het algemene beeld. Daarna beschrijven we de verschillende manieren waarop de organisaties bezig zijn op het betreffende thema. Aan het eind van elk thema noemen we in een tekstkader de kansen en bedreigingen die naar voren kwamen.

Organisatie kennisopbouw

De deelnemende organisaties werken aan kennisopbouw binnen hun organisatie en bevorderen het bewustzijn van de kansen en risico's van generatieve AI. Dit gebeurt onder meer door kennis te bundelen en samen te werken in expertgroepen, kennisgroepen of community's. Dit gebeurt soms binnen en soms over verschillende afdelingen heen. Ook is expertise in huis gehaald door bijvoorbeeld een AI-bedrijf over te nemen.

Hoewel bewustwording en kennisopbouw onder medewerkers een belangrijk aandachtspunt vormen bij de introductie van generatieve AI, staan de meeste organisaties nog aan het begin van de verankering van kennis in de organisatie. Trainingsplannen moeten de organisaties vaak nog ontwikkelen.

Basiskennis bijbrengen
Een van de manieren om kennis onder de medewerkers op te bouwen is door ze basaal inzicht te geven in wat ze moeten ze doen of juist achterwege laten als ze aan de slag willen met generatieve AI. Denk bijvoorbeeld aan een introductie over prompt engineering. Soms volgt een verdieping om de medewerkers ook enige technische kennis bij te brengen, zodat ze begrijpen wat generatieve AI doet en hoe die technologie hen in staat stelt effectiever of doelmatiger te werken.

Een van de organisaties heeft in zijn algemene opleidingsplan trainingen op het terrein van generatieve AI opgenomen. Die zijn voor alle medewerkers toegankelijk, maar niet verplicht. Medewerkers zijn enthousiast en weten de cursussen te vinden, is de ervaring.

Bundeling kennis, samenwerking
Nog een andere manier om kennis op te bouwen is door kennis te bundelen en samen te werken bij de kennisverwerving. Bij een van de organisaties is bijvoorbeeld een interne community opgezet om op het terrein van generatieve AI vanuit verschillende invalshoeken kennis en ervaring uit te wisselen en met elkaar samen te werken.

Expertise van buiten halen
Nog weer een andere manier om kennis op te bouwen is door expertise van buiten in huis te halen. Zo heeft een van de organisaties een bedrijf overgenomen dat gespecialiseerd is in de bouw en implementatie van AI. Samen doen ze implementaties om kennis op te bouwen binnen de gehele global-organisatie. Een andere manier is gespecialiseerde medewerkers aantrekken. Een van de organisaties heeft bijvoorbeeld medewerkers in dienst die zelf toepassingen kunnen bouwen. Ook wordt samengewerkt met de wetenschap.

Gebruik van ervaring met niet-generatieve AI
Overigens is generatieve AI weliswaar een vrij nieuwe ontwikkeling met indrukwekkende resultaten, maar in feite is deze technologie niet meer dan een grootschalige doorontwikkeling van zelflerende systemen met al langer bekende AI-principes. Verschillende van de organisaties bouwen dan ook voort op hun bestaande ervaring met niet-generatieve AI of andere algoritmische systemen, bijvoorbeeld via een taskforce Algoritmes. Die ervaring gebruiken ze om ook de concepten van generatieve AI te begrijpen en de technieken verantwoord in te zetten. Bij een van de organisaties heeft bijvoorbeeld een al langer bestaande themagroep op het terrein van verantwoorde AI in het algemeen nu ook specifiek generatieve AI in haar werkterrein opgenomen.

Bewustzijn van kansen en bedreigingen
De organisaties zijn zich ervan bewust dat generatieve AI-kansen en bedreigingen met zich meebrengt. Ook erkennen zij de juridische en ethische vraagstukken. Waar draait zo’n systeem bijvoorbeeld, kun je dat zonder meer gebruiken en mag je alle brondata zomaar gebruiken voor de controle? De uitwerking van dit soort vraagstukken is nog onder handen.
Kansen en bedreigingen bij organisatie kennisopbouw
Kansen
  • Taakverrijking: medewerkers ontwikkelen nieuwe vaardigheden
  • Taakverbreding: medewerkers en organisaties creëren nieuwe netwerken
  • Ontwikkeling organisatie: de organisatie wordt opgeschud en het kennisbeheer groeit

Bedreigingen
  • Medewerkers die de nieuwe technologie niet gebruiken blijven achter in hun kennisontwikkeling
Toepassing door eigen medewerkers
   
De deelnemende organisaties hebben een bescheiden start gemaakt met interne kennisverspreiding. Ze doen dat door hun medewerkers te informeren, vaardigheden bij hen te ontwikkelen, spelregels vast te stellen en kennisgroepen op te zetten. Ook zijn er use cases gedefinieerd en eerste pilots gedaan met bestaande tools dan wel zelf ontwikkelde tools. Verder zijn agents en prompts ontwikkeld en wordt gewerkt aan beleidsontwikkeling en -consolidatie.

Informeren
Een manier om het eigen gebruik van generatieve AI aan te moedigen én in goede banen te leiden is de medewerkers organisatiebreed informeren hoe ze generatieve AI veilig kunnen inzetten. Hierdoor gaan ze begrijpen hoe ze generatieve AI kunnen gebruiken om bijvoorbeeld samenvattingen te maken zonder vertrouwelijke informatie naar buiten prijs te geven.

Ontwikkelen vaardigheden
Een van de organisaties wil veilig intern gebruik van generatieve AI vooral bereiken door medewerkers vaardigheden bij te brengen en ziet minder heil in ‘alles dichtzetten’ met standaarden. Een voorbeeld is het leren vaardig om te gaan met tools, slim en handig te prompten en de medewerkers laten begrijpen waar de risico’s zitten.

Spelregels
Een van de organisaties werkt aan beleid dat spelregels stelt: wat doe je wel, wat doe je niet. Om dat te kunnen doen is beleid nodig, dat nog in ontwikkeling is. Problematisch zijn vooral de diensten van niet gecontracteerde aanbieders, zoals ChatGPT. Bij die aanbieders kun je er immers niet van uitgaan dat de belangen van je organisatie of derden bij hen in goede handen zijn.

Inzet van bestaande tools of eigen tools
Sommige van de organisaties zijn bezig bestaande tools in te zetten in de eigen organisatie of eigen tools en/of toepassingen te ontwikkelen. Denk bijvoorbeeld aan een eigen ChatGPT-implementatie. Het vermogen om dat te doen varieert tussen de organisaties.

Verder zijn er pilots met toepassingen die in buitenlandse vestigingen zijn ontwikkeld. In deze pilots onderzoekt men of de toepassingen in aanmerking komen om in Nederland uit te rollen.
Kansen en bedreigingen bij toepassing door eigen medewerkers
Kansen
  • Meer efficiëntie: sneller documenten opstellen, hogere productiviteit
  • Hogere aantrekkelijkheid van het vak: generatieve AI kan het werk gevarieerder maken, meer uitdaging geven en ervoor zorgen dat je meer bezig kunt zijn met waar het om gaat
  • Beter kunnen onderzoeken van ‘opgesloten data’, bijvoorbeeld data in niet doorzoekbare pdf-bestanden
Bedreigingen
  • Napraten van onbekende bronnen
  • Onbewuste bias
  • Niet alle relevante informatie wordt digitaal vastgelegd – mensen bezitten impliciete kennis, die bij de toepassing van generatieve AI gemakkelijk buiten beschouwing blijft
  • Onvoldoende menselijk toezicht op resultaten
  • Onbedoeld vertrouwelijke info delen met AI-systeem van derden
  • Afhankelijk van hoe het georganiseerd wordt kan generatieve AI het werk ook eentoniger maken, met verveling bij medewerkers als gevolg
  • Verlies van expertise door teveel vertrouwen in de output van een generatief AI-systeem en wegebben van domeinkennis en -ervaring
  • Onvolledigheid van informatie
Klantadvisering

De deelnemende organisaties adviseren en ondersteunen klanten bij de inzet en implicaties van generatieve AI, of zijn van plan dat te gaan doen. Daarbij verschillen de focus en expertisegebieden per organisatie, afhankelijk van de klantbehoefte. Onder meer wordt ondersteund bij strategievorming, maken van use case-definities, bouw van chatfuncties en implementatie van oplossingen.

Advisering
Onder meer wordt geadviseerd over strategische, governance- en compliance-aspecten van generatieve AI. Het strategische aspect betreft bijvoorbeeld de vraag waar en op welke wijze de meeste toegevoegde waarde te behalen valt. Ook ondersteunt men klanten bij het maken van beleid en het realiseren van implementaties.

Ondersteuning bij ontwikkeling of implementatie
Soms wordt er geassisteerd bij het ontwikkelen van use cases, geholpen bij de bouw van systemen en geadviseerd bij pilots. Enkele van de organisaties zetten bij klanten al concrete toepassingen van generatieve AI in, terwijl andere nog bezig zijn met terreinverkenningen of pilots. Een van de organisaties implementeert bijvoorbeeld bij een grote klant Copilot voor het maken van samenvattingen met generatieve AI. Dit is echter nog beperkt tot één klant, en de organisatie staat aan het begin van haar inspanningen op dit gebied.
Kansen en bedreigingen bij klantadvisering
Kansen
  • Competitieve voorsprong
  • De klant verder kunnen brengen
  • Betere governance, bedrijfsvoering, internal controls en geleverde kwaliteit door inzet van generatieve AI
  • Omzetgroei door hogere efficiëntie
  • Organisaties kunnen zich profileren op advisering over maatschappelijk en juridisch verantwoorde inzet van generatieve AI – een hot issue
Bedreigingen
  • Klant de verkeerde weg opsturen met reputatieschade als gevolg
  • Klant heeft overspannen verwachtingen
  • Onvoldoende duidelijke criteria voor oplevering die de klant verwacht
  • Hallucinerende systemen met bizarre antwoorden
  • Beperkte mogelijkheden voor publieke controle
  • Privacy-inbreuken en bias/discriminatie
Toepassing in audit

Wat het gebruik van generatieve AI in audits betreft, zijn de deelnemende organisaties voorzichtig. Ze bevinden zich in de verkennings- of opbouwfase en doen bijvoorbeeld pilots. Op deelterreinen van de audit zetten auditteams eerste stappen.

Weloverwogen wachten
Een van de organisaties kiest er bewust voor om generatieve AI nu nog niet toe te passen in audits. De reden is dat de algemeen geaccepteerde methodologie en algemeen geaccepteerde standaarden die je daarvoor nodig hebt nog niet voldoende ontwikkeld zijn.

Taskforce
Een van de andere organisaties heeft een taskforce ingesteld die intern kennis deelt en guidance geeft. Bijvoorbeeld wat een auditor moet doen die een opinie wil geven over systemen die AI gebruiken.

Ondersteuning schrijftaken
Auditors gebruiken generatieve AI bijvoorbeeld voor het schrijven van rapportages, het maken van managementsamenvattingen, het reviewen van werkprogramma’s en de voorbereiding van control-uitwerkingen.

Fraudeherkenning
Een van de organisaties heeft bij twee klanten een methode ontwikkeld om fraude te herkennen in de ruwe data die ze van de klant ontvangen. Dit gebeurt met data analytics, op basis van algoritmes en een framework van generatieve AI. Zij boeken hier al voorzichtig successen mee.

Chatfunctie
Ook wordt er geëxperimenteerd met chat-functies, bijvoorbeeld als vaktechnische vraagbaak. Doel is om op basis van ingevoerde financiële jaarverslagen na te gaan of consolidaties consistent zijn doorgevoerd. Het lijkt een beetje op tools voor fraudedetectie. Als je vragen aan de tool stelt, dan levert dat specifieke guidance op die je gegeven de financial auditvraag kunt toepassen.

Data-analyse
Een van de organisaties geeft aan, te kunnen voortbouwen op ruime ervaring met data-analyse in de audit die teruggaat op de rule-based benadering van weleer. Veel discussiethema’s uit die tijd keren terug in actuele discussies over het gebruik van generatieve AI. Wel is er een grotere kloof ontstaan tussen wat technologisch mogelijk is en wat wenselijk wordt gevonden.
Kansen en bedreigingen bij audit
Kansen
  • Snellere resultaten van audit of onderzoek
  • Meer creativiteit in audit of onderzoek
  • Hogere efficiëntie en kwaliteit
  • Toegankelijkheid vaktechniek als die wordt ontsloten door generatieve AI
  • Focus op uitzonderingen en andere belangrijke zaken
  • Effectievere en snellere foutdetectie
  • Meer subtractieve, generieke rapporten en werkprocessen, en daardoor hogere relevantie, kwaliteit en tijdigheid van werkzaamheden en rapportages (een subtractief rapport is een rapport dat specifieke informatie bevat zonder overbodige details)
  • Frisse blik
Bedreigingen
  • Te veel vertrouwen op mogelijk onbetrouwbare output van generatieve AI
  • Hallucinerende systemen met bizarre antwoorden
  • AI stuurt je de verkeerde kant op
  • Relevante issues missen
  • Onvoldoende kennis bij auditor
  • Juridische haken en ogen aan het binnenhalen van ruwe data
  • Onvoldoende evidence en bronvermelding
  • Onvoldoende mogelijkheden voor publieke controle van auditrapporten over de publieke sector
Use cases
We hebben in de round table ook gevraagd naar veelbelovende use cases. De volgende use cases werden genoemd:
  • Hulp bij vervaardiging van rapportages en managementsamenvattingen
  • Samenvatten van documentatie, ontvangen van de klant
  • Vertaling van documentatie
  • Evaluatie van control frameworks
  • Structureren meeting minutes en actielijsten
  • Q&A op technische audit objecten
  • Input risk assessment
Dilemma's
Tijdens de round table is ook een aantal dilemma’s naar voren gekomen. Deze leiden tot lastige keuzes bij de ontwikkeling en uitrol van generatieve AI binnen de organisaties.

Dilemma 1: efficiëntie en productiviteit versus verlies van expertise
Generatieve AI kan de efficiëntie en productiviteit van medewerkers verhogen. De andere kant van de medaille is dat tegenover deze positieve ontwikkeling potentiële risico's staan. Het eerste risico is dat het werk te eenvoudig wordt, waardoor hooggekwalificeerde medewerkers zich kunnen gaan vervelen. Dit kan leiden tot een gebrek aan uitdaging en uiteindelijk tot demotivatie. Het tweede risico is dat werkgevers geneigd kunnen zijn minder gekwalificeerde medewerkers in te zetten die essentiële expertise missen. Dit kan de kwaliteit van het werk negatief beïnvloeden, mogelijk leiden tot fouten of inefficiënties. Het is daarom belangrijk dat organisaties een evenwicht vinden tussen het implementeren van nieuwe technologieën en het behouden van de waarde van menselijk kapitaal.

Dilemma 2: Doelmatigheid en doeltreffendheid versus ethische en juridische haken en ogen
Het gebruik van nieuwe technologieën biedt organisaties de mogelijkheid hun klanten beter van dienst te zijn en concurrentievoordeel te behalen. Maar er zijn ook nadelen aan verbonden. Ten eerste vereist generatieve AI aanzienlijke energie, wat een negatieve impact heeft op het milieu, niet alleen tijdens de ontwikkeling en training, maar ook bij de verwerking van elke prompt. Ten tweede wordt de training grotendeels uitbesteed aan landen met lage lonen, waar werknemers tegen slechte arbeidsvoorwaarden monotoon werk verrichten. Zij maken lange uren om trainingsdata te cureren, waaronder het filteren van gruwelijke of obscene informatie. Tot slot zijn de juridische implicaties van het gebruik van informatie van internet, waar mogelijk auteursrechten op rusten, nog onduidelijk. Dit wordt extra bemoeilijkt door de verschillen in auteursrechtwetgeving tussen landen. In het licht van deze situatie moeten auditorganisaties een balans zoeken tussen effectiviteit en morele en wettelijke overwegingen.

Dilemma 3. Juridisch kader nog in beweging
De juridische kaders zijn nog volop in beweging. Zo hebben de Raad van de Europese Unie en het Europees Parlement begin december een akkoord bereikt over de Wet op de artificiële intelligentie van de Europese Unie (de AI Act). In Nederland heeft het Kabinet op 11 december 2023 een voorlopig standpunt ingenomen over het gebruik van generatieve AI door Rijksorganisaties. Ook is bijvoorbeeld de Comptabiliteitswet, waar de Algemene Rekenkamer en de Auditdienst Rijk mee te maken hebben, nog vooral gericht op de papieren werkelijkheid. Omdat bestaande juridische kaders deels gedateerd zijn en nieuwe kaders nog volop in ontwikkeling verkeren, ontstaan onduidelijkheden over rechten en bevoegdheden van controlerende organen. Auditorganisaties staan dan ook voor het dilemma dat ze enerzijds de boot niet willen missen, maar anderzijds weloverwogen en behoedzaam te werk moeten gaan.
Ing. Amanda Feuerberg RE
Amanda Feuerberg is sinds 2019 werkzaam als Senior auditor (IT/OA) bij de DJI (Dienst Justitiele Inrichtingen). Daarvoor werkzaam geweest bij de Audit Dienst Rijk (ADR) en het Ministerie van Defensie waaronder verschillende auditrollen.
Vanuit de NOREA betrokken bij de kennisgroep Innovatie.
Thomas Wijsman RE
Thomas Wijsman, gepokt en gemazeld bij de Algemene Rekenkamer, wil anderen inspireren. Hij is opgeleid in IT, IT-audit, psychologie en coaching, en combineert zo hard en soft skills. Thomas coördineert de Kennisgroep Innovatie vanuit zijn interesse voor ontwikkelingen die relevant zijn of kunnen worden voor ons vakgebied.