Research Article
Print
Research Article
Over kwaliteitsborging van datagedreven controlemethodologie
expand article infoJoost van Buuren‡, Wiebren Wijma§
‡ Nyenrode Business Universiteit, Breukelen, Netherlands
§ Rijkswaterstaat, Zwolle, Netherlands

Corresponding author: Joost van Buuren ( j.buuren@nyenrode.nl )

Academic editor: Barbara Majoor
© 2022 Joost van Buuren, Wiebren Wijma.
This is an open access article distributed under the terms of the Creative Commons Attribution License (CC BY-NC-ND 4.0), which permits to copy and distribute the article for non-commercial purposes, provided that the article is not altered or modified and the original author and source are credited.
Citation: van Buuren J, Wijma W (2022) Over kwaliteitsborging van datagedreven controlemethodologie. Maandblad voor Accountancy en Bedrijfseconomie 96(1/2): 15-25. https://doi.org/10.5117/mab.96.78556
Open Access

Samenvatting

Dit artikel geeft een beschouwing over de ontwikkeling van innovaties in de controlemethodologie. Allereerst wordt een literatuuronderzoek uitgevoerd, waarin lessen uit het verleden en het heden aan de orde komen. Vervolgens wordt het Systems engineering management raamwerk beschreven en toegepast op de innovatieprocessen van accountants. Conclusies uit beide analyses zijn dat er meer aandacht moet zijn voor de behoeften van assurance-gebruikers, de theorievormingsfase van de controlemethodologie en de implementatie van het kwaliteitsbeheersingssysteem. Het Systems engineering management raamwerk biedt goede handvatten om de kwaliteit van het innovatieproces en de controlemethodologie te borgen.

Trefwoorden

Controlekwaliteit, datagedreven controleaanpak, systems thinking, systems engineering, data-analyse

Relevantie voor de praktijk

In dit artikel wordt vanuit een literatuurstudie een overzicht gegeven van enablers en disablers bij innovatie van controlemethodologie. Vervolgens worden de succesfactoren benoemd bij innovatie en het Systems engineering management raamwerk toegelicht. Tot slot worden concreet de handvatten beschreven om de kwaliteit van de innovatieprocessen en de controlemethodologie te borgen.

1. Inleiding

Het goede nieuws is dat accountants in beweging zijn gekomen en vernieuwend bezig zijn, zoals met de datagedreven controleaanpak. De datagedreven controleaanpak onderscheidt zich van de traditionele controleaanpak, doordat zowel in de planningsfase als in de uitvoerende fase veel meer nadruk ligt op data-analyse. Hierbij kan gedacht worden aan het importeren van data uit ERP-pakketten en andere IT-systemen in eigen audit platforms ter voorbereiding van de risicoanalyse en het uitvoeren van controlestappen. Deze voorbereiding kan bestaan uit een serie van standaard cijferbeoordelingen met risico-indicatoren en het uitvoeren van cijferanalyses, zoals een sluitende geld-goederenbeweging. Een dergelijke aanpak kan veel mogelijkheden bieden voor verbetering van de controlekwaliteit. Accountants zijn echter niet gewend te innoveren en het is de vraag hoe de kwaliteit van de ontwikkelde controlemethodologie is geborgd. Vanwege hun maatschappelijke functie hebben accountants de belangrijke taak om thought leadership te tonen, enerzijds door vernieuwing te realiseren voor assurance-gebruikers en anderzijds door verantwoordelijkheid te nemen om de transitie in controlemethodologie op verantwoorde en zorgvuldige wijze in te vullen.

Dit artikel geeft een beschouwing van de ontwikkeling van de datagedreven controlemethodologie met lessen uit het verleden en het heden aan de hand van het model van ‘institutionele verandering’ van Greenwood et al. (2002). Voor de lessen uit het verleden worden de problemen met de meest recente belangrijke controle-innovatie geanalyseerd: de ‘Business Risk Audit’. Voor de lessen uit het heden wordt een analyse gedaan op academische literatuur over datagedreven controlemethodologie. Vervolgens wordt een in de maak- en softwarebranche veelgebruikt kwaliteitsbeheersingsraamwerk voor ontwikkeling en lifecycle management van systemen toegelicht; het Systems Engineering management raamwerk (hierna: SE-raamwerk). Tot slot wordt het model van ‘institutionele verandering’ van Greenwood (2002) en het SE-raamwerk geïntegreerd en vervolgens toegepast, om de innovatieprocessen van accountants te beoordelen, aandachtspunten te benoemen en aanbevelingen te doen.

2. Innovatie in auditing

2.1. Leren van eerdere innovaties: de implementatie van de business-risk auditmethodologie

In de eeuw dat het beroep bestaat, zijn er slechts enkele belangrijke aanpassingen gedaan aan de controlemethodologie. De grootste verandering betrof de overgang van de systematische controle naar de risicogerichte controlemethodologie in de jaren tachtig van de 20ste eeuw (Van Buuren 2018). Verder heeft de risicogerichte aanpak in het begin van de 21ste eeuw een beperkte aanpassing ondergaan, waarbij een meer holistische benadering werd gekozen. Deze aanpak werd de BRA genoemd (Knechel 2001; Peecher et al. 2007; Van Buuren et al. 2014), waarbij vanuit bedrijfsrisico’s de inherente risico’s, de interne beheersingsrisico’s en de restrisico’s konden worden gedestilleerd. Het doorvoeren van de BRA-methodologie in de standaarden bleek uiteindelijk voornamelijk een politiek proces tussen de kantoren, toezichthouders en de International Auditing and Assurance Standards Board (IAASB) te zijn geweest, waarbij wetenschappelijk onderzoek niet het uitgangspunt was (Curtis et al. 2016).

Toch bood de BRA-aanpak, ook wel Strategic Systems Audit (SSA) genoemd (Peecher et al. 2007), goede mogelijkheden om de controlekwaliteit te verhogen. Dit was nodig volgens de ontwikkelaars, omdat de wereld complexer wordt en immateriële bezittingen steeds belangrijker worden voor bedrijven en daarmee ook voor de jaarrekening (Peecher et al. 2007). Zo werd in de SSA-benadering specifiek systems-thinking als uitgangspunt genomen om kennis te verkrijgen hoe de entiteit in het economische web toegevoegde waarde creëert en een waardensprong realiseert (Peecher et al. 2007). Dit leidde tot meer expliciet nadenken over audit evidence triangulation, waarbij informatie uit meerdere bronnen op elkaar wordt afgestemd. Het opende de blik van de accountant naar de economische realiteit waarin organisaties zich bevinden en hoe organisaties daarop acteren (Knechel 2001, 2007). Ook werd het belang van data-analyse in de controle ten behoeve van fraudedetectie benadrukt (Peecher et al. 2007). Toch was deze vernieuwing niet zonder controverse en daarmee was ook de adoptie moeizaam en partieel (Curtis et al. 2007; Knechel 2007).

Redenen hiervoor zijn onder andere dat de indruk bestond dat het vooral een fee-driven-project was, om meer adviesdiensten te kunnen verlenen (Knechel 2007) en dat er niet echt een noodzaak was voor verandering (Van Buuren et al. 2014, 2018). Ook bleek de methodologie te complex, waren er te veel open eindjes en was er een gebrek aan begrip van systems-thinking (Peecher et al. 2007). Hierdoor voelden accountants zich niet comfortabel bij de uitkomsten en ze gingen daarom ook de traditionele aanpak uitvoeren, per saldo dus een dubbele controle (Curtis et al. 2007; Knechel 2007). Accountants handelden uiteindelijk pragmatisch en pasten (onderdelen van) de methodologie toe als dat uitkwam, bijvoorbeeld bij voldoende complexe klanten of als de toezichthouder het afdwong (Van Buuren et al. 2014). Ondanks het enthousiasme bij de aankondiging heeft de BRA-aanpak uiteindelijk maar beperkte invloed gehad op het beroep, onder andere in NV COS 315. Het Greenwood-model (2002) van ‘institutionele verandering’ geeft handvatten om het proces van verandering te duiden. Daarvoor worden drie legitimiteitsbegrippen genoemd waaraan een vernieuwing moet voldoen, namelijk:

  • de morele legitimiteit (er moet een noodzaak zijn tot verandering);
  • pragmatische legitimiteit (de vernieuwing moet duidelijk voordelen hebben); en
  • cognitieve legitimiteit (de vernieuwing moet intuïtief en logisch zijn).

Het model van Greenwood (2002) bestaat uit de fases, zoals uiteengezet in Figuur 1.

Het model van Greenwood et al. (2002) ordent het proces van verandering in een zestal fases, waarbij de eerste twee stappen in Figuur 1 omwille van eenvoud zijn samengevoegd tot fase 1. De gevoelens van de legitimiteit van de verandering worden als essentieel verondersteld om een verandering tot een succes te maken. Uiteindelijk lijkt er bij de ontwikkeling en implementatie van de BRA-controleaanpak te weinig rekening gehouden te zijn met de legitimiteit van de vernieuwing (Van Buuren et al. 2018):

  • gebrek aan morele legitimiteit – er werd geen noodzaak gevoeld tot verandering;
  • gebrek aan pragmatische legitimiteit – accountants waren sceptisch over de voordelen van de aanpak;
  • gebrek aan cognitieve legitimiteit – accountants zagen de methodologie niet als intuïtieve en logische wijze van controleren.

De les die geleerd kan worden uit (of na) de analyse van de BRA-innovatie, is dat aan elk van de legitimiteitsbegrippen moet worden voldaan. Om accountants te ondersteunen de ‘datagedreven’ audit tot een succes te maken, wordt in de volgende sectie een analyse gemaakt van de ontwikkeling van datagedreven controlemethodologie aan de hand van de vijf fases in Figuur 1.

Figuur 1.

Model van institutionele verandering (Greenwood et al. 2002).

2.2. Innovatie in datagedreven controlemethodologie

Fase 1 Deïnstitutionalisering

De ontwikkelingen van meer complexiteit bij gecontroleerde bedrijven en met name meer nadruk op immateriële bezittingen, zoals software en patenten, hebben zich doorgezet in de afgelopen decennia. Dit uit zich ook in de roep om meer niet-financiële informatie en controle daarvan, die nuttig is om de immateriële bezittingen te duiden (Knechel 2021). Door de technologische ontwikkelingen is de beschikbaarheid van data enorm toegenomen en ze worden door bedrijven ook gebruikt (Alles 2015). Hierbij kan gedacht worden aan big data, blockchain en kunstmatige intelligentie (Moll and Yigitbasioglu 2019). Voor auditing worden toepassingen verwacht voor modelontwikkeling omtrent risico’s voor continuïteit, verslaggevingsfraude en beurskoersmutaties (Gepp et al. 2018), fraudedetectie (Eulerich et al. 2020) en voorspellende analyses (Krahel and Titera 2015). Verder kan worden gedacht aan nieuwe bevestigende bronnen over het bestaan en de werking van bedrijfsprocessen en activa, zoals met RFID, beeldmateriaal, aansluiting met gps-gegevens en tekstbestanden, zoals e-mails (Vasarhelyi et al. 2015; Warren et al. 2015) en gebruik van drones (Christ et al. 2021). Ook vanuit de beroepsorganisaties worden vergelijkbare vergezichten gepresenteerd (AICPA 2015; ICAS 2020; NBA 2019b). De boodschap is steeds: de technologische wal dreigt het schip der accountancy te keren, als de accountant zich niet aanpast aan deze nieuwe realiteit; accountants lopen achter en de noodzaak van een upgrade wordt of moet worden gevoeld. Dit is fase 1, ‘deïnstitutionalisering’ in Figuur 1.

Fase 2 Preïnstitutionalisering

Ook fase 2 van ‘preïnstitutionalisering’ wordt beschreven in de literatuur. Er zijn diverse toepassingen bedacht van big data en data-analyse in de controle. Deze toepassingen variëren van IT-tooling, zoals dashboards, reperformance, journal-entry testing, tot geautomatiseerde aansluitingen tussen administraties en logische aansluitingen tussen standen van databases (Lowe et al. 2018; Eilifsen et al. 2020). De next-step innovaties met process mining (Jans et al. 2014), machine learning-toepassingen (Cai et al. 2019), het verbeteren van algoritmes met voorspellende waardes (Tsai et al. 2021) en blockchaintechnologie zijn ook al beschikbaar (Appelbaum and Nehmer 2020).

Fase 3 Theorievorming

Fase 3 van ‘theorievorming’ staat momenteel volop in de aandacht in de literatuur en in het beroep. Opvallend is dat er in de geraadpleegde academische literatuur weinig tot geen bewijsvoering is dat er enerzijds zodanige problemen zijn met de huidige aanpak, dat die moeten worden opgelost en anderzijds dat deze problemen alleen met de nieuwe technologie opgelost kunnen worden. Er zijn ons geen onderzoeken bekend die audit failures toeschrijven aan een gebrekkige methodologie. Ook hebben wij geen onderzoeken gevonden die aantonen dat een nieuwe methodologie daadwerkelijk tot betere controlekwaliteit leidt. Ook de beroepspraktijk heeft dat niet gerapporteerd. In de oorzakenanalyse van de NBA is een gebrek in de methodologie niet als oorzaak geduid (NBA 2019c).

Daarentegen wordt wel aandacht besteed aan de onderbouwing van de rechtvaardiging van de nieuwe technologie. Deze rechtvaardiging betreft vooral de relatie met de controlestandaarden (Alles 2015; Krahel and Titera 2015; Appelbaum et al. 2017), waarbij de portee is dat de standaarden goede mogelijkheden bieden om de nieuwe technieken toe te passen en dat het goed zou zijn als de standaarden worden bijgewerkt om dit ook duidelijker te maken. Ook de standaardsetter IAASB bevestigt dat de standaarden voldoende mogelijkheden bieden voor innovaties met data-analyse (IAASB 2016, 2020a, b, c, 2021a, b). De AICPA heeft een spreadsheet opgesteld waarin de toepassing van data-analyse wordt gekoppeld aan fases in de controle en aan de controlestandaarden (AICPA 2019). Echter, in de door ons onderzochte artikelen zijn de kwaliteitsverhogende eigenschappen van de nieuwe toepassingen niet aangetoond in wetenschappelijk onderzoek noch in de beroepspraktijk. Wel blijkt uit interviews met accountants dat de innovaties als strategisch middel gezien worden om meer toegevoegde waarde te kunnen leveren aan klanten (Austin et al. 2021). Dit klinkt als een déjà vu van de rechtvaardiging van de introductie van de BRA-methodologie (Knechel 2007).

Verder wordt er in de literatuur beschreven waarmee het beroep rekening moet gaan houden als zij de big data- en data-analysemethodologie gaat toepassen. Enerzijds betreft dit een beschrijving van aspecten als de kwaliteitsborging in het proces van data-extractie, het gereedmaken en importeren van data en het veilig bewaren van data in bijvoorbeeld Hadoop-omgevingen (Appelbaum 2016). Verder is er aandacht voor data quality (Zhang et al. 2015). Ook de upgrade van de vaardigheden van accountants wordt beschreven met de noodzaak van meer begrip van data, basale statistiekkennis en kennis van statistische data-analyses (Appelbaum et al. 2021). Anderzijds wordt beschreven op welke aspecten het beroep nog een antwoord moet formuleren, zoals de wenselijkheid van de verschuiving van causaliteit in de controle naar meer (statistische) samenhang in de bewijsvoering vanwege toepassing van big data-analysetechnieken (Cao et al. 2015). Dergelijke afwegingen kunnen worden gemaakt aan de hand van de dimensies van het theoretische raamwerk van Srivastava et al. (2012), waarbij eigenschappen van hypothesevorming in de controle worden afgezet tegen de eigenschappen van controlebewijs en de gevolgen voor de causale validiteit van de te testen hypotheses in de praktijk. Mock et al. (2018) beschrijven een methode om onzekerheid in de besluitvormig in de controle te verlagen. Ook de omgang met een bepaalde mate van vervuiling van data, onvolledigheid van data vanwege opt-outregelingen in privacywetgeving en biases in vertegenwoordiging van subjecten in de datasets, vragen om een antwoord, bijvoorbeeld als social media-data worden gebruikt (Alles 2015; Yoon et al. 2015). Tot slot is er aandacht nodig voor de menselijke kant van het gebruik van de nieuwe methodologie en tooling. Brown et al. (2015) beschrijven de risico’s van information overload, problemen met patroonherkenning in termen van diagnostische relevantie voor het controleprobleem en de onzekerheid rondom meerduidigheid of tegenstrijdigheid van patronen. Rose et al. (2017) stellen op basis van een experiment dat er vaardigheid nodig is om dashboards te lezen voor een betrouwbare oordeels- en besluitvorming.

Vanuit de literatuur lijkt de pragmatische legitimiteit van de datagedreven controlemethodologie dus vooral gebaseerd te zijn op ‘dat het kan’ binnen de standaarden en als commerciële strategie, maar er is geen wetenschappelijke onderbouwing van kwaliteitsverhogende eigenschappen. Wel worden er diverse vraagstukken aangereikt die moeten worden opgelost, omdat die de pragmatische legitimiteit kunnen belemmeren.

Fase 4 Uitrol

De adoptie van de technologie in de praktijk is tweeledig. Enerzijds wordt vanuit interviewstudies aangegeven dat de nieuwe tooling positief uitpakt voor een diepgaandere kennis van de klant. De visualisatietool blijkt bijvoorbeeld zoveel meer inzicht aan accountants te geven, dat accountants meer auditcomfort ervaren (Salijeni et al. 2021). Deelnemers geven aan voldoende vaardigheden te hebben voor toepassing van de nieuwe methodologie (Eilifsen et al. 2020).

Anderzijds worden er vaak ‘losse eindjes’ gevoeld in de nieuwe methodologie en wordt de nieuwe tooling vooral als add-on gezien om tot een betere besluitvorming te komen. Daardoor dreigt het risico van een dubbele controle en inefficiëntie (Saliijeni et al. 2021). Ook blijkt de datavolwassenheid van de klanten belangrijk om de nieuwe tooling te implementeren: zo moet het ERP-/IT-systeem van voldoende niveau zijn (Eilifsen et al. 2020). Schmidt et al. (2020) rapporteren een verzet tegen de nieuwe methodologie vanwege de hoge veranderkosten om het te gaan gebruiken. Tegelijkertijd stellen zij dat positieve feedback door collega’s over de methodologie en het versterken van de voordelen het invoeren juist kunnen bevorderen. Wel wordt de onzekerheid over een gebrek aan regelgeving als frustrerend ervaren (Austin et al. 2021).

Samenvattend blijkt de zichtbaarheid van de nieuwe technologie steeds meer toe te nemen, terwijl de perceptie van de pragmatische legitimiteit nog laag is, met name ten aanzien van de voordelen ten opzichte van de veranderkosten.

Fase 5 Herinstitutionalisering

Voor de verspreiding van de nieuwe methodologie en tooling worden verschillende strategieën toegepast. Er zijn kantoren met een centrale uitrol, andere verwachten meer van de ‘olievlekwerking’ (Eilifsen et al. 2020). De terughoudendheid van een centrale uitrol komt mede door de onzekerheid over de opstelling van de toezichthouder (Eilifsen et al. 2020). In de praktijk blijkt de toepassing van de nieuwe methodologie en tooling nog beperkt (Lowe et al. 2018; Eilifsen et al. 2020). De Big Four-kantoren lopen daarbij niet meer voor op de Non-Big Four-kantoren (Lowe et al. 2018).

Tot slot is het opvallend dat de belanghebbenden van de controle nauwelijks betrokken worden in dit innovatietraject. Alles (2015) beschrijft de aanbodzijde van de nieuwe methodologie vanwege het feit dat organisaties een datarevolutie hebben doorgemaakt. Echter, de innovaties en bijbehorende kosten leiden wel tot spanningen over de controlekosten tussen organisaties en accountants (Austin et al. 2021). De houding van de toezichthouder blijkt nog ambivalent, waarbij er enige zorgen zijn over de kwaliteit van de controle bij de nieuwe data-analyse (Austin et al. 2021). Balou et al. (2021) stellen op basis van een experiment dat de belanghebbenden van de controle (peer reviewers, particuliere en professionele beleggers) meer vertrouwen hebben in het integrale gebruik van data dan in steekproeven. Echter, het vertrouwen is in de betrouwbaarheid van big data-modellen met analyses op basis van kunstmatige intelligentie (Commerfort et al. 2021).

Kortom, de nieuwe methodologie is nog niet de ‘nieuwe standaard’ en voelt nog onwennig aan. Het beeld dat uit de literatuur naar voren komt, is dat de cognitieve legitimiteit nog te laag is voor een brede acceptatie. Bij die acceptatie dienen niet alleen de accountants te worden meegenomen, maar ook de andere belanghebbenden in de controle: investeerders, kredietverstrekkers, toezichthouders en gecontroleerde organisaties.

2.3. Systems thinking en het Systems Engineering-raamwerk

Het beeld uit de literatuurstudie is dat de innovatie van controlemethodologie met name problemen blijkt te ondervinden in fase 3 van theorievorming, fase 4 met de uitrol en fase 5 van reïnstitutionalisering. Er zijn methoden beschikbaar om deze problemen te voorkomen. Zo biedt het concept van systems thinking handvatten om begrip te verkrijgen van de systemen en de samenhang van systemen en zo beter te begrijpen wat nodig is (Richmond 1993). Systems thinking is een holistische benadering van vraagstukken1. Monat en Gannon (2015, 2018a, b) geven een introductie op systems thinking en een overzicht van beschikbare literatuur en voorbeelden van systems engineering-problemen die volgens hen te wijten zijn aan een gebrek aan systems thinking. Bij systems thinking horen specifieke denkvaardigheden (Richmond 1993).

De Amerikaanse defensie heeft na de Tweede Wereldoorlog het concept van system-thinking uitgewerkt in een SE-raamwerk, om de kwaliteit van een systeem (hard- en software) gedurende de hele lifecycle te borgen, dat wil zeggen de ontwikkeling, implementatie en het operationeel houden van complexe systemen (INCOSE 2015, 2021). Het SE-raamwerk wordt veelvuldig toegepast in de maakindustrie en softwarebranche. Het proces van systeemontwikkeling volgens het SE-raamwerk is certificeerbaar volgens NEN-ISO 15288 (NNI, 2015).

Het SE-raamwerk in Figuur 2 is afgeleid van het SE-raamwerk van de NASA (2016). Gegeven het doel van dit artikel beperken we onze toelichting tot de onzes inziens meest relevante onderdelen, weergegeven als vetgedrukte onderwerpen in Figuur 2. Deze onderdelen worden uitgewerkt in sectie 3. In het SE-raamwerk worden programma’s ontwikkeld om aan behoeften van belanghebbenden tegemoet te komen. Een programma kan diverse onderdelen en systemen bevatten, dus bijvoorbeeld meerdere hard- en softwaretools die samenwerken en een systeem van opleiding van mensen, die tezamen de ‘systeemoplossing’ vormen. Het SE-raamwerk is er op gericht continu gevoel te houden met de dynamiek die zich voordoet rondom de innovatie van (meerdere sub)systemen en elementen in termen van voortschrijdend inzicht in functionaliteit en performance. Daarom worden er meerdere rondes van inventarisatie van behoeften en vereisten gehouden in de brede zin van het woord, niet alleen wat betreft functionaliteit, maar ook rekening houdend met wet- en regelgeving en standaarden en voortschrijdend inzicht van belanghebbenden. Verder worden de succesfactoren vooraf gedefinieerd: wanneer is het project geslaagd? Dit worden de measures of success (MoS) genoemd.

Figuur 2.

Overzicht van een Systems Engineering Management Raamwerk, afgeleid van NASA (2016).

Ook staat een System Engineering Management Plan (SEMP) centraal, waar alle elementen in de product life cycle zijn beschreven. Het SEMP is een levend document dat periodiek bijgewerkt wordt met nieuwe inzichten en verwachtingen omtrent economische en technische levensduur. Ook de afstoting van computersystemen is relevant om vooraf te doordenken, met name wat betreft het borgen van vertrouwelijke gegevens en privacy in geval van software. De afzonderlijke onderdelen van het SE-raamwerk zullen nader worden toegelicht in de volgende paragrafen.

De samenhang tussen het Greenwood et al. (2002)-model uit Figuur 1 en het SE-raamwerk uit Figuur 2 is afgebeeld in Figuur 3. De fases overlappen elkaar voor wat betreft de programmaontwikkeling van het concept tot uitrol van de gebouwde systeemoplossing.

Figuur 3.

Samenhang tussen innovatiemodel van Greenwood en het Systems Engineering-raamwerk.

Het SE-raamwerk is passend bij de nieuwe standaard voor kwaliteitsborging ‘International Standard on Quality Management 1’ (ISQM 1), die een systematisch en risicogericht beheersingsraamwerk vereist.

2.4. Succesfactoren in innovatie

Tot slot is in deze literatuurreview nog een inventarisatie van succesfactoren bij systeemontwikkeling uitgevoerd. Allereerst is systems thinking van belang voor succes, waarbij gedacht kan worden in vijf principes (Dewangan and Godse 2014):

  • het multidimensionaal denken;
  • het gericht zijn op het innovatieproces;
  • het gericht zijn op behoeften van stakeholders;
  • het leggen van een duidelijke relatie tussen oorzaak en gevolg in de oplossing (innovatie);
  • het gericht zijn op eenvoud wat betreft implementatie en gebruik.

Deze vijf principes dienen te worden uitgewerkt in KPI’s in het kader van performance management. Dzaiallas and Blind (2019) beschrijven 82 indicatoren die in de praktijk worden gebruikt als KPI’s bij de verschillende fases van innovatie-ontwikkeling. In lijn met het ‘multidimensionale denken’-principe, stellen Hacklin et al. (2012) dat multidisciplinaire samenwerking belangrijk is voor succesvolle innovaties. Solmaimani et al. (2019) benadrukken in een onderzoek onder 243 Nederlandse bedrijven dat zowel de harde als de zachte kanten bij LEAN-innovatieprocessen belangrijk zijn. Frishammar et al. (2019) benadrukken het belang van zogenaamde innovation audits, dat wil zeggen de reviewmomenten in de ontwikkeling en implementatie van systeemoplossingen die onderdeel zijn van het SE-raamwerk.

Kapoor et al. (2014) stellen in hun meta-analyse dat het veronderstelde relatieve voordeel ten opzichte van de huidige situatie (onderdeel van de pragmatische legitimiteit), de belangrijkste enabler is van adoptie van een innovatie. De complexiteit van een oplossing is daarentegen de belangrijkste disabler van adoptie. Voor andere veronderstelde drivers van adoptie is geen significante bevestiging gevonden, zoals comptabiliteit van de oplossing met huidige opvattingen, de mate waarin de innovatie geprobeerd kan worden door belanghebbenden en de mate waarin de werking van de innovatie zichtbaar is voor belanghebbenden.

3. Toepassing van Systems Engineering Raamwerk in Auditing

Accountants staan voor de uitdaging te vernieuwen en zijn daar volop mee bezig. Uit het literatuuronderzoek in sectie 2 blijkt dat dit moeizaam gaat en dat er een gebrek aan legitimiteit is van de methodologie. Er zijn daarom twee redenen waarom accountants moeten leren van branches die al veel ervaring hebben opgedaan met innovatietrajecten. De eerste reden betreft de effectiviteit van de innovatie, namelijk dat de kwaliteit geborgd wordt, zodat het systeem niet alleen aan alle daaraan te stellen eisen voldoet, inclusief de gestelde measures of success, maar ook de benodigde pragmatische en cognitieve legitimiteit heeft bij de belanghebbenden en gebruikers in de brede zin van het woord. De borging van de legitimiteit is niet in de laatste plaats belangrijk vanwege de maatschappelijke vertrouwensfunctie van de accountant. De tweede reden is de efficiëntie van het innovatieproces, waarbij de doorlooptijd en kosten van de ontwikkeling en implementatie beheerst worden.

In de volgende paragrafen worden enkele belangrijke onderdelen uit het SE-raamwerk toegepast op de ontwikkeling van controlemethodologie.

3.1. Inventarisatie behoeften belanghebbenden

Centraal in de innovatie van controlemethodologie staat de inventarisatie van de belanghebbenden (zie Figuur 2, fase 0 en 1) in de brede zin van het woord, zoals afgebeeld in Figuur 4. Bij de belanghebbenden moeten, gezien de maatschappelijke functie van accountants, de gebruikers van de dienstverlening van accountants, de assurance-gebruikers, centraal staan. Wat hebben de assurance-gebruikers nodig, nu en in de toekomst? Deze analyse raakt het hart van het bestaansrecht en de missie van een accountantsorganisatie.

Figuur 4.

Belanghebbenden in de controle.

De overige belanghebbenden, zoals de interne organisatie, de beroepsgroep en de toezichthouder, opleidingen en onderzoek, ondersteunen en faciliteren bij het realiseren van de missie. Een accountantskantoor zal op systematische wijze moeten bepalen welke prioriteit belanghebbenden krijgen in de systeemontwikkeling. De behoeften van cliënten zullen vanuit commercieel oogpunt vast een hoge prioriteit krijgen, maar mogen, gegeven de maatschappelijke functie van de accountant, niet de hoogste prioriteit krijgen in de ontwikkeling van controlemethodologie.

3.2. Vaststellen vereisten belanghebbenden

Na vaststelling van de behoeften is het belangrijk om vereisten vast te stellen waaraan de systeemoplossing moet voldoen (Figuur 2, fase 1). Op hoofdlijnen zijn er vier groepen vereisten te onderkennen, zoals gerepresenteerd in Figuur 5.

Figuur 5.

Kwadranten van vereisten voor een systeemoplossing.

Veel van de vereisten zijn al vastgelegd in standaarden en raamwerken ter borging van een minimumkwaliteit van de analyses. Centraal staat het doel van de systeem plossing: welke behoeften moeten bediend worden? Voor een accountantskantoor is het daarom van belang controlekwaliteit te definiëren en dit gaat verder dan alleen ‘voldoen aan de standaarden’. Anders is er namelijk geen morele legitimiteit om te veranderen, want kantoren moeten nu al voldoen aan de standaarden. Als basis wordt gebruikt voor de definitie van controlekwaliteit (Van Buuren and Snoei 2021, p. 34):

“De kwaliteit van een assurance-opdracht is de mate waarin voldoende en geschikte assurance-informatie is verkregen om een conclusie tot uitdrukking te brengen om de mate van vertrouwen van de beoogde gebruikers, niet zijnde de verantwoordelijke partij, in de uitkomst van de meting of evaluatie van het onderzoeksobject ten opzichte van criteria zo veel mogelijk te versterken.”

De definitie sluit aan bij de definitie van assurance-opdrachten (art. 10 Stramien voor Assurance opdrachten), maar met toevoeging van de vetgedrukte woorden, waarin de kwaliteit wordt gekoppeld aan de dynamiek van de veranderende behoeften betreffende de controles. Het is aan kantoren om aan dit dynamische behoeftepatroon tegemoet te komen, specifiek voor de assurance-gebruikers in de markten waarin zij opereren. Vervolgens zullen de kantoren (strategische) keuzes moeten maken om hun ambities over de ‘mate’ en ‘zo veel mogelijk’ te bepalen en kwaliteitsaspecten te definiëren waaraan de systeemoplossing uiteindelijk moet voldoen. Deze vereisten kunnen verder aangevuld worden met eisen ten behoeve van de dienstverlening aan cliënten.

De eisen voor interne gebruikers hebben betrekking op functionele, technische en prestatie-eisen in de brede zin van het woord. Enerzijds moet de systeemoplossing voldoen aan de eisen die het accountantskantoor zelf stelt aan controlemethodologie (deze criteria moeten worden vastgelegd in het beleid voor kwaliteitsbeheersing!) en de beroepsreglementering, zoals de Handleiding Regelgeving Accountancy (HRA 2020). Anderzijds moet de systeem plossing goed werkbaar zijn in de praktijk van alledag. Ook moet de kwaliteit van de data geborgd zijn. Hiervoor zijn diverse standaarden beschikbaar, zoals het ‘GS1 Data Quality Framework’ (GS 2010), XBRL en het ‘Referentie GrootboekSchema’ (RGS 2021). En ook de privacy en veiligheid moeten worden geborgd (AVG-wetgeving).

De eisen voor de bedrijfsvoering betreffen vooral de kwaliteitsbeheersing, dat aan eisen van het beroep is voldaan en dat de bedrijfsdoelen worden behaald. Hierbij kan ook gedacht worden aan de eisen dat de systeemoplossing aangesloten moet kunnen worden op bestaande software-oplossingen (legacy software) en moet passen bij de vaardigheden van medewerkers. Voor deze eisen zijn al veel raamwerken beschikbaar, ter illustratie worden de volgende genoemd: het SE-raamwerk voor lifecycle management, het ‘Capability Maturity Model Integration’-raamwerk (CMMI) voor het optimaliseren van (IT-)ontwikkelprocessen, het COBIT5-raamwerk voor de ontwikkeling en het beheer van IT-systemen, het Risk IT-raamwerk (ISACA 2020) en Skills Framework (SFIA 8) voor een gestandaardiseerde omschrijving van functies en taken en ervaringsniveaus van personeel. Tot slot moet de bedrijfsvoering van het accountantskantoor voldoen aan de eisen van kwaliteitsbeheersing, zoals omschreven in de ISQM-1- en ISQM-2-standaarden (IAASB 2020a, 2020b).

Tot slot worden er eisen gesteld vanuit de overheid en maatschappij waaraan voldaan moet worden, respectievelijk waarop geanticipeerd zal moeten worden. Het is belangrijk om te bedenken dat elk van bovengenoemde eisen voortkomt uit een eigen dynamiek en zich op een eigen manier ontwikkelt, maar wel invloed uitoefent op de systeemoplossing en mogelijke toekomstige aanpassingen. Een feedback loop met nieuwe ontwikkelingen die invloed kunnen hebben op de werking van een systeemoplossing is daarom belangrijk.

3.3. Measures of Success

Een volgend onderdeel is dat er moet worden vastgelegd en afgestemd met de belanghebbenden wanneer de systeemoplossing een succes is. Samen met belanghebbenden moet de succesdefinitie van de systeemoplossing worden vastgelegd. Dit wordt uitgedrukt in de zogenoemde Measures of Success (MoS); dit zijn meetbare doelen die moeten worden behaald (zie ook Figuur 2, fase 1).

Bij innovatie van controlemethodologie kan gedacht worden aan verbetering van de effectiviteit van de controlemethodologie met een bepaalde percentage, zoals het beter detecteren van bepaalde onjuistheden of het verhogen van het vertrouwen van een bepaalde groep gebruikers. Er dienen meerdere maatstaven per MoS te worden gedefinieerd. De verbetering dient vastgesteld te worden middels wetenschappelijk verantwoordbare testprocedures in de verificatie- en validatiefase. Verificatie betreft het vaststellen dat de systeemoplossing voldoet aan de gestelde functionele, technische en prestatie-eisen. Validatie betreft de beoordeling of de systeemoplossing voldoet aan de behoeften van de belanghebbenden.

3.4. Initiële systeemarchitectuur met work-breakdown structure

Een uitdaging voor het ontwikkelen van nieuwe controlemethodologie is dat alle onderdelen van het controleproces moeten worden gespecificeerd en gedefinieerd (zie Figuur 2, fase 1). Afhankelijk van het doel van de systeemoplossing geldt dit ook voor oordeels- en besluitvormingsprocessen en vervolgens ook voor de weging van bevindingen en de vervolgstappen die genomen moeten worden bij bepaalde uitkomsten. Om tot een systeemarchitectuur te komen, moeten de benodigde onderdelen van het te verbeteren proces worden opgedeeld in deelcomponenten, ofwel: het werk moet worden opgedeeld in kleine stukjes, ook wel ‘work-breakdown’ genoemd. Om processen in kaart te brengen is standaardmethodologie beschikbaar, zoals SysML (Friedenthal et al. 2015).

3.5. Systems engineering management plan

Het Systems engineering management plan (SEMP) betreft het hart van het SE-raamwerk en vormt het centrale document voor lifecycle management van de systeemoplossing: van ontwikkeling tot implementatie en afstoting. Het beschrijft alle onderdelen, zoals benoemd in Figuur 2, fase 1 en 2. In het SEMP is een iteratief proces opgenomen, een feedback loop, waarbij vanuit verschillende bronnen, zoals behoeften, veranderende vereisten en gerapporteerde problemen, vanuit de bedrijfsprocessen acties worden geïnitieerd om te anticiperen op deze ontwikkelingen.

In het SEMP zijn ook de eisen opgenomen omtrent de inhoud van de verificatie- en validatietestprocedures, de implementatieplannen (inclusief risicoanalyses) en de operations-plannen met handboeken en handleidingen. Voor de theorievormingsfase (zie Figuur 1 en 3) is het van belang dat de controlemethodologie voldoende is uitgeschreven, zodat die begrijpelijk is, inclusief de fases en processen die gevolgd moeten worden, de beschrijving van belangrijke afwegingen die moeten worden gemaakt en de relatie met de controlestandaarden. Voor het vertrouwen in het beroep zou het goed zijn dat de validatietesten aangaande controlemethodologie worden gestandaardiseerd, dat ze door een onafhankelijke partij worden beoordeeld en dat de uitkomsten ervan worden gepubliceerd. Dit is ook gebruikelijk in andere branches, zoals de farmacie en de maakindustie. De SEMP dient ook aanwijzingen te bevatten over het kwaliteitsbeheersingsinstrumentarium voor de juiste toepassing van de methodologie. niet alleen achteraf, maar ook gedurende de controle, bijvoorbeeld door het gebruik van dashboards met signalering van risico’s in de controleaanpak en -uitvoering.

Tot slot is het van belang om (delen van) de systeemoplossing te certificeren, om het vertrouwen in de methodologie te versterken, te beginnen met privacy, data handling en databeveiliging.

4. Conclusies en aanbevelingen

Met vernieuwingen in de controlemethodologie begeven accountants zich steeds meer op het terrein van de ontwikkeling van systeemoplossingen. Accountantskantoren zullen steeds meer technologiegedreven bedrijven worden. En dat biedt goede mogelijkheden voor het beroep om relevant te blijven in een wereld die steeds verder digitaliseert, verandert en veeleisender wordt. Het biedt ook de mogelijkheid om een continue verhoging van controlezekerheid na te streven; onzes inziens een belangrijke opdracht voor de accountant in het kader van diens maatschappelijke opdracht. Deze ontwikkeling gaat echter moeizaam. Uit de literatuuranalyse komt naar voren dat bij de datagedreven controleaanpak de theorievorming veelal tekortschiet, waardoor de pragmatische legitimiteit laag is vanwege onzekerheid of aan de beroepsreglementering is voldaan. Verder wordt de methodologie (mogelijk onterecht) als complex ervaren. Ook zijn voor de gebruikers de veronderstelde voordelen van de nieuwe methodologie onvoldoende duidelijk en niet voldoende wetenschappelijk aangetoond, wat de pragmatische legitimiteit verder verlaagt. Tot slot is het opmerkelijk, vanuit de maatschappelijke rol van de accountant gezien, dat de behoeften van de assurance-gebruikers niet als uitgangspunt voor vernieuwing zijn benoemd, maar wel het streven naar meer relevantie en toegevoegde waarde richting de controlecliënt.

Om de kwaliteit van de controle te borgen, zal de accountant ook het proces van innovatie en implementatie van de controlemethodologie moeten professionaliseren.

In de maakindustrie en softwarebranche is al veel kennis beschikbaar over het op systematische wijze innoveren en borgen van kwaliteit.

Aandachtspunten bij de ontwikkeling van de controlemethodologie zijn het centraal stellen van de behoeften van assurance-gebruikers en het zorgvuldig definiëren en specificeren van measures of success en vereisten, te beginnen met een accountantskantoorspecifieke definitie van controlekwaliteit. Verder biedt systems thinking accountants veel mogelijkheden voor de ontwikkeling en verrijking van de controlemethodologie. Het SE-raamwerk biedt goede aanknopingspunten om de kwaliteitsbeheersing van controlemethodologie te borgen gedurende de gehele levensduur van de controlemethodologie. Veel meer aandacht voor de theoretisering van de controlemethodologie is echter een essentiële eerste stap die gezet moet worden en laat het thought leadership van een accountantskantoor zien.

Prof. dr. J.P. (Joost) van Buuren RA is hoogleraar Auditing & Assurance en verbonden aan Nyenrode Business Universiteit. Zijn leerstoel is gericht op controlemethodologie en controlekwaliteit.

Wiebren Wijma is een Senior Cost Manager/Engineer (CCE CPP) met meer dan 35 jaar ervaring in Cost Managementfuncties in de scheepsbouw, olie en gas, lucht- en ruimtevaart, telecom, elektronica, constructie-, bouw- en infrasector.

Noot

1Vanwege de holistische benadering is systems thinking toegepast in de BRA-methodologie (Peecher et al. 2007) en met positieve effecten. Systems-thinking in auditing leidt tot een betere inschatting van de complexiteit en professionele oordeelsvorming (Bucaro 2019). Ook O’Donnell and Perkins (2011) rapporteren een opmerkzamere houding in het ontdekken van relevante afwijkende patronen bij een toepassing van causal loops, een werkwijze in systems thinking.

Literatuur

Academische referenties

  • Alles MG (2015) Drivers of the use and facilitators and obstacles of the evolution of big data by the audit profession. Accounting Horizons 29(2): 439–449. https://doi.org/10.2308/acch-51067
  • Appelbaum D (2016) Securing big data provenance for auditors: the big data provenance black box as reliable evidence. Journal of Emerging Technologies in Accounting 13(1): 17–36. https://doi.org/10.2308/jeta-51473
  • Appelbaum D, Kogan A, Vasarhelyi MA (2017) Big data and analytics in the modern audit engagement: research needs. Auditing: A Journal of Practice and Theory 36(4): 1–27. https://doi.org/10.2308/ajpt-51684
  • Austin AS, Carpenter TD, Christ MH, Nielson CS (2021) The data analytics journey: interactions among auditors, managers, regulation and technology. Contemporary Accounting Research 38(3): 1888–1924. https://doi.org/10.1111/1911-3846.12680
  • Brown-Liburd H, Issa H, Lombardi D (2015) Behavioral implications of Big data’s impact on audit judgment and decision-making and future research directions. Accounting Horizons 29(2): 451–468. https://doi.org/10.2308/acch-51023
  • Cai CW, Linnenluecke MK, Marrone M, Singh AK (2019) Machine learning and expert judgement: analyzing emerging topics in accounting and finance research in the Asia-Pacific. ABACUS 55(4): 709–733. https://doi.org/10.1111/abac.12179
  • Christ MH, Emett SA, Summers SL, Wood DA (2021) Prepare for takeoff: Improving asset measurement and audit quality with drone-enabled inventory audit procedures. Review of Accounting Studies 26: 1–21. https://doi.org/10.1007/s11142-020-09574-5
  • Commerford BP, Dennis SA, Joe JR, Ulla J (2021) Man versus machine: Complex estimates and auditor reliance on artificial intelligence. Forthcoming in Journal of Accounting Research. [Gevonden op (28 januari 2022): ssrn.com] https://doi.org/10.1111/1475-679X.12407
  • Curtis E, Turley WS (2007) The business risk audit – A longitudinal case study of an audit engagement. Accounting, Organizations and Society 32(4–5): 439–461. https://doi.org/10.1016/j.aos.2004.02.002
  • Curtis E, Humphrey C, Turley WS (2016) Standards of innovation in auditing. Auditing: A Journal of Practice and Theory 35(3): 75–98. https://doi.org/10.2308/ajpt-51462
  • Delligatti L (2014) SysML distilled. A brief guide to the systems modelling language. Pearson Eduction. Addison-Welsley, Upper Saddle River (New York, USA).
  • Eulerich M, Georgi C, Schmidt A (2020) Continuous auditing and risk-based audit planning – an empirical analysis. Journal of Emerging Technologies in Accounting 17(2): 141–155. https://doi.org/10.2308/JETA-2020-004
  • Eilifsen A, Kinserdal F, Messier WF, McKee TE (2020) An exploratory study into the use of audit data analytics on audit engagements. Accounting Horizons 34(4): 75–103. https://doi.org/10.2308/HORIZONS-19-121
  • Frishammar J, Richtnér A, Brattström A, Magnusson M, Björk J (2019) Opportunities and challenges in the new innovation landscape: implications for innovation auditing and innovation management. European Management Journal 37: 151–164. https://doi.org/10.1016/j.emj.2018.05.002
  • Gepp A, Linnenluekce MK, O’Neill TJ, Smit T (2018) Big data techniques in auditing research and practice: current trends and future opportunities. Journal of Accounting Literature 40: 102–115. https://doi.org/10.1016/j.acclit.2017.05.003
  • Greenwood R, Sudday R, Hinings CR (2002) Theorizing change: The role of professional associations in the transformation of institutionalized fields. Academy of Management Journal 45(1): 58–80. https://doi.org/10.2307/3069285
  • Hacklin F, Wallin MW (2013) Convergence and interdisciplinarity in innovation management: a review, critique and future directions. The Services Industries Journal 33(7–8): 774–788. https://doi.org/10.1080/02642069.2013.740471
  • Kapoor KK, Dwivedi YK, Williams M (2014) Rogers’ innovation adoption attributes: a systematic review and synthesis of existing research. Information Systems Management 31: 74–91. https://doi.org/10.1080/10580530.2014.854103
  • Knechel WR (2001) Auditing: Assurance and Risk. 2nd edn. South-Western college publishing, Cincinnati.
  • Krieger F, Drews P, Velte P (2021) Explaining the (non-)adoption of advanced data analytics in auditing: A process theory. International Journal of Accounting Information Systems 41: 1–24. https://doi.org/10.1016/j.accinf.2021.100511
  • Lowe DJ, Bierstaker JL, Janvrin DJ, Jenkins JG (2018) Information technology in an auditing context: Have the Big4 lost their advantage? Journal of Information Systems 32(1): 87–107. https://doi.org/10.2308/isys-51794
  • Mock TJ, Ragothaman SC, Srivastava RP (2018) Using evidential reasoning technology to enhance the audit quality assurance inspection process. Journal of Emerging Technologies in Accounting 15(1): 29–43. https://doi.org/10.2308/jeta-52083
  • Moll J, Yigitbasioglu O (2019) The role of internet-related technologies in shaping the work of accountants: new directions for accounting research. The British Accounting Review 51: 1–20. https://doi.org/10.1016/j.bar.2019.04.002
  • O’Donnell E, Perkins JD (2011) Assessing risk with analytical procedures: Do system-thinking tools help auditors focus on diagnostic patterns? Auditing: A Journal of Practice and Theory 30(4): 273–283. https://doi.org/10.2308/ajpt-10148
  • Peecher ME, Schwartz R, Solomon I (2007) It’s all about audit quality: Perspectives on strategic-systems auditing. Accounting, Organizations and Society 32(4/5): 463–485. https://doi.org/10.1016/j.aos.2006.09.001
  • Rose AM, Rose JM, Sanderson KA, Thibodeau JC (2017) When should audit firms introduce analyses of big data into the audit process? Journal of Information Systems 31(3): 81–99. https://doi.org/10.2308/isys-51837
  • Salijeni G, Samsonova-Taddei A, Turley S (2021) Understanding how big data technologies reconfigure the nature and organization of financial statement audits: a sociomaterial analysis. European Accounting Review 30(3): 531–555. https://doi.org/10.1080/09638180.2021.1882320
  • Srivastava RP, Mock TJ, Pincus KV, Wright AM (2012) Causal inference in auditing: a framework. Auditing: A Journal of Practice and Theory 31(3): 177–201. https://doi.org/10.2308/ajpt-10293
  • Schmidt PJ, Riley J, Church KS (2020) Investigating accountants’ resistance to move beyond Excel and adopt new data analytics technology. Accounting Horizons 34(4): 165–180. https://doi.org/10.2308/HORIZONS-19-154
  • Titera WR, Krahel JP (2015) Consequences of Big data and formalization on accounting and auditing standards. Accounting Horizons 29(2): 409–422. https://doi.org/10.2308/acch-51065
  • Tsai C-F, Sue K-L, Hu Y-H, Chiu A (2021) Combining feature selection, instance selection, and ensemble classification techniques for improved financial distress prediction. Journal of Business Research 130: 200–209. https://doi.org/10.1016/j.jbusres.2021.03.018
  • Van Buuren J, Koch C, Van Nieuw Amerongen N, Wright A (2014) The use of business risk audit perspectives by Non-Big 4 audit firms. Auditing: A Journal of Practice and Theory 33(3): 105–128. https://doi.org/10.2308/ajpt-50760
  • Van Buuren J (2018) Voorbij de tempo doeloe in accountancy. Oratie. Nyenrode Business Universiteit. [Found at (30 September 2021):] www.nyenrode.nl
  • Van Buuren J, Snoei W (2021) Over de diagnostische eigenschappen van Audit Quality Indicators. Maandblad Voor Accountancy en Bedrijfseconomie 95(1/2): 33–45. https://doi.org/10.5117/mab.95.62240
  • Van Buuren J, Koch C, Van Nieuw Amerongen N, Wright A (2018) Evaluating the change process for business risk auditing: Legitimacy experiences of non-big4 auditors. Auditing: A Journal of Practice and Theory 37(2): 249–269. https://doi.org/10.2308/ajpt-51748

Niet-academische referenties

  • AICPA (2015) Audit analytics and continuous audit: looking toward the future. [found at (30 September 2021):] www.aicpa.org
  • AICPA (2019) Audit data analytics to traditional procedures mapping, spreadsheet. [found at (30 September 2021):] www.aicpa.org
  • GS1 (2010) Data quality framework version 3.0, issue 2(October 2010). [Found at (30 September 2021):] www.gs1.org
  • IAASB (2016) Exploring the growing use of technology in the audit, with a focus on data analytics. Data Analytics Working Group, September. [found at (30 September 2021):] www.ifac.org
  • IAASB (2020a) International Standard on Quality Management 1, Quality Management for Firms that Perform Audits or Reviews of Financial Statements, or Other Assurance or Related Services Engagements, December. [found at (30 September 2021):] www.ifac.org
  • IAASB (2020b) International Standard on Quality Management 2, Engagement Quality Reviews (December 2021). [found at (30 September 2021):] www.ifac.org
  • IAASB (2021a) Non-authoritative support material related to technology: Frequently asked questions (FAQ): Use of ATT and Use of Information Produced by Entity’s Systems (March 2021). [found at (30 September 2021):] www.ifac.org
  • IAASB (2021b) First-time implementation guide, International Standard on Quality Management 1, Quality Management for Firms that Perform Audits or Reviews of Financial Statements, or Other Assurance or Related Services Engagements (September 2021).[found at (30 September 2021):] www.ifac.org
  • INCOSE (2015) Systems engineering handbook. A guide for system life cycle processes and activities. 4th edn. Wiley, San Diego.
  • INCOSE (2021) Guide to the systems engineering body of knowledge (SEBoK). Part 1–8; Version 2.4. [Found at (30 September 2021):] www.sebokwiki.org
  • ISACA (2012) COBIT5, A Business Framework for the Governance and Management of Enterprise IT. [found at (30 September 2021):] www.isaca.org
  • ISACA (2018a) COBIT 2019 Framework, Introduction and methodology. [found at (30 September 2021):] www.isaca.org
  • ISACA (2018b) COBIT 2019 Framework, Governance and management objectives. [found at (30 September 2021):] www.isaca.org
  • ISACA (2020a) IT audit framework (ITAF). A professional practices framework for IT Audit, 4th edn. [found at (30 September 2021):] www.isaca.org
  • ISACA (2020b) Risk IT Framework, 2nd edn. ISACA, Schaumburg, Illinois USA.
  • ISACA (2021) CMMI® V2.0 Performance Report Summary, How Organizations Around the World are Leveraging CMMI V2.0 to Gain a Competitive Edge Through Improved Business Performance (February 2021). [found at (30 September 2021):] www.isaca.org
  • NASA [National Aeronautics and Space Administration] (2016) NASA Systems engineering handbook, version 2. [found at (30 September 2021):] www.nasa.gov
  • NBA (2019a) NBA-handreiking 1141, Data-analyse bij de controle: uitdagingen en vooral kansen (juni 2019). [found at (30 September 2021):] www.nba.nl
  • NBA (2019b) Van bankzitter tot sterspeler: de impact van technologie op de accountantscontrole. Stuurgroep publiek belang. [found at (30 September 2021):] www.nba.nl
  • NBA (2019c) Rapport oorzakenanalyse, OOB Accountantsorganisaties. Stuurgroep publiek belang (juni 2019). [found at (30 September 2021):] www.nba.nl
  • Nederlands Normalisatie Instituut (2015) Systems and software engineering, system life cycle processes (NEN-ISO/IEC/IEEE 15288:(2015).IDT), Delft.
  • SFIA Foundation (2021[September]) Skill Framework for the information age. The complete reference, version 8. [found at (30 September 2021):] www.sfia-online.org
  • XBRL (2021) An introduction to XBRL. [found at (30 September 2021):] xbrl.org
login to comment