Het op een correcte manier opzetten, uitvoeren en documenteren van een statistische steekproef is geen eenvoudige taak. In dit artikel presenteren we JASP for Audit; open-source en gebruiksvriendelijke software die specifiek is ontwikkeld voor zowel interne als externe auditors om de statistische onderdelen van een controle gemakkelijker te maken. Allereerst wordt een overzicht van de functionaliteit van JASP for Audit gegeven. Vervolgens wordt er ingegaan op vier onderscheidende kenmerken van de software en de voordelen daarvan voor de controlepraktijk. Daarna wordt de software gedemonstreerd middels drie voorbeelden over respectievelijk controls testing, gegevensgerichte controle en fiscale controle. Afsluitend worden er aanbevelingen gegeven voor het gebruik van JASP for Audit in de praktijk.

Controle, audit, software, steekproeven

Steekproeven zijn vaak het sluitstuk van een audit. Het op een correcte manier opzetten, uitvoeren en documenteren van een statistische steekproef is geen eenvoudige taak. In dit artikel presenteren we JASP for Audit, open-source en gebruiksvriendelijke software die specifiek is ontwikkeld voor auditors om de statistische onderdelen van een audit gemakkelijker te maken, op een verantwoorde manier uit te voeren en te documenteren.

Steekproeven maken sinds jaar en dag onderdeel uit van de controle, zowel voor het testen van controls als voor gegevensgerichte controles (Power 1992; De Swart et al. 2013). Hoewel huidige ontwikkelingen binnen data-analyse auditors de mogelijkheid bieden om sommige populaties gegevensgericht integraal te controleren (Brown-Liburd et al. 2015; Salijeni et al. 2019), blijft het vaak effectiever en efficiënter om een steekproef te gebruiken voor gegevens waarvan de norm niet gemakkelijk beschikbaar is of in situaties waarin ten onrechte wordt aangenomen dat de juiste norm beschikbaar is (Van Batenburg 2018a; 2018b). Immers, middels een statistische steekproef kan een kansuitspraak over een gehele populatie worden gedaan op basis van slechts een klein gezien deel van deze populatie. Daarnaast bieden ontwikkelingen binnen de statistiek meer mogelijkheden om effectiever en efficiënter met beschikbare voorkennis en (steekproef)data om te gaan dan voorheen (Stewart 2013; De Swart et al. 2013; Derks et al. 2021a; 2022). Het uitvoeren van steekproeven wordt daardoor steeds gerichter en goedkoper (Van Batenburg 2018a); data-analyse en steekproeven sluiten elkaar niet uit, maar complementeren elkaar juist (Yoon and Pearce, 2021). De steekproef als gereedschap om bij te dragen aan voldoende en geschikt controlebewijs zal daarom niet snel verdwijnen uit de controlepraktijk. Integendeel, naar verwachting zal de combinatie van data-analyse en steekproeven steeds belangrijker worden in het veld (Van Batenburg 2018b; Kogan et al. 2019).

Ondanks de grote rol die in de controlepraktijk is weggelegd voor steekproeven (Van der Nest et al. 2005; Christensen et al. 2015), is het op een correcte manier opzetten, uitvoeren en documenteren van een statistische steekproef geen eenvoudige taak (zie bijvoorbeeld ISA 530 over steekproeven (International Auditing and Assurance Board (IAASB) 2018), de eisen aan de financiële rechtmatigheid zoals vastgelegd in artikel 5.10d in de regeling SUWI (Ministerie van Sociale Zaken en Werkgelegenheid 2022), of het Handboek Auditing Rijksoverheid (Interdepartementaal Overleg Departementale Auditdiensten) 2017). Er kunnen hierin drie obstakels worden geïdentificeerd die een belemmering vormen voor auditors:

• Auditors moeten voldoende kennis van statistische theorie in huis hebben om een steekproef op een verantwoorde manier op te zetten en uit te voeren (e.g., Stewart 2012), terwijl zij niet altijd voldoende opgeleid worden om de expertkennis van een statisticus te bezitten, laat staan te onderhouden (Symon 1974).
• Auditors moeten toegang hebben tot software die eenvoudig te gebruiken is en analyses uitvoert conform de controlestandaarden (Schouten 2007; Binck 2012; Ahmi and Kent 2012; Bradford et al. 2020).
• De vastlegging en interpretatie van de statistische resultaten is niet altijd gemakkelijk. Zo kan het bijvoorbeeld lastig zijn om de statistische uitspraak over de populatie via een frequentistisch betrouwbaarheidsinterval te formuleren (Hoekstra et al. 2015), of om de hoeveelheid bewijs voor goed- of afkeuring van de financiële populatie uit een p-waarde te achterhalen (Derks et al. 2021c).

Alle drie obstakels zorgen ervoor dat het plannen en evalueren van een statistische steekproef vaak wordt uitbesteed aan auditors met meer specialistische kennis van statistiek (Brazel and Agoglia 2007).

Met de huidige ontwikkelingen op het gebied van data-analyse komen externe auditors steeds meer in aanraking met de mogelijkheden van het gebruik van datagedreven methoden en geautomatiseerde processen om controlebewijs te verzamelen (e.g., Brown-Liburd and Vasarhelyi 2015; Appelbaum et al. 2017; Boersma et al. 2021). Voor interne auditors geldt een vergelijkbare impact van deze ontwikkelingen (De Swart et al. 2016). In lijn met deze trend wordt er van auditors dan ook steeds meer verwacht dat zij de afhankelijkheid van statistici verminderen door eigen vaardigheden op het gebied van data-analyse te ontwikkelen (Li 2022). Daarnaast zal door de groeiende integratie van data-analysetechnieken in de audit ook de complexiteit van de statistische modellen toenemen. De reden hiervoor is dat als er meer data gebruikt worden, de kans groot is dat deze data uit verschillende bronnen komen, van verschillende kwaliteit en mogelijk van een ander type (bijvoorbeeld tabellen, tekstvelden, audio, etc.) zijn. Al die data samen in één statistisch model gebruiken vereist een hogere complexiteit in statistische modellen dan de standaardmodellen (Appelbaum et al. 2017). Deze ontwikkelingen hebben als gevolg dat kennis van geavanceerde statistiek belangrijker is geworden binnen een audit. De open-source software JASP for Audit helpt auditors met het op een correcte manier opzetten, uitvoeren en documenteren van een statistische steekproef en slaat daarmee een brug tussen de auditor en de statisticus.

In dit artikel presenteren we JASP for Audit; software die specifiek ontwikkeld is om auditors te ondersteunen bij de statistische onderdelen van een controle. De software heeft vier kenmerken die onderscheidend zijn ten aanzien van andere statistische software, en die voordelig zijn in de context van de controlepraktijk:

• De interface van de software is ontwikkeld met de auditor in het achterhoofd, is gebruiksvriendelijk (zo ondersteunt de grafische gebruikersinterface zowel Nederlands als Engels) en sluit aan op de controlestandaarden.
• De opzet van JASP for Audit zorgt ervoor dat de steekproefwerkzaamheden statistisch verantwoord kunnen worden gedocumenteerd en gereproduceerd. Bijvoorbeeld, de software genereert automatisch een rapport waarin inzichtelijk wordt gemaakt welke statistische keuzes zijn gemaakt bij de uitvoering van de steekproef en wat de betekenis is van deze keuzes. Dat is relevant voor de auditor, omdat het uitvoeren en rapporteren van een statistische steekproef nog relatief moeilijk blijkt (IFIAR 2020, 2021, 2022). JASP for Audit minimaliseert ook de kans op rekenfouten, want JASP for Audit is eerder gepubliceerd in het Journal for Open Source Software (JOSS) (Derks et al. 2021b). Dit betekent dat de technische en functionele integriteit van de software onafhankelijk is vastgesteld. Overigens maakt die JOSS-publicatie dit artikel geenszins overbodig, want het hiervoor genoemde artikel adresseert niet wanneer en hoe auditors de software in de praktijk kunnen gebruiken.
• JASP for Audit biedt naast de standaard frequentistische statistiek ook Bayesiaanse statistiek, die auditors de mogelijkheid geeft om optimaal gebruik te maken van bestaande informatie uit eerdere stadia van de audit of voorkennis over bijvoorbeeld de auditee of sector. Met andere woorden: JASP for Audit helpt auditors om de – steeds complexer wordende – steekproef te begrijpen, op een correcte manier uit te voeren, te documenteren en te verantwoorden.
• JASP for Audit is open-source software (Von Krogh and Spaeth 2007). Dit betekent dat de software gratis kan worden gedownload en dat de broncode voor iedereen vrij beschikbaar is.

Dit artikel is als volgt opgezet. Hoofdstuk 2 gaat in op de hiervoor genoemde vier onderscheidende kenmerken van JASP for Audit. Daarna wordt in hoofdstuk 3 de software gedemonstreerd middels drie voorbeelden die ook voor interne en fiscale auditors relevant (kunnen) zijn. Als laatste bevat hoofdstuk 4 conclusies en aanbevelingen voor het gebruik van JASP for Audit in de praktijk.

Software die open-source genoemd wordt, is software waarvan de broncode openbaar te verkrijgen is zonder beperking en zonder kosten. Daarbij is kenmerkend voor open source dat het toegestaan is om de broncode aan te passen om er afgeleide software mee te maken. Deze afgeleide werken moeten dan wel worden verspreid onder dezelfde voorwaarden als de originele software (zie voor de exacte definitie van open-source https://opensource.org/osd). Echter, naast de technische kant – wie mag de code inzien, aanpassen en verspreiden – is er een ander kenmerk van open-source software dat belangrijk is om te benoemen. Namelijk, in tegenstelling tot closed-source software wordt open-source software gezamenlijk ontwikkeld in een gemeenschap met softwareontwikkelaars en -gebruikers. Zo wordt de ontwikkeling van open-source ook wel vergeleken met de drukke Bazaar en de ontwikkeling van closed-source met de Kathedraal (Raymond 1999). Dit heeft een aantal voordelen, bijvoorbeeld dat de eindgebruiker altijd voorop staat en ontwikkeling van de software normaliter sneller gaat dan bij closed source (AlMarzouq et al. 2005; Morgan et al. 2007). Een voorbeeld van open-source software is JASP.

JASP¹ (Love et al. 2019; JASP Team 2022) is gratis en open-source statistische software met een point-and-click grafische interface die geschreven is in de statistische programmeertaal R (R Core Team 2021). De software is een veelgebruikte tool voor statistische analyses binnen verscheidene wetenschappelijke vakgebieden (e.g., Wagenmakers et al. 2018; Brydges and Gaeta 2019; Faulkenberry et al. 2020; Kelter 2020). Zo wordt JASP in 2022 rond de 40.000 keer gedownload per maand en is het opgenomen in het curriculum van 226 universiteiten uit 59 verschillende landen, waaronder de Universiteit van Amsterdam, Universiteit Utrecht en Nyenrode Business Universiteit. De software is beschikbaar in 10 verschillende talen, waaronder Engels en Nederlands. JASP bevat een groot assortiment aan standaard statistische analyses – zoals t-tests (Gronau and Wagenmakers 2020), lineaire regressie (Van den Bergh et al. 2021) en ANOVA (Van den Bergh et al. 2020) – in zowel frequentistische als Bayesiaanse vorm. Daarnaast biedt JASP op dit moment 19 add-on modules die functionaliteit aan de software toevoegen (e.g., Ly et al. 2018; Berkhout et al. 2021), waaronder een machine learning module.

JASP for Audit (Derks et al. 2021b) is een add-on module voor JASP die de software verrijkt met functionaliteit voor statistische steekproeven in de controle. Het doel van JASP for Audit is om auditors houvast te bieden bij de statistische aspecten van het opzetten, uitvoeren en rapporteren van een controle middels een statistische steekproef. Dit wordt gedaan door de meest gebruikte statistische technieken voor het uitvoeren van audit steekproeven te implementeren met een gebruiksvriendelijke interface die direct betrekking heeft op bekende concepten uit de controlestandaarden. Daarnaast produceert JASP for Audit automatisch en on-the-fly een controlerapport met de statistische resultaten en de interpretatie van deze resultaten. Als laatste, JASP for Audit geeft auditors op een gebruikersvriendelijke manier toegang tot de meest recent academisch ontwikkelde statistische technieken, doordat academische ontwikkeling van de op auditors gerichte statistische methodes hand in hand gaat met ontwikkeling van de software. Kortom, door het statistisch zware werk over te nemen van auditors en hen te begeleiden in de planning, trekking, uitvoering en evaluatie van steekproeven, reduceert JASP for Audit de complexiteit van de controle.

In de onderstaande secties wordt ingegaan op vier onderscheidende kenmerken van JASP for Audit voor de controlepraktijk: de interface is gebruiksvriendelijke en sluit aan op de controlestandaarden, het controlerapport wordt automatisch gegenereerd, er is keuze tussen frequentistische en Bayesiaanse statistiek, en de broncode is open-source.

In dit hoofdstuk schetsen we drie voorbeelden. In het eerste voorbeeld laten we zien hoe de tabellen voor de planning van steekproeven voor het toetsen van de interne beheersing, zoals opgenomen in de audit guide van de AICPA (2019), en die van een internationaal accountantskantoor eenvoudig gereproduceerd, verantwoord en uitgebreid kunnen worden met JASP for Audit. Met name de tabellen uit de audit guide van AICPA achten wij relevant, omdat deze is uitgegeven door de Association of International Certified Professional Accountants en openbaar beschikbaar is. Dit eerste voorbeeld is primair gericht op de externe auditor, maar ook voor interne auditors is het relevant om deze steekproefomvangen te hanteren, opdat de externe auditor kan steunen op het werk van de interne auditor (De Swart et al. 2013). Het tweede voorbeeld behandelt een gegevensgerichte controle op declaraties. Tot slot laten we zien hoe JASP for Audit gebruikt kan worden in de controleaanpak van de Belastingdienst aan de hand van de planning, trekking en evaluatie van de fiscale steekproef die onlangs centraal stond in een beroepsprocedure bij Gerechtshof ’s-Hertogenbosch. Deze drie voorbeelden zijn verschillend opgezet om een zo divers mogelijke toepassing van JASP for Audit te laten zien. Meer voorbeelden inclusief data en uitwerkingen zijn beschikbaar in de interne bibliotheek van JASP. We willen benadrukken dat de focus van dit artikel is om te laten zien hoe de statistische berekeningen onderliggend aan verschillende soorten audits gereproduceerd kunnen worden met JASP for Audit, maar dat we niet ingaan op de randvoorwaarden van deze audits (e.g., zo gelden voor een accountantscontrole uitgebreide vaktechnische randvoorwaarden die voor een operational audit niet van toepassing hoeven te zijn).

In de online appendix bij dit artikel (https://osf.io/2v7mw/) is voor elk voorbeeld een .jasp-bestand te vinden waarmee het voorbeeld in JASP gereproduceerd kan worden en een .R-bestand waarmee het voorbeeld in R gereproduceerd kan worden. Daarnaast bevat deze online appendix voor voorbeeld 2 en 3 ook een databestand. De .jasp-bestanden kunnen in JASP worden ingeladen, waarna de lezer in één oogopslag de interface en het controlerapport van het bijbehorende voorbeeld kan inzien.

3.3. Voorbeeld 3: toetsing op de juistheid van belastingen

Als laatste voorbeeld behandelen we een steekproef die onlangs centraal stond in een beroepsprocedure bij Gerechtshof ’s-Hertogenbosch en besproken is in het Weekblad Fiscaal Recht (Buitenhuis 2022). Dit voorbeeld is ook relevant voor de interne auditor in het kader van Horizontaal Toezicht. Een controlemedewerker van de Belastingdienst stelde een onderzoek in naar de vennootschapsbelasting, de omzetbelasting en de loonheffingen, waarbij gebruik werd gemaakt van onder meer de geldsteekproef conform de de controleaanpak van de Belastingdienst (2021). De belanghebbende had een bedrag van € 2.812.567 aan uitgaven opgevoerd. Bij een materialiteit van € 120.000 en een verwachting van nul fouten leidt dit in de planningsfase van JASP for Audit tot een steekproefomvang van 71.⁶ In de trekkingsfase van JASP for Audit kan de steekproef met deze omvang getrokken worden door het populatiebestand met de uitgaven in te laden, het bedrag van de uitgaven als boekwaarde te kiezen en de door de Belastingdienst geprefereerde trekkingsmethodiek, genaamd cell sampling, aan te vinken. Tijdens de uitvoeringsfase werden (uiteindelijk) drie fouten vastgesteld met een opgetelde foutfractie van 1,89. Nadat de auditwaarden tijdens de uitvoeringsfase zijn toegevoegd aan de steekproeflijst, genereert JASP for Audit in de volgende fase het verslag van de gehele workflow. Zie het bijbehorende bestand “Voorbeeld 3.jasp” in de online appendix voor de sectie met de evaluatie uit dit rapport. De tekst uit het controlerapport is grotendeels hetzelfde als de tekst in Box 3. Daarnaast bevat het contolerapport ook Figuur 1. Te zien is dat de bovengrens met € 229.536 groter is dan de materialiteit van € 120.000, dat de uitgaven niet goedgekeurd kunnen worden en dat de meest waarschijnlijke fout (ofwel de gevolgschade voor de vennootschapsbelasting uitgedrukt in grondslag-euro’s) € 73.830 bedraagt.⁶

Figuur 1.

Grafiek uit het controlerapport van het voorbeeld van de fiscale controle.

In dit artikel is JASP for Audit gepresenteerd als ondersteuning van auditors bij het op een verantwoorde manier opzetten, uitvoeren en documenteren van statistische steekproeven. Er is beargumenteerd dat deze software een brug kan vormen tussen auditors en statistici, doordat het vier kenmerken heeft die voordelig zijn voor de controlepraktijk. Daarnaast biedt JASP for Audit een unieke mogelijkheid tot samenwerking voor auditors, accountantskantoren, universiteiten en business schools op het gebied van statistical auditing. Omdat de broncode open-source is, kunnen de laatste wetenschappelijke ontwikkelingen en aanbevelingen uit de praktijk snel in de software worden opgenomen. Hierdoor worden state-of-the-art steekproeftechnieken voor elke auditor beschikbaar, wat de kwaliteit van controles in zijn algemeen ten goede zal komen. JASP for Audit stroomlijnt de steekproefprocedure voor auditors, zodat deze zich kunnen concentreren op de controle.

Omdat nieuwe software niet gemakkelijk in gebruik genomen wordt, noemen wij hier twee aanbevelingen voor het gebruik van JASP for Audit in de controlepraktijk. Ten eerste, er kan verwezen worden naar de validatie van de statistische uitkomsten. Zo zijn er verschillende wetenschappelijke artikelen over JASP for Audit (e.g., Derks et al. 2021b, 2021c) die gebruikt kunnen worden om adoptie van de software te onderbouwen. Ten tweede worden de statistische resultaten uit de software regelmatig gevalideerd tegen andere audit software en zijn de uitkomsten van deze procedures tevens open-source.⁷

Kortom, JASP for Audit kan een waardevolle aanvulling zijn op het audit softwarerepertoire. De hoop is dat JASP for Audit zal helpen om de kwaliteit van audits te verhogen en de hoeveel tijd en geld te verminderen die per audit wordt gespendeerd.

Berekeningen voorbeeld 2

In het voorbeeld is een steekproef van n = 66 euro’s getrokken uit een populatie van N = 2.333.333,00 euro’s. De auditor heeft k = 4 fouten geconstateerd (zie Tabel 4). Het controlerisico is vastgesteld op α = 0,05. In het voorbeeld is de auditor geïnteresseerd in het meest waarschijnlijke foutbedrag in de populatie en de 95 procent bovengrens voor dit foutbedrag.

Met behulp van de geboekte waarde y_i en de werkelijke waarde x_i berekend de auditor eerst de proportionele fout (taint) per euro i in de steekproef, zie vergelijking 1.

$t_i=\frac{y_i-x_i}{y_i}$ (1)

Deze zijn respectievelijk t₁ = 0,06412511, t₂ = 0,28369992, t₃ = 0,12003769, en t₄ = 1 voor de fouten in Tabel 4. De foutkans per euro θ̂ˆ in de steekproef kan vervolgens worden uitgerekend middels vergelijking 2.

$\hat{\theta }=\frac{{\sum }_{i=0}^k{t}_i}{n}=\frac{1,467863}{66}=0,02224034$ (2)

Het meest waarschijnlijke foutbedrag in de populatie wordt berekend door de foutkans per euro θ̂ˆ te vermenigvuldigen met de totale waarde van de populatie N, zie vergelijking 3.

$\hat{\theta }\times N=0,02224034\times €2.333.333,00=€51.894,14$ (3)

De bovengrens voor het foutbedrag wordt bepaald met behulp van de Stringer bound (Touw and Hoogduin 2012, 190–194) (Merk op dat de Stringer bound zowel met de Poisson-verdeling als met de binomiale verdeling uitgerekend kan worden. Touw and Hoogduin (2012) gaan uit van Poisson. Omdat met name voor grotere foutfracties de binomiale verdeling scherpere bovengrenzen geeft, gaat JASP for Audit standaard uit van de binomiale verdeling). De Stringer bound is een statistische bovengrens voor de foutkans per euro θ en wordt berekend met behulp van vergelijking 4 (Bickel 1992).

$p(0;1-\alpha )+\sum _{i=1}^k\left[p(i;1-\alpha )-p(i-1;1-\alpha )\right]\times t_i$ (4)

Hierin is p (i; 1 − α) de 1 − α bovengrens voor hoogstens i fouten in n posten volgens de binomiale verdeling (Clopper and Pearson 1934). Deze staat gelijk aan het 1 − α percentiel van een beta(1 + i, n − i) verdeling (Pearson 1934). Bij het uitrekenen van de Stringer bound in het geval van fouten worden de taints in aflopende volgorde in de formule geplaatst. De uitgeschreven formule voor de Stringer bound in het voorbeeld is gegeven in vergelijking 5.

$p(0;0,95)+\left[p\right(1;0,95)-p(0;0,95\left)\right]\times t_4+$ (5)

$\left[p\right(2;0,95)-p(1;0,95\left)\right]\times t_2+$

$\left[p\right(3;0,95)-p(2;0,95\left)\right]\times t_3+$

$\left[p\right(4;0,95)-p(3;0,95\left)\right]\times t_1$

Invullen van deze formule (zonder enige afronding) geeft een 95 procent bovengrens θ₉₅ voor de foutkans θ van 0,08004531. Afgerond naar boven is dit 8,1 procent van de totale waarde van de populatie. De 95 procent bovengrens van het foutbedrag in de populatie wordt berekend door de 95 procent bovengrens voor de foutkans per euro te vermenigvuldigen met de totale waarde van de populatie N, zie vergelijking 6.

${\theta }_{95}\times N=0,08004531\times €2.333.333,00=€186.772,40$ (6)