Research Article |
Corresponding author: Lotte Verhoeven ( lotte.verhoeven@zuyd.nl ) Corresponding author: Eric Mantelaers ( e.mantelaers@planet.nl ) Corresponding author: Martijn Zoet ( martijn.zoet@zuyd.nl ) Academic editor: Anna Gold
© 2023 Lotte Verhoeven, Eric Mantelaers, Martijn Zoet.
This is an open access article distributed under the terms of the Creative Commons Attribution License (CC BY-NC-ND 4.0), which permits to copy and distribute the article for non-commercial purposes, provided that the article is not altered or modified and the original author and source are credited.
Citation:
Verhoeven L, Mantelaers E, Zoet M (2023) Richting een geautomatiseerde continuïteitsanalyse. Maandblad voor Accountancy en Bedrijfseconomie 97(5/6): 145-151. https://doi.org/10.5117/mab.97.90332
|
Het beoordelen van de continuïteitsanalyse in het controleproces berust op het professionele oordeel van de controlerend accountant. Om het individuele en persoonlijk oordeel (professional judgement) van de accountant te ondersteunen en willekeur zoveel mogelijk te vermijden, zou een directere bron van informatie, in de vorm van een geautomatiseerde continuïteitsanalyse, ondersteuning kunnen bieden. Met behulp van een combinatie van zestien forecasting algoritmes is een methode ontwikkeld om de continuïteitsanalyse te automatiseren. Ten behoeve van het valideren van de forecasting algoritmes zijn 225 administraties verdeeld in een train- en testset. De resultaten tonen een betrouwbaarheidspercentage van 96,49% voor het Extra Trees Regressor model op basis van de conditie ‘lopende verplichtingen’ voor één van de administraties.
Forecasting algoritmes, continuïteitsanalyse, voorspellen, PyCaret, Audit Quality
Uit diverse rapporten van de Autoriteit Financiële Markten (
In Boek 2 BW Titel 9 zijn de wettelijke verslaggevingsregels met betrekking tot de jaarrekening en het bestuursverslag vastgelegd. Dit vormt de basis waaraan rechtspersonen zich dienen te houden. Hierin is vastgelegd dat het management de activa en passiva dient te waarderen onder de veronderstelling dat de rechtspersoon wordt voortgezet, tenzij dit niet het geval is en/of hier ernstige twijfel over bestaat (2:384 lid 3 BW) (
Uit het verleden blijkt echter dat, ondanks het feit dat er een goedkeurende controleverklaring is afgegeven, organisaties toch binnen afzienbare tijd failliet kunnen gaan, dan wel zodanig in de problemen komen dat de continuïteit een significant aandachtspunt wordt. Voorbeelden hiervan zijn de onvoldoende geëvalueerde continuïteit van Imtech in 2012 en de ongeziene onregelmatigheden bij Steinhoff in 2017. Hierbij stemden sommige aannames met betrekking tot de continuïteit niet overeen met de werkelijke cijfers (
Op basis hiervan hebben de kwartiermakers elf kwaliteitsindicatoren opgesteld, die het niet – of niet eenduidig – rapporteren over de kwaliteit van de accountantscontrole dienen te verbeteren. Deze indicatoren zien onder andere op fraude en continuïteit, met als doel de hoeveelheid geïdentificeerde materiële fraude en/of twijfel over de continuïteit inzichtelijk te maken (
Ondanks het zwaarwegende belang van het onderwerp continuïteit, toont onderzoek van
De huidige continuïteitsanalyse is nog steeds grotendeels afhankelijk van het ‘professional judgement’ van de accountant, die dient te beoordelen of het management de juiste afwegingen heeft gemaakt. Daar aanpassing en/of verbetering van de huidige aanpak binnen de accountancysector noodzakelijk is, impliceert dit dat een oordeel gebaseerd op professional judgement een mate van willekeur met zich mee kan brengen en daarmee niet altijd voldoende is. Onderzoek toont aan dat technologie kan bijdragen aan een verbetering van audit quality (
Dit onderzoek ziet op de aanpak en mogelijke verbeteringen van de continuïteitsanalyse en hoe met behulp van deze forecasting algoritmes voldoende en geschikte controle-informatie kan worden verzameld, als aanvulling op de reeds in dit kader door de accountant uitgevoerde werkzaamheden. Het doel van dit onderzoek is dan ook om een eerste stap richting een geautomatiseerde continuïteitsanalyse te zetten en het geüniformeerd creëren van een meer betrouwbare en valide voorspelling voor de continuïteitsanalyses.
Om bovenstaand doel te realiseren wordt in dit onderzoek de volgende hoofdvraag beantwoord:
Hoe kan machine learning worden ingezet om de continuïteit van de organisatie te voorspellen?
Het artikel is als volgt gestructureerd: in paragraaf 2 wordt de relevante literatuur beschreven met betrekking tot de beoordeling van de continuïteitsanalyse door de accountant en de modellen die een indicatie geven van de continuïteit. In paragraaf drie worden de methode en de structuur van de algoritmes behandeld, gevolgd door de resultaten in paragraaf vier. De conclusie en discussie worden gepresenteerd in paragraaf vijf.
De evaluatie van de continuïteitsanalyse door de accountant bestaat uit de volgende vier hoofdactiviteiten:
Er zijn verschillende indicatoren beschikbaar om de continuïteit te beoordelen.
Binnen dit onderzoek zal ter illustratie een van de meest voorkomende condities, de conditie winst (Feature 01 – Figuur
Om tot een geautomatiseerde continuïteitsanalyse te komen, kan gebruik worden gemaakt van de forecasting algoritmes van PyCaret. Deze tool maakt gebruik van zestien wiskundige modellen, vertaald naar gelijknamige forecasting algoritmes, namelijk: Extreme Gradient Boosting, CatBoost Classifier, Light Gradient Boosting Machine, K Neighbors Classifier, Random Forest Classifier, Extra Trees Regressor, Gradient Boosting Classifier, Logistic Regression, Linear Discriminant Analysis, AdaBoost Classifier, Ridge Classifier, Decision Tree Classifier, Quadratic Discriminant Analysis, SVM – Linear Kernel, Naive Bayes en Dummy Classifier (
Dit onderzoek maakt gebruik van de voorspellende modellen van PyCaret. De dataset omvat 225 administraties (klanten) met in totaal 2.620 boekjaren. Deze boekjaren zijn verspreid over de jaren 2008 tot en met 2022. Ten behoeve van dit onderzoek zal voor een administratie en voor een conditie (nettowinst) het proces worden toegelicht. In deze paragraaf is het proces van invoerdata naar resultaten stap voor stap toegelicht. Het totale proces van de algoritmes is visueel weergegeven in Figuur
Voor het verkrijgen van de brondata zijn de aanwezige periodebalansen uit Exact Online geëxporteerd. Alle administraties maken gebruik van hetzelfde grootboekrekeningschema. Vervolgens zijn de geëxporteerde cumulatieve periodebalansen gecontroleerd op lege cellen. Een lege cel kan voorkomen, als er bijvoorbeeld in een periode geen nettowinst geboekt is. Om fouten te voorkomen zijn de lege cellen vervangen door het bedrag € 0. Tevens zijn de periodebalansen getransponeerd, om het juiste format voor het algoritme te verkrijgen.
Na het opschonen van de individuele cumulatieve periodebalans per jaar zijn de jaren per administratie samengevoegd in één bestand. Vervolgens zijn aan de hand van de samengevoegde cumulatieve periodebalansen per administratie de individuele condities (bijvoorbeeld nettowinst, eigen vermogen en omzet) gefilterd. Deze condities zijn vooraf bepaald en gekoppeld aan de bijbehorende grootboekrekeningen. Bovenstaande bewerkingen hebben geleid tot één dataset per administratie, per conditie, per maand.
De dataset per administratie per conditie per maand voor de aanwezige jaren is daarna aan de regressiemodule van PyCaret (v 2.3.2) aangeboden. De regressiemodule is een supervised machine learning module, die wordt gebruikt voor het inschatten van de relatie tussen een afhankelijke variabele en onafhankelijke variabelen. PyCaret maakt gebruik van verschillende wiskundige modellen, vertaald naar gelijknamige forecasting algoritmes, om te kijken welke model het best de voorspellingen maakt. Daarbij werkt elk forecasting algoritme met haar eigen aannames en interpretaties, met verschillende voorspellingen tot gevolg. De uitkomsten worden vervolgens door het algoritme gerangschikt op mate van nauwkeurigheid. Het model dat het beste aansluit bij de invoerdata staat bovenaan en het model met de minste aansluiting onderaan. Voor een toelichting over de gebruikte evaluatiestatistieken verwijzen we naar de PyCaret-website (
Uiteindelijk zijn voor de drie meest nauwkeurige modellen de voorspellingen uitgevoerd. De voorspellingen en de werkelijke waarde van elk model zijn vervolgens in één bestand opgeslagen en met elkaar vergeleken. Om de nauwkeurigheid van de voorspellingen te beoordelen, zijn op basis van deze werkelijke cijfers de (procentuele) afwijkingen per maand en op totaalniveau berekend.
Voor de nettowinst uit Administratie 1 worden de resultaten onderstaand toegelicht. Met behulp van de regressiemodule van PyCaret komen de Light Gradient Boosting Regressor, de Extra Tree Regressor en de AdaBoost Regressor als de meest nauwkeurige modellen naar voren. De actuele cijfers van de nettowinst van Administratie 1 zijn weergegeven in Figuur
De resultaten van de top-driemodellen zijn vervolgens toegevoegd in Figuur
De resultaten van de verschillende forecasting algoritmes voor de nettowinst van Administratie 1 zijn vervolgens samengevoegd in één CSV-bestand. Daarnaast zijn de (procentuele) afwijkingen berekend op basis van de werkelijke cijfers. Op die manier worden de voorspellingen vergeleken met de werkelijke cijfers. Gemiddeld is voor de nettowinst een afwijking bereikt van 3,51% voor het Extra Trees Regressor model, 6,65% voor het AdaBoost Regressor model en 96,76% voor het Light Gradient Boosting Regressor model. Dit leidt tot een betrouwbaarheid van respectievelijk 96,49%, 93,35% en 3,24%. Deze resultaten zijn weergegeven in Tabel
Bij zowel wettelijke als vrijwillige controleopdrachten dient de (controlerend) accountant de geschiktheid van de continuïteitsanalyse van het management te evalueren en hierover voldoende en geschikte controle-informatie te verkrijgen. Ook voor beoordelings- en samenstelopdrachten gelden vergelijkbare verplichtingen. In het kader van het huidige maatschappelijke debat over de kwaliteit van de accountantscontrole staat de continuïteitsanalyse momenteel wereldwijd ter discussie (
De resultaten in dit onderzoek geven een beter inzicht in de mogelijkheden om getallen te voorspellen op basis van het grootboek van organisaties. Dit betekent dat verschillende continuïteitsindicatoren als geheel kunnen worden voorspeld, hetgeen resulteert in een voorspellende continuïteit. Dit onderzoek bevat ook enkele beperkingen, die in toekomstig onderzoek aangepakt kunnen worden. Toekomstig onderzoek zou gericht moeten zijn op het creëren van een indicator voor de continuïteitsbeoordeling. In dit onderzoek is uitsluitend gebruik gemaakt van gegevens die in de Nederlandse context zijn verzameld, hetgeen een bredere generalisatie naar niet-Nederlandse organisaties beperkt. Toekomstig onderzoek zou zich tevens kunnen richten op verdere generalisatie naar andere landen. Daarnaast bestaat de deelwaarneming slechts uit kleine en middelgrote organisaties. Toekomstig onderzoek zou zich moeten richten op verdere generalisatie naar andere bedrijfstakken (met uitzondering van overheidsinstanties). De grootte van de deelwaarneming, die thans beperkt is tot 225 organisaties, houdt verband met de vorige beperking. Hoewel dit een deelwaarneming van vrij grote omvang is, is het totale aantal organisaties in Nederland veel groter. Bovendien zijn de voorspellingen in dit onderzoek gebaseerd op een enkele variabele. Voor toekomstig onderzoek kunnen multivariabele voorspellingen worden toegepast om te zien of dit de voorspellende waarde verhoogt. Toekomstig onderzoek zou zich ook moeten richten op het vergelijken van de voorspelling van de algoritmes met de (al dan niet toegevoegde) continuïteitsparagrafen in de betreffende jaarrekening. Op deze manier kan worden vastgesteld of er onzekerheid bestaat over de continuïteit, de waarderingsgrondslagen of gebeurtenissen na de balansdatum, en of dit overeenkomt met de uitkomsten van de algoritmes.
L.M.G. Verhoeven BSc – Lotte is werkzaam bij RSM Netherlands Accountants N.V., alsmede bij het lectoraat ‘Future-proof Auditor’ van Zuyd Hogeschool. Lotte is momenteel bezig met het afronden van haar master Accounting and Control aan de Universiteit Maastricht.
Dr. E.J.H.J. Mantelaers RA AA CISA C|CISO – Eric is als partner verbonden aan de afdeling ‘Kwaliteitsmanagement & Vaktechniek Accountants’ van RSM Netherlands. Tevens is hij bijzonder lector van het lectoraat Future-proof Auditor van Zuyd Hogeschool en senior docent van de accountantsopleiding van Maastricht University.
Dr. Ing. M. Zoet – Martijn is lector bij het lectoraat ‘Future-proof Financial’ van Zuyd Hogeschool. Daarnaast is Martijn Zoet managing partner van EDM-Competence Centre.
De auteurs zijn dank verschuldigd aan RSM Netherlands Accountants N.V. voor de medewerking aan dit onderzoeksproject, alsmede voor het welwillend ter beschikking stellen van de dataset.
Dit onderzoek is gebaseerd op de (bachelor)scriptie: ‘De prestaties van forecasting algoritmen in relatie tot de (huidige) continuïteitsanalyses’ van Lotte Verhoeven (2021).