Print
Over de diagnostische eigenschappen van Audit Quality Indicators
expand article infoJoost van Buuren, Wilbert Snoei
‡ Nyenrode Business Universiteit, Breukelen, Netherlands
Open Access

Samenvatting

In dit artikel wordt een raamwerk ontwikkeld voor de beoordeling van Audit Quality Indicators (AQI’s) op opdrachtniveau. Dit raamwerk beschrijft de diagnostische eigenschappen van AQI’s bestaande uit vier kenmerken van AQI-kwaliteit in combinatie met vier kwaliteitskenmerken van informatie. Als we dit raamwerk op bruikbaarheid toetsen door het toe te passen op enkele in de praktijk bekende AQI’s blijkt de informatiewaarde van sommige AQI-kwaliteitskenmerken te beperkt te zijn om een goed beeld te geven van controlekwaliteit. De mate van vertrouwen van de beoogde gebruikers in de controlekwaliteit wordt hierdoor niet extra versterkt en mogelijk zelfs geschaad.

Trefwoorden

Audit Quality Indicator, AQI, diagnostisch raamwerk, audit quality

Relevantie voor de praktijk

Accountantsorganisaties maken op verplichte of vrijwillige basis een transparantieverslag met daarin vaak ook Audit Quality Indicators opgenomen. Met dit artikel proberen we ook een handreiking te doen in het beoordelen welke inhoud en communicatie van Audit Quality Indicators van belang is om het vertrouwen in de controle voor belanghebbenden te versterken.

1. Audit Quality Indicators als zoektocht naar relevante informatie

Het functioneren van accountants staat al jaren ter discussie. Niet alleen in Nederland hebben meerdere commissies zich hierover gebogen (NBA 2014; MCA 2016, 2020; CTA 2020), maar ook internationaal (FRC 2020; PCAOB 2015). Oorzaak van deze discussie is enerzijds de verwachtingskloof tussen wat de maatschappij verwacht van de accountant en wat de accountant in werkelijkheid kan en moet leveren (Litjens et al. 2015; CTA 2020). Anderzijds levert de accountant onvoldoende kwaliteit en voldoet een significant deel van de wettelijke controles nog steeds niet aan geldende standaarden (CTA 2020). Rapporten van de toezichthouder zijn aanhoudend kritisch in het afgelopen decennium (AFM 2017). Daarom is de roep om meer inzicht in de geleverde controlekwaliteit begrijpelijk. Het definiëren van het begrip controlekwaliteit blijft echter diffuus. Er zijn meerdere raamwerken van controlekwaliteit ontwikkeld, maar het beroep is nog niet gekomen tot een concrete definiëring van het begrip ‘controlekwaliteit’ (Knechel et al. 2013). Dat maakt het lastig om gerichte maatstaven voor controlekwaliteit, de zogenaamde Audit Quality Indicators (AQI’s), te ontwikkelen en de samenhang tussen deze AQI’s te begrijpen om tot een oordeel over de geleverde controlekwaliteit te komen. Desalniettemin wordt veel verwacht van de AQI’s en is het ontwikkelen van AQI’s één van de belangrijkste aanbevelingen van de CTA (2020). De vraag is echter in welke mate deze kwaliteitsindicatoren informatief zijn voor de belanghebbenden van de controle, hoe die diagnose objectief is te stellen en hoe dat in de praktijk uitwerkt bij het beoordelen van de informatiewaarde van AQI’s.

Eén van de (impliciete) premissen bij AQI’s betreft dat er een continuüm van controlekwaliteit is, waarbij het voldoen aan de standaarden als ‘minimumniveau’ kan worden beschouwd. Gevolg van deze premisse is dat er altijd ruimte is voor verbetering. Dit past bij de definitie van controlekwaliteit die wij als uitgangspunt hebben genomen in dit artikel. Door te gaan werken met AQI’s wordt deze ruimte voor verbetering zichtbaar. Om relevant te zijn, zal een norm gesteld moeten worden wanneer een AQI-waarde wordt beschouwd als een signaal van ‘voldoende controlekwaliteit’. Want indien er geen normen worden gesteld, is de duiding van een AQI ongewis. Daarbij wordt opgemerkt dat in de vergelijking van een AQI ten opzichte van andere opdrachten en accountantsorganisaties in beginsel ook een informatiewaarde is begrepen, namelijk het hoger of lager scoren op een AQI ten opzichte van anderen of ten opzichte van het gemiddelde. De duiding of de score van de gehele populatie voldoet aan een bepaalde norm ontbreekt dan echter nog.

Door de normstelling kan ook de ruimte tot verbetering worden beschreven; de stip aan de horizon van wat er nog meer mogelijk is met accountantscontrole. Enerzijds zal dit tot gevolg hebben dat geïnventariseerd moet worden welke behoeften er zijn bij belanghebbenden. Anderzijds zal de accountant moeten bepalen of en hoe aan deze behoeften tegemoet kan worden gekomen. Hoe beter de accountant anticipeert op deze behoeften, hoe groter de relevantie van de AQI voor belanghebbenden zal zijn. Een dergelijke ontwikkeling verhoogt de relevantie en kan daardoor het herstel in het vertrouwen in de controle bespoedigen. Daarbij is van belang dat er een eenduidig raamwerk beschikbaar komt voor de beoordeling van de kwaliteit en informatiewaarde van AQI’s. Vanuit dat raamwerk moet duidelijk worden in hoeverre de AQI’s onderscheidend (diagnostisch) zijn voor de geleverde controlekwaliteit vanuit het perspectief van de belanghebbenden.

In paragraaf 2 van dit artikel komen wij tot het ontwerp van een raamwerk van diagnostische eigenschappen voor Audit Quality Indicators. In dit raamwerk wordt dus duidelijk welke eigenschappen van AQI’s een onderscheid kunnen maken als signaalwaarde voor lagere of hogere gerealiseerde controlekwaliteit. Dit ontwerp komt voort uit de combinatie van een bestaande definitie van kenmerken van controlekwaliteit op opdrachtniveau en kwaliteitskenmerken van informatie. Daarmee richten we ons op AQI’s die direct meetbaar zijn op opdrachtniveau, omdat we ook uitgaan van de definitie van controlekwaliteit op opdrachtniveau en we ons in dit artikel niet richten op het proces van kwaliteitsbeheersing of cultuur op accountantsorganisatieniveau.

In paragraaf 3 passen we dit raamwerk bij wijze van bruikbaarheidstest toe op enkele AQI’s om de diagnostische eigenschappen van die AQI’s te bepalen. We maken daarbij gebruik van enkele veelgenoemde AQI’s die zijn geanalyseerd met behulp van een omvangrijke en gezamenlijke dataset met betrekking tot uitgevoerde controleopdrachten, namelijk partnerbetrokkenheid, materialiteit en het niet-corrigeren (waiven) van controleverschillen. In paragraaf 4 komen we tot een conclusie en discussie van uitkomsten, waarna we in paragraaf 5 nog enkele beperkingen benoemen.

2. Ontwerp van raamwerk van diagnostische eigenschappen voor AQI’s

In deze paragraaf beschrijven we de beoogde kwaliteitskenmerken van AQI’s (2.1) en de beoordeling daarvan op informatiewaarde (2.2) om daarmee te komen tot een raamwerk van diagnostische eigenschappen voor AQI’s in tabel 2. In de paragrafen 2.3–2.6 worden de vier AQI-kwaliteitskenmerken besproken in samenhang met de informatiewaarde van die kenmerken.

2.1 Relatie tussen auditkwaliteit en AQI’s

De bedoeling van de AQI’s is om belanghebbenden van de controle meer inzicht te geven in de geleverde controlekwaliteit. Meer inzicht in de controlekwaliteit is cruciaal voor de waarde van de controle (CTA, par. 28). Tot op heden bestaat er weinig consensus omtrent een eenduidige definiëring van controlekwaliteit (Knechel et al. 2013). In Nederland is op aandringen van de Monitoring Commissie Accountancy (MCA 2016), een whitepaper opgesteld door de NBA (2018) die (kort samengevat) het naleven van de standaarden tot doel verheft als het middel om tot controlekwaliteit te komen. Controlekwaliteit zou volgens deze whitepaper vooral het houden aan de controlestandaarden betreffen, omdat standaarden de beroepsopvatting van controlekwaliteit reflecteren.1 De controlestandaarden leggen echter de lat voor het tegemoetkomen aan verwachtingen van verschillende groepen belanghebbenden in de controle niet hoog, omdat het aangaan van de dialoog met de gebruikers daarin niet wordt afgedwongen (Van Buuren 2015). Gevolg is dat de standaarden accountants niet aanmoedigen tegemoet te komen aan de (veranderende) eisen van belanghebbenden van de controle, waardoor onbegrip kan ontstaan over de afnemende relevantie van de controle. Van Buuren (2015, p. 70) neemt de relevantie van de controle voor de gebruikers als “ijkpunt voor de ultieme kwaliteit die nagestreefd moet worden in de controle. De overige drie kwaliteitskenmerken, [….], dienen ter ondersteuning om het ultieme doel te bereiken. Deze ultieme kwaliteit is een sociale conventie en kan van tijd tot tijd wijzigen, daarop moet de accountant alert zijn.”

Van Buuren (2015, p. 70) stelt verder dat concrete definiëring van controlekwaliteit belangrijk is omdat het een duidelijk vaktechnisch streefdoel geeft en de verwachtingen van gebruikers stuurt. Om de relevantie van de AQI’s op opdrachtniveau te bepalen, hanteren we als uitgangspunt de volgende definitie van controlekwaliteit:

“De kwaliteit van een assurance-opdracht is de mate waarin voldoende en geschikte assurance-informatie is verkregen om een conclusie tot uitdrukking te brengen om de mate van vertrouwen van de beoogde gebruikers, niet zijnde de verantwoordelijke partij, in de uitkomst van de meting of evaluatie van het onderzoeksobject ten opzichte van criteria zo veel mogelijk te versterken.”

Deze definitie is gebaseerd op art. 10 van het Stramien voor Assurance-opdrachten (2020), met toevoeging van de vetgedrukte woorden. De vetgedrukte woorden creëren een continuüm van lage tot hoge controlekwaliteit (Van Buuren 2020). Een continuüm impliceert dat er geen sprake is van een ‘goede’ versus ‘slechte’ controlekwaliteit, maar dat een accountant altijd kan streven naar een hoger niveau van controlekwaliteit (Francis 2011). In dit artikel nemen we als uitgangspunt voor de bepaling van de diagnostische eigenschappen van AQI’s de voornoemde definitie van controlekwaliteit op opdrachtniveau met de vier kenmerken van controlekwaliteit (Van Buuren 2015). In tabel 1 is schematisch weergegeven wat de definities van AQI-kwaliteit zijn, welke zijn afgeleid uit de genoemde kenmerken van controlekwaliteit. Aangezien AQI’s zijn bedoeld om de mate van controlekwaliteit te diagnosticeren, betekent een hogere AQI-kwaliteit dat belanghebbenden van de controle een beter inzicht krijgen in de geleverde controlekwaliteit. In de volgende paragraaf werken we uit hoe we tot een onderbouwde beoordeling komen van de informatiewaarde per kenmerk van AQI-kwaliteit.

Tabel 1.

AQI-kwaliteit als afgeleide van controlekwaliteit.

Controlekwaliteit AQI-kwaliteit
Relevantie voor beoogde gebruikers De mate waarin de accountant tegemoet komt aan de eisen van de jaarrekeninggebruiker De mate waarin de AQI tegemoet komt aan de eisen van de belanghebbenden in beoordeling van controlekwaliteit
Begrip van werkzaamheden De mate waarin de accountant erin slaagt jaarrekeninggebruikers een goed begrip te geven van wat de accountant doet en welke conclusies op grond van de controle kunnen worden getrokken De mate waarin de AQI erin slaagt belanghebbenden van controle een goed begrip te geven van wat de AQI behelst en welke conclusies op grond van de AQI over controlekwaliteit kunnen worden getrokken
Kwaliteit rapportage van bevindingen De mate waarin de accountant in staat is relevante controlebevindingen te rapporteren voor de jaarrekeninggebruiker De mate waarin de AQI in staat is relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle
Vaktechnische kwaliteit De mate waarin de accountant voldoende vaktechnische competentie heeft om materiële onjuistheden te ontdekken in de te controleren verantwoordingen en die te rapporteren De mate waarin de AQI voldoende informatie geeft over de deskundigheid en onafhankelijkheid van de accountant

2.2 Beoordeling van informatiewaarde van AQI’s

Informatie is nuttig als op basis daarvan een beslissing kan worden genomen. Het Stramien (RJ 2020) reikt voor de beoordeling van het nut van informatie (de informatiewaarde) voor gebruikers van jaarrekeningen vier kwalitatieve kenmerken aan, te weten: begrijpelijkheid, relevantie, betrouwbaarheid en vergelijkbaarheid. In dit onderzoek passen wij deze kwalitatieve kenmerken toe om te beoordelen wat de informatiewaarde is van elk van de kenmerken van AQI-kwaliteit. Wij achten het toepassen van deze kenmerken van informatiewaarde passend in deze setting, omdat de gedefinieerde AQI-kwaliteit in ons onderzoek voortvloeit uit de kwaliteit van een jaarrekeningcontrole op opdrachtniveau. Belanghebbenden van controle zijn gebaat bij een herkenbare duiding van informatiewaarde van AQI’s, zoals die ook passend wordt geacht in de controle van jaarrekeningen zelf.

In overeenstemming met de kwalitatieve kenmerken van informatie vanuit het Stramien hanteren we de volgende definities van de informatiekenmerken:

  • begrijpelijkheid: de mate waarin de totstandkoming en inhoud van de AQI juist begrepen wordt;
  • relevantie: de mate waarin de AQI nut heeft voor de besluitvorming van de belanghebbenden op basis van de AQI;
  • betrouwbaarheid: de mate waarin de AQI vrij is van wezenlijke onjuistheden en vooroordelen en getrouw weergeeft wat zij bedoelt weer te geven;
  • vergelijkbaarheid: de mate waarin de AQI goed vergelijkbaar is in zowel tijd als tussen controleopdrachten en accountantsorganisaties, waarbij vaststelling op bestendige wijze geschiedt.

Met het juist beoordelen van de onderdelen van AQI-kwaliteit op deze informatiekenmerken wordt voorkomen dat AQI’s een onterecht signaal van geleverde controlekwaliteit geven (false positive) of juist een onterecht signaal van onvoldoende controlekwaliteit (false negative). Het voorgestelde raamwerk van diagnostische eigenschappen voor AQI’s is weergegeven in tabel 2.

Tabel 2.

Raamwerk van diagnostische eigenschappen voor Audit Quality Indicators.

Kenmerken AQI-kwaliteit Kenmerken van informatiewaarde Audit Quality Indicator
Begrijpelijkheid van informatie Relevantie voor beoogd doel Betrouwbaarheid van vaststellen Vergelijkbaarheid meting tussen organisaties/opdrachten
Relevantie voor beoogde gebruikers
Begrip van werkzaamheden
Kwaliteit rapportage van bevindingen
Vaktechnische kwaliteit

Om te bepalen hoe goed een AQI is in het onderscheid maken tussen de verschillende niveaus van geleverde controlekwaliteit (oftewel om te bepalen hoe goed de diagnostische kwaliteit van een AQI is), dient elk van de onderdelen in tabel 2 te worden gewogen. In de navolgende paragrafen worden de vier kwaliteitskenmerken van AQI’s uit tabel 2 in samenhang met de informatiewaarde per kenmerk besproken.

2.3 Relevantie voor beoogde gebruikers

Om de diagnostische eigenschappen te kunnen vaststellen voor de relevantie voor beoogde gebruikers als eerste AQI-kwaliteitskenmerk is primair nodig te bepalen wie de beoogde gebruikers zijn van de AQI’s en welke AQI’s relevant voor hen zijn. Allerlei AQI’s zijn al gesuggereerd (Knechel et al. 2013; PCAOB 2015), echter hangt de juiste keuze af van welke AQI’s relevant zijn voor welke gebruikersgroep.

De belanghebbenden van de controle betreffen zowel interne belanghebbenden, zoals governance-organen binnen accountantsorganisaties, en externe belanghebbenden, zoals jaarrekeninggebruikers en toezichthouders. Elke gebruikersgroep zal een eigen belang en behoefte hebben bij de AQI’s. Ook de mogelijkheden om de AQI’s te beïnvloeden zal verschillen. Interne gebruikers hebben specifieke verantwoordelijkheden, taken en bevoegdheden en vanuit dien hoofde kunnen ze eisen stellen aan een AQI. Bij deze eisen kan gedacht worden aan de methodiek van de berekening van een AQI, het laten ontwikkelen van aanvullende context-specifieke AQI’s en het vaststellen van normen met aanvaardbare waardes voor een AQI. Ze kunnen daarover het gesprek voeren met de accountant en dan met name bespreken of de norm is behaald en wat de accountant gaat doen om de AQI-waarde zo nodig te verbeteren. Het belang van interne gebruikers zal vooral op het vlak van het behalen van ‘norm AQI-waarden’ liggen, mede vanwege het goed uitvoeren van hun eigen functie en mogelijke persoonlijke aansprakelijkheid in geval van audit failures. De juridische implicaties zijn van niet te onderschatten betekenis in geval van normstelling bij AQI’s. Daarom zal bij het toepassen van normwaarden aan AQI’s ook het kwalitatieve kenmerk betrouwbaarheid in belang toenemen.

Externe belanghebbenden hebben daarentegen veel minder mogelijkheden om de AQI’s naar hun hand te zetten. Aandeelhouders van accountantsorganisaties zouden nog de mogelijkheid hebben om AQI’s vast te kunnen stellen in de Algemene Vergadering van Aandeelhouders. De overheid of overheidsorganen, zoals de Belastingdienst, zouden AQI’s kunnen afdwingen middels een ministeriële regeling of wet. Andere gebruikersgroepen, zoals crediteuren en potentiële investeerders zullen echter afhankelijk zijn van de welwillendheid van aandeelhouders, de accountant en/of het gecontroleerde bedrijf om AQI’s te rapporteren.

Naast de mogelijkheden om AQI’s te beïnvloeden, is er ook een verschil in kennis tussen interne en externe gebruikers ten aanzien van de werkzaamheden van de accountant. Interne gebruikers, zoals de Raad van Commissarissen, zullen meer kennis hebben van de accountantswerkzaamheden en kunnen zodoende relevante AQI’s definiëren. Deels komt dit doordat zij meer zicht hebben op de context van de AQI en deels doordat zij gesprekken voeren met de accountant. Interne gebruikers zullen meer belang hechten aan context-specifieke AQI’s met een context-specifieke normstelling, want dat verhoogt de relevantie van de AQI’s voor hen. Hierdoor kan het kwalitatieve kenmerk van relevantie op gespannen voet staan met vergelijkbaarheid, want hoe context-specifieker de AQI, hoe lager de vergelijkbaarheid zal worden tussen controleopdrachten en accountantsorganisaties.

Externe belanghebbenden, zoals aandeelhouders, crediteuren en (potentiële) investeerders zullen daarentegen belang hebben bij relevante AQI’s die goed vergelijkbaar en begrijpelijk zijn. Veel externe belanghebbenden hebben namelijk niet de mogelijkheid om het gesprek te voeren met de accountant noch belang om de context van de AQI’s diepgaand in ogenschouw te nemen. Het is meer een indicator ter bevestiging van de kwaliteit van de strekking van de controleverklaring of ter informatie in het proces van het zoeken naar een nieuwe accountant. Externe belanghebbenden hebben vaak een specifiek belang. Banken en crediteuren zullen vooral oog hebben voor de kredietwaardigheid van de gecontroleerde op de korte tot middellange termijn. Ook aandeelhouders en (potentiële) investeerders kunnen verschillen in hun belangen, afhankelijk van hun verdienmodel. Tot slot hebben ook externe beroepsverenigingen en toezichthouders als NBA en AFM belang bij relevante AQI’s die goed vergelijkbaar en begrijpelijk zijn. Welke AQI’s relevant zijn zal dus per gebruikersgroep vastgesteld moeten worden. De accountant zal in overleg moeten gaan met de verschillende gebruikersgroepen om dit te onderzoeken, zowel op het niveau van controleopdrachten als op brancheniveau van de gecontroleerden.

Uiteraard geldt voor zowel de interne als externe belanghebbenden dat AQI’s alleen relevant zijn indien deze met een bepaald minimumniveau van betrouwbaarheid kunnen worden vastgesteld.

2.4 Begrip van werkzaamheden

Het tweede AQI-kwaliteitskenmerk, begrip van werkzaamheden, neemt toe, indien gebruikers een goed begrip hebben wat de betekenis is van een AQI en welke conclusies erop gebaseerd kunnen worden. Hoe beter accountants in staat zijn dit uit te leggen, hoe hoger de diagnostische eigenschap van de AQI. Allereerst dient duidelijk te zijn op welke wijze een AQI tot stand is gekomen en aan welke werkzaamheden in het controleproces dit is te relateren. Op basis daarvan kan bij de betrokkenen begrip ontstaan welke conclusie getrokken kan worden op basis van de AQI. Hierbij geldt dat hoe hoger het abstractieniveau van gerelateerde controlewerkzaamheden en de daarmee samenhangende conclusie, hoe minder relevant de AQI zal zijn. AQI’s op organisatieniveau zullen in het algemeen abstracter (minder te relateren aan concrete controlekwaliteit) zijn dan AQI’s op opdrachtniveau. Ook de tijdigheid van een AQI kan hierbij van belang zijn; AQI’s die geldig zijn voor vorige jaren, kunnen niet meer relevant zijn in geval van dynamische omstandigheden. Als voorbeeld wordt genoemd de mogelijk negatieve impact van de coronacrisis op het kwaliteitsbeheersingssysteem van de accountantsorganisaties, waarbij de AQI over het vorige jaar niet per definitie representatief is voor de huidige situatie.

Ook de vergelijkbaarheid van het begrip van werkzaamheden is belangrijk. De AQI’s zullen op een consistente en vergelijkbare manier bepaald moeten worden, waarbij gerelateerd wordt aan inhoudelijk dezelfde controlewerkzaamheden. De standaardisatie van de bepaling van AQI’s over accountantsorganisaties en opdrachten heen kan dit ondersteunen. Hieraan gerelateerd is de mate van betrouwbaarheid waarmee een AQI kan worden vastgesteld; betreft het een eenvoudige rekensom of zijn er diverse interpretaties voor nodig, waardoor het minder te relateren is aan de uitgevoerde controlewerkzaamheden? Om een juiste conclusie te kunnen trekken moet de begrijpelijkheid van de AQI hoog zijn. Enerzijds betreft dit een voldoende uitlegbaarheid van de AQI, anderzijds het inzicht in de gevoeligheid van de AQI voor onjuiste conclusies. Het negeren van contextuele verschillen kan leiden tot onjuiste conclusies.

We verwachten dat vooral de samenhang en aggregatie van AQI’s om een eindoordeel te vormen met voldoende begrip van de uitgevoerde controlewerkzaamheden uitdagend wordt. Eén samenvattende, overkoepelende AQI betreffende het gehele controleproces (bijvoorbeeld het totaal aantal uitgevoerde data-analyses per dossier) kan heel relevant zijn, terwijl de begrijpelijkheid en vergelijkbaarheid afnemen, omdat die AQI dan niet meer direct te relateren is aan uitgevoerde controlewerkzaamheden die over verschillende accountantsorganisaties hetzelfde zijn, waarvan de belanghebbende een goed begrip heeft en conclusies op kan baseren. Onderzoek naar de samenhang van de kwaliteit van de AQI’s en de besluitvorming van belanghebbenden kan helpen de relevantie van geaggregeerde AQI’s te duiden, maar dit valt verder buiten de scope van dit artikel.

2.5 Kwaliteit rapportage van bevindingen

Het derde AQI-kwaliteitskenmerk, de kwaliteit van de rapportage van bevindingen, gaat over de mate waarin een AQI in staat is de voor de belanghebbenden relevante bevindingen van controlekwaliteit te rapporteren die het vertrouwen in de conclusies en het proces van de uitgevoerde controle ondersteunen. Veel AQI’s die al zijn geopperd (Knechel et al. 2013; PCAOB 2015) hebben betrekking op dit kwaliteitskenmerk. Grofweg kan er een onderscheid gemaakt worden tussen AQI’s die betrekking hebben op input-, proces- en output-factoren (Knechel et al. 2013). Denk bij input-factoren aan de bestede uren van partners en medewerkers (waaronder partnerbetrokkenheid), inzet van specialisten en het controlebudget. De proces-factoren hebben betrekking op de risicoanalyse en het besluitvormingsproces. Voorbeelden van proces-AQI’s zijn de gehanteerde materialiteit, het aantal discussiepunten met de intern beoordelaar en het aantal overleggen tussen accountant en governance-organen. De output-factoren betreffen bijvoorbeeld de specificiteit van de controleconclusie voor de gebruikersgroepen (er is nu één generieke conclusie), aantal en duiding van zwakheden in het proces van de totstandkoming van de jaarrekening en het aantal gedetecteerde en verwerkte materiële onjuistheden in de uiteindelijke jaarrekening. De grootste uitdaging bij de AQI’s op het kwaliteitskenmerk van rapportage van bevindingen zal zijn de juiste interpretatie en weging (begrijpelijkheid en relevantie) ervan. De voorbeelden die we in paragraaf 3 van dit artikel hebben beschreven, laten zien hoe ingewikkeld het is om duiding te geven aan AQI’s.

De relevantie van de rapportage van bevindingen zal vooral afhangen van de gebruikersgroep. Voor de betrouwbaarheid en vergelijkbaarheid van de AQI’s zal standaardisatie van groot belang zijn.

2.6 Vaktechnische kwaliteit

Het vierde AQI-kwaliteitskenmerk, vaktechnische kwaliteit, gaat in op hoe AQI’s het vertrouwen in de vaktechnische kwaliteit van de accountant kunnen ondersteunen. Dit gaat vooral om de deskundigheid in de gehanteerde controlemethodologie en de houding van de accountant. Met houding van de accountant bedoelen we: handelen in de geest van de Verordening Gedrags- en Beroepsregels Accountants (VGBA), een professioneel-kritische, objectieve en onafhankelijke houding, kortom, het vertrouwen dat de accountant zich volledig inzet voor de belanghebbenden.

De AQI’s betreffende de controlemethodologie zullen vaak al zelfstandig op organisatieniveau worden uitgedrukt. Denk hierbij aan informatie die nu al verplicht in de transparantieverslagen wordt gerapporteerd, of accountantsorganisaties die dit op vrijwillige basis doen, zoals maatregelen van kwaliteitsbeheersing (uitgevoerde OKB’s), training van personeel (scholingsuren) en remuneratieprikkels. AQI’s ten aanzien van de onafhankelijke houding van de accountant zijn ook al deels ingevoerd. Zo moeten accountants al rapporteren of en in welke mate zij non-audit services aan controlecliënten hebben verleend, veelal uitgedrukt als ratio ten opzichte van de controlekosten.

Bij dit vierde AQI-kwaliteitskenmerk gaat het echter om de mate waarin een AQI op opdrachtniveau voldoende inzicht geeft over de deskundigheid en onafhankelijkheid van de accountant in de uitvoering van controlewerkzaamheden. Belanghebbenden zullen op basis van een AQI begrijpelijk moeten kunnen volgen wat die AQI reflecteert van het deskundig en onafhankelijk handelen van een accountant.

De relevantie van dit kenmerk zal vooral hoger scoren als duidelijk is welke ruimte de accountant heeft genomen om meer of andere controlewerkzaamheden uit te voeren dan dat de controlestandaarden als minimum vereisen. De betrouwbaarheid en vergelijkbaarheid van dit kenmerk zullen vooral duidelijk worden uit onderbouwing op basis van onderliggende literatuur waarin duidelijk wordt welke conclusies precies getrokken kunnen worden over het vaktechnisch handelen van een accountant op basis van die AQI.

3. Diagnostische eigenschappen van veelgenoemde AQI’s

Het raamwerk van diagnostische eigenschappen zoals in de vorige paragraaf beschreven passen we in deze paragraaf bij wijze van bruikbaarheidstest toe op drie AQI’s op opdrachtniveau die in paragraaf 2.5 reeds zijn genoemd. Passend in de door Knechel et al. (2013) beschreven Audit Quality Indicators zijn dit partnerbetrokkenheid (input), materialiteit (proces) en het verwerken van materiële afwijkingen (output). We hebben ook om praktische redenen voor deze drie AQI’s gekozen, omdat we gebruikmaken van drie verschillende artikelen waarin deze Audit Quality Indicators zijn onderzocht met gebruikmaking van eenzelfde dataset die in de afgelopen jaren op Nyenrode Business Universiteit met behulp van studenten is verzameld vanuit dossiers van 850 auditopdrachten en betrekking heeft op de jaren 2005–2015. De in totaal circa 3.500 controleopdrachten die hierin zijn meegenomen hebben betrekking op Nederlandse controleopdrachten, met name niet beursgenoteerd en met een evenredige verdeling op Big 4- en Non-Big 4-kantoren. Voor een verdere beschrijving van de data verwijzen wij naar de betreffende artikelen (Asare et al. 2019; Asare et al. 2020; Snoei et al 2020). Vanuit de inzichten die in deze onderzoeksartikelen zijn opgedaan testen wij het eerder beschreven raamwerk op bruikbaarheid in de praktijk om een beoordeling te maken van de onderscheidende (diagnostische) eigenschappen en informatiewaarde van de genoemde AQI’s.

We bespreken in de navolgende paragraaf de drie voorbeelden van AQI’s om daarna te komen tot een conclusie over de bruikbaarheid van het raamwerk van diagnostische eigenschappen. Omwille van de helderheid duiden we onze beoordeling van de informatiewaarde op de AQI-kwaliteitskenmerken op een driepuntsschaal: laag/negatief, matig/diffuus en hoog/positief. Van partnerbetrokkenheid als eerste AQI zullen wij een onderbouwing van onze inschatting geven op alle informatiekenmerken per kwaliteitsonderdeel. Bij materialiteit en het verwerken van materiële afwijkingen zullen wij voor onderbouwingen die op onderdelen hetzelfde zijn alleen verwijzen naar de beschrijving daarvan bij partnerbetrokkenheid.

3.1 Partnerbetrokkenheid

Eén van de veelgenoemde AQI’s heeft betrekking op partnerbetrokkenheid (hierna: partnerratio), vaak gemeten met de ratio: aantal leden van een controleteam gedeeld door het aantal partners (PCAOB 2015). De gedachte is dat hoe lager de partnerratio, hoe hoger de partnerbetrokkenheid, hoe hoger de controlekwaliteit, wat intuïtief logisch lijkt. Toch is partnerratio als AQI vanuit theoretisch oogpunt ingewikkeld om te interpreteren. Enerzijds stellen de standaarden dat bij hogere risico’s de accountant meer werkzaamheden moet verrichten (NVCOS 315/330/540). Dit houdt in dat er extra testwerkzaamheden zullen moeten plaatsvinden, veelal uitgevoerd door assistenten, wat de partnerratio juist doet toenemen. Anderzijds, zal een partner bij complexere vraagstukken in verhouding zelf meer moeten doen en dit zou de partnerratio kunnen verlagen.

3.1.1 Relevantie voor beoogde gebruikers

De relevantie voor beoogde gebruikers als eerste AQI-kwaliteitskenmerk beoordelen we wat betreft de begrijpelijkheid als ‘positief’. De berekening van de AQI is niet complex, het is een relatief eenvoudige kwaliteitsindicator met als strekking ‘hoe lager de partnerratio, hoe meer kwaliteit’. Het volgende punt van beoordeling is of dit relevant is voor het beoogde doel van de belanghebbenden. Gezien de inhoud van deze AQI heeft het nut heeft voor de besluitvorming van de belanghebbenden om te weten wat de partnerratio op opdrachten is, waarmee we dit kenmerk ook positief beoordelen. De betrouwbaarheid van de relevantie voor beoogde gebruikers is diffuus omdat de partnerratio geen onderscheid maakt naar werkzaamheden en daarmee (te) generiek van aard is. Gegeven dat deze AIQ is gebaseerd op geschreven uren, is ook de vraag of zij inhoudelijk weergeeft wat zij bedoelt weer te geven, namelijk inhoudelijke betrokkenheid van de partner. Ook de vergelijkbaarheid van de meting van de partnerratio is diffuus, omdat standaardisatie van de begrippen van accountantsfuncties noodzakelijk is (zowel partners, fee-earners als directors kunnen als tekenend accountant fungeren). Daarbij moet ook in ogenschouw worden genomen dat niet elke accountantsorganisatie een vennootschapsstructuur heeft, er zijn bijvoorbeeld ook stichtingen. Hiermee komt deze AQI in opzet matig tegemoet aan de eisen van belanghebbenden in de beoordeling van controlekwaliteit.

3.1.2 Begrip van werkzaamheden

Vervolgens verdient het begrip van werkzaamheden als tweede AQI-kwaliteitskenmerk de aandacht. Accountants dienen te onderzoeken of belanghebbenden het juiste begrip hebben ten aanzien van de informatiewaarde van de partnerratio en welke conclusies op grond daarvan over de controlekwaliteit kunnen worden getrokken. De score op begrijpelijkheid schatten wij in als ‘matig’, omdat wel duidelijk gemaakt kan worden hoe de AQI tot stand is gekomen maar de interpretatie van deze AQI lastig zal blijken en eenvoudig een verkeerde conclusie kan worden getrokken als de context onvoldoende betrokken is in de besluitvorming. Belanghebbenden zullen partnerratio relevant (positief) vinden voor hun besluitvorming indien dat een getrouwer beeld van de jaarrekening geeft. Enerzijds zullen aandeelhouders, banken en crediteuren wellicht meer gericht zijn op een getrouwe verhouding tussen vreemd en eigen vermogen. Juist bij de complexere afwegingen daarin is te verwachten dat ervaring en kunde van een partner het verschil zouden kunnen maken, wat dus tot een lagere partnerratio zou leiden. Anderzijds kunnen belanghebbenden zoals de Belastingdienst en overheid er juist baat bij hebben als meer testwerk is uitgevoerd op naleving van wet- en regelgeving, wat juist tot een hogere partnerratio zou leiden. Waarschijnlijk zal de relevantie van de ratio voor het beoogde kwaliteitsdoel verder kunnen toenemen indien duidelijker wordt waaraan de partner en het team de uren hebben besteed. Uiteindelijk zal het lastig blijken een zinnige normwaarde te bepalen voor deze AQI, echter hoe meer partnerratio een predictor is van kwaliteit, hoe zinvoller het wordt om een norm te bepalen. Op basis van standaardonderzoekstechnieken zijn er verder prima mogelijkheden om relevante vragen over het begrip van werkzaamheden aan belanghebbenden te stellen, met een voldoende betrouwbare meting en voldoende vergelijkbaarheid tussen opdrachten, waarmee we deze twee informatiekenmerken ook positief beoordelen. De uitkomsten van dit onderzoek kunnen in begrijpelijke taal worden gerapporteerd aan de gebruikersgroepen. De mate waarin de AQI partnerratio erin slaagt belanghebbenden van controle een goed begrip te geven van wat de AQI behelst en welke conclusies op grond van de AQI over controlekwaliteit kunnen worden getrokken schatten wij derhalve in als overwegend positief.

3.1.3 Kwaliteit rapportage van bevindingen

Het derde AQI-kwaliteitskenmerk, kwaliteit rapportage van bevindingen, behandelt de mate waarin de AQI in staat is relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle. Daarom is de koppeling van de partnerratio aan de controlekwaliteit belangrijk om te bepalen wat de informatiewaarde van de partnerratio is. Uit onderzoek van Asare et al. (2020) komt een diffuus beeld naar voren. Dit onderzoek is gebaseerd op de dataset zoals eerder is beschreven. De conclusie is dat partnerratio positief geassocieerd is met 18% hogere winstgevendheid van controleopdrachten. Deze uitkomst onderstreept het commerciële belang van de partnerratio. De vraag is nu of de partnerratio ook effect heeft op de controlekwaliteit. Asare et al. (2020) observeren dat een toename van de partnerratio is geassocieerd met 35% afname van detectie van belangrijke onjuistheden in de jaarrekening. Tegelijkertijd is er een toename van het aantal verwerkte gedetecteerde onjuistheden met 60% als de partnerratio toeneemt. De impact op de controlekwaliteit bij een toename van de partnerratio is dus diffuus in de rapportage van bevindingen: enerzijds een negatief effect van lagere foutendetectie en anderzijds blijven er minder niet-verwerkte fouten in de jaarrekening over. Ook ingeval van de ratio senior accountantmedewerkers (directors, managers) ten opzichte van overige teamleden, worden de effecten van hogere winstgevendheid (+25%) en meer verwerking van onjuistheden (+35%) geconstateerd, maar geen negatief effect ten aanzien van de detectie van onjuistheden. De relevantie van de partnerratio voor het beoogde doel, namelijk een indicatie van geleverde controlekwaliteit is daarmee laag, want de uitkomsten lijken geen duidelijk nut te kunnen hebben voor beslissingen op basis van deze AQI. De betrouwbaarheid van de meting van het effect van partnerratio op geleverde kwaliteit is met gebruikelijke statistische technieken waarin ook klanteigenschappen worden meegenomen goed mogelijk, indien er een duidelijke definiëring is van het begrip controlekwaliteit of onderdelen daarvan. Dat laatste is nodig om te komen tot een consistent getrouwe weergave van wat deze AIQ bedoelt weer te geven. Omdat elke gebruikersgroep een verschillend belang kan hebben in (onderdelen van) de controlekwaliteit, is het belangrijk onderscheid te maken tussen de mate van samenhang tussen partnerratio en de verschillende onderdelen van controlekwaliteit. Daar dat nu nog niet helder is gedefinieerd, schatten wij de betrouwbaarheid in als ‘diffuus’. Voor de vergelijkbaarheid is standaardisatie van het begrip controlekwaliteit en de onderdelen daarvan noodzakelijk. Gezien de voortdurende discussie omtrent de definiëring van controlekwaliteit zal dit niet snel gerealiseerd zijn en stellen we dit informatiekenmerk op ‘laag’, maar in opzet zou het goed mogelijk zijn als er ook een consistente wijze van meten bij alle accountantsorganisaties wordt gehanteerd. Tot slot is voor de begrijpelijkheid van de partnerratio in het kader van de controlekwaliteit belangrijk dat de relatie tussen partnerratio en controlekwaliteit op statistische schattingen (over de diverse opdrachten heen) berust en niet per definitie geldig is voor een individuele controleopdracht. Dit is met een goede toelichting gedeeltelijk op te vangen, maar de begrijpelijkheid neemt af naarmate de relatie zwakker is, waardoor we dat nu als ‘diffuus’ inschatten. Conclusie is dat partnerratio als AQI lage tot matige scores op diagnostische eigenschappen heeft om relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle.

3.1.4 Vaktechnische kwaliteit

Tot slot is het van belang vast te stellen wat de partnerratio zegt over de vaktechnische kwaliteit van de accountant als vierde AQI-kwaliteitskenmerk. Daarin komt aan de orde de mate waarin de AQI voldoende informatie geeft over de deskundigheid en onafhankelijkheid van de accountant. Allereerst kan de partnerratio sterk beïnvloed worden door de gekozen methodologie. Bijvoorbeeld, ingeval van een hoog geautomatiseerde controlemethodologie zal er meer integraal worden gecontroleerd en minder met steekproeven. Daardoor zal de partnerratio lager worden. Dit zou een indicatie voor hogere kwaliteit kunnen zijn. Tegelijkertijd kan de partnerratio ook dalen als een accountant een extreme-risk based controle uitvoert met de bedoeling het aantal testwerkzaamheden tot het absolute minimum te beperken. Tegelijkertijd kan een professioneel-kritische accountant juist meer laten testen, waardoor de partnerratio juist zal toenemen. Dus, de partnerratio lijkt op dit onderdeel niet behulpzaam te zijn bij het stellen van de diagnose omtrent de kwaliteit van de gekozen controlemethodologie.

Ook de informatiewaarde van wat de partnerratio precies zegt over de professioneel-kritische en onafhankelijke houding van de accountant is diffuus. Zoals eerder opgemerkt, is de verwachting dat een kritische accountant meer testwerkzaamheden laat uitvoeren. Hierdoor neemt de partnerratio toe, want de partner zal redelijkerwijs deze testwerkzaamheden niet zelf uitvoeren. Verder blijkt uit het onderzoek van Asare et al. (2020) geen statistisch significante associatie tussen het leveren van non-audit services en de partnerratio. De begrijpelijkheid van de AQI zal toenemen door een duidelijke toelichting en afnemen indien de relatie tussen partnerratio en vaktechnische kwaliteit lager is. Asare et al. (2020) rapporteren een lage samenhang tussen partnerratio en vaktechnische kwaliteit en daarom stellen we begrijpelijkheid op ‘laag’. De relevantie van de partnerratio voor het beoogde doel, namelijk inzicht in de deskundigheid en onafhankelijkheid van de accountant schatten wij als ‘laag’ in. De betrouwbaarheid van de samenhang van partnerratio en onderdelen van de vaktechnische kwaliteit zijn in empirische zin te meten. Echter, de vaktechnische kwaliteit dient dan wel duidelijk gedefinieerd te zijn. Ook hier geldt, hoe zwakker de empirische samenhang, hoe lager de score op betrouwbaarheid van de AQI, die we hiermee als ‘diffuus’ beoordelen. De vergelijkbaarheid tussen controleopdrachten en accountantsorganisaties schatten we ook in als ‘laag’, daar dit afhankelijk is van de gestandaardiseerde definiëring van de kwaliteit van zowel controleopdrachten als kantoren, wat nu niet het geval is. Concluderend schatten we de mate waarin de AQI voldoende informatie geeft over de vaktechnische kwaliteit in als ‘laag’.

Een overzicht van de diagnostische eigenschappen van de partnerratio voor AQI-kwaliteit is gepresenteerd in tabel 3. Samenvattend geldt dat de mate van relevantie afhangt van de gebruikersgroep en dat een relevante normwaarde lastig te bepalen is gegeven het feit dat onduidelijk is bij welke controlewerkzaamheden de partner inhoudelijk betrokken is geweest. Bovendien is de informatiewaarde van de partnerratio over de kwaliteit van de controlebevindingen en de vaktechnische kwaliteit diffuus. Conclusie is daarmee wat ons betreft dat de generieke partnerratio als AQI een lage tot matige diagnostische waarde heeft.

Tabel 3.

Raamwerk van diagnostische eigenschappen toegepast op drie Audit Quality Indicators: Partnerbetrokkenheid / Materialiteit / Verwerken van materiële afwijkingen.

Kenmerken AQI-kwaliteit Kenmerken van informatiewaarde Audit Quality Indicator
Begrijpelijkheid van informatie Relevantie voor beoogd doel Betrouwbaarheid van vaststellen Vergelijkbaarheid meting tussen organisaties/opdrachten
Relevantie voor beoogde gebruikers + / + / + + / − / + ○ / + / + ○ / − / +
Begrip van werkzaamheden ○ / ○ / + + / + / + + / +/ + + / + / +
Kwaliteit rapportage van bevindingen ○ / − / ○ − / − / − ○ / ○ / ○ − / − / −
Vaktechnische kwaliteit − / − / ○ − / − / ○ ○ / − / ○ − / − / ○

3.2 Materialiteit

Het onderzoek naar de materialiteitsbepaling (Snoei et al. 2020) richt zich op de in de jaarrekeningcontrole gehanteerde materialiteit, die bestaat uit zowel planningsmaterialiteit als uitvoeringsmaterialiteit. Onder planningsmaterialiteit wordt verstaan het bedrag aan afwijkingen (afzonderlijk of gezamenlijk) indien daarvan redelijkerwijs kan worden verwacht dat zij een invloed zal hebben op de economische beslissingen die gebruikers op basis van de financiële overzichten nemen (NVCOS 320), oftewel de materialiteit vanuit gebruikersperspectief. Met uitvoeringsmaterialiteit wordt bedoeld het bedrag dat de accountant gebruikt in de uitvoering van zijn werkzaamheden, om de waarschijnlijkheid tot een passend laag niveau terug te brengen dat het totaal van niet-gecorrigeerde en niet-gedetecteerde afwijkingen het niveau van planningsmaterialiteit overstijgt. Dit onderzoek wordt benaderd vanuit de gedachte dat de gehanteerde materialiteit (zowel planningsmaterialiteit als uitvoeringsmaterialiteit) in de controle afhankelijk is van de mate van verantwoordingdruk (Messier and Quilliam 1992). Met verantwoordingsdruk wordt in dit verband bedoeld de druk die door de accountant wordt ervaren dat hij of zij verantwoordelijk zal worden gehouden voor gemaakte keuzes in diepgang van de controle. Een hogere verantwoordingdruk zal resulteren in een lagere materialiteitsbepaling, waardoor vanuit het gebruikersperspectief de (gepercipieerde) controlekwaliteit zal toenemen. Echter, uit het onderzoek van Snoei et al. (2020) blijkt dat een lagere planningsmaterialiteit niet hoeft te leiden tot een lagere uitvoeringsmaterialiteit. Met andere woorden, een lagere planningsmaterialiteit resulteert niet per definitie in een controle met meer diepgang. De reden daarvan kan volstrekt legitiem zijn. Naast wat de (1) controlestandaarden (NVCOS 320) voorschrijven, zien we dat accountants in hun materialiteitsbepaling beïnvloed worden door (2) kantoorstandaarden en (3) de perceptie van gebruikersrisico. We concluderen dan ook dat de veronderstelling niet houdbaar is dat een (relatief) lager materialiteitsniveau, per definitie een diepgaandere controle zou betekenen. Bij materialiteit als AQI wordt in de praktijk standaard uitgegaan van de planningsmaterialiteit vanuit gebruikersperspectief. Het verdient op basis van bovenstaande wat ons betreft aanbeveling om ook uitvoeringsmaterialiteit te gaan opnemen als AQI.

3.2.1 Relevantie voor beoogde gebruikers

Als we de relevantie voor de gebruikers van materialiteit als AQI beoordelen op basis van het raamwerk van diagnostische eigenschappen (tabel 2), verwachten we dat materialiteit een begrijpelijk concept is, het materialiteitsbedrag kan worden afgezet tegen reguliere benchmarks als omzet en balanstotaal om het relatief te maken. Het informatiekenmerk relevantie zal voor gebruikersgroepen verschillen. Waar externe gebruikersgroepen meer waarde zullen hechten aan de hoogte van de materialiteit ten opzichte van een benchmark, zullen intern betrokkenen meer waarde toekennen aan de uitvoeringsmaterialiteit, omdat dat meer zegt over de diepgang van de controle. De externe toezichthouder zal op basis van de standaarden meer benieuwd zijn naar de motivatie en professionele oordeelsvorming rondom de hoogte van materialiteitsbedragen dan de bedragen van planningsmaterialiteit en uitvoeringsmaterialiteit als zodanig. Ook zullen de verschillende externe gebruikersgroepen geïnteresseerd zijn in de materialiteitsafwegingen die voor hen relevant zijn. Kredietverschaffers en crediteuren zullen geïnteresseerd zijn in de gehanteerde materialiteit betreffende de schuldratio’s. Aandeelhouders zijn mogelijk meer geïnteresseerd in de resultaatbepaling in relatie tot bepaalde benchmarks. Vaak zullen hier ook de kwalitatieve materialiteitskenmerken van toepassing zijn, oftewel de afweging van wat materieel is voor een gebruiker op inhoud en niet (alleen) gerelateerd aan de hoogte van een bedrag. Omdat een normwaarde voor materialiteit onhaalbaar is vanwege de kwalitatieve afwegingen die daarin gemaakt, beoordelen we diagnostische eigenschappen op relevantie als ‘laag’. De berekening van de materialiteitsbedragen ten opzichte van benchmarks kan betrouwbaar (positief) plaatsvinden, gegeven de bedragen die in de controledossiers en jaarrekeningen worden vermeld. Voor de vergelijkbaarheid zal de berekening van de materialiteit gestandaardiseerd moeten worden ten opzichte van specifieke klanteigenschappen en kwalitatieve afwegingen, wat momenteel niet het geval is en is daarom als ‘laag’ beoordeeld. Hiermee komt deze AQI in opzet matig tegemoet aan de eisen van belanghebbenden in de beoordeling van controlekwaliteit.

3.2.2 Begrip van werkzaamheden

Het begrip van werkzaamheden van gebruikers over de materialiteitsbepaling zal naar onze mening eenvoudig te meten zijn. Net als bij de partnerratio zijn er geschikte onderzoeksmethoden beschikbaar om verwachtingen van gebruikers over materialiteit in kaart te brengen. Dit geldt voor zowel de kwantitatieve materialiteit (in bedragen) als de kwalitatieve materialiteit (in overwegingen). De score op begrijpelijkheid schatten wij in als ‘matig’, omdat enerzijds wel duidelijk gemaakt kan worden hoe de AQI rekenkundig tot stand is gekomen maar anderzijds zal de interpretatie van deze AQI lastig blijken, gegeven het hoge vaktechnische gehalte van hoe met de verschillende materialiteitsbegrippen in de controle wordt opgegaan.

De overige informatiekenmerken op dit AQI-kwaliteitskenmerk schatten wij hetzelfde in als bij partnerbetrokkenheid, namelijk positief.

3.2.3 Kwaliteit rapportage van bevindingen

De score op kwaliteit rapportage van de controlebevindingen als derde AQI-kwaliteitskenmerk van materialiteit hangt samen met de mate waarin materialiteit in de praktijk wordt bepaald op basis van risicofactoren binnen een onderneming en invloed heeft op de werkzaamheden van de accountant. Uit onderzoek (Mock and Wright 1999) bleek dat de samenhang tussen controleplanning en controlewerkzaamheden beperkt is. Veelal wordt materialiteit als rekenkundige exercitie gezien met een standaardbenchmark maal een percentage en niet als instrument voor een efficiëntere audit of afhankelijk van risico-overwegingen in het bepalen van de uitvoeringsmaterialiteit. Uit het onderzoek van Snoei et al. (2020) blijkt onder andere dat de planningsmaterialiteit naar beneden wordt bijgesteld als er minder wordt gesteund op de interne beheersing van de gecontroleerde organisatie. Ook risico’s van earnings management en fraude worden verwerkt in de inschatting van planningsmaterialiteit (die vanuit het gebruikersperspectief zou moeten plaatsvinden) in plaats van uitvoeringsmaterialiteit. Wat betreft de kantoorstandaarden is een opvallende bevinding dat Big 4-kantoren een planningsmaterialiteit hanteren die gemiddeld 30% hoger is dan die van kleine accountantskantoren. Ook het percentage uitvoeringsmaterialiteit ten opzichte van materialiteit is bij Big 4-kantoren nog eens 10% groter dan dat bij kleinere audit firms. Als het gaat om de perceptie van gebruikersrisico, zien we dat indien er sprake is van kritische ratio’s of hoge financiële schuldenratio, de materialiteit naar beneden wordt bijgesteld, terwijl de uitvoeringsmaterialiteit niet als zodanig wordt aangepast. Wat betreft economische gebondenheid is opvallend dat als er sprake is van meer non-audit services, de materialiteit tot wel 36% hoger wordt vastgesteld dan wanneer dat niet het geval is. Kortom, de samenhang tussen controlekwaliteit en materialiteit is in het kader van de kwaliteit van de controlebevindingen niet eenduidig en daarmee is de begrijpelijkheid van de mate waarin de AQI in staat is te rapporteren over relevante bevindingen van controlekwaliteit naar onze mening laag. De overige informatiekenmerken voor dit AQI-kwaliteitskenmerk (relevantie, betrouwbaarheid en vergelijkbaarheid) schatten wij gelijk in als bij AQI partnerbetrokkenheid om redenen daar genoemd. Conclusie is dat materialiteit lage diagnostische waarde heeft om relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle.

3.2.4 Vaktechnische kwaliteit

De diagnostiek voor de vaktechnische kwaliteit van de accountant als het gaat over materialiteit, lijkt diffuus. De methodologie van kantoren rondom risico-inschatting lijkt immers van invloed op de materialiteitsbepaling en er worden twee soorten materialiteit gebruikt, gebaseerd op verschillende grondslagen (NVCOS 320). De planningsmaterialiteit wordt bepaald op de economische besluitvorming op basis van de jaarrekening door belanghebbenden, de uitvoeringsmaterialiteit daarentegen is een risico-gebaseerde materialiteit. Deze wordt mede bepaald door de kans op materiële onjuistheden in de jaarrekening. Tot slot is er nog de kwalitatieve materialiteitsoverweging die voor gebruikers erg belangrijk kan zijn, denk bijvoorbeeld aan de situatie waarin er een klein bedrag van afwijking is waardoor bepalingen in een kredietovereenkomst ten onrechte niet worden doorbroken. Ook de informatiewaarde van materialiteit omtrent de professioneel-kritische houding en de onafhankelijkheid van de accountant blijkt lastig te duiden, omdat zowel planningsmaterialiteit als uitvoeringsmaterialiteit worden beïnvloed door cliëntspecifieke factoren en professional judgment op kwalitatieve factoren bevatten. Daarom scoren de informatiekenmerken van begrijpelijkheid, relevantie en vergelijkbaarheid laag, zoals ook bij de partnerbetrokkenheid is onderbouwd. In afwijking van de overwegingen bij partnerbetrokkenheid schatten we bij materialiteit het informatiekenmerk betrouwbaarheid ook laag in, omdat uit de benoemde elementen blijkt dat materialiteit niet getrouw weergeeft wat zij bedoelt weer te geven, zeker omdat de materialiteitswaarde niet in samenhang met cliëntspecifieke factoren kan worden beoordeeld.

Op basis van de lage diagnostische waarde van materialiteit concluderen we dat dit geen voor de hand liggende AQI is om het vertrouwen van de gebruiker in het controleproces te versterken.

3.3 Verwerken van materiële afwijkingen

Een derde veelgenoemde AQI is de mate waarin gedetecteerde afwijkingen in de jaarrekening, afwijkingen genoemd, worden verwerkt (Litjens et al. 2015). De veronderstelling is dat hoe meer afwijkingen worden verwerkt, hoe hoger de controlekwaliteit op opdrachtniveau is. Het is echter belangrijk om daarbij op te merken dat het niet-corrigeren van afwijkingen niet alleen een zaak van de auditor is, maar ook van de gecontroleerde, waarbij beiden drijfveren kunnen hebben om niet te corrigeren (Keune and Johnstone 2012; Asare et al. 2019). Gegeven de uitgebreide toelichting op de scores van de eerdere AQI’s, volstaan we hier met een toelichting van de scores op AQI-kwaliteitskenmerk vaktechnische kwaliteit, omdat daarbij op drie punten beter wordt gescoord dan bij beide voorgaande AQI’s.

3.3.1 Vaktechnische kwaliteit

In het kader van de onafhankelijkheid kan deze AQI ‘een rechte rug’ signaleren, waarbij volledig corrigeren een hoge onafhankelijkheid suggereert. De samenhang van deze AQI en de kwaliteit van de controlemethodologie is ons inziens hoog als er ook inzicht wordt gegeven in alle gedetecteerde en al dan niet verwerkte afwijkingen. Daarbij kan de vraag worden gesteld of het niet-corrigeren van afwijkingen diagnostisch is voor de mate van vaktechnische kwaliteit, omdat ook praktische redenen aan de zijde van de gecontroleerde ten grondslag kunnen liggen aan het niet doorvoeren van correcties, zoals het niet doorvoeren van vennootschappelijke correcties vanwege een reeds afgesloten groepsconsolidatieproces. Het doorvoeren van correcties blijft daarmee een samenspel van accountant en gecontroleerde. Dit verlaagt de score op begrijpelijkheid van deze AQI ten aanzien van de vaktechniek naar ‘matig’. De relevantie van dit kenmerk beoordelen we ook als ‘matig’, gegeven het feit dat een accountant zich reeds dient te houden aan standaarden rondom correctie van controleverschillen, waarmee het niet-verwerken van materiële afwijkingen indien regelgeving is nageleefd geen wijziging in het beeld van de jaarrekening zal geven en mede ingegeven kan zijn door afwegingen van de gecontroleerde. Concluderend schatten we de mate waarin deze AQI voldoende informatie geeft over de vaktechnische kwaliteit in als ‘matig’.

De overall conclusie van de AQI-kwaliteitskenmerken op het verwerken van materiële afwijkingen is dat deze AQI matig tot positief scoort op diagnostische eigenschappen voor de gerealiseerde controlekwaliteit. De invloed van de gecontroleerde op het al dan niet besluiten tot verwerken van afwijkingen binnen de bandbreedtes van materialiteit is de complicerende factor bij deze AQI in zowel de rapportage van bevindingen als het duiden van de vaktechnische kwaliteit.

3.4 Uitkomsten scores op raamwerk van diagnostische eigenschappen

We hebben de uitkomsten van de toepassing van het raamwerk van diagnostische eigenschappen op de drie beoordeelde AQI’s gepresenteerd in tabel 3. Uit de tabel blijkt dat de AQI’s overwegend matige scores hebben om als onderscheidend kenmerk van de bepaling van controlekwaliteit te kunnen dienen. Hoewel in eerste instantie alle drie de AQI’s goed hanteerbeer lijken als maatstaf voor controlekwaliteit, blijkt bij het toepassen van het raamwerk een reëel risico op een verkeerde interpretatie te bestaan. Dit risico is groter voor externe gebruikers dan voor interne gebruikers, omdat deze laatsten gemakkelijker het gesprek met de accountant kunnen voeren.

De uitkomsten van informatiewaarde op het AQI-kwaliteitskenmerk relevantie voor beoogde gebruikers zijn matig tot positief, behalve voor materialiteit. Dit wordt vooral verklaard door het niet mee kunnen wegen van cliëntspecifieke factoren die nodig zijn voor de duiding van materialiteitsbepaling. Ook is voor de relevantie een normwaarde nodig, een benchmark, maar die is voor partnerratio en materialiteit niet (eenvoudig) vast te stellen. Om de AQI’s relevant te maken zullen bij voorkeur de AQI’s aangepast moeten worden naar de behoefte van de gebruikersgroepen. Op basis van tabel 3 zien we ook dat het begrip van werkzaamheden bij alle drie de AQI’s goed is vast te stellen, waarbij de begrijpelijkheid van informatie een aandachtspunt is als de AQI een vaktechnisch complexe context heeft. De scores op informatiewaarde van het AQI-kwaliteitskenmerk met betrekking tot de kwaliteit van de rapportage van bevindingen zijn op alle fronten matig tot laag. Dit is problematisch, omdat juist de mate waarin een AQI in staat is om relevante bevindingen van controlekwaliteit te rapporten zo belangrijk is voor de belanghebbenden. Echter, wetenschappelijk onderzoek rapporteert geen sterke samenhang tussen de meetbare indicatoren en de onderliggende controlekwaliteit. Hetzelfde geldt voor de informatiewaarde aangaande de vaktechnische kwaliteit, waarop zowel partnerratio als materialiteit erg laag scoren. De AQI van ongecorrigeerde afwijkingen lijkt hierin een uitzondering te zijn; deze is enigszins diagnostisch voor controlekwaliteit.

Wat in tabel 3 nog ontbreekt is een eindoordeel van de totale diagnostische waarde van de AQI’s. Een dergelijk eindoordeel vereist weging van zowel de scores op de vier kenmerken van AQI-kwaliteit als van de vier kenmerken van informatiewaarde. Verder wetenschappelijk onderzoek is nodig om deze weging in relatie tot het versterken van het vertrouwen van de belanghebbenden in het controleproces vast te stellen, daarop hebben we nu nog onvoldoende zicht. Toch durven we op basis van tabel 3 te stellen dat de genoemde AQI’s lage diagnostische waarde hebben voor het bepalen van de geleverde controlekwaliteit. Voor de praktijk van het opstellen van transparantieverslagen door accountantsorganisaties bevelen wij aan om het raamwerk van diagnostische eigenschappen te gebruiken bij andere AQI’s om in alle aspecten rekening te kunnen houden met de relevantie voor belanghebbenden in het versterken van het vertrouwen in de geleverde controlekwaliteit en waar nodig ook vaktechnische duiding te geven aan de gepresenteerde AQI’s.

4. Conclusie en discussie

In dit onderzoek hebben we een raamwerk van diagnostische eigenschappen voor AQI’s opgesteld om te kunnen bepalen in hoeverre een AQI onderscheidende kenmerken heeft om voor belanghebbenden de onderliggende controlekwaliteit te kunnen bepalen. Bij dit raamwerk hebben we de kwaliteitskenmerken van controlekwaliteit op opdrachtniveau van Van Buuren (2015) gebruikt en zijn daaruit de vier AQI-kwaliteitskenmerken afgeleid. Vervolgens hebben we het belang van de vier kenmerken van informatiewaarde (begrijpelijkheid, relevantie, betrouwbaarheid en vergelijkbaarheid) vanuit het Stramien (RJ 2020) per AQI-kwaliteitskenmerk uitgewerkt. Op basis van dit raamwerk van diagnostische eigenschappen voor AQI’s hebben we vervolgens drie bekende AQI’s uitgewerkt bij wijze van eerste test van het raamwerk. Vanuit de toepassing op de drie AQI’s concluderen we dat het vinden van een adequate AQI geen sinecure is. De relevantie voor de onderzochte AQI’s blijkt verschillend te zijn voor de diverse gebruikersgroepen. Tevens vereist relevantie een eenduidige normstelling of benchmarkwaarde die gegeven de onderliggende vaktechnische afwegingen en opdracht- en organisatiespecifieke factoren lastig te definiëren is. Waar vervolgens het begrip van werkzaamheden voor de diverse belanghebbenden relatief goed is vast te stellen, zijn de scores op het eenduidig rapporteren van de AQI over de bevindingen van controlekwaliteit en vaktechnische kwaliteit niet heel positief. Op basis hiervan durven we te stellen dat voor de onderzochte AQI’s het vertrouwen van de belanghebbenden in de geleverde controlekwaliteit niet extra wordt versterkt en bij een verkeerd begrip van de AQI zelfs het risico aanwezig is dat het vertrouwen wordt geschaad. We verklaren de beperkte scores op het raamwerk van diagnostische eigenschappen voor de geteste AQI’s vanuit onderstaande drie hoofdredenen.

Ten eerste is de complicerende factor van AQI’s op opdrachtniveau dat gebruikers in de vaktechnische afweging van accountants worden betrokken. Het accountantsberoep is een vak waar vakkennis en professionele oordeelsvorming centraal staat. De toelatingseisen tot het beroep zijn hoog. Voor niet-accountants is dit een onbekende en complexe materie en het is de vraag of zij de AQI’s kunnen plaatsen en op juiste waarde kunnen schatten. Tegelijkertijd blijkt uit wetenschappelijk onderzoek de complexe en op z’n best beperkte samenhang tussen de kwaliteit en de drie AQI’s. Dit leidt tot de vraag of input-factoren en procesgerichte AQI’s in opzet geschikt zijn als AQI’s. Wellicht hebben output-gerichte AQI’s nog de beste papieren om relevant te zijn voor de gebruikers. Hierbij willen we opmerken dat in de transparantieverslagen vaak al informatie is gegeven over output-gerichte AQI’s, echter deze informatie is vaak gepresenteerd op organisatieniveau, niet op opdrachtniveau.

Ten tweede is een belangrijk uitgangspunt bij AQI’s op opdrachtniveau dat controlestandaarden altijd worden nageleefd. Een AQI die aangeeft dat standaarden niet zijn nageleefd, zou, gegeven een toereikend kwaliteitssysteem bij accountantsorganisaties, niet voor mogen komen. Dat zorgt ervoor dat relevante AQI’s alleen gevonden kunnen worden op die gebieden waar de controlestandaarden niet duidelijk in zijn, dus waar ruimte is voor oordeelsvorming, of waar een minimumpositie is gedefinieerd en de accountant ruimte wordt geboden om een stap verder te kunnen zetten. Dit uitgangspunt zorgt ervoor dat duiding van wat een AQI suggereert over de controlekwaliteit diffuus is, omdat controlestandaarden daarin ruimte laten voor professionele oordeelsvorming afhankelijk van de situatie. Dit versterkt daarmee het effect van de eerdergenoemde complicerende factor van AQI’s op opdrachtniveau. De vraag is daarbij ook of een AQI (zoals partnerbetrokkenheid of materialiteit) eigenlijk niet meer zegt over specifieke factoren van de gecontroleerde dan over het gedrag van de accountant. Ook kan (zoals bij het niet-corrigeren van afwijkingen) zelfs sprake zijn van een gezamenlijk proces tussen accountant en gecontroleerde, waarbij wellicht meer de financial reporting quality wordt gemeten dan de audit quality. Bij AQI’s zal de kwaliteit van rapportage van bevindingen en vaktechnische kwaliteit veelal geschat moeten worden middels wetenschappelijk onderzoek, gebruikmakend van statistische technieken waarin ook cliëntspecifieke factoren worden meegenomen. Hiervoor geldt dat hoe lager de geconstateerde samenhang, hoe lager de informatiewaarde (en relevantie) is van de AQI. Tegelijkertijd zegt een statistische samenhang niet per definitie iets over een individuele controleopdracht.

Ten derde is voor de relevantie van een AQI een zinnige normstelling nodig. Waar vanuit de controlestandaarden een minimumpositie wordt aangegeven, is de vraag wat vanuit de praktijk een haalbare norm zal zijn voor AQI’s. Er is veel onderzoek nodig om tot een relevante norm te komen, waarbij ook die norm in zichzelf betrouwbaar, vergelijkbaar en begrijpelijk zal moeten zijn. Het risico op onjuiste conclusies als gevolg van een onjuiste of niet relevante norm is niet denkbeeldig. Voor vergelijking van AQI’s ten opzichte van een benchmark is standaardisatie en normalisatie een vereiste, waarbij rekening gehouden dient te worden met cliëntspecifieke omstandigheden. Wellicht is het controleren voor de cliëntspecifieke omstandigheden wel één van de moeilijkst oplosbare problemen met de vergelijkbaarheid van AQI’s over verschillende opdrachten en accountantsorganisaties heen.

Zijn daarmee AQI’s in opzet niet haalbaar of is er ook potentie om AQI’s verder te laten groeien, zodat zij wel goede diagnostische eigenschappen zullen hebben? Allereerst lijkt een onderkenning van de behoeften van de verschillende gebruikersgroepen nodig om te komen tot relevante doelstellingen en normstellingen. Het lijkt ons dat een start met rapportage aan alleen de interne en externe toezichthouder als gebruikers voor de hand kan liggen, gegeven dat zij het beste in staat zullen zijn om de kwaliteit van rapportage van bevindingen te duiden en verder onderzoek te doen naar de relevante samenhang met vaktechnische kwaliteit. Zij zouden wellicht gezamenlijk met onderzoekers in staat moeten zijn om te komen tot de juiste AQI’s om met rapportage daarvan het vertrouwen van de beoogde gebruikers in de uitkomst van de controle zo veel mogelijk te versterken. Gegeven de beperkte diagnostische eigenschappen van de drie in dit artikel behandelde AQI’s, zal dit een langdurig en ingewikkeld proces zijn. Daarom willen we ook wijzen op een andere mogelijkheid, die sneller te implementeren is en goede kansen biedt het vertrouwen in de accountant te versterken. In plaats van AQI’s kan het beroep ook inzetten op meer overleg met de directe belanghebbenden van de controle; ga het gesprek aan met hen en maak de controle meer specifiek op hun behoeften, wellicht ook met gebruikmaking van moderne communicatiemiddelen. Wij veronderstellen dat indien de belanghebbenden zich gehoord voelen en zij constateren dat accountants zich richten op hun behoeften, dit het vertrouwen in het werk van de accountant zal versterken.

5. Beperkingen

Dit onderzoek richt zich op het bepalen van de diagnostische eigenschappen van AQI’s op opdrachtniveau. Wat betreft AQI’s gemeten op vestigings- en organisatieniveau die niet direct gekoppeld zijn aan opdrachten (kwaliteitsbeheersing, training van personeel e.d.), kunnen wij ons voorstellen dat dit raamwerk ook toepasbaar is, wat vervolgonderzoek zal moeten uitwijzen. Het raamwerk van diagnostische eigenschappen is in dit artikel toegepast op enkele voor de hand liggende AQI’s. De analyse en evaluatie van de AQI’s is gemaakt op basis van verschillende beschikbare artikelen die gebaseerd zijn op eenzelfde dataset die verzameld is in de Nederlandse situatie in het MKB. Een beperking van deze dataset is dat er niet specifiek aan belanghebbenden gevraagd is naar relevantie en verwachtingen ten aanzien van AQI’s. Onderzoek dat specifiek gericht is op relevantie en verwachtingen over AQI’s kan tot meer inzicht vanuit het gebruikersperspectief leiden. We hebben echter met behulp van voorgaande literatuur, zo goed mogelijk proberen aan te sluiten wat bekend is over het gebruikersperspectief.

Al met al is de aandacht voor meer vertrouwen in de controle een stap in de goede richting. Of AQI’s daarvoor het geschikte middel zijn moet nog blijken. Echter, indien de uitkomst betekent dat gebruikersgroepen veel meer betrokken zullen worden bij de controle, dan kan het beroep alleen maar voordeel hebben van deze zoektocht.

Prof. dr. J.P. van Buuren RA is hoogleraar Auditing & Assurance aan Nyenrode Business Universiteit.

Drs. W.G. Snoei RA is promovendus aan Nyenrode Business Universiteit op het gebied van Auditing en tevens director bij Visser & Visser Audit en Assurance.

Noot

1

Wettelijke verbeterdoelen accountants goed voor de samenleving, (18 maart 2020). De Accountant. https://www.accountant.nl/discussie/opinie/2020/3/wettelijke-verbeterdoelen-accountants-goed-voor-de-samenleving/

Literatuur

  • AFM [Autoriteit Financiële Markten] (2017) Kwaliteit OOB-accountantsorganisaties onderzocht: Uitkomsten van onderzoeken naar de implementatie en borging van verandertrajecten bij de OOB-accountantsorganisaties en de kwaliteit van wettelijke controles bij de Big 4-accountantsorganisaties. AFM, Amsterdam. https://www.afm.nl/nl-nl/nieuws/2017/juni/kwaliteitslag-oob
  • Asare S, Van Buuren J, Majoor GCM (2019) The Joint Role of Auditors’ and Auditees, Incentives and Disincentives in the Resolution of Detected Misstatements. Auditing: A Journal of Practice & Theory 38(1): 29–50. https://doi.org/10.2308/ajpt-52153
  • Asare S, Van Buuren J, Majoor GCM, Verwey I (2020) Field evidence on the drivers antecedents and consequences of partner leverage in public audit firms. Working paper, Nyenrode Business Universiteit.
  • Francis JR (2011) A framework for understanding and researching audit quality. Auditing, A Journal of Practice & Theory 30(2): 125–152. https://doi.org/10.2308/ajpt-50006
  • Keune MB, Johnstone KM (2012) Materiality judgments and the resolution of detected misstatements: The role of managers, auditors, and audit committees. The Accounting Review 87(5): 1641–1677. https://doi.org/10.2308/accr-50185
  • Knechel WR, Krishnan GV, Pevzner M, Shefchik LB, Velury UK (2013) Audit quality, insights from the academic literature. Auditing, A Journal of Practice & Theory 32(1): 385–421. https://doi.org/10.2308/ajpt-50350
  • Litjens R, Van Buuren JP, Vergoossen R (2015) Addressing the information needs to reduce the audit expectation gap: evidence from Dutch bankers, audited companies and auditors. International Journal of Auditing 19(3): 267–281. https://doi.org/10.1111/ijau.12042
  • Messier Jr WF, Quilliam WC (1992) The effect of accountability on judgment: Development of hypotheses for auditing. Auditing, A Journal of Practice & Theory 11: 123–138.
  • NBA [Koninklijke Nederlandse Beroepsorganisatie van Accountants] (2020) Stramien. Werkgroep Toekomst Accountantsberoep. NBA, Amsterdam.
  • Stramien [Stramien voor Assurance-opdrachten] (2020) NBA (Koninklijke Nederlandse Beroepsorganisatie van Accountants). Handleiding Regelgeving Accountancy (HRA 2020). https://www.nba.nl/tools/hra-2020/
  • RJ [Raad voor de Jaarverslaggeving] (2020) Richtlijnen voor de jaarverslaggeving voor middelgrote en grote rechtspersonen Jaareditie 2020 van toepassing op verslagjaren op of na 1 januari 2021. Wolters Kluwer (Deventer).
  • Snoei WG, Van Buuren JP, Majoor GCM (2020) Material judgments in materiality determination. Working paper, Nyenrode Business Universiteit.
login to comment