Corresponding author: Wilbert Snoei ( w.snoei@nyenrode.nl ) Academic editor: Anna Gold
© 2021 Joost van Buuren, Wilbert Snoei.
This is an open access article distributed under the terms of the Creative Commons Attribution License (CC BY-NC-ND 4.0), which permits to copy and distribute the article for non-commercial purposes, provided that the article is not altered or modified and the original author and source are credited.
Citation:
van Buuren J, Snoei W (2021) Over de diagnostische eigenschappen van Audit Quality Indicators. Maandblad Voor Accountancy en Bedrijfseconomie 95(1/2): 33-45. https://doi.org/10.5117/mab.95.62240
|
In dit artikel wordt een raamwerk ontwikkeld voor de beoordeling van Audit Quality Indicators (AQI’s) op opdrachtniveau. Dit raamwerk beschrijft de diagnostische eigenschappen van AQI’s bestaande uit vier kenmerken van AQI-kwaliteit in combinatie met vier kwaliteitskenmerken van informatie. Als we dit raamwerk op bruikbaarheid toetsen door het toe te passen op enkele in de praktijk bekende AQI’s blijkt de informatiewaarde van sommige AQI-kwaliteitskenmerken te beperkt te zijn om een goed beeld te geven van controlekwaliteit. De mate van vertrouwen van de beoogde gebruikers in de controlekwaliteit wordt hierdoor niet extra versterkt en mogelijk zelfs geschaad.
Audit Quality Indicator, AQI, diagnostisch raamwerk, audit quality
Accountantsorganisaties maken op verplichte of vrijwillige basis een transparantieverslag met daarin vaak ook Audit Quality Indicators opgenomen. Met dit artikel proberen we ook een handreiking te doen in het beoordelen welke inhoud en communicatie van Audit Quality Indicators van belang is om het vertrouwen in de controle voor belanghebbenden te versterken.
Het functioneren van accountants staat al jaren ter discussie. Niet alleen in Nederland hebben meerdere commissies zich hierover gebogen (
Eén van de (impliciete) premissen bij AQI’s betreft dat er een continuüm van controlekwaliteit is, waarbij het voldoen aan de standaarden als ‘minimumniveau’ kan worden beschouwd. Gevolg van deze premisse is dat er altijd ruimte is voor verbetering. Dit past bij de definitie van controlekwaliteit die wij als uitgangspunt hebben genomen in dit artikel. Door te gaan werken met AQI’s wordt deze ruimte voor verbetering zichtbaar. Om relevant te zijn, zal een norm gesteld moeten worden wanneer een AQI-waarde wordt beschouwd als een signaal van ‘voldoende controlekwaliteit’. Want indien er geen normen worden gesteld, is de duiding van een AQI ongewis. Daarbij wordt opgemerkt dat in de vergelijking van een AQI ten opzichte van andere opdrachten en accountantsorganisaties in beginsel ook een informatiewaarde is begrepen, namelijk het hoger of lager scoren op een AQI ten opzichte van anderen of ten opzichte van het gemiddelde. De duiding of de score van de gehele populatie voldoet aan een bepaalde norm ontbreekt dan echter nog.
Door de normstelling kan ook de ruimte tot verbetering worden beschreven; de stip aan de horizon van wat er nog meer mogelijk is met accountantscontrole. Enerzijds zal dit tot gevolg hebben dat geïnventariseerd moet worden welke behoeften er zijn bij belanghebbenden. Anderzijds zal de accountant moeten bepalen of en hoe aan deze behoeften tegemoet kan worden gekomen. Hoe beter de accountant anticipeert op deze behoeften, hoe groter de relevantie van de AQI voor belanghebbenden zal zijn. Een dergelijke ontwikkeling verhoogt de relevantie en kan daardoor het herstel in het vertrouwen in de controle bespoedigen. Daarbij is van belang dat er een eenduidig raamwerk beschikbaar komt voor de beoordeling van de kwaliteit en informatiewaarde van AQI’s. Vanuit dat raamwerk moet duidelijk worden in hoeverre de AQI’s onderscheidend (diagnostisch) zijn voor de geleverde controlekwaliteit vanuit het perspectief van de belanghebbenden.
In paragraaf 2 van dit artikel komen wij tot het ontwerp van een raamwerk van diagnostische eigenschappen voor Audit Quality Indicators. In dit raamwerk wordt dus duidelijk welke eigenschappen van AQI’s een onderscheid kunnen maken als signaalwaarde voor lagere of hogere gerealiseerde controlekwaliteit. Dit ontwerp komt voort uit de combinatie van een bestaande definitie van kenmerken van controlekwaliteit op opdrachtniveau en kwaliteitskenmerken van informatie. Daarmee richten we ons op AQI’s die direct meetbaar zijn op opdrachtniveau, omdat we ook uitgaan van de definitie van controlekwaliteit op opdrachtniveau en we ons in dit artikel niet richten op het proces van kwaliteitsbeheersing of cultuur op accountantsorganisatieniveau.
In paragraaf 3 passen we dit raamwerk bij wijze van bruikbaarheidstest toe op enkele AQI’s om de diagnostische eigenschappen van die AQI’s te bepalen. We maken daarbij gebruik van enkele veelgenoemde AQI’s die zijn geanalyseerd met behulp van een omvangrijke en gezamenlijke dataset met betrekking tot uitgevoerde controleopdrachten, namelijk partnerbetrokkenheid, materialiteit en het niet-corrigeren (waiven) van controleverschillen. In paragraaf 4 komen we tot een conclusie en discussie van uitkomsten, waarna we in paragraaf 5 nog enkele beperkingen benoemen.
In deze paragraaf beschrijven we de beoogde kwaliteitskenmerken van AQI’s (2.1) en de beoordeling daarvan op informatiewaarde (2.2) om daarmee te komen tot een raamwerk van diagnostische eigenschappen voor AQI’s in tabel 2. In de paragrafen 2.3–2.6 worden de vier AQI-kwaliteitskenmerken besproken in samenhang met de informatiewaarde van die kenmerken.
De bedoeling van de AQI’s is om belanghebbenden van de controle meer inzicht te geven in de geleverde controlekwaliteit. Meer inzicht in de controlekwaliteit is cruciaal voor de waarde van de controle (CTA, par. 28). Tot op heden bestaat er weinig consensus omtrent een eenduidige definiëring van controlekwaliteit (
“De kwaliteit van een assurance-opdracht is de mate waarin voldoende en geschikte assurance-informatie is verkregen om een conclusie tot uitdrukking te brengen om de mate van vertrouwen van de beoogde gebruikers, niet zijnde de verantwoordelijke partij, in de uitkomst van de meting of evaluatie van het onderzoeksobject ten opzichte van criteria zo veel mogelijk te versterken.”
Deze definitie is gebaseerd op art. 10 van het Stramien voor Assurance-opdrachten (2020), met toevoeging van de vetgedrukte woorden. De vetgedrukte woorden creëren een continuüm van lage tot hoge controlekwaliteit (Van Buuren 2020). Een continuüm impliceert dat er geen sprake is van een ‘goede’ versus ‘slechte’ controlekwaliteit, maar dat een accountant altijd kan streven naar een hoger niveau van controlekwaliteit (
Controlekwaliteit | AQI-kwaliteit | |
---|---|---|
Relevantie voor beoogde gebruikers | De mate waarin de accountant tegemoet komt aan de eisen van de jaarrekeninggebruiker | De mate waarin de AQI tegemoet komt aan de eisen van de belanghebbenden in beoordeling van controlekwaliteit |
Begrip van werkzaamheden | De mate waarin de accountant erin slaagt jaarrekeninggebruikers een goed begrip te geven van wat de accountant doet en welke conclusies op grond van de controle kunnen worden getrokken | De mate waarin de AQI erin slaagt belanghebbenden van controle een goed begrip te geven van wat de AQI behelst en welke conclusies op grond van de AQI over controlekwaliteit kunnen worden getrokken |
Kwaliteit rapportage van bevindingen | De mate waarin de accountant in staat is relevante controlebevindingen te rapporteren voor de jaarrekeninggebruiker | De mate waarin de AQI in staat is relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle |
Vaktechnische kwaliteit | De mate waarin de accountant voldoende vaktechnische competentie heeft om materiële onjuistheden te ontdekken in de te controleren verantwoordingen en die te rapporteren | De mate waarin de AQI voldoende informatie geeft over de deskundigheid en onafhankelijkheid van de accountant |
Informatie is nuttig als op basis daarvan een beslissing kan worden genomen. Het Stramien (
In overeenstemming met de kwalitatieve kenmerken van informatie vanuit het Stramien hanteren we de volgende definities van de informatiekenmerken:
Met het juist beoordelen van de onderdelen van AQI-kwaliteit op deze informatiekenmerken wordt voorkomen dat AQI’s een onterecht signaal van geleverde controlekwaliteit geven (false positive) of juist een onterecht signaal van onvoldoende controlekwaliteit (false negative). Het voorgestelde raamwerk van diagnostische eigenschappen voor AQI’s is weergegeven in tabel 2.
Kenmerken AQI-kwaliteit | Kenmerken van informatiewaarde Audit Quality Indicator | |||
---|---|---|---|---|
Begrijpelijkheid van informatie | Relevantie voor beoogd doel | Betrouwbaarheid van vaststellen | Vergelijkbaarheid meting tussen organisaties/opdrachten | |
Relevantie voor beoogde gebruikers | ||||
Begrip van werkzaamheden | ||||
Kwaliteit rapportage van bevindingen | ||||
Vaktechnische kwaliteit |
Om te bepalen hoe goed een AQI is in het onderscheid maken tussen de verschillende niveaus van geleverde controlekwaliteit (oftewel om te bepalen hoe goed de diagnostische kwaliteit van een AQI is), dient elk van de onderdelen in tabel 2 te worden gewogen. In de navolgende paragrafen worden de vier kwaliteitskenmerken van AQI’s uit tabel 2 in samenhang met de informatiewaarde per kenmerk besproken.
Om de diagnostische eigenschappen te kunnen vaststellen voor de relevantie voor beoogde gebruikers als eerste AQI-kwaliteitskenmerk is primair nodig te bepalen wie de beoogde gebruikers zijn van de AQI’s en welke AQI’s relevant voor hen zijn. Allerlei AQI’s zijn al gesuggereerd (
De belanghebbenden van de controle betreffen zowel interne belanghebbenden, zoals governance-organen binnen accountantsorganisaties, en externe belanghebbenden, zoals jaarrekeninggebruikers en toezichthouders. Elke gebruikersgroep zal een eigen belang en behoefte hebben bij de AQI’s. Ook de mogelijkheden om de AQI’s te beïnvloeden zal verschillen. Interne gebruikers hebben specifieke verantwoordelijkheden, taken en bevoegdheden en vanuit dien hoofde kunnen ze eisen stellen aan een AQI. Bij deze eisen kan gedacht worden aan de methodiek van de berekening van een AQI, het laten ontwikkelen van aanvullende context-specifieke AQI’s en het vaststellen van normen met aanvaardbare waardes voor een AQI. Ze kunnen daarover het gesprek voeren met de accountant en dan met name bespreken of de norm is behaald en wat de accountant gaat doen om de AQI-waarde zo nodig te verbeteren. Het belang van interne gebruikers zal vooral op het vlak van het behalen van ‘norm AQI-waarden’ liggen, mede vanwege het goed uitvoeren van hun eigen functie en mogelijke persoonlijke aansprakelijkheid in geval van audit failures. De juridische implicaties zijn van niet te onderschatten betekenis in geval van normstelling bij AQI’s. Daarom zal bij het toepassen van normwaarden aan AQI’s ook het kwalitatieve kenmerk betrouwbaarheid in belang toenemen.
Externe belanghebbenden hebben daarentegen veel minder mogelijkheden om de AQI’s naar hun hand te zetten. Aandeelhouders van accountantsorganisaties zouden nog de mogelijkheid hebben om AQI’s vast te kunnen stellen in de Algemene Vergadering van Aandeelhouders. De overheid of overheidsorganen, zoals de Belastingdienst, zouden AQI’s kunnen afdwingen middels een ministeriële regeling of wet. Andere gebruikersgroepen, zoals crediteuren en potentiële investeerders zullen echter afhankelijk zijn van de welwillendheid van aandeelhouders, de accountant en/of het gecontroleerde bedrijf om AQI’s te rapporteren.
Naast de mogelijkheden om AQI’s te beïnvloeden, is er ook een verschil in kennis tussen interne en externe gebruikers ten aanzien van de werkzaamheden van de accountant. Interne gebruikers, zoals de Raad van Commissarissen, zullen meer kennis hebben van de accountantswerkzaamheden en kunnen zodoende relevante AQI’s definiëren. Deels komt dit doordat zij meer zicht hebben op de context van de AQI en deels doordat zij gesprekken voeren met de accountant. Interne gebruikers zullen meer belang hechten aan context-specifieke AQI’s met een context-specifieke normstelling, want dat verhoogt de relevantie van de AQI’s voor hen. Hierdoor kan het kwalitatieve kenmerk van relevantie op gespannen voet staan met vergelijkbaarheid, want hoe context-specifieker de AQI, hoe lager de vergelijkbaarheid zal worden tussen controleopdrachten en accountantsorganisaties.
Externe belanghebbenden, zoals aandeelhouders, crediteuren en (potentiële) investeerders zullen daarentegen belang hebben bij relevante AQI’s die goed vergelijkbaar en begrijpelijk zijn. Veel externe belanghebbenden hebben namelijk niet de mogelijkheid om het gesprek te voeren met de accountant noch belang om de context van de AQI’s diepgaand in ogenschouw te nemen. Het is meer een indicator ter bevestiging van de kwaliteit van de strekking van de controleverklaring of ter informatie in het proces van het zoeken naar een nieuwe accountant. Externe belanghebbenden hebben vaak een specifiek belang. Banken en crediteuren zullen vooral oog hebben voor de kredietwaardigheid van de gecontroleerde op de korte tot middellange termijn. Ook aandeelhouders en (potentiële) investeerders kunnen verschillen in hun belangen, afhankelijk van hun verdienmodel. Tot slot hebben ook externe beroepsverenigingen en toezichthouders als NBA en AFM belang bij relevante AQI’s die goed vergelijkbaar en begrijpelijk zijn. Welke AQI’s relevant zijn zal dus per gebruikersgroep vastgesteld moeten worden. De accountant zal in overleg moeten gaan met de verschillende gebruikersgroepen om dit te onderzoeken, zowel op het niveau van controleopdrachten als op brancheniveau van de gecontroleerden.
Uiteraard geldt voor zowel de interne als externe belanghebbenden dat AQI’s alleen relevant zijn indien deze met een bepaald minimumniveau van betrouwbaarheid kunnen worden vastgesteld.
Het tweede AQI-kwaliteitskenmerk, begrip van werkzaamheden, neemt toe, indien gebruikers een goed begrip hebben wat de betekenis is van een AQI en welke conclusies erop gebaseerd kunnen worden. Hoe beter accountants in staat zijn dit uit te leggen, hoe hoger de diagnostische eigenschap van de AQI. Allereerst dient duidelijk te zijn op welke wijze een AQI tot stand is gekomen en aan welke werkzaamheden in het controleproces dit is te relateren. Op basis daarvan kan bij de betrokkenen begrip ontstaan welke conclusie getrokken kan worden op basis van de AQI. Hierbij geldt dat hoe hoger het abstractieniveau van gerelateerde controlewerkzaamheden en de daarmee samenhangende conclusie, hoe minder relevant de AQI zal zijn. AQI’s op organisatieniveau zullen in het algemeen abstracter (minder te relateren aan concrete controlekwaliteit) zijn dan AQI’s op opdrachtniveau. Ook de tijdigheid van een AQI kan hierbij van belang zijn; AQI’s die geldig zijn voor vorige jaren, kunnen niet meer relevant zijn in geval van dynamische omstandigheden. Als voorbeeld wordt genoemd de mogelijk negatieve impact van de coronacrisis op het kwaliteitsbeheersingssysteem van de accountantsorganisaties, waarbij de AQI over het vorige jaar niet per definitie representatief is voor de huidige situatie.
Ook de vergelijkbaarheid van het begrip van werkzaamheden is belangrijk. De AQI’s zullen op een consistente en vergelijkbare manier bepaald moeten worden, waarbij gerelateerd wordt aan inhoudelijk dezelfde controlewerkzaamheden. De standaardisatie van de bepaling van AQI’s over accountantsorganisaties en opdrachten heen kan dit ondersteunen. Hieraan gerelateerd is de mate van betrouwbaarheid waarmee een AQI kan worden vastgesteld; betreft het een eenvoudige rekensom of zijn er diverse interpretaties voor nodig, waardoor het minder te relateren is aan de uitgevoerde controlewerkzaamheden? Om een juiste conclusie te kunnen trekken moet de begrijpelijkheid van de AQI hoog zijn. Enerzijds betreft dit een voldoende uitlegbaarheid van de AQI, anderzijds het inzicht in de gevoeligheid van de AQI voor onjuiste conclusies. Het negeren van contextuele verschillen kan leiden tot onjuiste conclusies.
We verwachten dat vooral de samenhang en aggregatie van AQI’s om een eindoordeel te vormen met voldoende begrip van de uitgevoerde controlewerkzaamheden uitdagend wordt. Eén samenvattende, overkoepelende AQI betreffende het gehele controleproces (bijvoorbeeld het totaal aantal uitgevoerde data-analyses per dossier) kan heel relevant zijn, terwijl de begrijpelijkheid en vergelijkbaarheid afnemen, omdat die AQI dan niet meer direct te relateren is aan uitgevoerde controlewerkzaamheden die over verschillende accountantsorganisaties hetzelfde zijn, waarvan de belanghebbende een goed begrip heeft en conclusies op kan baseren. Onderzoek naar de samenhang van de kwaliteit van de AQI’s en de besluitvorming van belanghebbenden kan helpen de relevantie van geaggregeerde AQI’s te duiden, maar dit valt verder buiten de scope van dit artikel.
Het derde AQI-kwaliteitskenmerk, de kwaliteit van de rapportage van bevindingen, gaat over de mate waarin een AQI in staat is de voor de belanghebbenden relevante bevindingen van controlekwaliteit te rapporteren die het vertrouwen in de conclusies en het proces van de uitgevoerde controle ondersteunen. Veel AQI’s die al zijn geopperd (
De relevantie van de rapportage van bevindingen zal vooral afhangen van de gebruikersgroep. Voor de betrouwbaarheid en vergelijkbaarheid van de AQI’s zal standaardisatie van groot belang zijn.
Het vierde AQI-kwaliteitskenmerk, vaktechnische kwaliteit, gaat in op hoe AQI’s het vertrouwen in de vaktechnische kwaliteit van de accountant kunnen ondersteunen. Dit gaat vooral om de deskundigheid in de gehanteerde controlemethodologie en de houding van de accountant. Met houding van de accountant bedoelen we: handelen in de geest van de Verordening Gedrags- en Beroepsregels Accountants (VGBA), een professioneel-kritische, objectieve en onafhankelijke houding, kortom, het vertrouwen dat de accountant zich volledig inzet voor de belanghebbenden.
De AQI’s betreffende de controlemethodologie zullen vaak al zelfstandig op organisatieniveau worden uitgedrukt. Denk hierbij aan informatie die nu al verplicht in de transparantieverslagen wordt gerapporteerd, of accountantsorganisaties die dit op vrijwillige basis doen, zoals maatregelen van kwaliteitsbeheersing (uitgevoerde OKB’s), training van personeel (scholingsuren) en remuneratieprikkels. AQI’s ten aanzien van de onafhankelijke houding van de accountant zijn ook al deels ingevoerd. Zo moeten accountants al rapporteren of en in welke mate zij non-audit services aan controlecliënten hebben verleend, veelal uitgedrukt als ratio ten opzichte van de controlekosten.
Bij dit vierde AQI-kwaliteitskenmerk gaat het echter om de mate waarin een AQI op opdrachtniveau voldoende inzicht geeft over de deskundigheid en onafhankelijkheid van de accountant in de uitvoering van controlewerkzaamheden. Belanghebbenden zullen op basis van een AQI begrijpelijk moeten kunnen volgen wat die AQI reflecteert van het deskundig en onafhankelijk handelen van een accountant.
De relevantie van dit kenmerk zal vooral hoger scoren als duidelijk is welke ruimte de accountant heeft genomen om meer of andere controlewerkzaamheden uit te voeren dan dat de controlestandaarden als minimum vereisen. De betrouwbaarheid en vergelijkbaarheid van dit kenmerk zullen vooral duidelijk worden uit onderbouwing op basis van onderliggende literatuur waarin duidelijk wordt welke conclusies precies getrokken kunnen worden over het vaktechnisch handelen van een accountant op basis van die AQI.
Het raamwerk van diagnostische eigenschappen zoals in de vorige paragraaf beschreven passen we in deze paragraaf bij wijze van bruikbaarheidstest toe op drie AQI’s op opdrachtniveau die in paragraaf 2.5 reeds zijn genoemd. Passend in de door
We bespreken in de navolgende paragraaf de drie voorbeelden van AQI’s om daarna te komen tot een conclusie over de bruikbaarheid van het raamwerk van diagnostische eigenschappen. Omwille van de helderheid duiden we onze beoordeling van de informatiewaarde op de AQI-kwaliteitskenmerken op een driepuntsschaal: laag/negatief, matig/diffuus en hoog/positief. Van partnerbetrokkenheid als eerste AQI zullen wij een onderbouwing van onze inschatting geven op alle informatiekenmerken per kwaliteitsonderdeel. Bij materialiteit en het verwerken van materiële afwijkingen zullen wij voor onderbouwingen die op onderdelen hetzelfde zijn alleen verwijzen naar de beschrijving daarvan bij partnerbetrokkenheid.
Eén van de veelgenoemde AQI’s heeft betrekking op partnerbetrokkenheid (hierna: partnerratio), vaak gemeten met de ratio: aantal leden van een controleteam gedeeld door het aantal partners (
De relevantie voor beoogde gebruikers als eerste AQI-kwaliteitskenmerk beoordelen we wat betreft de begrijpelijkheid als ‘positief’. De berekening van de AQI is niet complex, het is een relatief eenvoudige kwaliteitsindicator met als strekking ‘hoe lager de partnerratio, hoe meer kwaliteit’. Het volgende punt van beoordeling is of dit relevant is voor het beoogde doel van de belanghebbenden. Gezien de inhoud van deze AQI heeft het nut heeft voor de besluitvorming van de belanghebbenden om te weten wat de partnerratio op opdrachten is, waarmee we dit kenmerk ook positief beoordelen. De betrouwbaarheid van de relevantie voor beoogde gebruikers is diffuus omdat de partnerratio geen onderscheid maakt naar werkzaamheden en daarmee (te) generiek van aard is. Gegeven dat deze AIQ is gebaseerd op geschreven uren, is ook de vraag of zij inhoudelijk weergeeft wat zij bedoelt weer te geven, namelijk inhoudelijke betrokkenheid van de partner. Ook de vergelijkbaarheid van de meting van de partnerratio is diffuus, omdat standaardisatie van de begrippen van accountantsfuncties noodzakelijk is (zowel partners, fee-earners als directors kunnen als tekenend accountant fungeren). Daarbij moet ook in ogenschouw worden genomen dat niet elke accountantsorganisatie een vennootschapsstructuur heeft, er zijn bijvoorbeeld ook stichtingen. Hiermee komt deze AQI in opzet matig tegemoet aan de eisen van belanghebbenden in de beoordeling van controlekwaliteit.
Vervolgens verdient het begrip van werkzaamheden als tweede AQI-kwaliteitskenmerk de aandacht. Accountants dienen te onderzoeken of belanghebbenden het juiste begrip hebben ten aanzien van de informatiewaarde van de partnerratio en welke conclusies op grond daarvan over de controlekwaliteit kunnen worden getrokken. De score op begrijpelijkheid schatten wij in als ‘matig’, omdat wel duidelijk gemaakt kan worden hoe de AQI tot stand is gekomen maar de interpretatie van deze AQI lastig zal blijken en eenvoudig een verkeerde conclusie kan worden getrokken als de context onvoldoende betrokken is in de besluitvorming. Belanghebbenden zullen partnerratio relevant (positief) vinden voor hun besluitvorming indien dat een getrouwer beeld van de jaarrekening geeft. Enerzijds zullen aandeelhouders, banken en crediteuren wellicht meer gericht zijn op een getrouwe verhouding tussen vreemd en eigen vermogen. Juist bij de complexere afwegingen daarin is te verwachten dat ervaring en kunde van een partner het verschil zouden kunnen maken, wat dus tot een lagere partnerratio zou leiden. Anderzijds kunnen belanghebbenden zoals de Belastingdienst en overheid er juist baat bij hebben als meer testwerk is uitgevoerd op naleving van wet- en regelgeving, wat juist tot een hogere partnerratio zou leiden. Waarschijnlijk zal de relevantie van de ratio voor het beoogde kwaliteitsdoel verder kunnen toenemen indien duidelijker wordt waaraan de partner en het team de uren hebben besteed. Uiteindelijk zal het lastig blijken een zinnige normwaarde te bepalen voor deze AQI, echter hoe meer partnerratio een predictor is van kwaliteit, hoe zinvoller het wordt om een norm te bepalen. Op basis van standaardonderzoekstechnieken zijn er verder prima mogelijkheden om relevante vragen over het begrip van werkzaamheden aan belanghebbenden te stellen, met een voldoende betrouwbare meting en voldoende vergelijkbaarheid tussen opdrachten, waarmee we deze twee informatiekenmerken ook positief beoordelen. De uitkomsten van dit onderzoek kunnen in begrijpelijke taal worden gerapporteerd aan de gebruikersgroepen. De mate waarin de AQI partnerratio erin slaagt belanghebbenden van controle een goed begrip te geven van wat de AQI behelst en welke conclusies op grond van de AQI over controlekwaliteit kunnen worden getrokken schatten wij derhalve in als overwegend positief.
Het derde AQI-kwaliteitskenmerk, kwaliteit rapportage van bevindingen, behandelt de mate waarin de AQI in staat is relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle. Daarom is de koppeling van de partnerratio aan de controlekwaliteit belangrijk om te bepalen wat de informatiewaarde van de partnerratio is. Uit onderzoek van
Tot slot is het van belang vast te stellen wat de partnerratio zegt over de vaktechnische kwaliteit van de accountant als vierde AQI-kwaliteitskenmerk. Daarin komt aan de orde de mate waarin de AQI voldoende informatie geeft over de deskundigheid en onafhankelijkheid van de accountant. Allereerst kan de partnerratio sterk beïnvloed worden door de gekozen methodologie. Bijvoorbeeld, ingeval van een hoog geautomatiseerde controlemethodologie zal er meer integraal worden gecontroleerd en minder met steekproeven. Daardoor zal de partnerratio lager worden. Dit zou een indicatie voor hogere kwaliteit kunnen zijn. Tegelijkertijd kan de partnerratio ook dalen als een accountant een extreme-risk based controle uitvoert met de bedoeling het aantal testwerkzaamheden tot het absolute minimum te beperken. Tegelijkertijd kan een professioneel-kritische accountant juist meer laten testen, waardoor de partnerratio juist zal toenemen. Dus, de partnerratio lijkt op dit onderdeel niet behulpzaam te zijn bij het stellen van de diagnose omtrent de kwaliteit van de gekozen controlemethodologie.
Ook de informatiewaarde van wat de partnerratio precies zegt over de professioneel-kritische en onafhankelijke houding van de accountant is diffuus. Zoals eerder opgemerkt, is de verwachting dat een kritische accountant meer testwerkzaamheden laat uitvoeren. Hierdoor neemt de partnerratio toe, want de partner zal redelijkerwijs deze testwerkzaamheden niet zelf uitvoeren. Verder blijkt uit het onderzoek van
Een overzicht van de diagnostische eigenschappen van de partnerratio voor AQI-kwaliteit is gepresenteerd in tabel 3. Samenvattend geldt dat de mate van relevantie afhangt van de gebruikersgroep en dat een relevante normwaarde lastig te bepalen is gegeven het feit dat onduidelijk is bij welke controlewerkzaamheden de partner inhoudelijk betrokken is geweest. Bovendien is de informatiewaarde van de partnerratio over de kwaliteit van de controlebevindingen en de vaktechnische kwaliteit diffuus. Conclusie is daarmee wat ons betreft dat de generieke partnerratio als AQI een lage tot matige diagnostische waarde heeft.
Raamwerk van diagnostische eigenschappen toegepast op drie Audit Quality Indicators: Partnerbetrokkenheid / Materialiteit / Verwerken van materiële afwijkingen.
Kenmerken AQI-kwaliteit | Kenmerken van informatiewaarde Audit Quality Indicator | |||
Begrijpelijkheid van informatie | Relevantie voor beoogd doel | Betrouwbaarheid van vaststellen | Vergelijkbaarheid meting tussen organisaties/opdrachten | |
Relevantie voor beoogde gebruikers | + / + / + | + / − / + | ○ / + / + | ○ / − / + |
Begrip van werkzaamheden | ○ / ○ / + | + / + / + | + / +/ + | + / + / + |
Kwaliteit rapportage van bevindingen | ○ / − / ○ | − / − / − | ○ / ○ / ○ | − / − / − |
Vaktechnische kwaliteit | − / − / ○ | − / − / ○ | ○ / − / ○ | − / − / ○ |
Het onderzoek naar de materialiteitsbepaling (
Als we de relevantie voor de gebruikers van materialiteit als AQI beoordelen op basis van het raamwerk van diagnostische eigenschappen (tabel 2), verwachten we dat materialiteit een begrijpelijk concept is, het materialiteitsbedrag kan worden afgezet tegen reguliere benchmarks als omzet en balanstotaal om het relatief te maken. Het informatiekenmerk relevantie zal voor gebruikersgroepen verschillen. Waar externe gebruikersgroepen meer waarde zullen hechten aan de hoogte van de materialiteit ten opzichte van een benchmark, zullen intern betrokkenen meer waarde toekennen aan de uitvoeringsmaterialiteit, omdat dat meer zegt over de diepgang van de controle. De externe toezichthouder zal op basis van de standaarden meer benieuwd zijn naar de motivatie en professionele oordeelsvorming rondom de hoogte van materialiteitsbedragen dan de bedragen van planningsmaterialiteit en uitvoeringsmaterialiteit als zodanig. Ook zullen de verschillende externe gebruikersgroepen geïnteresseerd zijn in de materialiteitsafwegingen die voor hen relevant zijn. Kredietverschaffers en crediteuren zullen geïnteresseerd zijn in de gehanteerde materialiteit betreffende de schuldratio’s. Aandeelhouders zijn mogelijk meer geïnteresseerd in de resultaatbepaling in relatie tot bepaalde benchmarks. Vaak zullen hier ook de kwalitatieve materialiteitskenmerken van toepassing zijn, oftewel de afweging van wat materieel is voor een gebruiker op inhoud en niet (alleen) gerelateerd aan de hoogte van een bedrag. Omdat een normwaarde voor materialiteit onhaalbaar is vanwege de kwalitatieve afwegingen die daarin gemaakt, beoordelen we diagnostische eigenschappen op relevantie als ‘laag’. De berekening van de materialiteitsbedragen ten opzichte van benchmarks kan betrouwbaar (positief) plaatsvinden, gegeven de bedragen die in de controledossiers en jaarrekeningen worden vermeld. Voor de vergelijkbaarheid zal de berekening van de materialiteit gestandaardiseerd moeten worden ten opzichte van specifieke klanteigenschappen en kwalitatieve afwegingen, wat momenteel niet het geval is en is daarom als ‘laag’ beoordeeld. Hiermee komt deze AQI in opzet matig tegemoet aan de eisen van belanghebbenden in de beoordeling van controlekwaliteit.
Het begrip van werkzaamheden van gebruikers over de materialiteitsbepaling zal naar onze mening eenvoudig te meten zijn. Net als bij de partnerratio zijn er geschikte onderzoeksmethoden beschikbaar om verwachtingen van gebruikers over materialiteit in kaart te brengen. Dit geldt voor zowel de kwantitatieve materialiteit (in bedragen) als de kwalitatieve materialiteit (in overwegingen). De score op begrijpelijkheid schatten wij in als ‘matig’, omdat enerzijds wel duidelijk gemaakt kan worden hoe de AQI rekenkundig tot stand is gekomen maar anderzijds zal de interpretatie van deze AQI lastig blijken, gegeven het hoge vaktechnische gehalte van hoe met de verschillende materialiteitsbegrippen in de controle wordt opgegaan.
De overige informatiekenmerken op dit AQI-kwaliteitskenmerk schatten wij hetzelfde in als bij partnerbetrokkenheid, namelijk positief.
De score op kwaliteit rapportage van de controlebevindingen als derde AQI-kwaliteitskenmerk van materialiteit hangt samen met de mate waarin materialiteit in de praktijk wordt bepaald op basis van risicofactoren binnen een onderneming en invloed heeft op de werkzaamheden van de accountant. Uit onderzoek (
De diagnostiek voor de vaktechnische kwaliteit van de accountant als het gaat over materialiteit, lijkt diffuus. De methodologie van kantoren rondom risico-inschatting lijkt immers van invloed op de materialiteitsbepaling en er worden twee soorten materialiteit gebruikt, gebaseerd op verschillende grondslagen (NVCOS 320). De planningsmaterialiteit wordt bepaald op de economische besluitvorming op basis van de jaarrekening door belanghebbenden, de uitvoeringsmaterialiteit daarentegen is een risico-gebaseerde materialiteit. Deze wordt mede bepaald door de kans op materiële onjuistheden in de jaarrekening. Tot slot is er nog de kwalitatieve materialiteitsoverweging die voor gebruikers erg belangrijk kan zijn, denk bijvoorbeeld aan de situatie waarin er een klein bedrag van afwijking is waardoor bepalingen in een kredietovereenkomst ten onrechte niet worden doorbroken. Ook de informatiewaarde van materialiteit omtrent de professioneel-kritische houding en de onafhankelijkheid van de accountant blijkt lastig te duiden, omdat zowel planningsmaterialiteit als uitvoeringsmaterialiteit worden beïnvloed door cliëntspecifieke factoren en professional judgment op kwalitatieve factoren bevatten. Daarom scoren de informatiekenmerken van begrijpelijkheid, relevantie en vergelijkbaarheid laag, zoals ook bij de partnerbetrokkenheid is onderbouwd. In afwijking van de overwegingen bij partnerbetrokkenheid schatten we bij materialiteit het informatiekenmerk betrouwbaarheid ook laag in, omdat uit de benoemde elementen blijkt dat materialiteit niet getrouw weergeeft wat zij bedoelt weer te geven, zeker omdat de materialiteitswaarde niet in samenhang met cliëntspecifieke factoren kan worden beoordeeld.
Op basis van de lage diagnostische waarde van materialiteit concluderen we dat dit geen voor de hand liggende AQI is om het vertrouwen van de gebruiker in het controleproces te versterken.
Een derde veelgenoemde AQI is de mate waarin gedetecteerde afwijkingen in de jaarrekening, afwijkingen genoemd, worden verwerkt (
In het kader van de onafhankelijkheid kan deze AQI ‘een rechte rug’ signaleren, waarbij volledig corrigeren een hoge onafhankelijkheid suggereert. De samenhang van deze AQI en de kwaliteit van de controlemethodologie is ons inziens hoog als er ook inzicht wordt gegeven in alle gedetecteerde en al dan niet verwerkte afwijkingen. Daarbij kan de vraag worden gesteld of het niet-corrigeren van afwijkingen diagnostisch is voor de mate van vaktechnische kwaliteit, omdat ook praktische redenen aan de zijde van de gecontroleerde ten grondslag kunnen liggen aan het niet doorvoeren van correcties, zoals het niet doorvoeren van vennootschappelijke correcties vanwege een reeds afgesloten groepsconsolidatieproces. Het doorvoeren van correcties blijft daarmee een samenspel van accountant en gecontroleerde. Dit verlaagt de score op begrijpelijkheid van deze AQI ten aanzien van de vaktechniek naar ‘matig’. De relevantie van dit kenmerk beoordelen we ook als ‘matig’, gegeven het feit dat een accountant zich reeds dient te houden aan standaarden rondom correctie van controleverschillen, waarmee het niet-verwerken van materiële afwijkingen indien regelgeving is nageleefd geen wijziging in het beeld van de jaarrekening zal geven en mede ingegeven kan zijn door afwegingen van de gecontroleerde. Concluderend schatten we de mate waarin deze AQI voldoende informatie geeft over de vaktechnische kwaliteit in als ‘matig’.
De overall conclusie van de AQI-kwaliteitskenmerken op het verwerken van materiële afwijkingen is dat deze AQI matig tot positief scoort op diagnostische eigenschappen voor de gerealiseerde controlekwaliteit. De invloed van de gecontroleerde op het al dan niet besluiten tot verwerken van afwijkingen binnen de bandbreedtes van materialiteit is de complicerende factor bij deze AQI in zowel de rapportage van bevindingen als het duiden van de vaktechnische kwaliteit.
We hebben de uitkomsten van de toepassing van het raamwerk van diagnostische eigenschappen op de drie beoordeelde AQI’s gepresenteerd in tabel 3. Uit de tabel blijkt dat de AQI’s overwegend matige scores hebben om als onderscheidend kenmerk van de bepaling van controlekwaliteit te kunnen dienen. Hoewel in eerste instantie alle drie de AQI’s goed hanteerbeer lijken als maatstaf voor controlekwaliteit, blijkt bij het toepassen van het raamwerk een reëel risico op een verkeerde interpretatie te bestaan. Dit risico is groter voor externe gebruikers dan voor interne gebruikers, omdat deze laatsten gemakkelijker het gesprek met de accountant kunnen voeren.
De uitkomsten van informatiewaarde op het AQI-kwaliteitskenmerk relevantie voor beoogde gebruikers zijn matig tot positief, behalve voor materialiteit. Dit wordt vooral verklaard door het niet mee kunnen wegen van cliëntspecifieke factoren die nodig zijn voor de duiding van materialiteitsbepaling. Ook is voor de relevantie een normwaarde nodig, een benchmark, maar die is voor partnerratio en materialiteit niet (eenvoudig) vast te stellen. Om de AQI’s relevant te maken zullen bij voorkeur de AQI’s aangepast moeten worden naar de behoefte van de gebruikersgroepen. Op basis van tabel 3 zien we ook dat het begrip van werkzaamheden bij alle drie de AQI’s goed is vast te stellen, waarbij de begrijpelijkheid van informatie een aandachtspunt is als de AQI een vaktechnisch complexe context heeft. De scores op informatiewaarde van het AQI-kwaliteitskenmerk met betrekking tot de kwaliteit van de rapportage van bevindingen zijn op alle fronten matig tot laag. Dit is problematisch, omdat juist de mate waarin een AQI in staat is om relevante bevindingen van controlekwaliteit te rapporten zo belangrijk is voor de belanghebbenden. Echter, wetenschappelijk onderzoek rapporteert geen sterke samenhang tussen de meetbare indicatoren en de onderliggende controlekwaliteit. Hetzelfde geldt voor de informatiewaarde aangaande de vaktechnische kwaliteit, waarop zowel partnerratio als materialiteit erg laag scoren. De AQI van ongecorrigeerde afwijkingen lijkt hierin een uitzondering te zijn; deze is enigszins diagnostisch voor controlekwaliteit.
Wat in tabel 3 nog ontbreekt is een eindoordeel van de totale diagnostische waarde van de AQI’s. Een dergelijk eindoordeel vereist weging van zowel de scores op de vier kenmerken van AQI-kwaliteit als van de vier kenmerken van informatiewaarde. Verder wetenschappelijk onderzoek is nodig om deze weging in relatie tot het versterken van het vertrouwen van de belanghebbenden in het controleproces vast te stellen, daarop hebben we nu nog onvoldoende zicht. Toch durven we op basis van tabel 3 te stellen dat de genoemde AQI’s lage diagnostische waarde hebben voor het bepalen van de geleverde controlekwaliteit. Voor de praktijk van het opstellen van transparantieverslagen door accountantsorganisaties bevelen wij aan om het raamwerk van diagnostische eigenschappen te gebruiken bij andere AQI’s om in alle aspecten rekening te kunnen houden met de relevantie voor belanghebbenden in het versterken van het vertrouwen in de geleverde controlekwaliteit en waar nodig ook vaktechnische duiding te geven aan de gepresenteerde AQI’s.
In dit onderzoek hebben we een raamwerk van diagnostische eigenschappen voor AQI’s opgesteld om te kunnen bepalen in hoeverre een AQI onderscheidende kenmerken heeft om voor belanghebbenden de onderliggende controlekwaliteit te kunnen bepalen. Bij dit raamwerk hebben we de kwaliteitskenmerken van controlekwaliteit op opdrachtniveau van
Ten eerste is de complicerende factor van AQI’s op opdrachtniveau dat gebruikers in de vaktechnische afweging van accountants worden betrokken. Het accountantsberoep is een vak waar vakkennis en professionele oordeelsvorming centraal staat. De toelatingseisen tot het beroep zijn hoog. Voor niet-accountants is dit een onbekende en complexe materie en het is de vraag of zij de AQI’s kunnen plaatsen en op juiste waarde kunnen schatten. Tegelijkertijd blijkt uit wetenschappelijk onderzoek de complexe en op z’n best beperkte samenhang tussen de kwaliteit en de drie AQI’s. Dit leidt tot de vraag of input-factoren en procesgerichte AQI’s in opzet geschikt zijn als AQI’s. Wellicht hebben output-gerichte AQI’s nog de beste papieren om relevant te zijn voor de gebruikers. Hierbij willen we opmerken dat in de transparantieverslagen vaak al informatie is gegeven over output-gerichte AQI’s, echter deze informatie is vaak gepresenteerd op organisatieniveau, niet op opdrachtniveau.
Ten tweede is een belangrijk uitgangspunt bij AQI’s op opdrachtniveau dat controlestandaarden altijd worden nageleefd. Een AQI die aangeeft dat standaarden niet zijn nageleefd, zou, gegeven een toereikend kwaliteitssysteem bij accountantsorganisaties, niet voor mogen komen. Dat zorgt ervoor dat relevante AQI’s alleen gevonden kunnen worden op die gebieden waar de controlestandaarden niet duidelijk in zijn, dus waar ruimte is voor oordeelsvorming, of waar een minimumpositie is gedefinieerd en de accountant ruimte wordt geboden om een stap verder te kunnen zetten. Dit uitgangspunt zorgt ervoor dat duiding van wat een AQI suggereert over de controlekwaliteit diffuus is, omdat controlestandaarden daarin ruimte laten voor professionele oordeelsvorming afhankelijk van de situatie. Dit versterkt daarmee het effect van de eerdergenoemde complicerende factor van AQI’s op opdrachtniveau. De vraag is daarbij ook of een AQI (zoals partnerbetrokkenheid of materialiteit) eigenlijk niet meer zegt over specifieke factoren van de gecontroleerde dan over het gedrag van de accountant. Ook kan (zoals bij het niet-corrigeren van afwijkingen) zelfs sprake zijn van een gezamenlijk proces tussen accountant en gecontroleerde, waarbij wellicht meer de financial reporting quality wordt gemeten dan de audit quality. Bij AQI’s zal de kwaliteit van rapportage van bevindingen en vaktechnische kwaliteit veelal geschat moeten worden middels wetenschappelijk onderzoek, gebruikmakend van statistische technieken waarin ook cliëntspecifieke factoren worden meegenomen. Hiervoor geldt dat hoe lager de geconstateerde samenhang, hoe lager de informatiewaarde (en relevantie) is van de AQI. Tegelijkertijd zegt een statistische samenhang niet per definitie iets over een individuele controleopdracht.
Ten derde is voor de relevantie van een AQI een zinnige normstelling nodig. Waar vanuit de controlestandaarden een minimumpositie wordt aangegeven, is de vraag wat vanuit de praktijk een haalbare norm zal zijn voor AQI’s. Er is veel onderzoek nodig om tot een relevante norm te komen, waarbij ook die norm in zichzelf betrouwbaar, vergelijkbaar en begrijpelijk zal moeten zijn. Het risico op onjuiste conclusies als gevolg van een onjuiste of niet relevante norm is niet denkbeeldig. Voor vergelijking van AQI’s ten opzichte van een benchmark is standaardisatie en normalisatie een vereiste, waarbij rekening gehouden dient te worden met cliëntspecifieke omstandigheden. Wellicht is het controleren voor de cliëntspecifieke omstandigheden wel één van de moeilijkst oplosbare problemen met de vergelijkbaarheid van AQI’s over verschillende opdrachten en accountantsorganisaties heen.
Zijn daarmee AQI’s in opzet niet haalbaar of is er ook potentie om AQI’s verder te laten groeien, zodat zij wel goede diagnostische eigenschappen zullen hebben? Allereerst lijkt een onderkenning van de behoeften van de verschillende gebruikersgroepen nodig om te komen tot relevante doelstellingen en normstellingen. Het lijkt ons dat een start met rapportage aan alleen de interne en externe toezichthouder als gebruikers voor de hand kan liggen, gegeven dat zij het beste in staat zullen zijn om de kwaliteit van rapportage van bevindingen te duiden en verder onderzoek te doen naar de relevante samenhang met vaktechnische kwaliteit. Zij zouden wellicht gezamenlijk met onderzoekers in staat moeten zijn om te komen tot de juiste AQI’s om met rapportage daarvan het vertrouwen van de beoogde gebruikers in de uitkomst van de controle zo veel mogelijk te versterken. Gegeven de beperkte diagnostische eigenschappen van de drie in dit artikel behandelde AQI’s, zal dit een langdurig en ingewikkeld proces zijn. Daarom willen we ook wijzen op een andere mogelijkheid, die sneller te implementeren is en goede kansen biedt het vertrouwen in de accountant te versterken. In plaats van AQI’s kan het beroep ook inzetten op meer overleg met de directe belanghebbenden van de controle; ga het gesprek aan met hen en maak de controle meer specifiek op hun behoeften, wellicht ook met gebruikmaking van moderne communicatiemiddelen. Wij veronderstellen dat indien de belanghebbenden zich gehoord voelen en zij constateren dat accountants zich richten op hun behoeften, dit het vertrouwen in het werk van de accountant zal versterken.
Dit onderzoek richt zich op het bepalen van de diagnostische eigenschappen van AQI’s op opdrachtniveau. Wat betreft AQI’s gemeten op vestigings- en organisatieniveau die niet direct gekoppeld zijn aan opdrachten (kwaliteitsbeheersing, training van personeel e.d.), kunnen wij ons voorstellen dat dit raamwerk ook toepasbaar is, wat vervolgonderzoek zal moeten uitwijzen. Het raamwerk van diagnostische eigenschappen is in dit artikel toegepast op enkele voor de hand liggende AQI’s. De analyse en evaluatie van de AQI’s is gemaakt op basis van verschillende beschikbare artikelen die gebaseerd zijn op eenzelfde dataset die verzameld is in de Nederlandse situatie in het MKB. Een beperking van deze dataset is dat er niet specifiek aan belanghebbenden gevraagd is naar relevantie en verwachtingen ten aanzien van AQI’s. Onderzoek dat specifiek gericht is op relevantie en verwachtingen over AQI’s kan tot meer inzicht vanuit het gebruikersperspectief leiden. We hebben echter met behulp van voorgaande literatuur, zo goed mogelijk proberen aan te sluiten wat bekend is over het gebruikersperspectief.
Al met al is de aandacht voor meer vertrouwen in de controle een stap in de goede richting. Of AQI’s daarvoor het geschikte middel zijn moet nog blijken. Echter, indien de uitkomst betekent dat gebruikersgroepen veel meer betrokken zullen worden bij de controle, dan kan het beroep alleen maar voordeel hebben van deze zoektocht.
Prof. dr. J.P. van Buuren RA is hoogleraar Auditing & Assurance aan Nyenrode Business Universiteit.
Drs. W.G. Snoei RA is promovendus aan Nyenrode Business Universiteit op het gebied van Auditing en tevens director bij Visser & Visser Audit en Assurance.
Wettelijke verbeterdoelen accountants goed voor de samenleving, (18 maart 2020). De Accountant. https://www.accountant.nl/discussie/opinie/2020/3/wettelijke-verbeterdoelen-accountants-goed-voor-de-samenleving/