<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//TaxonX//DTD Taxonomic Treatment Publishing DTD v0 20100105//EN" "../../nlm/tax-treatment-NS0.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:tp="http://www.plazi.org/taxpub" article-type="research-article" dtd-version="3.0" xml:lang="en">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">69</journal-id>
      <journal-id journal-id-type="index">urn:lsid:arphahub.com:pub:8D21F818-6EEF-540F-91C7-D50E3E5A13E0</journal-id>
      <journal-title-group>
        <journal-title xml:lang="en">Maandblad Voor Accountancy en Bedrijfseconomie</journal-title>
        <abbrev-journal-title xml:lang="en">MAB</abbrev-journal-title>
      </journal-title-group>
      <issn pub-type="ppub">0924-6304</issn>
      <issn pub-type="epub">2543-1684</issn>
      <publisher>
        <publisher-name>Amsterdam University Press</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.5117/mab.95.62240</article-id>
      <article-id pub-id-type="publisher-id">62240</article-id>
      <article-categories>
        <subj-group subj-group-type="heading">
          <subject>Research Article</subject>
        </subj-group>
        <subj-group subj-group-type="scientific_subject">
          <subject>Accountantscontrole (Auditing)</subject>
        </subj-group>
      </article-categories>
      <title-group>
        <article-title>Over de diagnostische eigenschappen van Audit Quality Indicators</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author" xlink:type="simple" corresp="no">
          <name name-style="western">
            <surname>van Buuren</surname>
            <given-names>Joost</given-names>
          </name>
          <uri content-type="orcid">https://orcid.org/0000-0001-5887-3494</uri>
        </contrib>
        <contrib contrib-type="author" xlink:type="simple" corresp="yes">
          <name name-style="western">
            <surname>Snoei</surname>
            <given-names>Wilbert</given-names>
          </name>
          <email xlink:type="simple">w.snoei@nyenrode.nl</email>
          <uri content-type="orcid">https://orcid.org/0000-0003-2456-3089</uri>
        </contrib>
      </contrib-group>
      <aff id="A1">
        <label>1</label>
        <addr-line content-type="verbatim">Nyenrode Business Universiteit, Breukelen, Netherlands</addr-line>
        <institution>Nyenrode Business Universiteit</institution>
        <addr-line content-type="city">Breukelen</addr-line>
        <country>Netherlands</country>
      </aff>
      <author-notes>
        <fn fn-type="corresp">
          <p>Corresponding author: Wilbert Snoei (<email xlink:type="simple">w.snoei@nyenrode.nl</email>).</p>
        </fn>
        <fn fn-type="edited-by">
          <p>Academic editor: Anna Gold</p>
        </fn>
      </author-notes>
      <pub-date pub-type="collection">
        <year>2021</year>
      </pub-date>
      <pub-date pub-type="epub">
        <day>10</day>
        <month>03</month>
        <year>2021</year>
      </pub-date>
      <volume>95</volume>
      <issue>1/2</issue>
      <fpage>33</fpage>
      <lpage>45</lpage>
      <uri content-type="arpha" xlink:href="http://openbiodiv.net/B9A66280-11EC-5450-BD03-772F42FE193B">B9A66280-11EC-5450-BD03-772F42FE193B</uri>
      <history>
        <date date-type="received">
          <day>18</day>
          <month>12</month>
          <year>2020</year>
        </date>
        <date date-type="accepted">
          <day>09</day>
          <month>02</month>
          <year>2021</year>
        </date>
      </history>
      <permissions>
        <copyright-statement>Joost van Buuren, Wilbert Snoei</copyright-statement>
        <license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by-nc-nd/4.0/" xlink:type="simple">
          <license-p>This is an open access article distributed under the terms of the Creative Commons Attribution License (CC BY-NC-ND 4.0), which permits to copy and distribute the article for non-commercial purposes, provided that the article is not altered or modified and the original author and source are credited.</license-p>
        </license>
      </permissions>
      <abstract>
        <label>Samenvatting</label>
        <p>In dit artikel wordt een raamwerk ontwikkeld voor de beoordeling van Audit Quality Indicators (<abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ENC">AQI’s</abbrev>) op opdrachtniveau. Dit raamwerk beschrijft de diagnostische eigenschappen van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ERC">AQI’s</abbrev> bestaande uit vier kenmerken van <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EVC">AQI</abbrev>-kwaliteit in combinatie met vier kwaliteitskenmerken van informatie. Als we dit raamwerk op bruikbaarheid toetsen door het toe te passen op enkele in de praktijk bekende <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZC">AQI’s</abbrev> blijkt de informatiewaarde van sommige <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E4C">AQI</abbrev>-kwaliteitskenmerken te beperkt te zijn om een goed beeld te geven van controlekwaliteit. De mate van vertrouwen van de beoogde gebruikers in de controlekwaliteit wordt hierdoor niet extra versterkt en mogelijk zelfs geschaad.</p>
      </abstract>
      <kwd-group>
        <label>Trefwoorden</label>
        <kwd>Audit Quality Indicator</kwd>
        <kwd>AQI</kwd>
        <kwd>diagnostisch raamwerk</kwd>
        <kwd>audit quality</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec sec-type="Relevantie voor de praktijk" id="SECID0EFD">
      <title>Relevantie voor de praktijk</title>
      <p>Accountantsorganisaties maken op verplichte of vrijwillige basis een transparantieverslag met daarin vaak ook Audit Quality Indicators opgenomen. Met dit artikel proberen we ook een handreiking te doen in het beoordelen welke inhoud en communicatie van Audit Quality Indicators van belang is om het vertrouwen in de controle voor belanghebbenden te versterken.</p>
    </sec>
    <sec sec-type="1. Audit Quality Indicators als zoektocht naar relevante informatie" id="SECID0EKD">
      <title>1. Audit Quality Indicators als zoektocht naar relevante informatie</title>
      <p>Het functioneren van accountants staat al jaren ter discussie. Niet alleen in Nederland hebben meerdere commissies zich hierover gebogen (<xref ref-type="bibr" rid="B15">NBA 2014</xref>; <xref ref-type="bibr" rid="B12">MCA 2016</xref>, <xref ref-type="bibr" rid="B13">2020</xref>; <xref ref-type="bibr" rid="B4">CTA 2020</xref>), maar ook internationaal (<xref ref-type="bibr" rid="B7">FRC 2020</xref>; <xref ref-type="bibr" rid="B20">PCAOB 2015</xref>). Oorzaak van deze discussie is enerzijds de verwachtingskloof tussen wat de maatschappij verwacht van de accountant en wat de accountant in werkelijkheid kan en moet leveren (<xref ref-type="bibr" rid="B10">Litjens et al. 2015</xref>; <xref ref-type="bibr" rid="B4">CTA 2020</xref>). Anderzijds levert de accountant onvoldoende kwaliteit en voldoet een significant deel van de wettelijke controles nog steeds niet aan geldende standaarden (<xref ref-type="bibr" rid="B4">CTA 2020</xref>). Rapporten van de toezichthouder zijn aanhoudend kritisch in het afgelopen decennium (<xref ref-type="bibr" rid="B1">AFM 2017</xref>). Daarom is de roep om meer inzicht in de geleverde controlekwaliteit begrijpelijk. Het definiëren van het begrip controlekwaliteit blijft echter diffuus. Er zijn meerdere raamwerken van controlekwaliteit ontwikkeld, maar het beroep is nog niet gekomen tot een concrete definiëring van het begrip ‘controlekwaliteit’ (<xref ref-type="bibr" rid="B9">Knechel et al. 2013</xref>). Dat maakt het lastig om gerichte maatstaven voor controlekwaliteit, de zogenaamde <italic>Audit Quality Indicators</italic> (<abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E5E">AQI’s</abbrev>), te ontwikkelen en de samenhang tussen deze <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ECF">AQI’s</abbrev> te begrijpen om tot een oordeel over de geleverde controlekwaliteit te komen. Desalniettemin wordt veel verwacht van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EGF">AQI’s</abbrev> en is het ontwikkelen van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EKF">AQI’s</abbrev> één van de belangrijkste aanbevelingen van de <xref ref-type="bibr" rid="B4">CTA (2020)</xref>. De vraag is echter in welke mate deze kwaliteitsindicatoren informatief zijn voor de belanghebbenden van de controle, hoe die diagnose objectief is te stellen en hoe dat in de praktijk uitwerkt bij het beoordelen van de informatiewaarde van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ESF">AQI’s</abbrev>.</p>
      <p>Eén van de (impliciete) premissen bij <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EYF">AQI’s</abbrev> betreft dat er een continuüm van controlekwaliteit is, waarbij het voldoen aan de standaarden als ‘minimumniveau’ kan worden beschouwd. Gevolg van deze premisse is dat er altijd ruimte is voor verbetering. Dit past bij de definitie van controlekwaliteit die wij als uitgangspunt hebben genomen in dit artikel. Door te gaan werken met <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E3F">AQI’s</abbrev> wordt deze ruimte voor verbetering zichtbaar. Om relevant te zijn, zal een norm gesteld moeten worden wanneer een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EAG">AQI</abbrev>-waarde wordt beschouwd als een signaal van ‘voldoende controlekwaliteit’. Want indien er geen normen worden gesteld, is de duiding van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EEG">AQI</abbrev> ongewis. Daarbij wordt opgemerkt dat in de vergelijking van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EIG">AQI</abbrev> ten opzichte van andere opdrachten en accountantsorganisaties in beginsel ook een informatiewaarde is begrepen, namelijk het hoger of lager scoren op een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EMG">AQI</abbrev> ten opzichte van anderen of ten opzichte van het gemiddelde. De duiding of de score van de gehele populatie voldoet aan een bepaalde norm ontbreekt dan echter nog.</p>
      <p>Door de normstelling kan ook de ruimte tot verbetering worden beschreven; de stip aan de horizon van wat er nog meer mogelijk is met accountantscontrole. Enerzijds zal dit tot gevolg hebben dat geïnventariseerd moet worden welke behoeften er zijn bij belanghebbenden. Anderzijds zal de accountant moeten bepalen of en hoe aan deze behoeften tegemoet kan worden gekomen. Hoe beter de accountant anticipeert op deze behoeften, hoe groter de relevantie van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ESG">AQI</abbrev> voor belanghebbenden zal zijn. Een dergelijke ontwikkeling verhoogt de relevantie en kan daardoor het herstel in het vertrouwen in de controle bespoedigen. Daarbij is van belang dat er een eenduidig raamwerk beschikbaar komt voor de beoordeling van de kwaliteit en informatiewaarde van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EWG">AQI’s</abbrev>. Vanuit dat raamwerk moet duidelijk worden in hoeverre de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E1G">AQI’s</abbrev> onderscheidend (diagnostisch) zijn voor de geleverde controlekwaliteit vanuit het perspectief van de belanghebbenden.</p>
      <p>In paragraaf 2 van dit artikel komen wij tot het ontwerp van een raamwerk van diagnostische eigenschappen voor Audit Quality Indicators. In dit raamwerk wordt dus duidelijk welke eigenschappen van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EAH">AQI’s</abbrev> een onderscheid kunnen maken als signaalwaarde voor lagere of hogere gerealiseerde controlekwaliteit. Dit ontwerp komt voort uit de combinatie van een bestaande definitie van kenmerken van controlekwaliteit op opdrachtniveau en kwaliteitskenmerken van informatie. Daarmee richten we ons op <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EEH">AQI’s</abbrev> die direct meetbaar zijn op opdrachtniveau, omdat we ook uitgaan van de definitie van controlekwaliteit op opdrachtniveau en we ons in dit artikel niet richten op het proces van kwaliteitsbeheersing of cultuur op accountantsorganisatieniveau.</p>
      <p>In paragraaf 3 passen we dit raamwerk bij wijze van bruikbaarheidstest toe op enkele <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EKH">AQI’s</abbrev> om de diagnostische eigenschappen van die <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EOH">AQI’s</abbrev> te bepalen. We maken daarbij gebruik van enkele veelgenoemde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ESH">AQI’s</abbrev> die zijn geanalyseerd met behulp van een omvangrijke en gezamenlijke dataset met betrekking tot uitgevoerde controleopdrachten, namelijk partnerbetrokkenheid, materialiteit en het niet-corrigeren (<italic>waiven</italic>) van controleverschillen. In paragraaf 4 komen we tot een conclusie en discussie van uitkomsten, waarna we in paragraaf 5 nog enkele beperkingen benoemen.</p>
    </sec>
    <sec sec-type="2. Ontwerp van raamwerk van diagnostische eigenschappen voor AQI’s" id="SECID0EYH">
      <title>2. Ontwerp van raamwerk van diagnostische eigenschappen voor <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E4H">AQI’s</abbrev></title>
      <p>In deze paragraaf beschrijven we de beoogde kwaliteitskenmerken van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EDAAC">AQI’s</abbrev> (2.1) en de beoordeling daarvan op informatiewaarde (2.2) om daarmee te komen tot een raamwerk van diagnostische eigenschappen voor <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EHAAC">AQI’s</abbrev> in tabel 2. In de paragrafen 2.3–2.6 worden de vier <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ELAAC">AQI</abbrev>-kwaliteitskenmerken besproken in samenhang met de informatiewaarde van die kenmerken.</p>
      <sec sec-type="2.1 Relatie tussen auditkwaliteit en AQI’s" id="SECID0EPAAC">
        <title>2.1 Relatie tussen auditkwaliteit en <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EUAAC">AQI’s</abbrev></title>
        <p>De bedoeling van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZAAC">AQI’s</abbrev> is om belanghebbenden van de controle meer inzicht te geven in de geleverde controlekwaliteit. Meer inzicht in de controlekwaliteit is cruciaal voor de waarde van de controle (CTA, par. 28). Tot op heden bestaat er weinig consensus omtrent een eenduidige definiëring van controlekwaliteit (<xref ref-type="bibr" rid="B9">Knechel et al. 2013</xref>). In Nederland is op aandringen van de Monitoring Commissie Accountancy (<xref ref-type="bibr" rid="B12">MCA 2016</xref>), een whitepaper opgesteld door de <xref ref-type="bibr" rid="B17">NBA (2018)</xref> die (kort samengevat) het naleven van de standaarden tot doel verheft als het middel om tot controlekwaliteit te komen. Controlekwaliteit zou volgens deze whitepaper vooral het houden aan de controlestandaarden betreffen, omdat standaarden de beroepsopvatting van controlekwaliteit reflecteren.<sup><xref ref-type="fn" rid="en1">1</xref></sup> De controlestandaarden leggen echter de lat voor het tegemoetkomen aan verwachtingen van verschillende groepen belanghebbenden in de controle niet hoog, omdat het aangaan van de dialoog met de gebruikers daarin niet wordt afgedwongen (<xref ref-type="bibr" rid="B23">Van Buuren 2015</xref>). Gevolg is dat de standaarden accountants niet aanmoedigen tegemoet te komen aan de (veranderende) eisen van belanghebbenden van de controle, waardoor onbegrip kan ontstaan over de afnemende relevantie van de controle. <xref ref-type="bibr" rid="B23">Van Buuren (2015</xref>, p. 70) neemt de relevantie van de controle voor de gebruikers als “ijkpunt voor de ultieme kwaliteit die nagestreefd moet worden in de controle. De overige drie kwaliteitskenmerken, [….], dienen ter ondersteuning om het ultieme doel te bereiken. Deze ultieme kwaliteit is een sociale conventie en kan van tijd tot tijd wijzigen, daarop moet de accountant alert zijn.”</p>
        <p><xref ref-type="bibr" rid="B23">Van Buuren (2015</xref>, p. 70) stelt verder dat concrete definiëring van controlekwaliteit belangrijk is omdat het een duidelijk vaktechnisch streefdoel geeft en de verwachtingen van gebruikers stuurt. Om de relevantie van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZBAC">AQI’s</abbrev> op opdrachtniveau te bepalen, hanteren we als uitgangspunt de volgende definitie van controlekwaliteit:</p>
        <p>“De <bold>kwaliteit</bold> van een assurance-opdracht is de <bold>mate</bold> waarin voldoende en geschikte assurance-informatie is verkregen om een conclusie tot uitdrukking te brengen om de <bold>mate</bold> van vertrouwen van de beoogde gebruikers, niet zijnde de verantwoordelijke partij, in de uitkomst van de meting of evaluatie van het onderzoeksobject ten opzichte van criteria <bold>zo veel mogelijk</bold> te versterken.”</p>
        <p>Deze definitie is gebaseerd op art. 10 van het Stramien voor Assurance-opdrachten (2020), met toevoeging van de vetgedrukte woorden. De vetgedrukte woorden creëren een continuüm van lage tot hoge controlekwaliteit (Van Buuren 2020). Een continuüm impliceert dat er geen sprake is van een ‘goede’ versus ‘slechte’ controlekwaliteit, maar dat een accountant altijd kan streven naar een hoger niveau van controlekwaliteit (<xref ref-type="bibr" rid="B6">Francis 2011</xref>). In dit artikel nemen we als uitgangspunt voor de bepaling van de diagnostische eigenschappen van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ENCAC">AQI’s</abbrev> de voornoemde definitie van controlekwaliteit op opdrachtniveau met de vier kenmerken van controlekwaliteit (<xref ref-type="bibr" rid="B23">Van Buuren 2015</xref>). In tabel 1 is schematisch weergegeven wat de definities van <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EVCAC">AQI</abbrev>-kwaliteit zijn, welke zijn afgeleid uit de genoemde kenmerken van controlekwaliteit. Aangezien <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZCAC">AQI’s</abbrev> zijn bedoeld om de mate van controlekwaliteit te diagnosticeren, betekent een hogere <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E4CAC">AQI</abbrev>-kwaliteit dat belanghebbenden van de controle een beter inzicht krijgen in de geleverde controlekwaliteit. In de volgende paragraaf werken we uit hoe we tot een onderbouwde beoordeling komen van de informatiewaarde per kenmerk van <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EBDAC">AQI</abbrev>-kwaliteit.</p>
        <table-wrap id="T1" position="float" orientation="portrait">
          <label>Tabel 1.</label>
          <caption>
            <p><abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EODAC">AQI</abbrev>-kwaliteit als afgeleide van controlekwaliteit.</p>
          </caption>
          <table id="TID0ETOAE" rules="all">
            <tbody>
              <tr>
                <th rowspan="1" colspan="1"/>
                <th rowspan="1" colspan="1">Controlekwaliteit</th>
                <th rowspan="1" colspan="1"><abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EBEAC">AQI</abbrev>-kwaliteit</th>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">
                  <bold>
                    <italic>Relevantie voor beoogde gebruikers</italic>
                  </bold>
                </td>
                <td rowspan="1" colspan="1">De mate waarin de accountant tegemoet komt aan de eisen van de jaarrekeninggebruiker</td>
                <td rowspan="1" colspan="1">De mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EWEAC">AQI</abbrev> tegemoet komt aan de eisen van de belanghebbenden in beoordeling van controlekwaliteit</td>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">
                  <bold>
                    <italic>Begrip van werkzaamheden</italic>
                  </bold>
                </td>
                <td rowspan="1" colspan="1">De mate waarin de accountant erin slaagt jaarrekeninggebruikers een goed begrip te geven van wat de accountant doet en welke conclusies op grond van de controle kunnen worden getrokken</td>
                <td rowspan="1" colspan="1">De mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ELFAC">AQI</abbrev> erin slaagt belanghebbenden van controle een goed begrip te geven van wat de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EPFAC">AQI</abbrev> behelst en welke conclusies op grond van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ETFAC">AQI</abbrev> over controlekwaliteit kunnen worden getrokken</td>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">
                  <bold>
                    <italic>Kwaliteit rapportage van bevindingen</italic>
                  </bold>
                </td>
                <td rowspan="1" colspan="1">De mate waarin de accountant in staat is relevante controlebevindingen te rapporteren voor de jaarrekeninggebruiker</td>
                <td rowspan="1" colspan="1">De mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EIGAC">AQI</abbrev> in staat is relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle</td>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">
                  <bold>
                    <italic>Vaktechnische kwaliteit</italic>
                  </bold>
                </td>
                <td rowspan="1" colspan="1">De mate waarin de accountant voldoende vaktechnische competentie heeft om materiële onjuistheden te ontdekken in de te controleren verantwoordingen en die te rapporteren</td>
                <td rowspan="1" colspan="1">De mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E4GAC">AQI</abbrev> voldoende informatie geeft over de deskundigheid en onafhankelijkheid van de accountant</td>
              </tr>
            </tbody>
          </table>
        </table-wrap>
      </sec>
      <sec sec-type="2.2 Beoordeling van informatiewaarde van AQI’s" id="SECID0EBHAC">
        <title>2.2 Beoordeling van informatiewaarde van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EGHAC">AQI’s</abbrev></title>
        <p>Informatie is nuttig als op basis daarvan een beslissing kan worden genomen. Het Stramien (<xref ref-type="bibr" rid="B21">RJ 2020</xref>) reikt voor de beoordeling van het nut van informatie (de informatiewaarde) voor gebruikers van jaarrekeningen vier kwalitatieve kenmerken aan, te weten: begrijpelijkheid, relevantie, betrouwbaarheid en vergelijkbaarheid. In dit onderzoek passen wij deze kwalitatieve kenmerken toe om te beoordelen wat de informatiewaarde is van elk van de kenmerken van <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EPHAC">AQI</abbrev>-kwaliteit. Wij achten het toepassen van deze kenmerken van informatiewaarde passend in deze setting, omdat de gedefinieerde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ETHAC">AQI</abbrev>-kwaliteit in ons onderzoek voortvloeit uit de kwaliteit van een jaarrekeningcontrole op opdrachtniveau. Belanghebbenden van controle zijn gebaat bij een herkenbare duiding van informatiewaarde van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EXHAC">AQI’s</abbrev>, zoals die ook passend wordt geacht in de controle van jaarrekeningen zelf.</p>
        <p>In overeenstemming met de kwalitatieve kenmerken van informatie vanuit het Stramien hanteren we de volgende definities van de informatiekenmerken:</p>
        <list list-type="bullet">
          <list-item>
            <p>begrijpelijkheid: de mate waarin de totstandkoming en inhoud van de AQI juist begrepen wordt;</p>
          </list-item>
          <list-item>
            <p>relevantie: de mate waarin de AQI nut heeft voor de besluitvorming van de belanghebbenden op basis van de AQI;</p>
          </list-item>
          <list-item>
            <p>betrouwbaarheid: de mate waarin de AQI vrij is van wezenlijke onjuistheden en vooroordelen en getrouw weergeeft wat zij bedoelt weer te geven;</p>
          </list-item>
          <list-item>
            <p>vergelijkbaarheid: de mate waarin de AQI goed vergelijkbaar is in zowel tijd als tussen controleopdrachten en accountantsorganisaties, waarbij vaststelling op bestendige wijze geschiedt.</p>
          </list-item>
        </list>
        <p>Met het juist beoordelen van de onderdelen van <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EEIAC">AQI</abbrev>-kwaliteit op deze informatiekenmerken wordt voorkomen dat <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EIIAC">AQI’s</abbrev> een onterecht signaal van geleverde controlekwaliteit geven (<italic>false positive</italic>) of juist een onterecht signaal van onvoldoende controlekwaliteit (<italic>false negative</italic>). Het voorgestelde raamwerk van diagnostische eigenschappen voor <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EQIAC">AQI’s</abbrev> is weergegeven in tabel 2.</p>
        <table-wrap id="T2" position="float" orientation="portrait">
          <label>Tabel 2.</label>
          <caption>
            <p>Raamwerk van diagnostische eigenschappen voor Audit Quality Indicators.</p>
          </caption>
          <table id="TID0EGSAE" rules="all">
            <tbody>
              <tr>
                <th rowspan="2" colspan="1">Kenmerken <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EFJAC">AQI</abbrev>-kwaliteit</th>
                <th rowspan="1" colspan="4">Kenmerken van informatiewaarde Audit Quality Indicator</th>
              </tr>
              <tr>
                <th rowspan="1" colspan="1">Begrijpelijkheid van informatie</th>
                <th rowspan="1" colspan="1">Relevantie voor beoogd doel</th>
                <th rowspan="1" colspan="1">Betrouwbaarheid van vaststellen</th>
                <th rowspan="1" colspan="1">Vergelijkbaarheid meting tussen organisaties/opdrachten</th>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">Relevantie voor beoogde gebruikers</td>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">Begrip van werkzaamheden</td>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">Kwaliteit rapportage van bevindingen</td>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
              </tr>
              <tr>
                <td rowspan="1" colspan="1">Vaktechnische kwaliteit</td>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
                <td rowspan="1" colspan="1"/>
              </tr>
            </tbody>
          </table>
        </table-wrap>
        <p>Om te bepalen hoe goed een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E2LAC">AQI</abbrev> is in het onderscheid maken tussen de verschillende niveaus van geleverde controlekwaliteit (oftewel om te bepalen hoe goed de diagnostische kwaliteit van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E6LAC">AQI</abbrev> is), dient elk van de onderdelen in tabel 2 te worden gewogen. In de navolgende paragrafen worden de vier kwaliteitskenmerken van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EDMAC">AQI’s</abbrev> uit tabel 2 in samenhang met de informatiewaarde per kenmerk besproken.</p>
      </sec>
      <sec sec-type="2.3 Relevantie voor beoogde gebruikers" id="SECID0EHMAC">
        <title>2.3 Relevantie voor beoogde gebruikers</title>
        <p>Om de diagnostische eigenschappen te kunnen vaststellen voor de relevantie voor beoogde gebruikers als eerste <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ENMAC">AQI</abbrev>-kwaliteitskenmerk is primair nodig te bepalen wie de beoogde gebruikers zijn van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ERMAC">AQI’s</abbrev> en welke <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EVMAC">AQI’s</abbrev> relevant voor hen zijn. Allerlei <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZMAC">AQI’s</abbrev> zijn al gesuggereerd (<xref ref-type="bibr" rid="B9">Knechel et al. 2013</xref>; <xref ref-type="bibr" rid="B20">PCAOB 2015</xref>), echter hangt de juiste keuze af van welke <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EFNAC">AQI’s</abbrev> relevant zijn voor welke gebruikersgroep.</p>
        <p>De belanghebbenden van de controle betreffen zowel interne belanghebbenden, zoals <italic>governance</italic>-organen binnen accountantsorganisaties, en externe belanghebbenden, zoals jaarrekeninggebruikers en toezichthouders. Elke gebruikersgroep zal een eigen belang en behoefte hebben bij de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ENNAC">AQI’s</abbrev>. Ook de mogelijkheden om de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ERNAC">AQI’s</abbrev> te beïnvloeden zal verschillen. Interne gebruikers hebben specifieke verantwoordelijkheden, taken en bevoegdheden en vanuit dien hoofde kunnen ze eisen stellen aan een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EVNAC">AQI</abbrev>. Bij deze eisen kan gedacht worden aan de methodiek van de berekening van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EZNAC">AQI</abbrev>, het laten ontwikkelen van aanvullende context-specifieke <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E4NAC">AQI’s</abbrev> en het vaststellen van normen met aanvaardbare waardes voor een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EBOAC">AQI</abbrev>. Ze kunnen daarover het gesprek voeren met de accountant en dan met name bespreken of de norm is behaald en wat de accountant gaat doen om de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EFOAC">AQI</abbrev>-waarde zo nodig te verbeteren. Het belang van interne gebruikers zal vooral op het vlak van het behalen van ‘norm <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EJOAC">AQI</abbrev>-waarden’ liggen, mede vanwege het goed uitvoeren van hun eigen functie en mogelijke persoonlijke aansprakelijkheid in geval van <italic>audit failures</italic>. De juridische implicaties zijn van niet te onderschatten betekenis in geval van normstelling bij <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EPOAC">AQI’s</abbrev>. Daarom zal bij het toepassen van normwaarden aan <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ETOAC">AQI’s</abbrev> ook het kwalitatieve kenmerk <italic>betrouwbaarheid</italic> in belang toenemen.</p>
        <p>Externe belanghebbenden hebben daarentegen veel minder mogelijkheden om de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E2OAC">AQI’s</abbrev> naar hun hand te zetten. Aandeelhouders van accountantsorganisaties zouden nog de mogelijkheid hebben om <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E6OAC">AQI’s</abbrev> vast te kunnen stellen in de Algemene Vergadering van Aandeelhouders. De overheid of overheidsorganen, zoals de Belastingdienst, zouden <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EDPAC">AQI’s</abbrev> kunnen afdwingen middels een ministeriële regeling of wet. Andere gebruikersgroepen, zoals crediteuren en potentiële investeerders zullen echter afhankelijk zijn van de welwillendheid van aandeelhouders, de accountant en/of het gecontroleerde bedrijf om <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EHPAC">AQI’s</abbrev> te rapporteren.</p>
        <p>Naast de mogelijkheden om <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ENPAC">AQI’s</abbrev> te beïnvloeden, is er ook een verschil in kennis tussen interne en externe gebruikers ten aanzien van de werkzaamheden van de accountant. Interne gebruikers, zoals de Raad van Commissarissen, zullen meer kennis hebben van de accountantswerkzaamheden en kunnen zodoende relevante <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ERPAC">AQI’s</abbrev> definiëren. Deels komt dit doordat zij meer zicht hebben op de context van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EVPAC">AQI</abbrev> en deels doordat zij gesprekken voeren met de accountant. Interne gebruikers zullen meer belang hechten aan context-specifieke <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZPAC">AQI’s</abbrev> met een context-specifieke normstelling, want dat verhoogt de <italic>relevantie</italic> van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EAAAE">AQI’s</abbrev> voor hen. Hierdoor kan het kwalitatieve kenmerk van <italic>relevantie</italic> op gespannen voet staan met <italic>vergelijkbaarheid</italic>, want hoe context-specifieker de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EIAAE">AQI</abbrev>, hoe lager de vergelijkbaarheid zal worden tussen controleopdrachten en accountantsorganisaties.</p>
        <p>Externe belanghebbenden, zoals aandeelhouders, crediteuren en (potentiële) investeerders zullen daarentegen belang hebben bij <italic>relevante</italic><abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EQAAE">AQI’s</abbrev> die goed <italic>vergelijkbaar</italic> en <italic>begrijpelijk</italic> zijn. Veel externe belanghebbenden hebben namelijk niet de mogelijkheid om het gesprek te voeren met de accountant noch belang om de context van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EYAAE">AQI’s</abbrev> diepgaand in ogenschouw te nemen. Het is meer een indicator ter bevestiging van de kwaliteit van de strekking van de controleverklaring of ter informatie in het proces van het zoeken naar een nieuwe accountant. Externe belanghebbenden hebben vaak een specifiek belang. Banken en crediteuren zullen vooral oog hebben voor de kredietwaardigheid van de gecontroleerde op de korte tot middellange termijn. Ook aandeelhouders en (potentiële) investeerders kunnen verschillen in hun belangen, afhankelijk van hun verdienmodel. Tot slot hebben ook externe beroepsverenigingen en toezichthouders als NBA en AFM belang bij <italic>relevante</italic><abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E5AAE">AQI’s</abbrev> die goed <italic>vergelijkbaar</italic> en <italic>begrijpelijk</italic> zijn. Welke <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EGBAE">AQI’s</abbrev> relevant zijn zal dus per gebruikersgroep vastgesteld moeten worden. De accountant zal in overleg moeten gaan met de verschillende gebruikersgroepen om dit te onderzoeken, zowel op het niveau van controleopdrachten als op brancheniveau van de gecontroleerden.</p>
        <p>Uiteraard geldt voor zowel de interne als externe belanghebbenden dat <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EMBAE">AQI’s</abbrev> alleen relevant zijn indien deze met een bepaald minimumniveau van <italic>betrouwbaarheid</italic> kunnen worden vastgesteld.</p>
      </sec>
      <sec sec-type="2.4 Begrip van werkzaamheden" id="SECID0ESBAE">
        <title>2.4 Begrip van werkzaamheden</title>
        <p>Het tweede <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EYBAE">AQI</abbrev>-kwaliteitskenmerk, begrip van werkzaamheden, neemt toe, indien gebruikers een goed begrip hebben wat de betekenis is van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E3BAE">AQI</abbrev> en welke conclusies erop gebaseerd kunnen worden. Hoe beter accountants in staat zijn dit uit te leggen, hoe hoger de diagnostische eigenschap van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EACAE">AQI</abbrev>. Allereerst dient duidelijk te zijn op welke wijze een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EECAE">AQI</abbrev> tot stand is gekomen en aan welke werkzaamheden in het controleproces dit is te relateren. Op basis daarvan kan bij de betrokkenen begrip ontstaan welke conclusie getrokken kan worden op basis van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EICAE">AQI</abbrev>. Hierbij geldt dat hoe hoger het abstractieniveau van gerelateerde controlewerkzaamheden en de daarmee samenhangende conclusie, hoe minder <italic>relevant</italic> de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOCAE">AQI</abbrev> zal zijn. <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ESCAE">AQI’s</abbrev> op organisatieniveau zullen in het algemeen abstracter (minder te relateren aan concrete controlekwaliteit) zijn dan <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EWCAE">AQI’s</abbrev> op opdrachtniveau. Ook de tijdigheid van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E1CAE">AQI</abbrev> kan hierbij van belang zijn; <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E5CAE">AQI’s</abbrev> die geldig zijn voor vorige jaren, kunnen niet meer relevant zijn in geval van dynamische omstandigheden. Als voorbeeld wordt genoemd de mogelijk negatieve impact van de coronacrisis op het kwaliteitsbeheersingssysteem van de accountantsorganisaties, waarbij de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ECDAE">AQI</abbrev> over het vorige jaar niet per definitie representatief is voor de huidige situatie.</p>
        <p>Ook de <italic>vergelijkbaarheid</italic> van het begrip van werkzaamheden is belangrijk. De <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EKDAE">AQI’s</abbrev> zullen op een consistente en vergelijkbare manier bepaald moeten worden, waarbij gerelateerd wordt aan inhoudelijk dezelfde controlewerkzaamheden. De standaardisatie van de bepaling van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EODAE">AQI’s</abbrev> over accountantsorganisaties en opdrachten heen kan dit ondersteunen. Hieraan gerelateerd is de mate van <italic>betrouwbaarheid</italic> waarmee een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EUDAE">AQI</abbrev> kan worden vastgesteld; betreft het een eenvoudige rekensom of zijn er diverse interpretaties voor nodig, waardoor het minder te relateren is aan de uitgevoerde controlewerkzaamheden? Om een juiste conclusie te kunnen trekken moet de <italic>begrijpelijkheid</italic> van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E1DAE">AQI</abbrev> hoog zijn. Enerzijds betreft dit een voldoende uitlegbaarheid van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E5DAE">AQI</abbrev>, anderzijds het inzicht in de gevoeligheid van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ECEAE">AQI</abbrev> voor onjuiste conclusies. Het negeren van contextuele verschillen kan leiden tot onjuiste conclusies.</p>
        <p>We verwachten dat vooral de samenhang en aggregatie van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EIEAE">AQI’s</abbrev> om een eindoordeel te vormen met voldoende begrip van de uitgevoerde controlewerkzaamheden uitdagend wordt. Eén samenvattende, overkoepelende <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EMEAE">AQI</abbrev> betreffende het gehele controleproces (bijvoorbeeld het totaal aantal uitgevoerde data-analyses per dossier) kan heel relevant zijn, terwijl de begrijpelijkheid en vergelijkbaarheid afnemen, omdat die <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQEAE">AQI</abbrev> dan niet meer direct te relateren is aan uitgevoerde controlewerkzaamheden die over verschillende accountantsorganisaties hetzelfde zijn, waarvan de belanghebbende een goed begrip heeft en conclusies op kan baseren. Onderzoek naar de samenhang van de kwaliteit van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EUEAE">AQI’s</abbrev> en de besluitvorming van belanghebbenden kan helpen de relevantie van geaggregeerde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EYEAE">AQI’s</abbrev> te duiden, maar dit valt verder buiten de scope van dit artikel.</p>
      </sec>
      <sec sec-type="2.5 Kwaliteit rapportage van bevindingen" id="SECID0E3EAE">
        <title>2.5 Kwaliteit rapportage van bevindingen</title>
        <p>Het derde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ECFAE">AQI</abbrev>-kwaliteitskenmerk, de kwaliteit van de rapportage van bevindingen, gaat over de mate waarin een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EGFAE">AQI</abbrev> in staat is de voor de belanghebbenden relevante bevindingen van controlekwaliteit te rapporteren die het vertrouwen in de conclusies en het proces van de uitgevoerde controle ondersteunen. Veel <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EKFAE">AQI’s</abbrev> die al zijn geopperd (<xref ref-type="bibr" rid="B9">Knechel et al. 2013</xref>; <xref ref-type="bibr" rid="B20">PCAOB 2015</xref>) hebben betrekking op dit kwaliteitskenmerk. Grofweg kan er een onderscheid gemaakt worden tussen <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EWFAE">AQI’s</abbrev> die betrekking hebben op <italic>input</italic>-, <italic>proces</italic>- en <italic>output</italic>-factoren (<xref ref-type="bibr" rid="B9">Knechel et al. 2013</xref>). Denk bij <italic>input</italic>-factoren aan de bestede uren van partners en medewerkers (waaronder partnerbetrokkenheid), inzet van specialisten en het controlebudget. De <italic>proces</italic>-factoren hebben betrekking op de risicoanalyse en het besluitvormingsproces. Voorbeelden van <italic>proces</italic>-<abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EKGAE">AQI’s</abbrev> zijn de gehanteerde materialiteit, het aantal discussiepunten met de intern beoordelaar en het aantal overleggen tussen accountant en <italic>governance</italic>-organen. De <italic>output</italic>-factoren betreffen bijvoorbeeld de specificiteit van de controleconclusie voor de gebruikersgroepen (er is nu één generieke conclusie), aantal en duiding van zwakheden in het proces van de totstandkoming van de jaarrekening en het aantal gedetecteerde en verwerkte materiële onjuistheden in de uiteindelijke jaarrekening. De grootste uitdaging bij de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ESGAE">AQI’s</abbrev> op het kwaliteitskenmerk van rapportage van bevindingen zal zijn de juiste interpretatie en weging (<italic>begrijpelijkheid</italic> en <italic>relevantie</italic>) ervan. De voorbeelden die we in paragraaf 3 van dit artikel hebben beschreven, laten zien hoe ingewikkeld het is om duiding te geven aan <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E1GAE">AQI’s</abbrev>.</p>
        <p>De <italic>relevantie</italic> van de rapportage van bevindingen zal vooral afhangen van de gebruikersgroep. Voor de <italic>betrouwbaarheid</italic> en <italic>vergelijkbaarheid</italic> van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EGHAE">AQI’s</abbrev> zal standaardisatie van groot belang zijn.</p>
      </sec>
      <sec sec-type="2.6 Vaktechnische kwaliteit" id="SECID0EKHAE">
        <title>2.6 Vaktechnische kwaliteit</title>
        <p>Het vierde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQHAE">AQI</abbrev>-kwaliteitskenmerk, vaktechnische kwaliteit, gaat in op hoe <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EUHAE">AQI’s</abbrev> het vertrouwen in de vaktechnische kwaliteit van de accountant kunnen ondersteunen. Dit gaat vooral om de deskundigheid in de gehanteerde controlemethodologie en de houding van de accountant. Met houding van de accountant bedoelen we: handelen in de geest van de Verordening Gedrags- en Beroepsregels Accountants (VGBA), een professioneel-kritische, objectieve en onafhankelijke houding, kortom, het vertrouwen dat de accountant zich volledig inzet voor de belanghebbenden.</p>
        <p>De <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E1HAE">AQI’s</abbrev> betreffende de controlemethodologie zullen vaak al zelfstandig op organisatieniveau worden uitgedrukt. Denk hierbij aan informatie die nu al verplicht in de transparantieverslagen wordt gerapporteerd, of accountantsorganisaties die dit op vrijwillige basis doen, zoals maatregelen van kwaliteitsbeheersing (uitgevoerde OKB’s), training van personeel (scholingsuren) en remuneratieprikkels. <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E5HAE">AQI’s</abbrev> ten aanzien van de onafhankelijke houding van de accountant zijn ook al deels ingevoerd. Zo moeten accountants al rapporteren of en in welke mate zij <italic>non-audit services</italic> aan controlecliënten hebben verleend, veelal uitgedrukt als ratio ten opzichte van de controlekosten.</p>
        <p>Bij dit vierde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EGIAE">AQI</abbrev>-kwaliteitskenmerk gaat het echter om de mate waarin een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EKIAE">AQI</abbrev> op opdrachtniveau voldoende inzicht geeft over de deskundigheid en onafhankelijkheid van de accountant in de uitvoering van controlewerkzaamheden. Belanghebbenden zullen op basis van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOIAE">AQI</abbrev><italic>begrijpelijk</italic> moeten kunnen volgen wat die <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EUIAE">AQI</abbrev> reflecteert van het deskundig en onafhankelijk handelen van een accountant.</p>
        <p>De <italic>relevantie</italic> van dit kenmerk zal vooral hoger scoren als duidelijk is welke ruimte de accountant heeft genomen om meer of andere controlewerkzaamheden uit te voeren dan dat de controlestandaarden als minimum vereisen. De <italic>betrouwbaarheid</italic> en <italic>vergelijkbaarheid</italic> van dit kenmerk zullen vooral duidelijk worden uit onderbouwing op basis van onderliggende literatuur waarin duidelijk wordt welke conclusies precies getrokken kunnen worden over het vaktechnisch handelen van een accountant op basis van die <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EAJAE">AQI</abbrev>.</p>
      </sec>
    </sec>
    <sec sec-type="3. Diagnostische eigenschappen van veelgenoemde AQI’s" id="SECID0EEJAE">
      <title>3. Diagnostische eigenschappen van veelgenoemde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EJJAE">AQI’s</abbrev></title>
      <p>Het raamwerk van diagnostische eigenschappen zoals in de vorige paragraaf beschreven passen we in deze paragraaf bij wijze van bruikbaarheidstest toe op drie <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EOJAE">AQI’s</abbrev> op opdrachtniveau die in paragraaf 2.5 reeds zijn genoemd. Passend in de door <xref ref-type="bibr" rid="B9">Knechel et al. (2013)</xref> beschreven Audit Quality Indicators zijn dit partnerbetrokkenheid (input), materialiteit (proces) en het verwerken van materiële afwijkingen (output). We hebben ook om praktische redenen voor deze drie <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EWJAE">AQI’s</abbrev> gekozen, omdat we gebruikmaken van drie verschillende artikelen waarin deze Audit Quality Indicators zijn onderzocht met gebruikmaking van eenzelfde dataset die in de afgelopen jaren op Nyenrode Business Universiteit met behulp van studenten is verzameld vanuit dossiers van 850 auditopdrachten en betrekking heeft op de jaren 2005–2015. De in totaal circa 3.500 controleopdrachten die hierin zijn meegenomen hebben betrekking op Nederlandse controleopdrachten, met name niet beursgenoteerd en met een evenredige verdeling op Big 4- en Non-Big 4-kantoren. Voor een verdere beschrijving van de data verwijzen wij naar de betreffende artikelen (<xref ref-type="bibr" rid="B2">Asare et al. 2019</xref>; <xref ref-type="bibr" rid="B3">Asare et al. 2020</xref>; <xref ref-type="bibr" rid="B22">Snoei et al 2020</xref>). Vanuit de inzichten die in deze onderzoeksartikelen zijn opgedaan testen wij het eerder beschreven raamwerk op bruikbaarheid in de praktijk om een beoordeling te maken van de onderscheidende (diagnostische) eigenschappen en informatiewaarde van de genoemde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EGKAE">AQI’s</abbrev>.</p>
      <p>We bespreken in de navolgende paragraaf de drie voorbeelden van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EMKAE">AQI’s</abbrev> om daarna te komen tot een conclusie over de bruikbaarheid van het raamwerk van diagnostische eigenschappen. Omwille van de helderheid duiden we onze beoordeling van de informatiewaarde op de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQKAE">AQI</abbrev>-kwaliteitskenmerken op een driepuntsschaal: laag/negatief, matig/diffuus en hoog/positief. Van partnerbetrokkenheid als eerste <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EUKAE">AQI</abbrev> zullen wij een onderbouwing van onze inschatting geven op alle informatiekenmerken per kwaliteitsonderdeel. Bij materialiteit en het verwerken van materiële afwijkingen zullen wij voor onderbouwingen die op onderdelen hetzelfde zijn alleen verwijzen naar de beschrijving daarvan bij partnerbetrokkenheid.</p>
      <sec sec-type="3.1 Partnerbetrokkenheid" id="SECID0EYKAE">
        <title>3.1 Partnerbetrokkenheid</title>
        <p>Eén van de veelgenoemde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E5KAE">AQI’s</abbrev> heeft betrekking op partnerbetrokkenheid (hierna: partnerratio), vaak gemeten met de ratio: aantal leden van een controleteam gedeeld door het aantal partners (<xref ref-type="bibr" rid="B20">PCAOB 2015</xref>). De gedachte is dat hoe lager de partnerratio, hoe hoger de partnerbetrokkenheid, hoe hoger de controlekwaliteit, wat intuïtief logisch lijkt. Toch is partnerratio als <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EGLAE">AQI</abbrev> vanuit theoretisch oogpunt ingewikkeld om te interpreteren. Enerzijds stellen de standaarden dat bij hogere risico’s de accountant meer werkzaamheden moet verrichten (NVCOS 315/330/540). Dit houdt in dat er extra testwerkzaamheden zullen moeten plaatsvinden, veelal uitgevoerd door assistenten, wat de partnerratio juist doet toenemen. Anderzijds, zal een partner bij complexere vraagstukken in verhouding zelf meer moeten doen en dit zou de partnerratio kunnen verlagen.</p>
        <sec sec-type="3.1.1 Relevantie voor beoogde gebruikers" id="SECID0EKLAE">
          <title>3.1.1 Relevantie voor beoogde gebruikers</title>
          <p>De relevantie voor beoogde gebruikers als eerste <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQLAE">AQI</abbrev>-kwaliteitskenmerk beoordelen we wat betreft de <italic>begrijpelijkheid</italic> als ‘positief’. De berekening van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EWLAE">AQI</abbrev> is niet complex, het is een relatief eenvoudige kwaliteitsindicator met als strekking ‘hoe lager de partnerratio, hoe meer kwaliteit’. Het volgende punt van beoordeling is of dit <italic>relevant</italic> is voor het beoogde doel van de belanghebbenden. Gezien de inhoud van deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E3LAE">AQI</abbrev> heeft het nut heeft voor de besluitvorming van de belanghebbenden om te weten wat de partnerratio op opdrachten is, waarmee we dit kenmerk ook positief beoordelen. De <italic>betrouwbaarheid</italic> van de relevantie voor beoogde gebruikers is diffuus omdat de partnerratio geen onderscheid maakt naar werkzaamheden en daarmee (te) generiek van aard is. Gegeven dat deze AIQ is gebaseerd op geschreven uren, is ook de vraag of zij inhoudelijk weergeeft wat zij bedoelt weer te geven, namelijk inhoudelijke betrokkenheid van de partner. Ook de <italic>vergelijkbaarheid</italic> van de meting van de partnerratio is diffuus, omdat standaardisatie van de begrippen van accountantsfuncties noodzakelijk is (zowel partners, fee-earners als directors kunnen als tekenend accountant fungeren). Daarbij moet ook in ogenschouw worden genomen dat niet elke accountantsorganisatie een vennootschapsstructuur heeft, er zijn bijvoorbeeld ook stichtingen. Hiermee komt deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EEMAE">AQI</abbrev> in opzet matig tegemoet aan de eisen van belanghebbenden in de beoordeling van controlekwaliteit.</p>
        </sec>
        <sec sec-type="3.1.2 Begrip van werkzaamheden" id="SECID0EIMAE">
          <title>3.1.2 Begrip van werkzaamheden</title>
          <p>Vervolgens verdient het begrip van werkzaamheden als tweede <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOMAE">AQI</abbrev>-kwaliteitskenmerk de aandacht. Accountants dienen te onderzoeken of belanghebbenden het juiste begrip hebben ten aanzien van de informatiewaarde van de partnerratio en welke conclusies op grond daarvan over de controlekwaliteit kunnen worden getrokken. De score op <italic>begrijpelijkheid</italic> schatten wij in als ‘matig’, omdat wel duidelijk gemaakt kan worden hoe de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EUMAE">AQI</abbrev> tot stand is gekomen maar de interpretatie van deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EYMAE">AQI</abbrev> lastig zal blijken en eenvoudig een verkeerde conclusie kan worden getrokken als de context onvoldoende betrokken is in de besluitvorming. Belanghebbenden zullen partnerratio <italic>relevant</italic> (positief) vinden voor hun besluitvorming indien dat een getrouwer beeld van de jaarrekening geeft. Enerzijds zullen aandeelhouders, banken en crediteuren wellicht meer gericht zijn op een getrouwe verhouding tussen vreemd en eigen vermogen. Juist bij de complexere afwegingen daarin is te verwachten dat ervaring en kunde van een partner het verschil zouden kunnen maken, wat dus tot een lagere partnerratio zou leiden. Anderzijds kunnen belanghebbenden zoals de Belastingdienst en overheid er juist baat bij hebben als meer testwerk is uitgevoerd op naleving van wet- en regelgeving, wat juist tot een hogere partnerratio zou leiden. Waarschijnlijk zal de relevantie van de ratio voor het beoogde kwaliteitsdoel verder kunnen toenemen indien duidelijker wordt <italic>waaraan</italic> de partner en het team de uren hebben besteed. Uiteindelijk zal het lastig blijken een zinnige normwaarde te bepalen voor deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EANAE">AQI</abbrev>, echter hoe meer partnerratio een predictor is van kwaliteit, hoe zinvoller het wordt om een norm te bepalen. Op basis van standaardonderzoekstechnieken zijn er verder prima mogelijkheden om <italic>relevante</italic> vragen over het begrip van werkzaamheden aan belanghebbenden te stellen, met een voldoende <italic>betrouwbare</italic> meting en voldoende <italic>vergelijkbaarheid</italic> tussen opdrachten, waarmee we deze twee informatiekenmerken ook positief beoordelen. De uitkomsten van dit onderzoek kunnen in begrijpelijke taal worden gerapporteerd aan de gebruikersgroepen. De mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EKNAE">AQI</abbrev> partnerratio erin slaagt belanghebbenden van controle een goed begrip te geven van wat de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EONAE">AQI</abbrev> behelst en welke conclusies op grond van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ESNAE">AQI</abbrev> over controlekwaliteit kunnen worden getrokken schatten wij derhalve in als overwegend positief.</p>
        </sec>
        <sec sec-type="3.1.3 Kwaliteit rapportage van bevindingen" id="SECID0EWNAE">
          <title>3.1.3 Kwaliteit rapportage van bevindingen</title>
          <p>Het derde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E3NAE">AQI</abbrev>-kwaliteitskenmerk, kwaliteit rapportage van bevindingen, behandelt de mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EAOAE">AQI</abbrev> in staat is relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle. Daarom is de koppeling van de partnerratio aan de controlekwaliteit belangrijk om te bepalen wat de informatiewaarde van de partnerratio is. Uit onderzoek van <xref ref-type="bibr" rid="B3">Asare et al. (2020)</xref> komt een diffuus beeld naar voren. Dit onderzoek is gebaseerd op de dataset zoals eerder is beschreven. De conclusie is dat partnerratio positief geassocieerd is met 18% hogere winstgevendheid van controleopdrachten. Deze uitkomst onderstreept het commerciële belang van de partnerratio. De vraag is nu of de partnerratio ook effect heeft op de controlekwaliteit. <xref ref-type="bibr" rid="B3">Asare et al. (2020)</xref> observeren dat een toename van de partnerratio is geassocieerd met 35% afname van detectie van belangrijke onjuistheden in de jaarrekening. Tegelijkertijd is er een toename van het aantal verwerkte gedetecteerde onjuistheden met 60% als de partnerratio toeneemt. De impact op de controlekwaliteit bij een toename van de partnerratio is dus diffuus in de rapportage van bevindingen: enerzijds een negatief effect van lagere foutendetectie en anderzijds blijven er minder niet-verwerkte fouten in de jaarrekening over. Ook ingeval van de ratio senior accountantmedewerkers (directors, managers) ten opzichte van overige teamleden, worden de effecten van hogere winstgevendheid (+25%) en meer verwerking van onjuistheden (+35%) geconstateerd, maar geen negatief effect ten aanzien van de detectie van onjuistheden. De <italic>relevantie</italic> van de partnerratio voor het beoogde doel, namelijk een indicatie van geleverde controlekwaliteit is daarmee laag, want de uitkomsten lijken geen duidelijk nut te kunnen hebben voor beslissingen op basis van deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOOAE">AQI</abbrev>. De <italic>betrouwbaarheid</italic> van de meting van het effect van partnerratio op geleverde kwaliteit is met gebruikelijke statistische technieken waarin ook klanteigenschappen worden meegenomen goed mogelijk, indien er een duidelijke definiëring is van het begrip controlekwaliteit of onderdelen daarvan. Dat laatste is nodig om te komen tot een consistent getrouwe weergave van wat deze AIQ bedoelt weer te geven. Omdat elke gebruikersgroep een verschillend belang kan hebben in (onderdelen van) de controlekwaliteit, is het belangrijk onderscheid te maken tussen de mate van samenhang tussen partnerratio en de verschillende onderdelen van controlekwaliteit. Daar dat nu nog niet helder is gedefinieerd, schatten wij de betrouwbaarheid in als ‘diffuus’. Voor de <italic>vergelijkbaarheid</italic> is standaardisatie van het begrip controlekwaliteit en de onderdelen daarvan noodzakelijk. Gezien de voortdurende discussie omtrent de definiëring van controlekwaliteit zal dit niet snel gerealiseerd zijn en stellen we dit informatiekenmerk op ‘laag’, maar in opzet zou het goed mogelijk zijn als er ook een consistente wijze van meten bij alle accountantsorganisaties wordt gehanteerd. Tot slot is voor de <italic>begrijpelijkheid</italic> van de partnerratio in het kader van de controlekwaliteit belangrijk dat de relatie tussen partnerratio en controlekwaliteit op statistische schattingen (over de diverse opdrachten heen) berust en niet per definitie geldig is voor een individuele controleopdracht. Dit is met een goede toelichting gedeeltelijk op te vangen, maar de begrijpelijkheid neemt af naarmate de relatie zwakker is, waardoor we dat nu als ‘diffuus’ inschatten. Conclusie is dat partnerratio als <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EYOAE">AQI</abbrev> lage tot matige scores op diagnostische eigenschappen heeft om relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle.</p>
        </sec>
        <sec sec-type="3.1.4 Vaktechnische kwaliteit" id="SECID0E3OAE">
          <title>3.1.4 Vaktechnische kwaliteit</title>
          <p>Tot slot is het van belang vast te stellen wat de partnerratio zegt over de vaktechnische kwaliteit van de accountant als vierde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ECPAE">AQI</abbrev>-kwaliteitskenmerk. Daarin komt aan de orde de mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EGPAE">AQI</abbrev> voldoende informatie geeft over de deskundigheid en onafhankelijkheid van de accountant. Allereerst kan de partnerratio sterk beïnvloed worden door de gekozen methodologie. Bijvoorbeeld, ingeval van een hoog geautomatiseerde controlemethodologie zal er meer integraal worden gecontroleerd en minder met steekproeven. Daardoor zal de partnerratio lager worden. Dit zou een indicatie voor hogere kwaliteit kunnen zijn. Tegelijkertijd kan de partnerratio ook dalen als een accountant een <italic>extreme-risk based</italic> controle uitvoert met de bedoeling het aantal testwerkzaamheden tot het absolute minimum te beperken. Tegelijkertijd kan een professioneel-kritische accountant juist meer laten testen, waardoor de partnerratio juist zal toenemen. Dus, de partnerratio lijkt op dit onderdeel niet behulpzaam te zijn bij het stellen van de diagnose omtrent de kwaliteit van de gekozen controlemethodologie.</p>
          <p>Ook de informatiewaarde van wat de partnerratio precies zegt over de professioneel-kritische en onafhankelijke houding van de accountant is diffuus. Zoals eerder opgemerkt, is de verwachting dat een kritische accountant meer testwerkzaamheden laat uitvoeren. Hierdoor neemt de partnerratio toe, want de partner zal redelijkerwijs deze testwerkzaamheden niet zelf uitvoeren. Verder blijkt uit het onderzoek van <xref ref-type="bibr" rid="B3">Asare et al. (2020)</xref> geen statistisch significante associatie tussen het leveren van <italic>non-audit services</italic> en de partnerratio. De <italic>begrijpelijkheid</italic> van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EWPAE">AQI</abbrev> zal toenemen door een duidelijke toelichting en afnemen indien de relatie tussen partnerratio en vaktechnische kwaliteit lager is. <xref ref-type="bibr" rid="B3">Asare et al. (2020)</xref> rapporteren een lage samenhang tussen partnerratio en vaktechnische kwaliteit en daarom stellen we begrijpelijkheid op ‘laag’. De <italic>relevantie</italic> van de partnerratio voor het beoogde doel, namelijk inzicht in de deskundigheid en onafhankelijkheid van de accountant schatten wij als ‘laag’ in. De <italic>betrouwbaarheid</italic> van de samenhang van partnerratio en onderdelen van de vaktechnische kwaliteit zijn in empirische zin te meten. Echter, de vaktechnische kwaliteit dient dan wel duidelijk gedefinieerd te zijn. Ook hier geldt, hoe zwakker de empirische samenhang, hoe lager de score op betrouwbaarheid van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ECQAE">AQI</abbrev>, die we hiermee als ‘diffuus’ beoordelen. De <italic>vergelijkbaarheid</italic> tussen controleopdrachten en accountantsorganisaties schatten we ook in als ‘laag’, daar dit afhankelijk is van de gestandaardiseerde definiëring van de kwaliteit van zowel controleopdrachten als kantoren, wat nu niet het geval is. Concluderend schatten we de mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EIQAE">AQI</abbrev> voldoende informatie geeft over de vaktechnische kwaliteit in als ‘laag’.</p>
          <p>Een overzicht van de diagnostische eigenschappen van de partnerratio voor <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOQAE">AQI</abbrev>-kwaliteit is gepresenteerd in tabel 3. Samenvattend geldt dat de mate van relevantie afhangt van de gebruikersgroep en dat een relevante normwaarde lastig te bepalen is gegeven het feit dat onduidelijk is bij welke controlewerkzaamheden de partner inhoudelijk betrokken is geweest. Bovendien is de informatiewaarde van de partnerratio over de kwaliteit van de controlebevindingen en de vaktechnische kwaliteit diffuus. Conclusie is daarmee wat ons betreft dat de generieke partnerratio als <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ESQAE">AQI</abbrev> een lage tot matige diagnostische waarde heeft.</p>
          <table-wrap id="T3" position="float" orientation="portrait">
            <label>Tabel 3.</label>
            <caption>
              <p>Raamwerk van diagnostische eigenschappen toegepast op drie Audit Quality Indicators: Partnerbetrokkenheid / Materialiteit / Verwerken van materiële afwijkingen.</p>
            </caption>
            <table id="TID0EEXAE" rules="all">
              <tbody>
                <tr>
                  <td rowspan="2" colspan="1">
                    <bold>Kenmerken <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EJRAE">AQI</abbrev>-kwaliteit</bold>
                  </td>
                  <td rowspan="1" colspan="4">
                    <bold>Kenmerken van informatiewaarde Audit Quality Indicator</bold>
                  </td>
                </tr>
                <tr>
                  <td rowspan="1" colspan="1">
                    <bold>Begrijpelijkheid van informatie</bold>
                  </td>
                  <td rowspan="1" colspan="1">
                    <bold>Relevantie voor beoogd doel</bold>
                  </td>
                  <td rowspan="1" colspan="1">
                    <bold>Betrouwbaarheid van vaststellen</bold>
                  </td>
                  <td rowspan="1" colspan="1">
                    <bold>Vergelijkbaarheid meting tussen organisaties/opdrachten</bold>
                  </td>
                </tr>
                <tr>
                  <td rowspan="1" colspan="1">Relevantie voor beoogde gebruikers</td>
                  <td rowspan="1" colspan="1">+ / + / +</td>
                  <td rowspan="1" colspan="1">+ / − / +</td>
                  <td rowspan="1" colspan="1">○ / + / +</td>
                  <td rowspan="1" colspan="1">○ / − / +</td>
                </tr>
                <tr>
                  <td rowspan="1" colspan="1">Begrip van werkzaamheden</td>
                  <td rowspan="1" colspan="1">○ / ○ / +</td>
                  <td rowspan="1" colspan="1">+ / + / +</td>
                  <td rowspan="1" colspan="1">+ / +/ +</td>
                  <td rowspan="1" colspan="1">+ / + / +</td>
                </tr>
                <tr>
                  <td rowspan="1" colspan="1">Kwaliteit rapportage van bevindingen</td>
                  <td rowspan="1" colspan="1">○ / − / ○</td>
                  <td rowspan="1" colspan="1">− / − / −</td>
                  <td rowspan="1" colspan="1">○ / ○ / ○</td>
                  <td rowspan="1" colspan="1">− / − / −</td>
                </tr>
                <tr>
                  <td rowspan="1" colspan="1">Vaktechnische kwaliteit</td>
                  <td rowspan="1" colspan="1">− / − / ○</td>
                  <td rowspan="1" colspan="1">− / − / ○</td>
                  <td rowspan="1" colspan="1">○ / − / ○</td>
                  <td rowspan="1" colspan="1">− / − / ○</td>
                </tr>
              </tbody>
            </table>
            <table-wrap-foot>
              <fn>
                <p>− = lage/negatieve; ○ = matige/diffuse; respectievelijk + = hoge/positieve scores op informatiewaarde. De scores zijn in volgorde vermeld: Partnerbetrokkenheid / Materialiteit / Verwerken van materiële afwijkingen</p>
              </fn>
            </table-wrap-foot>
          </table-wrap>
        </sec>
      </sec>
      <sec sec-type="3.2 Materialiteit" id="SECID0EQUAE">
        <title>3.2 Materialiteit</title>
        <p>Het onderzoek naar de materialiteitsbepaling (<xref ref-type="bibr" rid="B22">Snoei et al. 2020</xref>) richt zich op de in de jaarrekeningcontrole gehanteerde materialiteit, die bestaat uit zowel planningsmaterialiteit als uitvoeringsmaterialiteit. Onder planningsmaterialiteit wordt verstaan het bedrag aan afwijkingen (afzonderlijk of gezamenlijk) indien daarvan redelijkerwijs kan worden verwacht dat zij een invloed zal hebben op de economische beslissingen die gebruikers op basis van de financiële overzichten nemen (NVCOS 320), oftewel de materialiteit vanuit gebruikersperspectief. Met uitvoeringsmaterialiteit wordt bedoeld het bedrag dat de accountant gebruikt in de uitvoering van zijn werkzaamheden, om de waarschijnlijkheid tot een passend laag niveau terug te brengen dat het totaal van niet-gecorrigeerde en niet-gedetecteerde afwijkingen het niveau van planningsmaterialiteit overstijgt. Dit onderzoek wordt benaderd vanuit de gedachte dat de gehanteerde materialiteit (zowel planningsmaterialiteit als uitvoeringsmaterialiteit) in de controle afhankelijk is van de mate van verantwoordingdruk (<xref ref-type="bibr" rid="B11">Messier and Quilliam 1992</xref>). Met verantwoordingsdruk wordt in dit verband bedoeld de druk die door de accountant wordt ervaren dat hij of zij verantwoordelijk zal worden gehouden voor gemaakte keuzes in diepgang van de controle. Een hogere verantwoordingdruk zal resulteren in een lagere materialiteitsbepaling, waardoor vanuit het gebruikersperspectief de (gepercipieerde) controlekwaliteit zal toenemen. Echter, uit het onderzoek van <xref ref-type="bibr" rid="B22">Snoei et al. (2020)</xref> blijkt dat een lagere planningsmaterialiteit niet hoeft te leiden tot een lagere uitvoeringsmaterialiteit. Met andere woorden, een lagere planningsmaterialiteit resulteert niet per definitie in een controle met meer diepgang. De reden daarvan kan volstrekt legitiem zijn. Naast wat de (1) controlestandaarden (NVCOS 320) voorschrijven, zien we dat accountants in hun materialiteitsbepaling beïnvloed worden door (2) kantoorstandaarden en (3) de perceptie van gebruikersrisico. We concluderen dan ook dat de veronderstelling niet houdbaar is dat een (relatief) lager materialiteitsniveau, per definitie een diepgaandere controle zou betekenen. Bij materialiteit als <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ECVAE">AQI</abbrev> wordt in de praktijk standaard uitgegaan van de planningsmaterialiteit vanuit gebruikersperspectief. Het verdient op basis van bovenstaande wat ons betreft aanbeveling om ook uitvoeringsmaterialiteit te gaan opnemen als <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EGVAE">AQI</abbrev>.</p>
        <sec sec-type="3.2.1 Relevantie voor beoogde gebruikers" id="SECID0EKVAE">
          <title>3.2.1 Relevantie voor beoogde gebruikers</title>
          <p>Als we de relevantie voor de gebruikers van materialiteit als <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQVAE">AQI</abbrev> beoordelen op basis van het raamwerk van diagnostische eigenschappen (tabel 2), verwachten we dat materialiteit een <italic>begrijpelijk</italic> concept is, het materialiteitsbedrag kan worden afgezet tegen reguliere benchmarks als omzet en balanstotaal om het relatief te maken. Het informatiekenmerk <italic>relevantie</italic> zal voor gebruikersgroepen verschillen. Waar externe gebruikersgroepen meer waarde zullen hechten aan de hoogte van de materialiteit ten opzichte van een benchmark, zullen intern betrokkenen meer waarde toekennen aan de uitvoeringsmaterialiteit, omdat dat meer zegt over de diepgang van de controle. De externe toezichthouder zal op basis van de standaarden meer benieuwd zijn naar de motivatie en professionele oordeelsvorming rondom de hoogte van materialiteitsbedragen dan de bedragen van planningsmaterialiteit en uitvoeringsmaterialiteit als zodanig. Ook zullen de verschillende externe gebruikersgroepen geïnteresseerd zijn in de materialiteitsafwegingen die voor hen relevant zijn. Kredietverschaffers en crediteuren zullen geïnteresseerd zijn in de gehanteerde materialiteit betreffende de schuldratio’s. Aandeelhouders zijn mogelijk meer geïnteresseerd in de resultaatbepaling in relatie tot bepaalde benchmarks. Vaak zullen hier ook de kwalitatieve materialiteitskenmerken van toepassing zijn, oftewel de afweging van wat materieel is voor een gebruiker op inhoud en niet (alleen) gerelateerd aan de hoogte van een bedrag. Omdat een normwaarde voor materialiteit onhaalbaar is vanwege de kwalitatieve afwegingen die daarin gemaakt, beoordelen we diagnostische eigenschappen op relevantie als ‘laag’. De berekening van de materialiteitsbedragen ten opzichte van benchmarks kan <italic>betrouwbaar</italic> (positief) plaatsvinden, gegeven de bedragen die in de controledossiers en jaarrekeningen worden vermeld. Voor de <italic>vergelijkbaarheid</italic> zal de berekening van de materialiteit gestandaardiseerd moeten worden ten opzichte van specifieke klanteigenschappen en kwalitatieve afwegingen, wat momenteel niet het geval is en is daarom als ‘laag’ beoordeeld. Hiermee komt deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E3VAE">AQI</abbrev> in opzet matig tegemoet aan de eisen van belanghebbenden in de beoordeling van controlekwaliteit.</p>
        </sec>
        <sec sec-type="3.2.2 Begrip van werkzaamheden" id="SECID0EAWAE">
          <title>3.2.2 Begrip van werkzaamheden</title>
          <p>Het begrip van werkzaamheden van gebruikers over de materialiteitsbepaling zal naar onze mening eenvoudig te meten zijn. Net als bij de partnerratio zijn er geschikte onderzoeksmethoden beschikbaar om verwachtingen van gebruikers over materialiteit in kaart te brengen. Dit geldt voor zowel de kwantitatieve materialiteit (in bedragen) als de kwalitatieve materialiteit (in overwegingen). De score op <italic>begrijpelijkheid</italic> schatten wij in als ‘matig’, omdat enerzijds wel duidelijk gemaakt kan worden hoe de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EIWAE">AQI</abbrev> rekenkundig tot stand is gekomen maar anderzijds zal de interpretatie van deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EMWAE">AQI</abbrev> lastig blijken, gegeven het hoge vaktechnische gehalte van hoe met de verschillende materialiteitsbegrippen in de controle wordt opgegaan.</p>
          <p>De overige informatiekenmerken op dit <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ESWAE">AQI</abbrev>-kwaliteitskenmerk schatten wij hetzelfde in als bij partnerbetrokkenheid, namelijk positief.</p>
        </sec>
        <sec sec-type="3.2.3 Kwaliteit rapportage van bevindingen" id="SECID0EWWAE">
          <title>3.2.3 Kwaliteit rapportage van bevindingen</title>
          <p>De score op kwaliteit rapportage van de controlebevindingen als derde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E3WAE">AQI</abbrev>-kwaliteitskenmerk van materialiteit hangt samen met de mate waarin materialiteit in de praktijk wordt bepaald op basis van risicofactoren binnen een onderneming en invloed heeft op de werkzaamheden van de accountant. Uit onderzoek (<xref ref-type="bibr" rid="B14">Mock and Wright 1999</xref>) bleek dat de samenhang tussen controleplanning en controlewerkzaamheden beperkt is. Veelal wordt materialiteit als rekenkundige exercitie gezien met een standaardbenchmark maal een percentage en niet als instrument voor een efficiëntere audit of afhankelijk van risico-overwegingen in het bepalen van de uitvoeringsmaterialiteit. Uit het onderzoek van <xref ref-type="bibr" rid="B22">Snoei et al. (2020)</xref> blijkt onder andere dat de planningsmaterialiteit naar beneden wordt bijgesteld als er minder wordt gesteund op de interne beheersing van de gecontroleerde organisatie. Ook risico’s van <italic>earnings management</italic> en fraude worden verwerkt in de inschatting van planningsmaterialiteit (die vanuit het gebruikersperspectief zou moeten plaatsvinden) in plaats van uitvoeringsmaterialiteit. Wat betreft de kantoorstandaarden is een opvallende bevinding dat Big 4-kantoren een planningsmaterialiteit hanteren die gemiddeld 30% hoger is dan die van kleine accountantskantoren. Ook het percentage uitvoeringsmaterialiteit ten opzichte van materialiteit is bij Big 4-kantoren nog eens 10% groter dan dat bij kleinere audit firms. Als het gaat om de perceptie van gebruikersrisico, zien we dat indien er sprake is van kritische ratio’s of hoge financiële schuldenratio, de materialiteit naar beneden wordt bijgesteld, terwijl de uitvoeringsmaterialiteit niet als zodanig wordt aangepast. Wat betreft economische gebondenheid is opvallend dat als er sprake is van meer <italic>non-audit services</italic>, de materialiteit tot wel 36% hoger wordt vastgesteld dan wanneer dat niet het geval is. Kortom, de samenhang tussen controlekwaliteit en materialiteit is in het kader van de kwaliteit van de controlebevindingen niet eenduidig en daarmee is de <italic>begrijpelijkheid</italic> van de mate waarin de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOXAE">AQI</abbrev> in staat is te rapporteren over relevante bevindingen van controlekwaliteit naar onze mening laag. De overige informatiekenmerken voor dit <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ESXAE">AQI</abbrev>-kwaliteitskenmerk (<italic>relevantie</italic>, <italic>betrouwbaarheid en vergelijkbaarheid</italic>) schatten wij gelijk in als bij <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E1XAE">AQI</abbrev> partnerbetrokkenheid om redenen daar genoemd. Conclusie is dat materialiteit lage diagnostische waarde heeft om relevante bevindingen van controlekwaliteit te rapporteren voor de belanghebbenden van controle.</p>
        </sec>
        <sec sec-type="3.2.4 Vaktechnische kwaliteit" id="SECID0E5XAE">
          <title>3.2.4 Vaktechnische kwaliteit</title>
          <p>De diagnostiek voor de vaktechnische kwaliteit van de accountant als het gaat over materialiteit, lijkt diffuus. De methodologie van kantoren rondom risico-inschatting lijkt immers van invloed op de materialiteitsbepaling en er worden twee soorten materialiteit gebruikt, gebaseerd op verschillende grondslagen (NVCOS 320). De planningsmaterialiteit wordt bepaald op de economische besluitvorming op basis van de jaarrekening door belanghebbenden, de uitvoeringsmaterialiteit daarentegen is een risico-gebaseerde materialiteit. Deze wordt mede bepaald door de kans op materiële onjuistheden in de jaarrekening. Tot slot is er nog de kwalitatieve materialiteitsoverweging die voor gebruikers erg belangrijk kan zijn, denk bijvoorbeeld aan de situatie waarin er een klein bedrag van afwijking is waardoor bepalingen in een kredietovereenkomst ten onrechte niet worden doorbroken. Ook de informatiewaarde van materialiteit omtrent de professioneel-kritische houding en de onafhankelijkheid van de accountant blijkt lastig te duiden, omdat zowel planningsmaterialiteit als uitvoeringsmaterialiteit worden beïnvloed door cliëntspecifieke factoren en professional judgment op kwalitatieve factoren bevatten. Daarom scoren de informatiekenmerken van <italic>begrijpelijkheid</italic>, <italic>relevantie</italic> en <italic>vergelijkbaarheid</italic> laag, zoals ook bij de partnerbetrokkenheid is onderbouwd. In afwijking van de overwegingen bij partnerbetrokkenheid schatten we bij materialiteit het informatiekenmerk <italic>betrouwbaarheid</italic> ook laag in, omdat uit de benoemde elementen blijkt dat materialiteit niet getrouw weergeeft wat zij bedoelt weer te geven, zeker omdat de materialiteitswaarde niet in samenhang met cliëntspecifieke factoren kan worden beoordeeld.</p>
          <p>Op basis van de lage diagnostische waarde van materialiteit concluderen we dat dit geen voor de hand liggende <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EOYAE">AQI</abbrev> is om het vertrouwen van de gebruiker in het controleproces te versterken.</p>
        </sec>
      </sec>
      <sec sec-type="3.3 Verwerken van materiële afwijkingen" id="SECID0ESYAE">
        <title>3.3 Verwerken van materiële afwijkingen</title>
        <p>Een derde veelgenoemde <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EYYAE">AQI</abbrev> is de mate waarin gedetecteerde afwijkingen in de jaarrekening, afwijkingen genoemd, worden verwerkt (<xref ref-type="bibr" rid="B10">Litjens et al. 2015</xref>). De veronderstelling is dat hoe meer afwijkingen worden verwerkt, hoe hoger de controlekwaliteit op opdrachtniveau is. Het is echter belangrijk om daarbij op te merken dat het niet-corrigeren van afwijkingen niet alleen een zaak van de auditor is, maar ook van de gecontroleerde, waarbij beiden drijfveren kunnen hebben om niet te corrigeren (<xref ref-type="bibr" rid="B8">Keune and Johnstone 2012</xref>; <xref ref-type="bibr" rid="B2">Asare et al. 2019</xref>). Gegeven de uitgebreide toelichting op de scores van de eerdere <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EIZAE">AQI’s</abbrev>, volstaan we hier met een toelichting van de scores op <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EMZAE">AQI</abbrev>-kwaliteitskenmerk vaktechnische kwaliteit, omdat daarbij op drie punten beter wordt gescoord dan bij beide voorgaande <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EQZAE">AQI’s</abbrev>.</p>
        <sec sec-type="3.3.1 Vaktechnische kwaliteit" id="SECID0EUZAE">
          <title>3.3.1 Vaktechnische kwaliteit</title>
          <p>In het kader van de onafhankelijkheid kan deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E1ZAE">AQI</abbrev> ‘een rechte rug’ signaleren, waarbij volledig corrigeren een hoge onafhankelijkheid suggereert. De samenhang van deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E5ZAE">AQI</abbrev> en de kwaliteit van de controlemethodologie is ons inziens hoog als er ook inzicht wordt gegeven in alle gedetecteerde en al dan niet verwerkte afwijkingen. Daarbij kan de vraag worden gesteld of het niet-corrigeren van afwijkingen diagnostisch is voor de mate van vaktechnische kwaliteit, omdat ook praktische redenen aan de zijde van de gecontroleerde ten grondslag kunnen liggen aan het niet doorvoeren van correcties, zoals het niet doorvoeren van vennootschappelijke correcties vanwege een reeds afgesloten groepsconsolidatieproces. Het doorvoeren van correcties blijft daarmee een samenspel van accountant en gecontroleerde. Dit verlaagt de score op <italic>begrijpelijkheid</italic> van deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EE1AE">AQI</abbrev> ten aanzien van de vaktechniek naar ‘matig’. De <italic>relevantie</italic> van dit kenmerk beoordelen we ook als ‘matig’, gegeven het feit dat een accountant zich reeds dient te houden aan standaarden rondom correctie van controleverschillen, waarmee het niet-verwerken van materiële afwijkingen indien regelgeving is nageleefd geen wijziging in het beeld van de jaarrekening zal geven en mede ingegeven kan zijn door afwegingen van de gecontroleerde. Concluderend schatten we de mate waarin deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EK1AE">AQI</abbrev> voldoende informatie geeft over de vaktechnische kwaliteit in als ‘matig’.</p>
          <p>De overall conclusie van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQ1AE">AQI</abbrev>-kwaliteitskenmerken op het verwerken van materiële afwijkingen is dat deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EU1AE">AQI</abbrev> matig tot positief scoort op diagnostische eigenschappen voor de gerealiseerde controlekwaliteit. De invloed van de gecontroleerde op het al dan niet besluiten tot verwerken van afwijkingen binnen de bandbreedtes van materialiteit is de complicerende factor bij deze <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EY1AE">AQI</abbrev> in zowel de rapportage van bevindingen als het duiden van de vaktechnische kwaliteit.</p>
        </sec>
      </sec>
      <sec sec-type="3.4 Uitkomsten scores op raamwerk van diagnostische eigenschappen" id="SECID0E31AE">
        <title>3.4 Uitkomsten scores op raamwerk van diagnostische eigenschappen</title>
        <p>We hebben de uitkomsten van de toepassing van het raamwerk van diagnostische eigenschappen op de drie beoordeelde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EC2AE">AQI’s</abbrev> gepresenteerd in tabel 3. Uit de tabel blijkt dat de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EG2AE">AQI’s</abbrev> overwegend matige scores hebben om als onderscheidend kenmerk van de bepaling van controlekwaliteit te kunnen dienen. Hoewel in eerste instantie alle drie de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EK2AE">AQI’s</abbrev> goed hanteerbeer lijken als maatstaf voor controlekwaliteit, blijkt bij het toepassen van het raamwerk een reëel risico op een verkeerde interpretatie te bestaan. Dit risico is groter voor externe gebruikers dan voor interne gebruikers, omdat deze laatsten gemakkelijker het gesprek met de accountant kunnen voeren.</p>
        <p>De uitkomsten van informatiewaarde op het <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EQ2AE">AQI</abbrev>-kwaliteitskenmerk <underline>relevantie voor beoogde gebruikers</underline> zijn matig tot positief, behalve voor materialiteit. Dit wordt vooral verklaard door het niet mee kunnen wegen van cliëntspecifieke factoren die nodig zijn voor de duiding van materialiteitsbepaling. Ook is voor de relevantie een normwaarde nodig, een benchmark, maar die is voor partnerratio en materialiteit niet (eenvoudig) vast te stellen. Om de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EW2AE">AQI’s</abbrev> relevant te maken zullen bij voorkeur de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E12AE">AQI’s</abbrev> aangepast moeten worden naar de behoefte van de gebruikersgroepen. Op basis van tabel 3 zien we ook dat het <underline>begrip van werkzaamheden</underline> bij alle drie de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EA3AE">AQI’s</abbrev> goed is vast te stellen, waarbij de begrijpelijkheid van informatie een aandachtspunt is als de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EE3AE">AQI</abbrev> een vaktechnisch complexe context heeft. De scores op informatiewaarde van het <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EI3AE">AQI</abbrev>-kwaliteitskenmerk met betrekking tot de <underline>kwaliteit van de rapportage van bevindingen</underline> zijn op alle fronten matig tot laag. Dit is problematisch, omdat juist de mate waarin een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EO3AE">AQI</abbrev> in staat is om relevante bevindingen van controlekwaliteit te rapporten zo belangrijk is voor de belanghebbenden. Echter, wetenschappelijk onderzoek rapporteert geen sterke samenhang tussen de meetbare indicatoren en de onderliggende controlekwaliteit. Hetzelfde geldt voor de informatiewaarde aangaande de <underline>vaktechnische kwaliteit</underline>, waarop zowel partnerratio als materialiteit erg laag scoren. De <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EU3AE">AQI</abbrev> van ongecorrigeerde afwijkingen lijkt hierin een uitzondering te zijn; deze is enigszins diagnostisch voor controlekwaliteit.</p>
        <p>Wat in tabel 3 nog ontbreekt is een eindoordeel van de totale diagnostische waarde van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E13AE">AQI’s</abbrev>. Een dergelijk eindoordeel vereist weging van zowel de scores op de vier kenmerken van <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E53AE">AQI</abbrev>-kwaliteit als van de vier kenmerken van informatiewaarde. Verder wetenschappelijk onderzoek is nodig om deze weging in relatie tot het versterken van het vertrouwen van de belanghebbenden in het controleproces vast te stellen, daarop hebben we nu nog onvoldoende zicht. Toch durven we op basis van tabel 3 te stellen dat de genoemde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EC4AE">AQI’s</abbrev> lage diagnostische waarde hebben voor het bepalen van de geleverde controlekwaliteit. Voor de praktijk van het opstellen van transparantieverslagen door accountantsorganisaties bevelen wij aan om het raamwerk van diagnostische eigenschappen te gebruiken bij andere <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EG4AE">AQI’s</abbrev> om in alle aspecten rekening te kunnen houden met de relevantie voor belanghebbenden in het versterken van het vertrouwen in de geleverde controlekwaliteit en waar nodig ook vaktechnische duiding te geven aan de gepresenteerde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EK4AE">AQI’s</abbrev>.</p>
      </sec>
    </sec>
    <sec sec-type="4. Conclusie en discussie" id="SECID0EO4AE">
      <title>4. Conclusie en discussie</title>
      <p>In dit onderzoek hebben we een raamwerk van diagnostische eigenschappen voor <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EU4AE">AQI’s</abbrev> opgesteld om te kunnen bepalen in hoeverre een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EY4AE">AQI</abbrev> onderscheidende kenmerken heeft om voor belanghebbenden de onderliggende controlekwaliteit te kunnen bepalen. Bij dit raamwerk hebben we de kwaliteitskenmerken van controlekwaliteit op opdrachtniveau van <xref ref-type="bibr" rid="B23">Van Buuren (2015)</xref> gebruikt en zijn daaruit de vier <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EA5AE">AQI</abbrev>-kwaliteitskenmerken afgeleid. Vervolgens hebben we het belang van de vier kenmerken van informatiewaarde (begrijpelijkheid, relevantie, betrouwbaarheid en vergelijkbaarheid) vanuit het Stramien (<xref ref-type="bibr" rid="B21">RJ 2020</xref>) per <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EI5AE">AQI</abbrev>-kwaliteitskenmerk uitgewerkt. Op basis van dit raamwerk van diagnostische eigenschappen voor <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EM5AE">AQI’s</abbrev> hebben we vervolgens drie bekende <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EQ5AE">AQI’s</abbrev> uitgewerkt bij wijze van eerste test van het raamwerk. Vanuit de toepassing op de drie <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EU5AE">AQI’s</abbrev> concluderen we dat het vinden van een adequate <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EY5AE">AQI</abbrev> geen sinecure is. De relevantie voor de onderzochte <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E35AE">AQI’s</abbrev> blijkt verschillend te zijn voor de diverse gebruikersgroepen. Tevens vereist relevantie een eenduidige normstelling of benchmarkwaarde die gegeven de onderliggende vaktechnische afwegingen en opdracht- en organisatiespecifieke factoren lastig te definiëren is. Waar vervolgens het begrip van werkzaamheden voor de diverse belanghebbenden relatief goed is vast te stellen, zijn de scores op het eenduidig rapporteren van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EA6AE">AQI</abbrev> over de bevindingen van controlekwaliteit en vaktechnische kwaliteit niet heel positief. Op basis hiervan durven we te stellen dat voor de onderzochte <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EE6AE">AQI’s</abbrev> het vertrouwen van de belanghebbenden in de geleverde controlekwaliteit niet extra wordt versterkt en bij een verkeerd begrip van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EI6AE">AQI</abbrev> zelfs het risico aanwezig is dat het vertrouwen wordt geschaad. We verklaren de beperkte scores op het raamwerk van diagnostische eigenschappen voor de geteste <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EM6AE">AQI’s</abbrev> vanuit onderstaande drie hoofdredenen.</p>
      <p>Ten eerste is de complicerende factor van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ES6AE">AQI’s</abbrev> op opdrachtniveau dat gebruikers in de vaktechnische afweging van accountants worden betrokken. Het accountantsberoep is een vak waar vakkennis en professionele oordeelsvorming centraal staat. De toelatingseisen tot het beroep zijn hoog. Voor niet-accountants is dit een onbekende en complexe materie en het is de vraag of zij de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EW6AE">AQI’s</abbrev> kunnen plaatsen en op juiste waarde kunnen schatten. Tegelijkertijd blijkt uit wetenschappelijk onderzoek de complexe en op z’n best beperkte samenhang tussen de kwaliteit en de drie <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E16AE">AQI’s</abbrev>. Dit leidt tot de vraag of <italic>input</italic>-factoren en <italic>proces</italic>gerichte <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EDAAG">AQI’s</abbrev> in opzet geschikt zijn als <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EHAAG">AQI’s</abbrev>. Wellicht hebben <italic>output</italic>-gerichte <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ENAAG">AQI’s</abbrev> nog de beste papieren om relevant te zijn voor de gebruikers. Hierbij willen we opmerken dat in de transparantieverslagen vaak al informatie is gegeven over <italic>output</italic>-gerichte <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ETAAG">AQI’s</abbrev>, echter deze informatie is vaak gepresenteerd op organisatieniveau, niet op opdrachtniveau.</p>
      <p>Ten tweede is een belangrijk uitgangspunt bij <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZAAG">AQI’s</abbrev> op opdrachtniveau dat controlestandaarden altijd worden nageleefd. Een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E4AAG">AQI</abbrev> die aangeeft dat standaarden niet zijn nageleefd, zou, gegeven een toereikend kwaliteitssysteem bij accountantsorganisaties, niet voor mogen komen. Dat zorgt ervoor dat relevante <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EBBAG">AQI’s</abbrev> alleen gevonden kunnen worden op die gebieden waar de controlestandaarden niet duidelijk in zijn, dus waar ruimte is voor oordeelsvorming, of waar een minimumpositie is gedefinieerd en de accountant ruimte wordt geboden om een stap verder te kunnen zetten. Dit uitgangspunt zorgt ervoor dat duiding van wat een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EFBAG">AQI</abbrev> suggereert over de controlekwaliteit diffuus is, omdat controlestandaarden daarin ruimte laten voor professionele oordeelsvorming afhankelijk van de situatie. Dit versterkt daarmee het effect van de eerdergenoemde complicerende factor van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EJBAG">AQI’s</abbrev> op opdrachtniveau. De vraag is daarbij ook of een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0ENBAG">AQI</abbrev> (zoals partnerbetrokkenheid of materialiteit) eigenlijk niet meer zegt over specifieke factoren van de gecontroleerde dan over het gedrag van de accountant. Ook kan (zoals bij het niet-corrigeren van afwijkingen) zelfs sprake zijn van een gezamenlijk proces tussen accountant en gecontroleerde, waarbij wellicht meer de <italic>financial reporting quality</italic> wordt gemeten dan de audit quality. Bij <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ETBAG">AQI’s</abbrev> zal de kwaliteit van rapportage van bevindingen en vaktechnische kwaliteit veelal geschat moeten worden middels wetenschappelijk onderzoek, gebruikmakend van statistische technieken waarin ook cliëntspecifieke factoren worden meegenomen. Hiervoor geldt dat hoe lager de geconstateerde samenhang, hoe lager de informatiewaarde (en relevantie) is van de <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0EXBAG">AQI</abbrev>. Tegelijkertijd zegt een statistische samenhang niet per definitie iets over een individuele controleopdracht.</p>
      <p>Ten derde is voor de relevantie van een <abbrev xlink:title="Audit Quality Indicator" id="ABBRID0E4BAG">AQI</abbrev> een zinnige normstelling nodig. Waar vanuit de controlestandaarden een minimumpositie wordt aangegeven, is de vraag wat vanuit de praktijk een haalbare norm zal zijn voor <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EBCAG">AQI’s</abbrev>. Er is veel onderzoek nodig om tot een relevante norm te komen, waarbij ook die norm in zichzelf betrouwbaar, vergelijkbaar en begrijpelijk zal moeten zijn. Het risico op onjuiste conclusies als gevolg van een onjuiste of niet relevante norm is niet denkbeeldig. Voor vergelijking van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EFCAG">AQI’s</abbrev> ten opzichte van een benchmark is standaardisatie en normalisatie een vereiste, waarbij rekening gehouden dient te worden met cliëntspecifieke omstandigheden. Wellicht is het controleren voor de cliëntspecifieke omstandigheden wel één van de moeilijkst oplosbare problemen met de vergelijkbaarheid van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EJCAG">AQI’s</abbrev> over verschillende opdrachten en accountantsorganisaties heen.</p>
      <p>Zijn daarmee <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EPCAG">AQI’s</abbrev> in opzet niet haalbaar of is er ook potentie om <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ETCAG">AQI’s</abbrev> verder te laten groeien, zodat zij wel goede diagnostische eigenschappen zullen hebben? Allereerst lijkt een onderkenning van de behoeften van de verschillende gebruikersgroepen nodig om te komen tot relevante doelstellingen en normstellingen. Het lijkt ons dat een start met rapportage aan alleen de interne en externe toezichthouder als gebruikers voor de hand kan liggen, gegeven dat zij het beste in staat zullen zijn om de kwaliteit van rapportage van bevindingen te duiden en verder onderzoek te doen naar de relevante samenhang met vaktechnische kwaliteit. Zij zouden wellicht gezamenlijk met onderzoekers in staat moeten zijn om te komen tot de juiste <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EXCAG">AQI’s</abbrev> om met rapportage daarvan het vertrouwen van de beoogde gebruikers in de uitkomst van de controle zo veel mogelijk te versterken. Gegeven de beperkte diagnostische eigenschappen van de drie in dit artikel behandelde <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E2CAG">AQI’s</abbrev>, zal dit een langdurig en ingewikkeld proces zijn. Daarom willen we ook wijzen op een andere mogelijkheid, die sneller te implementeren is en goede kansen biedt het vertrouwen in de accountant te versterken. In plaats van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E6CAG">AQI’s</abbrev> kan het beroep ook inzetten op meer overleg met de directe belanghebbenden van de controle; ga het gesprek aan met hen en maak de controle meer specifiek op hun behoeften, wellicht ook met gebruikmaking van moderne communicatiemiddelen. Wij veronderstellen dat indien de belanghebbenden zich gehoord voelen en zij constateren dat accountants zich richten op hun behoeften, dit het vertrouwen in het werk van de accountant zal versterken.</p>
    </sec>
    <sec sec-type="5. Beperkingen" id="SECID0EDDAG">
      <title>5. Beperkingen</title>
      <p>Dit onderzoek richt zich op het bepalen van de diagnostische eigenschappen van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EJDAG">AQI’s</abbrev> op opdrachtniveau. Wat betreft <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ENDAG">AQI’s</abbrev> gemeten op vestigings- en organisatieniveau die niet direct gekoppeld zijn aan opdrachten (kwaliteitsbeheersing, training van personeel e.d.), kunnen wij ons voorstellen dat dit raamwerk ook toepasbaar is, wat vervolgonderzoek zal moeten uitwijzen. Het raamwerk van diagnostische eigenschappen is in dit artikel toegepast op enkele voor de hand liggende <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0ERDAG">AQI’s</abbrev>. De analyse en evaluatie van de <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EVDAG">AQI’s</abbrev> is gemaakt op basis van verschillende beschikbare artikelen die gebaseerd zijn op eenzelfde dataset die verzameld is in de Nederlandse situatie in het MKB. Een beperking van deze dataset is dat er niet specifiek aan belanghebbenden gevraagd is naar relevantie en verwachtingen ten aanzien van <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EZDAG">AQI’s</abbrev>. Onderzoek dat specifiek gericht is op relevantie en verwachtingen over <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0E4DAG">AQI’s</abbrev> kan tot meer inzicht vanuit het gebruikersperspectief leiden. We hebben echter met behulp van voorgaande literatuur, zo goed mogelijk proberen aan te sluiten wat bekend is over het gebruikersperspectief.</p>
      <p>Al met al is de aandacht voor meer vertrouwen in de controle een stap in de goede richting. Of <abbrev xlink:title="Audit Quality Indicators" id="ABBRID0EDEAG">AQI’s</abbrev> daarvoor het geschikte middel zijn moet nog blijken. Echter, indien de uitkomst betekent dat gebruikersgroepen veel meer betrokken zullen worden bij de controle, dan kan het beroep alleen maar voordeel hebben van deze zoektocht.</p>
      <boxed-text id="box1" position="float" orientation="portrait">
        <p><bold>Prof. dr. J.P. van Buuren RA</bold> is hoogleraar Auditing &amp; Assurance aan Nyenrode Business Universiteit.</p>
      </boxed-text>
      <boxed-text id="box2" position="float" orientation="portrait">
        <p><bold>Drs. W.G. Snoei RA</bold> is promovendus aan Nyenrode Business Universiteit op het gebied van Auditing en tevens director bij Visser &amp; Visser Audit en Assurance.</p>
      </boxed-text>
    </sec>
  </body>
  <back>
    <fn-group>
      <title>Noot</title>
      <fn id="en1">
        <p>Wettelijke verbeterdoelen accountants goed voor de samenleving, (18 maart 2020). De Accountant. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.accountant.nl/discussie/opinie/2020/3/wettelijke-verbeterdoelen-accountants-goed-voor-de-samenleving/">https://www.accountant.nl/discussie/opinie/2020/3/wettelijke-verbeterdoelen-accountants-goed-voor-de-samenleving/</ext-link></p>
      </fn>
    </fn-group>
    <ref-list>
      <title>Literatuur</title>
      <ref id="B1">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">AFM [Autoriteit Financiële Markten]</institution> (<year>2017</year>) Kwaliteit OOB-accountantsorganisaties onderzocht: Uitkomsten van onderzoeken naar de implementatie en borging van verandertrajecten bij de OOB-accountantsorganisaties en de kwaliteit van wettelijke controles bij de Big 4-accountantsorganisaties. AFM, Amsterdam. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.afm.nl/nl-nl/nieuws/2017/juni/kwaliteitslag-oob">https://www.afm.nl/nl-nl/nieuws/2017/juni/kwaliteitslag-oob</ext-link></mixed-citation>
      </ref>
      <ref id="B2">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Asare</surname><given-names>S</given-names></name><name name-style="western"><surname>Van Buuren</surname><given-names>J</given-names></name><name name-style="western"><surname>Majoor</surname><given-names>GCM</given-names></name></person-group> (<year>2019</year>) <article-title>The Joint Role of Auditors’ and Auditees, Incentives and Disincentives in the Resolution of Detected Misstatements.</article-title><source>Auditing: A Journal of Practice &amp; Theory</source><volume>38</volume>(<issue>1</issue>): <fpage>29</fpage>–<lpage>50</lpage>. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.2308/ajpt-52153">https://doi.org/10.2308/ajpt-52153</ext-link></mixed-citation>
      </ref>
      <ref id="B3">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Asare</surname><given-names>S</given-names></name><name name-style="western"><surname>Van Buuren</surname><given-names>J</given-names></name><name name-style="western"><surname>Majoor</surname><given-names>GCM</given-names></name><name name-style="western"><surname>Verwey</surname><given-names>I</given-names></name></person-group> (<year>2020</year>) Field evidence on the drivers antecedents and consequences of partner leverage in public audit firms. Working paper, Nyenrode Business Universiteit.</mixed-citation>
      </ref>
      <ref id="B4">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">CTA [Commissie Toekomst Accountancysector]</institution> (<year>2020</year>) Vertrouwen op controle. Rapport van de Commissie toekomst accountancysector, 156 pp. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.nba.nl/globalassets/documenten/cta-eindrapport-vertrouwen-op-controle-30-01-2020.pdf">https://www.nba.nl/globalassets/documenten/cta-eindrapport-vertrouwen-op-controle-30-01-2020.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B5">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">FEE [Federation of European Accountants]</institution> (<year>2015</year>) <source>Overview of Audit Quality Indicators Initiatives.</source><publisher-name>FEE</publisher-name>, <publisher-loc>Brussels</publisher-loc>, <size units="page">26 pp</size>. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.accountancyeurope.eu/wp-content/uploads/1607_Update_of_Overview_of_AQIs.pdf">https://www.accountancyeurope.eu/wp-content/uploads/1607_Update_of_Overview_of_AQIs.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B6">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Francis</surname><given-names>JR</given-names></name></person-group> (<year>2011</year>) <article-title>A framework for understanding and researching audit quality.</article-title><source>Auditing, A Journal of Practice &amp; Theory</source><volume>30</volume>(<issue>2</issue>): <fpage>125</fpage>–<lpage>152</lpage>. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.2308/ajpt-50006">https://doi.org/10.2308/ajpt-50006</ext-link></mixed-citation>
      </ref>
      <ref id="B7">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">FRC [Financial Reporting Council]</institution> (<year>2020</year>) <source>Audit Quality Indicators: AQR Thematic Review.</source><publisher-name>FRC</publisher-name>, <publisher-loc>London</publisher-loc>, <size units="page">47 pp</size>. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.frc.org.uk/getattachment/f116f7d7-94d8-4c82-94b2-ba24e3b195eb/AQTR_AQI_Final.pdf">https://www.frc.org.uk/getattachment/f116f7d7-94d8-4c82-94b2-ba24e3b195eb/AQTR_AQI_Final.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B8">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Keune</surname><given-names>MB</given-names></name><name name-style="western"><surname>Johnstone</surname><given-names>KM</given-names></name></person-group> (<year>2012</year>) <article-title>Materiality judgments and the resolution of detected misstatements: The role of managers, auditors, and audit committees.</article-title><source>The Accounting Review</source><volume>87</volume>(<issue>5</issue>): <fpage>1641</fpage>–<lpage>1677</lpage>. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.2308/accr-50185">https://doi.org/10.2308/accr-50185</ext-link></mixed-citation>
      </ref>
      <ref id="B9">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Knechel</surname><given-names>WR</given-names></name><name name-style="western"><surname>Krishnan</surname><given-names>GV</given-names></name><name name-style="western"><surname>Pevzner</surname><given-names>M</given-names></name><name name-style="western"><surname>Shefchik</surname><given-names>LB</given-names></name><name name-style="western"><surname>Velury</surname><given-names>UK</given-names></name></person-group> (<year>2013</year>) <article-title>Audit quality, insights from the academic literature.</article-title><source>Auditing, A Journal of Practice &amp; Theory</source><volume>32</volume>(<issue>1</issue>): <fpage>385</fpage>–<lpage>421</lpage>. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.2308/ajpt-50350">https://doi.org/10.2308/ajpt-50350</ext-link></mixed-citation>
      </ref>
      <ref id="B10">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Litjens</surname><given-names>R</given-names></name><name name-style="western"><surname>Van Buuren</surname><given-names>JP</given-names></name><name name-style="western"><surname>Vergoossen</surname><given-names>R</given-names></name></person-group> (<year>2015</year>) <article-title>Addressing the information needs to reduce the audit expectation gap: evidence from Dutch bankers, audited companies and auditors.</article-title><source>International Journal of Auditing</source><volume>19</volume>(<issue>3</issue>): <fpage>267</fpage>–<lpage>281</lpage>. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.1111/ijau.12042">https://doi.org/10.1111/ijau.12042</ext-link></mixed-citation>
      </ref>
      <ref id="B11">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Messier</surname><given-names>Jr WF</given-names></name><name name-style="western"><surname>Quilliam</surname><given-names>WC</given-names></name></person-group> (<year>1992</year>) <article-title>The effect of accountability on judgment: Development of hypotheses for auditing.</article-title><source>Auditing, A Journal of Practice &amp; Theory</source><volume>11</volume>: <fpage>123</fpage>–<lpage>138</lpage>.</mixed-citation>
      </ref>
      <ref id="B12">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">MCA [Monitoring Commissie Accountancy]</institution> (<year>2016</year>) Veranderen in het publiek belang. Monitoring Commissie Accountancy, Amsterdam. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="http://www.monitoringaccountancy.nl/wp-content/uploads/2016/11/Eerste-Verslag-Monitoring-commissie-Accountancy.pdf">http://www.monitoringaccountancy.nl/wp-content/uploads/2016/11/Eerste-Verslag-Monitoring-commissie-Accountancy.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B13">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">MCA [Monitoring Commissie Accountancy]</institution> (<year>2020</year>) Spiegel voor de accountancysector. Monitoring Commissie Accountancy, Amsterdam. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="http://www.monitoringaccountancy.nl/wp-content/uploads/2020/01/Eindrapport-Monitoring-Commissie-Accountancy-140120.pdf">http://www.monitoringaccountancy.nl/wp-content/uploads/2020/01/Eindrapport-Monitoring-Commissie-Accountancy-140120.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B14">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Mock</surname><given-names>TJ</given-names></name><name name-style="western"><surname>Wright</surname><given-names>AM</given-names></name></person-group> (<year>1999</year>) Are audit program plans risk-adjusted? Auditing, A Journal of Practice &amp; Theory 18(1): 55–74. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.2308/aud.1999.18.1.55">https://doi.org/10.2308/aud.1999.18.1.55</ext-link></mixed-citation>
      </ref>
      <ref id="B15">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">NBA [Koninklijke Nederlandse Beroepsorganisatie van Accountants]</institution> (<year>2014</year>) Maatregelen ter verbetering van de kwaliteit en onafhankelijkheid van de accountantscontrole. Werkgroep Toekomst Accountantsberoep. NBA, Amsterdam. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.nba.nl/globalassets/projecten/in-het-publiek-belang/in_het_publiek_belang_rapport_25_september_2014.pdf">https://www.nba.nl/globalassets/projecten/in-het-publiek-belang/in_het_publiek_belang_rapport_25_september_2014.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B16">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">NBA [Koninklijke Nederlandse Beroepsorganisatie van Accountants]</institution> (<year>2020</year>) Stramien. Werkgroep Toekomst Accountantsberoep. NBA, Amsterdam.</mixed-citation>
      </ref>
      <ref id="B17">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">NBA [Koninklijke Nederlandse Beroepsorganisatie van Accountants]</institution> (<year>2018</year>) Waar het om gaat, kompas voor controlekwaliteit. Whitepaper. NBA, Amsterdam. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.nba.nl/globalassets/documenten/white-paper_waar-gaat-het-om.pdf">https://www.nba.nl/globalassets/documenten/white-paper_waar-gaat-het-om.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B18">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">Stramien [Stramien voor Assurance-opdrachten]</institution> (<year>2020</year>) NBA (Koninklijke Nederlandse Beroepsorganisatie van Accountants). Handleiding Regelgeving Accountancy (HRA 2020). <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.nba.nl/tools/hra-2020/">https://www.nba.nl/tools/hra-2020/</ext-link></mixed-citation>
      </ref>
      <ref id="B19">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Paape</surname><given-names>L</given-names></name><name name-style="western"><surname>Van Buuren</surname><given-names>JP</given-names></name></person-group> (<year>2012</year>) The impact of the public audit. Empirisch onderzoek naar de effecten van accountantscontrole op de jaarrekening en de gecontroleerde organisatie. Nyenrode Business universiteit. <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://www.accountant.nl/globalassets/accountant.nl/nyenrode/nyenrode_impact_of_the_public_audit_dutch_april2012.pdf">https://www.accountant.nl/globalassets/accountant.nl/nyenrode/nyenrode_impact_of_the_public_audit_dutch_april2012.pdf</ext-link></mixed-citation>
      </ref>
      <ref id="B20">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">PCAOB [Public Company Accounting Oversight Board]</institution> (<year>2015</year>) Concept Release on Audit Quality Indicators. Release No. 2015-005 PCAOB (Washington, DC). <ext-link xlink:type="simple" ext-link-type="uri" xlink:href="https://pcaob-assets.azureedge.net/pcaob-dev/docs/default-source/rulemaking/docket_041/release_2015_005.pdf?sfvrsn=de838d9f_0">https://pcaob-assets.azureedge.net/pcaob-dev/docs/default-source/rulemaking/docket_041/release_2015_005.pdf?sfvrsn=de838d9f_0</ext-link></mixed-citation>
      </ref>
      <ref id="B21">
        <mixed-citation xlink:type="simple"><institution xlink:type="simple">RJ [Raad voor de Jaarverslaggeving]</institution> (<year>2020</year>) Richtlijnen voor de jaarverslaggeving voor middelgrote en grote rechtspersonen Jaareditie 2020 van toepassing op verslagjaren op of na 1 januari 2021. Wolters Kluwer (Deventer).</mixed-citation>
      </ref>
      <ref id="B22">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Snoei</surname><given-names>WG</given-names></name><name name-style="western"><surname>Van Buuren</surname><given-names>JP</given-names></name><name name-style="western"><surname>Majoor</surname><given-names>GCM</given-names></name></person-group> (<year>2020</year>) Material judgments in materiality determination. Working paper, Nyenrode Business Universiteit.</mixed-citation>
      </ref>
      <ref id="B23">
        <mixed-citation xlink:type="simple"><person-group><name name-style="western"><surname>Van Buuren</surname><given-names>JP</given-names></name></person-group> (<year>2015</year>) <article-title>Controlekwaliteit blijft een belevenis.</article-title><source>Maandblad voor Accountancy en Bedrijfseconomie</source><volume>89</volume>(<issue>3</issue>): <fpage>67</fpage>–<lpage>76</lpage>. <ext-link xlink:type="simple" ext-link-type="doi" xlink:href="10.5117/mab.89.31257">https://doi.org/10.5117/mab.89.31257</ext-link></mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>
