De prior-verdeling p (θ) weerspiegelt de voorkennis over de foutkans θ voordat er informatie uit een steekproef is gezien door de auditor. Een adequate prior-verdeling kent een relatieve waarschijnlijkheid toe aan elke mogelijke waarde van θ, zodat de waarschijnlijkheid over alle mogelijke waarden van θ gelijk is aan één. Een eenvoudige prior-verdeling is een beta(1, 1)-verdeling voor θ (figuur 1). Dit is een uniforme verdeling, wat inhoudt dat elke waarde van de foutkans in de populatie θ a priori even waarschijnlijk is. Omdat de prior-verdeling een zo volledig mogelijke samenvatting is van de voorkennis van de auditor met betrekking tot de foutkans θ, dient deze als zodanig onderbouwd te worden. Voor meer achtergrond over de rol van de prior-verdeling en geavanceerdere prior-verdelingen dan een uniforme verdeling verwijzen we naar Derks et al. (2021a).

Figuur 1.

De beta-prior-verdeling en posterior-verdeling (tevens de likelihood functie) na het zien van een steekproef van n = 20 posten en k = 0 fouten. Het grijze gebied geeft het 95 procent geloofwaardigheidsinterval aan.

De likelihood representeert de informatie die de geobserveerde steekproefdata bevatten over de foutkans θ. De likelihood functie l (y | θ) kwantificeert de waarschijnlijkheid dat de steekproefdata optreden onder specifieke waarden van θ (Etz 2018). De kans op het waarnemen van k fouten in een steekproef van n posten, met een onderliggende foutkans θ, is binomiaal verdeeld en wordt doorgaans genoteerd als binomiaal(k | n, θ). Stel dat de auditor een steekproef van n = 20 waarnemingen heeft getrokken waarin k = 0 fouten gevonden worden, dan zijn de data uit de steekproef binomiaal(k = 0 | n = 20, θ) verdeeld (zie figuur 1).

De posterior-verdeling p (θ | y) bevat de bijgewerkte kennis van de auditor over de foutkans θ na het evalueren van de data uit de steekproef y. De regel van Bayes bepaalt dat waarden van θ die de data uit de steekproef relatief goed voorspellen waarschijnlijker worden dan ze vooraf waren, terwijl waarden van θ die de steekproefuitkomsten relatief slecht voorspellen minder waarschijnlijk worden. De posterior-verdeling van θ is de bron van informatie voor de Bayesiaanse auditor, omdat de posterior-verdeling alle informatie bevat die de auditor vooraf had en alle verkrege informatie uit de steekproef.

Omdat de posterior-verdeling net als de prior-verdeling een kansverdeling is, kan de bijgewerkte kennis over de foutkans θ worden samengevat door middel van statistieken als het gemiddelde, de mediaan en de modus. De auditor kan bijvoorbeeld een uitspraak doen over de meest waarschijnlijke foutkans in de populatie door te kijken naar de modus van de posterior-verdeling. Evenzo kunnen percentielen van de posterior-verdeling worden geïnterpreteerd in termen van geloofwaardigheid (Kruschke en Liddell 2017).

In figuur 1 is de modus van de posterior-verdeling $\frac{k}{n}=0$ (Myung 2003), wat inhoudt dat de meest waarschijnlijke foutkans in de populatie 0 procent is. Het 95e percentiel van de posterior-verdeling ligt op 0,133. Dit betekent dat, met een waarschijnlijkheid van 95 procent, de foutkans in de populatie lager is dan 13,30 procent. Het 95 procent geloofwaardigheidsinterval [0, 0.133] is aangegeven met een grijs gebied in figuur 1.

In model 1 neemt de auditor aan dat de data uit alle strata uitwisselbaar zijn. Met andere woorden: de strata zijn eigenlijk overbodig, alle informatie uit de strata wordt samengevoegd en als één geheel geanalyseerd. Statistisch wil dat zeggen dat er één parameter geschat wordt, θ ϵ [0, 1], die de foutkans in de populatie vertegenwoordigt. Omdat het een Bayesiaanse analyse betreft, krijgt deze parameter θ ook een prior-verdeling toegewezen, in dit geval een beta(α = 1, β = 1) prior-verdeling. De kansdichtheid f voor de beta(α, β) prior-verdeling wordt gegeven door vergelijking 2:

$f(\theta ;\alpha ,\beta )=\frac{{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}}{B(\alpha ,\beta )}$ . (2)

Hierin stelt B (α, β) de beta-functie voor. Bij invulling van α = 1 en β = 1 is de prior-verdeling gelijk aan een uniforme verdeling. Verder zijn de data uit de steekproef binomiaal verdeeld, met als kans op een fout de eerdergenoemde parameter θ. Figuur 3 is een grafische weergave (Lee en Wagenmakers 2013, p. 37) van het model waarin de informatie tussen de strata compleet wordt samengevoegd.

Figuur 3.

Grafische weergave van een model om de foutkans θ in een populatie te schatten. Witte cirkels representeren niet geobserveerde continue parameters in het model en grijze vierkanten representeren geobserveerde discrete parameters.

Als we uitgaan van de beta(1, 1) prior-verdeling en de binomiale likelihood, kunnen de α en β parameters van de beta-posterior-verdeling voor de foutkans in de populatie vastgesteld worden. In principe kiest men in model 1 voor een gelijke trekkingskans in alle strata en verwacht men in de steekproef ook geen grote verschillen in foutfracties per stratum. Als de trekkingskansen achteraf wel blijken te verschillen, én de voorkennis door een andere reden dan de steekproefuitslag toch niet blijkt te kloppen, én de foutfracties per stratum wel blijken te verschillen, is het mogelijk om met de binnen model 1 verzamelde data op basis van het gewogen aantal fouten toch de posterior-verdeling van θ te berekenen. Zie de appendix bij dit artikel voor hoe dit in zijn werk gaat.

Het eerste voordeel van dit model is dat het een erg eenvoudig model is en dus gemakkelijk te interpreteren. Het tweede voordeel is dat er in dit model maar één prior-verdeling gebruikt wordt om de foutkans in de populatie te schatten. Dit neemt niet weg dat er op basis van de beschikbare data alsnog de mogelijkheid is om de foutkans op stratumniveau te schatten (zie het hieropvolgende model 2). Een voorbeeld van een situatie waarin dit wenselijk kan zijn is in een group audit, waarin de strata componenten of werkmaatschappijen zijn met aparte auditors. In zo’n situatie kan deze aanpak passend zijn als de component auditors niet op de hoogte zijn van elkaars werk, maar de group auditor dit wel is. Het nadeel van dit model is dat de aanname dat alle foutkansen in alle strata gelijk worden geacht erg sterk is. Tot slot is een nadeel van deze methode dat het niet (eenvoudig) mogelijk is om extra kennis toe te voegen aan het model.

In model 2 neemt de auditor aan dat er geen relatie bestaat tussen de data afkomstig uit de verschillende strata. Dit resulteert in een statistisch model waarin geen informatie tussen strata wordt gedeeld: voor elk stratum i wordt een aparte parameter voor de foutkans θ_i ϵ [0, 1] geschat. Elke parameter θ_i krijgt een beta(1, 1) prior-verdeling toegewezen. De data uit de steekproef worden verondersteld voor elk stratum binomiaal verdeeld te zijn met voor elk stratum een foutkans θ_i. Figuur 4 is een grafische weergave van het model waarin geen informatie tussen de strata wordt samengevoegd.

Figuur 4.

Grafische weergave van een model om de foutkansen θ_i in een aantal strata te schatten. De dubbele witte cirkel representeert θ. Deze is deterministisch bepaald (niet geobserveerd en continu) zodra de θ_i bekend zijn (zie appendix).

Gegeven de beta(1, 1) prior-verdeling en de binomiaal likelihood kunnen we de posterior-verdeling van θ_i vaststellen op een beta(1 + k_i, 1 + n_i − k_i) verdeling. Hoewel deze methode primair gericht lijkt te zijn op de schatting van foutkansen per stratum, is het dankzij de zogenoemde Method of Moments toch mogelijk om een verdeling van de foutkans op populatieniveau te bepalen. Deze zogenaamde momentenmethode wordt beschreven door Sellke (1983) en Stewart (2013) en veronderstelt dat de som van de individuele posterior-verdelingen per stratum te benaderen is met een nieuwe beta-verdeling, waarvan de parameters berekend worden uit de beta(α_i, β_i) posterior-verdelingen per stratum. Zie de appendix bij dit artikel voor deze berekeningen.

Zolang er geen voorkennis is over hoe de foutkans varieert per stratum, maar alleen dat deze varieert, kan de auditor naast de momentenmethode ook kiezen voor de eerdergenoemde gewogen methode. Bij gebrek aan stratumspecifieke informatie kan de prior immers op het niveau van de populatie worden gedefinieerd. De gevonden fouten per stratum, die als fractie van de steekproefomvang zullen verschillen als de voorkennis juist is, worden nu gewogen naar rato van de steekproefomvang alvorens ze verwerkt worden als likelihood in de posterior-verdeling.

Een voordeel van dit model is dat het leidt tot relatief eenvoudige statistische berekeningen: de parameters zijn gemakkelijk te schatten en te interpreteren. Het nadeel van dit model is dat de aanname dat alle foutkansen in de strata niet gerelateerd zijn aan elkaar, een erg restrictieve aanname is. Voor de momentenmethode geldt nog een ander nadeel: om te komen tot de kansverdeling voor de foutkans in de populatie θ worden de onzekerheden uit de prior-verdelingen per stratum gestapeld bij het optellen. Het gebruik van de beta(1, 1) prior-verdeling per stratum, die grote foutkansen net zo waarschijnlijk acht als zeer kleine foutkansen, zal daarom in de momentenmethode bij veel strata een grote conservativiteit in de posterior-verdeling voor θ bewerkstelligen. De gewogen methode kent dit nadeel niet, maar wel een ander nadeel: de methode dwingt niet af hoe de steekproef over de strata verdeeld moet worden om op totaalniveau een representatief beeld van de gehele populatie te verkrijgen. Hoewel de gewogen methode vaak gebruikt wordt in onderzoeken op basis van surveys, is deze niet omstreden. Zie bijvoorbeeld Gelman (2007, p. 153), die zijn artikel opent met “Survey weighting is a mess”. Overigens biedt Neyman allocatie (zie bijvoorbeeld Mathew et al. 2013) wel een handvat om de totale steekproefomvang over de strata te verdelen.

In model 1 neemt de auditor aan dat de strata niet van elkaar verschillen en in model 2 neemt de auditor aan dat er geen relatie bestaat tussen de data afkomstig uit de verschillende strata. In model 3 zit de auditor conceptueel tussen model 1 en model 2 in. De data afkomstig uit de verschillende strata zijn niet totaal verschillend van elkaar; er zijn gelijkenissen tussen de data in de verschillende strata. De sterke aanname dat de data binnen een stratum perfect homogeen zijn en dat de data tussen de strata perfect heterogeen zijn, is vaak niet realistisch. Een zekere mate van samenvoeging van deze aannames sluit dan beter aan op de aanwezige voorkennis.

Hiervoor kan de auditor een hiërarchisch model specificeren. Hiërarchische modellen worden toegepast in allerlei wetenschappelijke vakgebieden om rekening te houden met onderliggende relaties tussen parameters in een model (Gelman et al. 2013, hoofdstuk 5). Een hiërarchisch model schat de foutkans van de populatie samen met de foutkansen per stratum, waarmee impliciet de hoeveelheid informatie wordt bepaald die wordt gedeeld tussen de strata. Dat heeft als gevolg dat dat schattingen van de foutkans op stratumniveau allemaal tot op zekere hoogte worden gebiased in de richting van de schatting van de foutkans op populatieniveau, en als gevolg winnen aan nauwkeurigheid (Efron and Morris 1977). Met andere woorden: dit model introduceert bias in de schattingen, met als resultaat kleinere variantie in de schattingen (Gelman et al. 2013, p. 101; Hastie et al. 2001, hoofdstuk 2).

Zoals in de eerdere twee modellen wordt er een prior-verdeling gedefinieerd voor de parameters die geschat worden. Omdat dit een hiërarchisch model is, zit er ook een hiërarchie in de constructie van de priors. De auditor kiest in dit geval een prior-verdeling voor de foutkans per stratum, waarbij de parameters van die prior zelf ook weer worden geschat (en dus ook een prior-verdeling nodig hebben, een zogenoemde hyperprior). In dit geval definiëren we een beta(α, β) verdeling als prior-verdeling voor de parameters θ_i. Een handige manier om de hyperpriors te specificeren, is door de α en β parameters van de beta-prior-verdeling per stratum te definiëren als α = ϕν en β = (1 − ϕ)ν (Gelman et al. 2013, p. 111). Deze herparametrisering van de prior-verdeling op stratumniveau heeft als voordeel dat de hyperparameter ϕ ϵ [0, 1] is te interpreteren als de gemiddelde² foutkans in de populatie, en de hyperparameter ν > 1 als de impliciete steekproefomvang in de prior-verdeling voor θ_i³. Voor de hyperpriors in het model volgen we Gelman et al. (2013); een beta(1, 1) verdeling als prior-verdeling voor ϕ en een Pareto(1, ³/₂) verdeling als prior-verdeling voor ν. Figuur 5 is een grafische weergave van het hiërarchische model waarin informatie tussen strata gedeeltelijk wordt samengevoegd.

Figuur 5.

Grafische weergave van een hiërarchisch model om de foutkansen θ_i in een aantal strata te schatten.

Om tot een schatting voor de foutkans in de populatie θ te komen, wordt voor deze en de volgende methode poststratificatie toegepast (Gelman and Little 1997). Hierbij wordt de steekproef gebruikt om de posterior-verdeling van de foutkans binnen elk stratum te schatten, waarna de posterior-verdelingen op stratumniveau geaggregeerd worden om tot een schatting op populatieniveau te komen. Dit doen we door de posterior-verdeling voor elk stratum te wegen naar het relatieve aandeel van dat stratum in de populatie.

Een voordeel van dit model is dat de aanname dat de data afkomstig uit de verschillende strata bepaalde overeenkomsten kunnen hebben, vaak realistisch is. Dit type model sluit dus in veel gevallen beter aan bij de voorkennis van de auditor dan modellen zoals model 1 en model 2. Een nadeel van dit model is dat, door het introduceren van hiërarchie, de statistische modelstructuur complexer is dan bij de voorgaande modellen. Een ander nadeel is dat het definiëren van de hyperpriors niet triviaal is en betrokkenheid vergt van een statisticus die bekend is op dit vlak. In elk geval is het aan te bevelen om bij twijfel over de keuze van de hyperpriors verschillende prior-verdelingen te gebruiken en de daaruit volgende schatters ook te vergelijken. Door het effect van de hyperpriors in kaart te brengen, kan de auditor namelijk een uitspraak doen over de robuustheid van de schattingen. Als verschillende prior-verdelingen leiden tot dezelfde schattingen, kunnen de schattingen als robuust beschouwd worden en is de impact van de hyperprior dus verwaarloosbaar. Echter, als de hyperpriors cruciaal blijken te zijn voor de gevolgtrekking van de auditor, dan dient dit meegenomen te worden in de onderbouwing van de uiteindelijke prior-verdeling. In dit laatste geval is het aan te raden om verdere voorkennis te vergaren, die kan worden gebruikt om een meer informatieve hyperprior-verdeling te construeren.

Het opstellen van informatieve hyperpriors kan bijvoorbeeld door eerder vergaarde informatie (bijv. uit risico-inschattingen) mee te nemen in de prior-verdeling voor de gemiddelde fout in de populatie ϕ (Derks et al. 2021a). Daarnaast kan de prior-verdeling voor ν, die de hoeveelheid informatie bepaalt die in het model wordt samengevoegd, geïnformeerd worden door informatie met betrekking tot de gelijkenis tussen de strata. Meer kansmassa bij grotere waarden van ν impliceert dat de auditor a priori meer belang toekent aan eigenschappen die een stratum erft uit de totale populatie (bijvoorbeeld een serie filialen met personeel dat rouleert over de filialen en één centrale AO/IC en één ERP-systeem); meer kansmassa bij kleinere waarden van ν impliceert dat de auditor a priori minder belang toekent aan eigenschappen die een stratum erft uit de totale populatie (bijvoorbeeld filialen in een franchiseformule met alleen centrale inkoop). De auditor is hierbij niet gebonden aan de in dit artikel gebruikte Pareto- en beta-prior-verdelingen, maar kan de kansverdeling bepalen die het beste aansluit op de aanwezige voorkennis. We benadrukken dat zo’n specifieke prior voor ϕ en ν alleen nodig is indien de impact van de hyperprior groot is. Immers, als die impact klein is, zit de optimale mix tussen welk gedeelte een stratum erft uit de populatie en welk gedeelte binnen een stratum wordt bepaald, al verwerkt in de posterior-verdeling.

Model 4 is qua aannames vergelijkbaar met model 3, met één belangrijk verschil: De auditor neemt nog extra informatie mee in het model. Om dit te doen beschouwen we een alternatieve parametrisering in termen van de log-odds van de foutkans middels een parameter ξ_i ϵ [-∞, ∞]. De log-odds zijn gelinkt aan de foutkans middels de logit-transformatie als:

${\xi }_i=logit\left({\theta }_i\right)=\ln \left(\frac{{\theta }_i}{1-{\theta }_i}\right)$ . (3)

Zo komt bijvoorbeeld een foutkans van θ_i = 0,05 overeen met odds van $\frac{0,05}{1-0,05}=\frac{1}{19}$ en daarmee log-odds van$\ln \left(\frac{1}{19}\right)=-2,94$ . De steekproefuitkomsten in elk stratum zijn in dit model nog steeds binomiaal verdeeld, maar nu gekoppeld aan de parameter ξ_i middels de logit-transformatie. De inverse logit functie in vergelijking 4 wordt gebruikt om de log-odds ξ_i terug te transformeren naar een corresponderende foutkans θ_i, zie figuur 6. Wederom heeft elk stratum zijn ‘eigen’ log-odds, die gerepresenteerd worden door de parameter ξ_i .

Figuur 6.

De logistische (inverse logit) functie. De waarde voor de log-odds ξ_i kan variëren van -∞ tot ∞ terwijl de waarde voor de foutkans θ_i altijd tussen 0 en 1 ligt.

${logit}^{-1}\left({\xi }_i\right)=\frac{1}{1+e^{-{\xi }_i}}={\theta }_i$ (4)

Een groot voordeel van het formuleren van het probleem in termen van de log-odds is dat het gemakkelijk is om andere variabelen (op elk wenselijk niveau) toe te voegen aan het model (Gelman and Hill 2007). Hetzelfde principe van het vinden van een compromis tussen de twee uitersten van volledig samenvoegen van informatie en niet samenvoegen van informatie geldt namelijk ook voor uitgebreidere modellen. Het toevoegen van extra kennis kan nog een extra slag in efficiëntie bewerkstelligen, doordat er meer informatie tussen de strata gedeeld kan worden.

Figuur 7 is een grafische weergave van het logistische model waarin informatie tussen strata gedeeltelijk wordt samengevoegd en er extra kennis per stratum x_i wordt opgenomen. De getransformeerde foutkans heeft in dit model een relatie met de predictor x, zodat ξ_i = ξ + σξ_i^std + γ x_i. Net als in model 3 zullen ook hier keuzes gemaakt moeten worden voor de prior-verdelingen van σ, ξ_i^std, ξ en ook voor de extra kennis in de vorm van een parameter γ die de invloed van x_i modelleert. We volgen hierin Carpenter (2016): σ krijgt een standaard half-normaalverdeling als prior-verdeling en elke ξ_i^std krijgt een standaard normale verdeling als prior-verdeling. De parameter ξ krijgt als prior-verdeling een normale verdeling toegewezen met gemiddelde -3 en standaarddeviatie 2. Op de ongetransformeerde schaal ligt 95 procent van de kansmassa van deze prior-verdeling tussen de 0 en 71 procent, met als mediaan 4,7 procent. De parameter γ krijgt net als ξ een normale prior-verdeling toegewezen, maar nu met een verwachtingswaarde van 0 en een standaarddeviatie van 100, waarmee wordt aangegeven dat er vooraf geen idee bestaat over de omvang en de richting van de invloed van x.

Figuur 7.

Grafische weergave van een hiërarchisch logistisch model om de log-odds ξ_i in een aantal strata te schatten middels een extra predictor.

Een nadeel van dit model is dat er, net als in het vorige model, steeds meer complexiteit wordt toegevoegd. Dit wil zeggen dat de auditor goed dient samen te werken met een statisticus, zodat alle aannames en statistische uitwerkingen daarvan goed kunnen worden uitgelegd en verantwoord. Een voordeel van dit model is dat het veel mogelijkheden biedt aan de auditor om extra kennis toe te voegen aan het model. Dat zal de transparantie en efficiëntie ten goede komen, omdat de auditor dan op een transparante manier kan uitleggen welke impact extra kennis heeft op de uitkomsten. Het toevoegen van relevante extra kennis zal ook de schattingen van het model verbeteren, en dus de efficiëntie ten goede komen.