Modellen voor fraudedetectie zijn veelal gebaseerd op de prikkels en risicofactoren die zijn geïdentificeerd in fraudeonderzoeken. Ndofor et al. (2015) ontdekten dat wanneer het management aandelen bezit, de kans op financiële fraude toeneemt. Het risico op fraude is ook groter wanneer een bedrijf een bestuur heeft dat wordt gedomineerd door een paar individuen (Wang et al. 2011). Agostini and Favero (2013) stellen dat fraude in de jaarrekening het gevolg is van druk die wordt uitgeoefend door investeerders en analisten. Ten slotte laten onderzoeken zien dat de kans op fraude hoger is naarmate de financiële resultaten van bedrijven verslechteren (Beasley et al. 2010; Rezaee 2005).

Onderzoekers hebben de risicofactoren verwerkt in fraudedetectiemodellen. Dergelijke modellen bevatten bijvoorbeeld variabelen vanuit de jaarrekening die de financiële conditie meten (Persons 1995). Beneish (1997) gebruikt daarnaast het percentage aandelen van het management als variabele voor het detecteren van manipulatie van de Generally Accepted Accounting Principles (GAAP). Verschillende onderzoekers ontwikkelden modellen met financiële ratio’s, die een verhouding tussen twee waardes uit de jaarrekening weergeven, voor het detecteren van indicaties van fraude in jaarverslagen (Hoogs et al. 2007; Huang et al. 2012; Kaminski et al. 2004; Perols 2011; Ravisankar et al. 2011). Grove and Basilisco (2008) tonen aan dat de financiële informatie alleen niet voldoende is om indicaties van fraude op te sporen. Zij combineren daarom de financiële ratio’s met informatie over de corporate governance. De beperkte detectiemogelijkheden van alleen financiële ratio’s zouden ook kunnen worden verbeterd door het meenemen van de tekstuele informatie.

De hoeveelheid tekst in het jaarverslag is de afgelopen decennia flink toegenomen (Beattie et al. 2008; Goel and Gangolly 2012). Deze toename is voor het grootste deel toe te schrijven aan het vrijwillig vrijgeven van informatie. Als gevolg van deze ontwikkeling hebben onderzoekers de teksten geanalyseerd voor verschillende doeleinden. Li (2006) gebruikt de frequentie van woorden gerelateerd aan risico en onzekerheid in jaarverslagen op form 10-K² om lagere toekomstige winsten te voorspellen. Een ander onderzoek ontdekt dat managers de concurrentie-informatie in het bestuursverslag verdraaien (Li et al. 2011). Smith and Taffler (1999) vinden dat negatieve resultaten worden verklaard in technische boekhoudkundige termen terwijl positieve resultaten in termen van oorzaak en gevolg worden uitgelegd. Clatworthy and Jones (2003) constateren dat management de neiging heeft om de externe omgeving de schuld te geven van negatieve resultaten en tegelijkertijd de eer op zich te nemen voor de goede resultaten. Verschillende onderzoekers onderzoeken de mogelijkheid om tekst te gebruiken voor het voorspellen van faillissementen (Balakrishnan et al. 2010; Cecchini et al. 2010; Hájek and Olej 2013; Smith and Taffler 1999).

De toename in de hoeveelheid tekst bevordert de mogelijkheid om tekst te gebruiken in fraudedetectieonderzoek. Voor de ontwikkeling van fraudedetectiemethoden die gebruik maken van tekst kan worden geprofiteerd van de kennis die is opgedaan in onderzoeken naar de detectie van leugens. Net als bij fraude is bij liegen sprake van een opzettelijke poging om anderen te misleiden. Burgoon et al. (2003) analyseren chat-teksten en concluderen dat taalgebruik van leugenaars verschilt van dat van waarheidsvertellers. Verschillende onderzoekers tonen aan dat tekstuele kenmerken geschikt kunnen zijn voor het automatisch detecteren van leugens (Newman et al. 2003; Zhou et al. 2004). DePaulo et al. (2003) ontdekken bijvoorbeeld dat leugenaars minder details geven dan de waarheidsvertellers.

Een mogelijk probleem bij het toepassen van methoden uit het leugendetectieonderzoek op financiële verslagen is dat dit type document door meerdere personen kan zijn geschreven waarbij mogelijk niet iedereen direct betrokken is bij de fraude. De schrijver van de verslagen is misschien niet altijd degene die bewust liegt. Desalniettemin hebben onderzoekers de technieken voor leugendetectie getest voor de detectie van fraude in 10-K jaarverslagen (Humpherys et al. 2011; Skillicorn and Purda 2012). Wang and Wang (2012) tellen woorden die relevant zijn voor leugendetectie voor het detecteren van fraude in een zeer gelimiteerde dataset met vijf fraudezaken. Goel and Gangolly (2012) vinden dat frauduleuze en niet-frauduleuze 10-K jaarverslagen significant verschillen op complexiteit van zinnen, leesbaarheid en het gebruik van negatieve woorden, passief taalgebruik en woorden die duiden op onzekerheid. Naast het direct overnemen van de kenmerken uit het leugendetectieonderzoek hebben onderzoekers deze kenmerken gecombineerd met patronen die door middel van machine learning automatisch uit de tekst worden geëxtraheerd voor het detecteren van fraude in 10-K jaarverslagen of 10-Q kwartaalverslagen (Cecchini et al. 2010; Glancy and Yadav 2011; Goel et al. 2010; Purda and Skillicorn 2010, 2015). Het onderzoek beschreven in dit artikel heeft de meeste raakvlakken met deze laatstgenoemde onderzoeken. In plaats van alleen 10-K jaarverslagen zijn jaarverslagen van bedrijven wereldwijd gebruikt. Daarnaast is een grotere dataset gebruikt. De genoemde onderzoeken gebruiken een dataset waarbij 50% van de verslagen frauduleus is. De dataset is een steekproef van de totale populatie van jaarverslagen. Wanneer de dataset een goede weergave van de werkelijkheid is, is de kans groter dat deze steekproef representatief is voor de gehele populatie jaarverslagen. Dan is het aannemelijk dat de resultaten verkregen met de dataset ook gelden voor de gehele populatie jaarverslagen. Paragraaf 3 beschrijft de volledige onderzoeksmethode.

De dataset bestaat uit jaarverslagen van bedrijven wereldwijd, alle Engelstalig, waarvan het merendeel jaarverslagen betreft van bedrijven die op Amerikaanse beurzen genoteerd zijn. Voor de ontwikkeling van een model dat jaarverslagen toekent aan de categorieën ‘fraude’ en ‘geen fraude’, zijn jaarverslagen nodig waarvan bekend is dat zij in een van deze categorieën vallen. Welke jaarverslagen fraude bevatten is bepaald op basis van nieuwsberichten en de Accounting and Auditing Enforcement Releases (AAER’s) die gepubliceerd worden door de Securities and Exchange Commission (SEC), de Amerikaanse beurswaakhond. Fraudezaken worden alleen geselecteerd uit nieuwsberichten wanneer deze worden beschreven in meerdere media en als onderzoek heeft aangetoond dat er sprake was van fraude. Zaken die nog worden onderzocht of waarbij de conclusie fraude niet kan worden getrokken worden niet meegenomen. De AAER’s bevatten alle sancties van de SEC, niet alleen die gerelateerd aan fraude. Voor het bepalen van frauduleuze jaarverslagen zijn alleen de AAER’s geselecteerd waarin het woord ‘fraud’ en een term die wijst op een jaarverslag, zoals ‘10-K’, ‘20-F’³ of ‘annual report’, voorkomen. Op basis van de informatie verstrekt in de nieuwsberichten en de AAER’s zijn de jaarverslagen verzameld die in de dataset de categorie ‘fraude’ vormen.

Voor elk jaarverslag in de categorie ‘fraude’ zijn ten minste drie jaarverslagen verzameld van gelijksoortige bedrijven, waarvoor geen frauduleuze activiteiten bekend zijn. Wanneer fraude niet gedetecteerd is betekent dat niet dat er geen fraude heeft plaatsgevonden. In dit onderzoek wordt het principe ‘onschuldig tot het tegendeel bewezen is’ gevolgd. De ‘fraude’- en ‘geen fraude’-jaarverslagen worden gematcht op basis van het jaar waarop het jaarverslag betrekking heeft, de sector waarin het bedrijf werkzaam is en het aantal medewerkers als indicatie voor de omvang van het bedrijf. Vanwege de aanname dat er meer bedrijven niet betrokken zijn bij fraude dan wel, zijn voor elk frauduleus jaarverslag meerdere niet-frauduleuze jaarverslagen geselecteerd. Het totaal aantal jaarverslagen in de dataset is 1.727. Hiervan vallen er 402 in de categorie ‘fraude’ en 1.325 in de categorie ‘geen fraude’. De geselecteerde jaarverslagen gaan over de periode van 1999 tot en met 2011. Door de goede vastlegging en openbaar maken van sancties en jaarverslagen door de SEC bestaat het merendeel van de dataset uit jaarverslagen van Amerikaanse en niet-Amerikaanse bedrijven die op Amerikaanse beurzen genoteerd zijn.

Het onderzoek beschreven in dit artikel wordt uitgevoerd met de management discussion and analysis-sectie (MD&A) uit de jaarverslagen. Dit is het meest gelezen deel van het jaarverslag (Li 2010). In jaarverslagen die gerapporteerd worden aan de SEC, de Form 10-K en Form 20-F, is de MD&A-sectie een apart gedefinieerde sectie. De overige jaarverslagen zijn ‘free format’, maar bevatten wel secties die de financiële resultaten van het afgelopen jaar beschrijven. Het handmatig extraheren van de MD&A-secties is tijdrovend. Wij hebben daarom een methode ontwikkeld die deze secties automatisch uit de 10-K en 20-F jaarverslagen haalt. Het algoritme herkent het begin van de MD&A-sectie op basis van de eerste vier woorden van het kopje van de sectie. Ook de sectie volgend op de MD&A-sectie wordt op deze manier herkend zodat het algoritme weet waar de MD&A-sectie eindigt. Het algoritme houdt rekening met variaties die bestaan in de kopjes. Met deze methode is de MD&A-sectie van 96% van de jaarverslagen die zijn gerapporteerd op form 10-K of form 20-F geselecteerd. De MD&A-secties van de andere 10-K, 20-F en overige jaarverslagen zijn handmatig geëxtraheerd.

Een machine learning-model heeft een gestructureerde representatie van de data nodig om patronen in deze data te kunnen leren. Het omzetten van tekst naar een gestructureerde representatie die een computer kan begrijpen wordt feature extraction and selection genoemd. Er bestaat een verscheidenheid aan features die uit tekst kunnen worden bepaald. Voor het onderzoek beschreven in dit artikel zijn de features bepaald die in eerdere onderzoeken naar fraudedetectie in tekst en leugendetectie succesvol waren.

In essentie is tekst een aaneenschakeling van woorden. Het is daarom begrijpelijk dat de meest gebruikte feature in text mining gebaseerd is op het tellen van individuele woorden, ‘word unigrams’ genoemd (Jurafsky and Martin 2000). Probleem hierbij is dat het aantal woorden in documenten vaak te groot is. Om dit te ondervangen wordt gebruik gemaakt van feature selection-stappen. Deze reduceren het aantal features zonder verlies van informatie. In dit onderzoek hebben we een statistische methode, de chi-kwadraat, gebruikt voor het selecteren van de mogelijk meest informatieve features. Initieel selecteren we de top 1.000 meest informatieve features als input voor de machine learning-algoritme beschreven in paragraaf 3.3. Deze top 1.000 wordt incrementeel verhoogd met de volgende top 1.000 meest informatieve features om te bepalen of het toevoegen van meer features het resultaat van het model verbetert. Op eenzelfde manier als de word unigrams kunnen groepjes van twee opeenvolgende woorden dienen als features. Dit worden ‘word bigrams’ genoemd. Een combinatie van word unigrams en word bigrams is ook een mogelijkheid.

Naast het tellen van de individuele woorden bestaan er features die gebaseerd zijn op formules of het tellen van woordcategorieën. De formules beschrijven de teksten op verschillende manieren. Zo bestaat er een formule die de lexicale diversiteit berekent. De lexicale diversiteit drukt uit hoeveel verschillende woorden gebruikt worden in de tekst. De tekstcomplexiteit kan gemeten worden aan de hand van de formules die bestaan uit de gemiddelde zinslengte, het percentage lange zinnen en het percentage complexe woorden dat voorkomt in de tekst. Formules voor leesbaarheid van de tekst berekenen veelal hoeveel jaar onderwijs iemand nodig heeft om de tekst te kunnen begrijpen. De grammaticale features vatten de soorten woordgroepen die voorkomen in de tekst of de constructie van de zinnen samen. De woordgroepen bestaan uit woorden met grammaticale kenmerken die overeenkomen. Voorbeelden hiervan zijn werkwoorden en zelfstandig naamwoorden. Ten slotte is er een categorie met psychologische features. Sinds het begin van psychologisch onderzoek bestaat het idee dat mensen gedachten en intenties uitdrukken via taal (Tausczik and Pennebaker 2009). Pennebaker et al. (2007) hebben een programma, de ‘Linguistic Inquiry and Word Count’ (LIWC) ontwikkeld die dergelijke gedachten en intenties mogelijk extraheert. De psychologische kenmerken die in onderzoeken naar leugendetectie succesvol waren zijn onder andere positief en negatief woordgebruik en woorden die duiden op angst of een mate van zekerheid. Op deze manier onderscheiden wij in totaal zes categorieën features, te weten ‘woorden tellen’, ‘beschrijvend’, ‘tekstcomplexiteit’, ‘leesbaarheid’, ‘grammatica’ en ‘psychologisch’.

Machine learning is een computer science-methode en een breed onderzoeksveld binnen kunstmatige intelligentie dat zich bezig houdt met de ontwikkeling van algoritmen en technieken waarmee computers kunnen leren (Wikipedia). In dit onderzoek leert een machine learning-algoritme op basis van de features wanneer een jaarverslag aangemerkt kan worden als frauduleus of niet-frauduleus.

De ontwikkeling van een machine learning-model vereist twee datasets: een dataset voor het ontwikkelen van het model, de ontwikkelingsset, en een dataset waarop de prestaties van het model kunnen worden getest, de validatieset. Daarom wordt de totale dataset beschreven in paragraaf 3.1 willekeurig verdeeld in een ontwikkelingsset en een validatieset. De ontwikkelingsset omvat 70% van de gegevens, terwijl de resterende 30% bewaard wordt om de prestaties van het definitieve model te evalueren, nadat de ontwikkeling is voltooid.

Een machine learning-algoritme heeft features nodig als input. Voor dit onderzoek zijn op de ontwikkelingsset experimenten uitgevoerd met verschillende combinaties van de features zoals beschreven in paragraaf 3.2. Er ontstaan daardoor meerdere modellen. Het basismodel gebruikt alleen de word unigrams als input voor de machine learning-algoritmen. De andere categorieën features, ‘beschrijvend’, ‘tekstcomplexiteit’, ‘leesbaarheid’, ‘grammatica’ en ‘psychologisch’, worden hier om de beurt aan toegevoegd om vast te stellen of deze categorieën informatie toevoegen aan het basismodel dat alleen gebruik maakt van de unigrams. De beste resultaten in deze ontwikkelingsfase worden vervolgens getest op de validatieset.

Er bestaat een verscheidenheid aan machine learning-algoritmen. Voor dit onderzoek gebruiken we twee machine learning-algoritmen die in eerdere text mining-onderzoeken succesvol waren, te weten Naive Bayes (NB) en Support Vector Machine (SVM) (Cecchini et al. 2010; Conway et al. 2009; Glancy and Yadav 2011; Goel et al. 2010; He and Veldkamp 2012; Joachims 1998; Manning and Schütze 1999; Metsis et al. 2006; Purda and Skillicorn 2015). Beide algoritmen kiezen een andere benadering. Het NB-algoritme berekent de kansen dat een jaarverslag behoort tot de twee categorieën 'fraude' en 'geen fraude'. In de berekening van deze kansen gebruikt het algoritme de features. Het jaarverslag wordt vervolgens toegewezen aan de categorie met de hoogste kans. Het SVM-algoritme wijst elk jaarverslag als een punt toe in een wiskundige ruimte op basis van de features. De categorie waaraan een jaarverslag wordt toegewezen hangt af van de locatie van het jaarverslag in die ruimte. Een jaarverslag bevindt zich aan de kant van ‘fraude’ of aan de kant van ‘geen fraude’ van de door de SVM bepaalde scheidslijn. Voor meer informatie over machine learning en machine learning-algoritmen verwijzen we naar Tan et al. (2005); Joachims (1998); Manning and Schütze (1999).