Corresponding author: Gert de Jong ( g.p.de.jong@hva.nl ) Academic editor: Chris D. Knoops
© 2020 Gert de Jong, Frank de Graaf.
This is an open access article distributed under the terms of the Creative Commons Attribution License (CC BY-NC-ND 4.0), which permits to copy and distribute the article for non-commercial purposes, provided that the article is not altered or modified and the original author and source are credited.
Citation:
de Jong G, de Graaf F (2020) Over het meten van gedragsaspecten in organisaties. Maandblad Voor Accountancy en Bedrijfseconomie 94(5/6): 231-241. https://doi.org/10.5117/mab.94.48497
|
De term soft control wordt gebruikt voor een keur aan sturings- en beheersmaatregelen die organisaties helpen op koers te blijven. Ze hebben vooral betrekking op gedrag en cultuur. Uit ons inventariserend onderzoek blijkt dat er geen eenduidigheid over de definitie van soft control is en al helemaal niet over de manier waarop soft control wordt uitgewerkt. Hierdoor zijn veel uitwerkingen en meetinstrumenten voor soft control in omloop. In dit artikel vragen we ons af hoe we de kwaliteit van meetinstrumenten voor soft control kunnen beoordelen. Op basis van een aantal methodologische criteria ontwikkelen we een ordeningskader van deze instrumenten. Hiermee scheppen we helderheid in de fascinerende wereld van sociaalwetenschappelijke meetinstrumenten.
Soft control, vragenlijsten, pragmatisme, methodologie
Er is grote behoefte om te werken met soft-controlinstrumenten als sturingsmechanisme. Echter, zowel over de definiëring als de uitwerking is nog weinig consensus, waardoor een veelheid van uitwerkingen en vragenlijsten in omloop is gekomen. Het is voor ondernemers en managers lastig om uit die veelheid van (sociaalwetenschappelijke) meetinstrumenten de juiste te kiezen.
In dit artikel geven we een benadering naar vier niveaus van nauwkeurigheid. De voors en tegens van die verschillende niveaus bespreken we aan de hand van de methodologische begrippen validiteit, betrouwbaarheid en bruikbaarheid. Wil men op een zinnige manier werken met soft control dan is het namelijk allereerst van belang te weten wat men ermee wil bereiken. Het antwoord op die vraag bepaalt hoe nauwkeurig men soft control wil meten. Onze indeling in vier niveaus helpt om die keuze te maken.
Hiermee geven we een kompas om de weg te vinden in de wereld van vragenlijsten en uitwerkingen over soft control en een interpretatiekader om uitkomsten van die vragenlijsten te kunnen duiden.
Organisaties hebben behoefte aan control. Ze willen ‘op koers’ blijven en risico’s beheersen. Om gedrag en cultuur te kunnen beïnvloeden, is het van belang die cultuur en dat gedrag te beschrijven zodat passende interventies kunnen worden gepleegd. Nu weten we inmiddels al veel over gedrag en cultuur. Het is het terrein van de sociale wetenschappen, met name psychologie en sociologie. Hier worden instrumenten ontwikkeld die inzage geven in menselijk gedrag, al dan niet in relatie tot of ontstaan uit de wisselwerking met de omgeving (e.g.
De wetenschappelijke inzichten zijn de afgelopen jaren vertaald in een veelheid aan meetinstrumenten in de praktijk. Deze worden soms ook wel aangeduid met de term ‘scan’ (quickscan, motivatiescan, soft-controlscan, cultuurscan). In dit artikel gebruiken we geregeld deze term. We brengen een aantal van die scans in kaart en vragen ons af hoe we de bruikbaarheid en kwaliteit van de instrumenten kunnen beoordelen.
Op het eerste gezicht blijken er namelijk veel overeenkomsten te zijn tussen de scans, terwijl er op hetzelfde moment veel verschillende dimensies worden benoemd in woorden die op elkaar lijken. Dit maakt het moeilijk te beoordelen welk instrument een goed instrument is voor welk doel. Daardoor wordt het lastig om iets te zeggen over cultuur en gedrag in organisaties, en dit herbergt het gevaar in zich dat praktijkmensen aan de slag gaan met een instrument dat ondeugdelijk is, of onvoldoende passend en behulpzaam. Wij ontwikkelen in dit artikel een beoordelingskader voor managers, ondernemers en onderzoekers. Onze analyse maakt het mogelijk om te gaan met de grote variatie aan ‘soft-controlscans’ of vragenlijsten.
We komen daarbij tot een indeling in vier manieren om met soft control te werken (we vatten die samen in vier ’typen’ soft-controlscans). Daarbij is één vraag cruciaal: wat wil men nu precies met soft control bereiken? Het antwoord op die vraag bepaalt welke scan van die vierdeling het meest passend is. Die vraag, wat men wil bereiken, is niet zomaar een opstap om tot onze systematisering te komen. Ons inziens blijft die vraag veelal impliciet en als de vraag niet helder is, kan ook niet worden bepaald of de antwoorden adequaat zijn. Het beantwoorden van die vraag is dus een essentiële stap in het adequaat werken met soft control.
De opbouw van dit artikel is als volgt. We beginnen met een begripsbepaling van soft control. Dat is van belang want – zoals gezegd – er lijkt nog geen eenduidige definitie voorhanden. We inventariseren daarom enkele definities en vatten daaruit de grote gemene deler samen. We plaatsen daarbij soft control tegenover hard control; immers, als er zoiets als soft control bestaat, zal er ook hard control zijn.
Daarna geven we een globaal overzicht van ons onderzoek naar uitwerkingen van soft control. Dat overzicht kan volgens ons globaal blijven, want het gaat ons niet om een uitputtend overzicht. De inventarisatie roept veeleer de eerder aangeduide cruciale vraag naar het waarom van soft control op.
Na dit overzicht en een reflectie op de grote verscheidenheid, werken we toe naar onze systematisering. De basis van die systematisering vinden we in een drietal methodologische begrippen. Met die systematisering schetsen we aansluitend hoe die systematisering kan helpen met het werken met soft control in de praktijk. We vermelden daar onze vier ‘typen’ soft-controlscans. We besluiten dit artikel met het thematiseren van de vraag waarom en vervolgens hoe men met soft control zou werken.
De term soft control is de afgelopen twintig jaar langzaam in zwang geraakt, met name op het grensvlak van wetenschap en praktijk. Binnen management accounting en control is er echter al veel langer aandacht voor beleid dat verder gaat dan traditionele instrumenten waarin financiële of andere meetbare gegevens een rol spelen.
In het Nederlandse taalgebied werken verschillende auteurs ieder met hun eigen definitie van soft control. Zo stelt
Hoe de term ‘soft’ uit soft control moet worden verstaan is evenmin eenduidig. Volgens Bode en Schijf betreft het de intentie van de beheersmaatregel: “Overigens moet de term ‘soft control’ niet verward worden met het ontbreken van de ‘hardheid’ van de beheersingsmaatregel. Het onderscheid tussen hard en soft controls ligt niet in het karakter van de beheersingsmaatregel zelf, maar wordt bepaald door de organisatievariabele waarop de beheersingsmaatregel van toepassing is (de intentie). Als deze variabele een sociaal, cultureel of psychologisch organisatieaspect vertegenwoordigt, kunnen de betreffende beheersingsmaatregelen worden beschouwd als soft controls.” (
Hartog and De Korte (2013, p. 1) zeggen dat controls ‘soft’ zijn, moet worden begrepen als “moeilijk meetbaar en daardoor leidend tot subjectieve oordelen”.
We zien dus dat binnen het Nederlandse taalgebied verschillende omschrijvingen worden gebruikt. Ondanks het verschil in formulering, zien we wel een grote gemene deler: het draait om cultuur en gedrag op de werkvloer. Cultuur en gedrag worden als sturings- en beheersmaatregelen gezien om richting te geven aan organisaties; om organisaties ‘in control’ te houden. Ze worden daarbij gezien als aanvullend op hard controls. Die aanvulling op hard controls is gewenst, omdat het werken daarmee grenzen heeft. Of beter: een optimum kent.
Dat blijkt uit een veel geciteerde bevinding van
Het inzicht dat (harde) maatregelen alleen onvoldoende bijdragen aan veiligheid en foutenpreventie, zien we ook in andere literatuur. We noemen hier de publicaties van De Nederlandsche Bank (De Nederlandsche Bank 2009, 2013, 2015), die in zijn toezicht steeds meer belang gaat hechten aan gedrag en cultuur. Ook hier leeft dus blijkbaar het besef dat met alleen hard controls onvoldoende sturing kan worden gegeven.
Het belang van soft control is één ding, ermee werken een volgende. Verschillende auteurs en organisaties hebben hun eigen uitwerking; we laten dat in de volgende inventarisatie zien. Het feit dat er zo veel verschillende uitwerkingen zijn roept bij ons een aantal fundamentele vragen op. Die stellen we aan de orde, na de inventarisatie.
Die uitwerkingen verschillen van elkaar in de manier waarop auteurs binnen soft control verschillende componenten onderscheiden. We gebruiken hier de algemene term ‘componenten’, in navolging van
We zien daarbij ook dat auteurs die componenten aanduiden als een soft control; in dat geval is soft control de verzamelterm of het overkoepelende begrip en zijn er zo verschillende soft controls (meervoud) te onderscheiden. Die componenten zijn dan op hun beurt te onderscheiden sturings- of beheersmaatregelen.
Uit het overzicht – waarmee we geenszins de ambitie hebben om op wat voor wijze dan ook volledig te zijn – zal blijken dat sommige componenten in de uitwerking van soft control als dimensies zijn te zien (b.v. men kan meer of minder gemotiveerd zijn, of men kan meer of minder toegewijd zijn), terwijl andere veel meer binnen een eigen taxonomie kunnen worden uitgewerkt (binnen de categorie leiderschap zijn verschillende subcategorieën te onderscheiden).
Binnen soft control worden dus verschillende componenten onderscheiden. Blijkbaar zien de verschillende auteurs soft control als een overkoepelend begrip of een bepaalde manier van benaderen, die vraagt om het nader uiteen te leggen om ermee te kunnen werken. Zo stelt Kaptein dat binnen soft control zeven componenten zijn te onderscheiden, te weten: helderheid, voorbeeldgedrag of consistentie, betrokkenheid, uitvoerbaarheid, transparantie, bespreekbaarheid en handhaving of sanctioneerbaarheid (diverse publicaties, waaronder
Sommige auteurs maken hun indeling om deze vervolgens uit te werken in vragenlijsten (ook wel aangeduid als ‘scan’). Voorbeelden hiervan zijn de bedrijven van BDO (
‘Componenten’ worden hierin geoperationaliseerd tot een set vragen of uitspraken. Met behulp van die uitspraken kan zo in beeld worden gebracht in welke mate een organisatie ‘in soft control’ is. Deze uitdrukking is overigens niet gangbaar, maar onze invulling van het feit dat men met behulp van soft control in control probeert te blijven of komen. Een vragenlijst heeft daarbij als voordeel dat het duidelijke uitkomsten op tafel legt die op hun beurt weer aanleiding kunnen zijn voor gerichte interventies. Daarbij is het dan wel zo dat de uitkomsten wellicht helder zijn, maar over de interpretatie ervan kan weer discussie ontstaan. Die discussie komt ook al eerder naar voren, zoals uit onze inventarisatie blijkt. We zien namelijk dat auteurs verschillende componenten binnen soft control onderscheiden. Dit betekent dat ze eigenlijk iets anders verstaan onder soft control.
Niet alle auteurs gebruiken overigens vragenlijsten; soms worden de componenten alleen onderscheiden en/of aangeduid als thema’s waar tijdens audits aandacht aan moet worden besteed. Kortom, we zien uiteenlopende uitwerkingen in componenten, waarbij deze soms zijn doorvertaald naar vragenlijsten of scans.
De verschillen in uitwerking betreffen soms een net iets andere formulering. Zo spreekt Mulders over verantwoordelijkheid (
In ons onderzoek kwamen we tot een inventarisatie van zeventien uitwerkingen van soft control, waarbij het aantal componenten uiteenloopt van vier tot zestien; in totaal kwamen we zo tot ruim honderd unieke formuleringen van componenten. In die inventarisatie hebben we ook
Tabel
Overzicht van diverse uitwerkingen van soft control; het getal na de dubbele punt verwijst naar het aantal componenten.
Auteur/bron | Uitwerking naar ‘soft controls’ |
---|---|
Hs R’dam (2017): 7 | Motivatie; Ethisch handelen; Betrokkenheid and loyaliteit; Zelfsturend vermogen; Vertrouwen; Leiderschap; Communicatie. |
HR/HvA: 5 | Ethisch handelen; Betrokkenheid; Motivatie; Zelfsturend handelen; Vertrouwen |
( |
Helderheid; Voorbeeldgedrag /consistentie; Betrokkenheid; Uitvoerbaarheid; Transparantie; Bespreekbaarheid; Handhaving/Sanctioneerbaarheid |
( |
Tone at the top; Mogelijkheid om incidenten te rapporteren; Integriteit van het bestuur; Openheid om issues te bespreken; Leiderschap; Verantwoordelijkheidsbesef; Voorbeeldgedrag van het middenmanagement; Bewustzijn; Vertrouwen; Betrokkenheid; Loyaliteit |
( |
Communicatie; Toewijding; Innovatie; Groepsgebaseerde beloning; Integriteit; Managementvisie en stijl van leidinggeven; Interne richtlijnen; Samenwerken; Verantwoordelijkheid; Betrokkenheid; Flexibiliteit; Persoonlijke ontwikkeling; Medewerkerstevredenheid; Doelcongruentie; Vaardigheden; Taakidentificatie |
( |
Autonomie; Tone at the top; Creativiteit; Leergedrag; Integriteit; Leiderschap; Vertrouwen; Invloed |
( |
Leiderschap; Communiceren; Faciliteren; Stimuleren; Reageren |
(Hin, Jalink, and Pfeiffer 2012): (12) | Tone at the top; Gedragen missie en visie; Communicatie; Duidelijkheid van verwachtingen; Transparantie; Effectieve controle; Interactie; Informeren; Verantwoordelijkheid nemen; Consistentie; Consequentie; Adequaat |
( |
Belief systems (zacht); Interactive control systems (zacht); (Boundary systems (hard); Diagnostic control systems (hard)) |
( |
Selection and placement; Training; Job design; Codes of Conduct; Group based rewards; Intra oganizational transfers; Physical and social arrangements; Tone of the top |
|
Belangenafweging/evenwichtig handelen; Consistent handelen; Bespreekbaarheid; Voorbeeldgedrag; Uitvoerbaarheid; Transparantie; Handhaving |
McKinsey (7s model): 8 | (Strategy (hard); Systems (hard); Structure (hard)); Values (zacht); Style (zacht); Staff (zacht); Skills (zacht); Solidarity (zacht) |
(“ |
Sales points; Team temperatuur; Happiness indicator |
(Blauw bv 2012): 5 | Verkennen; Vertellen; Verbeelden; Vernieuwen; Verwezenlijken |
( |
People’s integrity and ethical values; Organizational commitment to competence; Management’s philosophy; Management’s operating style; Management’s understanding of risk; Communication |
( |
Voorbeeldgedrag; Competenties; Respect; Vertrouwen; Transparantie; Samenwerking; Discipline; Betrokkenheid; Trots; Bespreekbaarheid; Loyaliteit; Handhaving |
AFM (2006): 6 | Doelen; Beleid; Gedrag; Sociale interactie; Resultaten; Uitkomsten |
De eerste inventarisatie ontstond tijdens het vooronderzoek van ons project Het MKB met soft controls in control. Hierin probeerden we de meest algemeen geaccepteerde en best werkbare definities te vinden, maar nadat we een grote variatie aan zowel definities als uitwerkingen hadden beschreven, bleek dat volledigheid vermoedelijk onmogelijk was. Soms waren uitwerkingen beperkt wetenschappelijk onderbouwd. Uiteindelijk hebben we na de inventarisatie van zeventien uitwerkingen, vragenlijsten of ‘scans’ de conclusie getrokken dat er niet één werkwijze is die evident beter kan worden genoemd.
Ons overzicht zoals weergegeven in Tabel
Tabel
Overzicht van het aantal keer dat bepaalde componenten voorkomen in ons totaaloverzicht van zeventien uitwerkingen van soft control.
Component | Aantal keer voorkomend in totaaloverzicht |
---|---|
Motivatie | 2 |
Ethisch handelen | 1 |
Betrokkenheid & loyaliteit | 1 |
Zelfsturend vermogen | 2 |
Vertrouwen | 5 |
Leiderschap | 4 |
Communicatie | 3 |
Meten alle soft-controlscans hetzelfde, ondanks de verschillende termen en meetwijzen, of is er iets anders aan de hand? Wanneer we het hebben over meten, denken we al snel aan iets als een thermometer, met een vaste methode en vaste schaal voor duidelijke uitkomsten. Bij soft control is er echter een grote variatie aan definities, componenten en meetwijzen, zagen we. De belangrijkste overeenkomst tussen de instrumenten lijkt dat ze als doel hebben de organisaties in control te houden en dat de ontwerpers beseffen dat alleen harde instrumenten onvoldoende zijn. Gedrag en cultuur binnen organisaties zijn even zo wezenlijk. Gedrag en cultuur zien we als de grote gemene deler binnen de definities van soft control, waarvan we hebben gezien dat er vele in omloop zijn. Kortom, het belang van soft control wordt door velen onderkend, maar er is weinig overeenstemming over wat er nu onder moet worden verstaan.
Hoe komt dat? hebben we ons herhaaldelijk afgevraagd tijdens ons onderzoek. Wat maakt nu dat ieder een eigen invulling zoekt? Dat doen we overigens zelf ook: zoals gemeld zijn we bezig met een onderzoek naar een vragenlijst voor soft control binnen het mkb (ook wij spreken over ‘een scan’) en hebben daarmee ook een eigen uitwerking ontwikkeld.
Allereerst zullen er commerciële belangen in het spel zijn. Soms worden vragenlijsten of soft-controlscans door commerciële partijen (b.v. accountantskantoren) op de markt gebracht om klanten te helpen zicht te krijgen op de mate waarin ze ‘in soft control’ zijn; wij noemden reeds BDO, Sentensor en InAudit. Een andere keer duiden de verschillende uitwerkingen volgens ons op verschillende benaderingen. Zo ligt bij Kaptein het accent op integriteit en ethisch handelen, terwijl andere auteurs meer accent lijken te leggen op het in control zijn (
Maar los van de beweegredenen om soft control op verschillende manieren uit te werken, zijn wij vooral gefascineerd door het feit waarom men allemaal eigen uitwerkingen maakt: waar richt men zich op? Waaraan moet die soft control bijdragen? In algemene termen noemden we reeds het ‘in control blijven’, specifieker zit daar het idee achter dat de werkelijkheid maakbaar is. Men probeert organisaties te sturen en (veelzeggend!) te beheersen. Blijkbaar wil men grip krijgen op alle aspecten van de organisatie zodat die zich gedraagt zoals het management wil dat het zich gedraagt. We zagen al eerder dat de zogenoemde harde beheersmaatregelen onvoldoende sturing kunnen geven en daarom probeert men ook invloed uit te oefenen op gedrag en cultuur. Dat roept het beeld op van een sterke behoefte van beheersbaarheid en maakbaarheid van de werkelijkheid. Dat geeft wel een paradoxale situatie. Immers, we zagen dat hard controls in technische zin goed te meten en te beschrijven zijn. Er kunnen duidelijke gekwantificeerde targets worden geformuleerd en er kunnen heldere voorschriften worden geschreven. Die blijken alleen niet voldoende te zijn omdat er ook nog ‘softe’ krachten in het spel zijn zoals cultuur en gedrag. Die proberen we vervolgens weer zo te formuleren dat het instrumenten worden, soms zelfs uitgewerkt in vragenlijsten, die harde cijfers opleveren. Op die manier wordt de soft control weer tot te manipuleren hard control gemaakt.
Hier lijkt een epistemologisch – de vraag naar wat we als kennis zien – paradigma achter te liggen. Is de sociale werkelijkheid 1. kenbaar en 2. maakbaar? Kenbaar heeft te maken met informatie verzamelen door onderzoekers, en of zij daarvoor buiten organisaties moeten staan, of mee moeten doen in het organisatieproces. Maakbaarheid heeft te maken met de rol van management. Kunnen managers de werkelijkheid beïnvloeden zonder dat ze er onderdeel van zijn. Veelal lijken de ontwerpers aan te nemen dat onderzoekers de werkelijkheid kunnen kennen en dat deze maakbaar is voor managers door de juiste interventies – op basis van de juiste informatie. Dat is het positivistische paradigma (
Dat alles betekent natuurlijk niet dat organisaties niet beheerst moeten worden (in control moeten zijn), maar het betekent volgens ons wel dat dit slechts in meer of mindere mate het geval kan zijn, waarbij het volledig beheersen van de organisatie buiten het bereik ligt. Wij vinden hier onze aansluiting in het pragmatisme, zoals dat zich heeft ontwikkeld uit het denken van John Dewey (1859–1952). Zie hiervoor onder andere de inleiding in het denken van Dewey in de bundel van Logister et al. (2005) en de uitwerking van het pragmatisme in de organisatiekunde door
Vanuit het pragmatisme kunnen we de verschillende uitwerkingen van soft control systematiseren. Hierbij delen we de uitwerkingen in naarmate meer nauwkeurige uitkomsten zijn te verwachten en ze dus ook meer sturings- en beheersinformatie bieden.
De vraag naar wat de uitkomsten van vragenlijsten over en uitwerkingen van soft control zeggen, is cruciaal. Om te weten welke vragenlijst al dan niet toepasbaar is, moeten we weten wat ze meten? Wat kunnen dergelijke sociaalwetenschappelijke meetinstrumenten nu eigenlijk zeggen over de werkelijkheid om ons heen? In de methodologie gaat het dan om vragen naar validiteit, betrouwbaarheid en bruikbaarheid (
Allereerst is er dus de vraag naar de validiteit van een instrument. Meet een instrument, bijvoorbeeld een vragenlijst, wat het zegt te meten? Hierbij wordt ook altijd een grens aangegeven. Een instrument zegt iets over een bepaald gebied maar heeft ook beperkingen.
Het gewicht van iemand, de temperatuur, de afstand tot; op basis van een van tevoren vastgestelde schaal zijn deze grootheden te meten zonder dat discussie ontstaat. Bij begrippen in de sociale wetenschappen zijn schalen minder scherp. Er bestaan veel theorieën over en daaraan verbonden definities van cultuur, motivatie, leiderschap, duurzaamheid en integriteit. Hierbij is er een kloof tussen hoe de wetenschap deze begrippen definieert, operationaliseert en toetst, en het gedrag van mensen in de praktijk.
Voor een vragenlijst over soft control is de situatie nog complexer omdat hij uit een grote variëteit aan componenten bestaat en er niet een overkoepelende theorie is die dit thema behandelt – we wezen er hiervoor al op.
Nu worden in de literatuur veel vormen van validiteit onderscheiden, waarbij het vrijwel altijd gaat over scherpe definiëring van begrippen. We treffen onder andere de volgende vormen: indruksvaliditeit, inhoudsvaliditeit, begripsvaliditeit, criteriumvaliditeit, ecologische validiteit, interne validiteit en externe validiteit.
Tegelijk worden de diverse vormen van validiteit bij bepaalde onderzoeken ook wel gerelativeerd. Zo onderscheiden Drenth and Sijtsma (2006) (geciteerd in
We noemen een meetinstrument inhoudsvalide, als de indicatoren en de vragen een goede afspiegeling zijn van de te meten begrippen en onderwerpen. Onderzoekers ontwerpen hun meetinstrument, voortbordurend op en eventueel in overleg met andere onderzoekers. De instemming van deze andere onderzoekers zal afhangen van de vraag of de meetinstrumenten goed uitgewerkt zijn.
Wanneer de scores van een vragenlijst samenhangen met de scores die respondenten halen op soortgelijke vragenlijsten, spreken we van criteriumvaliditeit. Bij criteriumvaliditeit moet de onderzoeker “beschikken over een criterium in het heden (…) of in de toekomst (…) of over een soortgelijk meetinstrument (…), waarna hij verwacht dat de scores erop zullen samenhangen met die op het door hem ontwikkelde instrument” (
Bij begripsvaliditeit (ook wel aangeduid als constructvaliditeit) gaat het erom of het begrip in het bredere theoretisch kader past. Anders gezegd: het gaat om de adequate vertaling van de theoretische begrippen naar de te meten variabelen (
In meer algemene zin kan validiteit dan worden gezien als de mate waarin men meet wat men meten wil.
Betrouwbaarheid wil zeggen dat op de juiste wijze wordt gemeten en dat deze wijze van meten inzichtelijk is; het gaat dan om de nauwkeurigheid van de meting. Het schoolvoorbeeld is hier dat de lichaamstemperatuur (heb ik koorts?) niet kan worden gemeten met een buitenthermometer; je meet weliswaar temperatuur, maar niet nauwkeurig genoeg. Betrouwbare metingen zijn reproduceerbaar: wat de ene onderzoeker meet, zal ook door de andere onderzoeker worden gevonden. Of wat een onderzoeker de ene keer meet, moet de andere keer (zonder wijziging van omstandigheden) precies zo uit de meting naar voren komen. Anders gezegd: betrouwbaarheid verwijst ook naar de traceerbaarheid van de onderzoeksresultaten.
Bij onderzoeken worden vrijwel altijd toevallige fouten gemaakt. Als de ene keer een te hoge waarde wordt gemeten en de andere keer een te lage, zal dat in de gemiddelden wel uitvlakken. Tegelijk moeten we stellen dat die metingen dan weinig betrouwbaar zijn. In het kader van het beschrijven van soft control moet het er dus om gaan dat als de ene medewerker of manager een bepaalde mate van motivatie beschrijft, een ander dezelfde mate moet beschrijven op basis van dezelfde handelingen of argumentatie.
Daarnaast lijkt ons het begrip bruikbaarheid van belang bij het beoordelen van vragenlijsten. Bruikbaarheid is niet alleen relevant omdat de vragenlijsten in de praktijk worden gebruikt. Het is ook wetenschappelijk van belang. Zo stelt
Kortom: we hebben nu drie methodologische begrippen (validiteit, betrouwbaarheid en bruikbaarheid) die van belang zijn om de kwaliteit van vragenlijsten over soft control te kunnen beoordelen. Eerder gaven we aan een systematisering van vragenlijsten te maken. Die indeling schept helderheid in de veelheid van meetinstrumenten. Hierna geven we die vierdeling.
Zoals gemeld willen we enige helderheid scheppen in de grote hoeveelheid uitwerkingen en meetinstrumenten omtrent soft control. Dat doen we door vier typen vragenlijsten te formuleren die zich onderscheiden in de mate of niveau van nauwkeurigheid. We noemen deze typen met verschillende niveaus achtereenvolgens 1. Magazine-scan; 2. Quickscan; 3. Risico-articulatie; en 4. Totaalbeeld. We werken ze hierna uit. Het betreft uitdrukkelijk een door ons geconstrueerd en voorgesteld onderscheid.
Die constructie heeft daarmee natuurlijk iets geforceerds: de mate van nauwkeurigheid zal vooral een glijdende schaal zijn. Op die schaal zetten we echter vier punten, namelijk onze typen vragenlijsten of scans. Daarbij spreken we in onze systematisering over vragenlijsten of scans. Onzes inziens vraagt werken met soft control namelijk dat er in ieder geval ook enig onderzoek naar soft control wordt gedaan; vragenlijsten – in welke vorm dan ook – zijn daarvoor zeer geschikt.
We gaven reeds een aantal maal aan dat als men met soft control wil werken het allereerst van belang is zich af te vragen wat het doel is van ‘iets met soft control doen’. Wil men systematisch cultuur en gedrag in kaart brengen (en blijven monitoren) om van daaruit gerichte interventies te kunnen ondernemen? Of wil alleen het gesprek over cultuur en gedrag op de werkvloer starten? Het antwoord op die vragen bepaalt welke mate van nauwkeurigheid het meest passend is in het werken met soft control.
In die vier benaderingen die we schetsen, laten we deze vraag en de antwoorden dan ook telkens terugkomen.
Aan de ene – meest eenvoudige / minst nauwkeurige – kant van het spectrum plaatsen we een variant die we aanduiden als de magazine-scan. Dit is geïnspireerd op vragenlijsten die wel in magazines staan (denk aan Viva, Libelle of Psychologie Magazine). Daarin kunnen lezers een aantal vragen invullen en krijgen vervolgens een score om te bepalen of zij (bijvoorbeeld) perfectionist zijn, een goede minnaar, of een juiste balans tussen werk en privé hebben. Dergelijke vragenlijsten zijn maar in beperkte mate onderbouwd volgens wetenschappelijke criteria. Begrippen zijn vaak op verschillende manieren te interpreteren en er worden geen controlevragen gesteld.
Wanneer managers het gesprek over cultuur en gedrag op de werkvloer willen starten en medewerkers willen wijzen op een aantal zaken die daarmee samenhangen, bij soft control dus, kan zo’n eenvoudige vragenlijst behulpzaam zijn. Met de vragen worden immers bepaalde onderwerpen gethematiseerd en de personen die de vragenlijst invullen worden gestimuleerd om over die onderwerpen na te denken. De uitkomsten kunnen aanleiding zijn om met anderen over het onderwerp in gesprek te gaan.
Tijdens ons onderzoek hebben wij een aantal maal presentaties over soft control gehouden, waarin we het publiek zo’n magazine-scan lieten invullen. Daaruit bleek dat invullers daadwerkelijk aangeven een eerste impressie te krijgen van werken met soft control.
In deze variant wordt voor een beperkt aantal componenten van soft control gekozen. De keuze die hierachter ligt is onderbouwd vanuit de literatuur. Bij de ‘magazine-scan’ is dit niet het geval; een quickscan is wel te relateren aan wetenschappelijke vragenlijsten. Er wordt gewerkt met gevalideerde vragen waarin verschillende dimensies die bijdragen aan het in control zijn van de organisatie, worden besproken. Deze componenten zijn geoperationaliseerd op grond van onderzoek. Operationaliseren is dan: vertalen in meetbare begrippen: wat weten we uit de literatuur bijvoorbeeld over vertrouwen in organisaties? Wat hangt daarmee samen, welke indicatoren worden hiervoor gebruikt? Op grond van de bestudering daarvan werken we dat dan uit.
Een quickscan is een bruikbaar instrument wanneer de pretenties hoger zijn dan alleen maar het gesprek over soft control beginnen. Een quickscan geeft de mogelijkheid gericht te zoeken naar punten van aandacht. Omdat de vragenlijst is gevalideerd, mag men ervan uitgaan dat de vragenlijst meet wat men weten wil (binnen de grenzen van de manier waarop de componenten zijn geoperationaliseerd, natuurlijk). Er komen relevante uitkomsten naar voren die aangeven waar punten van aandacht liggen bij het werken met soft control.
Weer een stap nauwkeuriger noemen we risico-articulatie. Deze variant lijkt op de quickscan, maar de opzet is zo dat als er bepaalde risico’s op componenten van soft control naar voren komen, er een aantal verdiepende vragen wordt gesteld. (Dat vraagt dan overigens dat er door de samenstellers van deze vragenlijst bepaalde drempelwaarden moeten worden geformuleerd). Deze risico’s worden dus verder gearticuleerd door nader onderzoek hiernaar te verrichten.
De kracht van deze variant is dat niet alles in detail onderzocht hoeft te worden, maar wanneer op aandachtspunten wordt gestuit, nadere verkenningen kunnen worden verricht. Er kan bijvoorbeeld worden onderzocht of een probleem met name te maken heeft met leiderschapsstijl of met de motivatie van medewerkers. De onderzoekers letten erop dat de verschillende concepten die worden gebruikt elkaar niet teveel beïnvloeden. Een risico-inventarisatie kent een hoog wetenschappelijk karakter op een vrij algemeen niveau die in deelvragenlijsten kan worden gespecificeerd. Op grond van een berekening van een bepaalde score, opent zich als het ware een extra onderdeel van de vragenlijst, die door sommige respondenten wel en door andere niet hoeft te worden ingevuld. Die extra vragen komen dan bij voorkeur uit gevalideerde vragenlijsten.
Deze scan van niveau 4 zou dan alle componenten van soft control bevatten en die componenten vervolgens in beeld brengen met onderliggende gevalideerde vragenlijsten. Dit lijkt ons vooralsnog een theoretische, niet bestaande variant. Uit het voorgaande is dat af te leiden. We beschreven immers dat er nog te weinig consensus in de literatuur is over wat allemaal onder soft control wordt verstaan. Zouden we uitgaan van onze eerste bevindingen, dan zouden we dus een scan moeten ontwikkelen die de ruim honderd min of meer identieke begrippen uit Tabel
Samenvattend hebben we dus vier niveaus van scan onderscheiden, ieder met een eigen mate van nauwkeurigheid. De vraag naar wat de uitkomsten van deze soft-controlscans zeggen, is cruciaal en heeft te maken met de wetenschappelijke standaarden validiteit en betrouwbaarheid en de eis – vanuit de praktijk – van bruikbaarheid; de begrippen die we in de voorgaande paragraaf uitwerkten.
Hoe nu om te gaan met de verschillende vormen van soft-controlscans? In onze analyse gaan we uit van de gebruiksdoelstelling, oftewel kan het bijdragen aan het beter leiden van ondernemingen in Nederland.
Welnu, we kunnen de door ons onderscheiden niveaus beoordelen met behulp van de genoemde methodologische begrippen. Dat geeft het volgende overzicht dat is opgenomen in Tabel
Niveau van scan | Doel | Methodologische criteria |
---|---|---|
Bewustwordings-scan (Magazine-scan) | Aantal vragen ter bewustwording van het belang soft control | De bruikbaarheid is hoog wanneer het gaat om bewustwording, de betrouwbaarheid en de validiteit zijn gering omdat begrippen onvoldoende zijn gedefinieerd. |
Quickscan | Inventarisatie knelpunten onderneming (vragenlijst op basis literatuur en intern overleg) | De bruikbaarheid is hoog wanneer het gaat om inventarisatie, de betrouwbaarheid acceptabel, maar de validiteit is ten dele acceptabel (criteriumvaliditeit is er vrijwel niet). |
Risico-articulatie | Inventarisatie op basis van knelpunten plus gevalideerde vragenlijst op de knelpunten | Deze variant heeft nog een acceptabele mate van bruikbaarheid, omdat die in de kern vrij compact is. Alleen bij aandachtspunten breidt de vragenlijst uit, wordt dus langer en zal als minder bruikbaar kunnen worden ervaren. |
De geldigheid en validiteit zijn hoog, omdat met gevalideerde vragenlijsten wordt gewerkt. | ||
Totaalbeeld | Alle dimensies en de samenhang tussen de dimensies is wetenschappelijk gevalideerd | De validiteit van deze variant zal hoog zijn (want gebaseerd op gevalideerde vragenlijsten). De betrouwbaarheid is ook betrekkelijk hoog, hoewel altijd de discussie blijft of de uitwerking wel compleet is en andere onderzoekers niet tot een andere uitwerking van soft control zouden komen. De bruikbaarheid is minimaal, omdat de scan zo uitgebreid wordt dat het bijna ondoenlijk is om hem in te vullen. |
De scan op het eerste niveau richt zich op bewustwording en agenda-setting. Het maakt duidelijk wat het belang is van gedragskenmerken in een organisatie en zorgt dat betrokkenen erover gaan nadenken. Het is daarbij veel minder belangrijk dat iedereen precies hetzelfde verstaat onder een begrip. Denk bijvoorbeeld voor een begrip als leiderschap om een vraag als ‘wat is de leiderschapsstijl in dit bedrijf?’ Deze vraag is heel open en kan op heel veel verschillende manieren worden geïnterpreteerd. Een precieze meting is daardoor onmogelijk. De vraag kan mensen wel bewust maken van het thema en het gesprek over leiderschap op gang brengen.
Het tweede niveau, waar wij spreken over quickscan, kent een inventariserende doelstelling: wat zijn precies de problemen die spelen bij een organisatie? In een dergelijke scan wordt (bijvoorbeeld) leiderschap zo scherp mogelijk gedefinieerd. Er worden verschillende vragen gesteld om hetzelfde thema te benoemen, zodat rekening wordt gehouden met interpretatieverschillen tussen mensen die de scan invullen. Er wordt echter niks gezegd over de mate waarin iets een probleem is, of in hoeverre leiderschapsvraagstukken zich verhouden tot de motivatie van mensen.
Deze scan is betrekkelijk valide. Verschillende begrippen die onder soft control worden geschaard worden in gevalideerde vragenlijsten op verschillende manieren uitgewerkt. Daarbij vragen veelomvattende begrippen als leiderschap of motivatie grote vragenlijsten. Met het oog op de bruikbaarheid zal er meer nadruk worden gelegd op de inhoudsvaliditeit (delen andere onderzoekers de uitwerking van de begrippen) en begripsvaliditeit (past de uitwerking in een breder theoretisch kader). Welke componenten van soft control worden gemeten wordt bepaald op grond van onderling overleg, waarbij de uitwerking van de begrippen ook grotendeels wordt bepaald door consensus tussen de onderzoekers.
We zagen eerder dat er veel componenten onder de term soft control worden geschaard. Een quickscan vraagt een weldoordachte selectie; alle componenten bevragen past niet in deze opzet.
Criteriumvaliditeit is hier minder stevig; voor deze scan van het tweede niveau hoeft ook geen vergelijking met andere soortgelijke meetinstrumenten te worden gemaakt.
Als telkens met dezelfde scan wordt gewerkt, zal de betrouwbaarheid acceptabel zijn, men meet immers telkens op dezelfde wijze. De omvang van deze scan is hanteerbaar (men maakt immers een selectie van componenten) en daarmee is de bruikbaarheid hoog.
Het derde niveau maakt inzichtelijk waar de risico’s liggen in de organisatie. De begrippen zijn goed gedefinieerd en staan in zodanig verband met elkaar dat interpretatieverschillen beperkt zijn. Deze scan bestaat als het ware uit twee onderdelen: een basisscan en een set verdiepende vragen. Die verdiepende vragen worden dan gesteld aan de hand van gevalideerde vragenlijsten. Hiermee is de validiteit (ook de criteriumvaliditeit) hoog. Het werken met goed uitgewerkte begrippen (vanwege de validiteit) heeft wel als consequentie dat de scan al gauw in omvang groeit. Dat is min of meer ondervangen door alleen dan verdiepende vragen te stellen wanneer een risico wordt gesignaleerd. Daarmee blijkt de bruikbaarheid nog redelijk op peil, zeker ook omdat de vragenlijst in de kern compact is. De betrouwbaarheid is eveneens betrekkelijk hoog, afgezien van het feit dat bij de ene meting op het ene item verdieping kan worden gevraagd en bij een volgende meting op een ander item. De vergelijking van meting 1 met meting 2 is dan lastiger.
Overigens vraagt deze opzet dat er bepaalde drempelwaarden worden ingebouwd: wanneer men de drempelwaarden overschrijdt, worden de verdiepende vragen gesteld.
Het vierde niveau heeft de ambitie een soort totaalbeeld te geven van de organisatie. Alle gedragsmatige componenten worden langsgegaan en er ontstaat een soort ‘objectieve’ foto van de organisatie. Adviseurs en wetenschappers, maar ook afnemers van scans, hopen vaak op een dergelijk totaalbeeld dat alle uitdagingen van een organisatie in kaart brengt, waarna een gedetailleerd verbeterplan kan worden ingericht.
Hier doet zich in optima forma een paradox voor. Immers, soft control is in zwang gekomen vanuit het besef dat met louter meetbare begrippen een organisatie onvoldoende op koers kan worden gehouden. Maar op dit vierde niveau wordt soft control weer volledig vertaald naar meetbare begrippen. Dat gebeurt dan door een volledige uitwerking van het concept soft control; op grond van het door ons gemaakte overzicht zouden dat dus ruim honderd componenten zijn. Daarbij worden voor het meten hiervan gevalideerde vragenlijsten gebruikt. Al eerder gaven we aan dat dit een theoretische, zo niet onmogelijke situatie is. De validiteit en betrouwbaarheid zijn weliswaar zeer hoog, maar de bruikbaarheid is tot het minimum geslonken.
In het schema in Tabel
Samenvattend zien we dat soft control op verschillende ‘niveaus’ kan worden benaderd. Met behulp van vragenlijsten kan de stand van zaken rondom soft control in kaart worden gebracht. Dat kan meer of minder nauwkeurig. Hoe nauwkeurig men wil meten of de organisatie ‘in soft control’ is, is een eigen afweging.
We constateren dat er een behoefte lijkt te zijn om het totaalplaatje in beeld te krijgen, een soort onomstotelijk en ‘objectief’ beeld, uitkomsten die niet ter discussie kunnen staan. Dit is – zo laten we zien – vooral een ideaal dat in theorie kan bestaan maar in de praktijk onmogelijk is gezien de complexiteit van sociaalwetenschappelijke begrippen. Om die reden zouden we managers dan ook adviseren om daar niet eens naar te streven. De eerste stap die gezet moet worden in het werken met soft control is bepalen wat men ermee wil bereiken. Als die vraag beantwoord is, kan vervolgens worden bepaald hoe nauwkeurig men iets wil weten. Het complete ‘objectieve’ plaatje bestaat daarbij niet. Dit veronderstelt te veel dat er een objectief te beschrijven werkelijkheid is, waar de manager of onderzoeker buiten staat en dat die werkelijkheid te beschrijven is en waarin trefzekere interventies kunnen worden gepleegd. Onzes inziens is het werken met soft control daar ook niet eens voor bedoeld. In navolging van het pragmatisme stellen we dat naar de aard der zaak werken met soft control betekent dat men de dialoog moet aangaan over gedrag en cultuur. Hoe nauwkeurig het beeld moet zijn om dat gesprek te houden, bepaalt welk type scan men gebruikt.
Dr. Gert de Jong is hogeschool hoofddocent vakbekwaamheid en ethiek aan de Hogeschool van Amsterdam.
Dr. F.J. de Graaf is lector corporate governance & leadership aan de Hogeschool van Amsterdam.
Dit artikel is een voortvloeisel van een onderzoek Het MKB met soft controls in control dat de Hogeschool van Amsterdam in samenwerking met de Hogeschool Rotterdam heeft uitgevoerd. Het onderzoek is mogelijk gemaakt door subsidie van SIA Raak, onderdeel van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Wij danken HvA-collega ir. R.W.M. Tordoir en de collega’s van de Hogeschool Rotterdam lector dr. M.P. Lycklama à Nijenholt en drs. D.N.D. Meurs en andere betrokkenen voor de samenwerking en het meedenken in dit project.