Hoe een goed bedoeld initiatief verkeerd en misleidend zal uitpakken
Eerder heb ik namens V&A een reactie ingestuurd[1] op de internetconsultatie over de invoering van audit quality indicators (AQI’s). Graag geef ik nog een tweede perspectief over de voorgenomen maatregel om AQI’s in te voeren. Dit wordt geen blog over Covid-19 en zelftesten, maar ik begin met een parallel naar Covid-19 zelftesten om dit tweede perspectief uit te leggen. Deze uitleg is gebaseerd op het boek The Maths of Life and Death van Kit Yates.
In de week van 7 tot en met 14 september 2021 is het aantal positieve coronatesten bij de GGD uitgekomen op 94 per 100.000 mensen, aldus de RIVM[2]. Mensen die zich hebben laten testen hadden een aanleiding om zich te laten testen, maar laat ik er voorzichtigheidshalve (in dit blog) vanuit gaan dat het aantal mensen in Nederland dat met Covid-19 is besmet stellen op 94 per 100.000 of 940 per 1 miljoen.
Iemand die een corona test doet, heeft een kans dat hij een verkeerde uitslag krijgt. Dat komt omdat een corona test (net als vele andere testen, zoals een zwangerschapstest) niet 100% betrouwbaar is. Hoe komt dat? Omdat veel testen niet de aandoening zelf meten, maar ze meten een makkelijk toegankelijk stofje/hormoon/etc. dat veelal aanwezig is bij mensen die de aandoening hebben waarop wordt getest. Zo wordt bij een zwangerschapstest urine getest op een specifiek hormoon. Maar dat hormoon kan ook aanwezig zijn vanwege een andere oorzaak dan een zwangerschap. En daardoor is een test niet 100% betrouwbaar. Voor een 100% bevestiging is ander fysiek onderzoek nodig.
Terug naar corona testen. Er is een mogelijkheid dat iemand positief op corona test, maar toch geen corona heeft (of positief op een zwangerschapstest scoort en toch niet zwanger is). Dit is een vals positieve score. Er is ook een mogelijkheid dat iemand negatief op corona test, maar toch wel corona heeft. Dit is een vals negatieve score. In het artikel ‘De interpretatie van een testuitslag bij COVID-19’ concludeert Michiel Bos dat in 12% van de testen sprake is van een vals negatieve uitslag (een negatieve uitslag, maar de persoon heeft wel Corona). En in 0,5% van de testen is sprake van een vals positieve uitslag (een positieve uitslag, maar de persoon heeft geen Corona).
We hebben nu de vals positieve en vals negatieve kansen van de corona testen. Stel dat we willekeurig 1 miljoen mensen op corona testen. Van deze groep hebben 940 mensen corona en 999.060 mensen hebben geen corona (gebaseerd op de eerder vermelde RIVM score). Dit geeft de volgende testuitslagen:
- Van de 940 corona-mensen krijgen 113 mensen een vals negatieve uitslag (12%).
- Van de 940 corona-mensen krijgen 827 mensen correct positieve uitslag (88%).
- Van de 999.060 mensen zonder corona krijgen 4.995 een vals positieve uitslag (0,5%).
- Van de 999.060 mensen zonder corona krijgen 994.065 mensen een correct negatieve uitslag (99,5%).
In totaal krijgen 5.823 mensen een positieve uitslag (827 terecht en 4.995 ten onrechte). Als je dus behoort tot de groep mensen met een positieve testuitslag, dan is de kans groot dat je geen corona hebt. Die kans is namelijk 86% (4.995/5.823). Ondanks dat de test slechts in 0,5% van de gevallen een vals positieve uitslag geeft. Pas bij een tweede test wordt deze kans aanzienlijk kleiner. Als de positief geteste groep (5.823 mensen) zich een tweede keer laat testen, dan krijgen 25 mensen (0,5%) uit de groep zonder corona een tweede vals positieve test. Van de 827 mensen met corona krijgen 728 mensen (88%) wederom een (correcte) bevestiging dat ze corona hebben. Als je in de tweede test dus een positieve uitslag hebt, dan is de kans dat dat je geen corona hebt gedaald naar 3% (25/827). Een forse daling ten opzichte van de eerste test (86%).
Een proxy is in de wetenschap een meetbare grootheid die gebruikt kan worden om een beeld te krijgen van andere, niet direct meetbare, grootheden. Het gebruik van proxy ’s maakt het meetproces goedkoper, efficiënter, eenvoudiger (zoals bij een zwangerschapstest: een druppel urine laten analyseren op een predictor stick is eenvoudiger dan een echografie laten doen in het ziekenhuis). Maar gebruik van proxy ’s doet de betrouwbaarheid dalen onder de 100%. Terug naar AQI’s. De AFM[3] stelt (mijn inziens terecht) in haar reactie op de consultatie over AQI’s dat AQI’s geen proxy zijn voor de gerealiseerde auditkwaliteit.
Wat betekent dit conceptueel, zonder hier kansberekeningen op los te laten? Als gesteld kan worden dat AQI’s niet eens proxy’s zijn voor de gerealiseerde kwaliteit, dan betekent dit dat AQI’s nog verder weg staan van de auditkwaliteit, en dus nog onbetrouwbaarder zijn om een beeld (inzicht) te krijgen van de auditkwaliteit en dus om iets te kunnen concluderen over auditkwaliteit. De Kwartiermakers stellen in hun consultatiedocument dat de AQI’s inzicht geven in factoren die van invloed zijn op de kwaliteit van de wettelijke jaarrekeningcontrole. De kwaliteit van dit inzicht schiet in het huidige voorstel van de Kwartiermakers echter wel ernstig te kort, vanwege de grote afstand tot het begrip auditkwaliteit zelf.
Gaat de accountancysector met de introductie van de AQI’s zoals deze nu zijn voorgesteld niet in tegen Limperg’s bekende leer in? U kent deze qua benaming als de leer van het gewekte vertrouwen, maar zoals later door Blokdijk duidelijk gemaakt is Limperg’s leer de leer van de rationele verwachtingen. Wekken we met de voorgestelde set AQI’s rationele verwachtingen? Ik vrees van niet. Audit Quality Illusions is een meer passende beschrijving van de voorgestelde set AQI’s. Want het is rationeler om te verwachten dat gebruikers níet het door de Kwartiermakers gewenste inzicht in de black box van de accountantscontrole krijgen. Met als gevolg teleurstelling en/of verkeerde conclusies (vanwege niet-rationele verwachtingen). En accountants zelf steken tijd en geld in het meten van en rapporteren over de AQI’s zonder hier iets voor terug te krijgen. Een incentive om de kwaliteit te verhogen? Nee. Beter kunnen concurreren op kwaliteit, omdat de kwaliteit nu zichtbaar is? Nee. Beter in staat zijn om het met gebruikers aan te gaan? Wellicht, als ‘kapstokje’, om vervolgens de verkeerde conclusies te bediscussiëren. Ergo, doe dit zowel gebruikers als accountants niet aan. De accountant is geen illusionist. En ik hoop dat dit zo blijft.
Drs. A. (Albert) S. Bosch RA
[1] Zie https://www.internetconsultatie.nl/aqiaccountancysector/reactie/c9275438-d24f-4e1c-af61-fb7fe37a282e
[2] Zie https://www.rivm.nl/coronavirus-covid-19/actueel
[3] Zie https://www.internetconsultatie.nl/aqiaccountancysector/reactie/44ef88e1-368c-4514-a9f2-6b6a4a2f2b2c
