Interne beheersing

Data cleansing using AOQL when errors need to be repaired

AOQL was first implemented by Dodge and Romig (1933) at Bell telephone Laboratories to support sample inspections at conveyor belts. The entire production of a day was divided onto batches that were either accepted or rejected, based on sample inspections. Rejected batches were then replaced by known correct items to improve overall quality until a stipulated average overall quality level was achieved. Deloitte, in the 1980’s, have translated this method into applications in accounting, where the equivalent of a known correct item became a corrected booking. In this way, AOQL can guarantee that a stipulated quality threshold can be met by sample inspection and correction of errors when necessary. Typical applications of AOQL are in internal control, in lieu of a full inspection. Examples are incoming invoices, cycle counts in inventory, or data cleansing on customer or vendor data files.

More practically, AOQL consists of the following phases

  1. Define
    Definition of the population and its consolidation to the item in the financial statements, what constitutes an error and the requirements for a sample item to be error free, and stipulating a required error limit
  2. Design
    Division of the population into sub populations. Sub populations are typically based on chronology or on location. Ideally, these contain items with similar error expectations and sub populations with lower error expectations can be chosen to have larger sizes. The number of sub populations should be large enough to make the expected resulting error rate a sufficient prediction for the resulting error rate, which in practice means at least 10-12 sub populations. In practice, examples are found with many more sub populations (for example 3 types of suppliers per week for internal control over invoices)
  3. Select
    Sample selection from each sub population. Sample size is a simple formula inverse to the required overall error limit; sample selection should be in line with the definition of the population (locations in a warehouse, invoices, monetary units)
  4. Inspect
    Sub populations with errorless samples need no more attention. Their most likely error rate is nil but they may contain some residual error
  5. Correct
    Sub populations with samples containing errors should be cleansed until the remaining error rate is nil. Herby the sub populations with the poorest quality become the sub populations with the best quality. This may require a full inspection. Due to this possible elaborate task, it is efficient to restrict sub populations with higher error expectancies to smaller sizes.
  6. Conclude
    Taking all sub populations together, some are likely to be errorless but may have a residual error rate and some are error free. The expected error rate in the entire population turns out to be a function of sample sizes that can be inverted to enable sample design. Typical applications range from sample sizes of 37 per sub population for an overall expected error limit of 1% to samples of 8 for a 5% error limit, based on the approximated formula: sample size x upper error limit = 0.367 per sub population.

A typical application in inventory would require a sample per cycle to decide whether or not to do a full count on that cycle. All cycles together should add up to the entire population for which an error evaluation is sought.

The effectiveness of the method (error rate after inspection and correction to meet the stipulated value) is mathematically guaranteed. The efficiency of the method largely depends on the optimization of the division into sub populations. Further information can be found in the literature, especially H.G. Dodge and H.F Romig, Sample Inspection, Wiley, 1959 and an article by J. Kriens and R.H. Veenstra in The Statistician (1982) on the implementation of AOQL in internal control over incoming invoices by a large supermarket chain.

Steekproeven als maatregel van interne beheersing

Bij het analyseren van de uitkomsten van de gegevensgerichte controle wordt gezocht naar de oorzaken van fouten. Door die oorzaken weg te nemen kunnen de gevolgen worden gecorrigeerd en kan de controle worden afgerond. Als die oorzaken structureel zijn, zouden die in volgende jaren als een risico kunnen worden gedefinieerd waarvoor de huishouding interne beheersingsmaatregelen kan nemen die dat risico afdekken. Maar wat nu als de oorzaak van de fouten onbekend is, of gewoon te beschouwen is als een gebrek aan accuratesse? De enige beheersingsmaatregel die dan effectief is, is een gegevensgerichte interne controle. Met behulp van de AOQL methode is die beheersingsmaatregel ook efficiënt te maken.

Voor beelden van het toepassen van AOQL zijn legio. Al sinds de jaren’80 van de vorige eeuw passen cliënten van Deloitte deze methode toe in hun interne controle. Dit zijn cliënten in de retail (interne beheersing van de inkomende facturenstroom) maar ook in de verzekeringsbranche (interne beheersing van binnen gekomen claims). Naast deze toepassingen wordt AOQL ook eenmalig ingezet om (wellicht) vervuilde bestanden op te schonen, of om zekerheid te geven dat de vervuiling in een bestand acceptabel laag is, bijvoorbeeld bij een conversie.

AOQL is een methode om te garanderen dat de verwachte fout in een reeks deelpopulaties beneden een vooraf gekozen norm blijft. Dit is een wiskundige garantie, geen statistische bovengrens met een bepaalde betrouwbaarheid, maar een 100% zekere uitspraak over de verwachte fout. Hoe meer deelpopulaties, des te beter zal ook de gemiddelde fout in die deelpopulaties aan die uitspraak over de verwachte fout voldoen. Het is dus niet zo zeer een steekproefsgewijze toets die bij weinig fouten goedkeuring ondersteunt en bij te veel fouten goedkeuring onthoudt. Het is een methode die aangeeft hoe veel werk er moet worden gedaan om zeker te weten dat er goedgekeurd kan worden.

Interessant voorbeeld was de toepassing bij een bank die door De Nederlandsche Bank verplicht werd zijn klantenbestand te schonen voor verdachte rekeninghouders. Door AOQL toe te passen bespaarde deze bank volgens eigen zeggen 83 fte aan menskracht ten opzicht van een integrale controle.

De procedure om AOQL te implementeren bestaat uit de volgende stappen.

  1. Definieer de te beoordelen populatie (denk aan betrokken tijdsperiode, meting in geld of in posten)
  2. Definieer wat een fout is en wanneer een onderzocht element niet fout is
  3. Zonder die elementen af waarvoor het foutrisico aanmerkelijk hoger is dan voor andere elementen en controleer deze integraal
  4. Kies een foutnorm in procenten van de resterende populatie, rekening houdend met het integraal gecontroleerde deel.
  5. Deel de populatie op in deelpopulaties, die niet noodzakelijk even groot hoeven te zijn. De efficiency van de methode wordt bevorderd door deelpopulaties te maken van elementen die veel op elkaar lijken. Als er dan in een steekproef fouten worden gevonden, lijkt het logisch dat de rest van die deelpopulatie ook fouten bevat. Hoe lager het risico op fouten, des te groter kan men de omvang van de deelpopulatie kiezen.
  6. Trek uit elke deelpopulatie een steekproef. De omvang van die steekproef hangt een beetje af van de omvang van de deelpopulatie maar vooral van de procentuele foutnorm voor de gehele populatie.
  7. Deelpopulaties met steekproeven zonder fouten behoeven verder geen controle. Ze zijn waarschijnlijk foutloos maar er kan nog een fout aanwezig zijn die niet door de steekproef is opgemerkt.
  8. Deelpopulaties met steekproeven met fouten dienen zodanig te worden gecontroleerd dat zeker is dat de in de steekproef aangetroffen foutsoort uit de gehele deelpopulatie is verwijderd. Dat kan gebeuren door integrale controle van de deelpopulatie of door het volledig wegnemen van de oorzaak van de aangetroffen fout. De deelpopulatie is nu zeker foutloos.
  9. Er zijn nu deelpopulaties die waarschijnlijk foutloos zijn en deelpopulaties die zeker foutloos zijn; de nog mogelijk aanwezige fout wordt in het hoofdstukje over wiskunde uitgeschreven. Die zeker foutloze deelpopulaties waren vermoedelijk de slechtste, dus tijdens het controleren verbetert de kwaliteit!
  10. Door voor deze mogelijk aanwezige fout een maximaal toelaatbare norm te kiezen kan de omvang van de steekproef per deelpopulatie worden bepaald.

Als we de noodzakelijke wiskunde overslaan (die is natuurlijk op te vragen bij de auteur) resteert een formule voor het bepalen van de steekproef. Om zeker te weten dat een populatie niet meer dan 1% fouten bevat, moeten er minstens 10 deelpopulaties worden gemaakt en uit elk een steekproef van 37 worden getrokken. De werklast zit hem niet alleen in de 10 steekproeven van 37 want deelpopulaties met steekproeven met fouten moeten integraal worden opgeschoond. Hoe vaak dat gebeurt hangt af van de onbekende werkelijke foutkans in de populatie.