Hoe meet ik de voorspellingsbetrouwbaarheid?

In een vorige blog hadden we het over het voorspellen van de marktvraag. Hierbij hebben we verschillende marktvoorspellingsmethoden besproken, maar gaven we ook duidelijk aan dat er zeker nog steeds voorspelfouten mogelijk zijn. Je moet je ervan bewust zijn dat voorspellingen nooit helemaal zullen kloppen en je moet je vooral afvragen hoe realistisch je voorspellingen zijn. Door de voorspellingsbetrouwbaarheid te meten kan je bijsturen en steeds nauwkeuriger voorspellen. Voorspellen, analyseren en bijsturen wisselen elkaar voortdurend af. Er zijn verschillende manieren hoe je de voorspellingsbetrouwbaarheid meet.

Klassiek meten van de voorspelfout

De eenvoudigste methode om de voorspellingsbetrouwbaarheid te meten, is door het absolute verschil tussen de voorspelling en de werkelijke vraag te vergelijken. Het is de meest logische manier om de voorspellingsbetrouwbaarheid te bepalen en behoeft dan ook weinig duiding. We tonen het aan met een voorbeeld.

Stel dat je voorspelde dat de afzet 100 stuks zou bedragen, maar in de praktijk bedroeg de afzet slechts 80 stuks. In dit geval bedraagt de voorspelfout dus 20 stuks. De relatieve voorspelfout bedraagt 20/100 of 20%. De voorspellingsbetrouwbaarheid bedraagt 80%.

Bijsturen na het meten van voorspelfouten

Bij het meten van de voorspellingsbetrouwbaarheid blijkt vaak dat voorspellingen aan de hoge kant zijn. Blijkbaar zijn accountmanagers vaak veel optimistischer dan de markt. Er is in dat geval sprake van een systematische fout. Dit wordt ook wel eens een bias genoemd. Ook bij de andere voorspellingsmethoden zie je zo’n bias terugkomen. Zelfs bij exponentiële effening blijft de voorspelling systematisch achterlopen op de historische gebeurtenissen. Bij kleine wijzigingen maakt dat weinig uit, maar vooral bij snelle stijgingen of dalingen blijkt dat problematisch te zijn. Daarom is het belangrijk dat je niet alleen de voorspelfout herkent, maar ook de bias. De bias herken je via het zogenaamde tracking signal.

Een tracking signal is de som van alle voorspelfouten, te delen door de gemiddelde absolute voorspelfout. Wanneer het tracking signal vervolgens boven een vastgelegde waarde uitkomt, is het tijd om in te grijpen en bij te sturen. In dat geval zijn de gemaakte voorspellingen structureel te hoog of te laag. De meeste bedrijven gebruiken een tracking signal van +4 en -4.

Voorbeeld van het gebruik van een tracking signal

In onderstaand voorbeeld zien we dat de werkelijke afzet vanaf termijn vijf ineens heel sterk stijgt. Hierdoor is de kans groot dat er een bias optreedt, wat in de praktijk ook duidelijk gebeurt. We bepalen het tracking signal ten opzichte van de voorspelde afzet bij dempingsfactor 0,1 (oranje lijn) en bij dempingsfactor 0,5 (grijze lijn). We mogen nu al zeggen dat de voorspelfout bij dempingsfactor 0,5 kleiner zal zijn.

We berekenen in beide gevallen het tracking signal:

In beide gevallen toont het tracking signal, dat telkens kleiner is dan -4, aan dat de accountmanager actie moet ondernemen. Zoals ook uit de grafiek blijkt is er sprake van een structurele onderschatting van de voorspelde afzet. In feite had de accountmanager zelfs al eerder actie moeten ondernemen.