Veel A/B-tests leveren geen bruikbare uitkomst op. Er wordt te vroeg gestopt, er zijn te weinig conversies om een verschil te zien, of er worden vijf dingen tegelijk aangepast, waardoor niemand weet wat het effect veroorzaakte. Ook gebeurt het vaak dat een ‘winnaar’ na uitrol niets blijkt op te leveren.
Daar komt bij dat testen zonder duidelijke hypothese neerkomt op willekeurig variëren. Zonder vooraf bepaalde hoofdmetriek en looptijd zoek je achteraf het verhaal bij de cijfers.


