Wat is A/B testen? Hoe je het doet en praktische voorbeelden

Of je nu een ervaren ondernemer bent of net begint, de kans is groot dat je talloze artikelen en bronnen over A/B testen hebt gelezen. Misschien gebruik je A/B tests al voor je e-mail onderwerpen of je berichten op sociale media.

Ondanks het feit dat er veel gezegd is over A/B testen in marketing, struikelen veel ondernemers hierover in de praktijk. Het resultaat? Belangrijke zakelijke beslissingen worden gebaseerd op onjuiste resultaten van een onjuist uitgevoerde test.

A/B testen worden vaak te eenvoudig voorgesteld, vooral in content geschreven voor winkeleigenaren. Hier vind je alles wat je nodig hebt om aan de slag te gaan met verschillende soorten A/B testen voor e-commerce, zo duidelijk en nuttig mogelijk uitgelegd. A/B testen kan een game changer zijn voor het kiezen van de juiste productpositionering, het verhogen van conversies op een landingspagina en nog veel meer.

Wat is A/B testen?

A/B testen, ook wel ‘split testing’ of ‘bucket testing’ genoemd, is een proces waarbij je twee versies van een webpagina, e-mail of ander digitaal materiaal vergelijkt om te bepalen welke beter presteert op basis van gebruikersgedrag.

Het is een nuttig hulpmiddel om de prestaties van een marketingcampagne te verbeteren en om een beter begrip van conversie binnen jouw doelgroep te krijgen. A/B testen stelt je in staat om belangrijke zakelijke vragen te beantwoorden, helpt je meer omzet te genereren uit het verkeer dat je al hebt en legt de basis voor een data-gedreven marketingstrategie.

Hoe A/B testen werkt

• Definieer je doel. Stel je doelen voor de A/B test vast, zoals het verhogen van conversies, doorklikpercentages of totale verkopen.
• Kies het element dat je wilt testen. Je kunt koppen, afbeeldingen, e-mail onderwerpen, call-to-actions (CTA's), prijzen, lay-outs, enzovoort testen.
• Maak variaties. Ontwikkel twee versies van het element: Versie A, de originele versie van je materiaal, of de “controle”. Versie B, de nieuwe versie met de wijzigingen die je wilt testen, staat bekend als de “variant”. In de context van marketing toon je 50% van de bezoekers Versie A en 50% Versie B.
• Voer de test uit. Stel beide groepen bloot aan dezelfde versie gedurende een vooraf bepaalde periode. Als je bijvoorbeeld de CTA-knop op de homepage van een e-commerce site test, kun je de tests twee weken laten draaien om statistisch significante resultaten te behalen.
• Verzamel gegevens. Monitor en meet conversies, doorklikken, betrokkenheidsniveaus en verkopen over beide versies.
• Analyseer de resultaten. Vergelijk de prestaties van Versie A met Versie B om te bepalen welke beter aan je doel voldoet. De versie met het hoogste conversiepercentage wint.
• Verklaar de winnaar. Als Versie B het hoogste conversiepercentage heeft, verklaar deze dan tot winnaar en stuur 100% van de bezoekers daarheen. Dit wordt de nieuwe controle en je moet een andere variant ontwerpen voor toekomstige tests.

💡Iets om over na te denken: Een A/B test conversiepercentage is niet altijd een goede maatstaf voor succes.

Als je bijvoorbeeld een item voor € 50 op de ene pagina prijst maar dit op de andere pagina bijvoorbeeld gratis is, zal het geen waardevolle inzichten opleveren. Zoals met elke tool of strategie die je voor je bedrijf gebruikt, moet het strategisch ingezet worden.

Daarom moet je de waarde van een conversie volgen tot aan de uiteindelijke verkoop.

Wanneer je A/B testen moet uitvoeren

Als je een site met weinig verkeer of een web- of mobiele app runt, is A/B testen waarschijnlijk niet de beste optimalisatie-inspanning voor je. Je zult waarschijnlijk een hogere return on investment (ROI) zien door gebruikerstests uit te voeren of met je klanten te praten. Ondanks populaire opvattingen begint en eindigt conversie-optimalisatie niet met testen.

Waarom moet je A/B testen twee tot vier weken laten lopen? Vergeet niet dat je testen minstens twee volledige bedrijfscycli wilt uitvoeren. Gewoonlijk komt dat neer op twee tot vier weken. Misschien denk je nu: “Geen probleem, ik laat de test langer dan twee tot vier weken draaien om de vereiste steekproefgrootte te bereiken.” Dat werkt ook niet.

Hoe langer een test loopt, hoe vatbaarder deze is voor bedreigingen van externe validiteit en steekproefvervuiling. Bezoekers kunnen bijvoorbeeld hun cookies verwijderen en de A/B test opnieuw als nieuwe bezoekers binnenkomen. Of iemand kan van een mobiele telefoon naar een desktop overschakelen en een alternatieve variant zien.

Het te lang laten draaien van je A/B test kan de resultaten dus net zo scheef trekken als het niet lang genoeg laten draaien van een test.

A/B testen is de investering waard voor winkels die de vereiste steekproefgrootte binnen twee tot vier weken kunnen behalen. Winkels die dat niet kunnen, moeten andere vormen van optimalisatie overwegen totdat hun verkeer toeneemt.

Stel je A/B testproces in

Prioriteer A/B testideeën

Een enorme lijst met A/B testvoorbeelden is leuk, maar helpt niet bij de beslissing over wat je moet testen. Met welk idee begin je? Daar komt prioritering om de hoek kijken.

Er zijn een paar veelvoorkomende A/B prioriteringsmodellen die je kunt gebruiken:

• ICE. ICE staat voor ‘Impact, Confidence, Ease’, oftewel impact, vertrouwen en gebruiksgemak (EN). Elk van deze factoren krijgt een score van 1 tot 10. Als je de A/B test bijvoorbeeld makkelijk zelf kunt uitvoeren zonder hulp van een ontwikkelaar of ontwerper, geef je ‘gebruiksgemak’ misschien een 8. Je gebruikt hier je oordeel, als je meer dan één persoon hebt die tests uitvoert, kunnen de scores te subjectief worden. Het helpt om een set richtlijnen te hebben om iedereen objectief te houden.
• PIE. PIE staat voor ‘Potential, Importance, Ease’ oftewel potentieel, belang en eenvoud. Ook hier krijgt elke factor een score van 1 tot 10. Als de test bijvoorbeeld 90% van je verkeer bereikt, geef je ‘belang’ misschien een 8. PIE is net zo subjectief als ICE, dus richtlijnen kunnen hier ook nuttig zijn.
• PXL. PXL is het prioriteringsframework van onderwijsplatform CXL (EN). Het is iets anders en meer aanpasbaar, waardoor meer objectieve beslissingen kunnen worden genomen. In plaats van drie factoren vind je ja/nee-vragen en een vraag over de eenvoud van implementatie. Het model kan bijvoorbeeld vragen: “Is de test ontworpen om motivatie te verhogen?” Bij ‘ja’, krijgt het een 1. Bij ‘nee’, krijgt het een 0. Je kunt via deze pagina meer leren over dit model en een spreadsheet downloaden.

Als je een idee hebt met welk idee je moet beginnen, kan het ook helpen om je ideeën te categoriseren. Tijdens een conversieonderzoek kun je bijvoorbeeld drie categorieën gebruiken: implementeren, onderzoeken en testen.

• Implementeren. Gewoon doen. Het idee werkt niet of is juist voor de hand liggend.
• Onderzoeken. Het idee vereist extra nadenken om het probleem te definiëren of een oplossing te vinden.
• Testen. Het idee is solide en datagestuurd. Test het!

Met gebruik van deze categorisatie en prioritering ben je klaar om A/B testen te starten.

Ontwikkel een hypothese

Voordat je iets test, moet je een hypothese hebben. Bijvoorbeeld: “Als ik de verzendkosten verlaag, zullen de conversiepercentages toenemen.”

Maak je geen zorgen: het formuleren van een hypothese in deze situatie is niet zo ingewikkeld als het lijkt. Je moet een hypothese testen, niet een idee. Een hypothese is meetbaar, streeft ernaar een specifiek conversieprobleem op te lossen en richt zich op inzichten in plaats van op winst.

Wanneer je een hypothese schrijft, helpt het om een formule te gebruiken die is geleend van Craig Sullivan’s Hypothesis Kit (EN):

• Omdat je ziet dat [voeg gegevens/feedback uit onderzoek in]
• Je verwacht dat [wijziging die je test] [impact die je verwacht] zal veroorzaken, en
• Je gaat dit meten met [datapunt]

Makkelijk, toch? Alles wat je hoeft te doen is de lege plekken in te vullen en je A/B test-idee is veranderd in een hypothese.

Kies een A/B testprogramma

Nu kun je beginnen met het kiezen van een A/B testprogramma of split testing service. Misschien denk je eerst aan Google Optimize, Optimizely (EN) en VWO (EN). Dit zijn allemaal goede, veilige opties.

Wat meer informatie over deze populaire A/B testtools:

• Google Optimize. Gratis, met uitzondering van enkele multivariate beperkingen, die je niet echt zult missen als je net begint. Het werkt goed bij het uitvoeren van Google Analytics A/B testen, wat een pluspunt is.
• Optimizely. Maakt het makkelijk om kleine tests op te zetten, zelfs zonder technische vaardigheden. Stats Engine (EN) maakt het makkelijker om testresultaten te analyseren. Optimizely de duurste optie van deze drie programa’s.
• VWO. VWO heeft SmartStats (EN) om de analyse makkelijker te maken. Bovendien heeft het een geweldige WYSIWYG-editor voor beginners. Elk VWO-plan komt met heatmaps, on-site enquêtes, formulier-analyses en meer.

Er zijn ook A/B testtools in de Shopify App Store die je misschien nuttig vindt.

Als je een A/B testprogramma of split-testing software hebt gekozen, vul dan het aanmeldformulier in en volg de instructies. Het proces varieert met ieder programma. Meestal moet je een snippet op je site installeren en je doelen instellen.

Bepaal hoe je resultaten analyseert

Als je je hypothese correct formuleert, is zelfs een verliezer een winnaar, omdat je inzichten krijgt die je kunt gebruiken voor toekomstige tests en in andere gebieden van je bedrijf. Wanneer je dus je testresultaten analyseert, moet je je richten op gewonnen inzichten, niet op of de test gewonnen of verloren heeft. Er is altijd iets te leren, altijd iets te analyseren. Schrijf de verliezers niet helemaal af!

Het belangrijkste om hier op te merken is de noodzaak van segmentatie. Een test kan over het algemeen een verliezer zijn, maar de kans is groot dat het test-element goed presteerde bij ten minste één doelgroepsegment.

Hier zijn een paar voorbeelden van doelgroepsegmenten:

• Nieuwe bezoekers
• Terugkerende bezoekers
• iOS-bezoekers
• Android-bezoekers
• Chrome-bezoekers
• Safari-bezoekers
• Desktop-bezoekers
• Tablet-bezoekers
• Organische bezoekers
• Betaalde bezoekers
• Sociale media-bezoekers
• Ingelogde kopers

Je begrijpt het idee, toch?

De kans is groot dat de hypothese bij bepaalde segmenten wordt bewezen. Dat vertelt je ook iets.

Analyses gaan over zoveel meer dan of de test een winnaar of verliezer was. Segmenteer je gegevens om verborgen inzichten onder de oppervlakte te vinden.

A/B test-software doet deze analyse niet voor je, dus dit is een belangrijke vaardigheid om in de loop van de tijd te ontwikkelen.

Archiveer je testresultaten

Stel dat je morgen je eerste test uitvoert. Zul je de details van die test over twee jaar nog herinneren? 

Waarschijnlijk niet.

Daarom is het belangrijk om je A/B testresultaten te archiveren. Zonder een goed onderhouden archief zullen al die inzichten die je verwerft verloren gaan. Bovendien is het heel makkelijk om een test onbedoeld twee keer uit te voeren als je niet archiveert.

Er is geen “juiste” manier om dit te doen. Je kunt een tool zoals Effective Experiments (EN) gebruiken, of je kunt een eenvoudige spreadsheet gebruiken. De keuze ligt bij jezelf, vooral als je net begint.

Welke tool je ook gebruikt, zorg ervoor dat je het volgende bijhoudt:

• De geteste hypothese
• Screenshots van de controle en variant
• Of het gewonnen of verloren heeft
• Inzichten verkregen door analyse

Als je groeit, zul je jezelf dankbaar zijn voor het bijhouden van dit archief. Het zal niet alleen jou helpen, maar ook nieuwe medewerkers en (toekomstige) adviseurs/aandeelhouders.

Voorbeelden van A/B testen

Technische analyse

Laadt je winkel goed en snel op elke browser? Op elk apparaat? Je hebt misschien een gloednieuwe smartphone, maar ergens is er iemand die nog steeds een flip-phone uit 2005 gebruikt. Als je site niet goed en snel werkt, converteert deze misschien niet zo goed.

On-site enquêtes

Deze verschijnen terwijl de bezoekers van je winkel rondkijken. Een on-site enquête kan bijvoorbeeld bezoekers vragen die al een tijdje op dezelfde pagina zijn of er iets is dat hen tegenhoudt om vandaag een aankoop te doen. Zo ja, wat is het dan? Je kunt deze kwalitatieve gegevens gebruiken om je teksten en conversiepercentage te verbeteren.

Klantinterviews

Niets is effectiever dan de telefoon op te nemen en direct met je klanten te praten. Waarom hebben ze voor jouw winkel gekozen boven concurrerende winkels? Welk probleem probeerden ze op te lossen toen ze op je site kwamen? Er zijn miljoenen vragen die je kunt stellen om tot de kern te komen van wie je klanten zijn en waarom ze bij jou kopen.

Klantonderzoeken

Klantonderzoeken zijn volledige enquêtes die worden verzonden naar mensen die al een aankoop hebben gedaan (in tegenstelling tot bezoekers). Bij het ontwerpen van een klantonderzoek wil je je richten op het definiëren van je klanten, het definiëren van hun problemen, het definiëren van twijfels die ze hadden voordat ze kochten en het identificeren van woorden en zinnen die ze gebruiken om je winkel te beschrijven.

Analytics-analyse

Volgen je analysetools je gegevens correct? Dat klinkt misschien gek, maar je zou verbaasd zijn over hoeveel analysetools verkeerd zijn ingesteld. Analytics-analyse draait allemaal om het begrijpen van het gedrag van je bezoekers. Je kunt bijvoorbeeld op de funnel focussen: Waar zijn de grootste lekken in je conversiefunnel? Met andere woorden, waar vallen de meeste mensen uit je funnel? Dat is een goed startpunt om te testen.

Gebruikerstests

Hier kijk je naar menselijke testers die proberen taken op je site uit te voeren in een betaald, gecontroleerd experiment. Je kunt ze bijvoorbeeld vragen om een videogame in de prijsklasse van € 40 tot € 60 te vinden en deze aan hun winkelwagentje toe te voegen. Terwijl ze deze taken uitvoeren, vertellen ze hardop hun gedachten en acties.

Sessie-opnames

Sessie-opnames zijn vergelijkbaar met gebruikerstests, maar nu heb je te maken met echte bezoekers met echt geld en echte koopintentie. Je kijkt hoe je daadwerkelijke bezoekers door je site navigeren. Wat hebben ze moeite om te vinden? Waar raken ze gefrustreerd? Waar lijken ze in de war te zijn?

Er zijn ook andere soorten onderzoek, maar begin met het kiezen van de beste A/B testmethode voor jou. Als je er een paar hiervan doorloopt heb je een enorme lijst van datagestuurde ideeën die het waard zijn om te testen.

A/B testprocessen van de professionals

Nu je de bovenstaande gids voor A/B testen hebt doorlopen, kun je kijken naar de processen die professionals gebruiken.

Krista Seiden, KS Digital

Mijn stapsgewijze proces van A/B testen voor websites en apps begint met analyse, naar mijn mening is dit de kern van elk goed testprogramma. In de analysefase is het doel om je analysegegevens, enquête- of UX-gegevens, of andere bronnen van klantinzicht te onderzoeken om te begrijpen waar je optimalisatiemogelijkheden liggen.

Als je een goede pijplijn van ideeën hebt vanuit de analysefase, kun je verder gaan met hypothetiseren wat er mogelijk misgaat en hoe je deze optimalisatiegebieden zou kunnen verbeteren.

Vervolgens is het tijd om je tests op te bouwen en uit te voeren. Zorg ervoor dat je ze een redelijke tijd laat draaien (ik ga standaard voor twee weken om ervoor te zorgen dat ik rekening houd met week-op-week veranderingen of onverwachte elementen) en wanneer je genoeg gegevens hebt, analyseer je de resultaten om je winnaar te bepalen.

Het is ook belangrijk om wat tijd te nemen in deze fase om de verliezers te analyseren; wat kun je leren van deze variaties?

Ten slotte (je zult deze fase misschien pas bereiken als je tijd hebt besteed aan het leggen van de basis voor een solide optimalisatieprogramma) is het tijd om naar personalisatie te kijken. Dit vereist niet noodzakelijk een fancy toolset, maar kan voortkomen uit de gegevens die je over je gebruikers hebt.

Marketing-personalisatie kan zo eenvoudig zijn als het richten van de juiste inhoud op de juiste locaties of zo complex zijn als het richten op basis van individuele gebruikersacties. Spring echter niet meteen in het diepe. Zorg ervoor dat je genoeg tijd besteedt om eerst de basis goed te krijgen.

Alex Birkett, Omniscient Digital

Op een hoog niveau probeer ik dit proces te volgen:

• Verzamel gegevens en zorg ervoor dat de implementaties van de analyses nauwkeurig zijn.
• Analyseer gegevens en vind inzichten.
• Verander inzichten in hypothesen.
• Prioriteer op basis van impact en eenvoud, en maximaliseer de allocatie van middelen (vooral technische middelen).
• Voer een test uit (volgens de beste statistische praktijken naar je beste vermogen).
• Analyseer de resultaten en implementeer of niet op basis van de resultaten.
• Itereer op basis van bevindingen en herhaal dit.

Met simpele woorden: onderzoek, test, analyseer, herhaal.

Hoewel dit proces kan afwijken of veranderen afhankelijk van de context (Test ik een bedrijfskritische productfunctie? Een CTA van een blogpost? Wat is het risicoprofiel en de balans tussen innovatie en risicomitigatie?), is het redelijk toepasbaar op elk type bedrijf.

Het punt is dat dit proces wendbaar is maar ook voldoende gegevens verzamelt, zowel kwalitatieve klantfeedback (EN) als kwantitatieve gegevens, om betere testideeën te kunnen bedenken en deze beter te prioriteren zodat je verkeer naar je online winkel kan genereren.

Ton Wesseling, Online Dialogue

De eerste vraag die we altijd beantwoorden wanneer we een klantreis willen optimaliseren is: Waar past dit product of deze dienst in het ROAR-model dat we bij Online Dialogue hebben gemaakt? Bevind je je nog in de risicofase, waar we veel onderzoek kunnen doen maar onze bevindingen niet kunnen valideren via online A/B testen (onder de 1.000 conversies per maand), of bevind je je in de optimalisatiefase? Of zelfs daarboven?

• Risicofase: Veel onderzoek, dat zal worden vertaald naar alles van een verandering van bedrijfsmodel tot een geheel nieuw ontwerp en waardepropositie.
• Optimalisatiefase: Grote experimenten die de waardepropositie en het bedrijfsmodel optimaliseren, evenals kleine experimenten om hypotheses over gebruikersgedrag te valideren, die kennis opbouwen voor grotere ontwerpwijzigingen.
• Automatisering: Je hebt nog steeds experimenteerkracht (bezoekers) over, wat betekent dat je volledige testpotentieel niet nodig is om je gebruikersreis te valideren. Wat overblijft, moet worden gebruikt om te exploiteren om nu sneller te groeien (zonder focus op lange termijn inzichten). Dit kan worden geautomatiseerd door bandits uit te voeren/algoritmen te gebruiken.
• Herzien: Je stopt met het toevoegen van veel onderzoek, tenzij het een omkeer naar iets nieuws is.

Dus A/B testen voor websites of apps is alleen een groot ding in de optimalisatiefase van ROAR en verder (tot ‘herzien’). Onze aanpak voor het uitvoeren van experimenten is het FACT & ACT-model:

Het onderzoek dat we doen is gebaseerd op ons 5V-model:

We verzamelen al deze inzichten om tot een hoofdhypothese te komen die is onderbouwd door onderzoek, wat zal leiden tot sub-hypothesen die worden geprioriteerd op basis van de gegevens die zijn verzameld via desktop- of mobiele A/B testen. Hoe groter de kans dat de hypothese waar is, hoe hoger deze wordt gerangschikt.

Als we leren of onze hypothese waar of onwaar is, kunnen we beginnen met het combineren van inzichten en grotere stappen zetten door grotere delen van de klantreis opnieuw te ontwerpen/af te stemmen. Maar op een gegeven moment zullen alle winnende implementaties leiden tot een lokaal maximum. Dan moet je een grotere stap zetten om een potentieel globaal maximum te bereiken.

En natuurlijk zullen de belangrijkste inzichten door het hele bedrijf worden verspreid, wat leidt tot allerlei bredere optimalisatie en innovatie op basis van jouw gevalideerde first-party-inzichten.

Julia Starostenko, Pinterest

Het doel van een experiment is om te valideren of wijzigingen aan een bestaande webpagina een positieve impact op het bedrijf zullen hebben.

Voordat je begint, is het belangrijk om te bepalen of het echt nodig is om een experiment uit te voeren. Neem het volgende scenario: Er is een knop met een extreem laag doorklikpercentage. Het zou bijna onmogelijk zijn om de prestaties van deze knop te verlagen. Het valideren van de effectiviteit van een voorgestelde wijziging aan de knop (d.w.z. het uitvoeren van een experiment) is daarom niet nodig.

Zo ook wanneer de voorgestelde wijziging aan de knop klein is, is het waarschijnlijk niet de moeite waard om de tijd te besteden aan het opzetten, uitvoeren en afbreken van een experiment. In dit geval moeten de wijzigingen gewoon aan iedereen worden doorgevoerd en kan de prestatie van de knop worden gemonitord.

Als wordt vastgesteld dat het uitvoeren van een experiment in feite voordelig zou zijn, is de volgende stap om de zakelijke metrics te definiëren die verbeterd moeten worden (bijv. het verhogen van het conversiepercentage van een knop). Vervolgens zorgen we ervoor dat de juiste gegevensverzameling is ingesteld.

Als dit is voltooid, wordt het publiek willekeurig verdeeld, waarbij er split testing plaatsvindt tussen twee groepen: de ene groep krijgt de bestaande versie van de knop te zien, terwijl de andere groep de nieuwe versie krijgt. Het conversiepercentage van elk publiek wordt gemonitord en zodra statistische significantie is bereikt, worden de resultaten van het experiment bepaald.

Peep Laja, CXL

A/B testen is een onderdeel van een groter conversieoptimalisatie-plaatje. Naar mijn mening gaat het voor 80% om het onderzoek en slechts om 20% om testen. Conversieonderzoek helpt je bepalen wat je in de eerste plaats moet testen.

Mijn proces ziet er meestal als volgt uit (een simpele samenvatting):

1. Voer conversieonderzoek uit met behulp van een framework zoals ResearchXL om problemen op je site te identificeren.
2. Kies een probleem met hoge prioriteit (een probleem dat een groot deel van de gebruikers beïnvloedt en ernstig is) en brainstorm zoveel mogelijk oplossingen voor dit probleem. Informeer je ideeënproces met je inzichten uit het conversieonderzoek. Bepaal op welk apparaat je de test wilt uitvoeren (je moet mobiele A/B testen apart van desktop testen uitvoeren).
3. Bepaal hoeveel variaties je kunt testen (op basis van je verkeer/transactieniveau) en kies vervolgens je beste één tot twee ideeën voor een oplossing om tegen de controle te testen.
4. Wireframe de exacte behandelingen (schrijf de tekst, maak de ontwerpwijzigingen, enz.). Afhankelijk van de omvang van de wijzigingen, moet je misschien ook een ontwerper inschakelen om nieuwe elementen te ontwerpen.
5. Laat je front-end ontwikkelaar de behandelingen implementeren in je testprogramma. Stel noodzakelijke integraties in (Google Analytics) en stel de juiste doelen in.
6. Voer QA uit op de test (gebroken tests zijn verreweg de grootste gevaar bij A/B testen) om ervoor te zorgen dat het werkt met elke browser/apparaat combinatie.
7. Start de test!
8. Als de test is voltooid (EN), voer dan een post-testanalyse uit.
9. Afhankelijk van de uitkomst, implementeer de winnaar, volg de behandelingen op, of ga iets anders testen.

Veelvoorkomende fouten bij A/B testen

Te veel variabelen tegelijkertijd testen

Wanneer je twee variabelen tegelijkertijd vergelijkt, kun je misschien niet bepalen welke wijziging het effect heeft veroorzaakt.

Stel dat je een landingspagina wilt optimaliseren. In plaats van alleen een kop te testen, test je:

• Tekst van de call-to-action
• Kleur van de CTA-knop
• Headerafbeeldingen
• Koppen

Conversiepercentages stijgen, maar je kunt niet precies zeggen welke wijziging verantwoordelijk was. Als je één variabele tegelijk test, kun je de impact van elke wijziging isoleren en nauwkeurigere resultaten krijgen.

💡Iets om over na te denken: Multivariate testen is een optie als je wilt begrijpen hoe meerdere variabelen met elkaar interageren. Maar om een multivariate test uit te voeren, heb je meer verkeer en een geoptimaliseerde pagina nodig om kleine verbeteringen aan te brengen. Het proces is veel complexer dan het uitvoeren van A/B testen.

Onvoldoende steekproefgrootte

De betrouwbaarheid van je A/B testresultaten hangt af van de gebruikte steekproefgrootte. Kleine steekproeven kunnen valse positieven en negatieven veroorzaken, waardoor het moeilijk wordt om te concluderen of de verschillen het gevolg zijn van je wijzigingen of willekeur.

Stel dat je twee versies van een productpagina test om te zien welke leidt tot hogere aankooppercentages. Je splitst het verkeer maar eindigt met slechts 100 bezoekers voor Versie A en 100 bezoekers voor Versie B.

Als Versie A een conversiepercentage van 6% heeft en Versie B een conversiepercentage van 5%, denk je misschien dat Versie A beter is. Maar met slechts 100 bezoekers per versie is het niet statistisch significant. Het is mogelijk dat als je met meer bezoekers had getest, de resultaten anders waren geweest.

De beste manier om een gezonde steekproefgrootte te bepalen is met een steekproefgroottecalculator.

Korte testduur

Voer je A/B test gedurende minstens één, het liefst twee, volledige bedrijfscycli uit. Stop je test niet alleen omdat je significantie hebt bereikt. Je moet ook voldoen aan je vooraf bepaalde steekproefgrootte. 

Vergeet tenslotte niet om alle tests in volledige incrementen van een week uit te voeren.

Waarom twee volledige bedrijfscycli? Ten eerste helpen twee cycli je rekening te houden met:

1. Twijfelende kopers.
2. Verschillende verkeersbronnen (Facebook, e-mailnieuwsbrief, organische zoekopdrachten, enz.)
3. Anomalieën. Bijvoorbeeld, je vrijdagse e-mailnieuwsbrief.

Twee bedrijfscycli zijn over het algemeen genoeg tijd om waardevolle inzichten te krijgen in het gebruikersgedrag van je doelgroep.

Als je een soort A/B test landingspagina-tool hebt gebruikt, ben je waarschijnlijk bekend met het kleine groene "Statistisch Significant" pictogram.

Voor velen is dat helaas het universele teken voor “de test is klaar, beëindig het.” Zoals je hieronder zult leren, betekent het bereiken van statistische significantie bij een A/B test echter niet dat je de test moet stoppen.

Gebruikerssegmentatie over het hoofd zien

Als je geen rekening houdt met verschillende gebruikerssegmenten, krijg je gegeneraliseerde resultaten die mogelijk niet voor iedereen gelden.

Het is nuttig om gebruikers te segmenteren op basis van demografie, gedrag of andere relevante factoren. Wat werkt voor nieuwe gebruikers, werkt mogelijk niet voor terugkerende gebruikers. Als je niet segmenteert, loop je het risico je belangrijke gebruikersgroepen te vervreemden en breng je de integriteit van je test in gevaar.

Optimaliseer A/B testen voor jouw bedrijf

Je hebt het proces, je hebt de kracht! Ga dus aan de slag, haal de beste A/B test software in huis en begin met het testen van je online winkel. Voor je het weet, zullen die inzichten zich vertalen naar meer geld op de bank!

Als je verder wilt leren over optimalisatie, overweeg dan om een gratis cursus te volgen, zoals A/B testen door Google op Udacity (EN). Je kunt meer leren over web- en mobiele A/B testen om je optimalisatievaardigheden te verbeteren.