A/B-tester – vad det är, hur det fungerar och hur du kommer igång

I detta inlägg går vi igenom:

• Vad A/B-tester är och när ni inte ska göra dem
• Hur ni kommer igång och hur länge ett test ska pågå
• Misstagen som ger er fel vinnare
• Ett räkneexempel på varför konverteringsoptimering och A/B-tester kan vara avgörande för er digitala marknadsföring

Vi på Sunbird har jobbat med konverteringsoptimering och Google Ads i över 10 år, och som alltid håller vi det praktiskt.

A/B-testning (även kallad split-testning) är när man jämför två versioner av en hemsida mot varandra för att avgöra vilken som konverterar bäst.

• 50 % av trafiken går till sida A
• 50 % av trafiken går till sida B

Detta sker slumpmässigt och under samma tidsperiod för att testet ska bli rättvist.

Ska ni genomföra ett A/B-test behöver ni ett verktyg som hjälper er att fördela trafiken och dra slutsatser.

Sida A är originalversionen (kallas ofta kontrollen) och sida B är varianten med förändringen ni vill testa. Eftersom båda versionerna visas samtidigt är det förändringen, och inte vädret, en kampanj eller säsongen, som förklarar skillnaden i resultat. Just det skiljer ett A/B-test från att bara jämföra försäljningen före och efter en ändring.

Har ni trafiken är A/B-testet det säkraste sättet att veta om en ändring ökar försäljningen innan ni bygger om hela hemsidan.

A/B-tester låter er öka er konverteringsgrad utan att gissa vad som fungerar. I de allra flesta fall betyder det fler kunder och högre omsättning.

Ett A/B-test tar bort gissningen från förbättringarna. Pratar ni med befintliga kunder eller kollegor får ni svar från en grupp som redan är påverkad.

Eftersom nästan all marknadsföring påverkas av hur bra er hemsida är får det i regel stor effekt, framför allt om ni har många besökare:

• Betald marknadsföring påverkas eftersom ni budar mot konkurrenter. Konverterar er hemsida bättre än konkurrenternas hittar ni också lönsamhet i marknadsföringen.
• En hemsida som besökarna gillar hänger ofta samman med bättre placeringar i Google.

A/B-tester prioriteras ofta för lite. Du som läser detta kan vara på rätt spår för att förbättra er hemsida. Frågan ni ska ställa er är om det är A/B-tester eller någon annan metod ni ska använda för att förbättra hemsidan. Nedan går vi igenom några fall där ni inte ska A/B-testa.

Ni ska inte A/B-testa när sidan har för lite trafik för att ge ett säkert svar, eller när förbättringen är så uppenbar att det bara är att göra den. Det kan exempelvis vara om:

• Ni har för få konverteringar och för lite trafik
• Det finns uppenbara förbättringar som i allra högsta grad är bra att göra

Istället för A/B-tester kan ni exempelvis genomföra användartester där ni går igenom hemsidan med potentiella kunder. Ni kan också göra förbättringen och jämföra försäljningen före och efter. Det blir aldrig helt tillförlitligt, men finns det uppenbara fel och är trafiken låg är det ofta så man gör i praktiken.

Varje vecka ni väntar på ett test som aldrig blir signifikant är en vecka med en sämre sida, så rätta de uppenbara felen först och testa sedan.

1. Välj ut sida: Välj ut vilken sida ni vill förbättra. Vet ni inte än kan ni välja en sida med mycket trafik som är viktig för er försäljning.
2. Se till att konverteringsspårningen fungerar: Fungerar inte er konverteringsspårning blir testet inte tillförlitligt. Det är inte ovanligt att man missar konverteringar eller räknar dem för många gånger. Ni ska enbart jobba med viktiga konverteringar. Får ni redan många förfrågningar från jobbsökande bör ni exempelvis räkna bort dem i testet.
3. Ta fram en hypotes: Fråga potentiella kunder vad de tycker om sidan, diskutera med en kollega och jämför med konkurrenter. Skriv sedan ner vad ni vill förbättra och varför ni tror att det ökar försäljningen.
4. Skapa den nya sidan: Skapa en B-sida till sidan ni vill testa. Det enklaste brukar vara att ge den nya sidan en egen URL. Tänk på att vissa användare ser URL:en, så den ska se bra ut och inte påverka utfallet.
5. Välj ett A/B-testverktyg: Det finns en rad verktyg, exempelvis VWO och Optimizely.
6. Se till att allt fungerar: Besök sidan från olika datorer eller i inkognitoläge. Ni ska få upp de två olika sidorna utan att något ser märkligt ut. Det är inte ovanligt att den ena sidan laddar långsammare eller flimrar till när verktyget byter innehåll med JavaScript efter att sidan laddats. Det kan försämra era Core Web Vitals (Googles mått på hur snabbt och stabilt en sida laddar) och påverka konverteringen, så åtgärda det innan ni startar testet. Testar ni priser, kassan eller andra flöden är det säkrare att bygga varianten på servern, så att besökaren får rätt version direkt.
7. Kör testet: Starta testet och vänta på att besökarna ska delta! Nu får besökarna på hemsidan slumpmässigt se antingen kontrollsidan (A) eller varianten (B). Verktyget mäter hur besökarna agerar på respektive sida och jämför resultaten.
8. Vänta: Nu kan ni fokusera på annat ett tag. Hur länge beror på trafiken och antalet konverteringar. Längden ska vara bestämd innan start, och testet ska gå i hela veckor så att både vardagar och helger kommer med (mer om det längre ner).
9. Kolla på resultatet: När testet är klart visar verktyget vilken sida som presterade bäst. Kolla först att besökarna har delats upp som ni ställt in, annars går resultatet inte att lita på.

Tänk på att A/B-testverktygen bara räknar det ni har satt upp som mål. Mäter ni enbart antalet konverteringar ser ni inte ordervärde eller marginal, och en sida som ger fler köp kan ändå ge mindre pengar (mer om det längre ner). Hur testet påverkar varumärket är svårare att mäta, men många tester påverkar inte varumärket och då behöver ni inte väga in det.

Är konverteringsoptimering och A/B-tester viktiga för er behöver ni en hemsida som är enkel att redigera. Färdiga mallar och hyrda hemsidor är ibland svåra att ändra i. Sunbird är en webbyrå i Malmö som bygger hemsidor i WordPress som är enkla att uppdatera. Kontakta oss gärna för en kostnadsfri skiss.

När ni gör A/B-tester kan ni prova både små förändringar och en helt ny design. Det som brukar ge mätbar skillnad är ändringar i erbjudandet och priset, men här är fler saker som är vanliga att testa:

• Erbjudande och pris: Visa tydligt vad kunden får och vad det kostar, inklusive frakt och andra tillägg.
• Rubriker och underrubriker: Gör rubrikerna kortare och tydligare. Säg vad ni gör och varför man ska kontakta er.
• Call to Action-knappar (CTA): Gå på avslut oftare och på fler olika sätt.
• Formulär och fält: Förenkla formulären och sänk risken. Gör det värt för användaren att kontakta er.
• Bilder och visuellt innehåll: Testa bilder som visar vad kunden får.
• Incitament: Finns det någon anledning för besökaren att kontakta er? Vad tjänar de på det?
• Ta bort innehåll: Många hemsidor har fortfarande för mycket information. Fokusera på det viktigaste.

Listan kan göras lång. Den som vill ha fler idéer får gärna läsa mina 28 UX tips.

Ett A/B-test behöver i regel pågå i flera veckor och alltid i hela veckor, eftersom besökarna beter sig olika på vardagar och helger. För att resultaten av ett A/B-test ska vara tillförlitliga behöver ni uppnå statistisk signifikans. Statistisk signifikans visar hur osannolikt resultatet hade varit om det inte fanns någon verklig skillnad mellan sidorna. En vanlig konfidensnivå är 95 %, vilket innebär att ni accepterar 5 % risk att utse en vinnare när skillnaden i själva verket beror på slumpen.

Verktygen ni använder visar när testet är signifikant, men bestäm i förväg hur länge testet ska pågå och hur många besökare som behövs (varför förklarar jag längre ner). Innan ni börjar behöver ni räkna ut hur många besökare testet kräver. Det gör ni i en kalkylator för urvalsstorlek, utifrån tre uppgifter:

• Sidans nuvarande konverteringsgrad
• Den minsta förbättring som är värd pengarna för er (kallas MDE, minsta detekterbara effekt)
• Hur säkra ni vill vara, oftast 95 % konfidensnivå

Räcker trafiken inte för att nå urvalet inom några veckor går det fortfarande att testa, men då syns bara stora skillnader.

Ju större förbättringen (eller försämringen) blir för B-sidan, desto färre besökare behövs för att se den. Är skillnaden mycket liten spelar ändringen ändå mindre roll. Bestäm därför i förväg vilken minsta förbättring som är värd att hitta.

Det omvända gäller också: vill ni kunna upptäcka små skillnader behöver ni mycket mer trafik. Halverar ni den minsta skillnad ni vill kunna se fyrdubblas behovet av besökare. För en mindre e-handel betyder det att små justeringar sällan går att testa, medan större förändringar av erbjudandet går.

De vanligaste misstagen i A/B-tester är att stoppa testet för tidigt, att inte kolla hur trafiken fördelats, att lita på cookies som inte håller hela testet ut och att räkna med att varje test ska vinna. Ett test som utser fel vinnare kan få er att rulla ut en ändring i tron att den fungerar.

Resultatet i ett A/B-test svänger av ren slump under testets gång. Tittar man varje dag och stoppar så fort verktyget visar 95 % kommer testet förr eller senare att se signifikant ut, även när det inte finns någon verklig skillnad. Ju oftare ni tittar och agerar, desto större risk att vinnaren bara är slump.

Så här gör ni i stället:

• Bestäm antal besökare och antal veckor innan testet startar
• Titta gärna under testet, men bara för att se att inget är trasigt
• Stoppa i förtid endast om varianten tydligt tappar försäljning eller något har gått sönder
• Har ert verktyg stöd för sekventiell testning (där kravet för signifikans justeras varje gång man tittar) kan ni stoppa tidigare utan samma risk

Sample Ratio Mismatch (SRM) betyder att besökarna inte har fördelats som planerat, till exempel att variant B fått märkbart färre besökare än A fast ni ställt in 50/50. Det låter som en detalj, men det betyder att något i testet sållar bort besökare, och då går resultatet inte att lita på. I en studie från Microsoft, presenterad på forskningskonferensen ACM SIGKDD (2019), hade cirka 6 % av de storskaliga testerna SRM.

Forskarna bakom studien beskriver också hur en ny funktion först såg ut att minska antalet klick. Felet var att de mest engagerade besökarna i varianten klickade så mycket att analysens botfilter tog dem för botar och sorterade bort dem. När felet var rättat visade testet i stället en ökning.

Vanliga orsaker till SRM:

• Varianten laddar långsammare och besökare hinner lämna innan de räknas
• Omdirigeringen till B-sidan fungerar inte i vissa webbläsare
• Någon ändrar fördelningen mitt i testet
• Filter som tar bort botar rensar bort besökare ojämnt mellan A och B

Kolla därför alltid att antalet besökare i A och B stämmer med fördelningen ni ställt in, innan ni tittar på konverteringarna. Stämmer det inte pausar ni testet och letar efter felet i stället för att utse en vinnare.

A/B-tester på klientsidan (där testet körs med JavaScript i besökarens webbläsare) använder cookies för att hålla reda på vilken variant varje besökare ska se. Sedan ITP 2.1 (WebKit, 2019) raderar Safari cookies som satts med JavaScript efter sju dagar. En besökare som kommer tillbaka efter en vecka kan då räknas som ny och hamna i den andra varianten, och ju längre testet pågår desto mer blandas grupperna ihop.

Cookies för besöksstatistik och tester kräver dessutom samtycke enligt lagen om elektronisk kommunikation (LEK). När det ska vara lika enkelt att neka som att godkänna brukar färre tacka ja, och testet omfattar då bara de besökare som godkänt.

För er betyder det att tester som pågår i många veckor blir mindre pålitliga. Tester som byggs på servern, där varianten väljs innan sidan skickas till besökaren, påverkas mindre av att Safari rensar cookies som satts med JavaScript. Sparar testet en cookie eller liknande i besökarens webbläsare krävs samtycke även när testet körs på servern.

De flesta A/B-tester visar ingen tydlig vinnare. Enligt Harvard Business Review (2017) ger bara 10–20 % av experimenten hos Google och Microsofts Bing ett positivt resultat på det mått de mäter. Ett test där B inte vinner är inget misslyckande. Det har hindrat er från att bygga om sidan på en gissning.

Det som brukar ge mätbar skillnad är förändringar i erbjudandet, priset och hur tydligt ni säger vad kunden får. Knappfärger och små ordbyten syns sällan i resultatet. Ett vinnande test visar dessutom ofta ett större lyft än det ni ser när sidan ligger ute på riktigt, så räkna försiktigt när ni budgeterar för effekten.

Google har inget emot A/B-tester, men gör man det fel kan det försämra er sökmotoroptimering. Två av de viktigaste sakerna att tänka på när ni gör A/B-testet:

• Använd rel=”canonical”: Har ni två olika URL:er bör ni använda attributet rel=”canonical” för att peka på den ursprungliga versionen av sidan. Då slipper ni duplicerat innehåll.
• Använd 302-omdirigering istället för 301: Då säger ni till Google att omdirigeringen är tillfällig och att den ursprungliga URL:en ska vara kvar i indexet.

Google listar fler rekommendationer för tester i sin dokumentation på Search Central.

Vi hjälper er gärna som en erfaren SEO-byrå.

Det här är ett försök att visa hur avgörande en hemsida som säljer bra kan vara.

• Budget för marknadsföring: 10.000 kr/månad (120.000 kr/år)
• Vi räknar med att B-testet kostar 25.000 kr att planera och genomföra (kan variera kraftigt)
• Vi antar att B-testet ökar er försäljning med 20 %

Jämför vi med kostnaderna är testet värt 24.000 kr/år (så länge optimeringen är relevant). Efter drygt ett år har testet alltså betalat sig.

Tänk på att 20 % är ett mycket optimistiskt antagande. De flesta tester ger ingen tydlig vinnare (se misstagen ovan), och även vinnarna ger i regel betydligt mindre lyft än så, så räkna med att det krävs många tester för att nå dit.

Enligt räkneexemplet tjänar ni mer på kort sikt på att lägga pengarna direkt på marknadsföring. Men på lång sikt, när ni genomfört många tester och behållit vinnarna, kan förbättringarna tillsammans vara värda betydligt mer än de kostade.

Det som blir tydligt här är att ju mer ni spenderar på marknadsföring, desto viktigare blir det att prioritera avslutningsfrekvensen. Det syns också att vinsten kommer på längre sikt.

Spenderar ni tre gånger så mycket på marknadsföring är detta test värt 72.000 kr per år, och redan efter drygt 4 månader har ni fått in pengarna för testet.

En hemsida som fungerar bättre för användaren brukar också hänga ihop med bättre kvalitetsresultat i Google Ads (Googles betyg på hur relevanta annonsen och landningssidan är).

En lägre konverteringsgrad kan betyda högre lönsamhet, om det är olönsamma köp som försvinner. Ehandel.se (2023) har rapporterat om ett A/B-test som Kronans Apotek gjorde med leveransplattformen Ingrid på 150 000 köp. Där togs det förvalda gratisalternativet för frakt bort, och skåpleverans kostade i stället nio kronor.

Utfallet enligt Ehandel.se (2023) och Ingrid:

• Konverteringsgraden minskade med 14 % (färre av besökarna i kassan handlade)
• Nettomarginalen på leveranserna ökade med 11 %
• Den totala omsättningen ökade med 2 %

Enligt Ingrid var det främst olönsamma köp med lågt ordervärde som föll bort. Hade man bara mätt konverteringar hade ändringen rullats tillbaka. Mät därför det som hamnar på sista raden, inte bara antalet köp, framför allt när ni testar priser, frakt och erbjudanden.

Ett A/B-test är ett experiment där besökarna slumpmässigt får se en av två versioner av samma sida, annons eller e-postutskick, så att ni ser vilken som ger flest affärer. Eftersom versionen är det enda som skiljer grupperna åt går skillnaden i resultat att koppla till ändringen.

Konkret exempel: Ett tjänsteföretag vill få fler offertförfrågningar via hemsidan.

Sida A: Dagens offertsida med en allmän rubrik och ett formulär med åtta fält.

Sida B: En rubrik som säger vad kunden får och ett formulär med tre fält.

Hälften av besökarna ser A och hälften ser B under samma veckor. Förutsatt att allt annat är lika, vilken hade du helst fyllt i? För mig är B givet, men testet finns just för att magkänslan ibland har fel. Mät antalet förfrågningar och helst hur många av dem som blir affärer.

Ett A/B-test ska pågå tills det har nått det antal besökare ni räknade fram innan start, och alltid i hela veckor. Att stoppa i förtid för att resultatet ser bra ut ger lätt en falsk vinnare, och låter ni testet gå i månader blir grupperna mindre pålitliga, eftersom bland annat Safari rensar cookies och besökare kan hamna i fel variant.

Det beror på sidans konverteringsgrad och hur liten förbättring ni vill kunna se. Räkna ut urvalet i en kalkylator för urvalsstorlek innan ni startar. Halverar ni den minsta skillnad ni vill hitta behöver ni ungefär fyra gånger så många besökare, så med låg trafik syns bara stora förändringar.

En bra hypotes säger vad ni ändrar, för vilka besökare, vad ni tror händer och varför, samt vilket mått som avgör om ni hade rätt. Ett exempel: ”Om vi kortar offertformuläret till tre fält skickar fler besökare från Google Ads en förfrågan, eftersom många i dag lämnar vid telefonnummerfältet. Vi mäter antalet skickade förfrågningar.” Bygg hypotesen på var besökarna lämnar i ert analysverktyg och på vad kunderna säger till er.

Ja, samma princip fungerar för annonser, e-postutskick och sociala medier: två versioner, slumpmässig fördelning och ett mål ni bestämt innan. Skillnaden är att man ofta mäter klick eller öppningar, så följ upp hela vägen till köp eller lead om ni kan.

Vill ni ha hjälp med era A/B-tester och er konverteringsoptimering får ni mer än gärna kontakta Nils. Vi är en digital marknadsföringsbyrå med kunder i hela Sverige och kontor i Malmö.