Na stránce produktu máte nadpis. Myslíte si, že jiný nadpis by mohl konvertovat lépe. Můžete hádat. Nebo můžete polovině návštěvníků ukázat starý nadpis a polovině nový, změřit konverzní poměr každého a nechat data rozhodnout, který je lepší. To je analytika A/B testování.
A/B testování používá data k porovnání variant a nalezení vítěze. Tento článek popisuje, jak A/B testy fungují, co znamená statistická významnost, proč záleží na velikosti vzorku, jaké jsou časté chyby při testování a jak vybrat varianty, které stojí za testování.
A/B testování (také split testing) porovnává dvě verze něčeho, aby se zjistilo, která funguje lépe. Verze A (kontrolní): váš současný nadpis. Verze B (varianta): jiný nadpis. Rozdělíte návštěvnost 50/50, změříte, který nadpis konvertuje víc, a vyhlásíte vítěze.
A/B testování odpovídá: je tato změna opravdu lepší, nebo je rozdíl jen náhoda? Bez testování se spoléháte na pocit. S testováním na data.
Co A/B testování je a na co odpovídá
A/B testování porovnává dvě verze a měří, která funguje lépe podle konkrétní metriky. Míra prokliku. Konverzní poměr. Čas na stránce. Tržby na návštěvníka. Test spouštíte, dokud nemáte dost dat k rozhodnutí.
A/B test odpovídá: je rozdíl mezi těmito verzemi skutečný, nebo náhodný? Stojí tato změna za zavedení, nebo mám zkusit něco jiného? Odpověď přichází z dat, ne z názoru.
Jak funguje statistická významnost
Testujete dva nadpisy. Nadpis A konvertuje na 10 procent (100 z 1 000). Nadpis B na 10.5 procenta (105 z 1 000). Nadpis B je lepší. Ale je rozdíl skutečný, nebo jen náhodné kolísání?
Statistická významnost odpovídá: kdyby mezi nadpisy žádný rozdíl nebyl, jak pravděpodobné je, že byste jen náhodou viděli tak velký rozdíl? Když je pravděpodobnost velmi nízká (méně než 5 procent), je rozdíl statisticky významný. Můžete věřit, že je skutečný.
Když je pravděpodobnost vysoká (více než 5 procent), rozdíl může být náhodná šance. Neměli byste podle něj jednat.
Většina testů vyžaduje 95procentní spolehlivost, to znamená, že připouštíte jen 5procentní šanci, že je rozdíl náhodný. Některé testy vyžadují 99procentní spolehlivost (jen 1procentní šance náhody).
Proč v testování záleží na velikosti vzorku
Testujete nadpis B na 20 lidech a dostanete 20procentní konverzní poměr (4 konverze). Nadpis A dostal 10 procent (2 konverze). Nadpis B je lepší, ne? Možná. Nebo je to při tak malém vzorku náhoda.
Otestujte stejné nadpisy na 10 000 lidech. Nadpis A dostane 1 000 konverzí z 10 000 (10 procent). Nadpis B dostane 950 konverzí z 10 000 (9.5 procenta). Teď je lepší nadpis A. S větším vzorkem se náhoda vyhladí a objeví se skutečné vzorce.
Větší vzorky vám dávají větší jistotu ve výsledku. Menší vzorky jsou zašuměné a nespolehlivé.
Časté chyby při A/B testování
Příliš brzké ukončení testu: Po dvou dnech vidíte, že vyhrává jedna varianta. Vyhlásíte vítězství a zapnete ji. Ale po dvou týdnech se vzorec otočí a vyhraje původní verze. Raná data byla náhodné kolísání. Nechte test běžet dost dlouho (alespoň dva týdny, ideálně čtyři).
Spouštění příliš mnoha testů najednou: Testujete nadpis, barvu tlačítka a délku formuláře zároveň. Jedna varianta vyhraje, ale nevíte, který prvek to způsobil. Testujte jednu věc po druhé.
Testování bezvýznamných změn: Testujete barvu tlačítka (modrá vs trochu tmavší modrá). Test potřebuje 100 000 návštěvníků, aby ukázal statisticky významný rozdíl. Testujte změny, na kterých záleží (nadpis vs jiná hodnota nabídky, ne modrá vs trochu méně modrá).
Ignorování sezónnosti: Spustíte test od listopadu do ledna. Vaše varianta vyhraje. Ale leden je pomalejší sezóna. Když ji pustíte celý rok, prohraje. Testy vždy spouštějte napříč několika sezónami.
Záměna korelace za příčinnost: Vyhraje varianta B. Předpokládáte, že výhru způsobila změna. Ale během testu jste spustili i marketingovou kampaň. Výhru způsobila kampaň, ne varianta. Ošetřete vnější faktory.
Jak vybrat, co testovat
Testujte změny s vysokým potenciálním dopadem. Malé změny nemusí věc pohnout, ani když vyhrají. Změna barvy tlačítka může zvýšit konverzi o 0.5 procenta. Změna nadpisu může zvýšit konverzi o 5 procent. Nejdřív testujte větší změny.
Testujte změny odpovídající vaší hypotéze. Když je vaše hypotéza "matoucí formulář objednávky způsobuje odpad," otestujte jednodušší formulář. Netestujte náhodné barvy a umístění tlačítek.
Testujte změny po jedné. Když změníte nadpis, text tlačítka a pole formuláře najednou, nepoznáte, co zlepšení způsobilo.
Jak číst výsledky A/B testu
Výsledek ukazuje: Varianta A měla konverzní poměr 10 procent. Varianta B měla konverzní poměr 11 procent. B je o 10 procent lepší (relativní zlepšení). Úroveň spolehlivosti je 95 procent, p-hodnota 0.03.
Co to znamená: Varianta B je lepší. Jsme z 95 procent jistí, že je tento rozdíl skutečný a ne náhodná šance.
Když je úroveň spolehlivosti 85 procent (p-hodnota 0.15), výsledek není statisticky významný. Vítěze byste vyhlašovat neměli; je potřeba víc dat.
Kdy v testování pokračovat a kdy skončit
Pokračujte v testování, když: výsledek není statisticky významný a nedosáhli jste cílové velikosti vzorku, nebo jste se dozvěděli něco nečekaného a chcete kopat hlouběji.
Skončete s testováním, když: jste dosáhli statistické významnosti a můžete vyhlásit vítěze, nebo test běží čtyři týdny a déle a výsledky se k významnosti neblíží. V tu chvíli jsou varianty pravděpodobně stejně dobré.
Často kladené otázky
Kolik návštěvníků potřebuji pro platný A/B test?
Záleží na vašem základním konverzním poměru a na tom, jak velkou změnu chcete odhalit. U malého webu se 100 návštěvníky denně možná budete potřebovat dva týdny, abyste dosáhli statistické významnosti. U velkého webu s 10 000 návštěvníky denně ji můžete dosáhnout za dva dny. Použijte kalkulačku velikosti vzorku (většina nástrojů pro A/B testování ji má zabudovanou). S Tvůrcem webů od WEMASY to můžete nastavit přímo na svém webu.
Co znamená p-hodnota 0.05?
Znamená to, že je 5procentní šance, že rozdíl, který vidíte, je náhodný. Úroveň spolehlivosti 95 procent. Většina lidí používá 0.05 jako práh: když je p-hodnota pod 0.05, je výsledek statisticky významný.
Můžu sledovat výsledky během testu a skončit dřív, když jedna varianta vyhrává?
Ne. Říká se tomu nakukování a vede ke špatným závěrům. Když skončíte dřív, protože jedna varianta vede, můžete přehlédnout skutečného vítěze. Test vždy nechte běžet po plánovanou dobu.
Co když má můj test velké zlepšení, ale nízkou statistickou významnost?
Obvykle to znamená, že je váš vzorek příliš malý. Máte slibný signál, ale ne dost dat k jeho potvrzení. Nechte test běžet déle nebo získejte víc návštěvnosti.
Mám testovat jeden prvek, nebo víc prvků najednou?
Testujte jeden prvek po druhém (multivariační testování je složité a obvykle se nevyplatí, pokud nemáte velmi vysokou návštěvnost). Testování jedné věci vám řekne, co změnu způsobilo.
Kolik A/B testů mám spouštět současně?
Obecně jeden po druhém, zvlášť pokud s testováním začínáte. Až budete zkušení a budete mít vysokou návštěvnost, můžete spouštět víc testů na různých stránkách současně. Nespouštějte dva testy na stejné stránce zároveň.