Krok první: napište hypotézu s konkrétními údaji
Vágní hypotéza selže
Ne: změna pokladny zlepší konverzi.
Konkrétní hypotéza vyhrává
Lépe: myslíme si, že zjednodušení pokladny z pětikrokového procesu na jednostránkový formulář zvýší dokončení nákupů nejméně o tři procenta, protože zákazníci odcházejí, když jim formulář připadá dlouhý.
Hypotéza by měla říkat. Co měníte. Proč si myslíte, že to pomůže. Jakou metriku čekáte, že se zlepší. A o kolik.
Vágní hypotéza vede k vágním výsledkům. Konkrétní hypotéza se dá otestovat.
Krok druhý: před začátkem určete velikost vzorku
Na výpočtu záleží
Kolik návštěvníků potřebujete, abyste uviděli skutečný rozdíl.
Vzorec. Potřebujete minimálně pět set konverzí na variantu. Tedy tisíc celkem, pokud testujete dvě verze.
Spočítejte délku testu
Pokud konvertujete ve dvou procentech a máte dva tisíce návštěvníků měsíčně, máte čtyřicet konverzí měsíčně. K pěti stům konverzí se dostanete za dvanáct měsíců. Test se včas nedokončí.
Pokud konvertujete v deseti procentech a máte pět tisíc návštěvníků měsíčně, máte pět set konverzí měsíčně. K tisíci se dostanete za dva měsíce. Test skončí rychle.
Znejte svůj časový plán předem
Weby s nízkým konverzním poměrem potřebují delší testy. Weby s vysokou konverzí skončí rychleji.
Použijte kalkulačku velikosti vzorku. Zadejte svůj konverzní poměr a návštěvnost. Kalkulačka vám řekne, jak dlouho test potrvá.
Pokud test trvá déle než tři měsíce, zvažte. Stojí ta změna za tři měsíce čekání. Nebo máme otestovat něco jiného, co skončí rychleji.
Krok třetí: vyberte rozdělení návštěvnosti v testu
Padesát na padesát je standard
Přidělte padesát procent kontrolní verzi. Padesát procent testované změně.
Opatrné rozdělení zpomaluje výsledky
Někteří lidé rozdělují devadesát na deset. Devadesát procent současné dobré verzi, deset procent nové verzi, o které si nejsou jistí. Je to opatrné, ale test se zpomalí.
Padesát na padesát je standard. Nejrychlejší výsledky.
Krok čtvrtý: před spuštěním určete délku testu
Zavažte se k časovému plánu
Minimálně jeden týden. Dva týdny jsou standard. Měsíc u webů s velmi vysokou návštěvností.
Neurčujte délku během testu. Určete ji předem. Zapište si ji. Dodržte ji.
Brzké nahlížení testy ničí
Brzké nahlížení testy ničí. Podíváte se na výsledky po týdnu. Vypadá to, že vyhrává testovaná změna. Test zastavíte. Nasadíte ji. Později zjistíte, že výsledky nebyly skutečné. Nasadili jste něco, co ve skutečnosti nefungovalo.
Nechte test běžet celou dobu.
Krok pátý: proveďte testovanou změnu
Jen jedna změna
Jen jedna změna. Ne více změn.
Pokud testujete zjednodušení pokladny, zjednodušte formulář. Neměňte zároveň barvu, text ani rozložení. Jedna proměnná najednou.
Ať je změna zřejmá
Změna má být zřejmá. Návštěvníci by si rozdílu měli všimnout. Pokud je změna tak nenápadná, že ji návštěvníci nevidí, test nebude fungovat.
Krok šestý: nastavte test v nástroji
Vyberte platformu
Použijte platformu pro testování. . . .
Nainstalujte a nastavte
Připojte ji k webu. Nainstalujte sledovací kód. Obvykle jde o jeden řádek kódu nebo instalaci pluginu.
Vytvořte verze a metriky
Vytvořte kontrolní verzi. To je současná verze.
Vytvořte testovanou verzi. Zaveďte svou změnu.
Nastavte rozdělení návštěvnosti. Padesát procent na každou.
Nastavte délku. Dva týdny nebo jak dlouho jste určili.
Nastavte metriku úspěchu. Co měříte. Dokončení pokladny. Odeslání formuláře. Posunutí stránky.
Krok sedmý: nechte test běžet bez nahlížení
Odolejte pokušení
Je to těžké. Odolejte nutkání kontrolovat výsledky.
Výsledky po několika dnech nic neznamenají. Při malém vzorku je náhodné kolísání obrovské. Uvidíte výsledky, které později zmizí.
Nastavte si připomínku v kalendáři
Zkontrolujte výsledky přesně v den konce. Ne dřív.
Nastavte si v kalendáři připomínku na den konce testu. Podívejte se tehdy.
Krok osmý: vyhodnoťte výsledky správně
Hledejte statistickou významnost
Test skončí. Podíváte se na výsledky. Testovaná verze konvertovala v jedenácti procentech. Kontrolní v deseti. Testovaná je lepší. Že?
Ale byla statisticky významná. Je to skutečné, nebo štěstí.
Hledejte interval spolehlivosti nebo p-hodnotu. Mělo by to být nad devadesáti pěti procenty spolehlivosti nebo pod p-hodnotou nula celá nula pět.
Co statistická významnost znamená
Pokud statistická významnost říká ano, výsledek je skutečný. Nasaďte testovanou verzi.
Pokud statistická významnost říká ne, výsledek je nejasný. Může to být štěstí. Může to být skutečné, ale potřebovalo to víc času. Pusťte test déle nebo zkuste jinou změnu.
Krok devátý: nasaďte a zdokumentujte
Pokud vyhraje testovaná verze
Pokud vyhraje testovaná verze, nasaďte ji natrvalo.
Zdokumentujte, co jste se naučili. Proč jste si mysleli, že to zabere. Co se stalo. Co budete testovat dál.
Vytvořte příručku. Časem se objeví vzorce. Naučíte se, co funguje u vašeho publika.
Pokud vyhraje kontrolní verze
Pokud vyhraje kontrolní verze, změnu vraťte.
Zdokumentujte, proč vyhrála kontrolní verze. Možná byla hypotéza špatná. Možná změna nebyla dost znatelná. Možná se publiku změna nelíbila.
Prohraný test je pořád učení.
Časté chyby u prvního testu
Příliš krátký test
Po týdnu jste netrpěliví. Zastavíte ho. Výsledky ještě nejsou skutečné.
Testování více změn
Změnili jste formulář, tlačítko i text. Formulář vyhrál, ale byl to formulář, nebo tlačítko. Teď to nevíte.
Žádný požadavek na významnost
Testovaná verze je o procento lepší. Může to být štěstí. Nasadíte ji. Později se to neudrží.
Testování na všech
Máte z té změny obavy. Testujete devadesát procent na současnou verzi a deset procent na novou. Test trvá věčnost.
Žádný závazek k nasazení
Test skončí. Testovaná verze vyhrála. Řeknete, že ji nasadíme později. Nikdy to neuděláte. Test nevytvořil žádnou hodnotu.
Co odlišuje vítěze od ostatních
Ne chytřejší testování
Ne chytřejší testování. Důsledné testování.
Vítězný vzorec
Vítězné firmy spustí test. Přijdou výsledky. Hned je nasadí. Spustí další test.
Věnují se programu testování. Ne jednorázovým testům. Průběžnému testování. Měsíc po měsíci.
Budují interní znalosti. Po padesáti testech znají své publikum. Vědí, co funguje. Vědí, co ne. Jsou rychlejší než konkurence.
Složený růst
Otestujete jednou, nic se nestane. Otestujete padesátkrát, změní se všechno.
Časté dotazy
Co když zjistím, že je test v polovině rozbitý. Třeba přestalo fungovat sledování. Mám začít znovu?
Ano. Rozbitý test je k ničemu. Začněte znovu od začátku. Pokud je sledování rozbité, nemáte skutečná data. Proto test občas kontrolujete (ne posedle, ale alespoň jednou). Poruchu zachytíte brzy. S Tvůrcem webů WEMASY to můžete nastavit přímo na svém webu.
Mohu změnit hypotézu testu, když běží a objeví se nové informace?
Ne. Hypotézu napište před začátkem testu. Držte se jí. Pokud se vám uprostřed testu zdá špatná, poznamenejte si to. Ale test dokončete s původní hypotézou. Nový test s novou hypotézou spusťte později.
Pokud je testovaná verze jasně horší, mohu test předčasně zastavit?
Jen pokud něco rozbíjí. Pokud testovaná verze způsobuje chyby, zastavte ji. Jinak ne. I když prohrává o hodně, nechte běžet celou dobu. Zjistěte, proč prohrála. Využijte to poznání.
Co dělat, když statistická významnost říká ne, ale myslím si, že výsledek je skutečný?
Spusťte test znovu. Stejná změna. Ale s delší dobou nebo s větší návštěvností. Pokud je výsledek skutečný, objeví se znovu. Pokud ne, intuice se mýlila a matematika měla pravdu.
Jak ve výsledcích poznám, která varianta je kontrolní a která testovaná?
Váš testovací nástroj je označí. Před začátkem se ujistěte, že víte, která je která. Udělejte snímek obrazovky. Kontrolní je verze A. Testovaná je verze B. Až přijdou výsledky, podívejte se do svých poznámek.
Musím šéfovi říct, že spouštím testy, nebo mu jen ukážu výsledky?
Řekněte jí to. Pochopí, že testování chce čas. Nastavte očekávání. Testování trvá dva týdny. Pokud vyhraje testovaná verze, nasadíme ji. Pokud ne, zkusíme něco jiného. Transparentnost zabrání překvapení, když nenasadíte změnu, kterou čekala.