Příliš krátký test (zkreslení nahlížením)
Chyba
Největší chyba: kontrolovat výsledky po jednom týdnu, když byl test plánovaný na dva týdny.
Proč je to chyba
Za jeden týden máte čtyři sta konverzí na variantu. Za dva týdny osm set. Se čtyřmi sty je náhodný šum vyšší. Vidíte rozdíly, které s více daty zmizí.
Příklad: po prvním týdnu má testovaná verze konverzi devět procent. Kontrolní osm procent. Výhra o jedno procento vypadá skutečně. Nakouknete a nadchnete se. Druhý týden: testovaná verze klesne na osm celých pět procent. Kontrolní zůstane na osmi procentech. Výhra o půl procenta. Pořád statisticky významná, ale mnohem menší, než ukázal první týden.
Kdybyste skončili po prvním týdnu, o padesát procent byste přeceňovali přínos testované verze.
Jak se tomu vyhnout
Délku se zavažte před začátkem testu. Standardně dva týdny. Zapište si to. Nenahlížejte. Nastavte si v kalendáři upomínku na konec.
Testování několika změn najednou
Chyba
Změníte nadpis. Změníte barvu tlačítka. Změníte text tlačítka. Změníte pole formuláře. Čtyři změny současně.
Proč je to chyba
Testovaná verze konvertuje na dvanácti procentech. Kontrolní na deseti. Výhra o dvě procenta. Nasadíte všechny čtyři změny.
O měsíc později konverze klesne na devět procent. Něco se pokazilo. Ale která změna? Nadpis. Tlačítko. Formulář. Změnili jste čtyři věci a nevíte, která uškodila. Nemůžete zjistit, která změna pomohla a která uškodila.
Jak se tomu vyhnout
Jen jedna změna. Změňte jen nadpis. Otestujte ho. Nasaďte ho, pokud vyhraje. Pak testujte barvu tlačítka. Pak formulář. Vždy jedna proměnná.
Chyby v měření a rozbité testy
Chyba
Test běží dva týdny. Výsledky ukazují, že testovaná verze vyhrává o pět procent. Nasadíte ji. O měsíc později zjistíte, že měření bylo rozbité. Konverzní pixel se u devadesáti procent návštěvníků nespustil.
Proč je to chyba
Výsledky jsou k ničemu. Nasazení vycházelo ze špatných dat. Vynaložili jste práci vývojářů na něco, co stojí na neplatných výsledcích.
Jak se tomu vyhnout
Namátkově zkontrolujte nastavení testu. Projděte jednoduchý postup ručně. Spustí se událost? Zkontrolujte záznamy měření. Ověřte, že se pixel spouští. Než vyhlásíte vítěze, měření zkontrolujte.
Nedostatečný vzorek
Chyba
Spustíte test jen s pěti sty konverzemi celkem. Dvě stě padesát na variantu. S tak malým vzorkem je náhodný šum obrovský. Rozdíly pět procent jsou běžné. Rozdíly deset procent nejsou překvapivé.
Vidíte, že testovaná verze je o pět procent lepší než kontrolní. Žádná statistická významnost. Prohlásíte test za nerozhodný.
Proč je to chyba
Od začátku jste neměli dost síly. Měli jste vědět, že test potřebuje dva týdny, ne jeden. Testy bez dostatečné síly plýtvají časem a přinášejí nerozhodné výsledky.
Jak se tomu vyhnout
Velikost vzorku spočítejte před začátkem. Kolik konverzí potřebujete? Jak dlouho potom test potrvá? Pokud by test trval tři měsíce, zvažte otestovat něco jiného s rychlejšími výsledky.
Nehlídání vnějších vlivů
Chyba
Test běží od úterý do čtvrtka. Výsledky před testem jsou z pondělí. Výsledky po testu z pátku. Porovnáte pátek s pondělím.
Ale v pátek chodí jiný provoz než v pondělí. Pátek je víkendové nenáročné procházení. Pondělí je pracovní procházení v týdnu. Jiné publikum. Jiné konverzní poměry. Rozdíl přisoudíte testu, ale ve skutečnosti jde o rozdíl ve skladbě návštěvníků.
Proč je to chyba
Změnu jste nasadili kvůli rozdílu ve skladbě návštěvnosti, ne kvůli účinnosti testované verze. Když přijde nová skladba návštěvníků, výsledky přestanou platit.
Jak se tomu vyhnout
Nechte test běžet dost dlouho, aby se skladba návštěvnosti vyrovnala. Dva týdny zahrnují pracovní dny i víkendy. Jeden týden může být zkreslený.
Změna hypotézy uprostřed testu
Chyba
Test začnete s hypotézou: kratší formulář zvýší počet odeslání.
V polovině dostanete od podpory nová data. Zákazníci chtějí víc možností v polích. Změníte hypotézu: víc polí by vlastně mohlo pomoct. Teď máte test navržený pro jednu hypotézu a vyhodnocujete ho jako jinou hypotézu.
Proč je to chyba
Zmate to výsledky. Nepoznáte, kterou hypotézu test vlastně ověřoval. Můžete nasadit změnu na základě zmateného výkladu.
Jak se tomu vyhnout
Hypotézu napište před začátkem testu. Držte se jí. Pokud dostanete nové informace a chcete ověřit jinou hypotézu, dokončete současný test. Pak spusťte nový.
Nenasazování vítězů
Chyba
Test skončí. Testovaná verze vyhrála. Řeknete „nasadíme to později“. Později nikdy nepřijde. Test nevytvořil žádnou hodnotu. Ztratili jste čas.
Proč je to chyba
Vítězové vytvářejí hodnotu, jen když se nasadí. Testovací program se zúročuje, jen když vítěze nasazujete důsledně. Jeden nenasazený vítěz zabije tempo a víru týmu v testování.
Jak se tomu vyhnout
Nasazení se zavažte před spuštěním testu. Pokud testovaná verze vyhraje, nasaďte ji do týdne. Pokud vyhraje kontrolní, okamžitě se vraťte. Nenechte vítěze chátrat.
Nerozdělování výsledků do segmentů
Chyba
Celkové výsledky ukazují, že vyhrává testovaná verze. Nasadíte ji všude.
Ale rozdělení do segmentů ukáže: na počítači testovaná verze vyhrává. Na mobilu prohrává. U mezinárodních návštěvníků nemá žádný vliv. Globální nasazení uškodí mobilním a mezinárodním návštěvníkům.
Proč je to chyba
Optimalizovali jste celkový průměr, ale uškodili jste konkrétním segmentům. Mobilní provoz může růst rychleji než počítačový. Nasazením testované verze jste uškodili segmentu, který bude v budoucnu růst.
Jak se tomu vyhnout
Než vyhlásíte globálního vítěze, vždy zkontrolujte výsledky po segmentech. Vítěz nemusí být univerzální. Nasaďte ho pro segmenty, kde vyhrává. U segmentů, kde nevyhrává, ho vynechte.
Zaměňování vítěze a směru příčiny
Chyba
Test ukazuje, že testovaná verze porazila kontrolní. Předpokládáte, že je lepší. Ale co když je kontrolní prostě rozbitá? Tlačítko v kontrolní verzi nefunguje. Všichni jsou zmatení. Tlačítko v testované verzi funguje bez problémů. Testovaná verze vyhrává, protože kontrolní je rozbitá, ne proto, že by byla sama o sobě lepší.
Proč je to chyba
Odnesete si špatnou lekci. Myslíte si, že vyhrál styl tlačítka, ale ve skutečnosti jste se naučili „fungující tlačítko porazí rozbité tlačítko“. Pro další testování to má jiné důsledky.
Jak se tomu vyhnout
Pochopte, proč testovaná verze vyhrála. Je lepší ona, nebo je horší kontrolní? Důsledky jsou různé.
Opakování stejného testu v naději na jiný výsledek
Chyba
První test: testovaná verze prohraje s kontrolní. Zkusíte to znovu s drobnou úpravou. Druhý test: stejný výsledek. Kontrolní opět vyhraje. Zkusíte to znovu. Třetí test: stejný vzorec. Kontrolní stále vyhrává.
Testujete pořád tu samou věc a dostáváte pořád stejný výsledek.
Proč je to chyba
Plýtváte testovacím rozpočtem na přístup, který nefunguje. Je lepší zvolit jiný přístup, než dál testovat stejnou prohrávající strategii.
Jak se tomu vyhnout
Přestaňte testovat to samé. Potřebujete jinou strategii. Současný přístup nefunguje. Přejděte na jinou testovanou verzi.
Nedokumentování výsledků a poznatků
Chyba
Test skončí. Výsledky ukazují vítěze. Nasadíte ho. Pak na to zapomenete.
O šest měsíců později: nový člen týmu se zeptá „co jsme se naučili o nadpisech?“. Nemáte žádnou dokumentaci. Začínáte od nuly.
Proč je to chyba
Ztrácíte znalosti firmy. Každý test by vás měl něco naučit. Bez dokumentace znalosti mizí, když členové týmu odejdou.
Jak se tomu vyhnout
Dokumentujte každý test. Hypotézu. Výsledky. Poznatek. Sdílejte je s týmem. Budujte firemní znalosti.
Často kladené otázky
Nahlížím do výsledků, když test kontroluji jednou týdně?
Ne, pokud se zavážete k dvoutýdenní délce a podle výsledků prvního týdne nezměníte své chování. Sledujete, ale nekončíte předčasně. Kontrola je v pořádku. Předčasné ukončení je nahlížení. Příklad: první týden ukazuje testovanou verzi na devíti procentech, kontrolní na osmi. Testovaná verze vypadá jako vítěz. Zatím nenasazujte. Držte se celých dvou týdnů. Druhý týden může ukázat testovanou verzi na osmi celých osmi procentech, kontrolní na osmi. Objeví se menší rozdíl. Kdybyste skončili po prvním týdnu, přínos byste o padesát procent přecenili. Zavažte se k délce, klidně kontrolujte týdně, ale nejednejte podle předběžných výsledků. S Tvůrcem webů WEMASY to můžete nastavit přímo na svém webu.
Mohu testovat dvě podobné věci současně (různé nadpisy v různých regionech)?
Ano, pokud jsou regiony skutečně oddělené a nesrovnáváte je mezi sebou. Testujte nadpis A proti B na provozu z USA. Testujte nadpis C proti D na provozu z EU. Jsou to samostatné testy. Paralelní testování je v pořádku. Ale nesrovnávejte A proti C napříč regiony, protože skladba návštěvníků je jiná. Regionální publika konvertují různě. USA mohou mít základ dvanáct procent. EU osm procent. Nadpis A vyhrává v regionu USA. Nadpis C vyhrává v regionu EU. Nemůžete usoudit, že nadpis A je univerzálně lepší, protože regiony mají jiný základ. Testujte paralelně, ale analyzujte odděleně.
Pokud výsledky nevykazují významný rozdíl, mám předpokládat, že jsou varianty stejné?
Ne. Předpokládejte, že rozdíl je nejasný. Mohou být stejné. Mohou se lišit, ale na jejich odhalení bylo potřeba víc dat. Příklad: kontrolní verze pět set konverzí. Testovaná pět set pět konverzí. Rozdíl jedno procento. Osmdesát osm procent spolehlivosti. Nevýznamné. Nemůžete usoudit, že jsou stejné. Můžete usoudit jen to, že rozdíl je nejasný. Možnosti: nechat test běžet déle, aby se nasbíralo víc dat. Nebo pokud je testovanou verzi snazší nasadit než kontrolní, přejděte na ni, protože v nejhorším případě jsou stejné a v nejlepším je testovaná lepší. Pokud je snazší kontrolní, nechte kontrolní.
Co když můj test ukazuje statisticky významný výsledek, ale intuitivně se mi zdá špatný?
Věřte statistice, ne intuici. Matematika je chytřejší než intuice. Pokud statistika říká, že výsledek je skutečný (devadesát pět procent spolehlivosti), pravděpodobně je. Vaše intuice se může mýlit. Vaše intuice vychází z omezené zkušenosti. Statistika vychází z tisíců datových bodů od návštěvníků. Nasazujte podle statistiky. Příklad: myslíte si, že červené tlačítko funguje lépe než modré. Test ukazuje, že modré tlačítko významně vyhrává. Vaše intuice se mýlila. Nasaďte modré tlačítko. Kdybyste věřili intuici a ignorovali data z testu, nasadili byste červené tlačítko a uškodili konverzi.
Mohu sloučit několik malých nevýznamných výsledků do jednoho velkého významného?
Ne. Každý test stojí sám o sobě. Nerozhodné testy nemůžete sloučit do jednoho rozhodného výsledku. První test ukazuje osmdesát pět procent spolehlivosti, že vyhrává testovaná verze. Druhý test ukazuje osmdesát procent spolehlivosti, že vyhrává táž verze. Dohromady devadesát pět procent spolehlivosti? Ne. Statistika takhle nefunguje. Každý test je nezávislý. Jejich sloučení je statistický nesmysl. Hned od začátku spusťte správně velký test s dostatečnou silou. Buď významnost máte, nebo ne.
Pokud test ukazuje silný výsledek pro segment, ale slabý celkově, co nasadit?
Pro segment nasazujte, jen pokud je silný výsledek pro tento segment statisticky významný. Pokud je segment malý (deset procent návštěvnosti), je těžší dosáhnout prahu významnosti. U segmentu může jít o falešně pozitivní výsledek. Zkontrolujte významnost konkrétně pro segment, ne jen celkově. Příklad: celkový test ukazuje testovanou verzi na devíti procentech, kontrolní na osmi celých devíti procentech. Sotva významné. Ale segment počítačů ukazuje testovanou verzi na deseti procentech, kontrolní na osmi. Výhra o dvě procenta na počítačích. Silná a významná pro počítače. Segment mobilů ukazuje testovanou verzi na osmi procentech, kontrolní na osmi. Žádný rozdíl. Nasaďte jen pro počítače. Pro mobily nenasazujte. Různé segmenty mají různé optimální verze.