Rozdíl mezi testovacími projekty a kulturou testování
Testovací projekt
Pustíte pár testů. Zjistíte, co funguje. Jdete dál. Testování je nástroj, který použijete, když je potřeba. Pak přestanete.
Kultura testování
Testujete nepřetržitě. Vítězové testů určují další test. Poznatky se hromadí. Rok po roce se testování skládá a roste.
Každá změna se testuje. Každé rozhodnutí se opírá o data. Testování je způsob, jak se rozhodujete, ne projekt, který občas spustíte.
Firmy s kulturou testování porážejí konkurenty, kteří ji nemají. Ne o hodně v jednotlivém testu. Ale za roky se to nasčítá do obrovské výhody.
Jak získat podporu vedení
Problém
Většina testovacích programů selže, protože vedení testování nerozumí nebo se k němu nezaváže.
Co vedení slyší
Když navrhnete testovací program, vedení slyší: tohle zabere čas a bude to stát peníze.
Co potřebuje vedení slyšet
Ukažte peníze. Spusťte jeden test. Dokažte, že funguje. Spočítejte dopad na tržby. Tento test zlepšil konverzi o dvě procenta. To přináší padesát tisíc dolarů ročních tržeb navíc. Nástroj na testování stojí dvanáct tisíc. Čistý přínos je třicet osm tisíc.
Teď vedení vidí testování jako investici, ne jako náklad.
Sestavení testovacího plánu
Nespouštějte náhodné testy
Naplánujte testovací plán. Plán určí oblasti s vysokým dopadem. Formuláře. Nadpisy. Nabídky. Pokladna. Každá oblast dostane testovací prioritu.
Řaďte podle dopadu
Plán seřadí testy. Nejdřív testujte položky s vysokým dopadem. Pak se středním. Nakonec s nízkým.
Závazek týmů
Plán zavazuje týmy k testování. Designéři vědí, že testují návrhy tlačítek. Produkt ví, že testuje nabídku. Všichni vědí, co se blíží.
Vytvořte čtvrtletní plán. Aktualizujte ho každý měsíc podle výsledků. Čtvrtletní plánování drží tým zaměřený.
Přidělení vlastnictví a odpovědnosti
Problém
Testování selhává, když ho nikdo nevlastní. Marketing říká, že zodpovědný je produkt. Produkt říká, že zodpovědný je vývoj. Testování se nikdy nekoná.
Řešení
Určete vlastníka testování. Může to být growth manažer. Může to být produktový manažer. Jedna osoba odpovídá za testovací program.
Vlastník testování nastavuje plán. Spouští testy. Dokumentuje výsledky. Sdílí poznatky. Koordinuje práci napříč týmy. Bez vlastníka testování zamrzne.
Školení týmů ve statistickém myšlení
Problém
Většina lidí není ve statistice vyškolená. Dívají se na čísla a rozhodují se podle intuice.
Testovaná varianta má devět procent. Kontrolní má osm celých osm desetin procenta. Vypadá to, že vyhrála testovaná varianta. Člověk bez statistiky si myslí, že je lepší.
Statistik zkontroluje úroveň spolehlivosti. Osmdesát dvě procenta. Pod prahem devadesáti pěti procent. Není to významné. Rozdíl může být náhoda.
Řešení
Školení týmů v základech statistiky brání špatným rozhodnutím. Témata školení: co je statistická významnost. Proč záleží na devadesáti pěti procentech. Jak číst intervaly spolehlivosti. Co znamená velikost vzorku.
Dobrý testovací program tým ve statistice vzdělává.
Vytvoření sdíleného učení a dokumentace
Proč je dokumentace důležitá
Každý test něco učí. Když se poznatek nezapíše, zmizí.
Jak dokumentovat
Vytvořte úložiště testů. Každý test dostane stránku. Hypotéza. Výsledky. Poznatek.
Po padesáti testech máte padesát stránek poznatků. Nový člen týmu přečte padesát stránek a pochopí, co funguje u vašeho publika.
Dobrá dokumentace: hypotéza, výsledky, vhled, co testovat dál.
Špatná dokumentace: první test vyhrál, druhý prohrál. Žádný vhled.
Jak z testování udělat součást procesu
Dobrovolné testování selhává
Pokud je testování dobrovolné, zastaví se, když je práce hodně. Týmy ho odsunou kvůli naléhavým projektům.
Povinné testování vydrží
Udělejte testování povinné. Každá změna projde testovacím procesem. Změna bez testu se neschválí.
To vyžaduje změnu procesu. Ale zajistí to, že se testuje pravidelně.
Příklad procesu
Jedna: Navrhněte změnu s hypotézou. Dvě: Získejte souhlas k testu. Tři: Spusťte test na dva týdny. Čtyři: Výsledky schválí vlastník testování. Pět: Pokud jsou významné, nasaďte je. Šest: Zdokumentujte poznatek. Sedm: Navrhněte další test.
Oslavování a sdělování výher
Problém
Testovací program zanikne, když jsou výhry tiché.
Řešení
Oslavujte výhry. Sdílejte výsledky. Ukazujte dopad. Měsíční e-mail: "Náš testovací program zlepšil konverzi tohoto čtvrtletí o sedm procent. Tady je pět testů, které věci pohnuly. Děkujeme týmům, které je provedly."
Oslavy vytvářejí tah. Vytvářejí kulturu. Vytvářejí víru, že testování funguje.
Zvládání politiky kolem testování
Konflikt
Někdo navrhne změnu. Test ukáže, že změna není dobrý nápad. Autor změny je frustrovaný. Testování vyvolává konflikt, když výsledky odporují předpokladům.
Řešení
Představte testování jako nástroj učení. Ne jako způsob, jak lidem dokázat, že se mýlí. Představte ho slovy "pojďme společně testovat a učit se".
Když test ukáže, že se dotyčný mýlil, popište to jako "něco jsme se naučili". Popište to jako výhru, ne prohru. Lidé se brání, když se testování vnímá jako hrozba. Lidé testování podporují, když se vnímá jako učení.
Řízení tempa testování
Agresivní přístup
Spusťte deset testů za měsíc. Každý test dokončete za týden. Rychlé učení. Vyšší šance na falešně pozitivní výsledky. Vyšší chybovost.
Opatrný přístup
Spusťte tři testy za měsíc. Každý test dokončete za dva až tři týdny. Pomalejší učení. Nižší chybovost. Bezpečnější.
Vyvážený přístup
Většina firem by měla zvolit vyvážený přístup. Pět až šest testů za měsíc. Délka dva týdny. Rozumná chybovost. Rozumná rychlost učení. Neobětujte kvalitu kvůli rychlosti. Jeden kvalitní test je lepší než deset nekvalitních.
Pochopení klesajících výnosů
Vzorec
Prvních dvacet testů věci pohne. Každý test něco zlepší. Plán je plný příležitostí s vysokým dopadem.
Testy dvacet až čtyřicet pohnou věcmi méně. Pořád se učíte, ale zlepšení jsou menší. Zřejmých příležitostí je méně.
Testy od čtyřicátého výš: příležitosti jsou malé. Zlepšení jsou drobná. To je normální.
Řešení
Nevykládejte klesající výnosy jako selhání testování. Vykládejte je jako zralost. Ve fázi klesajících výnosů změňte zaměření. Místo širokého testování testujte v nových oblastech. Nové produkty. Nové segmenty. Nové trhy.
Dlouhodobá udržitelnost testovacího programu
Riziko
Testovací program běží půl roku naplno. Pak zpomalí. Lidé mají moc práce. Testování se odsune. Program vyhasne.
Jak ho udržet
Udržitelný program vyžaduje trvalý závazek. Vyžaduje zdroje. Vyžaduje vlastnictví. Rozpočet na nástroje pro testování. Rozpočet na člověka, který testuje. Zapracujte testování do ročních cílů.
Pokud je testování roční priorita, testuje se. Pokud je jen příjemný bonus, testování skončí.
Časté dotazy
Jak přesvědčím skeptické členy týmu, že testování funguje?
Ukažte jim jeden test. Spusťte jednoduchý test na prvku s vysokou návštěvností. Získejte výsledky. Ukažte vítězné zlepšení. Ukažte dopad na tržby. Jeden úspěšný test skeptiky obrátí. Výsledky mluví hlasitěji než slova. Příklad: spusťte test barvy tlačítka. Ukažte výsledky: modré tlačítko má devět procent konverze, červené tlačítko osm celých pět desetin procenta. Zlepšení o osm procent. Spočítejte dopad: pokud má web deset tisíc návštěvníků měsíčně a dvě procenta konvertují, je to dvě stě konverzí měsíčně. Zlepšení o osm procent je šestnáct konverzí navíc měsíčně. Pokud je průměrná hodnota objednávky sto dolarů, jsou to šestnáct set dolarů tržeb navíc měsíčně. Devatenáct tisíc dolarů ročně. Ukažte to skeptickému kolegovi. Skepse zmizí, když jde o peníze. S Tvůrcem webů od WEMASY to můžete nastavit přímo na svém webu.
Máme-li hodně projektů, máme testování odložit?
Ne. Testování má být součástí dodání projektu. Každá projektová změna se před nasazením testuje. Testování nepřidává čas, pokud je zabudované v procesu. Brání nasazení věcí, které nefungují. Příklad: vydáváte nový průběh pokladny. Bez testování: nasadíte, spustíte, zjistíte, že devadesát procent návštěvníků je novým průběhem zmateno, vrátíte zpět, opravíte, spustíte znovu. Celkem tři týdny. S testováním: nový průběh týden před spuštěním otestujete, zjistíte problémy, opravíte, spustíte průběh, o kterém víte, že funguje. Celkem dva týdny. Testování šetří čas tím, že brání špatným spuštěním. Zabudujte testování do harmonogramu od začátku, ne jako dodatek.
Jak často se máme vracet ke starým výsledkům testů?
Vracejte se, když se změní podmínky. Nová sezona. Nový konkurent. Velká změna ve firmě. Jinak je každý výsledek testu platný pro své období. Není třeba pořád testovat znovu. Příklad: v lednu jste testovali nabídku. Záruka vrácení peněz porazila slevu deset procent. Zavedli jste záruku vrácení peněz. Pak přijde červenec a konkurent spustí záruku vrácení peněz. Vaše výhoda mizí. Měli byste nabídku otestovat znovu? Možná. Krok konkurenta změnil trh. Váš vítěz už nemusí být relevantní. Sezonní návraty: testujte nabídky v období Black Friday. Výsledky mohou být v červenci jiné, protože nákupní chování je jiné. Otestujte nabídky znovu v červenci. Výsledky určí strategii pro červenec.
Máme testovat pro průměrného návštěvníka, nebo pro konkrétní segment?
Začněte průměrným návštěvníkem. Získejte základní hodnotu. Pak přejděte na konkrétní segment. Pokud optimalizujete jen pro segment, celkový výkon trpí. Příklad: optimalizaci testujete jen na mobilu, protože mobilní návštěvnost je nejvyšší. Základ na desktopu je deset procent. Základ na mobilu je sedm procent. Optimalizujete pro mobil a mobil poskočí o osm procent zlepšení. Ale základ na desktopu klesne na devět procent, protože změny na desktopu nefungují. Získali jste zlepšení na mobilu, ale uškodili jste desktopu. Celkově jste ztratili. Testujte nejdřív široce, abyste pochopili univerzální dopad. Pak testujte segmenty a optimalizujte pro každý zvlášť.
Jak udržet tempo, když testy stále prohrávají?
Prohrávající testy vás učí, co nefunguje. To jsou cenná data. Vítězné testy přijdou. Testujte dál. Stavějte na poznatcích z proher. Příklad: otestujete pět nadpisů. Tři prohrají s aktuálním nadpisem. Dva vyhrají. Výhry říkají, co funguje. Prohry říkají, na co publikum nereaguje. Teď víte, že "naléhavé" sdělení prohrává (lidé nemají rádi tlak). Víte, že sdělení s "konkrétním přínosem" vyhrává (lidé mají rádi jasnost). Další test na tom staví. Otestujte ještě konkrétnější přínosy. Testy se skládají. Prohrávající testy nejsou selhání. Jsou to datové body.
Co dělat, když testování ukáže, že celý náš přístup je špatný?
Oslavte to. Naučili jste se něco cenného. Teď změňte směr. Je lepší to zjistit z testování než z tichých ztrát na tržbách. Příklad: myslíte si, že vaše cílové publikum chce prémiový produkt. Test ukáže, že publikum dává přednost levnější variantě. Vaše prémiové umístění bylo špatné. Chvíle k oslavě: právě jste se dozvěděli něco, co by vás bez testování stálo peníze na roky. Teď upravte strategii. Změňte sdělení na cenově dostupné. Otestujte nové umístění. Je lepší to zjistit při ztrátě tržeb padesát tisíc dolarů než při ztrátě pěti milionů dolarů.