Atribuce vám řekne, který kanál získá zásluhu za konverzi. Ale přináší kanál konverzi skutečně, nebo by k ní došlo i tak? Na tuto otázku odpovídá testování inkrementality pomocí experimentů: část uživatelů kanálu vystavíte (testovací skupina), ostatní ne (kontrolní skupina) a změříte rozdíl v konverzních poměrech. Tento rozdíl je skutečný inkrementální dopad. Tato kapitola popisuje testování inkrementality a kdy ho použít.
Atribuce a inkrementalita
Atribuce: který kanál se dotkl lidí, kteří konvertovali, naposledy? Snadno se měří, ale neprokazuje příčinnost.
Inkrementalita: kolik tržeb bychom ztratili, kdybychom tento kanál úplně vypnuli? To prokazuje příčinnost a měří skutečný dopad.
Příklad: konvertovalo 100 lidí. Podle posledního kliknutí získá Google Ads zásluhu za 60. Test inkrementality ale ukáže: kdybychom Google Ads nespustili, 50 z těch 60 by stejně konvertovalo (přes jiné kanály). Skutečná inkrementalita Google Ads = 10 konverzí, ne 60.
Typy testů inkrementality
Testování podle oblastí
Spusťte reklamy v některých oblastech (testovací), v jiných ne (kontrolní). Porovnejte konverzní poměry. Příklad: spusťte Google Ads v San Franciscu (testovací), v Berkeley ne (kontrolní). Pokud má SF vyšší konverzní poměr, jsou reklamy inkrementální.
Výhoda: jednoduché, rychlé. Nevýhoda: rozdíly mezi oblastmi mohou výsledek zkreslit (SF je bohatší, což konverzní poměr zvyšuje).
Vyřazené skupiny (holdout)
Zobrazujte reklamy všem kromě náhodných 10 % (kontrolní skupina). Porovnejte konverzní poměry: uživatelé vystavení reklamě oproti vyřazené skupině. Rozdíl je inkrementalita.
Výhoda: přesné, vyloučí rušivé vlivy. Nevýhoda: vyžaduje velký rozpočet (10 % publika necílíme, abychom změřili dopad).
Testování podle času
Zobrazujte reklamy v některých časových obdobích (testovací), v jiných ne (kontrolní). Příklad: spusťte placené vyhledávání od pondělí do čtvrtka, ne od pátku do neděle. Porovnejte konverzní poměry. Pokud je pondělí až čtvrtek vyšší, jsou reklamy inkrementální.
Výhoda: jednoduché. Nevýhoda: rušivý vliv dne v týdnu (o víkendech je konverze přirozeně nižší).
Jak provést test inkrementality
Krok 1: Stanovte hypotézu. „Google Ads přináší inkrementální konverze nad rámec základní úrovně.“
Krok 2: Vyberte typ testu. Vyřazené skupiny jsou nejpřesnější, použijte je, pokud to rozpočet dovolí.
Krok 3: Určete velikost testu. Potřebujete dost velký vzorek, abyste rozdíl odhalili. Pokud je základní konverze 5 % a chcete odhalit nárůst o 2 %, potřebujete asi 10 000 lidí ve skupině. Poraďte se se statistikem nebo použijte kalkulačku síly testu.
Krok 4: Test spusťte na 2 až 4 týdny. Delší testy snižují rozptyl způsobený denními výkyvy.
Krok 5: Analyzujte výsledky. Je rozdíl statisticky významný? (p < 0.05). Pokud ano, inkrementalitu jste prokázali.
Výzvy při testování inkrementality
Náklady: vyřazené skupiny znamenají záměrnou ztrátu tržeb (necílíme na 10 % publika). Vyplatí se jen u kanálů s vysokými výdaji, kde je poznatek cenný.
Kanibalizace: pokud uživatel vaši reklamu neuvidí, může místo toho použít organické vyhledávání nebo přímý vstup. Inkrementalita to zachytí (je to součástí chování kontrolní skupiny).
Dlouhodobé efekty: reklamy mohou mít efekt na značku, který se projeví za dny nebo týdny. Většina testů je krátkodobá a dlouhodobé dopady přehlédne.
Jak se rozhodnout, zda test inkrementality spustit?
Inkrementalita je drahá (vyřazená skupina stojí peníze). Testujte: kanály s vysokými výdaji (Google Ads, Facebook Ads), kde je atribuce nejasná a kde děláte velká rozhodnutí o rozpočtu. Netestujte: malé kanály a kanály s jasnou atribucí. Rozpočet: $10k-50k+ na test. Vyhraďte ho pro otázky s nejvyšším dopadem.
Jak velký vzorek potřebuji pro test inkrementality?
Záleží na základním konverzním poměru a nárůstu, který chcete odhalit. Orientačně: 5 000 až 10 000 lidí ve skupině (kontrolní i testovací). Pokud je základ 5 % a chcete odhalit nárůst o 2 % (nový poměr 7 %), potřebujete asi 10 000 lidí ve skupině. Přesné číslo pro váš případ zjistíte v kalkulačce síly testu (hledejte „statistical power calculator“).
Jak dlouho mám test inkrementality provádět?
Minimálně 2 až 4 týdny (aby se vyrovnaly denní výkyvy). Lepší je 4 až 8 týdnů (zachytí týdenní vzorce). Delší testy = vyšší náklady, ale spolehlivější výsledky. Pokud je váš prodejní cyklus 30 dní, provádějte test 30 a více dní, aby zachytil celý cyklus.
Mohu testování inkrementality použít k měření interakcí kanálů (jak jeden kanál pomáhá druhému)?
Ano, ale je to složitější. Návrh testu: (1) kontrolní skupina (žádné kanály), (2) testovací A (jen kanál A), (3) testovací B (jen kanál B), (4) testovací A+B (oba kanály). Porovnejte výsledky. Pokud A+B > A + B, existuje synergie. Vyžaduje to větší vzorky a složitější analýzu.
Jaký je rozdíl mezi vyřazenou a kontrolní skupinou při testování?
Vyřazená skupina (holdout): část vaší zákaznické základny, která kanál záměrně nevidí. Kontrolní skupina: v experimentu skupina, která neobdrží zásah (pro srovnání). Stejný princip, jiná terminologie. Vyřazená skupina je trvalá (průběžně vyřazená skupina), kontrolní skupina platí po dobu konkrétního testu.
Jak prezentovat výsledky testu inkrementality vedení?
Ukažte: základní konverzi (5 %), testovací konverzi (6 %), nárůst (1 procentní bod, relativní zvýšení o 20 %). Ukažte interval spolehlivosti: nárůst je 0,5 až 1,5 procentního bodu (v tomto rozmezí si jsme jistí). Dopad na rozpočet: pokud je inkrementalita o 20 % nižší, než tvrdila atribuce, přepočítejte návratnost. Tím se náklady na test ospravedlní lepšími rozhodnutími.