Váš konverzní poměr v úterý klesne o 15 %. Všimnete si toho až ve čtvrtek, když se podíváte do přehledu. Dva dny ušlých tržeb a pořád nevíte proč. Systém detekce anomálií by vás upozornil už ve středu ráno: „Konverze včera klesla o 15 %, zasažena je mobilní pokladna.“ Teď to můžete hned prověřit. Zjistíte, že nasazení rozbilo mobilní platby. Ještě týž den odpoledne to opravíte. Detekce anomálií je rozdíl mezi objevením problému za několik dní a za několik hodin.
Detekce anomálií je systém, který průběžně sleduje vaše metriky a upozorní vás, když se stane něco neobvyklého. Nečeká, až se podíváte do přehledu. Zná vaši základní úroveň (jak vypadá „normál“), porovnává s ní každý den a označuje odchylky. Skok návštěvnosti, pokles konverze, klesající zapojení: to všechno se zachytí automaticky a vynese na světlo dřív, než se z toho stane katastrofa.
Co detekce anomálií vlastně dělá?
Vezměte jakoukoli metriku a najdete stejný vzorec: přirozeně kolísá. Konverzní poměr není každý den úplně stejný. Návštěvnost se liší podle dne v týdnu. Mobil konvertuje jinak než počítač. Když nastavíte upozornění na „konverze pod 2,5 %“, budete dostávat plané poplachy, protože konverze v některé dny přirozeně klesne na 2,4 %. Detekce anomálií to řeší tím, že se naučí, jak vypadá běžné kolísání, a upozorní jen tehdy, když se něco odchýlí mimo tento přirozený rozsah.
Systém se základní úroveň učí z historických dat. Odpovídá na otázku: jaký je u této metriky, v tento den v týdnu a při tomto objemu návštěvnosti očekávaný rozsah? Středeční konverze se obvykle pohybují mezi 2,1 % a 2,9 %. Mobilní konverze se obvykle pohybuje mezi 1,8 % a 2,4 %. Návštěvnost z e-mailu obvykle konvertuje mezi 4 % a 6 %. Systém vytvoří model běžného chování pro každou kombinaci podmínek.
Když přijde nový údaj, systém ho porovná s očekávaným rozsahem. Je dnešní konverze v normálním středečním rozsahu? Ano, je 2,5 %, naprosto běžné. Je zítřejší konverze v normálním čtvrtečním rozsahu? Ne, je 1,2 %, to je anomálie. Upozorněte tým. Ten problém prověří a zjistí, že se rozbila mobilní pokladna. Bez detekce anomálií to zjistí v pátek odpoledne. S ní to ví už ve středu ráno.
Různé typy anomálií spouštějí různá upozornění. Náhlý skok (návštěvnost o 200 % nad normálem) je označen. Náhlý propad (konverze o 50 % pod normálem) je označen. Postupný pokles (konverze během týdne pomalu klesá) je označen. Opakující se vzorec, který se najednou rozpadne (mobil vždy konvertuje o 20 % lépe než počítač, ale tento týden jsou stejné), je označen. Systém hlídá všechno z toho.
Proč je tak důležité zachytit problémy brzy?
Podívejte se, jak většina značek problémy objevuje, a uvidíte vzorec: reaktivní objevení. Zákazník napíše e-mail, že pokladna nefunguje. Podíváte se do přehledu a potvrdíte to. Nebo si ve čtvrtek všimnete, že pondělí bylo divné, a snažíte se zjistit, co se stalo. To jsou hodiny nebo dny ztracených příležitostí.
Ve velkém měřítku se cena zpoždění nasčítá. E-shop s denními tržbami $1 million, který kvůli chybě ztratí 15 % konverze, přijde o $150,000 denně. Dva dny zpoždění stojí $300,000. Pokud detekce anomálií problém zachytí o 6 hodin dřív, ušetříte $37,500. U SaaS s 5 000 uživateli, kde odchody vzrostou o 2 %, přijdete o 100 uživatelů. Dva týdny zpoždění znamenají 1 400 ztracených uživatelů. Okamžité zachycení znamená 100. Rozdíl jsou tisíce dolarů v ARR.
Rychlost ovlivňuje i reputaci. Tým zákaznické péče chce o problémech vědět dřív, než je nahlásí zákazníci. S detekcí anomálií můžete zákazníkům napsat: „Ve středu ráno jsme na vašem účtu zjistili problém a do odpoledne jsme ho opravili.“ Bez ní si zákazníci v pátek postěžují, vy řeknete „podíváme se na to“ a oni už přešli ke konkurenci. Psychologie „zjistili jsme to sami“ oproti „vy jste to nahlásili“ mění vnímání zákazníka.
Rychlost umožňuje experimentování. Pokud nasadíte změnu a dopad uvidíte během několika hodin, můžete iterovat rychleji. Bez detekce anomálií spouštíte experiment týden, zkontrolujete výsledky a pak iterujete. S ní zjistíte, zda změna pomohla, nebo uškodila, do 24 hodin. Tato rychlost se za rok nasčítá.
Jaké druhy anomálií byste měli skutečně zachytávat?
Ne každá anomálie stojí za zachycení. Některé odchylky jsou očekávané. Některé ale pro obchodní rozhodnutí záleží. Klíčové je nastavit detekci anomálií u metrik, které při neočekávané změně vyžadují okamžitou reakci.
Anomálie ovlivňující tržby mají prioritu číslo jedna. Pokles konverzního poměru, klesající průměrná hodnota objednávky, prudký nárůst opuštěných pokladen: to všechno přímo ovlivňuje tržby. Nastavte upozornění na všechny. Pokud konverze klesne o 10 %, chcete to vědět okamžitě, ne až po víkendu.
Anomálie v zapojení uživatelů jsou důležité, protože předpovídají problémy. Klesající délka relace, klesající využívání funkcí, klesající četnost přihlášení: to jsou včasná varování před odchodem. Pokles zapojení uživatelů tento týden předpovídá pokles retence příští měsíc. Zachyťte to teď a budete mít čas zasáhnout.
Anomálie návštěvnosti jsou důležité, protože odhalují problémy s dosahem nebo získáváním zákazníků. Skok organické návštěvnosti znamená, že vaše SEO funguje (dobře). Pokles organické návštěvnosti znamená, že se ve vyhledávání něco pokazilo (špatně). Klesající placená návštěvnost znamená, že vaše reklamní kampaně podávají slabý výkon (špatně). Upozorněte, když se zdroje návštěvnosti neočekávaně změní.
Anomálie kvality jsou důležité, protože jsou to tiší zabijáci. Rostoucí míra okamžitých odchodů znamená, že je váš web méně relevantní. Klesající počet stránek na relaci znamená, že uživatelé najdou, co potřebují, rychleji (dobře), nebo nemohou najít, co chtějí (špatně). Prudký nárůst chyb v relacích znamená, že se web rozpadá. Tohle je neviditelné, pokud to pozorně nesledujete.
Jak nastavit detekci anomálií bez planých poplachů?
Zeptejte se kteréhokoli analytického týmu na plané poplachy a uslyšíte stejnou stížnost: únavu z upozornění. Pokud každé drobné kolísání spustí upozornění, tým je přestane číst. Otupí. Skutečné problémy se ztratí v šumu. Klíčem k dobré detekci anomálií je nastavit prahy, které zachytí skutečné problémy a přirozené kolísání ignorují.
Začněte metrikami, na kterých vašemu podnikání nejvíc záleží. Ne každá metrika potřebuje detekci anomálií. Soustřeďte se na metriky tržeb (konverze, hodnota objednávky, odchody), metriky zdraví uživatelů (zapojení, retence, využívání funkcí) a metriky zdraví systému (chyby, odezva, dostupnost). To jsou ty, které vyžadují okamžitou reakci, pokud se změní.
Citlivost nastavte podle volatility. Některé metriky jsou přirozeně nestálé. Návštěvnost se den ode dne mění. Nastavte prahy anomálií dostatečně široké, aby toto přirozené kolísání pojaly. U konverzního poměru může být odchylka 20 % normální, označte ji, až když se odchýlí o 30 % nebo víc. U tržeb může být normální odchylka 5 %. U zapojení může být normální odchylka 15 %. Prahy závisejí na vašich historických datech.
Zahrňte kontext. Den v týdnu záleží. V sobotu bývají jiné vzorce než ve středu. Svátky mají jiné vzorce než běžné dny. Detekce anomálií by to měla zohlednit. „Konverze pod 1,5 % v neděli“ může být normální. „Konverze pod 1,5 % ve středu“ je anomálie. Dobré systémy se tyto vzorce učí automaticky.
Začněte konzervativně a časem prahy zpřísňujte. Pokud si nejste jistí prahy, nastavte je široce. Je lepší některé anomálie minout, než tým zavalit planými poplachy. Jak získáváte důvěru v systém a tým si zvyká číst upozornění, prahy zpřísněte a zachytíte menší anomálie.
Jaké jsou meze detekce anomálií?
Detekce anomálií najde odchylky od normálu. Ale „normál“ je to, co za normální označují vaše historická data. Pokud jsou vaše data chybná nebo zkreslená, systém přehlédne skutečné problémy nebo označí planý poplach. Pokud jste měli tři měsíce chybu, která uměle nafukovala váš konverzní poměr, systém se tento nafouknutý poměr naučil jako „normál“. Když chybu opravíte, konverze klesne na skutečně běžnou úroveň a systém to označí jako anomálii.
Detekce anomálií nevysvětluje příčinu. Říká vám, že se něco změnilo. Neříká proč. Pokud konverze klesla, pořád musíte problém prověřit. Je to technický problém? Změna trhu? Krok konkurence? Konkurence od nového hráče? Detekce anomálií problém odhalí. Diagnóza je pořád lidská práce.
Detekce anomálií nefunguje dobře ve velmi malém měřítku. Pokud máte 100 návštěvníků denně, je náhodné kolísání obrovské. Každý den vypadá oproti ostatním anomálně. Detekce anomálií funguje nejlépe ve větším měřítku, kde jsou vzorce stabilní. SaaS s 50 000 uživateli měsíčně má čisté, stabilní vzorce. SaaS s 500 uživateli měsíčně má příliš mnoho šumu.
Postupné změny se mohou detekci anomálií schovat. Pokud konverze pomalu klesá (o 0,5 % týdně), systém to nemusí označit, protože každý týden se od předchozího liší jen mírně. Možná si nevšimnete, dokud nejste celkově o 10 % níž. K zachycení postupného zhoršování potřebujete kromě okamžité detekce anomálií i analýzu trendů.
Jaký je rozdíl mezi detekcí anomálií a upozorněními?
Upozornění jsou pravidla, která nastavíte ručně (konverze pod 2 %, tržby pod X). Detekce anomálií je automatické učení základní úrovně (cokoli, co se odchýlí o 3 směrodatné odchylky od normálu). Upozornění vyžadují, abyste věděli, co je normální a kdy vám na tom záleží. Detekce anomálií se učí, co je normální, z vašich dat. Detekce anomálií je lepší pro zachycení neočekávaných problémů. Upozornění jsou lepší pro hlídání známých prahů.
Mají detekci anomálií všechny analytické platformy?
Ne. Google Analytics má základní oznámení o anomáliích. Platformy produktové analytiky detekci anomálií mají. Nástroje BI lze pro ni nastavit. Ne všechny platformy ji ale zahrnují. Než si vyberete analytický nástroj, zjistěte, zda je detekce anomálií součástí, jak citlivé jsou prahy a zda ji můžete upravit.
Kolik planých poplachů mám očekávat?
Při správném nastavení by podíl planých poplachů měl být pod 5 % upozornění. Většina by měla být oprávněné odchylky, které stojí za prověření. Pokud dostáváte 20 a více planých poplachů denně, jsou prahy příliš citlivé. Pokud za měsíc nedostanete žádné upozornění, jsou prahy příliš široké. Prahy dolaďte sledováním, která upozornění vedla ke skutečným zjištěním a která byla jen šum.
Dokáže detekce anomálií zachytit podvody?
Částečně. Pokud podvod způsobí neobvyklé vzorce (skok v míře vratek, geografické anomálie, neobvyklé platební metody), může je detekce anomálií označit. Odhalování podvodů ale vyžaduje specializovaná pravidla (stejná platební karta použitá vícekrát, kontroly rychlosti, nesoulad geolokace). Detekci anomálií používejte k obecnému hledání vzorců. Odhalování podvodů používejte pro vzorce specifické pro podvody.
Kolik historických dat potřebuji, než detekce anomálií začne fungovat?
Většina systémů potřebuje k zahájení učení vzorců 2-4 týdny základních dat. Měsíc je lepší. Po čtvrtletí dat je model docela přesný. Po roce je velmi přesný (rozumí sezónním vzorcům). Pokud detekci anomálií nasazujete na zcela nový web, počítejte v prvním měsíci s vysokou mírou planých poplachů, než se systém vaši základní úroveň naučí.
Mám reagovat na každé upozornění na anomálii?
Ne nutně. Některé anomálie jsou očekávané (velká PR akce, nový konkurent, sezónní efekt, velká marketingová kampaň). Když dostanete upozornění, nejdřív se zeptejte: změnilo se něco vnějšího? Pokud ano, anomálie je očekávaná, ne problém. Pokud ne, prověřte ji. Časem se naučíte, která upozornění jsou signál (skutečné problémy) a která šum.