Produktový manažer uvede funkci. Funkce má řešit problém zákazníků a podpořit udržení zákazníků.
Dva týdny po spuštění: snižuje funkce odchody. Používá ji víc zákazníků. Tráví zákazníci ve funkci víc času.
Bez produktového přehledu čeká produktový manažer šest týdnů na měsíční report, aby viděl dopad funkce. Do té doby je zpětná vazba zákazníků studená. Nelze iterovat.
S produktovým přehledem vidí produktový manažer po dvou týdnech: přijetí funkce je pět procent (cíl byl dvacet procent do druhého týdne). Problém je vidět okamžitě. Produktový manažer to prošetří. Zjistí, že funkci je těžké objevit. Přidá zaškolovací zprávu. Přijetí se do čtvrtého týdne zvýší na patnáct procent.
Produktové přehledy: přijetí funkcí a zapojení
Míra přijetí funkce
Funkce byla spuštěna před dvěma týdny. Způsobilí uživatelé: deset tisíc. Uživatelé, kteří funkci použili: pět set. Míra přijetí: pět procent. Cíl byl dvacet procent do čtvrtého týdne. Aktuálně zaostáváme. Je třeba šetření.
Zapojení do funkce
Z pěti set uživatelů, kteří funkci zkusili, kolik ji používá denně. Dvě stě. Kolik ji používá týdně. Tři sta. Kolik jich funkci opustilo. Dvě stě. Míra zapojení: čtyřicet procent denně, šedesát procent týdně, čtyřicet procent opustilo. Opuštění je příliš vysoké. Funkce nedrží.
Čas strávený ve funkci
Průměrná relace ve funkci jsou dvě minuty. Před funkcí byl průměrný čas relace na webu deset minut. Funkce odvádí uživatele od jiných funkcí. Je to záměr. Nahradila funkce starší funkci, nebo je doplňková.
Dopad na udržení zákazníků
Zákazníci, kteří funkci přijali: osm procent měsíčních odchodů. Zákazníci, kteří funkci nepřijali: dvanáct procent měsíčních odchodů. Funkce funguje. Zlepšení odchodů o čtyři procentní body. Při základně tisíce zákazníků je to čtyřicet zákazníků měsíčně navíc. Čtyřicet krát padesát (průměrná hodnota zákazníka) je dva tisíce ušetřených tržeb měsíčně.
Provozní přehledy: zdraví a výkon systémů
Dostupnost systému
Web byl minulý týden dostupný 99.95 procenta času. Cíl je 99.99 procenta. Jsme pod cílem. Dva výpadky: jeden desetiminutový, jeden patnáctiminutový. Dohromady dvacet pět minut výpadku. Co výpadky způsobilo. Lze jim předejít.
Doba odezvy
Průměrná doba odezvy API je dvě stě milisekund. Doba odezvy P95 je pět set milisekund (95 procent požadavků je rychlejších, pět procent pomalejších). P99 je jedna sekunda. Pomalé odezvy se občas stávají. Jsou přijatelné.
Míra chyb
Jedno procento požadavků na API vrátilo chybu. Nárůst z nula celá pět procenta minulý týden. Míra chyb se zdvojnásobila. Co se změnilo. Databázový dotaz je pomalejší. Doby odezvy vzrostly. Zákazníkům vypršel časový limit a zkoušejí znovu. Je třeba šetření.
Fronta databázových připojení
Fronta má sto připojení. Aktuálně je sto otevřeno (plně využito). Další připojení nejsou k dispozici. Pokud přijde další požadavek, čeká ve frontě. Uživatel čeká. Fronta je na hranici kapacity. Je třeba ji zvětšit nebo snížit využití.
Míra zásahů mezipaměti
Mezipaměť zasáhne v padesáti procentech případů. Padesát procent návštěvnosti nepotřebuje databázový dotaz. Míra minutí mezipaměti padesát procent je pro většinu webů přijatelná. Pod čtyřiceti procenty je databáze přetížená. Nad sedmdesáti procenty je mezipaměti příliš.
Skutečný příklad: produktový a provozní přehled SaaS
Produktové metriky
Nová funkce přehledů: spuštěna v prvním měsíci. Způsobilí uživatelé: pět tisíc (zákazníci s více než deseti datovými body). Uživatelé, kteří vytvořili přehled: tisíc. Míra přijetí: dvacet procent. Cíl splněn.
Z tisíce, kteří vytvořili přehled: Denně aktivní: šest set. Dobré zapojení. Týdně aktivní: devět set. Většina ho používá alespoň týdně. Opustilo: sto. Deset procent odchodů.
Dopad na udržení: zákazníci s aktivními přehledy mají dvě procenta měsíčních odchodů. Zákazníci bez přehledů mají čtyři procenta měsíčních odchodů. Přehled snižuje odchody o dva body. Při základně tisíce zákazníků je to dvacet zákazníků. Při měsíční hodnotě sto dolarů na zákazníka jsou to dva tisíce ušetřených tržeb měsíčně. Dvacet čtyři tisíc ročně.
Provozní metriky
Dostupnost minulý měsíc: 99.92 procenta. Cíl: 99.95 procenta. Cíl jsme nesplnili.
Výpadky: Jeden incident: deset minut, nefungovalo zpracování plateb. Příčina: přepnutí databáze na záložní trvalo příliš dlouho. Jeden incident: patnáct minut, špička vypršení časového limitu API. Příčina: nárůst návštěvnosti plus pomalý databázový dotaz.
Doba odezvy: Průměr: sto padesát milisekund. Dobré. P95: tři sta milisekund. Přijatelné. P99: jedna sekunda. To je příliš. Jedno procento zákazníků čeká jednu sekundu. Je třeba optimalizace.
Míra chyb: nula celá osm procenta. Nárůst z nula celá čtyři procenta před dvěma týdny. Šetření ukazuje: chyby zpracování plateb vzrostly, protože poskytovatel plateb měl minulý týden výpadek (naše chyba to není), chyby API vzrostly, protože jsme nasadili změnu kódu, která rozbila jeden koncový bod (naše chyba).
Databáze: Průměrná doba dotazu: třicet milisekund. Využití fronty připojení: osmdesát procent. V pořádku. Míra pomalých dotazů: nula celá dvě procenta. Přijatelné.
Míra zásahů mezipaměti: šedesát pět procent. V pořádku.
Propojení produktových a provozních přehledů
Přijetí funkcí závisí na výkonu systému. Pokud je systém pomalý, přijetí funkcí trpí. Nová funkce přehledů má nízké přijetí. Zkontrolujte provozní přehled. Doba odezvy P99 je jedna sekunda. Uživatelé při otevírání přehledu zažívají zpoždění. Přidejte do šetření: způsobuje nízké přijetí pomalý výkon. Pokud ano, nejdřív optimalizujte výkon systému. Pak přijetí změřte znovu.
Výkon systému se měří pro dostupnost, ne pro dopad funkcí. Dopad funkcí ale závisí na dostupnosti. Propojte oba přehledy. Když se provozní metriky zhoršují, zhoršují se i produktové.
Často kladené otázky
Jak často by měl produktový manažer kontrolovat přijetí funkce?
První týden: denně. Funkce byla právě spuštěna, křivka přijetí je nejstrmější. Je třeba zachytit problémy brzy. Týdny dva až čtyři: třikrát týdně. Křivka přijetí se zplošťuje. Stačí týdenní aktualizace. Po prvním měsíci: týdně. Přijetí se ustálilo nebo stabilně roste. Stačí týdenní kontrola. Výjimka: pokud je funkce kritická nebo pokud je rané přijetí pod cílem, denní sledování pokračuje, dokud se problém nevyřeší. S Tvůrcem webů WEMASY to můžete nastavit přímo na svém webu.
Jaká míra přijetí funkce je v jednotlivých týdnech přijatelná?
Týden první: pět až patnáct procent (lidé zkoušejí). Týden druhý: deset až třicet procent (šíří se doporučení). První měsíc: dvacet až padesát procent (ustálená míra). U různých funkcí se liší. Herní funkce mohou dosáhnout devadesáti procent přijetí. Funkce pro soulad s pravidly mohou dosáhnout jen deseti procent. Cíl by měl vycházet ze segmentu uživatelů a důležitosti funkce, ne z obecného srovnání. Před spuštěním se rozhodněte: je tato funkce pro všechny, nebo jen pro segment. To určuje cíl.
Jak rozlišit přijetí a zapojení?
Přijetí je vyzkoušení funkce (použili ji alespoň jednou). Zapojení je opakované používání (denně, týdně, měsíčně). Funkce může mít vysoké přijetí a nízké zapojení (všichni zkusili, málokdo zůstal). Funkce může mít nízké přijetí a vysoké zapojení (zkusilo málo lidí, ale těm se líbila). Záleží na obou metrikách. Vysoké přijetí plus vysoké zapojení je úspěch. Nízké zapojení znamená, že funkce neřeší skutečný problém. Nízké přijetí znamená problém s objevitelností.
Má produktový přehled obsahovat zpětnou vazbu zákazníků, nebo jen metriky?
Obojí. Metriky říkají, co zákazníci dělají. Zpětná vazba říká proč. Pět set uživatelů funkci opustilo (metrika). Zpětná vazba říká "funkci je těžké najít" nebo "funkce neřeší můj problém" (proč). Metriky bez zpětné vazby jsou neúplné. Přidejte část zpětné vazby, která ukazuje tři hlavní důvody odchodu nebo opuštění podle tiketů podpory a dotazníků. Zavedení: přidejte do funkce pole pro komentář. Týdně: přečtěte dvacet nejčastějších komentářů uživatelů a zařaďte je do témat. Témata reportujte v přehledu.
Jak stanovit cíle pro dostupnost a dobu odezvy?
Cíle stavte na dopadu na zákazníky a oborových standardech. U pokladny e-shopu: dostupnost 99.9 procenta, doba odezvy do dvou sekund. U marketingového webu: dostupnost 99 procent, doba odezvy do tří sekund. U interních nástrojů: dostupnost 95 procent, doba odezvy do pěti sekund. Čím kritičtější služba, tím přísnější cíl. Při stanovení cíle vězte, jakou investici vyžaduje. Dostupnost 99.99 procenta (čtyři devítky) stojí třikrát až čtyřikrát víc než dostupnost 99 procent (dvě devítky). Ujistěte se, že cíl stojí za náklady.
Má provozní přehled spouštět upozornění, nebo jen ukazovat stav?
Obojí. Přehled ukazuje aktuální stav. Upozornění se spustí při překročení prahových hodnot. Pokud míra chyb překročí jedno procento po dobu pěti minut, upozornění se spustí. Upozornění jde pohotovostnímu inženýrovi, který to prošetří. Přehled je pro sledování v běžné době. Upozornění je pro dobu mimo pracovní dobu nebo kritické situace. Samo o sobě nestačí ani jedno. Přehled bez upozornění znamená, že se problémy objeví v pracovní době. Upozornění bez přehledu znamená, že je tým slepý k pomalému zhoršování, dokud se upozornění nespustí. Používejte obojí společně.