Roboti vyhledávačů váš web navštěvují neustále. Procházejí stránky, následují odkazy a kontrolují změny. Tuto aktivitu ale v Google Search Console neuvidíte. Uvidíte ji jen v logech serveru. Logy serveru zaznamenávají každý požadavek na váš server, včetně toho, který robot ho poslal, jakou stránku prošel, jak dlouho to trvalo a jaký kód odpovědi dostal. Analýza logů ukáže, jak s vaším webem vyhledávače skutečně zacházejí.
Co jsou logy serveru?
Logy serveru jsou záznamy o každém požadavku na váš webový server. Každý řádek je jeden požadavek. Log ukazuje IP adresu návštěvníka, co požadoval, kdy to požadoval, jaký kód odpovědi server vrátil a kolik dat se odeslalo.
Logy serveru uchovává každý poskytovatel hostingu. Dostanete se k nim přes ovládací panel hostingu nebo přes FTP. Běžné formáty logů jsou přístupové logy Apache a logy Nginx. Většina poskytovatelů hostingu umožňuje logy stáhnout k analýze.
Soubory logů mohou být obrovské. Vytížený web vytvoří gigabajty logů za den. K jejich analýze potřebujete nástroje. Miliony záznamů ručně projít nelze.
Jak rozumět user-agentům robotů
Každý robot se představuje řetězcem user-agent. Googlebot je robot Googlu. Ostatní vyhledávače mají své vlastní roboty.
Logy můžete filtrovat podle user-agenta a zobrazit jen požadavky od konkrétních robotů. Zjistíte tak, jak často váš web který vyhledávač prochází.
Pozor na falešné user-agenty. Zlomyslní aktéři se vydávají za vyhledávače. Řetězec user-agent, který říká "Googlebot", nemusí být skutečný Googlebot. Ověřte IP adresu. Skutečné IP adresy Googlebota Google zveřejňuje.
Co se z logů dozvíte
Frekvence procházení: Jak často každý vyhledávač váš web prochází? Denně? Týdně? Vícekrát za den? Frekvence procházení ukazuje, jak moc si Google vašeho webu cení.
Vzorce procházení: Které stránky robot navštěvuje? Prochází důležité stránky častěji? Plýtvá časem na nedůležitých stránkách? To odhalí rozdělení crawl budgetu.
Kódy odpovědí: Vracejí stránky 200 (úspěch), nebo chyby? Mnoho chyb 4xx nebo 5xx ukazuje na problémy.
Rychlost procházení: Kolik času robot procházením stráví? Rychlé procházení znamená, že se stránky načítají rychle. Pomalé procházení ukazuje na problémy s výkonem.
Chování robotů: Dodržují roboti robots.txt? Respektují nofollow? Procházejí obrázky a CSS? To odhalí, jestli je vaše technické nastavení správné.
Jak logy analyzovat
Stáhněte si logy. Otevřete ovládací panel hostingu, najděte sekci s logy a stáhněte přístupové logy za období, které chcete analyzovat.
Použijte nástroje pro analýzu logů. Analyzátory logů umějí logy zpracovat a vytěžit z nich poznatky. Tyto nástroje filtrují podle user-agenta, IP adresy, kódu odpovědi a dalších údajů.
Vyfiltrujte roboty. Soustřeďte se na požadavky od robotů vyhledávačů. Běžný provoz uživatelů odfiltrujte. Tím izolujete chování robotů.
Analyzujte vzorce. Sledujte trendy ve frekvenci procházení. Procházení přibývá, nebo ubývá? Roste podíl chyb? Odpovídají vzorce procházení vašim očekáváním?
Časté závěry z analýzy logů
Nedůležité stránky se procházejí víc než důležité. To ukazuje na problém se strukturou webu. Důležité stránky by se měly procházet častěji. Použijte robots.txt nebo interní prolinkování, abyste důležité stránky upřednostnili.
Vysoký podíl chyb. Mnoho odpovědí 4xx nebo 5xx ukazuje na rozbité stránky nebo problémy se serverem. Opravte chyby a zlepšíte procházitelnost.
Nízká frekvence procházení. Pokud vyhledávače váš web procházejí zřídka, může to ukazovat na nízkou autoritu nebo slabou kvalitu obsahu. Zlepšete obsah a zpětné odkazy, abyste přilákali víc procházení.
Roboti procházejí blokované stránky. Pokud robots.txt stránky blokuje, ale roboti je přesto požadují, vaše pravidla blokování ignorují. Obvykle je to neškodné.
Omezení analýzy logů
Analýza logů ukazuje požadavky na váš server, ale ne veškerou aktivitu robotů. Některé vyhledávače používají cache. Nemusí procházet každou adresu URL pokaždé. Procházení z cache se v lozích neobjeví.
Analýza logů neukazuje rozhodnutí o indexaci. To, že byla stránka procházena, neznamená, že byla zaindexována. Vyhledávače stránky neustále procházejí a zahazují.
Velké soubory logů se špatně zvládají. Vytížený web vytváří obrovské logy. Analýza gigabajtů dat vyžaduje výkonné nástroje a odborné znalosti.
Data z logů jsou technická. Vyžadují porozumění odpovědím HTTP, řetězcům user-agent a chování serveru. Pro začátečníky to není vhodné.
Často kladené otázky
Kde najdu logy svého serveru?
Logy serveru má váš poskytovatel hostingu. Přihlaste se do ovládacího panelu hostingu a hledejte sekci s názvem Logy nebo Statistiky. Většina poskytovatelů umožňuje stáhnout surové logy. Někteří nabízejí prohlížeče logů. Pokud je nenajdete, kontaktujte svého poskytovatele hostingu. S Tvůrcem webů od WEMASY to můžete nastavit přímo na svém webu.
Jak daleko do minulosti logy serveru sahají?
Záleží na poskytovateli hostingu. Podívejte se do dokumentace svého hostingu. Pokud potřebujete historické logy, pravidelně je stahujte a archivujte u sebe.
Mám logy analyzovat sám, nebo si někoho najmout?
Pro většinu webů stačí Google Search Console. Analýza logů je pokročilá a technická. Logy používejte, jen pokud vám GSC nedá odpovědi, které potřebujete. Pokud logy analyzujete, použijte specializovaný analyzátor logů. Pokud vám chybí odbornost, najměte SEO konzultanta.
Dají se logy použít k odhalení škodlivých botů?
Ano. Logy ukazují všechny požadavky, včetně škodlivých botů. Hledejte neobvyklé řetězce user-agent, vysoký počet požadavků nebo vzorce procházení, které nedávají smysl. Škodliví boti často procházejí váš web mnohem rychleji než legitimní roboti. Můžete je zablokovat v robots.txt nebo ve firewallu.
Pomůže analýza logů zlepšit moje pozice?
Nepřímo. Analýza logů pomáhá pochopit problémy s procházením, se strukturou webu a slabá místa ve výkonu. Jejich oprava web zlepší pro roboty i pro uživatele, což může zlepšit pozice. Logy jsou ale diagnostický nástroj, ne ranking faktor.
Jaký je rozdíl mezi logy a daty ze Search Console?
Logy ukazují každý požadavek na váš server. Search Console ukazuje, co s těmi požadavky Google udělal (zaindexoval, odmítl atd.). Logy jsou surová data. Search Console je výklad těchto dat podle Googlu. Pro úplný obrázek používejte obojí společně.