Vyhledávače váš web procházejí neustále, sledují odkazy a indexují stránky. Ne každá stránka si ale indexaci zaslouží. Máte soukromé stránky, administrační oblasti, testovací stránky a duplicitní stránky, které plýtvají crawl budgetem. Robots.txt je jednoduchý textový soubor, který vyhledávačům říká, které stránky mohou a nemohou procházet. Je to strážce brány mezi vaším webem a roboty vyhledávačů.
Robots.txt je prostý textový soubor v kořenovém adresáři vašeho webu (yoursite.com/robots.txt). Obsahuje pokyny pro crawlery vyhledávačů, které stránky a sekce webu smějí procházet. K robots.txt nepotřebujete přihlášení. Je veřejný. Kdokoli může navštívit yoursite.com/robots.txt a vaše pokyny si přečíst.
Vyhledávače mají pravidla v robots.txt dodržovat. Většina je dodržuje. Některé ne. Slušně se chovající crawlery (Google, Bing, seriózní vyhledávače) robots.txt respektují. Zlí aktéři a škodlivé boty ho často ignorují.
Jak vypadá robots.txt?
Jednoduchý soubor robots.txt vypadá takto:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Tohle říká všem botům (User-agent: *), že nesmějí procházet sekce /admin/ nebo /private/. Výslovně povoluje /blog/ (což se hodí, pokud je zablokovaná nadřazená složka). Také botům ukazuje cestu k vaší sitemapě.
Zde je další příklad s konkrétnějšími pravidly:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Tohle blokuje jen crawler Googlu v /temp/. Všechny ostatní boty jsou zablokované v /test/ a u všech souborů PDF. Crawl-delay říká botům, aby mezi požadavky čekaly 5 sekund.
Jak robots.txt pomáhá SEO
Robots.txt pomáhá SEO hlavně jedním způsobem: šetří crawl budget. Vyhledávače přidělují každému webu omezené množství crawl budgetu. U malých webů je crawl budget zřídka problém. U velkých webů s tisíci stránek na něm záleží.
Pokud má váš web 10,000 stránek, ale důležitých je jen 500, chcete, aby boty procházely těch 500 důležitých stránek opakovaně, místo aby crawl budget rozprostřely na všech 10,000 stránek. Robots.txt botům brání plýtvat časem na nedůležitých stránkách.
Běžné stránky k zablokování: administrační oblasti, přihlašovací stránky, stránky s poděkováním, testovací stránky, duplicitní obsah, stránky relací a dočasný obsah. Zablokování těchto stránek říká botům, aby se soustředily na obsah, na kterém záleží.
Co v robots.txt neblokovat
Neblokujte stránky, které se mají umisťovat. Neblokujte sekci blogu ani hlavní obsahové oblasti. Neblokujte soubory CSS, JavaScript ani obrázky potřebné ke správnému vykreslení stránek (pokud výslovně nechcete zabránit indexaci).
Google doporučuje neblokovat soubory CSS, JavaScript a obrázky, ani když nechcete, aby se indexovaly. Blokování těchto zdrojů může Googlu zabránit ve správném vykreslení a pochopení vašich stránek.
Nepoužívejte robots.txt ke skrývání citlivých informací. Robots.txt je veřejný. Kdokoli si může přečíst yoursite.com/robots.txt. Pokud chcete něco skutečně skrýt, použijte ochranu heslem nebo autentizaci na serveru, ne robots.txt.
Jak vytvořit soubor robots.txt
Vytvoření robots.txt je jednoduché. Je to prostý textový soubor. Většina tvůrců webů a platforem CMS ho generuje automaticky.
Pokud ho váš CMS nevytvořil, vytvořte ho ručně. Otevřete textový editor. Napište svá pravidla. Uložte ho jako "robots.txt" (ne "robots.txt.txt"). Nahrajte ho do kořenového adresáře webu (yoursite.com/robots.txt).
Soubor robots.txt otestujte. Přejděte do Google Search Console, vyberte svou vlastnost, otevřete nástroj Robots.txt Tester a vložte svá pravidla. Google vám ukáže, co soubor blokuje a povoluje. Tím potvrdíte, že pravidla fungují tak, jak mají.
Běžná pravidla robots.txt a příklady
Zde je nejběžnější pravidlo: zablokovat všem botům konkrétní adresář.
User-agent: *
Disallow: /admin/
Takto zablokujete konkrétní typ souboru (například PDF):
User-agent: *
Disallow: /*.pdf
Takto zablokujete všechny boty kromě Googlu:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Takto přidáte zpoždění procházení (čekání X sekund mezi požadavky):
User-agent: *
Crawl-delay: 10
Takto botům ukážete cestu k sitemapě:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Důležitá omezení robots.txt
Robots.txt není bezpečnostní nástroj. Je to systém zdvořilosti. Zlé boty, hackeři a škodlivé crawlery robots.txt úplně ignorují. Nepoužívejte ho ke skrývání citlivých dat ani k ochraně důležitých stránek. K tomu použijte ochranu heslem.
Robots.txt nezaručuje vyloučení z výsledků vyhledávání. Google někdy indexuje stránky uvedené v robots.txt, pokud na ně odkazují jiné indexované stránky. Blokace zabrání procházení, ale ne indexaci, pokud je stránka propojená jinde.
Robots.txt není noindex. Pokud chcete indexaci zcela zabránit, použijte meta tag robots nebo hlavičku X-Robots-Tag, ne robots.txt. Robots.txt řídí jen procházení, ne indexaci.
Často kladené otázky
Ovlivňuje robots.txt pozice v SEO?
Nepřímo. Robots.txt pozice přímo neovlivňuje. Tím, že ale směrujete crawl budget na důležité stránky, pomáháte vyhledávačům procházet a indexovat váš nejlepší obsah častěji. Lepší procházení vede k lepší indexaci a ta k lepšímu potenciálu pro pozice. Robots.txt tedy pozicím pomáhá nepřímo správou crawl budgetu. S WEMASY tvůrcem webů to nastavíte přímo na svém webu.
Mohu Googlu zablokovat procházení svého webu?
Ano, ale neměli byste. V robots.txt můžete zakázat Googlebot, jenže tím Googlu zabráníte váš web indexovat. Váš web zmizí z vyhledávání Googlu. Jediný důvod, proč to udělat, je, když web stahujete z provozu nebo ho stěhujete a nechcete, aby se indexovala stará verze. Téměř ve všech případech byste měli Googlu procházení povolit.
Rozlišuje robots.txt velká a malá písmena?
Částečně. Příkazy User-agent a Disallow na velikosti písmen nezáleží. Na cestách, které zakazujete, na většině serverů záleží. /Admin/ a /admin/ jsou různé cesty. Pravidla otestujte v Google Search Console, abyste měli jistotu, že fungují tak, jak mají.
Mám duplicitní stránky blokovat v robots.txt?
Záleží. Robots.txt blokuje procházení, ale ne indexaci. Pokud chcete duplicitním stránkám zabránit v indexaci, použijte raději značku canonical nebo meta noindex. Robots.txt použijte k blokování procházení nedůležitých duplicit, u kterých vám nevadí, že je Google nikdy nenajde.
Musím Google upozornit, když změním robots.txt?
Ne. Google robots.txt prochází často. Změny se obvykle projeví během hodin. Nemusíte web znovu odesílat ani nikoho upozorňovat. Robots.txt prostě aktualizujte a počkejte na další procházení.
Jaký je rozdíl mezi robots.txt a meta tagy robots?
Robots.txt blokuje procházení na úrovni souboru. Meta tagy robots řídí indexaci na úrovni stránky. Robots.txt říká, že stránku nelze procházet. Meta tagy robots (například noindex) říkají, že stránku lze procházet, ale neměla by se indexovat. Robots.txt použijte pro velké sekce, které chcete zablokovat. Meta tagy robots použijte pro jednotlivé stránky, které chcete nechat procházet, ale ne indexovat.