Soubor robots.txt je textový soubor, který leží v kořenové složce vašeho webu. Říká crawlerům, na které stránky smějí a na které ne. U tradičních vyhledávačů je robots.txt volitelný. U AI crawlerů je to hlavní nástroj, jímž řídíte, zda se váš obsah zaindexuje, nebo zablokuje.
Rozdíl je důležitý. Google robots.txt respektuje, ale stránky, které zablokujete, může stejně procházet, pokud na ně odkazují jiné weby. AI crawlery robots.txt respektují přísněji. Zablokujete-li GPTBot v robots.txt, ChatGPT váš obsah necituje. Povolíte-li ho, váš obsah je k dispozici pro AI citace. Tato kapitola popisuje, jak se jmenují jednotlivé hlavní AI crawlery, jak zablokovat konkrétní boty a jaká strategie dává smysl pro vaši značku.
Jak robots.txt funguje u AI crawlerů
Když crawler navštíví váš web, jako první zkontroluje, zda existuje soubor robots.txt. Čte ho řádek po řádku a hledá pravidla, která se na něj vztahují. Pokud váš robots.txt říká "disallow: /", žádný crawler nemá přístup na žádnou stránku. Pokud říká "disallow: /admin/", crawlery mají přístup na všechno kromě složky admin.
AI crawlery tato pravidla dodržují důsledněji než Googlebot. Zablokujete-li ClaudeBot v robots.txt, Claude váš obsah neindexuje. Tečka. Googlebot může zablokované stránky stejně procházet, pokud je obsah odkazovaný z jiných webů, ale AI crawlery se u direktivy v robots.txt zastaví.
Formát je jednoduchý. Napíšete pravidla, která určují, které user agenty (názvy crawlerů) se jakých pravidel týkají, a pak vyjmenujete, k čemu tyto crawlery smějí a nesmějí přistupovat. Soubor je prostý text. Žádné značky. Žádné zvláštní formátování. Jen pravidla.
Hlavní AI crawlery a jména jejich user agentů
Každý crawler má jméno user agenta. Když navštíví váš web, představí se pod tímto jménem. Toto jméno použijete v souboru robots.txt, abyste pro daný crawler vytvořili konkrétní pravidla.
Tady jsou hlavní AI crawlery, které byste měli znát:
GPTBot (OpenAI)
GPTBot je crawler společnosti OpenAI. Indexuje obsah pro ChatGPT. Když uživatel v ChatGPT zapne vyhledávání na webu, systém čerpá ze stránek, které GPTBot zaindexoval. GPTBot prochází intenzivně, ale pravidla robots.txt respektuje.
Chcete-li GPTBot povolit, nedělejte nic. Ve výchozím stavu prochází. Chcete-li ho zablokovat, přidejte do robots.txt tyto řádky:
User-agent: GPTBot
Disallow: /
Toto pravidlo říká: "GPTBote, nemáš přístup na žádnou stránku tohoto webu." Pokud chcete zablokovat jen konkrétní sekce, můžete být přesnější. Zablokujte složku /admin/, ale zbytek povolte:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot je crawler společnosti Anthropic. Indexuje obsah pro vyhledávání na webu v Claude. ClaudeBot je agresivnější než GPTBot. Posílá víc požadavků a prochází častěji. Pokud ClaudeBot povolíte, sledujte prostředky svého serveru.
ClaudeBot se představuje tímto jménem user agenta. Použijte ho v robots.txt stejně jako u GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot prochází web pro Perplexity. Je to jeden z častěji navštěvujících crawlerů. Obsah aktualizuje několikrát denně, protože Perplexity upřednostňuje čerstvost. Zablokujete-li PerplexityBot, váš obsah se v odpovědích Perplexity neobjeví.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google má dva crawlery. Googlebot prochází pro tradiční vyhledávání. Googlebot-Extended prochází pro AI systémy Googlu, jako jsou AI Overviews a Gemini. Googlebot-Extended můžete zablokovat a Googlebot přitom povolit.
User-agent: Googlebot-Extended
Disallow: /
Další crawlery
Své crawlery mají i další vyhledávače, například ruské, korejské nebo od Microsoftu. Princip je stejný. Zjistěte jméno user agenta a vytvořte pravidlo.
Strategie: povolit, nebo blokovat?
Většina značek by měla AI crawlerům přístup k obsahu povolit. Citace v AI přivádějí kvalitní návštěvnost. Uživatelé, kteří váš obsah najdou přes ChatGPT nebo Perplexity, už rozhodli, že je vaše odpověď cenná. Prokliknou se a konvertují častěji než návštěvníci z tradičního vyhledávání.
Existují výjimky. Pokud máte důvěrné informace, obchodní tajemství nebo obsah, který chcete udržet výhradní, dává blokování AI crawlerů smysl. Pokud máte obsah za paywallem, můžete některé crawlery zablokovat, aby nikdo nezískal zdarma přístup přes AI shrnutí. Pokud máte obsah, který je trapný nebo zastaralý, můžete AI crawlery zablokovat, dokud ho neaktualizujete.
Ale u většiny obsahu je výpočet jednoduchý. Viditelnost v AI přináší víc příležitostí než rizik. Povolte crawlery. Získejte citace. Přiveďte návštěvnost.
Blokování konkrétních crawlerů a povolení ostatních
Nemusíte volit všechno, nebo nic. Některé AI crawlery můžete povolit a jiné zablokovat.
Povolte Perplexity a GPTBot, ale zablokujte ClaudeBot, protože jeho frekvence procházení zatěžuje váš server:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Prázdné "Disallow:" znamená žádné omezení. Tento crawler má přístup ke všemu.
AI crawlery můžete také zablokovat u konkrétních sekcí. Povolte GPTBot všude kromě administračního panelu:
User-agent: GPTBot
Disallow: /admin/
Povolte mu procházet váš blog, ale ne vaše produkty:
User-agent: GPTBot
Disallow: /products/
Zástupné pravidlo a výchozí chování
Můžete vytvořit pravidla pro konkrétní crawlery a výchozí pravidlo pro všechny ostatní. Hvězdička (*) je zástupný znak, který platí pro všechny crawlery, které nejsou výslovně uvedeny.
Toto pravidlo zablokuje všem crawlerům složku /private/, ale vše ostatní povolí:
User-agent: *
Disallow: /private/
Toto pravidlo zablokuje všem crawlerům přístup k čemukoli:
User-agent: *
Disallow: /
Direktiva crawl-delay
Crawlerům můžete říct, aby zpomalily. Direktiva Crawl-delay říká crawleru, aby mezi požadavky počkal určitý počet sekund. Pokud váš server zápasí s agresivním procházením ClaudeBotu, můžete mu říct, aby zpomalil:
User-agent: ClaudeBot
Crawl-delay: 5
To znamená, že ClaudeBot musí mezi jednotlivými požadavky počkat 5 sekund. Procházení se zpomalí, ale zátěž serveru klesne.
Jak robots.txt souvisí s vaší mapou webu
Váš soubor robots.txt může odkazovat na vaši mapu webu (sitemap). Přidejte tento řádek na konec souboru robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
Crawlery zkontrolují váš robots.txt a uvidí odkaz na mapu webu. Vědí, kde najdou mapu vašeho obsahu. To urychlí objevování. Nemění to, k čemu mají crawlery přístup. Jen jim to říká, kde hledat.
Testování souboru robots.txt
Soubor robots.txt můžete otestovat, než ho nasadíte. Google Search Console obsahuje nástroj pro testování robots.txt. Zadáte adresu URL a jméno user agenta a nástroj vám podle pravidel v robots.txt řekne, zda má tento crawler k dané stránce přístup.
Mnoho platforem pro obsah soubor robots.txt vytváří automaticky. Podívejte se do nastavení svého webu. Pokud ho můžete upravit, můžete přidat vlastní pravidla. Pokud ne, obraťte se na svého poskytovatele hostingu.
Často kladené otázky
Když zablokuji všechny AI crawlery, bude se můj web řadit v Googlu?
Ano. Blokování AI crawlerů (GPTBot, ClaudeBot a dalších) pozice v Googlu neovlivní. Google používá Googlebot pro tradiční vyhledávání a Googlebot-Extended pro funkce AI. Pokud chcete zablokovat jen AI crawlery, ale ponechat přístup Googlu, zablokujte konkrétně jména AI crawlerů a Googlebot i Googlebot-Extended nechte neblokované. S tvůrcem webů od WEMASY to nastavíte přímo na svém webu.
Můžu zablokovat AI crawlery pro trénování, ale povolit AI crawlery pro vyhledávání?
Hranice mezi crawlery pro trénování a pro vyhledávání je rozmazaná. Většina velkých AI firem dnes používá stejné crawlery pro oba účely. Pokud AI crawler zablokujete úplně, zablokujete jeho přístup pro trénování i pro vyhledávání. Pomocí robots.txt nelze selektivně zablokovat jen trénování nebo jen vyhledávání. Crawler buď zablokujete úplně, nebo povolíte.
Co se stane, když soubor robots.txt nemám?
Pokud soubor robots.txt nemáte, crawlery předpokládají, že mají přístup ke všemu. Všechny crawlery (Google, Bing, GPTBot, ClaudeBot, všechny) zaindexují celý váš web. U většiny webů je to žádoucí chování. Pokud chcete zablokovat konkrétní crawlery nebo sekce, soubor robots.txt potřebujete.
Můžou AI crawlery můj soubor robots.txt obejít?
Teoreticky ano, ale nedělají to. AI crawlery respektují robots.txt přísněji než Googlebot. Když AI crawleru řeknete, aby zůstal venku, zůstane venku. Vývojáři crawlerů vědí, že porušování robots.txt poškozuje jejich vztahy s vydavateli. Pravidla dodržují.
Jak často musím soubor robots.txt aktualizovat?
Aktualizovat ho musíte, jen když se změní vaše pravidla blokování. Pokud se rozhodnete zablokovat nový crawler nebo otevřít přístup do dříve zablokované sekce, upravte ho. Jinak ho po nastavení můžete nechat být. Crawlery ho kontrolují při každé návštěvě, takže změny se projeví okamžitě.
Mám AI crawlerům zablokovat přístup k analýze konkurence nebo soukromému výzkumu?
Ano. Pokud máte stránky s důvěrným výzkumem, analýzou konkurence nebo obsahem, který nechcete veřejně dostupný, zablokujte všem crawlerům tyto sekce. Přidejte pravidlo disallow pro tuto složku nebo stránky. Crawlery je nezaindexují a AI systémy nebudou mít přístup, aby je mohly citovat.