O tom, zda ChatGPT najde a ocituje váš obsah, rozhodují tři samostatné mechanismy: robots.txt, meta tagy a HTTP hlavičky. Většina lidí zná jen jeden z nich. Když pochopíte všechny tři, můžete si svou strategii viditelnosti zvolit vědomě.
Nejde jen o blokování nebo povolování. Jde o to, dělat to záměrně. Různé direktivy vedou k různým výsledkům. Špatná kombinace se může obrátit proti vám.
Tři vrstvy kontroly
Crawlerům ChatGPT můžete o svém obsahu sdělit něco třemi způsoby.
Vrstva 1: robots.txt
Tento soubor v kořenovém adresáři vaší domény říká crawlerům, k čemu mají a nemají přístup na celém webu nebo v jeho určitých částech. Řídí objevování a procházení.
Vrstva 2: meta robots tagy
Tyto HTML meta tagy na jednotlivých stránkách říkají crawlerům, co mají dělat poté, co stránku našli a přečetli. Řídí indexaci a využití dané stránky.
Vrstva 3: HTTP hlavičky X-Robots-Tag
Tato hlavička v HTTP odpovědi vašeho serveru slouží stejnému účelu jako meta robots tagy, ale lze ji použít na celém webu nebo pro určité typy obsahu. Hodí se pro obsah, který není HTML, například PDF.
Většina lidí se soustředí na robots.txt a na další dvě vrstvy zapomíná. Všechny tři fungují společně.
Vrstva 1: robots.txt a OAI-SearchBot
Váš soubor robots.txt komunikuje s OAI-SearchBotem (vyhledávacím crawlerem ChatGPT). ChatGPT standardní direktivy robots.txt respektuje.
Povolení přístupu OAI-SearchBotu k vašemu obsahu
User-agent: OAI-SearchBot
Allow: /
Toto je výchozí stav. OAI-SearchBot projde celý váš web a váš obsah bude vidět ve vyhledávání ChatGPT.
Úplné zablokování OAI-SearchBotu
User-agent: OAI-SearchBot
Disallow: /
Vyhledávání ChatGPT tak váš obsah nenajde. Vaše stránky se v odpovědích ChatGPT neobjeví.
Povolení OAI-SearchBotu s omezením rychlosti procházení
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Direktiva Crawl-delay říká botovi, aby mezi požadavky čekal 1 sekundu. Pomáhá to zvládnout zátěž serveru, pokud crawler ChatGPT váš server navštěvuje příliš často.
Zablokování konkrétních částí
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Tím zablokujete procházení adresářů /admin/ a /private/ a zbytek zůstane přístupný.
Základní princip: robots.txt řídí objevování a procházení. Pokud tu crawler zablokujete, nemá ke stránce vůbec přístup, a proto nemůže přečíst ani žádné meta tagy na ní.
Vrstva 2: meta robots tagy, kontrola po objevení
Poté, co OAI-SearchBot vaši stránku prošel (tedy nebyl zablokován v robots.txt), říkají mu meta robots tagy, co s obsahem udělat.
Struktura meta robots tagu
<meta name="robots" content="directive1, directive2">
Klíčové direktivy pro crawlery AI
noindex: Neindexovat tuto stránku ani ji nezahrnovat do shrnutí. Crawler stránku vidí, ale nepoužije ji.
nofollow: Nesledovat odkazy z této stránky. Crawler stránku vidí, ale odkazy v ní neprochází.
noai: Nepoužívat tento obsah k trénování modelů AI. Stránka se může objevit ve výsledcích vyhledávání, ale OpenAI ji nesmí použít k trénování jazykových modelů.
noimageai: Nepoužívat obrázky na této stránce k trénování modelů pro generování obrázků.
Příklad
<meta name="robots" content="noindex">
Tohle říká všem crawlerům (Google, Bing, ChatGPT a dalším), aby tuto stránku neindexovaly. ChatGPT ji necituje, Google ji nezobrazí a Bing ji nezahrne.
Specificky pro OAI-SearchBot
<meta name="robots" content="noai">
Tohle říká konkrétně OAI-SearchBotu, aby obsah nepoužíval k trénování. Stránka může být i nadále citována ve výsledcích vyhledávání ChatGPT, ale OpenAI ji nesmí použít k trénování modelu.
Zásadní pravidlo: nekombinujte robots.txt a noindex
Toto je nejdůležitější technické pravidlo. Nikdy to nedělejte:
User-agent: OAI-SearchBot
Disallow: /article/
A zároveň to nedávejte na stránku článku:
<meta name="robots" content="noindex">
Proč: pokud OAI-SearchBotu přes robots.txt zakážete přístup na /article/, crawler tu stránku nikdy nestáhne. Meta tag nikdy nepřečte. Direktiva noindex nemá žádný účinek, protože ji crawler nikdy neuvidí. Navíc pokud na vaši stránku odkazují jiné weby, některé crawlery ji mohou zaindexovat i tak, protože ji objevily přes odkazy, přestože váš robots.txt říkal ne.
Pravidlo: použijte buď robots.txt, NEBO meta tagy, ne obojí pro tutéž direktivu.
Osvědčený postup: robots.txt používejte k řízení procházení celého webu (povolení nebo zákaz celých sekcí). Meta tagy používejte pro kontrolu na úrovni stránky (jednotlivé stránky se zvláštními pravidly).
Vrstva 3: HTTP hlavičky X-Robots-Tag
Pokud chcete řídit chování crawlerů u obsahu, který není HTML (PDF, obrázky a podobně), nebo uplatnit pravidla na více stránek bez úpravy každé z nich, použijte HTTP hlavičku X-Robots-Tag.
Příklad:
X-Robots-Tag: noindex, nofollow
Uplatňuje se na úrovni serveru a říká všem crawlerům, aby neindexovaly a nesledovaly odkazy na žádné stránce, která se s touto hlavičkou odesílá.
Můžete ji použít i selektivně:
X-Robots-Tag: OAI-SearchBot: noai
Tohle říká pouze OAI-SearchBotu, aby váš obsah nepoužíval k trénování, a ve vyhledávání ho přitom povoluje.
Strategické volby: co skutečně chcete
Volba závisí na vašem cíli.
Cíl 1: maximum citací v ChatGPT
Povolte robots.txt, žádné meta tagy noindex. Nechte OAI-SearchBot, ať vás najde a ocituje.
User-agent: OAI-SearchBot
Allow: /
Žádné omezující meta tagy.
Cíl 2: být ve vyhledávání ChatGPT, ale zabránit trénování modelu
Povolte robots.txt, použijte meta tag noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Cíl 3: skrýt se před ChatGPT, ale ponechat ostatní vyhledávače
Zablokujte OAI-SearchBot, ostatní povolte.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Cíl 4: skrýt se před všemi crawlery AI
Zablokujte více botů.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Problém souladu: ne všechny crawlery AI tato pravidla respektují
Nepříjemná pravda: různé crawlery AI se pravidly řídí v různé míře.
Testy ukazují, že ChatGPT respektuje robots.txt a některé meta tagy. Perplexity respektuje obojí důsledně. Jiné systémy AI se řídí různě. Některé starší scrapery AI robots.txt nerespektují vůbec.
Crawlery OpenAI můžete účinně řídit. Nemůžete plně kontrolovat každý systém AI, který by váš obsah mohl stahovat.
Jak vám WEMASY pomůže řídit přístup crawlerů
Tvůrce webů WEMASY obsahuje editor robots.txt, v němž můžete nastavit oprávnění pro OAI-SearchBot bez úprav surových souborů. Meta robots tagy můžete přidávat k jednotlivým stránkám v panelu nastavení SEO. Tvůrce předem nastaví osvědčené postupy: povolí OAI-SearchBot pro viditelnost ve vyhledávání a nechá vás přidat noai, pokud nechcete trénování modelu. Sledujte logy procházení, abyste viděli, které crawlery na váš web chodí, a podle toho upravte oprávnění. Podívejte se na nástroje WEMASY pro správu crawlerů.
Často kladené otázky
Když zablokuji OAI-SearchBot v robots.txt, může se můj obsah v ChatGPT přesto objevit přes odkazy?
Nepravděpodobně. OAI-SearchBot je hlavní vyhledávací crawler ChatGPT. Pokud je zablokován, ve vyhledávání ChatGPT nemáte žádnou přítomnost. Pokud ale jiný systém na váš obsah odkazuje, může ho stáhnout jiný crawler. To je nepředvídatelné. S tvůrcem webů WEMASY to můžete nastavit přímo na svém webu.
Co vlastně dělá meta tag noai?
Říká OpenAI, aby váš obsah nepoužívala k trénování svých jazykových modelů. Váš obsah se může dál objevovat ve výsledcích vyhledávání ChatGPT s citacemi. Bez tohoto tagu může OpenAI váš obsah použít k trénování ChatGPT a dalších modelů.
Mám použít noindex, když se nechci v ChatGPT objevit?
Ano, ale uvědomte si, co dělá: noindex říká všem crawlerům (Google, Bing, ChatGPT a dalším), aby stránku neindexovaly. Použijte ho, pokud se chcete skrýt ve všech výsledcích vyhledávání. Pokud se chcete skrýt jen před ChatGPT a zůstat vidět v Googlu, noindex nepoužívejte. Místo toho zablokujte OAI-SearchBot v robots.txt.
Jak dlouho trvá, než se změny v robots.txt nebo meta tazích projeví?
Změny v robots.txt se obvykle respektují do 24 hodin. Změny meta tagů se respektují při další návštěvě stránky crawlerem. Pro okamžité testování můžete použít testovací nástroj crawleru OpenAI nebo Bing Webmaster Tools.
Mohu zablokovat všechny crawlery AI a přitom povolit Google?
Ano. V robots.txt zakažte GPTBot, OAI-SearchBot, ChatGPT-User a další boty AI a povolte Googlebot a Bingbot. To ale nezabrání systémům AI, které robots.txt nerespektují, aby se k vašemu obsahu dostaly.
Co když si X-Robots-Tag a robots.txt, které můj crawler vidí, odporují?
Jako první se vyhodnocuje robots.txt. Pokud robots.txt crawler zablokuje, stránku nestáhne, takže X-Robots-Tag nikdy neuvidí. Pokud ho robots.txt povolí, uplatní se direktivy X-Robots-Tag. Dbejte na to, aby si neodporovaly.