Většina majitelů webů čeká, až jejich obsah crawlery najdou. V pondělí zveřejní stránku a doufají, že ji bot objeví do středy. U AI crawlerů na tom čekání záleží víc než kdy dřív. Perplexity prochází web několikrát denně. Čerstvost není okrajový signál pro pozice. Je to rozdíl mezi tím, zda se bude citovat váš obsah, nebo obsah konkurence.
XML sitemapy a IndexNow jsou dva nástroje, které tento model obracejí. Místo pasivního čekání crawlerům přesně řeknete, kde váš obsah je a kdy se změnil. Sitemapy uspořádají vaše stránky, aby je crawlery našly rychleji. IndexNow aktivně upozorní vyhledávače ve chvíli, kdy se něco zveřejní. Společně tyto nástroje zkracují okno objevení ze dnů na hodiny. U AI platforem, kde čerstvost může viditelnost zvednout i zničit, je tato rychlostní výhoda skutečná.
Co XML sitemap dělá pro AI crawlery
XML sitemap je strukturovaný soubor, který vypisuje každou důležitou stránku vašeho webu. Crawlerům říká adresu URL každé stránky, kdy byla naposledy aktualizována, jak je důležitá ve srovnání s ostatními a jak často se mění.
Pro klasické vyhledávače jsou sitemapy příjemný bonus. Pro AI crawlery jsou téměř nezbytné. Analýza logů serverů napříč 85 doménami ukazuje, že GPTBot (crawler OpenAI) se na sitemapy při počáteční fázi objevování odvolává v 76% případů. Googlebot je oproti tomu používá jen v 54% případů. AI systémy se na sitemapy spoléhají víc, protože chtějí rychle pochopit strukturu webu a prioritu obsahu.
Důvod je důležitý. Perplexity prochází neustále. Potřebuje rychle najít nový obsah. ChatGPT indexuje výběrově. Upřednostňuje stránky, které jsou pro vás nejdůležitější. Pokud je vaše sitemapa neuspořádaná nebo neúplná, obsah před crawlery, které rozhodují o tom, zda bude vaše značka citována v odpovědích, fakticky skrýváte.
Jak AI crawlery používají vaši sitemapu jinak
Sitemapa crawlerům říká tři věci. Říká jim, kde váš obsah je. Říká jim, které stránky jsou nejdůležitější. A říká jim, kdy se věci změnily.
U AI systémů je ta třetí věc zásadní. Když stránku aktualizujete, značka lastmod (poslední změna) ve vaší sitemapě signalizuje, že se obsah změnil. GPTBot tuto značku kontroluje. Perplexity tuto značku kontroluje. Když AI crawler v sitemapě uvidí čerstvou aktualizaci, upřednostní opětovné procházení té stránky. Pokud vaše sitemapa říká, že se stránka šest měsíců nezměnila, crawler ji upozadí. Kvůli důrazu AI platforem na aktuálnost je to nejdůležitější metadata, která můžete ovlivnit.
Důležitá je i druhá věc. Vaše sitemapa obsahuje značku priority, která crawlerům říká, které stránky jsou pro vás nejdůležitější. Stránky dostávají skóre priority od 0 do 1. Vaše úvodní stránka může mít 1.0. Váš blog 0.8. Starý archivovaný obsah 0.3. AI crawlery prioritu nepovažují za signál pro pozice, ale považují ji za signál efektivity. Pokud AI crawleru řeknete, že 60% vašeho webu má nízkou prioritu, ví, kam soustředit rozpočet procházení.
Optimalizace sitemapy, na kterou AI crawlery reagují
Většina firem vytvoří jednu sitemapu a zapomene na ni. Crawlery ji najdou. Obsah se zaindexuje. Případ uzavřen.
AI crawlery odměňují konkrétnost. Segmentované sitemapy fungují o 67% lépe. Místo vkládání všech stránek do jedné obří sitemapy vytvoříte samostatné sitemapy pro různé typy obsahu. Jednu pro články blogu. Jednu pro produktové stránky. Jednu pro vzdělávací průvodce. Jednu pro hlavní stránky.
Proč na tom záleží? Když AI crawler navštíví váš web, má omezený čas a rozpočet procházení. Pokud mu řeknete, že vaše sitemapa obsahuje 10,000 smíšených stránek a on stihne projít jen 1,000 z nich, musí hádat, kterých 1,000 je důležitých. Pokud sitemapy místo toho segmentujete a řeknete mu, že sitemapa blogu má 400 stránek a produktová sitemapa 50 stránek, crawler přesně ví, jak rozpočet rozdělit. Produktové stránky se procházejí hlouběji. Nedávné články blogu se procházejí opakovaně.
Zlepšení je vidět na rychlosti objevení. Segmentované sitemapy dosahují o 34% rychlejšího objevení celého webu AI crawlery. Weby s jednou obří sitemapou čekají na úplné pokrytí procházením 30 dnů. Weby se segmentovanými sitemapami vidí úplné pokrytí za 20 dnů.
Segmentace je jednoduchá. Vytvoříte samostatné soubory sitemap pro různé části webu a všechny je uvedete v souboru indexu sitemap. Většina systémů pro správu obsahu, včetně WEMASY, generuje sitemapy automaticky. Většina platforem také umožňuje je segmentovat podle typu nebo sekce.
Jak správně nastavit značku lastmod
Značka lastmod je váš signál čerstvosti pro AI crawlery. Když zveřejníte nový obsah, začíná dnešním datem. Když aktualizujete starý článek, aktualizujete datum lastmod. Crawler to uvidí a ví, že se něco změnilo.
Mnoho webů to dělá špatně. Zveřejní stránku v lednu a datum lastmod zůstane na lednu navždy. Stránku v květnu aktualizují, ale na sitemapu zapomenou. Crawler žádnou změnu nevidí a znovu procházet upozadí.
U AI platforem je to kritická chyba. Perplexity konkrétně používá čerstvost obsahu k rozhodnutí, zda vás citovat. Stránka se zastaralou značkou lastmod vypadá zatuhle. Stránka s aktuální značkou lastmod vypadá čerstvě. Pokud obsah udržujete a pravidelně aktualizujete, ujistěte se, že to vaše sitemapa odráží.
Nejlepším přístupem je to zautomatizovat. Pluginy pro systémy správy obsahu, aplikace pro e-shopy a většina moderních obsahových platforem automaticky aktualizují datum lastmod při jakékoli změně stránky. Nastavíte jednou a zapomenete. Crawlery průběžně vidí čerstvé signály.
Co umí IndexNow, co sitemapy neumí
Sitemapa je pasivní. Vytvoříte ji. Zveřejníte ji. Pak čekáte, až ji crawlery objeví. Crawlery sitemapu navštěvují podle svého rozvrhu, ne podle vašeho. Pokud bot přijde jednou týdně, váš nový obsah čeká týden na objevení.
IndexNow to obrací. Místo čekání na crawlery je aktivně upozorníte. Ve chvíli, kdy zveřejníte stránku, IndexNow pošle vyhledávačům zprávu „právě jsem tohle zveřejnil“. IndexNow podporuje několik velkých vyhledávačů mimo Google. Odešlete oznámení na jeden koncový bod API a všechny je dostanou.
IndexNow je zdarma a open source. Vyvinuly ho vyhledávací firmy právě proto, aby řešily problém pomalého objevování. Před IndexNow se odborníci na SEO museli spoléhat na zpětné odkazy nebo přirozené procházení, aby se nového obsahu někdo všiml. S IndexNow oznámení řídíte sami.
Dopad je okamžitý. Bez IndexNow nová stránka leží na vašem serveru a čeká. S IndexNow je stránka procházena během hodin, někdy i minut. Okno objevení se zkrátí ze dnů na hodiny.
Jak IndexNow funguje s vaší sitemapou
IndexNow a sitemapy nejsou konkurenti. Fungují spolu. Vaše sitemapa crawlerům říká strukturu a prioritu vašeho obsahu. IndexNow crawlerům říká, že se právě teď něco změnilo.
Takhle to probíhá. Zveřejníte novou stránku. IndexNow automaticky pošle vyhledávačům oznámení s touto novou adresou URL. Crawler oznámení přijme a hned přijde. Po příchodu si přečte vaši sitemapu, aby pochopil kontext. Je to prioritní stránka, nebo stránka s nízkou prioritou? Byla od posledního procházení aktualizována? Je součástí obsahového clusteru?
Sitemapa dává crawleru kontext. IndexNow mu dává rychlost. Bez sitemap crawler ví, že stránka existuje, ale neví, jak ji upřednostnit ani zda procházet související stránky. S oběma nástroji dohromady je objevování rychlé a chytré.
Jak nastavit IndexNow
IndexNow vyžaduje tři věci. Klíč API, který dokazuje, že doména patří vám. Ověřovací soubor umístěný na vaší doméně, který dokazuje vlastnictví. A mechanismus odesílání, který posílá adresy URL do API IndexNow.
Pokud má váš systém pro správu obsahu oficiální plugin IndexNow, vše zařídí automaticky. Zapnete ho a on vygeneruje klíč, vytvoří ověřovací soubor a odesílá adresy URL pokaždé, když obsah zveřejníte nebo aktualizujete. Žádné nastavení kromě kliknutí na instalaci.
Pokud používáte moderní platformu, většina hostingových platforem integraci IndexNow obsahuje. Zkontrolujte nastavení publikování. Pokud je dostupná, zapněte ji.
Pokud spravujete vlastní server nebo používáte platformu bez vestavěné integrace, můžete adresy URL odesílat ručně přes web IndexNow nebo přímými voláními API. Dokumentace IndexNow popisuje oba přístupy.
Které crawlery IndexNow podporují a proč na tom záleží
IndexNow podporuje několik velkých vyhledávacích platforem mimo Google.
Překvapení je tady. ChatGPT prochází společně s těmito platformami. Když prochází jedna z nich, GPTBot často přijde s ní. Když procházení proběhne, oznámení může urychlit indexaci pro Perplexity a další AI systémy, které spoléhají na podobnou infrastrukturu crawlerů.
Google IndexNow oficiálně nepodporuje. Je to rozdíl, který stojí za pochopení. Google má vlastní systém objevování. Google Search Console hraje pro Google roli podobnou IndexNow. Ale pro zbytek ekosystému AI je IndexNow způsob, jak nový obsah oznámit.
Mnoho týmů používá odesílání přes Google Search Console i IndexNow zároveň. Google se oznamuje přes Search Console. Širší ekosystém AI se oznamuje přes IndexNow. Tento dvojí přístup zkracuje dobu objevení na všech platformách.
Výhoda objevení, když tyto nástroje fungují společně
Bez těchto nástrojů se děje tohle. V pondělí zveřejníte stránku. Některý crawler váš web navštíví někdy v průběhu týdne a stránku objeví. Do pátku ji crawler zpracuje. Do následujícího pondělí se může objevit v některých výsledcích. Plné objevení napříč více AI platformami trvá týdny.
Jen se sitemapou se objevování zrychlí. Crawler musí sitemapu pořád najít. Ale když ji najde, ví, kde hledat váš nejnovější obsah. Pokud je vaše sitemapa optimalizovaná, zkrátíte dobu objevení z týdnů na 5 až 7 dnů.
Jen s IndexNow je stránka oznámena okamžitě. Bez kontextu sitemapy ale crawler neví, zda tato stránka souvisí s dalším souvisejícím obsahem. Prochází samotnou adresu URL, ale tematický cluster může minout. Objevení je rychlé, ale neúplné.
S oběma nástroji dohromady dosáhnete rychlého a chytrého objevení. IndexNow stránku oznámí okamžitě. Crawler ji prochází během hodin. Vaše sitemapa mu řekne, že je součástí série tří článků na stejné téma. Crawler sérii upřednostní. Všechny tři články se objeví a zaindexují během 24 hodin. Perplexity si čerstvého clusteru všimne. Když se někdo zeptá na otázku z tohoto tématu, váš obsah je k dispozici k citování. Z týdnů jste se dostali na hodiny.
Často kladené otázky
Potřebuji sitemapu i IndexNow, nebo stačí jedno?
Potřebujete obojí. Sitemapy crawlerům říkají strukturu a prioritu obsahu. IndexNow jim říká, že se právě teď něco změnilo. Sitemapa bez IndexNow znamená pomalé objevování. IndexNow bez sitemapy znamená rychlé objevení jednotlivých stránek, ale bez kontextu pro související obsah. Oba nástroje dohromady dávají rychlost i inteligenci. S Tvůrcem webů od WEMASY to nastavíte přímo na svém webu.
Funguje IndexNow pro AI crawlery jako GPTBot a Perplexity?
IndexNow oficiálně podporuje několik velkých vyhledávačů mimo Google. ChatGPT prochází společně s jedním z nich, takže oznámení IndexNow často spustí procházení GPTBotem. Perplexity prochází web přímo a reaguje také na aktualizace sitemap. Takže i když IndexNow není oficiální produkt Perplexity, objevování stále urychluje, protože Perplexity používá podobnou infrastrukturu jako ostatní podporované platformy.
Jak často mám sitemapu aktualizovat, pokud obsah zveřejňuji neustále?
Pokud zveřejňujete často, aktualizace sitemapy zautomatizujte. Většina systémů pro správu obsahu aktualizuje sitemapy automaticky, kdykoli stránku zveřejníte nebo změníte. Značka lastmod se aktualizuje také automaticky. Soubor sitemapy byste neměli aktualizovat ručně. Nastavte automatizaci a nechte ji běžet na pozadí.
Mám vytvořit jednu velkou sitemapu, nebo několik segmentovaných?
Segmentované sitemapy fungují o 67% lépe než jeden obří soubor. Pokud máte víc než 500 stránek, rozdělte sitemapu na segmenty podle typu obsahu nebo sekce. Jednu pro články blogu, jednu pro produkty, jednu pro průvodce a tak dále. Potom všechny segmentové sitemapy uveďte v souboru indexu sitemap. Crawlery objeví víc obsahu rychleji, protože jste jim přesně řekli, kde hledat to, na čem vám nejvíc záleží.
Co když používám WEMASY nebo jinou platformu, která sitemapy generuje automaticky?
Většina moderních platforem řeší sitemapy a integraci IndexNow za vás. Zkontrolujte nastavení webu. Pokud vaše platforma IndexNow podporuje, zapněte ho. Pokud sitemapy generuje automaticky (což většina dělá), ověřte, že se data lastmod správně aktualizují, když obsah zveřejníte nebo upravíte. Pokud automatizace funguje, nemusíte dělat nic dalšího.
Za jak dlouho se obsah po odeslání přes IndexNow objeví v odpovědích AI?
Rychlost objevení se liší. Některé AI crawlery dorazí k vašemu obsahu během minut od odeslání přes IndexNow. Jiné potřebují až 24 hodin. Perplexity bývá nejrychlejší. Skutečné objevení v odpovědích AI závisí na tom, zda je váš obsah dost dobrý k citování. To, že crawler vaši stránku najde, neznamená, že ji AI vyhledávač použije. Rychlejší objevení pomáhá, ale kvalitní obsah je důležitější. Pokud vaše stránka přímo odpovídá na otázku a má čerstvá data, máte šanci. Pokud je povrchní nebo vágní, rychlé objevení nepomůže.