Hledali jste svůj web online a nenašli jste ho nikde ve výsledcích? Pokud se váš web nezobrazuje v Googlu ani v jiném vyhledávači, příčinou je téměř vždy jeden z několika dobře zdokumentovaných problémů s indexací a většinu z nich lze opravit bez technických znalostí. Tento článek vysvětluje, co znamená, že se web neobjevuje ve výsledcích vyhledávání, jaké jsou nejčastější příčiny, jak zkontrolovat aktuální stav indexace a co dělat, aby se vaše stránky našly.
Tento problém stojí za to oddělit od širší otázky návštěvnosti. Neobjevovat se ve výsledcích vůbec, tedy nemít žádné výsledky pro svou doménu ani při hledání názvu své značky, je problém indexace. Znamená to, že vyhledávače váš web buď ještě neprošly, nebo dostaly pokyn ho nezahrnovat. To je něco jiného než být zaindexovaný, ale mít špatné pozice u konkurenčních výrazů. Obojí vede k žádné návštěvnosti, ale s jinými příčinami a jinými řešeními.
Co znamená, že se váš web nezobrazuje ve výsledcích vyhledávání
Vyhledávače fungují ve dvou fázích. Nejdřív crawler navštíví váš web a přečte jeho stránky. Potom se tyto stránky přidají do indexu, obrovské databáze webového obsahu, ze které vyhledávač čerpá, když někdo hledá. Pokud se váš web ve výsledcích vyhledávání neobjevuje vůbec, děje se jedna ze tří věcí: crawler váš web ještě nenavštívil, crawler web navštívil, ale něco mu zabránilo stránky přečíst, nebo byly stránky prošlé, ale označené jako nezpůsobilé pro zařazení do indexu.
Rozdíl mezi nezaindexováno a nemá pozice je důležitý, protože řešení jsou úplně jiná. Web, který není zaindexovaný, je třeba zpřístupnit crawlerům a odeslat ke zařazení. Web, který je zaindexovaný, ale nemá pozice, potřebuje lepší obsah, relevantnější klíčová slova a externí odkazy, které na něj vedou. Řešit problém s pozicemi jako problém s indexací, nebo naopak, plýtvá časem a nepřináší žádné výsledky. Prvním krokem je vždy potvrdit, v jaké situaci se skutečně nacházíte.
Proč se váš web nezobrazuje ve výsledcích vyhledávání
U každého webu, který se nedávno spustil nebo nedávno přestal dostávat návštěvnost z vyhledávání, najdete za problémem jednu z těchto pěti příčin. Platí pro všechny hlavní vyhledávače, protože základní mechanismus procházení a indexace funguje stejně bez ohledu na to, na který vyhledávač se díváte.
Váš web ještě nebyl prošlý
Crawlery vyhledávačů nenavštěvují každý web na internetu v reálném čase. Sledují odkazy ze stránky na stránku a plánují opakované návštěvy podle toho, jak často web zveřejňuje nový obsah a kolik dalších webů na něj odkazuje. Zcela nový web bez externích odkazů a bez odeslané mapy webu nemusí být prošlý týdny nebo měsíce po spuštění.
To je nejčastější důvod, proč se nový web neobjevuje ve výsledcích vyhledávání, a zároveň ten nejméně závažný. S webem není nic špatně. Crawler se k němu prostě ještě nedostal. Odeslání mapy webu přes nástroje pro webmastery vyhledávačů toto čekání výrazně zkracuje, protože vyhledávači přímo sdělíte, že váš web existuje a kde jsou jeho stránky.
Váš web je nastavený tak, že blokuje vyhledávače
Každý web má soubor robots.txt, který crawlerům říká, k čemu mají a nemají přístup. Při vývoji a ve zkušebním prostředí je běžnou praxí přidat do tohoto souboru pravidlo, které blokuje všechny crawlery. Brání to tomu, aby se rozpracované stránky objevily ve výsledcích vyhledávání dřív, než je web připravený. Problém je, že se toto nastavení někdy při spuštění webu ponechá.
Soubor robots.txt s řádkem Disallow: / pod User-agent: * znamená, že každý crawler vyhledávače je zablokovaný na každé stránce vašeho webu. Zvenku vypadá web úplně normálně. Člověk, který web navštíví, vidí všechno v pořádku. Ale žádný crawler se nedostane dovnitř, takže se nezaindexují žádné stránky, a tedy nepřijde žádná návštěvnost z vyhledávání. Je to jedna z nejzávažnějších a nejsnáze přehlédnutelných příčin toho, že se web neobjevuje ve výsledcích vyhledávání.
Zkontrolujte svůj robots.txt tak, že v prohlížeči otevřete yourdomain.com/robots.txt. Pokud obsahuje plošná pravidla zákazu, odstraňte je nebo je upravte tak, aby procházení povolovala, a pak znovu odešlete mapu webu, aby se spustilo nové procházení.
Jednotlivé stránky mají pokyn noindex
Kromě souboru robots.txt platného pro celý web mohou jednotlivé stránky nést v HTML pokyny, které vyhledávačům říkají, aby je do indexu nezahrnovaly. Tomu se říká tag noindex.
Tagy noindex se oprávněně používají na stránkách, které se ve výsledcích vyhledávání objevit nemají, například přihlašovací stránky, potvrzení pokladny a stránky interního vyhledávání. Problém nastává, když se na stránky dostanou omylem. Stává se to při migraci webu, změně platformy nebo když se stránky vytvářejí ze šablon, které měly noindex nastavený ve výchozím stavu. Tag noindex na vaší úvodní stránce nebo klíčových stránkách služeb úplně zabrání tomu, aby se tyto stránky objevily ve výsledcích vyhledávání, bez ohledu na kvalitu obsahu nebo počet odkazů, které na ně vedou.
Kontrola náhodných tagů noindex vyžaduje buď prohlédnout zdrojový kód každé stránky, nebo web projít nástrojem pro procházení, který stránky s tímto pokynem označí.
Na váš web nevedou žádné externí odkazy
Crawlery nacházejí stránky sledováním odkazů. Web bez externích odkazů, na který neodkazuje žádný jiný web na internetu, je ostrov. Crawler se k němu dostane jen přímým odesláním mapy webu nebo tím, že už má URL ve frontě z předchozí návštěvy. U velmi nových webů absence jakýchkoli externích odkazů výrazně zpomaluje objevování a indexaci.
Externí odkazy slouží také jako signály důvěryhodnosti. Web bez odkazů z jiných důvěryhodných zdrojů vypadá z pohledu vyhledávače jako něco, co možná vůbec nestojí za zaindexování. To neznamená, že potřebujete stovky odkazů, aby se váš web objevil ve výsledcích. I jeden nebo dva odkazy z relevantních, důvěryhodných zdrojů mohou u nové domény udělat znatelný rozdíl. Širší pohled na to, jak je tímto problémem ovlivněna návštěvnost ze všech zdrojů, najdete v článku proč váš web nemá návštěvnost.
Váš web byl nedávno spuštěn
I když je všechno nastavené správně, trvá novým webům nějakou dobu, než se objeví ve výsledcích vyhledávání. Cyklus procházení, proces indexace i počáteční hodnocení pozic, to všechno chvíli trvá. Web, který se spustí dnes s čistým robots.txt, odeslanou mapou webu, správnými meta tagy a několika externími odkazy, může stále trvat čtyři až dvanáct týdnů, než se jeho stránky objeví ve výsledcích vyhledávání pro jakékoli dotazy.
Není to porucha. Je to normální průběh. Lhůtu lze zkrátit, ale ne odstranit. Nejhorším výsledkem jsou změny během tohoto čekání, které skutečně vytvoří problémy, a pak nevíte, zda trvající nepřítomnost ve výsledcích je původní zpoždění, nebo nový problém způsobený těmito změnami.
Jak zkontrolovat, zda je váš web zaindexovaný
Nejrychlejší způsob, jak zkontrolovat stav indexace, je vyhledat svou doménu pomocí operátoru site: v jakémkoli hlavním vyhledávači. Zadejte site:yourdomain.com do vyhledávacího pole a stiskněte enter. Pokud se ve výsledcích objeví stránky vašeho webu, je web zaindexovaný. Pokud se nic neobjeví, web buď není zaindexovaný, nebo jen částečně.
Podrobnější kontrola je dostupná přes nástroje pro webmastery vyhledávačů. Tyto platformy ukazují přesně, které stránky byly zaindexovány, které byly prošlé, ale nezaindexované, které jsou blokované souborem robots.txt nebo tagy noindex a které mají chyby procházení. Přehled pokrytí v těchto nástrojích je nejspolehlivější způsob, jak získat úplný obraz o stavu indexace. Ukazuje také všechna ruční opatření přijatá proti vašemu webu, což je méně častá, ale závažnější příčina toho, že se web neobjevuje ve výsledcích vyhledávání.
Nástroje pro webmastery vyhledávačů také umožňují požádat o indexaci konkrétních adres URL, což může urychlit proces u nově zveřejněných stránek nebo u nedávno opravených stránek, které byly dříve blokované.
Jak dosáhnout zaindexování webu
Jakmile zjistíte příčinu, jsou kroky přímočaré. Většina problémů s indexací má přímé řešení a výsledky bývají vidět během několika týdnů od provedení změny.
Odešlete mapu webu
Mapa webu je soubor, obvykle ve formátu XML, který uvádí každou stránku, kterou chcete nechat vyhledávači zaindexovat. Odeslání přes nástroje pro webmastery je nejpřímější způsob, jak vyhledávačům sdělit, že váš web existuje, a spustit procházení. Pokud už byl váš web prošlý, ale některé stránky v indexu chybějí, odeslání mapy webu může pomoci tyto stránky dostat k posouzení.
Zjistěte, zda vaše platforma generuje mapu webu automaticky a aktualizuje ji při zveřejňování nových stránek. Pokud ano, ověřte adresu URL mapy webu (obvykle yourdomain.com/sitemap.xml) a odešlete ji přes nástroje pro webmastery. Více o tom, jak aktualizace obsahu ovlivňují zdraví a viditelnost vašeho webu, najdete v článku jak aktualizovat obsah webu.
Odstraňte omezení procházení
Pokud váš soubor robots.txt blokuje crawlery, upravte ho tak, aby přístup povolil. Změna se projeví při další návštěvě crawleru. Po úpravě robots.txt požádejte v nástrojích pro webmastery o nové procházení, aby se změna zachytila rychle a nemuseli jste čekat na další plánovanou návštěvu.
Pokud mají jednotlivé stránky tagy noindex, které tam být nemají, odstraňte je a požádejte v nástrojích pro webmastery o novou indexaci dotčených stránek. U stránek, které se indexovat nemají, jako jsou stránky administrace, duplicitní obsah a stránky s nízkou hodnotou, tagy noindex ponechte.
Získejte alespoň pár externích odkazů
I malý počet externích odkazů vedoucích na váš web pomáhá ve dvou směrech: dává crawlerům cestu, jak vaše stránky najít běžným sledováním odkazů, a signalizuje vyhledávačům, že váš web je skutečná, aktivní přítomnost na internetu. Začněte nejdostupnějšími zdroji: relevantními adresáři, profesními sdruženími, partnery, dodavateli nebo publikacemi ve vašem oboru, které odkazují na značky, o kterých píšou.
Nemusíte vytvářet desítky odkazů, aby se váš web objevil ve výsledcích vyhledávání. U nové domény stačí hrstka relevantních, důvěryhodných odkazů, aby procházení a indexace fungovaly normálně.
Opravte nefunkční stránky
Stránky, které vracejí chybové kódy, zejména chyby 404 u stránek, které už neexistují, mohou způsobit, že crawlery doménu upřednostňují méně, pokud jich je mnoho. Opravte interní odkazy vedoucí na odstraněné stránky, nastavte přesměrování ze starých URL na správné cílové stránky a zkontrolujte všechny stránky na webu, které vracejí chyby. Úplný postup, jak chyby 404 fungují a jak je opravit, najdete v článku co je chyba 404 a jak ji opravit. K související problematice nefunkčních odkazů si přečtěte článek co jsou nefunkční odkazy a proč webu škodí.
Jak WEMASY řeší indexaci
WEMASY pro každý web automaticky generuje mapu webu a aktualizuje ji při zveřejňování stránek. Konfigurace souboru robots.txt je dostupná v nastavení platformy, takže nehrozí, že by blokování procházení z vývojového režimu zůstalo aktivní po spuštění. Každá stránka obsahuje ovládání meta tagů, včetně možnosti nastavit noindex u jednotlivých stránek, kde je to potřeba, přímo v editoru stránky bez zásahu do kódu.
Pro značky, které chtějí sledovat stav své indexace, zobrazuje integrace analytiky WEMASY data z vyhledávačů, takže můžete sledovat, které stránky dostávají organickou návštěvnost, a najít stránky, které jsou zaindexované, ale zatím nepřivádějí návštěvníky.
Podívejte se, co je zahrnuto, na stránce tvůrce webů WEMASY, nebo si prohlédněte možnosti tarifů na stránce s cenami.
Často kladené otázky
Jak dlouho trvá, než se web objeví ve výsledcích vyhledávání?
U nového webu s odeslanou mapou webu a bez omezení procházení trvá počáteční indexace obvykle jeden až čtyři týdny. Úplná indexace všech stránek a začátek pozic pro cílová klíčová slova obvykle trvá tři až šest měsíců. Weby s více externími odkazy se procházejí častěji a bývají zaindexované rychleji. S tvůrcem webů WEMASY to můžete nastavit přímo na svém webu.
Jaký je rozdíl mezi zaindexováním a pozicemi ve výsledcích vyhledávání?
Být zaindexovaný znamená, že vaše stránka je v databázi vyhledávače a může se objevit ve výsledcích. Pozice označuje, kde se vaše stránka zobrazí, když někdo hledá relevantní výraz. Stránka může být zaindexovaná, ale umístěná na desáté stránce, kde nedostává žádnou smysluplnou návštěvnost. Indexace je předpokladem pozic, ale samotná indexace viditelnost nezaručuje.
Jak poznám, že je můj web zaindexovaný?
Vyhledejte site:yourdomain.com v jakémkoli hlavním vyhledávači. Pokud se ve výsledcích objeví stránky vašeho webu, je web zaindexovaný. Podrobnější rozpis toho, které stránky jsou zaindexované, které blokované a které mají chyby, získáte v nástrojích pro webmastery vyhledávačů. Přehled pokrytí tam dává úplný obraz.
Může se tag noindex objevit na stránce omylem?
Ano. Tagy noindex se mohou omylem přidat při migraci webu, změně platformy nebo když se stránky vytvářejí ze šablon, které měly tag nastavený ve výchozím stavu. Je to jeden z hůře odhalitelných problémů, protože stránka vypadá pro návštěvníky úplně normálně. Všimne si ho jen crawler nebo někdo, kdo si prohlédne zdrojový kód stránky. Audit procházením je nejspolehlivější způsob, jak najít náhodné tagy noindex na celém webu.
Opraví odstranění blokace v robots.txt indexaci okamžitě?
Ne okamžitě. Po odstranění blokace procházení musíte počkat na další procházení. Odeslání mapy webu přes nástroje pro webmastery a žádost o procházení to výrazně urychlí. Ve většině případů crawlery navštíví web během několika dní až týdne od žádosti. Stránky se začnou objevovat ve výsledcích poté, co byly prošlé a zpracované, což může trvat ještě několik dalších dnů.
Můj web se dřív zobrazoval, ale zmizel z výsledků vyhledávání. Co se stalo?
Web, který byl dříve zaindexovaný a zmizel z výsledků, je jiná situace než nový web, který nikdy zaindexovaný nebyl. Mezi běžné příčiny patří změna robots.txt, která zavedla blokaci procházení, omylem přidaný tag noindex, ruční opatření vyhledávače kvůli porušení zásad, výrazný pokles signálů kvality webu nebo vypršení platnosti domény a její nová registrace, která vynulovala autoritu. Nejdřív v nástrojích pro webmastery zkontrolujte ruční opatření a chyby pokrytí, protože ty okamžitě odhalí nejzávažnější příčiny.