Certifikát SSL vašeho webu funguje pro lidské návštěvníky bez problémů. Ale AI crawlery jako GPTBot, ClaudeBot a PerplexityBot se k vašemu obsahu vůbec nedostanou.
Většina strategií GEO se soustředí na robots.txt a optimalizaci obsahu. Ale dřív než AI crawler přečte váš soubor robots.txt, musí s vaším serverem úspěšně dokončit HTTPS handshake. Pokud selže, váš obsah je pro AI neviditelný, ať ho optimalizujete sebelépe.
Tento článek vysvětluje, proč jsou HTTPS a certifikáty SSL základem viditelnosti v AI. Dozvíte se, které bezpečnostní vrstvy crawlery ovlivňují, které chyby SSL blokují AI indexaci a jak ověřit, že se na váš web dostanou všechny hlavní AI platformy.
Co jsou HTTPS a certifikáty SSL
HTTPS je HTTP s bezpečnostní vrstvou navíc. Když se návštěvník nebo crawler připojí k vašemu webu, HTTPS zašifruje data mezi jeho prohlížečem (nebo crawlerem) a vaším serverem pomocí SSL (Secure Sockets Layer) nebo jeho moderního nástupce TLS (Transport Layer Security).
Certifikát SSL je digitální doklad, kterým server prokazuje, že je tím, za koho se vydává. Obsahuje název domény vašeho webu, vydavatele certifikátu a datum vypršení. Když crawler přijde na váš web, server mu certifikát ukáže jako doklad totožnosti. Crawler ho ověří dřív, než získá jakýkoli obsah.
Návštěvníci v moderních prohlížečích tento proces nevidí, jen zelený zámek. Pokud ale certifikát chybí, vypršel, je podepsaný sám sebou nebo nesedí k doméně, handshake selže. A tím se crawlery zablokují úplně.
Proč AI crawlery potřebují HTTPS, aby se dostaly k vašemu obsahu
AI crawlery posílají požadavky HTTP stejně jako Googlebot. Sledují odkazy, stahují stránky a zpracovávají HTML. Ale na rozdíl od některých starších crawlerů vyžadují všechny moderní AI platformy (crawler ChatGPT, Perplexity i Claude) platné spojení HTTPS, ještě než se pokusí přečíst robots.txt nebo stáhnout jedinou stránku.
Takto to probíhá, když AI crawler navštíví váš web. Nejdřív se pokusí navázat zabezpečené spojení s vaší doménou pomocí TLS. Váš server odpoví certifikátem SSL. Crawler ověří, že je pravý a odpovídá vaší doméně. Teprve když se ověření podaří, začne žádat o váš obsah.
Pokud je váš certifikát SSL neplatný nebo vypršel, crawler skončí u druhého kroku a obsah nikdy nestáhne. Z jeho pohledu je váš web nedostupný. Zítra to nezkusí znovu. Označí vaši doménu jako nepřístupnou a jde dál.
To se liší od tradičního SEO, kde Google chybné požadavky opakuje a obsah nakonec zaindexuje, i když se vyskytly dočasné potíže se spojením. AI crawlery jsou u prvního přístupu přísnější. Neúspěšný handshake SSL u prvního požadavku často znamená, že se nezaindexuje vůbec nic.
Jak problémy s certifikátem SSL blokují AI crawlery
Ne každý problém se SSL je na první pohled vidět. Certifikát může být technicky nainstalovaný, a přesto u některých crawlerů neprojít ověřením. Nejčastější překážky jsou tyto:
Vypršelé certifikáty
Certifikát po datu vypršení je neplatný. Crawlery ho okamžitě odmítnou. Některé weby používají velmi krátkodobé certifikáty (30 až 90 dnů) a obnovují je automaticky. Když automatizace selže, certifikát vyprší, aniž by si toho někdo všiml, a crawlery o přístup přijdou hned.
Certifikáty podepsané sám sebou
Takový certifikát podepsal váš vlastní server, a ne důvěryhodná certifikační autorita. Prohlížeče ani crawlery mu nevěří, protože ho může vytvořit kdokoli a tvrdit o sobě, že je někdo jiný. Pro vývoj nebo interní sítě jsou v pořádku, ale veřejným crawlerům zablokují přístup úplně.
Neshoda domény
Pokud je certifikát vydaný pro example.com, ale na web přistupujete přes www.example.com (nebo naopak), doména v certifikátu nesedí k požadované doméně. Crawlery ho odmítnou. Počítá se i malý rozdíl: certifikát SSL pro sub.example.com neprojde, když crawler žádá o obsah z content.example.com.
Problémy s řetězcem certifikátů
Certifikát SSL je součástí řetězce, který vede ke kořenové autoritě. Pokud váš server neposílá celý řetězec (máte koncový certifikát, ale chybí zprostředkující), crawlery nemusí být schopné vaši identitu ověřit. Některé crawlery jsou shovívavé a chybějící zprostředkující certifikát si dohledají online. Jiné spojení okamžitě odmítnou.
Potíže s nastavením SNI
Server Name Indication (SNI) umožňuje jednomu serveru obsluhovat více webů s HTTPS tím, že pozná, který web návštěvník žádá. Pokud server SNI nemá nastavené nebo je nastavené špatně, mohou crawlery, které žádají o vaši doménu, dostat certifikát jiné domény. Ověření pak selže.
Bezpečnostní hlavičky, které ovlivňují přístup AI crawlerů
Jakmile handshake SSL uspěje, může váš server posílat bezpečnostní hlavičky, které řídí, jak crawlery s vaším obsahem zacházejí. Tyto hlavičky crawlery úplně neblokují, ale ovlivňují, jak vaše stránky zpracují.
Strict-Transport-Security (HSTS)
HSTS říká crawlerům, aby při přístupu na váš web vždy používaly HTTPS a nikdy HTTP. Pro bezpečnost je to dobré a crawlery to neblokuje. Pokud ale HSTS nastavíte špatně s velmi dlouhou platností a později přejdete na neplatný certifikát, crawlery budou nuceny používat HTTPS, ale handshake nedokončí. Dbejte na to, aby platné certifikáty pokryly celou dobu platnosti, kterou u HSTS zadáte.
X-Frame-Options a X-Content-Type-Options
Tyto hlavičky crawlerům říkají, jak s vaším obsahem zacházet. Nebrání jim ho stáhnout. Mohou ale ovlivnit, jak crawlery vaše stránky zpracují a jaké informace z nich získají.
Content-Security-Policy
Hlavičky CSP mohou omezit, ke kterým zdrojům na vašich stránkách se crawlery dostanou. Pokud máte velmi přísnou CSP, která blokuje externí zdroje, nemusí crawlery umět stáhnout obrázky, styly nebo skripty, na které vaše stránky odkazují. Samotné HTML to neblokuje, ale omezuje to signály, které z něj crawlery získají.
Časté chyby SSL a co znamenají pro AI indexaci
Když AI crawler nedokáže ověřit váš certifikát SSL, zapíše chybu. Když těm chybám rozumíte, snáz zjistíte, co je rozbité. Tady jsou ty nejčastější:
Certifikát vypršel
Váš certifikát SSL je po datu vypršení. Crawlery v certifikátu vidí datum vypršení a odmítnou ho. Je to nejsnáze odhalitelný a opravitelný problém. Zkontrolujte datum vypršení certifikátu a obnovte ho dřív, než vyprší.
Certifikát neodpovídá doméně
Název domény v certifikátu neodpovídá doméně, o kterou crawler žádá. Často se to stává, když přejdete na novou doménu, ale zapomenete aktualizovat certifikát SSL, nebo když přidáte subdoménu a certifikát pokrývá jen kořenovou doménu.
Nelze ověřit certifikační autoritu
Crawler nedokáže vystopovat váš certifikát k důvěryhodné kořenové autoritě. Stává se to, když certifikát vydala nedůvěryhodná autorita nebo když váš server neposlal úplný řetězec zprostředkujících certifikátů.
Certifikát byl odvolán
Vaše certifikační autorita certifikát odvolala kvůli bezpečnostnímu incidentu nebo chybnému nastavení. Crawlery kontrolují stav odvolání a přístup odmítnou. Je to vzácné, ale když se to stane, je to vážné.
Jak ověřit nastavení HTTPS pro AI crawlery
Nejlepší způsob, jak zajistit, že se AI crawlery na váš web dostanou, je otestovat to sami. Tyto diagnostické kroky jsou součástí většího technického auditu GEO. Takto zkontrolujete konkrétně problémy s HTTPS:
Použijte online kontrolu SSL
Bezplatné nástroje jako SSLLabs nebo Qualys SSL Labs provedou kompletní analýzu vašeho nastavení SSL. Zkontrolují platnost certifikátu, úplnost řetězce, podporu verzí TLS a známé zranitelnosti. Projděte jimi svou doménu a opravte všechny nahlášené chyby.
Otestujte pomocí curl nebo wget
Z terminálu spusťte curl -I https://yourdomain.com nebo podobný příkaz wget. Tyto nástroje napodobují, co dělá crawler. Pokud selžou s chybou SSL, selžou i crawlery. Chybová zpráva vám přesně řekne, co je špatně.
Zkontrolujte pomocí OpenSSL
OpenSSL je standardní nástroj pro diagnostiku SSL. Spusťte openssl s_client -connect yourdomain.com:443 a uvidíte, jaký certifikát váš server právě předkládá a zda se správně ověří.
Ověřte úplnost řetězce certifikátů
Pomocí nástrojů jako testssl.sh zkontrolujte, zda váš server posílá celý řetězec certifikátů. Pokud zprostředkující certifikáty chybí, přidejte je do konfigurace serveru.
Otestujte napříč AI platformami
Některé AI crawlery jsou na ověření SSL přísnější než jiné. Otestujte svůj web tak, že v ChatGPT, Perplexity, Claude a Google Gemini požádáte o odpověď, která obsahuje váš obsah. Pokud se některá platforma na váš web nedostane, podívejte se do dokumentace jejího crawleru, jaké požadavky na SSL má. Různé AI platformy se chovají různě, více se o tom dozvíte v našich průvodcích optimalizace pro vyhledávání v ChatGPT a optimalizace pro platformu Perplexity.
Jak WEMASY řeší SSL a zabezpečení pro přístupnost AI crawlerům
Každý web vytvořený ve WEMASY má automatické HTTPS s platným certifikátem SSL od důvěryhodné autority. Certifikát se vystavuje a obnovuje automaticky. Nemusíte hlídat data vypršení ani cykly obnovy.
WEMASY také nastavuje certifikát tak, aby pokrýval kořenovou doménu i subdoménu www, takže se neshoda domény nevyskytne. Úplný řetězec certifikátů se posílá automaticky, takže crawlery ověří vaši identitu bez chyb.
Více se dozvíte o funkcích zabezpečení a výkonu v každém tarifu WEMASY.
Často kladené otázky
Podporují AI crawlery HTTPS i HTTP?
Ne. Všechny hlavní AI crawlery (GPTBot, ClaudeBot, PerplexityBot) vyžadují výhradně HTTPS. HTTP nepodporují. Web, který běží na HTTP, je pro AI crawlery zcela nedostupný. Pokud máte starší web, který stále běží na HTTP, přejděte na HTTPS hned. HTTPS je pro přístup AI crawlerů povinné. S tvůrcem webů od WEMASY to nastavíte přímo na svém webu.
Funguje wildcard certifikát SSL pro všechny subdomény?
Ano. Wildcard certifikát (*.example.com) pokrývá libovolnou subdoménu pod vaší kořenovou doménou. Pokud máte subdomény jako api.example.com nebo blog.example.com, wildcard certifikát pokryje všechny. Wildcard certifikát ale nepokrývá samotnou kořenovou doménu (example.com), pokud ji výslovně neobsahuje. Dbejte na to, aby váš wildcard certifikát pokrýval jak wildcard, tak kořenovou doménu.
Sledují AI crawlery přesměrování SSL z HTTP na HTTPS?
Většina ano. Pokud váš server přesměrovává požadavky HTTP na HTTPS (běžné nastavení), AI crawlery přesměrování následují a pokračují spojením HTTPS. Přidává to ale další krok a spotřebovává to další prostředky crawleru. Nejlepší postup je HTTP úplně vypnout a přijímat jen spojení HTTPS. Zaručí to, že nevzniká režie přesměrování a že crawlery nikdy nepřistanou na nešifrované verzi vašeho webu.
Jak často mám obnovovat certifikát SSL?
Moderní certifikáty SSL obvykle platí jeden rok. Většina poskytovatelů hostingu a platforem (včetně WEMASY) obnovu řeší automaticky. Ručně obnovovat nemusíte, pokud nemáte velmi starý hostingový systém. Pro jistotu si nastavte připomenutí 30 dnů před vypršením, ale automatická obnova by měla vypršení úplně předejít.
Poškodí špatný certifikát SSL moje pozice v SEO?
Ano. Google vyžaduje HTTPS a weby bez platného HTTPS považuje za méně kvalitní. S vypršelým nebo neplatným certifikátem SSL se zachází jako s webem na HTTP, tedy s postihem v pozicích. U viditelnosti v AI je postih ještě vážnější, protože AI crawlery se k vypršelým certifikátům nedostanou vůbec. Váš obsah nezaindexují, ať je optimalizovaný jakkoli dobře.
Můžu pro ostrý web použít certifikát podepsaný sám sebou?
Ne. Certifikáty podepsané sám sebou odmítají všechny hlavní crawlery i prohlížeče. Hodí se jen pro vývoj, testování nebo interní sítě, kde řídíte všechny klienty, kteří se k serveru připojují. Pro každý veřejný web použijte certifikát od důvěryhodné certifikační autority (CA). Většina certifikačních autorit nabízí velmi levné nebo bezplatné certifikáty pro základní použití.