Crawler, kterému se říká také webový robot nebo spider, je software, který vyhledávače používají k procházení a indexování webových stránek na internetu. Jeho hlavním úkolem je navštěvovat weby, číst jejich obsah a sbírat informace, ze kterých vzniká index. Ten pak vyhledávače používají, když zobrazují relevantní výsledky vyhledávání.
Crawler sleduje odkazy z jedné stránky na druhou a sbírá data o obsahu, struktuře a dalších důležitých vlastnostech každé stránky. Díky těmto datům vyhledávače chápou, o čem stránka je, a mohou ji ve výsledcích vyhledávání správně zařadit. Crawlery zajišťují, že vyhledávače mají aktuální informace a mohou uživatelům nabízet přesné a relevantní výsledky.