Definicja Crawler, spider lub robot, bądź bot

Co to jest Crawler, spider lub robot, bądź bot (z angielskiego: CRAWL – czołgać się; SPIDER – pająk; roBOT – robot, automat) – program, który odwiedza każdą stronę internetową, „czyta” wiadomości na niej zawarte po to, aby zindeksować je w wyszukiwarce internetowej. Crawler przegląda raczej nowe albo uaktualnione strony. Często odwiedza całe witryny albo poszczególne podstrony, aby zaktualizować dane w wyszukiwarce.
Zestaw zasad, jakimi powinny się sugerować programy typu crawler są opisane w Standard for Robot Exclusion (SRE). Reguły je mówią, które dane nie powinny być katalogowane – na przykład pliki odpowiedzialne za pracę serwera, sekretne dane, dane zabezpieczone firewallem i tym podobne Bardziej zaawansowane spidery umieją dostosować swój czas pracy do okresu najmniejszego ruchu na przeszukiwanych stronach.
Odpowiednikiem praca w wyszukiwarce Altavista jest Scooter