Co to jest Crawler

Co to znaczy Crawler: Crawler - To jest swego rodzaju robot chodzący po sieci stron internetowych, zarazem spisujący (indeksujący) zawartość odwiedzanej strony. Robot ten porusza się po sieci dzięki odnośnikom tekstowym (linkom), które zawarte są w kodzie źródłowym strony internetowej. Robotom można pomagać w poruszaniu się przez wykorzystywanie na przykład Map Stron