Co to jest Txt Robots

Co to znaczy robots.txt: Sporo robotów indeksujących, które wchodzą na strony podąża za linkami, w głąb witryny do różnych katalogów. Później dane, które pobierze robot mogą zostać zindeksowane w wyszukiwarkach internetowych. I tutaj pojawia się problem: prawie każdy chce, by roboty pobrały jakieś dane z serwera.
Rozwiązaniem jest plik Robots.txt

Roboty indeksujące sprawdzają szczególny plik o nazwie robots.txt, który powinien znajdować się w katalogu kluczowym serwera. Plik robots.txt (jak można się domyślić) jest plikiem tekstowym bez tagów HTML. Robots.txt używa specjalnego protokołu - Robots Exclusion Protocol, który pozwala administratorowi zdefiniować, które katalogi / pliki na jego serwerze nie zostaną odwiedzone poprzez określone roboty. Możemy zakazać (disallow) "wstępu" do katalogu CGI, private albo na przykład katalogu tymczasowego.

No dobrze, lecz po co korzystać robots.txt i tym samym zakazywać robotom indeksującym odwiedzenia i zaindeksowania naszej strony? Przecież chcemy zapewnić sobie jak najwyższą pozycję w wyszukiwarkach.

Wierzcie mi, albo nie, lecz czasem chcemy trzymać nie wszystkie roboty z dala od naszego serwera...

Powiedzmy, iż przygotowujesz jakąś stronę dla klienta i nie chcesz, tak aby została zindeksowana przed jej ukończeniem. Zdarza się, iż jakiś wredny robot wpadnie w pętlę i będzie wchodził na Twoją stronę w kółko, generując niepotrzebny korek. Możesz mieć stronę z sporą ilością ramek i chcesz zindeksować tylko tą kluczową.Może masz jakieś prywatne pliki na serwerze, i nie chcesz tak aby ktoś je znalazł?

Możemy doszukiwać się wielu powodów, a robots.txt to idealna i najskuteczniejsza obrona przeciw robotom.