Co to jest Robotów Kontrolowanie

Co to znaczy Kontrolowanie robotów: Roboty nie umieją indeksować nie-polinkowanych plików, więc ominą te które leżą sobie "luzem" w katalogach na serwerze. Webmaster może kontrolować, które katalogi/pliki są odwiedzane poprzez roboty edytując plik robots.txt (który znajduje się na serwerze), bądź także implementując odpowiednie Meta Tagi