Czasami zdarza się, że nie chcielibyśmy udostępniać niektórych stron w wyszukiwarce Google. Mogą to być np. strony testowe naszego serwisu. Jak to zrobić ? Podpowiem w artykule poniżej.Roboty Google przeszukując Internet, sprawdzają czy pod daną domeną istnieje plik o nazwie robots.txt . Zawiera on m.in. instrukcję, które strony należy indeksować. Jeżeli dodamy do pliku robots.txt (w głównym katalogu) treść:
User-agent: *
Disallow: /
będzie to mówiło, że roboty mają nie indeksować danej domeny.
Możemy także zabronić indeksacji wybranych podstron. Wystarczy, że do pliku robots.txt dodamy treść:
User-agent: *
Disallow: /katalog/
gdzie katalog, oznacza wybraną podstronę .