Czasami zdarza się, że nie chcielibyśmy udostępniać niektórych stron w wyszukiwarce Google. Mogą to być np. strony testowe naszego serwisu. Jak to zrobić ? Podpowiem w artykule poniżej.Roboty Google przeszukując Internet, sprawdzają czy pod daną domeną istnieje plik o nazwie robots.txt . Zawiera on m.in. instrukcję, które strony należy indeksować. Jeżeli dodamy do pliku robots.txt (w głównym katalogu) treść:

User-agent: *

Disallow: /

będzie to mówiło, że roboty mają nie indeksować danej domeny.
Możemy także zabronić indeksacji wybranych podstron. Wystarczy, że do pliku robots.txt dodamy treść:

User-agent: *

Disallow: /katalog/

gdzie katalog, oznacza wybraną podstronę .