Blokowanie indeksowania

Dziś przekonałem się - całe szczęście nie na swojej skórze, jak ważna jest konfiguracja indeksowania serwisu, którym się zarządza. Tak samo jak w Moodle podczas instalacji jesteśmy informowani o tym, iż katalog z danymi nie powinien znajdować się w ścieżce udostępnianej przez serwer WWW, tak i w serwisie musimy zadbać o to, aby dane udostępniane w podkatalogach głównego katalogu nie były indeksowane przez Google. 

Okazuje się, że procedura usuwania niejawnych danych zindeksowanych może trwać 3-4 dni robocze.

Tak więc dobrą praktyką jest stworzenie pliku robots.txt w katalogu głównym domeny z mniej więcej takimi wpisami:

User-Agent: *

Disallow: /Download/

Disallow: /Dokumenty/

...

Usuwanie strony lub witryny z wyników wyszukiwania Google

Blokowanie lub usuwanie stron przy użyciu pliku robots.txt

Google Narzędzia dla webmasterów — pomoc