Jak usunąć witrynę lub jej fragmenty z indeksu Google

Zgodnie z koncepcją indeksowania, przyjętą przez Google,Pod uwagę brana jest kompletność, obiektywność informacji i jej zgodność z zapytaniem, gdy wyniki są podane. Jeśli strona z nielegalną zawartością trafi do indeksu lub zasób jest przeznaczony do spamu, strony takiej witryny nie zostaną oznaczone w ogólnej bazie danych wyszukiwarki. Ważne jest dla nas, aby dowiedzieć się, jak usunąć witrynę z serwera przez wyniki wyszukiwania.

Opcje zerowania indeksowania dla Google

Po przeszukiwaczu jest programem gromadzącyminformacje o nowych zasobach - przeskanuje witrynę na stronie, a następnie, jeśli spełni wymagania zasad Google dotyczących analizowania, zostanie zaindeksowana. Ale opiszemy również, jak usunąć witrynę lub poszczególne fragmenty dla wyszukiwarek za pomocą pliku robots.txt - wskaźnika i jednocześnie terminatora wyszukiwania.

Aby wykluczyć cały zasób z emisji,Folder główny serwera, na którym znajduje się witryna, tworzy określoną strefę tekstową - wyżej wymieniony plik robots.txt. Ta strefa jest przetwarzana przez wyszukiwarki i działa zgodnie z przeczytanymi instrukcjami.

Pamiętaj, że wyszukiwarka Googleindeksuj stronę, nawet jeśli użytkownik nie może wyświetlać. Gdy przeglądarka odpowiada 401 lub 403, "Dostęp jest nieprawidłowy", dotyczy to tylko odwiedzających, a nie programów gromadzących dla tego serwera wyszukiwania.

Aby zrozumieć, jak usunąć witrynę z indeksowania wyszukiwania, należy wprowadzić następujące linie do wskaźnika tekstowego:

Użytkownik-agent: Googlebot

Disallow: /

Wskazuje to robotowi wyszukiwania, że ​​nie wolno indeksować całej treści witryny. Oto, jak usunąć witrynę Google, aby witryna nie buforowała zasobu na liście wykrytych witryn.

Opcje skanowania dla różnych protokołów

Jeśli chcesz wymienić poszczególne standardyLinki, dla których chcesz zastosować określone reguły indeksowania Google, na przykład osobno dla protokołów hipertekstowych http / https, powinno to być również napisane w pliku robots.txt w następujący sposób (przykład).

(http://yourserver.com/robots.txt) - nazwa domeny Twojej strony (dowolna)

User-agent: * - dla dowolnej wyszukiwarki

Zezwól: / - zezwól na pełne indeksowanie

Jak całkowicie usunąć witrynę z wydania dla protokołu https

(https://yourserver.com/robots.txt):

User-agent: *

Disallow: / pełny zakaz indeksowania

Pilne usunięcie adresu URL zasobu z wyszukiwarki Google

Jeśli nie chcesz czekać na ponowne indeksowanie, iWitryna musi być ukryta tak szybko, jak to możliwe, polecam skorzystać z usługi http://services.google.com/urlconsole/controller. Plik przed-robots.txt powinien już zostać umieszczony w katalogu głównym serwera lokacji. Instrukcje powinny być w nim zapisane.

Jeśli wskaźnik nie jest dostępny z jakiegoś powodudo edycji w katalogu głównym wystarczy utworzyć go w folderze z obiektami, które chcesz ukryć przed wyszukiwarkami. Po wykonaniu tej czynności i skontaktowaniu się z usługą automatycznego usuwania adresu hipertekstowego Google nie będzie skanować folderów wyszczególnionych w pliku robots.txt.

Okres takiej niewidzialności ustala się na 3 miesiące. Po tym okresie katalog usunięty z wydania zostanie ponownie przetworzony przez serwer Google.

DoJak częściowo usunąć witrynę do skanowania

Kiedy robot wyszukiwania odczytuje zawartość robotów.txt, a następnie na podstawie jego zawartości, podejmowane są pewne decyzje. Na przykład musisz wykluczyć z wyświetlacza cały katalog o nazwie anatom. W tym celu wystarczy napisać takie instrukcje:

Użytkownik-agent: Googlebot

Disallow: / anatom

Lub, na przykład, nie chcesz indeksować wszystkich obrazów, takich jak .gif. Aby to zrobić, dodaj następującą listę:

Użytkownik-agent: Googlebot

Disallow: /*.gif$

Oto inny przykład. Usuńmy informacje o dynamicznie generowanych stronach z parsowania, a następnie dodaj następujący wpis do wskaźnika:

Użytkownik-agent: Googlebot

Disallow: / *?

Tutaj tak, w przybliżeniu, i zasady dlawyszukiwarki. Kolejną rzeczą jest to, że korzystanie ze znacznika META jest znacznie wygodniejsze. A webmasterzy często używają właśnie takiego standardu, który reguluje działanie wyszukiwarek. Ale porozmawiamy o tym w następnych artykułach.