Как убрать из индекса Google каталог сайта?
Со мной намедни произошла серьёзная неприятность. Точнее она произошла уже давно, но обнаружил её я только недавно.
Каким-то образом (похоже троянская программа) на моём сайте появился какой-то левый раздел, в котором был опубликован огромный сайт на множество тысяч страниц. Этот сайт по содержимому очень похож на дорвей (автоматически сгенерированный сайт с бессмысленным содержанием). То есть это был самый настоящий говносайт.
Как я его обнаружил? Он был далеко запрятан в файловой структуре, то есть был не на самом виду в корне, а во вложенном каталоге.
Просматривая внешние ссылки с Яндекс-Вебмастера я переходил на свежепоявившиеся естественные ссылки на мой сайт. И вдруг заметил ссылку на этот внутренний каталог. Перешёл туда и не поверил глазам, когда увидел там самый настоящий web-сайт со своим дизайном, навигацией. Уже не помню была ли там реклама, ведь я моментально этот каталог стёр со всеми внутренними html-файлами. И тут же сменил все пароли и сменил антивирусы на рабочем ПК. Мой сайт настроен так, что если вы переходите на него на какой-то файл и его нет на сервере, то вы автоматически попадёте на страницу, которая выдаст вам ошибку.
В итоге посещаемость основного сайта увеличилась в 2 раза. Из-за того что валом шли посетители с гугла. Эти посетители шли на паразитный сайт, не попадали на него, т.к. я его весь удалил и видели страницу с ошибкой. Как вы понимаете, этот огромный трафик в виде дополнительных 1000 человек в день девать было просто некуда. Так как это нецелевой трафик, то и дохода от него нет. А в индексе гугла огромное количество некачественных страниц (несколько тысяч - точно). Сайт стёр, а эта дрянь осталась в индексе гугла.
С яндекса трафик на этот паразитный сайт не шёл (это видно по поисковым запросам), поэтому мне нужно было удалить только странички, попавшие в индекс гугла.
Делается это следующим образом
- переходите в свой аккаунт гугла
- заходите в “инструменты для веб-мастеров”
- если ваш сайт не добвален в эту админку, добавьте его следуя инструкциям
- переходите в этой админке на нужный сайт
- в левом меню выбираете “Site configuration”
- дальше в раскрывшемся списке нажмите “Crawler access”
- затем жмите “Remove URL” -> “New removal request” и в появившемся списке надо будет выбрать “Remove directory” и нажать “Submit”, предварительно проверив правильность адаляемого URL к каталогу, который надо полностью исключить из индекса google.
Эта штука отлично работает. Паразитный трафик исчез уже на следующие сутки! Каталог с бывшим левым сайтом полностью исключён из поискового индекса гугла. Кстати, этот сайт появился много месяцев назад, похоже в начале года. И возможно из-за него продвижение проекта шло не так хорошо. Ведь дорвей на сайте - это хороший повод схлопотать фильтр или бан.
И действительно, продвижение проекта с апреля по август 2011 словно застыло на одном месте. Я хоть треснись об стену не мог преодолеть рубеж 30 тысяч читателей в месяц. Но надо подождать месяц-другой, чтобы понять, влиял ли этот сайт на поисковую выдачу основного ресурса.