Будьте внимательны, а то вылетите из индекса Яндекса!

Опубликовано апреля 20, 2008
в рубрике Поисковые системы

Страшный заголовок? По-моему все уже привыкли к тому, что сайт может запросто вылететь из индекса нашего любимого Яндекса. Причем вылететь, как оказалось, можно не из-за линкопомоек, не из-за продажи ссылок, а совершенно по другому основанию.

Так вот...

Недели 2 назад мой сайт совершенно интересным образом пропал из индекса. Разумеется, я первым делом подумал, что его забанили за продажу ссылок (хотя все было сделано с умом — аккуратно и чисто), но все же решил написать Платону Щ. Через несколько дней пришел такой вот ответ:

Здравствуйте, Роман!
Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу
www.site.ru, адрес site.ru является его зеркалом. В данный
момент у Вас установлен серверный редирект с www.site.ru на
site.ru.
Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы
вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь
начнет индексироваться по адресу www.site.ru. Если для Вас важно,
чтобы сайт индексировался именно по адресу site.ru, есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: site.ru

Важно: блоки указаний роботам должны разделяться пустой строкой. После этого
надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения
и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем
занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт
появится в базе Яндекса только после того, как произойдет «переклейка».

2. снять редирект, скорректировать robots.txt так, как указано выше. В этом
случае сайт вернется в базу Яндекса по адресу www.site.ru, после
переклейки в базе появится site.ru.

Честно говоря, сначала я ничего не понял. При втором прочтении тоже мало что изменилось. Robots.txt у сайта не было никогда.

В результате, заглянув на сайт http://robotstxt.ru, я слепил robots следующего содержания:

User-agent: Yandex
Disallow: /feed
Host: site.ru

Уж не знаю, правильно ли... Вскрытие покажет. Через 4-6 недель, как говорил П.Щ.
Так что мой вам совет: напишите этот роботс.тхт, мало ли что... А то Яндекс заблудится в трех соснах...
P.S. Сегодня Вербное Воскресенье. Поздравляю всех с праздником!

Другие статьи:

Сергей Громыхалов on апреля 20, 2008 13:08

Хреново тебе, Я с Форума Сапы, Вопрос к тебе, по каки ты каталогам Прогоняешь сайты, Ссылок не кинешь,
-только бесплатные кактологи!
А о роботс коротко.
1 Саздоешь у себя на компе чистый файл блокнотом, примерно так
Текстовый документ.txt
2 Открываешь его пишешь внем:
User-agent: Yandex
Disallow: /feed
Host: site.ru
3 А потом переименовать в robots.txt и Через FTP Закачиваешь на сайт.
и проверяешь в окне браузера site.ru/robots.txt
ты должен увидеть:
User-agent: Yandex
Disallow: /feed
Host: site.ru
admin on апреля 20, 2008 22:22

Сергей, прогон заказываю обычно у 2 человек на сирче. Разумеется, только белые каталоги выбираю!
А с роботс тут немного в другом, кажется проблема в настройках апача у хостера. Напишу завтра письмо...
Андрей on апреля 21, 2008 1:17

Дима, а ты у кого заказываешь прогоны по каталогам? Что дает на выходе? А то я у одного заказал, так он мне 4 сайта старых, которым по 2 года в бан занес. Мато того, что сайтам кердык, так еще ему 100$ отстегнул...
admin on апреля 21, 2008 9:04

Андрей, ты попал!
Меня все со школы Димой из-за фамилии называют, а вообще я Рома...
Прогоны только у людей на сирче, которые этим давно занимаются и которым можно доверять. А то действительно есть риск, что перепутают, к примеру, описание с ключевыми словами и будет весело. Или прогоняют по г-каталогам. Так что надо к этой процедуре ответственно подходить. Кстати я всегда жду, пока на сайт естественные ссылочки пойдут, а уж потом заказываю прогон. Думаю, Яндексу не очень понравится резкий скачок ссылок. Так что стараюсь плавненько...
Ну а результат прогона...если честно, больше PR=1 и тИЦ=10 прогон не давал пока...
Андрей on апреля 21, 2008 9:09

Упс, извини, Рома. Больше не буду:). Да, сейчас хорошего исполнителя найти трудно, но можно. Вот сейчас бы базку хорошую иметь «беляков», тогда можно и тИЦ и ПР неплохой получить. А то заказывал через такой сервис как autoreg.su. Прошло 3 неделе, а беков всего 10:(. Это говорит о том, что все это ерунда регить у них. Правда они расхваливают сервис: типа тИЦ до 70 выходит. Спасибо за ответ.
P.S. богатым будешь...:)
admin on апреля 21, 2008 9:13

10 бэков???
Ничего себе «сервис», а я у них хотел попробовать. Спасибо, что предупредил. Кстати, жду новых записей в блоге, а то что-то давненько не было!
Андрей on апреля 21, 2008 9:28

Ага, вот такие вот дела. Не знаю, возможно у меня у одного беков так мало, но все сайтов я им скормил, штук 10. А блог сейчас начну вести. Скажем так, был отпуск у меня:), только в отпуске люди отдыхают, а я работаю:)
Геннадий on марта 28, 2010 16:44

Платон сегодня прислал мне точно такое же письмо. Писал на форум поддержки, там ответили «Яндекс бредит Если бы такой редирект был, Вы бы на свой сайт никогда не попали.» Ответ достаточно компетентного специалиста. Что делать, не знаю. Текстовой файл поменял, согласно рекомендациям Платона, но боюсь, что это вряд ли поможет. Если подумать над его письмом, то оно выглядит, как отписка.
Геннадий on марта 30, 2010 19:31

Решишь проблему, дашь знать?
admin on марта 30, 2010 19:52

Да решил уже. Пост почти 2-х годичной давности.
Геннадий on марта 30, 2010 23:00

А как, если не секрет?
admin on марта 30, 2010 23:17

@ Геннадий:
Да зеркальщик все же пришел, ну и кроме того host прописал в роботс.
Геннадий on марта 31, 2010 12:21

Я так и сделал. Значит ждать зеркальщика. А почему так происходит? Не знаешь? А на дату я и внимания не обратил. Искал в инете похожую проблему, наткнулся на этот блог. Значит Платон такие письма несколько лет шлет. Буква в в букву.
admin on марта 31, 2010 22:37

@ Геннадий:
С зеркальщиком, по-моему, постоянно такая фигня. Просто так уж он устроен. А как вариант решения проблемы — сразу Host прописывать...