Многие начинающие вебмастера часто ломают голову над тем, как добавить новую страницу своего сайта или весь сайт целиком в индекс поисковой системы. Если выразиться точнее, то их интересует скорость добавления страницы / сайта в индекс (чем быстрее это произойдет, тем лучше). Однако иногда возникает другая необходимость – нужно как можно скорее удалить определенную страницу из индекса. Причин для этого может быть несколько. Во-первых, размещенный контент оказался неуникальным (по вашей собственной вине или из-за того, что его кто-то украл и разместил на другом сайте). Во-вторых, информация потеряла свою актуальность, оказалась недостоверной. В-третьих, на странице размещены какие-то конфиденциальные сведения, а также данные, являющиеся коммерческой тайной. В-четвертых, на странице используются запрещенные методы поисковой оптимизации.

Список причин, по которым страницу необходимо скрыть от индексации, можно продолжать и дальше. Однако гораздо важнее рассказать о том, как именно удалить нужный вам URL-адрес из базы данных поисковой системы.

1. Физическое удаление с сервера. Это самый простой и, скорей всего, самый эффективный способ удаления страницы из индекса. Нужно лишь подключиться по FTP к корневой директории вашего сайта, найти файл нужной страницы и удалить его. Либо (если позволяет CMS) удалить страницу можно прямо из админки. Сразу после удаления на месте данной страницы появится ошибка 404 . Физическое удаление с сервера целесообразно использовать тогда, когда страница должна быть удалена не только из поиска, но и вообще с сайта. Если страницу нужно оставить на сайте, то используйте способы, описанные ниже.

2. Закрытие от индексации при помощи robots.txt. Файл robots.txt, располагающийся в корневой директории сайта, предназначен для передачи определенных директив поисковому роботу. Большая часть этих директив связана с процедурой индексации отдельных разделов или страниц. Чтобы спрятать от поисковиков определенную страницу, вам достаточно указать относительный путь до нее через тег «disallow». К примеру, disallow: /category/page.html. Если хотите закрыть от поисковиков целый раздел, то остановитесь на категории – disallow: /category/. Основной недостаток использования robots.txt – необходимость ожидания переиндексации сайта (может пройти от нескольких часов до двух-трех недель). Кроме того, процесс может сильно осложниться при удалении большого количества страниц из разных разделов.

3. Использование тега robots. Речь идет о конструкции следующего вида – meta name=«robots». Сразу после этой конструкции указывается, доступен ли контент для индексации. К примеру, фраза content=«index,follow» говорит о том, что контент доступен для индексации. Если прописать «noindex,nofollow», то контент станет недоступным. Мета-тег robots прописывается отдельно для каждой страницы (вставляется в произвольное место между тегами head). Основное преимущество от использования тега robots заключается в том, что его содержимое можно довольно быстро скопировать и вставить на все нужные страницы (особенно если вы используете CMS). При этом не нужно загрязнять лишними символами файл robots.txt. Недостаток использования мета-тега robots – сложность исключения из индекса произвольных страниц при использовании общего шаблона header.tpl. Время, в течение которого страница пропадет из индекса, составляет от нескольких часов до нескольких дней.

4. Ручное удаление через панель управления сайтом. Если вы регистрировали сайт в Яндексе и Гугле, то для удаления нужных страниц можно воспользоваться такими сервисами, как «Яндекс.вебмастер», а также «Инструменты для вебмастеров». При этом нужно помнить – сервисы удаляют только уже закрытые от индексации страницы (они должны быть закрыты через теги или файл robots.txt). Если взять для примера «Инструменты для вебмастеров» компании Google, то здесь опция удаления страницы находится по адресу «Доступ для сканера» – «Удалить URL». На открывшейся странице жмите кнопку «Создать запрос на удаление» и вводите URL-адрес. На этом все.