Загрузка...

Правила обработки директивы Allow файла robots.txt

Правила обработки директивы Allow файла robots.txt
Новые правила обработки директивы Allow файла robots.txt. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow', о новых правилах её использования читайте далее.

Пример:
User-agent: Yandex Allow: /catalog Disallow: /


# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex    Allow: /catalog    Disallow: /


# запрещает скачивать все, кроме страниц находящихся в '/catalog'

User-agent: Yandex    Disallow: /    Allow: /catalog



# запрещает скачивать весь сайт

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.шаблоны для dle 11.2



    Груббер погоды с сайта Яндекса.

    Груббер погоды с сайта Яндекса.
    Этот скрипт для тех кто хочет вывести на сайте блок с информацией о погоде ничего сложного изобретать не пришлось в скрипте используется груббер для погоды с сайта Яндекса.

    Как запретить индексацию страниц с ошибкой 404

    Как запретить индексацию страниц с ошибкой 404
    Доброе время суток сегодня я расскажу вам о том, как нам запретить поисковикам индексировать страницы с ошибкой 404 в Dle как уже многие знают ошибка 404 говорит пользователю что запрашиваемая страница или ресурс может быть доступен в будущем, но не

    Отношение поисковиков к облаку тегов на сайте

    Отношение поисковиков к облаку тегов на сайте
    Давно не писал я статьей на тему поисковой оптимизации вот что то сегодня меня постигло вдохновение и решил я поведать вам о том нужно ли для вашего сайта такой вид навигации как облако тегов в чём его радости и пакости и как его правильно использовать.

    Применение .htaccess файла и работа с ним

    Применение .htaccess файла и работа с ним
    .htaccess файл является очень полезным инструментом, с помощью которого можно делать много вещей. В этой статье я раскажу оснавные варианты использования .htaccess файлов, которые любой разработчик веб-страниц должен иметь в своем комплекте

    Поисковая оптимизацыя Как оптимизировать сайт под Яндекс?

    Поисковая оптимизацыя Как оптимизировать сайт под Яндекс?
    В этой статье я хочу рассказать вам о том как, на мой взгляд, правильно оптимизировать сайт под поисковую систему Яндекс, а так же и другие поисковые системы. Вот уже как несколько месяцев я углубился в изучения оптимизации сайтов под поисковые запросы,


Просмотров: 1 253
Добавлено: 15-01-2014, 19:58
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
Наверх
[X]
Добро пожаловать на сайт!

Войти | Зарегистрироваться

контекстная реклама сайта цена