Загрузка...

Правила обработки директивы Allow файла robots.txt

Новые правила обработки директивы Allow файла robots.txt. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow', о новых правилах её использования читайте далее.

Пример:
User-agent: Yandex Allow: /catalog Disallow: /


# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex    Allow: /catalog    Disallow: /


# запрещает скачивать все, кроме страниц находящихся в '/catalog'

User-agent: Yandex    Disallow: /    Allow: /catalog



# запрещает скачивать весь сайт

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.шаблоны для dle 11.2


    Как правильно сменить адрес сайта

    Как правильно сменить адрес сайта
    В этой статье я хочу поделиться опытом. Как сменить домен для сайта сохранив позиции в поисковых системах и траффик. Иногда возникают ситуации, когда нужно сменить имя домена, к примеру по причине что старый сайт имел некрасивый домен или изменилось имя

    Блокируемым бесполезных ботов в robots.txt

    Блокируемым бесполезных ботов в robots.txt
    Сегодня я решил посветить вечер написанию полезной статьи и рассказать вам мои читатели о том как заблокировать ботов через robots.txt. Открою вам секрет что есть боты бывают полезные, типа Yandex и Google, а бывают и бесполезные для сайта. А некоторые

    Отношение поисковиков к облаку тегов на сайте

    Отношение поисковиков к облаку тегов на сайте
    Давно не писал я статьей на тему поисковой оптимизации вот что то сегодня меня постигло вдохновение и решил я поведать вам о том нужно ли для вашего сайта такой вид навигации как облако тегов в чём его радости и пакости и как его правильно использовать.

    Применение .htaccess файла и работа с ним

    Применение .htaccess файла и работа с ним
    .htaccess файл является очень полезным инструментом, с помощью которого можно делать много вещей. В этой статье я раскажу оснавные варианты использования .htaccess файлов, которые любой разработчик веб-страниц должен иметь в своем комплекте

    Поисковая оптимизацыя Как оптимизировать сайт под Яндекс?

    Поисковая оптимизацыя Как оптимизировать сайт под Яндекс?
    В этой статье я хочу рассказать вам о том как, на мой взгляд, правильно оптимизировать сайт под поисковую систему Яндекс, а так же и другие поисковые системы. Вот уже как несколько месяцев я углубился в изучения оптимизации сайтов под поисковые запросы,


Просмотров: 1 354
Добавлено: 15-01-2014, 19:58
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.


Наверх
[X]
Добро пожаловать на сайт!

Войти | Зарегистрироваться