DirectoryWeb
  • Главная
  • Услуги
  • Контакты
  • Новости
  • Правила
  • Вход / Регистрация


Пример HTML-страницы

Правила обработки директивы Allow файла robots.txt

Статьи / Оптимизация

Новые правила обработки директивы Allow файла robots.txt. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow', о новых правилах её использования читайте далее.

Пример:
User-agent: Yandex Allow: /catalog Disallow: /


# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex    Allow: /catalog    Disallow: /


# запрещает скачивать все, кроме страниц находящихся в '/catalog'

User-agent: Yandex    Disallow: /    Allow: /catalog



# запрещает скачивать весь сайт

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.

Пример HTML-страницы
  • DirectoryWeb
  • 15.01.2014
  • 1 4 382
  • 0
Отношение поисковиков к облаку тегов на сайте
Отношение поисковиков к облаку тегов на сайте
5-06-2012, 00:24, Оптимизация
Поисковая оптимизацыя Как оптимизировать сайт под Яндекс?
Поисковая оптимизацыя Как оптимизировать сайт под Яндекс?
28-07-2011, 21:14, Оптимизация
Пишем собственное поисковое ядро
Пишем собственное поисковое ядро
22-10-2011, 16:43, Оптимизация
Как оптимизировать свой сайт?
Как оптимизировать свой сайт?
7-08-2011, 11:57, Оптимизация
Использование тега Noindex и атрибута Nofollow
Использование тега Noindex и атрибута Nofollow
15-09-2012, 05:08, Оптимизация
Склеиваем  домен с www и без www.
Склеиваем домен с www и без www.
10-12-2011, 22:25, Оптимизация
Информация

Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Пример HTML-страницы

  • Скачать вэбмастеру
    • Программы
    • Экономические игры
    • Шаблоны, Landing Page
    • Файловые хостинги
    • Exchanger, Crypto биржи, ICO coin
    • Облочные майнинги
    • Бонусники, Faucet Bitcoin
    • Онлайн чаты
    • Конструкторы сайтов
    • Социальные сети
    • Браузерные игры
    • Рекламные сервисы
    • Казино и азартные игры
    • Интернет магазины
    • HYIP, MLM, МММ
    • Доски обявлений
    • Каталоги, рейтинги, мониторинги
    • Android, iOS приложения
  • Статьи
    • Оптимизация
    • Заработок в интернете
    • Обучение, книги и видеокурсы
    • SEO новости
    • Полезное
    • Всё для dle
    • Сайтостроение
    • Криптовалюты
    • Наши новости
Loading...

Нашли ошибку?
Вы можете сообщить об этом администрации.
Выделив текст нажмите CTRL+Enter

Полезные ссылки
  • О проекте
  • Наши контакты
  • Администрация
  • Рекламные материалы
  • Идеи и предложения
  • Ответы на вопросы
Информация
  • Условия сделки
  • Способы оплаты
  • Поддержка / F.A.Q
  • Онлайн документация
  • Статистика сайта
  • Список пользователей
Услуги/Работа
  • Сайт под ключ
  • Баннеры под заказ
  • Оптимизация сайта
  • Обновление сайта
  • Консультация/поддержка
  • Хостинг/Домены/Сервера
Быстрый вход

Используйте социальные сети для быстрой регистрации и авторизации.

ВКонтакте
Создать аккаунт / Регистрация
Авторизация

Я забыл свой пароль