1. Помощь
2. Продвижение

Поисковая оптимизация. Robots.txt

 

Содержание:

Описание
Работа с Robots.txt
Пример работы Robots.txt

 

 

Если вы начинающий1 сайтостроитель вы должны понимать назначение файла Robots.txt. Файл robots.txt – это текстовый файл, который находится в корневой директории сайта, в который записываются специальные команды для поисковых роботов. В нем можно прописать запрет на индексацию той или иной страницы сайта. Причем, запрет этот будет ограничен  лишь заданной вами поисковой системы.

Если в файле robots.txt не указать определенные команды для поисковых машин, то поисковые роботы проиндексируют много мусорных страниц, и может произойти дублирование информации вашего проекта (одна и та же статья доступна по разным ссылкам), что очень плохо влияет на продвижение сайта.

 

 

Данная функция доступна в тарифном плане “Бизнес”.

Для перехода в меню редактирования файла robots.txt перейдите на страницу редактирования Шаблон (Мастер страница)

 

 

Далее в настройках этой страницы нажимаем на кнопку “Редактировать robots.txt”.

 

 

 

После этого мы попадаем в поле редактирования файла robots.txt, куда необходимо вводить команды для поисковых машин. Блок выделенный серым цветом создается автоматически - его нельзя изменить.

Автоматически сгенерированное содержимое:

User-agent: * — разрешает индексацию сайта для всех поисковых роботов;
Disallow: /~/ - запрещает индексацию для URL типа mysite.ru/~/ (это системные ссылки вашего сайта, поисковикам они не нужны)
ВАЖНО! Данная строчка не запрещает индексацию всего сайта! Только для страниц с тильдой (~).
Sitemap: http://1640142.mya5.ru/sitemap.xml - ссылка на карту сайта, создается автоматически.