Зачем нужно создавать файл robots.txt

файл robots txtЗачем нужен Вашему сайту файл robots txt?

Дело в том, что Ваш сайт включает не только контент для блога, но и множество системных файлов. То есть тех файлов, которые помогают создавать ваш блог, но скрыты от посетителя.

Для робота поисковика, который приходит индексировать ваш сайт, абсолютно все равно - системный это файл или файл полезного контента. Он будет ходить по всем файлам, без разбора. Но! Каждому роботу (на то он и робот!) отведено программой определенное количество времени на каждый сайт. А это значит, что все полезное время для индексирования сайта, робот может потратить на файлы системные. И не успеть добраться до полезного контента.

А пройдя по системным файлам и не найдя полезную информацию, робот сделает вывод, что Ваш сайт бесполезен для пользователя. А это влечет к понижению позиций  в выдаче поисковика. Или еще хуже, Ваш сайт может попасть под фильтр.

Поэтому, Ваша задача, дать роботу  конкретную  инструкцию, какие файлы он может посещать, а какие нет. Именно такой инструкцией и является файл robots.txt. И именно его, в первую очередь ищет робот при посещении сайта.

Ну что же, давайте займемся его созданием.

Начнем с того, что создадим файл в любом блокноте и назовем его robots.txt. Как и куда его загружать - поговорим чуть позже.

Теперь нам необходимо заполнить этот файл, то есть расписать команды для роботов поисковика. Эти команды называются директивы.

Директива «User-agent:»

Эта директива указывает для какого робота прописаны команды.
Если мы обращаемся к Яндекс записываем

Для Google

Если для всех поисковых роботов, используем *

Можно обращаться даже к очень узконаправленным роботам, например к роботу, который индексирует медиафайлы.
Есть мнение, что некоторые системы "любят" когда к ним конкретно обращаются. особенно это относится к Яндексу. Поэтому наша robots.txt будет подразделяться на два раздела: для всех роботов всех поисковых систем и конкретно для Яндекса.

Директива «Disallow:»

Эта директива запрещает индексировать указанные каталоги, файлы или url. Для этого используется специальный символ - слэш «/». Именно после него надо прописать путь к конкретной папке.

Например для запрета доступа к папкой с плагинами мы пишем

Можно закрыть таким образом и несколько url. Для этого надо опять использовать *
Например, мы хотим закрыть все файлы относящиеся к фиду

Помните о том, что грамотного использования этой директивы, очень внимательно изучите синтаксис в самом поисковике, например Яндексе.

Директива «Allow:»

Эта директива прямо противоположна директиве Disallow:
Она разрешает роботу индексировать определенные директории и файлы. Используется достаточно редко. практически только тогда, когда нужно открыть часть закрытого файла.

Директива «Host:»

Эта директива предназначается только для Яндекса. Дело в том, что у Яндекса есть понятие зеркала. Помните когда Вы работает с Веб Мастером в Яндексе, там есть функция выбора зеркала? Яндекс читает одинаково как сайты с www. так и без них. Поэтому необходимо указать какой из этих сайтов является основным. Например, в файле для своего блога я указала

Директива «Sitemap:»

Эта директива указывается в самом конце файла. Она необходима для ускорения индексации Вашего сайта, так как показывает роботам путь к этим файлам. Указываются две карты

Подведем итог
Каждый сайт имеет свой, можно сказать - индивидуальный файл robots.txt. Что закрывать от поисковиков, а что открыть - владелец сайта.
Для того, что бы посмотреть, как с этим справляются продвинутые блогеры - посмотрите их файл, проанализируйте и сделайте выводы.

Как посмотреть файл? Введите в адресную строку следующее

http://сайт.ru/robots.txt

и в соседней вкладке браузера откроется файл robots.txt сайта.

Загрузка файла

Файл необходимо загружать в его корневую папку. Сделать это можно тремя способами

1. Загрузка файла через файловый менеджер хостинга. Вот так выглядит корневая папка после загрузки файла.

корневая папка
корневая папка 1

2. Загрузка файла через FTP - клиент

3. Если у Вас на блоге стоит плагин Yoast SEO, то весь процесс очень сильно упрощается. Заходите в плагин - Инструменты - Редактор файлов

редактор файловОткроется окно загрузки. Копируете содержимое своего файла, вставляете в окно и сохраняете изменения.

файлВ любой момент Вы можете изменить информацию в файле, что очень удобно.

Не забудьте поделиться информацией со своими друзьями в социальных сетях - она очень важна для начинающего блогера.

Задавайте в комментариях вопросы - обязательно отвечу.

Удачной работы!

Related Posts Plugin for WordPress, Blogger...

About Смирнова Ирина

Очень рада приветствовать Вас на своем сайте! Моя задача - помочь начинающим интернет-предпринимателям пройти путь к поставленной цели без потерь. Смело перенимайте мой опыт! УДАЧИ!
SEO, , Permalink

2 комментариев к Зачем нужно создавать файл robots.txt

  1. denolga77 says:

    Здравствуйте, Ирина!
    Во-первых, спасибо за очередной полезный совет! Во-вторых, у меня вопрос, на который «Платон Щукин» ответил, что всё в порядке, но проблема осталась. В отличие от робота Google, Яндекс практически не индексирует изображений на моём сайте, хотя и alt и title я аккуратно заполняю ко всем картинкам. Буду надеяться на Ваш совет.
    С уважением, Ваша постоянная читательница Ольга Карасёва

    • Ольга, день добрый! Запишите в файле для тех роботов, которые считаете нужным, следующую команду
      Allow: /images/
      Имейте ввиду, что иногда для получения результатов — приходится ждать несколько месяцев.

Добавить комментарий