Руководство по работе с Robots. txt для SEO

Как и зачем использовать служебный файл robots. txt в SEO целях и будет темой сегодняшней статьи.

Что такое robots. txt?

Служебный файл robots. txt – это список ограничений для поисковых роботов (ботов), которые постоянно «бегают» по сайтам и сканируют информацию на них. Именно эти роботы и являются постоянными читателями файлов robots. txt, которые анализируют команды в нем, прежде чем начинать сканировать страницы сайта.

Файл robots. txt – является простой текстовый файл, которые находится в корневом каталоге Вашего сайта.

Основные причины использования служебного файла robots. txt

Стоит выделить основные 3 причины по использованию файла robots. txt на сайте:

Дублированный контент

Дублированный контент на сайте – это минус в Вашу сторону. Зачем поисковую систему лишний раз заставлять индексировать те страницы сайта, которые не несут важности. Как правило, дублированный контент представлен на сайте под разными URL адресами.

К примеру, на блогах — это метки(теги), категории, архивы и т. д. Если у Вас достаточно молодой проект с небольшим количеством качественных обратных ссылок, то именно повторяющийся контент может стать причиной наказания поисковыми системами, что крайне плохо с точки зрения SEO.

Именно robots. txt сможет решить Вам какие страницы включать в индекс, а какие – нет. Аналогичное решение и с помощью мета тега canonical.

Скрыть информацию, которую Вы не желаете «показывать» поисковым системам.

В ситуациях, когда у Вас есть определенное содержание на сайте, которые Вы не желаете обнародовать поисковикам, то robots. txt сможет легко решить эту проблему.

Контроль пропускной способности

Ограничение пропускной способности Вашего сайта (к примеру, на хостинг пакеты) просто вынуждает Вас воспользоваться файлом robots. txt.

Как создать файл robots. txt?

Для создания файла robots. txt необходимо: текстовый файл и клавиатуру. После заполнения файла, его необходимо сохранить под названием robots.

Рассмотрим некоторые команды роботс. тхт.

Пустой файл robots. txt означает, что Вы желаете, чтобы все страницы Вашего сайта индексировались поисковыми системами.

Если нам необходимо запретить для поискового робота Google папку admin, то содержание файла robots. txt будет состоять из следующих записей:

• User-Agent: Googlebot
• Disallow: /admin/

Если Вы желаете запретить индексировать Гугл бота отдельную страницу на сайте, к примеру, seo. html, то это роботс. тхт будет выглядеть так:

• User-Agent: Googlebot
• Disallow: seo. html

Если Вы хотите обратиться ко всем поисковым ботам, то нужно слово Googlebot заменить на *. Пример:

• User-Agent: *
• Disallow: /seo/
• Disallow: /tags/

Для SEO лучше всего использовать обращение ко всем ботам, в виде «User-Agent: *».

Типичные ошибки при работе с Robots. txt

• Файл роботс. тхт должен быть только формата. txt и находится в корневом каталоге.
• Не стоит прописывать сначала строки, которые хотим запретить, а потом пользовательского агента (поискового бота). Строка пользовательского агента всегда идет первой!
• Для игнорирования каталога, не стоит создавать список файлов каталога. Достаточно просто прописать имя каталога.
• Прописывая названия файлов и каталогов не забываем про чувствительность к регистру. Пример, SEO. html и seo. html могут восприниматься на сервере по разному.
• Обязательно проверяйте созданные файлы на валидность с помощью сервисов в  Яндекс вебмастере.

Как видим, в SEO все должно быть продумано до мелочей, что позволит повысить эффективность продвижения.