Файл robots.txt WordPress – пример отличного SEO

Файл robots.txt – очень мощный файл, если вы занимаетесь поисковым продвижением сайта. В то же время он должен использоваться с осторожностью. Это файл позволят спрятать от поисковых систем определенные файлы и папки, но очень часто это не то, что вы хотели сделать.За годы своего существования поисковые системы, особенно Google, во многом изменили свои алгоритмы обхода веб-ресурсов, поэтому лучшие из старых методов уже не актуальны. Ниже мы расскажем о лучших методах работы с robots.txt сегодня и причинах, по которым эти методы можно считать лучшими.

Google полностью обрабатывает ваш сайт

Google больше не глуповатый младенец, который просто выбирает на сайте html-код, игнорируя таблицы стилей и код JavaScript. Теперь он сканирует все и отображает страницы сайта полностью.

Это означает, что запрещать Google доступ к файлам CSS или JavaScript – не очень хорошее решение. Поэтому не блокируйте доступ к этим файлам на своем сайте.

Старая практика блокирования доступа к директориям с плагинами и wp-includes уже не работает. Вот почему для WordPress 4.0 лучше использовать «заплатки», которые удаляют wp-includes/.* из файла robots.txt, поставляемого по умолчанию с WordPress.

$output .= "Disallow: $path/wp-includes/\n";

Множество тем также используют асинхронные запросы к JavaScript, так называемый язык AJAX, чтобы добавлять на страницу контент. По умолчанию WordPress раньше блокировал и эти запросы. В версии WordPress 4.4 эта проблема была устранена.

Файл robots.txt игнорирует значение ссылки

Очень важно помнить вот о чем. Если вы блокируете URL-адреса на сайте с помощью robots.txt, поисковые машины не зайдут на эти страницы. Это также означает, что они не смогут выдать значение ссылки, указывающей на этот адрес.

Поэтому если у вас есть часть сайта, которую вы не хотите показывать в результатах поиска, но на которую есть много ссылок с других страниц, не используйте robots.txt. Вместо этого используйте директивы «noindex», «follow» метатега robots. Они позволят поисковым машинам корректно выдавать значение ссылок для этих страниц в контексте всего сайта.

Пример файла robots.txt для WordPress

Так что же должно быть в вашем файле robots.txt? Вы больше ничего не блокируете! Вы не блокируете директорию /wp-content/plugins/, так как плагины могут обращаться к JavaScript или CSS, которые нужны Google для отображения страницы.

Также вы не блокируете директорию /wp-includes/, так как по умолчанию много тем WordPress используют JavaScripts, расположенный в этих директориях.

Также не блокируйте папку /wp-admin/.
Причина простая: если вы заблокируете доступ к этой папке, но где-то случайно к ней обратитесь, люди все равно смогут сделать простой запрос [inurl:wp-admin] в Google и найти ваш сайт. Этот тип запросов относится к любимым запросам хакеров и злоумышленников.

Гораздо более аккуратным решением для того, чтобы поисковые системы не показывали страницы администрирования WordPress в результатах поиска, будет использование HTTP-заголовка X-Robots-Tag.

Что вам нужно сделать со своим файлом robots.txt?

Вам нужно войти в панель Google Search Console и в окне «Сканирование» использовать опцию «Просмотреть как Googlebot» нажать на кнопку «получить и отобразить»:

Файл robots.txt

Затем посмотреть что получилось:

Файл robots.txt wordpress

Если то, что вы увидите, не похоже на вид вашего сайта в привычном браузере, или при сканировании выдаются ошибки и предупреждения, удалите в файле robots.txt строчки, которые блокируют доступ к проблемным частям сайта.

Нужно ли ссылаться на карту сайта из robots.txt?

Ссылаться на XML карту сайта из robots.txt немного абсурдно. Вам нужно будет вручную добавить их в инструменты Google Search Console и Bing Webmaster Tools, и удостовериться, что через robots.txt выдается обратная информация о XML-карте. Поэтому нет смысла в обязательном добавлении такой ссылки.

Источник

 

Читайте также:

Оставить комментарий

avatar
  Хочу подписаться  
Уведомление на

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: