Правильный robots.txt для WordPress

Доброе время суток! Сегодня я решил написать  пост про файл robots.txt. Вкратце расскажу о нем и дам вам готовый, правильный код robots.txt для WordPress.
Файл robots.txt – это обычный текстовый файл с расширением .txt, предназначен для управления поисковыми роботами. В файле можно запретить или разрешить индексировать разделы сайта, можно указать путь к карте сайта sitemap.xml и многое другое.
Файл robots.txt должен находиться в корневой директории сайта.
Пустой файл robots.txt или его отсутствие означает разрешение на индексирование всего сайта.

Создаем файл robots.txt для WordPress.
- создадим в блокноте файл и дадим ему имя robots.txt.
- запишите в файле:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Host: ваш сайт.ru
Sitemap: https://ваш сайт.ru/sitemap.xml

------------------------------------------------------

Host: ваш сайт.ru – это адрес главного зеркала
Sitemap: https://ваш сайт.ru/sitemap.xml – это адрес или путь карты сайта sitemap.xml

Сохраняем файл и копируем его в корневую папку блога.

Вот и все.

Понравился пост? Помоги другим узнать об этой статье, кликни на кнопку социальных сетей ↓↓↓

Добавить комментарий

Нажмите, чтобы отменить ответ.

Имя (required)

Mail (will not be published) (required)

Сайт

Чтобы добавить в комментарий код HTML, PHP, CSS, JavaScript, нужно сделать так: [code] ваш код [/code]

Метки: robots.txt, wordpress