Robots txt 2019 для WordPress. Как создать и использовать

Robots txt 2019 для WordPress. Как создать и использовать

Файл robots.txt предоставляет важную информацию для поисковых роботов, которые сканируют интернет. Перед тем как пройтись по страницам вашего сайта, поисковые роботы проверяют данный файл.

Robots.txt для WordPress, Joomla, Drupal

robots-txt-dlja-wordpress-joomla-drupal

Robots.txt для WordPress, Joomla, Drupal

Robots.txt – это на сегодняшний день очень нужный файл для «хорошей» индексации сайта в поисковых системах таких как Yandex, Google. Что за такое файл robots.txt? Это текстовый файл, который может быть создан любым приложением Windows умеющим сохранять файл в формате txt, например, программа Блокнот, тот же Word с сохранением текста в формате «просто текст»

     Следует отметить, что файл robots.txt создается для каждой (CMS) системы управления сайтом, таких как WordPress, Joomla, Drupal, – свой, определенный, потому что вышеуказанные системы управления сайтом имеют свои директории, которые, по Вашем мнению, могут быть допущены к индексации поисковыми системами, а какие нет.  

 Создавая файл robots.txt именно Вы решаете, какие директории разрешить поисковым роботам индексировать, а какие директории необходимо запретить для индексации.

    На нашем сайте опубликованы существующие шаблоны файлов robots, которые могут быть использованы Вами для создания своего файла robots.txt Скачать все три шаблона robots.txt Вы можете по этой ссылке

И так robots.txt для WordPress:

  • User-agent: *
  • Disallow: /wp-admin
  • Disallow: /wp-content/plugins
  • Disallow: /wp-content/cache
  • Disallow: /trackback
  • Disallow: */trackback
  • Disallow: */*/trackback
  • Disallow: */*/feed/*/
  • Disallow: */feed
  • Disallow: /*?*
  • Disallow: /tag
  • User-agent: Yandex
  • Disallow: /wp-admin
  • Disallow: /wp-content/plugins
  • Disallow: /wp-content/cache
  • Disallow: /trackback
  • Disallow: */trackback
  • Disallow: */*/trackback
  • Disallow: */*/feed/*/
  • Disallow: */feed
  • Disallow: /*?*
  • Disallow: /tag
  • User-agent: Googlebot
  • Allow: /wp-contents/themes/*.css
  • Allow: /wp-contents/themes/*.js
  • Allow: /wp-includes/*.css
  • Allow: /wp-includes/*.js
  • Host: Ваш.сайт
  • sitemap: http://Ваш.сайт/sitemap.xml

 

Robots.txt для Joomla:

  • User-agent: *
  • Disallow: /administrator/
  • Disallow: /cache/
  • Disallow: /cli/
  • Disallow: /components/
  • Disallow: /images/
  • Disallow: /includes/
  • Disallow: /installation/
  • Disallow: /language/
  • Disallow: /libraries/
  • Disallow: /logs/
  • Disallow: /media/
  • Disallow: /modules/
  • Disallow: /plugins/
  • Disallow: /templates/
  • Disallow: /tmp/
  • Host: yousite.com
  • Sitemap: http://Ваш_сайт/sitemap.xml

 

Robots.txt для Drupal: 

  • User-agent: *
  • Disallow: /database/
  • Disallow: /includes/
  • Disallow: /misc/
  • Disallow: /modules/
  • Disallow: /sites/
  • Disallow: /themes/
  • Disallow: /scripts/
  • Disallow: /updates/
  • Disallow: /profiles/
  • Disallow: /profile
  • Disallow: /profile/*
  • Disallow: /xmlrpc.php
  • Disallow: /cron.php
  • Disallow: /update.php
  • Disallow: /install.php
  • Disallow: /index.php
  • Disallow: /admin/
  • Disallow: /comment/reply/
  • Disallow: /contact/
  • Disallow: /logout/
  • Disallow: /search/
  • Disallow: /user/register/
  • Disallow: /user/password/
  • Disallow: *register*
  • Disallow: *login*
  • Disallow: /top-rated-
  • Disallow: /messages/
  • Disallow: /book/export/
  • Disallow: /user2userpoints/
  • Disallow: /myuserpoints/
  • Disallow: /tagadelic/
  • Disallow: /referral/
  • Disallow: /aggregator/
  • Disallow: /files/pin/
  • Disallow: /your-votes
  • Disallow: /comments/recent
  • Disallow: /*/edit/
  • Disallow: /*/delete/
  • Disallow: /*/export/html/
  • Disallow: /taxonomy/term/*/0$
  • Disallow: /*/edit$
  • Disallow: /*/outline$
  • Disallow: /*/revisions$
  • Disallow: /*/contact$
  • Disallow: /*downloadpipe
  • Disallow: /node$
  • Disallow: /node/*/track$
  • Disallow: /*&
  • Disallow: /*%
  • Disallow: /*?page=0
  • Disallow: /*section
  • Disallow: /*order
  • Disallow: /*?sort*
  • Disallow: /*&sort*
  • Disallow: /*votesupdown
  • Disallow: /*calendar
  • Disallow: /*index.php
  • Allow: /*?page=
  • Disallow: /*?
  • Host: Ваш.сайт
  • Sitemap: http://Ваш.сайт/sitemap.xml

Скачать все три шаблона robots.txt Вы можете по этой ссылке