Что такое robots.txt?
Robots.txt – это простой текстовый файл, который содержит директивы для поисковых систем. Он указывает им, какие страницы и файлы должны быть проиндексированы, а какие нет. Это помогает управлять SEO вашего сайта, предотвращая индексацию нежелательных или конфиденциальных данных.
Будьте осторожны при внесении изменений в Robots.txt: не корректная директива может закрыть нужные вам разделы сайта от индексации.
Поисковые системы регулярно проверяют файл robots.txt у сайтов на предмет наличия в нем инструкций. Если файл отсутствует или в нем нет применимых директив, поисковики будут проходиться по всему сайту.
Как создать файл robots.txt?
Создать файл robots.txt просто: откройте текстовый редактор (блокнот, notepad+, vs code) и сохраните файл с именем "robots.txt". Затем загрузите его в корневой каталог вашего сайта, чтобы поисковые системы могли его найти.
Файл должен быть доступен по адресу: https://вашсайт.ru/robots.txt
Синтаксис robots.txt
Синтаксис robots.txt прост: каждое правило должно начинаться с директивы "User-agent", за которой следует директива "Disallow" или "Allow" и путь к странице или файлу, который нужно заблокировать или разрешить.
Пример правил для robots.txt:
User-agent: *
Disallow: /private/
Allow: /public/
В данном случае, все краулеры не могут индексировать страницы в каталоге "private", но могут индексировать страницы в каталоге "public".
Значения символов:
* – любая последовательность символов.
$ – конец строки.
# – комментарии.
Разберем подробнее все директивы для robots.txt
User-agent
Указывает на робота, для которого действуют перечисленные в robots.txt правила.
Disallow
Запрещает обход разделов или отдельных страниц сайта.
Allow
Разрешает индексирование разделов или отдельных страниц сайта.
Sitemap
Указывает путь к файлу Sitemap, который размещен на сайте.
Clean-param
Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
Crawl-delay
Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.
Требования Яндекс к файлу Robots.txt
- Размер файла не должен превышать 500 КБ.
-
Файл должен быть в формате TXT и назван как robots.txt.
-
Файл должен быть размещен в корневой директории сайта.
-
Файл должен быть доступен для роботов. Сервер, на котором расположен сайт, должен возвращать код HTTP со статусом 200 OK
Ошибки в robots.txt и их последствия
Блокировка важных страниц
Ошибки в robots.txt могут привести к блокировке важных страниц вашего сайта, что ухудшит его видимость в поисковых системах. Убедитесь, что вы тщательно проверили правила в файле, чтобы предотвратить такие проблемы.
Противоречивые правила
Противоречивые правила в robots.txt могут запутать роботов, что повлияет на индексацию вашего сайта. Убедитесь, что правила в файле robots.txt ясны и не противоречат друг другу.
Пропуск правил для краулеров
Если вы не указали правила для определенного краулера, он может обрабатывать ваш сайт неправильно, что может привести к проблемам с индексацией. Убедитесь, что все важные краулеры имеют соответствующие правила в файле robots.txt.
Не следует блокировать файлы JavaScript или CSS при помощи robots.txt. Боты могут некорректно отображать контент на вашем сайте, если они не имеют доступа к этим ресурсам.
Как проверить и исправить ошибки в robots.txt
Для проверки файла robots.txt на наличие ошибок вы можете использовать различные инструменты, такие как Google Search Console или Yandex.Webmaster. Эти инструменты предоставляют информацию о правилах вашего файла robots.txt и помогают определить, есть ли какие-либо проблемы.
Инструмент анализа файла robots.txt от Яндекс
https://webmaster.yandex.ru/tools/robotstxt/
Инструмент проверки файла robots.txt от Google
https://support.google.com/webmasters/answer/6062598
Кириллические символы в robots.txt
В файле robots.txt запрещено использование кириллических символов. Для преобразования кирилличекского домена используйте конвертер Punycode.
Для преобразования кириллических названий используйте Unicode конвертер
Неправильно
User-agent: *
Disallow: /каталог/
Sitemap: https://вашсайт.рф/sitemap.xml
Правильно
User-agent: *
Disallow: /%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/
Sitemap: https://xn--80aae4a1bi2b.xn--p1ai/sitemap.xml
Руководства по robots.txt от Яндекс и Google
Документация Яндекса по файлу robots.txt
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
Документация Google по файлу robots.txt
https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ru
Пример robots.txt для запрета всего сайта
User-agent: *
Disallow: /
Пример robots.txt для Wordpress
User-agent: *
Disallow: /cgi-bin
Disallow: */?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */trackback
Disallow: */feed
Disallow: */embed
Disallow: */page/
Allow: /wp-content/plugins/
Allow: /wp-content/themes/
Allow: /wp-content/cache/
Allow: /wp-includes/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Sitemap: https://example.ru/sitemap.xml
Пример robots.txt для Bitrix
User-Agent: *
Disallow: */index.php$
Disallow: /bitrix/
Disallow: /personal/
Disallow: */cgi-bin/
Disallow: /local/
Disallow: /test/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*?list_style=
Disallow: /*?sort=
Disallow: /*sort_by=
Disallow: /*?set_filter=
Disallow: /*?arrFilter=
Disallow: /*?order=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: */auth/
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin*
Disallow: /*?utm_source=
Disallow: */order/
Disallow: /*download
Disallow: /test.php
Disallow: */filter/*/apply/
Disallow: /*setreg=
Disallow: /*logout
Disallow: */filter/
Disallow: /*sphrase_id
Disallow: */search/
Disallow: /*type=
Disallow: /*?product_id=
Disallow: /*?display=
Disallow: /*?view_mode=
Disallow: /*view=
Disallow: /*min_price=
Disallow: /*max_price=
Disallow: /*&page=
Disallow: /*?path=
Disallow: /*?route=
Disallow: /*?products_on_page=
Disallow: /*?PAGEN_1=1$
Disallow: /*?PAGEN_1=1/$
Disallow: /*?new=
Disallow: /*?edit=
Disallow: /*?preview=
Disallow: /*SHOWALL=
Disallow: /*SHOW_ALL=
Disallow: /*SHOWBY=
Disallow: /*SPHRASE_ID=
Disallow: /*TYPE=
Disallow: /*?utm*=
Disallow: /*&utm*=
Disallow: /*?VIEW=
Disallow: /*?SORT_TO=
Disallow: /*?SORT_FIELD=
Disallow: /*set_filter=
Disallow: */auth.php
Disallow: /*?alfaction=
Disallow: /*?oid=
Disallow: /*?name=
Disallow: /*?form_id=
Disallow: /*&form_id=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: */resize_cache/
Disallow: /*?linerow=
Disallow: /bitrix/panel/
Disallow: *?sort_ord=
Disallow: *?sort_dir=
Disallow: *?category_id=
Disallow: *?item_id=
Disallow: *?pn_pr=
Disallow: *?page=
Disallow: *?tab=
Disallow: *?display=
Disallow: *?linerow=
Disallow: *?year=
Disallow: *?oid=
Disallow: */filter/
Disallow: *showElements*
Disallow: *PAGEN_2*
Disallow: *?ORDER_ID=
Disallow: *how=*
Disallow: */form/?name=
Disallow: *?name=
Disallow: /*gclid*
Disallow: /*yclid*
Disallow: /*ymclid*
Disallow: /test*
Disallow: /404.php
Disallow: /api/*
Disallow: /*?RID*
Disallow: *?preview=
Disallow: *bitrix_*=
Disallow: *auth=
Disallow: /*?tag
Disallow: /*set_filter*
Disallow: /*?showElements=
Disallow: /*?tid*
Disallow: /*&tid*
Disallow: *?FILTER*=
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *SECTION_ID=
Disallow: *section_id=
Disallow: *SECTION[*]=
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=
Disallow: *TYPE=
Disallow: /*?from*
Disallow: /*&from*
Disallow: /*block=*
Disallow: *r1=
Disallow: */?_ym_debug
Disallow: */apply/*
Disallow: *&by*
Disallow: *?by*
Disallow: *?id=*
Disallow: *?a=*
Disallow: *?amp*
Disallow: *IBLOCK_ID=*
Disallow: *RESULT_ID=*
Disallow: *PROPERTY=*
Disallow: *IN_STOCK=*
Disallow: *SECTION_CODE=*
Disallow: *SIZE=*
Disallow: *added=*
Disallow: *position=*
Disallow: *callibri=*
Disallow: *gtm_debug=*
Disallow: *placement=*
Disallow: *source=*
Disallow: *&adv=*
Disallow: *?adv=*
Disallow: *option=*
Disallow: *?hhtmFrom=*
Disallow: *?_r=*
Disallow: *sort_order=*
Allow: /upload/*
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/components/
Allow: /local/cache/
Allow: /local/js/
Allow: /local/templates/
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Sitemap: https://example.ru/sitemap.xml
Пример robots.txt для ModX
User-agent: *
Disallow: /cgi-bin
Disallow: /manager/
Disallow: /assets/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?
Allow: /assets/*.jpg
Allow: /assets/*.jpeg
Allow: /assets/*.gif
Allow: /assets/*.png
Allow: /assets/*.pdf
Allow: /assets/*.js
Allow: /assets/*.css
Allow: /assets/*.svg
Sitemap: https://example.ru/sitemap.xml
Пример robots.txt для OpenCart
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Sitemap: http://example.ru/sitemap.xml
Пример robots.txt для Joomla
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php* # Только если у вас включен SEF
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Sitemap: http://example.ru/sitemap.xml
Пример robots.txt для Drupal
User-agent: *
# CSS, JS, Images
Allow: /core/*.css$
Allow: /core/*.css?
Allow: /core/*.js$
Allow: /core/*.js?
Allow: /core/*.gif
Allow: /core/*.jpg
Allow: /core/*.jpeg
Allow: /core/*.png
Allow: /core/*.svg
Allow: /profiles/*.css$
Allow: /profiles/*.css?
Allow: /profiles/*.js$
Allow: /profiles/*.js?
Allow: /profiles/*.gif
Allow: /profiles/*.jpg
Allow: /profiles/*.jpeg
Allow: /profiles/*.png
Allow: /profiles/*.svg
# Directories
Disallow: /core/
Disallow: /profiles/
# Files
Disallow: /README.txt
Disallow: /web.config
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
Disallow: /user/logout
# Paths (no clean URLs)
Disallow: /index.php/admin/
Disallow: /index.php/comment/reply/
Disallow: /index.php/filter/tips
Disallow: /index.php/node/add/
Disallow: /index.php/search/
Disallow: /index.php/user/password
Disallow: /index.php/user/register
Disallow: /index.php/user/login
Disallow: /index.php/user/logout
Disallow: /drupal-9-migration
Disallow: /drupal-migration-services
Disallow: /drupal-7-end-of-life
Disallow: /drupal-migration-rescue
Sitemap: http://example.ru/sitemap.xml
Пример robots.txt для Magento
User-agent: *
Disallow: /catalogsearch/
Disallow: /search/
Disallow: /customer/account/login/
Disallow: /*?SID=
Disallow: /*?PHPSESSID=
Disallow: /*?price=
Disallow: /*&price=
Disallow: /*?color=
Disallow: /*&color=
Disallow: /*?material=
Disallow: /*&material=
Disallow: /*?size=
Disallow: /*&size=
Sitemap: http://example.ru/sitemap.xml
