robots.txt, sitemap и noindex: как не закрыть сайт от поиска
Если аудит отметил проблемы с robots.txt, sitemap или noindex — речь о самом фундаменте: попадёт ли сайт в поиск вообще. Это тот случай, когда одна строчка может стоить всего трафика: случайный Disallow: / или забытая галочка «не индексировать» — и вас просто нет в выдаче.
- robots.txt говорит роботам, что не сканировать
- noindex говорит, что не показывать в выдаче — это разные вещи
- sitemap.xml помогает роботам быстрее находить все нужные страницы
- Самое опасное — случайно закрыть весь сайт:
Disallow: /или noindex на всём домене - Всё это проверяется за пять минут — сделайте это прямо сейчас
Главное различие: «не сканировать» ≠ «не индексировать»
Это путают чаще всего, а разница принципиальная.
Запрещает роботу заходить на страницу. Но по ссылкам она всё равно может попасть в выдачу — без описания. Управляет доступом, а не показом.
Прямо говорит: не показывай в результатах поиска. Робот должен зайти и увидеть указание — поэтому такую страницу нельзя закрывать в robots.txt.
Простое правило: хотите убрать страницу из выдачи — используйте noindex, а не Disallow. Хотите просто не пускать робота в служебный раздел — robots.txt.
robots.txt: что это и как не навредить
robots.txt — текстовый файл в корне сайта, доступный по адресу site.by/robots.txt. Робот читает его первым и следует указаниям, какие разделы не сканировать. Минимальный безопасный вариант:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://site.by/sitemap.xml
Здесь мы закрываем служебную папку, но оставляем сайт открытым, и сразу указываем путь к карте сайта. А вот строка, которой стоит бояться больше всего:
User-agent: * Disallow: / # ← закрывает ВЕСЬ сайт от поиска
Один слэш — и весь сайт исключён из индексации. Наш аудит помечает это как критическую ошибку.
Такое часто остаётся с этапа разработки, когда сайт закрывали от поиска, а после запуска открыть забыли. Если robots.txt вообще нет — это менее страшно (сайт индексируется), но тогда роботы могут лазить и по служебным страницам; лучше файл создать.
sitemap.xml: карта для роботов
sitemap.xml — это список всех страниц сайта, которые вы хотите видеть в поиске, в машиночитаемом виде. Он не гарантирует индексацию, но помогает роботам быстрее и полнее находить страницы — особенно на больших сайтах, где не до всего доходят внутренние ссылки.
Что с ним делать:
- Сгенерировать. На WordPress карту создают SEO-плагины (Yoast, Rank Math) автоматически; на конструкторах она обычно уже есть; для самописных сайтов — генератором или скриптом;
- Указать в robots.txt строкой
Sitemap: https://site.by/sitemap.xml; - Добавить в панели вебмастеров — Google Search Console и Яндекс Вебмастер, раздел «Файлы Sitemap». Так поисковики узнают о карте наверняка и покажут, сколько страниц проиндексировано.
Отсутствие карты сайта наш аудит помечает как проблему средней важности: критичного вреда нет, но роботам сложнее охватить сайт целиком.
meta noindex: точечный запрет показа
Тег в <head> страницы говорит поисковику: эту страницу в выдачу не бери.
<meta name="robots" content="noindex">
Это правильный инструмент, когда страница нужна людям, но не нужна в поиске:
- корзина, оформление заказа, личный кабинет;
- страницы благодарности («спасибо за заявку»);
- служебные и технические страницы, результаты внутреннего поиска;
- дубли и версии для печати.
Проблема начинается, когда noindex стоит там, где не должен. Самый частый и болезненный случай на WordPress — включённая галочка «Попросить поисковые системы не индексировать сайт» (Настройки → Чтение). Её ставят на время разработки, а после запуска забывают снять — и весь сайт закрыт от поиска. Наш аудит помечает noindex на странице как критическую ошибку именно поэтому.
Частые ошибки из наших аудитов
Disallow: /остался с разработки — самый опасный случай, сайт полностью вне поиска;- Галочка «не индексировать» в WordPress не снята после запуска — тот же эффект через noindex;
- Важную страницу закрыли в robots.txt, чтобы убрать из выдачи — а она всё равно показывается без описания. Нужен был noindex;
- Одновременно Disallow и noindex на одной странице — робот не заходит и не видит noindex, страница «зависает» в индексе;
- Нет sitemap.xml или он не указан в robots.txt и не добавлен в вебмастера — роботы находят страницы медленнее.
Как проверить свой сайт
- robots.txt — откройте
вашсайт.by/robots.txt: нет лиDisallow: /и есть ли строкаSitemap: - sitemap.xml — откройте
вашсайт.by/sitemap.xml: открывается ли карта и актуальны ли страницы - noindex — на важной странице Ctrl+U и поиск
noindex; в WordPress — Настройки → Чтение (галочка снята) - Панели вебмастеров — Search Console и Яндекс Вебмастер показывают статус индексации и ошибки
- SEO-аудит — проверяет robots.txt, sitemap и meta robots на всех страницах и подсвечивает блокировки
Что дальше
Прямо сейчас откройте вашсайт.by/robots.txt и вашсайт.by/sitemap.xml и убедитесь, что нигде нет Disallow: /, карта на месте и указана в robots. Затем проверьте, что на рабочих страницах нет случайного noindex (а в WordPress — снята галочка «не индексировать»). Это пятиминутная проверка, которая защищает от самых дорогих SEO-ошибок. А чтобы дубли страниц не делили вес между собой, настройте canonical-теги.
Хотите быть уверены, что весь сайт открыт для поиска и ничего не заблокировано по ошибке? Закажите комплексный SEO-аудит: проверим robots.txt, sitemap и noindex на всех страницах, а заодно метатеги, скорость, разметку и видимость в ИИ-поиске.
Коротко об индексации
Как убрать страницу из поиска — robots.txt или noindex? +
noindex. Disallow в robots.txt запрещает сканирование, но не гарантирует исчезновение из выдачи: страница может остаться в индексе без описания. Чтобы страница гарантированно ушла из поиска, она должна быть открыта для сканирования и содержать noindex.Обязателен ли robots.txt? +
Гарантирует ли sitemap.xml, что все страницы попадут в поиск? +
Закрыл сайт от индексации по ошибке — как быстро он вернётся? +
Уверены, что сайт открыт для поиска?
Закажите SEO-аудит — проверим robots.txt, sitemap и noindex на всех страницах и сразу покажем, если что-то заблокировано по ошибке. А заодно метатеги, скорость, разметку и видимость сайта в ИИ-ответах.