Индексация новой страницы обычно занимает от нескольких дней до нескольких недель, у активно обновляемых сайтов — часы. Если прошло больше трёх недель, дело не в ожидании, а в конкретной причине. Разбираем, какие способы ускорения работают, какие бесполезны и что проверить, когда страница не появляется в поиске.
Сколько ждать
Универсального срока нет, но есть ориентиры от самих поисковиков.
Google в руководстве по запросу переобхода формулирует прямо. Обход занимает от нескольких дней до нескольких недель. И добавляет важное. Запрос на переобход не гарантирует, что страница попадёт в результаты поиска мгновенно или вообще попадёт.
Яндекс отдельных сроков не обещает, но у него есть быстробот, который забирает свежие материалы с активно обновляемых сайтов за часы. Новый сайт без истории он обходит медленнее.
Отсюда правило, которое экономит нервы. Отсутствие страницы в индексе через два дня это норма. Отсутствие через три недели — это уже симптом, и с ним нужно разбираться.
Почему индексация затягивается
- Сайт новый. У него нет истории обхода, и робот приходит редко, пока не поймёт, что здесь регулярно появляется что-то новое.
- Страница ниоткуда не видна. На неё нет ни внутренних ссылок, ни упоминания в карте сайта, и найти её роботу негде.
- Лимит обхода. На больших сайтах робот тратит время на тысячи однотипных адресов: фильтры, сортировки, дубли. До новой страницы очередь доходит нескоро.
- Технические запреты. Закрытие в robots.txt, метатег noindex, canonical на другую страницу, ответ сервера не 200.
- Слабое содержание. Поисковик может обойти страницу и решить, что добавлять её в индекс незачем.
- Медленный ответ сервера. Если сайт отвечает по нескольку секунд, робот снижает частоту обхода.
Первые три причины лечатся временем и структурой, остальные три — это ошибки, которые нужно найти и исправить.
Что действительно ускоряет
| Способ | Где делается | Что даёт |
|---|---|---|
| Проверка URL и запрос индексирования | Google Search Console | Ставит страницу в очередь на обход, по несколько адресов за раз |
| Переобход страниц | Яндекс Вебмастер | Очередь на обход по квоте сайта, у нашего это 150 адресов в сутки |
| IndexNow | Ping-запрос из скрипта или плагина | Мгновенное уведомление об изменении для поддерживающих систем |
| Карта сайта с датами | sitemap.xml | Подсказывает роботу, что изменилось с прошлого визита |
| Внутренние ссылки | Сам сайт | Даёт роботу путь к странице и показывает её важность |
| Внешние упоминания | Соцсети, каталоги, чужие сайты | Дополнительные точки входа для обхода |
Первые три пункта стоит разобрать подробнее, потому что вокруг них больше всего путаницы.
Search Console и Вебмастер
В Search Console инструмент называется «Проверка URL». Вставляете адрес, смотрите текущий статус и нажимаете запрос на индексирование. Это работает для единичных страниц, массово отправлять адреса там нельзя.
В Яндекс Вебмастере то же самое делает раздел «Переобход страниц», и у него есть суточная квота, своя для каждого сайта. У нашего сайта это 150 адресов в сутки, и этого хватает с большим запасом.
IndexNow
Это протокол, через который сайт сам сообщает поисковикам об изменении страницы, не дожидаясь обхода. Отправка занимает один запрос и не требует ничего, кроме ключа в корне сайта.
А вот кто его принимает, стоит запомнить. На сайте протокола перечислены Microsoft Bing, Naver, Seznam.cz, Яндекс и Yep. Google в этом списке нет, поэтому для него IndexNow ничего не даёт, и ускорять индексацию в Google нужно другими способами.
Чего делать не стоит
- Отправлять один и тот же адрес каждый день. Повторная отправка не двигает очередь и ничего не ускоряет.
- Покупать «прогон по базам». Массовая регистрация в каталогах и сабмитах давно не ускоряет индексацию, зато оставляет за собой мусорный ссылочный след.
- Надеяться, что индексация починит контент. Если страница слабая, она попадёт в индекс и останется без позиций.
- Гнать в индекс всё подряд. Служебные, фильтрованные и дублирующие адреса только съедают лимит обхода. Их, наоборот, стоит закрывать.
Последний пункт связан с дублями напрямую: чем больше у сайта одинаковых страниц по разным адресам, тем меньше внимания достаётся новым. Как найти и убрать такие копии, разобрано в статье про дубли страниц и каннибализацию.
Как проверить, в индексе ли страница
- Search Console, инструмент «Проверка URL». Показывает точный статус конкретного адреса и дату последнего обхода.
- Яндекс Вебмастер, раздел «Страницы в поиске». Там же видно, какие страницы исключены и по какой причине.
- Оператор
site:в поиске. Быстрый способ, но приблизительный, он показывает не всё и не всегда.
Первые два источника надёжные, третий годится для беглой проверки.
Если страница не индексируется неделями
Пройдите по списку сверху вниз, это занимает минут двадцать.
- Откройте страницу в режиме инкогнито и убедитесь, что сервер отдаёт её нормально, а не редиректом или ошибкой.
- Проверьте метатег robots и заголовок ответа на наличие noindex.
- Проверьте robots.txt: не закрыт ли раздел целиком.
- Посмотрите canonical. Если он указывает на другую страницу, в индекс попадёт она.
- Убедитесь, что страница есть в карте сайта и на неё ведут внутренние ссылки хотя бы с двух мест.
- Посмотрите в Search Console причину исключения, она там указана прямым текстом.
- Если причина «просканировано, но не проиндексировано», дело в содержании, а не в технике.
Последний пункт встречается чаще всего и лечится только переработкой страницы. Что именно проверять в тексте, собрано в материале про ошибки в SEO-текстах.
Сколько страниц должно быть в индексе
Ещё одно частое беспокойство. На сайте пятьсот страниц, а в индексе двести, и владелец решает, что половина сайта потеряна.
Обычно это не так. В индекс не должны попадать служебные страницы, результаты поиска по сайту, страницы фильтров и сортировок, пагинация, версии для печати и черновики. Если их закрыли правильно, разница между общим числом адресов и числом проиндексированных страниц — это норма, а не потеря.
Тревожный признак другой. В индексе оказались адреса, которых там быть не должно, а нужных страниц нет. Это значит, что лимит обхода тратится не туда, и разбираться надо именно с этим.
Как ускорить индексацию на постоянной основе
Разовые отправки решают задачу одной страницы. Чтобы весь сайт индексировался быстро, работают три вещи.
Регулярность публикаций. Сайт, где новое появляется каждую неделю, робот посещает чаще, чем тот, который обновляется раз в полгода. Порядок в структуре. Когда служебные адреса закрыты, а карта сайта отражает реальные даты изменений, лимит обхода тратится на нужные страницы. И внутренние ссылки: новая статья должна получать ссылки с уже существующих материалов в день публикации, а не через месяц.
Про даты в карте сайта есть отдельная тонкость. Значение даты изменения должно отражать существенное обновление, иначе поисковик перестаёт им верить. Подробнее об этом в статье о дате публикации.
С чего начать
Возьмите последние пять опубликованных страниц и проверьте их статус в Search Console и Вебмастере. Если все в индексе, у вас нет проблемы с индексацией и заниматься ей не нужно. Если часть отсутствует, идите по чек-листу выше: в девяти случаях из десяти причина окажется технической и починится за час.
Мы настраиваем индексацию, чистим лимит обхода и отправляем новые страницы в поисковые системы в рамках продвижения сайта. А полную картину проблем, включая закрытые от индексации разделы и дубли, показывает SEO-аудит.
