Поставил noindex на живую страницу. Яндекс держал её 27 дней — пока я не позвал робота
Самый частый способ потерять трафик собственными руками — релиз, после которого на страницах оказался noindex. Я поставил его нарочно на живую страницу и каждый день проверял, находит ли её Яндекс. Двадцать семь дней — находил: робот на страницу просто не приходил. Я позвал его — через пять дней страница вылетела. Снял тег и позвал снова — вернулась через шесть.
Зачем я это сделал
Забытая галочка в SEO-плагине, шаблон со стейджинга, правка «на минутку» — и на посадочных страницах стоит запрет индексации. Узнают об этом обычно по отчёту в конце месяца.
Про сроки в таких историях говорят уверенно и по-разному: «Яндекс выкинет за пару дней», «за апдейт», «недели две». Я не нашёл замера, где страницу проверяли бы каждый день с момента появления тега. Поэтому сделал сам.
Оговорка сразу: это одна страница одного небольшого сайта. Не закон природы, а аккуратно записанный случай. Но записанный по дням — и, как оказалось, с объяснением.
Условия
- Сайт: stodum.ru — небольшой блог на WordPress, несколько десятков страниц, в поиске Яндекса из них около пятнадцати.
- Страница: статья от 13 апреля 2026 года, в поиске Яндекса с 1 августа. Трафика из поиска у неё не было: по Метрике — ни одного визита из Яндекса за всё время, так что эксперимент мне ничего не стоил.
- Что сделано 3 сентября: в SEO-плагине включён запрет индексации. В коде страницы появился
<meta name="robots" content="noindex, …">. Ответ сервера по-прежнему 200, вrobots.txtстраница не закрыта (иначе робот не смог бы прочитать тег), редиректов нет. - Побочный эффект, о котором легко забыть: плагин в тот же момент убрал страницу из
sitemap.xml. - Как проверяю: раз в сутки запрос к Яндексу с оператором
url:и точным адресом, через XML-выдачу; «найдена» засчитывается только при точном совпадении адреса. Точность метода я проверял отдельно, до эксперимента: 456 страниц четырёх сайтов, эталон — API Вебмастера; когда эталон снимали в тот же день, что и проверку, совпадение по Яндексу было 100 %.
Проверяет это Вестоход — сервис мониторинга индексации, который я делаю; эксперимент был его боевым испытанием. О появлении noindex он написал мне в Telegram тем же вечером, 3 сентября в 21:46 — в пределах шестичасового окна, с которым обходит страницы. То есть о поломке я узнал в день поломки. Вопрос эксперимента — что происходит дальше, если её не чинить.
Первые двадцать дней
| Сутки | Дата | Яндекс, url: |
|---|---|---|
| 0 | 03.09 | найдена (за 15 минут до появления тега) |
| 1–7 | 04.09–10.09 | найдена, каждый день |
| 8–14 | 11.09–17.09 | найдена, каждый день |
| 15–19 | 18.09–22.09 | найдена, каждый день |
Двадцать проверок подряд — «найдена», каждый раз по точному адресу. Ни одного промаха.
Первая мысль — «Яндекс три недели игнорирует noindex». Она неверна, и Вебмастер показывает почему.
Робот просто не приходил
Вот все заходы робота Яндекса на эту страницу за всё время её жизни — по данным Вебмастера, раздел статистики обхода:
| Заход робота | Пауза до следующего |
|---|---|
| 28 апреля | 60 дней |
| 27 июня | 30 дней |
| 27 июля | 23 дня |
| 19 августа | — |
Последний визит — 19 августа, за пятнадцать дней до того, как я поставил тег. С тех пор робот на страницу не заходил: на 23 сентября прошло 35 дней. В поиске лежит версия от 19 августа — без noindex, и Яндекс честно её показывает.
При этом сайт он не забросил. С 3 по 22 сентября робот сделал 46 заходов на 32 разные страницы этого сайта — 14 сентября восемнадцать за день. Эта страница в их число не попала. Типичная пауза между повторными заходами на одну страницу у этого сайта — 26 дней (медиана по 202 парам визитов), четверть страниц ждёт дольше 36, рекорд — 111.
То есть noindex — не команда, а записка на двери. Она сработает, когда робот придёт. А приходить ему незачем: страница старая, не менялась, её никто не ищет. И вдобавок SEO-плагин, поставив тег, тут же убрал страницу из sitemap.xml — снял единственный сигнал, которым я мог бы сказать роботу «здесь что-то изменилось». Запрет индексации сам себе замедлил доставку.
А что Google
Здесь честного результата нет, и я не буду его изображать. Проверки по Google начались 10 сентября — через неделю после появления тега. С первого дня и до сегодня Google эту страницу не находит ни одним из трёх способов: site: с адресом, адрес в кавычках, site: плюс слаг. Была ли она в индексе Google до 3 сентября, я не знаю — а значит, не могу сказать, выкинул ли он её из-за noindex или никогда не держал.
Урок для следующего эксперимента: базовую проверку по обоим поисковикам снимать до вмешательства.
Вторая часть: робот пришёл по приглашению
Сам робот так и не пришёл. К 25 сентября без визита прошло 37 дней — дольше, чем три четверти пауз у этого сайта. В тот день я отправил страницу на переобход через Вебмастер, то есть попросил робота зайти, и стал смотреть, что будет.
| Дата | Что произошло | Откуда |
|---|---|---|
| 25.09, 13:04 | страница отправлена на переобход | Вебмастер |
| 25.09–29.09 | проверка: найдена, каждый день | Вестоход |
| 30.09 | исключена из поиска — причина: запрет индексации в метатеге noindex | Вебмастер |
| 30.09, 18:56 | проверка: не найдена | Вестоход |
| 01.10, 06:56 | повторная проверка через 12 часов: не найдена — вылет подтверждён, сообщение в Telegram | Вестоход |
От приглашения до вылета — пять дней. От появления тега — двадцать семь: всё это время страница с запретом индексации спокойно жила в выдаче.
Сообщение о вылете пришло утром 1 октября:
stodum.ru — вылетела из Яндекса. Не найдена 2 проверки подряд. Причина на вашей стороне: на странице noindex.
Подсказка здесь обратная той, что была в истории со страницей, которую Яндекс исключал как малоценную. Там сервис видел, что со страницей всё в порядке, и писал «похоже на решение Яндекса». Здесь причина на самой странице — и её видно сразу, без похода в Вебмастер.
Одно число я хотел получить точно и не получил: сколько проходит между «робот прочитал noindex» и «страница исчезла из выдачи». Заявка на переобход помечена выполненной, и Вебмастер исключил страницу именно из-за noindex — значит, робот её прочитал. Но в статистике обхода этого визита нет. По другой странице, отправленной на переобход в тот же день, визит виден в тот же час, а по ещё одной — тоже не виден. Выборка Вебмастера неполная, поэтому честный ответ такой: робот пришёл где-то между 25 и 30 сентября, а от его визита до исчезновения прошло от нескольких часов до пяти дней — точнее данные не говорят.
Третья часть: возвращение
1 октября утром я снял тег. Плагин тут же вернул страницу в sitemap.xml — так же молча, как когда-то убрал. Через минуту я отправил её на переобход. На этот раз визит робота в статистике есть: 1 октября между 9 и 10 часами утра — судя по всему, это и есть ответ на заявку.
| Дата | Что произошло | Откуда |
|---|---|---|
| 01.10, 9:21 | тег снят — плагин сам вернул страницу в sitemap | — |
| 01.10, 9:21 | страница отправлена на переобход | Вебмастер |
| 01.10, 9-й час | визит робота | статистика обхода |
| 01.10, 12:56 | сервис заметил, что тег снят | Вестоход |
| 01.10–06.10 | проверка: не найдена, каждый день | Вестоход |
| 07.10 | снова в поиске | Вебмастер |
| 07.10, 18:56 | проверка: найдена; ночью — сообщение «вернулась в Яндексе» | Вестоход |
Робот прочитал страницу без запрета в первый же час после приглашения. А в выдачу она вернулась только 7 октября — через шесть дней. Выпасть по приглашению ей понадобилось пять дней, вернуться — шесть. Вне выдачи страница провела ровно неделю: с 30 сентября по 7 октября. Это и есть цена ошибки, замеченной поздно: даже исправленная за минуту и прочитанная роботом в тот же час, она стоит недели без выдачи.
Что из этого следует на практике
Если вы случайно выкатили noindex
Сколько у вас времени — зависит не от «апдейтов», а от того, когда робот придёт на конкретную страницу. Это можно прикинуть заранее: откройте в Вебмастере статистику обхода и посмотрите, как часто робот возвращается на ваши посадочные. У моего блога это раз в месяц; у интернет-магазина с ежедневным обходом категорий счёт пойдёт на сутки. Главная и свежие материалы пострадают первыми, старые статьи — последними. Окно есть, но у самых ценных страниц оно самое короткое.
Если ошибку уже исправили
Позовите робота: отправьте страницу на переобход в Вебмастере. У меня он пришёл в тот же час. Но выдача обновляется не так быстро, как робот: страница, исправленная за минуту и прочитанная в тот же час, вернулась в поиск через шесть дней. Закладывайте на возвращение дни, а не часы.
Если вы, наоборот, хотите убрать страницу из поиска
Один noindex на редко обходимой странице — это «когда-нибудь»: моя страница ждала робота три недели и не дождалась. Робота нужно позвать: отправить страницу на переобход в Вебмастере и не убирать её из sitemap, пока она не выпала. После приглашения моя вылетела за пять дней. Проверьте, что делает ваш SEO-плагин, — мой убрал страницу из sitemap сразу.
Про «проверил — в индексе, значит всё в порядке»
Страница из эксперимента почти четыре недели выглядела в выдаче совершенно здоровой, будучи приговорённой: вопрос был только в дате. Проверка индексации отвечает на вопрос «что поисковик знает сейчас» — а знает он версию месячной давности. На вопрос «что будет, когда он обновит знание» отвечает только сама страница: код ответа, robots, canonical, мета-теги. Смотреть нужно и туда, и туда — и на страницу чаще, потому что она меняется мгновенно, а индекс запаздывает на недели.
Что дальше
Эксперимент закончен. Тег простоял на странице 27 дней, не изменив в выдаче ничего; после вызова робота страница вылетела за пять дней, а после исправления вернулась за шесть. По Google, как я и предупреждал, вывода нет: за всё время проверок он не нашёл эту страницу ни разу. На сайте, где робот бывает каждый день, сроки, скорее всего, будут другими — но это уже другой замер.
Вестоход следит за страницами в Яндексе и Google и пишет в Telegram, когда страница сломалась так, что скоро вылетит из индекса, и когда уже вылетела. 30 страниц — бесплатно.
Зарегистрироваться