Справка

Вестоход следит за списком страниц и пишет в Telegram, когда страница сломалась так, что скоро вылетит из индекса, уже вылетела, вернулась или впервые проиндексировалась. Ниже — как он это делает и как читать его сообщения.

С чего начать

Подтвердите почту по ссылке из письма: без этого нельзя добавлять сайты.
Добавьте сайт по адресу, например https://example.ru.
Вставьте список страниц — по одному адресу в строке — или включите автосинк из sitemap.
Привяжите Telegram в разделе «Аккаунт»: откройте бота по ссылке или отправьте ему код. Без Telegram уведомления некуда отправлять.

Первая проверка каждой страницы — база сравнения: сервис запоминает, как выглядит страница и есть ли она в выдаче, и сообщений по ней не шлёт. Исключение — страница, добавленная уже сломанной: такая отмечается сразу.

Два слоя проверок

Слой 1 — сама страница, раз в 6 часов. Сервис запрашивает страницу и смотрит только на то, что влияет на индексацию: код ответа и редиректы, noindex в мета-теге или заголовке X-Robots-Tag, rel="canonical" на другой адрес, запрет в robots.txt, признаки soft-404 (страница отдаёт 200, но по сути пустая). Здесь трафик спасают до потери: сообщение приходит в тот же час, когда что-то сломалось.

Слой 2 — выдача, раз в сутки. Через провайдеров данных поисковой выдачи сервис проверяет, находится ли страница в результатах Яндекса (оператор url:) и Google (site: с подтверждением точной ссылкой). Слой 2 отвечает на вопрос «есть ли страница в выдаче», а не «почему».

После события слоя 1 по одной странице сервис внепланово обходит остальные страницы сайта, чтобы волна пришла одним сообщением, а не десятком.

Состояния страницы

В таблице сайта у каждой страницы по одному состоянию на поисковик:

в индексе — страница найдена в выдаче.
не найдена, проверяем — первый промах; сервис ждёт подтверждения через 12 часов и ничего не шлёт.
вылетела — промахи подтверждены, отправлено 🔴.
не найдена — новая страница, которую ещё не проиндексировали.
удалена (ожидаемо) — страница под маской «ожидаемо удалённых», сообщений не будет.
не проверяется — источник данных не отвечает; знание о странице сохраняется, сообщение придёт, только если так длится больше суток.

Колонки «Код», «noindex», «canonical», «robots» — последний снимок слоя 1. Красное значение означает проблему на сайте.

Сообщения

🟠 сломалась на сайте — noindex, редирект, ошибка HTTP, закрыта в robots.txt, canonical на другой адрес, soft-404. Если не исправить, страница вылетит из индекса в течение дней. Когда сломанное чинится, приходит 🟢 «починена».
🔴 вылетела из индекса — Яндекс перестал находить страницу два раза подряд, Google — три раза, с интервалом не меньше 12 часов. В сообщении есть подсказка: если сайт отдаёт 200 без noindex и с правильным canonical, это похоже на решение поисковика, и причину стоит искать в Вебмастере или Search Console.
🟢 вернулась в индекс — снова найдена; в сообщении сказано, сколько дней отсутствовала.
🔵 проиндексирована впервые — новая страница появилась в выдаче.
⚪ не проиндексирована за 14 дней — новая страница так и не появилась в выдаче.
🔴 сайт целиком — если разом не найдено больше 30 % страниц сайта, приходит одно сводное сообщение вместо потока.
⚪ не смогли проверить — источник данных не отвечает больше суток.
📊 дайджест — по воскресеньям в 10:00 по Москве: сколько проверено, сколько инцидентов, что в индексе. Тишина без дайджеста неотличима от сломанного бота; отключается в «Аккаунте».

Критичные события (🔴 и 🟠) приходят сразу, остальные копятся до шести часов и приходят одним сообщением по сайту. В «тихие часы», заданные в «Аккаунте», некритичные сообщения ждут конца окна.

Под каждым сообщением кнопки «полезно», «ложно», «уже знаю». По ним настраиваются правила; ложные срабатывания важнее всего — отмечайте их.

Почему нет ложных тревог

Один промах в выдаче ничего не значит: результаты поиска дышат, а провайдер данных может ошибиться. Поэтому 🔴 приходит только после подтверждений: два для Яндекса, три для Google, каждое не раньше чем через 12 часов после предыдущего, причём подтверждение делается другим запросом. Провайдеры данных сами проверяются каждые полчаса по контрольным страницам с известным статусом; провайдер, который начинает «терять» известные страницы, отключается, и проверки идут через резервный. Если и резерв недоступен, проверки ставятся на паузу, а не превращаются в поток «вылетела».

Главные страницы и разделы (хабы) проверяются в обратном порядке: сначала точной ссылкой, потом site:, потому что для них site: показывает вложенные страницы, а не сам раздел.

Sitemap

Включите автосинк на странице сайта: раз в 6 часов сервис читает sitemap (обычный, индекс sitemap, .gz), добавляет новые страницы с пометкой sitemap и ставит их в состояние «не найдена». Когда поисковик их проиндексирует, придёт 🔵, если не проиндексирует за 14 дней — ⚪. Страницы, исчезнувшие из sitemap, остаются под наблюдением с пометкой пропал из sitemap. На бесплатном тарифе страницы сверх лимита попадают в список как «вне лимита, не мониторится» и включаются после перехода на платный тариф.

Ожидаемо удалённые

Если вы сами убираете страницы из индекса, добавьте маску на странице сайта: путь с *, например /old/* или /promo-*, либо полный адрес. Подходящие страницы переходят в состояние «удалена (ожидаемо)», и 🔴 по ним не приходит.

Личный чат: в «Аккаунте» нажмите «Привязать Telegram» и откройте бота по ссылке, код действует 10 минут. Групповой чат проекта: добавьте бота @vestohod_bot в группу, на странице сайта получите код и отправьте в группе команду /bind КОД; сообщения по этому сайту будут приходить в группу. Отвязать чат можно там же.

Тариф и оплата

Бесплатно: один сайт и 30 страниц, обе поисковые системы, ежедневно. Платный тариф включается после первого пополнения: лимиты снимаются, а плата составляет 3 ₽ за страницу в месяц сверх 30 бесплатных и списывается по ночам за прошедшие сутки, по 1/30 за день. Страницы в архиве и «вне лимита» не оплачиваются.

Пополнение: на странице «Баланс» укажите сумму, переведите её по СБП по показанным реквизитам, в комментарии к переводу укажите код заявки. Платёж сверяется вручную, обычно в течение дня; о зачислении придёт сообщение в Telegram и письмо с чеком самозанятого. Когда баланс исчерпан, наблюдение продолжается ещё 3 дня, затем встаёт на паузу до пополнения; состояния и история сохраняются.

История и CSV

На странице сайта кнопка «История и экспорт CSV» открывает ленту событий с фильтрами по периоду и типу; CSV открывается в Excel, время московское. На странице каждой страницы — её снимок, состояния по поисковикам и своя история.

Чего сервис не делает

Не следит за доступностью и скоростью сайта в целом — только за страницами под наблюдением и только за сигналами индексации.
Не показывает позиции, не делает аудит, не ускоряет индексацию, не работает с Bing.
Не заменяет Вебмастер и Search Console: причину решения поисковика ищите там, сервис подскажет, где искать.
«Не найдена в выдаче» — не то же самое, что «удалена из индекса»: сервис честно говорит о том, что видит в результатах поиска.

Данные и удаление

Что хранится и сколько — в Политике конфиденциальности, условия услуги — в Оферте. Удалить страницу с историей можно из архива, сайт — на его странице, аккаунт целиком — в «Аккаунте». Вопросы и предложения: info@vestohod.ru.