Когда запускать
Когда нужно понять, не закрыты ли от обхода важные разделы и не мешают ли правила robots.txt индексации.
Инструмент
Проверяет robots.txt по домену или вставленному тексту: карта сайта, параметры, запреты и риск закрыть важные посадочные.
Как использовать инструмент
Инструмент нужен как быстрый вход в диагностику: он показывает риск, объясняет смысл сигнала и помогает понять следующий шаг для SEO, миграции или заявки.
Когда нужно понять, не закрыты ли от обхода важные разделы и не мешают ли правила robots.txt индексации.
Наличие Sitemap, запрет Disallow: /, закрытые служебные зоны, параметры и риск для /services/, /tools/, /blog/, /cases/.
Закрывайте служебное, но не закрывайте важные посадочные и ресурсы рендера. Для удаления из индекса используйте noindex или 410, а не только robots.txt.
| Сигнал | Что означает | Практический шаг |
|---|---|---|
| Disallow: / | Сайт закрыт от обхода | Убрать правило, если это не staging |
| /services/ закрыт | Коммерческие страницы могут не обходиться | Открыть раздел |
| Нет Sitemap | Роботу сложнее найти карту сайта | Добавить ссылку на sitemap.xml |
| UTM без Clean-param | Параметры могут плодить дубли | Добавить Clean-param для Яндекса |
https://rank-craft.ru/
После запуска появятся результаты, пояснения, кнопка скачивания и переход к ручному аудиту.
Как читать результат
Автоматическая проверка помогает быстро увидеть риск и принять первое решение. Для коммерчески важных страниц результат лучше сверять с GSC, Яндекс Вебмастером, логами и краулером.
Сигнал выглядит нормально, но его все равно стоит сверять с задачей страницы.
Есть риск: слабый контент, конфликт сигналов, параметр, редирект, короткий title или неполная разметка.
Проблема может мешать индексации, скорости, заявкам или корректной миграции.
Следующий шаг
Для миграции и SEO-роста важно не просто найти ошибку, а понять, какая страница страдает, есть ли трафик, есть ли новый аналог и что делать: усилить, склеить, перенаправить или удалить из sitemap.
Как использовать в работе
После проверки полезно зафиксировать URL, сигнал, доказательство, приоритет и действие. Так инструмент превращается не в игрушку, а в часть аудита, миграции или роста видимости.
| Поле | Что фиксировать | Зачем |
|---|---|---|
| URL | адрес страницы или файла | чтобы не потерять проблему при внедрении |
| Сигнал | status, robots, canonical, sitemap, title, H1, schema | чтобы понимать тип риска |
| Приоритет | критично / важно / позже | чтобы не тратить релиз на мелочи |
| Действие | исправить, усилить, 301, 410, noindex, canonical, merge | чтобы был следующий шаг |
Что считать ошибкой
Sitemap, canonical, robots и редиректы должны вести к одной версии URL.
Архивы, параметры, тестовые страницы и дубли не должны попадать в sitemap.
Слабые страницы нужно доработать, объединить или убрать из индекса.
Связанные страницы
Проверим технические причины потери показов и заявок: robots.txt, sitemap, canonical, noindex, 404/410, редиректы, скорость, формы и аналитику. Отчет с приоритетами и действиями.
Открыть: Технический SEO-аудит сайтаЭкспресс-аудит сайта: индексация, sitemap, robots, canonical, старые 404, title/H1, формы, CTA и первые причины низкой видимости.
Открыть: Экспресс-аудит индексации и потери заявокКонтакты Rank Craft: заявка на аудит, разработку сайта на чистом коде, SEO, аналитику, рекламу или миграцию.
Открыть: Обсудим сайт, SEO или миграциюРазберем, почему страницы есть на сайте, но не получают показов: sitemap, robots, noindex, canonical, 404, дубли, внутренние ссылки, качество страниц и доверие.
Открыть: Аудит индексации Google и ЯндексFAQ
Для простой проверки да, но для важных страниц лучше подтвердить вывод ручным аудитом и данными вебмастеров.
Проверка работает в браузере. Заявка отправляется только если пользователь сам заполняет форму ручного аудита.
Если страница коммерчески важная, влияет на заявки, участвует в миграции или имеет конфликт sitemap, canonical, robots, noindex, редиректов и качества контента.
Заявка
Оставьте ссылку на сайт, нишу и задачу. Мы вернемся с понятным следующим шагом.