Индексация
Robots.txt нужен для управления обходом, но им нельзя прятать важные посадочные и ресурсы, необходимые для рендера.
Закрывайте admin, api, search, thank-you и мусорные параметры.
Не закрывайте услуги, кейсы, блог, CSS, JS и изображения, нужные для страницы.
Укажите sitemap и Clean-param для Яндекса, если есть мусорные параметры.
Если на странице стоит noindex, робот должен иметь возможность ее увидеть.
Статья полезна не сама по себе, а как чек-лист для конкретной страницы или группы URL. Возьмите один раздел сайта, проверьте его по пунктам и зафиксируйте решение: усилить, объединить, закрыть от индекса, перенаправить или оставить без изменений.
Станет понятнее, какую проблему обсуждать с подрядчиком и какой результат требовать на выходе.
Материал можно превратить в список проверок для GSC, Яндекс Вебмастера, sitemap, robots и краулера.
Из статьи можно выделить задачи: редиректы, canonical, шаблоны, формы, микроразметка и события.
Связанные страницы
Проверка robots.txt: sitemap, служебные запреты, параметры и отсутствие блокировки важных разделов.
Открыть: Проверка robots.txtПроверим технические причины потери показов и заявок: robots.txt, sitemap, canonical, noindex, 404/410, редиректы, скорость, формы и аналитику. Отчет с приоритетами и действиями.
Открыть: Технический SEO-аудит сайтаFAQ
Да, для первичной проверки. Для важных страниц лучше сверить выводы с вебмастерами, логами и краулером.
Искать шаблонную причину: генератор sitemap, общий canonical, блок noindex, меню или повторяющийся компонент.
Заявка
Оставьте ссылку на сайт, нишу и задачу. Мы вернемся с понятным следующим шагом.