Robots.txt говорит роботу, какие разделы не обходить. Это полезно для служебных зон, поиска, API, параметров и закрытых разделов.
Noindex находится на странице или в HTTP-заголовке и говорит, что страницу не нужно показывать в поиске. Чтобы робот увидел noindex, страница должна быть доступна для обхода.
После миграции ошибка встречается часто: служебные страницы закрывают robots, но они уже известны поиску. Для удаления из индекса нужно дать роботу увидеть noindex или вернуть корректный статус.
Короткий чек-лист
- не закрывать услуги
- не закрывать CSS/JS
- noindex должен быть виден роботу
- служебное закрыть
- sitemap указать