Что такое Robots.txt?
Robots.txt — это текстовый файл в корневой директории сайта, содержащий инструкции для веб-краулеров. Он определяет, какие разделы сайта разрешено или запрещено сканировать. Robots.txt не является средством защиты — заблокированные страницы всё равно могут появиться в индексе. Для полного исключения из индекса используется тег noindex. Некорректный robots.txt может полностью заблокировать индексацию.
Ключевые моменты
- Robots.txt — рекомендация, а не запрет
- Ошибки в robots.txt могут деиндексировать весь сайт
- Disallow не равно noindex
- Ссылка на Sitemap в robots.txt ускоряет обнаружение
- Тестируйте robots.txt через Google Search Console