Инструмент для SEO

Генератор и проверка robots.txt

Создайте базовый robots.txt, проверьте синтаксис директив и протестируйте, разрешён ли конкретный URL выбранному поисковому роботу.

Генератор файла Проверка директив Локальный тест URL
Настройки

Правила обхода

Базовый шаблон не закрывает сайт целиком и не управляет индексацией уже известных страниц.

Результат

Готовый файл

Разместите файл по адресу https://ваш-домен/robots.txt.

Файл появится здесь Выберите правила и создайте robots.txt.
Важно

Что robots.txt делает и чего не делает

01

Управляет обходом

Файл сообщает роботам, какие URL не следует сканировать. Это помогает экономить ресурсы обхода.

02

Не защищает данные

Закрытый путь остаётся публичным. Для приватной информации нужна авторизация, а не директива Disallow.

03

Не гарантирует удаление

Уже известный URL может оставаться в поиске. Для управления индексированием используют другие механизмы.

Вопросы

Частые вопросы

Где должен лежать robots.txt?

Только в корне хоста: например, https://example.ru/robots.txt. Файл в подпапке не управляет всем сайтом.

Можно ли закрыть страницу от индексации через Disallow?

Disallow ограничивает обход, но сам по себе не является надёжным способом убрать URL из результатов поиска.

Нужна ли директива Host?

Для большинства современных конфигураций она не нужна. Генератор не добавляет её автоматически.

Нужен технический SEO-аудит сайта?

Проверим robots.txt, sitemap, canonical, статусы страниц, дубли и другие сигналы в одной системе.

Обсудить аудит