Tools Central

Генератор и валидатор robots.txt

Создайте файл robots.txt, обнаружьте ошибки и имитируйте доступ к URL для конкретного робота.

Обработка 100 % локально: содержимое и введенные URL никогда не покидают ваш браузер.

1. Создать безопасную базу

Одна запись на строку для путей. Генератор добавляет « / », кодирует пробелы и удаляет дубликаты правил.

Протокол, домен и порт определяют область действия файла.URL действительного сайта
Используйте « * » для всех роботов или токен продукта, такой как Googlebot.Действительный User-agent
Примеры: /admin/, /search?, /*.pdf$
Более специфичное правило Allow может открыть часть заблокированного пути.

2. Редактировать и валидировать

Также вставьте существующий файл: анализ обновляется без сетевого запроса.

1группы4правила1sitemaps139байты

3. Протестировать URL

Симулятор применяет точные группы, наиболее специфичное правило, « * » и « $ » в соответствии с RFC 9309.

Обход разрешенНет применимого правила: по умолчанию разрешено сканирование.

Три момента, которые нужно проверить перед публикацией

Точная область

Поместите файл в корень. Его правила действуют только для того же протокола, хоста и порта.

Обход, а не деиндексация

Заблокированный URL все еще может появляться в результатах. Чтобы предотвратить индексацию, используйте защиту или noindex на доступной странице.

Нет конфиденциальности

Файл является общедоступным и раскрывает перечисленные пути. Никогда не используйте его в качестве контроля доступа к конфиденциальным данным.

Назад к инструментам SEO

Похожие инструменты

Генератор и валидатор XML-карт сайтаСоздайте карту сайта URL или индекс, проверьте XML, даты, ограничения и диапазон, затем загрузите файл локально.
Генератор и проверка hreflangСоздайте HTML, HTTP или sitemap аннотации, а затем проверьте локально самоссылающиеся ссылки, канонические ссылки и обратные ссылки между многоязычными страницами.
Извлекатель структурированных данныхИзвлекайте локально JSON-LD, Microdata и RDFa из HTML, исследуйте сущности и отношения, а затем экспортируйте ограниченный отчет в формате JSON.
Аудитор заголовка HTMLЛокально проверяйте title, описание, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter и JSON-LD из вставленного HTML.
Предварительный просмотр сниппета GoogleПроверьте заголовок, мета-описание и URL на компьютере и мобильном устройстве с оценкой ширины в пикселях.
Поля PDF → JSONЭкспортировать список полей PDF формы (AcroForm) в формате JSON.

Создайте и контролируйте надежный файл robots.txt

Файл robots.txt указывает роботам-исследователям пути, которые они могут запрашивать. Генератор подготавливает чистую базу, валидатор обнаруживает частые ошибки, а симулятор объясняет правило, применяемое к URL.

Сценарии использования

  • Подготовка нового сайтаСоздайте группу User-agent, заблокируйте неинтересные для исследования пространства и укажите абсолютный sitemap.
  • Аудит существующего файлаВставьте его содержимое, чтобы обнаружить недействительные директивы, дубликаты, неправильно сформированные пути, случайный HTML или размер более 500 Кб.
  • Диагностика заблокированного URLПроверьте URL с помощью конкретного токена продукта, чтобы определить выбранную группу и наиболее специфичное правило Allow или Disallow.

Рекомендуемый метод

Сначала определите точное происхождение сайта. Файл, обслуживаемый по HTTPS, не управляет HTTP, другим поддоменом или другим портом. Он должен быть доступен по адресу /robots.txt.

Начните с небольшого количества правил и явных путей. Когда несколько правил совпадают, более специфичное правило выигрывает; при равной специфичности Allow преобладает над Disallow.

Проверьте важных роботов и несколько представительных URL, опубликуйте файл в UTF-8 с типом text/plain, затем проверьте ответ HTTP извне.

Ограничения, которые следует знать

  • Блокировка исследования не всегда предотвращает появление URL в результатах поиска. URL, известный по ссылкам, может оставаться индексированным без фрагмента.
  • robots.txt является общедоступным и не защищает никакие данные. Используйте аутентификацию и серверные разрешения для чувствительного контента.
  • Стандарт определяет общую основу, но каждый робот может поддерживать дополнительные директивы. Google, в частности, игнорирует Crawl-delay.

Часто задаваемые вопросы

В чем разница между Allow и Disallow?
Disallow запрещает запросы к соответствующим путям. Allow создает более специфическое исключение в пространстве, которое в противном случае заблокировано. Пустое значение ничего не блокирует.
Имеют ли значение заглавные буквы и параметры URL?
Да. Сравнение пути чувствительно к регистру и может включать строку запроса. Символы * и $ служат соответственно подстановочным знаком и маркером конца.
Мои данные отправляются или сохраняются?
Нет. Генерация, анализ, симуляция и экспорт файла выполняются локально в браузере.

Перед блокировкой пути

Убедитесь, что путь не содержит ресурсов, необходимых для рендеринга страниц, таких как таблицы стилей или скрипты. Короткое правило может иметь гораздо более широкий эффект, чем ожидалось.