Tools Central

Генератор та валідатор robots.txt

Створіть файл robots.txt, виявляйте помилки та симулюйте доступ до URL для конкретного робота.

Обробка 100 % локально: вміст та введені URL ніколи не залишають ваш браузер.

1. Генерувати безпечну базу

Одна запис на рядок для шляхів. Генератор додає « / », кодує пробіли та усуває дублікати правил.

Протокол, домен і порт визначають область дії файлу.Дійсна URL-адреса сайту
Використовуйте « * » для всіх роботів або токен продукту, наприклад, Googlebot.Дійсний User-agent
Приклади: /admin/, /search?, /*.pdf$
Більш специфічне правило Allow може знову відкрити частину заблокованого шляху.

2. Редагувати та перевірити

Також вставте існуючий файл: аналіз оновлюється без мережевого запиту.

1групи4правила1sitemaps139байти

3. Перевірити URL

Симулятор застосовує точні групи, найбільш специфічне правило, « * » і « $ » відповідно до RFC 9309.

Дозволена індексаціяНемає застосовного правила: за замовчуванням дозволено сканування.

Три пункти для перевірки перед публікацією

Точна область дії

Розмістіть файл у кореневій директорії. Його правила діють лише для одного й того ж протоколу, хоста та порту.

Індексація, а не деіндексація

Заблокована URL-адреса все ще може з'являтися в результатах. Щоб запобігти індексації, використовуйте захист або noindex на доступній сторінці.

Немає конфіденційності

Файл є публічним і розкриває вказані шляхи. Ніколи не використовуйте його як контроль доступу до чутливих даних.

Повернутися до SEO-інструментів

Схожі інструменти

Генератор та валідатор XML-карт сайтуСтворіть карту сайту URL або індекс, перевірте XML, дати, обмеження та обсяг, а потім завантажте файл локально.
Генератор та перевірник hreflangСтворіть HTML, HTTP або sitemap анотації, а потім перевірте локально автопосилання, канонічні та зворотні посилання між багатомовними сторінками.
Витягувач структурованих данихЛокально витягувати JSON-LD, Microdata та RDFa з HTML, досліджувати сутності та зв'язки, а потім експортувати звіт у форматі JSON.
Аудитор HTML заголовкаЛокально перевірте title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter та JSON-LD з вставленого HTML.
Попередній перегляд фрагмента GoogleПеревірте заголовок, метаопис та URL на комп'ютері та мобільному з оцінкою ширини в пікселях.
Поля PDF → JSONЕкспортувати список полів PDF-форми (AcroForm) у формат JSON.

Створіть та контролюйте надійний файл robots.txt

Файл robots.txt вказує роботам-сканерам, які шляхи вони можуть запитувати. Генератор готує чисту базу, валідатор виявляє поширені помилки, а симулятор пояснює правило, застосоване до URL.

Випадки використання

  • Підготовка нового сайтуСтворіть групу User-agent, заблокуйте непотрібні для сканування шляхи та вкажіть абсолютний sitemap.
  • Аудит існуючого файлуВставте його вміст, щоб виявити недійсні директиви, дублікати, неправильно сформовані шляхи, випадковий HTML або розмір, що перевищує 500 Кіо.
  • Діагностика заблокованого URLПеревірте URL з конкретним токеном продукту, щоб визначити вибрану групу та найбільш специфічне правило Allow або Disallow.

Рекомендований метод

Спочатку визначте точне походження сайту. Файл, що подається через HTTPS, не керує HTTP, іншим піддоменом або іншим портом. Він має бути доступний за адресою /robots.txt.

Почніть з небагатьох правил та явних шляхів. Коли кілька правил збігаються, виграє найбільш специфічне; при рівній специфічності Allow переважає над Disallow.

Перевірте важливі роботи та кілька репрезентативних URL, опублікуйте файл у UTF-8 з типом text/plain, а потім перевірте HTTP-відповідь ззовні.

Обмеження, які слід знати

  • Блокування сканування не завжди запобігає появі URL у результатах пошуку. URL, відомий через посилання, може залишатися проіндексованим без витягу.
  • robots.txt є публічним і не захищає жодні дані. Використовуйте автентифікацію та серверні дозволи для чутливого контенту.
  • Стандарт визначає спільну основу, але кожен робот може підтримувати додаткові директиви. Google, зокрема, ігнорує Crawl-delay.

Часті запитання

Яка різниця між Allow та Disallow?
Disallow забороняє запитувати відповідні шляхи. Allow створює більш специфічне виключення в інакше заблокованому просторі. Порожнє значення нічого не блокує.
Чи враховуються великі літери та параметри URL?
Так. Порівняння шляху чутливе до регістру і може включати рядок запиту. Символи * та $ використовуються відповідно як підстановочний знак та маркер кінця.
Чи надсилаються або зберігаються мої дані?
Ні. Генерація, аналіз, симуляція та експорт файлу виконуються локально в браузері.

Перед блокуванням шляху

Переконайтеся, що шлях не містить ресурсів, необхідних для рендерингу сторінок, таких як таблиці стилів або скрипти. Коротке правило може мати набагато ширший ефект, ніж очікувалося.