Генератор и валидатор robots.txt

Създайте файл robots.txt, открийте грешки и симулирайте достъп до URL адрес за конкретен робот.

100 % локална обработка: съдържанието и въведените URL адреси никога не напускат вашия браузър.

1. Генерирайте безопасна основа

Едно въвеждане на ред за пътищата. Генераторът добавя « / », кодира интервалите и дублира правилата.

2. Редактиране и валидиране

Също така поставете съществуващ файл: анализът се актуализира без мрежова заявка.

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /private/
Disallow: /search?

Sitemap: https://www.tools-central.com/sitemap.xml

1групи4правила1sitemaps139байтове

3. Тест на URL

Симулаторът прилага точните групи, най-специфичното правило, « * » и « $ » съгласно RFC 9309.

Продуктова токен на робота

URL или път за тестване

Разрешено проучванеНяма приложимо правило: обхождането е разрешено по подразбиране.

Три точки за проверка преди публикуване

Точен обхват

Поставете файла в корена. Неговите правила важат само за същия протокол, хост и порт.

Проучване, не деиндексиране

Блокиран URL все още може да се появи в резултатите. За да предотвратите индексирането, използвайте защита или noindex на достъпна страница.

Няма конфиденциалност

Файлът е публичен и разкрива изброените пътища. Никога не го използвайте като контрол на достъпа до чувствителни данни.

Върнете се към SEO инструментите

Случаи на употреба

Подготовка на нов сайтСъздайте група User-agent, блокирайте неинтересните за проучване пространства и декларирайте абсолютен sitemap.
Аудит на съществуващ файлПоставете съдържанието му, за да откриете невалидни директиви, дублирани записи, неправилно форматирани пътища, случайно HTML или размер над 500 Кио.
Диагностика на блокиран URLТествайте URL с конкретен продуктен токен, за да идентифицирате избраната група и най-специфичното правило Allow или Disallow.

Препоръчителен метод

Първо определете точния произход на сайта. Файл, обслужван по HTTPS, не управлява HTTP, различен поддомейн или друг порт. Той трябва да бъде достъпен на местоположение /robots.txt.

Започнете с малко правила и ясни пътища. Когато съществуват няколко правила, най-специфичното печели; при равна специфичност, Allow преобладава над Disallow.

Тествайте важните роботи и няколко представителни URL адреса, публикувайте файла в UTF-8 с тип text/plain, след което проверете HTTP отговор от външната страна.

Ограничения, които трябва да знаете

Блокирането на проучването не винаги предотвратява появата на URL в резултат от търсене. URL, известен чрез линкове, може да остане индексиран без извлечение.
robots.txt е публичен и не защитава никакви данни. Използвайте удостоверяване и разрешения на сървъра за чувствително съдържание.
Стандартът определя общата основа, но всеки робот може да поддържа допълнителни директиви. Google особено игнорира Crawl-delay.

Често задавани въпроси

Каква е разликата между Allow и Disallow?

Disallow забранява заявките за съответните пътища. Allow създава по-специфично изключение в иначе блокирано пространство. Празната стойност не блокира нищо.

Важни ли са главните букви и параметрите на URL?

Да. Сравнението на пътя е чувствително към регистъра и може да включва низ на заявката. Символите * и $ служат съответно като заместващ символ и маркер за край.

Изпращат ли се или се записват моите данни?

Не. Генерирането, анализирането, симулирането и експортирането на файла се извършват локално в браузъра.

Преди да блокирате път

Уверете се, че пътят не съдържа ресурси, необходими за рендиране на страниците, като стилови листи или скриптове. Кратко правило може да има много по-широк ефект от очакваното.