Generator i walidator robots.txt

Utwórz plik robots.txt, wykryj błędy i symuluj dostęp do URL dla konkretnego robota.

Przetwarzanie 100% lokalne: wprowadzone treści i URL nigdy nie opuszczają twojej przeglądarki.

1. Generowanie bezpiecznej bazy

Jedno wejście na linię dla ścieżek. Generator dodaje „/”, koduje spacje i usuwa duplikaty reguł.

2. Edytuj i waliduj

Wklej również istniejący plik: analiza aktualizuje się bez zapytania sieciowego.

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /private/
Disallow: /search?

Sitemap: https://www.tools-central.com/sitemap.xml

1grupy4zasady1sitemapy139bajty

3. Testuj adres URL

Symulator stosuje dokładne grupy, najbardziej szczegółową zasadę, „*” i „$” zgodnie z RFC 9309.

Token produktu robota

Adres URL lub ścieżka do przetestowania

Zezwolenie na indeksowanieBrak obowiązującej zasady: eksploracja jest domyślnie dozwolona.

Trzy punkty do sprawdzenia przed publikacją

Dokładny zakres

Umieść plik w katalogu głównym. Jego zasady dotyczą tylko tego samego protokołu, hosta i portu.

Indeksowanie, nie deindeksowanie

Zablokowany adres URL może nadal pojawiać się w wynikach. Aby zapobiec indeksowaniu, użyj ochrony lub noindex na dostępnej stronie.

Brak poufności

Plik jest publiczny i ujawnia wymienione ścieżki. Nigdy nie używaj go jako kontroli dostępu do danych wrażliwych.

Powrót do narzędzi SEO

Przykłady użycia

Przygotowanie nowej witrynyUtwórz grupę User-agent, zablokuj nieistotne ścieżki dla eksploracji i zadeklaruj absolutny sitemap.
Audyt istniejącego plikuWklej jego zawartość, aby zidentyfikować nieprawidłowe dyrektywy, duplikaty, źle sformułowane ścieżki, przypadkowy HTML lub rozmiar większy niż 500 Kio.
Diagnozowanie zablokowanego URLPrzetestuj URL z konkretnym tokenem produktu, aby zidentyfikować wybraną grupę i najbardziej specyficzną regułę Allow lub Disallow.

Zalecana metoda

Najpierw określ dokładne źródło witryny. Plik serwowany przez HTTPS nie rządzi HTTP, inną subdomeną ani innym portem. Musi być dostępny pod adresem /robots.txt.

Zacznij od niewielkiej liczby reguł i wyraźnych ścieżek. Gdy wiele reguł pasuje, wygrywa najbardziej specyficzna; przy równej specyficzności, Allow ma pierwszeństwo przed Disallow.

Testuj ważne roboty i kilka reprezentatywnych URL, opublikuj plik w UTF-8 z typem text/plain, a następnie sprawdź odpowiedź HTTP z zewnątrz.

Limity do poznania

Zablokowanie eksploracji nie zawsze uniemożliwia pojawienie się URL w wynikach wyszukiwania. URL znany z linków może pozostać zindeksowany bez fragmentu.
robots.txt jest publiczny i nie chroni żadnych danych. Użyj uwierzytelniania i uprawnień serwera dla treści wrażliwych.
Standard definiuje wspólną podstawę, ale każdy robot może obsługiwać dodatkowe dyrektywy. Google szczególnie ignoruje Crawl-delay.

Najczęściej zadawane pytania

Jaka jest różnica między Allow a Disallow?

Disallow zabrania żądania odpowiadających ścieżek. Allow tworzy bardziej specyficzny wyjątek w przestrzeni, która jest w przeciwnym razie zablokowana. Pusta wartość nic nie blokuje.

Czy wielkie litery i parametry URL mają znaczenie?

Tak. Porównanie ścieżki jest wrażliwe na wielkość liter i może obejmować ciąg zapytania. Znaki * i $ służą odpowiednio jako wildcard i znacznik końca.

Czy moje dane są wysyłane lub rejestrowane?

Nie. Generowanie, analizowanie, symulowanie i eksport pliku odbywa się lokalnie w przeglądarce.

Przed zablokowaniem ścieżki

Upewnij się, że ścieżka nie zawiera zasobów niezbędnych do renderowania stron, takich jak arkusze stylów czy skrypty. Krótka reguła może mieć znacznie szerszy wpływ, niż się spodziewasz.