robots.txt Oluşturucu ve Doğrulayıcı

Bir robots.txt dosyası oluşturun, hataları tespit edin ve belirli bir robot için bir URL'ye erişimi simüle edin.

%100 yerel işleme: girilen içerik ve URL'ler asla tarayıcınızı terk etmez.

1. Güvenli bir temel oluşturun

Yollar için her satıra bir giriş. Oluşturucu « / » ekler, boşlukları kodlar ve kuralları tekrarlar.

2. Düzenle ve doğrula

Ayrıca mevcut bir dosyayı yapıştırın: analiz ağ isteği olmadan güncellenir.

User-agent: *
Allow: /assets/
Disallow: /admin/
Disallow: /private/
Disallow: /search?

Sitemap: https://www.tools-central.com/sitemap.xml

1gruplar4kurallar1sitemap'ler139bayt

3. Bir URL'yi test et

Simülatör, tam grupları, en spesifik kuralı, « * » ve « $ » RFC 9309'a göre uygular.

Robotun ürün belirteci

Test edilecek URL veya yol

Tarama izin verildiGeçerli kural yok: tarama varsayılan olarak izinlidir.

Yayınlamadan önce kontrol edilmesi gereken üç nokta

Kesin kapsam

Dosyayı kök dizine yerleştirin. Kuralları yalnızca aynı protokol, ana bilgisayar ve port için geçerlidir.

Tarama, dizin dışı bırakma değil

Engellenmiş bir URL hala sonuçlarda görünebilir. Dizin dışı bırakmayı önlemek için, erişilebilir bir sayfada koruma veya noindex kullanın.

Hiçbir gizlilik

Dosya herkese açıktır ve listelenen yolları açığa çıkarır. Bunu asla hassas verilere erişim kontrolü olarak kullanmayın.

SEO araçlarına geri dön

Kullanım durumları

Yeni bir site hazırlamakBir User-agent grubu oluşturun, tarama için önemsiz alanları engelleyin ve mutlak bir sitemap belirtin.
Mevcut bir dosyayı denetlemekİçeriğini yapıştırarak geçersiz direktifleri, tekrarları, hatalı yolları, kazara eklenmiş HTML'yi veya 500 Kio'dan büyük boyutları tespit edin.
Engellenmiş bir URL'yi teşhis etmekSeçilen grubu ve en spesifik Allow veya Disallow kuralını belirlemek için belirli bir ürün token ile bir URL'yi test edin.

Tavsiye edilen yöntem

Öncelikle sitenin tam kaynağını belirleyin. HTTPS ile sunulan bir dosya, HTTP'yi, farklı bir alt alanı veya başka bir portu yönetmez. /robots.txt konumunda erişilebilir olmalıdır.

Öncelikle az sayıda kural ve açık yollarla başlayın. Birden fazla kural eşleştiğinde, en spesifik olan kazanır; eşit spesifiklikte Allow, Disallow'dan üstündür.

Önemli robotları ve birkaç temsilci URL'yi test edin, dosyayı UTF-8 olarak text/plain türünde yayınlayın ve ardından dışarıdan HTTP yanıtını kontrol edin.

Bilmeniz gereken sınırlamalar

Tarama engellemek, bir URL'nin arama sonuçlarında görünmesini her zaman engellemez. Bağlantılarla bilinen bir URL, özet olmadan dizine eklenebilir.
robots.txt herkese açıktır ve hiçbir veriyi korumaz. Hassas içerikler için kimlik doğrulama ve sunucu izinleri kullanın.
Standart ortak bir temel tanımlar, ancak her robot ek direktifleri destekleyebilir. Özellikle Google, Crawl-delay'i göz ardı eder.

Sıkça Sorulan Sorular

Allow ve Disallow arasındaki fark nedir?

Disallow, eşleşen yolların talebini yasaklar. Allow, aksi takdirde engellenmiş bir alanda daha spesifik bir istisna oluşturur. Boş bir değer hiçbir şeyi engellemez.

Büyük harfler ve URL parametreleri önemli mi?

Evet. Yol karşılaştırması büyük/küçük harf duyarlıdır ve sorgu dizisini içerebilir. * ve $ karakterleri sırasıyla joker ve son işareti olarak kullanılır.

Verilerim gönderiliyor veya kaydediliyor mu?

Hayır. Dosyanın oluşturulması, analizi, simülasyonu ve dışa aktarımı tarayıcıda yerel olarak gerçekleştirilir.

Bir yolu engellemeden önce

Yolun, sayfaların render edilmesi için gerekli kaynakları içermediğinden emin olun, örneğin stil sayfaları veya betikler. Kısa bir kural, beklenenden çok daha geniş bir etki yaratabilir.