Tools Central

Generator dan validator robots.txt

Buat file robots.txt, deteksi kesalahan, dan simulasikan akses ke URL untuk robot tertentu.

Pengolahan 100% lokal: konten dan URL yang dimasukkan tidak pernah meninggalkan browser Anda.

1. Hasilkan basis yang aman

Satu entri per baris untuk jalur. Generator menambahkan « / », mengkodekan spasi, dan menduplikasi aturan.

Protokol, domain, dan port menentukan cakupan file.URL situs yang valid
Gunakan « * » untuk semua robot atau token produk seperti Googlebot.User-agent yang valid
Contoh: /admin/, /search?, /*.pdf$
Aturan Allow yang lebih spesifik dapat membuka kembali sebagian dari jalur yang diblokir.

2. Edit dan validasi

Tempel juga file yang ada: analisis diperbarui tanpa permintaan jaringan.

1grup4aturan1sitemaps139byte

3. Uji URL

Simulator menerapkan grup yang tepat, aturan yang paling spesifik, « * » dan « $ » sesuai RFC 9309.

Penjelajahan diizinkanTidak ada aturan yang berlaku: penjelajahan diizinkan secara default.

Tiga poin untuk diperiksa sebelum publikasi

Cakupan yang tepat

Tempatkan file di root. Aturan-aturannya hanya berlaku untuk protokol, host, dan port yang sama.

Penjelajahan, bukan pengindeksan

URL yang diblokir masih dapat muncul dalam hasil. Untuk mencegah pengindeksan, gunakan perlindungan atau noindex pada halaman yang dapat diakses.

Tidak ada kerahasiaan

File ini bersifat publik dan mengungkapkan jalur yang terdaftar. Jangan pernah menggunakannya sebagai kontrol akses untuk data sensitif.

Kembali ke alat SEO

Alat terkait

Generator dan validator sitemap XMLBuat sitemap URL atau indeks, validasi XML, tanggal, batasan, dan ruang lingkup, lalu unduh file secara lokal.
Generator dan pemeriksa hreflangBuat anotasi HTML, HTTP, atau sitemap, lalu periksa secara lokal referensi diri, kanonik, dan tautan balik antara halaman multibahasa.
Ekstraktor Data TerstrukturEkstrak JSON-LD, Microdata, dan RDFa secara lokal dari HTML, jelajahi entitas dan hubungan, lalu ekspor laporan JSON yang terbatasi.
Auditor Judul HTMLAudit secara lokal title, deskripsi, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter, dan JSON-LD dari HTML yang disalin.
Prabaca snippet GoogleUji judul, deskripsi meta, dan URL di komputer dan seluler dengan perkiraan lebar dalam piksel.
Bidang PDF → JSONEkspor daftar bidang dari formulir PDF (AcroForm) ke format JSON.

Buat dan kontrol file robots.txt yang dapat diandalkan

File robots.txt memberi tahu robot penjelajah jalur yang dapat mereka minta. Generator menyiapkan basis yang bersih, validator mendeteksi kesalahan umum, dan simulator menjelaskan aturan yang diterapkan pada URL.

Kasus penggunaan

  • Siapkan situs baruBuat grup User-agent, blokir ruang yang tidak menarik untuk penjelajahan, dan nyatakan sitemap absolut.
  • Audit file yang adaTempelkan kontennya untuk mendeteksi arahan yang tidak valid, duplikat, jalur yang salah format, HTML yang tidak sengaja, atau ukuran yang lebih besar dari 500 Kio.
  • Diagnosa URL yang diblokirUji URL dengan token produk tertentu untuk mengidentifikasi grup yang dipilih dan aturan Allow atau Disallow yang paling spesifik.

Metode yang disarankan

Tentukan terlebih dahulu asal tepat situs. File yang disajikan dalam HTTPS tidak mengatur HTTP, subdomain yang berbeda, atau port lain. Itu harus dapat diakses di lokasi /robots.txt.

Mulailah dengan sedikit aturan dan jalur yang eksplisit. Ketika beberapa aturan cocok, yang paling spesifik menang; pada spesifikasi yang sama, Allow mengalahkan Disallow.

Uji robot penting dan beberapa URL representatif, terbitkan file dalam UTF-8 dengan tipe text/plain, lalu periksa respons HTTP dari luar.

Batasan yang perlu diketahui

  • Memblokir penjelajahan tidak selalu mencegah URL muncul dalam hasil pencarian. URL yang dikenal melalui tautan dapat tetap terindeks tanpa cuplikan.
  • robots.txt bersifat publik dan tidak melindungi data apa pun. Gunakan otentikasi dan izin server untuk konten sensitif.
  • Standar mendefinisikan dasar umum, tetapi setiap robot dapat mendukung direktif tambahan. Google khususnya mengabaikan Crawl-delay.

Pertanyaan yang sering diajukan

Apa perbedaan antara Allow dan Disallow?
Disallow melarang permintaan jalur yang sesuai. Allow membuat pengecualian yang lebih spesifik dalam ruang yang sebaliknya diblokir. Nilai kosong tidak memblokir apa pun.
Apakah huruf besar dan parameter URL diperhitungkan?
Ya. Perbandingan jalur sensitif terhadap huruf besar dan dapat mencakup string kueri. Karakter * dan $ masing-masing berfungsi sebagai wildcard dan penanda akhir.
Apakah data saya dikirim atau disimpan?
Tidak. Pembuatan, analisis, simulasi, dan ekspor file dilakukan secara lokal di browser.

Sebelum memblokir jalur

Pastikan jalur tidak mengandung sumber daya yang diperlukan untuk merender halaman, seperti stylesheet atau skrip. Aturan yang singkat dapat memiliki efek yang jauh lebih luas dari yang diharapkan.