Tools Central

Trình tạo và xác thực robots.txt

Tạo một tệp robots.txt, phát hiện lỗi và mô phỏng truy cập vào một URL cho một robot cụ thể.

Xử lý 100% cục bộ: nội dung và URL nhập vào không bao giờ rời khỏi trình duyệt của bạn.

1. Tạo một cơ sở an toàn

Một đầu vào mỗi dòng cho các đường dẫn. Trình tạo thêm « / », mã hóa các khoảng trắng và loại bỏ các quy tắc trùng lặp.

Giao thức, miền và cổng xác định phạm vi của tệp.URL của trang hợp lệ
Sử dụng « * » cho tất cả các robot hoặc một mã sản phẩm như Googlebot.User-agent hợp lệ
Ví dụ: /admin/, /search?, /*.pdf$
Một quy tắc Allow cụ thể hơn có thể mở lại một phần của đường dẫn bị chặn.

2. Chỉnh sửa và xác thực

Dán một tệp hiện có: phân tích sẽ được cập nhật mà không cần yêu cầu mạng.

1nhóm4quy tắc1sitemaps139byte

3. Kiểm tra một URL

Trình mô phỏng áp dụng các nhóm chính xác, quy tắc cụ thể nhất, « * » và « $ » theo RFC 9309.

Khám phá được phépKhông có quy tắc nào áp dụng: việc thu thập thông tin được cho phép theo mặc định.

Ba điểm cần kiểm tra trước khi xuất bản

Phạm vi chính xác

Đặt tệp ở gốc. Các quy tắc của nó chỉ có giá trị cho cùng một giao thức, máy chủ và cổng.

Khám phá, không phải hủy lập chỉ mục

Một URL bị chặn vẫn có thể xuất hiện trong kết quả. Để ngăn chặn việc lập chỉ mục, hãy sử dụng bảo vệ hoặc noindex trên một trang có thể truy cập.

Không có quyền riêng tư

Tệp là công khai và tiết lộ các đường dẫn đã liệt kê. Không bao giờ sử dụng nó như một kiểm soát truy cập cho dữ liệu nhạy cảm.

Quay lại công cụ SEO

Công cụ tương tự

Trình tạo và xác thực sitemap XMLTạo một sitemap URL hoặc một chỉ mục, xác thực XML, ngày tháng, giới hạn và phạm vi, sau đó tải tệp xuống máy tính.
Trình tạo và kiểm tra hreflangTạo các chú thích HTML, HTTP hoặc sitemap, sau đó kiểm tra các tham chiếu tự động, canonical và liên kết trở lại giữa các trang đa ngôn ngữ.
Trình trích xuất dữ liệu có cấu trúcTrích xuất JSON-LD, Microdata và RDFa từ HTML một cách cục bộ, khám phá các thực thể và mối quan hệ, sau đó xuất báo cáo JSON.
Trình kiểm tra head HTMLKiểm tra cục bộ title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter và JSON-LD từ HTML đã dán.
Trình xem trước snippet GoogleKiểm tra một tiêu đề, một mô tả meta và một URL trên máy tính và di động với ước lượng chiều rộng bằng pixel.
Trường PDF → JSONXuất danh sách các trường của một biểu mẫu PDF (AcroForm) sang định dạng JSON.

Tạo và kiểm soát một tệp robots.txt đáng tin cậy

Tệp robots.txt chỉ định cho các robot khám phá các đường dẫn mà họ có thể yêu cầu. Trình tạo chuẩn bị một cơ sở sạch, trình xác thực phát hiện các lỗi thường gặp và trình mô phỏng giải thích quy tắc áp dụng cho một URL.

Trường hợp sử dụng

  • Chuẩn bị một trang web mớiTạo một nhóm User-agent, chặn các không gian không quan trọng cho việc khám phá và khai báo một sitemap tuyệt đối.
  • Kiểm tra một tệp hiện cóDán nội dung của nó để phát hiện các chỉ thị không hợp lệ, các bản sao, các đường dẫn bị định dạng sai, HTML không mong muốn hoặc kích thước lớn hơn 500 KiB.
  • Chẩn đoán một URL bị chặnKiểm tra một URL với một mã sản phẩm cụ thể để xác định nhóm đã chọn và quy tắc Allow hoặc Disallow cụ thể nhất.

Phương pháp được khuyến nghị

Đầu tiên xác định chính xác nguồn gốc của trang web. Một tệp phục vụ qua HTTPS không điều khiển HTTP, một tên miền phụ khác hoặc một cổng khác. Nó phải có thể truy cập tại vị trí /robots.txt.

Bắt đầu với ít quy tắc và các đường dẫn rõ ràng. Khi có nhiều quy tắc phù hợp, quy tắc cụ thể nhất sẽ thắng; nếu có độ cụ thể bằng nhau, Allow sẽ ưu tiên hơn Disallow.

Kiểm tra các robot quan trọng và một số URL đại diện, xuất bản tệp ở định dạng UTF-8 với loại text/plain, sau đó kiểm tra phản hồi HTTP từ bên ngoài.

Giới hạn cần biết

  • Chặn việc khám phá không ngăn một URL xuất hiện trong kết quả tìm kiếm. Một URL được biết đến qua các liên kết có thể vẫn được lập chỉ mục mà không có đoạn trích.
  • robots.txt là công khai và không bảo vệ dữ liệu nào. Sử dụng xác thực và quyền truy cập máy chủ cho các nội dung nhạy cảm.
  • Tiêu chuẩn xác định nền tảng chung, nhưng mỗi robot có thể hỗ trợ các chỉ thị bổ sung. Google đặc biệt bỏ qua Crawl-delay.

Câu hỏi thường gặp

Sự khác biệt giữa Allow và Disallow là gì?
Disallow cấm yêu cầu các đường dẫn tương ứng. Allow tạo ra một ngoại lệ cụ thể hơn trong một không gian bị chặn khác. Một giá trị trống không chặn gì cả.
Chữ hoa và các tham số URL có quan trọng không?
Có. So sánh đường dẫn là nhạy cảm với chữ hoa chữ thường và có thể bao gồm chuỗi truy vấn. Các ký tự * và $ lần lượt đóng vai trò là ký tự đại diện và dấu hiệu kết thúc.
Dữ liệu của tôi có được gửi hoặc ghi lại không?
Không. Việc tạo, phân tích, mô phỏng và xuất tệp được thực hiện cục bộ trong trình duyệt.

Trước khi chặn một đường dẫn

Kiểm tra xem đường dẫn có chứa các tài nguyên cần thiết cho việc hiển thị trang, như các tệp kiểu hoặc các tập lệnh hay không. Một quy tắc ngắn có thể có tác động rộng hơn nhiều so với dự kiến.