Tools Central

Γεννήτρια και επικυρωτής robots.txt

Δημιουργήστε ένα αρχείο robots.txt, ανιχνεύστε τα σφάλματα και προσομοιώστε την πρόσβαση σε μια διεύθυνση URL για ένα συγκεκριμένο ρομπότ.

Επεξεργασία 100 % τοπικά: το περιεχόμενο και οι διευθύνσεις URL που εισάγονται δεν φεύγουν ποτέ από τον περιηγητή σας.

1. Δημιουργήστε μια ασφαλή βάση

Μία είσοδος ανά γραμμή για τους δρόμους. Η γεννήτρια προσθέτει « / », κωδικοποιεί τους χώρους και αφαιρεί τις διπλοεγγραφές.

Το πρωτόκολλο, το domain και η θύρα καθορίζουν την εμβέλεια του αρχείου.Έγκυρη URL του ιστότοπου
Χρησιμοποιήστε « * » για όλους τους ρομπότ ή ένα token προϊόντος όπως το Googlebot.Έγκυρος User-agent
Παραδείγματα: /admin/, /search?, /*.pdf$
Ένας πιο συγκεκριμένος κανόνας Allow μπορεί να ξανανοίξει ένα μέρος μιας αποκλεισμένης διαδρομής.

2. Επεξεργασία και επικύρωση

Επικολλήστε επίσης ένα υπάρχον αρχείο: η ανάλυση ενημερώνεται χωρίς αίτημα δικτύου.

1ομάδες4κανόνες1sitemaps139byte

3. Δοκιμή μιας URL

Ο προσομοιωτής εφαρμόζει τις ακριβείς ομάδες, τον πιο συγκεκριμένο κανόνα, « * » και « $ » σύμφωνα με το RFC 9309.

Επιτρεπόμενη εξερεύνησηΚαμία εφαρμόσιμη κανόνας: η εξερεύνηση επιτρέπεται από προεπιλογή.

Τρία σημεία προς έλεγχο πριν από τη δημοσίευση

Ακριβής εμβέλεια

Τοποθετήστε το αρχείο στη ρίζα. Οι κανόνες του ισχύουν μόνο για το ίδιο πρωτόκολλο, host και port.

Εξερεύνηση, όχι απο-ευρετηρίαση

Μια αποκλεισμένη URL μπορεί να εμφανίζεται ακόμα στα αποτελέσματα. Για να αποτρέψετε την ευρετηρίαση, χρησιμοποιήστε προστασία ή noindex σε μια προσβάσιμη σελίδα.

Καμία εμπιστευτικότητα

Το αρχείο είναι δημόσιο και αποκαλύπτει τους καταλόγους που αναφέρονται. Μην το χρησιμοποιείτε ποτέ ως έλεγχο πρόσβασης σε ευαίσθητα δεδομένα.

Επιστροφή στα εργαλεία SEO

Παρόμοια εργαλεία

Γεννήτρια και επικυρωτής sitemap XMLΔημιουργήστε ένα sitemap URL ή έναν δείκτη, επικυρώστε το XML, τις ημερομηνίες, τα όρια και την εμβέλεια, και στη συνέχεια κατεβάστε το αρχείο τοπικά.
Γεννήτρια και ελεγκτής hreflangΔημιουργήστε HTML, HTTP ή sitemap annotations και ελέγξτε τοπικά τις αυτοαναφορές, τα canonical και τους επιστρεφόμενους συνδέσμους μεταξύ πολυγλωσσικών σελίδων.
Εξαγωγέας δομημένων δεδομένωνΕξαγάγετε τοπικά JSON-LD, Microdata και RDFa από HTML, εξερευνήστε τις οντότητες και τις σχέσεις, και στη συνέχεια εξάγετε μια αναφορά JSON.
Ελεγκτής κεφαλής HTMLΕλέγξτε το title, την περιγραφή, το canonical, τα robots, το viewport, το charset, το hreflang, το Open Graph, το Twitter και το JSON-LD από κολλημένο HTML.
Προεπισκόπηση snippet GoogleΔοκιμάστε έναν τίτλο, μια μετα-περιγραφή και μια διεύθυνση URL σε υπολογιστή και κινητό με εκτίμηση πλάτους σε pixels.
Πεδία PDF → JSONΕξάγετε τη λίστα των πεδίων μιας φόρμας PDF (AcroForm) σε μορφή JSON.

Δημιουργήστε και ελέγξτε ένα αξιόπιστο αρχείο robots.txt

Το αρχείο robots.txt υποδεικνύει στα ρομπότ εξερεύνησης τους δρόμους που μπορούν να ζητήσουν. Η γεννήτρια προετοιμάζει μια καθαρή βάση, ο επικυρωτής ανιχνεύει συχνά σφάλματα και ο προσομοιωτής εξηγεί τον κανόνα που εφαρμόζεται σε μια διεύθυνση URL.

Περίπτωσεις χρήσης

  • Προετοιμάστε μια νέα ιστοσελίδαΔημιουργήστε μια ομάδα User-agent, αποκλείστε τους μη ενδιαφέροντες χώρους για την εξερεύνηση και δηλώστε έναν απόλυτο χάρτη ιστοσελίδας.
  • Αξιολογήστε ένα υπάρχον αρχείοΕπικολλήστε το περιεχόμενό του για να εντοπίσετε τις μη έγκυρες οδηγίες, τις διπλοεγγραφές, τις κακώς διαμορφωμένες διαδρομές, το τυχαίο HTML ή ένα μέγεθος μεγαλύτερο από 500 Kio.
  • Διαγνώστε μια αποκλεισμένη διεύθυνση URLΔοκιμάστε μια διεύθυνση URL με έναν συγκεκριμένο κωδικό προϊόντος για να προσδιορίσετε την επιλεγμένη ομάδα και τον πιο συγκεκριμένο κανόνα Allow ή Disallow.

Συνιστώμενη μέθοδος

Ορίστε πρώτα την ακριβή προέλευση της ιστοσελίδας. Ένα αρχείο που εξυπηρετείται μέσω HTTPS δεν κυβερνά το HTTP, μια διαφορετική υποτομέα ή άλλη θύρα. Πρέπει να είναι προσβάσιμο στη θέση /robots.txt.

Ξεκινήστε με λίγους κανόνες και σαφείς δρόμους. Όταν πολλοί κανόνες ταιριάζουν, ο πιο συγκεκριμένος κερδίζει. Σε ίση ειδικότητα, το Allow υπερισχύει του Disallow.

Δοκιμάστε τα σημαντικά ρομπότ και μερικές αντιπροσωπευτικές διευθύνσεις URL, δημοσιεύστε το αρχείο σε UTF-8 με τον τύπο text/plain και στη συνέχεια ελέγξτε την απόκριση HTTP από το εξωτερικό.

Όρια που πρέπει να γνωρίζετε

  • Η απαγόρευση της εξερεύνησης δεν εμποδίζει πάντα μια διεύθυνση URL να εμφανίζεται σε ένα αποτέλεσμα αναζήτησης. Μια διεύθυνση URL που είναι γνωστή μέσω συνδέσμων μπορεί να παραμείνει ευρετηριασμένη χωρίς απόσπασμα.
  • Το robots.txt είναι δημόσιο και δεν προστατεύει καμία δεδομένα. Χρησιμοποιήστε αυθεντικοποίηση και άδειες διακομιστή για ευαίσθητο περιεχόμενο.
  • Το πρότυπο καθορίζει τη βάση, αλλά κάθε ρομπότ μπορεί να υποστηρίζει επιπλέον οδηγίες. Ο Google αγνοεί ειδικά το Crawl-delay.

Συχνές ερωτήσεις

Ποια είναι η διαφορά μεταξύ Allow και Disallow;
Το Disallow απαγορεύει την αίτηση των αντίστοιχων δρόμων. Το Allow δημιουργεί μια πιο συγκεκριμένη εξαίρεση σε έναν χώρο που είναι διαφορετικά αποκλεισμένος. Μια κενή τιμή δεν αποκλείει τίποτα.
Μετράνε οι κεφαλαίοι χαρακτήρες και οι παράμετροι διεύθυνσης URL;
Ναι. Η σύγκριση του δρόμου είναι ευαίσθητη σε πεζά και μπορεί να περιλαμβάνει τη σειρά ερωτήματος. Οι χαρακτήρες * και $ χρησιμεύουν αντίστοιχα ως μάρκες και δείκτες τέλους.
Αποστέλλονται ή καταγράφονται τα δεδομένα μου;
Όχι. Η δημιουργία, η ανάλυση, η προσομοίωση και η εξαγωγή του αρχείου πραγματοποιούνται τοπικά στον περιηγητή.

Πριν αποκλείσετε έναν δρόμο

Ελέγξτε ότι ο δρόμος δεν περιέχει τους πόρους που απαιτούνται για την απόδοση των σελίδων, όπως τα φύλλα στυλ ή τα σενάρια. Ένας σύντομος κανόνας μπορεί να έχει πολύ μεγαλύτερη επίδραση από ό,τι αναμενόταν.