Tools Central

Tagabuo at Tagapag-validate ng robots.txt

Lumikha ng isang file na robots.txt, tukuyin ang mga pagkakamali, at simulan ang pag-access sa isang URL para sa isang tiyak na robot.

100% lokal na pagproseso: ang nilalaman at mga URL na ipinasok ay hindi kailanman umaalis sa iyong browser.

1. Bumuo ng isang ligtas na batayan

Isang entry bawat linya para sa mga landas. Ang tagabuo ay nagdaragdag ng « / », nag-eencode ng mga espasyo, at nagdeduplicate ng mga patakaran.

Ang protocol, domain, at port ay nagtatakda ng saklaw ng file.Wastong URL ng site
Gamitin ang « * » para sa lahat ng robot o isang product token tulad ng Googlebot.Wastong User-agent
Mga halimbawa: /admin/, /search?, /*.pdf$
Ang mas tiyak na Allow rule ay maaaring muling buksan ang bahagi ng isang landas na nahadlangan.

2. I-edit at i-validate

I-paste din ang isang umiiral na file: ang pagsusuri ay nag-a-update nang walang network request.

1mga grupo4mga patakaran1mga sitemaps139mga byte

3. Subukan ang isang URL

Ang simulator ay nag-aaplay ng eksaktong mga grupo, ang pinaka tiyak na patakaran, « * » at « $ » ayon sa RFC 9309.

Pinapayagang pag-crawlWalang naaangkop na patakaran: ang pag-crawl ay pinapayagan sa default.

Tatlong bagay na dapat suriin bago ilathala

Tumpak na saklaw

Ilagay ang file sa root. Ang mga patakaran nito ay nalalapat lamang sa parehong protocol, host, at port.

Pag-crawl, hindi pag-disenindex

Ang isang nahadlang na URL ay maaari pa ring lumitaw sa mga resulta. Upang pigilan ang pag-index, gumamit ng proteksyon o noindex sa isang accessible na pahina.

Walang privacy

Ang file ay pampubliko at naglalantad ng mga nakalistang landas. Huwag itong gamitin bilang kontrol sa pag-access sa sensitibong data.

Bumalik sa mga tool ng SEO

Mga katulad na tool

Tagabuo at tagapag-validate ng sitemap XMLLumikha ng sitemap ng URL o index, i-validate ang XML, mga petsa, mga limitasyon at saklaw, pagkatapos ay i-download ang file nang lokal.
Tagapaglikha at tagasuri ng hreflangLumikha ng mga HTML, HTTP, o sitemap na anotasyon, pagkatapos ay suriin ang mga auto-reference, canonical, at mga link pabalik sa pagitan ng mga multilingual na pahina.
Extractor ng Structured DataI-extract ang JSON-LD, Microdata, at RDFa mula sa HTML nang lokal, galugarin ang mga entidad at relasyon, at pagkatapos ay i-export ang isang ulat na JSON.
Auditor ng head HTMLSuriin ang title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter at JSON-LD mula sa nakadikit na HTML.
Google snippet previewerSubukan ang isang pamagat, meta description, at URL sa desktop at mobile na may pagtataya ng lapad sa mga pixels.
Mga Patlang PDF → JSONI-export ang listahan ng mga field ng isang PDF form (AcroForm) sa JSON format.

Lumikha at kontrolin ang isang maaasahang file na robots.txt

Ang file na robots.txt ay nagsasaad sa mga robot ng pagsisiyasat kung aling mga landas ang maaari nilang hilingin. Ang tagabuo ay naghahanda ng isang malinis na batayan, ang tagapag-validate ay tumutukoy sa mga karaniwang pagkakamali, at ang tagasubok ay nagpapaliwanag ng patakarang inilapat sa isang URL.

Mga Kasong Paggamit

  • Ihanda ang isang bagong siteLumikha ng isang grupo ng User-agent, harangan ang mga hindi mahalagang espasyo para sa pagsisiyasat, at ideklara ang isang ganap na sitemap.
  • Suriin ang isang umiiral na fileI-paste ang nilalaman nito upang matukoy ang mga hindi wastong direktiba, mga duplicate, maling nabuo na mga landas, aksidenteng HTML o sukat na higit sa 500 Kio.
  • Diagnose ang isang naka-block na URLSubukan ang isang URL gamit ang isang tiyak na product token upang matukoy ang napiling grupo at ang pinaka-tiyak na patakarang Allow o Disallow.

Inirerekomendang Paraan

Tukuyin muna ang eksaktong pinagmulan ng site. Ang isang file na inihahatid sa HTTPS ay hindi namamahala sa HTTP, isang ibang sub-domain, o ibang port. Dapat itong ma-access sa lokasyon na /robots.txt.

Magsimula sa kaunting mga patakaran at mga tiyak na landas. Kapag maraming mga patakaran ang tumutugma, ang pinaka-tiyak ang mananaig; sa pantay na tiyak, ang Allow ay nangingibabaw sa Disallow.

Subukan ang mga mahahalagang robot at ilang mga kinatawan na URL, i-publish ang file sa UTF-8 na may uri na text/plain, pagkatapos ay suriin ang HTTP na tugon mula sa labas.

Mga Limitasyon na Dapat Malaman

  • Ang pagharang sa pagsisiyasat ay hindi palaging pumipigil sa isang URL na lumitaw sa isang resulta ng paghahanap. Ang isang URL na kilala sa pamamagitan ng mga link ay maaaring manatiling naka-index nang walang excerpt.
  • Ang robots.txt ay pampubliko at hindi nagpoprotekta ng anumang data. Gumamit ng authentication at mga pahintulot sa server para sa mga sensitibong nilalaman.
  • Ang pamantayan ay nagtatakda ng karaniwang batayan, ngunit ang bawat robot ay maaaring sumuporta ng karagdagang mga direktiba. Partikular na pinapansin ng Google ang Crawl-delay.

Mga Madalas na Itanong

Ano ang pagkakaiba sa pagitan ng Allow at Disallow?
Ang Disallow ay nagbabawal sa paghingi ng mga tumutugmang landas. Ang Allow ay lumilikha ng isang mas tiyak na pagbubukod sa isang espasyo na karaniwang naka-block. Ang isang walang laman na halaga ay hindi humaharang ng anuman.
Mahalaga ba ang mga malalaking titik at mga parameter ng URL?
Oo. Ang paghahambing ng landas ay sensitibo sa kaso at maaaring isama ang query string. Ang mga karakter na * at $ ay nagsisilbing wildcard at marker ng pagtatapos, ayon sa pagkakabanggit.
Ang aking data ba ay ipinapadala o naitatala?
Hindi. Ang pagbuo, pagsusuri, pagsubok, at pag-export ng file ay isinasagawa nang lokal sa browser.

Bago harangan ang isang landas

Tiyaking ang landas ay hindi naglalaman ng mga mapagkukunan na kinakailangan para sa pag-render ng mga pahina, tulad ng mga stylesheet o mga script. Ang isang maikling patakaran ay maaaring magkaroon ng mas malawak na epekto kaysa sa inaasahan.