Tools Central

Kizalishaji na kithibitishaji cha robots.txt

Unda faili la robots.txt, gundua makosa na iga ufikiaji wa URL kwa roboti maalum.

Usindikaji wa 100% wa ndani: maudhui na URL zilizowekwa hazitoki kamwe kivinjari chako.

1. Unda msingi salama

Ingizo moja kwa kila mstari wa njia. Kizalishaji huongeza « / », husimba mapengo na huondoa kanuni zinazorudiwa.

Protokali, domaini na bandari huamua upeo wa faili.URL ya tovuti halali
Tumia « * » kwa roboti zote au token ya bidhaa kama Googlebot.User-agent halali
Mifano: /admin/, /search?, /*.pdf$
Kanuni mahususi zaidi ya Allow inaweza kufungua tena sehemu ya njia iliyozuiwa.

2. Hariri na thibitisha

Bandika pia faili lililopo: uchanganuzi husasishwa bila ombi la mtandao.

1makundi4kanuni1sitemaps139baiti

3. Jaribu URL

Kiigaji hutumia makundi yanayolingana, kanuni mahususi zaidi, « * » na « $ » kulingana na RFC 9309.

Utambazaji umeruhusiwaHakuna kanuni inayotumika: utambazaji unaruhusiwa kwa chaguo-msingi.

Vitu vitatu vya kuangalia kabla ya kuchapisha

Upeo halisi

Weka faili kwenye mzizi. Kanuni zake zinatumika tu kwa protokali, mwenyeji na bandari sawa.

Utambazaji, si kuondolewa kwenye faharasa

URL iliyozuiwa inaweza kuonekana katika matokeo. Ili kuzuia uorodheshaji, tumia ulinzi au noindex kwenye ukurasa unaopatikana.

Hakuna faragha

Faili ni la umma na linaonyesha njia zilizoorodheshwa. Usitumie kamwe kama udhibiti wa ufikiaji wa data nyeti.

Rudi kwa zana za SEO

Zana zinazofanana

Jenereta na mthibitishaji wa ramani ya tovuti ya XMLUnda ramani ya tovuti ya URL au kiashiria, thibitisha XML, tarehe, mipaka na upeo, kisha pakua faili hiyo kwenye kompyuta yako.
Mwanzo na mthibitishaji wa hreflangUnda maelezo ya HTML, HTTP au ramani ya tovuti, kisha thibitisha ndani ya eneo la kazi viungo vya kujitaja, canonicals na viungo vya nyuma kati ya kurasa nyingi za lugha.
Mchambuzi wa data zilizopangwaToa JSON-LD, Microdata na RDFa kutoka HTML kwa ndani, chunguza entiti na uhusiano, kisha uhamasisha ripoti ya JSON.
Mchambuzi wa kichwa cha HTMLKagua kwa ndani title, description, canonical, robots, viewport, charset, hreflang, Open Graph, Twitter na JSON-LD kutoka HTML iliyowekwa.
Kipanga picha ya snippet ya GoogleJaribu kichwa, maelezo ya meta na URL kwenye kompyuta na simu na makadirio ya upana kwa pixels.
Sehemu za PDF → JSONExport orodha ya maeneo ya fomu ya PDF (AcroForm) kwa muundo wa JSON.

Unda na kudhibiti faili la robots.txt la kuaminika

Faili la robots.txt huonyesha vitambazaji vya wavuti njia wanazoweza kuomba. Kizalishaji huandaa msingi safi, kithibitishaji hugundua makosa ya kawaida, na kiigaji hueleza kanuni inayotumika kwa URL.

Matumizi

  • Andaa tovuti mpyaUnda kundi la User-agent, zuia sehemu zisizo muhimu kwa utambazaji na utangaze sitemap kamili.
  • Kagua faili lililopoPasta maudhui yake ili kubaini maagizo yasiyo sahihi, nakala, njia zisizo sahihi, HTML isiyokusudiwa au ukubwa zaidi ya 500 Kio.
  • Gundua URL iliyozuiwaJaribu URL na token ya bidhaa maalum ili kubaini kundi lililochaguliwa na sheria ya Allow au Disallow inayofaa zaidi.

Mbinu inayopendekezwa

Kwanza, weka chanzo sahihi cha tovuti. Faili inayotolewa kwa HTTPS haiwezi kudhibiti HTTP, sub-domain tofauti au bandari nyingine. Inapaswa kupatikana kwenye /robots.txt.

Anza na sheria chache na njia wazi. Wakati sheria nyingi zinakidhi, ile maalum zaidi inashinda; kwa usawa wa maalum, Allow inashinda Disallow.

Jaribu roboti muhimu na URL chache zinazowakilisha, chapisha faili kwa UTF-8 na aina text/plain, kisha angalia jibu la HTTP kutoka nje.

Mipaka ya kujua

  • Kuzuia utafiti hakuzuia kila wakati URL kuonekana kwenye matokeo ya utafutaji. URL inayojulikana kwa viungo inaweza kubaki ikionyeshwa bila muhtasari.
  • robots.txt ni ya umma na haiwezi kulinda data yoyote. Tumia uthibitishaji na ruhusa za seva kwa maudhui nyeti.
  • Kiwango kinatambulisha msingi wa pamoja, lakini kila roboti inaweza kuunga mkono maagizo ya ziada. Google hasa inapuuzilia mbali Crawl-delay.

Maswali ya mara kwa mara

Tofauti kati ya Allow na Disallow ni ipi?
Disallow inakataza ombi la njia zinazolingana. Allow inaunda ubaguzi maalum katika eneo ambalo kwa kawaida limezuiwa. Thamani tupu haizuii chochote.
Je, herufi kubwa na vigezo vya URL vina umuhimu?
Ndio. Kulinganisha njia kuna umuhimu wa herufi na kunaweza kujumuisha mfuatano wa ombi. Herufi * na $ hutumika kama jokeri na alama ya mwisho mtawalia.
Je, data zangu zinatumwa au kuandikwa?
Hapana. Uundaji, uchanganuzi, simulatiri na usafirishaji wa faili unafanywa ndani ya kivinjari.

Kabla ya kuzuia njia

Hakiki kwamba njia haina rasilimali zinazohitajika kwa uwasilishaji wa kurasa, kama vile mitindo au scripts. Sheria fupi inaweza kuwa na athari kubwa zaidi kuliko ilivyotarajiwa.