Tools Central

robots.txt 生成器和验证器

创建一个 robots.txt 文件，检测错误并模拟特定爬虫对 URL 的访问。

100% 本地处理：输入的内容和 URL 永远不会离开您的浏览器。

1. 生成安全基础

每行一个输入用于路径。生成器添加“/”，编码空格并去重规则。

协议、域名和端口定义了文件的范围。有效网站的URL
使用 « * » 来表示所有机器人或像 Googlebot 这样的产品令牌。有效的用户代理
示例：/admin/，/search?，/*.pdf$
更具体的允许规则可以重新开放被阻止路径的一部分。

2. 编辑和验证

也可以粘贴现有文件：分析会在没有网络请求的情况下更新。

1组4规则1网站地图139字节

3. 测试 URL

模拟器根据 RFC 9309 应用精确组、最具体的规则、« * » 和 « $ »。

允许爬取没有适用的规则：默认允许抓取。

发布前需检查的三点

确切范围

将文件放置在根目录。其规则仅适用于相同的协议、主机和端口。

爬取，而非去索引

被阻止的 URL 仍可能出现在结果中。要防止索引，请在可访问的页面上使用保护或 noindex。

没有隐私

该文件是公开的，并揭示了列出的路径。切勿将其用作对敏感数据的访问控制。

返回到SEO工具

类似工具

XML网站地图生成器和验证器创建URL网站地图或索引，验证XML、日期、限制和范围，然后将文件下载到本地.
hreflang 生成器和检查器创建 HTML、HTTP 或网站地图注释，然后在本地检查多语言页面之间的自引用、规范和反向链接。
结构化数据提取器从 HTML 中本地提取 JSON-LD、Microdata 和 RDFa，探索实体和关系，然后导出有限的 JSON 报告。
HTML头审计工具从粘贴的HTML中本地审计title、description、canonical、robots、viewport、charset、hreflang、Open Graph、Twitter和JSON-LD。
Google Snippet 预览器在电脑和移动设备上测试标题、元描述和 URL，并估算宽度（以像素为单位）。
PDF → JSON 字段将PDF表单（AcroForm）中的字段列表导出为JSON格式。

创建和控制一个可靠的 robots.txt 文件

robots.txt 文件指示爬虫可以请求的路径。生成器准备一个干净的基础，验证器检测常见错误，模拟器解释应用于 URL 的规则。

使用案例

  • 准备一个新网站创建一个 User-agent 组，阻止无关的爬虫访问，并声明一个绝对的 sitemap。
  • 审核现有文件粘贴其内容以查找无效指令、重复项、格式错误的路径、意外的 HTML 或超过 500 KiB 的大小。
  • 诊断被阻止的 URL使用特定的产品令牌测试一个 URL，以识别所选组和最具体的 Allow 或 Disallow 规则。

推荐方法

首先定义网站的确切来源。通过 HTTPS 提供的文件不控制 HTTP、不同的子域或其他端口。它必须在 /robots.txt 位置可访问。

从少量规则和明确的路径开始。当多个规则匹配时，最具体的规则优先；在相同的特异性下，Allow 优先于 Disallow。

测试重要的爬虫和一些代表性的 URL，以 UTF-8 格式发布文件，类型为 text/plain，然后从外部检查 HTTP 响应。

需要了解的限制

  • 阻止爬虫并不总是能防止 URL 出现在搜索结果中。通过链接已知的 URL 可能仍然被索引而没有摘要。
  • robots.txt 是公开的，无法保护任何数据。对于敏感内容，请使用身份验证和服务器权限。
  • 标准定义了共同基础，但每个爬虫可以支持额外的指令。谷歌特别忽略 Crawl-delay。

常见问题

Allow 和 Disallow 有什么区别？
Disallow 禁止请求匹配的路径。Allow 在其他被阻止的空间中创建一个更具体的例外。空值不阻止任何内容。
大写字母和 URL 参数算数吗？
是的。路径比较是区分大小写的，并且可以包括查询字符串。字符 * 和 $ 分别用作通配符和结束标记。
我的数据会被发送或记录吗？
不。文件的生成、分析、模拟和导出都是在浏览器中本地完成的。

在阻止路径之前

确保路径不包含页面呈现所需的资源，如样式表或脚本。一个简短的规则可能会产生比预期更广泛的影响。