Robots.txt 与 Sitemap:各司其职的两份文件

Robots.txt 与 Sitemap:各司其职的两份文件

在 robots.txt 里屏蔽一个页面,Google 仍可能把它留在搜索结果里,标题显示「没有关于此页面的信息」。你用来隐藏它的文件,恰好让 Google 读不到页面,也读不到页面上的 noindex。

两份文件,两种职责

robots.txt sitemap.xml
位置 站点根目录 /robots.txt 任意网址,通常是 /sitemap.xml
格式 纯文本 XML
作用 允许抓取哪些网址 有哪些网址、何时更新
对收录的影响 间接 不保证
遵守者 规范的爬虫 你提交的搜索引擎

robots.txt 是请求,不是锁。搜索引擎会遵守,抓取器和部分 SEO 工具不会。它管的是抓取,不是收录。被屏蔽的网址若被其他页面链接,仍可能进入索引。

Sitemap 是希望被发现网址的清单。它让新站更快被抓取,也告诉搜索引擎哪些页面重要。它不强制收录——内容单薄或重复的页面即使列进去也可能被忽略。

最小示例

Robots.txt 生成器在浏览器里生成文件,不上传、不经服务器。全部允许并填入两条路径,会得到:

# robots.txt generated by ToolAsk

User-agent: *
Disallow: /admin/
Disallow: /temp/

Sitemap: https://www.example.com/sitemap.xml

Sitemap 那一行只负责指路:告诉爬虫 XML 在哪里。XML 本身长这样:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url><loc>https://www.example.com/</loc></url>
  <url><loc>https://www.example.com/guides/</loc></url>
</urlset>

生成器还提供 Crawl-delay 和按爬虫的允许/拒绝开关。注意两个限制:按爬虫的规则只能整站全开或全关;Google 完全忽略 Crawl-delay。

容易踩的坑

  • 屏蔽 CSS 和 JS,Google 无法正确渲染页面。
  • 想用 robots.txt 把页面挡在索引外。正确做法是页面加 noindex,并允许抓取,让爬虫读得到。
  • Sitemap 里列出被禁止抓取的网址。信号自相矛盾,浪费抓取预算。
  • 以为提交 Sitemap 就一定会收录。并不会。

robots.txt 用来管抓取和私密路径,Sitemap 用来声明希望被发现的公开页面。页面必须完全不出现在搜索结果里时,能奏效的是页面上的 noindex。