在 robots.txt 里屏蔽一个页面,Google 仍可能把它留在搜索结果里,标题显示「没有关于此页面的信息」。你用来隐藏它的文件,恰好让 Google 读不到页面,也读不到页面上的 noindex。
两份文件,两种职责
| robots.txt | sitemap.xml | |
|---|---|---|
| 位置 | 站点根目录 /robots.txt | 任意网址,通常是 /sitemap.xml |
| 格式 | 纯文本 | XML |
| 作用 | 允许抓取哪些网址 | 有哪些网址、何时更新 |
| 对收录的影响 | 间接 | 不保证 |
| 遵守者 | 规范的爬虫 | 你提交的搜索引擎 |
robots.txt 是请求,不是锁。搜索引擎会遵守,抓取器和部分 SEO 工具不会。它管的是抓取,不是收录。被屏蔽的网址若被其他页面链接,仍可能进入索引。
Sitemap 是希望被发现网址的清单。它让新站更快被抓取,也告诉搜索引擎哪些页面重要。它不强制收录——内容单薄或重复的页面即使列进去也可能被忽略。
最小示例
Robots.txt 生成器在浏览器里生成文件,不上传、不经服务器。全部允许并填入两条路径,会得到:
# robots.txt generated by ToolAsk
User-agent: *
Disallow: /admin/
Disallow: /temp/
Sitemap: https://www.example.com/sitemap.xml
Sitemap 那一行只负责指路:告诉爬虫 XML 在哪里。XML 本身长这样:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://www.example.com/</loc></url>
<url><loc>https://www.example.com/guides/</loc></url>
</urlset>
生成器还提供 Crawl-delay 和按爬虫的允许/拒绝开关。注意两个限制:按爬虫的规则只能整站全开或全关;Google 完全忽略 Crawl-delay。
容易踩的坑
- 屏蔽 CSS 和 JS,Google 无法正确渲染页面。
- 想用 robots.txt 把页面挡在索引外。正确做法是页面加 noindex,并允许抓取,让爬虫读得到。
- Sitemap 里列出被禁止抓取的网址。信号自相矛盾,浪费抓取预算。
- 以为提交 Sitemap 就一定会收录。并不会。
robots.txt 用来管抓取和私密路径,Sitemap 用来声明希望被发现的公开页面。页面必须完全不出现在搜索结果里时,能奏效的是页面上的 noindex。