每个网站都有一个给搜索引擎用的门卫,它是个三行文件,叫 robots.txt。写错了,你的整站会悄悄从 Google 消失。
它做什么
robots.txt 放在网站根目录,告诉爬虫哪些路径可以访问:
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
User-agent: *——适用于所有爬虫(也可以点名某个)。Disallow:——爬虫必须跳过的路径。Sitemap:——你的 sitemap 在哪,爬虫据此找到所有页面。
会咬人的规则
- 它是请求,不是锁。 体面的爬虫会遵守;爬虫采集器完全无视它。绝不要用 robots.txt 隐藏任何敏感内容——被屏蔽的页面只要在别处有链接,照样能出现在搜索结果里。
- 一个笔误隐藏全站。
Disallow: /意思是“什么都别抓”。放错位置的一个斜杠,就是经典的“我的网站从 Google 消失了”的原因。 - 路径匹配是前缀匹配。
Disallow: /admin连/administrator也一起挡。
健康基线
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://yoursite.com/sitemap-index.xml
屏蔽没有搜索价值的东西——后台、内部接口、搜索结果页——其余全部放行。
生成一个
robots.txt 生成器用简单的输入构建文件:选好要屏蔽的路径、填上 sitemap 地址,把结果复制到网站根目录。十分钟设置,你的站点既不再浪费抓取预算,也不再泄露后台地址。