虚拟主机robots.txt教程_百度蜘蛛抓取异常与sitemap
robots.txt 是搜索引擎抓取的规则文件，放在网站根目录，文件名必须小写。百度蜘蛛抓取异常时在 robots.txt 里写 User-agent 和 Disallow/Allow 规则，百度蜘蛛抓取前会先读 robots.txt，按规则决定是否抓取。注意 robots.txt 是建议性的，恶意蜘蛛不遵守，但百度、Google 等正规引擎严格遵守。
robots.txt 完整示例：User-agent: * 下 Disallow: /admin/、Disallow: /install/、Disallow: /?、Disallow: /*?*、Disallow: /temp/、Allow: /。Sitemap: http://域名/sitemap.xml。禁止后台、安装目录、动态参数 URL、临时目录，允许其余内容，末尾提交 sitemap 地址。
配置参考（robots.txt 只允许百度和 Google）： ``` User-agent: Baiduspider Allow: /
User-agent: Googlebot Allow: /
User-agent: * Disallow: / ```
robots.txt 不要禁止 CSS、JS、图片文件。百度蜘蛛需要渲染页面，禁止 CSS/JS 会导致抓取异常、排名下降。Disallow 只针对动态页面和敏感目录，静态资源不要禁。如果蜘蛛抓取图片流量大，可以在站长平台调整抓取频率，而不是 robots 禁止图片。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
更新时间：2026-08-27 13:00:05