西部数码虚拟主机百度蜘蛛占用大量流量配置_robots.txt写法与抓取频率
百度蜘蛛占用大量流量的标准写法：User-agent: Baiduspider 针对百度蜘蛛，User-agent: * 针对所有蜘蛛。Disallow: /admin/ 禁止抓取后台目录，Disallow: /? 禁止抓取带问号的动态 URL，Allow: / 允许抓取全站。规则按顺序匹配，先匹配到的先生效。
限制百度蜘蛛抓取频率不在 robots.txt 里写（robots 没有频率参数），而是在百度站长平台 → 抓取频次 → 设置抓取压力。选"平和"会降低抓取频率，适合流量紧张的虚拟主机。调整后 1 到 3 天生效，蜘蛛请求量下降 30% 到 50%。
配置参考（robots.txt 只允许百度和 Google）： ``` User-agent: Baiduspider Allow: /
User-agent: Googlebot Allow: /
User-agent: * Disallow: / ```
robots.txt 不要禁止 CSS、JS、图片文件。百度蜘蛛需要渲染页面，禁止 CSS/JS 会导致抓取异常、排名下降。Disallow 只针对动态页面和敏感目录，静态资源不要禁。如果蜘蛛抓取图片流量大，可以在站长平台调整抓取频率，而不是 robots 禁止图片。
robots.txt 与 301、404 的配合：页面已删除不要只靠 robots 禁止，要让页面返回 404 再提交死链；页面移动到新地址用 301，不要 robots 禁止旧地址（禁止后蜘蛛不抓取，301 无法传递权重）。robots.txt 管抓取范围，301 和 404 管状态码，三者配合才能完整控制收录。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
更新时间：2026-08-27 11:43:34