虚拟主机蜘蛛抓取导致流量超标_robots.txt完整示例
robots.txt 是搜索引擎抓取的规则文件，放在网站根目录，文件名必须小写。蜘蛛抓取导致流量超标时在 robots.txt 里写 User-agent 和 Disallow/Allow 规则，百度蜘蛛抓取前会先读 robots.txt，按规则决定是否抓取。注意 robots.txt 是建议性的，恶意蜘蛛不遵守，但百度、Google 等正规引擎严格遵守。
限制百度蜘蛛抓取频率不在 robots.txt 里写（robots 没有频率参数），而是在百度站长平台 → 抓取频次 → 设置抓取压力。选"平和"会降低抓取频率，适合流量紧张的虚拟主机。调整后 1 到 3 天生效，蜘蛛请求量下降 30% 到 50%。
配置参考（robots.txt 禁止指定蜘蛛）： ``` User-agent: AhrefsBot Disallow: /
User-agent: SemrushBot Disallow: /
User-agent: * Allow: / ```
蜘蛛抓取流量大但收录少，通常是抓取了大量低价值页面：分页参数、搜索结果页、筛选页、标签页。用 robots.txt 禁止这些 URL 模式，把抓取配额留给内容页。Disallow: /*?page=、Disallow: /*?s=、Disallow: /*?filter=，禁止后蜘蛛集中抓取正文页，收录效率提升。
robots.txt 与 301、404 的配合：页面已删除不要只靠 robots 禁止，要让页面返回 404 再提交死链；页面移动到新地址用 301，不要 robots 禁止旧地址（禁止后蜘蛛不抓取，301 无法传递权重）。robots.txt 管抓取范围，301 和 404 管状态码，三者配合才能完整控制收录。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
更新时间：2026-08-27 00:13:11
上一篇：Windows10/11修改DNS服务器地址_图形界面与命令行方法