允许指定蜘蛛_Disallow与Allow规则优先级
很多站长遇到允许指定蜘蛛直接在 robots.txt 写 Disallow: /，结果整站被禁止抓取，收录全部消失。robots.txt 修改前用百度站长平台的 robots 检测工具验证，确认只屏蔽了目标目录，没有误封正常内容。
禁止指定目录：Disallow: /目录名/ 禁止该目录下所有内容，Disallow: /目录名/*.php$ 禁止该目录下 php 文件，Disallow: /*?id= 禁止包含 id 参数的 URL。通配符 * 匹配任意字符，$ 匹配结尾。百度蜘蛛支持 * 和 $，部分老蜘蛛只支持 *。
配置参考（robots.txt 标准示例）： ``` User-agent: * Disallow: /admin/ Disallow: /install/ Disallow: /temp/ Disallow: /*?* Disallow: /*?page= Allow: /
User-agent: Baiduspider Disallow: /admin/ Disallow: /*?s=
Sitemap: https://域名/sitemap.xml ```
robots.txt 不要禁止 CSS、JS、图片文件。百度蜘蛛需要渲染页面，禁止 CSS/JS 会导致抓取异常、排名下降。Disallow 只针对动态页面和敏感目录，静态资源不要禁。如果蜘蛛抓取图片流量大，可以在站长平台调整抓取频率，而不是 robots 禁止图片。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
robots.txt 的高级用法：Crawl-delay 参数限制抓取间隔（部分蜘蛛支持，百度不支持），Disallow 配合通配符禁止参数页，Allow 单独放开重要目录。复杂规则写完必须用百度站长平台的 robots 检测工具逐条验证，输入典型 URL 看是否被允许，避免误封整站。
更新时间：2026-08-27 13:02:47