虚拟主机屏蔽无用 SEO 蜘蛛指南_不误封百度蜘蛛的写法
中资源虚拟主机屏蔽屏蔽无用 SEO 蜘蛛，Linux 主机在 .htaccess 用 SetEnvIfNoCase 配合 mod_rewrite，Windows 主机在 web.config 用 URL Rewrite 匹配 HTTP_USER_AGENT。UA 匹配不区分大小写，规则写在根目录即时生效，被拦截的请求返回 403 或 404。
CDN 环境下 UA 头会透传，不需要额外配置。但部分 CDN 会修改 UA 或加上自己的标识，屏蔽前先在访问日志里确认实际到达服务器的 UA 字符串，按真实字符串写正则，否则规则匹配不到。
配置参考（web.config URL Rewrite 屏蔽 UA）：
```
CDN 后 UA 正常但 IP 异常是常见坑。UA 匹配一定要加 [NC] 或 ignoreCase=true，否则 BadBot 和 badbot 会被当成两个 UA。正则里的点号要转义成 .，否则 . 匹配任意字符导致误杀。写规则前用在线正则测试工具验证匹配范围。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
更新时间：2026-08-27 12:53:40