腾讯云虚拟主机屏蔽无用 SEO 蜘蛛_web.config与.htaccess规则对照
虚拟主机做屏蔽无用 SEO 蜘蛛，核心是准确识别 UA 字符串。屏蔽无用 SEO 蜘蛛的 UA 通常有固定特征，比如包含 bot、spider、crawler、scrapy、python-requests。用正则匹配这些特征，一条规则能挡住一类采集器，不用逐个加 IP。
IIS web.config 用 URL Rewrite 屏蔽 UA：rule name="Block UA"，match url="(.*)"，conditions 加 input="{HTTP_USER_AGENT}" pattern="badbot|scrapy|python-requests" ignoreCase="true"，action type="CustomResponse" statusCode="403"。ignoreCase=true 不区分大小写。
配置参考（web.config URL Rewrite 屏蔽 UA）：
```
CDN 后 UA 正常但 IP 异常是常见坑。UA 匹配一定要加 [NC] 或 ignoreCase=true，否则 BadBot 和 badbot 会被当成两个 UA。正则里的点号要转义成 .，否则 . 匹配任意字符导致误杀。写规则前用在线正则测试工具验证匹配范围。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
更新时间：2026-09-01 14:24:38
上一篇：Apache服务器WordPress404修复汇总｜文章URL变更下404 Not Found页面未找到错误解决指南