商务中国虚拟主机Apache 虚拟主机环境屏蔽指定 UA 访问_采集器拦截实操
商务中国虚拟主机做屏蔽指定 UA 访问，先从访问日志里统计 UA 出现频率。正常浏览器 UA 占 90% 以上，异常 UA 占比高且请求路径集中在列表页、内容页、API 接口，这些就是屏蔽目标。用 curl -I 检测确认规则生效后正常浏览器和百度蜘蛛不受影响。
IIS 也可以用请求筛选（requestFiltering）的 filteringRules，但 URL Rewrite 更灵活，支持正则和多条件。规则加在 system.webServer/rewrite/rules 节点，stopProcessing="true" 防止被后续规则覆盖。web.config 修改前备份，语法错误整站 500.19。
配置参考（web.config URL Rewrite 屏蔽 UA）：
```
UA 黑名单维护建议按季度更新。新的采集器 UA 不断出现，从访问日志里统计 Top 20 的非浏览器 UA，排除正常搜索引擎后加入黑名单。长期不用的 UA 从规则里移除，保持规则文件精简，单条规则的 UA 不超过 30 个，过长的正则影响匹配性能。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
更新时间：2026-09-02 14:42:49