Nginx 虚拟主机屏蔽内容采集器_403返回码验证与误封排查
屏蔽内容采集器是应对内容采集、恶意扫描的常用手段。中资源虚拟主机上配置 UA 黑名单后，访问日志里对应 UA 的请求返回 403，带宽和 CPU 占用下降。注意不要误封百度、Google、Bing 等正常搜索引擎，否则收录会掉。
屏蔽空 UA：RewriteCond %{HTTP_USER_AGENT} ^$ [OR]，RewriteCond %{HTTP_USER_AGENT} ^-?$，RewriteRule .* - [F,L]。正常浏览器和搜索引擎都带 UA，空 UA 请求 99% 是恶意扫描或脚本，直接封掉不影响收录。
配置参考（.htaccess UA 白名单只允许搜索引擎）： ``` RewriteEngine On RewriteCond %{HTTP_USER_AGENT} !^(.*Baiduspider.*|.*Googlebot.*|.*Bingbot.*|.*Sogou.*)$ [NC] RewriteRule .* - [F,L] ```
空 UA 没拦住是常见坑。UA 匹配一定要加 [NC] 或 ignoreCase=true，否则 BadBot 和 badbot 会被当成两个 UA。正则里的点号要转义成 .，否则 . 匹配任意字符导致误杀。写规则前用在线正则测试工具验证匹配范围。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
UA 屏蔽对 SEO 的直接影响很小，因为正常搜索引擎 UA 不在黑名单里。间接影响是屏蔽采集器后内容不被镜像，原创内容排名更集中。屏蔽无用 SEO 蜘蛛（Ahrefs、Semrush 等）能省流量，但这些蜘蛛不影响百度排名，封不封看流量紧张程度。
UA 屏蔽对 SEO 的直接影响很小，因为正常搜索引擎 UA 不在黑名单里。间接影响是屏蔽采集器后内容不被镜像，原创内容排名更集中。屏蔽无用 SEO 蜘蛛（Ahrefs、Semrush 等）能省流量，但这些蜘蛛不影响百度排名，封不封看流量紧张程度。
更新时间：2026-08-27 12:21:27
上一篇：虚拟主机下载站流量超标指南_白名单与空Referer处理