robots文件放在子目录不生效？详解robots\.txt存放路径规范要求
很多新手站长严格按照教程配置好了robots\.txt规则，禁止了无效页面、放开了优质内容抓取，但是配置完成后完全不生效，爬虫依然乱抓取页面，SEO问题毫无改善。反复核对代码、修改规则都没用，最后发现是文件存放路径出错。大家都很疑惑，文件内容没问题，为什么存放位置不对就完全失效？今天讲透robots文件路径规范，解决配置零效果问题。
首先明确robots\.txt的核心硬性规则，也是99%新手忽略的知识点：**robots\.txt文件必须放置在网站根目录，子目录、二级目录、文件夹内的robots文件全部无效，搜索引擎爬虫不会识别、不会读取**。这是搜索引擎的统一硬性规范，没有任何例外，不管规则写得多标准，放错位置等于没配置。
很多新手的错误操作非常典型：一是将robots\.txt放在网站public、temp、static等子文件夹中，以为上传到服务器就算配置完成；二是网站搬家、源码迁移时，将根目录文件误移入子目录；三是二级站点、多栏目站点，在子目录单独创建robots文件，试图单独管控栏目抓取，最终全部失效。
这里跟大家科普爬虫的抓取逻辑，搜索引擎爬虫访问一个网站的规则时，只会默认抓取域名根目录下的robots\.txt文件，也就是https://域名/robots\.txt这个固定路径。爬虫不会主动检索网站所有文件夹，不会识别子目录中的规则文件，所有非根目录的robots配置，都会被直接忽略，完全不起作用。
还有一个高频误区需要重点避坑：很多站长会重复存放robots文件，根目录放一个、子目录放一个，多个文件规则冲突，导致爬虫识别混乱。搜索引擎遇到多文件场景，只会读取根目录文件，其余全部作废，多余文件只会占用服务器空间，没有任何作用。
零基础正确配置步骤：首先删除所有子目录、文件夹内的robots\.txt冗余文件；然后将标准配置的robots文件，直接上传至网站根目录，不嵌套任何文件夹；上传完成后，浏览器直接访问域名\+/robots\.txt，能正常打开、显示完整代码，就代表路径正确、文件生效；最后可在百度资源平台校验文件，确认爬虫可正常读取。
路径问题是robots配置最基础也最容易踩坑的细节，很多站长忙活半天优化规则，却因为路径错误白费功夫。严格遵守根目录存放规范，是robots规则生效的前提，一定要重点核对。
更新时间：2026-08-19 12:39:14
上一篇：robots通配符\*怎么正确使用？详解模糊匹配目录页面规则写法