百度不收录，怎样检查前后环节的依赖
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /bc08c90ec400.html
📄
百度不收录，怎样检查前后环节的依赖
百度不收录往往不是单一环节出了问题，而是抓取、渲染、索引、展现这条链路上某一环断了。检查前后依赖的核心方法是：从“百度是否来过”开始，逐环节确认输入是否成立，找出第一个断点，而不是同时修改多个设置。下面这份清单按执行顺序排列，每项都说明查什么、怎么查、结果说明什么。
先确认抓取环节：百度是否真的来过
查什么：服务器日志中百度蜘蛛（Baiduspider）对目标 URL 的访问记录。
怎么查：在服务器访问日志或 CDN 日志中筛选包含 Baiduspider 的记录，看目标 URL 的状态码和访问时间。
- 日志中完全没有记录：说明抓取环节未通过，后面所有环节都无从谈起，优先检查 robots.txt 是否封禁、服务器是否对百度 IP 返回异常、URL 是否从未被提交或外链引入。
- 有记录但状态码为 5xx：服务器或应用层报错，百度拿不到内容，需先修服务端。
- 有记录且状态码为 200：抓取环节基本成立，继续看下一环。
robots.txt 的抓取限制不等于可靠的索引移除，反过来，放开 robots.txt 也不保证一定被抓取，它只是必要条件之一。
检查渲染依赖：返回的 HTML 里有没有正文
查什么：百度实际拿到的 HTML 源码中，核心内容是否直接存在。
怎么查：用查看源代码的方式（而非浏览器开发者工具渲染后的 DOM）打开页面，搜索正文关键词；再对比关闭 JavaScript 后的显示效果。
- 源码中能直接搜到正文：内容对抓取可见，渲染依赖低，进入下一环。
- 源码中只有空容器、正文靠 JS 注入：存在渲染依赖，百度需要执行脚本才能拿到内容，收录会变慢或不稳定。此时应确认关键内容能否改为服务端输出。
这一环的判断依据是“源码里有没有”，而不是“浏览器里看不看得到”。两者不一致时，问题就出在渲染依赖上。
检查索引准入：页面是否允许被收录
查什么：页面级和站点级的收录指令。
怎么查：在源码中检查 <meta name="robots"> 标签内容，检查 HTTP 响应头中的 X-Robots-Tag，并确认该 URL 没有被 canonical 指向其他页面。
- 出现 noindex：页面被明确排除在索引之外，这是硬性阻断，必须先移除。
- canonical 指向了另一个 URL：当前页被视为重复版本，权重和收录会归到目标页，需确认这是否符合预期。
- 以上均无异常：索引准入通过，进入下一环。
注意 noindex 与 robots.txt 的区别：robots.txt 阻止抓取，noindex 阻止索引，两者不能互相替代。
检查内容与重复依赖：这个页面是否值得单独收录
查什么：页面内容与站内其他页面、站外页面的重合程度。
怎么查：抽取正文中最有代表性的两到三句话，在站内搜索和百度中检索，看是否存在高度相似的页面。
- 站内存在多个近乎相同的页面：百度可能只选其一收录，其余长期不收录属于正常筛选结果，应合并或差异化。
- 内容为采集或模板批量生成：收录概率低，且不取决于技术设置，需要从内容本身解决。
- 内容唯一且有独立价值：此环通过。
检查提交与发现依赖：入口是否通畅
查什么：百度发现该 URL 的路径是否成立。
怎么查：确认站点地图中包含该 URL 且可正常访问，确认页面有站内链接指向（不是孤立页），确认没有依赖已失效的旧入口。
- URL 只存在于站点地图、没有任何内链：发现效率低，建议补内链。
- URL 是孤立页：即使被抓取也缺少权重传递，收录不稳定。
- 站点地图不保证收录，它只是发现渠道之一，不能作为收录的判定依据。
把以上五环按顺序走一遍，第一个不通过的环节就是当前的主要矛盾。多人协作时，建议在交付单上固定记录这五项结果：日志抓取状态、源码正文可见性、robots 与 canonical 状态、内容重复判断、内链与站点地图状态。这样接手的人不必重复排查，返工也会明显减少。
下一步：挑一个长期不收录的代表性 URL，按上述顺序逐项填表，标出第一个断点，只针对该断点做一次修改并记录时间，之后再复查日志确认变化。
