搜索引擎抓不动的网站：JS渲染、iframe与跳转的坑

一、一分钟理解抓取原理

搜索引擎收录一个页面分三步：蜘蛛请求网址，拿到 HTML 源码；解析源码里的文字与链接；渲染页面（执行 JS）后理解内容。关键在于：第一步拿到的源码里有什么，决定蜘蛛第一眼看到什么。三步里任何一环断了——源码空壳、链接不可达、跳转丢失——收录就会出问题，而且症状都一样：内容明明在页面上，就是不收录。

下面三个坑，都是企业官网（尤其是低价模板和自制网站）的高发病。

二、坑一：正文靠 JS 动态渲染

现代建站框架流行「前后端分离」：服务器返回一个空壳 HTML，正文内容由浏览器执行 JavaScript 后才渲染出来。人看着页面一切正常，蜘蛛第一眼拿到的却是：

<body>
  <div id="app"></div>
  <script src="/app.js"></script>
</body>

正文一个字都没有。虽然主流搜索引擎具备一定的 JS 渲染能力，但渲染要消耗额外资源、排队等待，抓取频次和收录优先级都会打折扣；AI 爬虫和多数小搜索引擎则干脆不执行 JS——你的内容对它们等于不存在。

判断方法：浏览器里右键「查看网页源代码」（Ctrl+U），在源码里搜索正文里的一句话。搜得到就没问题；搜不到、只见脚本标签，就是 JS 渲染依赖，需要让建站方做服务端渲染（SSR）或预渲染改造。这类问题在选型阶段就要问清楚，决策框架见模板建站 vs 定制开发怎么选。

三、坑二：正文嵌在 iframe 里

iframe 是「页面里再嵌一个独立页面」。有些建站工具用它做内容区、嵌第三方编辑器或旧系统页面。对蜘蛛来说，iframe 里的内容属于另一个地址，归属关系混乱，常导致内容无法正确归到当前页面的收录里。

判断方法：查看源码，如果正文文字全部出现在 <iframe src="..."> 标签内，就是中招了。处理方式：正文一律直接写在当前页面里，iframe 只用于真正独立的第三方嵌入（如地图、视频播放器）。

四、坑三：链式跳转与软跳转

跳转本身是正常手段（http 跳 https、旧地址跳新地址），问题出在两类异常：

• 链式跳转：A 301 到 B、B 又 301 到 C。每多一层，蜘蛛多绕一圈，权重传递也在损耗；超过两层的链路要梳理成一层直达；
• 软跳转：先用 JS 或 meta refresh 延迟跳转，甚至先展示页面再偷偷跳。这类跳转对蜘蛛不友好，且极易被判定为作弊手段。

判断方法：抽查十个网址（首页、栏目页、文章页、旧地址），看跳转层数和返回的状态码——规范的跳转应该是一次 301 直达。工具与方法详见URL 规范化与 canonical 用法。

五、另外两个小坑

1. robots 屏蔽了 CSS 和 JS

有些站点为了让蜘蛛「专心抓正文」，在 robots.txt 里封了静态资源目录。结果是蜘蛛渲染页面时拿不到样式和脚本，按「页面异常」处理。规范配置见robots.txt 配置指南，原则是：静态资源一律放行。

2. 懒加载没有兜底

图片懒加载做得激进、又不给蜘蛛留兜底路径（noscript 或原生懒加载属性），蜘蛛可能一张图都拿不到。用原生懒加载属性或保留 noscript 兜底即可，做法见图片 SEO 优化指南的加载策略一节。

六、三步自查法：十分钟做完

三项都过，抓取层面就基本健康。想更进一步，看蜘蛛实际抓了什么：用服务器日志分析确认 Baiduspider 的抓取频次与抓到的 URL 分布；如果源码正常但就是不收，再按新站收录排查全流程往下走。

七、给建站选型者的提醒

这三个坑的共同点是：上线前看不出来，上线后慢性中毒。所以它们应该写进建站合同和验收清单：要求建站方保证正文服务端输出、无 iframe 包裹正文、跳转一层直达。签合同前把这几条写进去，比上线后返工便宜一百倍，合同条款清单见网站建设合同怎么签、怎么验收。

八、下一步可以做什么

今天就对自己的网站做一遍三步自查——尤其是用模板或建站工具做的站点。查出问题的，按坑对应的方法处理；查不出问题但依然不收录的，问题多半不在抓取层，按收录排查全流程继续往下查。

极客云码在商丘本地提供企业官网建设与 SEO 运营服务，交付站点默认通过蜘蛛可抓性验收（服务端渲染、无 iframe 正文、一层跳转），源码 100% 交付。怀疑自己的网站有抓取障碍，可以直接联系我们，先做一次免费的官网抓取体检，电话 0370-2782003。