sitemap.xml 与 robots.txt 配置指南：让搜索引擎高效抓取你的网站
网站迁移完整指南：换服务器、换域名、换程序，怎么做到不掉排名
一、什么是重复内容问题
举一个企业官网最常见的例子。同一篇文章，可以通过四个网址打开：
https://www.example.com/blog/seo-guide/
http://www.example.com/blog/seo-guide/
https://example.com/blog/seo-guide/?utm_source=wechat
https://www.example.com/blog/seo-guide/?p=3&from=timeline在访客眼里这是同一个页面，在搜索引擎眼里这是四个页面。它会自己选一个收录，但选哪个不受你控制；更糟的情况是四个都被抓取，收录库里堆满重复页，真正想推的页面反而排不上去。
重复内容的处理在 SEO 里叫规范化（canonicalization）——用技术手段告诉搜索引擎「哪个网址才是正版」。下面按来源逐个说。
二、来源一：参数与跟踪 URL
微信推广带 ?from=timeline、统计带 ?utm_source=weixin、筛选列表带 ?color=red&size=large——参数 URL 是企业官网重复内容的最大来源，尤其是产品列表页。
处理原则：无筛选价值的参数（来源跟踪类）在服务器层直接忽略，有筛选价值的参数用 canonical 指回无参数版本。比如「全部产品」页是 /products/，那么 /products/?utm_source=wechat 应该 canonical 到 /products/。这样统计照常统计，蜘蛛只认一个正版。
三、来源二：http 与 https、www 与非 www
这是最严重也最容易修的一类。域名有四种写法：http+www、http+非www、https+www、https+非www。如果四种都能打开且内容相同，等于全站内容复制了四份。
处理只有一个标准动作：选定唯一入口（通常推荐 https + www），其余三种全部做 301 永久重定向。改版或换域名时这一步是必须项，具体操作和服务器配置可以参考网站迁移完整指南。验证方法：手动访问另外三种写法，浏览器地址栏应该直接跳到唯一入口。
四、来源三：分页与列表页
产品列表二十页、新闻列表十几页，每页 URL 都不同但内容高度相似（只是条目不同）。这种情况的处理：
- 每页用 canonical 指向自己（分页页是独立内容，不是重复）；
- 或者把长列表改成「加载更多」交互，从根源上减少分页；
- 分页参数保持简洁统一，别一会儿是
?page=2一会儿是/page/2/，两种格式并存就是自己给自己造重复。
原则是：列表页允许存在，但每页必须语义完整——有标题、有介绍文字、有导航。只有一排缩略图、没有任何文字的分页，本身就是低质页。
五、来源四：标签、归档与搜索结果页
WordPress 等系统默认生成的标签页、日期归档页、作者归档页、站内搜索结果页，是企业官网重复内容的重灾区——文章没几篇，归档页生成了上百个。
处理原则：没有独立价值的聚合页，要么不生成，要么 canonical 到相关内容页，要么 robots 屏蔽。具体建议：
- 标签页：如果标签没人访问、没有排名价值，直接在后台关闭生成，比生成后屏蔽更干净；
- 日期归档、作者归档：企业官网基本用不到，建议关闭；
- 站内搜索结果页：务必屏蔽——搜索结果页会制造无穷多的 URL 组合，是蜘蛛配额的粉碎机。
六、来源五：打印页、分享页与多版本模板
有些老系统会生成「打印版」「分享版」页面，内容和主站相同。这类页面一律 canonical 到主页面，或者直接删除入口。判断标准很简单：这个页面对搜索用户有独立价值吗？没有，就合并。
七、canonical 的正确用法与三个注意
canonical 标签的写法是在页面 head 里加一行：
<link rel="canonical" href="https://www.example.com/products/" />意思是「本页内容的正版在另一个地址，请收录那个」。使用时三个注意：
- 只对同站内容用：canonical 跨站指向容易被判定为操纵，企业站只用于站内；
- 指向的页面必须可访问：指向一个 404 或不存在的页面，等于告诉蜘蛛「正版不存在」；
- 它是建议不是命令：多数情况百度会遵循，但更可靠的做法仍然是 301。同一内容两种地址都活着，优先 301；只是不想让参数版本被收录，用 canonical。
| 场景 | 推荐方案 | 备选 |
|---|---|---|
| http/https、www 混用 | 301 到唯一入口 | — |
| 跟踪参数（utm、from） | canonical 到无参数版 | 服务器层忽略参数 |
| 内容搬家（旧URL→新URL） | 301 一对一 | — |
| 标签、归档、搜索结果页 | 关闭生成或屏蔽 | canonical 到相关页 |
| 多版本模板（打印/分享） | 删除或 canonical | robots 屏蔽 |
八、检查与验收
重复内容问题看不见摸不着，用三个方法验证：
- 在百度搜索
site:你的域名，看结果里有没有同一个标题出现多次、带奇怪参数的地址； - 在百度搜索资源平台看索引量——如果索引量远大于实际页面数，说明重复页在被大量收录；
- 抽查页面源码，搜索 canonical 标签，确认每个参数页都指向了正确的正版地址。
如果日志里发现蜘蛛在反复抓取带参数的地址，说明 canonical 或屏蔽没生效，结合网站日志分析可以精确定位是哪些 URL 在浪费配额。
九、下一步可以做什么
今天就能做的检查：用 site: 指令看一遍自己站点的收录情况，再手动访问 http、非 www、带 utm 参数三个变体，看是否都正确跳到唯一入口。这两项过了，重复内容的大头就控制住了。新站在规划阶段就要把唯一入口定下来，并写进建站需求——这比上线后返工便宜得多，需求文档的写法可以参考企业建站需求文档怎么写。
极客云码在商丘本地提供企业官网建设与 SEO 运营服务，交付时默认完成唯一入口 301、参数页 canonical、归档页规范等技术配置。怀疑自己的网站有重复内容问题，可以直接联系我们，先做一次免费的官网抓取体检，电话 0370-2782003。