几乎所有建站教程都会提一句「记得配 robots 和 sitemap」，但大多一笔带过。结果是大量企业官网的 robots.txt 是建站程序的默认文件，sitemap 干脆不存在。这两个文件加在一起不到半页内容，却决定了爬虫进门之后「怎么走、走哪些房间」。这篇文章给出企业官网的完整配置方法，包括可以直接改用的模板。
一、两个文件的分工
用一个比喻：robots.txt 是门卫的规章，sitemap.xml 是你递给爬虫的楼层索引。
| 文件 | 作用 | 不配的后果 |
|---|---|---|
| robots.txt | 规定抓取范围：允许抓什么、禁止抓什么、sitemap 在哪 | 爬虫抓到后台、搜索结果页等无用页面，浪费抓取配额 |
| sitemap.xml | 列出全站重要页面地址，标注更新频率与优先级 | 深层页面迟迟不被发现，新内容收录变慢 |
注意：robots.txt 是「不建议抓」而非「禁止访问」——它防的是爬虫，不防访客；真正不想被索引的页面，要用页面级的 noindex 标签。
二、robots.txt 怎么写
企业官网的标准结构如下，放在网站根目录（yourdomain.com/robots.txt）：
User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /tag/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.yourdomain.com/sitemap.xml逐行解释：前两行对所有爬虫生效；Disallow 屏蔽后台登录页和站内搜索结果页——这类页面没有收录价值，且可能产生无限组合；Allow 放行后台的一个必要接口；最后一行直接告诉爬虫「我的页面清单在这里」，这是多数企业站漏掉的一行。
三、绝对不要屏蔽的东西
- CSS 与 JS 文件：屏蔽后搜索引擎无法正常渲染页面，移动适配判断会直接失败。
- 要排名的页面：常见事故是把整个 /product/ 或 /case/ 目录误加进 Disallow，上线后整站收录归零。
- 图片目录：屏蔽后图片搜索流量全无，企业官网的产品图本该是流量来源。
四、sitemap.xml 的结构与维护
一个标准条目包含四要素：页面地址（loc）、最后修改时间（lastmod）、更新频率（changefreq）、优先级（priority）。优先级只是建议值，真实作用是帮你在页面很多时突出重点——首页 1.0，栏目页 0.8，文章页 0.6，够用了。
企业官网的 sitemap 通常由建站程序自动生成：WordPress 用 SEO 插件自动输出，定制开发的站点要求建站方把 sitemap 生成写进交付物。验收标准有三条：① 所有已发布页面都在里面；② 没有 404 或 noindex 的地址；③ 内容更新后 lastmod 跟着变。图片多的站点还可以启用图片 sitemap，让产品图单独被图片搜索引擎抓取。
五、提交到哪些地方
- 百度搜索资源平台：站点管理里提交 sitemap 地址，提交后关注索引量变化。
- Google Search Center：同样提交 sitemap，覆盖率报告会告诉你哪些页面被抓取、哪些被跳过。
- robots.txt 里引用：如第二节模板所示，爬虫抓 robots.txt 时自动发现 sitemap，这是最可靠的兜底。
三个渠道都做，多数新站能在 1–2 周内完成首批收录；仍不收录的，按新站收录排查流程逐项查。
六、常见错误对照表
| 现象 | 原因 | 处理 |
|---|---|---|
| robots.txt 返回 404 | 文件没放根目录或没部署 | 重新上传到根目录，用浏览器直接访问验证 |
| sitemap 里大量 404 | 页面删了但 sitemap 未更新 | 改成自动生成，清理死链 |
| 收录量长期为零 | robots 误屏蔽全站或 meta noindex | 检查文件与页面 head，用平台抓取诊断复测 |
| 后台页面被收录 | robots 未屏蔽后台与搜索页 | 补 Disallow 规则，平台提交死链删除 |
| http 与 https 各收录一份 | 未做 301 规范跳转 | 配置全站 301 到 https，平台设置主域名 |
七、下一步可以做什么
现在就可以自测：浏览器访问你的域名/robots.txt，看内容是否为默认文件；再访问/sitemap.xml，看能否打开且包含最新页面。两项都通过的站点，收录基础就算打牢了，接下来把重心放回持续运营与站长平台数据上。需要配置或诊断，可以联系极客云码：提供商丘企业官网 SEO 基础配置服务，robots、sitemap、TDK、结构化数据一并交付，电话 0370-2782003。