行业里有个扎心的发现：很多品牌是自己把 AI 曝光搞没的——robots.txt 里顺手屏蔽了 AI 爬虫、CDN 规则挡了大模型访问、内容锁在登录墙后面。GEO 的第一课不是写内容，是确认门开着。本文把 AI 可达性的四个配置讲清楚，每一条都附自查方法。
一、先认识主要的 AI 爬虫
1. 它们是谁、来干什么
AI 爬虫分两类用途：一类是搜索型——为 AI 搜索的实时检索建索引（如 PerplexityBot、各平台的搜索爬虫），抓到的内容直接进入「回答用户问题时可引用的范围」；一类是训练型——为模型训练收集语料（如 GPTBot、ClaudeBot、Google-Extended），影响的是模型的「知识」而非实时回答。两类用的 UA 名称不同，robots.txt 里可以分别控制。
2. 企业站的默认策略：全放行
对绝大多数企业站，两类爬虫全放行是最优策略：官网内容本来就是公开的品牌信息，被引用、被学习都是曝光而非损失。需要区分对待的只有少数情况——内容有付费墙或授权边界的产品站。即便要屏蔽训练型爬虫，也建议保留搜索型爬虫：训练语料是长期影响，搜索引用是即时获客，后者对企业的价值更直接。
二、配置一：robots.txt 放行 AI 爬虫
1. 自查方法（十秒钟）
浏览器打开「你的域名/robots.txt」，看有没有针对 AI 爬虫的 Disallow 规则。重点检查这些常见 UA 名称：GPTBot、OAI-SearchBot、ClaudeBot、Claude-Web、PerplexityBot、Google-Extended、Bytespider（字节）、以及各家 AI 搜索爬虫。任何一条 Disallow 都意味着对应引擎完全看不到你的网站。
2. 推荐的写法
最简单的放行是不写任何针对 AI 爬虫的规则（robots.txt 默认全允许）；稳妥的写法是显式声明 User-agent 各家 AI 爬虫、Disallow 留空，并向所有爬虫统一声明 Sitemap 地址。同时确认屏蔽规则只针对真正的私人目录（后台、接口），别用宽泛的通配符误伤内容页。
3. 别忘了服务器层的隐形门槛
robots.txt 之外还有两道可能挡住 AI 爬虫的关卡：一是 WAF/防火墙的 UA 黑名单——不少安全插件把「未知爬虫」一律拦截，AI 爬虫常在名单里；二是 CDN 的反爬规则。自查方法：看服务器日志里 AI 爬虫的访问记录，如果 robots 明明放行、日志里却出现 403/429，就是被中间层拦了（日志分析方法见实战指南）。
三、配置二：llms.txt——给大模型的导读文件
1. 它是什么
llms.txt 是近年出现的约定：在网站根目录放一份 markdown 格式的文件，向大模型介绍「这个网站是什么、核心内容有哪些、重点页面在哪」。它类似 sitemap，但内容导向——sitemap 给爬虫看 URL，llms.txt 给模型看「该理解成什么、优先读什么」。
2. 怎么写
推荐的骨架三段：开头一段企业定位（一句话说清你是谁、服务谁）；中间分组列核心页面的链接和一句话说明（服务、案例、重点文章按组列出）；结尾放联系方式和服务范围。保持精炼——它是导读不是全站目录，几十行以内为好。本站已部署 llms.txt，可作为参考样式（「你的域名/llms.txt」）。
四、配置三：主动提交 Bing 与其他检索入口
1. 为什么 Bing 提交突然重要了
ChatGPT 的检索体系很大程度上依托 Bing 索引，微软 Copilot 同样基于 Bing。很多企业只做过百度和谷歌的站长平台，Bing 是空白——等于在 AI 检索的重要入口处没留名片。动作：注册 Bing Webmaster Tools（可直接从谷歌站长平台导入站点）、提交 sitemap、确认收录。
2. 国内平台的对应动作
国内 AI 平台的检索池与各自生态联动：百度搜索的收录是文心场景的地基，字节系内容（头条号等）影响豆包的检索池。所以「在 AI 时代的收录动作」和传统收录动作高度重合——把百度收录做扎实、在字节生态留有内容足迹，就是在给国内 AI 平台铺路（收录规则见百度收录规则，生态布局见百度生态指南）。
五、配置四：内容本身要「机器可读」
1. 服务端可读的正文
AI 爬虫的渲染能力普遍弱于主流搜索引擎蜘蛛：正文完全依赖 JS 渲染、内容藏在 iframe 里、点击才加载的折叠面板，AI 爬虫很可能拿到的是空壳。正文用服务端输出或静态渲染（WordPress 默认即如此）、关键内容不要锁在交互组件里——这是比任何配置都根本的一条（可抓性问题详解见专题）。
2. 结构化数据是机器可读的「翻译层」
Organization、Article、FAQPage、Product 的 JSON-LD 标注，让爬虫不需要「猜」页面内容，直接读到实体关系和结构化事实。这一层对搜索和 AI 是双重利好，属于一次配置长期受益。
六、一套十分钟的可达性自查清单
- robots.txt 里有没有 Disallow AI 爬虫的规则（有则评估是否取消）；
- 服务器日志里近 30 天有没有主流 AI 爬虫的 200 访问记录（没有则查 WAF/CDN）；
- 根目录有没有 llms.txt，内容是否反映当前的业务和重点页面；
- Bing 站长平台有没有提交过、收录状态如何；
- 手机端开一篇文章，右键查看源代码，正文文字能不能在源码里直接找到（找不到=JS 渲染，AI 爬虫大概率抓不到）；
- 首页有没有 Organization 等结构化数据。
六项全过，你的网站在 AI 的世界里就是「门开着、有地图、有名片」的状态；任何一项不过，都是漏进漏斗的洞。
七、下一步可以做什么
今天就能做的一件事：做清单第一项——打开你的 robots.txt 看一眼。如果历史上有安全插件或前任服务商加过 AI 爬虫屏蔽规则，现在就是摘掉它的时刻；确认放行后，一个月后再看日志里的 AI 爬虫访问量变化。
极客云码在商丘本地提供企业官网建设服务，AI 可达性四件套（AI 爬虫放行、llms.txt、Bing 提交、结构化数据）是交付默认配置，并提供可达性体检。需要检查你的网站对 AI 是否开放，可以联系我们，电话 0370-2782003。