#robots.txt

豆包、Kimi、DeepSeek 各自运行独立爬虫，与百度 Baiduspider 完全分离；2026 年中国 AI 搜索月活跃用户超 3 亿，日均查询量突破 8 亿次，而绝大多数企业官网仍仅为百度蜘蛛配置了访问权限。本文梳理主流 AI 平台爬虫标识清单、robots.txt 推荐配置代码、从「允许抓取」到「被引用」的五层漏斗模型，以及豆包、Kimi、DeepSeek 三平台的可观察引用规律，帮助中小企业完成 AIGEO 爬虫层基础配置。

约73%的企业官网因robots.txt封锁AI爬虫、nosnippet标签阻止内容提取、Cloudflare误伤合规AI机器人或实体信息冲突，在AI引擎发起检索时被静默拒绝，且不产生任何错误提示。本文提供12项即时可执行的自查核对点（robots.txt/Meta标签/实体一致性三类），以及对应的修复代码和操作步骤，修复后14至21天可见AI引用提升，大多数项目无需开发人员即可自行启动。