免费工具

Robots.txt AI 检测器

检测你的 robots.txt 是否阻止了 3 个层级共 20 个 AI 爬虫 — ChatGPT、Claude、Perplexity、Gemini、Meta AI、Apple Intelligence、xAI 等。

为什么 AI 爬虫访问很重要

AI 搜索引擎使用专门的爬虫来发现和索引网页内容。如果你的 robots.txt 阻止了这些爬虫，你的网站将不会出现在 ChatGPT、ChatGPT Search、Perplexity、Claude、Google AI Overviews、Meta AI、Apple Intelligence 或 Amazon Rufus 的 AI 生成回答中。

许多网站所有者意外地通过使用通用的 Disallow: / 规则或激进的机器人阻止插件阻止了 AI 爬虫。此工具检测你的 robots.txt 中 20 个 AI 爬虫的阻止模式。

我们检测的 AI 爬虫（20 个，3 个层级）

第 1 层 — 关键（6 个）

GPTBot

OpenAI / ChatGPT

OAI-SearchBot

OpenAI 搜索 / ChatGPT 搜索

ClaudeBot

Anthropic / Claude

anthropic-ai

Anthropic（备用爬虫）

PerplexityBot

Perplexity AI

Google-Extended

Google AI Overviews / Gemini

第 2 层 — 重要（7 个）

CCBot

Common Crawl（被许多 AI 模型使用）

Bytespider

字节跳动 / TikTok AI

meta-externalagent

Meta AI / Meta 搜索

Amazonbot

Amazon AI / Rufus

Applebot-Extended

Apple Intelligence / Apple AI

ChatGPT-User

OpenAI（用户发起）

Claude-SearchBot

Anthropic 搜索

第 3 层 — 新兴（7 个）

cohere-ai

Cohere

DuckAssistBot

DuckDuckGo AI

AI2Bot

Allen Institute (AI2)

xAI-Bot

Grok / xAI

Perplexity-User

Perplexity（用户发起）

YouBot

You.com AI

PetalBot

华为 AI

检测你的 Robots.txt

输入你的 URL，运行完整审计，包括 robots.txt AI 爬虫分析：

AI 可见性的理想 robots.txt

# 允许 AI 爬虫 — 第 1 层：关键
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# 第 2 层：重要
User-agent: CCBot
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Applebot-Extended
Allow: /

# 第 3 层：新兴
User-agent: DuckAssistBot
Allow: /

User-agent: xAI-Bot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /private/

提示：只阻止真正需要保护的路径。不要阻止 AI 爬虫访问你的公开内容。