User-agent: Amzn-SearchBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsSiteAudit
Allow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

# ── AI 训练爬虫: 封(不授权拿我们的数据训模型)。检索/答案爬虫(Claude-SearchBot / OAI-SearchBot /
# ChatGPT-User / PerplexityBot 等)【不在此列】→ 落 User-agent:* → 允许(被 AI 搜索引用=获客, 用户 2026-07-22 拍)。
# Google-Extended / Applebot-Extended = 纯训练 opt-out token, 不影响 Googlebot/Applebot 的搜索收录。──
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# 🔴Claude-SearchBot 限速(2026-09-10 · webui 实测 · 504 那三张 P0 的当前主因)
# 它**不封**: 用户 2026-07-22 拍板「检索/答案爬虫允许 —— 被 AI 搜索引用=获客」, 这条不动。
# 但近 24h CF 实测: 它 **49,454 次 = 全站 74,082 次请求的 67%**, 其中 **16,403 次是 504**
# (= 全站 20,145 个 504 的 81%)。它把源站打满之后, 真正带来收录的那个爬虫被挤死:
# **Googlebot 近 24h 抓 192 次、42 次 504 = 21.9%**, 而 TASK-20260818-001 的验收尺是 <3%。
# ⇒ 不是它没价值, 是它的**速率**在吃掉别人的预算。它守 robots(0805 加的 rarity=/sort=/priced=
#   禁令生效后, 筛选组合面确实从 504 榜首消失了), 所以先给最轻的一档: 声明式限速, 可逆、零封禁。
# ⚠️ Crawl-delay 不是标准指令, 各家遵守情况不一 —— **这一条要在 24h 后用同一把尺复测**
#   (Googlebot 504 率 / 它的请求量), 没效果就上 CF 速率限制, 那一步归站主拍(因为它触碰 0722 的裁定)。
User-agent: Claude-SearchBot
Crawl-delay: 5
Allow: /

# 用户当场让 AI 去取的抓取器(seo TASK-20261021-011 · SPEC-site-claims-consistency §一 · 外部测试 N11): /llms.txt 教 AI 用 ?q= 查卡,
# 而 * 组禁 ?q= —— 照 robots 走的 Claude-User 这类就查不了。命中具名组的抓取器只看那一组, 所以规则 = * 组原样(同一份 SHARED_RULES), 只少 ?q= 一行。
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
Disallow: /api/
Disallow: /dashboard
Disallow: /account
Disallow: /admin
Disallow: /_mp/
Disallow: /lab
Disallow: /preview
# 认证页(TASK-20260731-010 · 504 风暴真凶): 这三个路径此前【没禁】, 而卡页的登录/注册链接又带
# ?next=<本页路径> → 19,738 张卡页 × 2 = 39,476 个唯一 URL 的爬虫陷阱, 每个带查询串的 URL 都是独立
# 缓存键必回源真渲染。实测 Claude-SearchBot 打 /login 23,763 + /register 17,144 次 = 与陷阱空间同量级。
# 链接侧已根治(next 改走 sessionStorage + rel=nofollow), 这里是给守规矩的爬虫的第二道: 这些页零索引价值。
Disallow: /login
Disallow: /register
Disallow: /forgot
Disallow: /pwreset

# 🔴筛选组合面(2026-08-05 · 504 发动机第二例, 与上面 ?next= 陷阱同一形状): 实测近 6h 的 3,491 个 504
# 里, 排头的"/jp /cn /en"根本不是裸首页, 而是「?m=ja&rarity=…&set=…」—— Claude-SearchBot 在穷举
# 【市场 3 × 稀有度 ~15 × 套牌 554】的笛卡尔积。每个组合都是独立缓存键 → 必真渲染 + 打 D1,
# 而这些页早已 canonical 归一到裸页/集合页 = 零索引价值却吃掉全部源站预算。
# 只禁【纯筛选/排序】参数, 【不禁】set= / m= / page= —— 那三个是集合页与深层卡的发现路径, 禁了会伤收录。
# 链接侧同步根治(rel=nofollow 加在稀有度 chip / 排序 / 只看有价上), robots 是给守规矩爬虫的第二道。
Disallow: /*rarity=
Disallow: /*sort=
Disallow: /*priced=

# 简称词典整页下线(用户 2026-08-05 P0): 简称→卡 的映射是护城河, 全量展示面等于把词表打包送人。
# 路由已 301 回首页; 这里禁抓, 防已收录的 /{cn,jp,en}/dict 继续被爬(301 目标不受影响)。
# 10-12 起网址多一段界面语言(/{轨}/{界面语言}/dict): 加一条带结尾锚的通配, 旧三条留着管旧地址。
Disallow: /cn/dict
Disallow: /jp/dict
Disallow: /en/dict
Disallow: /*/dict$

User-agent: *
Allow: /
# 站内搜索不给索引爬虫抓(无限空间, 吃抓取额度; 搜索页本身也 noindex)。用户触发组没有这一行。
Disallow: /*?q=*
Disallow: /api/
Disallow: /dashboard
Disallow: /account
Disallow: /admin
Disallow: /_mp/
Disallow: /lab
Disallow: /preview
# 认证页(TASK-20260731-010 · 504 风暴真凶): 这三个路径此前【没禁】, 而卡页的登录/注册链接又带
# ?next=<本页路径> → 19,738 张卡页 × 2 = 39,476 个唯一 URL 的爬虫陷阱, 每个带查询串的 URL 都是独立
# 缓存键必回源真渲染。实测 Claude-SearchBot 打 /login 23,763 + /register 17,144 次 = 与陷阱空间同量级。
# 链接侧已根治(next 改走 sessionStorage + rel=nofollow), 这里是给守规矩的爬虫的第二道: 这些页零索引价值。
Disallow: /login
Disallow: /register
Disallow: /forgot
Disallow: /pwreset

# 🔴筛选组合面(2026-08-05 · 504 发动机第二例, 与上面 ?next= 陷阱同一形状): 实测近 6h 的 3,491 个 504
# 里, 排头的"/jp /cn /en"根本不是裸首页, 而是「?m=ja&rarity=…&set=…」—— Claude-SearchBot 在穷举
# 【市场 3 × 稀有度 ~15 × 套牌 554】的笛卡尔积。每个组合都是独立缓存键 → 必真渲染 + 打 D1,
# 而这些页早已 canonical 归一到裸页/集合页 = 零索引价值却吃掉全部源站预算。
# 只禁【纯筛选/排序】参数, 【不禁】set= / m= / page= —— 那三个是集合页与深层卡的发现路径, 禁了会伤收录。
# 链接侧同步根治(rel=nofollow 加在稀有度 chip / 排序 / 只看有价上), robots 是给守规矩爬虫的第二道。
Disallow: /*rarity=
Disallow: /*sort=
Disallow: /*priced=

# 简称词典整页下线(用户 2026-08-05 P0): 简称→卡 的映射是护城河, 全量展示面等于把词表打包送人。
# 路由已 301 回首页; 这里禁抓, 防已收录的 /{cn,jp,en}/dict 继续被爬(301 目标不受影响)。
# 10-12 起网址多一段界面语言(/{轨}/{界面语言}/dict): 加一条带结尾锚的通配, 旧三条留着管旧地址。
Disallow: /cn/dict
Disallow: /jp/dict
Disallow: /en/dict
Disallow: /*/dict$

# 只声明一个 sitemap 入口(2026-08-02): 原来还声明了 sitemap.txt —— 那是 0706 为绕 GSC 抓取问题
# 加的两万条纯文本清单, 而 v3 已把提交面收缩到 3,727 条。两份并存 = 对引擎说两套话,
# 且 .txt 那份没有 lastmod。seo 在 T-722-002③ 点名撤掉它, 照办。
Sitemap: https://pokeka.xyz/sitemap.xml