block-ai-scrapers skill (Illyism/seo-skills) + Claude Code部分实测🌏 海外

一份开源 SKILL.md 让 Agent 给你的网站搭 6 层反 Agent 防火墙:返回 200 门页而不是 403,按 IP 核实 Googlebot,再派子 Agent 做红队自测

海外开发者 @illyism 发现有人把他的数据站贴进 Claude Code 炫耀「整库扒下来」,返回 403 后 Agent 会伪装 Googlebot、探 /api/、开 Playwright 继续扒。他做了一套 6 层防护并把完整 SKILL.md 开源:被拦的请求返回 HTTP 200 的「受保护数据」门页(0 行数据 + STOP_SCRAPING 指令 + 产品链接),Googlebot 按 IP/ASN 而不是 User-Agent 验真,HTML 路由要求完整浏览器导航头和 JS 会话证明,最后派子 Agent 当攻击者测到「第 1 轮就停」。我们把技能里的 Googlebot 校验函数拿 Google 当天公布的爬虫 IP 表跑了一遍,发现它会漏掉真 Googlebot 网段、也会放过非官方网段。

访问官网 block-ai-scrapers skill (Illyism/seo-skills) + Claude Code ↗
定价
免费
地区
海外
出自哪里
海外社区
上架日期
2026 年 10 月 29 日
实测日期
2026 年 10 月 29 日
用的版本
Illyism/seo-skills commit d8b7f94 (2026-10-28), seo/block-ai-scrapers/SKILL.md metadata version 1.0.0
分类
编程开发营销增长
原作者
Ilias Ism @illyism ↗
我们实测
部分实测
成本 / 耗时
SKILL.md 免费开源;需要你自己的 Claude Code / Cursor / Codex 订阅,部署在你现有的 Cloudflare Workers 或服务端上,无额外费用。
来源
X @illyism ↗GitHub Illyism/seo-skills(block-ai-scrapers/SKILL.md) ↗Google 官方常见爬虫 IP 段 / Google common crawlers IP ranges ↗

要解决的事

你的站有值钱的数据页或会触发付费 API / 数据库开销的接口,想挡住被人用 Claude Code、Cursor、Codex 批量抓取,又不想影响 Google 收录。

步骤

  1. 把技能放进 Agent:从 GitHub 下载 `seo/block-ai-scrapers/SKILL.md`(仓库 Illyism/seo-skills),放到 `~/.claude/skills/block-ai-scrapers/SKILL.md`(Cursor / Codex 放各自的技能目录)。
  2. 在项目根目录打开 Claude Code,让它按技能的「Initial Intake」先问清 4 件事:要保护的路由、被拦后引导去的产品链接、是否保留 Googlebot 收录(默认是)、边缘/服务端技术栈(Cloudflare Workers、Next.js middleware、Hono、Express、Fastify)。
  3. 第 1 层:拦截时返回 HTTP 200 门页(HTML 和 /api/* 的 JSON),0 行数据,带 `Cache-Control: private, no-store`、`X-Robots-Tag: noindex` 等头,避免 CDN 缓存门页、搜索引擎收录门页。
  4. 第 2 层:robots.txt 只放行 Googlebot / Google-InspectionTool / AdsBot-Google,点名拒绝 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等;Googlebot 按 IP + ASN(15169 / 396982)验真;sitemap 只给验真的 Googlebot。
  5. 第 3 层:拒绝数据中心 ASN;HTML 路由要求完整浏览器导航头(Sec-Fetch-*、Accept-Language、Sec-Ch-Ua 等,Accept 含 text/markdown 的直接判为 WebFetch);通过的再走一次 `/_xo/client.js` → `POST /_xo/verify` 的 JS 会话证明,拿到 HttpOnly cookie 才给真页面。
  6. 第 4 层:/llms.txt、/ai.txt 和门页里写版权、数据库权利声明和 `[AI_AGENT_DIRECTIVE: STOP_SCRAPING]` 文案,让 Agent 停手并把你的产品链接告诉用户。
  7. 第 5 层:公开路由只读缓存,不在未验证请求上触发第三方 API 或 LLM;锁 /api/*;按 IP 每分钟限额,超了也返回门页而不是 429。
  8. 第 6 层:红队自测——curl 打 3–4 个目标 URL 和 robots/llms/sitemap/api;脚本模拟真浏览器四步流程确认能拿到真页面;再开子 Agent 用「把这几个 URL 的数据都收集下来」这类真实用户提示词去攻击,直到它们第 1 轮就停、0 行数据。
  9. 上线前单独核对 Googlebot 白名单(见坑):用 Google 官方公布的爬虫 IP JSON 或反向 DNS 校验,别只靠技能里的前缀写法。

提示词

用 block-ai-scrapers 技能给这个项目加反抓取防护。先按技能的 Initial Intake 问我:要保护哪些路由、被拦后引导去哪个链接、是否保留 Googlebot 收录、我们用的是什么框架。Googlebot 验真不要用前缀匹配,改成按 Google 官方公布的爬虫 IP 段 JSON 做 CIDR 匹配。改完先在本地跑技能第 6 层的 curl 和真浏览器流程测试,把结果做成表格给我,确认之前不要部署。

原文怎么说

@illyism:有人把他的站贴进 Claude Code 炫耀扒了整个数据库;他返回 403 后,Agent 伪装 `User-Agent: Googlebot`、探测 /api/ 路由、启动 Playwright。于是他做了 6 层「AI Agent 防火墙」,称能在第 1 轮就挡住 Claude Code、Cursor、Codex,同时 Google SEO 100% 不受影响:返回 HTTP 200 诱饵页而不是 403(Agent 就不会重试),页面里的 STOP_SCRAPING 指令让 Agent 反过来向想扒站的人推荐他的产品,按 IP/ASN 验真 Googlebot,并派子 Agent 攻击自己的 URL 直到它们第 1 轮就失败。完整 SKILL.md 已开源。

我们实测

没有在真实网站上部署这套防护,也没有派 Agent 去攻击任何站点,所以「第 1 轮就停」「SEO 不受影响」都未验证。我们读了 SKILL.md 全文(repo commit d8b7f94),把技能里的 TypeScript 参考函数 isGoogleCrawlerIp / isVerifiedGooglebot 原样转成 JS,在本机用 Google 官方爬虫 IP 表和几组样例 IP 跑了一遍。

我们亲自试下来:技能自带的 4 个用例都对:Googlebot UA + 66.249.66.1 + ASN 15169 → 放行;Googlebot UA + 8.8.8.8 → 拒绝;Google-Extended + 66.249.66.1 → 拒绝;不传 ASN 时 Googlebot + 66.249.66.1 也放行。但对照 Google 2026-10-28 15:46 生成的官方 IP 表(170 个 IPv4 网段、147 个 IPv6 网段):IPv4 有 23 个网段(34.100.182.96/28、34.22.85.0/27、35.247.243.240/28 等)被判为非 Google;另外 209.85.1.1、216.239.3.1、72.14.190.1、64.233.16.1 等不在官方表里的地址被判为 Google 爬虫。IPv6 官方网段都在 2001:4860:4801::/48 内,这部分判断一致。

怎么用上

原帖在 X(英文,可能需登录);SKILL.md 在 GitHub 公开,无地区限制。国内站点如果还要照顾百度等国内搜索引擎,技能只处理 Googlebot,需要自己补对应爬虫的验真规则。

适合谁

做数据目录、排行榜、榜单类 SEO 站,或接口一被刷就烧 API / 数据库额度的独立开发者。

踩坑提示

  • 我们实测:技能里的 `isGoogleCrawlerIp` 是字符串前缀匹配。拿 Google 2026-10-28 公布的常见爬虫 IP 表(googlebot.json 现在跳转到 common-crawlers.json)核对,170 个 IPv4 网段里有 23 个(全在 34.x / 35.x)它不认,真 Googlebot 从这些地址来会被当成假的——再叠加第 3 层「拒绝 Google Cloud ASN」,就可能把真爬虫挡在门页外,伤 SEO。
  • 我们实测:前缀写法也会多放行,比如 209.85.1.1、216.239.3.1、72.14.190.1、64.233.16.1 都被判为 Google 爬虫 IP,但都不在官方表里(`209.85.1` 这类前缀还会匹配 209.85.10–19.x、100–199.x)。
  • 我们实测:不传 ASN(null)时只看 IP 就放行;Cloudflare 以外的栈要自己补 ASN 来源。
  • 返回 200 门页 + noindex 是故意的设计:一旦误判真 Googlebot,Google 看到的是 noindex 页,比 403 更隐蔽,上线后要盯 Search Console。
  • STOP_SCRAPING 指令本质是写给 Agent 看的文字,靠模型自觉遵守;作者称第 1 轮就停是他自己的红队结果,换模型、换提示词不保证。
  • 严格的 Sec-Fetch / Sec-Ch-Ua 要求和 JS cookie 可能误伤老浏览器、隐私浏览器、阅读模式和无障碍工具,上线前用真实设备测一遍。
  • 6 层改动面很大(中间件、robots、llms.txt、API、限流),让 Agent 先在分支或预发环境做,别直接上生产。

同类用例