成为赛博菩萨不是没有道理的, Cloudflare 近期又宣布了一项新的免费服务, Free 计划的用户也可以使用.

这个服务就是 AI Labyrinth, AI 迷宫, 它的作用是用来对抗行为不端的爬虫的, 尤其是那些模型训练公司的 AI 爬虫.

一旦 Cloudflare 检测有爬虫违反了 robots.txt 对网站进行违规抓取, 就会自动把给爬虫返回预先用 AI 生成的复杂 HTML 页面, 让爬虫以为爬取到的目标网站内容, 保护目标网站的同时, 可以浪费爬虫的时间和资源.

Cloudflare 当然可以直接拒绝这一类的爬虫行为, 但是这样一来, 爬虫方就能知道自己的行为被拒绝了, 以此开始不必要的爬虫技术竞赛.

另外, 这些 AI 生成的 HTML 的内容都是真实的, 不会出现常识性的错误, 所以不用担心会产生误导信息.

我只能说这个服务很”聪明”, 挺有意思.

详细介绍详见: https://blog.cloudflare.com/ai-labyrinth/