Cloudflare 现在将阻止不支付数据费用的人工智能网络搜刮器

Cloudflare 首席执行官马修-普林斯（Matthew Prince）在宣布 "内容独立日 "时，宣布对公司的网络服务基础设施进行大规模改造，现在默认情况下将阻止所有人工智能网络爬虫机器人。

在博客文章中的一篇博文中，普林斯详细阐述了现代网络搜索格局正日益由人工智能聊天机器人（如谷歌的 Gemini 或 OpenAI 的 ChatGPT）来定义。虽然这些机器人很有用，但它们也会在没有任何影响的情况下随意抓取网络上的可用数据，而且不会对原创者进行补偿。

普林斯认为，由于谷歌搜索最近发生的变化，现在 "内容创作者要想获得与十年前相同的流量"，"难度增加了十倍"。

"普林斯说："这不是一个公平的交易。"网络正在被人工智能爬虫剥离，内容创作者几乎看不到流量，因此也几乎看不到价值"。

普林斯说，被抓取的内容 "是为人工智能引擎提供动力的燃料"，原创作者因此获得补偿才是公平的。

Cloudflare 还宣布了一个市场计划，该市场将把创作者和人工智能公司聚集在一个地方。该市场将对可用内容进行评分，评分标准不仅包括其产生的流量，还包括 "其对知识的促进程度"。普林斯认为，这将帮助人工智能引擎变得更快，"有可能促进高价值内容创作进入一个新的黄金时代"。

普林斯承认，他还没有所有的答案，但公司正在与 "顶尖的计算机科学家和经济学家合作，以找出答案"。

最近，开源 git 托管服务SourceHut表示，由于 "咄咄逼人的 LLM 爬虫"，他们经历了中断，并且由于来自谷歌云和微软 Azure 等几家云提供商网络的大量入站流量，他们屏蔽了这些云提供商。

今年 1 月，网络分析平台 DoubleVerify、报告称，一般无效流量（General Invalid Traffic，GLM）增加了 86%。与 2024 年相比，来自人工智能搜刮器和其他在线自动工具的一般无效流量（GIVT）增加了 86%。

尽管 OpenAI 的 GPTbot 早前做出了承诺，但它也找到了忽略或绕过完全忽略或绕过网站的 robot.txt，从而导致域名所有者的流量激增，并产生高昂的费用。