人工智能爬虫的覆盖率偶尔高于谷歌搜索

几十年来，谷歌在收集互联网信息方面一直处于无可争议的领先地位，可以说是网站爬虫最突出的例子。这些自动程序抓取互联网并记录所发现的内容，使搜索引擎能够发现网站。但谷歌搜索现在正面临着竞争，因为人工智能系统也需要来自互联网的数据，这也是 OpenAI 等人工智能公司部署自己的机器人在互联网上搜索信息的原因。

2025 年 8 月底，虚拟主机提供商 Hostinger 对 500 万个网站对爬虫的可访问性进行了研究。尤其引人注目的是，OpenAI的GPT机器人访问了500万个网站中的4.4个，因此比谷歌机器人的覆盖范围更大，谷歌机器人 "只 "访问了390万个网站。Ahrefs 的搜索引擎优化爬虫、Anthropic 的 Claude 机器人以及 Meta、TikTok、Bing 和Apple 的爬虫等不太知名的机器人也非常活跃，每天对 500 万个网站的请求总数约为 14 亿次。

一些机器人的覆盖率低于其他机器人，但这并不意味着它们忽略了互联网的某些部分。相反，这些程序会轮换目标，从而在较长一段时间内（但仍在几周内）绘制出几乎完整的互联网地图。

研究还显示，约 80% 的查询来自美国科技公司，约 10% 来自中国，其他国家所占比例微乎其微。这意味着，互联网索引主要由美国提供商主导，在美国国内则由少数大型科技公司主导。因此，少数平台对哪些内容可见以及人工智能系统产生哪些反应具有重大影响。