Cloudflare今日宣布推出AI爬虫许可制度（AI Crawler Permit Program），标志着大型科技公司对AI数据爬取的态度从默许转向管控。
政策核心
根据Cloudflare的公告，从2026年9月15日起，其平台上所有未获得许可的AI agent爬虫将被默认阻止。这意味着像Common Crawl、各种AI训练数据采集器等非授权爬虫将无法再通过Cloudflare的边缘网络获取数据。
许可机制
Cloudflare设计了分级许可制度：
- 研究许可：学术机构和非营利组织可免费申请
- 商业许可：企业级AI公司需按爬取量付费
- 互惠许可：允许爬虫的网站可获得更快的响应速度和更高的速率限制
行业影响
这一政策对AI行业影响深远。据估计，Cloudflare托管了全球约20%的网站流量，其中大量是AI公司和数据科学家的目标站点。许可制度意味着数据获取成本上升、合规门槛提高、数据质量提升。
Cloudflare CEO Michele Gardener表示：我们不是在限制AI发展，而是在建立一个可持续的数据共享生态。内容创作者应该从他们的内容被用于训练AI中获得合理回报。