隨著人工智能技術的飛速發展，AI爬蟲的使用日益廣泛，但這與當前社會對于隱私信息安全的關注形成了鮮明對比。為了應對這一矛盾，知名云服務提供商Cloudflare近日宣布，將采取新措施，未經網站所有者明確許可或給予補償，將默認阻止AI爬蟲抓取其內容。
Cloudflare的這一決定表面上是為了維護內容創作者的權益，然而，也有網友質疑其背后的動機可能并不單純，推測此舉或與公司自身的項目推廣有關。據悉，Cloudflare正在與搜索巨頭谷歌進行談判，要求谷歌將傳統搜索引擎爬蟲與AI爬蟲進行分離，以便網站所有者能夠根據自身需求決定是否屏蔽AI爬蟲。Cloudflare甚至放出狠話，如果谷歌拒絕這一要求，他們可能會考慮推動立法來強制實施。
然而，這一舉措無疑會遭到谷歌的強烈反對。AI搜索作為谷歌的重要業務板塊，一旦AI爬蟲無法自由抓取內容，其市場競爭力無疑將受到嚴重打擊。那么，Cloudflare為何還要冒險挑戰谷歌的底線呢？
事實上，Cloudflare近期推出了一個名為Pay Per Crawl的交易平臺，旨在搭建一個內容創作者與AI廠商之間的交易橋梁。為了實現這一目標，Cloudflare早在一年前就已推出了AI審計工具，向網站站長報告AI廠商的爬蟲訪問情況。Cloudflare希望通過這種方式，在內容創作者和AI廠商之間建立一個公平的交易機制，并從中獲取收益。
盡管內容創作者對Pay Per Crawl平臺有著迫切的需求，但AI廠商對此卻并不熱衷。長期以來，AI廠商已經習慣了免費抓取內容，不愿意讓Cloudflare作為中間商賺取差價，因為這將大幅增加訓練AI的成本。相比之下，谷歌自身也提出了針對這一問題的解決方案，但模式與Cloudflare截然不同。Cloudflare的這一舉措，無疑也是在為自己拉攏用戶的一種策略。
