2026年7月23日--領先的全球連通雲公司 Cloudflare, Inc. (NYSE: NET)近日宣布推出全新分類機制、加強分析功能,以及產業領先的商業合作,旨在連接網站擁有者及秉持透明原則的 AI 企業,共同推動代理式網路蓬勃發展。Cloudflare 的全新工具與整合方案,協助網站擁有者與 AI 企業合作提升內容曝光、效率及變現能力。透過建構這些全新基礎架構,Cloudflare 助力為健康、協作的代理式經濟建立基礎,讓社會、網站擁有者及 AI 企業皆能獲益。
網路流量的本質已經改變。如今,自動化代理程式及機器人驅動逾半數網路請求。AI 正成為線上存取資訊和進行商務活動的新介面,並改變了內容被瀏覽的規則。大多數網站擁有者希望自己的內容能被納入 AI 系統。但對依靠廣告或訂閱模式營運的企業而言,若 AI 系統在未提供任何報酬的情況下,利用其內容訓練系統,無疑構成威脅。Cloudflare相信,若企業希望其內容被納入 AI 系統,相關流程應盡可能簡單高效;但若企業不希望其內容被 AI 存取,亦應具備相應工具。有見及此,Cloudflare 正測試全新預設分類機制,為客戶提供更深入的洞察,加快 AI 搜尋速度,並確保當創作者的內容用作生成答案時能獲得相應報酬。這項理念旨在創造公平的競爭環境,完善爬取效率、保護智慧財產權,並讓創作者與 AI 能在代理式經濟中蓬勃發展。
Cloudflare 共同創辦人暨執行長 Matthew Prince 表示:「我們去年讓網站擁有者能夠清楚掌握並控制哪些機器人能存取其內容。我們樂見這項計劃為整個生態系統帶來正面影響。如今,大多數網路流量已非由人類所產生,我們必須更進一步並加快行動,建立可持續發展的生態系統。Cloudflare 的全新工具及合作為網站擁有者提高可見度及商業機會,同時也惠及擁有意圖明確且資訊透明的機器人的 AI 企業。我們希望所提出的預設變更,能鼓勵混合用途爬蟲將代理程式使用及訓練用途的搜尋分開。」
混合用途爬蟲的「自由通行」將告終
經過與 AI 企業和網站擁有者進行數千次交流後,有一點非常明確:大多數網站擁有者都希望其內容能在 AI平台被瀏覽。然而,對於那些透過廣告及/或訂閱模式營利的網站而言,最大化曝光率不應代表免費提供智慧財產權。秉持透明原則的 AI 企業已能根據機器人用途清楚標示並區分其機器人。然而,混合用途的爬蟲機器人同時損害網站擁有者及資訊透明的 AI 企業利益,因為它們將搜尋、代理程式使用及訓練混為一談,迫使內容擁有者必須選擇在代理式時代被搜尋,或在未獲報酬的情況下免費提供其最具價值的內容。現時全球最大的搜尋器所掌握的資訊量約為領先 AI 企業的兩倍,原因在於領先AI 企業讓客戶難以在不被用於 AI 訓練的情況下維持可搜尋性。
Cloudflare 未來兩個月將與生態系統各方交流、聽取意見,並展開測試,以最終確定新的預設設定及分類,並以 2026 年 9 月 15 日為實施期限。
由 2026 年 9 月 15 日起,新客戶以及現有客戶新建立的網站,預設設定將允許搜尋用途,但會封鎖含有廣告頁面的 AI 模型訓練及 AI 代理用途。若混合用途爬蟲未有讓網站擁有者在搜尋、使用代理程式和訓練之間選擇,將被封鎖存取所有含有廣告的頁面。客戶隨時可以在其儀表板中變更這些設定。
自 2026 年 9 月 15 日起,所有當日前未有於儀表板中變更設定的現有免費客戶,也將自動套用此變更。此項轉變旨在為 AI 企業與傳統搜尋業者建立公平競爭環境,讓AI 企業能以公平且透明的方式重新定義代理時代「被瀏覽」的意義。
加強分析功能以提升可見度並將內容變現
內容變現市場已經來臨,僅過去一年,內容發布者與 AI 平台簽署了超過 50 項主要內容授權協議。為加速推行這些協議,Cloudflare 推出全新 Attribution Business Insights 儀表板,改善讓內容擁有者一直在處於弱勢的資訊不對稱問題。商業持分者,包括資安和 IT 團隊,首次能夠清晰掌握 AI 機器人如何使用其內容,並追蹤特定 AI 企業實際帶回的人類流量。
然而,了解 AI 如何使用內容只是第一步。隨著內容探索方式從搜尋引擎轉向解答引擎,客戶需要掌握一項新的關鍵能力:解答引擎優化(Answer Engine Optimization,AEO)。AEO不僅了解誰在爬取資訊,更掌握內容在各個 AI模型生成的答案中被引用的方式、頻率,以及位置。正如網頁分析曾是搜尋時代必備的技術架構,Cloudflare 的目標是在AI 時代提供權威的評估及優化平台。
更智慧的搜尋及公平報酬
協商授權或許適用於大型內容發布者,但難以擴展至整個網絡。Cloudflare 正從兩方面著手,同時惠及創作者和 AI企業:提升 AI 搜尋效率,並在內容被使用時向創作者自動支付報酬。目前,AI 模型和搜尋引擎會重複爬取數百萬個未變更的網頁,以尋找新資訊來回應使用者查詢。Cloudflare 資料顯示,來自 AI 爬蟲的爬取流量中,超過一半耗於重新爬取未變更的頁面上。結果內容發布者耗費頻寬、AI 企業耗費運算資源且卻未能提供更佳的搜尋結果。由於 Cloudflare 能辨識頁面實際變更內容,因此可判斷哪些頁面值得重新擷取,何時無必要爬取,同時提供更適合的搬尋結果。Cloudflare 正與領先的 AI 企業測試這些訊號,以評估其能多大程度上能提升資訊新鮮度並減少不必要的爬取,並計劃於今年稍後廣泛推出此功能。
一年前,在首個「內容自主日」(Content Independence Day)當日,Cloudflare推出首個按爬取次數付費(Pay Per Crawl)方案,讓內容發布者向爬取其內容的 AI 企業收費。如今,Cloudflare 將按爬取次數付費升級為按使用次數付費(Pay Per Use),使內容發布者能在其內容實際創造價值時獲得報酬,而不僅是內容在被爬取時。Cloudflare正與Ceramic.ai 及 You.com等領先合作夥伴,攜手將此理念發展成可運作的市場機制。內容發布者透過與Ceramic.ai合作,當其內容出現在 Ceramic 的 AI 搜尋結果中,便會獲得報酬,同時亦可取得相關查詢、引用及排名等資訊。其他 AI 企業則可採用最符合其運作模式的方案,例如 You.com將允許代理按需為所需的特定優質內容付費,而 Cloudflare 則為所有這些服務提供共通的基礎技術架構。
「內容自主」一週年:已推出的功能
去年的「內容自主日」主要圍繞防禦,即提供工具讓用戶重新掌握其資料的控制權。過去十二個月,Cloudflare 一直積極建構所需的基礎架構,推動整個生態系統由單純防護邁向主動賦能。近日的發布代表這項基礎的成果,為一個可持續發展的生態系統建立三大支柱:控制權、透明度及內容變現。Cloudflare去年推出 AI Crawl Control,建立了以許可為基礎的 AI 爬取模式。為普及這些保護措施,Cloudflare 與 beehiiv 等平台合作,為獨立創作者及主流媒體提供精細儀表板,以便輕易追蹤、封鎖或選擇加入允許特定 AI 模型存取。為徹底確保代理的互動安全,Cloudflare 也推出開放框架 Web Bot Auth,允許 AI 機器人及自主購物代理程式向內容發布者和商戶驗證其身分和合法性。Cloudflare 也與領先的支付服務供應商合作,為新興的代理式商務經濟奠定基礎支付架構。Cloudflare直接在Web Bot Auth上建構,協助確保 AI 購物代理能夠與全球數百萬商戶安全交易,而無需透露原始認證。這些措施有助成為可持續代理式經濟的後盾,確保網路的下一階段建立在透明度、可發現性及公平報酬的基礎上。
領先內容發布者及 AI 企業支持代理式網路
•beehiiv執行長 Tyler Denk表示:「我們正進入一個全新時代,徹底重新定義內容可發現性。獨立創作者應站在這項轉變的最前端。未來關鍵在於賦予創作者對其內容及受眾的掌控權。我們希望將方向盤交由創作者,讓他們能輕鬆選擇加入嶄新的代理式網路,在新一代解答引擎最大化可見度,並按照自己的步伐積極擴大受眾群體。」
•Ceramic.ai創辦人暨執行長 Anna Patterson表示:「為推動 AI 搜尋的未來發展,我們需要一位具有廣泛觸及範圍,且於透明度和公平報酬具有共同目標的合作夥伴。Cloudflare 讓我們能輕易且程式化地擴展營運規模。透過將我們的按查詢付費模式(pay-per-query)加入其網路,我們確保數百萬內容擁有者可以無縫地加入平台,每當其內容出現在我們的搜尋結果中,皆可獲得報酬。」
•Condé Nast策略與業務發展資深副總裁 Geoff Campbell表示:「過去一年,Cloudflare 持續支援優質內容發布者如Conde Nast,致力確保我們的內容作為 AI 生態系統的關鍵投
入時能獲得相應報酬。他們提供市場領先的技術架構,並持續就未來發展趨勢擔任我們的策略夥伴。」
•Patreon產品資深副總裁 Drew Rowny表示:「隨著 AI 代理變得日益強大且普及,創作者應對AI 企業使用其作品的方式擁有實質話語權。在多數網路平台上,創作者為了觸及並拓展受眾,往往不得不接受 AI 利用其內容進行訓練。Patreon 有不同的願景:創作者應能拓展受眾的同時,控制其作品的使用方式。正因如此,我們就現有與Cloudflare的合作,於 Patreon 全站網路層面封鎖已知的 AI 訓練爬蟲,同時繼續允許那些能幫助創作者透過搜尋被發現並發展業務的爬蟲運作。」
若要深入瞭解 Cloudflare 的願景,請瀏覽以下資源:
•部落格: 內容自主日一週年:為代理式網路建構商業模式
•部落格: 您的網站,由您做主:為所有客戶提供新的 AI 流量選項
•部落格: 透過 Attribution Business Insights 揭開爬取行為的面紗
•部落格: 讓 AI Search 更智慧
關於 Cloudflare
Cloudflare, Inc.(NYSE: NET)是一家業界領先的全球連通雲公司。它為各種組織提供支援,不僅幫助世界各處的員工、應用程式和網路提升速度和安全性,還降低了複雜性和成本。Cloudflare 的全球連通雲提供了功能最齊全的統一雲端原生產品和開發人員工具平台,因此,任何組織都能獲得高效工作、不斷開發和加速業務所需的控制能力。
Cloudflare 由世界上規模最大且互連性最高的網路之一提供支援,每天可為客戶封鎖數十億個線上威脅。它贏得了全球數百萬個組織的信賴,從最大的品牌到企業家和小企業,再到非營利組織、人道主義團體以及政府。
請關注我們:部落格 | X | LinkedIn | Facebook | Instagram