當前位置: 主頁 > 新聞 >
 

企業初期導入大型語言模型 考量成本與資安 以雲端代管制為首選

本文作者:DIGITIMES       點擊: 2023-08-28 10:19
前言:
 2023年8月28日-- DIGITIMES研究中心分析師黃耀漢觀察,ChatGPT熱潮推動生成式AI技術快速發展,軟體業者看好生成式AI市場前景,紛紛投入生成式AI軟體開發,其中關鍵技術在於大型語言模型(Large Language Model;LLM), 微軟(Microsoft)、Google、亞馬遜(Amazon)等指標業者紛推出LLM提供企業選擇,考量成本與資安因素,企業初期導入LLM以雲端代管制為首選。
 
  黃耀漢指出美國生成式AI平台Writer問卷調查顯示,2023年1至4月美國企業20%曾使用5種以上的生成式AI軟體,其中,前五名使用軟體皆為生成文字類,主要應用於資訊系統、營運管理等領域,有鑑於此,指標業者紛推出LLM,以商業模式區分,微軟、Google為B2B與B2C,Amazon Web Services (AWS)為B2B。
 
  生成式AI技術廣泛應用下,隱藏許多資安問題,目前邊緣模式為降低資安風險最佳方案,但投資成本相對雲端模式高。邊緣端模式因封閉網路架構,資安等級較雲端方案高,但資安系統需用戶自行建立與維護,成本相對雲端高;而雲端模式因開放網路架構,資安等級較邊緣端方案低,但資安系統由雲端平台業者負責建立與維護,用戶擔負資安的成本較邊緣端低。
 
  黃耀漢表示雲端LLM存在高運算力需求、高硬體成本、高延遲與低資安的問題,推論程序可由雲端轉移至邊緣端,有望克服相關問題,因邊緣小型語言模型具備低延遲與高資安優勢,因此,Meta、微軟、Hugging Face分別推出小參數量語言模型,有利於邊緣裝置上運作推論程序。
 
 
【關於DIGITIMES研究中心】
DIGITIMES成立於1998年,為大中華地區報導科技產業全球供應鏈、區域市場、科技應用及市場趨勢首屈一指的專業媒體平台。DIGITIMES研究中心具備貫穿產業上中下游與終端市場的研究數據、產銷資料與專業評析,並提供諮詢服務為客戶帶來產業宏觀趨勢與注入前瞻價值。
 
【DIGITIMES會員服務】欲了解更多資訊,歡迎洽詢https://www.digitimes.com.tw/svc/member_service/
 
 

電子郵件:look@compotechasia.com

聯繫電話:886-2-27201789       分機請撥:11