資策會產業情報研究所（MIC）4/16-4/18舉辦第37屆MIC FORUM Spring《智賦》研討會，今（18）日聚焦AI系統發展，關注AI晶片應用與封裝技術、AI導入雲端與邊緣資料中心，以及Edge AIGC應用發展動態。AI晶片是AI運算的重要硬體基礎，然而資料中心運算以GPU為主，臺灣IC設計大廠可著力於智慧物聯網AIoT多元應用。產業顧問鄭凱安表示，AIoT的特色是應用多元化，其AI晶片為少量多樣的需求，然而缺乏規模化會造成開發成本提高，AIoT的AI晶片開發必須達到彈性客製化配置的能力。分析國內外案例，利用通用型晶片或小晶片彈性組合，形成類似客製化的配置，將可有效獲得規模生產的成本控制。
先進封裝在臺廠AI晶片開發扮演關鍵角色 可滿足功能整合或運算效能提升
資策會MIC產業顧問鄭凱安表示，針對臺廠在AIoT晶片的開發，要尋求規模化的成本控制，就必須重視以通用規格晶片彈性搭配滿足客製化規格，將晶片整合於載板上形成功能模組是一種便捷的作法，如成本允許，可運用先進封裝整合不同功能小晶片，達成更輕巧便攜的單一晶片封裝。利用先進封裝，幫助AIoT晶片藉由小晶片堆疊，滿足功能整合或運算效能提升；其中，記憶體的容量與頻寬對運算效能提升非常重要，除了透過CoWoS封裝將HBM與先進製程運算晶片結合，也有業者發展客製化DRAM與成熟製程Edge AI晶片堆疊的技術，可用於較低成本的AI解決方案。觀察下世代高階運算晶片，無論是電晶體元件的垂直堆疊或背面電軌的內連線結構，都需要精度達到10nm等級的晶片3D堆疊技術支持，成為先進封裝發展的重要機會與挑戰。
AI算力需求使雲端資料中心調整建置 臺灣供應鏈相關廠商升級產品規格
2024年四大雲端服務商資本支出將持續提升，主要支出於資料中心AI基礎建設。資策會MIC表示，AI算力需求急增驅動雲端資料中心部署架構產生變化，產業分析師陳牧風表示，運算、通訊與儲存等IT設備皆須調整，如AI伺服器需透過更緊密的方式進行叢集等；而基礎設施如直接、沉浸式液體冷卻導入，或不斷電系統（UPS）、配電裝置（PDU）與備援電池（BBU）都需要升級；營運則透過AI智慧化監控資料中心的運作，大幅提升運作效率。另外，邊緣資料中心可協助AI應用在接近資料源的位置進行資料處理，改善AI應用的執行，降低AI應用的延遲性、提升頻寬效率、保障資料安全、雲端斷線仍可確保運作，以及根據需求增加容量等。
展望AI資料中心市場商機，資策會MIC提出兩大趨勢。一、AI資料中心架構將促使不同類型臺灣廠商升級產品規格，主要影響AI伺服器，還有網通設備、儲存設備、散熱與基礎設施廠商。產業分析師陳牧風表示，臺系伺服器廠商由代工廠擴展為AI硬體解決方案提供商，在AI伺服器之外也對基礎設施進行布局；另外，液冷散熱系統也成為原氣冷散熱提供商、臺灣伺服器廠商，以及電源管理商共同切入的目標。二、如要使生成式AI應用運作最佳化，將需要AI訓練伺服器在雲端進行叢集來進行AI模型訓練，以及AI推論伺服器於邊緣端進行AI推論、微調，可大幅改善生成式AI應用的延遲性，預期將同步帶動高階AI訓練伺服器、AI推論伺服器的需求。
AIGC採用邊緣運算架構 兩大誘因：降低數據壅塞、資訊數位信任
資策會MIC表示，生成式AI仍在快速發展中，新興應用服務勢必帶動新一波數據處理需求的擴張，其中，邊緣正是生成式AI落地的要件。產業顧問施柏榮表示，組織與企業於生成式AI選擇採用邊緣運算主要有兩大誘因，一是「降低數據壅塞」，減少傳輸至雲端處理的數據量，以及降低雲端產生數據壅塞情況；二是「資訊數位信任」，適用資訊安全較為敏感的應用，且有利於使用者掌握數據。隨著企業客戶對數據資產的數據控制權意識興起，邊緣運算即成為關鍵的技術解決方案。
資策會MIC表示，Edge AIGC適用如科技型智慧財產、醫療診斷、企業營運等高機敏，且資料處理型態為必須應用資料生成者。Edge AIGC有極高的成長潛力，如理財助理、智慧車載、元宇宙、高沉浸遊戲等個人化應用，隨著數據語料庫更多元化，融合雲端、邊緣資源的邊緣雲最佳化設計將是關鍵。產業顧問施柏榮表示，Edge AIGC將為工業控制、資訊服務業者創造新商機，然而Edge AIGC服務提供商也須調整改變自身定位、服務提供模式等；而企業、組織若有意願導入，第一步必須先建構數據政策，並針對自身數據與數位資產進行分級、治理，建議由數據長或Level C人員做為企業推動引擎。
