在生成式AI掀起新一波運算革命之際,記憶體技術正面臨重大突破,面對傳統記憶體架構的效能瓶頸,CXL(Compute Express Link; 簡稱CXL)技術是一個開放標準,其高速互聯技術可以為高性能資料中心電腦提供高速、大容量CPU至設備,CPU至記憶體,及設備至設備的連接。CXL突破傳統 CPU/記憶體架構的限制,滿足日益增長的計算需求。作為下一代高性能計算和 AI 運算的關鍵技術,正在快速發展並逐漸走向成熟。CXL 技術的應用場景將從雲計算、高性能計算(HPC)逐步擴展到 AI 推理、自動駕駛和邊緣計算等領域。
SMART Modular (世邁科技) DRAM 產品總監 Arthur Sainio表示,傳統記憶體架構在處理超大資料集時存在性能瓶頸,例如記憶體中資料庫性能會因資料集超過記憶體容量而大幅下降。CXL 技術通過增加記憶體空間、降低延遲、支持即時資料攝取等特性,有效解決這一問題,同時提供更具成本效益的記憶體擴展方案,支援多種配置選項以滿足不同應用需求。
圖:記憶體型態變化 資料來源: SMART Modular
CXL 技術優勢:
性能與一致性提升:CXL 能夠避免資料溢出到持久存儲,保持性能和一致性,尤其在處理大規模資料時優勢明顯。
延遲降低:與快速即時資料庫配合使用時,CXL 可將延遲降低至毫秒級。
即時資料攝取:在邊緣 AI 推理等場景中,CXL 能夠利用最新資料進行關鍵決策。
記憶體成本降低:相比 256GB DIMM,使用 96GB 或 128GB DIMM 可降低每bit成本。
靈活性增強:CXL 支援僅 GPU、僅大記憶體或 GPU+記憶體混合等多種配置,適應不同應用場景需求。
CXL 技術標準已從 1.1逐步演進到 3.0 版本。隨著版本升級,CXL 不斷增強特性,如設備完整性、資料加密、多級交換、埠多設備類型支援、增強一致性、對等 DMA 和記憶體共用等,為市場成長提供了堅實的技術支撐,滿足了日益多樣化和複雜的資料處理需求。
圖:CXL 標準/功能演進: CXL 技術標準從 1.1 版本逐步演進到 3.0 版本 資料來源: SMART Modular
SMART CXL 產品路線規劃與技術能力
SMART Modular在 2024 年至 2025 年期間推出了多種CXL相關產品,如CXL 8-DIMM DDR5 AIC、CXL 4-DIMM DDR5 AIC、CXL E3.S CMM和CXL NV-CMM等。這些產品涵蓋了不同的記憶體容量、頻寬、延遲和功耗等特性,能夠滿足市場多樣化的需求,為客戶提供豐富的選擇,以適應不同的應用場景和預算要求。
圖: CXL 8-DIMM DDR5 AIC為高性能 CXL 擴展卡,支援 DDR5 記憶體,提供 1TB 記憶體容量,適用於高性能計算和資料中心應用。 資料來源: SMART Modular
Arthur Sainio表示,SMART Modular在 CXL 領域擁有深厚的技術專長,涵蓋記憶體和 CPU 驗證、測試程式開發、串列標準和解決方案等多個方面,能夠為客戶提供高品質的技術支援和解決方案,確保產品符合行業標準和客戶需求。SMART Modular 為一級伺服器製造商和邊緣 AI 平臺提供商 提供全面的技術支援,包括產品設計、性能優化、固件測試、熱模型、可靠性測試、DIMM 驗證測試、行業認證和 CXL 合規性測試等,確保客戶產品在市場上的競爭力和可靠性。此外,SMART Modular 擁有廣泛的 DRAM 和 NAND 產品線,與記憶體供應商、RCD 廠商、CPU 廠商、作業系統開發商、BIOS 廠商等建立合作關係,確保產品的相容性和互通性。在複雜記憶體和 ASIC/FPGA 控制器卡領域具備深厚的技術積累和豐富的實踐經驗,能夠為客戶提供全面、可靠的記憶體和存儲解決方案。
Smart Modular 在AI 運算領域的佈局
SMART Modular通過 CXL 技術在 AI 運算領域的佈局,以滿足市場對高性能計算和 AI 運算的需求,並提升 AI 模型的訓練和推理效率。SMART Modular推出了支援 DDR5 的 CXL 插入卡(如 CXA-4F1W 和 CXA-8F2W),容量高達 4TB,能夠滿足 AI 推理和訓練對大容量、低延遲記憶體的需求。SMART Modular還計畫進一步開發 CXL 3.0 相容產品,支援記憶體分解(Disaggregation)和動態資源配置。
SMART Modular 針對雲計算、高性能計算和 AI 運算等市場細分領域,提供定制化的 CXL 解決方案。為客戶提供全面的技術支援,包括產品設計、性能優化和可靠性驗證。
SMART Modular與產業夥伴展示CXL應用
此外,SMART Modular與產業夥伴ACCTON 智邦、ASRock Rack 永擎、Giga Computing 技鋼科技、H3 Platform 創義達、Pegatron 和碩等伺服器平臺整合方案領導品牌廠商,深入解析CXL技術如何重塑AI運算的基礎架構剖析,展示 CXL 在 AI、HPC、雲端及共用基礎架構的最新應用。
▍ACCTON 智邦
• 展示 CXL 在 CDI(Composable Disaggregated Infrastructure)架構中的應用,突顯記憶體與運算資源的動態分配能力。
• 透過新型快取一致性互連技術,強化異構硬體資源管理,實現記憶體解構與動態配置,降低閒置成本,提升運算效能與靈活性。
▍ASRock Rack 永擎
•展示 ASRock Rack 4U8G-GNR2 高效能 AI 伺服器,搭載 SMART PCIe Gen5 CXL 2.0 AIC擴充卡,加速 AI 推論效能。
•透過快取卸載降低記憶體存取延遲,同時提供靈活的記憶體容量擴充方案,有效提升 AI 推論工作負載的處理效率。
▍Giga Computing 技鋼科技
•展示 GIGABYTE G494-SB0 AI 伺服器,適用於大規格AI 訓練和推論工作負載,提升 AI 模型計算效能。
•CXL Attached Memory 作為 AI 訓練(特別是 LLM 訓練)過程中的記憶體擴充方案,大幅提升記憶體頻寬並減少 I/O 瓶頸,確保大規模 AI 模型運行的穩定性與效能。
•展示CXL AIC擴充卡在LLM訓練中的實際加速效果,並提供與傳統架構的效能對比數據。
▍H3 Platform 創義達
•展示完整 CXL 記憶體池化與共用解決方案,包含系統設備與關鍵零組件,呈現資源靈活調配的具體應用場景。
•透過 CXL 技術實現記憶體動態分配,提升資料中心與HPC工作負載的資源利用率,滿足高效數據庫運算需求。
▍Pegatron 和碩
• 展示Pegatron GS202-2T1 伺服器,搭載 SMART CXL AIC 模組的架構,完整呈現系統架構與應用場景。
• 展示CXL記憶體頻寬與容量優化方案的實測數據,突顯HPC 工作負載的效能提升。
• CXL AIC記憶體擴充卡有效提升 HPC 伺服器的記憶體頻寬與容量,解決高記憶體需求,確保核心運算發揮最大效能。
小結
CXL 技術通過擴充記憶體容量和頻寬,減少記憶體浪費,突破了傳統 DRAM 架構的限制,為計算系統性能提升提供了新的途徑。通過 CXL 3.0 的分解功能,填補了 DRAM 和 NAND 之間的空白,構建了更加靈活和高效的記憶體層次結構,滿足不同應用場景對記憶體資源的多樣化需求。CXL 技術為客戶提供了豐富的記憶體擴展選擇,客戶可根據自身需求靈活配置記憶體資源,降低記憶體成本,同時提高系統性能和資源利用率,為資料中心和計算系統的建設和運營帶來顯著的經濟效益。
SMART Modular 在 CXL 技術領域的佈局不僅滿足了當前高性能計算和 AI 運算的需求,還為未來的技術發展奠定了基礎。隨著 CXL 3.0 標準的落地和市場接受度的提高,SMART Modular將繼續引領記憶體擴展和異構計算技術的發展,