數十年來,資料中心持續驅動著數位時代;而現今,資料中心正實現各種改變世界的人工智慧(AI)應用。但其電力需求直到最近才開始呈爆炸性且快速地成長。
「二十五年前,典型的資料中心機架耗電量大約是5kW。」德州儀器數據中心熱管理總經理Patrick Zeng表示:「現今的機架耗電量可超過100kW,而幾年內有些機架的耗電量可能會超過1MW。」
所有這些電力都必須有其去處。伺服器消耗的幾乎每一瓦電力,最終都會轉化為熱量回到資料中心機房內。控制這些熱量是現今資料中心設計所面臨最艱鉅的工程挑戰之一。
「當您在太陽底下跑步時,身體會變熱。」Patrick表示:「新陳代謝會讓身體冷卻,以免中暑。這正是熱管理為資料中心發揮的作用。」
伺服器過熱時,性能會下降,且費用會上升。以大型語言模型為例。AI模型會使用詞元(Token)來處理並生成語言,這些小段文字可作為運算的基礎單位。
「GPU過熱時,就無法那麼快地產生詞元,」Patrick表示:「因此,終端使用者的體驗會是回應變慢,而對資料中心營運商而言,產生這些回應的成本也變得更高。」
傳統散熱基礎架構完全無法跟上腳步。工程師目前正加快腳步重新思考資料中心移除熱量的方式,無論是在設施層級或是在伺服器托盤層級。
當僅靠空氣已不足夠時
數十年來,氣冷技術已足以發達。風扇將冷空氣吹過高熱零組件並帶走熱量,讓資料中心能可靠地運作。但隨著AI將機架耗電量推升至20kW到40kW以上時,光靠空氣已經無法足夠快速地移除熱量。為此,工程師正結合氣冷與液冷技術來因應。
液冷技術不是去冷卻伺服器周圍的空氣,而是在熱源處直接移除熱量。冷卻板會直接緊貼在伺服器托盤內部的晶片上,讓液體以遠比空氣更高效的方式帶走熱量。
現在,工程師正將這種方法應用到整個資料中心設施,從在伺服器機架與外部設施基礎架構之間循環冷卻液的冷卻液分配單元(CDU),一直到個別的托盤。但將液體帶到如此靠近電子裝置的地方,成本可能會變得極其高昂,而這項挑戰需要能夠移動、監控與控制冷卻液的零組件生態系統。
液冷技術的構成要素
「監控冷卻液對於整個熱管理系統的可靠運作至關重要。」Patrick表示。這就是工程師持續監控冷卻液,追蹤溫度與濕度,留意是否出現任何異常跡象的原因。
CDU容納了構成迴路機械核心的幫浦與風扇,可使冷卻液在整個系統中循環。馬達驅動器可控制這些幫浦與風扇,並內建防止故障的保護功能。閥門可調節到達每個托盤的冷卻液量,並會根據即時需求開啟或關閉。
感測器會監控流量、溫度、濕度與壓力,以留意洩漏或零組件故障的最早跡象。微控制器將所有事物連結在一起,即時處理感測器資料,並相應地調整系統。
「對於數據中心而言,可靠度永遠是首要考量。」Patrick表示。一台故障的幫浦或一顆讀取錯誤的感測器,都可能導致一整個機架的 AI 運算零組件離線。
要符合可靠度標準,每個步驟都需要精密度。德州儀器的產品組合涵蓋了完整的冷卻液路徑,從冷卻整個數據中心設施的暖通空調(HVAC)系統,到供應機架的CDU,再到個別的伺服器托盤。
「我們並非從零開始。」Patrick表示:「我們正以在建築自動化與家電中使用了多年的商業暖通空調(HVAC)系統技術為基礎。這代表著上市時間能更快速,因為基礎已經存在。這也意味著可靠度,因為這是經過驗證的技術。」
熱管理的下一步為何
即使機架耗電量增加至百萬瓦(MW)等級,且營運商相應地採用了新的散熱技術,工程師仍將面臨一項持續存在的設計挑戰:可靠度。
數據中心散熱可靠度的下一個新領域,是透過邊緣AI與感測器融合技術來結合多顆感測器。現今的系統通常依賴單一顆感測器來捕捉洩漏。未來的系統將會分析由即時訊號交織成的網路(馬達電流、壓縮機轉速、濕度、壓力與溫度)以辨識出任何單一顆感測器都無法偵測到的細微模式。對傳統基於規則的軟體而言,關聯這些訊號過於複雜。
「邊緣AI提供了獨特優勢:快速反應時間與低延遲。」Patrick表示。
無論熱管理採取何種形式,其目的都不會改變:提供工程師工具,讓AI服務保持回應速度並確保數據中心可靠,協助營運商控制成本,並讓現代運算背後的基礎架構以AI目前要求的步調持續運作。