隨著系統頻率的提升,以及DDR2與DDR3 DRAM技術支援更快的記憶體速度,尤其在推進到800 MHz及更高的速率時,記憶體容量便成為高階系統的設計考慮重點。
今天,記憶體對系統效能的影響,扮演著比以往更具關鍵性的角色。由於資訊科技對系統反應速度、容量及複雜性的需求日漸提高,造成對系統功能要求也更加嚴苛,已非僅限於對處理器速度的要求。一個性能良好的系統所需具備的數項特性中,具備快速存取大量記憶體的能力至關重要。
記憶體性能對於桌上型電腦、路由器,甚至是個人數位助理(PDA)已是基本要求,對伺服器與工作站而言,更為重要。由於需要處理密集運算工作量及管理大量資料,系統就必須配置最先進的記憶體。記憶體一定程度的容量與速度,可以決定性地影響所配置的系統性能,甚至會影響該系統在市場上的成敗。
也就是說,設計伺服器與工作站平臺記憶體子系統的廠商,即將面臨迫切的挑戰。隨著系統頻率的提升,以及DDR2與DDR3 DRAM技術支援更快的記憶體速度,尤其在推進到800MHz及更高的速率時,記憶體容量便成為高階系統的設計考慮重點。
系統開發人員會根據不同的需求,開發現有和新出現的記憶體,以滿足開發設計的需要。採用標準DRAM的緩衝式DIMM(Buffered DIMMs - Dual In-line Memory Modules, 雙列直插式記憶體模組),因為在效能及供貨與價格方面較具穩定性的優勢,所以比非緩衝式與專屬應用設計的同類產品具有更廣泛的採用。現在,緩衝式(Buffered)DIMM主要有兩種類型,暫存式DIMM(R-DIMM)與最新的全緩衝(Fully Buffered)DIMM)FB-DIMM)。對這些記憶體解決方案的發展過程以及所具有的特性與功能的瞭解,將能夠協助高效能伺服器與工作站設計開發者獲得更多資訊,以提供決策上的參考,並讓他們得以實現最具競爭力的系統效能目標。
先進記憶體技術的發展
自十年前當系統開始需求64位元資料通道以來,記憶體技術經歷了許多重大創新技術發展。自從那時開始,DIMM已經成為主流的記憶體傳輸格式,同時記憶體技術與功能增強也不斷地發展,以達到與系統帶寬和速度發展需求保持同步。
一開始,處理器與記憶體速度是一前一後依序處理。舉例來說,在JEDEC PC66標準下,處理器與記憶體匯流排都是以66MHz運行,到了九十年代後期,大約是採用PC133標準的時期,處理器的處理速度便超過了記憶體子系統的速度。儘管記憶體處理速度未來也會持續落後於處理器的速度,但是這種差距可迫使能縮短這種差距的創新記憶體解決方案的出現。
在DRAM晶片中的SDRAM技術已經採用增加元件速度的創新方式,以應對上述的壓力。約在2001年,雙倍資料傳輸率DDR(Double Data Rate)SDRAM技術成熟,具備了可在上升和下降時脈邊緣同時傳輸資料的新能力,有效地將前記憶體子系統的時脈速度提高一倍。該技術使記憶體時脈速率可達200MHz,而記憶體傳輸率高達400MHz。後來,系統要求DDR突破可達的400MHz上限,DDR2便應運而生。具有雙倍數據速率的DRAM通過加倍I/O時脈速率,並降低電壓至1.8伏特以達到低耗電量等強化的介面性能,進一步提升可達到的時脈頻率。當DDR2又達到了800 MHz傳輸速率的限制後,約在2006年年底左右,DDR3又順應而生。
在SDRAM技術發展的同時,晶片外(off-chip)功能也漸漸在記憶體架構上扮演更為重要的角色。DIMM模組最初只是一塊電路板,最多組裝18個SDRAM。這個所謂的非緩衝(unbuffered)配置足以滿足當時的需要,後來隨著越來越高的資料傳輸率和未經檢視過的資料量開始超過記憶體匯流排可以承受的容量,需要犧牲系統時脈和信號完整性時,該非緩衝配置已經不能夠滿足當時的需求了。
為了克服這些問題,只好採用緩衝器利用電子方式隱藏指令/位址及時脈信號,這時暫存式(Registered)DIMM應運而生。R-DIMM與SDRAM可成為一個鎖相迴路(PLL)和至少一個或多個暫存器組成的晶片組。PLL可以複製時脈信號,暫存式暫存器可以緩衝位址及指令信號,從而可以減輕記憶體控制器上的負擔,在增加更多記憶體時也可增強系統的穩定性。僅以信號時脈週期的延遲和每個模組稍貴的成本作為代價,R-DIMM就可以提供更高的儲存密度,因為其降低了時脈的負載,指令和位址可支援更多的SDRAM(可高達36個);或者採用非緩衝式DIMM就有可能使容量加倍。
記憶體容量問題
R-DIMM是一種可在記憶體時脈速度高達200-400MHz下運作的記憶體架構。然而現在,記憶體容量卻成為限制的因素。在高速運算時,DIMM會對系統造成龐大的電子負載,如電容、電感與電阻,從而破壞信號的完整性並降低系統性能。
如此一來,在高階系統中每個記憶體通道所能支援的DIMM數量便會嚴重地降低。採用DDR333模式,伺服器架構中的每個通道可支援四組DIMM;而在DDR1-400與DDR2-400模式下,DIMM的插槽降到只有三個。更甚之,如果是在DDR2-667/800模式下時,每個記憶體通道只能有兩個插槽。
因此,在充分利用DDR先進技術的優勢以創造高性能計算系統的同時,卻存在記憶體速度迅速增加,但每個通道可支援的容量卻沒有隨之增加的問題。如果可以接受每個通道具有240個引腳,在平臺架構上增加更多記憶體通道的可能性便無庸置疑。但事實上,由於成本考慮的壓力,每個系統設計都希望降低記憶體通道數量,而非增加。所以,只好依靠先進的記憶體技術來克服容量需求的差距。
架構轉換
傳統記憶體子系統設計的一部份,採用平行匯流排(parallel "stub" bus)的方式,現在也開始因高速資料傳輸率的需求而受到壓力。記憶體通道上的每個模組都是通過所在模組的匯流排連結到記憶體控制器。當記憶體密度變的越來越高時,記憶體控制器便會超載,便容易發生錯誤與資料流程延遲。資料流程速度愈快,就會產生更多錯誤,最終將迫使設計工程師只好在二者中選擇其一:記憶體容量較小但速度快,或是容量較大但記憶體較慢。但如果是世界級高階計算的系統設計,兩種選項均不是最恰當的。
如果還是希望利用DDR2與DDR3技術強化傳輸速率的特性,但同時又要能夠持續增加記憶體容量,就必須對記憶體架構進行根本的改變,徹底放棄傳統平行匯流排的設計。隨著PCI Express、Serial RapidIO(sRIO)、SCSI與ATA的推出,記憶體子系統目前正在嘗試採用串列技術(serial technology) 來提高性能。如果不採用平行匯流排,讓記憶體子系統以串列的方式連接到處理器,記憶體控制器的超載問題以及記憶體架構需要設計很多連結的問題都可因此緩解。將記憶體子系統以鏈狀的方式配置,通過通道中依續排列的DIMM與主控制元件連結,如此一來,每個元件都依序、點對點連結,就像僅有單線的電子負載,即可免除在高記憶體密度下會癱瘓平行匯流排功能的錯誤與延遲的產生。理論上,這種新架構可以容許無限量DIMM的連結,對主控元件而言仍只有一條負載,從而便可完全解決記憶體容量限制的問題。
進入FB-DIMM技術
這種採用串列記憶體子系統的記憶體技術被稱為全緩衝式DIMM(FB-DIMM)。不同於之前的R-DIMM,FB-DIMM配置了DDR2或DDR3 SDRAM記憶體模組,以及一種可管理資料流程量的緩衝元件。不同於R-DIMM,FB-DIMM的緩衝功能不僅對指令/位址和時脈信號,也對資料流程量進行緩衝 -- 即對所有輸入或輸出DIMM的信號及資料都進行緩衝。串列式FB-DIMM經由70條佈線連接到主控元件,比較平行匯流架構每個通道需要240條佈線,不僅可降低負載,也可簡化系統應用設計並降低成本。
FB-DIMM架構中的緩衝元件是一種先進的記憶體緩衝器,簡稱AMB,AMB是一種具有豐富特性的介面元件,以雙向串列匯流排的方式與主控制器互動。因為DRAM在本質上是以並行方式運作,但是主控制元件則是採用串列的溝通方式,所以在每個DIMM上需要一個AMB協助主控制元件與DRAM及下端的FB-DIMM之間進行資訊的轉譯。AMB實質上就如同一個從屬記憶體控制器,主要分擔主控制元件在運算方面及因為要處理大量與不定量記憶體而產生的相關負載量。
最重要的是,FB-DIMM記憶體架構排除了高頻寬平臺所需要的容量限制。以採用DDR2-533 MHz等級的模組為例,FB-DIMM的技術可以延展記憶體通道容納多達八個DIMM,而如果是平行匯流排的話則僅能使用兩個模組。若採用4GB的DIMM,記憶體容量可以從8Gb增加到32Gb,記憶體頻寬也可以比DDR2-400 DIMM增加33%,也因為每個通道的模組數量限制為八個,所以串列鏈中的延遲已經不是問題了。
評估可選用的架構
R-DIMM與FB-DIMM這兩種具緩衝功能的DIMM架構,都是現在伺服器與工作站記憶體子系統設計選用的解決方案。至於哪一個最適用於所採用的系統設計,則需要包括設計需求與商業等多方面的考慮。
對不需要大量記憶體的系統而言,R-DIMM架構的性能應該足以滿足,且成本比FB-DIMM低。若對記憶體的需求增加,則選擇會比較複雜。以單一模組成本而言,FB-DIMM相對R-DIMM的成本較高。然而,如果要增加以R-DIMM為架構的記憶體容量,在不增加插槽數的情況下,就必須換掉成本較低的配置512 Mb DRAM的DIMM,改用配置1Gb 或2Gb DRAM晶片而較昂貴的DIMM。相對的,若採用FB-DIMM的架構,系統可以設計保留大量的插槽空間,以便可以用最具成本效益的DRAM進行最適宜的配置。整體來說,FB-DIMM架構的系統,表面上FB-DIMM本身似乎較貴,但需要擴充時,卻比較便宜。成本考慮的關鍵應該是整體系統的所有成本,而不是只單一評估DIMM的成本。
另一個考慮則是風險因素,如同先前所提到的,如FB-DIMM與R-DIMM這類有緩衝功能的DIMM,使用的是已商用化的DRAM,不會有供貨風險,價格也比較有競爭性。R-DIMM架構的技術比FB-DIMM成熟,可供一些系統設計考慮。僅管如此,FB-DIMM架構自2004年初即開始發展,且受到領先DIMM製造商的大力支持,突出的主客觀條件促使其很快地也會發展為成熟的技術。最後要考慮的因素,是供應鏈的整合,尤其對高階系統來說,設計的成功與否很大因素歸因於是否與有信譽的供應商合作及其所提供的價值。
IDT:提供的記憶體介面解決方案
IDT提供先進的記憶體介面產品,可支援R-DIMM與FB-DIMM架構,適合於工作站與伺服器所需的應用設計。提供這些先進的記憶體產品充份展現IDT長期在DIMM市場的領導地位及對該市場的承諾。
IDT是第一家針對DDR2暫存式DIMM(R-DIMM)架構推出符合JEDEC規範的PLL/暫存器晶片組的公司,IDT的暫存器可以驅動指令/位址信號,並支援1:1(25個輸入位)與1:2(14個與28個輸入位元)的組合,讓系統設計師只要用單個元件便可以進行多種DIMM的配置組合。IDT的晶片組也包含了一個1:10 PLL的時脈驅動器,可將從主控元件傳入的時脈與DIMM上的SDRAM同步化。目前,IDT為市場上第一家支持R-DIMM高達800 MHz傳輸速率的公司。
IDT也提供符合JEDEC規範的先進記憶體緩衝器(Advanced Memory Buffer),以支持FB-DIMM架構的解決方案。IDT的 AMB整合在FB-DIMM上,主要處理系統中每個DIMM的資料的緩衝、收集與分配。作為下一代高速伺服器與工作站的必要建構模組,IDT已經建立了在AMB技術的市場領導地位,除了是第一家可以量產AMB的供應商之外,也是2004年第一家提供AMB產品樣品的廠商,同時也是第一家可以提供系統展示的公司。IDT 的AMB是一個功能完整、可同時支持ECC和CRC、具備故障自動重啟的不間斷連結,以及跨通道鏡像與熱插拔能力的器件。
總結
記憶體子系統設計的領域目前正面臨一個新舊交替的時期,對高性能的伺服器與工作站平臺而言更是如此。設計人員必須依據其所作特定系統的需求與商業考慮,選擇採用既有的技術(如R-DIMM/PLL與暫存器),或採用新的架構(FB-DIMM/AMB)。無論哪種選擇,必須有類似像IDT所提供的通過相關測試並證實可實用的解決方案,才能讓設計開發者有能力可以開發出滿足現今先進應用中的種種需求。