2014年9月17日--Brocade (NASDAQ: BRCD)宣布,Yahoo Japan (日本最大的網際網路公司和全球數位市場領導者)已完成部署Brocade Ethernet fabric方案,作為一項整體企業巨量資料(big data)計畫的網路基礎。新的Brocade Ethernet fabric現在為Apache Hadoop提供高資料吞吐量及效能,並且相較於先前的基礎設施能節省一半的營運成本。
巨量資料是Yahoo Japan的一項重要的策略計畫,建置目的是為了維護其為使用者提供Internet服務的創新領導地位。Hadoop用於分析Yahoo Japan入口網站的大量資訊,並運用這項資料以改善Yahoo Japan服務品質和建立新的服務。再者,Hadoop也支援電子商務,以及每天為公司提供數百萬使用者個人化相關內容的建議。
Yahoo Japan採用Brocade VDX Ethernet Fabric模組化與固定埠網路交換器取代傳統的Spanning Tree Protocol協定。新部署的自動化網路連接數百台伺服器,支援專供整個企業執行Hadoop分析的數千個網路節點。
隨著巨量資料分析需求與可見價值的顯著提升,Yahoo Japan很快就發現他們需要建構一個新而規模較大的Hadoop架構以提供整個企業分享。同樣顯而易見的是,傳統網路無法適用於新的Hadoop設計,理由包括資料吞吐效能限制、擴容困難、以及日益複雜化的營運,這些因素使得應用效能與可用性面臨考驗。
為巨量資料構築一個強固的基礎
為了支援新的Hadoop環境,Yahoo Japan要求網路必須提供包括快速、經濟的擴充(scale-out)能力以容納新增節點,以及支援節點之間爆量的(bursty)高速通訊。經分析各項方案後,Yahoo Japan決定Ethernet fabric架構最適合他們的新Hadoop環境,因為它可以簡單且靈活的擴充並且提供高資料吞吐量。
決定了那些網路條件可最佳支援Hadoop後,Yahoo Japan非常審慎地比較和測試數種Ethernet fabric方案,評估它們的效能、功能性、成本和營運管理。完成測試比較後,該公司決定採納Brocade® VCS® Fabric技術和Brocade VDX®交換器,理由包括效能、低延遲、高緩衝以及自動化部署和營運簡單化,讓他們可以免除手動組態時間。
今天,新構築的整體企業共享Hadoop網路基礎設施由包括數千節點的多重叢集組成。高密度Brocade VDX 8770模組化機箱式交換器作用為匯集交換器(aggregation switch),整合許多機架以便在交換器之間建立fabric。VDX機箱利用該交換器的高頻寬multi-chassis trunking (MCT)功能連接到Brocade MLXe核心路由器。Yahoo Japan也部署固定埠Brocade VDX交換器,建構fabric以支援Yahoo Japan集團公司其他使用的較小規模Hadoop專案。
分析師觀點:Ethernet Fabrics for Big Data
Gartner1報告指出「巨量資料伺服器會加重網路需求,並且在伺服器之間產生大量的爆發性東西向(server-to-server)流量。為克服這些挑戰,網路設計者必須確保他們的網路符合此特殊的需求。」
Gartner在同一份報告也指出,巨量資料部署的交換器應該要能處理「伺服器之間的大量流量」並具備「高頻寬存取與上鏈介面」,以及「低延遲」。網路交換基礎也必須能處理「突爆性流量和多樣性的資料類型」特性,並提供「全線速度能力和低共用率(oversubscription)、更高的封包緩衝能力以及更低的延遲。已建置現代化Ethernet Fabric (亦即一個1-tier或2-tier實體網狀或部分網狀拓樸)的企業符合上述網路需求。」
Yahoo Japan網站營運基礎工程部,資料中心網路經理Kenya Murakoshi表示:「Brocade VCS Fabric除了為我們的新Hadoop環境提供所需的高效能以支援龐大流量處理之外,也讓我們節省超過一半的部署和營運時間,顯著降低營運成本。相較於其他fabric技術,Brocade VCS fabric具備令人難以置信的簡單化,讓我們能夠以極大的靈活性快速擴充網路容量。」
Brocade資料中心與園區網路副總裁Jason Nolet表示:「採納我們Ethernet fabric交換器以支援企業巨量資料計畫的情形越來越多,Yahoo Japan就是一個典型的代表。我們非常高興Brocade能夠成為Yahoo Japan Hadoop方案的一項關鍵技術,並且很驕傲地能夠提供最好的網路自動化與效能,協助Yahoo Japan大幅降低營運成本同時確保重要核心應用的最佳執行效能。」