IBM新增Apache Spark支援z Systems大型主機資料存取加值更容易
前言：
最新z/OS平台可支援Apache Spark，協助資料科學家與開發者可即時、簡易、安全地存取大型主機資料
合作夥伴解決方案可加速取自結構與非結構資料之洞察力，支持客戶於認知業務的轉型
2016年4月6日--IBM（NYSE: IBM）最新z/OS平台可支援Apache Spark，方便企業更簡便、更快速地取用及分析IBM z Systems大型主機內的資料，為資料科學家與開發商創造新契機，結合先進分析技術與系統內豐富資料，擁有即時分析能力。
IBM z/OS 平台可支援Apache Spark，使開源分析架構Spark可自然地在z/OS大型主機作業系統內運作。此新平台現已上市，幫助資料科學家在系統源頭分析資料，不需擷取、轉換與載入（ETL），打破分析資料庫與底層檔案系統的連結。
在認知時代中，資料是新的天然資源，電腦系統能夠瞭解、歸納並學習這些資料，企業則必須在洞見價值尚未消失前，及時地開發與利用。該平台包含z Systems事業夥伴開發的加速器，讓組織能更輕易的利用z Systems資料與性能，以瞭解市場變遷及滿足個別客戶需求，並即時調整業務，縮短創造價值所需的時間。
全球多家大型銀行、保險業者、零售商及運輸公司均已使用z Systems處理重要資料及交易，其中內含業界最快速的商業微處理器，能在交易中執行分析工作，並在兩毫秒內計算交易的預測模型。各組織如今可運用這些功能，透過Spark運用先進的內存記憶體分析，無需將資料移到大型主機外，如此可節省時間與金錢，也降低潛在風險。
IBM新興網路技術研究員Rod Smith指出，「企業不論規模大小，都逐漸轉型為即時數位組織，企業必須掌握內部所有資料的全貌，但不能耗費過多時間或提高ETL風險。透過Apache Spark可於z Systems等IBM平台內自然運作，客戶能在存有重要資料的交易系統內完成分析，同時從其他資料來源挖掘相關資訊，實踐與客戶即時互動、創造營收」。
支援Apache Spark的IBM z/OS平台內含Spark的開源功能，包括Apache Spark核心、Spark SQL、Spark Streaming、機器學習資料庫（MLlib）與Graphx，搭配業界中唯一大型主機內建Spark資料提煉解決方案。全新IBM z/OS平台協助企業提升汲取洞見的效能與安全性，特色包括：
• 簡化開發－開發者與資料科學家能運用本身既有的專業及程式語言，如Scala、Python、R及SQL，縮短評估可行作為所需的時間。
• 簡化資料存取－優化資料抽象化服務後能降低複雜度，並透過Apache Spark APIs的常見工具，以IMS、VSAM、DB2 z/OS、PDSE或SMF等傳統格式，流暢存取企業資料。
• 就地化資料分析－Apache Spark使用內存記憶體的方式處理資料，以加速傳送結果。該平台包含資料提煉與整合服務，協助z/OS分析應用程式並善用標準Spark APIs，如此可讓組織恰當準確地分析資料，免除與ETL有關的高成本處理及安全考量。
• 開放源碼功能－本平台提供Apache Spark開源碼、專為海量資料設計的內存記憶體處理引擎。
• 簡化資料存取－優化資料抽象化服務後能降低複雜度，並透過Apache Spark APIs的常見工具，以IMS、VSAM、DB2 z/OS、PDSE或SMF等傳統格式，流暢存取企業資料。
• 就地化資料分析－Apache Spark使用內存記憶體的方式處理資料，以加速傳送結果。該平台包含資料提煉與整合服務，協助z/OS分析應用程式並善用標準Spark APIs，如此可讓組織恰當準確地分析資料，免除與ETL有關的高成本處理及安全考量。
• 開放源碼功能－本平台提供Apache Spark開源碼、專為海量資料設計的內存記憶體處理引擎。
IBM也與DataFactZ、Rocket Software及Zementis三家夥伴合作，使用支援Apache Spark的 IBM z/OS 平台建立客製化解決方案：
• DataFactZ為IBM的新合作夥伴，共同以Spark SQL及MLlib為基礎，開發Spark分析工具，處理大型主機內的資料與交易。
• Rocket Software為IBM長期合作夥伴，合作項目包括z/OS Apache Spark，例如客戶在最新的Rocket Launchpad解決方案內，可使用z/OS上的資料試用該平台。
• Zementis在自有z/OS交易內預測分析工具中，搭配Apache Spark標準執行引擎，這項解決方案協助用戶建置與執行先進的預測模型，估算終端用戶的需求、計算風險，並在最大衝擊時即時偵測錯誤，同時處理交易內容。
• Rocket Software為IBM長期合作夥伴，合作項目包括z/OS Apache Spark，例如客戶在最新的Rocket Launchpad解決方案內，可使用z/OS上的資料試用該平台。
• Zementis在自有z/OS交易內預測分析工具中，搭配Apache Spark標準執行引擎，這項解決方案協助用戶建置與執行先進的預測模型，估算終端用戶的需求、計算風險，並在最大衝擊時即時偵測錯誤，同時處理交易內容。
最新支援Apache Spark的z/OS 平台與夥伴解決方案結合後，可協助在不同來源中收集資料的資料科學家及數據整理專業人員，使用偏好的格式及工具，從各方蒐集與分析資料。
IBM去年投入一項Spark計畫，由逾3,500名內部研究與開發者參與框架架構相關專案，為繼續推動大型主機開源分析技術，z Systems已成立GitHub組織，讓開發者彼此合作並打造z/OS上的Spark工具，例如結合Project Jupyter 與各種 NoSQL資料庫之後，可打造兼具彈性與延展性的資料處理及分析解決方案。
這項計畫讓開發者可自選工具及程式語言，促進現代開源工具更加普及化，並提供新視覺輔助工具，可在分散資料環境內監控分析結果，促進現代資料處理技術與技能。
支援Apache Spark的IBM z/OS Platform現已開放z/OS開發者下載，更多IBM z Systems產品組合相關資訊，請見http://www.ibm.com/systems/z/或IBM Systems部落格。
引用資料
DataFactZ:
DataFactZ執行長Krishna Kallakuri表示：「隨著資料規模與使用增加，威脅與弱點也與日俱增，我們的z/OS解決方案運用Spark的MLilb，即時偵測與辨別大型主機內的POS交易是否有問題，避免客戶在使用資料時承擔更多風險。」
DataFactZ:
DataFactZ執行長Krishna Kallakuri表示：「隨著資料規模與使用增加，威脅與弱點也與日俱增，我們的z/OS解決方案運用Spark的MLilb，即時偵測與辨別大型主機內的POS交易是否有問題，避免客戶在使用資料時承擔更多風險。」
Rocket Software:
Rocket Software技術長暨研發副總裁Bryan Smith表示，「在z/OS同設備上運作Apache Spark，可讓組織在更靠近資料源進行分析。客戶若想於z/OS上使用Apache Spark，可申請Rocket Launchpad。此互動模型可協助組織針對最複雜的資料難題，開發創意解決方案。」
Rocket Software技術長暨研發副總裁Bryan Smith表示，「在z/OS同設備上運作Apache Spark，可讓組織在更靠近資料源進行分析。客戶若想於z/OS上使用Apache Spark，可申請Rocket Launchpad。此互動模型可協助組織針對最複雜的資料難題，開發創意解決方案。」
Zementis
Zementis執行長Michael Zeller博士表示，「Apache Spark協助組織提升資料科學應用效率，認知能力已是智慧商務應用差異化的一大關鍵，建立以預測模型標記語言（PMML）業界標準為基礎，打造機器學習與先進預測分析工具的共同平台與程序有其必要性。」
Zementis執行長Michael Zeller博士表示，「Apache Spark協助組織提升資料科學應用效率，認知能力已是智慧商務應用差異化的一大關鍵，建立以預測模型標記語言（PMML）業界標準為基礎，打造機器學習與先進預測分析工具的共同平台與程序有其必要性。」
