IBM企業級AI模型Granite 3.0 支持AI Agent應用開發
前言：
IBM 積極發展AI代理 (AI Agent)技術，在動態的業務環境執行複雜任務
2024年11月20日-- IBM 在10月下旬發表了旗艦級模型系列第三代 Granite 3.0；它在眾多學術與行業評比測試中，均超越類似規模的競者模型或與之並駕齊驅，展現了優異的性能、客製化彈性、透明度與安全性。
IBM 正在研發一系列新技術，推進企業級AI的發展：從模型、AI助理、到為企業獨有的數據和應用而優化與部署 AI 所需的工具。IBM 正積極發展AI Agent （AI代理）技術，使其能夠自我引導、檢討修正、在動態變化的業務環境中執行複雜任務。
IBM 不斷發展其AI 助理（Assistants）系列能力。舉例來說，watsonx Orchestrate協助企業使用低代碼工具和自動化，構建企業為特定任務或領域預先「訓練」好的AI助理，例如回答客戶或員工的日常問題、支援大型主機和傳統 IT 應用的現代化工程、引導青年學子探索可能的職業發展路徑，或對購屋族提供線上抵押貸款諮詢等工作。全球 30萬IBM 員工所使用 的「IBM AskHR」 AI 助理就是使用 watsonx Orchestrate 開發而成。
IBM 在今年十月下旬也公佈了新一代的 watsonx Code Assistant (WCA)，新版本由 Granite 代碼模型提供支持，能夠為 C、C++、Go、Java 和 Python 等語言提供通用程式碼開發輔助，並為企業Java 應用程式 提供先進的應用程式現代化能力。Granite 的程式碼開發輔助功能現在也可以透過IBM Granite.Code 取得（是Visual Studio Code 的延伸）。
IBM 計劃繼續發布新工具，協助開發人員利用watsonx.ai 更高效地設計、客製化和部署 AI，包括AI代理框架（agentic framework）、與現有環境的整合功能，以及針對常見應用場景（例如 RAG 和 Agents）的增強支援 。
IBM 正致力於開發具有更高自主性、複雜推理能力、和多步驟拆解問題和調用工具的 AI 代理（AI Agents）技術。Granite 3.0 8B 模型的第一版本即支持主要的AI Agent功能，例如高階的推理、和用來建置調用工具的工作流程所需要的高度結構化聊天模板和指令形式。IBM 還計劃2025年第一季在 IBM watsonx Orchestrate 中加入新的 AI Agent聊天功能，讓AI Agent「協調」AI 助理、技能和自動化，讓企業有效地提高組織的整體生產力 。IBM 將繼續在其產品組合裡強化 AI Agent的能力，包括為特定領域和應用場景預先訓練的Agents。
IBM 日前發布的IBM Granite 3.0系列模型包括：
• 通用/語言模型：Granite 3.0 8B Instruct, Granite 3.0 2B Instruct, Granite 3.0 8B Base, Granite 3.0 2B Base
• 護欄與安全模型：Granite Guardian 3.0 8B, Granite Guardian 3.0 2B
• 專家混合模型：Granite 3.0 3B-A800M Instruct, Granite 3.0 1B-A400M Instruct, Granite 3.0 3B-A800M Base, Granite 3.0 1B-A400M Base
IBM Granite 3.0系列模型的主要特點：
• 適合性：許多大語言模型（LLM）是基於公開可取得的訓練而成，且未包含具有智慧財產權的數據或企業內部數據。Granite 3.0 8B與2B被設計為企業級AI的主力模型，可為檢索增強生成（RAG）、分類、摘要、實體提取、工具使用等企業任務，提供強大的性能。這些小巧、多功能模型可以根據企業數據進行微調，與業務場景或工作流程無縫整合。
• 性能：在HuggingFace的OpenLLM排行榜評比測試中，Granite 3.0 8B Instruct模型的整體性能，平均領先Meta與Mistral類似大小的開源模型的最佳性能。在 IBM 的AttaQ 安全評比測試中，上述模型在所有受測的安全維度裡，表現均優於Meta與Mistral的模型 。
在這次發布裡，還有專家混合架構（Mixture of Experts, MOE）Granite 3.0 1B-A400M與Granite 3.0 3B-A800M，這是一種專業調度技術，能根據輸入內容動態選擇最佳專家模型進行推理，提升效率並降低運算資源需求，特別適用於對回應速度有高要求的低延遲應用程式，兼顧性能與推論成本的完美平衡。
IBM還發布了預訓練 Granite 時間序列模型的更新版本。這些新模型基於多三倍的數據量訓練，具備更高的建模彈性、支持外部變量與滾動預測 。在三個主要時間序列模型評比中，Granite 的性能超越了Google、阿里等規模大十倍的模型。
• 成本：在特定任務上啟用小型 Granite模型，搭配企業自有數據，加上使用 IBM 與 RedHat 在今（2024）年五月推出的革命性對齊技術InstructLab，協助企業透過高效、低成本的方式訓練專屬模型。（根據數個早期概念驗證專案進行的成本分析結果顯示，成本減少約3至23倍 ）
• 透明度：Granite 3.0技術報告與負責任使用指南，均詳細描述了訓練這些模型的數據集、所採用的數據過濾、清洗與處理步驟，並詳列它們在主要學術與行業評比測試裡的性能結果。
• 法律保障：IBM 為watsonx.ai 平台上的所有Granite 模型提供智慧財產權賠償保證，強化企業客戶採用此模型的信心。
• 安全性：IBM 推出新的 Granite Guardian 模型系列，應用開發人員可以透過檢查使用者提示與LLM回應來建置「安全護欄」，提前發現各種風險。Granite Guardian 3.0 8B與2B模型，提供了目前市面上最完整的風險與危險檢測功能；也可與任何其他開放或專用的AI模型共同使用，強化AI安全保護機制。
• 負責任：除了偏見、仇恨、髒話、褻瀆、暴力、嘗試破解限制等AI危害指標，Granite Guardian模型還提供了獨有的RAG特定檢查，例如是否基於事實、與上下文的相關性、與答案的相關性等。在針對安全性與RAG標準的19項廣泛測評中，Granite Guardian 3.0 8B模型對於危害檢測的整體準確性，平均優於Meta既有三個版本的Llama Guard 模型；它接受幻覺檢測的整體表現，也與專門用於幻覺檢測的模型WeCheck和MiniCheck相當 。
• 包容性：Granite 3.0 模型使用超過12兆標記（Token）的數據量訓練而得；數據來自12種不同的自然語言，與116種不同的程式語言，採用了新式的兩階段訓練方法，引用了數千個優化數據品質、數據選擇、與訓練參數的實驗結果。預計到今（2024）年底前，Granite 3.0 8B與2B模型將支持擴展到128K上下文長度和多模態模型，不僅可以處理長篇文本，還能分析包含文字與圖像的複合型文件。
• 開放性：全Granite 3.0模型組與更新版的時間序列模型，均可在HuggingFace上根據寬鬆的Apache 2.0許可證下載。新的 Granite 3.0 8B 和 2B 語言模型的指令變項、以及 Granite Guardian 3.0 8B 和 2B 模型，已在 IBM watsonx 平台商用。部分 Granite 3.0 模型也將作為 NVIDIA NIM 微服務提供，並通過 Google Cloud 的 Vertex AI Model Garden與 HuggingFace 的整合提供。
為了向開發人員提供多種選擇和易用性，並支持本地部署和邊緣應用，精選的 Granite 3.0 模型也可在 Ollama 和 Replicate 上取得。新一代 Granite 模型擴充了 IBM 強大的開源 LLM 目錄：IBM 與 AWS、Docker、Domo、Qualcomm Technologies Inc.（透過Qualcomm® AI Hub）、Salesforce、SAP 等合作夥伴合作，將多種 Granite 模型整合在它們的產品裡或平台上。
• 賦能：IBM 同時宣佈Granite 3.0 成為 IBM Consulting Advantage AI賦能服務平台上的預設AI模型。全球16萬位 IBM 諮詢顧問可以在各種客戶應用場景裡，如客戶服務或IT現代化，輕鬆方便地應用Granite 模型，更敏捷、高效、經濟地為客戶提供商業價值。
瞭解關於 Granite 和 IBM 企業級AI策略，請造訪https://www.ibm.com/granite
關於 IBM
IBM 是全球領先的混合雲、人工智慧及企業諮詢服務的提供者，為全球超過 175 個國家的客戶服務，協助其從擁有的資料裡獲取商業洞察、簡化業務流程、降低成本，並取得產業競爭優勢。 來自金融服務、電信和健康醫療等關鍵基礎設施領域、超過4千家政府和企業機構，採用 IBM 混合雲平台和 Red Hat OpenShift 解決方案，快速、高效、安全地實現企業數位轉型。IBM 在人工智慧、量子運算、產業專屬的雲端運算解決方案和企業諮詢服務領域的突破性創新，為客戶提供開放和靈活的選擇。IBM 對企業誠信、透明治理、企業社會責任、多元與包容文化和服務精神的承諾，歷久彌新，是 IBM 業務發展的基礎。
台灣 IBM 公司新聞室：https://taiwan.newsroom.ibm.com/
