ServiceNow、Hugging Face和NVIDIA共同推出全新開放式大型語言模型， 協助開發人員利用生成式AI構建企業應用
前言：
由BigCode社群創建並在600多種程式語言上進行訓練的StarCoder2，
推動了程式碼生成、透明度、治理和創新
2024年2月28日--ServiceNow（NYSE: NOW）、Hugging Face和NVIDIA今天宣布推出StarCoder2，這是一系列開放存取的大型語言模型，用於程式碼生成，為效能、透明度和成本效益方面設立了新標準。
StarCoder2是與BigCode社群合作開發，該社群由ServiceNow和Hugging Face管理，ServiceNow是領先的數位工作流程公司，致力於讓全球工作變得更加順暢，而Hugging Face則是最常用的開源平台，機器學習社群在該平台上共同協作開發模型、資料集和應用。
StarCoder2經過619種程式語言的訓練，可以進一步在企業應用中進行訓練和嵌入，執行特定任務，例如應用原始程式碼生成、工作流程生成、文章摘要等等。開發人員可以利用其程式碼自動完成、先進程式碼摘要、程式碼片段擷取等功能，加速創新並提高生產力。
StarCoder2提供三種模型大小：由ServiceNow訓練的30億參數模型；Hugging Face訓練的70億參數模型；以及由NVIDIA使用NVIDIA NeMo構建並在NVIDIA加速基礎設施上進行訓練的150億參數模型。較小的變體在提供強大效能的同時，也節省了運算成本，因為較少的參數在推論過程中需要更少的運算。事實上，新的30億參數模型與原始StarCoder 的150億參數模型的效能相當。
ServiceNow的StarCoder2開發團隊負責人暨BigCode聯合負責人Harm de Vries強調：「StarCoder2證明了開放科學協作和負責任的人工智慧（AI）實踐與道德資料供應鏈的綜合力量。最先進的開放存取模型改善了先前的生成式AI效能，以提高開發人員的生產力，並為開發人員提供平等的機會享受程式碼生成AI的好處，這也進一步使任何規模的組織能更輕鬆地達成其完整的業務潛力。」
Hugging Face機器學習工程師暨BigCode 聯合負責人Leandro von Werra 表示：「在Hugging Face、ServiceNow和NVIDIA的共同努力下，我們得以推出強大的基礎模型，使社群能夠在資料和訓練的完全透明化的情況下，更有效率地建立各種應用。隨著我們努力實現負責任的AI民主化，StarCoder2證明了開源和開放科學的潛力。」
NVIDIA應用研究副總裁Jonathan Cohen表示：「由於每個軟體生態系統都有專有的程式語言，因此程式碼大型語言模型可以推動各產業在效率和創新的突破。NVIDIA與ServiceNow和Hugging Face的合作導入了安全、負責任的開發模型，並支持更廣泛取得負責任的生成式AI，我們相信這將使全球社群受益。」
StarCoder2 模型增強客製化應用開發
StarCoder2模型採用最先進的架構，並使用來自BigCode精心整合的資料源，優先考慮透明度和開放治理，以實現大規模負責任的創新。
StarCoder2提升了未來AI驅動的程式碼應用潛力，包括從文字轉程式碼和文字轉工作流程等功能。透過更廣泛、更深入的程式設計訓練，它為儲存庫提供上下文，從而實現準確且由情境感知的預測行為。這些先進功能也適用於經驗豐富的軟體工程師和公民開發者，加速商業價值和數位轉型。
StarCoder2的基礎是一個名為 Stack v2的新程式碼資料集，它比Stack v1大7倍以上。除了先進資料集之外，新的訓練技術還可以幫助模型理解低資源程式語言（例如 COBOL）、數學和程式原始碼討論。
利用特定業務資料微調進階功能
使用者可以使用NVIDIA NeMo或Hugging Face TRL等開源工具，根據產業或組織特定的資料對開放式的StarCoder2模型進行微調。他們可以創建先進聊天機器人來處理更複雜的摘要或分類任務，開發個人化的程式設計助手來快速輕鬆地完成程式設計任務，檢索相關程式碼片段，並啟用文字轉工作流程的功能。
組織已經開始微調StarCoder基礎模型，為其業務創建專門的任務特定功能。
ServiceNow的文字轉程式碼Now LLM建置在具有150億參數的StarCoder大型語言模型的專門版本上，並針對其工作流程模式、用例和流程進行微調和訓練。Hugging Face也使用該模型創建StarChat助手。
BigCode促進AI領域的開放科學合作
BigCode代表了由Hugging Face和ServiceNow領導的開放式科學合作，致力於負責任地開發用於程式碼的大型語言模型。
BigCode社群透過工作小組和任務小組積極參與StarCoder2計畫的技術工作，利用ServiceNow的 Fast LLM框架訓練30億參數模型、Hugging Face的nanotron框架訓練70億參數模型，以及NVIDIA NeMo雲原生框架和NVIDIA TensorRT-LLM 軟體來訓練和最佳化150億參數模型。
促進負責任的創新是BigCode的核心宗旨，BigCode開放治理、透明供應鏈、開源軟體的使用，以及開發人員具備從訓練中排除特定資料的能力都體現了這一點。StarCoder2是在Inria託管的Software Heritage數位共享授權下使用來源可靠的資料進行建構。
Software Heritage總監Roberto Di Cosmo表示：「StarCoder2是第一個使用Software Heritage 原始碼存檔開發的程式碼生成AI模型，其建立符合我們負責任地開發用於程式碼模型的政策。ServiceNow、Hugging Face 和 NVIDIA 的合作體現了對道德 AI 開發的共同承諾，推動技術進步以造福社會更多的人。」
StarCoder2與其前身都在BigCode Open RAIL-M許可下提供，允許免版稅存取和使用。為了進一步促進透明度和協作，該模型的支援程式碼將繼續存放在BigCode專案的GitHub頁面上。
所有StarCoder2模型也可從Hugging Face下載，且StarCoder2的150億參數模型可在NVIDIA AI Foundation 模型上獲得，供開發人員直接從瀏覽器或透過API端點進行實驗。
關於NVIDIA（輝達）
NVIDIA（輝達）自 1993 年成立以來始終為加速運算領域的先驅。自 1999 年發明 GPU 起便成功促進 PC 電競市場的成長、重新定義電腦繪圖、引領現代人工智慧時代並推動打造工業數位化。NVIDIA 為一間全方位的運算基礎架構公司，提供資料中心規模的產品以重塑產業樣貌。欲瞭解更多資訊，請瀏覽 https://nvidianews.nvidia.com/。
