架構無所不在的AI運算情境 2023 RISC-V Taipei Day成功舉辦 從應用、領域到晶片設計 深入剖析RISC-V在AI運算的可行策略
前言：
2023年10月18日--聚焦全球人工智慧（AI）晶片開發趨勢，加速大語言模型（LLM）運算，架構無所不在的AI運算數位轉型情境，台灣RISC-V聯盟（RISC-V Taiwan Alliance，RVTA）於10月12日假台北國際會議中心舉辦2023 RISC-V Taipei Day年度活動，邀請海內外RISC-V產業專家發表專題演講，串聯上中下游供應鏈，吸引涵蓋產官學研等近兩百位半導體IC領域專家齊聚一堂，反應十分熱絡。
為了讓與會人士實際感受體驗RISC-V晶片開發成果與應用情境，論壇現場並有多家半導體業者與學研機構設攤展示，包括力積電、晶心科技、Skymizer、新思科技、聯華電子、陽明交大、清華大學、成功大學、中山大學等單位，展出RISC-V開發套件、RISC-V應用解決方案、RISC-V設計與驗證用EDA軟體、RISC-V晶圓代工等產品與服務，現場交流積極，更有公司直接進行員工招募。
林志明：RISC-V是國際開放標準 可以在軟體與硬體上進行跨領域、跨國合作
台灣RISC-V聯盟會長暨RISC-V國際組織（RISC-V International，RVI）理事林志明在開場演說中指出，RISC-V是開放式運算（Open Computing）的國際標準，讓各家廠商可以在不受領域與地理位置上的限制進行合作，並以驚人的速度快速發展。目前RISC-V國際組織擁有3,820家會員，橫跨七十個國家，至今已經出貨超過一百億顆晶片，2020年超過23%的ASIC與FPGA使用RISC-V架構，使用RISC-V架構的IC設計大廠與晶片業者相當多，可說是全球晶片市場三大主流趨勢之一。
國際科技大廠對於RISC-V的支持更是動作頻頻。以英特爾晶圓代工服務（Intel Foundry Services，IFS）為例，不僅加入RISC-V國際組織，提供10億美元創新發展基金，並在2022年成為RVI理事。Qualcomm則是在2019年開始導入RISC-V架構，至今已出貨超過6500萬顆內含RISC-V架構晶片，並在2023年獲選成為RVI董事會主席。而Google也在2023年1月宣布，Android手機將支援RISC-V架構。由以上案例可見RISC-V成長速度相當快，也歡迎相關產學研以公司或個人名義一起加入台灣RISC-V聯盟行列。
李志鵬：RISC-V的靈活設計元件架構 可加速複雜AI模型訓練與推論運算效率
國科會工程技術研究發展處處長李志鵬博士致詞時表示，AI發展已經到了關鍵的轉折點。大語言模型（LLM）近期更引起極大的關注，LLM需要大量計算來進行AI模型訓練和推論，也為IC設計產業帶來新挑戰，而RISC-V的靈活設計元件架構，可以加速複雜 AI 運算效率。近年來，全球IT和半導體巨頭，皆紛紛表態加入RISC-V陣營，包括Meta即將在2025年推出的首款自行設計AI加速晶片MTIA（Meta Training and Inference Accelerator）； Google 也宣布 Android 未來將支援RISC-V架構。此外，車用晶片龍頭高通、恩智浦、英飛凌、BOSCH與 Nordic等大廠也將成立合資公司，要共同推動車用晶片加速支援RISC-V，並建構生態系，勢必可以帶動台灣IC設計產業供應鏈，投入研發資源開發符合市場需求的產品。
王其國：RISC-V開放性架構 能有效加速AI運算效率 提升HPC運算能力
台灣物聯網產業技術協會（TwIoTA）理事長王其國博士在致詞時指出，過去四年因為擔任首屆台灣 RISC-V 聯盟會長的關係 非常關注RISC-V在全球的佈局與進展，今年3月將會長這項重要任務交棒給台灣RISC-V龍頭晶心科技林志明董事長，一同見證RISC-V的進展有如神助，也看到國際科技大廠包括Qualcomm、Google等陸續加入RISC-V陣營。
王其國表示，今年RISC-V Taipei Day的主題是RISC-V在AI運算應用，而AI的重要性已經眾所皆知，因此以RISC-V的開放架構搭配上多核心平行運算方式，搭配上客製化SoC晶片，將能加速AI運算效率，並提升HPC運算能力。
Lu Dai：RISC-V不只是處理器架構 而是一個全新產業生態系
RISC-V國際組織董事會主席Lu Dai在錄影致詞時指出，RISC-V不只是處理器架構，而是一個包括IP、SoC單晶片、系統、軟體等完整技術，涵蓋End-to-End供應鏈，並能建構一個全新產業生態系。而開放的指令集架構（ISA）標準，則是產業人士不可錯過的創新機會，如同在1990年，精簡指令集（RISC）架構的Arm，在與複雜指令集（CISC）的x86架構競爭中找到新商機。歡迎來自各界創業與創新團隊，一起加入RISC-V大家族行列中。
Calista Redmond：RISC-V建構無所不在的開放運算架構 從終端設備到資料中心皆可使用
RISC-V國際組織執行長Calista Redmond，以「RISC-V is Inevitable」為主題，介紹RISC-V透過開放運算架構，所帶來無所不在運算應用的成長力道，並有來自各地大型企業或新創公司，利用RISC-V的自由開放架構，開發出從低階到高速運算等不同應用情境所需之處理器，並建構最完整的產業生態系。
Calista表示，Semico Research研究報告指出，預估到2024年，全球RISC-V出貨量將達624億顆，成長快速；預估到2027年，RISC-V IP市占率上看16%，全球內建AI運算功能的RISC-V單晶片出貨量更將高達250億顆，並創造2910億美元收入。在此同時，包括中國大陸、歐盟、西班牙、印度等，也將在RISC-V開發與應用領域擴大投入資源，而且市場上也看到採用RISC-V架構的通訊晶片、Android手機、筆記型電腦、HPC伺服器、IoT聯網等產品，種類可說是相當多元化。
Calista也點出，車用領域是RISC-V快速成長的領域之一，預估到2025年，採用RISC-V架構的車用晶片市占率將成長至10%，包括Andes、IAR、Imagination、Imperas、MIPS、Mobileye、Nuclei、SiFive等廠商。而資料中心與HPC也是RISC-V快速成長的應用場域，預估2025年，資料中心CPU市占率可成長超過14%，Meta AI也是其中一員，而不少政府機構利用RISC-V架構建置HPC運算中心，RISC-V雲端運算市場規模可期。
Philipp Tomsich：以RISC-V架構設計開放式二元碼轉譯器 簡化設備軟體管理維護
RISC-V國際組織Applications & Tools Committee主席、VRULL技術長暨創辦人Dr. Philipp Tomsich，在「Bridging the Divide: Unifying RISC-V Through Binary Translation」專題演講中表示，RISC-V近幾年來透過各類不同功能的新ISA指令集的加入，不僅加速RISC-V晶片的普及，也讓RISC-V可以應用的場域越來越多，包括智慧型攝影機、終端產品、資料中心、工業設備等，也讓相關設備廠商在軟體維護管理上越來越複雜。由於傳統裝置在硬體架構上並不是使用RISC-V，也不見得擁有原始程式碼，而且無法在RISC-V晶片上執行，再加上設備廠商又需要在既有設備上增加功能，因此RISC-V國際組織推出支援多ISA指令集的開放式二元碼轉譯器聯盟（Open Binary Translation Alliance），希望以開源力量推動RISC-V二元碼轉譯器平台開發。
Philipp指出，開放式二元碼轉譯器的開發目的，主要是將既有裝置軟體透過二元碼轉譯（Binary Translation）技術，納入RISC-V晶片平台中，如此一來，廠商可以在既有裝置上新增功能，而不受既有裝置新功能開發上的限制，進而加速RISC-V商用普及。簡報中並展示讓本來在ARM Neoverse-N1的程式，透過Binary Translation的技術，在Sophgo Milk-V晶片上執行的截圖畫面。歡迎有意參加廠商與學界，一起加入Open Binary Translation Alliance，網址為www.binary-translation-alliance.org。
Wei-Han Lien：可自行擴充架構的RISC-V晶片解決方案 將是數位AI轉型的重要關鍵
加拿大AI獨角獸Tenstorrent的首席CPU架構師Mr. Wei-Han Lien，以「Scalable RISC-V for Digital Transformation」發表專題演講，表示人類生活已經正式進入數位AI轉型的時代，也就是透過AI科技的導入，可以降低部分人類腦力所需負擔的工作，並改變既有商業模式、程序、文化，甚至是產業競爭力。在LLM模型相關AI引擎快速提升過程中，無所不在的運算情境，將成為未來運算的主流，而開放的RISC-V架構，將可以因應不同產業開發各類不同AI晶片，而不受相關開發限制。
成立於2016年的Tenstorrent，主要的目標是以可堆疊擴充的Tensix核心（內建RISC處理器），推出最佳的機器學習（ML）訓練/推論用晶片，已經推出兩款ML晶片Grayskull與Wormhole；並開發高速運算用RISC-V處理器，預計在2023年推出可獨立運作的ML晶片Black Hole，2024年以小晶片（Chiplet）的方式，推出低功耗/低單價的ML小晶片Quasar，以及可用於高速ML運算的ML小晶片Grendel。客戶可以用Tenstorrent的晶片/小晶片，依照不同使用環境需求，可自行擴充從一顆到上千顆組合在一起的AI運算架構。客戶也能夠使用RISC-V O-o-O系列處理器，設計出符合自己需求的晶片。
Wei-Han表示，針對無所不在的運算需求，Tenstorrent也推出可應用在不同場域的多樣化解決方案，包括穿戴式運算、行動運算、車用AI運算（ADAS與IVI）、網路封包處理、AI影像處理伺服器等等；客戶更能透過多樣可堆疊延伸的RISC-V CPU架構與AI晶片/小晶片，設計出符合不同應用情境的AI運算晶片與CPU/AI裝置，並且能應用在HPC高速運算雲端伺服器、邊緣雲（Edge Cloud），以及包括手機、汽車、監視器、建築、影音設備、智慧手錶、IoT設備等各類終端裝置，真正協助產業進行數位AI轉型，突破傳統架構框架限制。
蘇泓萌：晶片內建AI/ML運算已成為市場設備未來趨勢 CIM技術可加速晶片AI運算效率
晶心科技總經理暨技術長蘇泓萌博士，在「Extending RISC-V Intelligence from Cloud to Edge」專題演講中表示，LLM（大語言模型）透過開源方式快速成長，不僅帶來多樣化的LLM應用服務，也把終端裝置的AI/ML運算與雲端的LLM應用相結合的晶片設計需求推上檯面，甚至終端裝置也要開始內建生成式AI運算，以迎合無所不在的AI運算需求。終端裝置的ML運算，也因為Transformer模型的加入，讓晶片應用場景更多元化，包括5G/6G基站的訊號選擇調整、AR/VR裝置、ADAS模組、SSD晶片控制等環境，但是仍有不少終端裝置用AI晶片，還是以CNN模型為主。
蘇泓萌指出，終端裝置內建AI運算功能，能有效提升執行效率。舉例來說，瑞薩的R9A06G150語音控制人機介面ASSP解決方案，透過晶心D25F RISC-V核心，可以提升50%執行效率；Spacetouch的SPV60音效處理晶片，可用AI加強在智慧語音裝置、智慧耳機與專業語音設備的降噪、回音消除與聲音即時處理。
為了加速提升AI在終端晶片上面的運算能力，晶心科技推出以RISC-V架構為基礎所研發的Compute-in-Memory（CIM）技術，以Houmo H30晶片來說，由SRAM與CIM技術所組成的AI加速運算線路，可以提供高達256 TOPs（Int8）的運算能力。TetraMem的Analog In-Memory-Compute MX200晶片可以在8bit 256x256 MAC Engine提供超過30 TOPS/W的表現能力，而且降低AI運算過程中所產生的記憶體資料搬遷傳輸瓶頸問題。
由於在越來越多的場域會使用到AI運算晶片的需求，包括光通訊運算環境的光收發晶片與控制器，Meta即將在2025年推出的AI加速晶片MTIA等，再加上RISC-V架構可依照不同運算環境需求增加指令集，因此晶心科技除了提供不同功能的指令集讓客戶選擇之外，也推出AndesAIRE（Andes AI Runs Everywhere）開發工具，包含AI/ML硬體加速器AndesAIRE AnDLA I350，以及神經網路軟體開發套件 AndesAIRE NN SDK，加速開發者設計支援AI/ML功能的AI晶片。
魏國章：支援特定領域用LLM模型AI晶片 搭配End-to-End訓練流程 將是AI設備設計新主流
臺灣發展軟體科技（Skymizer）行銷長暨執行副總魏國章，在「Trends in AI & Automotive: Personalization, Privacy, Date Protection, and LLM on RISC-V」專題演講中表示，由Open AI推出的ChatGPT技術所帶來的AI應用風潮，讓不少廠商開始思考如何將LLM服務放到設備上，而LLM所需要的模型，便成為廠商在開發LLM服務當中要思考的問題，因為除了通用型LLM，特定領域用LLM，甚至到有增加私人資料的個人用LLM，都有不同的資料隱私與模型要處理。也因為LLM的應用範圍相當廣，因此AI客製化晶片未來勢必要支援LLM功能，而RISC-V的開放式架構，可以讓廠商在開發LLM AI晶片上更有自由度。Skymizer可以協助晶片廠設計編程器，讓客製化晶片能和AI深度學習、高速運算整合，提升硬體效能，也能導入In Memory AI運算架構，提升晶片AI運算效率，降低AI運算所需能耗。
針對汽車電子市場，魏國章認為軟體定義汽車（Soft Defined Vehicle，SDV）是電動車發展趨勢，目前市場上以Tesla為主要領導廠商，但是封閉式平台。SDV開源平台包括MIH EVKit SDK、Eclipse SDV WG、SOAFEE、Open AD Kit。目前無人駕駛AI訓練技術有兩個方式，一個是模組加程式碼（Modular + Code），案例是Waymo，另外一個則是End-to-End學習，案例是Open Pilot跟Tesla。而類似的案例也發生在自主機器人身上，Boston Dynamics使用模組加程式碼，而Tesla的Optimus則是使用End-to-End學習。而不同的開發技術，在產品功能進步上其實會有差異，End-to-End學習方式進步速度很明顯快了不少。
針對未來的AI使用者體驗，魏國章認為Domain LLM加上Fine Tuning與AI Agent會是主流。舉例來說，AI電動車的操作會是使用者語音搭配Open Interpreter 再加上EV LLM，如此一來，使用者可以透過語音直接控制電動車，不僅非常直覺，就跟操作霹靂遊俠（Knight Rider）裡面的霹靂車一樣。而電動車的AI晶片，將會是AI晶片加上EV LLM與Agent，然後搭配Safety module，而Skymizer可以協助IC設計公司開發車用AI晶片與對應軟體。
專家座談：RISC-V開放指令集特性加速AI晶片發展 也是未來LLM AI晶片重點架構
論壇最後的Panel Discussion，邀請到陽明交通大學資訊學院副院長陳添福教授主持，與臺灣發展軟體科技董事長賴俊豪、台灣新思科技業務行銷副總經理林東瑩、聯華電子市場行銷處執行處長王成淵、Tenstorrent首席CPU架構師Mr. Wei-Han Lien、VRULL技術長暨創辦人Dr. Philipp Tomsich、晶心科技總經理暨技術長蘇泓萌博士等進行專家座談。
台灣新思科技業務行銷副總經理林東瑩指出，新思針對RISC-V晶片設計與驗證擁有完整程序，也就是除了可以提供周邊IP供廠商搭配RISC-V核心設計使用之外，只要廠商使用新思EDA軟體完成IC設計，就能透過模擬驗證方式，協助廠商調整出在效能、功耗及面積（Performance、Power、Area，縮寫為PPA）更好的IC設計線路圖。舉例來說，有廠商使用5奈米製程設計出來的RISC-V晶片，一開始速度只能跑到1.75GHz（目標頻率1.95GHz），後來使用新思內建AI功能的DSO工具，將原本需要兩位工程師花費一個月的調整工作，在兩天之內就完成調整，並達成接近目標頻率。
聯華電子市場行銷處執行處長王成淵表示，在RISC-V設計晶片過程中，聯電能提供晶圓專工設計套件（Foundry Design Kit）、類比IP以及嵌入式記憶體模組，可作為設計RISC-V MCU使用，甚至能提供車規等級的嵌入式記憶體IP讓廠商選擇。此外，因應不同半導體晶片特性，聯電提供多樣化的不同製程供客戶選擇，包括12奈米、14奈米、22奈米、24奈米等，也針對不同環境需求提供特殊製程，包括嵌入式非揮發性記憶體、RFSOI、 CIS、微機電、高壓製程以及BCD製程等等，開放的合作模式與客製化的彈性可進一步為客戶提供最佳的解決方案。
臺灣發展軟體科技董事長賴俊豪指出，Skymizer可以協助各家IC設計公司設計編程器，去整合各個不同函式庫，支援AI主流深度學習框架，與AI深度學習、高速運算整合，進而協助各家IC設計公司能縮短晶片設計流程與時間，加速AI晶片能快速落地。
綜合多位專家觀點，皆認為RISC-V的開放架構非常適合開發AI晶片，除了能依照運算效能不同，堆疊不同數量的RISC-V晶片，以平行處理方式加速處理AI，並且能依照AI運算需求增加指令集，讓AI晶片在功能與能耗上可以兼顧。此外，LLM的推出，也擴大AI晶片處理AI運算的場域與範圍，不僅在資料中心可以使用AI晶片來加速訓練/推論運算處理，進一步讓更多晶片內建AI功能，擴大AI晶片市場與需求。
至於相關業者或工程師，要能如何能感受RISC-V對於IC設計產業帶來的影響，專家們都建議可以直接加入RISC-V聯盟，並且從自己熟悉或能做出貢獻的地方開始實作，才能真正理解RISC-V開放架構在IC設計上的優勢與特性，知道可能會碰到的問題，並透過聯盟或社群找到解決方法。
深入了解RISC-V未來趨勢 歡迎上網觀看論壇直播影片
若有專業人士想對2023 RISC-V Taipei Day論壇有更深入了解，歡迎上網觀看「2023 RISC-V Taipei Day: Unlocking the Possibilities of RISC-V in the AI Era」直播影片，Youtube網站連結為https://www.youtube.com/live/KlWQmYeB4pg?si=56sNGaNQyNfupUYG。
▲2023 RISC-V Taipei Day Panel Discussion專家座談。由左至右依序為：陽明交通大學資訊學院副院長陳添福教授、VRULL技術長暨創辦人Dr. Philipp Tomsich、Tenstorrent首席CPU架構師Mr. Wei-Han Lien、晶心科技總經理暨技術長蘇泓萌博士、臺灣發展軟體科技董事長賴俊豪、台灣新思科技業務行銷副總經理林東瑩、聯華電子市場行銷處執行處長王成淵。
▲2023 RISC-V Taipei Day Panel Discussion專家座談合影。由左至右依序為：陽明交通大學資訊學院副院長陳添福教授、VRULL技術長暨創辦人Dr. Philipp Tomsich、Tenstorrent首席CPU架構師Mr. Wei-Han Lien、晶心科技總經理暨技術長蘇泓萌博士、臺灣發展軟體科技董事長賴俊豪、台灣新思科技業務行銷副總經理林東瑩、聯華電子市場行銷處執行處長王成淵。
▲2023 RISC-V Taipei Day成功舉辦，吸引涵蓋產官學研等近兩百位半導體IC領域專家齊聚一堂，反應交流十分熱絡。
▲2023 RISC-V Taipei Day成功舉辦，吸引涵蓋產官學研等近兩百位半導體IC領域專家齊聚一堂，反應交流十分熱絡。
▲2023 RISC-V Taipei Day現場有多家半導體業者與學研機構設攤展示，包括力積電、晶心科技、Skymizer、新思科技、聯華電子、陽明交大、清華大學、成功大學、中山大學等單位，反應十分熱絡。
