延續上一篇談到終端裝置AI（On-Device AI）將帶來的產業變革，本篇將進一步談終端裝置AI對半導體晶片市場帶來的新契機。尤其整合專屬AI處理器的異構晶片組，可望推動終端裝置AI在各種應用市場的蓬勃發展，同時也將成為各大廠競逐的新戰場。
異構晶片組能在CPU、GPU和神經處理單元（NPU）之間分配AI工作負載，是推動AI運算的關鍵，且異質架構是透過優化不同元件的AI處理因此效率明顯提升，相較於過去是針對特定處理器優化的AI推理技術。
根據ABI Research的調查報告指出，異質晶片組可提供顯著的效率提升，且隨著搭載裝置AI的筆電、智慧手機及其他設備出貨量的成長，預計到2030年全球異構晶片出貨量將來到18億組。其中高通（Qualcomm）、聯發科（MediaTek ）及谷歌（Google）是最早推出大語言模型晶片者的業者，可讓終端裝置快速運行AI。高通推出支援終端裝置AI的Snapdragon 8th Gen 3，而英特爾（Intel）與超微（AMD）則是在PC裝置佔得領先優勢，其中英特爾推出用於PC的Meteor Lake CPU，以及適用於Copilot+ PC的3rd Gen AMD Ryzen AI。
AMD董事長兼執行長蘇姿丰在COMPUTEX 2024主題演講中，除了細數AMD在電競遊戲、AI PC、資料中心等領域的處理器新品之外，在邊緣AI方面也展示全新的AMD Versal AI Edge Series Gen 2，這款SoC整合CPU、GPU、AI 加速器和其他功能，以實現高性能和效率運算。
根據蘇姿丰的介紹，AMD Versal AI Edge Series Gen 2的獨特之處在於它結合邊緣AI應用所需的各種矽智財(IP)，能支援嵌入式運算的三個階段：包括在即時資料預處理階段可使用FPGA可編程邏輯，在AI推論階段執行深度學習演算法時可使用XDNA次世代AI引擎，以及在後期處理階段則可使用嵌入式CPU來協助處理複雜的決策，整合後能為邊緣AI應用帶來最高效能。第二代Versal AI Edge Series及第二代Versal Prime Series運算能力比起第一代同類產品高出10倍。
目前AMD這款SoC仍在早期開放階段，已有30個合作夥伴正在開發中，包括生技公司Illumina用於基因定序，Subaru用於開發其ADAS平台以協助降低事故死亡率，Canon用於發展其自由角度影像系統，讓觀眾可以選擇從任何角度欣賞運動賽事，而Hitachi Energy則用這項技術來即時處理資料以預測電氣過壓。
小型AI模型效能更高 構建統一的裝置AI生態系統
英特爾和其他晶片組開發商則是在少於150億參數的小型AI模型中，看到龐大的價值與潛力，這些壓縮模型在效能上有重大突破，加上能省下雲端相關的網路成本，種種具體的效益使裝置AI對終端智慧用戶設備及應用來說極具吸引力，這些應用包括智慧家庭設備、個人化的健康監測裝置、機器人等。
此外，要讓裝置AI發揮最大價值不能單靠硬體，而是需要硬體和軟體廠商之間緊密的合作，透過生態系建立起統一的方式來運作，能有助於加速將AI相關應用佈署到裝置上來，確保發揮裝置AI的全部潛力，為用戶提供更強大的AI體驗。
- 首圖為AMD董事長兼執行長蘇姿丰
