上一篇文章討論到生成式AI浪潮席捲全球，當台灣AI伺服器出貨已近全球9成，台廠除了可繼續投入新型態節能與散熱解決方案外，也可積極發展各種產業應用的邊緣AI解決方案，如智慧製造等，而這也更需要厚實的軟硬整合能力。在日前工研院所舉辦的生成式AI產業創新研討會中，快閃記憶體控制晶片大廠群聯電子分享其利用既有技術，研發適合中小企業落地自建AI模型的aiDATIVE＋解決方案，以及台智雲如何在8週內協助企業快速部署一站式生成式AI落地應用。
群聯結合生態系 讓中小企業也能落地打造AI大語言模型
在這波生成式AI引爆的商機中，除了晶片、伺服器供應鏈業者業績水漲船高之外，軟體平台廠商也可結合台灣生態系優勢投入專屬領域模型研發或專注產業應用。工研院產科國際所研究經理石立康表示，雖然AI軟體平台及開發工具多由國外大廠主導，但台灣軟體平台業者可整合私有及公開資料庫發展終端AI應用，或需要高度隱私保護的地端微型模型應用。又或者深入垂直應用市場，以台灣具優勢的特定資料來發展產業AI應用，如製造業或醫療業，透過生成式AI技術發展產業自動化或決策輔助系統。
目前生成式AI在落地發展上的一大門檻就是硬體部署成本過高，以建置一個具700億個參數的入門款模型來說，若部署在一台Nvidia DGX伺服器上約需新台幣2千萬元，尚不包含其他軟體、系統整合及機房其他費用。而在GPU的成本結構中占比最高的當屬高頻寬記憶體（HBM），因此群聯電子推出的aiDATIVE+解決方案便是以NAND Flash技術擴充HBM，在不需增加企業成本的前提下，增加GPU的可用記憶體容量，大幅降低整體部署成本。
群聯電子技術長林緯以專利事務所的應用為例，說明如何透過地端AI微調訓練解決方案來訓練一個撰寫專利申請書的AI助理。首先企業可將市場上已公開的專利申請資料，透過群聯提供的GUI上傳給雲端大語言模型訓練（如Chat GPT），藉由這些輸入及產出資料來獲得專利申請書訓練集，有了此訓練集接著就能在地端訓練。如此一來所有的商業機密不會上傳到雲端，在地端訓練AI可實現安全、自主、可控。目前aiDATIVE+生態系中已有近20家工作站等硬體大廠及多家解決方案供應商加入。
台智雲一站式服務 8週協助製造業大廠打造AI雲服務
從雲端運算服務起家的華碩子公司台智雲看好生成式AI落地應用的需求，推出從模型訓練到部署，一站式的服務AI Foundry Service（AFS），可快速導入並結合企業現有流程，讓大語言模型能理解企業流程後做出結論。台智雲總工程師趙逢毅舉例，大語言模型（LLM）若結合企業ERP系統之後有如發展「企業大腦」，產出結果能提供管理者作初步決策建議。而在打造這個「下一代BI系統」當中最重要的是透過函式呼叫（function call）的功能，讓LLM將對接的ERP資料讀完後，以正確格式產出結論資料，並且減少幻覺。
企業ERP系統存有許多生產數據等機密資料，特別適合於地端進行訓練與推論。同樣的醫療領域中帶有病患病歷隱私資料的醫囑，也很適合在地端透過LLM協助臨床醫師生成內容，節省醫師製作醫囑時間。結合醫療AI影像識別系統將病患檢查結果摘要出重點，彙整各種檢查報告的摘要結果，就能讓LLM協助醫生產出醫囑草稿。目前這項應用已與醫院合作，試運行結果相當成功。
趙逢毅提到，LLM企業導入困難之處在於擔心資料隱私安全、系統整合、成本管理、模型調整與優化及結果解釋等問題，而透過台智雲軟硬整合的服務能協助企業解決上述難題，以某高科技製造業大廠為例，在斥資6千萬美元購置16台GPU伺服器及相關設備後，台智雲以8週時間就協助完成模型訓練、軟硬整合安裝上線。
生成式AI市場大餅台廠不是只有代工的角色，從台智雲與群聯電子的發展說明，善用台灣生態系優勢，協助企業滿足需求缺口，也能轉型成功找到新商機。
