近日，科技界迎來了一項(xiàng)可能重塑AI應(yīng)用格局的技術(shù)突破。知名科技媒體NeoWin發(fā)布報(bào)道，詳細(xì)介紹了群聯(lián)（Phison）最新推出的aiDAPTIV+技術(shù)。這項(xiàng)技術(shù)旨在通過動(dòng)態(tài)緩存策略，解決AI應(yīng)用長期面臨的內(nèi)存瓶頸問題。
在現(xiàn)代硬件性能評(píng)估中，AI和機(jī)器學(xué)習(xí)的處理能力已成為重要指標(biāo)。除了處理器的強(qiáng)大算力，AI任務(wù)對內(nèi)存的需求同樣巨大。隨著AI模型參數(shù)和精度的提升，內(nèi)存需求也隨之激增。例如，單精度（float32）計(jì)算會(huì)消耗四倍于參數(shù)值的內(nèi)存，即便是配備32GB顯存的高端顯卡RTX 5090，在面對80億參數(shù)的模型時(shí)也會(huì)顯得捉襟見肘。
群聯(lián)的aiDAPTIV+技術(shù)通過引入動(dòng)態(tài)緩存機(jī)制，并結(jié)合基于NAND閃存的“aiDAPTIVCache”緩存技術(shù)，實(shí)現(xiàn)了對HBM（高帶寬內(nèi)存）和GDDR（專為高帶寬應(yīng)用設(shè)計(jì)的同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器）的有效擴(kuò)展。這一創(chuàng)新不僅提高了內(nèi)存利用率，還為AI應(yīng)用提供了更為充足的內(nèi)存資源。
在即將舉行的GTC 2025大會(huì)上，群聯(lián)攜手Maingear公司共同推出了應(yīng)用aiDAPTIV+技術(shù)的AI PRO桌面工作站。這款工作站通過aiDAPTIVLink 3.0新版中間件，實(shí)現(xiàn)了SSD的NAND和GPU之間的高速數(shù)據(jù)傳輸。這不僅顯著提升了首個(gè)Token時(shí)間（TTFT）的回調(diào)響應(yīng)速度，還支持了更大規(guī)模的LLM（大型語言模型）提示上下文。
據(jù)群聯(lián)提供的數(shù)據(jù)，在參數(shù)量超過130億的模型上，aiDAPTIV+技術(shù)的表現(xiàn)令人矚目。它輕松超越了Maingear未采用aiDAPTIV+技術(shù)的四路英偉達(dá)RTX 6000 Ada設(shè)置。這一成果充分展示了aiDAPTIV+技術(shù)在提升AI應(yīng)用性能方面的巨大潛力。
Maingear公司介紹稱，PRO AI工作站能夠動(dòng)態(tài)切片70B訓(xùn)練模型，將當(dāng)前切片提供給GPU進(jìn)行高速訓(xùn)練，同時(shí)將模型的其余部分存儲(chǔ)在DRAM和群聯(lián)AI100 SSD中。這一設(shè)計(jì)使得每個(gè)NVIDIA RTX 6000 Ada顯卡在訓(xùn)練過程中都能以最小的停機(jī)時(shí)間發(fā)揮最佳性能。
群聯(lián)的aiDAPTIV+技術(shù)不僅為AI應(yīng)用提供了更為充足的內(nèi)存資源，還通過優(yōu)化數(shù)據(jù)傳輸路徑和提升響應(yīng)速度，顯著提升了AI應(yīng)用的整體性能。這一技術(shù)的推出，無疑將為AI領(lǐng)域的發(fā)展注入新的活力。
