近日，科技界迎來了一項可能重塑AI應用格局的技術突破。知名科技媒體NeoWin發(fā)布報道，詳細介紹了群聯（Phison）最新推出的aiDAPTIV+技術。這項技術旨在通過動態(tài)緩存策略，解決AI應用長期面臨的內存瓶頸問題。
在現代硬件性能評估中，AI和機器學習的處理能力已成為重要指標。除了處理器的強大算力，AI任務對內存的需求同樣巨大。隨著AI模型參數和精度的提升，內存需求也隨之激增。例如，單精度（float32）計算會消耗四倍于參數值的內存，即便是配備32GB顯存的高端顯卡RTX 5090，在面對80億參數的模型時也會顯得捉襟見肘。
群聯的aiDAPTIV+技術通過引入動態(tài)緩存機制，并結合基于NAND閃存的“aiDAPTIVCache”緩存技術，實現了對HBM（高帶寬內存）和GDDR（專為高帶寬應用設計的同步動態(tài)隨機存取存儲器）的有效擴展。這一創(chuàng)新不僅提高了內存利用率，還為AI應用提供了更為充足的內存資源。
在即將舉行的GTC 2025大會上，群聯攜手Maingear公司共同推出了應用aiDAPTIV+技術的AI PRO桌面工作站。這款工作站通過aiDAPTIVLink 3.0新版中間件，實現了SSD的NAND和GPU之間的高速數據傳輸。這不僅顯著提升了首個Token時間（TTFT）的回調響應速度，還支持了更大規(guī)模的LLM（大型語言模型）提示上下文。
據群聯提供的數據，在參數量超過130億的模型上，aiDAPTIV+技術的表現令人矚目。它輕松超越了Maingear未采用aiDAPTIV+技術的四路英偉達RTX 6000 Ada設置。這一成果充分展示了aiDAPTIV+技術在提升AI應用性能方面的巨大潛力。
Maingear公司介紹稱，PRO AI工作站能夠動態(tài)切片70B訓練模型，將當前切片提供給GPU進行高速訓練，同時將模型的其余部分存儲在DRAM和群聯AI100 SSD中。這一設計使得每個NVIDIA RTX 6000 Ada顯卡在訓練過程中都能以最小的停機時間發(fā)揮最佳性能。
群聯的aiDAPTIV+技術不僅為AI應用提供了更為充足的內存資源，還通過優(yōu)化數據傳輸路徑和提升響應速度，顯著提升了AI應用的整體性能。這一技術的推出，無疑將為AI領域的發(fā)展注入新的活力。
