IBM近期揭曉了其Granite 4.0系列中的一款迷你版模型——Granite 4.0 Tiny預(yù)覽版的細(xì)節(jié)。這款模型在5月2日進(jìn)行了介紹，是Granite系列中的小型版本之一。
Granite 4.0 Tiny Preview以其卓越的計(jì)算效率和極低的內(nèi)存需求脫穎而出。在FP8精度下，它僅需12GB顯存便能同時運(yùn)行5個128KB上下文窗口的對話。這樣強(qiáng)大的性能只需一張英偉達(dá)GeForce RTX 3060 12GB顯卡便能實(shí)現(xiàn)，該顯卡的建議零售價(jià)為329美元（約2383元人民幣）。
盡管目前預(yù)覽版僅訓(xùn)練了2.5T的Token數(shù)，但其性能已能與訓(xùn)練了12T Token的Granite 3.3 2B Instruct相媲美。更令人驚訝的是，在128KB上下文窗口下支持16個并發(fā)會話時，其內(nèi)存需求降低了約72%。據(jù)IBM透露，最終版本的Granite 4.0 Tiny預(yù)計(jì)性能將達(dá)到甚至超越Granite 3.3 8B Instruct的水平。
Granite 4.0 Tiny Preview的總參數(shù)規(guī)模為70億，但實(shí)際參與計(jì)算的活躍參數(shù)僅為10億。它基于Granite 4.0系列全線采用的混合Mamba-2/Transformer架構(gòu)，這種架構(gòu)結(jié)合了速度與精度，有效降低了內(nèi)存消耗，同時保持了出色的性能。
目前，Granite 4.0 Tiny預(yù)覽版已在Hugging Face平臺上以標(biāo)準(zhǔn)的Apache 2.0許可證開放獲取。IBM計(jì)劃在今年夏天正式發(fā)布Granite 4.0系列的Tiny、Small和Medium版本，為用戶帶來更多選擇。
