騰訊近日揭曉了其自主研發(fā)的深度思考模型——混元T1正式版，這款模型被譽(yù)為騰訊目前最強(qiáng)的推理引擎。
據(jù)騰訊介紹，混元T1不僅具備快速的響應(yīng)能力，能夠在瞬間回復(fù)用戶的問(wèn)題，還特別擅長(zhǎng)處理長(zhǎng)篇文本。通過(guò)大規(guī)模的強(qiáng)化學(xué)習(xí)，并特別針對(duì)數(shù)學(xué)、邏輯推理、科學(xué)以及代碼等復(fù)雜理科問(wèn)題進(jìn)行了優(yōu)化，使得其推理能力更上一層樓。
在業(yè)界常用的推理模型基準(zhǔn)測(cè)試中，混元T1展現(xiàn)出了強(qiáng)大的實(shí)力。例如，在大語(yǔ)言模型評(píng)估增強(qiáng)數(shù)據(jù)集MMLU-PRO中，它取得了87.2分的高分，僅次于頂尖模型o1。在Ceval、AIME以及Zebra Logic等涉及中英文知識(shí)及競(jìng)賽級(jí)數(shù)學(xué)、邏輯推理的公開(kāi)測(cè)試中，混元T1的表現(xiàn)同樣達(dá)到了行業(yè)領(lǐng)先水平。
混元T1在多項(xiàng)對(duì)齊任務(wù)、指令跟隨任務(wù)以及工具利用任務(wù)中也展現(xiàn)出了極高的適應(yīng)性。這些任務(wù)的完成，進(jìn)一步證明了其強(qiáng)大的推理和學(xué)習(xí)能力。
在技術(shù)上，混元T1正式版采用了混元Turbo S的創(chuàng)新架構(gòu)，并引入了Hybrid-Mamba-Transformer融合模式。這是工業(yè)界首次將混合Mamba架構(gòu)無(wú)損應(yīng)用于超大型推理模型，這一創(chuàng)新不僅降低了傳統(tǒng)Transformer結(jié)構(gòu)的計(jì)算復(fù)雜度，還顯著減少了KV-Cache的內(nèi)存占用，從而有效降低了訓(xùn)練和推理的成本。
憑借出色的長(zhǎng)文捕捉能力，混元T1能夠有效解決長(zhǎng)文推理中常見(jiàn)的上下文丟失和長(zhǎng)距離信息依賴問(wèn)題。同時(shí)，混合Mamba架構(gòu)針對(duì)長(zhǎng)序列處理進(jìn)行了深度優(yōu)化，通過(guò)高效的計(jì)算方式，在確保長(zhǎng)文本信息捕捉能力的同時(shí)，實(shí)現(xiàn)了資源消耗的大幅降低。在相近的激活參數(shù)量下，混元T1的解碼速度提升了2倍。
目前，騰訊已經(jīng)開(kāi)放了混元T1的體驗(yàn)，用戶可以通過(guò)API進(jìn)行使用。其定價(jià)策略也相當(dāng)親民，輸入價(jià)格為每百萬(wàn)tokens 1元，輸出價(jià)格為每百萬(wàn)tokens 4元。
