近日，Hugging Face 推出了兩款創(chuàng)新的多模態(tài)模型——SmolVLM-256M和SmolVLM-500M，這兩款模型在視覺與語言處理領(lǐng)域引起了廣泛關(guān)注。其中，SmolVLM-256M更是被譽(yù)為全球最小的視覺語言模型，這一突破性的成就令人矚目。
據(jù)了解，這兩款模型均源自Hugging Face團(tuán)隊(duì)去年訓(xùn)練的龐大800億參數(shù)模型，通過精心的蒸餾技術(shù)提煉而成。它們成功地在高性能與資源效率之間找到了完美的平衡點(diǎn)。官方強(qiáng)調(diào)，無論是SmolVLM-256M還是SmolVLM-500M，都無需復(fù)雜配置，即可“即插即用”，輕松部署在transformer MLX和ONNX平臺(tái)上。
從技術(shù)細(xì)節(jié)來看，SmolVLM-256M和SmolVLM-500M均采用了SigLIP作為圖像編碼器，而文本編碼任務(wù)則交由SmolLM2完成。SmolVLM-256M以其小巧的體積脫穎而出，成為目前最小的多模態(tài)模型。它能夠接收任意序列的圖像和文本輸入，并生成相應(yīng)的文字輸出，功能涵蓋圖像描述、視頻字幕生成、PDF處理等。尤為該模型體積小巧，即便在移動(dòng)平臺(tái)上也能流暢運(yùn)行，僅需不到1GB的GPU顯存即可完成單張圖像的推理任務(wù)。
相比之下，SmolVLM-500M則針對高性能需求進(jìn)行了優(yōu)化。Hugging Face表示，這款模型非常適合企業(yè)運(yùn)營環(huán)境，盡管其資源需求略高于SmolVLM-256M，但在推理輸出的精準(zhǔn)度上有了顯著提升。具體來說，SmolVLM-500M在處理單張圖像時(shí)，僅需1.23GB的GPU顯存。
這兩款模型均遵循Apache 2.0開源協(xié)議，研究團(tuán)隊(duì)還提供了基于transformer和WebGUI的示例程序，以便開發(fā)者快速上手。目前，所有模型及其演示均已公開發(fā)布，開發(fā)者可以輕松下載并使用，具體訪問頁面請點(diǎn)擊此處。
