近期，科技領域迎來了一項重大進展。OpenAI公司宣布，在其最新推出的o4-mini推理模型上，成功融入了強化微調技術（RFT），這一創新為定制化基礎模型以適應多樣化任務提供了強有力的支持。
RFT技術將強化學習原理巧妙應用于語言模型的微調階段，這意味著開發者們不再完全依賴于標注數據。相反，他們可以通過設計特定任務的評分函數來評估模型的輸出。這些評分函數基于自定義標準，如準確性、格式或語氣，為模型的表現打分。模型則通過優化獎勵信號，逐步學習并生成符合預期的行為。
RFT特別適用于那些難以設定標準答案的復雜任務。例如，在醫療領域，措辭的優化往往至關重要。開發者可以利用程序評估醫療解釋的清晰度和完整性，從而指導模型不斷改進。這種方法為處理各種復雜、領域特定的任務提供了全新的視角和解決方案。
o4-mini是OpenAI于今年4月發布的一款緊湊型推理模型，它支持文本和圖像輸入，尤其擅長結構化推理和鏈式思維提示。通過結合RFT技術，o4-mini為開發者提供了一個既輕便又強大的基礎模型，非常適合處理高風險、領域特定的推理任務。其高計算效率和快速響應的特點，也使得它在實時應用場景中表現出色。
多家早期采用者已經展示了RFT在o4-mini上的巨大潛力。例如，Accordance AI利用RFT開發的稅務分析模型，準確率提升了39%；Ambience Healthcare通過優化醫療編碼，ICD-10分配性能提高了12個百分點；法律AI初創公司Harvey在法律文檔引文提取方面，F1分數提升了20%；Runloop在改進Stripe API代碼生成方面，性能也提升了12%。調度助手Milo和內容審核工具SafetyKit也取得了顯著的進步。
要使用RFT技術，開發者需要完成四個步驟：首先，設計符合需求的評分函數；其次，準備高質量的數據集；然后，通過OpenAI API啟動訓練任務；最后，持續評估和優化模型表現。這一流程為開發者提供了清晰的指導和路徑。
目前，RFT技術向認證組織開放。訓練費用為每小時100美元，如果使用GPT-4o等模型作為評分工具，還將額外按標準推理費率計費。為了鼓勵更多組織參與研究和應用，OpenAI還推出了激勵措施：同意共享數據集用于研究的組織可以享受50%的訓練費用折扣。
隨著RFT技術的不斷推廣和應用，我們有理由相信，它將在更多領域發揮巨大的作用，推動人工智能技術的進一步發展和創新。
