在近期科技界的一次重大突破中，OpenAI推出了一項名為RFT（基于強化學習的微調）的新型訓練方法，該方法迅速吸引了全球的目光。RFT通過結合強化學習與監督微調技術，實現了在有限標注數據下模型性能的顯著提升。緊接著，這一創新技術被百度智能云千帆ModelBuilder平臺引入國內，成為首個全面支持RFT的大模型開發平臺，為企業開發者開辟了一條高效、低成本的大模型開發路徑。
RFT技術的核心在于其融合了強化學習（RL）與微調（Fine-tuning）的優勢，打破了傳統訓練方式對于大量人工標注數據的依賴。通過引入一個稱為Grader的模塊，RFT能夠自動比較模型的輸出與參考答案，并生成0-1之間的量化獎勵信號，以此驅動模型的優化過程。這種機制不僅提高了數據利用效率，還使模型能夠自主思考，強化正確的思維路徑，抑制錯誤的路徑。
在實際應用中，RFT展現出了令人矚目的效果。在復雜場景下，僅需4500條訓練數據，RFT就能使模型達到令人滿意的性能水平。在涉及邏輯推理的任務中，RFT訓練后的模型在準確率上有了顯著提升，甚至超越了OpenAI的o1模型。這一成就不僅體現在平均準確率的提高上，更在于模型在面對不同難度任務時的穩定表現。
百度智能云千帆ModelBuilder平臺上的RFT訓練流程簡潔高效。用戶只需按照平臺指引，創建RFT訓練任務，選擇基礎模型，并配置獎勵規則。隨后，準備包含問題和參考答案的訓練數據，即可開始訓練過程。訓練完成后，用戶可以在平臺上一鍵部署模型，并通過自動評估任務快速獲得模型效果反饋。
以實際案例為例，在“好人/壞人”推理場景中，RFT訓練后的模型在3-8人復雜度遞增的任務中，平均準確率相比基礎模型提升了29%。這一提升不僅體現在準確率的數字上，更在于模型在推理過程中的清晰度和邏輯性。在RFT訓練前，基礎模型的輸出答案和思考過程往往存在明顯錯誤，尤其是在任務難度增加時，模型甚至會出現語言混亂的情況。而經過RFT訓練后，模型的輸出答案準確，思考過程也更加條理清晰。
RFT技術還展現出了更高的訓練天花板。在復雜問題場景下，RFT訓練后的模型相比傳統監督微調方法（SFT）在準確率上有了更顯著的提升。這表明RFT在處理復雜任務時具有更強的適應性和優化能力。
百度智能云千帆ModelBuilder平臺的RFT訓練流程不僅簡化了大模型開發的復雜度，還降低了生成式AI應用落地的門檻。通過RFT技術，企業開發者能夠更高效地利用有限的數據資源，訓練出性能卓越的模型，為各行業的智能化轉型提供有力支持。
