英偉達公司近日在其官方博客上宣布了一項重大進展，推出了一款名為Nemotron-CC的大型英文AI訓練數據庫。這一數據庫規模龐大，包含了6.3萬億個Token，其中1.9萬億為精心合成的數據。據英偉達介紹，這一數據庫旨在為學術界和企業界提供更為強大的資源，以推動大語言模型的訓練進程。
當前，AI模型的性能在很大程度上依賴于其訓練數據的質量和數量。然而，現有的公開數據庫在規模和質量上往往存在限制，難以滿足日益增長的訓練需求。英偉達表示，Nemotron-CC正是為了解決這一難題而生。該數據庫不僅規模巨大，而且包含大量經過驗證的高質量數據，被視為訓練大型語言模型的理想選擇。
為了驗證Nemotron-CC的性能，英偉達進行了多項測試。結果顯示，與目前業界領先的公開英文訓練數據庫DCLM相比，使用Nemotron-CC-HQ訓練的模型在MMLU基準測試中的分數提高了5.6分。使用Nemotron-CC訓練的80億參數模型也在MMLU和ARC-Challenge等多個基準測試中取得了顯著的成績提升。
在進一步測試中，該80億參數模型在MMLU基準測試中分數提升了5分，在ARC-Challenge基準測試中提升了3.1分，并在10項不同任務的平均表現中提高了0.5分。這一成績甚至超越了基于Llama 3訓練數據集開發的Llama 3.1 8B模型，充分展示了Nemotron-CC在訓練大型語言模型方面的優勢。
英偉達在開發Nemotron-CC的過程中，采用了多種先進技術來確保數據的高質量和多樣性。例如，他們使用了模型分類器和合成數據重述等技術來優化數據處理流程。同時，他們還針對特定高質量數據降低了傳統的啟發式過濾器處理權重，從而進一步提高了數據庫中高質量Token的數量，并避免了對模型精確度造成損害。
英偉達已經將Nemotron-CC訓練數據庫在Common Crawl網站上公開。用戶可以通過訪問該網站來獲取這一數據庫。英偉達還表示，相關文檔文件將在稍晚時候在其GitHub頁面上公布。這將為更多研究人員和開發者提供便利，推動大語言模型的進一步發展。
