近日，卡內基梅隆大學的一支研究團隊在人工智能領域取得了創新突破，他們成功研發出一款名為LegoGPT的AI系統。該系統能夠根據用戶的文字指令，自動生成可實際搭建的樂高設計圖。
據了解，LegoGPT項目的詳細信息和代碼已全面開源，用戶可以通過訪問GitHub上的項目地址進行了解和使用。該項目的GitHub鏈接為：https://github.com/AvaLovelace1/LegoGPT/
研究團隊通過訓練一種大型自回歸語言模型，使LegoGPT能夠預測并確定下一塊應該放置的樂高積木。為了實現這一目標，團隊為模型設計了復雜的算法，通過不斷預測下一個token的方式，逐步構建出完整的樂高設計。
為了確保生成的樂高設計既實用又穩固，團隊還為LegoGPT增加了有效性校驗和物理感知回滾機制。這一機制能夠檢測并避免積木重疊或懸空等問題，保證最終的設計既符合用戶要求，又能實際搭建。
LegoGPT不僅能夠生成人手可搭建的設計，還支持機器人操作。這意味著，用戶不僅可以根據自己的想象來創造樂高作品，還可以通過機器人實現自動化搭建。
為了實現LegoGPT的訓練，研究團隊構建了一個名為StableText2Lego的數據集。該數據集的構建過程相當繁瑣，它首先將文本提示轉化為ShapeNetCore網格模型，然后將其嵌入一個20×20×20的體素網格中，生成初步的樂高積木布局。之后，系統會對這些布局進行變化，并剔除結構不穩定的設計。保留下來的樣本會從多個角度進行渲染，并最終生成相應的描述文本。
StableText2Lego數據集包含了超過47000個樂高建構樣本，涵蓋了28000多種三維造型，如書架、桌子、椅子、汽車、船只和吉他等。這些豐富的數據為LegoGPT的訓練提供了堅實的基礎，使其能夠從文字描述中生成獨特且原創的樂高設計。
在使用LegoGPT時，用戶只需輸入文字描述，系統就會將描述轉化為樂高設計圖。然后，LegoGPT會按照從底部到頂部的順序，將這些設計編碼為文本token。系統會根據這些token生成指令，將樂高積木結構與注釋相對應，使模型學會理解文本與積木組件之間的關系。
接下來，LegoGPT會采用自回歸的方式，逐步預測并放置下一塊積木。每次添加積木時，系統都會進行嚴格的格式校驗和沖突檢測，確保積木的放置正確無誤。這一過程會持續進行，直到設計完成。最后，系統還會對生成的設計進行穩定性測試，以確保其結構穩固。
如果系統在測試過程中發現結構不穩，LegoGPT會自動回滾到最近的穩定狀態，并從該點繼續生成設計，直到完成一個穩定且可行的樂高作品。
