【智快網】12月19日消息,針對人工智能(AI)模型的安全性,OpenAI宣布成立了新的Preparedness團隊,該團隊旨在評估和減輕與人工智能相關的“災難性風險”。
Preparedness團隊由麻省理工學院可部署機器學習中心主任亞歷山大·馬德里(Aleksander Madry)領導,其任務是跟蹤、評估、預測和防范由人工智能模型引發的潛在災難性風險。據悉,OpenAI在今年10月份首次宣布了Preparedness團隊的組建計劃,而此舉是公司在應對人工智能風險方面的又一重要舉措。
與此前有關人事的變動不同,OpenAI在宣布新團隊的同時表示,已經放棄尋找信任和安全部門主管戴夫·威爾納(Dave Willner)的繼任者,而是決定拆分該部門,分別成立了三個獨立的團隊來應對人工智能風險。這三個團隊分別是“安全系統”(Safety Systems)團隊、“超級對齊”(Superalignment)團隊以及Preparedness團隊。
據智快網了解,這一組織架構的調整旨在更全面地應對人工智能的安全挑戰。其中,“安全系統”團隊專注于高級人工智能模型和人工通用智能的安全部署,致力于減少對當前模型和產品的濫用,比如ChatGPT。而“超級對齊”團隊的任務是為公司未來擁有的超級智能模型奠定安全基礎。而Preparedness團隊則負責繪制前沿模型的新風險,并對其進行全面的安全評估。
OpenAI還計劃建立一個專門的團隊,以監督技術工作,并構建一個安全決策的運作結構。Preparedness團隊將推動技術工作,檢查前沿模型能力的極限,進行評估,并撰寫相關報告。公司還將設立一個跨職能的安全咨詢小組,負責審查所有報告,并將其提交給公司領導層和董事會。在這一新機構中,盡管領導層是決策者,但董事會有權推翻其決策。
OpenAI成立于2015年,由特斯拉CEO埃隆·馬斯克、Y Combinator總裁阿爾特曼、PayPal聯合創始人彼得·蒂爾等硅谷科技大亨共同創立,專注于人工智能技術應用領域。公司的CEO薩姆·奧爾特曼是人工智能領域的知名預言家,經常對人工智能的潛在風險表示擔憂。今年5月,奧爾特曼和其他知名人工智能研究人員發表聲明,呼吁全球將減輕人工智能帶來的滅絕性風險作為優先事項。
今年9月,OpenAI推出了“紅隊網絡”(Red Teaming Network),并邀請各領域專家加入以提高其人工智能模型的安全性。簽約的專家將通過協助評估和減輕模型風險,為OpenAI人工智能系統的穩健性提供關鍵支持。這一系列舉措表明OpenAI正積極應對人工智能帶來的潛在挑戰,強調了公司對技術安全性的高度重視。