在AI行業從業至今,寫了大量的代碼項目,在創作過程中遇到過很多問題,而做自媒體也有快兩年了,同樣踩了很多坑。
今天就從硬件這方面總結一下目前對設備的一些使用經驗,主要也是談談之前自己在日常開發和創作中所面臨的問題,以及這些問題是如何被【工作站】這一方案一招解決的?!葟拇蠹易铌P心的日常開發使用這塊講起。
技術開發
在技術開發上,平時用的最多的開發環境是基于IntelliJ IDEA、Visual studio這兩個平臺,主要是進行代碼的調試、編寫等需求——當然底層都同樣用的一套Anaconda。


最開始做開發的時候我還在讀研,那個時候用自己幾年前的老游戲本,無論是跑Matlab(研一的最優化課程作業)還是寫C++小項目,速度都非常慢,包括但不限于repo編譯、矩陣計算、Matlab渲染——尤其是渲染,本來軟件就做的不太好,很多坑,但這還并不是主要問題——工作場景中的存儲穩定性才是核心。之前的游戲本用來跑簡單的深度學習demo不但非常慢,代碼項目如果多開超過2個就會非???,甚至會出現閃退、崩潰問題(說到底還是窮~)。
那個時候太年輕,不知道實時灌日志的重要性,CMD崩潰導致幾個小時的計算結果丟失真的十分令人痛苦,而從那以后即使到今天我也養成了每2分鐘保存的習慣。
這幾方面的問題是在畢業后將游戲本升級成工作站之后才徹底解決的(讀書時就一直用的戴爾,畢業時才升級到了Precision工作站),并且這套方案一直延續至今。以今年剛升級的Precision 3660為例,相比自己辦公用游戲本和打游戲的臺式機,工作站的優勢非常明顯,在技術開發上有更好的體驗,讓AI的編程設計也更高效。
其實最主要還是計算設備上升了很多檔,Precision 3660的兩大算力核心都比較強,CPU和GPU都可選配。最高支持英特爾第12代酷睿i9-12900K處理器——之前我在一期視頻里說過,12代酷?;緦儆谘栏鄶D爆了,12900K又是旗艦天花板。另外Intel針對這一代工作站不再用衍生Xeon W-1xxx系列的做法來支持ECC內存了,酷睿CPU+W680芯片組主板可支持ECC或非ECC內存,直接簡單省事。而這次像PCIe 5.0和x4 PCIe 4.0 Lane都是直接連接CPU的。
此外,這次英特爾還將RST RAID對NVMe SSD的支持擴展到了CPU直連的通道,使其不再受限于PCH芯片組與CPU之間DMI 4.0連接的帶寬——簡答來說就是包括L3緩存在內的幾個模塊讀的更快了。

在日常使用中,還有兩點不得不提:
? CPU頻率的優化設計讓數據預處理、生成的操作更快(比如對很多半監督模型和DQN這樣的強化學習很友好)并且可以和其他預處理過程并行
? 指令集執行的更快——有的開源庫里會使用循環,特別是有順序依賴的循環(點名numpy)所以有時候CPU拉跨會拖慢整體模型迭代速度
哦對了,這代Tower的CPU散熱器還加入了液冷選項,雖然困于預算我沒上,但據說效率趕上一些小型數據中心了,運行高能耗的算力程序時控溫能力很強,超頻跟喝水一樣。
整體看下來這是日常使用的服務器里相對較高的規格了——和Xeon Gold系列相比,性價比算是很不錯,畢竟租一臺服務器只能以小時計費。當然,像很多矢量運算、矩陣運算,除了框架自身的設計,也依賴GPU的性能聯動。考慮到這一點,工作站的GPU也基本開始一步到位,官方頂配直接就上了英偉達專業顯卡RTX A6000 48G(8nm制程,沒記錯的話),學校里的新服務器不少也用的這套,提供PCIe 4/5擴展槽,加上Precision DO軟件智能調優,跑CV據說非常絲滑,比V100有明顯進步。一臺3660就相當于一臺專屬的深度學習服務器,雖然聽著略顯夸張,但Precision真就做出來了——不過為了避免顯卡爆炸,戴爾很謹慎的把電源功率最高升到了1000W(估計是友商的前車之鑒)

最后還有個重要區別——跟傳統設備相比,3660這類中高端工作站的可擴展潛力更大。以AI行業為例,硬件更新換代很頻繁,所以對顯卡、內存的擴展非常必要。之前我那臺游戲本可擴展性基本等于0,而Precision工作站則擁有很多擴展接口,比如:
? 3個工作站板載的M.2 NVMe SSD安裝位,內存上升級方便、上限也高——NVMe SSD的單盤理論支持帶寬是遠大于PCIe Gen4的
? 大容量HDD存儲——看起來是為了給大規模預訓練模型或者AlphaFold這種需要海量數據集讀取的模型準備的,擴展也比較方便
除此之外還有個前置插拔驅動器,這東西之前確實沒見過,如下圖:

說白了就是個硬盤/SSD擴展位,并且可以加鎖。我看說明書上寫的,這個位置可選3.5英寸、2.5英寸或者M.2 NVMe SSD,如果配NVMe時估計支持熱插拔(前提不要是系統盤或RAID組成員)
舉個例子你就懂了——當你抱著這臺工作站到實驗室,準備放在那跑實驗,給師弟師妹炫耀一下不用搶計算資源的壕氣,但是又怕隱私數據被看到,這時候就可以把實驗結果保存在這個擴展位的卡上,當你離開主機時,可以采取“盤隨人走”的方式來避免數據/隱私泄露。

當然,除了上面場景的專業性要求,日常使用中還有些別的方面Precision也比較符合我的口味,比如:工作室空間有限,3660的放置占用空間比臺式機小很多,外觀低調,設計感足,噪音也很少,而益于液冷和機箱設計,這臺Precision在超頻時也不會很吵。
最后,其實作為互聯網技術和媒體從業者,我在很多方面都對電腦的軟硬件性能有更高要求,一方面是為了讓創作更加高效,另一方面對生產設備的性能追求也影響了我的科技觀感,讓很多思路也更加清晰。
未來隨著Precision系列的不斷迭代,會有更加高效、有趣的工作設備出現(比如基于VR、AR的高性能計算設備),讓我們在未來的創作中更加具備效率和體驗,也兼具娛樂,讓成本越來越低、生產力越來越高。
讓們拭目以待!