好的,請參考以下文章:
GMKtec Evo X2迷你電腦:搭載AMD Ryzen AI Max Plus的LLM利器
DJX Spark迷你電腦的上市時間仍在未定之際,GMKtec推出了一款名為Evo X2的迷你電腦,引起了廣泛關注。這款迷你電腦配備了128GB的記憶體,可供GPU共享,非常適合執行本地LLM(大型語言模型)和進行機器學習。更令人驚喜的是,它的價格不到DJX Spark的一半。
Evo X2:規格與特色
Evo X2搭載了AMD最新的Ryzen AI Max Plus 395處理器,這是一顆擁有16核心、32執行緒,最高時脈可達5.1 GHz的強大晶片。內建的Radeon 8060S顯示卡據稱性能可與NVIDIA RTX 4060相媲美。
這款迷你電腦擁有豐富的連接埠,包括:
-
兩個USB 4連接埠
-
五個USB A連接埠
-
SD卡讀卡機
-
HDMI顯示連接埠
-
兩個耳機孔
-
一個5 Gigabit乙太網路連接埠
此外,Evo X2還配備了LPDDR5X記憶體,速度可達8,000 MHz,並提供雙PCIe Gen 4 SSD插槽,可擴充至16TB的儲存空間。它還支援Wi-Fi 7,提供快速的無線網路連接。
強大的LLM效能
Evo X2的真正亮點在於其APU(加速處理單元),即CPU和GPU整合在同一晶片上,並共享記憶體。儘管它並非像Apple Silicon的UMA(統一記憶體架構),而是採用靜態分區,但這仍然使它成為執行本地LLM的理想選擇。靜態分區意味著記憶體被劃分為固定大小的區塊,這有助於提高系統穩定性,但也可能導致記憶體浪費。
在初步測試中,Evo X2在LM Studio中表現出色,能夠將大量模型層卸載到GPU上。例如,對於一個320億參數的模型,它可以實現約10.58個tokens/秒的速度。對於更大的700億參數模型,也能達到5.1個tokens/秒的速度。
記憶體頻寬的重要性
記憶體頻寬是影響LLM效能的關鍵因素之一。AMD Ryzen AI Max Plus晶片的記憶體頻寬為256 GB/s。在Stream Benchmark測試中,Evo X2測得的記憶體頻寬約為120 GB/s。
與其他平台的比較
為了更全面地評估Evo X2的效能,我們將其與其他平台進行了比較,包括:
-
M4 Mac Mini: 儘管M4 Mac Mini在單核效能上表現出色,但由於記憶體頻寬的限制,其LLM效能不如Evo X2。
-
M4 Pro Mac Mini: M4 Pro Mac Mini擁有更高的記憶體頻寬(273 GB/s),在某些測試中表現更好,但價格也更高。
-
搭載Ryzen AI Max Plus的筆記型電腦: 在相同的晶片下,Evo X2在散熱方面表現更佳,因此通常能提供更高的效能。
Llama CPP與Vulkan
Llama CPP是一個用於執行LLM的函式庫,LM Studio等應用程式就基於它。Llama CPP可以針對不同的平台進行編譯,包括使用Vulkan。Vulkan是一個跨平台圖形API,允許在Linux和Windows等系統上使用GPU加速。雖然使用Vulkan可能會有一些效能開銷,但它提供了廣泛的相容性。
AMD正在努力為其晶片提供更直接的ROCm支援,這可以進一步提高LLM效能。
總結
GMKtec Evo X2是一款功能強大的迷你電腦,特別適合執行本地LLM和進行機器學習。它搭載了AMD Ryzen AI Max Plus 395處理器、128GB記憶體和豐富的連接埠。儘管其記憶體頻寬可能不如某些競爭對手,但它仍然提供了出色的效能,並且價格相對合理。如果AMD能夠成功提供ROCm支援,Evo X2的效能還有望進一步提升。