Video thumbnail for Nvidia, You’re Late. World’s First 128GB LLM Mini Is Here!

128GB記憶體迷你主機實測:AMD Ryzen AI Max Plus挑戰Nvidia!本地LLM運行效能大公開

Summary

Language:

Quick Abstract

想知道如何用迷你電腦跑本地大型語言模型 (LLM) 嗎? GMKtec EVO X2 搭載 AMD Ryzen AI Max Plus 395 處理器和 128GB 記憶體,專為本地LLM和機器學習而生! 影片深入評測這款迷你電腦,並將其與 Apple M4 Mac Mini 進行比較,探討效能、記憶體頻寬以及價格等關鍵因素。 此外,亦會提到 DJX Spark 的最新消息。

  • 快速重點:

    • GMKtec EVO X2 配備 AMD Ryzen AI Max Plus 395 處理器,16 核心 32 線程,最高 5.1 GHz。

    • 內建 Radeon 8060S GPU,在 128GB LPDDR5X 8000MHz 記憶體下,可媲美 RTX 4060 的效能。

    • 測試結果顯示,EVO X2 在運行本地 LLM 時表現出色,效能優於 M4 Mac Mini。

    • 影片比較了不同機器的記憶體頻寬,發現 Ryzen AI Max Plus 的實際效能可能被低估。

    • 探索了 Llama CPP 編譯選項 (Vulkan 與 ROCm) 對效能的影響。

    • 討論了靜態分割記憶體的優缺點。

    • 分析了 GMKtec EVO X2 的價格與其他選擇方案。

好的,請參考以下文章:

GMKtec Evo X2迷你電腦:搭載AMD Ryzen AI Max Plus的LLM利器

DJX Spark迷你電腦的上市時間仍在未定之際,GMKtec推出了一款名為Evo X2的迷你電腦,引起了廣泛關注。這款迷你電腦配備了128GB的記憶體,可供GPU共享,非常適合執行本地LLM(大型語言模型)和進行機器學習。更令人驚喜的是,它的價格不到DJX Spark的一半。

Evo X2:規格與特色

Evo X2搭載了AMD最新的Ryzen AI Max Plus 395處理器,這是一顆擁有16核心、32執行緒,最高時脈可達5.1 GHz的強大晶片。內建的Radeon 8060S顯示卡據稱性能可與NVIDIA RTX 4060相媲美。

這款迷你電腦擁有豐富的連接埠,包括:

  • 兩個USB 4連接埠

  • 五個USB A連接埠

  • SD卡讀卡機

  • HDMI顯示連接埠

  • 兩個耳機孔

  • 一個5 Gigabit乙太網路連接埠

此外,Evo X2還配備了LPDDR5X記憶體,速度可達8,000 MHz,並提供雙PCIe Gen 4 SSD插槽,可擴充至16TB的儲存空間。它還支援Wi-Fi 7,提供快速的無線網路連接。

強大的LLM效能

Evo X2的真正亮點在於其APU(加速處理單元),即CPU和GPU整合在同一晶片上,並共享記憶體。儘管它並非像Apple Silicon的UMA(統一記憶體架構),而是採用靜態分區,但這仍然使它成為執行本地LLM的理想選擇。靜態分區意味著記憶體被劃分為固定大小的區塊,這有助於提高系統穩定性,但也可能導致記憶體浪費。

在初步測試中,Evo X2在LM Studio中表現出色,能夠將大量模型層卸載到GPU上。例如,對於一個320億參數的模型,它可以實現約10.58個tokens/秒的速度。對於更大的700億參數模型,也能達到5.1個tokens/秒的速度。

記憶體頻寬的重要性

記憶體頻寬是影響LLM效能的關鍵因素之一。AMD Ryzen AI Max Plus晶片的記憶體頻寬為256 GB/s。在Stream Benchmark測試中,Evo X2測得的記憶體頻寬約為120 GB/s。

與其他平台的比較

為了更全面地評估Evo X2的效能,我們將其與其他平台進行了比較,包括:

  • M4 Mac Mini: 儘管M4 Mac Mini在單核效能上表現出色,但由於記憶體頻寬的限制,其LLM效能不如Evo X2。

  • M4 Pro Mac Mini: M4 Pro Mac Mini擁有更高的記憶體頻寬(273 GB/s),在某些測試中表現更好,但價格也更高。

  • 搭載Ryzen AI Max Plus的筆記型電腦: 在相同的晶片下,Evo X2在散熱方面表現更佳,因此通常能提供更高的效能。

Llama CPP與Vulkan

Llama CPP是一個用於執行LLM的函式庫,LM Studio等應用程式就基於它。Llama CPP可以針對不同的平台進行編譯,包括使用Vulkan。Vulkan是一個跨平台圖形API,允許在Linux和Windows等系統上使用GPU加速。雖然使用Vulkan可能會有一些效能開銷,但它提供了廣泛的相容性。

AMD正在努力為其晶片提供更直接的ROCm支援,這可以進一步提高LLM效能。

總結

GMKtec Evo X2是一款功能強大的迷你電腦,特別適合執行本地LLM和進行機器學習。它搭載了AMD Ryzen AI Max Plus 395處理器、128GB記憶體和豐富的連接埠。儘管其記憶體頻寬可能不如某些競爭對手,但它仍然提供了出色的效能,並且價格相對合理。如果AMD能夠成功提供ROCm支援,Evo X2的效能還有望進一步提升。

Was this summary helpful?