赌注得到回报：开发者以十分之一的价格获得价值 8 万美元的硬件，配备 960GB DDR5 内存和 Nvidia GH200 超级芯片
不到一周前 我们报道了一位玩家在 Reddit 上以 600 美元的价格买到了一台功能强大、设备齐全、价值约 3000 美元的游戏电脑。令人啼笑皆非的是，截至本文发稿时，仅系统中的 64 GB DDR5 内存就价值 880 美元。 前所未有的内存价格空前飙升。
价值 8 万美元的硬件仅售 8000 美元：人工智能开发者中大奖
现在，一位人工智能开发人员也通过 Reddit 找到了一笔令人垂涎的交易--一台二手人工智能服务器，配备双Nvidia GH200超级芯片的二手人工智能服务器，售价仅为 8000 美元。如果买的是全新的，这套系统的价格大约在 8 万美元左右，甚至很可能更高，因为 英伟达 H100就价值约 4 万美元，正如作者所指出的https://dnhkng.github.io/posts/hopper/.此外，该系统还内置了高达 960 GB 的 LPDDR5X 内存。下面是由买家 David Noel Ng 提供的该系统的具体细节：
- 双 Nvidia Grace-Hopper GH200 超级芯片--各配备一个 72 核 ARM CPU 和 480 GB LPDDR5X 内存，Hopper H100 GPU 和 96 GB HBM3 内存
- 带宽为 900 GB/s 的 NVlink C2C
- 3 千瓦 PSU
- 双 PCIe Gen4 M.2 22110/2280 插槽
- 四个 FHFL PCIe 第 5 代 x16 插槽
- RJ45、迷你 DisplayPort
Nvidia GH200 超级芯片物美价廉？有陷阱
卖家在不同的回复中透露，该系统之所以以低价出售，是因为其状况不佳由于已从液冷转为风冷。此外，他们还提到，该系统无法安装在一般的服务器机架上，而这通常是先决条件。
然而，戴维并没有被这些缺点所吓倒，而是亲自开车到卖家那里对系统进行检查。幸运的是，他发现卖家的信誉很好，而且距离他住的地方大约 2 小时车程。
系统带回家后，David 安排了一台吸尘器和几升清洁液，然后开始工作。服务器清洗完毕后，安装了新的水冷装置，并进行了一些维修。其中最具挑战性的可能是找出一个有故障的温度传感器，该传感器曾多次导致服务器崩溃，但最终都解决了。
大型 LLM 就在家中：235B 参数模型顺利运行
戴维对自己购买的产品以及随后在家中运行大型 LLM（235B）的能力似乎非常满意。当然，整个过程需要大量的工作，对于那些完全不了解企业级硬件的人来说，大部分工作都是力不从心的。但考虑到现在仅 960 GB DDR5 内存的价值就超过了他为整个系统支付的费用，这无疑是一个圆满的结局。
对于那些想在家里运行较小的人工智能模型，又不想花费 8000 美元和几个小时进行设置的人来说，Strix Halo Powered GMKtec Evo-X2（目前亚马逊售价 1529.99 美元）可能是更好的选择。
资料来源
David Noel Ng,Reddit, spotted byTom's Hardware
