面对监管障碍和出口限制,中国的人工智能公司越来越多地使用翻新的和二手英伟达加速器。当 H20 出口 恢复出口时当 H20 于 7 月恢复出口时,中国新的数据安全规定使采购英伟达有限的 Hopper 卡变得更加复杂。因此,买家转而购买较旧的A100和H100板卡,现在供应商对这些板卡进行改造和销售,以实现经济实惠的高性能推理集群。
推理所需的计算量比训练少,而且不需要完全浮点精度。一个 A100可提供高达 80GB 的 HBM2e 和约 2 TBps 的带宽。它仍然可以很好地运行聊天机器人和推荐引擎。考虑到堆栈的开发水平,Nvidia 成熟的 CUDA 软件也很有帮助。对于专注于为模型提供服务而不是训练模型的团队来说,较老的芯片是一项明智的投资。
相比之下 H100性能更高,提供了 HBM3 和更高的吞吐量。H20 符合出口规则,但其人工智能性能大约比完整的 H100 低三到七倍,双精度性能则低三十多倍。鉴于这些限制,中国的许多买家仍然选择重新利用的 H100 卡,而不是新的 H20 设备。
推理系统可以连续运行,对精度的影响极小,而且兼容 CUDA 的旧板卡也很容易部署。尽管存在一些可靠性方面的问题,但翻新卡的需求量仍然很大。数据中心可以立即进行扩展,而不必等待获得批准的部件。
与此同时,Nvidia 面临着困难的局面:美国许可规则的变化导致了减记 55 亿美元未售出的 H20 库存减记 55 亿美元。与此同时,官方显卡的稀缺意味着老款 Nvidia GPU 继续通过非官方和翻新销售助推中国人工智能的发展。这种动态可能会影响 Nvidia 的利润,并延长新技术的采用时间。
在国内方面,中国政府正在鼓励国内加速器从 华为和 比仁但是,在中国数据中心部署的每一台二手 H100 或经过调整的 A100 都会减少基于 Ascend 系统的市场,并减缓对国产堆栈的投资。
综合来看,这些规则创造了一种循环经济。限制高级计算的管制措施和推广本地芯片的政策使老式 Nvidia 硬件的使用寿命更长。
资料来源
数码时代(英语)
» Notebookcheck多媒体笔记本电脑Top 10排名
» Notebookcheck游戏笔记本电脑Top 10排名
» Notebookcheck低价办公/商务笔记本电脑Top 10排名
» Notebookcheck高端办公/商务笔记本电脑Top 10排名
» Notebookcheck工作站笔记本电脑Top 10排名
» Notebookcheck亚笔记本电脑Top 10排名
» Notebookcheck超级本产品Top 10排名
» Notebookcheck变形本产品Top 10排名
» Notebookcheck平板电脑Top 10排名
» Notebookcheck智能手机Top 10排名
» Notebookcheck评测过最出色的笔记本电脑屏幕
» Notebookcheck售价500欧元以下笔记本电脑Top 10排名
» Notebookcheck售价300欧元以下笔记本电脑Top 10排名