骁龙 X2 Elite Extreme 中的 Hexagon NPU 6：80 TOPS 性能比Apple M4 快 95%，比英特尔 Lunar Lake 快 122
高通公司 最近发布了其下一代 骁龙X2精英至尊版和 X2 Elite笔记本电脑 SoC。新的 X2 Elite 芯片不仅对 CPU、GPU 和内存进行了全面改进，还对 Hexagon NPU 进行了重大增强。
该公司声称，最新的 Hexagon NPU 是笔记本电脑上速度最快的 NPU，具有高达 80 TOPS 的 AI 处理能力。这比我们在骁龙 X X 上看到的 45 TOPS 提升了近 78%。 骁龙 X产品线。
X2 Elite Extreme 专为代理工作流程而设计
高通公司重点介绍了具有 1024 上下文长度和 140 亿个参数 (14B) 的单个 LLM 代理如何需要高达 143 TOPS 的 AI 处理能力，而具有两个 (3B) 或四个代理 (7B) 的代理用例（每个代理同时运行一个 LLM 和 LVM）可能需要高达 72 TOPS。
这也带来了优化每瓦性能和低延迟的挑战。
高通公司表示，骁龙 AI 推理与 Windows AI 软件栈配合使用，可实现下一代代理工作负载。支持的开放式 ML 框架包括 PyTorch 和 TensorFlow。
骁龙AI推理与Windows ML提供的ONNX Runtime一起，可以让CPU、GPU和NPU参与进来，加速设备上的AI处理。
骁龙 X 系列 SoC 笔记本电脑 CPU 目前支持 1,000 多个模型和 300 多种体验，涵盖音频、视频、照片、生成式人工智能、代理式人工智能和推理。
NPU 支持的体验可在 Adobe Premiere、Blender、VS Code、Affinity Photo 等流行应用程序中使用。
Hexagon 20 年的发展历程：标量和矢量吞吐量提高 143
高通公司详细介绍了 Hexagon 最初如何从主要涉及标量处理的数字信号处理器发展到目前的 NPU 6（也可进行矢量、整数和 FP16 矩阵加速）。
标量处理现在跨越 12 个线程，每个线程有 4 宽超长指令字 (VLIW)，从而使吞吐量提高了 143%，并减少了延迟。
此外，NPU 6 的总线速度提高了 127%，八个并行线程的矢量处理速度提高了 143%，并支持 FP8 和 BF16。
矩阵单元采用独立电源轨，速度提高了 78%，支持 2 位权重和 FP8+BF16。
Hexagon NPU 6：等效功耗下性能最高提升 4 倍
据高通公司称，在增强型深度超分辨率（EDSR）工作流程中，X2 Elite Extreme中的Hexagon NPU在等效功耗为5 W的情况下，性能是X Elite中的NPU的1.6倍。
Hexagon NPU 6：全球最快的笔记本电脑 NPU
高通公司将骁龙 X2 Elite Extreme 中的 Hexagon NPU 6 称为世界上最快的处理器，其性能是 Core Ultra 9 285H 的 5.7 倍，效率是 Core Ultra 9 285H 的 3.8 倍。 Core Ultra 9 285H的 NPU 相比，性能提高了 5.7 倍，效率提高了 3.8 倍。
在 Geekbench AI 中，Hexagon NPU 6 的速度比 Procyon AI Computer Vision 中的 NPU 快近 70%。 Apple M4领先 Core Ultra 9 288V 82.4%。
当然，这些都是制造商提供的数据，因此在明年初测试基于 X2 Elite Extreme SoC 的笔记本电脑之前，我们暂不做任何最终结论。
资料来源
高通公司新闻简报
