Microsoft Maia 300 AI 芯片问世，配备惊人的 288 GB HBM4 内存和 18 TB/s 带宽
Microsoft 已正式发布 Maia 300，这是其最新的定制设计 AI 加速器，旨在减少公司对 Nvidia 和 AMD 硬件的依赖。该产品发布前不久，OpenAI 刚刚推出了其自研芯片 Jalapeno。 这款芯片是今年早些时候推出的 Maia 200 的继任产品。首款 Maia 芯片 Maia 100 于 2023 年亮相。
Maia 300 采用多芯粒设计，其主计算部分使用 TSMC 先进的 N2P（2 nm）工艺制造。该封装还集成了独立的内存和 I/O 芯粒，使 Microsoft 能够根据各组件的具体需求选择合适的工艺进行制造。据 Reuters 报道，部分辅助芯片采用成本较低的 3 nm 制造工艺。
该加速器的 FP4 计算性能最高可达 13.8 PFLOPS，FP8 精度下则为 6.9 PFLOPS。其 SoC 额定功耗为 950 W，显著高于 Maia 200 的 750 W。Microsoft 为 Maia 300 配备了八个 HBM4 堆栈，提供总计 288 GB 的内存容量和 18 TB/s 的带宽。每个堆栈提供 36 GB 容量，HBM4 内存的每引脚数据速率为 9 Gb/s。相比之下，Maia 200 配备 216 GB 的 HBM3E 内存，带宽为 7 TB/s，因此这款新加速器更适合内存密集型推理工作负载。
| 规格 | Microsoft Maia 300 |
|---|---|
| 架构 | 多芯粒 |
| 计算过程 | TSMC N2P |
| FP4 性能 | 13.8 PFLOPS |
| FP8 性能 | 6.9 PFLOPS |
| SoC 热设计功耗 | 950 W |
| 内存 | 288 GB HBM4 |
| 内存配置 | 8 × 36 GB 堆栈 |
| 内存带宽 | 18 TB/s |
| 内存速度 | 9 Gb/s 每引脚 |
| 纵向扩展带宽 | 3.2 TB/s（双向） |
| 网络互联 | 支持 AI 传输的双层以太网 |
| 机架配置 | 96 个加速器 |
| 纵向扩展集群大小 | 12,000 个加速器 |
| 生产部署 | 2027 |
Microsoft 还升级了该加速器的互连能力。Maia 300 提供 3.2 TB/s 的双向纵向扩展带宽，并采用基于以太网的双层网络，配备定制的 AI 传输协议。单个机架可容纳 96 个 Maia 300 加速器，而其纵向扩展架构支持包含约 12,000 个加速器的集群。
除了硬件规格外，Microsoft 声称，Maia 300 每兆瓦可生成的 token 数量比领先的基于 GPU 的 AI 系统多 40%。据称，满配 96 个加速器的配置可提供高达 Maia 200 七倍的机架级 token 吞吐量。不过，该公司尚未提供有关对比 GPU 配置的充分细节，因此无法独立确认其效率优势的程度。
Microsoft 打算于 2027 年开始在生产环境中部署 Maia 300，并计划最终将基础设施规模扩展至数吉瓦的容量。Reuters 报道称，该公司明年可能部署超过一百万颗 Maia 300 芯片，凸显了其降低对第三方 AI 加速器依赖的雄心。
Add as a preferred source on Google
