无需云端的人工智能：这款语言模型现在可以运行在你的iPhone上了

大型语言模型通常需要数据中心，或者至少需要一台配备大量内存的高性能个人电脑。由加州理工学院研究人员创立、并获得谷歌和科斯拉风投等机构投资的美国初创公司PrismML，于7月14日发布了Bonsai 27B ：这是一款拥有270亿参数的人工智能模型，其最小版本仅占用3.9 GB空间。这是此类模型首次能够完全装入 iPhone 17 Pro的内存。我们的指南 《无需云端的人工智能》 将向您展示如何在自己的电脑上搭建语言模型。

从54 GB缩减至4 GB以下

该模型基于阿里巴巴开源的Qwen3.6 27B，其全精度版本占用空间约为54 GB。PrismML将神经网络的每个权重以1至2位存储，而非通常的16位。 最终生成两个版本：面向笔记本电脑的三进制版本（标称大小 5.9 GB）和面向手机的 1 位版本（3.9 GB）。据制造商称，在 15 项基准测试中，笔记本电脑版本保留了原始性能的 95%，而手机版本则保留了 90%。 数学运算和编程功能几乎不受影响。这些权重在 Apache 2.0 许可证下免费开放，可通过 Apple 的 MLX 框架在 iPhone、iPad 和 Mac 上运行，也可通过 NVIDIA 显卡上的 CUDA 运行。

iPhone 的能力及其局限性

根据白皮书，3.9 GB 版本在 iPhone 17 Pro Max 上每秒生成约11个令牌（，亚马逊有售）。满电状态下可处理约67,000个令牌。持续运行五分钟多一点后，芯片便会降频。不过，这些基准测试数据来自制造商自身。其官方数据表揭示了该系统在图像理解和工具使用方面的最大短板，而这恰恰是AI代理必须表现卓越的领域。 此外，笔记本电脑版本的实际下载大小根据运行时长不同，在7.2至8.5 GB之间，远超宣传数据。目前尚无面向普通用户的现成应用。现阶段的目标群体是开发者和技术爱好者。任何只想试用该模型的人，都可以在Hugging Face上找到浏览器演示 。

苹果公司已开始研究这项技术

PrismML首席执行官巴巴克·哈西比（Babak Hassibi）向的CNBC透露 表示，苹果及其他公司目前正在测试这些模型的运行速度、能耗及性能。他称相关讨论尚处于非常早期的阶段。对用户而言，最重要的是发展方向：AI在设备端直接运行的程度越高，流向云端的个人数据就越少。我们此前已详细探讨过 你的AI会秘密存储什么 以及如何阻止它。