得益于Apple 研究人员，iPhone 上的生成式人工智能又近了一步

Apple 研究人员已经 记录了https://arxiv.org/pdf/2312.11514.pdf(pdf) 一种允许大型语言模型 (LLM) 在设备上运行的新方法，它采用了一种独特的方法来克服移动设备的内存限制。完整版的 LLMs（如 Open AI 的 ChatGPT 4）拥有约 1.7 万亿个参数，需要强大的服务器才能处理。然而，谷歌新推出的 双子座人工智能 - 它使用量化技术将模型的参数减少到 18 亿个或 36 亿个。Gemini Nano 的其中一个变体目前正在谷歌的 Pixel 8 Pro 智能手机上运行（亚马逊，目前降价至 799 美元，原价为 999 美元）。).

高通公司声称，它的新 骁龙 8 第三代SoC 可以支持生成式人工智能 LLM，参数最大可达 100 亿个--虽然比谷歌在 Pixel 8 系列上实现的功能要强得多，但与 GPT-4 令人印象深刻的功能所需的 1.7 万亿个参数相比，仍然相去甚远。量化使 LLMs 更容易被移动 SoC 处理，但也意味着它们会失去准确性和有效性。因此，只要能增加移动设备中可容纳模型的大小，就能提高 LLM 的性能。

为了让智能手机能够处理设备上的基因 AU 任务，RAM 要求也相当高。内存要求也相当高。如果将 LLM 缩减为每个参数 8 位、拥有 70 亿个参数的模型（如 Snapdragon 8 Gen 3 支持的 Meta's Llama 2），则需要智能手机拥有至少 7GB 的 RAM。iPhone 15 Pro 系列配备了 8GB 内存，这表明Apple 开发的 LLM（如 Llama 2）将达到当前 iPhone 支持的上限。Apple研究人员已经找到了绕过板载 RAM 限制的方法。

在一篇题为 "LLM in a flash: Efficient Large Language Model Inference with Limited Memory "的研究论文中，Apple的生成式人工智能研究人员开发出了一种利用 iPhone 闪存来补充设备板载系统 RAM 的方法。闪存的带宽无法与 LDDR5/X 移动 RAM 相提并论，但Apple的研究人员开发出了一种方法，克服了这一固有的限制。通过结合使用 "窗口化"（人工智能模型重新使用存储在闪存上的一些已经处理过的数据）和 "行列捆绑"（将 LLM 中的数据以更有效的方式分组处理，从而加快读取速度）。

当然，我们还没有看到Apple 的 LLM，不过有传言称，我们可能会看到一个基于 LLM 的智能版 Siri，它将作为 iOS 18 的一部分亮相。 iOS 18并能在下一代 iPhone 16 Pro机型上运行。但是，当我们这样做的时候，似乎很有可能Apple 会利用这种 RAM 扩展方法来确保它提供的 LLM 模型具有尽可能多的参数，可以有效地在设备上运行。随着三星，其生成式人工智能游戏推出的 Galaxy S24系列，2024 年也将成为生成式人工智能在智能手机上普及的一年。