Notebookcheck Logo

人工智能大战微软发布 Phi-3,一款可轻松安装在手机上的人工智能模型

小而强大?(来源:DALL-E)
小而强大?(来源:DALL-E)
作为对 Meta 最近发布的 Llama-3 的回应,微软发布了对其轻量级人工智能模型最新迭代的研究结果。技术报告显示,Phi-3-mini 的性能超过了 GPT-3.5 等 LLM,尽管其体积只是它们的几分之一。
AI

本周早些时候,微软在 HuggingFace、Ollama 和 Azure 人工智能目录上推出了 Phi-3。虽然它的常识技能与 Windows Copilot在速度、效率和性能方面可与主流 LLM 相媲美。

Phi-3 拥有 38 亿个参数,比其前身稍大一些。但仍然足够小,只需 1.8GB 的移动存储空间即可运行。相比之下,典型的复杂 LLM(如 Llama 或 GPT-3.5)需要使用数千亿个参数来理解输入,因此不适合本地存储。GPT-5、 将于今年夏天推出预计将有数万亿个参数。根据传统的缩放法则,更多的参数意味着更多的智能结果。但据微软公司称,情况未必如此。

将 Phi-3 模型与 Llama-3、Gemma 和 Mixtral 进行比较的图表(来源:Microsoft)
将 Phi-3 模型与 Llama-3、Gemma 和 Mixtral 进行比较的图表(来源:Microsoft)

微软在其技术报告中提出了一些大胆的主张。在 19 项基准测试中,Phi-3-mini 在 12 项测试中都优于 Llama-3-instruct,尽管其运行参数是后者的两倍。在 19 项基准测试中的 12 项测试中,Phi-3-mini 的性能似乎优于 Llama-3-instruct,尽管其运行参数是后者的两倍多。在 7B Phi-3-small 和 14B Phi-3-medium 的测试中,结果更是惊人。

工程师们将这些效率提升归功于他们精心策划的训练数据集https://www.microsoft.com/en-us/research/publication/textbooks-are-all-you-need/从两个来源获得:教科书质量 "的网络内容,以及人工智能生成的数据,这些数据旨在教授语言、常识和常识推理,并以精选的 3000 个单词作为构建模块。微软的研究人员声称,这种数据配方使去年的 Phi-2 的性能可以与 Meta 的更大型(70 B)的 Llama-2 模型.

Phi-3 与主要 LLM 的基准比较。(来源:Azure)
Phi-3 与主要 LLM 的基准比较。(来源:Azure)

Azure AI 公司副总裁埃里克-博伊德(Eric Boyd)通过The Verge吹嘘说,Phi-3 的性能与 GPT-3.5 不相上下,只是 "外形尺寸更小"。然而,由于尺寸有限,Phi-3 仍然受到事实知识不足的困扰。也许这是人工智能原生运行而不是通过云计算运行的必要权衡?

考虑到灵活性和成本效益是企业面临的关键问题,企业已经开始利用 SLM 的功能也就不足为奇了。不过,Phi-3 也面临着激烈的竞争。Meta公司的Llama-3、Anthropic 的Claude-3 套件、Google Gemini 和Gemma都有能够支持移动边缘计算的轻量级版本。尽管Phi-3似乎在竞争中处于有利地位,但Gemini Nano已经进入了谷歌Pixel 8 Pro和三星Galaxy S24系列(亚马逊售价784美元)等设备。

Phi-3系列人工智能模型绝不是微软一直在研究的唯一SLM。上个月,该公司改造了 Mistral,创建了Orca-Math。这是一个专门的模型,在小学数学方面的准确性大大高于 Llama、GPT-3.5 和 Gemini Pro。AutoDev是一个较新的项目,它借鉴了 AutoGen 和 Auto-GPT,可根据用户定义的目标自主规划和执行编程任务。人工智能大战还远未结束,但至少在较小规模上,我们已经有了领先的竞争者

在 GSM8K 问题上,Orca-Math 的通过率达到 86.8%,优于其他所有测试机型。(图片来源:微软)
在 GSM8K 问题上,Orca-Math 的通过率达到 86.8%,优于其他所有测试机型。(图片来源:微软)
AutoDev 框架概览(图片来源:微软研究院)
AutoDev 框架概览(图片来源:微软研究院)
Please share our article, every link counts!
> Notebookcheck中文版(NBC中国) > 新闻 > 新闻档案 > 新闻档案 2024 04 > 人工智能大战微软发布 Phi-3,一款可轻松安装在手机上的人工智能模型
Sarfo Ashong-Listowell, 2024-04-26 (Update: 2024-04-26)