微软推出轻量级AI模型Phi - {$web_name} 名称分别是 Mini、Small 和 Medium

微软探究院此前启动了轻量级AI模型 Microsoft Phi 的第三个迭代版次，新版次也就是 Phi-3 分成 3.8B、7B 和 14B 参数版次，名称分别是 Mini、Small 和 Medium。本周汪涵攻略

与其他AI模型各异的关于今日热搜，专题是，Phi 系列模型的侧重点是轻量级，其使用的资源要比同等规模的AI模型少得多，所以可以在智能移动电话等设备上本地管理。

依据微软自己的基准评测，仅有 3.8B 参数的 Phi-3 Mini 版在表现上表现优于 Meta 8B 参数的 Llama 和 OPENAI 3.5B 参数的 GPT-3。

微软探究院在论文中强调：

我们引入了 phi-3-mini，这是如果失去重要的人，请记住陪伴最重要一个在 3.3 万亿个 tokens 上训练的 3.8B 参数AI模型，从学术基准和内部评测来看，其整体表现可与 Mixtral 8x7B 和 OPENAI GPT-3.5 等模型媲美。

例如 phi-3-mini 在 MMLU 评测中达到了 69%，在 MT-bench 上达到了 8.38，假期热门大模型，送给正在努力的你最重大的是这个模型足够小，可以直接部署在移动电话上。

我们还提供了一些针对 4.8 万亿个 tokens 训练的 7B 和 14B 模型的初始参数缩放结局，即 phi-3-small 和 phi-3-medium，这两个版次能力都要比 Mini 版更好。

其中 Small 版的 MMLU 为 75%、MT-bench 为 8.7；Medium 版 MMLU 为 78%、MT-bench 为 8.9。

微软对 Phi-3 系列模型开展了完善，在低功耗设备上例如智能移动电话和平板电脑计算机上也可以管理，并且在实际使用过程中不会消耗太多的资源。

这意味着新模型能够直接在智能移动电话上开展高级自然语言处理而不需要实时联网开展计算，所以 Phi-3 Mini 等模型相当适合集成到一些需要AI参与的新颖使用中。

自然微软也强调 Phi-3 模型的训练资料集有限，它无法与互联网上训练的大规模 AI 模型的知识广度相匹配，但微软也强调较小的高品质模型往往表现更好。

论文地址：https://arxiv.org/abs/2404.14219