首页 > AI教程资讯

微软发布Phi-4-mini-flash-reasoning端侧AI模型:10倍吞吐量,推理能力升级

文章来源:万象ai发布时间:2025-07-11 18:07:07

7月11日消息,科技媒体NeoWin昨日(7月10日)发布博文,报道称微软推出Phi-4-mini-flash-reasoning小语言模型,重点提升端侧AI模型的数学和逻辑推理能力。

Phi-4-mini-flash-reasoning的主要优势在于,它能够在边缘设备、移动应用和嵌入式系统等资源不足的场景下,引入先进的推理功能。

在架构方面,Phi-4-mini-flash-reasoning创新引入了SambaY架构,而该架构的一大亮点,就是名为GatedMemoryUnit(GMU)的组件,它能够高效地在模型的内部之间共享信息,从而提高模型的效率。

这些改进让模型能够更快地生成答案和完成任务,即使面对非常长的输入也能应对自如,Phi模型还能处理大量数据,理解非常长的文本或对话。

在性能方面,相比较其它Phi模型,Phi-4-mini-flash-reasoning的吞吐量最高提升10倍,这意味着在给定的时间内,Phi-4-mini-flash-reasoning可以完成更多的工作。

它可以在相同的时间内处理10倍多的请求或生成10倍多的文本,这对于实际应用来说是一个巨大的改进,此外,延迟也降低至其它Phi模型的1/2~1/3。附上相关性能数据如下:

Phi-4-mini-flash-reasoning新型模型已在AzureAIFoundry、NVIDIAAPICatalog和HuggingFace上线。