文章来源:万象ai发布时间:2025-03-27 12:56:15
AI奇点网9月19日报道丨北京时间9月19日凌晨,苹果正式向iOS用户推送了最新版本的iOS 17系统更新。AI元年,AIGC大浪潮之下,苹果恐怕很难再回避大模型带来的话题热度。作为一家消费电子大厂,苹果的 Transformer 架构AI大模型的底细,已经被国外一名技术发烧友给扒出来了。

今年WWDC 2023开发者大会上,苹果发布了iOS 17系统与macOS Sonoma 系统,内置一项AI生成的输入法功能,可以通过用户输入的文本来预测后边的内容。从某种角度来说,苹果并不愿意将此功能称之为“人工智能”。国外一位名叫 Jack Cook 的小哥,就把 macOS Sonoma 翻了个底朝天,结果,还真挖出不少新鲜信息。

Cook 的本科和硕士毕业于麻省理工学院的计算机专业,目前还在攻读牛津大学的计算机硕士。他曾在英伟达实习,专注于 BERT 等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
从模型架构上,Cook 认为苹果的大语言模型更倾向基于 GPT-2 打造。在分词器(tokenizer)方面,Emoji的表情符号在其中的比重十分突出。
苹果的大语言模型基于GPT-2架构
苹果的AI大模型能力,主要体现在输入法方面。苹果自带的输入法可以实现单词预测和纠错的功能。

Jack Cook具体测试了一下,发现这个功能主要针对单个单词的预测进行实现。
大模型有时也能预测即将出现的多个单词,但这仅限于已经输入的句子语义十分明确的前提下。

Cook推测苹果的模型应该是基于 GPT-2 架构打造。他甚至扒出了更多关于 GPT-2的关键信息量。比如在 token embeddings、位置编码、解码器块和输出层,每个解码器块中都有类似 gpt2_transformer_layer_3d 这样的字眼,里边就包含“GPT2”的关键词。

Cook 还推测,苹果模型的每一层约有 3400 万参数,隐藏层大小是 512。也就是说,它比 GPT-2 参数量最小的版本还要小。他认为,苹果此举是因为需要在移动终端设备上运行就需要更加的省电,同时能够保持快速、频繁运行。
苹果大模型建立在手机端侧进行运算
苹果官方在 WWDC 上的说法是:“每点击一个键,iPhone 就会运行模型一次。”这就意味着,每一次手指动作都是一次文本生成的过程,这样就无法很好地连贯续写文本段落。

Cook 的文章一经发布,就引发了网友的热议。其中一名网友表示:“我一直认为这就是人工智能应该部署的方式。与其试图将AI作为端到端的云服务解决方案来销售,不如让它首先承担力所能及的一小部分。它对于终端设备来说具有成本效益,对于用户来说也很有价值。是一个双赢工程!”
相关攻略 更多
OpenAI底层AGI技术被曝光!前研究主管豪言:从此再无新范式
爆款AI视频越来越多,但本质我觉得跟炒股没区别。
Cursor+Claude的SVG图片生成功能,强到离谱,强烈建议写PPT没思路的时候买个会员
超20万人使用!最强开源浏览器Workflow插件【内置3300+模版】效率又起飞了~
营销获客AI公司Clay,花7年找到PMF后,快速实现10倍增长的秘密
5天连发5个王炸!MiniMax这波发布周把OpenAI都整懵了|MiniMax发布周回顾
AI应用行业全景洞察丨中国丨2025年5月丨万字诚作丨Xsignal
数字疗法AI医疗独角兽SwordHealth再融4000万,估值冲至40亿美元背后的战略棋局
最新资讯 更多
OpenAI底层AGI技术被曝光!前研究主管豪言:从此再无新范式
更新时间:2025-07-25
爆款AI视频越来越多,但本质我觉得跟炒股没区别。
更新时间:2025-07-25
Cursor+Claude的SVG图片生成功能,强到离谱,强烈建议写PPT没思路的时候买个会员
更新时间:2025-07-25
超20万人使用!最强开源浏览器Workflow插件【内置3300+模版】效率又起飞了~
更新时间:2025-07-25
营销获客AI公司Clay,花7年找到PMF后,快速实现10倍增长的秘密
更新时间:2025-07-25
5天连发5个王炸!MiniMax这波发布周把OpenAI都整懵了|MiniMax发布周回顾
更新时间:2025-07-25
AI应用行业全景洞察丨中国丨2025年5月丨万字诚作丨Xsignal
更新时间:2025-07-25
数字疗法AI医疗独角兽SwordHealth再融4000万,估值冲至40亿美元背后的战略棋局
更新时间:2025-07-25
宁德时代领投,「银河通用」完成超10亿元新一轮融资
更新时间:2025-07-25
【译】万字长文解读:生成式AI的21个设计模式、示例及应用策略
更新时间:2025-07-25