首页 > AI教程资讯

GPT-4 信息遭到泄露，2200 亿个参数的专家模型，斥资6300万美元

文章来源：万象ai发布时间：2025-04-01 11:03:21

AI奇点网7月12日报道丨7月11日，OpenAI 旗下的 GPT-4 大量模型架构、训练成本、数据集等大量信息被泄露。SemiAnalysis 发布了一篇付费订阅的内容，揭秘了有关 GPT-4 的更多信息。文章称，他们从许多来源收集了大量有关 GPT-4 的信息，包括模型架构、训练基础设施、推理基础设施、参数量、训练数据集组成、token 量、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实现技术以及如何减轻与巨型模型推理有关的瓶颈等。

一直以来，大家都对 GPT-4 的信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。而在不久之前，天才黑客乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型组成的集成系统，每个专家模型都有 2200 亿个参数（比 GPT-3 的 1750 亿参数量略多一些），并且这些模型经过了针对不同数据和任务分布的训练。

AI奇点网注意到他的发言向我们透露出一个重要信息：GPT-4架构他们的构建的信息是可复制的，Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等在短期内都将拥有与GPT-4一样强大的模型。

不过这并非官方确认的数据，准确性有待考量。AI奇点网会为大家持续关注报道。

三星苹果穿戴设备大战从手腕干到手指

上一篇: 三星苹果穿戴设备大战从手腕干到手指

三星和苹果都有在穿戴设备开发新产品的准备动作，将在智能戒指产品上迎来正面交锋。

前 OpenAI 员工推出新版本 ChatGPT 竞品丨科大讯飞：下半年 all in 星火大模型丨电商平台引入AI后解雇90%员工

下一篇: 前 OpenAI 员工推出新版本 ChatGPT 竞品丨科大讯飞：下半年 all in 星火大模型丨电商平台引入AI后解雇90%员工

【AI奇点网2023年7月12日早报】本站每日播报AI业界最新资讯，触摸时代脉搏，掌握未来科技动向。事不宜迟，点击查看今日AI资讯早餐。

相关攻略更多

热门AI工具更多

最新资讯更多

PhotoG - AI图片生成

PhotoG - AI图片生成

AI工具

更新时间：2025-01-08