当前位置:首页>AI资讯>GPT-4内幕大泄露!1.8万亿巨量参数,13万亿token训练,斥资6300万美元

GPT-4内幕大泄露!1.8万亿巨量参数,13万亿token训练,斥资6300万美元

这篇文章揭示了OpenAI的GPT-4的内部细节,包括其架构、训练和推理的基础设施、参数量、训练数据集、token数、成本等。GPT-4的规模是GPT-3的10倍以上,拥有1.8万亿参数。OpenAI使用了混合专家模型(Mixture of Experts,MoE)来构建GPT-4,以保持合理的成本。文章还提到,OpenAI训练GPT-4的FLOPS约为2.15e25,在大约25000个A100上训练了90到100天,利用率在32%到36%之间。训练成本大约是6300万美元。

此外,文章指出,OpenAI之所以不开源,不是为了确保人类不被AI毁灭,而是因为他们构建的东西是可复制的。预计未来所有中国和美国的互联网大厂或者AI头部初创企业,都会有能力构建出和GPT-4一样,甚至是超过GPT-4的模型。但是,GPT-4是OpenAI的伟大杰作,它凝结了工程师的匠心设计,复杂的构架和各种巧妙的工程上的取舍。

以上内容由ChatGPT总结。

文章来自新智元,阅读原文:https://mp.weixin.qq.com/s/iqvdcnwl4pR4jDXn57Yg8Q

悬河ai 吐司AI绘画

©版权声明:如无特殊说明,本站所有内容均为AIHub原创发布和所有。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则,我站将依法保留追究相关法律责任的权利。
0 条回复
    暂无讨论,说说你的看法吧
error: