马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI
Aim_yuan
发表于 2024-3-18 13:13:42
169
0
0
有意思的是,Grok-1宣布开源的封面图为Midjourney生成,可谓“AI helps AI”。
一直吐槽OpenAI不open的马斯克,自然要在社交平台上含沙射影一番,“我们想了解更多OpenAI的开放部分。”
Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今,已经在GitHub上揽获6.5k星标,热度还在持续增加。
项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。
此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。
目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说,发布开源模型有助于社区展开大规模的测试和反馈,意味着模型本身的迭代速度也能加快。
Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程:
在宣布成立xAI之后,相关研究人员首先训练了一个330亿参数的原型语言模型(Grok-0),这个模型在标准语言模型测试基准上接近LLaMA2(70B)的能力,但使用了更少的训练资源;
之后,研究人员对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1并于2023年11月发布,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。
与其他大模型相比,Grok-1的优势在哪呢?
xAI特别强调,Grok-1是他们自己从头训练的大模型,即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练,没有针对特定任务(如对话)进行微调;
Grok-1的一个独特而基本的优势是,它可以通过X平台实时了解世界,这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据;
3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%,这一庞大的参数量为其提供了强大的语言理解和生成能力。
xAI此前介绍,Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。未来,长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 大模型加速落地 百度智能云发布千帆大模型平台3.0
- 百度李彦宏:现在距离大模型的理想情况还差很远 未来模型之间的差距会变大
- 欧洲隐私监管机构调查谷歌将数据用于人工智能模型的情况
- 欧洲隐私监管机构调查谷歌将数据用于人工智能模型的情况
- 百度沈抖:面向10万卡算力集群升级计算平台能力 文心大模型日调用量超7亿次
- Meta发布重磅新品:299美元的Quest 3S头显、AR眼镜原型、多模态AI模型
- 百度世界2024宣布定档11月12日 文心大模型日调用量已超7亿
- 百度世界2024将于11月12日召开 文心大模型日均调用量已超7亿次
- 业界共话大模型应用创新实践——2024百度云智大会大模型应用产品论坛举行
- 对话|百度李涛:汽车智能化和大模型浪潮重叠是历史必然
-
10月1日,国内造车新势力纷纷公布2024年9月交付数据。 据蔚来汽车公告,2024年9月交付汽车21,181辆,同比增长35.4%。截至2024年9月的三个月,交付了汽车61,855辆,同比增长11.6%。截至2024年9月30日,全年 ...
- hzhik
- 昨天 19:12
- 支持
- 反对
- 回复
- 收藏
-
继小鹏汽车将其智驾车型MONA M03切入A级车市场后,广汽埃安也迅速跟进,推出了同类智驾车型AION RT。据悉,AION RT作为广汽埃安的第二款全球车型,依据续航里程和智能驾驶能力,共推出了四个版本:520智享版、65 ...
- moonlightplay
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
据央视新闻,当地时间9月30日,美国国家运输安全委员会表示,超过40家外国航司正在使用的波音737飞机的方向陀控制系统可能有潜在安全风险。 美国家运输安全委员会透露,该部门已获悉有两家外国运营商在201 ...
- shenhancz
- 昨天 10:22
- 支持
- 反对
- 回复
- 收藏
-
10月1日,理想汽车公布2024年9月交付数据。2024年9月,理想汽车交付新车53,709辆,同比增长48.9%。2024年第三季度,理想汽车交付152,831辆,同比增长45.4%。截至2024年9月30日,理想汽车2024年共交付341,812辆, ...
- wpx
- 昨天 15:46
- 支持
- 反对
- 回复
- 收藏