Meta发布最强开源模型Llama 3.1,扎克伯格:将成为行业转折点
lang3344
发表于 2024-7-24 09:38:14
1067
0
0
Meta创始人CEO扎克伯格同一时间在官网发布一篇博客为这次发布造势,他表示,Llama 3.1版本将成为行业的一个转折点,大多数开发人员将开始主要使用开源,开源AI是未来的发展方向。
英伟达高级研究科学家Jim Fan在X上发文祝贺Meta团队,他提到,“GPT-4的力量就在我们手中,(这是)一个真正具有历史意义的时刻。”
在具体细节上,Llama 3.1三个版本的模型上下文窗口都从8k增加到了 128K,扩大16倍,同时支持8种语言。其中Llama 3.1 -405B模型使用了超过15万亿个tokens进行训练,并且为了能达到这一训练规模,团队使用了1.6万块H100 的GPU。官方表示,405B模型是第一个以这种规模训练的Llama模型。
开源大型语言模型在功能和性能方面大多落后于闭源模型,“但现在,我们正迎来一个由开源引领的新时代。”
官方博客中,Meta评估了超过了150个基准数据集的性能,比较了 Llama 3.1 与其他模型的能力表现,旗舰模型Llama 3.1 -405B在常识、可操作性、数学等一系列任务中可与GPT-4、GPT-4o和Claude 3.5 Sonnet相媲美。此外,8B和70B小型模型与具有相似数量参数的闭源和开源模型具有竞争力。
在现实场景中,Llama 3.1 405B进行了与人工评估的比较,其总体表现优于GPT-4o和Claude 3.5 Sonnet。
此次Meta还更新了开源许可,允许开发者首次使用 Llama 模型(包括 405B)的输出来改进其他模型。对标GPT-4o,官方称,他们也会采用组合方式将图像、视频和语音功能整合到Llama 3中,使模型能够识别图像和视频,并通过语音支持交互。但目前这一功能仍在开发中,尚未准备好发布。
在官方博客中,Meta表示,目前为止所有Llama版本的总下载量已超过3亿次。
除了此次模型发布外,扎克伯格同时在官网发布了长文《Open Source AI Is the Path Forward》,其中提到了开源的重要性,他认为开源对所有开发者、对Meta以及对世界都是好事。
扎克伯格以开源系统Linux战胜闭源系统 Unix为例,认为人工智能会以类似的方式发展。“有几家科技公司正在开发领先的封闭模型,但开源很快在缩小差距。”他提到,去年,Llama 2只能与旧一代模型相提并论。而今年,Llama 3 在一些领域具有竞争力,甚至在某些方面领先于最先进的模型。
扎克伯格认为,开源能促进创新、降低成本、提高安全性。对开发者来说,利用开源可以训练、微调和蒸馏自己的模型,每个组织都有不同的需求,最好使用不同尺寸的模型来满足这些需求,而这些模型是通过特定数据进行训练或微调的。
同时,开发者可以不被锁定在封闭供应商中,保护数据安全。“开源软件往往更安全,因为它的开发更加透明,可以被广泛审查。”扎克伯格认为。
扎克伯格同时提到,开源模型的成本更低且效率高,开发者可以在他们自己的基础设施上运行 Llama 3.1 405B 上的推理,成本大约是使用像 GPT-4o 这样的封闭模型的50%,适用于用户界面和离线推理任务。
“开源人工智能代表着世界最好的机会。”在扎克伯格看来,利用这项技术可以创造最大的经济机会和安全保障。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
-
知名做空机构香橼研究(Citron Research)周四(11月21日)在社交媒体平台X上发布消息称,该公司已决定做空“比特币大户”微策略(Microstrategy)这家公司,并认为该公司已经将自己变身成为一家比特币投资基金 ...
- caffycat
- 6 小时前
- 支持
- 反对
- 回复
- 收藏
-
每经AI快讯,11月20日,文远知行宣布旗下自动驾驶环卫车S6与无人扫路机S1分别在新加坡滨海湾海岸大道与滨海艺术中心正式投入运营。据介绍,这是新加坡首个商业化运营的自动驾驶环卫项目。 ...
- star8699
- 前天 19:48
- 支持
- 反对
- 回复
- 收藏
-
上证报中国证券网讯(记者王子霖)11月20日,斗鱼发布2024年第三季度未经审计的财务报告。本季度斗鱼依托丰富的游戏内容生态,充分发挥主播资源和新业务潜力,持续为用户提供高质量的直播内容及游戏服务,进一步 ...
- goodfriendboy
- 前天 20:09
- 支持
- 反对
- 回复
- 收藏
-
人民网北京11月22日电 (记者栗翘楚、任妍)2024广州车展,在新能源汽车占据“半壁江山”的同时,正加速向智能网联新能源汽车全面过渡,随着“端到端”成为新宠,智能驾驶解决方案成为本届广州车展各大车企竞 ...
- 3233340
- 半小时前
- 支持
- 反对
- 回复
- 收藏