微软被曝正自研AI大模型:5000亿个参数 与谷歌和OpenAI竞争
MPA
发表于 2024-5-7 14:42:52
156
0
0
当地时间5月6日,据外媒报道,微软正在研发一款名为MAI-1的最新AI大模型,其规模远超出微软此前推出的一些开源模型,在性能上或能与谷歌的Gemini 1.5、Anthropic的Claude 3和OpenAI的GPT-4等知名大模型相匹敌。微软或将在5月21日开始举办的Build开发者大会上演示这款新模型。
据报道,MAI-1的开发由前谷歌AI领导人、曾担任AI初创公司Inflection首席执行官的穆斯塔法·苏莱曼(Mustafa Suleyman)领导。就在今年3月,刚刚领投完Infection的最新一轮融资,微软便从Infection挖走了包括苏莱曼在内的两位联合创始人以及部分员工。有知情人士透露,微软为此向Infection支付了超过6.5亿美元。
尽管MAI-1可能借鉴了Inflection旗下模型的部分技术,有微软员工表示,MAI-1是一款全新的大语言模型,拥有约5000亿个参数,远超微软此前训练的任何开源模型。不到一个月前,微软刚推出了一款名为Phi-3的小型AI模型,其中Phi-3 mini被优化至可部署在手机上,拥有38亿参数,经过3.3万亿token的训练,微软称其性能与GPT-3.5等模型相当。
相比之下,MAI-1的规模要大得多,也需要更多的算力投入和训练数据。为了训练该模型,微软已经配置了大量包含英伟达GPU的服务器集群,并从各类来源收集训练数据,包括由OpenAI的GPT-4生成的文本和公共互联网数据。这或将使MAI-1与OpenAI的GPT-4处于相似的水平,据传后者拥有超过1万亿个参数。
Phi系列模型和MAI-1的研发体现出微软或在AI领域采取了双重策略,一边为移动设备开发小型本地模型,一边开发由云端支持的更大规模的模型。不过,即使在微软内部,MAI-1的确切用途也尚未得到确认。
更重要的是,MAI-1体现出微软并不希望在AI领域完全依附于合作伙伴OpenAI的技术。来自OpenAI的技术正在驱动微软的各类生成式AI功能,包括集成在Windows中的聊天机器人。此前,有来自微软AI平台团队的员工抱怨称,公司的AI战略过于关注与OpenAI的合作关系,使得微软对AI原创研究的预算减少。
6日当天,微软首席技术官凯文·斯科特(Kevin Scott)在领英上发帖,间接回应了关于MAI-1的报道。他表示,OpenAI使用微软构建的超级计算机来训练AI模型,而微软的研究部门和产品团队也在构建AI模型:“AI模型几乎出现在我们的每一项产品、服务和运营流程中,制作和运营它们的团队有时需要做一些自定义工作,无论是从头开始训练一个模型,还是微调别人构建的模型。未来将会有更多这样的情况,其中一些模型的名字包括图灵(Turing)和MAI。”
为了实现在AI方面的突破,微软也在大力囤积算力资源。4月初,有报道称微软计划到今年年底前囤积180万块AI芯片,意味着公司希望在2024年内将所持有的GPU数量增加两倍。据知情人士透露,从2024财年到2027财年(到2027年6月30日结束),微软预计将在GPU和数据中心上花费约1000亿美元。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 百度沈抖:面向10万卡算力集群升级计算平台能力 文心大模型日调用量超7亿次
- 微软未来三年将在墨西哥投资 13 亿美元 加强当地 AI 基础设施建设
- Meta发布重磅新品:299美元的Quest 3S头显、AR眼镜原型、多模态AI模型
- 百度世界2024宣布定档11月12日 文心大模型日调用量已超7亿
- 百度世界2024将于11月12日召开 文心大模型日均调用量已超7亿次
- 业界共话大模型应用创新实践——2024百度云智大会大模型应用产品论坛举行
- 德国将加码对微软反垄断监管
- 对话|百度李涛:汽车智能化和大模型浪潮重叠是历史必然
- 微软据悉在OpenAI最新一轮融资中投资约7.5亿美元
- Meta炸场!发布类Sora视频生成模型,股价再创新高
-
据美国CNBC网站报道,当地时间10月3日,美国特斯拉公司表示,由于后视摄像头图像延迟,可能会影响驾驶员视野,增加撞车风险,公司将在全美范围内召回超过2.7万辆电动皮卡。 报道称,这是该公司对电动皮卡 ...
- hk1990
- 前天 10:21
- 支持
- 反对
- 回复
- 收藏
-
蔚来汽车发布《蔚来能源9月加电报告》,截至9月30日,蔚来在全国建设换电站2556座。其中高速公路换电站859座,累计为用户提供换电服务超5410万次,提供电池灵活升级服务295366次。截至9月30日,蔚来布局充电站40 ...
- 1234ljx
- 昨天 19:01
- 支持
- 反对
- 回复
- 收藏
-
【规模创造历史:特斯拉召回超2.7万辆电动皮卡】特斯拉公司宣布,由于后视摄像头图像存在延迟问题,可能对驾驶员视野造成影响并增加碰撞风险,因此将在全美范围内召回超过2.7万辆Cybertruck。报道称,这是该公司迄今 ...
- 事业为上
- 前天 09:47
- 支持
- 反对
- 回复
- 收藏
-
北京商报讯(记者刘晓梦)10月5日,蔚来宣布已与CYVN签署战略合作协议,将在阿联酋阿布扎比建立技术研发中心。此外,蔚来与CYVN还将联合研发一款针对当地市场的全新车型。 同时,蔚来还宣布,将正式在中东 ...
- 禹阳之子
- 昨天 16:11
- 支持
- 反对
- 回复
- 收藏