マイクロソフトがAI大モデルを自己研究していることが明らかになった:5000億個のパラメータがグーグルとOpenAIと競合
planewh
发表于 2024-5-7 14:42:56
4583
0
0
テクノロジー大手のマイクロソフトや、パラメータ5000億に達する新しいAI(人工知能)の大モデルを開発しており、グーグルやOpenAIを前面に打ち出している。
現地時間5月6日、外国メディアの報道によると、マイクロソフトはマイクロソフトがこれまで発表してきたオープンソースモデルの一部をはるかに上回る規模のMAI-1という最新のAIビッグモデルを開発しており、性能的にはグーグルのGemini 1.5、AnthropicのClaude 3、OpenAIのGPT-4などの有名なビッグモデルに匹敵するかもしれない。マイクロソフトまたは5月21日から開催されるBuild開発者大会でこの新モデルをデモする。
報道によると、MAI-1の開発は、元グーグルのAIリーダーでAIベンチャー企業のInflectionの最高経営責任者を務めたムスタファ・スレーマン(Mustafa Suleyman)がリードしている。今年3月には、Infectionへの最新の融資を受けたばかりで、マイクロソフトはInfectionからスレイマンを含む2人の共同創業者と一部の従業員を引き抜いた。ある関係者によると、マイクロソフトはこのためにInfectionに6億5000万ドル以上を支払ったという。
MAI-1はInflection傘下のモデルの技術の一部を参考にしている可能性があるが、マイクロソフトの従業員によると、MAI-1は新しい大言語モデルで、約5000億のパラメータを持ち、マイクロソフトがこれまで訓練してきたオープンソースモデルをはるかに上回っているという。1ヶ月前にマイクロソフトはPhi-3という小型AIモデルを発売したばかりで、その中でPhi-3 miniは携帯電話に配備できるように最適化され、38億パラメータを持ち、3.3兆tokenの訓練を経て、マイクロソフトはその性能がGPT-3.5などのモデルと同等だと主張した。
対照的に、MAI-1の規模ははるかに大きく、より多くの計算力の投入と訓練データも必要です。このモデルを訓練するために、Microsoftはすでに、OpenAIのGPT-4によって生成されたテキストやパブリックインターネットデータを含む、雄大なGPUを含むサーバクラスタを大量に構成し、さまざまなソースからトレーニングデータを収集している。これにより、MAI-1はOpenAIのGPT-4と似たレベルになり、後者は1兆を超えるパラメータを持っていると言われています。
PhiシリーズモデルとMAI-1の開発は、マイクロソフトがAI分野で二重戦略を取っていることを体現しており、モバイル機器のために小型ローカルモデルを開発しながら、クラウドによってサポートされるより大規模なモデルを開発している。しかし、マイクロソフト内部でもMAI-1の正確な用途は確認されていない。
さらに重要なことに、MAI-1は、マイクロソフトがAI分野でパートナーのOpenAIに完全に依存することを望んでいない技術を体現している。OpenAIからの技術は、Windowsに統合されたチャットロボットを含むマイクロソフトのさまざまな生成AI機能を駆動している。これまで、マイクロソフトのAIプラットフォームチームの従業員からは、同社のAI戦略はOpenAIとの協力関係に注目しすぎており、マイクロソフトのAIオリジナル研究に対する予算が減少しているとの苦情があった。
マイクロソフトのケビン・スコット最高技術責任者(Kevin Scott)は6日、領英に投稿し、MAI-1に関する報道に間接的に応えた。彼は、OpenAIはマイクロソフトが構築したスーパーコンピュータを使ってAIモデルを訓練しているが、マイクロソフトの研究部門と製品チームもAIモデルを構築していると述べた。
AIにおける突破を実現するために、マイクロソフトも積算力資源を買いだめしている。4月初め、マイクロソフトが今年末までに180万枚のAIチップを買いだめする計画を立てていると報じられた。これは、同社が2024年中に保有するGPUの数を2倍に増やしたいと考えていることを意味する。関係者によると、マイクロソフトは2024年度から2027年度(2027年6月30日まで)まで、GPUとデータセンターに約1000億ドルを費やす見通しだ。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- The EU antitrust agency claims to be investigating the artificial intelligence transactions between Microsoft and OpenAI, Google and Samsung
- 文心の一言で1日の呼び出し回数が5億に達した大モデルメーカーの生態競争が白熱化
- Microsoft responded by closing all offline authorized stores in the Chinese market: it has decided to integrate channels in the Chinese Mainland market
- Close nationwide offline authorized stores? Microsoft: Integrate market channels in Chinese Mainland
- Close all offline authorized stores nationwide? Microsoft response: integrate channels in the Chinese Mainland market
- 百度李彦宏:応用されていない大きなモデルは一文の値打ちもない
- 2024世界人工知能大会|李彦宏:商業化された閉源モデルが最も打てる
- 李彦宏氏は暴言を吐く:応用されていない基礎モデルは開閉源にかかわらず一文の値打ちもない
- 百度、文心知能体プラットフォームを無料開放文心大モデル4.0を発表
- トヨタ自動車、型式認証事件の調査完了新たな違反例は発見されず
-
2024世界人工智能大会,“首次亮相”、“新品发布”成为很多厂商的重要布局。 7月4日,网易多款AI新品首次亮相世界人工智能大会,并发布首个机器人品牌“灵动”。网易灵动是网易伏羲基于自研工业大模型和A ...
- cristianna
- 昨天 15:04
- 支持
- 反对
- 回复
- 收藏
-
百度董事长兼CEO李彦宏还记得自己第一次来参加世界人工智能大会(WAIC)是在2022年,那一次大会的主题和元宇宙相关,主办方传话给他,希望他讲一讲元宇宙。他回:“我说我还是讲AI吧,我讲不了元宇宙”。当时, ...
- niemiao
- 前天 16:46
- 支持
- 反对
- 回复
- 收藏
-
北京少有的一个阴雨绵绵的早晨,灰色天空给理想纯电车生产基地蒙上一层不同寻常的寂静。这座维持了两个多月喧嚣的新汽车工厂放缓了生产节奏;工人们开始每周只上一天班;正在产线上试制下一款纯电车的理想研发员 ...
- cvpanjun
- 前天 15:46
- 支持
- 反对
- 回复
- 收藏
-
据报道,英伟达首席执行官黄仁勋(Jensen Huang)6月份减持了价值近1.69亿美元的该公司股票,这也是他单月减持最多的一次。市场对用于驱动人工智能(AI)的芯片的巨大需求推动英伟达股价再创新高。 美国证 ...
- moshulong
- 前天 10:52
- 支持
- 反对
- 回复
- 收藏