マイクロソフトがAI大モデルを自己研究していることが明らかになった:5000億個のパラメータがグーグルとOpenAIと競合
planewh
发表于 2024-5-7 14:42:56
4612
0
0
テクノロジー大手のマイクロソフトや、パラメータ5000億に達する新しいAI(人工知能)の大モデルを開発しており、グーグルやOpenAIを前面に打ち出している。
現地時間5月6日、外国メディアの報道によると、マイクロソフトはマイクロソフトがこれまで発表してきたオープンソースモデルの一部をはるかに上回る規模のMAI-1という最新のAIビッグモデルを開発しており、性能的にはグーグルのGemini 1.5、AnthropicのClaude 3、OpenAIのGPT-4などの有名なビッグモデルに匹敵するかもしれない。マイクロソフトまたは5月21日から開催されるBuild開発者大会でこの新モデルをデモする。
報道によると、MAI-1の開発は、元グーグルのAIリーダーでAIベンチャー企業のInflectionの最高経営責任者を務めたムスタファ・スレーマン(Mustafa Suleyman)がリードしている。今年3月には、Infectionへの最新の融資を受けたばかりで、マイクロソフトはInfectionからスレイマンを含む2人の共同創業者と一部の従業員を引き抜いた。ある関係者によると、マイクロソフトはこのためにInfectionに6億5000万ドル以上を支払ったという。
MAI-1はInflection傘下のモデルの技術の一部を参考にしている可能性があるが、マイクロソフトの従業員によると、MAI-1は新しい大言語モデルで、約5000億のパラメータを持ち、マイクロソフトがこれまで訓練してきたオープンソースモデルをはるかに上回っているという。1ヶ月前にマイクロソフトはPhi-3という小型AIモデルを発売したばかりで、その中でPhi-3 miniは携帯電話に配備できるように最適化され、38億パラメータを持ち、3.3兆tokenの訓練を経て、マイクロソフトはその性能がGPT-3.5などのモデルと同等だと主張した。
対照的に、MAI-1の規模ははるかに大きく、より多くの計算力の投入と訓練データも必要です。このモデルを訓練するために、Microsoftはすでに、OpenAIのGPT-4によって生成されたテキストやパブリックインターネットデータを含む、雄大なGPUを含むサーバクラスタを大量に構成し、さまざまなソースからトレーニングデータを収集している。これにより、MAI-1はOpenAIのGPT-4と似たレベルになり、後者は1兆を超えるパラメータを持っていると言われています。
PhiシリーズモデルとMAI-1の開発は、マイクロソフトがAI分野で二重戦略を取っていることを体現しており、モバイル機器のために小型ローカルモデルを開発しながら、クラウドによってサポートされるより大規模なモデルを開発している。しかし、マイクロソフト内部でもMAI-1の正確な用途は確認されていない。
さらに重要なことに、MAI-1は、マイクロソフトがAI分野でパートナーのOpenAIに完全に依存することを望んでいない技術を体現している。OpenAIからの技術は、Windowsに統合されたチャットロボットを含むマイクロソフトのさまざまな生成AI機能を駆動している。これまで、マイクロソフトのAIプラットフォームチームの従業員からは、同社のAI戦略はOpenAIとの協力関係に注目しすぎており、マイクロソフトのAIオリジナル研究に対する予算が減少しているとの苦情があった。
マイクロソフトのケビン・スコット最高技術責任者(Kevin Scott)は6日、領英に投稿し、MAI-1に関する報道に間接的に応えた。彼は、OpenAIはマイクロソフトが構築したスーパーコンピュータを使ってAIモデルを訓練しているが、マイクロソフトの研究部門と製品チームもAIモデルを構築していると述べた。
AIにおける突破を実現するために、マイクロソフトも積算力資源を買いだめしている。4月初め、マイクロソフトが今年末までに180万枚のAIチップを買いだめする計画を立てていると報じられた。これは、同社が2024年中に保有するGPUの数を2倍に増やしたいと考えていることを意味する。関係者によると、マイクロソフトは2024年度から2027年度(2027年6月30日まで)まで、GPUとデータセンターに約1000億ドルを費やす見通しだ。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- ウォルマートやサムの「前置倉」モデルをコピーして小さな店を開く
- DeepMindのオープンソース生体分子予測モデルノーベル賞の成果はAI製薬の波を巻き起こすのか?
- 百度李彦宏:過去24カ月、AI業界の最大の変化は大モデルが幻覚をほぼ解消したことだ
- 「AI新世代」の大モデルメーカーがスマートボディを“巻き”、李彦宏氏は「アイデアで稼げる時代が来る」と語る
- 李彦宏氏によると、大模型幻覚は実測文心をほぼ解消したという。
- The US' anti-monopoly leader 'seizes the final moments of her term to investigate Microsoft's cloud computing business
- FTC plans to investigate anti competitive behavior in Microsoft's cloud computing business
- 文心の一言でユーザー数が4億人を突破、百度呉甘:大モデルが産業知能エンジンを再構築中
- アリババの呉泳銘CEO:AIの発展には異なる規模、異なる分野のオープンソースの大モデルが必要だ
- 百度Q 3コアの純利益17%増予想を上回る文心大モデルの1日の調達量は15億元に
-
知名做空机构香橼研究(Citron Research)周四(11月21日)在社交媒体平台X上发布消息称,该公司已决定做空“比特币大户”微策略(Microstrategy)这家公司,并认为该公司已经将自己变身成为一家比特币投资基金 ...
- caffycat
- 昨天 11:18
- 支持
- 反对
- 回复
- 收藏
-
每经AI快讯,11月20日,文远知行宣布旗下自动驾驶环卫车S6与无人扫路机S1分别在新加坡滨海湾海岸大道与滨海艺术中心正式投入运营。据介绍,这是新加坡首个商业化运营的自动驾驶环卫项目。 ...
- star8699
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
上证报中国证券网讯(记者王子霖)11月20日,斗鱼发布2024年第三季度未经审计的财务报告。本季度斗鱼依托丰富的游戏内容生态,充分发挥主播资源和新业务潜力,持续为用户提供高质量的直播内容及游戏服务,进一步 ...
- goodfriendboy
- 3 天前
- 支持
- 反对
- 回复
- 收藏
-
人民网北京11月22日电 (记者栗翘楚、任妍)2024广州车展,在新能源汽车占据“半壁江山”的同时,正加速向智能网联新能源汽车全面过渡,随着“端到端”成为新宠,智能驾驶解决方案成为本届广州车展各大车企竞 ...
- 3233340
- 昨天 17:06
- 支持
- 反对
- 回复
- 收藏