百度沈震:10万カード計算力クラスターアップグレード計算プラットフォーム能力文心大モデルの日調整量が7億回を超える
bent112
发表于 2024-9-26 13:34:24
4058
0
0
大きなモデルのパラメータ規模がますます大きくなるにつれて、計算力に対する需要は指数的な増加傾向を示している。9月25日に開催された2024百度雲智大会で、百度グループ執行副総裁、百度スマートクラウド事業群総裁の沈震氏は、大モデル分野の有名な法則Scaling Law(スケール法則)は続いていると述べた。この法則は、モデルの性能はパラメータ、計算力、データセットの規模が増加するにつれて向上し、「すぐに、10万カード計算力クラスターがさらに発生する」と指摘した。
沈震の観察によると、この1年間、顧客のモデル訓練の需要が急増していることを感じている。彼は、「2024年の大モデルの産業着地は加速しており、現在、千帆大モデルプラットフォームでは、文心大モデルの1日平均使用量は7億回を超え、累計3万個の大モデルを精調し、70万以上の企業レベルの応用を開始するのを支援している」と紹介した。
大モデル訓練の需要が増加していることは、必要な計算力クラスターの規模がますます大きくなることを意味し、同時に、モデル推論コストの持続的な低下に対する期待も高まっている。沈振氏によると、これらはすべてGPU管理の安定性と有効性に対してより高い要求を提出した。9月25日、百度はAI異種コンピューティングプラットフォーム百舸4.0をアップグレードし、10万カードクラスタの配置と管理能力を備えた。
沈振氏によると、GPU計算力クラスターには3つの特徴がある。極致規模、極致高密、極致相互接続、1つの万カードクラスターを構築し、GPUの購入コストだけで数十億元に達する。沈振氏は、計算力資源を構築するには、簡単にGPUを買ってきて、GPUを接続すればいいのではなく、多くの技術が必要だと強調した。GPUは大量の並列計算を実行する必要がある、データの転送量が大きくなり、速度に対する要求が高くなる」と紹介した。そのため、100ビルトインコンピューティングプラットフォームは異種チップ、高速相互接続、高効率ストレージをサポートする必要がある。
沈振氏も、10万カードを管理するクラスターと万カードクラスターを管理するにも本質が異なると述べた。まず、物理面では、10万カード規模のクラスターを配置し、約10万平方メートルの空間を占め、14の標準サッカー場の面積に相当し、次に、エネルギー消費の面では、これらのサーバーは1日に約300万キロワット時の電力を消費し、北京市東城区の1日の住民電力量に相当する。10万カードクラスタの空間とエネルギーに対する巨大な需要は、伝統的な機械室の配置方式が積載できる範疇をはるかに超えており、地域を越えて機械室を配置することを考慮すると、またネットワーク面で大きな挑戦をもたらしている。また、10万カードクラスタにおけるGPU障害は非常に頻繁に発生し、有効なトレーニング時間の長さの占有も新たな挑戦を迎えるだろう。
沈振氏によると、これらの難題に対して、百舸4.0はすでに10万カードレベルの超大規模無輻輳HPN高性能ネットワーク、10 msレベルの超高精度ネットワーク監視、および10万カードクラスタ向けの分レベル障害回復能力を構築している。「百舸4.0はまさに10万カードの大規模クラスターを配備するために設計されたものです。今日の百舸4.0は、すでに成熟した10万カードクラスターの配備と管理能力を備えており、これらの新たな挑戦を突破し、産業全体に持続的にリードするコンピューティングプラットフォームを提供することです」と沈震氏は言う。
百度だけでなく、ますます多くの科学技術大手がAI大モデルの需要に正面から向き合い、自身の計算力インフラ能力を向上させている。マースク氏は9月初め、傘下のAIベンチャー企業xAIが作成したスーパーAI訓練クラスターColossusが正式にオンライン化されたと発表した。合わせて10万枚の雄大なH 100 GPU加速カードを搭載しているが、今後数カ月でさらに10万枚のGPUを倍増させる。9月19日の2024年雲栖大会で、阿里雲氏も、GPUを主とするAI計算力は未来の計算パラダイムの主導であり、阿里雲はチップ、サーバー、ネットワーク、ストレージから放熱、電力供給、データセンターなどの面から、未来に向けたAIインフラをアップグレードしていると述べた。
CandyLake.com 系信息发布平台,仅提供信息存储空间服务。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
声明:该文观点仅代表作者本人,本文不代表CandyLake.com立场,且不构成建议,请谨慎对待。
猜你喜欢
- 香港株アップル産業チェーンが急騰!iPhone 16 Proモデルの需要は依然として堅調ですが、将来の販売台数はどうでしょうか。
- マースク・Cybercabのリリースが間近!国内の多くの大手企業がRobotaxi中国モデルを模索している
- ウォルマートやサムの「前置倉」モデルをコピーして小さな店を開く
- DeepMindのオープンソース生体分子予測モデルノーベル賞の成果はAI製薬の波を巻き起こすのか?
- 百度李彦宏:過去24カ月、AI業界の最大の変化は大モデルが幻覚をほぼ解消したことだ
- 「AI新世代」の大モデルメーカーがスマートボディを“巻き”、李彦宏氏は「アイデアで稼げる時代が来る」と語る
- 李彦宏氏によると、大模型幻覚は実測文心をほぼ解消したという。
- 文心の一言でユーザー数が4億人を突破、百度呉甘:大モデルが産業知能エンジンを再構築中
- アリババの呉泳銘CEO:AIの発展には異なる規模、異なる分野のオープンソースの大モデルが必要だ
- 百度Q 3コアの純利益17%増予想を上回る文心大モデルの1日の調達量は15億元に
-
美东时间周五,美股三大指数集体收涨,截止收盘,道指涨0.97%,本周累涨1.96%;纳指涨0.16%,本周累涨1.73%;标普500指数涨0.35%,本周累涨1.68%。 大型科技股涨跌不一,特斯拉涨近4%,微软涨1%,苹果、奈飞 ...
- budingmm
- 前天 10:41
- 支持
- 反对
- 回复
- 收藏
-
新华财经上海11月23日电默沙东与中国癌症基金会23日签署中国低卫生资源地区宫颈癌综合防控项目捐赠协议,将聚焦加速消除宫颈癌这一目标,计划在未来两年由默沙东向中国癌症基金会捐赠共计8.1万支HPV疫苗。 ...
- 逸风宝宝
- 前天 18:00
- 支持
- 反对
- 回复
- 收藏
-
11月21日晚,路特斯(LOT.US)公布2024年第三季度财报。1—9月,路特斯总交付量共有7617辆,同比增长136%。此外,公司前九个月总收入为6.53亿美元,同比增长翻番。 具体来看,路特斯全球各主要市场交付比例 ...
- 接通无语语sw
- 前天 09:51
- 支持
- 反对
- 回复
- 收藏
-
11月23日,香港科技大学举行荣誉博士学位颁授典礼及博士毕业典礼,其中向英伟达创始人兼CEO黄仁勋颁授工程学荣誉博士,称赞其带领英伟达在加速运算领域取得杰出成果,研发的GPU重新定义电脑视觉体验并为人工智能 ...
- 寒武季节俨
- 前天 17:12
- 支持
- 反对
- 回复
- 收藏