4月16日、Create 2024百度AI開発者大会が深センで開催された。
大会期間中、百度グループ執行副総裁、百度スマートクラウド事業群総裁の沈震氏は新世代スマートコンピューティングオペレーティングシステム――万源を正式に発表し、AIネイティブ時代のスマートコンピューティングプラットフォームに対して抽象とパッケージ設計を行うことにより、ユーザーにクラウドネイティブシステムと異性コンピューティング力の複雑性を遮蔽し、AIネイティブ応用の開発効率と体験を向上させた。
沈振氏によると、大モデル技術の進化に伴い、自然言語によるプログラミングが現実になりつつあるという。プログラミングはプロセスやオブジェクト指向ではなく、ニーズ指向になります。プログラミングのプロセスは、開発者が希望を伝えるプロセスとなり、オペレーティングシステムに革命的な変化をもたらします。オペレーティングシステムのカーネルでは、ベースハードウェアはCPUの計算力を中心としたものからGPUの計算力を中心としたものに変わり、大きなモデルに圧縮された世界的な知識が新たに追加されました。オペレーティングシステム管理の対象は本質的に変化し、管理プロセス、管理マイクロサービスから、管理知能に進化した。
「伝統的なクラウドコンピューティングシステムは依然として重要であるが、もはや主役ではなく、新しいオペレーティングシステムが必要であり、新しいコンピューティングプラットフォーム、つまりインテリジェントコンピューティングに対して抽象とカプセル化をしっかりと行い、ヒューマン・インタラクションを再定義し、開発者により簡単で、よりスムーズな開発体験を提供する」と沈氏は述べた。
今回の大会では、百度スマートクラウドが新たに発売した「万源」スマートコンピューティングオペレーティングシステムは、「ブリッジ」コンピューティング力の効率と応用革新を目指している。具体的には、万源は主にKernel（コア）、Shell（シェル）、Toolkit（ツール）の3層から構成され、下地層は雲原生システムと異性計算力の複雑性を遮蔽し、上層部はAI原生応用の敏捷な開発に支持と保障を提供する。
まず、コア層では、計算力資源管理の面で、百度百舸・AI異種計算プラットフォームは大モデル訓練、推理などの任務に対して、智算クラスターの設計、スケジューリング、フォールトトレランスなどの一環に対して特定項目の最適化を行った。現在、百舸は万カードクラスタ上のモデル有効訓練時間の比率が98.8%を超え、線形加速比、帯域幅の有効性がそれぞれ95%に達し、計算力効率業界がリードしている。
また、百舸は昆倫コア、昇騰、海光DCU、英偉達、インテルなど国内外の主流AIチップと互換性があり、ユーザーが最小のコストで計算力の適応を完成することをサポートしている。モデル推論に比べて、「一雲多芯」はモデル訓練シーンにおいて極めて難関攻略の難題であり、主に2種類の細分化シーンを含む：1、智算クラスターには複数の訓練任務が存在し、単一メーカーチップは単一任務にしかサービスしない、2、独立したモデルトレーニングタスクごとに異なるメーカーチップを同時に使用する。これには、異なるメーカーのチップ計算力の均一な切り分け、チップ間通信効率の最適化などの問題を解決する必要があり、難易度は極めて高い。
紹介によると、百舸は現在、単一の訓練任務の下で異なるメーカーのチップの混合訓練を実現し、しかも百カード規模の性能損失は3%を超えず、千カード規模の性能損失は5%を超えず、業界をリードしている。ハードウェア間の差異を最大限に遮蔽し、ユーザーが単一チップの依存から抜け出し、より優れたコストを実現し、より弾力性のあるサプライチェーンシステムを構築するのを支援する。
万元カーネルのもう一つの重要な構成部分は大モデルである。大モデルは膨大な世界知識を効率的に圧縮し、自然言語の理解、生成、論理、記憶能力をカプセル化することができる。現在、万元カーネルには業界をリードするERNIE 4.0、ERNIE 3.5言語モデルと、ERNIE Speed/Lite/Tinyなどの軽量モデル、文心視覚大モデル、それぞれ特色のある第三者大モデルが含まれており、異なるビジネスシーンでのユーザーの多様なニーズを十分に満たしている。
コア層の上にシェル層があり、百度知能雲千帆ModelBuilderを通じてコア中のモデルの管理、スケジューリング、二次開発などの問題を解決し、モデル開発の複雑性を遮蔽し、より多くの人が少量のデータ、資源、精力を投入するだけで、自分の業務に適したモデルを迅速に精緻に調整できるようにする。同時に、実際の応用において、ModelBuidlerが提供するモデルルーティングサービスは、異なる難易度のタスクのために適切なパラメータ規模のモデルを自動的に選択し、バランス効果とコストの最適なモデルの組み合わせを提供することができる。モデル効果がほぼ横ばいの場合、モデルルーティングは平均30%も推論コストを削減すると試算されている。
シェル層の上には、千帆AppBuilderとAgentBuilderが共同でツール層を構成し、開発者に強力なAIネイティブアプリケーション開発能力を提供している。特にAppBuilderが提供するワークフロー編成機能は、開発者があらかじめ設定されたテンプレートとコンポーネントを使用して、簡単に自分のビジネスプロセスをカスタマイズすることをサポートし、また自分の特色あるコンポーネントを統合、拡張することができ、異なるノードで適切なモデルを選択し、柔軟な編成によってビジネスロジックを実現する。
AppBuilderでAIネイティブアプリケーションを開発する過程では、ModelBuilderで精調したモデルを直接呼び出すこともでき、開発過程全体を非常にスムーズで便利にすることができると紹介されている。アプリケーション開発が完了した後、百度検索、微信公衆番号などのプラットフォームにワンクリックで公開することができ、APIやSDKの方式を通じてユーザー自身のシステムに直接統合することもでき、本格的に極速開発、容易な上場を実現することができる。
沈震氏によると、万源は開放的なオペレーティングシステムとして、将来的にはさらに生態協力を開放し、アプリケーション開発者により多くの能力とインタフェースを提供する。企業の専用垂直業界オペレーティングシステムの構築を支援する、顧客固有のスマートコンピューティングセンターに万元を配置し、安定、安全、効率的なスマートコンピューティングプラットフォームサービスを提供する、より多くのベンダーの異種チップを搭載し、その最大の効果を発揮します。
沈氏は、現在の大モデル技術とAIネイティブ応用はクラウドサービスをAIを核心とする次世代知能計算オペレーティングシステムの方向に発展させているが、この傾向は技術発展の内在的な論理を反映しているだけでなく、市場需要の強力な推力を体現しており、AIによって駆動される新しい知能クラウド時代を切り開いていると考えている。