米科学技術大手グーグルは大言語モデル分野でOpenAIやMetaへの攻撃を続けている。
グーグルは2月21日夜、次世代の無料商用大言語モデルGemmaを世界で公開したと発表した。このモデルはGoogle自身の「最先端のオープンモデル」と見なされている。
これは同社がオープンAIの大モデル分野で行った大きな動きだ。Google DeepMind製品管理ディレクターのTris Warkentin氏によると、オープンモデルはグーグルにとって新たな機会であり、コミュニティやグーグル以外の人と協力してAI研究開発に新たな機会を創出できるようにする。
Gemmaはラテン語の「宝石」と名付けられ、テキスト情報の処理にのみ使用され、そのインフラストラクチャはグーグル最強のAIモデルGeminiと一致しているが、パラメータ規模は小さく、20億パラメータと70億パラメータの2つの規模のバージョンしかなく、2つのパラメータ規模のGemmaモデルには予備訓練と命令微調整バージョンがある。
小さなパラメータサイズは、Gemmaのより広範な導入に役立ちます。グーグルによると、Gemmaは主流のAIフレームワークをサポートしており、ノートパソコン、デスクトップ、モノのインターネット、モバイル機器、クラウドなどの環境でも動作するという。
同社が発表した評価結果によると、Gemmaは数学、コーディング、推論精通性、知識試験など多くの外部ベンチマーク試験でLlama 2モデルより優れている。Llama 2はMetaが発表した最新世代のオープンソース大モデルで、70億、130億、700億のパラメータを含むモデル。
注目すべきは、グーグルが「オープンソース」ではなくGemmaをオープンモデルとして強調していることだ。これは、グーグルがGemmaのソースコード、トレーニングデータなど、Gemmaの多くの技術的詳細を共有しているわけではないことを意味している。アプリケーションでは、Googleは利用規約により、すべての組織が責任を持って商用および配布を行うことができると主張しています。
Gemmaを開放するか、オープンソースの大モデル分野で批判されている部分的な対応について。これまでグーグルとOpenAIは技術閉鎖を堅持したことで外部から批判されてきたが、両者とも最新、最先端のモデルでは閉源を選択しており、技術進歩に不利とされてきた。
これについて、新浪微博新技術研究開発責任者の張俊林氏は、Gemmaはグーグルの大モデル戦略の転換を代表して、オープンソースとクローズソースを両立し、オープンソースは最も高性能な小規模モデルを主力とし、MetaとMistral（欧州AI会社、Mistral 7 BオープンソースAIモデルを発売）に打ち勝ちたいと評価した。クローズドソースは規模の大きい最も効果の高い大きなモデルを主力としており、できるだけ早くOpenAIに追いつきたいと考えている。
AIコミュニティでは、現在MetaのLlama 2は最も強力なオープンソース大モデルの1つであり、このモデル情報とソースコードは無料商用をサポートしているため、大量のAI開発者の支持を得ている。
グーグルは明らかにGemmaを利用してより多くの開発者をグーグルのクラウド生態系に誘致したいと考えている。一方、Gemmaはグーグルの自己研究クラウドAIチップTPUに対して最適化を行い、より良い効果を発揮できると主張した。同時に、グーグルクラウドの新規ユーザーはGemmaを研究するために300ドルのクラウドポイントを獲得する。
また、Gemmaはクラウドデータセンター、PC側でのモデルの推論性能を加速させるために、雄大なチップ上で動作することができ、双方が協力して最適化を行うことができます。例えば、GPUを搭載したAI PCにGemmaを使用して、ローカルチャットロボットソフトウェアを駆動し、GPUを搭載した複数のAIツールと統合する。
OpenAI、グーグル、Metaなどの大手科学技術会社の大モデルの戦いはますます激しくなっている。
グーグルは2023年3月にAI対話ロボットBardを発売し、昨年5月には最新のクローズドソース大言語モデルPaLM 2を発売した。先週、同社は「次世代AIビッグモデル」のGemini 1.5を発表し、OpenAIのGPT-4 Turboを多くの面で超えたと述べた。Metaはモデルのオープンソースに熱中し、傘下のLlama 2が最も知られている。
最近、OpenAIが文生ビデオモデルSoraを発表して再びAI圏を爆発させ、他の大手モデル会社との距離をさらに広げた。グーグルが最終的にOpenAIを追い抜くには、多くの不確実性が充満するだろう。