Metaは現地時間4月18日、8 Bと70 Bの事前訓練と命令微調整バージョンを提供する最新オープンソースモデルLlama 3を発表した。これはこれまで最も先進的なオープンソースモデルであり、OpenAIを含む大モデル会社に対して強力な競争を形成し、オープンソースモデルに依存する多くの人工知能会社に利益をもたらすことができる。
大皿小下落の場合、Meta株価は1.54%上昇した。
Metaの公式紹介によると、Llama 3は2つのカスタマイズされた24 K GPUクラスタ上で15 Tを超えるデータに基づいて訓練を行った。これはLlama 2が使用するデータの7倍、4倍のコードであり、Llama 3はLlama 2の容量の2倍の8 Kコンテキスト長をサポートしている。
Meta公式
また、MetaはLlama 3の2つのバージョンとGoogle Gemma、Google Gemini、Mistral、AnthropicのClaude 3などの競合他社のパラメータを比較したものをリリースしています。
ユーザーにとっても、Meta自身がリリースしたMeta AIでLlama 3を感じることができる。MetaのザッカーバーグCEOによると、Meta AIはMeta傘下の各大手製品WhatsApp、Instagram、Facebook、Messengerの上部にある検索ボックスに統合され、より使いやすいサイトmeta.aiを構築する。
Meta首席科学者のYann LeCun氏によると、今後数カ月間、Llamaはさらに多くのバージョンをリリースし続け、Llama 3の研究論文もすぐにリリースされるという。英偉達の高級科学者ジム・ファン氏は、今後発表される可能性があるLlama 3-400 B以上のバージョンが何らかの「分水嶺」になり、オープンソースコミュニティがGPT-4レベルのモデルを使用できるようになると考えている。
注目すべきは、Llama 3の発売はこれまでのバージョンのようにオープンソースコミュニティのセンセーションを引き起こしたが、今週初めに百度の創業者李彦宏氏はオープンソースモデルがますます遅れていると公言した。
李彦宏氏によると、開発者が百度の文心4.0降維を通じて裁断したより小さいサイズのモデルは、直接オープンソースモデルを持って調整したモデルよりも、同じサイズで効果が明らかに良い、同等の効果で、コストは明らかに低い。「皆さんは以前オープンソースを使ってオープンソースが安いと思っていましたが、実は大きなモデルのシーンではオープンソースが一番高いです。だからオープンソースモデルはますます遅れていきます」