現地時間4月18日、AI分野では重ポンドを迎え、Metaは待ちに待ったオープンソースの大モデルLlama 3を正式に発表した。
一方、Metaのザッカーバーグ最高経営責任者は、最新のLlama 3モデルに基づいて、MetaのAIアシスタントは現在、インスタグラム、WhatsApp、Facebookなどの全系アプリケーションをカバーし、単独でサイトをオープンしていると発表した。また、自然言語の提示語に基づいて画像を生成する画像生成器もあります。
Metaのマーク・ザッカーバーグ最高経営責任者は、質問に答えたり、動画を作ったり、画像を生成したりすることができると動画で述べている。
ザッカーバーグがFacebookに投稿：Big AI news today
Metaのマーク・ザッカーバーグ最高経営責任者は動画の中で、Meta AIは今、あなたが自由に使える最もスマートな人工知能アシスタントだと信じています。Meta AIはWhatsApp、Instagram、Facebook、Messengerアプリケーションの検索ボックスに内蔵されているため、ユーザーは新しいツールで回答できる質問を簡単にすることができます。
ザッカーバーグ氏によると、Metaが提供する生成型AI能力は無料製品の中で最も強力な性能を持っているという。
Facebook、Instagram、WhatsApp、Messengerでは、アプリケーションを切り替えることなくMeta AIを使用して検索できるようになりました。
情報フローを閲覧する際には、投稿からMeta AIに直接詳細を問い合わせることもできます。
画像生成器がもたらす遊び方はより面白く、Imagine機能はテキストからリアルタイムで画像を作成することをもたらします。この機能のテスト版は、今日から米国のWhatsAppとMeta AIネットワーク体験で発売されます。
タイピングを開始すると、いくつかの文字を入力するたびに画像が変化する画像が表示されます。
Metaによると、Llama 3は複数の重要なベンチマークテストの中で業界の先進的な同類モデルよりも性能が優れており、コード生成などのタスクで全面的にリードしており、複雑な推論を行うことができ、より命令に従うことができ、アイデアを可視化し、多くの微妙な問題を解決することができるという。
Llama 3の主なハイライトは次のとおりです。
15 Tトークンを超えるトレーニングに基づいて、Llama 2データセットの7倍以上に相当し、
8 K長テキストをサポートし、改善されたtokenizerは128 K tokenの語彙量を持ち、より良い性能を実現することができる、
多くの重要な基準の中で最も先進的な性能を持っている、
拡張された推論とコード能力を含む新しい能力カテゴリー、
訓練効率はLlama 2より3倍高い、
Llama Guard 2、Code Shield、CyberSec Eval 2を搭載した新しい信頼性とセキュリティツール。
リリースされたばかりの8 Bおよび70 BバージョンのLlama 3モデルは、Meta AIアシスタントに使用されているとともに、事前トレーニングや微調整バージョンを含む開発者向けにオープンソースされています。
最新発表された8 Bと70 BのパラメータのLlama 3モデルはLlama 2の大きな飛躍と言える。プリトレーニングとポストトレーニング（Post-training）の改善により、今回発表されたプリトレーニングと命令微調整モデルは現在の8 Bと70 Bのパラメータ規模の中で最適なモデルである。同時に、ポストトレーニングプロセスの改善はモデルエラー率を大幅に低下させ、整合性をさらに改善し、モデル応答の多様性を増加させた。
Llama 3は、データと規模を新たな高さに引き上げます。Metaによると、Llama 3は2つのカスタマイズされた24 K GPUクラスタ上で、15 Tトークンを超えるデータに基づいてトレーニングを行った--Llama 2データセットの7倍以上に相当し、コードデータはLlama 2の4倍に相当する。これにより、これまでで最も強力なLlamaモデルが生成され、Llama 3はLlama 2の容量の2倍の8 Kコンテキスト長をサポートしている。
また、Metaは新しい高品質人間評価データセットを開発しました。この評価セットには1800のヒントが含まれており、12の重要な用例が含まれています。アドバイス、頭脳嵐、分類、クローズドクイズ、コーディング、クリエイティブライティング、抽出、役作り、オープンクイズ、推理、書き換え、まとめ。この評価セットにLlama 3が過度にフィットしないようにするために、Metaは自分のチームもこのデータセットにアクセスできないことを示しています。次の図は、Claude Sonnet、Mistral Medium、GPT-3.5に対するこれらのカテゴリとヒントの手動評価の要約結果を示しています。
下図は、Llama 3プリトレーニングモデルと他の同等規模モデルとの比較であり、前者はSOTAレベルを示している。
最高の言語モデルを訓練するためには、大規模で高品質な訓練データセットを管理することが重要です。Metaは、事前トレーニングデータに多大なコストを投入しています。Llama 3は15 Tを超えるtokenを用いて予備訓練を行い、これらのtokenは公開ソースから収集された。全体的に、Llama 3のトレーニングデータセットは、Llama 2が使用するデータセットの7倍以上であり、4倍以上のコードを含む。来るべき多言語ユースケースに備えて、5%を超えるLlama 3プリトレーニングデータセットは、30以上の言語をカバーする高品質の非英語データで構成されています。しかし、これらの言語におけるLlama 3の性能レベルは英語と同じではないと予想されている。
Llama 3が最高品質データの訓練を受けることを確保するために、研究チームは一連のデータフィルタpipelineを開発し、ヒューリスティックフィルタ（filter）、NSFWフィルタ、セマンティック重複データ削除方法とテキスト分類器を用いてデータ品質を予測することを含む。
研究チームは、前世代のLlamaが高品質データを識別するのに非常に優れていることを発見したため、MetaはLlama 2を使用してLlama 3をサポートするテキスト品質分類器のために訓練データを生成した。
研究チームはまた、最終的な事前訓練データセットにおける異なるソースデータの最適な混合方式を評価するための広範な実験を行い、最終的にLlama 3が日常問題、STEM、符号化、歴史知識などを含むさまざまなユースケースで良好に表現されることを確保した。
Metaによると、最大のLlama 3パラメータは400 Bを超えており、これらのモデルはまだ訓練中だが、次の数ヶ月でも順次発表される予定で、新機能にはマルチモーダル、多言語対話能力、より長いコンテキストウィンドウ、より強い全体的な能力が含まれている。
MetaはLlama 3がOpenAIのGPT-4に追いつくことを望んでいる。しかし、関係者によると、研究者はLlama 3の微調整を開始していないため、Llama 3がマルチモーダルモデルであるかどうかは決定していないという。トリミングは、開発者が既存のモデルに追加のデータを提供するプロセスであり、新しい情報やタスクを学習できるようにします。大きなモデルは通常より質の高い応答を提供しますが、小さなモデルはより迅速に応答を提供することがよくあります。正式版のLlama 3が今年7月に発売されるとの情報がある。
Metaはまた、Alphabetのグーグルと新たなパートナーシップを構築し、アシスタントの回答にリアルタイム検索結果を含めることを発表し、マイクロソフトとの既存のパートナーシップの補完としている。今回の更新に伴い、Meta AIアシスタントはオーストラリア、カナダ、シンガポール、ナイジェリア、パキスタンなど、米国以外の10以上の市場に拡大している。コックス氏によると、Metaは「欧州でこれを正しく行うために努力している」という。欧州のプライバシー規定はさらに厳しく、間もなく公布される人工知能法案もモデル訓練データの開示などの要求を提出する準備ができている。
