今日のニュースは、Meta、次世代AI「Llama 4」の内容について、お話ししようと思います。
出典：タイトル「Meta、次世代AI「Llama 4」シリーズ発表 – 業界最長コンテキスト対応と高性能マルチモーダルAIの全容」
Metaが最新の大規模言語モデル（LLM）ファミリー「Llama 4」を発表した。Llama 4は、ネイティブなマルチモーダル機能、効率的なMixture-of-Experts (MoE) アーキテクチャ、そして最大1000万トークンという驚異的なコンテキスト長を備え、「Maverick」「Scout」「Behemoth」の3モデルで構成されている。多くのベンチマークで競合他社を上回り、オープンソースAIの新時代を切り開く野心的な取り組みとなっている。
➡ https://xenospectrum.com/meta-announces-next-generation-ai-llama-4-series/
発表概要などについて、少し紹介しておきます。
発表概要:
- Metaは、次世代の大規模言語モデル（LLM）である「Llama 4」シリーズを発表しました。
- このシリーズは、業界最長レベルのコンテキストウィンドウへの対応と、高性能なマルチモーダルAI機能を持つことが特徴です。
- 「Llama 4」シリーズは、効率性と性能を高めるためのMixture-of-Experts (MoE) アーキテクチャを採用しています。
- 初期リリースとして、「Llama 4 Scout」と「Llama 4 Maverick」の2つのモデルが公開され、さらに大規模な「Llama 4 Behemoth」が開発中であることが発表されました。
主な特徴:
- ネイティブなマルチモーダル機能: テキスト、画像、動画を統合的に処理できるネイティブなマルチモーダルAIです。
- 業界最長のコンテキストウィンドウ: 特に「Llama 4 Scout」は1000万トークンという非常に長いコンテキストウィンドウを持ち、長文の理解や処理能力が向上しています。
- 高性能: 既存の「Llama 3」と比較して大幅に性能が向上しており、複数のベンチマークでOpenAIの「GPT-4o」やGoogleの「Gemini 2.0 Flash」といった競合モデルを凌駕する性能を示すとされています。
- 効率的なMoEアーキテクチャ: モデル内の複数の「専門家」ネットワークを使い分けることで、計算効率を高め、より少ないリソースで高性能を実現します。
- 多様な言語への対応: 200以上の言語で事前学習されており、多言語対応能力が向上しています。
オープンソース: 研究および商用利用を目的として、モデルのウェイトが公開される予定です（ライセンス条件あり）。
各モデルの概要:
- Llama 4 Scout: 170億のアクティブパラメータを持ち、16の専門家で構成されています。1000万トークンのコンテキストウィンドウを持ち、単一のGPUでの動作に適しています。ドキュメントの要約やコードベースの理解などに強みがあります。
- Llama 4 Maverick: 同じく170億のアクティブパラメータを持ちますが、128の専門家で構成されています。より汎用的なモデルで、チャット、推論、画像理解、創造的な文章生成など、幅広いタスクに対応できます。「GPT-4o」や「Gemini 2.0 Flash」よりも優れた性能を示すとされています。
- Llama 4 Behemoth: 約2兆のパラメータを持つ非常に大規模なモデルで、現時点ではまだトレーニング中です。「GPT-4.5」や「Claude Sonnet 3.7」、「Gemini 2.0 Pro」といった最先端モデルを上回る性能を目指しており、「Scout」と「Maverick」の教師モデルとしての役割も担います。
利用方法:
- 「Llama 4 Scout」と「Llama 4 Maverick」は、Metaの公式サイトやHugging Faceを通じてダウンロード可能です（利用規約への同意が必要）。
- Meta AIアシスタントにも搭載され、WhatsApp、Instagram、MessengerなどのMetaの各種サービスで利用可能になる予定です。
- 主要なクラウドプラットフォームやデータプラットフォームでも提供される予定です。
この発表は、オープンソースAIの分野において大きな進歩であり、今後のAI技術の発展に大きな影響を与える可能性があります。少々長くなってしまいましたが、以上です。誤った情報が無い様、気を付けていますが、見つかったら🙇。
|
