- メタ、AIツール競争に参加
- Llama 3モデルの概要
- LLama 3の性能向上と今後の展望
人工知能(AI)開発のレースが熾烈を極める中、メタが新たなAIアシスタント「Meta AI」を発表しました。同社はFacebookやInstagram、WhatsAppの親会社で、既存のテクノロジー資産の検索バーにこのAIを統合した他、専用のウェブサイトを通じて利用可能としました。Llama 3は大規模な言語モデルで、8千億および70千億パラメーターサイズが提供されます。これは、24,576基のNVIDIA Tensor Core H100 GPUを搭載した2つのデータセンター規模のクラスターで訓練されたもので、従来の15,000基のNVIDIA A100 GPUを含むクラスターより大幅に改善されています。
新モデルの特色としては、より効率的な言語エンコードを目指した128,000トークンの語彙を持つトークナイザーや、グループ化されたクエリアテンション(GQA)を採用しました。Llama 3は15兆トークン以上で事前訓練され、公開されているデータから非英語データも含む多言語利用に向けた準備がされています。データ品質の確保に関しては、ハイレベルなデータフィルタリングパイプラインが開発されました。メタは今後数ヶ月で新機能をリリースすることを見込んでおり、4000億パラメーターモデルの訓練に取り組んでいるとしています。
えっと、このLlama 3ってやつ、すごいんか？ 何ができるの？
あと、そもそもトークンってなんや？
メタが新しいAIを作ったんだよ。すごく多くの情報を学習できるから、色々な言葉を理解しやすいの。トークンは、言葉をパソコンが処理しやすいように小さく分けたものだよ。
メタがすごい新しいAI、名前はLlama 3を発表したね。
こいつはものすごいデータ量を扱えて、世界中の言葉もしっかり理解できる強さがあるんだ。
ユータ、トークンってのは、言葉をAIが学べるように小分けにしたものさ。
Llama 3はその分けたトークンが15兆個以上もあって、それで学習している。
さらに、8千億から70千億のパラメーターを使ってるのは、簡単に言えば、AIが考えることができる範囲がすごく広いってこと。
しかもメタは、もっと賢いAIを作るために、今度4000億パラメーターの訓練に取り組んでいるんだよ。
ええ、アヤカ、トークナイザーに128,000トークンってのも重要な点だね。
それと「グループ化されたクエリアテンション」は、簡単に言えばAIが質問にもっとうまく答えられるような技術だよ。
データ品質のためのフィルタリングパイプラインもしっかり作って、もうすぐ新機能も出るってわけ。
だから、このLlama 3はただのAIじゃなくて、これからのAIの進化にとって大きな一歩なんだよ。