- Thunderのリリース
- PyTorch向けソース・コンパイラ
- 多GPU上での効率化
Lightning AI社は、PyTorch向けの新たなソース・コンパイラ「Thunder」を発表しました。複数のGPUを使用して、最新の生成AIモデルを高効率でトレーニングし、提供することを目指します。NVIDIAとの共同研究を通して2年間の研究の末に生み出されました。
大規模言語モデル（LLM）のトレーニングには膨大なリソースが必要であり、コストは数十億ドルに達することがあります。Thunderは、このような高性能な最適化やプロファイリングツールを持たない開発者がコストを削減するためです。
発表によると、Thunderは従来の未最適化コードに比べてLLMトレーニングの速度を向上させるとされています。トレーニング時間の節約とコスト削減を助けると述べています。
2022年、Lightning AIはPyTorch開発者の知識あるチームを招集し、トレーニングシステムの次世代の開発に取り組んできました。Thunderは、複数のエグゼキュータを同時に利用することを可能にする設計です。NVIDIAの最良のエグゼキュータを統合して進められています。
ThunderチームはPyTorchの初期開発やTorchScriptへの貢献、モバイルデバイスへのPyTorch導入で知られるDr. Thomas Viehmannが率いています。Will FalconCEOは、AIをオープンソース化し、よりアクセスしやすくするためThunderの開発をリードしていることに興奮を隠せない様子です。
現在、Open AI、Meta AI、NVIDIA、Lightning AIのトップチームのみがThunderを使用してAIワークロードを加速できますが、Thunderによりオープンソースコミュニティもこれらの専門プログラマーが見つけた極めて具体的な最適化にアクセスできるようになります。
ThunderはApache 2.0ライセンス下でリリースされ、制約はありません。Lightning Studiosは、トップレベルのThunderサポートとネイティブのプロファイリングツールを提供し、開発者や研究者がGPUのメモリと性能の制限を特定するのを容易にします。
詳細はLightning AIの公式ウェブサイト（https://lightning.ai）で確認できます。
おーい、これって何かめっちゃ早くなるやつなん？どうしてそんなにスゴいの？
ええ、この「Thunder」というのは、大規模な言語モデルを訓練するときにかかるコストと時間を大幅に削減できるツールなの。複数のGPUを上手に使って、早くて効率的なトレーニングができるように設計されているんだよ。だからすごいんだって。
ユータ、アヤカ、ちょっと注目してほしいニュースがあるんだよ。
実はLightning AI社が「Thunder」という新しいソースコンパイラを出したんだ。
これがね、大規模なAIモデル、特に言語モデルを学習させるのにめちゃくちゃ役立つんだ。
従来の方法よりずっと速くて、開発者のコストもかなり下げられるんだって。
アヤカが言うように、複数のGPUを使ってパワーを最大限に引き出す設計がされてるんだよ。
Thunderはね、そのトレーニングプロセスをドラマティックに高速化するの。
それと、Open AIやMeta AIといったビッグプレーヤーたちがこれを使って、すでに成果を上げているんだ。
それがオープンソースコミュニティでも手に入るようになるというわけ。
しかも、このThunder、完全にリリースされて制約がないんだよ。
開発者がGPUのパフォーマンスを最大限に引き出せるツールも提供されているから、これからのAI研究には結構大きな影響を与えそうだね。
ぜひ公式サイトもチェックしてみて。