＞昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。彼らが発表したグラフを引用しよう。
＞まず、最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。「速いだけで回答が微妙なのでは」と心配するのが普通だろう。そこでLlamaモデルとの比較が載っている。この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
プロ驚き屋のshi3z氏も検証。どうやら本物の技術らしい＞驚異の1ビットLLMを試す。果たして本当に学習できるのか?◇
もっと詳しく