[ソフト] NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み – GIGAZINE

＞Mistral NeMoは新開発のトークナイザ「Tekken」を採用しており、トークン化の効率が向上しています。日本語では従来のトークナイザと比べて1.56倍の効率でトークン化が可能で、アラビア語では3.02倍、マレーシア語では3.90倍に効率が向上しています。
いや、正直に吐露すればテッケンだけで投稿してしまった。しかしウィキペディアには英語版◇にもまだこの意味での項目は無いようだ