カラクリは、アマゾン ウェブ サービス ジャパン(AWSジャパン)の「AWS LLM 開発支援プログラム」を活用し、AWS TrainiumでMoEモデルの学習に成功したと発表した。 これにより、5月7日には、総パラメータ数467億、推論時のアクティブパラメータ数129億のLLM「KARAKURI LM 8x7B Chat v0.1」を一般公開している。同モデルは、学習時間を12時間に抑え、開発費 …
カラクリは、アマゾン ウェブ サービス ジャパン(AWSジャパン)の「AWS LLM 開発支援プログラム」を活用し、AWS TrainiumでMoEモデルの学習に成功したと発表した。 これにより、5月7日には、総パラメータ数467億、推論時のアクティブパラメータ数129億のLLM「KARAKURI LM 8x7B Chat v0.1」を一般公開している。同モデルは、学習時間を12時間に抑え、開発費 …