＞慶應義塾大学理工学部電気情報工学科の吉岡健太郎専任講師は2024年2月、Transformer処理と畳み込みニューラルネットワーク（CNN）処理を、極めて高い演算精度と電力効率で実行できる「アナログCIM（コンピュート・イン・メモリ）回路」を開発したと発表した。〜電力と面積効率が重要となるエッジデバイス向けでは、電力効率の高いアナログCIMが必要となる。ただ、画像処理に用いられるCNNでは十分な演算精度が得られるものの、Transformerでは演算精度が不足するといわれてきた。そこで今回、1つのメモリセルに「データ格納用メモリ」や「演算回路」「A-D変換素子」を統合した新しい「容量再構成型CIM（CR-CIM）」構造を提案した。CR-CIMは、演算に用いる回路素子をA-D変換にも再利用する。これによって、Transformer推論に必要な10ビットA-D変換を実現しながら、集積するトランジスタ数を従来に比べ60％削減できたという。
Transformer推論には10ビットの精度が必要なんか・・・。学習にもこの手のアナログ混成回路が使えないのかな?
もっと詳しく