JP7255068B2 - メモリデバイス及びその動作方法 - Google Patents

Description

本開示は、概してインメモリコンピューティングのメモリデバイス及びその動作方法に関する。

最近、多くの分野の非常に効果的なソリューションとして、人工知能（「ＡＩ」）が台頭している。ＡＩの重要な問題とは、ＡＩが、積和演算（ＭＡＣ）を行うための大量の入力データ（例えば、入力特徴マップ）及び重みで構成されていることである。

しかしながら、現在のＡＩ構造は通常、ＩＯ（入力／出力）のボトルネック及び非効率的なＭＡＣ演算フローに直面する。

高い精度を実現するためには、マルチビットの入力及びマルチビットの重みを有するＭＡＣ演算を行うことになるであろう。しかし、ＩＯのボトルネックは悪化し、効率は低下する。

インメモリコンピューティング（「ＩＭＣ」）は、ＩＭＣがプロセス中心のアーキテクチャにおける算術論理演算ユニット（ＡＬＵ）の複雑さを低減し、メモリ内のＭＡＣ演算の大量並列処理を提供できるので、ＭＡＣ演算を加速させることができる。

不揮発性ＩＭＣ（ＮＶＭベースのＩＭＣ）の利点は、不揮発性記憶装置、データ移動の削減によるものである。

「コンピューティングインメモリチップ及びメモリセルアレイ構造」と題する米国特許出願公開第２０２１０１５１１０６号は、コンピューティングインメモリチップ及びメモリセルアレイ構造において、その中にあるメモリセルアレイが、アレイ内に配置された複数のメモリセルサブアレイを含むことを開示している。各メモリセルサブアレイは、アレイ内に配置された複数のスイッチユニット及び複数のメモリセルを有し、各列の全メモリセルの第１端子がソース線に接続されており、全メモリセルの第２端子がビット線に接続されており、各行の全メモリセルの第３端子がスイッチユニットを介してワード線に接続されており、これに対応してメモリセルの複数の行が複数のスイッチユニットに接続されており、複数のスイッチユニットの制御端子がメモリセルサブアレイのローカルワード線に接続されており、メモリセルサブアレイをアクティブにするかどうかがローカルワード線を制御することで制御される。

ＩＭＣを実行する際に、演算速度及び演算精度が両方とも満たされているならば、ＩＭＣ性能は改良されることになる。

１つの実施形態によれば、メモリデバイスが提供される。本メモリデバイスは、複数の重みを格納する複数のメモリセルを含むメモリアレイと、メモリアレイに結合され、複数の入力データ及び複数の重みに対してビット単位の乗算を行って複数の乗算結果を生成する乗算回路であって、ビット単位の乗算を行う際に、複数のメモリセルが複数のメモリセル電流を生成する、乗算回路と、乗算回路に結合され、複数の乗算結果に対してデジタル累算を行うデジタル累算回路と、メモリアレイに結合され、複数のメモリセル電流に対してアナログ累算を行って第１のＭＡＣ演算結果を生成するアナログ累算回路と、デジタル累算回路及びアナログ累算回路に結合され、アナログ累算を行うのか、デジタル累算を行うのか、ハイブリッド累算を行うのかを決定する決定ユニットとを含む。ハイブリッド累算を行う際に、デジタル累算回路をトリガするかどうかが第１のＭＡＣ演算結果に基づいている。

別の実施形態によれば、メモリデバイスの動作方法が提供される。本動作方法は、メモリデバイスのメモリアレイの複数のメモリセルに複数の重みを格納する段階と、複数の入力データ及び複数の重みに対してビット単位の乗算を行って複数の乗算結果を生成する段階と、複数の入力データ及び複数の重みに対してビット単位の乗算を行って複数の乗算結果を生成する段階であって、ビット単位の乗算では、複数のメモリセルが複数のメモリセル電流を生成する、生成する段階と、アナログ累算を行うのか、デジタル累算を行うのか、ハイブリッド累算を行うのかを決定する段階であって、アナログ累算を行う際には、複数のメモリセル電流に対してアナログ累算を行って第１のＭＡＣ演算結果を生成し、デジタル累算を行う際には、複数の乗算結果に対してデジタル累算を行って第２のＭＡＣ演算結果を生成し、ハイブリッド累算を行う際には、第１のＭＡＣ演算結果に基づいてデジタル累算をトリガするかどうかを決定する、決定する段階とを含む。

本願の１つの実施形態によるＩＭＣ（Ｉｎ－Ｍｅｍｏｒｙ－Ｃｏｍｐｕｔｉｎｇ：インメモリコンピューティング）メモリデバイスの機能ブロック図を示している。

本願の１つの実施形態によるデータマッピングを示している。

本願の１つの実施形態によるデータマッピングの実行可能な例を示している。 本願の１つの実施形態によるデータマッピングの実行可能な例を示している。 本願の１つの実施形態によるデータマッピングの実行可能な例を示している。

本願の１つの実施形態による乗算演算の一例を示している。

本願の１つの実施形態によるグルーピング演算（多数決演算）及び計数を示している。 本願の１つの実施形態によるグルーピング演算（多数決演算）及び計数を示している。

本願の１つの実施形態によるＭＡＣ演算フローを示している。

本願の１つの実施形態における固定メモリページのプログラミングを示している。 本願の１つの実施形態における読み出し電圧調整のフローチャートを示している。

本願の１つの実施形態によるＭＡＣ演算フローを示している。

以下の詳細な説明では、説明を目的として、開示される実施形態の十分な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、こうした具体的な詳細がなくても、１つ又は複数の実施形態が実施され得ることは明らかであろう。他の例では、図面を簡略にするために、よく知られている構造及びデバイスが概略的に示されている。

本開示の専門用語は、本開示の技術分野の一般的定義に基づいている。本開示で１つ又はいくつかの用語が記載されるか説明される場合、その用語の定義は本開示の記載又は説明に基づいている。開示される実施形態のそれぞれは、１つ又は複数の技術的特徴を持っている。実行可能な実装において、当業者であれば、本開示の任意の実施形態の一部又は全部の技術的特徴を選択的に実装するか、あるいは本開示の実施形態の一部又は全部の技術的特徴を選択的に組み合わせるであろう。

図１は、本願の１つの実施形態によるＩＭＣ（Ｉｎ－Ｍｅｍｏｒｙ－Ｃｏｍｐｕｔｉｎｇ：インメモリコンピューティング）メモリデバイス１００の機能ブロック図を示している。ＩＭＣメモリデバイス１００は、メモリアレイ１１０と、乗算回路１２０と、入力／出力回路１３０と、デジタル累算回路１３５と、アナログ累算回路１６０と、決定ユニット１７０と、コンパレータ１６３とを含む。デジタル累算回路１３５は、グルーピング回路１４０と計数ユニット１５０とを含む。アナログ累算回路１６０は、アナログデジタル変換器（ＡＤＣ）１６１を含む。メモリアレイ１１０、乗算回路１２０、アナログ累算回路１６０、及びアナログデジタル変換器１６１はアナログ方式であり、デジタル累算回路１３５、グルーピング回路１４０、及び計数ユニット１５０はデジタル方式である。

メモリアレイ１１０は、複数のメモリセル１１１を含む。本願の１つの実施形態では、メモリセル１１１は、限定されないが、例えば不揮発性メモリセルである。ＭＡＣ演算では、メモリセル１１１は重みを格納するのに用いられる。

乗算回路１２０は、メモリアレイ１１０に結合される。乗算回路１２０は、複数の単ビット乗算ユニット１２１を含む。それぞれの単ビット乗算ユニット１２１は、入力ラッチ１２１Ａと、センスアンプ（ＳＡ）１２１Ｂと、出力ラッチ１２１Ｃと、共通データラッチ（ＣＤＬ）１２１Ｄとを含む。入力ラッチ１２１Ａは、メモリアレイ１１０に結合される。センスアンプ１２１Ｂは、入力ラッチ１２１Ａに結合される。出力ラッチ１２１Ｃは、センスアンプ１２１Ｂに結合される。共通データラッチ１２１Ｄは、出力ラッチ１２１Ｃに結合される。

入力／出力回路１３０は、乗算回路１２０、グルーピング回路１４０、及び計数ユニット１５０に結合される。入力／出力回路１３０は、入力データを受信し、メモリデバイス１００が生成するデータを出力するためのものである。

デジタル累算回路１３５は、デジタル累算を行うためのものであり、詳細については以下の通りである。

アナログ累算回路１６０は、アナログ累算を行うためのものであり、詳細については以下の通りである。

決定ユニット１７０は、メモリデバイス１００がアナログ累算を行うのか、デジタル累算を行うのか、ハイブリッド累算を行うのかを決定するためのものである。決定ユニット１７０は、イネーブル信号ＥＮ１及びＥＮ２をそれぞれアナログ累算回路１６０及びデジタル累算回路１３５に出力し、アナログ累算回路１６０を有効にするのか、デジタル累算回路１３５を有効にするのかを決定する。

アナログ累算とは、アナログ累算回路１６０が有効になっているが、デジタル累算回路１３５が無効になっていることを指す。デジタル累算とは、デジタル累算回路１３５が有効になっているが、アナログ累算回路１６０が無効になっていることを指す。ハイブリッド累算とは、アナログ累算回路１６０及びデジタル累算回路１３５が両方とも有効になっていることを指す。

ＡＤＣ１６１は、メモリアレイ１１０のメモリセル１１１に結合される。各メモリセル１１１からのセル電流が足し合わされてＡＤＣ１６１に入力され、第１のＭＡＣ演算結果ＯＵＴ１に変換される。

コンパレータ１６３は、第１のＭＡＣ演算結果ＯＵＴ１とトリガ基準値とを比較するために、ＡＤＣ１６１に結合される。ハイブリッド累算を行う際に、第１のＭＡＣ演算結果ＯＵＴ１がトリガ基準値より低い場合、コンパレータ１６３はトリガ信号ＴＳをデジタル累算回路１３５に出力せず、第１のＭＡＣ演算結果ＯＵＴ１がトリガ基準値より高い場合、コンパレータ１６３はトリガ信号ＴＳをデジタル累算回路１３５に出力して、デジタル累算を行うためにデジタル累算回路１３５をトリガする。アナログ累算を行う場合、コンパレータ１６３からのトリガ信号ＴＳは、デジタル累算回路１３５によって無視されることになる。

本願の１つの実施形態では、アナログ累算は、無用なデータを迅速に選別してＭＡＣ演算速度を向上させるのに用いられてよく、デジタル累算は、未選別データを累算してＭＡＣ演算精度を高めることができ、ハイブリッド累算は、低解像度の量子化を用いて受けた変動の影響を排除し、無用なデータの累算を回避して解像度を維持することができる。すなわち、ハイブリッド累算は、アナログ累算及びデジタル累算の利点と欠点のバランスをとっている。

グルーピング回路１４０は、乗算回路１２０に結合される。グルーピング回路１４０は、複数のグルーピングユニット１４１を含む。グルーピングユニット１４１は、単ビット乗算ユニット１２１からの複数の乗算結果に対してグルーピング演算を行い、複数のグルーピング結果を生成する。本願の１つの実行可能な実施形態では、多数決方式（例えば、多数決関数方式）によってグルーピング方式が実装されてよく、グルーピング回路１４０は、多数決関数方式に基づいて多数決グルーピング回路により実装されてよく、グルーピングユニット１４１は、分散型多数決グルーピングユニットにより実装されてよいが、これによって本願を限定することは意図されていない。このグルーピング方式は、他の同様な方式で実装されてもよい。本願の１つの実施形態では、グルーピング回路１４０は任意的である。

計数ユニット１５０は、グルーピング回路１４０又は乗算回路１２０に結合される。本願の１つの実施形態では、計数ユニット１５０は（メモリデバイス１００がグルーピング回路１４０を含まない場合）、乗算回路からの乗算結果に対してビット単位の計数又はビット単位の累算を行い、第２のＭＡＣ演算結果ＯＵＴ２を生成するためのものである。あるいは、計数ユニット１５０は（メモリデバイス１００がグルーピング回路１４０を含む場合）、グルーピング回路１４０からのグルーピング結果（すなわち、多数決結果）に対してビット単位の計数又はビット単位の累算を行い、第２のＭＡＣ演算結果ＯＵＴ２を生成するためのものである。本願の１つの実施形態では、計数ユニット１５０は、既知の計数回路（限定されないが、例えば、リップルカウンタ）によって実装される。本願において、「計数」及び「累算」という用語は交換可能であり、カウンタ及び累算器は実質的に同じ意味である。

換言すれば、メモリデバイス１００がアナログ累算を行うと決定ユニット１７０が決定した場合、第１のＭＡＣ演算結果ＯＵＴ１がＭＡＣ演算結果として用いられる。メモリデバイス１００がデジタル累算を行うと決定ユニット１７０が決定した場合、第２のＭＡＣ演算結果ＯＵＴ２がＭＡＣ演算結果として用いられる。メモリデバイス１００がハイブリッド累算を行うと決定ユニット１７０が決定した場合、第１のＭＡＣ演算結果ＯＵＴ１がＭＡＣ演算結果として用いられた後に、デジタル累算回路１３５がトリガ信号ＴＳでトリガされ、デジタル累算回路１３５がトリガ信号ＴＳでトリガされた後に、第２のＭＡＣ演算結果ＯＵＴ２がＭＡＣ演算結果として用いられる。

ここで、本願の１つの実施形態によるデータマッピングを示している図２を参照する。図２に示すように、それぞれの入力データ及びそれぞれの重みは、８ビット精度のＮ次元（Ｎは正の整数）を有するが、本願はこれに限定されない。

入力データのデータマッピングが一例として説明されるが、本願はこれに限定されない。以下の説明は、重みのデータマッピングにも好適である。

入力データ（又は重み）が２進８ビットフォーマットで表される場合、入力データ（又は重み）は、最上位ビット（ＭＳＢ）ベクトル及び最下位ビット（ＬＳＢ）ベクトルを含む。８ビットの入力データ（又は重み）のＭＳＢベクトルはビットＢ７～Ｂ４を含み、８ビットの入力データ（又は重み）のＬＳＢベクトルはビットＢ３～Ｂ０を含む。

入力データのＭＳＢベクトル及びＬＳＢベクトルの各ビットは、単進符号（バリューフォーマット）で表される。例えば、入力データのＭＳＢベクトルのビットＢ７はＢ７_０～Ｂ７_７として表されてよく、入力データのＭＳＢベクトルのビットＢ６はＢ６_０～Ｂ６_３として表されてよく、入力データのＭＳＢベクトルのビットＢ５はＢ５_０～Ｂ５_１として表されてよく、入力データのＭＳＢベクトルのビットＢ４はＢ４として表されてよい。

次に、単進符号（バリューフォーマット）で表される、入力データのＭＳＢベクトルの各ビット及び入力データのＬＳＢベクトルの各ビットはそれぞれ、複数回複製されて、展開ドット積（ｕｎＦＤＰ）フォーマットになる。例えば、入力データのＭＳＢベクトルのそれぞれが（２^４－１）回複製され、同様に、入力データのＬＳＢベクトルのそれぞれが（２^４－１）回複製される。そうすることで、入力データがｕｎＦＤＰフォーマットで表される。同様に、重みもｕｎＦＤＰフォーマットで表される。

入力データ（ｕｎＦＤＰフォーマット）及び重み（ｕｎＦＤＰフォーマット）に対して乗算演算が行われ、複数の乗算結果が生成される。

理解のために、データマッピングの１つの例が説明されるが、本願はこれに限定されない。

ここで、本願の１つの実施形態による１次元データマッピングの１つの実行可能な例を示している図３Ａを参照する。図３Ａに示すように、入力データは（ＩＮ_１，ＩＮ_２）＝（２，１）であり、重みは（Ｗｅ_１，Ｗｅ_２）＝（１，２）である。入力データのＭＳＢ及びＬＳＢは２進フォーマットで表されるので、ＩＮ_１＝１０であり、ＩＮ_２＝０１である。同様に、重みのＭＳＢ及びＬＳＢは２進フォーマットで表されるので、Ｗｅ_１＝０１であり、Ｗｅ_２＝１０である。

次に、入力データのＭＳＢ及びＬＳＢ、並びに重みのＭＳＢ及びＬＳＢはエンコードされて、単進符号（バリューフォーマット）になる。例えば、入力データのＭＳＢはエンコードされて「１１０」になり、入力データのＬＳＢはエンコードされて「００１」になる。同様に、重みのＭＳＢはエンコードされて「００１」になり、重みのＬＳＢはエンコードされて「１１０」になる。

次に、入力データのＭＳＢ（１１０、エンコードされて単進符号になっている）の各ビットと、入力データのＬＳＢ（００１、エンコードされて単進符号になっている）の各ビットとが、複数回複製されて、ｕｎＦＤＰフォーマットで表される。例えば、入力データのＭＳＢ（１１０、バリューフォーマットで表されている）の各ビットは３回複製されるので、入力データのＭＳＢのｕｎＦＤＰフォーマットは、１１１１１１０００である。同様に、入力データのＬＳＢ（００１、バリューフォーマットで表されている）の各ビットは３回複製されるので、入力データのＬＳＢのｕｎＦＤＰフォーマットは、００００００１１１である。

入力データ（ｕｎＦＤＰフォーマットで表されている）及び重みに対して乗算演算が行われ、ＭＡＣ演算結果が生成される。ＭＡＣ演算結果は、１×０＝０，１×０＝０，１×１＝１，１×０＝０，１×０＝０，１×１＝１，０×０＝０，０×０＝０，０×１＝０，０×１＝０，０×１＝０，０×０＝０，０×１＝０，０×１＝０，０×０＝０，１×１＝１，１×１＝１，１×０＝０である。各値が足し合わされて、０＋０＋１＋０＋０＋１＋０＋０＋０＋０＋０＋０＋０＋０＋０＋１＋１＋０＝４になる。

上記の説明から、入力データが「ｉ」ビットであり、重みが「ｊ」ビットである場合（「ｉ」及び「ｊ」は両方とも正の整数）、ＭＡＣ（又は乗算）演算に用いられるメモリセル総数は、（２^ｉ－１）×（２^ｊ－１）になる。

ここで、本願の１つの実施形態によるデータマッピングの別の実行可能な例を示している図３Ｂを参照する。図３Ｂに示すように、入力データは（ＩＮ_１）＝（２）であり、重みは（Ｗｅ_１）＝（１）である。入力データ及び重みは、４ビットになっている。

入力データは２進フォーマットで表されるので、ＩＮ_１＝００１０である。同様に、重みは２進フォーマットで表されるので、Ｗｅ_１＝０００１である。

入力データ及び重みはエンコードされて、単進符号（バリューフォーマット）になる。例えば、入力データの最上位ビット「０」がエンコードされて「００００００００」になり、入力データの最下位ビット「０」がエンコードされて「０」になるといった具合である。同様に、重みの最上位ビット「０」がエンコードされて「００００００００」になり、重みの最下位ビット「１」がエンコードされて「１」になる。

次に、入力データ（エンコードされて単進符号になっている）の各ビットは複数回複製されて、ｕｎＦＤＰフォーマットで表される。例えば、入力データ（エンコードされて単進符号になっている）の最上位ビット３０１Ａが１５回複製されてビット３０３Ａになり、入力データ（エンコードされて単進符号になっている）の最下位ビット３０１Ｂが１５回複製されてビット３０３Ｂになる。

重み３０２（エンコードされて単進符号になっている）は１５回複製されて、ｕｎＦＤＰフォーマットで表される。

入力データ（ｕｎＦＤＰフォーマットで表されている）及び重み（ｕｎＦＤＰフォーマットで表されている）に対して乗算演算が行われ、ＭＡＣ演算結果が生成される。詳細に言うと、入力データのビット３０３Ａが重み３０２と掛け合わされ、入力データのビット３０３Ｂが重み３０２と掛け合わされるといった具合である。各乗算値を加算して、ＭＡＣ演算結果（「２」）が生成される。

ここで、本願の１つの実施形態によるデータマッピングの別の実行可能な例を示している図３Ｃを参照する。図３Ｃに示すように、入力データは（ＩＮ_１）＝（１）であり、重みは（Ｗｅ_１）＝（５）である。入力データ及び重みは、４ビットになっている。

入力データは２進フォーマットで表されるので、ＩＮ_１＝０００１である。同様に、重みは２進フォーマットで表されるので、Ｗｅ_１＝０１０１である。

次に、入力データ及び重みがエンコードされて、単進符号（バリューフォーマット）になる。

次に、入力データ（エンコードされて単進符号になっている）の各ビットは複数回複製されて、ｕｎＦＤＰフォーマットで表される。図３Ｃでは、入力データの各ビット及び重みの各ビットが複製されると、ビット「０」が追加される。例えば、入力データ（エンコードされて単進符号になっている）の最上位ビット３１１Ａは１５回複製され、ビット「０」が追加されてビット３１３Ａが形成され、入力データ（エンコードされて単進符号になっている）の最下位ビット３１１Ｂが１５回複製され、ビット「０」が追加されてビット３１３Ｂが形成される。そうすることで、入力がｕｎＦＤＰフォーマットで表される。

同様に、重み３１２（エンコードされて単進符号になっている）は１５回複製され、ビット「０」がさらに追加されてそれぞれの重み３１４になる。そうすることで、重みはｕｎＦＤＰフォーマットで表される。

入力データ（ｕｎＦＤＰフォーマットで表されている）と重み（ｕｎＦＤＰフォーマットで表されている）とに対して乗算演算が行われ、ＭＡＣ演算結果が生成される。詳細に言うと、入力データのビット３１３Ａが重み３１４と掛け合わされ、入力データのビット３１３Ｂが重み３１４と掛け合わされるといった具合である。各乗算値を加算して、ＭＡＣ演算結果（「５」）が生成される。

従来技術では、８ビットの入力データ及び８ビットの重みに対するＭＡＣ演算において、直接的ＭＡＣ演算が用いられる場合、直接的ＭＡＣ演算に用いられるメモリセル総数は、２５５×２５５×５１２＝３３，２９２，８２２個になる。

これに対して、本願の１つの実施形態では、８ビットの入力データ及び８ビットの重みに対するＭＡＣ演算において、直接的ＭＡＣ演算に用いられるメモリセル総数は、１５×１５×５１２×２＝１１５，２００×２＝２３０，４００個になる。したがって、本願の１つの実施形態によるＭＡＣ演算に用いられるメモリセル数は、従来技術に用いられるメモリセル数の約０．７％である。

本願の１つの実施形態では、ｕｎＦＤＰベースのデータマッピングを用いることで、ＭＡＣ演算に用いられるメモリセル数が削減されるので、演算コストも削減される。さらに、ＥＣＣ（エラー訂正符号）コストも削減され、フェイルビット効果の公差が改善される。

再度、図１を参照する。本願の１つの実施形態では、乗算演算において、重み（相互コンダクタンス）はメモリアレイ１１０のメモリセル１１１に格納され、入力データ（電圧）は格納され、入力／出力回路１３０によって読み出され、共通データラッチ１２１Ｄに送信される。共通データラッチ１２１Ｄは、入力データを入力ラッチ１２１Ａに出力する。

本願の１つの実施形態の乗算演算を説明するために、ここで、本願の１つの実施形態の乗算演算の１つの例を示している図４を参照する。図４は、選択されたビット線の読み出し機能をメモリデバイスがサポートする場合に用いられる。図４では、入力ラッチ１２１Ａがラッチ（第１ラッチ）４０５と、ビット線スイッチ４１０とを含む。

図４に示すように、重みは、図２に示されるような単進符号（バリューフォーマット）で表される。したがって、重みの最上位ビットが８つのメモリセル１１１に格納され、重みの２番目の最上位ビットが４つのメモリセル１１１に格納され、重みの３番目の最上位ビットが２つのメモリセル１１１に格納され、重みの最下位ビットが１つのメモリセル１１１に格納される。

同様に、入力データは（図２に示されるような）単進符号（バリューフォーマット）で表される。したがって、入力データの最上位ビットが８つの共通データラッチ１２１Ｄに格納され、入力データの２番目の最上位ビットが４つの共通データラッチ１２１Ｄに格納され、入力データの３番目の最上位ビットが２つの共通データラッチ１２１Ｄに格納され、入力データの最下位ビットが１つの共通データラッチ１２１Ｄに格納される。入力データは、共通データラッチ１２１Ｄからラッチ４０５に送られる。

図４には、複数のビット線スイッチ４１０が、メモリセル１１１とセンスアンプ１２１Ｂとの間に結合される。ビット線スイッチ４１０は、ラッチ４０５の出力で制御される。例えば、ラッチ４０５がビット「１」を出力すると、ビット線スイッチ４１０が入り、ラッチ４０５がビット「０」を出力すると、ビット線スイッチ４１０が切断される。

さらに、メモリセル１１１に格納された重みがビット１であり、且つビット線スイッチ４１０が入っている（すなわち、入力データがビット１である）場合、ＳＡ１２１Ｂは、メモリセル電流を検知して乗算結果「１」を生成する。メモリセル１１１に格納された重みがビット０であり、且つビット線スイッチ４１０が入っている（すなわち、入力データがビット１である）場合、ＳＡ１２１Ｂはメモリセル電流を検知しない。メモリセル１１１に格納された重みがビット１であり、且つビット線スイッチ４１０が切断されている（すなわち、入力データがビット０である）場合、ＳＡ１２１Ｂはメモリセル電流を検知しない（その結果、乗算結果「０」を生成する）。メモリセル１１１に格納された重みがビット０であり、且つビット線スイッチ４１０が切断されている（すなわち、入力データがビット０である）場合、ＳＡ１２１Ｂはメモリセル電流を検知しない。

すなわち、図４に示すレイアウトにおいて、入力データがビット１であり、且つ重みがビット１である場合、ＳＡ１２１Ｂはメモリセル電流を検知する（その結果、乗算結果「１」を生成する）。他の状況では、ＳＡ１２１Ｂはメモリセル電流を検知しない（その結果、乗算結果「０」を生成する）。

メモリセル１１１からのメモリセル電流ＩＭＣは、足し合わされてＡＤＣ１６１に入力される。

入力データと、重みと、デジタル乗算結果と、アナログメモリセル電流ＩＭＣとの間の関係は、以下の表の通りである。

上記の表では、ＨＶＴ及びＬＶＴはそれぞれ、高閾値メモリセル及び低閾値メモリセルを指しており、ＩＨＶＴ及びＩＬＶＴはそれぞれ、入力データが論理１の場合、高閾値メモリセル（重みは０（ＨＶＴ））及び低閾値メモリセル（重みは＋１（ＬＶＴ））により生成されるアナログメモリセル電流ＩＭＣを指している。

本願の１つの実施形態では、乗算演算において、選択されたビット線の読み出し（ＳＢＬ－読み出し）コマンドは、単ビット表現による変動の影響を低減するのに再利用されてよい。

ここで、図５Ａを参照する。この図は、本願の１つの実施形態によるグルーピング演算（多数決演算）及びビット単位の計数を示している。図５Ａに示すように、「ＧＭ１」は入力データの１番目のＭＳＢベクトルに重みを掛け合わせるビット単位の乗算による第１の乗算結果を指し、「ＧＭ２」は入力データの２番目のＭＳＢベクトルに重みを掛け合わせるビット単位の乗算による第２の乗算結果を指し、「ＧＭ３」は入力データの３番目のＭＳＢベクトルに重みを掛け合わせるビット単位の乗算による第３の乗算結果を指し、「ＧＬ」は入力データのＬＳＢベクトルに重みを掛け合わせるビット単位の乗算による第４の乗算結果を指す。グルーピング演算（多数決演算）の後に、第１の乗算結果「ＧＭ１」に対して行われたグルーピングの結果が第１のグルーピング結果ＣＢ１（その累算重みは２^２）であり、第２の乗算結果「ＧＭ２」に対して行われたグルーピングの結果が第２のグルーピング結果ＣＢ２（その累算重みは２^２）であり、第３の乗算結果「ＧＭ３」に対して行われたグルーピングの結果が第３のグルーピング結果ＣＢ３（その累算重みは２^２）であり、第４の乗算結果「ＧＬ」に対する直接計数結果が第４のグルーピング結果ＣＢ４（その累算重みは２^０）である。

図５Ｂは、図３Ｃの１つの累算例を示している。図３Ｃ及び図５Ｂを参照されたい。図５Ｂに示すように、入力データ（図３Ｃ）のビット３１３Ｂが重み３１４と掛け合わされる。入力データ（図３Ｃ）のビット３１３Ｂと重み３１４とを掛け合わせて生成された乗算結果の最初の４つのビット（「００００」）が、第１の乗算結果「ＧＭ１」としてグルーピングされる。同様に、入力データ（図３Ｃ）のビット３１３Ｂを重み３１４と掛け合わせて生成された乗算結果の５番目～８番目のビット（「００００」）が、第２の乗算結果「ＧＭ２」としてグルーピングされる。入力データ（図３Ｃ）のビット３１３Ｂを重み３１４と掛け合わせて生成された乗算結果の９番目～１２番目のビット（「１１１１」）が、第３の乗算結果「ＧＭ３」としてグルーピングされる。入力データ（図３Ｃ）のビット３１３Ｂを重み３１４と掛け合わせて生成された乗算結果の１３番目～１６番目のビット（「００１０」）が、直接的にカウントされる。

グルーピング演算（多数決演算）の後に、第１のグルーピング結果ＣＢ１は「０」（その累算重みは２^２）になり、第２のグルーピング結果ＣＢ２は「０」（その累算重みは２^２）になり、第３のグルーピング結果ＣＢ３は「１」（その累算重みは２^２）になる。計数の際には、それぞれの累算重みと掛け合わされたそれぞれのグルーピング結果ＣＢ１～ＣＢ４を累算することで、ＭＡＣ結果が生成される。例えば、図５Ｂに示すように、ＭＡＣ結果（第２のＭＡＣ演算結果ＯＵＴ２）は、ＣＢ１×２^２＋ＣＢ２×２^２＋ＣＢ３×２^２＋ＣＢ４×２^０＝０×２^２＋０×２^２＋１×２^２＋１×２^０＝００００ ００００ ００００ ００００ ００００ ００００ ００００ ０１０１＝５である。

本願の１つの実施形態では、グルーピング規則（例えば、多数決規則）は以下の通りである。

上記の表において、ケースＡでは、このグループが正しいビットを有している（「１１１１」はエラービットがないことを意味している）ため、多数決結果は１である。同様に、上記の表において、ケースＥでは、このグループは正しいビットを有している（「００００」はエラービットがないことを意味している）ため、多数決結果は０である。

ケースＢでは、このグループがエラービットを１つ有している（「１１１０」の中でビット「０」はエラーである）ため、多数決関数によって、グループ「１１１０」は「１」であると決定される。ケースＤでは、このグループがエラービットを１つ有している（「１０００」の中でビット「１」はエラーである）ため、多数決関数によって、グループ「１０００」は「０」であると決定される。

ケースＣでは、このグループがエラービットを２つ有している（「１１００」の中でビット「００」又はビット「１１」はエラーである）ため、多数決関数によって、グループ「１１００」は「１」又は「０」であると決定される。

こうして、本願の１つの実施形態では、グルーピング（多数決）関数によってエラービットが低減される。

グルーピング回路１４０からの多数決結果は、ビット単位の計数を行うために、計数ユニット１５０に入力される。

計数の際には、ＭＳＢベクトルの乗算結果に対する計数結果と、ＬＳＢベクトルの乗算結果に対する計数結果とが加算される、すなわち累算される。図５Ａに示すように、２つの累算器が用いられる。第１累算器には、大きい累算重み（例えば、２^２）が割り当てられる。第１累算器は、（１）乗算結果ＧＭ１に対してグルーピング演算（多数決演算）を行ったことによるグルーピング結果（多数決結果）（１つのビットを有する）と、（２）乗算結果ＧＭ２に対してグルーピング演算（多数決演算）を行ったことによるグルーピング結果（多数決結果）（１つのビットを有する）と、（３）乗算結果ＧＭ３に対してグルーピング演算（多数決演算）を行ったことによるグルーピング結果（多数決結果）（１つのビットを有する）とを累算する。第１累算器による累算結果には、大きい累算重み（例えば、２^２）が割り当てられる。第２累算器には、小さい累算重み（例えば、２^０）が割り当てられる。第２累算器は、乗算結果ＧＬ（複数のビットを有する）を直接的に累算する。２つの累算器による２つの累算結果は加算され、ＭＡＣ演算結果が出力される。例えば、限定されないが、（１）乗算結果ＧＭ１に対してグルーピング（多数決）演算を行ったことによるグルーピング結果（多数決結果）（１つのビットを有する）が「１」（１つのビット）であり、（２）乗算結果ＧＭ２に対してグルーピング（多数決）演算を行ったことによるグルーピング結果（多数決結果）（１つのビットを有する）が「０」（１つのビット）であり、（３）乗算結果ＧＭ３に対してグルーピング（多数決）演算を行ったことによるグルーピング結果（多数決結果）（１つのビットを有する）が「１」（１つのビット）である。第１累算器による累算結果は、重み付けの後に、２（＝１＋０＋１）×２^２＝８になる。乗算結果ＧＬは４（３つのビットを有する）である。ＭＡＣ演算結果は、８＋４＝１２である。

上記のことから、本願の１つの実施形態では、計数又は累算において、入力データはｕｎＦＤＰフォーマットになっており、ＣＤＬに格納されるデータはＭＳＢベクトル及びＬＳＢベクトルにグルーピングされる。グルーピング（多数決）関数によって、ＭＳＢベクトル及びＬＳＢベクトルに含まれるエラービットが低減する。

さらに、本願の１つの実施形態では、従来型の累算器（従来型のカウンタ）を用いても、計数及び累算の時間コストが削減される。これは、デジタル計数コマンド（エラービット計数）が本願の１つの実施形態に適用され、異なるベクトル（ＭＳＢベクトル及びＬＳＢベクトル）に異なる累算重みが割り当てられるからである。１つの実行可能な例では、累算演算の時間コストが約４０％に削減される。

図６は、本願の１つの実施形態におけるＭＡＣ演算フローを示している。図６において、ＤＭＡＣとは第１デジタル累算（多数決演算は行われない、すなわちメモリデバイス１００はグルーピング回路１４０を含まない）を指し、ｍＤＭＡＣとは第２デジタル累算（多数決演算が行われる、すなわちメモリデバイス１００はグルーピング回路１４０を含む）を指し、ＡＭＡＣとはアナログ累算を指し、ＨＭＡＣとはハイブリッド累算を指す。

本願の１つの実施形態における第１デジタル累算のＭＡＣ演算フローでは、入力データがメモリデバイスに送信される。ビット線の設定とワード線の設定とが同時に行われる。ビット線を設定した後に、センシングが行われる。次に、デジタル累算が行われる。デジタル累算の結果が返される。上記の各段階は、全ての入力データが処理されるまで繰り返される。

本願の１つの実施形態における第２デジタル累算のＭＡＣ演算フローでは、多数決演算がさらに、デジタル累算速度を加速させ得る。

本願の１つの実施形態におけるアナログ累算のＭＡＣ演算フローでは、データセンシング期間にＡＤＣ変換と比較演算とが完了し、これによってさらに、アナログ累算速度が加速され得る。

本願の１つの実施形態におけるハイブリッド累算のＭＡＣ演算フローでは、アナログ累算及びデジタル累算の両方が実行されるので、ハイブリッド累算の演算速度はアナログ累算より遅いが、デジタル累算より速い。しかしながら、ハイブリッド累算の精度はデジタル累算とほぼ等しいが、アナログ累算より高い。

図６を見ると、本願の実施形態におけるＭＡＣ演算には２種類の副演算がある。１つ目の副演算は入力データを重みと掛け合わせる乗算であり、この乗算は、選択したビット線読み出しコマンドに基づいている。２つ目の副演算は累算（データ計数）、特にフェイルビット計数である。本願の他の実行可能な実施形態では、計数又は累算演算を加速するために、より多くの計数ユニットが用いられてもよい。

デジタル累算の演算期間は、計数ユニット１５０がビット単位の累算を行うので、主に計数ユニット１５０の累算速度に依存する。ＡＤＣ１６１の量子化精度は、主にメモリセルのばらつき公差に依存する。したがって、デジタル累算は、アナログ累算と比較すると精度は高いが累算速度は遅い。

さらに、本願の１つの実施形態では、読み出し電圧も調整される。図７Ａは、本願の１つの実施形態における固定メモリページのプログラミングを示している。図７Ｂは、本願の１つの実施形態における読み出し電圧調整のフローチャートを示している。

図７Ａに示すように、段階７１０では、既知の入力データが固定メモリページにプログラミングされる。ここで、既知の入力データのビットレートが、ビット「０」の７５％であり、ビット「１」の２５％である。

図７Ｂに示すように、段階７２０では、固定メモリページが読み出され、ＡＤＣが有効になる。段階７３０では、ＡＤＣからの出力値（すなわち、第１のＭＡＣ演算結果ＯＵＴ１）が基準テスト値（例えば、限定されないが、ＡＤＣが８ビットＡＤＣの場合、基準テスト値は１２７である）に近いかどうかが判定される。段階７３０の判定が「いいえ」である場合、本フローは段階７４０へ進む。段階７３０の判定が「はい」である場合、本フローは段階７５０へ進む。

段階７４０では、ＡＤＣからの出力値が基準テスト値より小さい場合、読み出し電圧を増やし、ＡＤＣからの出力値が基準テスト値より大きい場合、読み出し電圧を減らす。段階７４０の後に、本フローは段階７２０に戻る。

段階７５０では、現在の読み出し電圧が、次の読み出し操作のために記録される。

読み出し電圧は、ＡＤＣからの出力値とビット１の読み出しとに影響を与えることがある。本願の１つの実施形態では、動作条件（例えば、限定されないが、プログラミングサイクル、温度、又は読み出しディスターブ）に基づいて、読み出し電圧は高い精度及び高い信頼性を保つために周期的に較正されてよい。

図８は、本願の１つの実施形態によるＭＡＣ演算フローを示している。段階８１０では、メモリデバイスのメモリアレイの複数のメモリセルに複数の重みが格納される。段階８２０では、複数の入力データ及び重みに対してビット単位の乗算が行われ、複数の乗算結果が生成される。ビット単位の乗算では、これらのメモリセルが複数のメモリセル電流を生成する。段階８３０では、アナログ累算を行うのか、デジタル累算を行うのか、ハイブリッド累算を行うのかが決定される。段階８４０では、アナログ累算を行う際に、メモリセル電流に対してアナログ累算が行われ、第１のＭＡＣ演算結果が生成される。段階８５０では、デジタル累算を行う際に、乗算結果に対してデジタル累算が行われ、第２のＭＡＣ演算結果が生成される。段階８６０では、ハイブリッド累算を行う際に、デジタル累算をトリガするかどうかが第１のＭＡＣ演算結果に基づいている。

本願の１つの実施形態が、ＮＡＮＤ型フラッシュメモリ、又は記憶保持や温度の変動に敏感なメモリデバイス（例えば、限定されないが、ＮＯＲ型フラッシュメモリ、相変化メモリ、磁気ＲＡＭ、又は抵抗変化型ＲＡＭ）に適用される。

本願の１つの実施形態が、３Ｄ構造メモリデバイス及び２Ｄ構造メモリデバイス、例えば、限定されないが、２Ｄ／３ＤのＮＡＮＤ型フラッシュメモリ、２Ｄ／３ＤのＮＯＲ型フラッシュメモリ、２Ｄ／３Ｄの相変化メモリ、２Ｄ／３Ｄの磁気ＲＡＭ、又は２Ｄ／３Ｄの抵抗変化型ＲＡＭに適用される。

本願のこの実施形態では、入力データ及び／又は重みがＭＳＢベクトル及びＬＳＢベクトル（すなわち、２つのベクトル）に分割されるが、本願はこれに限定されない。本願の他の実行可能な実施形態では、入力データ及び／又は重みがより多くのベクトルに分割されるが、それでも、本願の趣旨及び範囲に含まれる。

本願の実施形態は、多数決グルーピング方式だけでなく、累算を加速する他のグルーピング方式にも適用される。

本願の実施形態は、ＡＩ方式（例えば限定されないが、顔識別）である。

本願の１つの実施形態では、ＡＤＣ１６１は、電流モードＡＤＣ、電圧モードＡＤＣ、又はハイブリッドモードＡＤＣにより実装されてもよい。

本願の１つの実施形態が、シリアルＭＡＣ演算又はパラレルＭＡＣ演算に適用されてもよい。

開示された実施形態に対して様々な修正及び変形を施せることが、当業者には明らかであろう。本明細書及び各実施例は例示的としかみなされず、本開示の真の範囲は、以下の特許請求の範囲及びそれらの均等物によって示されることが意図されている。

Claims (16)

1. 複数の重みを格納する複数のメモリセルを含むメモリアレイであって、前記複数のメモリセルは、複数のメモリセル電流を生成する、メモリアレイと、
   前記メモリアレイに結合され、複数の入力データ及び前記複数の重みに対してビット単位の乗算を行って複数の乗算結果を生成する乗算回路と、
   前記乗算回路に結合され、前記複数の乗算結果に対してデジタル累算を行うデジタル累算回路と、
   前記メモリアレイに結合され、第２のＭＡＣ演算結果を生成するために前記複数のメモリセル電流に対してアナログ累算を行って第１のＭＡＣ演算結果を生成するアナログ累算回路と、
   前記デジタル累算回路及び前記アナログ累算回路に結合され、前記アナログ累算を行うのか、前記デジタル累算を行うのか、ハイブリッド累算を行うのかを決定する決定ユニットと
   を含むメモリデバイスであって、
   前記ハイブリッド累算を行う際に、前記デジタル累算回路をトリガするかどうかが前記第１のＭＡＣ演算結果に基づいており、
   前記決定ユニットが前記アナログ累算を行うことを決定する場合、前記第１のＭＡＣ演算結果は、ＭＡＣ演算結果として使用され、
   前記決定ユニットが前記デジタル累算を行うことを決定する場合、前記第２のＭＡＣ演算結果は、前記ＭＡＣ演算結果として使用され、
   前記決定ユニットが前記ハイブリッド累算を行うことを決定する場合、前記第１のＭＡＣ演算結果は、前記デジタル累算回路がトリガされる前に、前記ＭＡＣ演算結果として使用され、前記第２のＭＡＣ演算結果は、前記デジタル累算回路がトリガされた後に、前記ＭＡＣ演算結果として使用される、メモリデバイス。
2. 前記アナログ累算を行う際に、前記決定ユニットが前記アナログ累算回路を有効にするが、前記デジタル累算回路を無効にし、
   前記デジタル累算を行う際に、前記決定ユニットが前記デジタル累算回路を有効にするが、前記アナログ累算回路を無効にし、
   前記ハイブリッド累算を行う際に、前記決定ユニットが前記アナログ累算回路及び前記デジタル累算回路を両方とも有効にする、請求項１に記載のメモリデバイス。
3. 前記メモリデバイスがさらに、
   前記アナログ累算回路及び前記デジタル累算回路に結合され、前記第１のＭＡＣ演算結果とトリガ基準値とを比較して、前記デジタル累算回路にトリガ信号を出力し、前記デジタル累算を行う前記デジタル累算回路をトリガするコンパレータを含む、請求項１又は２に記載のメモリデバイス。
4. 前記アナログ累算回路が前記メモリアレイに結合されたアナログデジタル変換器を含み、前記複数のメモリセルからの前記複数のメモリセル電流が、足し合わされ、前記アナログデジタル変換器に入力されて、前記第１のＭＡＣ演算結果に変換される、請求項１から３のいずれか一項に記載のメモリデバイス。
5. 前記デジタル累算回路が、計数ユニットを含み、前記計数ユニットは、前記乗算回路に結合され、前記複数の乗算結果に対してビット単位の計数を行い、前記第２のＭＡＣ演算結果を生成する、請求項１から４のいずれか一項に記載のメモリデバイス。
6. 前記メモリデバイスがさらに、
   前記乗算回路及び前記計数ユニットに結合され、前記乗算回路からの前記複数の乗算結果に対してグルーピング演算を行い、複数のグルーピング結果を生成し、前記複数のグルーピング結果を前記計数ユニットに送るグルーピング回路を含み、前記グルーピング演算は、多数決関数方式の演算である、請求項５に記載のメモリデバイス。
7. 前記複数の入力データのそれぞれ又は前記複数の重みのそれぞれの複数のビットが複数のビットベクトルに分割され、
   前記複数のビットベクトルの各ビットが２進フォーマットから単進符号に変換され、
   前記単進符号で表された前記複数のビットベクトルの前記各ビットが、複数回複製されてｕｎＦＤＰ（展開ドット積）フォーマットになり、
   前記乗算回路が、前記ｕｎＦＤＰフォーマットで表された前記複数の入力データ及び前記複数の重みに対して乗算演算を行って前記複数の乗算結果を生成する、請求項１から６のいずれか一項に記載のメモリデバイス。
8. 前記複数の乗算結果に対してグルーピング演算を行う際に、前記複数の乗算結果に対してそれぞれグルーピング演算を行って複数のグルーピング結果を生成するグルーピング回路を含む、請求項７に記載のメモリデバイス。
9. ビット単位の計数を行う際に、前記複数の乗算結果に対してそれぞれグルーピング演算を行うことにより生成された複数のグルーピング結果にそれぞれ異なる累算重みが割り当てられて、第２のＭＡＣ演算結果が生成される、請求項７に記載のメモリデバイス。
10. 前記グルーピング回路が、複数の多数決ユニットを含む多数決回路である、請求項６に記載のメモリデバイス。
11. メモリデバイスの動作方法であって、前記動作方法は、
    前記メモリデバイスのメモリアレイの複数のメモリセルに複数の重みを格納する段階であって、前記複数のメモリセルは、複数のメモリセル電流を生成する、格納する段階と、
    複数の入力データ及び前記複数の重みに対してビット単位の乗算を行って複数の乗算結果を生成する段階と、
    アナログ累算を行うのか、デジタル累算を行うのか、ハイブリッド累算を行うのかを決定する段階であって、
    前記アナログ累算を行う際には、前記複数のメモリセル電流に対して前記アナログ累算を行って、ＭＡＣ演算結果として第１のＭＡＣ演算結果を生成し
    前記デジタル累算を行う際には、前記複数の乗算結果に対して前記デジタル累算を行って、前記ＭＡＣ演算結果として第２のＭＡＣ演算結果を生成し、
    前記ハイブリッド累算を行う際には、前記デジタル累算をトリガするかどうかを前記第１のＭＡＣ演算結果に基づいて決定し、
    前記第１のＭＡＣ演算結果は、前記デジタル累算がトリガされる前に、前記ＭＡＣ演算結果として使用され、前記第２のＭＡＣ演算結果は、前記デジタル累算がトリガされた後に、前記ＭＡＣ演算結果として使用される、
    決定する段階と
    を含むメモリデバイスの動作方法。
12. 前記動作方法がさらに、
    前記複数のメモリセルからの前記複数のメモリセル電流を足し合わせ、アナログデジタル変換を行って前記第１のＭＡＣ演算結果にする段階を含む、請求項１１に記載のメモリデバイスの動作方法。
13. 前記第１のＭＡＣ演算結果がトリガ基準値と比較され、前記デジタル累算をトリガするかどうかが決定される、請求項１１又は１２に記載のメモリデバイスの動作方法。
14. 前記複数の入力データのそれぞれ又は前記複数の重みのそれぞれの複数のビットが複数のビットベクトルに分割され、
    前記複数のビットベクトルの各ビットが２進フォーマットから単進符号に変換され、
    前記単進符号で表された前記複数のビットベクトルの前記各ビットが、複数回複製されてｕｎＦＤＰ（展開ドット積）フォーマットになり、
    前記ｕｎＦＤＰフォーマットで表された前記複数の入力データ及び前記複数の重みに対して複数の乗算演算が行われ、前記複数の乗算結果が生成される、請求項１１から１３のいずれか一項に記載のメモリデバイスの動作方法。
15. ビット単位の計数を行う際に、前記複数の乗算結果に対してそれぞれグルーピング演算を行うことにより生成された複数のグルーピング結果にそれぞれ異なる累算重みが割り当てられて、前記第２のＭＡＣ演算結果が生成される、請求項１４に記載のメモリデバイスの動作方法。
16. 前記複数の乗算結果に対してグルーピング演算を行う段階が、前記複数の乗算結果に対して多数決演算を行うことで実現され、前記グルーピング演算は、多数決関数方式の演算である、請求項１４又は１５に記載のメモリデバイスの動作方法。

Images