JP6970058B2 - 演算装置 - Google Patents

演算装置 Download PDF

Info

Publication number
JP6970058B2
JP6970058B2 JP2018136058A JP2018136058A JP6970058B2 JP 6970058 B2 JP6970058 B2 JP 6970058B2 JP 2018136058 A JP2018136058 A JP 2018136058A JP 2018136058 A JP2018136058 A JP 2018136058A JP 6970058 B2 JP6970058 B2 JP 6970058B2
Authority
JP
Japan
Prior art keywords
positive
negative
resistance
coefficient
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018136058A
Other languages
English (en)
Other versions
JP2020013398A (ja
Inventor
孝生 丸亀
義史 西
久美子 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018136058A priority Critical patent/JP6970058B2/ja
Priority to US16/294,980 priority patent/US10891108B2/en
Publication of JP2020013398A publication Critical patent/JP2020013398A/ja
Application granted granted Critical
Publication of JP6970058B2 publication Critical patent/JP6970058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0069—Writing or programming circuits or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G11C2013/0045—Read using current through the cell
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0069—Writing or programming circuits or methods
    • G11C2013/0073—Write using bi-directional cell biasing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Secondary Cells (AREA)
  • Complex Calculations (AREA)

Description

本発明の実施形態は、演算装置に関する。
ニューラルネットワークを用いた技術が知られている。また、専用のハードウェアを用いてニューラルネットワークを構成する技術も研究されている。
ニューラルネットワークに含まれる各ユニットでは、積和演算（乗累算）を実行する。すなわち、各ユニットでは、前段のユニットから受け取った複数の入力値のそれぞれに対して係数を乗算し、係数を乗算した後の複数の入力値を加算する。さらに、各ユニットでは、このように算出した値を活性化関数に与える。そして、各ユニットでは、活性化関数の出力値を出力する。
ところで、ハードウェアで実現したニューラルネットワーク装置は、このようなユニットを多数備えなければならない。このため、ニューラルネットワークをハードウェアで実現する場合、個々のユニットでの積和演算を簡易な処理で精度良く実現することが望まれる。
米国特許出願公開第２０１５／００８８７９７号明細書 特開平０２−２９２６０２号公報 特開平０２−２３６６５９号公報 特開平０５−２０４８８５号公報
Geoffrey W. Burr, "Analog resistive neuromorphic hardware", IBM Research - Almaden., BioComp Summer School, ２０１７年６月３０日
本発明が解決しようとする課題は、簡易な処理で精度良く係数を設定することにある。
実施形態に係る演算装置は、Ｍ個（Ｍは２以上の整数）の入力値と、前記Ｍ個の入力値に一対一で対応するＭ個の係数とを積和演算する。前記演算装置は、Ｍ個の係数記憶部と、Ｍ個の乗算部と、出力部と、制御部とを備える。前記Ｍ個の係数記憶部は、前記Ｍ個の係数に対応して設けられ、差の符号が対応する係数を表す正側係数および負側係数を、それぞれが含む。前記Ｍ個の乗算部は、前記Ｍ個の入力値に対応して設けられ、対応する入力値に応じて反転する符号を対応する係数記憶部に含まれる前記正側係数に乗じた正側乗算値と、対応する入力値に応じて反転する符号を対応する係数記憶部に含まれる前記負側係数に乗じた負側乗算値とを、それぞれが算出する。前記出力部は、Ｍ個の前記正側乗算値を合計した正側積和演算値と、Ｍ個の前記負側乗算値を合計した負側積和演算値との差に応じた出力値を出力する。前記制御部は、初期化モードにおいて、前記Ｍ個の係数記憶部のそれぞれに含まれる前記正側係数と前記負側係数とを一致させ、設定モードにおいて、前記Ｍ個の係数記憶部のうちの設定対象の係数記憶部に含まれる前記正側係数と前記負側係数との大小関係を、対応する係数に応じて設定する。
実施形態に係る演算装置の構成図。 演算装置による演算処理の内容の説明図。 演算部により実行される積和演算処理の説明図。 実施形態に係る演算部のハードウェア構成図。 ｗｉ＝＋１、ｘｉ＝＋１の場合の係数記憶部の動作の説明図。 ｗｉ＝＋１、ｘｉ＝−１の場合の係数記憶部の動作の説明図。 ｗｉ＝−１、ｘｉ＝＋１の場合の係数記憶部の動作の説明図。 ｗｉ＝−１、ｘｉ＝−１の場合の係数記憶部の動作の説明図。 演算モードにおける演算部による動作の説明図。 正側比較部、負側比較部および一致判定部の入出力特性を示す図。 初期化モードにおける演算部の処理フロー図。 コンダクタンスの大小の検出動作を示す図。 初期化時における正側抵抗への書き込み動作を示す図。 初期化時における負側抵抗への書き込み動作を示す図。 Ｍ個の係数記憶部の全てを初期化した後の状態を示す図。 設定モードにおける演算部による動作を示す図。 ｗｉ＝＋１、ｘｉ＝＋１の場合の変形例に係る係数記憶部の動作の説明図。 ｗｉ＝＋１、ｘｉ＝−１の場合の変形例に係る係数記憶部の動作の説明図。 ｗｉ＝−１、ｘｉ＝＋１の場合の変形例に係る係数記憶部の動作の説明図。 ｗｉ＝−１、ｘｉ＝−１の場合の変形例に係る係数記憶部の動作の説明図。
以下、図面を参照しながら実施形態に係る演算装置１０について詳細に説明する。演算装置１０は、ニューロンを模擬した非線形演算を簡易な構成で実現する。
（実施形態）
図１は、実施形態に係る演算装置１０の構成を示す図である。演算装置１０は、演算部２０と、設定部２２とを備える。
演算部２０は、それぞれが２値で表されるＭ個の入力値と、それぞれが２値で表されるＭ個の係数とを受け取る。Ｍは、２以上の整数である。Ｍ個の係数は、Ｍ個の入力値に一対一で対応している。
設定部２２は、Ｍ個の係数を例えば外部の学習装置等から受け取る。設定部２２は、Ｍ個の係数を演算部２０の内部に記憶させる。演算部２０は、内部に複数の不揮発メモリ型セルを有する。設定部２２は、複数の不揮発メモリ型セルに、Ｍ個の係数を記憶させる。
演算部２０は、Ｍ個の入力値を他のユニットから受け取る。演算部２０は、Ｍ個の入力値を受け取ると、受け取ったＭ個の入力値と、内部に記憶しているＭ個の係数とを積和演算（乗累算）する。そして、演算部２０は、積和演算をした結果として、２値で表される出力値を出力する。
本実施形態においては、Ｍ個の入力値を、ｘ１、ｘ２、ｘ３、…、ｘＭと表す。また、本実施形態においては、Ｍ個の係数を、ｗ１、ｗ２、ｗ３、…、ｗＭと表す。また、本実施形態においては、出力値をｙと表す。下付の添え字は、インデックスを表す。同一のインデックスが付けられた入力値と係数とは、対応している。すなわち、ｘ１とｗ１とが対応しており、ｘ２とｗ２とが対応しており、ｘＭとｗＭとが対応している。また、任意のインデックスの入力値をｘｉと表し、任意のインデックスの係数をｗｉと表す。ｉは、１からＭまでの整数である。
図２は、演算装置１０による演算処理の内容を説明するための図である。
本実施形態において、Ｍ個の入力値のそれぞれは、下記の式（１１）で示されるように、−１および＋１の何れかの値を表す。
ｘｉ＝｛−１，＋１｝…（１１）
本実施形態において、Ｍ個の係数のそれぞれは、下記の式（１２）で示されるように、−１および＋１の何れかの値を表す。
ｗｉ＝｛−１，＋１｝…（１２）
本実施形態において、出力値は、下記の式（１３）で示されるように、−１および＋１の何れかの値を表す。
ｙ＝｛−１，＋１｝…（１３）
Ｍ個の入力値を受け取った場合、演算部２０は、Ｍ個の入力値とＭ個の係数との積和演算をアナログ処理により実行する。例えば、下記の式（１４）により算出されるｕを中間値とする。
Figure 0006970058
 なお、ドットは、乗算を表す。
中間値は、Ｍ個の入力値のそれぞれと対応する係数とを乗算したＭ個の乗算値を、累積した所定ビット数の値を表す。演算部２０は、このような中間値を表す信号に対して、符号関数処理をして、２値の出力値を生成する。すなわち、演算部２０は、中間値を表す信号に対して、下記の式（１５）の演算処理を実行する。
Figure 0006970058
 なお、ｆ（）は、符号関数を表す。ｙは、出力値の値を表す。
符号関数は、引数（中間値）が０より小さい場合、−１を出力し、引数（中間値）が０以上である場合、＋１を出力する関数である。すなわち、符号関数は、下記の式（１６）に示すような関数である。
Figure 0006970058
図３は、本実施形態に係る演算部２０により実行される積和演算処理を説明するための図である。
本実施形態において、Ｍ個の係数のそれぞれは、正側係数と負側係数との差の符号（正または負）により表される。すなわち、ｗｉは、下記の式（１７）により表される。
ｗｉ＝ｆ（Ｇｐｉ−Ｇｎｉ）…（１７）
Ｇｐｉは、正側係数である。Ｇｎｉは、負側係数である。
正側係数（Ｇｐｉ）および負側係数（Ｇｎｉ）は、対応する係数に応じて大小関係が変更される。例えば、ｗｉ＝＋１である場合、Ｇｐｉ＞Ｇｎｉとなる。また、例えば、ｗｉ＝−１である場合、Ｇｐｉ＜Ｇｎｉとなる。
さらに、本実施形態において、演算部２０は、下記の式（１８）の演算処理を実行して、中間値（ｕ）を算出する。
ｕ＝Ｉｐ−Ｉｎ…（１８）
Ｉｐは、Ｍ個の正側乗算値を合計した正側積和演算値である。正側乗算値は、Ｍ個の入力値毎に算出される。具体的には、ｉ番目の正側乗算値は、対応する入力値に応じて反転する符号（ｘｉ）を、対応する正側係数（Ｇｐｉ）に乗じた値である。すなわち、演算部２０は、下記の式（１９）の演算処理を実行して、正側積和演算値（Ｉｐ）を算出する。
Ｉｐ＝｛ｘ１・Ｇｐ１＋ｘ２・Ｇｐ２＋…＋ｘＭ・ＧｐＭ｝…（１９）
Ｉｎは、Ｍ個の負側乗算値を合計した負側積和演算値である。負側乗算値は、Ｍ個の入力値毎に算出される。具体的には、ｉ番目の負側乗算値は、対応する入力値に応じて反転する符号（ｘｉ）を、対応する負側係数（Ｇｎｉ）に乗じた値である。すなわち、演算部２０は、下記の式（２０）の演算処理を実行して、負側積和演算値（Ｉｎ）を算出する。
Ｉｎ＝｛ｘ１・Ｇｎ１＋ｘ２・Ｇｎ２＋…＋ｘＭ・ＧｎＭ｝…（２０）
従って、正側係数（Ｇｐｉ）および負側係数（Ｇｎｉ）の値は、正の値であれば、どのような値であってもよい。正側係数（Ｇｐｉ）および負側係数（Ｇｎｉ）の値は、インデックス毎に異なっていてもよい。ただし、正側係数と負側係数との差の絶対値（｜Ｇｐｉ−Ｇｎｉ｜）は、予め定められた値に設定される。もっとも、正側係数と負側係数との差の絶対値（｜Ｇｐｉ−Ｇｎｉ｜）は、積和演算の演算精度に影響を与えない範囲内であれば、ばらつきがあってもよい。
図４は、実施形態に係る演算部２０のハードウェア構成を示す図である。演算部２０は、演算モード、初期化モードまたは設定モードで動作する。
演算部２０は、演算モードにおいて、外部から取得したＭ個の入力値と、内部に記憶しているＭ個の係数とを積和演算する。演算部２０は、初期化モードにおいて、内部に記憶しているＭ個の係数を初期化する。演算部２０は、設定モードにおいて、外部からＭ個の係数を取得し、取得した係数を内部に記憶させる。
演算部２０は、Ｍ個の係数記憶部３６（３６−１〜３６−Ｍ）と、Ｍ個の印加部３８（３８−１〜３８−Ｍ）と、検出部４０と、出力部４２と、正側電圧発生部４４と、負側電圧発生部４６と、制御部４８とを備える。
Ｍ個の係数記憶部３６は、Ｍ個の係数に対応して設けられる。Ｍ個の係数記憶部３６のそれぞれは、正側抵抗５８と、負側抵抗６０と、正側整流部６２と、負側整流部６４とを含む。
正側抵抗５８のコンダクタンスは、正側係数（Ｇｐｉ）を表す。また、負側抵抗６０のコンダクタンスは、負側係数（Ｇｎｉ）を表す。従って、正側抵抗５８および負側抵抗６０は、コンダクタンスの差の符号が対応する係数（ｗｉ）を表す。
また、正側抵抗５８および負側抵抗６０は、抵抗変化型メモリである。抵抗変化型メモリは、所定電圧である読出電圧が印加された場合には、抵抗値は保持されたまま、通常の抵抗として機能する。しかし、抵抗変化型メモリは、読出電圧よりも高い所定の閾値以上の書込電圧が印加された場合、コンダクタンス（抵抗値の逆数）が、電圧の印加時間または電流量等に応じた値に変化する。
このような正側抵抗５８および負側抵抗６０は、情報（コンダクタンス）を記憶する不揮発メモリとして機能する。従って、正側抵抗５８は、正側係数（Ｇｐｉ）を記憶する記憶部として機能する。また、負側抵抗６０は、負側係数（Ｇｎｉ）を記憶する記憶部として機能する。これにより、Ｍ個の係数記憶部３６のそれぞれは、正側係数（Ｇｐｉ）および負側係数（Ｇｎｉ）を記憶する記憶部として機能する。
正側整流部６２は、正側抵抗５８に流れる電流の逆流を防止する。例えば、正側整流部６２は、印加部３８により正側抵抗５８に正の電圧が印加された場合には、正側抵抗５８に逆方向の電流が流れることを防止し、印加部３８により正側抵抗５８に負の電圧が印加された場合には、正側抵抗５８に順方向の電流が流れることを防止する。
負側整流部６４は、負側抵抗６０に流れる電流の逆流を防止する。例えば、負側整流部６４は、印加部３８により負側抵抗６０に正の電圧が印加された場合には、負側抵抗６０に逆方向の電流が流れることを防止し、印加部３８により負側抵抗６０に負の電圧が印加された場合には、負側抵抗６０に順方向の電流が流れることを防止する。
正側抵抗５８は、一端が正側ビットライン３２に接続され、他端が正側整流部６２を介して印加部３８に接続される。また、負側抵抗６０は、一端が負側ビットライン３４に接続され、他端が負側整流部６４を介して印加部３８に接続される。Ｍ個の係数記憶部３６のそれぞれは、演算モードにおいて、印加部３８から読出電圧が発生されたことに応じて、正側ビットライン３２に正側電流を出力し、負側ビットライン３４に負側電流を出力する。
Ｍ個の印加部３８は、Ｍ個の入力値に対応して設けられる。Ｍ個の印加部３８のそれぞれは、演算モードにおいて、Ｍ個の入力値のうちの対応する入力値を取得する。
演算モードにおいて、Ｍ個の印加部３８のそれぞれは、対応する入力値に応じた電圧を対応する係数記憶部３６に含まれる正側抵抗５８および負側抵抗６０に印加する。これにより、Ｍ個の印加部３８のそれぞれは、対応する係数記憶部３６から出力される正側電流と負側電流との大小関係を、対応する入力値と対応する係数との乗算結果に応じて変更させることができる。
本実施形態においては、Ｍ個の印加部３８のそれぞれは、対応する入力値に応じて正負が反転する読出電圧を、対応する係数記憶部３６に含まれる正側抵抗５８および負側抵抗６０に印加する。そして、Ｍ個の印加部３８のそれぞれは、正側抵抗５８に流れる電流を正側電流として係数記憶部３６から出力させ、負側抵抗６０に流れる電流を負側電流として係数記憶部３６から出力させる。これにより、Ｍ個の印加部３８のそれぞれは、対応する係数記憶部３６から出力される正側電流と負側電流との大小関係を、対応する入力値と対応する係数との乗算結果に応じて変更させることができる。
ここで、正側電流は、対応する入力値に応じて反転する符号を正側係数に乗じた正側乗算値を表す。また、負側電流は、対応する入力値に応じて反転する符号を負側係数に乗じた負側乗算値を表す。従って、Ｍ個の印加部３８のそれぞれは、対応する入力値に応じて反転する符号を対応する係数記憶部３６に含まれる正側係数に乗じた正側乗算値と、対応する入力値に応じて反転する符号を対応する係数記憶部３６に含まれる負側係数に乗じた負側乗算値とを算出する乗算部として機能することができる。
検出部４０は、Ｍ個の係数記憶部３６から出力された正側電流を合計した正側合計電流と、Ｍ個の係数記憶部３６から出力された負側電流を合計した負側合計電流とを比較する。
正側ビットライン３２には、Ｍ個の係数記憶部３６から出力された正側電流を合計した正側合計電流が流れる。また、負側ビットライン３４には、Ｍ個の係数記憶部３６から出力された負側電流を合計した負側合計電流が流れる。そこで、検出部４０は、正側ビットライン３２に流れる電流と、負側ビットライン３４に流れる電流とを比較する。そして、検出部４０は、正側合計電流が負側合計電流以上であるか、負側合計電流が正側合計電流より大きいか、正側合計電流と負側合計電流とが一致しているかを検出する。
本実施形態において、検出部４０は、正側比較部７２と、負側比較部７４と、一致判定部７６とを有する。正側比較部７２は、正側ビットライン３２に流れる電流（正側合計電流）が負側ビットライン３４に流れる電流（負側合計電流）より大きいか否かを判定する。負側比較部７４は、負側ビットライン３４に流れる電流（負側合計電流）が正側ビットライン３２に流れる電流（正側合計電流）より大きいか否かを判定する。一致判定部７６は、正側ビットライン３２に流れる電流（正側合計電流）と負側ビットライン３４に流れる電流（負側合計電流）とが所定範囲内で一致しているか否かを判定する。
なお、正側比較部７２、負側比較部７４および一致判定部７６の動作については、図１０を参照してさらに説明する。
出力部４２は、演算モードにおいて、正側合計電流と負側合計電流との差に応じた出力値を出力する。本実施形態においては、出力部４２は、正側合計電流が負側合計電流以上の場合に＋１の出力値（ｙ）を出力し、正側合計電流が負側合計電流より小さい場合に−１の出力値（ｙ）を出力する。
例えば、出力部４２は、一致判定部７６により正側合計電流と負側合計電流とが一致していると判定された場合または正側比較部７２により正側合計電流が負側合計電流より大きいと判定された場合、＋１の出力値を出力する。また、例えば、出力部４２は、一致判定部７６により正側合計電流と負側合計電流とが一致していないと判定された場合であって、且つ、負側比較部７４により負側合計電流が正側合計電流より大きいと判定された場合、−１の出力値を出力する。
ここで、正側合計電流は、Ｍ個の正側乗算値を合計した正側積和演算値を表す。また、負側合計電流は、Ｍ個の負側乗算値を合計した負側積和演算値を表す。従って、出力部４２は、演算モードにおいて、Ｍ個の正側乗算値を合計した正側積和演算値と、Ｍ個の負側乗算値を合計した負側積和演算値との差に応じた出力値を出力することができる。
正側電圧発生部４４は、正側ビットライン３２に電圧を印加する。正側電圧発生部４４は、演算モードにおいて、正側ビットライン３２に基準電圧（例えばグランド電位）を印加する。正側抵抗５８には、対応する印加部３８から発生された電圧と、正側電圧発生部４４から発生された電圧との電位差が印加される。従って、演算モードにおいて、正側抵抗５８には、印加部３８により発生された読出電圧が印加される。
また、正側抵抗５８の抵抗値を変化させる場合、正側電圧発生部４４は、制御部４８の制御に応じて、正側ビットライン３２に、基準電圧よりも低い電圧を印加する。従って、抵抗値を変化させる場合、正側抵抗５８には、読出電圧よりも高い書込電圧が印加される。
負側電圧発生部４６は、負側ビットライン３４に電圧を印加する。負側電圧発生部４６は、演算モードにおいて、負側ビットライン３４に基準電圧（例えばグランド電位）を印加する。負側抵抗６０には、対応する印加部３８から発生された電圧と、負側電圧発生部４６から発生された電圧との電位差が印加される。従って、演算モードにおいて、負側抵抗６０には、印加部３８により発生された読出電圧が印加される。
また、負側抵抗６０の抵抗値を変化させる場合、負側電圧発生部４６は、制御部４８の制御に応じて、負側ビットライン３４に、基準電圧よりも低い電圧を印加する。従って、抵抗値を変化させる場合、負側抵抗６０には、読出電圧よりも高い書込電圧が印加される。
制御部４８は、Ｍ個の印加部３８、正側電圧発生部４４および負側電圧発生部４６の動作を制御する。具体的には、制御部４８は、演算モードにおいて、正側電圧発生部４４および負側電圧発生部４６から基準電圧を発生させ、Ｍ個の印加部３８のそれぞれから対応する入力値に応じて符号が反転する読出電圧を発生させる。これにより、制御部４８は、Ｍ個の係数記憶部３６のそれぞれから、対応する入力値と対応する係数との乗算結果に応じて大小関係が反転する正側電流および負側電流を出力させることができる。
また、制御部４８は、初期化モードにおいて、Ｍ個の印加部３８、正側電圧発生部４４および負側電圧発生部４６の動作を制御して、Ｍ個の係数記憶部３６のそれぞれに含まれる正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとを一致させる。これにより、制御部４８は、初期化モードにおいて、Ｍ個の係数記憶部３６のそれぞれに含まれる正側係数と負側係数とを一致させることができる。なお、初期化モードにおける制御部４８のより詳細な制御動作については、図１１から図１５を参照してさらに説明する。
また、制御部４８は、設定モードにおいて、Ｍ個の係数を外部の学習装置等から受け取る。そして、制御部４８は、設定モードにおいて、Ｍ個の印加部３８、正側電圧発生部４４および負側電圧発生部４６の動作を制御して、Ｍ個の係数記憶部３６のうち設定対象の係数記憶部３６に含まれる正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとの大小関係を、対応する係数に応じて設定する。
例えば、制御部４８は、係数が＋１である場合、対応する係数記憶部３６に含まれる正側抵抗５８のコンダクタンスを、対応する係数記憶部３６に含まれる負側抵抗６０のコンダクタンスより大きくする。また、制御部４８は、係数が−１である場合、対応する係数記憶部３６に含まれる正側抵抗５８のコンダクタンスを、対応する係数記憶部３６に含まれる負側抵抗６０のコンダクタンスより小さくする。これにより、制御部４８は、設定モードにおいて、Ｍ個の係数記憶部３６のうちの設定対象の係数記憶部３６に含まれる正側係数と負側係数との大小関係を、対応する係数に応じて設定する。なお、設定モードにおける制御部４８のより詳細な制御動作については、図１６を参照してさらに説明する。
図５は、ｗｉ＝＋１、ｘｉ＝＋１の場合の係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第１コンダクタンス（Ｇ１＝１／Ｒ１）に設定される。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第２コンダクタンス（Ｇ２＝１／Ｒ２）に設定される。
また、第ｉの入力値（ｘｉ）が＋１である場合、印加部３８は、正側抵抗５８および負側抵抗６０に正の読出電圧（＋ＶＲ）を印加する。このような場合、正側抵抗５８には、正の第１電流値（＋Ｉ１）の電流が流れる。また、負側抵抗６０には、正の第２電流値（＋Ｉ２）の電流が流れる。なお、Ｇ１＞Ｇ２であるとする。従って、｜Ｉ１｜＞｜Ｉ２｜である。
また、正側抵抗５８に流れる電流は、正側ビットライン３２に出力される。また、負側抵抗６０に流れる電流は、負側ビットライン３４に出力される。
ここで、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）の算出結果は、第ｉの係数記憶部３６−ｉから正側ビットライン３２に出力される電流（Ｉｐ＿ｉ）と、第ｉの係数記憶部３６−ｉから負側ビットライン３４に出力される電流（Ｉｎ＿ｉ）との電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）で表される。
このため、図５の例では、Ｉｐ＿ｉ＝＋Ｉ１、Ｉｎ＿ｉ＝＋Ｉ２となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、正の値となる。従って、ｗｉ＝＋１、ｘｉ＝＋１の場合、演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
図６は、ｗｉ＝＋１、ｘｉ＝−１の場合の係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第１コンダクタンス（Ｇ１）に設定される。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第２コンダクタンス（Ｇ２）に設定される。
また、第ｉの入力値（ｘｉ）が−１である場合、印加部３８は、正側抵抗５８および負側抵抗６０に負の読出電圧（−ＶＲ）を印加する。このような場合、正側抵抗５８には、負の第１電流値（−Ｉ１）の電流が流れる。また負側抵抗６０には、負の第２電流値（−Ｉ２）の電流が流れる。
このため、図６の例では、Ｉｐ＿ｉ＝−Ｉ１、Ｉｎ＿ｉ＝−Ｉ２となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、負の値となる。従って、ｗｉ＝＋１、ｘｉ＝−１の場合、演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、−１を算出することができる。
図７は、ｗｉ＝−１、ｘｉ＝＋１の場合の係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第２コンダクタンス（Ｇ２）に設定される。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第１コンダクタンス（Ｇ１）に設定される。
また、第ｉの入力値（ｘｉ）が＋１である場合、印加部３８は、正側抵抗５８および負側抵抗６０に正の読出電圧（＋ＶＲ）を印加する。このような場合、正側抵抗５８には、正の第２電流値（＋Ｉ２）の電流が流れる。また、負側抵抗６０には、正の第１電流値（＋Ｉ１）の電流が流れる。
このため、図７の例では、Ｉｐ＿ｉ＝＋Ｉ２、Ｉｎ＿ｉ＝＋Ｉ１となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、負の値となる。従って、ｗｉ＝−１、ｘｉ＝＋１の場合、演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）は、−１を算出することができる。
図８は、ｗｉ＝−１、ｘｉ＝−１の場合の係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第２コンダクタンス（Ｇ２）に設定される。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第１コンダクタンス（Ｇ１）に設定される。
また、第ｉの入力値（ｘｉ）が−１である場合、印加部３８は、正側抵抗５８および負側抵抗６０に負の読出電圧（−ＶＲ）を印加する。このような場合、正側抵抗５８には、負の第２電流値（−Ｉ２）の電流が流れる。また、負側抵抗６０には、負の第１電流値（−Ｉ１）の電流が流れる。
このため、図８の例では、Ｉｐ＿ｉ＝−Ｉ２、Ｉｎ＿ｉ＝−Ｉ１となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、正の値となる。従って、ｗｉ＝−１、ｘｉ＝−１の場合、演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
以上から、Ｍ個の係数記憶部３６に含まれるＭ個の正側抵抗５８に流れる電流の合計（Ｉｐ＿１＋Ｉｐ＿２＋…＋Ｉｐ＿Ｍ）と、Ｍ個の係数記憶部３６に含まれるＭ個の負側抵抗６０に流れる電流の合計（Ｉｎ＿１＋Ｉｎ＿２＋…＋Ｉｎ＿Ｍ）との差分値｛（Ｉｐ＿１＋Ｉｐ＿２＋…＋Ｉｐ＿Ｍ）−（Ｉｎ＿１＋Ｉｎ＿２＋…＋Ｉｎ＿Ｍ）｝は、Ｍ個の入力値とＭ個の係数との積和演算（乗累算）結果を表す。
図９は、演算モードにおける演算部２０による動作を説明するための図である。演算モードにおいて、Ｍ個の正側抵抗５８のそれぞれには、対応する係数（ｘ）が＋１の場合には、正の読出電圧（＋ＶＲ）が印加され、対応する係数（ｘ）が−１の場合には、負の読出電圧（−ＶＲ）が印加される。また、正側ビットライン３２には、Ｍ個の係数記憶部３６から出力された正側電流（本例では、正側抵抗５８に流れる電流）の合計が出力される。
また、演算モードにおいて、Ｍ個の負側抵抗６０のそれぞれには、対応する係数（ｘ）が＋１の場合には、正の読出電圧（＋ＶＲ）が印加され、対応する係数（ｘ）が−１の場合には、負の読出電圧（−ＶＲ）が印加される。また、負側ビットライン３４には、Ｍ個の係数記憶部３６から出力された負側電流（本例では、負側抵抗６０に流れる電流）の合計が出力される。
検出部４０は、演算モードにおいて、正側ビットライン３２に流れる電流（Ｉｐ）と、負側ビットライン３４に流れる電流（Ｉｎ）とを比較する。出力部４２は、正側ビットライン３２に流れる電流（Ｉｐ）と負側ビットライン３４に流れる電流（Ｉｎ）とが一致する場合、または、正側ビットライン３２に流れる電流（Ｉｐ）が負側ビットライン３４に流れる電流（Ｉｎ）より大きい場合に、＋１の出力値（ｙ）を出力する。また、出力部４２は、正側ビットライン３２に流れる電流（Ｉｐ）と負側ビットライン３４に流れる電流（Ｉｎ）とが一致せず、且つ、負側ビットライン３４に流れる電流（Ｉｎ）が正側ビットライン３２に流れる電流（Ｉｐ）より大きい場合に、−１の出力値（ｙ）を出力する。
以上のように、演算モードにおいて、演算部２０は、２値のＭ個の入力値と２値のＭ個の係数とを積和演算し、積和演算した結果として２値で表される出力値を出力することができる。
図１０は、正側比較部７２、負側比較部７４および一致判定部７６の入出力特性を示す図である。
正側比較部７２は、正側ビットライン３２に流れる電流が、負側ビットライン３４に流れる電流から所定のオフセット（｜Δｉ｜）を減じた電流より大きいか否かを判定する。これにより、正側比較部７２は、図１０の（Ａ）に示すように、正側合計電流から負側合計電流を減じた電流差が、０からオフセットを減じた第１閾値（−Δｉ）以下である場合には、Ｌ論理を出力し、電流差が第１閾値（−Δｉ）より大きい場合には、Ｈ論理を出力する。
また、負側比較部７４は、負側ビットライン３４に流れる電流が、正側ビットライン３２に流れる電流から所定のオフセットを加えた電流より大きいか否かを判定する。これにより、負側比較部７４は、図１０の（Ｂ）に示すように、正側合計電流から負側合計電流を減じた電流差が、０からオフセットを加算した第２閾値（＋Δｉ）以下である場合には、Ｈ論理を出力し、電流差が第２閾値（＋Δｉ）より大きい場合には、Ｌ論理を出力する。
また、一致判定部７６は、正側比較部７２から出力された論理値と、負側比較部７４から出力された論理値とが一致する場合にＨ論理を出力し、不一致の場合にＬ論理を出力する。これにより、一致判定部７６は、図１０の（Ｃ）に示すように、正側合計電流と負側合計電流との電流差が、第１閾値（−Δｉ）から第２閾値（＋Δｉ）までの範囲内である場合に、Ｈ論理を出力し、他の場合にＬ論理を出力する。
従って、検出部４０は、Ｍ個の正側抵抗５８に流れる電流を合計した正側合計電流と、Ｍ個の負側抵抗６０に流れる電流を合計した負側合計電流が、一致しているか否かを判定することができる。さらに、検出部４０は、正側合計電流が負側合計電流より大きいか、負側合計電流が正側合計電流より大きいかを判定することができる。
なお、正側比較部７２は、正側合計電流から負側合計電流を減じた電流差が、０からオフセットを減じた第１閾値（−Δｉ）以下である場合には、Ｈ論理を出力し、電流差が第１閾値（−Δｉ）より大きい場合には、Ｌ論理を出力してもよい。また、負側比較部７４は、正側合計電流から負側合計電流を減じた電流差が、０からオフセットを加算した第２閾値（＋Δｉ）以下である場合には、Ｌ論理を出力し、電流差が第２閾値（＋Δｉ）より大きい場合には、Ｈ論理を出力する。このような場合も、一致判定部７６は、図１０の（Ｃ）に示すように、正側合計電流と負側合計電流との電流差が、第１閾値（−Δｉ）から第２閾値（＋Δｉ）までの範囲内である場合に、Ｈ論理を出力し、他の場合にＬ論理を出力する。
図１１は、初期化モードにおける演算部２０の処理フローを示す図である。また、図１２〜図１５は、図１１の説明において参照される図である。図１２は、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスの大小の検出動作を示す図である。図１３は、初期化時における正側抵抗５８への書き込み動作を示す図である。図１４は、初期化時における負側抵抗６０への書き込み動作を示す図である。図１５は、Ｍ個の係数記憶部３６の全てを初期化した後の状態を示す図である。
演算装置１０は、ユーザ等により指示がされた場合に、初期化モードに遷移する。演算部２０の制御部４８は、初期化モードにおいて、図１１に示すフローの流れで処理を実行する。
まず、Ｓ１１において、制御部４８は、Ｍ個の係数記憶部３６のうちの１つの係数記憶部３６を処理対象として選択する。
続いて、Ｓ１２において、制御部４８は、処理対象の係数記憶部３６について、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとが一致しているか、正側抵抗５８のコンダクタンスが負側抵抗６０のコンダクタンスより大きいか、負側抵抗６０のコンダクタンスが正側抵抗５８のコンダクタンスより大きいかを検出する。
例えば、Ｓ１２において、図１２に示すように、制御部４８は、処理対象の係数記憶部３６に含まれる正側抵抗５８および負側抵抗６０に正の読出電圧（＋ＶＲ）を印加する。処理対象の係数記憶部３６に含まれる正側抵抗５８および負側抵抗６０のみに正の読出電圧（＋ＶＲ）を印加した場合、検出部４０は、処理対象の係数記憶部３６に含まれる正側抵抗５８のコンダクタンスと負側抵抗６０とのコンダクタンスとの大小関係を検出することができる。そして、制御部４８は、検出部４０による検出結果を取得する。
続いて、Ｓ１３において、制御部４８は、検出部４０から取得した検出結果に基づき、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとが一致しているか否かを判定する。例えば、制御部４８は、一致判定部７６によりＨ論理が出力された場合、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとが一致していると判定する。
制御部４８は、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとが一致していない場合（Ｓ１３のＮｏ）、処理をＳ１４に進める。Ｓ１４において、制御部４８は、検出部４０から取得した検出結果に基づき、正側抵抗５８のコンダクタンスが負側抵抗６０のコンダクタンスより大きいか、または、負側抵抗６０のコンダクタンスが正側抵抗５８のコンダクタンスより大きいかを判定する。例えば、制御部４８は、一致判定部７６からＬ論理が出力され、且つ、正側比較部７２からＨ論理が出力された場合、正側抵抗５８のコンダクタンスが負側抵抗６０のコンダクタンスより大きいと判定する。また、制御部４８は、一致判定部７６からＬ論理が出力され、且つ、負側比較部７４からＨ論理が出力された場合、負側抵抗６０のコンダクタンスが正側抵抗５８のコンダクタンスより大きいと判定する。
制御部４８は、正側抵抗５８のコンダクタンスが負側抵抗６０のコンダクタンスより大きいと判定した場合（Ｓ１４のＹｅｓ）、処理をＳ１５に進める。また、制御部４８は、負側抵抗６０のコンダクタンスが正側抵抗５８のコンダクタンスより大きいと判定した場合（Ｓ１４のＮｏ）、処理をＳ１６に進める。
Ｓ１５において、制御部４８は、正側抵抗５８のコンダクタンスを所定量小さくする。具体的には、制御部４８は、処理対象の係数記憶部３６に含まれる正側抵抗５８に読出電圧より大きい、所定の閾値以上の書込電圧を印加して、正側抵抗５８のコンダクタンスを変化させる。
例えば、図１３に示すように、制御部４８は、対応する印加部３８から正の読出電圧（＋ＶＲ）を発生させると同時に、正側電圧発生部４４から基準電圧（例えばグランド電位）より低い第１電圧を発生させる。これにより、制御部４８は、読出電圧（ＶＲ）より大きい書込電圧を正側抵抗５８に印加することができる。なお、制御部４８は、読出電圧（ＶＲ）を発生させている期間中において、正側電圧発生部４４から、最初に基準電圧より高い電圧を所定期間発生させ、続いて、第１電圧を発生させてもよい。これにより、制御部４８は、正側抵抗５８のコンダクタンスを微小量ずつ変化させることができる。
なお、本実施形態では、Ｓ１５において、制御部４８は、正側抵抗５８のコンダクタンスを所定量小さくしている。これに代えて、Ｓ１５において、制御部４８は、負側抵抗６０のコンダクタンスを所定量大きくしてもよい。
Ｓ１６において、制御部４８は、負側抵抗６０のコンダクタンスを所定量小さくする。具体的には、制御部４８は、処理対象の係数記憶部３６に含まれる負側抵抗６０に読出電圧より大きい書込電圧を印加して、負側抵抗６０のコンダクタンスを変化させる。
例えば、図１４に示すように、制御部４８は、対応する印加部３８から正の読出電圧（＋ＶＲ）を発生させると同時に、負側電圧発生部４６から基準電圧より低い電圧を発生させる。これにより、制御部４８は、読出電圧（ＶＲ）より大きい書込電圧を負側抵抗６０に印加することができる。なお、制御部４８は、読出電圧（ＶＲ）を発生させている期間中において、負側電圧発生部４６から、最初に基準電圧より高い電圧を所定期間発生させ、続いて、基準電圧より低い電圧を発生させてもよい。これにより、制御部４８は、負側抵抗６０のコンダクタンスを微小量ずつ変化させることができる。
なお、本実施形態では、Ｓ１６において、制御部４８は、負側抵抗６０のコンダクタンスを所定量小さくしている。これに代えて、Ｓ１６において、制御部４８は、正側抵抗５８のコンダクタンスを所定量大きくしてもよい。
Ｓ１５またはＳ１６を終えると、制御部４８は、処理をＳ１２に戻す。そして、制御部４８は、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとが一致するまで、Ｓ１２からＳ１６までの処理を繰り返して、正側抵抗５８または負側抵抗６０のコンダクタンスを徐々に小さくする。
正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとが一致した場合（Ｓ１３のＹｅｓ）、制御部４８は、処理をＳ１７に進める。Ｓ１７において、制御部４８は、Ｍ個の係数記憶部３６の全てについて、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとを一致させたか否かを判断する。まだ、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとを一致させていない係数記憶部３６が残っている場合（Ｓ１７のＮｏ）、制御部４８は、処理をＳ１１に戻して、Ｓ１１から処理を繰り返す。
例えば、図１５に示すように、制御部４８は、Ｍ個の係数記憶部３６の全てについて、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとを一致させる。そして、制御部４８は、Ｍ個の係数記憶部３６の全てについて、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとを一致させた場合（Ｓ１７のＹｅｓ）、本フローを終了する。
図１６は、設定モードにおける演算部２０による動作を示す図である。設定モードにおいて、制御部４８は、更新対象の係数記憶部３６に対して、係数を記憶させる。この場合、制御部４８は、更新対象の係数記憶部３６に含まれる正側抵抗５８または負側抵抗６０のうちの一方のコンダクタンスを変更し、他方のコンダクタンスは変更しない。
例えば、係数が＋１である場合、制御部４８は、更新対象の係数記憶部３６に含まれる正側抵抗５８のコンダクタンスを大きくして、負側抵抗６０のコンダクタンスは変更しない。これに代えて、係数が＋１である場合、制御部４８は、更新対象の係数記憶部３６に含まれる負側抵抗６０のコンダクタンスを小さくして、正側抵抗５８のコンダクタンスは変更しなくてもよい。
また、例えば、係数が−１である場合、制御部４８は、更新対象の係数記憶部３６に含まれる負側抵抗６０のコンダクタンスを大きくして、正側抵抗５８のコンダクタンスは変更しない。これに代えて、係数が−１である場合、制御部４８は、更新対象の係数記憶部３６に含まれる正側抵抗５８のコンダクタンスを小さくして、負側抵抗６０のコンダクタンスは変更しなくてもよい。これにより、制御部４８は、更新対象の係数記憶部３６に含まれる正側抵抗５８および負側抵抗６０のコンダクタンスを、係数に応じた大小関係に設定することができる。
また、設定モードにおいて、制御部４８は、複数の係数を取得し、複数の係数を複数の更新対象の係数記憶部３６に対して同時に記憶させてもよい。
この場合、図１６の（Ａ）に示すように、制御部４８は、＋１の係数に対応する１または複数の印加部３８から正の読出電圧（＋ＶＲ）を発生させ、他の印加部３８から基準電圧（例えばグランド電位）を発生させる。これと同時に、制御部４８は、正側電圧発生部４４から基準電圧より低い第１電圧を発生させ、負側電圧発生部４６から基準電圧を発生させる。これにより、制御部４８は、＋１の係数を記憶させる１または複数の係数記憶部３６に含まる正側抵抗５８のコンダクタンスを大きくして、負側抵抗６０のコンダクタンスを変更させないようにすることができる。
続いて、図１６の（Ｂ）に示すように、制御部４８は、−１の係数に対応する１または複数の印加部３８から正の読出電圧（＋ＶＲ）を発生させ、他の印加部３８から基準電圧を発生させる。これと同時に、制御部４８は、負側電圧発生部４６から基準電圧より低い第１電圧を発生させ、正側電圧発生部４４から基準電圧を発生させる。これにより、制御部４８は、−１の係数を記憶させる１または複数の係数記憶部３６に含まる負側抵抗６０のコンダクタンスを大きくして、正側抵抗５８のコンダクタンスを変更させないようにすることができる。
なお、制御部４８は、読出電圧（ＶＲ）を発生させている期間中において、正側電圧発生部４４または負側電圧発生部４６から、最初に基準電圧より高い電圧を所定期間発生させ、続いて、基準電圧より低い電圧を発生させてもよい。これにより、制御部４８は、正側抵抗５８または負側抵抗６０のコンダクタンスを微小量ずつ変化させることができる。
また、制御部４８は、更新対象の係数記憶部３６に対して係数を記憶させる処理をした後、更新対象の係数記憶部３６に設定された正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスの差を読み出してもよい。続いて、制御部４８は、読み出したコンダクタンスの差を検証する。そして、制御部４８は、検証の結果、正しいコンダクタンスの差が記憶されていない場合には、再度、更新対象の係数記憶部３６に含まれる正側抵抗５８または負側抵抗６０のコンダクタンスをさらに変更する。これにより、制御部４８は、正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとの差を精度良く設定することができる。
以上のように、本実施形態に係る演算装置１０は、初期化モードにおいて、Ｍ個の係数記憶部３６に含まれる正側抵抗５８のコンダクタンスと負側抵抗６０のコンダクタンスとを一致させる。そして、演算装置１０は、設定モードにおいて、記憶させる係数の値に応じて、正側抵抗５８または負側抵抗６０の一方のコンダクタンスを変更し、他方のコンダクタンスを変更しない。これにより、本実施形態に係る演算装置１０は、正側抵抗５８または負側抵抗６０の一方のコンダクタンスを変更することにより係数を設定することができるので、簡易な処理で精度良く係数を設定することができる。
なお、制御部４８は、定期的に初期化モードを実行してもよい。この場合、制御部４８は、設定モードで正側抵抗５８および負側抵抗６０のうち一方のコンダクタンスを小さくしていれば、初期化モードにおいて、設定モードでコンダクタンスを小さくした方のコンダクタンスを大きくすることにより、正側抵抗５８と負側抵抗６０とのコンダクタンスを一致させる。あるいは、制御部４８は、設定モードで正側抵抗５８および負側抵抗６０のうち一方のコンダクタンスを大きくしていれば、初期化モードにおいて、設定モードでコンダクタンスを大きくした方のコンダクタンスを小さくすることにより、正側抵抗５８と負側抵抗６０とのコンダクタンスを一致させる。これにより、制御部４８は、初期化モードと設定モードとが繰り返させた場合であっても、正側抵抗５８のコンダクタンスおよび負側抵抗６０のコンダクタンスが工場設定時からずれないようにすることができる。
（変形例）
つぎに、変形例に係る演算装置１０について説明する。変形例に係る演算装置１０は、図１から図１６を参照して説明した演算装置１０と略同一の機能および構成を有するので、略同一の機能を有するブロックには同一の符号を付け、相違点を除き詳細な説明を省略する。第２変形例についても同様である。
図１７は、ｗｉ＝＋１、ｘｉ＝＋１の場合の、変形例に係る係数記憶部３６の動作を説明するための図である。
変形例に係るＭ個の係数記憶部３６のそれぞれは、切替部８２をさらに含む。切替部８２は、外部からの制御に応じて、ストレート接続状態とクロス接続状態とを切り替える。
切替部８２は、ストレート接続状態の場合、正側抵抗５８の一端を正側ビットライン３２に接続し、負側抵抗６０の一端を負側ビットライン３４に接続する。これにより、切替部８２は、ストレート接続状態において、正側抵抗５８に流れる電流を正側電流として正側ビットライン３２に出力し、負側抵抗６０に流れる電流を負側電流として負側ビットライン３４に出力することができる。
また、切替部８２は、クロス接続状態の場合、正側抵抗５８の一端を負側ビットライン３４に接続し、負側抵抗６０の一端を正側ビットライン３２に接続する。これにより、切替部８２は、ストレート接続状態において、負側抵抗６０に流れる電流を正側電流として正側ビットライン３２に出力し、正側抵抗５８に流れる電流を負側電流として負側ビットライン３４に出力することができる。
また、変形例において、Ｍ個の印加部３８のそれぞれは、演算モードにおいて、対応する係数記憶部３６に含まれる正側抵抗５８および負側抵抗６０に対して、正の読出電圧（ＶＲ）を印加する。また、変形例において、正側整流部６２は、正側抵抗５８に逆方向の電流が流れることを防止する。また、変形例において、負側整流部６４は、負側抵抗６０に逆方向の電流が流れることを防止する。
変形例において、Ｍ個の印加部３８のそれぞれは、対応する係数記憶部３６に含まれる切替部８２を、対応する入力値に応じて、ストレート接続をさせるか、クロス接続をさせるかを切り替える。
例えば、図１７に示すように、第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第１コンダクタンス（Ｇ１＝１／Ｒ１）に設定される。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第２コンダクタンス（Ｇ２＝１／Ｒ２）に設定される。
この場合、正側抵抗５８には、正の第１電流値（＋Ｉ１）の電流が流れる。また、負側抵抗６０には、正の第２電流値（＋Ｉ２）の電流が流れる。なお、Ｇ１＞Ｇ２であるとする。従って、｜Ｉ１｜＞｜Ｉ２｜である。
第ｉの入力値（ｘｉ）が＋１である場合、印加部３８は、切替部８２をストレート接続させる。従って、正側抵抗５８に流れる電流は、正側ビットライン３２に出力される。また、負側抵抗６０に流れる電流は、負側ビットライン３４に出力される。
ここで、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）の算出結果は、第ｉの係数記憶部３６−ｉから正側ビットライン３２に出力される電流（Ｉｐ＿ｉ）と、第ｉの係数記憶部３６−ｉから負側ビットライン３４に出力される電流（Ｉｎ＿ｉ）との電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）で表される。
このため、図１７の例では、Ｉｐ＿ｉ＝＋Ｉ１、Ｉｎ＿ｉ＝＋Ｉ２となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、正の値となる。従って、ｗｉ＝＋１、ｘｉ＝＋１の場合、変形例に係る演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
図１８は、ｗｉ＝＋１、ｘｉ＝−１の場合、変形例に係る係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第１コンダクタンス（Ｇ１）に設定される。第ｉの係数（ｗｉ）が＋１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第２コンダクタンス（Ｇ２）に設定される。
第ｉの入力値（ｘｉ）が−１である場合、印加部３８は、切替部８２をクロス接続させる。従って、正側抵抗５８に流れる電流は、負側ビットライン３４に出力される。また、負側抵抗６０に流れる電流は、正側ビットライン３２に出力される。
このため、図１８の例では、Ｉｐ＿ｉ＝Ｉ２、Ｉｎ＿ｉ＝Ｉ１となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、負の値となる。従って、ｗｉ＝＋１、ｘｉ＝−１の場合、変形例に係る演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、−１を算出することができる。
図１９は、ｗｉ＝−１、ｘｉ＝＋１の場合の、変形例に係る係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第２コンダクタンス（Ｇ２）に設定される。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第１コンダクタンス（Ｇ１）に設定される。
この場合、正側抵抗５８には、正の第２電流値（＋Ｉ２）の電流が流れる。また、負側抵抗６０には、正の第１電流値（＋Ｉ１）の電流が流れる。
第ｉの入力値（ｘｉ）が＋１である場合、印加部３８は、切替部８２をストレート接続させる。従って、正側抵抗５８に流れる電流は、正側ビットライン３２に出力される。また、負側抵抗６０に流れる電流は、負側ビットライン３４に出力される。
このため、図１９の例では、Ｉｐ＿ｉ＝＋Ｉ２、Ｉｎ＿ｉ＝＋Ｉ１となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、負の値となる。従って、ｗｉ＝−１、ｘｉ＝＋１の場合、変形例に係る演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）は、−１を算出することができる。
図２０は、ｗｉ＝−１、ｘｉ＝−１の場合の、変形例に係る係数記憶部３６の動作を説明するための図である。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる正側抵抗５８は、第２コンダクタンス（Ｇ２）に設定される。第ｉの係数（ｗｉ）が−１である場合、第ｉの係数記憶部３６−ｉに含まれる負側抵抗６０は、第１コンダクタンス（Ｇ１）に設定される。
第ｉの入力値（ｘｉ）が−１である場合、印加部３８は、切替部８２をクロス接続させる。従って、正側抵抗５８に流れる電流は、負側ビットライン３４に出力される。また、負側抵抗６０に流れる電流は、正側ビットライン３２に出力される。
このため、図２０の例では、Ｉｐ＿ｉ＝−Ｉ２、Ｉｎ＿ｉ＝−Ｉ１となり、電流差（Ｉｐ＿ｉ−Ｉｎ＿ｉ）は、正の値となる。従って、ｗｉ＝−１、ｘｉ＝−１の場合、変形例に係る演算部２０は、第ｉの係数（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
以上から、Ｍ個の係数記憶部３６に含まれるＭ個の正側抵抗５８に流れる電流の合計（Ｉｐ＿１＋Ｉｐ＿２＋…＋Ｉｐ＿Ｍ）と、Ｍ個の係数記憶部３６に含まれるＭ個の負側抵抗６０に流れる電流の合計（Ｉｎ＿１＋Ｉｎ＿２＋…＋Ｉｎ＿Ｍ）との差分値｛（Ｉｐ＿１＋Ｉｐ＿２＋…＋Ｉｐ＿Ｍ）−（Ｉｎ＿１＋Ｉｎ＿２＋…＋Ｉｎ＿Ｍ）｝は、Ｍ個の入力値とＭ個の係数との積和演算（乗累算）結果を表す。
以上のように、変形例において、Ｍ個の印加部３８のそれぞれは、読出電圧を正側抵抗５８および負側抵抗６０に印加するとともに、対応する入力値に応じて、正側抵抗５８に流れる電流を正側電流とし且つ負側抵抗６０に流れる電流を負側電流として出力させるか、または、負側抵抗６０に流れる電流を正側電流とし且つ正側抵抗５８に流れる電流を負側電流として出力させるかを切り替える。このようにしても、Ｍ個の印加部３８のそれぞれは、対応する係数記憶部３６から出力される正側電流と負側電流との大小関係を、対応する入力値と対応する係数との乗算結果に応じて変更させることができる。
本発明の実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 演算装置
２０ 演算部
２２ 設定部
３２ 正側ビットライン
３４ 負側ビットライン
３６ 係数記憶部
３８ 印加部
４０ 検出部
４２ 出力部
４４ 正側電圧発生部
４６ 負側電圧発生部
４８ 制御部
５８ 正側抵抗
６０ 負側抵抗
６２ 正側整流部
６４ 負側整流部
７２ 正側比較部
７４ 負側比較部
７６ 一致判定部
８２ 切替部

Claims (9)

  1. Ｍ個（Ｍは２以上の整数）の入力値と、前記Ｍ個の入力値に一対一で対応するＭ個の係数とを積和演算する演算装置であって、
    前記Ｍ個の係数に対応して設けられ、差の符号が対応する係数を表す正側係数および負側係数を、それぞれが含むＭ個の係数記憶部と、
    前記Ｍ個の入力値に対応して設けられ、対応する入力値に応じて反転する符号を対応する係数記憶部に含まれる前記正側係数に乗じた正側乗算値と、対応する入力値に応じて反転する符号を対応する係数記憶部に含まれる前記負側係数に乗じた負側乗算値とを、それぞれが算出するＭ個の乗算部と、
    Ｍ個の前記正側乗算値を合計した正側積和演算値と、Ｍ個の前記負側乗算値を合計した負側積和演算値との差に応じた出力値を出力する出力部と、
    制御部と、
    を備え、
    前記制御部は、
    初期化モードにおいて、前記Ｍ個の係数記憶部のそれぞれに含まれる前記正側係数と前記負側係数とを一致させ、
    設定モードにおいて、前記Ｍ個の係数記憶部のうちの設定対象の係数記憶部に含まれる前記正側係数と前記負側係数との大小関係を、対応する係数に応じて設定する
    演算装置。
  2. Ｍ個（Ｍは２以上の整数）の入力値と、前記Ｍ個の入力値に一対一で対応するＭ個の係数とを積和演算する演算装置であって、
    前記Ｍ個の係数に対応して設けられ、コンダクタンスの差の符号が対応する係数を表す正側抵抗および負側抵抗をそれぞれが含むＭ個の係数記憶部と、
    前記Ｍ個の入力値に対応して設けられ、対応する入力値に応じた電圧を対応する係数記憶部に含まれる前記正側抵抗および前記負側抵抗に印加することにより、対応する係数記憶部から出力される正側電流と負側電流との大小関係を、対応する入力値と対応する係数との乗算結果に応じて変更させるＭ個の印加部と、
    Ｍ個の係数記憶部から出力される前記正側電流を合計した正側合計電流と、Ｍ個の係数記憶部から出力される前記負側電流を合計した負側合計電流との差に応じた出力値を出力する出力部と、
    制御部と、
    を備え、
    前記制御部は、
    初期化モードにおいて、前記Ｍ個の係数記憶部のそれぞれに含まれる前記正側抵抗のコンダクタンスと前記負側抵抗のコンダクタンスとを一致させ、
    設定モードにおいて、前記Ｍ個の係数記憶部のうち設定対象の係数記憶部に含まれる前記正側抵抗のコンダクタンスと前記負側抵抗のコンダクタンスとの大小関係を、対応する係数に応じて設定する
    演算装置。
  3. 前記Ｍ個の印加部のそれぞれは、対応する入力値に応じて正負が反転する電圧を対応する係数記憶部に含まれる前記正側抵抗および前記負側抵抗に印加し、前記正側抵抗に流れる電流を前記正側電流として出力させ、前記負側抵抗に流れる電流を前記負側電流として出力させる
    請求項２に記載の演算装置。
  4. 前記Ｍ個の印加部のそれぞれは、前記正側抵抗および前記負側抵抗に所定の電圧を印加し、対応する入力値に応じて、前記正側抵抗に流れる電流を前記正側電流とし且つ前記負側抵抗に流れる電流を前記負側電流として出力させるか、または、前記負側抵抗に流れる電流を前記正側電流とし且つ前記正側抵抗に流れる電流を前記負側電流として出力させるかを切り替える
    請求項２に記載の演算装置。
  5. 前記制御部は、前記設定モードにおいて、前記設定対象の係数記憶部に含まれる前記正側抵抗および前記負側抵抗のうち、一方のコンダクタンスを変更する
    請求項２から４の何れか１項に記載の演算装置。
  6. 前記制御部は、前記設定モードにおいて、前記設定対象の係数記憶部に含まれる前記正側抵抗のコンダクタンスと前記負側抵抗のコンダクタンスとの差の絶対値を、予め定められた値とする
    請求項２から５の何れか１項に記載の演算装置。
  7. 前記初期化モードにおいて、前記Ｍ個の係数記憶部のそれぞれ毎に、前記制御部は、
    前記正側抵抗に所定電圧を印加して流れる電流と、前記負側抵抗に前記所定電圧を印加して流れる電流との差を検出し、
    検出した前記差の絶対値が予め定められた値以下となるように、前記正側抵抗または前記負側抵抗のうちの何れか一方のコンダクタンスを変更する
    請求項２から６の何れか１項に記載の演算装置。
  8. 前記Ｍ個の係数記憶部のそれぞれに含まれる前記正側抵抗および前記負側抵抗は、抵抗変化型メモリである
    請求項２から７の何れか１項に記載の演算装置。
  9. 前記Ｍ個の入力値、前記Ｍ個の係数および前記出力値は、２値である
    請求項１から８の何れか１項に記載の演算装置。
JP2018136058A 2018-07-19 2018-07-19 演算装置 Active JP6970058B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018136058A JP6970058B2 (ja) 2018-07-19 2018-07-19 演算装置
US16/294,980 US10891108B2 (en) 2018-07-19 2019-03-07 Calculation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018136058A JP6970058B2 (ja) 2018-07-19 2018-07-19 演算装置

Publications (2)

Publication Number Publication Date
JP2020013398A JP2020013398A (ja) 2020-01-23
JP6970058B2 true JP6970058B2 (ja) 2021-11-24

Family

ID=69161872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018136058A Active JP6970058B2 (ja) 2018-07-19 2018-07-19 演算装置

Country Status (2)

Country Link
US (1) US10891108B2 (ja)
JP (1) JP6970058B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6989552B2 (ja) 2019-03-18 2022-01-05 株式会社東芝 ニューラルネットワーク装置
JP7034984B2 (ja) 2019-05-30 2022-03-14 株式会社東芝 演算装置
JP7132196B2 (ja) 2019-09-17 2022-09-06 株式会社東芝 処理装置および推論システム
JP2021111142A (ja) 2020-01-10 2021-08-02 株式会社東芝 演算装置
JP7358312B2 (ja) 2020-08-25 2023-10-10 株式会社東芝 記憶装置およびニューラルネットワーク装置
JP2022129104A (ja) 2021-02-24 2022-09-05 株式会社東芝 不揮発性メモリデバイス

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02236659A (ja) 1989-03-09 1990-09-19 Fujitsu Ltd 半導体情報処理装置
JPH02292602A (ja) 1989-05-02 1990-12-04 Nkk Corp 人工神経回路網型ファジィ制御装置
JPH03120726A (ja) * 1989-10-03 1991-05-22 Nippon Telegr & Teleph Corp <Ntt> 積和演算半導体装置
JPH0467259A (ja) * 1990-07-09 1992-03-03 Hitachi Ltd 情報処理装置
JPH05204885A (ja) 1992-01-30 1993-08-13 Fujitsu Ltd ニューラルネットワークの学習高速化装置及び方法
US8812418B2 (en) * 2009-06-22 2014-08-19 Hewlett-Packard Development Company, L.P. Memristive adaptive resonance networks
FR2977350B1 (fr) * 2011-06-30 2013-07-19 Commissariat Energie Atomique Reseau de neurones artificiels a base de dispositifs memristifs complementaires
KR20150034900A (ko) 2013-09-26 2015-04-06 삼성전자주식회사 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US9934463B2 (en) * 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
US11501130B2 (en) * 2016-09-09 2022-11-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
EP3373304A3 (en) * 2016-11-21 2018-12-05 IMEC vzw Semiconductor cell for performing a logic xnor or xor operation
JP6773621B2 (ja) 2017-09-15 2020-10-21 株式会社東芝 演算装置
US10678508B2 (en) * 2018-03-23 2020-06-09 Amazon Technologies, Inc. Accelerated quantized multiply-and-add operations

Also Published As

Publication number Publication date
US10891108B2 (en) 2021-01-12
US20200026496A1 (en) 2020-01-23
JP2020013398A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6970058B2 (ja) 演算装置
US10748064B2 (en) Deep neural network training with native devices
JP6773621B2 (ja) 演算装置
CN108205705B (zh) 用于归一化神经网络设备的装置和方法
JP6786466B2 (ja) ニューラルネットワーク装置および演算装置
US20230113231A1 (en) Methods and systems of operating a neural circuit in a non-volatile memory based neural-array
JP4620943B2 (ja) 積和演算回路及びその方法
US20180005115A1 (en) Accelerated neural network training using a pipelined resistive processing unit architecture
AU2020274862B2 (en) Training of artificial neural networks
KR102542532B1 (ko) 혼합-신호 연산 시스템 및 방법
US11263516B2 (en) Neural network based acoustic models for speech recognition by grouping context-dependent targets
US11010560B2 (en) Multi-resolution convolutional neural networks for sequence modeling
US11018186B2 (en) Multi-level memristor elements
US10340002B1 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
US20200327287A1 (en) Electronic system for performing a multiplication of a matrix and vector
CN111448573A (zh) 用于混合信号计算的系统和方法
CN111052154A (zh) 使用非易失性半导体存储元件的神经网络运算电路
US11341413B2 (en) Leveraging class information to initialize a neural network language model
US9934838B1 (en) Pulse shaping unit cell and array for symmetric updating
KR20230029759A (ko) 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성
JP2023502204A (ja) クロスバー・アレイ構造を有するニューロモルフィック・デバイス
WO2021197562A1 (en) Efficient initialization of quantized neural networks
WO2022003459A1 (en) Training of oscillatory neural networks
EP0795160A1 (en) Neural network binary code recognizer
JP7346373B2 (ja) 演算装置およびニューラルネットワーク装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211028

R151 Written notification of patent or utility model registration

Ref document number: 6970058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151