JP6956191B2 - 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路 - Google Patents

不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路 Download PDF

Info

Publication number
JP6956191B2
JP6956191B2 JP2019540951A JP2019540951A JP6956191B2 JP 6956191 B2 JP6956191 B2 JP 6956191B2 JP 2019540951 A JP2019540951 A JP 2019540951A JP 2019540951 A JP2019540951 A JP 2019540951A JP 6956191 B2 JP6956191 B2 JP 6956191B2
Authority
JP
Japan
Prior art keywords
data line
circuit
current
volatile semiconductor
semiconductor storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019540951A
Other languages
English (en)
Other versions
JPWO2019049842A1 (ja
Inventor
礼司 持田
河野　和幸
百合子 早田
小野　貴史
中山　雅義
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2019049842A1 publication Critical patent/JPWO2019049842A1/ja
Application granted granted Critical
Publication of JP6956191B2 publication Critical patent/JP6956191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4814—Non-logic devices, e.g. operational amplifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/79—Array wherein the access device being a transistor

Description

本発明は低消費電力化と大規模集積化が可能な不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路、及びその動作方法に関する。
情報通信技術の進展に伴い、あらゆるものがインターネットに繋がるＩｏＴ（Internet of Things）技術の到来が注目されている。ＩｏＴ技術において、様々な電子機器がインターネットに接続されることで、機器の高性能化が期待されているが、更なる高性能化を実現する技術として、電子機器自らが学習と判断を行う人工知能（ＡＩ：Artificial Intelligence）技術の研究開発が近年活発に行われている。
人工知能技術において、人間の脳型情報処理を工学的に模倣したニューラルネットワーク技術が用いられており、ニューラルネットワーク演算を高速、低消費電力で実行する半導体集積回路の研究開発が盛んに行われている。
特許文献１、特許文献２、特許文献３に従来のニューラルネットワーク演算回路が開示されている。ニューラルネットワークは複数の入力が各々異なる結合重み係数を有するシナプスと呼ばれる結合で接続されたニューロンと呼ばれる（パーセプトロンと呼ばれる場合もある）基本素子から構成され、複数のニューロンが互いに接続されることで、画像認識や音声認識といった高度な演算処理を行うことができる。ニューロンでは各入力と各結合重み係数を乗算したものを全て加算した積和演算動作が行われる。積和演算回路は入力や結合重み係数を格納するメモリ回路とレジスタ回路、入力と結合重み係数を乗算する乗算回路、乗算結果を累積加算するアキュムレータ回路、及びこれらの回路ブロックの動作制御を行う制御回路で構成される。これらの回路ブロックは全てデジタル回路で構成される。
非特許文献１に、従来のニューラルネットワーク演算回路の別の例が開示されている。ニューラルネットワーク演算回路をアナログ抵抗値（コンダクタンス）が設定可能な抵抗変化型不揮発性メモリを用いて構成するものであり、不揮発性メモリ素子に結合重み係数に相当するアナログ抵抗値（コンダクタンス）を格納し、入力に相当するアナログ電圧値を不揮発性メモリ素子に印加し、このとき不揮発性メモリ素子に流れるアナログ電流値を利用する。ニューロンで行われる積和演算動作は、複数の結合重み係数を複数の不揮発性メモリ素子にアナログ抵抗値（コンダクタンス）として格納し、複数の入力に相当する複数のアナログ電圧値を複数の不揮発性メモリ素子に印加し、複数の不揮発性メモリ素子に流れる電流値を合算したアナログ電流値を積和演算結果として得ることで行われる。不揮発性メモリ素子を用いたニューラルネットワーク演算回路は、前述したデジタル回路で構成されるニューラルネットワーク演算回路と比べて低消費電力化が実現可能であり、アナログ抵抗値（コンダクタンス）が設定可能な抵抗変化型不揮発性メモリのプロセス開発、デバイス開発、及び回路開発が近年盛んに行われている。
特開２００１−１８８７６７号公報 特開平６−２５９５８５号公報 特開平２−１６１５５６号公報 特開２００９−２８２７８２号公報
しかしながら、前述した従来のニューラルネットワーク演算回路は以下に示す課題があった。
すなわち、デジタル回路で構成されるニューラルネットワーク演算回路では、大量の入力データや結合重み係数を格納する大容量のメモリ回路とレジスタ回路、浮動小数点で表現される大量の入力データと結合重み係数との積和演算を行う大規模な乗算回路と累積加算回路（アキュムレータ回路）、及びこれらの回路ブロックの動作制御を行う大規模な制御回路を搭載する必要があり、半導体集積回路のチップ面積増大が課題である。
また、高速なニューラルネットワーク演算を行うためには、大規模なデジタル回路を高速に動作させる必要があるため、現在製品化されているニューラルネットワーク演算処理を行う半導体チップの消費電力は数十ワットから数百ワットと非常に大きく、半導体集積回路の消費電力増大も課題である。
一方、デジタル回路で構成されるニューラルネットワーク演算回路の消費電力増大を解決するために、近年アナログ抵抗値（コンダクタンス）が設定可能な抵抗変化型不揮発性メモリを用いたニューラルネットワーク演算回路が提案されている。複数の結合重み係数を複数の不揮発性メモリ素子にアナログ抵抗値（コンダクタンス）として格納し、複数の入力データに相当する複数のアナログ電圧値を複数の不揮発性メモリ素子に印加し、複数の不揮発性メモリ素子に流れる電流値を合算したアナログ電流値を積和演算結果として得ることで積和演算動作を行うものであるが、ニューロンの入力及び出力がアナログ電圧値あるいはアナログ電流値で処理されるため、ニューロン間の情報伝達をアナログ値で行う必要があり、大規模なニューラルネットワーク回路の半導体集積回路への実装が困難、すなわち大規模な半導体集積化が困難という課題がある。ニューロン間の情報伝達を容易にするために、アナログ−デジタル変換回路（ＡＤコンバータ回路）を用いてアナログ値をデジタル値に変換して情報伝達を行い、デジタル−アナログ変換回路（ＤＡコンバータ回路）を用いてデジタル値をアナログ値に変換する方法もあるが、大規模なニューラルネットワーク回路を実装する場合、アナログ−デジタル変換回路（ＡＤコンバータ回路）とデジタル−アナログ変換回路（ＤＡコンバータ回路）を大量に搭載する必要があり、半導体集積化の観点から好ましくない。
また、特許文献４で開示されているように、結合重み係数を不揮発性メモリ素子にアナログ抵抗値として格納し、積和演算動作時はコンデンサに蓄積させたアナログ抵抗値を反映した電荷量と、基準電圧とをコンパレータで比較判定する回路も提案されているが、ニューラルネットワークの学習動作をする場合等、結合重み係数を増減させ、また元の結合重み係数に戻す必要があるが、その場合、不揮発性メモリ素子を書き換える必要があり、元のアナログ抵抗値と全く同じ値に戻すことは困難である。更にニューラルネットワークでは最終段の積和演算結果から、最も大きな積和演算結果を判定するソフトマックスという手法が必要であるが、コンパレータの出力は２値で出力されるため、複数のコンパレータ出力から最も大きな積和演算結果を判定することは困難である。
本発明は上記課題を鑑みてなされたものであり、低消費電力化と大規模集積化が可能な不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路を提供することにある。
本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、第１の論理値、あるいは第２の論理値のデータを取り得る複数の入力データと、複数の入力データに各々対応する複数の結合重み係数と、複数の入力データと、対応する結合重み係数との積和演算結果に応じて第１の論理値、あるいは第２の論理値の出力データを出力するニューラルネットワーク演算回路であって、複数のワード線と、第１のデータ線と、第２のデータ線と、第３のデータ線と、第４のデータ線と、第１の不揮発性半導体記憶素子と第１のセルトランジスタとの直列接続で構成され、第１の不揮発性半導体記憶素子の一端が第１のデータ線に、第１のセルトランジスタの一端が第２のデータ線に、第１のセルトランジスタのゲートがワード線に接続され、且つ、第２の不揮発性半導体記憶素子と第２のセルトランジスタとの直列接続で構成され、第２の不揮発性半導体記憶素子の一端が第３のデータ線に、第２のセルトランジスタの一端が第４のデータ線に、第２のセルトランジスタのゲートがワード線に接続される複数の演算ユニットと、複数のワード線を選択状態あるいは非選択状態とするワード線選択回路と、第１のデータ線と第３のデータ線、あるいは第２のデータ線と第４のデータ線に生じる電圧値あるいは電流値の大小関係を判定して第１の論理値、あるいは第２の論理値のデータを出力する判定回路と、第１のデータ線、あるいは第２のデータ線、あるいは第３のデータ線、あるいは第４のデータ線の少なくとも１本に接続された電流印加回路とを備え、複数の演算ユニットの第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子に複数の結合重み係数を格納し、第１のデータ線、あるいは第２のデータ線、あるいは第３のデータ線、あるいは第４のデータ線の任意の１本に電流印加回路から電流を印加することで、任意の結合重み係数を調整する機能を持ち、ワード線選択回路が、複数の入力データに応じて複数のワード線を選択状態あるいは非選択状態とし、判定回路が出力データを出力する。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、電流印加回路は、第１の電流源の入力が第５のデータ線に接続され、第５のデータ線は、第１のスイッチトランジスタを介して、第１のデータ線あるいは第２のデータ線、又は第２のスイッチトランジスタを介して、第３のデータ線あるいは第４のデータ線の、少なくともどちらか片方に接続されてもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、電流印加回路は、第１の電流源の入力が第５のデータ線に接続され、第２の電流源の入力が第６のデータ線に接続され、第５のデータ線は、第１のスイッチトランジスタを介して、第１のデータ線あるいは第２のデータ線に接続され、第６のデータ線は、第２のスイッチトランジスタを介して、第３のデータ線あるいは第４のデータ線に接続されてもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、電流印加回路は、第１の電流発生回路の一端が第７のデータ線に接続され、第１の電流発生回路のもう一端が第８のデータ線に接続され、第７のデータ線あるいは第８のデータ線は、第１のスイッチトランジスタを介して、第１のデータ線あるいは第２のデータ線、又は第２のスイッチトランジスタを介して、第３のデータ線あるいは第４のデータ線の、少なくともどちらか片方に接続されてもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、電流印加回路は、第１の電流発生回路の一端が第７のデータ線に接続され、第１の電流発生回路のもう一端が第８のデータ線に接続され、第２の電流発生回路の一端が第９のデータ線に接続され、第２の電流発生回路のもう一端が第１０のデータ線に接続され、第７のデータ線あるいは第８のデータ線は、第１のスイッチトランジスタを介して、第１のデータ線あるいは第２のデータ線に接続され、第９のデータ線あるいは第１０のデータ線は、第２のスイッチトランジスタを介して、第３のデータ線あるいは第４のデータ線に接続されてもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、電流発生回路は、固定抵抗素子や、不揮発性記憶素子、ロードトランジスタ等の素子や、抵抗素子と選択トランジスタを直列に接続した構成や、ロードトランジスタと選択トランジスタを直列に接続した構成を少なくとも１つ以上並列に接続した構成であってもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、電流印加回路は、第２の抵抗素子と第３のセルトランジスタとの直列接続で構成され、第２の抵抗素子の一端が第１のデータ線に、第３のセルトランジスタの一端が第２のデータ線に、第３のセルトランジスタのゲートがワード線に接続され、且つ、第３の抵抗素子と第４のセルトランジスタとの直列接続で構成され、第３の抵抗素子の一端が第３のデータ線に、第４のセルトランジスタの一端が第４のデータ線に、第４のセルトランジスタのゲートがワード線に接続される少なくとも１つ以上の電流印加ユニットで構成されてもよい。
第１の抵抗素子、第２の抵抗素子、第３の抵抗素子は固定抵抗素子、あるいは不揮発性半導体記憶素子で構成してもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、複数の演算ユニットの第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子への複数の結合重み係数の格納において、結合重み係数が正の値の場合、第１の不揮発性半導体記憶素子に流れる電流値が結合重み係数の値に比例した電流値となるように、第１の不揮発性半導体記憶素子に書き込みを行い、結合重み係数が負の値の場合、第２の不揮発性半導体記憶素子に流れる電流値が結合重み係数の値に比例した電流値となるように、第２の不揮発性半導体記憶素子に書き込みを行ってもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、複数の演算ユニットの第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子への複数の結合重み係数の格納において、結合重み係数が正の値の場合、第１の不揮発性半導体記憶素子に流れる電流値が第２の不揮発性半導体記憶素子に流れる電流値よりも大きくなり、且つその電流差が結合重み係数の値に比例した電流値となるように、第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子に書き込みを行い、結合重み係数が負の値の場合、第２の不揮発性半導体記憶素子に流れる電流値が第１の不揮発性半導体記憶素子に流れる電流値よりも大きくなり、且つその電流差が結合重み係数の値に比例した電流値となるように、第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子に書き込みを行ってもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、ワード線選択回路は、入力データが第１の論理値の場合、対応するワード線を非選択状態とし、入力データが第２の論理値の場合、対応するワード線を選択状態としてもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、第１のデータ線あるいは第２のデータ線に、結合重み係数が正の値である複数の入力データと、対応する正の値の結合重み係数との積和演算結果に対応した電流値が流れ、第３のデータ線あるいは第４のデータ線に、結合重み係数が負の値である複数の入力データと、対応する負の値の結合重み係数との積和演算結果に対応した電流値が流れるとしてもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、判定回路は、第１のデータ線あるいは第２のデータ線に流れる電流値が第３のデータ線あるいは第４のデータ線に流れる電流値よりも小さい場合、第１の論理値を出力し、第１のデータ線あるいは第２のデータ線に流れる電流値が第３のデータ線あるいは第４のデータ線に流れる電流値よりも大きい場合、第２の論理値を出力してもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子は、抵抗変化型素子で形成される抵抗変化型記憶素子、磁気抵抗変化型素子で形成される磁気抵抗変化型記憶素子、相変化型素子で形成される相変化型記憶素子、強誘電体型素子で形成される強誘電体型記憶素子、いずれかであってもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、任意の結合重み係数を変更した場合のニューラルネットワーク演算を行う場合には、正の値の結合重み係数を増加させる場合には、第１のデータ線あるいは第２のデータ線に電流印加回路で電流を印加し、正の値の結合重み係数を減少させる場合には、第３のデータ線あるいは第４のデータ線に電流印加回路で電流を印加し、負の値の結合重み係数を増加させる場合には、第３のデータ線あるいは第４のデータ線に電流印加回路で電流を印加し、負の値の結合重み係数を減少させる場合には、第１のデータ線あるいは第２のデータ線に電流印加回路で電流を印加し、ニューラルネットワーク演算を行ってもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、複数の判定回路が、第２の論理値を出力した場合には、第３のデータ線あるいは第４のデータ線に電流印加回路で電流を印加し、第２の論理値を出力する判定回路の中で、最も大きい積和演算結果を判定してもよい。
また、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路において、演算に使用している全ての判定回路が、第１の論理値を出力した場合には、第１のデータ線あるいは第２のデータ線に電流印加回路で電流を印加し、第１の論理値を出力する判定回路の中で、最も大きい積和演算結果を判定してもよい。
本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、ニューロンの入力データと出力データが０データあるいは１データの２値のデジタル値を取り得るニューラルネットワーク回路であり、結合重み係数を第１のデータ線と第２のデータ線との間に直列接続される第１の不揮発性半導体記憶素子と第１のセルトランジスタ、第３のデータ線と第４のデータ線との間に直列接続される第２の不揮発性半導体記憶素子と第２のセルトランジスタとで構成される演算ユニットを備え、第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子に例えば抵抗値（コンダクタンス）として格納する。
ここで、結合重み係数が正の値の場合は、第１の不揮発性半導体記憶素子に流れる電流値が結合重み係数の値に比例した電流値となるように、第１の不揮発性半導体記憶素子に書き込みを行い（第２の不揮発性半導体記憶素子に流れる電流値はゼロ）、結合重み係数が負の値の場合は、第２の不揮発性半導体記憶素子に流れる電流値が結合重み係数の値に比例した電流値となるように、第２の不揮発性半導体記憶素子に書き込みを行う（第１の不揮発性半導体記憶素子に流れる電流値はゼロ）。
あるいは、結合重み係数が正の値の場合は、第１の不揮発性半導体記憶素子に流れる電流値が第２の不揮発性半導体記憶素子に流れる電流値よりも大きくなり、且つその電流差が結合重み係数の値に比例した電流値となるように、第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子に書き込みを行い、結合重み係数が負の値の場合、第２の不揮発性半導体記憶素子に流れる電流値が第１の不揮発性半導体記憶素子に流れる電流値よりも大きくなり、且つその電流差が結合重み係数の値に比例した電流値となるように、第１の不揮発性半導体記憶素子と第２の不揮発性半導体記憶素子に書き込みを行う。この書き込み方法は不揮発性半導体記憶素子に流れる電流値をゼロに設定できない場合、あるいは、１つの不揮発性半導体記憶素子のみで結合重み係数の値に比例した電流値を設定できない場合に有効である。
ワード線選択回路が入力データ（０データあるいは１データ）に応じて、第１のセルトランジスタと第２のセルトランジスタのゲートに接続されるワード線を非選択状態（０データの場合）、あるいは選択状態（１データの場合）とすることで、演算ユニットを非活性化状態、あるいは活性化状態とする。
第１の不揮発性半導体記憶素子が接続される第１のデータ線には結合重み係数が正の値である複数の入力データと、対応する正の値の結合重み係数との積和演算結果に対応した電流値が流れ、第２の不揮発性半導体記憶素子が接続される第３のデータ線には結合重み係数が負の値である複数の入力データと、対応する負の値の結合重み係数との積和演算結果に対応した電流値が流れる。
判定回路が第１のデータ線に流れる電流値と、第３のデータ線に流れる電流値との大小関係を判定して出力データ（０データあるいは１データ）を出力する。すなわち、入力データと結合重み係数の積和演算結果が負の値の場合に０データが出力され、正の値の場合に１データが出力される。
本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、上述の動作により、不揮発性半導体記憶素子に流れる電流値を用いてニューラルネットワーク回路の積和演算動作を行う。これにより、従来のデジタル回路で構成される大容量のメモリ回路やレジスタ回路、大規模な乗算回路や累積加算回路（アキュムレータ回路）、及び複雑な制御回路を搭載することなく、積和演算動作を行うことが可能となるため、ニューラルネットワーク演算回路の低消費電力化、及び半導体集積回路のチップ面積縮小化が可能となる。また、ニューロンの入力データと出力データが０データあるいは１データの２値のデジタルデータを取り得るニューラルネットワーク回路であるため、ニューロン間の情報伝達をデジタル伝送することが可能となり、複数のニューロンを用いた大規模なニューラルネットワーク回路の実装が容易となり、半導体集積化が可能となる。
すなわち、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、低消費電力化と大規模集積化を実現することが可能である。詳細は後述する実施例により開示される。
図１Ａは、ニューラルネットワーク演算で用いられるニューロンを示す図である。 図１Ｂは、図１Ａのニューロンの演算処理を行う詳細回路構成を示す図である。 図２は、ディープニューラルネットワークの構成を示す図である。 図３は、ニューラルネットワーク演算におけるニューロンの計算を示す図である。 図４は、ニューラルネットワーク演算におけるニューロンの計算において、バイアス係数ｂの演算を入力ｘ０と結合重み係数ｗ０に割り当てた場合の計算を示す図である。 図５は、実施形態に係るニューラルネットワーク演算におけるニューロンの活性化関数ｆを示す図である。 図６は、の実施形態に係る不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の全体構成を示す図である。 図７Ａは、図６におけるメモリセルアレイを構成する不揮発性半導体記憶素子であるメモリセルＭＣの回路図を示したものである。 図７Ｂは、メモリセルＭＣの断面図を示したものである。 図７Ｃは、メモリセルＭＣの各動作モードにおける印加電圧を示す図である。 図８Ａは、実施形態に係るニューラルネットワーク演算回路の動作原理を示す計算を示す図である。 図８Ｂは、実施形態に係る演算ユニットＰＵｉの動作を示す。 図９Ａは、演算ユニットＰＵｉの動作を示す図である。 図９Ｂは、の実施形態に係る演算ユニットＰＵｉの入力ｘｉに対するワード線ＷＬｉの状態を示す図である。 図９Ｃは、実施形態に係る演算ユニットＰＵｉの抵抗変化素子ＲＰ、ＲＮの電流範囲、及び抵抗変化素子に書き込む電流値の計算を示す図である。 図９Ｄは、実施形態に係る演算ユニットＰＵｉの入力ｘｉと結合重み係数ｗｉとの積和演算動作を示す図である。 図１０Ａは、第１の実施形態に係るニューラルネットワーク演算の構成を示す図である。 図１０Ｂは、第１の実施形態に係るニューラルネットワーク演算の結合重み係数の値を示す図である。 図１１は、第１の実施形態に係るニューラルネットワーク演算回路の詳細構成を示す図である。 図１２Ａは、第１の実施形態に係る演算ユニットの抵抗変化素子の電流範囲、及び抵抗変化素子に書き込む電流値を示す図である。 図１２Ｂは、第１の実施形態に係る演算ユニットＰＵ０〜ＰＵ３の抵抗変化素子ＲＰ、ＲＮの電流範囲、及び抵抗変化素子ＲＰ、ＲＮに書き込む電流値（抵抗値）を示す図である。 図１３Ａは、第２の実施形態に係るニューラルネットワーク演算の構成を示す図である。 図１３Ｂは、第２の実施形態に係るニューラルネットワーク回路の真理値表を示す図である。 図１３Ｃは、第２の実施形態に係るニューラルネットワーク回路の結合重み係数を示す図である。 図１３Ｄは、第２の実施形態に係るニューラルネットワーク回路の入力層、隠れ層、出力層の演算動作を示す図である。 図１４Ａは、第２の実施形態に係る演算ユニットの抵抗変化素子の電流範囲、及び抵抗変化素子に書き込む電流値を示す図である。 図１４Ｂは、第２の実施形態に係るニューラルネットワーク演算回路の演算ユニットの抵抗変化素子の電流範囲、及び抵抗変化素子に書き込む電流値を示す図である。 図１５Ａは、出力層の結合重み係数を示す図である。 図１５Ｂは、第２の実施形態に係る出力層のニューラルネットワーク演算結果を示す図である。 図１５Ｃは、第２の実施形態に係る出力層のニューラルネットワーク演算回路の詳細構成を示す図である。 図１６Ａは、電流印加回路の構成例を示す図である。 図１６Ｂは、電流印加回路の構成例２を示す図である 図１６Ｃは、電流印加回路の構成例３を示す図である。 図１６Ｄは、電流印加回路の構成例４を示す図である。 図１６Ｅは、電流印加回路に電流発生回路の具体的構成を示した図である。 図１６Ｆは、電流印加回路に電流発生回路の具体的構成を示した図である。 図１６Ｇは、電流印加回路に電流発生回路の具体的構成を示した図である。 図１６Ｈは、電流印加回路に電流発生回路の具体的構成を示した図である。 図１７は、電流印加回路をメモリセルアレイ内に配置した場合の詳細を示す図である。
以下、本発明の実施形態について、図面を参照して説明する。
図１Ａ及び図１Ｂは、実施形態に係る不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の詳細構成を示す図である。図１Ａはニューラルネットワーク演算で用いられるニューロンを示す図であり、図１Ｂは図１Ａのニューロンが行う演算処理を本発明で実施する場合の詳細回路構成を示す図であり、本発明の特徴を示した代表図面である。図１Ａ及び図１Ｂについては後述で詳細に説明する。
＜ニューラルネットワーク演算＞
始めに、ニューラルネットワーク演算の基礎理論について説明する。
図２はディープニューラルネットワークの構成を示す図である。ニューラルネットワークは入力データが入力される入力層１、入力層１の入力データを受けて演算処理を行う隠れ層２（中間層と呼ばれる場合もある）、隠れ層２の出力データを受けて演算処理を行う出力層３から構成される。入力層１、隠れ層２、出力層３の各々において、ニューロン１０と呼ばれるニューラルネットワークの基本素子が多数存在し、各々のニューロン１０は結合重み１１を介して接続されている。複数の結合重み１１は各々異なる結合重み係数を有してニューロン間を接続している。ニューロン１０には複数の入力データが入力され、ニューロン１０ではこれら複数の入力データと対応する結合重み係数との積和演算動作が行われ出力データとして出力される。ここで、隠れ層２は複数段（図２では４段）のニューロンが連結された構成であり、深いニューラルネットワークを形成しているという意味で、図２に示すようなニューラルネットワークはディープニューラルネットワークと呼ばれる。
図３はニューラルネットワーク演算におけるニューロンの計算を示す図であり、ニューロン１０が行う計算式を図３の式（１）、式（２）に示す。ニューロン１０はｎ個の入力ｘ１〜ｘｎが各々結合重み係数ｗ１〜ｗｎを有する結合重みで接続されており、入力ｘ１〜ｘｎと結合重み係数ｗ１〜ｗｎとの積和演算が行われる。ニューロン１０はバイアス係数ｂを有しており、入力ｘ１〜ｘｎと結合重み係数ｗ１〜ｗｎとの積和演算結果にバイアス係数ｂが加算される。ニューロン１０は活性化関数ｆを有しており、入力ｘ１〜ｘｎと結合重み係数ｗ１〜ｗｎとの積和演算結果にバイアス係数ｂを加算した結果に対して活性化関数の演算処理を行い出力ｙが出力される。
図４はニューラルネットワーク演算におけるニューロンの計算において、バイアス係数ｂの演算を入力ｘ０と結合重み係数ｗ０に割り当てた場合の計算を示す図であり、ニューロン１０が行う計算式を図４の式（１）、式（２）に示す。前述した図３において、ニューロン１０は入力ｘ１〜ｘｎと結合重み係数ｗ１〜ｗｎとの積和演算と、バイアス係数ｂの加算演算が行われるが、図４に示す通り、バイアス係数ｂの加算演算を入力ｘ０＝１、結合重み係数ｗ０＝ｂとして、ｎ＋１個の入力ｘ０〜ｘｎが各々結合重み係数ｗ０〜ｗｎを有する結合重みで接続されたニューロン１０と解釈することができる。図４の式（１）、式（２）に示す通り、ニューロン１０の計算を入力ｘ０〜ｘｎと結合重み係数ｗ０〜ｗｎとの積和演算のみで簡潔に表現できる。本実施形態では図４に示す通り、バイアス係数ｂの加算演算の表現を入力ｘ０＝１と結合重み係数ｗ０＝ｂとして表現することにする。
図５は実施形態に係るニューラルネットワーク演算におけるニューロンの活性化関数ｆを示す図であり、ｘ軸は活性化関数ｆの入力ｕ、ｙ軸は活性化関数ｆの出力ｆ（ｕ）である。本発明の実施形態では活性化関数ｆはステップ関数を使用する。本実施形態では活性化関数としてステップ関数を使用するが、ニューラルネットワーク演算で使用されるその他の活性化関数としてシグモイド関数等がある。図５に示す通り、ステップ関数は入力ｕが負の値（＜０）の場合は出力ｆ（ｕ）＝０を出力し、入力ｕが正の値（≧０）の場合は出力ｆ（ｕ）＝１を出力する関数である。前述した図４のニューロン１０において、ステップ関数の活性化関数ｆを使用した場合、入力ｘ０〜ｘｎと結合重み係数ｗ０〜ｗｎとの積和演算結果が負の値の場合は出力ｙ＝０が出力され、積和演算結果が正の値の場合は出力ｙ＝１が出力される。
＜不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の全体構成＞
図６は、実施形態に係る不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の全体構成を示す図である。本発明のニューラルネットワーク演算回路は、メモリセルアレイ２０、ワード線選択回路３０、カラムゲート４０、判定回路５０、書き込み回路６０、制御回路７０を備えている。
メモリセルアレイ２０は不揮発性半導体記憶素子がマトリックス状に配置されており、不揮発性半導体記憶素子にはニューラルネットワーク演算で使用される結合重み係数が格納される。メモリセルアレイ２０は複数のワード線ＷＬ０〜ＷＬｎ、複数のビット線ＢＬ０〜ＢＬｍ、複数のソース線ＳＬ０〜ＳＬｍを有している。
ワード線選択回路３０はメモリセルアレイ２０のワード線ＷＬ０〜ＷＬｎを駆動する回路である。ニューラルネットワーク演算のニューロンの入力に対応してワード線を選択状態、あるいは非選択状態とする（後述）。
カラムゲート４０はビット線ＢＬ０〜ＢＬｍ、ソース線ＳＬ０〜ＳＬｍに接続され、複数のビット線、複数のソース線から所定のビット線、ソース線を選択して、後述する判定回路５０、書き込み回路６０に接続する回路である。
判定回路５０はカラムゲート４０を介してビット線ＢＬ０〜ＢＬｍ、ソース線ＳＬ０〜ＳＬｍが接続され、ビット線あるいはソース線に流れる電流値を検知して出力データを出力する回路であって、メモリセルアレイ２０のメモリセルに格納されたデータの読み出し、及びニューラルネットワーク演算のニューロンの出力データを出力する（後述）。
書き込み回路６０はカラムゲート４０を介してビット線ＢＬ０〜ＢＬｍ、ソース線ＳＬ０〜ＳＬｍが接続され、メモリセルアレイ２０の不揮発性半導体記憶素子に書き換え電圧を印加する回路である。
制御回路７０はメモリセルアレイ２０、ワード線選択回路３０、カラムゲート４０、判定回路５０、書き込み回路６０の動作を制御する回路であり、メモリセルアレイ２０のメモリセルに対する読み出し動作、書き込み動作、及びニューラルネットワーク演算動作の制御を行う。
＜不揮発性半導体記憶素子の構成＞
図７Ａ〜図７Ｃは、実施形態に係る不揮発性半導体記憶素子の回路図、断面図、及び各動作における印加電圧を示す図である。
図７Ａは、図６におけるメモリセルアレイ２０を構成する不揮発性半導体記憶素子であるメモリセルＭＣの回路図を示したものである。メモリセルＭＣは抵抗変化素子ＲＰとセルトランジスタＴ０の直列接続されたもので構成され、１つのセルトランジスタＴ０と１つの抵抗変化素子ＲＰから構成される『１Ｔ１Ｒ』型のメモリセルである。抵抗変化素子ＲＰは抵抗変化型メモリＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と呼ばれる不揮発性半導体記憶素子である。メモリセルＭＣのワード線ＷＬはセルトランジスタＴ０のゲート端子に接続され、ビット線ＢＬは抵抗変化素子ＲＰに接続され、ソース線ＳＬはセルトランジスタＴ０のソース端子に接続される。
図７Ｂは、メモリセルＭＣの断面図を示したものである。半導体基板８０上に拡散領域８１ａ、８１ｂが形成されており、拡散領域８１ａがセルトランジスタＴ０のソース端子として、拡散領域８１ｂがセルトランジスタのドレイン端子として作用する。拡散領域８１ａ、８１ｂ間がセルトランジスタＴ０のチャネル領域として作用し、このチャネル領域上に酸化膜８２、ポリシリコンで形成されるゲート電極８３が形成され、セルトランジスタＴ０として動作する。セルトランジスタＴ０のソース端子である拡散領域８１ａはビア８４ａを介して第１配線層８５ａであるソース線ＳＬに接続される。セルトランジスタＴ０のドレイン端子である拡散領域８１ｂはビア８４ｂを介して第１配線層８５ｂに接続される。更に、第１配線層８５ｂはビア８６を介して第２配線層８７に接続され、第２配線層８７はビア８８を介して抵抗変化素子ＲＰに接続される。抵抗変化素子ＲＰは下部電極８９、抵抗変化層９０、上部電極９１から構成される。抵抗変化素子ＲＰはビア９２を介して第３配線層９３であるビット線ＢＬに接続される。
図７Ｃは、メモリセルＭＣの各動作モードにおける印加電圧を示す図である。
リセット動作（高抵抗化）はワード線ＷＬにＶｇ＿ｒｅｓｅｔ（例えば２Ｖ）の電圧を印加することでセルトランジスタＴ０を選択状態とし、ビット線ＢＬにＶｒｅｓｅｔ（例えば２．０Ｖ）の電圧を印加し、ソース線ＳＬに接地電圧ＶＳＳ（０Ｖ）を印加する。これにより、抵抗変化素子ＲＰの上部電極に正の電圧が印加され高抵抗状態に抵抗変化する。
セット動作（低抵抗化）はワード線ＷＬにＶｇ＿ｓｅｔ（例えば２．０Ｖ）の電圧を印加することでセルトランジスタＴ０を選択状態とし、ビット線ＢＬに接地電圧ＶＳＳ（０Ｖ）を印加し、ソース線ＳＬにＶｓｅｔ（例えば２．０Ｖ）の電圧を印加する。これにより、抵抗変化素子ＲＰの下部電極に正の電圧が印加され低抵抗状態に抵抗変化する。
読み出し動作はワード線ＷＬにＶｇ＿ｒｅａｄ（例えば１．１Ｖ）の電圧を印加することでセルトランジスタＴ０を選択状態とし、ビット線ＢＬにＶｒｅａｄ（例えば０．４Ｖ）の電圧を印加し、ソース線ＳＬに接地電圧ＶＳＳ（０Ｖ）を印加する。これにより、抵抗変化素子ＲＰが高抵抗状態（リセット状態）の場合は小さなメモリセル電流が流れ、また、抵抗変化素子ＲＰが低抵抗状態（セット状態）の場合は大きなメモリセル電流が流れ、この電流値の差異を判定回路で判定することでメモリセルに格納されたデータの読み出し動作を行う。
メモリセルＭＣを０データあるいは１データを格納する半導体メモリとして用いる場合は抵抗変化素子ＲＰの抵抗値は高抵抗状態（０データ）と低抵抗状態（１データ）の２つの抵抗状態（デジタル）のみを取り得るが、本発明のニューラルネットワーク演算回路として用いる場合は抵抗変化素子ＲＰの抵抗値を多階調（アナログ）の値に設定して使用する。
＜不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の詳細構成＞
図１Ａ及び図１Ｂは、実施形態に係る不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の詳細構成を示す図である。
図１Ａはニューラルネットワーク演算で用いられるニューロンを示す図であり、図４と同一である。ニューロン１０はｎ＋１個の入力ｘ０〜ｘｎが各々結合重み係数ｗ０〜ｗｎを有して入力されており、入力ｘ０〜ｘｎは０データあるいは１データのいずれかの値を、結合重み係数ｗ０〜ｗｎは多階調（アナログ）の値を取り得る。入力ｘ０〜ｘｎと結合重み係数ｗ０〜ｗｎとの積和演算結果に対して、図５に示したステップ関数である活性化関数ｆの演算が行われて出力ｙが出力される。
図１Ｂは図１Ａのニューロン１０の演算処理を行う詳細回路構成を示す図である。メモリセルアレイは、複数のワード線ＷＬ０〜ＷＬｎ、複数のビット線ＢＬ０、ＢＬ１、複数のソース線ＳＬ０、ＳＬ１を有している。
ニューロン１０の入力ｘ０〜ｘｎとしてワード線ＷＬ０〜ＷＬｎが対応しており、入力ｘ０がワード線ＷＬ０に、入力ｘ１がワード線ＷＬ１に、入力ｘｎ−１がワード線ＷＬｎ−１に、入力ｘｎがワード線ＷＬｎに対応している。ワード線選択回路３０は入力ｘ０〜ｘｎに応じてワード線ＷＬ０〜ＷＬｎを選択状態あるいは非選択状態とする回路である。入力が０データの場合はワード線を非選択状態とし、入力が１データの場合はワード線を選択状態とする。ニューラルネットワーク演算では入力ｘ０〜ｘｎは各々０データあるいは１データの値を任意に取り得るため、入力ｘ０〜ｘｎの中に１データが複数個ある場合、ワード線選択回路３０は複数のワード線を同時に多重選択することになる。
ニューロン１０の結合重み係数ｗ０〜ｗｎとしてメモリセルから構成される演算ユニットＰＵ０〜ＰＵｎが対応しており、結合重み係数ｗ０が演算ユニットＰＵ０に、結合重み係数ｗ１が演算ユニットＰＵ１に、結合重み係数ｗｎ−１が演算ユニットＰＵｎ−１に、結合重み係数ｗｎが演算ユニットＰＵｎに対応している。
演算ユニットＰＵ０は抵抗変化素子ＲＰとセルトランジスタＴ０から構成されるメモリセルと、抵抗変化素子ＲＮとセルトランジスタＴ１から構成されるメモリセルとから構成される。すわなち、１つの演算ユニットは２つのメモリセルから構成される。演算ユニットＰＵ０はワード線ＷＬ０、ビット線ＢＬ０、ＢＬ１、ソース線ＳＬ０、ＳＬ１に接続されており、ワード線ＷＬ０はセルトランジスタＴ０、Ｔ１のゲート端子に、ビット線ＢＬ０は抵抗変化素子ＲＰに、ソース線ＳＬ０はセルトランジスタＴ０のソース端子に、ビット線ＢＬ１は抵抗変化素子ＲＮに、ソース線ＳＬ１はセルトランジスタＴ１のソース端子に接続されている。入力ｘ０は演算ユニットＰＵ０のワード線ＷＬ０として入力され、結合重み係数ｗ０は演算ユニットＰＵ０の２つの抵抗変化素子ＲＰ、ＲＮに抵抗値（コンダクタンス）として格納される。演算ユニットＰＵ１、ＰＵｎ−１、ＰＵｎの構成も演算ユニットＰＵ０の構成と同様であるため詳細な説明は割愛する。すなわち、入力ｘ０〜ｘｎは各々演算ユニットＰＵ０〜ＰＵｎに接続されるワード線ＷＬ０〜ＷＬｎとして入力され、結合重み係数ｗ０〜ｗｎは各々演算ユニットＰＵ０〜ＰＵｎの抵抗変化素子ＲＰ、ＲＮに抵抗値（コンダクタンス）として格納される。
ビット線ＢＬ０はカラムゲートトランジスタＹＴ０を介して判定回路５０に接続され、ビット線ＢＬ１はカラムゲートトランジスタＹＴ１を介して判定回路５０に接続される。カラムゲートトランジスタＹＴ０、ＹＴ１のゲート端子はカラムゲート制御信号ＹＧに接続されており、カラムゲート制御信号ＹＧが活性化されるとビット線ＢＬ０、ＢＬ１は判定回路５０に接続される。ソース線ＳＬ０はディスチャージトランジスタＤＴ０を介して接地電圧に接続され、ソース線ＳＬ１はディスチャージトランジスタＤＴ１を介して接地電圧に接続される。ディスチャージトランジスタＤＴ０、ＤＴ１のゲート端子はディスチャージ制御信号ＤＩＳに接続されており、ディスチャージ制御信号ＤＩＳが活性化されるとソース線ＳＬ０、ＳＬ１は接地電圧に設定される。ニューラルネットワーク演算動作を行う場合はカラムゲート制御信号ＹＧ、ディスチャージ制御信号ＤＩＳを活性化することで、ビット線ＢＬ０、ＢＬ１を判定回路５０に、ソース線ＳＬ０、ＳＬ１を接地電圧に接続する。
判定回路５０はカラムゲートトランジスタＹＴ０、ＹＴ１を介して接続されるビット線ＢＬ０、ＢＬ１に流れる電流値を検知、比較して出力ｙを出力する回路である。出力ｙは０データあるいは１データのいずれかの値を取り得る。ビット線ＢＬ０に流れる電流値がビット線ＢＬ１に流れる電流値より小さい場合は０データの出力ｙを出力し、ビット線ＢＬ０に流れる電流値がビット線ＢＬ１に流れる電流値より大きい場合は１データの出力ｙを出力する。すなわち、判定回路５０はビット線ＢＬ０、ＢＬ１に流れる電流値の大小関係を判定して出力ｙを出力する回路である。
電流印加回路１００はビット線ＢＬ０、ＢＬ１の少なくとも片方に電流を印加する回路である。
図１６Ａに示すように、電流印加回路１００は電流源１１０の入力がスイッチトランジスタＹＴｐを介してビット線ＢＬ０に接続され、電流源１１０の入力がスイッチトランジスタＹＴｎを介してビット線ＢＬ１に接続され、電流源１１０で発生した電流をビット線ＢＬ０、又はビット線ＢＬ１に印加可能な回路である。また、スイッチトランジスタＹＴｐを介したビット線ＢＬ０への接続と、スイッチトランジスタＹＴｎを介したビット線ＢＬ１への接続は、どちらか片方のみでもよい。
図１６Ｂは、電流印加回路１００の構成例２を示す図である。電流印加回路１００は電流源１１０の入力がスイッチトランジスタＹＴｐを介してビット線ＢＬ０に接続され、電流源１１１の入力がスイッチトランジスタＹＴｎを介してビット線ＢＬ１に接続され、電流源１１０で発生した電流をビット線ＢＬ０、電流源１１１で発生した電流をビット線ＢＬ１に印加可能な回路である。
図１６Ｃは、電流印加回路１００の構成例３を示す図である。電流印加回路１００は電流発生回路１２０の一端がスイッチトランジスタＹＴｐを介してビット線ＢＬ０に接続され、電流発生回路１２０の一端がスイッチトランジスタＹＴｎを介してビット線ＢＬ１に接続され、電流発生回路１２０のもう一端はディスチャージ制御信号ＤＩＳを活性化することで、接地電圧に接続し、電流発生回路１２０で発生した電流をビット線ＢＬ０、又はビット線ＢＬ１に印加可能な回路である。また、スイッチトランジスタＹＴｐを介したビット線ＢＬ０への接続と、スイッチトランジスタＹＴｎを介したビット線ＢＬ１への接続は、どちらか片方のみでもよい。
図１６Ｄは、電流印加回路１００の構成例４を示す図である。電流印加回路１００は電流発生回路１２０の一端がスイッチトランジスタＹＴｐを介してビット線ＢＬ０に接続され、電流発生回路１２１の一端がスイッチトランジスタＹＴｎを介してビット線ＢＬ１に接続され、電流発生回路１２０、１２１のもう一端はディスチャージ制御信号ＤＩＳを活性化することで、接地電圧に接続し、電流発生回路１２０で発生した電流をビット線ＢＬ０、電流発生回路１２１で発生した電流をビット線ＢＬ１に印加可能な回路である。
図１６Ｅ、図１６Ｆ、図１６Ｇ、図１６Ｈは電流印加回路１００に電流発生回路１２０の具体的構成を示した図である。図１６Ｅに示すように、電流発生回路１２０は抵抗素子Ｒｗで構成され、抵抗素子Ｒｗは、固定抵抗素子や不揮発性記憶素子で構成してもよい。図１６Ｆに示すように、電流発生回路１２０はロードトランジスタＷＴで構成され、ロードトランジスタＷＴのゲートはロードゲート電圧ＷＬｗで制御される。図１６Ｇに示すように、電流発生回路１２０は抵抗素子Ｒｗ０〜Ｒｗ２と選択トランジスタＳＴ０〜ＳＴ２との直列接続の構成が、少なくとも１つ以上並列に接続されている。図１６Ｈに示すように、電流発生回路１２０はロードトランジスタＷＴ０〜ＷＴ２と選択トランジスタＳＴ０〜ＳＴ２との直列接続の構成が、少なくとも１つ以上並列に接続され、ロードトランジスタＷＴ０〜ＷＴ２のゲートはロードゲート電圧ＷＬｗ０〜ＷＬｗ２で制御される。
図１７は、電流印加回路１００の構成例５を示す図である。図１７に示すように電流印加回路１００はメモリセルアレイの中に構成してもよい。追加する電流はメモリセルから構成される電流印加ユニットＰＵαｐ、ＰＵαｎが対応しており、追加する結合重み係数ｗαｐが電流印加ユニットＰＵαｐに、追加する結合重み係数ｗαｎが電流印加ユニットＰＵαｎに対応している。
電流印加ユニットＰＵαｐ、ＰＵαｎは抵抗変化素子ＲＰとセルトランジスタＴ０から構成されるメモリセルと、抵抗変化素子ＲＮとセルトランジスタＴ１から構成されるメモリセルとから構成される。すわなち、１つの電流印加ユニットは２つのメモリセルから構成される。電流印加ユニットＰＵαｐはワード線ＷＬαｐ、ビット線ＢＬ０、ＢＬ１、ソース線ＳＬ０、ＳＬ１に接続されており、ワード線ＷＬαｐはセルトランジスタＴ０、Ｔ１のゲート端子に、ビット線ＢＬ０は抵抗変化素子ＲＰに、ソース線ＳＬ０はセルトランジスタＴ０のソース端子に、ビット線ＢＬ１は抵抗変化素子ＲＮに、ソース線ＳＬ１はセルトランジスタＴ１のソース端子に接続されている。電流印加ユニットＰＵαｎの構成も電流印加ユニットＰＵαｐの構成と同様であるため詳細な説明は割愛する。すなわち、抵抗変化素子ＲＰにＢＬ０に印加する電流に相当する抵抗値を設定し、抵抗変化素子ＲＮにＢＬ１に印加する電流に相当する抵抗値を設定し、対応するワード線ＷＬαｐ、ＷＬαｎを選択することで、任意の電流値をビット線ＢＬ０、ＢＬ１に印加することが可能である。ここで、抵抗変化素子は固定抵抗素子、あるいはロードトランジスタで構成されてもよい。また電流印加ユニットＰＵαｐ、ＰＵαｎは１つ以上の任意の数を設定可能である。
以上のように構成された不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の動作原理と動作方法、及び結合重み係数を抵抗変化素子へ格納する方法について、以降詳細に説明する。
＜不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の動作原理＞
図８Ａ及び図８Ｂは、実施形態に係るニューラルネットワーク演算回路の動作原理を示す計算、及び演算ユニットの動作を示す図である。
図８Ａは、実施形態に係るニューラルネットワーク演算回路の動作原理を示す計算を示す図である。図８Ａの式（１）に示す通り、ニューロン１０が行う演算は入力ｘｉと結合重み係数ｗｉの積和演算結果に対してステップ関数である活性化関数ｆの演算処理を行ったものである。本発明では図８Ａの式（２）に示す通り、結合重み係数ｗｉを抵抗変化素子（メモリセル）に流れる電流値Ｉｉに置き換えて、入力ｘｉと抵抗変化素子（メモリセル）に流れる電流値Ｉｉとの積和演算を行うことが特徴である。
ここで、ニューラルネットワーク演算における結合重み係数ｗｉは正の値（≧０）、負の値（＜０）の双方を取り、積和演算動作において入力ｘｉと結合重み係数ｗｉの積が正の値の場合は加算、負の値の場合は減算が行われる。しかしながら、抵抗変化素子（メモリセル）に流れる電流値Ｉｉは正の値しか取り得ることができないため、入力ｘｉと結合重み係数ｗｉの積が正の値の場合の加算演算は電流値Ｉｉの加算で実現可能であるが、入力ｘｉと結合重み係数ｗｉの積が負の値の場合の減算演算を正の値の電流値Ｉｉを用いて行うには工夫が必要である。
図８Ｂは、実施形態に係る演算ユニットＰＵｉの動作を示す。演算ユニットＰＵｉの構成は図１Ａ及び図１Ｂで説明したものであり、詳細な説明は割愛する。本発明は結合重み係数ｗｉを２個の抵抗変化素子ＲＰ、ＲＮに格納することが特徴であり、抵抗変化素子ＲＰに設定する抵抗値をＲｐｉ、抵抗変化素子ＲＮに設定する抵抗値をＲｎｉとし、ビット線ＢＬ０、ＢＬ１に印加する電圧をＶｂｌとし、抵抗変化素子ＲＰ、ＲＮに流れる電流値をＩｐｉ、Ｉｎｉとする。本発明では正の積和演算結果をビット線ＢＬ０に流れる電流に加算し、負の積和演算結果をビット線ＢＬ１に流れる電流に加算することが特徴であり、上記のように電流が流れるよう抵抗変化素子ＲＰ、ＲＮの抵抗値Ｒｐｉ、Ｒｎｉ（電流値Ｉｐｉ、Ｉｎｉ）を設定する。この演算ユニットＰＵｉを図１Ｂに示すように入力ｘ０〜ｘｎ（結合重み係数ｗ０〜ｗｎ）の個数だけビット線ＢＬ０、ＢＬ１に並列接続することで、ニューロン１０の正の積和演算結果をビット線ＢＬ０に流れる電流値として、負の積和演算結果をビット線ＢＬ１に流れる電流値として得ることができる。図８Ａの式（３）、式（４）、式（５）に上述した動作の計算を示す。すなわち、演算ユニットＰＵｉの抵抗変化素子ＲＰ、ＲＮに対して結合重み係数ｗｉに相当する抵抗値Ｒｐｉ、Ｒｎｉを適切に書き込むことで、ビット線ＢＬ０、ＢＬ１に各々正の積和演算結果、負の積和演算結果に対応した電流値を得ることが可能となる。
図８Ａの式（５）において、活性化関数ｆはステップ関数（入力が負の値（＜０）の場合は０データ出力、正の値（≧０）の場合は１データ出力）であるため、正の積和演算結果であるビット線ＢＬ０に流れる電流値が負の積和演算結果であるビット線ＢＬ１に流れる電流値より小さい場合、すなわち全ての積和演算結果が負の値の場合は０データを出力し、正の積和演算結果であるビット線ＢＬ０に流れる電流値が負の積和演算結果であるビット線ＢＬ１に流れる電流値より大きい場合、すなわち全ての積和演算結果が正の値の場合は１データを出力するようにビット線ＢＬ０、ＢＬ１に流れる電流値を検出、判定することで、ニューロン１０のニューラルネットワーク演算が抵抗変化素子ＲＰ、ＲＮを有する演算ユニットＰＵｉを用いて可能となる。
図９Ａ〜図９Ｄは、実施形態に係る演算ユニットの詳細動作を示す図である。図９Ａは演算ユニットＰＵｉの動作を示す図であり、図８Ｂと同一であるため詳細な説明は割愛する。以下、演算ユニットＰＵｉにおける、入力ｘｉと結合重み係数ｗｉとの積和演算動作について説明する。
図９Ｂは、実施形態に係る演算ユニットＰＵｉの入力ｘｉに対するワード線ＷＬｉの状態を示す図である。入力ｘｉは０データあるいは１データのいずれかの値を取り、入力ｘｉが０データの場合、ワード線ＷＬｉは非選択状態とされ、入力ｘｉが１データの場合、ワード線ＷＬｉは選択状態とされる。ワード線ＷＬｉはセルトランジスタＴ０、Ｔ１のゲート端子に接続されており、ワード線ＷＬｉが非選択状態の場合、セルトランジスタＴ０、Ｔ１は非活性化状態（遮断状態）となり、抵抗変化素子ＲＰ、ＲＮの抵抗値Ｒｐｉ、Ｒｎｉに係わらずビット線ＢＬ０、ＢＬ１に電流が流れない。一方、ワード線ＷＬｉが選択状態の場合、セルトランジスタＴ０、Ｔ１は活性化状態（接続状態）となり、抵抗変化素子ＲＰ、ＲＮの抵抗値Ｒｐｉ、Ｒｎｉに基づいてビット線ＢＬ０、ＢＬ１に電流が流れる。
図９Ｃは、実施形態に係る演算ユニットＰＵｉの抵抗変化素子ＲＰ、ＲＮの電流範囲、及び抵抗変化素子に書き込む電流値の計算を示す図である。抵抗変化素子ＲＰ、ＲＮが流す電流値の取り得る範囲を最小値Ｉｍｉｎから最大値Ｉｍａｘとして説明する。ニューロンに入力される結合重み係数の絶対値｜ｗｉ｜が０〜１の範囲となるよう正規化を行い、正規化後の結合重み係数｜ｗｉ｜に比例した電流値（アナログ値）となるように抵抗変化素子に書き込む電流値を決定する。
結合重み係数ｗｉが正の値（≧０）の場合、入力ｘｉ（０データあるいは１データ）と結合重み係数ｗｉ（≧０）との積和演算結果（≧０）を正の積和演算結果の電流が流れるビット線ＢＬ０に電流値として加算するために、ビット線ＢＬ０に接続される抵抗変化素子ＲＰに対して、結合重み係数の絶対値｜ｗｉ｜に比例した電流値Ｉｍｉｎ＋（Ｉｍａｘ−Ｉｍｉｎ）×｜ｗｉ｜が流れる抵抗値Ｒｐｉの書き込みを行い、ビット線ＢＬ１に接続される抵抗変化素子ＲＮに対して、電流値Ｉｍｉｎ（結合重み係数０相当）となる抵抗値Ｒｎｉの書き込みを行う。
一方、結合重み係数ｗｉが負の値（＜０）の場合、入力ｘｉ（０データあるいは１データ）と結合重み係数ｗｉ（＜０）との積和演算結果（＜０）を負の積和演算結果の電流が流れるビット線ＢＬ１に電流値として加算するために、ビット線ＢＬ１に接続される抵抗変化素子ＲＮに対して、結合重み係数の絶対値｜ｗｉ｜に比例した電流値Ｉｍｉｎ＋（Ｉｍａｘ−Ｉｍｉｎ）×｜ｗｉ｜が流れる抵抗値Ｒｎｉの書き込みを行い、ビット線ＢＬ０に接続される抵抗変化素子ＲＰに対して、電流値Ｉｍｉｎ（結合重み係数０相当）となる抵抗値Ｒｐｉの書き込みを行う。
上述のように抵抗変化素子ＲＰ、ＲＮに書き込む抵抗値（電流値）を設定することで、ビット線ＢＬ０に流れる電流（正の積和演算結果に相当）と、ビット線ＢＬ１に流れる電流（負の積和演算結果に相当）との差分電流（Ｉｍａｘ−Ｉｍｉｎ）×｜ｗｉ｜が入力と結合重み係数との積和演算結果に相当する電流値として得られる。結合重み係数の絶対値｜ｗｉ｜を０〜１の範囲となるよう正規化する方法の詳細は後述する。
図９Ｄは、実施形態に係る演算ユニットＰＵｉの入力ｘｉと結合重み係数ｗｉとの積和演算動作を示す図である。
入力ｘｉが０データの場合、結合重み係数ｗｉの値に関係なく、積和演算結果ｘｉ×ｗｉは０となる。入力ｘｉが０データであるため、ワード線ＷＬｉは非選択状態となり、セルトランジスタＴ０、Ｔ１は非活性化状態（遮断状態）となるため、ビット線ＢＬ０、ＢＬ１に流れる電流値Ｉｐｉ、Ｉｎｉは０となる。すなわち、積和演算結果ｘｉ×ｗｉが０であるため、正の積和演算結果に相当する電流が流れるビット線ＢＬ０、負の積和演算結果に相当する電流が流れるビット線ＢＬ１の双方に電流が流れない。
入力ｘｉが１データ、結合重み係数ｗｉが正の値（≧０）の場合、積和演算結果ｘｉ×ｗｉは正の値（≧０）となる。入力ｘｉが１データであるため、ワード線ＷＬｉは選択状態となり、セルトランジスタＴ０、Ｔ１は活性化状態（接続状態）となるため、抵抗変化素子ＲＰ、ＲＮの抵抗値に基づいて、ビット線ＢＬ０、ＢＬ１に図９Ｃで説明した電流Ｉｐｉ、Ｉｎｉが流れる。ビット線ＢＬ０に流れる正の積和演算結果に相当する電流Ｉｐｉと、ビット線ＢＬ１に流れる負の積和演算結果に相当する電流Ｉｎｉとの差分電流（Ｉｍａｘ−Ｉｍｉｎ）×｜ｗｉ｜が入力ｘｉと結合重み係数ｗｉとの積和演算結果ｘｉ×ｗｉ（≧０）に相当する電流として、ビット線ＢＬ０にビット線ＢＬ１と比べて多く流れる。
入力ｘｉが１データ、結合重み係数ｗｉが負の値（＜０）の場合、積和演算結果ｘｉ×ｗｉは負の値（＜０）となる。入力ｘｉが１データであるため、ワード線ＷＬｉは選択状態となり、セルトランジスタＴ０、Ｔ１は活性化状態（接続状態）となるため、抵抗変化素子ＲＰ、ＲＮの抵抗値に基づいて、ビット線ＢＬ０、ＢＬ１に図９Ｃで説明した電流Ｉｐｉ、Ｉｎｉが流れる。ビット線ＢＬ０に正の積和演算結果に相当する電流Ｉｐｉと、ビット線ＢＬ１に負の積和演算結果に相当する電流Ｉｎｉとの差分電流（Ｉｍａｘ−Ｉｍｉｎ）×｜ｗｉ｜が入力ｘｉと結合重み係数ｗｉとの積和演算結果ｘｉ×ｗｉ（≦０）に相当する電流として、ビット線ＢＬ１にビット線０と比べて多く流れる。
このように、入力ｘｉと結合重み係数ｗｉとの積和演算結果に相当する電流がビット線ＢＬ０、ＢＬ１に流れ、正の積和演算結果の場合はビット線ＢＬ０にビット線ＢＬ１と比べて多く流れ、負の積和演算結果の場合はビット線ＢＬ１にビット線ＢＬ０と比べて多く流れる。演算ユニットＰＵｉを入力ｘ０〜ｘｎ（結合重み係数ｗ０〜ｗｎ）の個数だけビット線ＢＬ０、ＢＬ１に並列接続することで、ニューロン１０の積和演算結果をビット線ＢＬ０に流れる電流と、ビット線ＢＬ１に流れる電流の差分電流として得ることができる。
ここで、ビット線ＢＬ０、ＢＬ１に接続される判定回路を用いて、ビット線ＢＬ０に流れる電流値がビット線ＢＬ１に流れる電流値より小さい場合、すなわち積和演算結果が負の値の場合に０データの出力データを出力し、ビット線ＢＬ０に流れる電流値がビット線ＢＬ１に流れる電流値より大きい場合、すなわち積和演算結果が正の値の場合に１データの出力データを出力するようにすると、判定回路がステップ関数の活性化関数の演算を行うことに相当し、積和演算と活性化関数の演算処理を行うニューラルネットワーク演算が可能となる。
＜不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の第１の実施形態＞
前述にて本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の動作原理について説明した。以下では具体的な実施形態について説明する。
図１０Ａは、第１の実施形態に係るニューラルネットワーク演算の構成を示す図であり、図１０Ｂは、第１の実施形態に係るニューラルネットワーク演算の結合重み係数の値を示す図である。図１０Ａに示す通り、ニューロン１０は４つの入力ｘ０〜ｘ３と対応する結合重み係数ｗ０〜ｗ３を有しており、ニューロン１０が行う演算を図１０Ａの式（１）に示す。ニューロン１０の活性化関数ｆはステップ関数である。
図１０Ｂに示す通り、ニューロン１０が有する結合重み係数はｗ０＝＋０．６、ｗ１＝−０．９、ｗ２＝−１．２、ｗ３＝＋１．５である。以下、図１０Ａ及び図１０Ｂに示すニューロン１０の演算動作を行う不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路について説明する。
図１１は、第１の実施形態に係るニューラルネットワーク演算回路の詳細構成を示す図である。図１１において、図１Ｂの構成要件と同一のものは同一の符号、番号を付与しており、その詳細な説明は割愛する。第１の実施形態のニューラルネットワーク演算回路は４入力、１出力のニューロンであり、結合重み係数ｗ０〜ｗ３を格納する４つの演算ユニットＰＵ０〜ＰＵ３、及び入力ｘ０〜ｘ３に対応する４本のワード線ＷＬ０〜ＷＬ３、抵抗変化素子ＲＰとセルトランジスタＴ０が接続されるビット線ＢＬ０、ソース線ＳＬ０、抵抗変化素子ＲＮとセルトランジスタＴ１が接続されるビット線ＢＬ１、ソース線ＳＬ１を備えている。
ニューラルネットワーク演算動作を行う場合、入力ｘ０〜ｘ３に応じてワード線ＷＬ０〜ＷＬ３を各々選択状態、非選択状態とし、演算ユニットＰＵ０〜ＰＵ３のセルトランジスタＴ０、Ｔ１を選択状態、非選択状態とする。ビット線ＢＬ０、ＢＬ１はカラムゲートＹＴ０、ＹＴ１を介して判定回路５０からビット線電圧が供給され、ソース線ＳＬ０、ＳＬ１はディスチャージトランジスタＤＴ０、ＤＴ１を介して接地電圧に接続される。これにより、ビット線ＢＬ０に正の積和演算結果に相当する電流が流れ、ビット線ＢＬ１に負の積和演算結果に相当する電流が流れる。判定回路５０はビット線ＢＬ０、ＢＬ１に流れる電流の大小関係を検知、判定することで出力ｙを出力する。すなわち、ニューロン１０の積和演算結果が負の値（＜０）の場合は０データを出力し、正の値（≧０）の場合は１データを出力する。判定回路５０は積和演算結果を入力とした活性化関数ｆ（ステップ関数）の演算結果を出力する。
図１２Ａ及び図１２Ｂは、第１の実施形態に係る演算ユニットＰＵ０〜ＰＵ３の抵抗変化素子ＲＰ、ＲＮの電流範囲、及び抵抗変化素子ＲＰ、ＲＮに書き込む電流値（抵抗値）を示す図である。図１２Ａに示す通り、第１の実施形態では抵抗変化素子ＲＰ、ＲＮが流す電流値の取り得る範囲は０ｕＡから５０ｕＡとする。すなわち、電流値の最小値Ｉｍｉｎは０ｕＡ、電流値の最大値Ｉｍａｘは５０ｕＡであり、５０ｕＡの電流範囲（ダイナミックレンジ）を使用する。
図１２Ｂに示す通り、始めに結合重み係数ｗ０〜ｗ３を０〜１の範囲となるよう正規化を行う。本実施形態では、結合重み係数ｗ０〜ｗ３の絶対値が最大のものはｗ３＝＋１．５であり、この結合重み係数の正規化後の値をｗ３＝＋１．０とする。この正規化により残りの結合重み係数の正規化後の値はｗ０＝＋０．４、ｗ１＝−０．６、ｗ２＝−０．８となる。
次に、図１２Ａに示す通り、正規化された結合重み係数を用いて演算ユニットＰＵ０〜ＰＵ３の抵抗変化素子ＲＰ、ＲＮに書き込む電流値を決定する。図１２Ｂに抵抗変化素子ＲＰ、ＲＮに書き込む電流値の計算結果を示す。結合重み係数ｗ０の正規化後の値は＋０．４と正の値のため、抵抗変化素子ＲＰに書き込む電流値は２０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は０ｕＡとなる。結合重み係数ｗ１の正規化後の値は−０．６と負の値のため、抵抗変化素子ＲＰに書き込む電流値は０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は３０ｕＡとなる。結合重み係数ｗ２の正規化後の値は−０．８と負の値のため、抵抗変化素子ＲＰに書き込む電流値は０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は４０ｕＡとなる。結合重み係数ｗ３の正規化後の値は＋１．０と正の値のため、抵抗変化素子ＲＰに書き込む電流値は５０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は０ｕＡとなる。このように演算ユニットＰＵ０〜ＰＵ３の抵抗変化素子ＲＰ、ＲＮに電流値（抵抗値）を書き込むことで、ニューラルネットワーク演算を行うことが可能となる。
更に第１の実施形態において、電流印加回路を使用することで、抵抗変化素子ＲＰ、ＲＮの書き換えを行うことなく、結合重み係数を調整したニューラルネットワーク演算を行う方法について説明する。
例えば、結合重み係数ｗ０を＋０．９にした場合のニューラルネットワーク演算を行うためには、図１０Ａに示すように結合重み係数ｗ０に結合重み係数αを追加する。図１０Ｂに示すように結合重み係数ｗ０は＋０．６のため、結合重み係数αは＋０．３となる。この時に、ニューロン１０が行う演算を図１０Ａの式（２）に示す。
次に、図１２Ａに示す通り、抵抗変化素子ＲＰ、ＲＮと同様に、正規化された結合重み係数を用いて電流印加回路の印加電流値を決定する。図１２Ｂに電流印加回路の印加電流値の計算結果を示す。入力ｘ０が入力されワード線ＷＬ０が選択状態の場合、結合重み係数αの正規化後の値は＋０．２と正の値のため、電流印加回路はＢＬ０側に電流値１０ｕＡを印加する。
このように電流印加回路を使用することで、抵抗変化素子ＲＰ、ＲＮの書き換えを行うことなく、結合重み係数を調整したニューラルネットワーク演算を行うことが可能となる。
＜不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の第２の実施形態＞
図１３Ａ〜図１３Ｄは、第２の実施形態に係るニューラルネットワーク回路の構成、真理値表、結合重み係数の値、及び入力層、隠れ層、出力層の演算動作を示す図である。
図１３Ａは、第２の実施形態に係るニューラルネットワーク回路の構成を示す図である。第２の実施形態のニューラルネットワーク回路は入力層１、隠れ層２、出力層３を有した多層ニューラルネットワーク回路である。
入力層１は３つの入力ｘ０〜ｘ２を有しており、入力ｘ０は常時１データの入力であり、前述の図４で示した通り、入力ｘ０とその結合重み係数で隠れ層２のバイアス係数の演算を行うものである。２つの入力ｘ１、ｘ２が外部から入力データとして入力される。
隠れ層２は１つの入力ｙ０と３つのニューロンｙ１〜ｙ３を有しており、入力ｙ０は常時１データの入力であり、前述の図４で示した通り、入力ｙ０とその結合重み係数で出力層３のバイアス係数の演算を行うものである。３つのニューロンｙ１〜ｙ３は各々入力層１から３つの入力ｘ０〜ｘ２とその結合重み係数を受けて出力ｙ１〜ｙ３を出力する。
出力層３は２つのニューロンｚ１、ｚ２を有しており、隠れ層２から４つの入力ｙ０〜ｙ３とその結合重み係数を受けて出力ｚ１、ｚ２を出力する。
ニューロンｙ１〜ｙ３、ｚ１、ｚ２のニューラルネットワーク演算の計算を図１３Ａの式（１）と式（２）に示す。ここで、結合重み係数ｗｉｋ＿ｙは隠れ層２のニューロンｙ１〜ｙ３の計算で使用される結合重み係数、結合重み係数ｗｉｋ＿ｚは出力層３の計算で使用される結合重み係数であり、活性化関数ｆはステップ関数である。
図１３Ｂは、第２の実施形態に係るニューラルネットワーク回路の真理値表を示す図である。２つの入力のｘ１、ｘ２、出力ｚ１、ｚ２は０データあるいは１データの値を取り、出力ｚ１は入力ｘ１、ｘ２が共に１データの場合のみ１データを出力し、その他の場合は０データを出力する。また出力ｚ２は入力ｘ１、ｘ２が共に１データの場合のみ０データを出力し、その他の場合は１データを出力する。すなわち、第２の実施形態に係るニューラルネットワーク回路は出力ｚ１が入力ｘ１、ｘ２のＡＮＤ論理を出力し、出力ｚ２が入力ｘ１、ｘ２のＮＡＮＤ論理を出力する回路である。
図１３Ｃは、第２の実施形態に係るニューラルネットワーク回路の結合重み係数を示す図である。隠れ層２のニューロンｙ１〜ｙ３は各々３つの入力ｘ０〜ｘ２に対応した３つの結合重み係数を有している。また、出力層３のニューロンｚ１、ｚ２は各々４つの入力ｙ０〜ｙ３に対応した４つの結合重み係数を有している。
図１３Ｄは、第２の実施形態に係るニューラルネットワーク回路の入力層、隠れ層、出力層の演算動作を示す図である。入力層１の入力の組み合わせは４通りである。隠れ層２における入力層１からの入力ｘ０〜ｘ２を受けたニューロンｙ１〜ｙ３の積和演算結果と積和演算結果を入力とした活性化関数（ステップ関数）の出力結果、及び出力層３における隠れ層２からの入力ｙ０〜ｙ３を受けたニューロンｚ１、ｚ２の積和演算結果と積和演算結果を入力とした活性化関数（ステップ関数）の出力結果は図１３Ｄの通りであり、図１３Ｂの真理値表に示す通り、出力ｚ１は入力ｘ１、ｘ２のＡＮＤ論理が出力され、出力ｚ２は入力ｘ１、ｘ２のＮＡＮＤ論理が出力される。
図１４Ａ及び図１４Ｂは、第２の実施形態に係るニューラルネットワーク演算回路の演算ユニットの抵抗変化素子の電流範囲、及び抵抗変化素子に書き込む電流値を示す図である。図１４Ａに示す通り、第１の実施形態と同様、第２の実施形態では抵抗変化素子ＲＰ、ＲＮが流す電流値の取り得る範囲は０ｕＡから５０ｕＡとする。すなわち、電流値の最小値Ｉｍｉｎは０ｕＡ、電流値の最大値Ｉｍａｘは５０ｕＡであり、５０ｕＡの電流範囲（ダイナミックレンジ）を使用する。
図１４Ｂは、隠れ層２のニューロンｙ１〜ｙ３、出力層３のニューロンｚ１、ｚ２のニューラルネットワーク演算に使用する結合重み係数を演算ユニットの抵抗変化素子ＲＰ、ＲＮに書き込む電流値を示す図である。始めに結合重み係数を０〜１の範囲に正規化された結合重み係数を算出し、正規化後の結合重み係数から抵抗変化素子ＲＰ、ＲＮに書き込む電流値を決定する。結合重み係数の正規化はニューロン毎に実施する。
隠れ層２のニューロンｙ１の結合重み係数ｗ１０＿ｙ＝＋０．８、ｗ１１＿ｙ＝−０．６、ｗ１２＿ｙ＝−０．４を抵抗変化素子ＲＰ、ＲＮに書き込む電流値を計算する方法を説明する。３つの結合重み係数を各々３つの演算ユニットの抵抗変化素子ＲＰ、ＲＮに抵抗値（電流値）として書き込む。結合重み係数の正規化を行うにあたり、結合重み係数ｗ１０＿ｙ、ｗ１１＿ｙ、ｗ１２＿ｙの絶対値が最大のものはｗ１０＿ｙ＝＋０．８であり、この結合重み係数の正規化後の値をｗ１０＿ｙ＝＋１．０とする。この正規化により残りの結合重み係数の正規化後の値はｗ１１＿ｙ＝−０．７５、ｗ１２＿ｙ＝−０．５となる。
次に、図１４Ａに示す通り、正規化された結合重み係数を用いて、演算ユニットの抵抗変化素子ＲＰ、ＲＮに書き込む電流値を決定する。図１４Ｂに抵抗変化素子ＲＰ、ＲＮに書き込む電流値の計算結果を示す。結合重み係数ｗ１０＿ｙの正規化後の値は＋１．０と正の値のため、抵抗変化素子ＲＰに書き込む電流値は５０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は０ｕＡとなる。結合重み係数ｗ１１＿ｙの正規化後の値は−０．７５と負の値のため、抵抗変化素子ＲＰに書き込む電流値は０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は３７．５ｕＡとなる。結合重み係数ｗ１２＿ｙの正規化後の値は−０．５と負の値のため、抵抗変化素子ＲＰに書き込む電流値は０ｕＡ、抵抗変化素子ＲＮに書き込む電流値は２５ｕＡとなる。同様に、隠れ層２のニューロンｙ２、ｙ３、出力層３のニューロンｚ１に対して演算ユニットの抵抗変化素子ＲＰ、ＲＮに書き込む電流値を計算した結果を図１４Ｂに示す。
ニューラルネットワーク回路の演算動作は、メモリセルアレイに配置される複数の演算ユニットの抵抗変化素子ＲＰ、ＲＮに対して図１４Ｂに示す電流値（抵抗値）を書き込み、始めに入力層１の入力データを入力とし、隠れ層２の演算に必要な結合重み係数が格納された演算ユニットを選択してビット線に流れる電流を検知、判定することで、隠れ層２の出力データを決定する。次に隠れ層２の出力データと入力として、出力層３の演算に必要な結合重み係数が格納された演算ユニットを選択してビット線に流れる電流を検知、判定することで、出力層３の出力データを決定する。このように動作させることで、多層ニューラルネットワーク演算を行うことが可能となる。
図１５Ａ〜図１５Ｃに、第２の実施形態に係るニューラルネットワーク回路において、電流印加回路を使用することで、結合重み係数の書き込み誤差をキャンセルする方法を示す。図１５Ａは、出力層の結合重み係数を示す図である。結合重み係数ｗ２０＿ｚは理想値が−０．２に対し、書き込み結果は＋０．１となっている。また結合重み係数ｗ２２＿ｚは理想値が−０．３に対し、書き込み結果は−０．８となっている。
図１５Ｃは、第２の実施形態に係る出力層のニューラルネットワーク演算回路の詳細構成を示す図である。図１５Ｃにおいて、図１Ｂの構成要件と同一のものは同一の符号、番号を付与しており、その詳細な説明は割愛する。第２の実施形態の出力層のニューラルネットワーク演算回路は４入力、２出力のニューロンであり、結合重み係数ｗ１０＿ｚ〜ｗ１３＿ｚを格納する４つの演算ユニットＰＵ１０〜ＰＵ１３、結合重み係数ｗ２０＿ｚ〜ｗ２３＿ｚを格納する４つの演算ユニットＰＵ２０〜ＰＵ２３、及び入力ｙ０〜ｙ３に対応する４本のワード線ＷＬ０〜ＷＬ３、抵抗変化素子ＲＰとセルトランジスタＴ０が接続されるビット線ＢＬ０、ソース線ＳＬ０、抵抗変化素子ＲＮとセルトランジスタＴ１が接続されるビット線ＢＬ１、ソース線ＳＬ１、抵抗変化素子ＲＰとセルトランジスタＴ２が接続されるビット線ＢＬ２、ソース線ＳＬ２、抵抗変化素子ＲＮとセルトランジスタＴ３が接続されるビット線ＢＬ３、ソース線ＳＬ３を備えている。またビット線ＢＬ０、ビット線ＢＬ１には電流印加回路１００が接続され、ビット線ＢＬ２、ビット線ＢＬ３にも電流印加回路１００が接続される。
ニューラルネットワーク演算動作を行う場合、入力ｙ０〜ｙ３に応じてワード線ＷＬ０〜ＷＬ３を各々選択状態、非選択状態とし、演算ユニットＰＵ１０〜ＰＵ１３、ＰＵ２０〜ＰＵ２３のセルトランジスタＴ０、Ｔ１、Ｔ２、Ｔ３を選択状態、非選択状態とする。ビット線ＢＬ０、ＢＬ１、ＢＬ２、ＢＬ３はカラムゲートＹＴ０、ＹＴ１、ＹＴ２、ＹＴ３を介して判定回路５０からビット線電圧が供給され、ソース線ＳＬ０、ＳＬ１、ＳＬ２、ＳＬ３はディスチャージトランジスタＤＴ０、ＤＴ１、ＤＴ２、ＤＴ３を介して接地電圧に接続される。これにより、ビット線ＢＬ０に出力ｚ０に対応する正の積和演算結果に相当する電流が流れ、ビット線ＢＬ１に出力ｚ０に対応する負の積和演算結果に相当する電流が流れる。また、ビット線ＢＬ２に出力ｚ１に対応する正の積和演算結果に相当する電流が流れ、ビット線ＢＬ３に出力ｚ１に対応する負の積和演算結果に相当する電流が流れる。判定回路５０はビット線ＢＬ０、ＢＬ１に流れる電流の大小関係を検知、判定することで出力ｚ０を出力する。また判定回路５０はビット線ＢＬ２、ＢＬ３に流れる電流の大小関係を検知、判定することで出力ｚ１を出力する。すなわち、積和演算結果が負の値（＜０）の場合は０データを出力し、正の値（≧０）の場合は１データを出力する。判定回路５０は積和演算結果を入力とした活性化関数ｆ（ステップ関数）の演算結果を出力する。しかし、本発明の第２の実施形態に係るニューラルネットワーク演算のように、２つの出力ｚ０、ｚ１のどちらか一方が１データを出力するニューラルネットワーク演算においても、結合重み係数の書き込み誤差や判定回路の誤差等により、両方が１データを出力する場合や、両方が０データを出力する場合がある。両方が１データを出力する場合には、ビット線ＢＬ１、ＢＬ３に各々の電流印加回路１００から電流を印加することで、判定回路に印加される電流の大小関係が小さい判定回路の出力を１データから０データに変更することが可能であり、両方が０データを出力する場合には、ビット線ＢＬ０、ＢＬ２に各々の電流印加回路１００から電流を印加することで、判定回路に印加される電流の大小関係が小さい判定回路の出力を０データから１データに変更することが可能である。
図１５Ｂは、第２の実施形態に係る出力層のニューラルネットワーク演算結果を示す図である。理想値でのニューラルネットワーク演算では出力ｚ１は入力ｘ１、ｘ２のＡＮＤ論理が出力され、出力ｚ２は入力ｘ１、ｘ２のＮＡＮＤ論理が出力されるが、図１５Ａに示すように結合重み係数の書き込み結果に誤差がある場合は、出力ｚ１、ｚ２の両方が１データを出力する場合や、出力ｚ１、ｚ２の両方が０データを出力する場合がある。出力ｚ１、ｚ２の両方が１データを出力する場合にはビット線ＢＬ１、ＢＬ３に結合重み係数αとして−０．５に相当する電流を印加し、出力ｚ１、ｚ２の両方が０データを出力する場合にはビット線ＢＬ０、ＢＬ２に結合重み係数αとして＋０．５に相当する電流を印加することで、結合重み係数の書き込み結果に誤差がある場合にも、出力ｚ１は入力ｘ１、ｘ２のＡＮＤ論理が出力され、出力ｚ２は入力ｘ１、ｘ２のＮＡＮＤ論理が出力されるニューラルネットワーク演算回路を構成することが可能である。
＜結言＞
以上のように、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、不揮発性半導体記憶素子に流れる電流値を用いてニューラルネットワーク回路の積和演算動作を行う。これにより、従来のデジタル回路で構成される大容量のメモリ回路やレジスタ回路、大規模な乗算回路や累積回路（アキュムレータ回路）、及び複雑な制御回路を搭載することなく、積和演算動作を行うことが可能となるため、ニューラルネットワーク演算回路の低消費電力化、及び半導体集積回路のチップ面積縮小化が可能となる。また、ニューロンの入力データと出力データが０データ、あるいは１データの２値のデジタルデータを取り得るニューラルネットワーク回路であるため、ニューロン間の情報伝達をデジタル伝送することが可能となり、複数のニューロンを用いた大規模なニューラルネットワーク回路の実装が容易となり、大規模なニューラルネットワーク回路の半導体集積化が可能となる。すなわち、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、低消費電力化と大規模集積化を実現することが可能である。
以上、本発明の実施形態を説明してきたが、本発明の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、上述の例示にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更等を加えたものに対しても有効である。
例えば、上記実施形態の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、抵抗変化型不揮発性メモリ（ＲｅＲＡＭ）の例であったが、本発明は、磁気抵抗型不揮発性メモリ（ＭＲＡＭ）、相変化型不揮発性メモリ（ＰＲＡＭ）、強誘電体型不揮発性メモリ（ＦｅＲＡＭ）等、抵抗変化型メモリ以外の不揮発性半導体記憶素子でも適用可能である。
本発明に係る不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路は、不揮発性半導体記憶素子を用いて積和演算動作を行う構成のため、従来のデジタル回路を用いた乗算回路や累積回路（アキュムレータ回路）等を搭載することなく、積和演算動作を行うことが可能である。また、入力データと出力データを２値のデジタル化することで大規模なニューラルネットワーク回路を容易に集積化することが可能である。
従って、ニューラルネットワーク演算回路の低消費電力化と大規模集積化を実現することができるという効果を有し、例えば、自らが学習と判断を行う人工知能（ＡＩ：Artificial Intelligence）技術を搭載した半導体集積回路、及びそれらを搭載した電子機器等に対して有用である。
１ 入力層
２ 隠れ層
３ 出力層
１０ ニューロン
１１ 結合重み
２０ メモリセルアレイ
３０ ワード線選択回路
４０ カラムゲート
５０ 判定回路
６０ 書き込み回路
７０ 制御回路
８０ 半導体基板
８１ａ、８１ｂ 拡散領域
８２ 酸化膜
８３ ゲート電極（ワード線）
８４ａ、８４ｂ、８６、８８、９２ ビア
８５ａ、８５ｂ 第１配線層
８７ 第２配線層
８９ 下部電極
９０ 抵抗変化層
９１ 上部電極
９３ 第３配線層
１００ 電流印加回路
１１０、１１１ 電流源
１２０、１２１ 電流発生回路
ｘ０〜ｘｎ 入力
ｗ０〜ｗｎ、ｗαｐ〜ｗαｎ 結合重み係数
ｂ バイアス係数
ｆ 活性化関数
ｙ 出力
ＰＵ０〜ＰＵｎ、ＰＵ１０〜ＰＵ１３、ＰＵ２０〜ＰＵ２３ 演算ユニット
ＰＵαｐ、ＰＵαｎ 電流印加ユニット
ＭＣ メモリセル
Ｔ０、Ｔ１ セルトランジスタ
ＲＰ、ＲＮ 抵抗変化素子
Ｒｗ、Ｒｗ０、Ｒｗ１、Ｒｗ２ 抵抗素子（固定抵抗素子あるいは抵抗変化素子）
ＹＴ０、ＹＴ１、ＹＴ２、ＹＴ３ カラムゲートトランジスタ
ＹＴｐ、ＹＴｎ スイッチトランジスタ
ＳＴ０、ＳＴ１、ＳＴ２ 選択トランジスタ
ＷＴ、ＷＴ０、ＷＴ１、ＷＴ２ ロードトランジスタ
ＤＴ０、ＤＴ１、ＤＴ２、ＤＴ３、ＤＴα ディスチャージトランジスタ
ＷＬ０〜ＷＬｎ、ＷＬαｐ、ＷＬαｎ ワード線
ＢＬ０〜ＢＬｍ ビット線
ＳＬ０〜ＳＬｍ ソース線
ＹＧ カラムゲート選択信号
ＤＩＳ ディスチャージ制御信号
Ｖｂｌ ビット線電圧
Ｒｐｉ、Ｒｎｉ 抵抗変化素子の抵抗値
Ｉｐｉ、Ｉｎｉ 抵抗変化素子に流れる電流値

Claims (22)

  1. 第１の論理値、あるいは第２の論理値のデータを取り得る複数の入力データと、
    前記複数の入力データに各々対応する複数の結合重み係数と、
    前記複数の入力データと、対応する前記結合重み係数との積和演算結果に応じて第１の論理値、あるいは第２の論理値の出力データを出力するニューラルネットワーク演算回路であって、
    複数のワード線と、
    第１のデータ線と、
    第２のデータ線と、
    第３のデータ線と、
    第４のデータ線と、
    第１の不揮発性半導体記憶素子と第１のセルトランジスタとの直列接続で構成され、前記第１の不揮発性半導体記憶素子の一端が前記第１のデータ線に、前記第１のセルトランジスタの一端が前記第２のデータ線に、前記第１のセルトランジスタのゲートが前記ワード線に接続され、且つ、第２の不揮発性半導体記憶素子と第２のセルトランジスタとの直列接続で構成され、前記第２の不揮発性半導体記憶素子の一端が前記第３のデータ線に、前記第２のセルトランジスタの一端が前記第４のデータ線に、前記第２のセルトランジスタのゲートが前記ワード線に接続される複数の演算ユニットと、
    前記複数のワード線を選択状態あるいは非選択状態とするワード線選択回路と、
    前記第１のデータ線と前記第３のデータ線に生じる電圧値あるいは電流値の大小関係を判定して第１の論理値、あるいは第２の論理値のデータを出力する判定回路に接続され、
    前記第２のデータ線と前記第４のデータ線は接地電位に接続され、前記第１のデータ線あるいは前記第３のデータ線の少なくとも１本に接続された電流印加回路とを備え、
    または、前記第２のデータ線と前記第４のデータ線に生じる電圧値あるいは電流値の大小関係を判定して第１の論理値、あるいは第２の論理値のデータを出力する判定回路に接続され、前記第１のデータ線と前記第３のデータ線は接地電位に接続され、前記第２のデータ線あるいは前記第４のデータ線の少なくとも１本に接続された電流印加回路とを備え、
    前記複数の演算ユニットの前記第１の不揮発性半導体記憶素子と前記第２の不揮発性半導体記憶素子に複数の結合重み係数を格納し、
    前記第１のデータ線、あるいは前記第２のデータ線、あるいは前記第３のデータ線、あるいは前記第４のデータ線の任意の１本に前記電流印加回路から電流を印加することで、任意の結合重み係数を調整する機能を持ち、
    前記ワード線選択回路が、前記複数の入力データに応じて前記複数のワード線を選択状態あるいは非選択状態とし、
    前記判定回路が出力データを出力する、
    不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  2. 前記電流印加回路は、
    第１の電流源の入力が、第１のスイッチトランジスタを介して、前記第１のデータ線あるいは前記第２のデータ線、又は第２のスイッチトランジスタを介して、前記第３のデータ線あるいは前記第４のデータ線の、少なくともどちらか片方に接続される
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  3. 前記電流印加回路は、
    第２の電流源の入力が第１のスイッチトランジスタを介して、前記第１のデータ線あるいは前記第２のデータ線に接続され、
    第３の電流源の入力が第２のスイッチトランジスタを介して、前記第３のデータ線あるいは前記第４のデータ線に接続される
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  4. 前記電流印加回路は、
    第１の電流発生回路の一端が第１のスイッチトランジスタを介して、前記第１のデータ線あるいは前記第２のデータ線、又は第２のスイッチトランジスタを介して、前記第３のデータ線あるいは前記第４のデータ線の、少なくともどちらか片方に接続され、
    前記第１の電流発生回路のもう一端は接地電位に接続される
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  5. 前記電流印加回路は、
    第２の電流発生回路の一端が第１のスイッチトランジスタを介して、前記第１のデータ線あるいは前記第２のデータ線に接続され、前記第２の電流発生回路のもう一端は接地電位に接続され、
    第３の電流発生回路の一旦が第２のスイッチトランジスタを介して、前記第３のデータ線あるいは前記第４のデータ線に接続され、前記第３の電流発生回路のもう一端は接地電位に接続される
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  6. 前記第１の電流発生回路は、第１の抵抗素子で構成され、
    前記第１の抵抗素子の一端が前記第１の電流発生回路の一端に接続され、
    前記第１の抵抗素子のもう一端が接地電位に接続される
    請求項４記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  7. 前記第１の電流発生回路は、第１のロードトランジスタで構成され、
    前記第１のロードトランジスタの一端が前記第１の電流発生回路の一端に接続され、
    前記第１のロードトランジスタのもう一端が接地電位に接続され、
    前記第１のロードトランジスタのゲートが第１のロードゲート線に接続された
    請求項４記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  8. 前記第１の電流発生回路は、
    第１の抵抗素子と第１の選択トランジスタとの直列接続の構成が、少なくとも１つ以上並列に接続され、
    前記第１の抵抗素子の一端が前記第１の電流発生回路の一端に接続され、
    前記第１の選択トランジスタの一端が接地電位に接続され、
    前記第１の選択トランジスタのゲートが第１の選択ゲート線に接続された
    請求項４記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  9. 前記第１の電流発生回路は、
    第１のロードトランジスタと第１の選択トランジスタとの直列接続の構成が、少なくとも１つ以上並列に接続され、
    前記第１のロードトランジスタの一端が前記第１の電流発生回路の一端に接続され、
    前記第１の選択トランジスタの一端が接地電位に接続され、
    前記第１のロードトランジスタのゲートが第１のロードゲート線に接続され、
    前記第１の選択トランジスタのゲートが第１の選択ゲート線に接続された
    請求項４記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  10. 前記第２、第３の電流発生回路は、第１の抵抗素子と第２の抵抗素子で構成され、
    前記第１の抵抗素子の一端が前記第２の電流発生回路の一端に接続され、
    前記第２の抵抗素子の一端が前記第３の電流発生回路の一端に接続され、
    前記第１の抵抗素子と前記第２の抵抗素子のもう一端が接地電位に接続される
    請求項５記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  11. 前記第２、第３の電流発生回路は、第１のロードトランジスタと第２のロードトランジスタで構成され、
    前記第１のロードトランジスタの一端が前記第２の電流発生回路の一端に接続され、
    前記第２のロードトランジスタの一端が前記第３の電流発生回路の一端に接続され、
    前記第１のロードトランジスタと前記第２のロードトランジスタのもう一端が接地電位に接続され、
    前記第１のロードトランジスタのゲートが第１のロードゲート線に接続され、
    前記第２のロードトランジスタのゲートが第２のロードゲート線に接続された
    請求項５記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  12. 前記第２、第３の電流発生回路は、
    第１の抵抗素子と第１の選択トランジスタとの直列接続の構成が、少なくとも１つ以上並列に接続され、
    前記第１の抵抗素子の一端が前記第２の電流発生回路の一端に接続され、
    前記第１の選択トランジスタの一端が接地電位に接続され、
    第２の抵抗素子と第２の選択トランジスタとの直列接続の構成が、少なくとも１つ以上並列に接続され、
    前記第２の抵抗素子の一端が前記第３の電流発生回路の一旦に接続され、
    前記第２の選択トランジスタの一端が接地電位に接続され、
    前記第１の選択トランジスタのゲートが第１の選択ゲート線に接続され、
    前記第２の選択トランジスタのゲートが第２の選択ゲート線に接続された
    請求項５記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  13. 前記第２、第３の電流発生回路は、
    第１のロードトランジスタと第１の選択トランジスタとの直列接続の構成が、少なくとも１つ以上並列に接続され、
    前記第１のロードトランジスタの一端が前記第２の電流発生回路の一端に接続され、
    前記第１の選択トランジスタの一端が接地電位に接続され、
    第２のロードトランジスタと第２の選択トランジスタとの直列接続の構成が、少なくとも１つ以上並列に接続され、
    前記第２のロードトランジスタの一端が前記第３の電流発生回路の一旦に接続され、
    前記第２の選択トランジスタの一端が接地電位に接続され、
    前記第１のロードトランジスタのゲートが第１のロードゲート線に接続され、
    前記第２のロードトランジスタのゲートが第２のロードゲート線に接続され、
    前記第１の選択トランジスタのゲートが第１の選択ゲート線に接続され、
    前記第２の選択トランジスタのゲートが第２の選択ゲート線に接続された
    請求項５記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  14. 前記電流印加回路は、
    第３の抵抗素子と第３のセルトランジスタとの直列接続で構成され、第３の抵抗素子の一端が前記第１のデータ線に、前記第３のセルトランジスタの一端が前記第２のデータ線に、前記第３のセルトランジスタのゲートが前記ワード線に接続され、且つ、第４の抵抗素子と第４のセルトランジスタとの直列接続で構成され、前記第４の抵抗素子の一端が前記第３のデータ線に、前記第４のセルトランジスタの一端が前記第４のデータ線に、前記第４のセルトランジスタのゲートが前記ワード線に接続される少なくとも１つ以上の電流印加ユニットで構成される
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  15. 前記第１、第２の抵抗素子は、
    固定抵抗素子、あるいは第３の不揮発性半導体記憶素子で構成される
    請求項６、請求項８、請求項１０、又は請求項１２記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  16. 前記第３の抵抗素子、前記第４の抵抗素子は、
    固定抵抗素子、あるいは第３の不揮発性半導体記憶素子で構成される
    請求項１４記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  17. 前記複数の演算ユニットの前記第１の不揮発性半導体記憶素子と前記第２の不揮発性半導体記憶素子への前記複数の結合重み係数の格納において、
    前記結合重み係数が正の値の場合、前記第１の不揮発性半導体記憶素子に流れる電流値が前記結合重み係数の値に比例した電流値となるように、前記第１の不揮発性半導体記憶素子に書き込みを行い、
    前記結合重み係数が負の値の場合、前記第２の不揮発性半導体記憶素子に流れる電流値が前記結合重み係数の値に比例した電流値となるように、前記第２の不揮発性半導体記憶素子に書き込みを行う、
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  18. 前記複数の演算ユニットの前記第１の不揮発性半導体記憶素子と前記第２の不揮発性半導体記憶素子への前記複数の結合重み係数の格納において、
    前記結合重み係数が正の値の場合、前記第１の不揮発性半導体記憶素子に流れる電流値が前記第２の不揮発性半導体記憶素子に流れる電流値よりも大きくなり、且つその電流差が前記結合重み係数の値に比例した電流値となるように、前記第１の不揮発性半導体記憶素子と前記第２の不揮発性半導体記憶素子に書き込みを行い、
    前記結合重み係数が負の値の場合、前記第２の不揮発性半導体記憶素子に流れる電流値が前記第１の不揮発性半導体記憶素子に流れる電流値よりも大きくなり、且つその電流差が前記結合重み係数の値に比例した電流値となるように、前記第１の不揮発性半導体記憶素子と前記第２の不揮発性半導体記憶素子に書き込みを行う、
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  19. 前記ワード線選択回路は、
    前記入力データが第１の論理値の場合、対応するワード線を非選択状態とし、
    前記入力データが第２の論理値の場合、対応するワード線を選択状態とする、
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  20. 前記第１のデータ線あるいは前記第２のデータ線に、結合重み係数が正の値である複数の入力データと、対応する正の値の結合重み係数との積和演算結果に対応した電流値が流れ、
    前記第３のデータ線あるいは前記第４のデータ線に、結合重み係数が負の値である複数の入力データと、対応する負の値の結合重み係数との積和演算結果に対応した電流値が流れる、
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  21. 前記判定回路は、
    前記第１のデータ線あるいは前記第２のデータ線に流れる電流値が前記第３のデータ線あるいは前記第４のデータ線に流れる電流値よりも小さい場合、第１の論理値を出力し、
    前記第１のデータ線あるいは前記第２のデータ線に流れる電流値が前記第３のデータ線あるいは前記第４のデータ線に流れる電流値よりも大きい場合、第２の論理値を出力する、
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
  22. 前記電流印加回路を前記第１のデータ線あるいは前記第２のデータ線に接続し、電流を印加した場合には、
    前記第１のデータ線あるいは前記第２のデータ線に、結合重み係数が正の値である複数の入力データと、対応する正の値の結合重み係数との積和演算結果に対応した電流値と、前記電流印加回路で印加した電流値との和が流れ、
    前記電流印加回路を前記第３のデータ線あるいは前記第４のデータ線に接続し、電流を印加した場合には、
    前記第３のデータ線あるいは前記第４のデータ線に、結合重み係数が負の値である複数の入力データと、対応する負の値の結合重み係数との積和演算結果に対応した電流値と、前記電流印加回路で印加した電流値との和が流れる
    請求項１記載の不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路。
JP2019540951A 2017-09-07 2018-09-03 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路 Active JP6956191B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017171952 2017-09-07
JP2017171952 2017-09-07
PCT/JP2018/032676 WO2019049842A1 (ja) 2017-09-07 2018-09-03 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路

Publications (2)

Publication Number Publication Date
JPWO2019049842A1 JPWO2019049842A1 (ja) 2020-08-06
JP6956191B2 true JP6956191B2 (ja) 2021-11-02

Family

ID=65633993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540951A Active JP6956191B2 (ja) 2017-09-07 2018-09-03 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路

Country Status (4)

Country Link
US (1) US11615299B2 (ja)
JP (1) JP6956191B2 (ja)
CN (1) CN111052154B (ja)
WO (1) WO2019049842A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347999B2 (en) 2019-05-22 2022-05-31 International Business Machines Corporation Closed loop programming of phase-change memory
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure
JP7356393B2 (ja) 2020-04-10 2023-10-04 ルネサスエレクトロニクス株式会社 半導体装置
CN111681696B (zh) * 2020-05-28 2022-07-08 中国科学院微电子研究所 基于非易失存储器的存储和数据处理方法、装置及设备
CN111782580B (zh) * 2020-06-30 2024-03-01 北京百度网讯科技有限公司 复杂计算装置、方法、人工智能芯片和电子设备
CN111833888B (zh) * 2020-07-24 2022-11-11 清华大学 一种语音关键词识别的近传感器处理系统、电路及方法
TWI734604B (zh) * 2020-09-03 2021-07-21 旺宏電子股份有限公司 三維nand人工智慧加速器之辨識方法與控制電路
WO2022230674A1 (ja) * 2021-04-28 2022-11-03 国立大学法人東北大学 演算処理装置
US20230326499A1 (en) * 2022-04-12 2023-10-12 Stmicroelectronics S.R.L. Signed and binary weighted computation for an in-memory computation system
CN115148845B (zh) * 2022-09-05 2023-06-27 浙江大学杭州国际科创中心 一种感光神经元晶体管及其制备方法、使用方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155802A (en) * 1987-12-03 1992-10-13 Trustees Of The Univ. Of Penna. General purpose neural computer
JPH02161556A (ja) 1988-12-14 1990-06-21 Sumitomo Electric Ind Ltd ニューラルネットワークシステム
US5087826A (en) * 1990-12-28 1992-02-11 Intel Corporation Multi-layer neural network employing multiplexed output neurons
JPH05264645A (ja) * 1992-03-19 1993-10-12 Hitachi Ltd 絶縁物の劣化推定法
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) * 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
JPH06259585A (ja) 1993-03-10 1994-09-16 Toyota Central Res & Dev Lab Inc ニューラルネットワーク装置
JP2001188767A (ja) 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
US6501256B1 (en) * 2001-06-29 2002-12-31 Intel Corporation Trimmable bandgap voltage reference
KR100400317B1 (ko) * 2001-06-30 2003-10-01 주식회사 하이닉스반도체 클럭 동기 장치의 지연 회로
WO2004100266A1 (ja) * 2003-05-09 2004-11-18 Matsushita Electric Industrial Co., Ltd. 不揮発性メモリおよびその製造方法
US7302513B2 (en) * 2006-04-03 2007-11-27 Blaise Laurent Mouttet Programmable crossbar signal processor
JP5160304B2 (ja) 2008-05-22 2013-03-13 シャープ株式会社 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
US8018758B2 (en) * 2009-07-06 2011-09-13 Magic Technologies, Inc. Gate drive voltage boost schemes for memory array
US8467226B2 (en) * 2011-01-14 2013-06-18 Micron Technology, Inc. Programming an array of resistance random access memory cells using unipolar pulses
WO2012105164A1 (ja) * 2011-02-01 2012-08-09 パナソニック株式会社 不揮発性半導体記憶装置
KR101888468B1 (ko) * 2011-06-08 2018-08-16 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
CN104160450B (zh) * 2012-03-07 2017-06-09 松下知识产权经营株式会社 非易失性半导体存储装置
US10474948B2 (en) * 2015-03-27 2019-11-12 University Of Dayton Analog neuromorphic circuit implemented using resistive memories
CN105404925A (zh) * 2015-11-02 2016-03-16 上海新储集成电路有限公司 一种三维神经网络芯片

Also Published As

Publication number Publication date
US20200202207A1 (en) 2020-06-25
WO2019049842A1 (ja) 2019-03-14
JPWO2019049842A1 (ja) 2020-08-06
US11615299B2 (en) 2023-03-28
CN111052154B (zh) 2023-10-17
CN111052154A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
JP6858870B2 (ja) 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
JP6956191B2 (ja) 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
Sun et al. XNOR-RRAM: A scalable and parallel resistive synaptic architecture for binary neural networks
US11663457B2 (en) Neural network circuits having non-volatile synapse arrays
CN110782028A (zh) 具有差分二进制非易失性存储器单元结构的可配置精密神经网络
CN110825345A (zh) 使用非易失性存储器单元的乘法
US11354569B2 (en) Neural network computation circuit including semiconductor storage elements
CN110729011B (zh) 用于类神经网路的存储器内运算装置
TW201937413A (zh) 具有非揮發性突觸陣列的神經網路電路
US20210117500A1 (en) Methods to tolerate programming and retention errors of crossbar memory arrays
US20200302277A1 (en) Neural network system including gate circuit for controlling memristor array circuit
TWI783538B (zh) 多階超低功率推理引擎加速器
JP7442625B2 (ja) 相変化メモリ・シナプスのプログラム中にドリフト係数外れ値を抑制すること
WO2023171683A1 (ja) ニューラルネットワーク演算回路
US20220164638A1 (en) Methods and apparatus for neural network arrays
US11881260B2 (en) Neuromorphic computing device and method of designing the same
KR20210083599A (ko) 멀티 비트 특성을 갖는 뉴로모픽 시냅스 소자 및 이의 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211004

R151 Written notification of patent or utility model registration

Ref document number: 6956191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151