JP6756287B2 - ニューラルネットワーク回路 - Google Patents
ニューラルネットワーク回路 Download PDFInfo
- Publication number
- JP6756287B2 JP6756287B2 JP2017059136A JP2017059136A JP6756287B2 JP 6756287 B2 JP6756287 B2 JP 6756287B2 JP 2017059136 A JP2017059136 A JP 2017059136A JP 2017059136 A JP2017059136 A JP 2017059136A JP 6756287 B2 JP6756287 B2 JP 6756287B2
- Authority
- JP
- Japan
- Prior art keywords
- feedback resistor
- memristor
- voltage
- neural network
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 14
- 238000003860 storage Methods 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 239000002184 metal Substances 0.000 description 8
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 208000018777 Vulvar intraepithelial neoplasia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
- G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
- G11C13/0021—Auxiliary circuits
- G11C13/004—Reading or sensing circuits or methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
- G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
- G11C13/0021—Auxiliary circuits
- G11C13/0038—Power supply circuits
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03F—AMPLIFIERS
- H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
- H03F3/45—Differential amplifiers
- H03F3/45071—Differential amplifiers with semiconductor devices only
- H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
- H03F3/45475—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using IC blocks as the active amplifying circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4814—Non-logic devices, e.g. operational amplifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
- G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
- G06F2207/4802—Special implementations
- G06F2207/4818—Threshold devices
- G06F2207/4824—Neural networks
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
- G11C2213/70—Resistive array aspects
- G11C2213/77—Array wherein the memory element being directly connected to the bit lines and word lines without any access device being used
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03F—AMPLIFIERS
- H03F2203/00—Indexing scheme relating to amplifiers with only discharge tubes or only semiconductor devices as amplifying elements covered by H03F3/00
- H03F2203/45—Indexing scheme relating to differential amplifiers
- H03F2203/45528—Indexing scheme relating to differential amplifiers the FBC comprising one or more passive resistors and being coupled between the LC and the IC
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03F—AMPLIFIERS
- H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
- H03F3/45—Differential amplifiers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Power Engineering (AREA)
- Semiconductor Integrated Circuits (AREA)
- Semiconductor Memories (AREA)
- Amplifiers (AREA)
Description
本発明は、記憶素子としてのメモリスタを格子状に結合してなる記憶部を有するニューラルネットワーク回路に関する。
現在、メモリスタと称される、不揮発性でコンダクタンス値を可変できる２端子の素子をシナプスとして用い、ニューラルネットワーク回路を構成する研究が進められている。このようなニューラルネットワーク回路は、例えば図１５，非特許文献１のＦｉｇ．２に示すように、メモリスタを格子状に配置し、メモリスタに電圧を印加して電流を生成する。その合成電流をトランスインピーダンスアンプで電圧に変換し、活性化関数により波形を整形した後に電圧値として出力する。メモリスタがシナプスとして、トランスインピーダンスアンプがニューロンとして動作することで、ニューラルネットワーク回路が構成される。トランスインピーダンスアンプは、メモリスタのコンダクタンス値と印加電圧との積和演算をアナログ演算で行う。
非特許文献１に開示されている回路において、メモリスタの温度特性は、入力信号Ｖｉにメモリスタの温度係数を掛けることで補正できる。しかし、図１６，非特許文献２のＦｉｇ．８に示されているようなリテンション特性の場合は、温度特性が時間依存を持つことになる。すると、前述の方法ではリテンション特性の軽減が困難になる。図１７，非特許文献３のＦｉｇ．１３（ｃ）には、アンプの帰還抵抗にメモリスタを用いることで、温度特性やその時間変化に対応する構成が開示されている。
"A heterogeneous computing system with memristor-based neuromorphic accelerators " High PERFORMANCE Extreme Computing Conference, 2014 IEEE
"Demonstration of High-density ReRAM Ensuring 10-year Retention at 85℃ Based on a Newly Developed Reliability Model " IEDM 2011
"Advancing Memristive Analog Neuromorphic Networks : Increasing Complexity, and Coping with Imperfect Hardware Components" 2016
"Phenomenological Modeling of Memristive Devices "Applied Physics A, vol.118,pp.770-786,2015
しかしながら、メモリスタのＤＣ特性は、図１８，図１９，非特許文献４のＦｉｇ．２（ａ），（ｃ）に示されているように、入力電圧の極性によって抵抗値が異なる特性を示す。したがって、入力電圧の極性に応じて補正値を変える必要がある。上記Ｆｉｇ．１３（ｃ）の誤差アンプの出力ＶＯＵＴは、入力ＶＩＮが複数ある場合、正負どちらの極性を示すかを確定できない。
本発明は上記事情に鑑みてなされたものであり、その目的は、記憶素子を構成するメモリスタの温度特性を適切に補正できるニューラルネットワーク回路を提供することにある。
請求項１記載のニューラルネットワーク回路によれば、可変抵抗素子であるメモリスタを記憶素子として、複数の記憶素子を格子状に結合してなる記憶部を備える。複数のＩ／Ｖ変換増幅回路は、複数の記憶素子を介して流れる電流を電圧に変換して出力する。これらのＩ／Ｖ変換増幅回路を構成する帰還抵抗にメモリスタを用い、その帰還抵抗を、当該Ｉ／Ｖ変換増幅回路に対して入力抵抗となる記憶素子のメモリスタと極性が揃う方向で接続する。
このように構成すれば、記憶素子とＩ／Ｖ変換増幅回路の帰還抵抗とが同じ温度特性を有することになり、且つ、各素子に通電が行われる極性も同じになる。したがって、記憶素子の温度特性をＩ／Ｖ変換増幅回路により適切に補正できる。
また、請求項１記載のニューラルネットワーク回路によれば、バイアス電圧又はＩ／Ｖ変換増幅回路の基準電圧にオフセット電圧を付与し、記憶素子の動作極性と、帰還抵抗の動作極性とを一致させる。
また、請求項１記載のニューラルネットワーク回路によれば、バイアス電圧又はＩ／Ｖ変換増幅回路の基準電圧にオフセット電圧を付与し、記憶素子の動作極性と、帰還抵抗の動作極性とを一致させる。
（第１実施形態）
図１に示すように、ニューラルネットワーク回路の記憶部１は、メモリスタからなる記憶素子Ｒ１，Ｒ２，Ｒ３で構成されている。ここでは例示として３素子のみ示しているが、実際のニューラルネットワーク回路にはより多くの記憶素子が用いられている。各記憶素子Ｒ１，Ｒ２，Ｒ３の一端には、それぞれ可変電圧源Ｖｉ１，Ｖｉ２，Ｖｉ３が接続されている。各記憶素子Ｒ１，Ｒ２，Ｒ３の他端は、センスアンプ２の入力端子であるオペアンプ３の反転入力端子に共通に接続されている。前記反転入力端子とオペアンプ３の出力端子との間には、やはりメモリスタからなる帰還抵抗Ｒｆが接続されている。オペアンプ３の非反転入力端子はグランドに接続されている。センスアンプ２は、Ｉ／Ｖ変換増幅回路に相当する。
図１に示すように、ニューラルネットワーク回路の記憶部１は、メモリスタからなる記憶素子Ｒ１，Ｒ２，Ｒ３で構成されている。ここでは例示として３素子のみ示しているが、実際のニューラルネットワーク回路にはより多くの記憶素子が用いられている。各記憶素子Ｒ１，Ｒ２，Ｒ３の一端には、それぞれ可変電圧源Ｖｉ１，Ｖｉ２，Ｖｉ３が接続されている。各記憶素子Ｒ１，Ｒ２，Ｒ３の他端は、センスアンプ２の入力端子であるオペアンプ３の反転入力端子に共通に接続されている。前記反転入力端子とオペアンプ３の出力端子との間には、やはりメモリスタからなる帰還抵抗Ｒｆが接続されている。オペアンプ３の非反転入力端子はグランドに接続されている。センスアンプ２は、Ｉ／Ｖ変換増幅回路に相当する。
メモリスタは、上部電極Ｔと下部電極Ｂとの間に複数の組成が異なる層を形成してなるもので、素子として極性を有している。そして、本実施形態では、図１中に示すように、記憶素子Ｒ１，Ｒ２，Ｒ３の極性が揃うように、それぞれの上部電極Ｔと下部電極Ｂとが同じ側に位置するように配列されている。更に、帰還抵抗Ｒｆについても極性の方向が、記憶素子Ｒ１〜Ｒ３と同一となるように接続している。すなわち、オペアンプ３の反転入力端子に接続される帰還抵抗Ｒｆの上部電極Ｔは、記憶素子Ｒ１〜Ｒ３の下部電極Ｂに接続され、帰還抵抗Ｒｆの下部電極Ｂは、オペアンプ３の出力端子に接続されている。
この場合、センスアンプ２の出力電圧Ｖｏｕｔは、
Ｖｏｕｔ＝−（Ｖｉ１／Ｒ１＋Ｖｉ２／Ｒ２＋Ｖｉ３／Ｒ３）×Ｒｆ
となって、積和演算が行われる。
Ｖｏｕｔ＝−（Ｖｉ１／Ｒ１＋Ｖｉ２／Ｒ２＋Ｖｉ３／Ｒ３）×Ｒｆ
となって、積和演算が行われる。
図２では、記憶部１を３×３のマトリクスで示している。上部電極Ｔ１，Ｔ２，Ｔ３は列方向に並んで配置され、下部電極Ｂ１，Ｂ２，Ｂ３は行方向に並んで配置されている。図１に示す記憶素子Ｒ１〜Ｒ３は、上部電極Ｔ１，Ｔ２，Ｔ３と下部電極Ｂ１との交点にそれぞれ形成されており、所謂クロスバーを構成している。上部電極Ｔ１，Ｔ２，Ｔ３と下部電極Ｂ２との交点には、記憶素子Ｒ２１〜Ｒ２３がそれぞれ形成されている。上部電極Ｔ１，Ｔ２，Ｔ３と下部電極Ｂ３との交点には、記憶素子Ｒ３１〜Ｒ３３がそれぞれ形成されている。
そして、列方向に並ぶ記憶素子Ｒ１〜Ｒ３，Ｒ２１〜Ｒ２３，Ｒ３１〜Ｒ３３にそれぞれ対応して、センスアンプ２（１），２（２），２（３）が設けられている。図１に示すアンプ２は、アンプ２（１）である。センスアンプ２（１），２（２），２（３）の帰還抵抗Ｒｆ１，Ｒｆ２，Ｒｆ３の上部電極Ｔｆ１，Ｔｆ２，Ｔｆ３は、それぞれ対応する記憶部１の下部電極Ｂ１，Ｂ２，Ｂ３に接続されている。
そして、帰還抵抗Ｒｆ１，Ｒｆ２，Ｒｆ３の下部電極Ｂｆ１，Ｂｆ２，Ｂｆ３は、それぞれの上部電極Ｔｆ１，Ｔｆ２，Ｔｆ３と９０度交差して配置されている。つまり、帰還抵抗Ｒｆの上部電極Ｔ，Ｂの配置形態が、記憶部１に対して９０度回転させた状態になっている。
以上のように構成される本実施形態によれば、センスアンプ２の帰還抵抗Ｒｆも、記憶素子Ｒと同じ温度特性を持つメモリスタにすることで、センスアンプ２の出力で温度特性を補正でき、温度特性が時間的に変動しても補正できる。また、記憶素子Ｒと帰還抵抗Ｒｆとでメモリスタの極性が揃う方向に接続することで、入力電圧の極性に依存した非線形性も補正できる。更に図２に示すように、帰還抵抗Ｒｆを構成する上下電極Ｔ，Ｂの方向を、記憶部１に対して９０度回転させて配置することで、上部電極Ｔを配線層として利用でき、効率よく配線できる。尚、全てのメモリスタの端子方向を逆に、Ｂ→Ｔ方向にしても良い。
（第２実施形態）
以下、第１実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。図３に示すように、第２実施形態では、電圧源Ｖｉ１，Ｖｉ２，Ｖｉ３とグランドとの間にオフセット用の電圧源Ｖｏｆｆが挿入されている。このようにオフセット電圧Ｖｏｆｆを加えることで、センスアンプ２の出力電圧Ｖｏｕｔの変化領域を、図４に示す両極性に跨る状態から、図５に示す負極性のみとなるように設定する。
以下、第１実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。図３に示すように、第２実施形態では、電圧源Ｖｉ１，Ｖｉ２，Ｖｉ３とグランドとの間にオフセット用の電圧源Ｖｏｆｆが挿入されている。このようにオフセット電圧Ｖｏｆｆを加えることで、センスアンプ２の出力電圧Ｖｏｕｔの変化領域を、図４に示す両極性に跨る状態から、図５に示す負極性のみとなるように設定する。
以上のように構成される第２実施形態によれば、センスアンプ２の出力電圧Ｖｏｕｔの変化領域を負極性のみに設定することで、極性が異なる際に温度特性が変化する影響を回避して適切に補正できる。尚、変化領域を正極性のみに設定しても良い。
（第３実施形態）
図６に示す第３実施形態は、第２実施形態の変形であり、オフセット用の電圧源−Ｖｏｆｆを、オペアンプ３の非反転入力端子とグランドとの間に挿入している。このように構成すれば、出力電圧Ｖｏｕｔは図７に示すようになり、記憶素子Ｒにも常に、帰還抵抗Ｒｆと同一極性のバイアスを付与できる。
図６に示す第３実施形態は、第２実施形態の変形であり、オフセット用の電圧源−Ｖｏｆｆを、オペアンプ３の非反転入力端子とグランドとの間に挿入している。このように構成すれば、出力電圧Ｖｏｕｔは図７に示すようになり、記憶素子Ｒにも常に、帰還抵抗Ｒｆと同一極性のバイアスを付与できる。
（第４実施形態）
図８に示す第４実施形態では、センスアンプ４において、オペアンプ３に接続する帰還抵抗Ｒｆを、何れもメモリスタからなる抵抗素子Ｒｆ１，Ｒｆ２の並列回路としている。これは、一般に、ニューラルネットワーク回路を構成する記憶部１には、実際には多数の記憶素子Ｒが使用されている。そして、それらの記憶素子Ｒの各抵抗値について度数分布を求めると、図９に示すように、低抵抗値に設定される素子は僅かであり、殆どが高抵抗値に設定されている。
図８に示す第４実施形態では、センスアンプ４において、オペアンプ３に接続する帰還抵抗Ｒｆを、何れもメモリスタからなる抵抗素子Ｒｆ１，Ｒｆ２の並列回路としている。これは、一般に、ニューラルネットワーク回路を構成する記憶部１には、実際には多数の記憶素子Ｒが使用されている。そして、それらの記憶素子Ｒの各抵抗値について度数分布を求めると、図９に示すように、低抵抗値に設定される素子は僅かであり、殆どが高抵抗値に設定されている。
そこで第４実施形態では、センスアンプ４のゲインに対する影響が大きい低抵抗ＲＬＯＷの素子Ｒｆ１と、度数が最高となる高抵抗ＲＨＩＧＨの素子Ｒｆ２とを組み合わせて帰還抵抗Ｒｆとすることで、帰還抵抗Ｒｆの温度特性を、記憶部１の実際の温度特性により近似させる。以上のように構成される第４実施形態によれば、温度特性を、より実態に合せて補正できる。
（第５実施形態）
第５実施形態では、配線状態をより具体的に示す。図１１は比較のため示す従来の構成例であり、配置を最密にすることを優先した構成を示す。記憶部１は個別の選択素子を持たず、記憶素子Ｒは、上部電極Ｔと下部電極Ｂとの交点にセルフアラインで形成される。図１１では、記憶部１の下部電極Ｂ１〜Ｂ３が、対応するセンスアンプ２（１）’〜２（３）’の帰還抵抗の下部電極と共通になっている。つまり、図１２に示すように、帰還抵抗Ｒｆの極性方向は、記憶素子Ｒとは逆の下部電極Ｂ→上部電極Ｔとなっている。
第５実施形態では、配線状態をより具体的に示す。図１１は比較のため示す従来の構成例であり、配置を最密にすることを優先した構成を示す。記憶部１は個別の選択素子を持たず、記憶素子Ｒは、上部電極Ｔと下部電極Ｂとの交点にセルフアラインで形成される。図１１では、記憶部１の下部電極Ｂ１〜Ｂ３が、対応するセンスアンプ２（１）’〜２（３）’の帰還抵抗の下部電極と共通になっている。つまり、図１２に示すように、帰還抵抗Ｒｆの極性方向は、記憶素子Ｒとは逆の下部電極Ｂ→上部電極Ｔとなっている。
下部電極Ｂ１〜Ｂ３は、ビア及び金属配線を介してオペアンプ３の反転入力端子に接続されている。帰還抵抗Ｒｆの上部電極Ｔｆ１は、ビア→金属配線→ビア→金属配線，を経由してオペアンプ３の出力端子に接続されている。したがって、上部電極Ｔｆ１の上に、金属配線層を１層追加する必要があり、その分だけ製造コストが上昇する。
これに対して、図１０に示す第５実施形態の構成では、例えばセンスアンプ２（１）における期間抵抗Ｒｆの接続は、以下のようになっている。配線Ｍは金属配線である。
電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→配線Ｍ１２→
ＶＩＡ１３→上部電極Ｔｆ１→下部電極Ｂｆ１→ＶＩＡ１４→配線Ｍ１３→出力端子
ＶＩＡ１５→配線Ｍ１４→反転入力端子
これにより、第１実施形態と同様に、帰還抵抗Ｒｆの極性方向は、記憶素子Ｒと揃っている。しかしながら、上部電極Ｔｆ１の上に、金属配線層を１層追加する必要がある点は図１１に示す構成と同様である。
電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→配線Ｍ１２→
ＶＩＡ１３→上部電極Ｔｆ１→下部電極Ｂｆ１→ＶＩＡ１４→配線Ｍ１３→出力端子
ＶＩＡ１５→配線Ｍ１４→反転入力端子
これにより、第１実施形態と同様に、帰還抵抗Ｒｆの極性方向は、記憶素子Ｒと揃っている。しかしながら、上部電極Ｔｆ１の上に、金属配線層を１層追加する必要がある点は図１１に示す構成と同様である。
（第６実施形態）
図１３に示す第６実施形態は、第５実施形態の問題を解消した構成である。図２に示す構成と同様に、帰還抵抗Ｒｆの上部電極Ｔｆ１と、下部電極Ｂｆ１とを交差させている。そして、センスアンプ２（１）における期間抵抗Ｒｆの接続は以下のようになっている。
電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→上部電極Ｔｆ１→
下部電極Ｂｆ１→配線Ｍ１２→出力端子
ＶＩＡ１３→配線Ｍ１３→反転入力端子
図１３に示す第６実施形態は、第５実施形態の問題を解消した構成である。図２に示す構成と同様に、帰還抵抗Ｒｆの上部電極Ｔｆ１と、下部電極Ｂｆ１とを交差させている。そして、センスアンプ２（１）における期間抵抗Ｒｆの接続は以下のようになっている。
電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→上部電極Ｔｆ１→
下部電極Ｂｆ１→配線Ｍ１２→出力端子
ＶＩＡ１３→配線Ｍ１３→反転入力端子
このように配線することで、図２に示す構成と同様に、帰還抵抗Ｒｆの上部電極Ｔ，Ｂの配置形態が、記憶部１に対して９０度回転させた状態になっている。そして、第５実施形態のように上部電極Ｔｆ１の上層に、金属配線層を追加することなく配線が可能となっている。
（第７実施形態）
図１４に示す第７実施形態は、第４実施形態のように、帰還抵抗Ｒｆを抵抗素子Ｒｆ１，Ｒｆ２の並列回路とした場合の配線形態を具体的に示す。この場合、センスアンプ２（１）における帰還抵抗Ｒｆ１，Ｒｆ２の接続は以下のようになっている。
電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→上部電極Ｔｆ１→
下部電極Ｂｆ１１→配線Ｍ１２→ＳＷ１１→出力端子
下部電極Ｂｆ１２→配線Ｍ１３→ＳＷ１２→出力端子
ＶＩＡ１３→配線Ｍ１４→反転入力端子
図１４に示す第７実施形態は、第４実施形態のように、帰還抵抗Ｒｆを抵抗素子Ｒｆ１，Ｒｆ２の並列回路とした場合の配線形態を具体的に示す。この場合、センスアンプ２（１）における帰還抵抗Ｒｆ１，Ｒｆ２の接続は以下のようになっている。
電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→上部電極Ｔｆ１→
下部電極Ｂｆ１１→配線Ｍ１２→ＳＷ１１→出力端子
下部電極Ｂｆ１２→配線Ｍ１３→ＳＷ１２→出力端子
ＶＩＡ１３→配線Ｍ１４→反転入力端子
これにより第６実施形態と同様に、上部電極Ｔｆ１の上層に、金属配線層を追加することなく配線が可能となっている。すなわち、オペアンプ３等を形成するＣＭＯＳ工程の後に、メモリスタ層を形成できる。
尚、スイッチＳＷ１１，ＳＷ１２等は図８に示していないが、実際には、帰還抵抗Ｒｆ１，Ｒｆ２にそれぞれ異なる抵抗値を書込む必要があるので、スイッチＳＷ１１，ＳＷ１２を切替えてそれぞれに書き込みを行うため使用する。
（その他の実施形態）
各実施形態を適宜組み合わせて実施しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
各実施形態を適宜組み合わせて実施しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
図面中、１は記憶部、２はセンスアンプ、３はオペアンプ、４はセンスアンプ、Ｒは記憶素子、Ｒｆは帰還抵抗、Ｔは上部電極、Ｂは下部電極，Ｖｉは可変電圧源を示す。
Claims (3)
- 可変抵抗素子であるメモリスタを記憶素子として、複数の記憶素子（Ｒ１，Ｒ２，Ｒ３）を格子状に結合してなる記憶部（１）と、
この記憶部にバイアス電圧を印加する複数の電圧印加部（Ｖｉ１，Ｖｉ２，Ｖｉ３）と、
前記複数の記憶素子を介して流れる電流を電圧に変換して出力する複数のＩ／Ｖ変換増幅回路（２）とを備え、
前記Ｉ／Ｖ変換増幅回路を構成する帰還抵抗（Ｒｆ）にメモリスタを用い、前記帰還抵抗を、当該Ｉ／Ｖ変換増幅回路に対して入力抵抗となる記憶素子のメモリスタと極性の方向が揃うように接続し、
前記バイアス電圧又は前記Ｉ／Ｖ変換増幅回路の基準電圧にオフセット電圧を付与し、前記記憶素子の動作極性と、前記帰還抵抗の動作極性とを一致させるニューラルネットワーク回路。 - 前記帰還抵抗を、前記記憶部を構成する各記憶素子に設定されている抵抗値の度数分布より抽出した高抵抗値のメモリスタ（Ｒｆ２）と、低抵抗値のメモリスタ（Ｒｆ１）との並列合成抵抗で構成する請求項１記載のニューラルネットワーク回路。
- 前記帰還抵抗の上部電極（Ｔｆ）を、対応するＩ／Ｖ変換増幅回路の入力端子に接続される入力抵抗の電極と同じ方向で接続し、前記帰還抵抗の下部電極（Ｂｆ）を、前記上部電極に垂直に交差させた形状とする請求項１又は２記載のニューラルネットワーク回路。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017059136A JP6756287B2 (ja) | 2017-03-24 | 2017-03-24 | ニューラルネットワーク回路 |
| PCT/JP2018/002286 WO2018173473A1 (ja) | 2017-03-24 | 2018-01-25 | ニューラルネットワーク回路 |
| US16/562,534 US11475272B2 (en) | 2017-03-24 | 2019-09-06 | Neural network circuit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017059136A JP6756287B2 (ja) | 2017-03-24 | 2017-03-24 | ニューラルネットワーク回路 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018163437A JP2018163437A (ja) | 2018-10-18 |
| JP2018163437A5 JP2018163437A5 (ja) | 2019-06-27 |
| JP6756287B2 true JP6756287B2 (ja) | 2020-09-16 |
Family
ID=63586035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017059136A Active JP6756287B2 (ja) | 2017-03-24 | 2017-03-24 | ニューラルネットワーク回路 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11475272B2 (ja) |
| JP (1) | JP6756287B2 (ja) |
| WO (1) | WO2018173473A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11881260B2 (en) | 2021-04-29 | 2024-01-23 | Samsung Electronics Co., Ltd. | Neuromorphic computing device and method of designing the same |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10684634B1 (en) * | 2019-01-30 | 2020-06-16 | Quanta Computer Inc. | Method and system for compensating for temperature rise effects |
| CN110298435B (zh) * | 2019-05-30 | 2022-10-18 | 长安大学 | 一种忆阻器型全域值bp神经网络电路 |
| KR20210131099A (ko) * | 2020-04-23 | 2021-11-02 | 삼성전자주식회사 | 뉴로모픽 컴퓨팅 장치 및 그것의 동작 방법 |
| CN113077046B (zh) * | 2021-03-30 | 2022-12-30 | 西南大学 | 一种基于遗忘忆阻桥的并行多算子卷积运算器 |
| CN117813607A (zh) * | 2021-06-21 | 2024-04-02 | Tdk株式会社 | 驱动电路、阵列电路以及神经形态器件 |
| CN115376581B (zh) * | 2022-07-11 | 2023-05-16 | 中国科学院微电子研究所 | 一种基于忆阻器的存内计算阵列结构 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5703965A (en) | 1992-06-05 | 1997-12-30 | The Regents Of The University Of California | Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening |
| US5538915A (en) | 1992-06-05 | 1996-07-23 | The Regents Of The University Of California | Process for forming synapses in neural networks and resistor therefor |
| US5615287A (en) | 1994-12-02 | 1997-03-25 | The Regents Of The University Of California | Image compression technique |
| US5754697A (en) | 1994-12-02 | 1998-05-19 | Fu; Chi-Yung | Selective document image data compression technique |
| JP5657876B2 (ja) | 2009-10-07 | 2015-01-21 | ピーエスフォー ルクスコ エスエイアールエルＰＳ４ Ｌｕｘｃｏ Ｓ．ａ．ｒ．ｌ． | 半導体メモリ装置 |
| JP2015115083A (ja) | 2013-12-12 | 2015-06-22 | マイクロン テクノロジー， インク． | 半導体装置 |
| CN203909497U (zh) * | 2014-04-17 | 2014-10-29 | 广西大学 | 一种基于忆阻器的单神经元pid控制器 |
| CN204102401U (zh) * | 2014-07-25 | 2015-01-14 | 华北电力大学（保定） | 一种用于模拟忆阻元件的实验装置 |
| JP6333477B2 (ja) | 2014-10-23 | 2018-05-30 | ヒューレット パッカード エンタープライズ デベロップメント エル ピーＨｅｗｌｅｔｔ Ｐａｃｋａｒｄ Ｅｎｔｅｒｐｒｉｓｅ Ｄｅｖｅｌｏｐｍｅｎｔ ＬＰ | ドット積を求めるためのメムリスティブクロスバーアレイ |
| JP6481667B2 (ja) * | 2016-07-20 | 2019-03-13 | 株式会社デンソー | ニューラルネットワーク回路 |
-
2017
- 2017-03-24 JP JP2017059136A patent/JP6756287B2/ja active Active
-
2018
- 2018-01-25 WO PCT/JP2018/002286 patent/WO2018173473A1/ja active Application Filing
-
2019
- 2019-09-06 US US16/562,534 patent/US11475272B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11881260B2 (en) | 2021-04-29 | 2024-01-23 | Samsung Electronics Co., Ltd. | Neuromorphic computing device and method of designing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190392290A1 (en) | 2019-12-26 |
| JP2018163437A (ja) | 2018-10-18 |
| WO2018173473A1 (ja) | 2018-09-27 |
| US11475272B2 (en) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6756287B2 (ja) | ニューラルネットワーク回路 | |
| JP6481667B2 (ja) | ニューラルネットワーク回路 | |
| US10332592B2 (en) | Hardware accelerators for calculating node values of neural networks | |
| JP7070190B2 (ja) | ニューラルネットワーク回路 | |
| JP6333477B2 (ja) | ドット積を求めるためのメムリスティブクロスバーアレイ | |
| US7755424B2 (en) | Operational amplifier with resistance switch crossbar feedback | |
| JP5160304B2 (ja) | 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法 | |
| JP6708146B2 (ja) | ニューラルネットワーク回路 | |
| JP2018163437A5 (ja) | ||
| US10340002B1 (en) | In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture | |
| US20180336470A1 (en) | Deep learning in bipartite memristive networks | |
| US20180225566A1 (en) | Neuromorphic device including a synapse having a plurality of synapse cells | |
| JP7124498B2 (ja) | ニューラルネットワーク回路 | |
| US11017286B2 (en) | Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other | |
| US20210049504A1 (en) | Analog system using equilibrium propagation for learning | |
| Sah et al. | Memristor bridge circuit for neural synaptic weighting | |
| WO2021120136A1 (zh) | 存储计算阵列及模组、数据计算方法 | |
| CN111210859A (zh) | 缓解忆阻器交叉阵列中潜通路影响的方法及相关设备 | |
| JP6996411B2 (ja) | ニューラルネットワーク回路 | |
| Escudero et al. | Stuck-at-OFF Fault Analysis in Memristor-Based Architecture for Synchronization | |
| CN112885963A (zh) | 一种忆阻器交叉阵列 | |
| Mokhtar et al. | Memristor-CMOS interfacing circuit SPICE model | |
| Zoppo et al. | A mathematical formulation of the wire resistance problem in memristor crossbars | |
| Assaf et al. | Memristor emulators for an adaptive dpe algorithm: Comparative study | |
| CN114268320B (zh) | 数模转换电路、电子装置以及操作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190522 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200810 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6756287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |