WO2018173473A1 - ニューラルネットワーク回路 - Google Patents

ニューラルネットワーク回路 Download PDF

Info

Publication number
WO2018173473A1
WO2018173473A1 PCT/JP2018/002286 JP2018002286W WO2018173473A1 WO 2018173473 A1 WO2018173473 A1 WO 2018173473A1 JP 2018002286 W JP2018002286 W JP 2018002286W WO 2018173473 A1 WO2018173473 A1 WO 2018173473A1
Authority
WO
WIPO (PCT)
Prior art keywords
feedback resistor
neural network
voltage
memristor
conversion amplifier
Prior art date
Application number
PCT/JP2018/002286
Other languages
English (en)
French (fr)
Inventor
茂樹 大塚
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2018173473A1 publication Critical patent/WO2018173473A1/ja
Priority to US16/562,534 priority Critical patent/US11475272B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0038—Power supply circuits
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers
    • H03F3/45071—Differential amplifiers with semiconductor devices only
    • H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
    • H03F3/45475—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using IC blocks as the active amplifying circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4814—Non-logic devices, e.g. operational amplifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/77—Array wherein the memory element being directly connected to the bit lines and word lines without any access device being used
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F2203/00—Indexing scheme relating to amplifiers with only discharge tubes or only semiconductor devices as amplifying elements covered by H03F3/00
    • H03F2203/45—Indexing scheme relating to differential amplifiers
    • H03F2203/45528—Indexing scheme relating to differential amplifiers the FBC comprising one or more passive resistors and being coupled between the LC and the IC
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers

Definitions

  • the present disclosure relates to a neural network circuit having a storage unit formed by connecting memristors as storage elements in a grid pattern.
  • a neural network circuit by using a non-volatile, two-terminal element whose conductance value is variable, called a memristor, as a synapse.
  • a neural network circuit is shown in FIG. 15, FIG.
  • the memristors are arranged in a grid pattern, and a voltage is applied to the memristors to generate a current.
  • the synthesized current is converted into a voltage by a transimpedance amplifier, and after a waveform is shaped by an activation function, it is output as a voltage value.
  • a neural network circuit is configured by a memristor operating as a synapse and a transimpedance amplifier operating as a neuron.
  • the transimpedance amplifier performs a product-sum operation between the conductance value of the memristor and the applied voltage by an analog operation.
  • FIG. 16 discloses a configuration corresponding to temperature characteristics and changes with time by using a memristor as a feedback resistor of an amplifier.
  • An object of the present disclosure is to provide a neural network circuit capable of appropriately correcting the temperature characteristics of a memristor constituting a memory element.
  • a memory unit includes a memristor that is a variable resistance element as a memory element, and the memory elements are coupled in a lattice shape.
  • the I / V conversion amplifier circuit converts a current flowing through the storage element into a voltage and outputs the voltage.
  • a memristor is used as a feedback resistor constituting the I / V conversion amplifier circuit, and the feedback resistor is connected to the I / V conversion amplifier circuit in a direction in which the polarities are aligned with the memristor of the storage element serving as an input resistance.
  • the storage element and the feedback resistance of the I / V conversion amplifier circuit have the same temperature characteristics, and the polarity in which each element is energized is also the same. Therefore, the temperature characteristic of the memory element can be appropriately corrected by the I / V conversion amplifier circuit.
  • FIG. 1 is a circuit diagram illustrating a connection state between a storage unit including a memristor and a feedback resistor that forms a sense amplifier in the first embodiment.
  • FIG. 2 is a diagram more tangibly showing the wiring connection state of the circuit shown in FIG.
  • FIG. 3 is a circuit diagram illustrating a connection state between the storage unit and the feedback resistor in the second embodiment.
  • FIG. 4 is a diagram showing a change region of the output voltage Vout when no offset voltage is applied
  • FIG. 5 is a diagram showing a change region of the output voltage Vout when no offset voltage is applied
  • FIG. 1 is a circuit diagram illustrating a connection state between a storage unit including a memristor and a feedback resistor that forms a sense amplifier in the first embodiment.
  • FIG. 2 is a diagram more tangibly showing the wiring connection state of the circuit shown in FIG.
  • FIG. 3 is a circuit diagram illustrating a connection state between the storage unit and the feedback resistor in the second embodiment.
  • FIG. 6 is a circuit diagram illustrating a connection state between the storage unit and the feedback resistor in the third embodiment.
  • FIG. 7 is a diagram illustrating a change region of the output voltage Vout when an offset voltage is applied.
  • FIG. 8 is a circuit diagram illustrating a connection state between the storage unit and the feedback resistor in the fourth embodiment.
  • FIG. 9 is a diagram showing a frequency distribution of resistance values set in each storage element of the storage unit.
  • FIG. 10 is a diagram substantially showing a wiring connection state between the storage unit and the feedback resistor in the fifth embodiment.
  • FIG. 11 is a conventional configuration diagram shown for comparison.
  • FIG. 12 is a circuit diagram showing a connection state between the storage unit and the feedback resistor, FIG.
  • FIG. 13 is a diagram showing the wiring connection state between the storage unit and the feedback resistor in a sixth embodiment more substantially than FIG.
  • FIG. 14 is a diagram substantially showing the wiring connection state between the storage unit and the feedback resistor in the fourth embodiment in the seventh embodiment.
  • 15 is shown in FIG. 2 is a diagram showing 16 is shown in FIG. 8 equivalent figure, 17 is shown in FIG. 13 (c) is a diagram showing FIG. 18 is shown in FIG. 2 (a), 19 is shown in FIG. It is a figure which shows 2 (c).
  • the storage unit 1 of the neural network circuit is composed of storage elements R1, R2, and R3 made of memristors.
  • Variable voltage sources Vi1, Vi2, and Vi3 are connected to one ends of the storage elements R1, R2, and R3, respectively.
  • the other ends of the storage elements R1, R2, and R3 are commonly connected to the inverting input terminal of the operational amplifier 3 that is the input terminal of the sense amplifier 2.
  • a feedback resistor Rf composed of a memristor is also connected.
  • the non-inverting input terminal of the operational amplifier 3 is connected to the ground.
  • the sense amplifier 2 corresponds to an I / V conversion amplifier circuit.
  • the memristor is formed by forming a plurality of layers having different compositions between the upper electrode T and the lower electrode B, and has a polarity as an element.
  • the upper electrodes T and the lower electrodes B are arranged on the same side so that the polarities of the memory elements R1, R2, and R3 are aligned. Yes.
  • the feedback resistor Rf is also connected so that the polarity direction is the same as that of the memory elements R1 to R3.
  • the upper electrode T of the feedback resistor Rf connected to the inverting input terminal of the operational amplifier 3 is connected to the lower electrode B of the memory elements R1 to R3, and the lower electrode B of the feedback resistor Rf is connected to the output terminal of the operational amplifier 3.
  • the storage unit 1 is shown in a 3 ⁇ 3 matrix.
  • the upper electrodes T1, T2, T3 are arranged side by side in the column direction, and the lower electrodes B1, B2, B3 are arranged side by side in the row direction.
  • the memory elements R1 to R3 shown in FIG. 1 are respectively formed at the intersections of the upper electrodes T1, T2, T3 and the lower electrode B1, and constitute a so-called crossbar.
  • Memory elements R21 to R23 are formed at the intersections of the upper electrodes T1, T2, T3 and the lower electrode B2.
  • Memory elements R31 to R33 are formed at the intersections of the upper electrodes T1, T2, T3 and the lower electrode B3, respectively.
  • Sense amplifiers 2 (1), 2 (2), and 2 (3) are provided corresponding to the storage elements R1 to R3, R21 to R23, and R31 to R33 arranged in the column direction, respectively.
  • the amplifier 2 shown in FIG. 1 is an amplifier 2 (1).
  • the upper electrodes Tf1, Tf2, Tf3 of the feedback resistors Rf1, Rf2, Rf3 of the sense amplifiers 2 (1), 2 (2), 2 (3) are connected to the lower electrodes B1, B2, B3 of the corresponding memory unit 1, respectively. Has been.
  • the lower electrodes Bf1, Bf2, and Bf3 of the feedback resistors Rf1, Rf2, and Rf3 are arranged so as to intersect with the upper electrodes Tf1, Tf2, and Tf3 by 90 degrees. That is, the arrangement form of the upper electrodes T and B of the feedback resistor Rf is rotated 90 degrees with respect to the storage unit 1.
  • the feedback resistor Rf of the sense amplifier 2 is also a memristor having the same temperature characteristic as that of the memory element R, whereby the temperature characteristic can be corrected by the output of the sense amplifier 2, Correction can be made even if the temperature characteristics fluctuate over time. Further, the non-linearity depending on the polarity of the input voltage can be corrected by connecting the memory element R and the feedback resistor Rf in the direction in which the polarities of the memristors are aligned. Further, as shown in FIG. 2, the upper electrode T can be used as a wiring layer by arranging the upper and lower electrodes T and B constituting the feedback resistor Rf by rotating the direction by 90 degrees with respect to the storage unit 1. Can be wired well. It should be noted that the terminal directions of all memristors may be reversed to the B ⁇ T direction.
  • an offset voltage source Voff is inserted between the voltage sources Vi1, Vi2, Vi3 and the ground.
  • the change region of the output voltage Vout of the sense amplifier 2 is set so as to have only the negative polarity shown in FIG. 5 from the state of straddling both polarities shown in FIG.
  • the change region of the output voltage Vout of the sense amplifier 2 by setting the change region of the output voltage Vout of the sense amplifier 2 to only negative polarity, it is possible to avoid the influence that the temperature characteristic changes when the polarity is different. Can be corrected appropriately.
  • the change region may be set to only positive polarity.
  • the third embodiment shown in FIG. 6 is a modification of the second embodiment, and an offset voltage source ⁇ Voff is inserted between the non-inverting input terminal of the operational amplifier 3 and the ground.
  • the output voltage Vout is as shown in FIG. 7, and the bias having the same polarity as that of the feedback resistor Rf can always be applied to the memory element R.
  • the feedback resistor Rf connected to the operational amplifier 3 is a parallel circuit of resistance elements Rf1 and Rf2 made of memristors.
  • a large number of storage elements R are actually used in the storage unit 1 constituting the neural network circuit. Then, when the frequency distribution is obtained for each resistance value of these memory elements R, as shown in FIG. 9, there are few elements set to a low resistance value, and most are set to a high resistance value.
  • the temperature characteristic of the resistor Rf is approximated by the actual temperature characteristic of the storage unit 1. According to the fourth embodiment configured as described above, the temperature characteristic can be corrected in accordance with the actual situation.
  • FIG. 11 is a conventional configuration example shown for comparison, and shows a configuration in which priority is given to close arrangement.
  • the storage unit 1 does not have an individual selection element, and the storage element R is formed by self-alignment at the intersection of the upper electrode T and the lower electrode B.
  • the lower electrodes B1 to B3 of the storage unit 1 are shared with the lower electrodes of the feedback resistors of the corresponding sense amplifiers 2 (1) ′ to 2 (3) ′. That is, as shown in FIG. 12, the polarity direction of the feedback resistor Rf is the lower electrode B ⁇ the upper electrode T opposite to the memory element R.
  • the lower electrodes B1 to B3 are connected to the inverting input terminal of the operational amplifier 3 through vias and metal wiring.
  • the upper electrode Tf1 of the feedback resistor Rf is connected to the output terminal of the operational amplifier 3 via via ⁇ metal wiring ⁇ via ⁇ metal wiring. Therefore, it is necessary to add one metal wiring layer on the upper electrode Tf1, and the manufacturing cost increases accordingly.
  • the connection of the period resistor Rf in the sense amplifier 2 (1) is as follows.
  • the wiring M is a metal wiring.
  • the polarity direction of the feedback resistor Rf is aligned with the memory element R as in the first embodiment.
  • it is the same as the configuration shown in FIG. 11 in that one metal wiring layer needs to be added on the upper electrode Tf1.
  • the sixth embodiment shown in FIG. 13 has a configuration in which the problem of the fifth embodiment is solved. Similar to the configuration shown in FIG. 2, the upper electrode Tf1 of the feedback resistor Rf and the lower electrode Bf1 are crossed.
  • the connection of the period resistor Rf in the sense amplifier 2 (1) is as follows. Electrode B1 ⁇ VIA11 ⁇ wiring M11 ⁇ VIA12 ⁇ upper electrode Tf1 ⁇ Lower electrode Bf1 ⁇ wiring M12 ⁇ output terminal VIA13 ⁇ wiring M13 ⁇ inverting input terminal
  • the seventh embodiment shown in FIG. 14 specifically shows a wiring configuration when the feedback resistor Rf is a parallel circuit of the resistance elements Rf1 and Rf2 as in the fourth embodiment.
  • the connection of the feedback resistors Rf1 and Rf2 in the sense amplifier 2 (1) is as follows. Electrode B1 ⁇ VIA11 ⁇ wiring M11 ⁇ VIA12 ⁇ upper electrode Tf1 ⁇ Lower electrode Bf11 ⁇ wiring M12 ⁇ SW11 ⁇ output terminal Lower electrode Bf12 ⁇ wiring M13 ⁇ SW12 ⁇ output terminal VIA13 ⁇ wiring M14 ⁇ inverting input terminal
  • the memristor layer can be formed after the CMOS process for forming the operational amplifier 3 and the like.
  • the switches SW11, SW12, etc. are not shown in FIG. 8, but actually, since it is necessary to write different resistance values to the feedback resistors Rf1, Rf2, respectively, the switches SW11, SW12 are switched and writing is performed respectively. For use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Power Engineering (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Semiconductor Memories (AREA)
  • Amplifiers (AREA)

Abstract

可変抵抗素子であるメモリスタを記憶素子として、その記憶素子を格子状に結合してなる記憶部を備える。Ｉ／Ｖ変換増幅回路は、記憶素子を介して流れる電流を電圧に変換して出力する。このＩ／Ｖ変換増幅回路を構成する帰還抵抗にメモリスタを用い、その帰還抵抗を、当該Ｉ／Ｖ変換増幅回路に対して入力抵抗となる記憶素子のメモリスタと極性が揃う方向で接続する。

Description

ニューラルネットワーク回路 関連出願の相互参照
　本出願は、２０１７年３月２４日に出願された日本出願番号２０１７－５９１３６号に基づくもので、ここにその記載内容を援用する。
　本開示は、記憶素子としてのメモリスタを格子状に結合してなる記憶部を有するニューラルネットワーク回路に関する。
　現在、メモリスタと称される、不揮発性でコンダクタンス値を可変できる２端子の素子をシナプスとして用い、ニューラルネットワーク回路を構成する研究が進められている。このようなニューラルネットワーク回路は、例えば図１５，非特許文献１のＦｉｇ．２に示すように、メモリスタを格子状に配置し、メモリスタに電圧を印加して電流を生成する。その合成電流をトランスインピーダンスアンプで電圧に変換し、活性化関数により波形を整形した後に電圧値として出力する。メモリスタがシナプスとして、トランスインピーダンスアンプがニューロンとして動作することで、ニューラルネットワーク回路が構成される。トランスインピーダンスアンプは、メモリスタのコンダクタンス値と印加電圧との積和演算をアナログ演算で行う。
　非特許文献１に開示されている回路において、メモリスタの温度特性は、入力信号Ｖｉにメモリスタの温度係数を掛けることで補正できる。しかし、図１６，非特許文献２のＦｉｇ．８に示されているようなリテンション特性の場合は、温度特性が時間依存を持つことになる。すると、前述の方法ではリテンション特性の軽減が困難になる。図１７，非特許文献３のＦｉｇ．１３（ｃ）には、アンプの帰還抵抗にメモリスタを用いることで、温度特性やその時間変化に対応する構成が開示されている。
　しかしながら、メモリスタのＤＣ特性は、図１８，図１９，非特許文献４のＦｉｇ．２（ａ），（ｃ）に示されているように、入力電圧の極性によって抵抗値が異なる特性を示す。したがって、入力電圧の極性に応じて補正値を変える必要がある。上記Ｆｉｇ．１３（ｃ）の誤差アンプの出力ＶＯＵＴは、入力ＶＩＮが複数ある場合、正負どちらの極性を示すかを確定できない。
　本開示は、記憶素子を構成するメモリスタの温度特性を適切に補正できるニューラルネットワーク回路を提供することを目的とする。
　本開示の一態様によれば、可変抵抗素子であるメモリスタを記憶素子として、その記憶素子を格子状に結合してなる記憶部を備える。Ｉ／Ｖ変換増幅回路は、記憶素子を介して流れる電流を電圧に変換して出力する。このＩ／Ｖ変換増幅回路を構成する帰還抵抗にメモリスタを用い、その帰還抵抗を、当該Ｉ／Ｖ変換増幅回路に対して入力抵抗となる記憶素子のメモリスタと極性が揃う方向で接続する。
　このように構成すれば、記憶素子とＩ／Ｖ変換増幅回路の帰還抵抗とが同じ温度特性を有することになり、且つ、各素子に通電が行われる極性も同じになる。したがって、記憶素子の温度特性をＩ／Ｖ変換増幅回路により適切に補正できる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態において、メモリスタからなる記憶部と、センスアンプを構成する帰還抵抗との接続状態を示す回路図であり、 図２は、図１に示す回路の配線接続状態を、より実体的に示す図であり、 図３は、第２実施形態において、記憶部と帰還抵抗との接続状態を示す回路図であり、 図４は、オフセット電圧を付与しない場合の出力電圧Ｖｏｕｔの変化領域を示す図であり、 図５は、オフセット電圧を付与しない場合の出力電圧Ｖｏｕｔの変化領域を示す図であり、 図６は、第３実施形態において、記憶部と帰還抵抗との接続状態を示す回路図図であり、 図７は、オフセット電圧を付与した場合の出力電圧Ｖｏｕｔの変化領域を示す図であり、 図８は、第４実施形態において、記憶部と帰還抵抗との接続状態を示す回路図であり、 図９は、記憶部の各記憶素子に設定される抵抗値の度数分布を示す図 図１０は、第５実施形態において、記憶部と帰還抵抗との配線接続状態を実体的に示す図であり、 図１１は、比較のため示す従来構成図であり、 図１２は、記憶部と帰還抵抗との接続状態を示す回路図であり、 図１３は、第６実施形態において、記憶部と帰還抵抗との配線接続状態を図２よりもさらに実体的に示す図であり、 図１４は、第７実施形態において、第４実施形態の記憶部と帰還抵抗との配線接続状態を実体的に示す図であり、 図１５は、非特許文献１のＦｉｇ．２を示す図であり、 図１６は、　非特許文献２のＦｉｇ．８相当図であり、 図１７は、　非特許文献３のＦｉｇ．１３（ｃ）を示す図であり、 図１８は、　非特許文献４のＦｉｇ．２（ａ）を示す図であり、 図１９は、　非特許文献４のＦｉｇ．２（ｃ）を示す図である。
　　（第１実施形態）
　図１に示すように、ニューラルネットワーク回路の記憶部１は、メモリスタからなる記憶素子Ｒ１，Ｒ２，Ｒ３で構成されている。ここでは例示として３素子のみ示しているが、実際のニューラルネットワーク回路にはより多くの記憶素子が用いられている。各記憶素子Ｒ１，Ｒ２，Ｒ３の一端には、それぞれ可変電圧源Ｖｉ１，Ｖｉ２，Ｖｉ３が接続されている。各記憶素子Ｒ１，Ｒ２，Ｒ３の他端は、センスアンプ２の入力端子であるオペアンプ３の反転入力端子に共通に接続されている。前記反転入力端子とオペアンプ３の出力端子との間には、やはりメモリスタからなる帰還抵抗Ｒｆが接続されている。オペアンプ３の非反転入力端子はグランドに接続されている。センスアンプ２は、Ｉ／Ｖ変換増幅回路に相当する。
　メモリスタは、上部電極Ｔと下部電極Ｂとの間に複数の組成が異なる層を形成してなるもので、素子として極性を有している。そして、本実施形態では、図１中に示すように、記憶素子Ｒ１，Ｒ２，Ｒ３の極性が揃うように、それぞれの上部電極Ｔと下部電極Ｂとが同じ側に位置するように配列されている。更に、帰還抵抗Ｒｆについても極性の方向が、記憶素子Ｒ１～Ｒ３と同一となるように接続している。すなわち、オペアンプ３の反転入力端子に接続される帰還抵抗Ｒｆの上部電極Ｔは、記憶素子Ｒ１～Ｒ３の下部電極Ｂに接続され、帰還抵抗Ｒｆの下部電極Ｂは、オペアンプ３の出力端子に接続されている。
　この場合、センスアンプ２の出力電圧Ｖｏｕｔは、
　　　Ｖｏｕｔ＝－（Ｖｉ１／Ｒ１＋Ｖｉ２／Ｒ２＋Ｖｉ３／Ｒ３）×Ｒｆ
となって、積和演算が行われる。
　図２では、記憶部１を３×３のマトリクスで示している。上部電極Ｔ１，Ｔ２，Ｔ３は列方向に並んで配置され、下部電極Ｂ１，Ｂ２，Ｂ３は行方向に並んで配置されている。図１に示す記憶素子Ｒ１～Ｒ３は、上部電極Ｔ１，Ｔ２，Ｔ３と下部電極Ｂ１との交点にそれぞれ形成されており、所謂クロスバーを構成している。上部電極Ｔ１，Ｔ２，Ｔ３と下部電極Ｂ２との交点には、記憶素子Ｒ２１～Ｒ２３がそれぞれ形成されている。上部電極Ｔ１，Ｔ２，Ｔ３と下部電極Ｂ３との交点には、記憶素子Ｒ３１～Ｒ３３がそれぞれ形成されている。
　そして、列方向に並ぶ記憶素子Ｒ１～Ｒ３，Ｒ２１～Ｒ２３，Ｒ３１～Ｒ３３にそれぞれ対応して、センスアンプ２（１），２（２），２（３）が設けられている。図１に示すアンプ２は、アンプ２（１）である。センスアンプ２（１），２（２），２（３）の帰還抵抗Ｒｆ１，Ｒｆ２，Ｒｆ３の上部電極Ｔｆ１，Ｔｆ２，Ｔｆ３は、それぞれ対応する記憶部１の下部電極Ｂ１，Ｂ２，Ｂ３に接続されている。
　そして、帰還抵抗Ｒｆ１，Ｒｆ２，Ｒｆ３の下部電極Ｂｆ１，Ｂｆ２，Ｂｆ３は、それぞれの上部電極Ｔｆ１，Ｔｆ２，Ｔｆ３と９０度交差して配置されている。つまり、帰還抵抗Ｒｆの上部電極Ｔ，Ｂの配置形態が、記憶部１に対して９０度回転させた状態になっている。
　以上のように構成される本実施形態によれば、センスアンプ２の帰還抵抗Ｒｆも、記憶素子Ｒと同じ温度特性を持つメモリスタにすることで、センスアンプ２の出力で温度特性を補正でき、温度特性が時間的に変動しても補正できる。また、記憶素子Ｒと帰還抵抗Ｒｆとでメモリスタの極性が揃う方向に接続することで、入力電圧の極性に依存した非線形性も補正できる。更に図２に示すように、帰還抵抗Ｒｆを構成する上下電極Ｔ，Ｂの方向を、記憶部１に対して９０度回転させて配置することで、上部電極Ｔを配線層として利用でき、効率よく配線できる。尚、全てのメモリスタの端子方向を逆に、Ｂ→Ｔ方向にしても良い。
　　（第２実施形態）
　以下、第１実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。図３に示すように、第２実施形態では、電圧源Ｖｉ１，Ｖｉ２，Ｖｉ３とグランドとの間にオフセット用の電圧源Ｖｏｆｆが挿入されている。このようにオフセット電圧Ｖｏｆｆを加えることで、センスアンプ２の出力電圧Ｖｏｕｔの変化領域を、図４に示す両極性に跨る状態から、図５に示す負極性のみとなるように設定する。
　以上のように構成される第２実施形態によれば、センスアンプ２の出力電圧Ｖｏｕｔの変化領域を負極性のみに設定することで、極性が異なる際に温度特性が変化する影響を回避して適切に補正できる。尚、変化領域を正極性のみに設定しても良い。
　　（第３実施形態）
　図６に示す第３実施形態は、第２実施形態の変形であり、オフセット用の電圧源－Ｖｏｆｆを、オペアンプ３の非反転入力端子とグランドとの間に挿入している。このように構成すれば、出力電圧Ｖｏｕｔは図７に示すようになり、記憶素子Ｒにも常に、帰還抵抗Ｒｆと同一極性のバイアスを付与できる。
　　（第４実施形態）
　図８に示す第４実施形態では、センスアンプ４において、オペアンプ３に接続する帰還抵抗Ｒｆを、何れもメモリスタからなる抵抗素子Ｒｆ１，Ｒｆ２の並列回路としている。これは、一般に、ニューラルネットワーク回路を構成する記憶部１には、実際には多数の記憶素子Ｒが使用されている。そして、それらの記憶素子Ｒの各抵抗値について度数分布を求めると、図９に示すように、低抵抗値に設定される素子は僅かであり、殆どが高抵抗値に設定されている。
　そこで第４実施形態では、センスアンプ４のゲインに対する影響が大きい低抵抗ＲLOWの素子Ｒｆ１と、度数が最高となる高抵抗ＲHIGHの素子Ｒｆ２とを組み合わせて帰還抵抗Ｒｆとすることで、帰還抵抗Ｒｆの温度特性を、記憶部１の実際の温度特性により近似させる。以上のように構成される第４実施形態によれば、温度特性を、より実態に合せて補正できる。
　　（第５実施形態）
　第５実施形態では、配線状態をより具体的に示す。図１１は比較のため示す従来の構成例であり、配置を最密にすることを優先した構成を示す。記憶部１は個別の選択素子を持たず、記憶素子Ｒは、上部電極Ｔと下部電極Ｂとの交点にセルフアラインで形成される。図１１では、記憶部１の下部電極Ｂ１～Ｂ３が、対応するセンスアンプ２（１）’～２（３）’の帰還抵抗の下部電極と共通になっている。つまり、図１２に示すように、帰還抵抗Ｒｆの極性方向は、記憶素子Ｒとは逆の下部電極Ｂ→上部電極Ｔとなっている。
　下部電極Ｂ１～Ｂ３は、ビア及び金属配線を介してオペアンプ３の反転入力端子に接続されている。帰還抵抗Ｒｆの上部電極Ｔｆ１は、ビア→金属配線→ビア→金属配線，を経由してオペアンプ３の出力端子に接続されている。したがって、上部電極Ｔｆ１の上に、金属配線層を１層追加する必要があり、その分だけ製造コストが上昇する。
　これに対して、図１０に示す第５実施形態の構成では、例えばセンスアンプ２（１）における期間抵抗Ｒｆの接続は、以下のようになっている。配線Ｍは金属配線である。
　電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→配線Ｍ１２→
　　ＶＩＡ１３→上部電極Ｔｆ１→下部電極Ｂｆ１→ＶＩＡ１４→配線Ｍ１３→出力端子
　　ＶＩＡ１５→配線Ｍ１４→反転入力端子
　これにより、第１実施形態と同様に、帰還抵抗Ｒｆの極性方向は、記憶素子Ｒと揃っている。しかしながら、上部電極Ｔｆ１の上に、金属配線層を１層追加する必要がある点は図１１に示す構成と同様である。
　　（第６実施形態）
　図１３に示す第６実施形態は、第５実施形態の問題を解消した構成である。図２に示す構成と同様に、帰還抵抗Ｒｆの上部電極Ｔｆ１と、下部電極Ｂｆ１とを交差させている。そして、センスアンプ２（１）における期間抵抗Ｒｆの接続は以下のようになっている。
　電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→上部電極Ｔｆ１→
　　下部電極Ｂｆ１→配線Ｍ１２→出力端子
　　ＶＩＡ１３→配線Ｍ１３→反転入力端子
　このように配線することで、図２に示す構成と同様に、帰還抵抗Ｒｆの上部電極Ｔ，Ｂの配置形態が、記憶部１に対して９０度回転させた状態になっている。そして、第５実施形態のように上部電極Ｔｆ１の上層に、金属配線層を追加することなく配線が可能となっている。
　　（第７実施形態）
　図１４に示す第７実施形態は、第４実施形態のように、帰還抵抗Ｒｆを抵抗素子Ｒｆ１，Ｒｆ２の並列回路とした場合の配線形態を具体的に示す。この場合、センスアンプ２（１）における帰還抵抗Ｒｆ１，Ｒｆ２の接続は以下のようになっている。
　電極Ｂ１→ＶＩＡ１１→配線Ｍ１１→ＶＩＡ１２→上部電極Ｔｆ１→
　　下部電極Ｂｆ１１→配線Ｍ１２→ＳＷ１１→出力端子
　　下部電極Ｂｆ１２→配線Ｍ１３→ＳＷ１２→出力端子
　　ＶＩＡ１３→配線Ｍ１４→反転入力端子
　これにより第６実施形態と同様に、上部電極Ｔｆ１の上層に、金属配線層を追加することなく配線が可能となっている。すなわち、オペアンプ３等を形成するＣＭＯＳ工程の後に、メモリスタ層を形成できる。
　尚、スイッチＳＷ１１，ＳＷ１２等は図８に示していないが、実際には、帰還抵抗Ｒｆ１，Ｒｆ２にそれぞれ異なる抵抗値を書込む必要があるので、スイッチＳＷ１１，ＳＷ１２を切替えてそれぞれに書き込みを行うため使用する。
　　（その他の実施形態）
　各実施形態を適宜組み合わせて実施しても良い。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (4)

  1. 　可変抵抗素子であるメモリスタ（Ｒ１，Ｒ２，Ｒ３）を記憶素子として、前記記憶素子を格子状に結合してなる記憶部（１）と、
    　この記憶部にバイアス電圧を印加する電圧印加部（Ｖｉ１，Ｖｉ２，Ｖｉ３）と、
    　前記記憶素子を介して流れる電流を電圧に変換して出力する複数のＩ／Ｖ変換増幅回路（２）とを備え、
    　前記Ｉ／Ｖ変換増幅回路を構成する帰還抵抗（Ｒｆ）にメモリスタを用い、前記帰還抵抗を、当該Ｉ／Ｖ変換増幅回路に対して入力抵抗となる記憶素子のメモリスタと極性の方向が揃うように接続したニューラルネットワーク回路。
  2. 　前記バイアス電圧又は前記Ｉ／Ｖ変換増幅回路の基準電圧にオフセット電圧を付与し、前記記憶素子の動作極性と、前記帰還抵抗の動作極性とを一致させる請求項１記載のニューラルネットワーク回路。
  3. 　前記帰還抵抗を、前記記憶部を構成する各記憶素子に設定されている抵抗値の度数分布より抽出した高抵抗値のメモリスタ（Ｒｆ２）と、低抵抗値のメモリスタ（Ｒｆ１）との並列合成抵抗で構成する請求項１又は２記載のニューラルネットワーク回路。
  4. 　前記帰還抵抗の上部電極（Ｔｆ）を、対応するＩ／Ｖ変換増幅回路の入力端子に接続される入力抵抗の電極と同じ方向で接続し、前記帰還抵抗の下部電極（Ｂｆ）を、前記上部電極に垂直に交差させた形状とする請求項１から３の何れか一項に記載のニューラルネットワーク回路。
PCT/JP2018/002286 2017-03-24 2018-01-25 ニューラルネットワーク回路 WO2018173473A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/562,534 US11475272B2 (en) 2017-03-24 2019-09-06 Neural network circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017059136A JP6756287B2 (ja) 2017-03-24 2017-03-24 ニューラルネットワーク回路
JP2017-059136 2017-03-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/562,534 Continuation US11475272B2 (en) 2017-03-24 2019-09-06 Neural network circuit

Publications (1)

Publication Number Publication Date
WO2018173473A1 true WO2018173473A1 (ja) 2018-09-27

Family

ID=63586035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002286 WO2018173473A1 (ja) 2017-03-24 2018-01-25 ニューラルネットワーク回路

Country Status (3)

Country Link
US (1) US11475272B2 (ja)
JP (1) JP6756287B2 (ja)
WO (1) WO2018173473A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298435A (zh) * 2019-05-30 2019-10-01 长安大学 一种忆阻器型全域值bp神经网络电路
WO2022269660A1 (ja) * 2021-06-21 2022-12-29 Tdk株式会社 駆動回路、アレイ回路、及びニューロモーフィックデバイス

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10684634B1 (en) * 2019-01-30 2020-06-16 Quanta Computer Inc. Method and system for compensating for temperature rise effects
CN113077046B (zh) * 2021-03-30 2022-12-30 西南大学 一种基于遗忘忆阻桥的并行多算子卷积运算器
KR20220148558A (ko) 2021-04-29 2022-11-07 삼성전자주식회사 뉴로모픽 컴퓨팅 장치 및 그 설계 방법
CN115376581B (zh) * 2022-07-11 2023-05-16 中国科学院微电子研究所 一种基于忆阻器的存内计算阵列结构

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08505982A (ja) * 1992-06-05 1996-06-25 ユナイテッド ステイツ デパートメント オブ エナージィ ニューラルネットワークにおけるシナプスの形成方法およびその抵抗体
WO2016064406A1 (en) * 2014-10-23 2016-04-28 Hewlett Packard Enterprise Development Lp Memristive cross-bar array for determining a dot product

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754697A (en) 1994-12-02 1998-05-19 Fu; Chi-Yung Selective document image data compression technique
US5615287A (en) 1994-12-02 1997-03-25 The Regents Of The University Of California Image compression technique
US5703965A (en) 1992-06-05 1997-12-30 The Regents Of The University Of California Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening
JP5657876B2 (ja) 2009-10-07 2015-01-21 ピーエスフォー ルクスコ エスエイアールエルＰＳ４ Ｌｕｘｃｏ Ｓ．ａ．ｒ．ｌ． 半導体メモリ装置
JP2015115083A (ja) 2013-12-12 2015-06-22 マイクロン テクノロジー， インク． 半導体装置
CN203909497U (zh) * 2014-04-17 2014-10-29 广西大学 一种基于忆阻器的单神经元pid控制器
CN204102401U (zh) * 2014-07-25 2015-01-14 华北电力大学（保定） 一种用于模拟忆阻元件的实验装置
JP6481667B2 (ja) * 2016-07-20 2019-03-13 株式会社デンソー ニューラルネットワーク回路

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08505982A (ja) * 1992-06-05 1996-06-25 ユナイテッド ステイツ デパートメント オブ エナージィ ニューラルネットワークにおけるシナプスの形成方法およびその抵抗体
WO2016064406A1 (en) * 2014-10-23 2016-04-28 Hewlett Packard Enterprise Development Lp Memristive cross-bar array for determining a dot product

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298435A (zh) * 2019-05-30 2019-10-01 长安大学 一种忆阻器型全域值bp神经网络电路
CN110298435B (zh) * 2019-05-30 2022-10-18 长安大学 一种忆阻器型全域值bp神经网络电路
WO2022269660A1 (ja) * 2021-06-21 2022-12-29 Tdk株式会社 駆動回路、アレイ回路、及びニューロモーフィックデバイス

Also Published As

Publication number Publication date
US20190392290A1 (en) 2019-12-26
JP6756287B2 (ja) 2020-09-16
US11475272B2 (en) 2022-10-18
JP2018163437A (ja) 2018-10-18

Similar Documents

Publication Publication Date Title
WO2018173473A1 (ja) ニューラルネットワーク回路
US10943170B2 (en) Neural network circuit
US11423294B2 (en) Neural network circuit
JP6773621B2 (ja) 演算装置
JP5160304B2 (ja) 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP6794891B2 (ja) ニューラルネットワーク回路
US8595157B2 (en) High-order time encoder based neuron circuit using a hysteresis quantizer, a one bit DAC, and a second order filter
US7417499B2 (en) Gain controlled amplifier and cascoded gain controlled amplifier based on the same
US10340002B1 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
JP2018163437A5 (ja)
JP2018147159A (ja) ニューラルネットワーク回路
JP2021502036A (ja) 電流ステアリングデジタル−アナログコンバータ
JP2009021757A (ja) ディジタル・アナログ変換回路
JP5566211B2 (ja) スイッチドキャパシタ型ｄ／ａコンバータ
JP2007241475A (ja) 差動乗算回路及び積和演算回路
TWI344764B (ja)
US11017286B2 (en) Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other
Sah et al. Memristor bridge circuit for neural synaptic weighting
JP6996411B2 (ja) ニューラルネットワーク回路
JP7124498B2 (ja) ニューラルネットワーク回路
JP2001292065A (ja) ディジタル／アナログ変換器
WO2022102002A1 (ja) アナログデジタル変換回路
CN109639249B (zh) 合成电阻电路及可变增益放大电路
TWI478488B (zh) 寬頻帶主動式延遲線電路及其相關方法
CN117610629A (zh) 一种基于仿生机制的抑制负面情绪与自我修复的忆阻神经网络电路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772401

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18772401

Country of ref document: EP

Kind code of ref document: A1