WO2019189895A1 - ニューラルネットワーク回路装置 - Google Patents

ニューラルネットワーク回路装置 Download PDF

Info

Publication number
WO2019189895A1
WO2019189895A1 PCT/JP2019/014353 JP2019014353W WO2019189895A1 WO 2019189895 A1 WO2019189895 A1 WO 2019189895A1 JP 2019014353 W JP2019014353 W JP 2019014353W WO 2019189895 A1 WO2019189895 A1 WO 2019189895A1
Authority
WO
WIPO (PCT)
Prior art keywords
synapse
mos transistor
pulse
circuit
load
Prior art date
Application number
PCT/JP2019/014353
Other languages
English (en)
French (fr)
Inventor
奕涛 馬
哲郎 遠藤
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Priority to US17/043,203 priority Critical patent/US11829863B2/en
Priority to JP2020509364A priority patent/JP7216436B2/ja
Publication of WO2019189895A1 publication Critical patent/WO2019189895A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C14/00—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down
    • G11C14/0054—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a SRAM cell
    • G11C14/0081—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a SRAM cell and the nonvolatile element is a magnetic RAM [MRAM] element or ferromagnetic cell
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/04—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body
    • H01L27/10—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a repetitive configuration
    • H01L27/105—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a repetitive configuration including field-effect components
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N50/00—Galvanomagnetic devices
    • H10N50/10—Magnetoresistive devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C14/00—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down
    • G11C14/0009—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a DRAM cell
    • G11C14/0036—Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down in which the volatile element is a DRAM cell and the nonvolatile element is a magnetic RAM [MRAM] element or ferromagnetic cell

Definitions

  • the present invention relates to a neural network circuit device.
  • connection between neurons has a synaptic connection load that represents the strength of the connection, and the integrated value of the voltage of one pulse input from another neuron and the connection load is a predetermined value.
  • the neuron fires and transmits a pulse to the next neuron.
  • it is necessary to store the synapse coupling load in the storage element.
  • Non-volatile memory elements such as ReRAM (Resistive Random Access Memory) and phase change memory (Phase Change Random Access Memory) equipped with a resistance change type memory element whose electrical resistance changes due to an electric field induced giant resistance change are known. Yes.
  • ReRAM Resistive Random Access Memory
  • Phase change memory Phase Change Random Access Memory equipped with a resistance change type memory element whose electrical resistance changes due to an electric field induced giant resistance change.
  • a neural network circuit device that stores a synapse coupling load in such a nonvolatile memory element (see, for example, Non-Patent Documents 1 to 3).
  • the neural network circuit devices described in Non-Patent Documents 1 to 3 store the synapse connection load in the nonvolatile memory element, and therefore do not require power for holding the memory of the synapse connection load.
  • a neural network circuit device having a more optimal configuration there is a demand for a neural network circuit device having a more optimal configuration.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a more optimized neural network circuit device.
  • the present invention provides a neural network circuit device including a plurality of synapse circuits for storing synapse connection loads and a neuron circuit connected to the plurality of synapse circuits, wherein the plurality of synapse circuits are provided.
  • the neuron circuit includes a floating gate and the floating gate.
  • a neuron MOS transistor having a plurality of control gates to which the voltage signals from the plurality of synapse circuits are respectively input, and a pulse for outputting a pulse signal when the neuron MOS transistor is turned on or off And a generator.
  • a neural network circuit device including a plurality of synapse circuits for storing synapse connection loads and a neuron circuit connected to the plurality of synapse circuits, wherein one electrode of the neuron circuit is grounded.
  • a pair of inverters composed of an inverter MOS transistor and a magnetic tunnel junction element that are cross-coupled and connected in series, and a write current based on a synaptic coupling load stored in the magnetic tunnel junction element of the pair of inverters.
  • the neural network circuit device since the connection weight stored in the synapse circuit is transmitted to the neuron circuit as the magnitude of the voltage, the neural network circuit device has a more optimized configuration so as to reduce the power consumption. be able to.
  • the time required to change the magnetization state of the magnetic tunnel junction element is short, and the operation of a pair of cross-coupled inverters operated when outputting a signal weighted by a coupling load is stable. Since the time until the transition to the state is short, the neural network circuit device can be configured to be more optimized so as to operate at high speed.
  • DELTA pulse time difference
  • a neural network circuit device 10 is provided with a plurality of synapse circuits 11 arranged in a matrix.
  • Each synapse circuit 11 includes a load storage unit 14 and a selection unit 15.
  • Each column 16 of the synapse circuit 11 is provided with a neuron circuit 17 at the end in the column direction (vertical direction in FIG. 1).
  • the neuron circuit 17 has a main body 18 and a bit line driver 19.
  • bit lines BL and BLB, a first post spike line POLa, and a second post spike line POLb are extended in the column direction.
  • the bit lines BL and BLB are connected to each load storage unit 14 and bit line driver 19 in the column 16 to which the bit lines BL and BLB correspond.
  • the first post spike line POLa and the second post spike line POLb are connected to each selection unit 15 and main body unit 18 in the column 16 to which the first post spike line POLa and the second post spike line POLb correspond.
  • an output line OL is provided for each load storage unit 14, and each load storage unit 14 is connected to the main body unit 18 of the neuron circuit 17 in the column 16 in which the load storage unit 14 is arranged by the output line OL. .
  • the power supply line PL for supplying the power supply voltage to the load storage unit 14, the grounded source line SL, the first pre-spike line PRLa, Two pre-spike lines PRLb are extended and connected to each load storage unit 14 in the corresponding row.
  • the front stage 20 is provided with an input circuit 20a for each row.
  • the first pre-spike line PRLa in each row is connected to the input circuit 20a via the inverter 20b, and the second pre-spike line PRLb is directly connected to the input circuit 20a.
  • the neural network circuit device 10 refers to a synapse model having spike timing dependent synaptic plasticity (Spike Timing Dependent) Synaptic Plasticity (hereinafter referred to as STDP)).
  • STDP spike timing dependent synaptic plasticity
  • the input circuit 20a corresponds to a front neuron
  • the neuron circuit 17 corresponds to a back neuron
  • the input circuit 20a receives a first prespike pulse corresponding to a prespike pulse
  • the neuron circuit 17 A first post spike pulse corresponding to the spike pulse is output.
  • the first pre-spike pulse is output at a timing corresponding to the firing timing of the previous neuron
  • the first post-spike pulse is output at a timing corresponding to the firing timing of the subsequent neuron.
  • the synapse circuit 11 corresponds to a synapse that synapse connects the pre-neuron and the post-neuron, and stores a synapse connection load (hereinafter simply referred to as a connection load).
  • the pre-neuron and the post-neuron connected before and after the synapse ignite and output a spike pulse, respectively. It is a property that the coupling load with the located synapse changes.
  • the neural network circuit device 10 when the pulse time difference ⁇ T between the first post-spike pulse and the first pre-spike pulse is within a preset specified time Tw, the coupling load of the synapse circuit 11 is updated, and the first pre-spike When the former precedes the pulse and the first post spike pulse, the first combined load is used. When the latter precedes, the second combined load is used.
  • the weight of the first coupling load is relatively large and the weight of the second coupling load is relatively small. That is, as shown in FIG. 2, the coupling load of the synapse circuit 11 is determined by the first pre-spike pulse during a period of time 1 ⁇ 2 Tw from the time when the first post-spike pulse is output from the neuron circuit 17 to which the synapse circuit 11 is connected. Is input, it becomes a large first combined load, and when the first pre-spike pulse is input within a time period of 1/2 Tw retroactive from the time when the first post-spike pulse is output, It becomes a small second combined load. Therefore, in this example, when the coupling load is updated, it is different from general symmetric STDP and asymmetric STDP in which the coupling load is gradually increased or decreased by increasing the pulse time difference ⁇ T.
  • the neural network circuit device 10 has a recognition mode and a learning mode.
  • the recognition mode for example, a signal corresponding to an image to be processed such as image recognition is input from the pre-stage unit 20 to the neural network circuit device 10, and the output from each neuron circuit 17 is processed according to the result of image recognition.
  • the connection weight stored in each synapse circuit 11 in the learning mode is used.
  • the learning mode is an operation mode in which a connection load stored in each synapse circuit 11 is updated by inputting a signal based on a prepared image from the pre-stage unit 20 to the neural network circuit device 10.
  • the input circuit 20a of the pre-stage unit 20 outputs the first pre-spike pulse to the first pre-spike line PRLa and the second pre-spike pulse synchronized with the first pre-spike pulse to the second pre-spike line PRLb via the inverter 20b.
  • the first pre-spike pulse is output in both the recognition mode and the learning mode, while the second pre-spike pulse is output only in the learning mode.
  • the second pre-spike pulse is used to control the write timing of the combined load in the load storage unit 14.
  • the second pre-spike pulse has a pulse width larger than that of the first pre-spike pulse and is 1 ⁇ 2 of the specified time Tw.
  • the load storage unit 14 of the synapse circuit 11 receives the voltage signal Vpre corresponding to the pre-spike pulse weighted with the stored connection load via the output line OL. To the main body 18 of the neuron circuit 17.
  • the main body portion 18 of the neuron circuit 17 responds to the sum of the voltage levels of the voltage signals Vpre from the load storage portions 14 in the row 16 in which the neuron circuit 17 is arranged being equal to or greater than a predetermined threshold value, as a first post spike pulse. Is generated.
  • the main body 18 outputs the first post spike pulse to the first post spike line POLa in the recognition mode, and outputs the first post spike pulse in the learning mode and the second post synchronized with the first post spike pulse.
  • a spike pulse is output to the second post spike line POLb. Similar to the second pre-spike pulse, the second post-spike pulse is used to control the update timing of the coupling load.
  • the second post spike pulse has a pulse width larger than that of the first post spike pulse and is 1 ⁇ 2 of the specified time Tw.
  • the selection unit 15 of the synapse circuit 11 performs the first post spike pulse based on the timings of the first pre spike pulse, the second pre spike pulse, the first post spike pulse, and the second post spike pulse in the learning mode.
  • the selection signal is generated.
  • the load storage unit 14 stores a coupling load based on the potential difference between the bit lines BL and BLB at the timing when the selection signal is input.
  • the load storage unit 14 of the synapse circuit 11 includes inverters 21 and 22, a pair of MOS transistors 23 and 24, and a MOS transistor 25 as transfer gates.
  • the inverter 21 includes an MTJ element (magnetic tunnel junction element) 31 and a MOS transistor 32 connected in series
  • the inverter 22 includes an MTJ element 33 and a MOS transistor 34 connected in series.
  • the MOS transistors 23, 24, 32, and 34 are N-type MOSFETs
  • the MOS transistor 25 is a P-type MOSFET.
  • the MOS transistors 32 and 34 are inverter MOS transistors
  • the MOS transistor 25 is a power gating MOS transistor.
  • the MTJ element 31 has a structure in which a magnetization fixed layer 31a and a magnetization free layer 31b are stacked with an insulating film 31c interposed therebetween.
  • the magnetization direction of the magnetization fixed layer 31a is fixed.
  • the magnetization free layer 31b can change the magnetization direction by passing a write current of a predetermined threshold value or more through the MTJ element 31, and the magnetization direction is determined by the direction of the write current.
  • the MTJ element 31 has a low resistance with a low resistance value when the magnetization directions of the magnetization fixed layer 31a and the magnetization free layer 31b coincide with each other, and the magnetization free layer 31b has a smaller resistance value than the magnetization fixed layer 31a.
  • the MTJ element 31 When the magnetization direction is opposite, the resistance value is high and the resistance is high.
  • the MTJ element 31 is in a parallel state by flowing a write current in the direction from the magnetization fixed layer 31a to the magnetization free layer 31b, and is in an antiparallel state by flowing a write current in the opposite direction.
  • the MTJ element 33 also has a configuration in which a magnetization fixed layer 33a, a magnetization free layer 33b, and an insulating film 33c are stacked. As with the MTJ element 31, the magnetization direction of the magnetization free layer 33b can be changed by a write current. The resistance value changes in the parallel state and anti-parallel state.
  • the load storage unit 14 stores the coupling load in a nonvolatile manner by the MTJ elements 31 and 33.
  • the other is in an antiparallel state.
  • the MTJ element 31 is in the parallel state
  • the MTJ element 33 is in the antiparallel state
  • the MTJ element 31 when the first coupling load is stored, the MTJ element 31 is in the parallel state, the MTJ element 33 is in the antiparallel state, and when the second coupling load is stored, the MTJ element 31. Is an anti-parallel state, and the MTJ element 33 is a parallel state.
  • the MTJ elements 31 and 33 are advantageous elements from the viewpoint that the maximum number of rewrites is considerably large and the number of learning can be increased as compared with other ReRAMs, phase change memories, and the like.
  • the magnetization free layer 31b of the MTJ element 31 and the drain of the MOS transistor 32 are connected, and in the inverter 22, the magnetization free layer 33b of the MTJ element 33 and the drain of the MOS transistor 34 are connected.
  • the magnetization fixed layers 31 a and 33 a of the MTJ elements 31 and 33 are connected to each other and connected to the power supply line PL via the MOS transistor 25.
  • the sources of the MOS transistors 32 and 34 are grounded via the source line SL.
  • connection node SN between the MTJ element 31 that is the output terminal of the inverter 21 and the MOS transistor 32 is connected to the gate of the MOS transistor 34 that is the input terminal of the inverter 22, and the MTJ element 33 that is the output terminal of the inverter 22 and the MOS transistor
  • a connection node SNB connected to 34 is connected to the gate of the MOS transistor 32 which is the input terminal of the inverter 21.
  • connection node SN is connected to the bit line BL via the MOS transistor 23, and the connection node SNB is connected to the bit line BLB via the MOS transistor 24.
  • Each gate of the MOS transistors 23 and 24 is connected to the selection unit 15, and is turned on and off by a selection signal from the selection unit 15.
  • the selection unit 15 and the MOS transistors 23 and 24 constitute a writing unit.
  • bit line potential difference ⁇ VB When the bit line potential difference ⁇ VB is positive and the MOS transistors 23 and 24 are turned on, the bit line BL reaches the bit line BLB via the connection node SN, the MTJ element 31, the MTJ element 33, and the connection node SNB. A write current flows through the path, and the MTJ element 31 becomes parallel and the MTJ element 33 becomes antiparallel.
  • the MOS transistors 23 and 24 are turned on when the bit line potential difference ⁇ VB is negative, the bit line BLB is connected to the bit line via the connection node SNB, the MTJ element 33, the MTJ element 31, and the connection node SN. A write current flows along the path to BL, and the MTJ element 31 becomes antiparallel and the MTJ element 33 becomes parallel.
  • connection node SN The potential (voltage) of the connection node SN is output to the output line OL as the voltage signal Vpre via the capacitor 36. That is, one electrode of the capacitor 36 is connected to the connection node SN, and the other electrode is connected to the control gate CG (see FIG. 4) in the main body 18 through the output line OL. As will be described later, the capacitor 36 generates a conduction current between the load storage portions 14 of the synapse circuits 11 that are capacitively coupled to the same floating gate FG (see FIG. 4) via the control gate CG. It is provided to prevent this.
  • the substantial coupling capacitance between the load storage unit 14 and the floating gate FG is determined by the capacitance of the capacitor 36 and the coupling capacitance of the control gate CG with respect to the floating gate FG. Note that the substantial coupling capacitance between the load storage unit 14 and the floating gate FG can be made different, and by doing so, for example, the voltage signal Vpre can be weighted.
  • the MOS transistor 25 is a reading unit that outputs the voltage signal Vpre.
  • the MOS transistor 25 is turned on when the gate thereof is connected to the first pre-spike line PRLa and the first pre-spike pulse as an input signal is output, and the MOS transistors constituting the inverters 21 and 22, that is, the differential pair. 32 and 34 are activated. Thereby, in response to the first pre-spike pulse, the voltage of the connection node SN which is the output terminal of the inverter 21 is output to the output line OL as the voltage signal Vpre.
  • the voltage signal Vpre is relatively low when the MTJ element 31 is in the antiparallel state and the MTJ element 33 is in the parallel state, and is high when the MTJ element 31 is in the parallel state and the MTJ element 33 is in the antiparallel state.
  • the selection signal is activated (H level). Thereby, the selection signal becomes active and the MOS transistors 23 and 24 are turned on only when the pulse time difference ⁇ T between the first post spike pulse and the first pre spike pulse is within the specified time Tw.
  • the main body 18 includes a MOS transistor 41 that is a P-type MOSFET, a MOS transistor 42 that is an N-type MOSFET, and a pulse generator 43.
  • the main body 18 includes a pulse generator for generating a second post spike pulse and the like.
  • a pulse generator capable of controlling the pulse waveform, output timing, delay time, and the like can be used as the pulse generator of the main body 18. With such a pulse generator, the first post spike pulse and the second post spike are used. A pulse may be generated.
  • MOS transistors 41 and 42 as neuron MOS transistors are connected in series to constitute an inverter.
  • the pulse generator 43 has an input terminal connected to a connection node between the MOS transistor 41 and the MOS transistor 42, and when the connection node becomes a ground potential (0 V), the first post spike pulse (pulse signal) ) Is output.
  • the MOS transistors 41 and 42 share a floating gate FG.
  • the MOS transistors 41 and 42 are provided with a plurality of control gates CG that are capacitively coupled to the floating gate FG.
  • the control gate CG of the main body portion 18 is provided corresponding to each load storage portion 14 in the row 16 in which the main body portion 18 is arranged, and each control gate CG has an output line from the corresponding load storage portion 14. OL is connected.
  • the MOS transistors 41 and 42 are turned on / off by the potential of the floating gate FG, and when one is turned on, the other is turned off.
  • the potential of the floating gate FG is determined by the voltage of the voltage signal Vpre applied to each control gate CG and the coupling capacitance between each control gate CG and the floating gate FG.
  • the coupling capacitance of each control gate CG with respect to the floating gate FG is the same. Therefore, the MOS transistors 41 and 42 can be controlled so that one is turned on and the other is turned off by the sum of the voltages applied to the control gates CG.
  • the first pre-spike pulse is output to the first pre-spike line PRLa from each input circuit 20a via the inverter 20b at a timing according to the processing content of the front stage unit 20. Is done.
  • the selection unit 15 since the second pre-spike pulse is not output, the selection unit 15 does not output a selection signal.
  • the load storage unit 14 Focusing on one synapse circuit 11 connected to one first prespike line PRLa, when the first prespike pulse is input to the synapse circuit 11 via the first prespike line PRLa, the load storage unit 14 The MOS transistor 25 is turned on. When the MOS transistor 25 is turned on, a current from the power supply line PL flows through the MTJ element 31 and the MTJ element 33, and the inverters 21 and 22 operate.
  • the coupling load stored in the synapse circuit 11 is the first coupling load, that is, when the MTJ element 31 has a low resistance and the MTJ element 33 has a high resistance, the potential of the connection node SN is connected. A potential difference that is higher than the potential of the node SNB is generated. This potential difference is amplified by the action of the cross-coupled inverters 21 and 22, and is stabilized in a state where the potential difference is increased.
  • the coupling load stored in the synapse circuit 11 is the second coupling load, that is, when the MTJ element 31 has a high resistance and the MTJ element 33 has a low resistance, the potential of the connection node SN. Is lower than the potential of the connection node SNB, and the potential difference is amplified by the action of the cross-coupled inverters 21 and 22, and is stabilized in a state where the potential difference is increased.
  • connection node SN Since the potential difference between the connection node SN and the connection node SNB is amplified and stabilized by the differential pair of the MOS transistors 32 and 34, the time required for stabilization is very short. Therefore, high speed operation is possible.
  • the current flowing in the MTJ elements 31 and 33 when the MOS transistor 25 is turned on is adjusted to a magnitude that does not change their magnetization state. Actually, while the current flows, there is a change in the magnetization direction of the magnetization free layers 31b and 33b, but the change does not affect the generation of a desired potential difference in the connection nodes SN and SNB. The degree is very slight. The slight magnetization direction of the magnetization free layers 31b and 33b returns to the original magnetization direction by stopping the current.
  • the potential of the connection node SN changes according to the coupling load stored in the synapse circuit 11.
  • the synapse circuit 11 stores the first coupling load
  • the high voltage signal Vpre is output to the output line OL connected to the connection node SN via the capacitor 36, and the second voltage signal Vpre is output.
  • a voltage signal Vpre having a low voltage is output.
  • the voltage signal Vpre from the synapse circuit 11 is applied to the control gate CG of the main body 18 via the output line OL.
  • the MOS transistor 25 is turned off, the capacitor 36 is discharged and the voltage signal Vpre is lowered.
  • the voltage of the voltage signal Vpre is It gradually decreases and does not immediately become 0V.
  • the voltage of the voltage signal Vpre output from each synapse circuit 11 in the row 16 in which the neuron circuit 17 is arranged is added to the corresponding control gate CG.
  • no voltage is applied to the control gate CG from the synapse circuit 11 to which the first pre-spike pulse is not input.
  • the MOS transistor 41 is turned off and the MOS transistor 42 is turned on.
  • the first post spike pulse is output from the pulse generator 43. If the potential of the floating gate FG does not reach the threshold value, the MOS transistor 41 is not turned off and the MOS transistor 42 is not turned on, so that the first post spike pulse is not output.
  • each column 16 according to the timing of the first pre-spike pulse output from the pre-stage unit 20 to the first pre-spike line PRLa of each row and the coupling load stored in each synapse circuit 11.
  • the first post-spike signal is output from the neuron circuit 17 thus obtained.
  • the weight storage unit 14 transmits the weight applied to the pre-spike to the main body unit 18 as the magnitude of the voltage of the voltage signal Vpre, and the total sum of the voltages is capacitively coupled to the control gate CG. It is obtained by the floating gate FG. Therefore, the first post spike pulse corresponding to the post spike pulse based on the result of the product sum calculation can be obtained without providing an arithmetic circuit for calculating the product sum of the combined load and the pre spike pulse. Further, since only a very small current for charging the control gate CG (actually the capacitor 36) flows, an operation with low power is possible. In the load storage unit 14, the two MTJ elements 31 and 33 are always written with resistance states opposite to each other.
  • the first pre-spike pulse is output to the first pre-spike line PRLa from each input circuit 20a at a timing according to the processing content of the front stage unit 20.
  • the load storage unit 14 operates to output the voltage signal Vpre as in the recognition mode.
  • a second pre-spike pulse having a pulse width of 1/2 Tw is output from the input circuit 20a to the second pre-spike line PRLb in synchronization with the first pre-spike pulse. Is done. 6 shows a case where the first pre-spike pulse precedes the first post-spike pulse, and FIG. 7 shows a case where the first post-spike pulse precedes the first pre-spike pulse. .
  • the synapse circuit 11 to which the first pre-spike pulse is input via the first pre-spike line PRLa has a voltage signal Vpre corresponding to the coupling load stored in the load storage unit 14 as in the recognition mode.
  • Vpre voltage signal
  • the MOS transistor 41 is turned off and the MOS transistor 42 is turned on.
  • the first post spike pulse is output from the pulse generator 43 to the first post spike line POLa.
  • the second pre spike pulse having a pulse width of 1/2 Tw is output from the main body 18 to the second pre spike line PRLb in synchronization with the first post spike pulse.
  • the bit line driver 19 makes the bit line potential difference ⁇ VB positive in a period substantially the same as the pulse width of the first post spike pulse, and in the subsequent period of time 1 / 2Tw The line potential difference ⁇ VB is negative.
  • the selection is performed in the synapse circuit 11 to which the first pre-spike pulse is input within a period that is back by a time 1 ⁇ 2 Tw from the timing at which the first post-spike pulse is output.
  • the first post spike pulse is input to the unit 15 during the input of the second pre spike pulse. Therefore, a selection signal is output to the load storage unit 14 almost simultaneously with the first post spike pulse, and the MOS transistors 23 and 24 in the load storage unit 14 are turned on during the period when the bit line potential difference ⁇ VB is positive. become.
  • the potential of the bit line BL is higher than that of the bit line BLB, so that the write current is transferred from the bit line BL to the MOS transistor 23, MTJ element 31, MTJ element 33, MOS
  • MOS MOS
  • the write current flows through the transistor 24 to the bit line BLB.
  • the write current flows from the magnetization free layer 31b of the MTJ element 31 to the magnetization fixed layer 31a, and from the magnetization fixed layer 33a of the MTJ element 33 to the magnetization free layer 33b, so that the MTJ element 31 has a low resistance.
  • the MTJ element 33 has a high resistance.
  • the synapse circuit 11 is in a state where the first coupling load is stored.
  • the MOS transistor 25 When the pulse time difference ⁇ T is 1 ⁇ 2 Tw or less and the first pre-spike pulse precedes the first post-spike pulse, the MOS transistor 25 is turned on simultaneously with the MOS transistors 23 and 24.
  • the voltage of the power supply line PL is set to about
  • the write current flows and the MTJ elements 31 and 33 are in a state where the first coupling load is stored.
  • the potential of the bit line BLB is higher than that of the bit line BL, so that the write current is transferred from the bit line BLB to the MOS transistor 24, MTJ element 33, MTJ element 31, and MOS.
  • the current flows through the transistor 23 to the bit line BL.
  • the write current flows from the magnetization fixed layer 31a of the MTJ element 31 to the magnetization free layer 31b, and flows from the magnetization free layer 33b of the MTJ element 33 to the magnetization fixed layer 33a. Therefore, the MTJ element 31 has a high resistance.
  • the MTJ element 33 has a low resistance. As a result, the synapse circuit 11 is in a state where the second coupling load is stored.
  • the synapse circuit 11 when the connection weight is rewritten and the first pre-spike pulse is input after rewriting, the synapse circuit 11 outputs the voltage signal Vpre corresponding to the new connection weight to the neuron circuit 17 in the same manner as described above. To do. Further, when the potential of the floating gate FG reaches the threshold value, the neuron circuit 17 outputs the first post spike pulse and the second post spike pulse as described above. In each synapse circuit 11, when the first pre-spike pulse is input within each period of time 1/2 Tw before and after the timing when the first post-spike pulse is input, the coupling load is rewritten again. As described above, the coupling load of each synapse circuit 11 is updated, and the final one is held in each synapse circuit 11.
  • the write current is supplied to change the magnetization state of the MTJ elements 31 and 33.
  • the time required for the MTJ elements 31 and 33 to change between the parallel state and the antiparallel state mutually. (Hereinafter referred to as the rewrite time) is very short, so that high-speed operation is possible.
  • the rewriting time of the MTJ elements 31 and 33 is about 1/10 that of ReRAM.
  • the neural network circuit device 10 can operate at high speed and low power, and has a more optimal configuration.
  • the load storage unit described above has a configuration in which a pair of inverters each including an MTJ element is cross-coupled, but a circuit configuration using only one MTJ element may be employed.
  • 8 includes an MTJ element 51 and MOS transistors 52 and 53 that are N-type MOSFETs. Similar to the MTJ elements 31 and 33 (see FIG. 3), the MTJ element 51 has a structure in which a magnetization fixed layer 51a and a magnetization free layer 51b are stacked with an insulating film 51c interposed therebetween.
  • the load storage unit 14A stores the magnitude of the coupling load depending on the resistance of the MTJ element 51 (the magnetization direction of the magnetization free layer 51b).
  • the magnetization fixed layer 51a is connected to the power supply line PL via the MOS transistor 52, and the magnetization free layer 51b is connected to the source line SL.
  • the MOS transistor 52 has its gate connected to a pre-spike line PRL extending in the row direction.
  • a pre-spike pulse from the input circuit in the previous stage is output to the pre-spike line PRL.
  • an H level pre-spike pulse is output to the pre-spike line PRL.
  • the potential VSL of the source line SL is controlled by, for example, an input circuit.
  • the source line potential VSL is normally set to the ground level, but changes in synchronization with the spike pulse output from the input circuit.
  • source line potential VSL is maintained at the ground level.
  • the connection node between the MTJ element 51 and the MOS transistor 52 is grounded via the MOS transistor 53.
  • the gate of the MOS transistor 53 is connected to a post spike line POL extending in the column direction.
  • the neuron circuit 17 includes a main body 18 and a delay circuit 55, and the main body 18 outputs a post spike pulse to the post spike line POL via the delay circuit 55.
  • the delay circuit 55 delays the post spike pulse by the time 1 ⁇ 2 Tw.
  • the potential (voltage) of the connection node between the MTJ element 51 and the MOS transistor 52 is output to the output line OL as the voltage signal Vpre via the capacitor 36. That is, one electrode of the capacitor 36 is connected to a connection node between the MTJ element 51 and the MOS transistor 52, and the other electrode is connected to the control gate in the main body 18 through the output line OL.
  • the source line potential VSL is continuously set to the ground level (0 V).
  • a pre-spike pulse is output from the input circuit in the previous stage and the MOS transistor 52 is turned on, a current flows from the power supply line PL to the source line SL via the MTJ element 51.
  • a voltage signal Vpre having a voltage equal to a voltage drop corresponding to the resistance value of the MTJ element 51 is output from the connection node between the MTJ element 51 and the MOS transistor 52 to the main body 18 of the neuron circuit 17 via the capacitor 36.
  • the load storage unit 14A outputs the voltage signal Vpre having a voltage corresponding to the stored connection load in response to the input of the pre-spike pulse. For example, when the MTJ element 51 is in a parallel state (low resistance), the voltage signal Vpre is low, and when the MTJ element 51 is in an antiparallel state (high resistance), the voltage signal Vpre is high.
  • the load storage unit 14A operates to output the voltage signal Vpre as in the recognition mode.
  • the source line potential VSL is controlled in synchronization with the pre-spike pulse.
  • the source line potential VSL is set higher than the ground level in a period of time 1 ⁇ 2 Tw (hereinafter referred to as a first period) from the time when the pre-spike pulse falls, and a subsequent period of time 1 ⁇ 2 Tw (hereinafter referred to as a second period).
  • the source line potential VSL is set lower than the ground level.
  • the magnitude (absolute value) of the source line potential VSL with respect to the ground level at this time is determined so that a write current required to change the magnetization state of the MTJ element 51 can flow through the MTJ element 51.
  • the MOS transistor 53 When the main body 18 outputs a post spike pulse, the MOS transistor 53 is turned on by the post spike pulse via the delay circuit 55. As a result, the MTJ element 51 is connected between the source line SL and the ground. Therefore, if the MOS transistor 53 is turned on during the period in which the source line potential VSL is controlled, a write current having a direction corresponding to the source line potential VSL flows through the MTJ element 51.
  • the delay circuit 55 delays the output of the post spike pulse by the time 1 ⁇ 2 Tw. For this reason, for example, as shown by a solid line in FIG. 10, when the pulse time difference ⁇ T between the post spike pulse from the main body 18 and the pre spike pulse is 1/2 Tw or less and the post spike pulse precedes, A post spike pulse is output from the delay circuit 55 within the first period.
  • the MOS transistor 53 since the MOS transistor 53 is turned on when the source line potential VSL is higher than the ground level, the MTJ element 51 receives a write current from the magnetization free layer 51b toward the magnetization fixed layer 51a. Flowing. As a result, the MTJ element 51 is in a parallel state.
  • the load storage unit is configured using a spin transfer magnetization reversal (spin-transfer-torque: STT) type two-terminal MTJ element, but the MTJ element reversal method, the number of terminals, etc. It is not limited to this.
  • a spin-orbit torque reversal (SOT: Spin-Orbital-Torque) type three-terminal MTJ element can be used.
  • FIG. 11 shows an example of a load storage unit 14B using a three-terminal MTJ element 57.
  • the MTJ element 57 has a structure in which a stacked body in which a magnetization fixed layer 57a and a magnetization free layer 57b are stacked with an insulating film 57c interposed therebetween is provided on the channel layer 57d, and the stacked body is formed from the channel layer 57d side on the magnetization free layer 57b.
  • the insulating film 57c and the magnetization fixed layer 57a are stacked in this order.
  • the magnetization fixed layer 57a and the magnetization free layer 57b are formed of a ferromagnetic material.
  • the insulating film 57c is formed of a nonmagnetic insulator.
  • the channel layer 57d is a conductive layer containing an antiferromagnetic material, and the channel layer 57d is formed in a plate shape extending in one direction.
  • a laminated body is provided at the
  • the magnetization fixed layer 57a has a magnetization direction fixed in, for example, one direction perpendicular to the film surface (vertical direction in FIG. 11), and the magnetization free layer 57b has an easy axis of magnetization in the direction perpendicular to the film surface. And the magnetization direction can be changed to either the parallel state in the same direction as the magnetization fixed layer 57a or the antiparallel state in the opposite direction.
  • the magnetization direction of the magnetization fixed layer 57a and the magnetization free layer 57b may be a direction parallel to the film surface.
  • the MTJ element 57 can change the magnetization direction of the magnetization free layer 57b by the action of spin orbit torque generated by flowing a write current in the direction in which the channel layer 57d extends.
  • the magnetization direction of the magnetization free layer 57b depends on the direction of the write current. That is, when a write current flows through the channel layer 57d, a spin current corresponding to the direction of the write current is generated in the channel layer 57d in a direction perpendicular to the film surface, and a spin orbit torque is generated in the magnetization free layer 57b. Works.
  • This spin orbit torque acts on the magnetization free layer 57b to which the stationary magnetic field from the channel layer 57d is applied, so that the magnetization direction of the magnetization free layer 57b changes depending on the direction of the spin current. It changes to either the same direction (parallel state) as 57a or the reverse direction (anti-parallel state).
  • the MTJ element 57 applies a read voltage to the stacked body, passes a read current in a direction penetrating the read voltage, and determines the level of resistance of the MTJ element 57 (laminated body) from the read voltage and the read current. Can do.
  • the voltage signal Vpre of the voltage corresponding to the magnetization state (resistance value) of the MTJ element 57 is taken out as in the above examples.
  • the upper surface of the magnetization fixed layer 57a (the surface opposite to the surface on which the insulating film 57c is formed) and one end and the other end in the extending direction of the channel layer 57d are used as terminals of the MTJ element 57, respectively.
  • the upper surface of the magnetization fixed layer 57a is connected to the power supply line PL through the MOS transistor 52, one end of the channel layer 57d is grounded through the MOS transistor 53, and the other end is connected to the source line SL.
  • the load storage unit 14B outputs the potential (voltage) of the connection node between the MOS transistor 52 and the MTJ element 57 (the upper surface of the magnetization fixed layer 57a) to the output line OL through the capacitor 36 as the voltage signal Vpre. That is, one electrode of the capacitor 36 is connected to a connection node between the MTJ element 57 and the MOS transistor 52, and the other electrode is connected to the control gate in the main body 18 through the output line OL.
  • Other circuit configurations, control of the source line potential VSL, and the like are the same as in the example of FIG.
  • the pulse time difference ⁇ T is equal to or less than time 1 / 2Tw
  • the MOS transistor 53 is turned on in response to the post spike pulse from the delay circuit 55
  • the channel layer 57d connected between the source line SL and the ground.
  • the magnetization direction of the magnetization free layer 57b is updated.
  • the direction of the write current flowing in the channel layer 57d changes depending on the timing when the MOS transistor 53 is turned on, that is, whether the post spike pulse precedes or the pre spike pulse precedes, and corresponds to the direction of the write current. It becomes the magnetization direction of the magnetization free layer 57b.
  • the cross-coupled inverter may be composed of a three-terminal MTJ element and a MOS transistor.
  • the memory element that stores the coupling load in a nonvolatile manner is not limited to the MTJ element.
  • a storage element an element that stores data using a difference in electrical resistance can be preferably used.
  • a phase change memory (PCRAM) used to rewrite data by changing the phase state of the phase change material by Joule heat generated when a current is passed through the phase change material layer.
  • PCRAM phase change memory
  • Examples include a change element, a resistance change element that is used in a ReRAM (Resistive RAM, Resistive Random Access Memory), and changes a resistance value of an oxide layer of a load storage unit by applying a voltage pulse.
  • a ferroelectric memory element having a ferroelectric capacitor used for a ferroelectric memory can also be used as a memory element that stores a coupling load in a nonvolatile manner.
  • the coupling load of the synapse circuit is expressed by the magnitude of the current.
  • it is the same as that of 1st Embodiment, attaches
  • the load storage unit 14C of the synapse circuit includes inverters 21 and 22, a pair of MOS transistors 23 and 24 that are transfer gates, and a MOS transistor 25 for power gating. It consists of MTJ elements 31, 33 and MOS transistors 32, 34.
  • a MOS transistor 65 is provided together with the MOS transistor 25 as a reading unit.
  • the MOS transistor 65 is a P-type MOSFET, the source is connected to the connection node SNB that is the output terminal of the inverter 22, and the drain is connected to the output line OL.
  • the MOS transistor 65 has a gate connected to the first pre-spike line PRLa, and is turned on together with the MOS transistor 25 by the first pre-spike pulse.
  • the neuron circuit main body 18C includes a capacitor 67, a MOS transistor 68 as a load, and a pulse generator 43.
  • the capacitor 67 one of the electrodes 67a and 67b facing each other is grounded. Further, the other electrode 67b of the capacitor 67 is connected to the load storage unit 14C of each synapse circuit in the column where the neuron circuit is arranged via the output line OL.
  • the electrode 67 b is connected to the input terminal of the pulse generator 43 and is connected to the power source 71 via the MOS transistor 68.
  • the MOS transistor 68 is a P-type MOSFET having a source connected to the power source 71 and a drain connected to the electrode 67b. A predetermined gate voltage is applied to the MOS transistor 68, and a current from the power source 71 is supplied so as to charge the capacitor 67.
  • the capacitor 67 is charged by the current from the power supply 71 in both the recognition mode and the learning mode. For this reason, in a state where the first pre-spike pulse is not input to the load storage unit 14C, the electrode 67b is maintained at the same as the output potential (output voltage) of the power source.
  • the MOS transistors 25 and 65 of the load storage unit 14C are turned on.
  • the MOS transistor 25 is turned on, the cross-coupled inverters 21 and 22 are operated, and the potential difference generated between the connection node SN and the connection node SNB is amplified and stabilized in a state where the potential difference is increased.
  • the coupling load stored in the load storage unit 14C of the synapse circuit is the first coupling load (the MTJ element 31 has a low resistance and the MTJ element 33 has a high resistance)
  • the potential of the connection node SN is connected.
  • the potential is higher than the potential of the node SNB and the second coupling load (the MTJ element 31 is high resistance and the MTJ element 33 is low resistance)
  • the potential of the connection node SNB is higher than the potential of the connection node SN.
  • the drain of the MOS transistor 34 is connected to the electrode 67b of the capacitor 67 through the MOS transistor 65 and the output line OL that are turned on, and the source is grounded through the source line SL.
  • the potential of the connection node SN is given to the gate of the MOS transistor 34. Therefore, the MOS transistor 34 discharges the capacitor 67 with the discharge current Ipre having a magnitude corresponding to the potential of the connection node SN. Note that the discharge current Ipre does not flow when the potential of the connection node SN is lower than the potential of the connection node SNB and the potential is lower than the gate threshold voltage of the MOS transistor 34.
  • the capacitor 67 is always charged by the power supply 71, but by being discharged by the MOS transistor 34, the charging voltage, that is, the potential of the electrode 67b is lowered. As the discharge current Ipre increases, the potential of the electrode 67b decreases more greatly.
  • the discharge current Ipre generated by the MOS transistor 34 increases as the gate voltage of the MOS transistor 34 increases. That is, the discharge current Ipre increases as the potential of the connection node SN increases.
  • the potential of the connection node SN is relatively high in the case of the first coupling load and low in the case of the second coupling load. Therefore, one synaptic circuit greatly lowers the potential of the electrode 67b as the coupling load stored in it increases.
  • the discharge current Ipre corresponding to the coupling load stored in response thereto is generated. Shed.
  • the potential of the electrode 67b decreases by a magnitude based on the sum of the discharge currents Ipre of each synapse circuit.
  • the magnitude of the potential decrease of the electrode 67b depends on the discharge current Ipre of each synapse circuit. It changes as the sum changes.
  • the first post spike pulse is output from the pulse generator 43 when the sum of the discharge currents Ipre becomes a certain level or more and the potential of the electrode 67 b falls below the threshold value of the pulse generator 43.
  • Other operations in the learning mode and the recognition mode are the same as those in the first embodiment.
  • the neural network circuit device of the second embodiment can operate at high speed because the rewriting time of the MTJ elements 31 and 33 is very short. Further, since the time required for the potential difference between the connection node SN and the connection node SNB to be amplified and stabilized by the differential pair of the MOS transistors 32 and 34 is very short, high-speed operation is possible. Therefore, the neural network circuit device has a more optimal configuration.
  • connection weight stored in the synapse circuit may be any one of three or more connection weights having different weights, even if the binary weight is either the first connection weight having a relatively large weight or the second connection weight having a relatively small weight. Value may be used.
  • each synapse circuit is provided with a plurality of storage units each including a load storage unit and a selection unit, and each load storage unit is the same as in each of the above examples. Each of them is configured to store either the first coupling load or the second coupling load.
  • the pulse widths of the second post-spike pulses input to each selection unit in one synapse circuit are different from each other within a time 1 ⁇ 2 Tw (Tw is a specified time).
  • the pulse width of the second pre-spike pulse Are different from each other within a time 1 ⁇ 2 Tw (Tw is a specified time).
  • the second pre-processor input to the selection unit of the i-th (i is 1, 2,... M) storage unit.
  • Each pulse width of the spike pulse and the second post spike pulse can be set to “1 ⁇ 2Tw ⁇ (i ⁇ 1) (1 / (2M)) Tw”.
  • the load storage unit to which the selection signal is input varies from 0 to M in accordance with the length of the pulse time difference ⁇ T (absolute value) between the first post spike pulse and the first pre spike pulse.
  • the pulse time difference ⁇ T exceeds the time “1 ⁇ 2 Tw”
  • the number of load storage units in which the first coupling load or the second coupling load is written is zero, and the coupling load does not change (is not updated).
  • one synapse circuit stores the first coupling load in 0 to M load storage units (the second coupling load is stored in the load storage unit that does not store the first coupling load).
  • M + 1 types of connection weights corresponding to (1) can be stored.
  • each load storage unit outputs a voltage or a current corresponding to the stored coupling load to the main body unit when the first pre-spike pulse as an input signal is output.
  • each voltage or each current corresponding to the coupling load stored in each load storage unit is output to the main body unit. Since the main body operates based on the sum of the input voltages or currents, the voltage or current from one synapse circuit also operates based on the sum, resulting in synapse. Any of the M + 1 types of coupling loads stored in the circuit is output to the main body.
  • Neural network circuit apparatus 11 Synapse circuit 14, 14A, 14B, 14C Load memory
  • Neuron circuit 18 Main body part 21, 22 Inverter 23-25, 32, 34, 41, 42, 52, 53, 65 MOS transistor 31, 33 , 51, 57 MTJ element 36 capacitor 43 pulse generator 55 delay circuit 67 capacitor 67a, 67b electrode 68 MOS transistor 71 power supply BL bit line BLB bit line CG control gate FG floating gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Semiconductor Memories (AREA)
  • Mram Or Spin Memory Techniques (AREA)
  • Hall/Mr Elements (AREA)
  • Read Only Memory (AREA)

Abstract

より最適化されたニューラルネットワーク回路装置を提供する。シナプス回路１１は、クロスカップルされた一対のインバータ２１、２２で構成され、シナプス結合荷重を不揮発的に記憶する。インバータ２１は、ＭＴＪ素子３１とＭＯＳトランジスタ３２とが直列に接続され、インバータ２２は、ＭＴＪ素子３３とＭＯＳトランジスタ３４とが直列に接続されている。第１プレスパイクパルスの入力に応答して、接続ノードＳＮの電圧を電圧信号Ｖｐｒｅとして出力する。ニューロン回路は、フローティングゲートと、このフローティングゲートに容量結合した複数の制御ゲートとを有する一対のＭＯＳトランジスタとパルス発生器とで構成される。電圧信号Ｖｐｒｅの電圧の総和が一定レベル以上になったときに、第１ポストスパイクパルスが出力される。

Description

ニューラルネットワーク回路装置
　本発明は、ニューラルネットワーク回路装置に関する。
　生体の脳の仕組みをモデルにしてコンピュータ上で情報処理を行うニューラルネットワークが知られている。また、ニューラルネットワークを、半導体素子等を用いて実現すべく、その構成素子及び回路に関する研究が進められている。ニューラルネットワーク回路装置は、種々のモデルが提案されている。例えば１つのモデルでは、ニューロン同士の結合に、その結合の強さを表すシナプス結合荷重を持たせ、１つのニューロンが他のニューロンから入力されるパルスの電圧と結合荷重との積算値が所定の閾値に達したときに、当該ニューロンが発火し、次のニューロンにパルスを伝達するものがある。このようなモデルの場合、シナプス結合荷重を記憶素子に記憶しておく必要がある。
　不揮発性の記憶素子として、例えば電界誘起巨大抵抗変化により電気抵抗が変化する抵抗変化型記憶素子を備えたＲｅＲＡＭ（Resistive Random Access Memory）、相変化メモリ（Phase Change Random Access Memory）等が知られている。このような不揮発性の記憶素子にシナプス結合荷重を記憶させるニューラルネットワーク回路装置が知られている（例えば、非特許文献１～３を参照）。
G. W. Burr, P. Narayanan, R. M. Shelby, S. Sidler, I. Boybat, C. di Nolfo, and Y. Leblebici, IEDM, pp. 4.4.1-4.4.4, 2015． M. Chu; B. Kim; S. Park; H. Hwang; M. Jeon; B.-H. Lee; B.-G. Lee, IEEE Trans. IE, Vol. 62, Issue 4, pp. 2410-2419, 2015. S. P. Adhikari; H. Kim; R. K. Budhathoki; C. Yang; L. O. Chua, IEEE Trans. CAS, Vol. 62, Issue 1, pp. 215-223, 2015.
　ところで、非特許文献１～３に記載されるニューラルネットワーク回路装置は、シナプス結合荷重を不揮発性の記憶素子に記憶させるため、シナプス結合荷重の記憶を保持するための電力は必要としないが、十分に最適化されているとは言えず、より最適な構成のニューラルネットワーク回路装置が望まれている。
　本発明は、上記事情を鑑みてなされたものであり、より最適化されたニューラルネットワーク回路装置を提供することを目的とする。
　上記目的を達成するために、本発明は、シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、前記複数のシナプス回路は、不揮発的にシナプス結合荷重を記憶し、入力信号に応答して、記憶しているシナプス結合荷重に基づいた大きさの電圧信号を出力し、前記ニューロン回路は、フローティングゲートと、このフローティングゲートに容量結合し、前記複数のシナプス回路からの前記電圧信号がそれぞれ入力される複数の制御ゲートとを有するニューロン用ＭＯＳトランジスタと、前記ニューロン用ＭＯＳトランジスタのオンまたはオフにより、パルス信号を出力するパルス発生器とを有するものである。
　また、本発明は、シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、前記ニューロン回路は、一方の電極が接地されたキャパシタと、前記キャパシタの他方の電極と電源との間に接続された負荷と、前記他方の電極の電位に基づきパルス信号を発生させるパルス発生器とを有し、前記複数のシナプス回路は、クロスカップルされ、それぞれが直列接続されたインバータ用ＭＯＳトランジスタと磁気トンネル接合素子とからなる一対のインバータと、記憶するシナプス結合荷重に基づいた書き込み電流を、前記一対のインバータの前記磁気トンネル接合素子にそれぞれ流すことにより、前記磁気トンネル接合素子を互いに異なる磁化状態にする書き込み部と、入力信号に応答して、前記一対のインバータを作動させ、一方のインバータの前記インバータ用ＭＯＳトランジスタを介して、前記キャパシタの前記他方の電極を放電させる電流を流す読み出し部とを有するものである。
　本発明によれば、シナプス回路に記憶している結合荷重が電圧の大きさとしてニューロン回路に伝達されるので、ニューラルネットワーク回路装置を電力消費が低くなるように、より最適化された構成とすることができる。
　本発明によれば、磁気トンネル接合素子の磁化状態を変化させるのに要する時間が短く、また結合荷重で重み付けした信号を出力するときに作動されるクロスカップルされた一対のインバータの動作が安定した状態に移行するまでの時間が短いので、ニューラルネットワーク回路装置を高速に動作するように、より最適化された構成とすることができる。
第１実施形態のニューラルネットワーク回路装置の概略を示すブロック図である。 第１ポストスパイクパルスと第１プレスパイクパルスとのパルス時間差ΔＴと結合荷重の関係を示すグラフである。 シナプス回路の構成を示す回路図である。 ニューロン回路の本体部の要部構成を示すブロック図である。 認知モードにおける各種信号を示すタイミングチャートである。 第１プレスパイクパルスが先行する場合の学習モードにおける各種信号を示すタイミングチャートである。 第１ポストスパイクパルスが先行する場合の学習モードにおける各種信号を示すタイミングチャートである。 １個のＭＴＪ素子を用いた荷重記憶部の例を示す回路図である。 図８の例における認知モードでの各種信号を示すタイミングチャートである。 図８の例における学習モードの各種信号を示すタイミングチャートである。 ３端子型のＭＴＪ素子を用いた荷重記憶部の例を示す回路図である。 第２実施形態の荷重記憶部を示す回路図である。 第２実施形態のニューロン回路の本体部の要部構成を示すブロック図である。
［第１実施形態］
　図１において、第１実施形態に係るニューラルネットワーク回路装置１０は、複数のシナプス回路１１がマトリクス状に配列されて設けられている。各シナプス回路１１は、荷重記憶部１４と、選択部１５とをそれぞれ有している。シナプス回路１１の各列１６には、その列方向（図１の上下方向）の端部にニューロン回路１７がそれぞれ設けられている。ニューロン回路１７は、本体部１８とビット線ドライバ１９とを有している。
　シナプス回路１１の各列１６に対応して、列方向にビット線ＢＬ、ＢＬＢ、第１ポストスパイク線ＰＯＬａ、第２ポストスパイク線ＰＯＬｂがそれぞれ延設されている。ビット線ＢＬ、ＢＬＢは、それが対応する列１６内の各荷重記憶部１４及びビット線ドライバ１９に接続されている。第１ポストスパイク線ＰＯＬａ、第２ポストスパイク線ＰＯＬｂは、それが対応する列１６内の各選択部１５及び本体部１８に接続されている。また、荷重記憶部１４ごとに出力線ＯＬが設けられており、各荷重記憶部１４は、それが配された列１６内のニューロン回路１７の本体部１８と出力線ＯＬによってそれぞれ接続されている。
　また、シナプス回路１１の各行に対応して、行方向（図中左右）に、荷重記憶部１４に電源電圧を供給する電源線ＰＬ、接地されたソース線ＳＬ、第１プレスパイク線ＰＲＬａ、第２プレスパイク線ＰＲＬｂが延設されており、それぞれが対応する行内の各荷重記憶部１４に接続されている。電源線ＰＬから供給される電圧は、後述するようにビット線ＢＬとビット線ＢＬＢとの間に発生させるビット線電位差ΔＶＢの大きさの半分（＝｜ΔＶＢ｜／２）程度である。前段部２０には、行ごとに入力回路２０ａが設けられている。各行の第１プレスパイク線ＰＲＬａは、インバータ２０ｂを介して入力回路２０ａに接続され、第２プレスパイク線ＰＲＬｂは入力回路２０ａに直接に接続されている。
　ニューラルネットワーク回路装置１０は、スパイクタイミング依存シナプス可塑性（Spike Timing Dependent Synaptic Plasticity（以下、ＳＴＤＰという)）を有するシナプスのモデルを参考にしている。ニューラルネットワーク回路装置１０における入力回路２０ａは前ニューロンに、ニューロン回路１７は後ニューロンにそれぞれ相当し、入力回路２０ａは、プレスパイクパルスに相当する第１プレスパイクパルスを、またニューロン回路１７は、ポストスパイクパルスに相当する第１ポストスパイクパルスをそれぞれ出力する。第１プレスパイクパルスは、前ニューロンの発火タイミングに相当するタイミングで出力されるものであり、第１ポストスパイクパルスは、後ニューロンの発火タイミングに相当するタイミングで出力されるものである。また、シナプス回路１１は、前ニューロンと後ニューロンとをシナプス結合するシナプスにそれぞれ相当し、シナプス結合荷重（以下、単に結合荷重という）を記憶している。
　上記ＳＴＤＰは、１つのシナプスに着目した場合に、そのシナプスの前後に接続された前ニューロン及び後ニューロンがそれぞれ発火してスパイクパルスを出力するタイミングに依存して、前ニューロンと後ニューロンの間に位置するシナプスとの結合荷重が変化する性質である。ニューラルネットワーク回路装置１０では、第１ポストスパイクパルスと第１プレスパイクパルスとのパルス時間差ΔＴが予め設定した規定時間Ｔｗ内である場合にシナプス回路１１の結合荷重を更新し、かつ第１プレスパイクパルスと第１ポストスパイクパルスのうち前者が先行する場合には第１結合荷重とし、後者が先行する場合には第２結合荷重にする。
　この例では、相対的に、第１結合荷重の重みが大きく、第２結合荷重の重みが小さい。すなわち、図２に示すように、シナプス回路１１の結合荷重は、それが接続されたニューロン回路１７から第１ポストスパイクパルスが出力された時点から時間１／２Ｔｗ以内の期間に第１プレスパイクパルスが入力された場合には、大きな第１結合荷重となり、また第１ポストスパイクパルスが出力された時点から遡って時間１／２Ｔｗ以内の期間に第１プレスパイクパルスが入力された場合には、小さな第２結合荷重となる。したがって、この例では、結合荷重を更新する場合において、パルス時間差ΔＴの増加よって結合荷重を漸増ないし漸減させる一般的な対称型ＳＴＤＰ及び非対称型ＳＴＤＰとは異なる。
　上記ニューラルネットワーク回路装置１０は、認知モードと学習モードとを有している。認知モードは、例えば画像認識などの処理対象となる画像に応じた信号を前段部２０からニューラルネットワーク回路装置１０に入力することによって、各ニューロン回路１７から出力を画像認識の結果に応じた処理結果として得るモードであり、学習モードで各シナプス回路１１に記憶された結合荷重を用いる。学習モードは、予め用意された画像に基づく信号を、前段部２０からニューラルネットワーク回路装置１０に入力することによって、各シナプス回路１１に記憶されている結合荷重を更新する動作モードである。
　前段部２０の入力回路２０ａは、インバータ２０ｂを介して第１プレスパイク線ＰＲＬａに第１プレスパイクパルスと、第１プレスパイクパルスに同期した第２プレスパイクパルスを第２プレスパイク線ＰＲＬｂに出力する。第１プレスパイクパルスは、認知モードと学習モードの両方で出力されるが、第２プレスパイクパルスは、学習モードのみで出力される。第２プレスパイクパルスは、荷重記憶部１４の結合荷重の書き込みタイミングの制御に用いられる。この第２プレスパイクパルスは、そのパルス幅が第１プレスパイクパルスよりも大きく、規定時間Ｔｗの１／２である。
　シナプス回路１１の荷重記憶部１４は、第１プレスパイクパルスが入力されることに応答して、記憶している結合荷重で重み付けをしたプレスパイクパルスに相当する電圧信号Ｖｐｒｅを出力線ＯＬを介してニューロン回路１７の本体部１８に出力する。
　ニューロン回路１７の本体部１８は、それが配された列１６内の各荷重記憶部１４からの電圧信号Ｖｐｒｅの電圧レベルの総和が所定の閾値以上になることに応答して第１ポストスパイクパルスを発生する。本体部１８は、認知モードでは、第１ポストスパイクパルスを第１ポストスパイク線ＰＯＬａに出力し、学習モードでは、第１ポストスパイクパルスを出力するとともに、第１ポストスパイクパルスに同期した第２ポストスパイクパルスを第２ポストスパイク線ＰＯＬｂに出力する。第２ポストスパイクパルスは、第２プレスパイクパルスと同様に、結合荷重の更新タイミングの制御に用いられる。第２ポストスパイクパルスは、そのパルス幅が第１ポストスパイクパルスよりも大きく、規定時間Ｔｗの１／２である。
　ニューロン回路１７のビット線ドライバ１９は、学習モードの際に、同じニューロン回路１７内の本体部１８の第１ポストスパイクパルスの発生に同期して、ビット線ＢＬ、ＢＬＢの電位を制御する。具体的には、ビット線ドライバ１９は、第１ポストスパイクパルスと同時に、この第１ポストスパイクパルスのパルス幅とほぼ同じ期間、ビット線ＢＬの電位ＶＢ１をビット線ＢＬＢの電位ＶＢ２よりも高く（ビット線電位差ΔＶＢ（＝ＶＢ１－ＶＢ２）を正）として、ビット線ＢＬから荷重記憶部１４を介してビット線ＢＬＢに向って電流が流れるようにし、その後の時間１／２Ｔｗの期間においてビット線ＢＬＢの電位ＶＢ２をビット線ＢＬの電位ＶＢ１よりも高く（ビット線電位差ΔＶＢを負）として、ビット線ＢＬＢから荷重記憶部１４を介してビット線ＢＬに向って電流が流れるようにする。
　シナプス回路１１の選択部１５は、学習モードの際に、第１プレスパイクパルス、第２プレスパイクパルス、第１ポストスパイクパルス、及び第２ポストスパイクパルスのタイミングに基づいて、第１ポストスパイクパルスと第１プレスパイクパルスとのパルス時間差ΔＴが規定時間Ｔｗ内であるときに、選択信号を発生する。荷重記憶部１４には、選択信号が入力されているタイミングにおけるビット線ＢＬ、ＢＬＢの電位差に基づく結合荷重が記憶される。
　図３に示すように、シナプス回路１１の荷重記憶部１４は、インバータ２１、２２と、トランスファゲートとしての一対のＭＯＳトランジスタ２３、２４、ＭＯＳトランジスタ２５を有する。インバータ２１は、直列に接続されたＭＴＪ素子（磁気トンネル接合素子）３１とＭＯＳトランジスタ３２とで構成され、インバータ２２は、直列に接続されたＭＴＪ素子３３とＭＯＳトランジスタ３４とで構成される。ＭＯＳトランジスタ２３、２４、３２、３４は、Ｎ型ＭＯＳＦＥＴであり、ＭＯＳトランジスタ２５はＰ型ＭＯＳＦＥＴである。この例では、ＭＯＳトランジスタ３２、３４がインバータ用ＭＯＳトランジスタであり、ＭＯＳトランジスタ２５がパワーゲーティング用ＭＯＳトランジスタである。
　ＭＴＪ素子３１は、磁化固定層３１ａと磁化自由層３１ｂとが絶縁膜３１ｃを挟んで積層された構造を有する。磁化固定層３１ａは、その磁化方向が固定されている。磁化自由層３１ｂは、ＭＴＪ素子３１に所定の閾値以上の書き込み電流を流すことにより、その磁化方向を変えることができ、書き込み電流の向きによって磁化方向が決まる。周知のように、ＭＴＪ素子３１は、磁化固定層３１ａと磁化自由層３１ｂの磁化方向が一致する平行状態のときに抵抗値が小さい低抵抗になり、磁化固定層３１ａに対して磁化自由層３１ｂの磁化方向が反対向きである反平行状態のときに抵抗値が大きい高抵抗になる。ＭＴＪ素子３１は、磁化固定層３１ａから磁化自由層３１ｂへの向きに書き込み電流を流すことにより、平行状態になり、逆向きに書き込み電流を流すことにより、反平行状態になる。
　ＭＴＪ素子３３についても、磁化固定層３３ａ、磁化自由層３３ｂ、絶縁膜３３ｃを積層した構成であり、ＭＴＪ素子３１と同様に、書き込み電流によって磁化自由層３３ｂの磁化方向を変化することができ、平行状態、反平行状態で抵抗値が変わる。
　荷重記憶部１４は、ＭＴＪ素子３１、３３により結合荷重を不揮発的に記憶する。ＭＴＪ素子３１、３３は、いずれか一方が平行状態のときに他方が反平行状態となる。この例では、第１結合荷重を記憶している場合には、ＭＴＪ素子３１が平行状態、ＭＴＪ素子３３が反平行状態であり、第２結合荷重を記憶している場合には、ＭＴＪ素子３１が反平行状態、ＭＴＪ素子３３が平行状態である。ＭＴＪ素子３１、３３は、他のＲｅＲＡＭや相変化メモリ等と比べて、最大書き換え回数がかなり大きく、学習の回数を多くできるといった観点からも有利な素子である。
　インバータ２１は、ＭＴＪ素子３１の磁化自由層３１ｂとＭＯＳトランジスタ３２のドレインとが接続され、インバータ２２は、ＭＴＪ素子３３の磁化自由層３３ｂとＭＯＳトランジスタ３４のドレインとが接続されている。ＭＴＪ素子３１、３３の各磁化固定層３１ａ、３３ａは、互いに接続され、ＭＯＳトランジスタ２５を介して電源線ＰＬに接続されている。ＭＯＳトランジスタ３２、３４の各ソースは、ソース線ＳＬを介して接地されている。
　インバータ２１の出力端であるＭＴＪ素子３１とＭＯＳトランジスタ３２との接続ノードＳＮが、インバータ２２の入力端であるＭＯＳトランジスタ３４のゲートに接続され、インバータ２２の出力端であるＭＴＪ素子３３とＭＯＳトランジスタ３４との接続ノードＳＮＢが、インバータ２１の入力端であるＭＯＳトランジスタ３２のゲートに接続されている。これにより、インバータ２１、２２は、クロスカップルされてフリップフロップを構成するとともに、ＭＯＳトランジスタ３２、３４が差動対を構成する。
　接続ノードＳＮは、ＭＯＳトランジスタ２３を介してビット線ＢＬに接続され、接続ノードＳＮＢは、ＭＯＳトランジスタ２４を介してビット線ＢＬＢに接続されている。ＭＯＳトランジスタ２３、２４の各ゲートは、選択部１５に接続されており、この選択部１５からの選択信号でオン、オフされる。選択部１５と、ＭＯＳトランジスタ２３、２４とによって書き込み部が構成される。
　ビット線電位差ΔＶＢが正のときに、ＭＯＳトランジスタ２３、２４がオンとなった場合には、ビット線ＢＬから接続ノードＳＮ、ＭＴＪ素子３１、ＭＴＪ素子３３、接続ノードＳＮＢを経てビット線ＢＬＢに至る経路で書き込み電流が流れ、ＭＴＪ素子３１が平行状態、ＭＴＪ素子３３が反平行状態になる。逆に、ビット線電位差ΔＶＢが負のときに、ＭＯＳトランジスタ２３、２４がオンとなった場合には、ビット線ＢＬＢから接続ノードＳＮＢ、ＭＴＪ素子３３、ＭＴＪ素子３１、接続ノードＳＮを経てビット線ＢＬに至る経路で書き込み電流が流れ、ＭＴＪ素子３１が反平行状態、ＭＴＪ素子３３が平行状態になる。
　接続ノードＳＮの電位（電圧）が、コンデンサ３６を介して電圧信号Ｖｐｒｅとして出力線ＯＬに出力される。すなわち、コンデンサ３６の一方の電極が接続ノードＳＮに接続され、他方の電極が出力線ＯＬを介して本体部１８内の制御ゲートＣＧ（図４参照）に接続されている。コンデンサ３６は、後述するように、制御ゲートＣＧを介して同一のフローティングゲートＦＧ（図４参照）に対して容量結合される各シナプス回路１１の荷重記憶部１４の相互間での導通電流の発生を防止するために設けている。荷重記憶部１４とフローティングゲートＦＧとの実質的な結合容量は、コンデンサ３６の容量と、フローティングゲートＦＧに対する制御ゲートＣＧの結合容量とによって決まる。なお、荷重記憶部１４とフローティングゲートＦＧとの実質的な結合容量を相違させることもでき、このようにすることで、例えば電圧信号Ｖｐｒｅに重み付けをすることができる。
　ＭＯＳトランジスタ２５は、電圧信号Ｖｐｒｅを出力させる読み出し部である。ＭＯＳトランジスタ２５は、そのゲートが第１プレスパイク線ＰＲＬａに接続され、入力信号としての第１プレスパイクパルスが出力されているときにオンとなり、インバータ２１、２２すなわち差動対を構成するＭＯＳトランジスタ３２、３４を作動させる。これにより、第１プレスパイクパルスに応答して、インバータ２１の出力端である接続ノードＳＮの電圧を電圧信号Ｖｐｒｅとして出力線ＯＬに出力する。電圧信号Ｖｐｒｅは、相対的にＭＴＪ素子３１が反平行状態、ＭＴＪ素子３３が平行状態にある場合が低く、ＭＴＪ素子３１が平行状態、ＭＴＪ素子３３が反平行状態にある場合が高い。
　選択部１５は、論理回路１５ａ～１５ｃの組み合わせによって、第２ポストスパイクパルスが出力されている間に第１プレスパイクパルスが出力されたとき、または第１ポストスパイクパルスが出力されている間に第２プレスパイクパルスが出力されたときに選択信号をアクティブ（Ｈレベル）とする。これにより、第１ポストスパイクパルスと第１プレスパイクパルスとのパルス時間差ΔＴが規定時間Ｔｗ内である場合にだけ、選択信号がアクティブとなり、ＭＯＳトランジスタ２３、２４がオンする。
　図４において、本体部１８は、Ｐ型のＭＯＳＦＥＴであるＭＯＳトランジスタ４１、Ｎ型のＭＯＳＦＥＴであるＭＯＳトランジスタ４２、パルス発生器４３を有している。本体部１８は、この他にも第２ポストスパイクパルス等を発生させるためのパルス発生器等を備えている。なお、本体部１８のパルス発生器として、パルス波形、出力タイミング、遅延時間等が制御可能なパルス発生器を用いることができ、このようなパルス発生器で第１ポストスパイクパルス、第２ポストスパイクパルスを発生させてもよい。ニューロン用ＭＯＳトランジスタとしてのＭＯＳトランジスタ４１、４２は、直列に接続されてインバータを構成する。すなわち、ＭＯＳトランジスタ４１、４２のドレイン同士が接続され、ＭＯＳトランジスタ４１のソースが電源（電圧ＶＤＤ）に接続され、ＭＯＳトランジスタ４２のソースが接地されている。パルス発生器４３は、その入力端がＭＯＳトランジスタ４１とＭＯＳトランジスタ４２の接続ノードに接続されており、その接続ノードが接地の電位（０Ｖ）となったときに、第１ポストスパイクパルス（パルス信号）を出力する。
　上記ＭＯＳトランジスタ４１、４２は、フローティングゲートＦＧを共有している。また、ＭＯＳトランジスタ４１、４２は、フローティングゲートＦＧに容量結合した複数の制御ゲートＣＧが設けられている。本体部１８の制御ゲートＣＧは、その本体部１８が配された列１６の各荷重記憶部１４にそれぞれ対応して設けられ、各々の制御ゲートＣＧには対応する荷重記憶部１４からの出力線ＯＬが接続されている。ＭＯＳトランジスタ４１、４２は、フローティングゲートＦＧの電位でオン・オフが制御され、一方がオンのときに他方がオフとなる。
　フローティングゲートＦＧの電位は、各制御ゲートＣＧに加えられる電圧信号Ｖｐｒｅの電圧と、各制御ゲートＣＧとフローティングゲートＦＧとの間の結合容量で決まる。この例では、フローティングゲートＦＧに対する各制御ゲートＣＧの結合容量が同じになっている。したがって、各制御ゲートＣＧに加える電圧の総和により、ＭＯＳトランジスタ４１、４２に一方をオン、他方をオフとするように制御できる。
　次に上記構成の作用について説明する。認知モードでは、図５に示すように、前段部２０の処理の内容に応じたタイミングで、各々の入力回路２０ａから、インバータ２０ｂを介して第１プレスパイクパルスが第１プレスパイク線ＰＲＬａに出力される。なお、この認知モードにおいては、第２プレスパイクパルスは出力されないので、選択部１５が選択信号を出力することはない。
　１本の第１プレスパイク線ＰＲＬａに接続された１つのシナプス回路１１に注目すると、第１プレスパイク線ＰＲＬａを介して第１プレスパイクパルスがシナプス回路１１に入力されると、荷重記憶部１４内のＭＯＳトランジスタ２５がオンになる。このＭＯＳトランジスタ２５のオンにより、電源線ＰＬからの電流が、ＭＴＪ素子３１及びＭＴＪ素子３３を介して流れ、インバータ２１、２２が作動する。
　例えばシナプス回路１１に記憶されている結合荷重が、第１結合荷重である場合、すなわちＭＴＪ素子３１が低抵抗であり、ＭＴＪ素子３３が高抵抗である場合には、接続ノードＳＮの電位が接続ノードＳＮＢの電位よりも高くなる電位差が生じる。この電位差は、クロスカップルされたインバータ２１、２２の作用により増幅され、電位差が大きくなった状態で安定する。逆に、シナプス回路１１に記憶されている結合荷重が、第２結合荷重である場合、すなわちＭＴＪ素子３１が高抵抗であり、ＭＴＪ素子３３が低抵抗である場合には、接続ノードＳＮの電位が接続ノードＳＮＢの電位よりも低くなる電位差が生じ、その電位差がクロスカップルされたインバータ２１、２２の作用により増幅され、電位差が大きくなった状態で安定する。
　接続ノードＳＮと接続ノードＳＮＢとの電位差は、ＭＯＳトランジスタ３２、３４の差動対によって増幅されて安定するので、安定するまでに要する時間は、非常に短い。したがって、高速な動作が可能になる。
　なお、ＭＯＳトランジスタ２５がオンになることでＭＴＪ素子３１、３３に流れる電流は、それらの磁化状態を変化させない大きさに調整されている。実際には、その電流が流れている間に、磁化自由層３１ｂ、３３ｂの磁化方向に変化があるが、その変化は接続ノードＳＮ、ＳＮＢに所望とする電位差を発生させるのには影響がない程度のきわめて僅かなものである。磁化自由層３１ｂ、３３ｂの僅かな磁化方向は、電流を停止することで元の磁化方向に戻る。
　上記のようにシナプス回路１１に記憶されている結合荷重に応じて接続ノードＳＮの電位が変化する。この結果、接続ノードＳＮにコンデンサ３６を介して接続された出力線ＯＬには、シナプス回路１１が第１結合荷重を記憶している場合には、高い電圧の電圧信号Ｖｐｒｅが出力され、第２結合荷重を記憶している場合には、低い電圧の電圧信号Ｖｐｒｅが出力される。このシナプス回路１１からの電圧信号Ｖｐｒｅが出力線ＯＬを介して本体部１８の制御ゲートＣＧに加えられる。なお、ＭＯＳトランジスタ２５がオフすると、コンデンサ３６が放電して電圧信号Ｖｐｒｅの電圧が低下するが、コンデンサ３６がＭＴＪ素子３１、３３、ＭＯＳトランジスタ３２、３４等を通して放電するため電圧信号Ｖｐｒｅの電圧は漸減し、直ちに０Ｖになるわけではない。
　１つのニューロン回路１７に注目すると、それが配された列１６内の各シナプス回路１１から出力される電圧信号Ｖｐｒｅの電圧がそれぞれ対応する制御ゲートＣＧに加えられる。もちろん、第１プレスパイクパルスが入力されないシナプス回路１１からは制御ゲートＣＧに電圧は加えられない。上記のように各制御ゲートＣＧに電圧信号Ｖｐｒｅの電圧が加えられて、フローティングゲートＦＧの電位が閾値に達すると、ＭＯＳトランジスタ４１がオフとなり、ＭＯＳトランジスタ４２がオンとなる。この結果、パルス発生器４３から第１ポストスパイクパルスが出力される。フローティングゲートＦＧの電位が閾値に達しなければ、ＭＯＳトランジスタ４１がオフ、ＭＯＳトランジスタ４２がオンになることはないので、第１ポストスパイクパルスが出力されることはない。
　上記のようにして、前段部２０から各行の第１プレスパイク線ＰＲＬａに出力される第１プレスパイクパルスのタイミング及び各シナプス回路１１に記憶されている結合荷重に応じて、列１６ごとに設けられたニューロン回路１７から第１ポストスパイク信号が出力される。
　上記認知モードでは、荷重記憶部１４から本体部１８に対しては、プレスパイクに施される重み付けが電圧信号Ｖｐｒｅの電圧の大小として伝達され、その電圧の総和を容量結合された制御ゲートＣＧ、フローティングゲートＦＧによって得ている。このため、結合荷重とプレスパイクパルスとの積和を演算する演算回路を設けることなく、積和演算の結果によるポストスパイクパルスに相当する第１ポストスパイクパルスが得られる。また、制御ゲートＣＧ（実際にはコンデンサ３６）を充電する極めて微小な電流が流れるだけなので、低電力での動作が可能である。また、荷重記憶部１４では、２つのＭＴＪ素子３１、３３は、必ず互いに逆の抵抗状態が書き込まれている。このため、電圧信号Ｖｐｒｅの出力時には、一方（高抵抗）のＭＴＪ素子に電流が流れ、他方（低抵抗）のＭＴＪ素子にはほとんど電流が流れない。そして、一方（高抵抗）のＭＴＪ素子に流れる電流の向きは、そのＭＴＪ素子を高抵抗にする書込み電流の向きである。したがって、高抵抗のＭＴＪ素子も、低抵抗のＭＴＪ素子も、電圧信号Ｖｐｒｅを出力する際に流れる電流によって磁化の向きが反転するようなリードディスターブが生じることがない。
　学習モードでは、認知モードと同様に、各々の入力回路２０ａから前段部２０の処理の内容に応じたタイミングで、第１プレスパイクパルスが第１プレスパイク線ＰＲＬａに出力される。この学習モードにおいても、第１プレスパイクパルスが出力されると、認知モードの場合と同様に、荷重記憶部１４が動作して電圧信号Ｖｐｒｅが出力される。この学習モードでは、図６、図７に示すように、第１プレスパイクパルスに同期して、パルス幅が１／２Ｔｗの第２プレスパイクパルスが入力回路２０ａから第２プレスパイク線ＰＲＬｂに出力される。なお、図６は、第１ポストスパイクパルスに対して第１プレスパイクパルスが先行する場合、図７は、第１プレスパイクパルスに対して第１ポストスパイクパルスが先行する場合をそれぞれ示している。
　第１プレスパイク線ＰＲＬａを介して第１プレスパイクパルスが入力されたシナプス回路１１は、認知モードの場合と同様に、それの荷重記憶部１４が記憶している結合荷重に応じた電圧信号Ｖｐｒｅを、同じ列１６に配されている本体部１８に出力する。本体部１８についても、制御ゲートＣＧに電圧信号Ｖｐｒｅの電圧が加えられて、フローティングゲートＦＧの電位が閾値に達すると、ＭＯＳトランジスタ４１がオフとなり、ＭＯＳトランジスタ４２がオンとなる。この結果、パルス発生器４３から第１ポストスパイクパルスが第１ポストスパイク線ＰＯＬａに出力される。また、第１ポストスパイクパルスが出力されると、これに同期してパルス幅が１／２Ｔｗの第２プレスパイクパルスが第２プレスパイク線ＰＲＬｂに本体部１８から出力される。
　さらに、第１ポストスパイクパルスの出力と同時に、ビット線ドライバ１９によって、第１ポストスパイクパルスのパルス幅とほぼ同じ期間においてビット線電位差ΔＶＢが正とされ、その後の時間１／２Ｔｗの期間においてビット線電位差ΔＶＢが負とされる。
　例えば、図６に示されるように、上記の第１ポストスパイクパルスが出力されたタイミングから時間１／２Ｔｗだけ遡った期間内に、第１プレスパイクパルスが入力されたシナプス回路１１では、その選択部１５には、第２プレスパイクパルスの入力中に第１ポストスパイクパルスが入力される。このため、第１ポストスパイクパルスとほぼ同時に選択信号が荷重記憶部１４に出力され、ビット線電位差ΔＶＢが正となっている期間に、その荷重記憶部１４内のＭＯＳトランジスタ２３、２４がそれぞれオンになる。
　上記のようにＭＯＳトランジスタ２３、２４がそれぞれオンになると、ビット線ＢＬの電位がビット線ＢＬＢよりも高いので、書き込み電流が、ビット線ＢＬからＭＯＳトランジスタ２３、ＭＴＪ素子３１、ＭＴＪ素子３３、ＭＯＳトランジスタ２４を経てビット線ＢＬＢに至る経路で流れる。このときに、書き込み電流は、ＭＴＪ素子３１の磁化自由層３１ｂから磁化固定層３１ａへ流れ、またＭＴＪ素子３３の磁化固定層３３ａから磁化自由層３３ｂへ流れるから、ＭＴＪ素子３１は、低抵抗になり、ＭＴＪ素子３３は、高抵抗になる。この結果、シナプス回路１１は、第１結合荷重を記憶した状態になる。
　なお、このようにパルス時間差ΔＴが１／２Ｔｗ以下で、第１ポストスパイクパルスよりも第１プレスパイクパルスが先行する場合には、ＭＯＳトランジスタ２３、２４と同時にＭＯＳトランジスタ２５がオンになる。一方、上述のように電源線ＰＬの電圧を｜ΔＶＢ｜／２程度としている。このため、ＭＯＳトランジスタ２３、２４と同時にＭＯＳトランジスタ２５がオンになっても、ビット線ＢＬと電源線ＰＬとの間、及び電源線ＰＬとビット線ＢＬＢとの間のいずれにも電位差を生じるため、上記のように書き込み電流が流れ、ＭＴＪ素子３１、３３によって第１結合荷重が記憶された状態になる。
　一方、図７に示されるように、上記の第１ポストスパイクパルスが出力されてから時間１／２Ｔｗが経過するまでの期間内に、第１プレスパイクパルスが入力されたシナプス回路１１では、その選択部１５には、第２ポストスパイクパルスの入力中に第１プレスパイクパルスが入力される。このため、第１プレスパイクパルスとほぼ同時に選択信号が荷重記憶部１４に出力されるので、ビット線電位差ΔＶＢが負となっている期間に、その荷重記憶部１４内のＭＯＳトランジスタ２３、２４がそれぞれオンになる。
　上記のようにＭＯＳトランジスタ２３、２４がそれぞれオンになると、ビット線ＢＬＢの電位がビット線ＢＬよりも高いので、書き込み電流が、ビット線ＢＬＢからＭＯＳトランジスタ２４、ＭＴＪ素子３３、ＭＴＪ素子３１、ＭＯＳトランジスタ２３を経てビット線ＢＬに至る経路で流れる。このときに、書き込み電流は、ＭＴＪ素子３１の磁化固定層３１ａから磁化自由層３１ｂへ流れ、ＭＴＪ素子３３の磁化自由層３３ｂから磁化固定層３３ａへ流れるから、ＭＴＪ素子３１は、高抵抗になり、ＭＴＪ素子３３は、低抵抗になる。この結果、シナプス回路１１は、第２結合荷重を記憶した状態になる。
　上記のようにしてシナプス回路１１は、その結合荷重が書き換えられ、書き換え後に第１プレスパイクパルスが入力されると、上記同様にして新たな結合荷重に応じた電圧信号Ｖｐｒｅをニューロン回路１７に出力する。また、ニューロン回路１７は、フローティングゲートＦＧの電位が閾値に達すると、上記同様に第１ポストスパイクパルス，第２ポストスパイクパルスを出力する。そして、各シナプス回路１１では、第１ポストスパイクパルスが入力されたタイミングの前後の時間１／２Ｔｗの各期間内に第１プレスパイクパルスが入力されると、再び結合荷重が書き換えられる。以上のようにして、各シナプス回路１１の結合荷重が更新されて，各シナプス回路１１には最終的のものが保持される。
　上記のように学習モードでは、書き込み電流を流してＭＴＪ素子３１、３３の磁化状態を変化させているが、ＭＴＪ素子３１、３３を平行状態と反平行状態との相互に変化させるのに要する時間（以下、書き換え時間という）は、非常に短いため、高速な動作が可能である。例えば、ＭＴＪ素子３１、３３の書き換え時間は、ＲｅＲＡＭに対して１／１０程度ある。
　以上のように認知モード、学習モードのいずれにおいても、ニューラルネットワーク回路装置１０は、高速かつ低電力で動作が可能であり、より最適な構成になっている。
　上記の荷重記憶部は、それぞれがＭＴＪ素子を含む一対のインバータをクロスカップルした構成であるが、ＭＴＪ素子を１個だけ用いた回路構成とすることもできる。図８に示す荷重記憶部１４Ａでは、ＭＴＪ素子５１、Ｎ型ＭＯＳＦＥＴであるＭＯＳトランジスタ５２、５３が設けられている。ＭＴＪ素子５１は、ＭＴＪ素子３１、３３（図３参照）と同じく、磁化固定層５１ａと磁化自由層５１ｂが絶縁膜５１ｃを挟んで積層された構造を有する。荷重記憶部１４Ａは、ＭＴＪ素子５１の抵抗の高低（磁化自由層５１ｂの磁化の向き）によって結合荷重の大小を記憶する。
　ＭＴＪ素子５１は、磁化固定層５１ａがＭＯＳトランジスタ５２を介して電源線ＰＬに接続され、磁化自由層５１ｂがソース線ＳＬに接続されている。ＭＯＳトランジスタ５２は、そのゲートが行方向に延設されたプレスパイク線ＰＲＬに接続されている。プレスパイク線ＰＲＬには、前段部の入力回路からのプレスパイクパルスが出力される。この例においては、Ｈレベルのプレスパイクパルスがプレスパイク線ＰＲＬに出力される。ソース線ＳＬは、その電位ＶＳＬが、例えば入力回路によって制御されている。学習モードにおいて、ソース線電位ＶＳＬは、通常、接地レベルとされているが、スパイクパルスが入力回路から出力されると、それに同期して変化する。なお、認知モードでは、ソース線電位ＶＳＬは、接地レベルに維持される。
　ＭＴＪ素子５１とＭＯＳトランジスタ５２との接続ノードは、ＭＯＳトランジスタ５３を介して接地されている。ＭＯＳトランジスタ５３のゲートは、列方向に延設されたポストスパイク線ＰＯＬに接続されている。ニューロン回路１７は、本体部１８と遅延回路５５とを有し、本体部１８は遅延回路５５を介してポストスパイクパルスをポストスパイク線ＰＯＬに出力する。遅延回路５５は、時間１／２Ｔｗだけポストスパイクパルスを遅延させる。
　荷重記憶部１４Ａでは、ＭＴＪ素子５１とＭＯＳトランジスタ５２との接続ノードの電位（電圧）が、コンデンサ３６を介して電圧信号Ｖｐｒｅとして出力線ＯＬに出力される。すなわち、コンデンサ３６の一方の電極がＭＴＪ素子５１とＭＯＳトランジスタ５２との接続ノードに接続され、他方の電極が出力線ＯＬを介して本体部１８内の制御ゲートに接続されている。
　上記構成によれば、認知モードにおいては、図９に示すように、ソース線電位ＶＳＬが継続的に接地レベル（０Ｖ）とされている。この状態で、前段部の入力回路からプレスパイクパルスが出力されて、ＭＯＳトランジスタ５２がオンとなると、ＭＴＪ素子５１を介して電源線ＰＬからソース線ＳＬに電流が流れる。これにより、ＭＴＪ素子５１とＭＯＳトランジスタ５２との接続ノードから、ＭＴＪ素子５１の抵抗値に応じた電圧降下に等しい電圧の電圧信号Ｖｐｒｅがコンデンサ３６を介してニューロン回路１７の本体部１８に出力される。このように、荷重記憶部１４Ａは、プレスパイクパルスの入力に応答して、記憶している結合荷重に応じた電圧の電圧信号Ｖｐｒｅを出力する。例えば、ＭＴＪ素子５１が平行状態（低抵抗）であるときには、電圧信号Ｖｐｒｅの電圧は低く、ＭＴＪ素子５１が反平行状態（高抵抗）であるときには、電圧信号Ｖｐｒｅの電圧は高くなる。
　学習モードにおいても、前段部の入力回路からプレスパイクパルスが出力されると、認知モードの場合と同様に、荷重記憶部１４Ａが動作して電圧信号Ｖｐｒｅが出力される。この学習モードでは、図１０に示すように、プレスパイクパルスに同期して、ソース線電位ＶＳＬの制御が行われる。まず、プレスパイクパルスが立ち下がった時点から時間１／２Ｔｗの期間（以下、第１期間という）においてソース線電位ＶＳＬが接地レベルよりも高くされ、続く時間１／２Ｔｗの期間（以下、第２期間という）において、ソース線電位ＶＳＬが接地レベルよりも低くされる。このときの接地レベルに対するソース線電位ＶＳＬの大きさ（絶対値）は、ＭＴＪ素子５１の磁化状態を変化させるのに必要な書き込み電流をＭＴＪ素子５１に流すことができるように決められている。
　本体部１８がポストスパイクパルスを出力すると、遅延回路５５を介した当該ポストスパイクパルスにより、ＭＯＳトランジスタ５３がオンとなる。これにより、ＭＴＪ素子５１がソース線ＳＬと接地との間に接続された状態になる。このため、ソース線電位ＶＳＬが制御されている期間中に、ＭＯＳトランジスタ５３がオンとなれば、ＭＴＪ素子５１には、ソース線電位ＶＳＬに応じた向きの書き込み電流が流れる。
　上記のように遅延回路５５は、時間１／２Ｔｗだけポストスパイクパルスの出力を遅延する。このため、例えば、図１０に実線で示されるように、本体部１８からのポストスパイクパルスと上記プレスパイクパルスとのパルス時間差ΔＴが１／２Ｔｗ以下であってポストスパイクパルスが先行する場合では、第１期間内に遅延回路５５からポストスパイクパルスが出力される。この場合には、ソース線電位ＶＳＬが接地レベルよりも高くなっているときにＭＯＳトランジスタ５３がオンになるから、ＭＴＪ素子５１には、磁化自由層５１ｂから磁化固定層５１ａに向って書き込み電流が流れる。この結果、ＭＴＪ素子５１は、平行状態になる。
　一方、図１０に二点鎖線で示されるように、本体部１８からのポストスパイクパルスと上記プレスパイクパルスとのパルス時間差ΔＴが１／２Ｔｗ以下であって、プレスパイクパルスが先行する場合では、第２期間内に遅延回路５５からポストスパイクパルスが出力される。この場合には、ソース線電位ＶＳＬが接地レベルよりも低くなっているときにＭＯＳトランジスタ５３がオンになるから、ＭＴＪ素子５１には、磁化固定層５１ａから磁化自由層５１ｂに向って書き込み電流が流れる。この結果、ＭＴＪ素子５１は、反平行状態になる。
　上記各例では、スピン注入磁化反転（spin transfer torque：STT）方式の二端子型のＭＴＪ素子を用いて荷重記憶部を構成しているが、ＭＴＪ素子の磁化反転の方式、端子数などは、これに限定されない。例えば、スピン軌道トルク反転（ＳＯＴ:Spin Orbital Torque）方式の三端子型のＭＴＪ素子を用いることができる。
　図１１は、三端子型のＭＴＪ素子５７を用いた荷重記憶部１４Ｂの例を示している。ＭＴＪ素子５７は、磁化固定層５７ａと磁化自由層５７ｂとを絶縁膜５７ｃを挟んで積層した積層体をチャネル層５７ｄ上に設けた構造であり、積層体はチャネル層５７ｄ側から磁化自由層５７ｂ、絶縁膜５７ｃ、磁化固定層５７ａの順番で積層されている。磁化固定層５７ａ、磁化自由層５７ｂは、強磁性体で形成されている。絶縁膜５７ｃは、非磁性の絶縁体で形成されている。チャネル層５７ｄは、反強磁性体を含む導電層であり、チャネル層５７ｄは、一方向に延びた板状に形成されている。このチャネル層５７ｄの一方の面の中央部に積層体が設けられている。
　磁化固定層５７ａは、例えばその膜面に垂直な方向（図１１の上下方向）の一方の向きに磁化の向きが固定され、磁化自由層５７ｂは、その膜面に垂直な方向に磁化容易軸を有し、磁化の向きが磁化固定層５７ａと同じ向きの平行状態と逆向きの反平行状態とのいずれかに変えることができる。なお、磁化固定層５７ａ、磁化自由層５７ｂの磁化方向は、膜面に平行な方向であってもよい。
　上記ＭＴＪ素子５７は、チャネル層５７ｄの延びた方向に書き込み電流を流すことで生じるスピン軌道トルクの作用によって磁化自由層５７ｂの磁化方向を変えることができる。磁化自由層５７ｂの磁化方向は、書き込み電流の向きに応じたものとなる。すなわち、書き込み電流がチャネル層５７ｄに流れることによって、チャネル層５７ｄの内部に、その膜面に垂直な方向で、書き込み電流の向きに応じたスピン流が生じ、磁化自由層５７ｂにスピン軌道トルクが作用する。このスピン軌道トルクが、チャネル層５７ｄからの定常的な磁場が印加されている磁化自由層５７ｂに作用することで、磁化自由層５７ｂの磁化の向きが、スピン流の向きに応じて磁化固定層５７ａと同じ向き（平行状態）と逆向き（反平行状態）とのいずれかに変化する。
　また、ＭＴＪ素子５７は、積層体に読み出し電圧を印加して、それを貫通する方向の読み出し電流を流し、読み出し電圧と読み出し電流とからＭＴＪ素子５７（積層体）の抵抗の高低を判別することができる。この例では、上述の各例と同様に、ＭＴＪ素子５７の磁化状態（抵抗値）に応じた電圧の電圧信号Ｖｐｒｅとして取り出す。
　この例では、磁化固定層５７ａの上面（絶縁膜５７ｃが形成された面とは反対側の面）と、チャネル層５７ｄの延びた方向の一端及び他端とをそれぞれＭＴＪ素子５７の端子として、磁化固定層５７ａの上面がＭＯＳトランジスタ５２を介して電源線ＰＬに接続され、チャネル層５７ｄの一端がＭＯＳトランジスタ５３を介して接地され、他端がソース線ＳＬに接続されている。
　荷重記憶部１４Ｂは、ＭＯＳトランジスタ５２とのＭＴＪ素子５７（磁化固定層５７ａの上面）との接続ノードの電位（電圧）を、コンデンサ３６を介して電圧信号Ｖｐｒｅとして出力線ＯＬに出力する。すなわち、コンデンサ３６の一方の電極がＭＴＪ素子５７とＭＯＳトランジスタ５２との接続ノードに接続され、他方の電極が出力線ＯＬを介して本体部１８内の制御ゲートに接続されている。なお、その他の回路構成、ソース線電位ＶＳＬの制御等は、図９の例と同じである。
　上記の荷重記憶部１４Ｂでは、プレスパイクパルスに応答して、ＭＯＳトランジスタ５２がオンとなることにより、磁化固定層５７ａの上面から積層体を介して、チャネル層５７ｄの他端に接続されたソース線ＳＬに電流が流れる。これにより、ＭＴＪ素子５７とＭＯＳトランジスタ５２との接続ノードから、ＭＴＪ素子５７の抵抗値に応じた電圧降下に等しい電圧の電圧信号Ｖｐｒｅがコンデンサ３６を介してニューロン回路１７の本体部１８に出力される。
　また、パルス時間差ΔＴが時間１／２Ｔｗ以下である場合に、ＭＯＳトランジスタ５３が遅延回路５５からポストスパイクパルスに応答してオンになると、ソース線ＳＬと接地との間に接続されたチャネル層５７ｄに書き込み電流が流れることにより、磁化自由層５７ｂの磁化方向が更新される。このときにＭＯＳトランジスタ５３がオンとなるタイミング、すなわちポストスパイクパルスが先行するか、プレスパイクパルスが先行するかによって、チャネル層５７ｄに流れる書き込み電流の向きが変わり、その書き込み電流の向きに応じた磁化自由層５７ｂの磁化方向となる。
　なお、図３に示される荷重記憶部１４のように、クロスカップルされるインバータを三端子型のＭＴＪ素子とＭＯＳトランジスタとで構成してもよい。
　不揮発的に結合荷重を記憶する記憶素子としては、ＭＴＪ素子に限定されない。このような記憶素子としては、電気抵抗の違いを利用してデータを記憶するものを好ましく用いることができる。例えば、相変化メモリ（ＰＣＲＡＭ：Phase Change Random Access Memory）に用いられ、相変化材料層に電流を流した際に発生するジュール熱によって相変化材料の相状態を変化させてデータの書き換えを行う相変化素子、ＲｅＲＡＭ（Resistive RAM, Resistive Random Access Memory）に用いられ、電圧パルスの印加によって荷重記憶部の酸化物層の抵抗値を変化させる抵抗変化素子等が挙げられる。また、不揮発的に結合荷重を記憶する記憶素子として、強誘電体メモリ(Ferroelectric Random Access Memory)に用いられる強誘電体キャパシタを有する強誘電体メモリ素子を用いることもできる。
［第２実施形態］
　第２実施形態は、シナプス回路の結合荷重を電流の大小で表現したものである。なお、以下に説明する他は、第１実施形態と同様であり、同一の部材には同じ符号を付して、その詳細な説明を省略する。
　図１２に示すように、シナプス回路の荷重記憶部１４Ｃは、インバータ２１、２２、トランスファゲートである一対のＭＯＳトランジスタ２３、２４、パワーゲーティング用のＭＯＳトランジスタ２５を有し、インバータ２１、２２は、ＭＴＪ素子３１、３３、ＭＯＳトランジスタ３２、３４で構成されている。この例では、読み出し部として、ＭＯＳトランジスタ２５とともにＭＯＳトランジスタ６５が設けられている。ＭＯＳトランジスタ６５は、Ｐ型のＭＯＳＦＥＴであり、インバータ２２の出力端である接続ノードＳＮＢにソースが接続され、ドレインが出力線ＯＬに接続されている。このＭＯＳトランジスタ６５は、ゲートに第１プレスパイク線ＰＲＬａが接続されており、第１プレスパイクパルスによってＭＯＳトランジスタ２５とともにオンとなる。
　図１３において、ニューロン回路の本体部１８Ｃは、キャパシタ６７、負荷としてのＭＯＳトランジスタ６８、パルス発生器４３を備えている。キャパシタ６７は、互いに対向する電極６７ａ、６７ｂのうちの一方の電極６７ａが接地されている。また、キャパシタ６７の他方の電極６７ｂには、ニューロン回路が配された列内の各シナプス回路の荷重記憶部１４Ｃと出力線ＯＬを介して接続されている。また、電極６７ｂは、パルス発生器４３の入力端に接続されるとともに、ＭＯＳトランジスタ６８を介して電源７１に接続されている。
　ＭＯＳトランジスタ６８は、Ｐ型のＭＯＳＦＥＴであり、ソースが電源７１に接続され、ドレインが電極６７ｂに接続されている。ＭＯＳトランジスタ６８には、所定のゲート電圧が与えられており、キャパシタ６７を充電するように電源７１からの電流を流す。
　上記構成によれば、認知モード及び学習モードのいずれにおいても、キャパシタ６７は、電源７１からの電流によって充電される。このため、荷重記憶部１４Ｃに第１プレスパイクパルスが入力されていない状態では、電極６７ｂは、電源の出力電位（出力電圧）と同じに維持される。
　前段部の入力回路からの第１プレスパイクパルスが第１プレスパイク線ＰＲＬａを介して荷重記憶部１４Ｃに入力されると、その荷重記憶部１４ＣのＭＯＳトランジスタ２５、６５がそれぞれオンになる。ＭＯＳトランジスタ２５がオンになることにより、クロスカップルされたインバータ２１、２２が作動し、接続ノードＳＮと接続ノードＳＮＢとの間に生じる電位差が増幅されて、電位差が大きくなった状態で安定する。例えば、シナプス回路の荷重記憶部１４Ｃに記憶されている結合荷重が、第１結合荷重（ＭＴＪ素子３１が低抵抗、ＭＴＪ素子３３が高抵抗）である場合には、接続ノードＳＮの電位が接続ノードＳＮＢの電位よりも高くなり、第２結合荷重（ＭＴＪ素子３１が高抵抗、ＭＴＪ素子３３が低抵抗）である場合には、接続ノードＳＮＢの電位が接続ノードＳＮの電位よりも高くなる。
　ところで、ＭＯＳトランジスタ３４は、オンになっているＭＯＳトランジスタ６５及び出力線ＯＬを介してキャパシタ６７の電極６７ｂにドレインが接続されており、またソースがソース線ＳＬを介して接地されている。そして、ＭＯＳトランジスタ３４のゲートに接続ノードＳＮの電位が与えられている。このため、ＭＯＳトランジスタ３４は、接続ノードＳＮの電位に応じた大きさの放電電流Ｉｐｒｅで、キャパシタ６７を放電する。なお、接続ノードＳＮの電位が接続ノードＳＮＢの電位よりも低い場合であって、その電位がＭＯＳトランジスタ３４のゲート閾値電圧よりも低い場合に放電電流Ｉｐｒｅは流れない。
　キャパシタ６７は、電源７１によって常に充電されるが、ＭＯＳトランジスタ３４によって放電されることによって、その充電電圧、すなわち電極６７ｂの電位が低下する。そして、放電電流Ｉｐｒｅが大きいほど、電極６７ｂの電位の低下が大きい。
　一方、ＭＯＳトランジスタ３４による放電電流Ｉｐｒｅは、ＭＯＳトランジスタ３４のゲート電圧が高いほど大きくなる。すなわち、接続ノードＳＮの電位が高いほど放電電流Ｉｐｒｅが大きくなる。上記のように接続ノードＳＮの電位は、相対的に第１結合荷重の場合が高く、第２結合荷重の場合に低い。したがって、１個のシナプス回路は、それが記憶している結合荷重が大きいほど、電極６７ｂの電位を大きく低下させる。
　電極６７ｂに接続された他のシナプス回路についても同様に、前段部の入力回路からの第１プレスパイクパルスが入力されると、それに応答して記憶されている結合荷重に対応した放電電流Ｉｐｒｅを流す。この結果、各シナプス回路の放電電流Ｉｐｒｅの和に基づいた大きさで電極６７ｂの電位の低下することになるが、この電極６７ｂの電位の低下の大きさは、各シナプス回路の放電電流Ｉｐｒｅの和が変化することにともなって変化する。そして、放電電流Ｉｐｒｅの和が一定のレベル以上となって、パルス発生器４３の閾値よりも電極６７ｂの電位が下がったときにパルス発生器４３から第１ポストスパイクパルスが出力される。なお、学習モード及び認知モードにおけるその他の動作は、第１実施形態と同じである。
　第２実施形態のニューラルネットワーク回路装置は、第１実施形態と同様に、ＭＴＪ素子３１、３３の書き換え時間が非常に短いため、高速な動作が可能である。また、接続ノードＳＮと接続ノードＳＮＢとの電位差がＭＯＳトランジスタ３２、３４の差動対によって増幅されて安定するまでに要する時間が非常に短いため、高速な動作が可能になる。したがって、ニューラルネットワーク回路装置がより最適な構成となる。
　シナプス回路が記憶する結合加重は、相対的に重みが大きい第１結合加重と小さい第２結合加重のいずれかとなる二値のものでも、重みが異なる３以上の結合加重のうちのいずれかとなる多値のものでもよい。
　シナプス回路が記憶する結合加重を多値とする場合には、例えば各シナプス回路にそれぞれ、荷重記憶部と選択部とからなる記憶ユニットを複数設け、各荷重記憶部は、上記の各例と同様に、それぞれ第１結合荷重または第２結合荷重のいずれかを記憶するように構成する。１個のシナプス回路内における各選択部に入力される第２ポストスパイクパルスのパルス幅を時間１／２Ｔｗ（Ｔｗは規定時間）内で互いに異なるものとし、同様に第２プレスパイクパルスのパルス幅を時間１／２Ｔｗ（Ｔｗは規定時間）内で互いに異なるものとする。例えば、Ｍを２以上の整数として、シナプス回路に第１～第Ｍ記憶ユニットを設けた場合、第ｉ（ｉは１、２・・・Ｍ）記憶ユニットの選択部に入力される第２プレスパイクパルス及び第２ポストスパイクパルスの各パルス幅を「１／２Ｔｗ－（ｉ－１）（１／（２Ｍ））Ｔｗ」とすることができる。これにより、第１ポストスパイクパルスと第１プレスパイクパルスとのパルス時間差ΔＴ（絶対値）の長短に応じて、選択信号が入力される荷重記憶部が０個からＭ個の範囲で変化する。
　１つのシナプス回路に注目すると、第１プレスパイクパルスが第１ポストスパイクパルスに先行する場合には、パルス時間差ΔＴが小さいほど第１結合荷重が書き込まれる荷重記憶部の個数が多くなり、パルス時間差ΔＴが大きいほど第１結合荷重が書き込まれる荷重記憶部の個数が少なくなる。逆に、第１ポストスパイクパルスが第１プレスパイクパルスに先行する場合には、時間差ΔＴが小さいほど第２結合荷重が書き込まれる荷重記憶部の個数が多くなり、パルス時間差ΔＴが大きいほど第２結合荷重が書き込まれる荷重記憶部の個数が少なくなる。パルス時間差ΔＴが時間「１／２Ｔｗ」を超えた場合には、第１結合荷重または第２結合荷重が書き込まれる荷重記憶部は０個であり、結合荷重は変化しない（更新されない）。結果的に、１つのシナプス回路は、第１結合荷重を０個ないしＭ個の荷重記憶部に記憶した状態（第１結合荷重を記憶していない荷重記憶部には第２結合荷重が記憶される）に対応したＭ＋１種類の結合荷重を記憶することができる。
　この場合にも、各荷重記憶部は、入力信号としての第１プレスパイクパルスが出力されているときに、記憶している結合荷重に応じた電圧または電流を本体部にそれぞれ出力する。１個のシナプス回路からは、第１プレスパイクパルスの入力に応答して、その各荷重記憶部に記憶している結合荷重に応じた各電圧または各電流が本体部に出力される。本体部は、入力される各電圧または各電流の総和に基づいて動作するから、１つのシナプス回路からの各電圧または各電流についてもそれらの和に基づいて動作することになり、結果的にシナプス回路が記憶しているＭ＋１種類の結合荷重のうちのいずれの結合荷重を本体部に出力することになる。
　１０　ニューラルネットワーク回路装置
　１１　シナプス回路
　１４、１４Ａ、１４Ｂ、１４Ｃ　荷重記憶部
　１７　ニューロン回路
　１８　本体部
　２１、２２　インバータ
　２３～２５、３２、３４、４１、４２、５２、５３、６５　ＭＯＳトランジスタ
　３１、３３、５１、５７　ＭＴＪ素子
　３６　コンデンサ
　４３　パルス発生器
　５５　遅延回路
　６７　キャパシタ
　６７ａ、６７ｂ　電極
　６８　ＭＯＳトランジスタ
　７１　電源
　ＢＬ　ビット線
　ＢＬＢ　ビット線
　ＣＧ　制御ゲート
　ＦＧ　フローティングゲート

 

Claims (8)

  1. 　シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、
    　前記複数のシナプス回路は、
    　不揮発的にシナプス結合荷重を記憶し、入力信号に応答して、記憶しているシナプス結合荷重に基づいた大きさの電圧信号を出力し、
    　前記ニューロン回路は、
    　フローティングゲートと、このフローティングゲートに容量結合し、前記複数のシナプス回路からの前記電圧信号がそれぞれ入力される複数の制御ゲートとを有するニューロン用ＭＯＳトランジスタと、
    　前記ニューロン用ＭＯＳトランジスタのオンまたはオフにより、パルス信号を出力するパルス発生器と
    　を有する
    　ことを特徴とするニューラルネットワーク回路装置。
  2. 　前記シナプス回路は、２値または多値のシナプス結合荷重を記憶することを特徴とする請求項１に記載のニューラルネットワーク回路装置。
  3. 　前記シナプス回路は、シナプス結合荷重に基づいた磁化状態とされる磁気トンネル接合素子を有し、前記磁気トンネル接合素子の磁化状態によりシナプス結合荷重を不揮発的に記憶することを特徴とする請求項１または２に記載のニューラルネットワーク回路装置。
  4. 　前記シナプス回路は、クロスカップルされ、それぞれが直列接続されたインバータ用ＭＯＳトランジスタと磁気トンネル接合素子とからなる一対のインバータと、
    　記憶するシナプス結合荷重に基づいた書き込み電流を前記一対のインバータの前記磁気トンネル接合素子にそれぞれ流すことにより、前記磁気トンネル接合素子を互いに異なる磁化状態にする書き込み部と、
    　入力信号に応答して、前記一対のインバータを作動させ、一方のインバータの出力端のから前記電圧信号を出力させる読み出し部と
    　を有することを特徴とする請求項１または２に記載のニューラルネットワーク回路装置。
  5. 　前記シナプス回路は、前記一方のインバータの出力端がコンデンサを介して前記制御ゲートに接続されていることを特徴とする請求項４に記載のニューラルネットワーク回路装置。
  6. 　前記読み出し部は、前記電圧信号を出力するタイミングで、電源線と、前記磁気トンネル接合素子同士の接続ノードとを接続するパワーゲーティング用ＭＯＳトランジスタであることを特徴とする請求項５に記載のニューラルネットワーク回路装置。
  7. 　前記一対のインバータの入力端にそれぞれ接続され、相互の電位差の正負が反転する一対のビット線を有し、
    　前記書き込み部は、前記ビット線と前記一対のインバータの各入力端との間にそれぞれ接続され、記憶するシナプス結合荷重に基づくタイミングでオン、オフされる一対のトランスファゲートを有する
    　ことを特徴とする請求項４ないし６のいずれか１項に記載のニューラルネットワーク回路装置。
  8. 　シナプス結合荷重を記憶する複数のシナプス回路と、前記複数のシナプス回路に接続されたニューロン回路とを備えたニューラルネットワーク回路装置において、
    　前記ニューロン回路は、
    　一方の電極が接地されたキャパシタと、
    　前記キャパシタの他方の電極と電源との間に接続された負荷と、
    　前記他方の電極の電位に基づきパルス信号を発生させるパルス発生器と
    　を有し、
    　前記複数のシナプス回路は、
    　クロスカップルされ、それぞれが直列接続されたインバータ用ＭＯＳトランジスタと磁気トンネル接合素子とからなる一対のインバータと、
    　記憶するシナプス結合荷重に基づいた書き込み電流を、前記一対のインバータの前記磁気トンネル接合素子にそれぞれ流すことにより、前記磁気トンネル接合素子を互いに異なる磁化状態にする書き込み部と、
    　入力信号に応答して、前記一対のインバータを作動させ、一方のインバータの前記インバータ用ＭＯＳトランジスタを介して、前記キャパシタの前記他方の電極を放電させる電流を流す読み出し部と
    　を有する
    　ことを特徴とするニューラルネットワーク回路装置。

     
PCT/JP2019/014353 2018-03-30 2019-03-29 ニューラルネットワーク回路装置 WO2019189895A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/043,203 US11829863B2 (en) 2018-03-30 2019-03-29 Neural network circuit device
JP2020509364A JP7216436B2 (ja) 2018-03-30 2019-03-29 ニューラルネットワーク回路装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-070165 2018-03-30
JP2018070165 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019189895A1 true WO2019189895A1 (ja) 2019-10-03

Family

ID=68058218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014353 WO2019189895A1 (ja) 2018-03-30 2019-03-29 ニューラルネットワーク回路装置

Country Status (3)

Country Link
US (1) US11829863B2 (ja)
JP (1) JP7216436B2 (ja)
WO (1) WO2019189895A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6841393B1 (ja) * 2020-02-27 2021-03-10 Tdk株式会社 演算回路及びニューロモーフィックデバイス
WO2021066100A1 (ja) * 2019-10-02 2021-04-08 国立大学法人東北大学 シナプス回路の駆動方法
JP6892026B1 (ja) * 2020-02-27 2021-06-23 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
KR102390388B1 (ko) * 2021-03-29 2022-04-25 한국과학기술연구원 뉴로모픽 장치
WO2022265044A1 (ja) * 2021-06-18 2022-12-22 国立大学法人東北大学 演算処理装置
CN117829224A (zh) * 2024-03-05 2024-04-05 南京大学 一种基于复合介质栅结构的仿生神经网络电路系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507770B1 (ko) * 2020-08-26 2023-03-07 국민대학교산학협력단 시냅스 및 시냅스 어레이와, 이를 이용한 컴퓨팅 시스템 및 그 구동 방법
US11647684B2 (en) * 2021-03-30 2023-05-09 International Business Machines Corporation Nonvolatile tunable capacitive processing unit

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07161942A (ja) * 1993-12-02 1995-06-23 Sunao Shibata 半導体集積回路
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路
WO2015041305A1 (ja) * 2013-09-20 2015-03-26 国立大学法人東北大学 メモリセル及び記憶装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2595051B2 (ja) * 1988-07-01 1997-03-26 株式会社日立製作所 半導体集積回路
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
JP3438241B2 (ja) * 1992-10-29 2003-08-18 直 柴田 半導体神経回路装置
JP3485849B2 (ja) * 2000-01-07 2004-01-13 日本電信電話株式会社 関数機能構成データ保持方法及びその方法を用いた集積回路
KR102230784B1 (ko) * 2013-05-30 2021-03-23 삼성전자주식회사 Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
US9418333B2 (en) * 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
JP6602279B2 (ja) * 2016-09-20 2019-11-06 株式会社東芝 メムキャパシタ、ニューロ素子およびニューラルネットワーク装置
JP7161942B2 (ja) 2019-01-16 2022-10-27 ユニマテック株式会社 フェノチアジン誘導体を含有するカルボキシル基含有アクリルゴム組成物

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07161942A (ja) * 1993-12-02 1995-06-23 Sunao Shibata 半導体集積回路
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路
WO2015041305A1 (ja) * 2013-09-20 2015-03-26 国立大学法人東北大学 メモリセル及び記憶装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021066100A1 (ja) * 2019-10-02 2021-04-08 国立大学法人東北大学 シナプス回路の駆動方法
JP6841393B1 (ja) * 2020-02-27 2021-03-10 Tdk株式会社 演算回路及びニューロモーフィックデバイス
JP6892026B1 (ja) * 2020-02-27 2021-06-23 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
WO2021171454A1 (ja) * 2020-02-27 2021-09-02 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
WO2021171480A1 (ja) * 2020-02-27 2021-09-02 Tdk株式会社 演算回路及びニューロモーフィックデバイス
CN113646912A (zh) * 2020-02-27 2021-11-12 Tdk株式会社 运算电路及神经形态器件
CN113646912B (zh) * 2020-02-27 2024-02-27 Tdk株式会社 运算电路及神经形态器件
KR102390388B1 (ko) * 2021-03-29 2022-04-25 한국과학기술연구원 뉴로모픽 장치
WO2022265044A1 (ja) * 2021-06-18 2022-12-22 国立大学法人東北大学 演算処理装置
CN117829224A (zh) * 2024-03-05 2024-04-05 南京大学 一种基于复合介质栅结构的仿生神经网络电路系统
CN117829224B (zh) * 2024-03-05 2024-05-28 南京大学 一种基于复合介质栅结构的仿生神经网络电路系统

Also Published As

Publication number Publication date
US20220198247A1 (en) 2022-06-23
JP7216436B2 (ja) 2023-02-01
US11829863B2 (en) 2023-11-28
JPWO2019189895A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2019189895A1 (ja) ニューラルネットワーク回路装置
US10388350B2 (en) Memory system, semiconductor storage device, and signal processing system
US6842366B2 (en) Thin film magnetic memory device executing self-reference type data read
US7221600B2 (en) Arithmetic circuit integrated with a variable resistance memory element
US7515457B2 (en) Current driven memory cells having enhanced current and enhanced current symmetry
EP2308050B1 (en) Write operation for spin transfer torque magnetoresistive random access memory with reduced bit cell size
EP3136398B1 (en) Ternary content addressable memory (tcam) with programmable resistive elements
JP2004103174A (ja) 半導体記憶装置
US9053782B2 (en) Memory cell with volatile and non-volatile storage
US10546623B2 (en) Resistive memory device having memory cell array and system including the same
US9336871B2 (en) Resistance change memory
US9368208B1 (en) Non-volatile latch using magneto-electric and ferro-electric tunnel junctions
US9576661B2 (en) Systems and methods for SRAM with backup non-volatile memory that includes MTJ resistive elements
Ni et al. Ferroelectrics: From memory to computing
US11100989B2 (en) Multiplier-accumulator
CN109841238B (zh) 感测放大器电路
US20170069380A1 (en) Memory device
US20230013081A1 (en) Driving method of synapse circuit
Levisse et al. Resistive switching memory architecture based on polarity controllable selectors
Lee et al. Review of candidate devices for neuromorphic applications
Pedretti et al. Computing with nonvolatile memories for artificial intelligence
JP6288643B2 (ja) 不揮発性ラッチ回路
WO2022110327A1 (zh) 神经元网络单元
ABDALLA et al. MEMRISTOR OPERATION AND APPLICATIONS
TW202236171A (zh) 記憶體裝置及其操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774275

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020509364

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19774275

Country of ref document: EP

Kind code of ref document: A1