WO2020065881A1 - 積和演算器、ニューロモーフィックデバイス及び積和演算方法 - Google Patents

積和演算器、ニューロモーフィックデバイス及び積和演算方法 Download PDF

Info

Publication number
WO2020065881A1
WO2020065881A1 PCT/JP2018/036118 JP2018036118W WO2020065881A1 WO 2020065881 A1 WO2020065881 A1 WO 2020065881A1 JP 2018036118 W JP2018036118 W JP 2018036118W WO 2020065881 A1 WO2020065881 A1 WO 2020065881A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
sum
input
output
elements
Prior art date
Application number
PCT/JP2018/036118
Other languages
English (en)
French (fr)
Inventor
竜雄 柴田
Original Assignee
Tdk株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdk株式会社 filed Critical Tdk株式会社
Priority to JP2019511673A priority Critical patent/JP6536765B1/ja
Priority to CN201880097097.9A priority patent/CN112654996A/zh
Priority to PCT/JP2018/036118 priority patent/WO2020065881A1/ja
Priority to US17/279,473 priority patent/US20220004853A1/en
Publication of WO2020065881A1 publication Critical patent/WO2020065881A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0007—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising metal oxide memory material, e.g. perovskites
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/003—Cell access
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0061—Timing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/10—Resistive cells; Technology aspects
    • G11C2213/17—Memory cell being a nanowire transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/50—Resistive cell structure aspects
    • G11C2213/53—Structure wherein the resistive material being in a transistor, e.g. gate

Definitions

  • the present invention relates to a product-sum operation unit, a neuromorphic device, and a product-sum operation method.
  • multiply-accumulators and neuromodes are used as devices for performing neural network operations to realize artificial intelligence (AI), the Internet of Things (IoT), deep learning, and the like. Fick devices are gaining attention.
  • Non-Patent Document 1 discloses a method of executing a neural network operation using a memristor.
  • a method using a perceptron is widely used for the operation of the neural network.
  • the calculation of ⁇ ax + b (b: bias term) is performed.
  • the bias term can be adjusted in a wide range from positive to negative.
  • the circuit configuration of the product-sum operation unit and the neuromorphic device may be complicated.
  • an object of the present invention is to provide a product-sum operation unit, a neuromorphic device, and a product-sum operation method capable of adjusting a bias in a wide range from positive to negative without complicating a circuit configuration.
  • One aspect of the present invention is to generate a first output signal by multiplying a first input signal corresponding to an input value by a weight, and to output the first output signal; From the point in time when the steady state occurs after the transient response due to the charging of the parasitic capacitance of each of the plurality of first product calculation elements by the input of the input signal, the plurality of first product calculation by the input of the first input signal In a calculation period up to a time point after a transient response due to discharge from the parasitic capacitance of each element starts to occur, a total sum of the first output signals output by each of the plurality of first product calculation elements is calculated. And a sum operation unit.
  • each of the plurality of first product operation elements is a variable resistance element having a write terminal, a common terminal, and a read terminal.
  • each of the plurality of first product operation elements is a tunnel magnetoresistance effect element.
  • one aspect of the present invention further comprises at least one second product operation element for generating a second output signal by multiplying a second input signal by a weight, and outputting the second output signal,
  • a unit configured to calculate a sum of the first output signal output by each of the plurality of first product calculation elements and the second output signal output by each of the at least one second product calculation element during the calculation period; It is a sum operator.
  • one embodiment of the present invention further includes a resistor to which a third input signal is input and that outputs a third output signal to the sum calculation unit based on the third input signal, wherein the sum calculation unit includes: In the calculation period, the first output signal output from each of the plurality of first product calculation elements, the second output signal output from each of at least one of the second product calculation elements, and the third output signal from the resistor.
  • This is a product-sum calculator for calculating the sum of output signals.
  • At least one second product for generating a second output signal by multiplying a second input signal used to generate a positive bias by a weight and outputting the second output signal.
  • the first output signal output by each of the first product calculation elements, the second output signal output by each of the plurality of second product calculation elements, and the second output signal output by each of at least one second product calculation element Is a product-sum calculator for calculating the sum of
  • Another embodiment of the present invention is a neuromorphic device including any one of the product-sum calculators described above.
  • one aspect of the present invention is a product-sum operation method using any one of the product-sum operation units described above, wherein each of the plurality of first product operation elements includes the first input signal, Multiplying a weight to generate the first output signal and outputting the first output signal; and a step of inputting the first input signal to each of the plurality of first product operation elements to the parasitic capacitance.
  • the product-sum operation unit and the neuromorphic device can adjust the bias in a wide range from positive to negative without complicating the circuit configuration. And a product-sum operation method.
  • FIG. 3 is a diagram illustrating an example of a partial configuration of a product-sum calculator according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a variable resistance element according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of an equivalent circuit of a partial configuration of the product-sum operation unit according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a first output signal output by a first product operation element according to an input of a first input signal corresponding to an input value according to the embodiment.
  • FIG. 5 is a diagram for explaining an example of a neural network operation executed by the product-sum operation unit according to the embodiment.
  • FIG. 1 is a diagram illustrating an example of a configuration of a part of the product-sum calculator according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of the variable resistance element according to the embodiment.
  • the product-sum operation unit 1 includes first input units 101E, 201E,..., K01E, first product operation elements 111, 121, 211, 221,. , N02E, second product computing elements 112, 122, 212, 222,..., N12, n22, third input section 103E, resistors 113W, 123W, and sum computing sections 10S, 20S. And
  • the first product computing element 111 is a resistance change element having a parasitic capacitance, for example, a phase change memory (Phase-Change Memory: PCM), a resistance change memory (Resistive Random Access Memory: ReRAM, the magnetic resistance shown in FIG. 2).
  • the first product operation element 111 includes a variable resistor 111R, a read terminal 111X, a common terminal 111Y, and a write terminal 111Z.
  • K11, k21 are variable resistance elements, for example, magnetoresistive elements similar to those shown in FIG. 2, and have variable resistances 121R, 211R, 221R,..., K11R, k21R, respectively.
  • the variable resistor 111R included in the first product operation element 111 includes a magnetization fixed layer 1111, a nonmagnetic layer 1112, a first region 1113, a domain wall 1114, and a second region. 1115, a first magnetization supply layer 1116, and a second magnetization supply layer 1117.
  • FIG. 2 uses the x-axis, y-axis, and z-axis shown in FIG. The x-axis, the y-axis, and the z-axis form right-handed three-dimensional orthogonal coordinates.
  • the magnetization fixed layer 1111, the nonmagnetic layer 1112, the first region 1113, the second region 1115, the first magnetization supply layer 1116, and the second magnetization supply layer 1117 are formed in a thin rectangular parallelepiped shape. It is parallel to the xy plane.
  • the magnetization direction of the magnetization fixed layer 1111 is fixed to the + y direction.
  • “fixed magnetization” means that the magnetization direction does not change before and after writing using a write current.
  • the magnetization fixed layer 1111 may be, for example, an in-plane magnetic film having in-plane magnetic anisotropy or a perpendicular magnetic film having perpendicular magnetic anisotropy.
  • the nonmagnetic layer 1112 has the largest area facing the + z direction side in contact with the surface facing the ⁇ z direction side of the magnetization fixed layer 1111.
  • the surface of the magnetization fixed layer 1111 facing the z direction and the surface of the nonmagnetic layer 1112 facing the z direction may have the same shape and area as each other.
  • 1113 and the second region 1115 may be extended so as to cover them, and may be larger than the magnetization fixed layer 1111.
  • the nonmagnetic layer 1112 is used by the first product operation element 111 to read out a change in the magnetization state of the magnetization free layer with respect to the magnetization fixed layer 1111 as a change in the resistance value.
  • the first region 1113, the domain wall 1114 and the second region 1115 form a magnetization free layer.
  • the magnetization free layer is made of a ferromagnetic material, and can reverse the magnetization direction.
  • the first region 1113 has a magnetization direction fixed in the + y direction, and a certain region on the ⁇ y direction side of the surface facing the + z direction side faces the ⁇ z direction side of the nonmagnetic layer 1112. Is in contact with
  • the second region 1115 the magnetization direction is fixed in the ⁇ y direction, and a certain region on the + y direction side of the surface facing the + z direction side faces the ⁇ z direction side of the nonmagnetic layer 1112. In contact with the surface
  • the domain wall 1114 is sandwiched between the first region 1113 and the second region 1115 in the y direction.
  • the first magnetization supply layer 1116 desirably does not overlap the magnetization fixed layer 1111 in the z direction, and a surface facing the + z direction side is in contact with a surface facing the ⁇ z direction side of the first region 1113. . Further, the first magnetization supply layer 1116 has a function of fixing the magnetization direction of the first region 1113 in a range overlapping with the first magnetization supply layer 1116 to a desired direction. Further, a writing terminal 111Z is connected to a surface of the first magnetization supply layer 1116 facing the ⁇ z direction side.
  • the first magnetization supply layer 1116 is made of, for example, the same ferromagnetic material that can be used for the magnetization fixed layer 1111, an antiferromagnetic material such as IrMn, or a ferromagnetic material sandwiching a nonmagnetic intermediate layer such as Ru or Ir. And may have a synthetic antiferromagnetic structure including a nonmagnetic material and a ferromagnetic material.
  • the second magnetization supply layer 1117 does not overlap with the magnetization fixed layer 1111 in the z direction, and a surface facing the + z direction side is in contact with a surface facing the ⁇ z direction side of the second region 1115.
  • the second magnetization supply layer 1117 has a function of fixing a magnetization direction in a range overlapping the second magnetization supply layer 1117 in the second region 1115 to a desired direction.
  • a common terminal 111Y is connected to a surface of the second magnetization supply layer 1117 facing the ⁇ z direction side.
  • the second magnetization supply layer 1117 is made of, for example, the same ferromagnetic material that can be used for the magnetization fixed layer 1111, an antiferromagnetic material such as IrMn, or a ferromagnetic material sandwiching a nonmagnetic intermediate layer such as Ru or Ir. And may have a synthetic antiferromagnetic structure including a nonmagnetic material and a ferromagnetic material.
  • the first product computing element 111 changes the position of the domain wall 1114 in the y direction by adjusting the magnitude and time of the write current flowing between the common terminal 111Y and the write terminal 111Z. Thereby, the first product computing element 111 continuously changes the area ratio between the region where the magnetization direction is parallel and the region where the magnetization direction is antiparallel, and changes the resistance value of the variable resistor 111R substantially linearly. Can be.
  • the region in which the magnetization directions are parallel is the area of the portion of the first region 1113 that overlaps the magnetization fixed layer 1111 in the z direction.
  • the region in which the magnetization direction is antiparallel is an area of a portion of the second region 1115 that overlaps the magnetization fixed layer 1111 in the z direction.
  • the magnitude and time of the write current are adjusted by at least one of the number and width of the current pulse.
  • the first product operation element 111 may be a tunnel magnetoresistance effect element.
  • the tunnel magnetoresistance effect element includes a magnetization fixed layer, a magnetization free layer, and a tunnel barrier layer as a non-magnetic layer.
  • the magnetization fixed layer and the magnetization free layer are made of a ferromagnetic material and have magnetization.
  • the tunnel barrier layer is sandwiched between the magnetization fixed layer and the magnetization free layer.
  • the tunnel magnetoresistance effect element can change the resistance value by changing the relationship between the magnetization of the magnetization fixed layer and the magnetization of the magnetization free layer.
  • Known materials can be used for the tunnel barrier layer. For example, as the material, Al2O3, SiO2, MgO, MgAl2O4, or the like can be used.
  • the tunnel barrier layer may be made of a material in which part of Al, Si, and Mg is replaced with Zn, Be, or the like.
  • a first input signal corresponding to an input value is input from the first input unit 101E to the read terminals 111X and 121X.
  • the first input signal corresponding to the input value is input from the first input unit 201E to the read terminals 211X and 221X shown in FIG. 1, and the input terminals from the first input unit k01E are input to the read terminals k11X and k21X.
  • a first input signal corresponding to the value is input.
  • These first input signals are subjected to pulse width modulation (PWM) according to the input values.
  • PWM pulse width modulation
  • a write current for adjusting the resistance values of the variable resistors 111R and 121R is input to the write terminals 111Z and 121Z.
  • a write current for adjusting the resistance values of the variable resistors 211R and 221R is input to the write terminals 211Z and 221Z shown in FIG. 1, and the write terminals k11Z and k21Z have resistances of the variable resistors k11R and k21R.
  • a write current for adjusting the value is input.
  • the first product computing element 111 generates a first output signal by multiplying the first input signal corresponding to the input value by a weight, and outputs the first output signal. That is, the first product operation element 111 performs a product operation on the first input signal input to the read terminal 111X using the resistance value of the variable resistor 111R as a weight to generate a first output signal, and outputs the first output signal from the common terminal 111Y. Outputs one output signal.
  • the first product computing elements 121, 211, 221,..., K11, k21 each multiply a first input signal corresponding to an input value by a weight to generate a first output signal, and generate the first output signal. Output.
  • the second product computing element 112 is the same variable resistance element as the first product computing elements 111, 121, 211, 221,..., K11, k21, and includes a variable resistor 112R, a read terminal 112X, a common terminal 112Y, and a write terminal 112Z.
  • N12, n22 are the same variable resistance elements as the second product operation element 112, and have variable resistances 122R, 212R, 222R,..., N12R, n22R, respectively.
  • a second input signal corresponding to the set value is input from the second input unit 102E to the read terminals 112X and 122X.
  • the second input signal corresponding to the set value is input from the second input unit 202E to the read terminals 212X and 222X shown in FIG. 1, and the read terminals n12X and n22X are set from the second input unit n02E.
  • a second input signal corresponding to the value is input.
  • These second input signals include signals having waveforms necessary for each of the second product operation elements 112, 122, 212, 222,..., N12, and n22 to generate a desired positive bias.
  • the second product operation element 112 generates a second output signal by multiplying the second input signal by a weight, and outputs the second output signal. That is, the second product operation element 112 performs a product operation on the second input signal input to the read terminal 112X using the resistance value of the variable resistor 112R as a weight to generate a second output signal, and outputs the second output signal from the common terminal 112Y. 2. Output two output signals. Unlike the first input signal corresponding to the input value, the second input signal is used for generating a positive bias, and thus has a constant waveform. Similarly, the second product operation elements 122, 212, 222,..., N12, and n22 multiply the second input signal by a weight to generate a second output signal, and output the second output signal.
  • the resistor 113W receives the third input signal, and outputs a third output signal to the sum calculation unit 10S based on the third input signal.
  • the third input signal is input to the resistor 123W, and the resistor 123W outputs a third output signal to the sum calculation unit 20S based on the third input signal.
  • these third input signals include signals having waveforms necessary for each of the resistor 113W and the resistor 123W to generate a desired positive bias, and are input by the third input unit 103E.
  • the resistors 113W and 123W have no parasitic capacitance unlike the second product computing elements 112, 122, 212, 222,..., N12 and n22, and therefore generate a transient response due to discharge from the parasitic capacitance. I can't let it. Therefore, by inputting a desired third input signal, the resistor 113W generates a positive bias whose absolute value is larger than the sum of the positive biases generated by the second product operation elements 112, 212,. Can be generated. This also applies to the resistor 123W.
  • the sum operation unit 10S includes a first output signal output from each of the first product operation elements 111, 211,..., K11, a second output signal output from each of the second product operation elements 112, 212,.
  • the total sum of the third output signals output by the 113W is calculated.
  • the sum operation unit 20S outputs a first output signal output from each of the first product operation elements 121, 221,..., K21, and a second output signal output from each of the second product operation elements 122, 222,.
  • the sum calculation units 10S and 20S may calculate the sum of the first input signal and the second input signal or the sum of the first input signal and the third input signal.
  • FIG. 3 is a diagram illustrating an example of an equivalent circuit of a part of the product-sum operation unit according to the embodiment.
  • the first product operation element 111 includes a parasitic capacitance 111C and a parasitic resistance 111P.
  • the parasitic capacitance 111C is connected in parallel to the variable resistor 111R, and the parasitic resistance 111P is connected in series to the variable resistor 111R.
  • the first product operation elements 121, 211, 221,..., K11, k21 are respectively composed of parasitic capacitances 121C, 211C, 221C,..., K11C, k21C and parasitic resistances 121P, 211P, 221P,.
  • wiring resistances 111W, 121W, 211W, 221W,..., K11W, and k21W are connected in series to the first product computing elements 111, 121, 211, 221,. .
  • FIG. 4 is a diagram illustrating an example of a first output signal output by the first product operation element in response to an input of a first input signal corresponding to an input value according to the embodiment.
  • the first product computing element 111 will be described as an example, but the same applies to the first product computing elements 121, 211, 221,..., K11, and k21.
  • FIG. 4A shows an example of the first output signal T2 when the first input signal corresponding to the input value “2” is input.
  • the first output signal T2 includes a transient response TF2 and a transient response TS2.
  • the transient response TF2 is caused by charging the parasitic capacitance 111C, starts to occur when the input of the first input signal to the first product computing element 111 starts, and changes to a steady state after a predetermined time has elapsed. Transition.
  • the time when the input of the first input signal starts here is, for example, the time t0 shown in FIG.
  • the transient response TF2 has shifted to a steady state at time t1 shown in FIG. 4, for example.
  • the peak height of the transient response TF2 and the period during which the transient response TF2 is occurring depend on the capacitance of the parasitic capacitance 111C.
  • the transient response TS2 is caused by the discharge from the parasitic capacitance 111C, and starts to occur at the time when the input of the first input signal to the first product computing element 111 is completed. Move to state.
  • the time point at which the input of the first input signal ends here is, for example, the time point t21 shown in FIG.
  • the transient response TS2 has shifted to the steady state at time t22 shown in FIG. 4A, for example.
  • the peak height of the transient response TS2 and the period during which the transient response TS2 occurs depend on the capacitance of the parasitic capacitance 111C.
  • the period from time t1 to time t21 has a length corresponding to the input value “2”.
  • FIGS. 4 (b), 4 (c) and 4 (d) show the case where the first input signals corresponding to the input values “1”, “3” and “0” are input, respectively.
  • One example of one output signal T1, T3 and T0 is shown.
  • the first output signals T1, T3, and T0 respectively include a transient response TF1, TF3, and TF0 caused by charging the parasitic capacitance 111C, and a transient response TS1, TS3, and TS0 caused by discharging from the parasitic capacitance 111C.
  • the transient responses TF1, TF3, and TF0 all begin to occur at time t0 shown in FIG. 4, and transition to the steady state at time t1 shown in FIG.
  • the peak heights of the transient responses TF1, TF3, TF0 and the periods during which the transient responses TF1, TF3, TF0 are generated depend on the capacitance of the parasitic capacitance 111C.
  • the transient responses TS1, TS3 and TS0 are respectively changed at time t11 shown in FIG. 4B, at time t31 shown in FIG. 4C and at time t31 shown in FIG. 4C due to the end of the input of the first input signal. It starts to occur at the indicated time t01. Further, the transient responses TS1, TS3, and TS0 transition to the steady state at time t12 shown in FIG. 4B, at time t32 shown in FIG. 4C, and at time t02 shown in FIG. 4D, respectively. ing.
  • the peak heights of the transient responses TS1, TS3, and TS0 and the periods during which the transient responses TS1, TS3, and TS0 are generated depend on the capacitance of the parasitic capacitance 111C.
  • the period from time t1 to time t11, the period from time t1 to time t31, and the period from time t1 to time t01 have lengths corresponding to the input values “1”, “3”, and “0”, respectively. ing.
  • the sum calculation unit 10S enters a steady state after a transient response due to charging of the parasitic capacitances 111C, 211C,..., K11C of the first product calculation elements 111, 211,. , K11 from the time when the transient response due to the discharge from the parasitic capacitances 111C, 211C,..., K11C of the first product computing elements 111, 211,.
  • K11 from the time when the transient response due to the discharge from the parasitic capacitances 111C, 211C,..., K11C of the first product computing elements 111, 211,.
  • the sum of the first output signals output by the first product calculation element 111 is calculated. This also applies to the sum calculation unit 20S.
  • the time point at which a steady state occurs after the transient response caused by charging is, for example, time t1 shown in FIG.
  • the time after the transient response caused by the discharge starts to be generated here is the time during the period when the transient response is occurring or the time when the transient response is in a steady state after the transient response.
  • the period during which the transient response TS2 caused by the discharge occurs is a period between time t21 and time t22.
  • the point in time when the steady state occurs after the transient response TS2 due to discharge is a point in time after time t22.
  • the calculation period referred to here is a time when all the transient responses caused by the discharge generated by the input of each of the first input signals corresponding to the plurality of input values are in a steady state, for example, from time t1 to time t1. It refers to the section up to t2.
  • the product-sum operation unit 1 supplies the first output signals T2, T1, T3, and T0 to the sum operation unit 10S only during the operation period by using a switch, for example, and sums the first output signals during the operation period. Is calculated.
  • the negative operation corresponding to the negative bias is performed.
  • the first input units 101E, 201E,..., K01E generate a transient response TF0 due to charging and a transient response TS0 due to discharging even when the first input signal corresponding to the input value “0” is input. Is input. Therefore, even when the first input signal corresponding to the input value “0” is input to the first product operation elements 111, 121, 211, 221,.
  • a negative bias in the value can be generated.
  • the second product operation element 112 has a parasitic capacitance 112C and a parasitic resistance 112P.
  • the parasitic capacitance 112C is connected in parallel to the variable resistor 112R, and the parasitic resistance 112P is connected in series to the variable resistor 112R.
  • the second product computing elements 122, 212, 222,..., N12, n22 are respectively composed of parasitic capacitances 122C, 212C, 222C,..., N12C, n22C and parasitic resistances 122P, 212P, 222P,.
  • wiring resistances 112W, 122W, 212W, 222W,..., N12W and n22W are connected in series to the second product operation elements 112, 122, 212, 222,. .
  • the second product computing elements 112, 122, 212, 222,..., N12, n22 are used to generate a positive charge corresponding to a positive bias based on the second input signal. These positive biases are generated by the first product computing elements 111, 121, 211, 221,..., K11, k21 and the negative product generated by the second product computing elements 112, 122, 212, 222,. It is added to the bias and used to adjust the bias.
  • the resistor 113W and the resistor 123W are used to generate a positive charge corresponding to a positive bias based on the third input signal. These positive biases are generated by the first product computing elements 111, 121, 211, 221,..., K11, k21 and the negative product generated by the second product computing elements 112, 122, 212, 222,. It is added to the bias and used to adjust the bias.
  • the sum operation unit 10S includes a first output signal output by the first product operation elements 111, 211,..., K11, a second output signal output by the second product operation elements 112, 212,.
  • the sum of the third output signal output from the resistor 113W is calculated.
  • the sum calculation unit 20S outputs the first output signal output from the first product calculation elements 121, 221,..., K21 and the second output signal output from the second product calculation elements 122, 222,.
  • the sum of the output signal and the third output signal output from the resistor 123W is calculated.
  • the sum operation unit 10S , K11 and the second output signals output from the second product operation elements 112, 212,..., N12 are calculated. This is the same for the sum calculation unit 20S.
  • FIG. 5 is a diagram illustrating an example of a neural network operation performed by the product-sum operation unit according to the embodiment.
  • the perceptrons 10, 20 form a hidden or output layer.
  • the node 101 corresponds to the first input unit 101E shown in FIGS. 1 and 3, and outputs an input value corresponding to the first input signal to the perceptrons 10 and 20.
  • the nodes 201,..., K01 correspond to the first input units 201E,..., K01E, respectively, and output an input value corresponding to the first input signal to the perceptrons 10, 20.
  • the node 102 corresponds to the second input unit 102E shown in FIGS. 1 and 3, and outputs an input value corresponding to the second input signal to the perceptrons 10 and 20.
  • the nodes 202,..., K02 correspond to the second input units 202E,..., N02E, respectively, and output an input value corresponding to the second input signal to the perceptrons 10, 20.
  • the node 103 corresponds to the third input unit 103E shown in FIGS. 1 and 3, and outputs an input value corresponding to the third input signal to the perceptrons 10 and 20.
  • the arrow 111A corresponds to the first product operation element 111, and indicates that the input value output from the node 101 is multiplied by the weight and the value corresponding to the first output signal is input to the perceptron 10.
  • an arrow 121A corresponds to the first product operation element 121, and indicates that an input value output from the node 101 is multiplied by a weight, and a value corresponding to the first output signal is input to the perceptron 20. ing. These are the same for the arrows 211A, 221A,..., K11A, and k21A.
  • the arrow 112 ⁇ / b> A corresponds to the second product operation element 112, and indicates that the input value output from the node 102 is multiplied by the weight, and the value corresponding to the second output signal is input to the perceptron 10.
  • the arrow 122A corresponds to the second product operation element 122, and indicates that the input value output from the node 102 is multiplied by the weight, and the value corresponding to the second output signal is input to the perceptron 20. ing. The same applies to the arrows 212A, 222A,..., N12A, and n22A.
  • the arrow 113A corresponds to the resistor 113, and indicates that the input value output from the node 103 is multiplied by the weight determined by the resistance value, and the value corresponding to the third output signal is input to the perceptron 10. ing.
  • an arrow 123A corresponds to the resistor 123. The input value output from the node 103 is multiplied by a weight determined by the resistance value, and a value corresponding to the third output signal is input to the perceptron 20.
  • the perceptron 10 outputs a value obtained by adding the bias “ ⁇ b1” shown in FIG. 5 to the sum of the values input from the arrows 111A, 211A,... K11A, the arrows 112A, 212A,.
  • the perceptron 20 calculates a value obtained by adding the bias “ ⁇ b2” shown in FIG. 5 to the sum of the values input from the arrows 121A, 221A,... K21A, the arrows 122A, 222A,. Output.
  • the bias “ ⁇ b1” includes a negative bias generated by at least one of the first product computing elements 111, 211,..., K11, and includes the second product computing elements 112, 212,.
  • the positive bias generated by at least one of the heaters 113W may be included. This is the same for the bias “ ⁇ b2”.
  • the product-sum calculator 1 calculates the sum of the first output signals in a calculation period including at least a part of a transient response caused by discharge from each of the parasitic capacitances 111C, 121C, 211C, 221C,..., K11C, k21C. . Therefore, the product-sum operation unit 1 can generate a negative charge corresponding to a negative bias without adding a component and complicating the circuit configuration. Further, the product-sum operation unit 1 generates a negative bias having a large absolute value by using a large number of first product operation elements or including as many transient responses as possible due to discharge in an operation period, Negative bias can be generated in a wide range.
  • the first product computing elements 111, 121, 211, 221,..., K11, k21 may be resistance change elements or tunneling magneto-resistance effect elements having a write terminal, a common terminal, and a read terminal.
  • the product-sum operation unit 1 generates a negative bias having a large absolute value and generates a negative bias in a wide range because the parasitic capacitance of the resistance change element and the tunnel magnetoresistance effect element is large. be able to.
  • the product-sum operation unit 1 generates the above-described negative bias because the second product operation elements 112, 122, 212, 222,..., N12, and n22 each generate a positive charge corresponding to a desired positive bias. And the bias can be adjusted in a wide range from positive to negative.
  • the sum-of-products arithmetic unit 1 calculates the sum of the above-described negative bias and the bias from the positive, since each of the resistor 113W and the resistor 123W generates a positive charge corresponding to a desired positive bias. Can be adjusted over a wide negative range. Further, the resistor 113W can generate a positive bias whose absolute value is larger than the sum of the positive bias generated by the second product operation elements 112, 212,..., N12. Similarly, the resistor 123W can generate a positive bias whose absolute value is larger than the sum of the positive bias generated by the second product operation elements 122, 222,..., N22. For this reason, the product-sum operation unit 1 can quickly cancel the negative bias described above with the positive bias generated by at least one of the resistor 113W and the resistor 123W, and adjust the bias in a wide range from positive to negative. it can.
  • the product-sum operation unit 1 described above can be used as a component of a neuromorphic device.
  • a program for realizing the function of each device such as the product-sum operation unit 1 according to the above-described embodiment is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read by a computer system.
  • the processing may be performed by executing the processing.
  • the computer system mentioned here may include an operating system (OS) or hardware such as a peripheral device.
  • the computer-readable recording medium is, for example, a floppy disk, a magneto-optical disk, a writable nonvolatile memory such as a ROM (Read Only Memory), a flash memory, or a portable medium such as a DVD (Digital Versatile Disc).
  • a storage device such as a hard disk built into the computer system, or a device that retains the program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client when the program is transmitted via a network or a communication line.
  • the above-mentioned program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the transmission medium for transmitting the program refers to a medium having a function of transmitting information, such as a network such as the Internet or a communication line such as a telephone line.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be a program that can realize the above-mentioned functions in combination with a program already recorded in the computer system, that is, a so-called difference program. There may be.
  • the above-described program is read and executed by a processor such as a CPU (Central Processing Unit) provided in the computer.
  • a processor such as a CPU (Central Processing Unit) provided in the computer.
  • CPU Central Processing Unit
  • the product-sum calculator as described above, or a neuromorphic device using the same, can function as various sensors or the brain of a robot.
  • a signal output from a sensor is input to a control device using this neuromorphic device, it can function as an edge element.
  • a sensor signal includes a lot of noise, and a general sensor module cannot extract a desired sensor signal from the noise. Therefore, a method of removing noise from the time-series signal of the sensor signal using, for example, a signal processing technique and extracting a desired signal is used. In this case, other than the obtained signal, only energy is consumed and no information is generated.
  • highly accurate recognition can be performed.
  • the observation signal in which noise is superimposed on the source signal is separated into the source signal and the noise to be extracted as meaningful information for the first time.
  • the source signal that is desired to be obtained from the time-series signal containing noise Can be predicted, and can be extracted as a meaningful signal even if the output intensity or the statistical value of the source signal is small.
  • This is a module in which the sensor and the control device are integrated, and can be an AI @ Edge sensor module.
  • signals from a plurality of sensors By inputting signals from a plurality of sensors at the same time, it is possible to obtain recognition regarding the relationship between the sensors.
  • sensors are installed on the hands, feet, and torso of a robot, and when signals from the sensors are simultaneously input to the control device, information such as whether the robot is walking or falls based on the signals is compounded. You can judge.
  • a robot or a car having a plurality of AI ⁇ Edge ⁇ sensor modules installed it is expected that more power saving and higher functionality can be expected by simultaneously inputting signals to the control device.
  • the accuracy of the result can be improved when the product-sum operation uses a neuromorphic element.
  • Reference Signs List 1 multiply-accumulator, 101E, 201E, k01E first input unit, 111, 121, 211, 221, k11, k21 first product operation element, 111C, 121C, 211C, 221C, k11C, k21C parasitic capacitance , 111P, 121P, 211P, 221P, k11P, k21P: parasitic resistance, 111R, 121R, 211R, 221R, k11R, k21R: variable resistance, 111W, 121W, 211W, 221W, k11W, k21W: wiring resistance, 111X, 121X, 211X, 221X, k11X, k21X read terminal, 111Y, 121Y, 211Y, 221Y, k11Y, k21Y common terminal, 111Z, 121Z, 211Z, 221Z, k11Z, k21Z write terminal, 102
  • Second product operation element 112C, 122C, 212C, 222C, n12C, n22C...
  • Parasitic capacitance 112P, 122P, 212P, 222P, n12P, n22P.
  • 212R, 222R, n12R, n22R variable resistance, 112W, 122W, 212W, 222W, n12W, n22W ... wiring resistance, 112X, 122X, 212X, 222X, n12X, n22X ...
  • readout terminals 112Y, 122Y, 212Y, 222Y, n12Y, n22Y: common terminal, 112Z, 122Z, 212Z, 222Z, n12Z, n22Z: writing terminal, 103E: third input unit, 113W, 123W: resistor, 10S, 20S: sum operation unit, 1111: magnetization fixed layer 1112 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Hall/Mr Elements (AREA)
  • Amplifiers (AREA)
  • Memory System (AREA)

Abstract

積和演算器は、入力値に対応する第１入力信号に重みを乗算して第１出力信号を生成し、前記第１出力信号を出力する複数の第１積演算素子と、前記第１入力信号の入力による複数の前記第１積演算素子各々の寄生容量への充電に起因する過渡応答後に定常状態となっている時点から、前記第１入力信号の入力による複数の前記第１積演算素子各々の前記寄生容量からの放電に起因する過渡応答が発生し始めた後の時点までの演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号の総和を演算する和演算部と、を備える。

Description

積和演算器、ニューロモーフィックデバイス及び積和演算方法
　本発明は、積和演算器、ニューロモーフィックデバイス及び積和演算方法に関する。
　現在、人口知能（Artificial　Intelligence：ＡＩ）、モノのインターネット（Internet　of　Things：ＩｏＴ）、深層学習（Deep　Learning）等を実現させるためにニューラルネットワークの演算を実行するデバイスとして積和演算器及びニューロモーフィックデバイスが注目を集めている。
　例えば、非特許文献１には、メモリスタを使用してニューラルネットワークの演算を実行する手法が開示されている。ニューラルネットワークの演算にはパーセプトロンを用いた手法が広く用いられる。パーセプトロンを用いたニューラルネットワークの演算においては、Σａｘ＋ｂ（ｂ：バイアス項）の計算が行なわれる。ここで、バイアス項は、正から負の広い範囲で調整可能であることが望ましい。
Geoffrey W. Burr, Robert M. Shelby, Abu Sebastian, Sangbum Kim, Seyoung Kim, Severin Sidler, Kumar Virwani, Masatoshi Ishii, Pritish Narayanan, Alessandro Fumarola, Lucas L. Sanches, Irem Boybat, Manuel Le Gallo, Kibong Moon, Jiyoo Woo, Hyunsang Hwang & Yusuf Leblebici, Advances in Physics: X, 2, 89(2017)
　しかし、ニューラルネットワークの演算を実行する上で負のバイアスを発生させようとした場合、積和演算器及びニューロモーフィックデバイスの回路構成が複雑になってしまうことがあった。
　そこで、本発明は、回路構成を複雑にすること無く、バイアスを正から負の広い範囲で調整可能な積和演算器、ニューロモーフィックデバイス及び積和演算方法を提供することを目的とする。
　本発明の一態様は、入力値に対応する第１入力信号に重みを乗算して第１出力信号を生成し、前記第１出力信号を出力する複数の第１積演算素子と、前記第１入力信号の入力による複数の前記第１積演算素子各々の寄生容量への充電に起因する過渡応答後に定常状態となっている時点から、前記第１入力信号の入力による複数の前記第１積演算素子各々の前記寄生容量からの放電に起因する過渡応答が発生し始めた後の時点までの演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号の総和を演算する和演算部と、を備える積和演算器である。
　また、本発明の一態様において、複数の前記第１積演算素子各々は、書き込み端子と、共通端子と、読み出し端子とを有する抵抗変化素子である。
　また、本発明の一態様において、複数の前記第１積演算素子各々は、トンネル磁気抵抗効果素子である。
　また、本発明の一態様は、第２入力信号に重みを乗算して第２出力信号を生成し、前記第２出力信号を出力する少なくとも一つの第２積演算素子を更に備え、前記和演算部は、前記演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号及び少なくとも一つの前記第２積演算素子各々が出力した前記第２出力信号の総和を演算する積和演算器である。
　また、本発明の一態様は、第３入力信号が入力され、前記第３入力信号に基づいて第３出力信号を前記和演算部に出力する抵抗器を更に備え、前記和演算部は、前記演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号、少なくとも一つの前記第２積演算素子各々が出力した前記第２出力信号及び前記抵抗器が出力した前記第３出力信号の総和を演算する積和演算器である。
　また、本発明の一態様は、正のバイアスの発生に使用される第２入力信号に重みを乗算して第２出力信号を生成し、前記第２出力信号を出力する少なくとも一つの第２積演算素子と、第３入力信号が入力され、前記第３入力信号に基づいて第３出力信号を前記和演算部に出力する抵抗器と、を更に備え、前記和演算部は、複数の前記第１積演算素子各々が出力した前記第１出力信号、複数の前記第２積演算素子各々が出力した前記第２出力信号及び少なくとも一つの前記第２積演算素子各々が出力した前記第２出力信号の総和を演算する積和演算器である。
　また、本発明の一態様は、上述した積和演算器のいずれか一つを備えるニューロモーフィックデバイスである。
　また、本発明の一態様は、上述した積和演算器のいずれか一つの積和演算器による積和演算方法であって、複数の前記第１積演算素子各々が、前記第１入力信号に重みを乗算して前記第１出力信号を生成し、前記第１出力信号を出力する積演算工程と、前記第１入力信号の入力による複数の前記第１積演算素子各々の前記寄生容量への充電に起因する過渡応答後に定常状態となっている時点から、前記第１入力信号の入力による複数の前記第１積演算素子各々の寄生容量からの放電に起因する過渡応答が発生し始めた後の時点までの前記演算期間において、前記和演算部が、複数の前記第１積演算素子各々が出力した前記第１出力信号の総和を演算する和演算工程と、を含む積和演算方法である。
　上述した積和演算器、ニューロモーフィックデバイス及び積和演算方法によれば、回路構成を複雑にすること無く、バイアスを正から負の広い範囲で調整可能な積和演算器、ニューロモーフィックデバイス及び積和演算方法を提供することができる。
実施形態に係る積和演算器の一部の構成の一例を示す図である。 実施形態に係る抵抗変化素子の一例を示す図である。 実施形態に係る積和演算器の一部の構成の等価回路の一例を示す図である。 実施形態に係る入力値に対応する第１入力信号の入力に応じて第１積演算素子が出力する第１出力信号の一例を示す図である。 実施形態に係る積和演算器が実行するニューラルネットワーク演算の一例を説明するための図である。
　図１及び図２を参照しながら、実施形態に係る積和演算器の構成の一例について説明する。図１は、実施形態に係る積和演算器の一部の構成の一例を示す図である。図２は、実施形態に係る抵抗変化素子の一例を示す図である。
　図１に示すように、積和演算器１は、第１入力部１０１Ｅ、２０１Ｅ、…、ｋ０１Ｅと、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１と、第２入力部１０２Ｅ、２０２Ｅ、…、ｎ０２Ｅと、第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２と、第３入力部１０３Ｅと、抵抗器１１３Ｗ、１２３Ｗと、和演算部１０Ｓ、２０Ｓとを備える。
　第１積演算素子１１１は、寄生容量を有する抵抗変化素子、例えば、相変化型メモリ（Phase-Change　Memory：ＰＣＭ）、抵抗変化型メモリ（Resistive　Random　Access　Memory：ＲｅＲＡＭ、図２に示した磁気抵抗効果素子であっても良い。図１及び図２に示すように、第１積演算素子１１１は、可変抵抗１１１Ｒ、読み出し端子１１１Ｘ、共通端子１１１Ｙ及び書き込み端子１１１Ｚを備える。また、第１積演算素子１２１、２１１、２２１、…、ｋ１１、ｋ２１は、抵抗変化素子、例えば、図２に示したものと同様の磁気抵抗効果素子であり、それぞれ可変抵抗１２１Ｒ、２１１Ｒ、２２１Ｒ、…、ｋ１１Ｒ、ｋ２１Ｒと、読み出し端子１２１Ｘ、２１１Ｘ、２２１Ｘ、…、ｋ１１Ｘ、ｋ２１Ｘと、共通端子１２１Ｙ、２１１Ｙ、２２１Ｙ、…、ｋ１１Ｙ、ｋ２１Ｙと、書き込み端子１２１Ｚ、２１１Ｚ、２２１Ｚ、…、ｋ１１Ｚ、ｋ２１Ｚとを備える。
　ここで、第１積演算素子１１１が備える可変抵抗１１１Ｒは、例えば、図２に示すように、磁化固定層１１１１と、非磁性層１１１２と、第１領域１１１３と、磁壁１１１４と、第２領域１１１５と、第１磁化供給層１１１６と、第２磁化供給層１１１７とを備える。以下、図２を使用した説明では、図２に示したｘ軸、ｙ軸及びｚ軸を使用する。ｘ軸、ｙ軸及びｚ軸は、右手系の三次元直交座標を形成している。磁化固定層１１１１、非磁性層１１１２、第１領域１１１３、第２領域１１１５、第１磁化供給層１１１６及び第２磁化供給層１１１７は、薄い直方体状に形成されており、最も面積が大きな面がｘｙ平面と平行となっている。
　磁化固定層１１１１は、磁化方向が＋ｙ方向に固定されている。ここで、磁化が固定されるとは、書き込み電流を使用した書き込み前後において磁化方向が変化しないことを意味する。また、磁化固定層１１１１は、例えば、面内磁気異方性を有する面内磁化膜、あるいは垂直磁気異方性を有する垂直磁化膜であっても良い。
　非磁性層１１１２は、＋ｚ方向側を向いている最も面積が大きな面が磁化固定層１１１１の－ｚ方向側を向いている面と接している。磁化固定層１１１１のｚ方向側を向いている面と非磁性層１１１２ｚ方向側を向いている面とは、互いに形状及び面積が等しくなっていても良いが、非磁性層１１１２が、第１領域１１１３、第２領域１１１５を覆うように広がっていて、磁化固定層１１１１よりも大きくても良い。また、非磁性層１１１２は、第１積演算素子１１１が磁化固定層１１１１に対する磁化自由層の磁化状態の変化を抵抗値の変化として読み出すために使用される。
　第１領域１１１３、磁壁１１１４及び第２領域１１１５は、磁化自由層を形成している。磁化自由層は、強磁性材料により作製されており、磁化方向を反転させることができる。第１領域１１１３は、磁化方向が＋ｙ方向に固定されており、＋ｚ方向側の向いている面のうち－ｙ方向側の一定の領域が非磁性層１１１２の－ｚ方向側を向いている面と接している。一方、第２領域１１１５は、磁化方向が－ｙ方向に固定されており、＋ｚ方向側を向いている面のうち＋ｙ方向側の一定の領域が非磁性層１１１２の－ｚ方向側を向いている面と接している。磁壁１１１４は、ｙ方向において第１領域１１１３と第２領域１１１５とに挟まれている。
　第１磁化供給層１１１６は、ｚ方向において磁化固定層１１１１と重なっていないことが望ましく、＋ｚ方向側を向いている面が第１領域１１１３の－ｚ方向側を向いている面と接している。また、第１磁化供給層１１１６は、第１領域１１１３のうち第１磁化供給層１１１６と重なる範囲の磁化方向を所望の方向に固定する機能を有する。さらに、第１磁化供給層１１１６の－ｚ方向側を向いている面には、書き込み端子１１１Ｚが接続されている。なお、第１磁化供給層１１１６は、例えば、磁化固定層１１１１に使用可能な強磁性材料と同じ材料、ＩｒＭｎ等の反強磁性体、Ｒｕ、Ｉｒ等の非磁性中間層を挟んだ強磁性体により作製されており、非磁性体及び強磁性体を含む合成反強磁性（Synthecic　Antiferromagnetic）構造を有していても良い。
　第２磁化供給層１１１７は、ｚ方向において磁化固定層１１１１と重なっておらず、＋ｚ方向側を向いている面が第２領域１１１５の－ｚ方向側を向いている面と接している。また、第２磁化供給層１１１７は、第２領域１１１５の第２磁化供給層１１１７と重なる範囲の磁化方向を所望の方向に固定する機能を有する。さらに、第２磁化供給層１１１７の－ｚ方向側を向いている面には、共通端子１１１Ｙが接続されている。なお、第２磁化供給層１１１７は、例えば、磁化固定層１１１１に使用可能な強磁性材料と同じ材料、ＩｒＭｎ等の反強磁性体、Ｒｕ、Ｉｒ等の非磁性中間層を挟んだ強磁性体により作製されており、非磁性体及び強磁性体を含む合成反強磁性（Synthecic　Antiferromagnetic）構造を有していても良い。
　第１積演算素子１１１は、共通端子１１１Ｙと書き込み端子１１１Ｚとの間に流す書き込み電流の大きさ及び時間を調整することにより、ｙ方向における磁壁１１１４の位置を変化させる。これにより、第１積演算素子１１１は、磁化方向が平行な領域と磁化方向が反平行な領域との面積の比率を連続的に変化させ、可変抵抗１１１Ｒの抵抗値を略線形に変化させることができる。ここで、磁化方向が平行な領域とは、第１領域１１１３のうちｚ方向において磁化固定層１１１１と重なっている部分の面積である。また、磁化方向が反平行な領域とは、第２領域１１１５のうちｚ方向において磁化固定層１１１１と重なっている部分の面積である。さらに、書き込み電流の大きさ及び時間は、電流パルスの数及び幅の少なくとも一方により調整される。
　なお、第１積演算素子１１１は、トンネル磁気抵抗効果素子であってもよい。トンネル磁気抵抗効果素子は、磁化固定層と、磁化自由層と、非磁性層としてのトンネルバリア層とを備える。磁化固定層及び磁化自由層は、強磁性材料で作製されており、磁化を有する。トンネルバリア層は、磁化固定層と磁化自由層との間に挟まれている。トンネル磁気抵抗効果素子は、磁化固定層が有する磁化と磁化自由層が有する磁化との関係を変化させることにより、抵抗値を変化させることができる。トンネルバリア層には、公知の材料を用いることができる。例えば、その材料としては、Ａｌ２Ｏ３、ＳｉＯ２、ＭｇＯ、及び、ＭｇＡｌ２Ｏ４等を用いることができる。なお、トンネルバリア層には、Ａｌ、Ｓｉ、Ｍｇの一部が、Ｚｎ、Ｂｅ等に置換された材料等が用いられてもよい。
　図１に戻って、読み出し端子１１１Ｘ、１２１Ｘには、第１入力部１０１Ｅから入力値に対応する第１入力信号が入力される。同様に、図１に示した読み出し端子２１１Ｘ、２２１Ｘには、第１入力部２０１Ｅから入力値に対応する第１入力信号が入力され、読み出し端子ｋ１１Ｘ、ｋ２１Ｘには、第１入力部ｋ０１Ｅから入力値に対応する第１入力信号が入力される。これらの第１入力信号は、入力値に応じたパルス幅変調（Pulse　Width　Modulation:ＰＷＭ）が施されている。
　また、書き込み端子１１１Ｚ、１２１Ｚには、可変抵抗１１１Ｒ、１２１Ｒの抵抗値を調整するための書き込み電流が入力される。同様に、図１に示した書き込み端子２１１Ｚ、２２１Ｚには、可変抵抗２１１Ｒ、２２１Ｒの抵抗値を調整するための書き込み電流が入力され、書き込み端子ｋ１１Ｚ、ｋ２１Ｚには、可変抵抗ｋ１１Ｒ、ｋ２１Ｒの抵抗値を調整するための書き込み電流が入力される。
　第１積演算素子１１１は、入力値に対応する第１入力信号に重みを乗算して第１出力信号を生成し、第１出力信号を出力する。すなわち、第１積演算素子１１１は、可変抵抗１１１Ｒの抵抗値を重みとして読み出し端子１１１Ｘに入力された第１入力信号に対する積演算を実行して第１出力信号を生成し、共通端子１１１Ｙから第１出力信号を出力する。同様に、第１積演算素子１２１、２１１、２２１、…、ｋ１１、ｋ２１は、それぞれ入力値に対応する第１入力信号に重みを乗算して第１出力信号を生成し、第１出力信号を出力する。
　第２積演算素子１１２は、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１と同じ抵抗変化素子であり、可変抵抗１１２Ｒ、読み出し端子１１２Ｘ、共通端子１１２Ｙ及び書き込み端子１１２Ｚを備える。また、第２積演算素子１２２、２１２、２２２、…、ｎ１２、ｎ２２は、第２積演算素子１１２と同じ抵抗変化素子であり、それぞれ可変抵抗１２２Ｒ、２１２Ｒ、２２２Ｒ、…、ｎ１２Ｒ、ｎ２２Ｒ、読み出し端子１２２Ｘ、２１２Ｘ、２２２Ｘ、…、ｎ１２Ｘ、ｎ２２Ｘ、共通端子１２２Ｙ、２１２Ｙ、２２２Ｙ、…、ｎ１２Ｙ、ｎ２２Ｙ及び書き込み端子１２２Ｚ、２１２Ｚ、２２２Ｚ、…、ｎ１２Ｚ、ｎ２２Ｚを備える。
　読み出し端子１１２Ｘ、１２２Ｘには、第２入力部１０２Ｅから設定値に対応する第２入力信号が入力される。同様に、図１に示した読み出し端子２１２Ｘ、２２２Ｘには、第２入力部２０２Ｅから設定値に対応する第２入力信号が入力され、読み出し端子ｎ１２Ｘ、ｎ２２Ｘには、第２入力部ｎ０２Ｅから設定値に対応する第２入力信号が入力される。これらの第２入力信号は、第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２各々が所望の正のバイアスを発生させるために必要な波形を有する信号を含む。
　第２積演算素子１１２は、第２入力信号に重みを乗算して第２出力信号を生成し、第２出力信号を出力する。すなわち、第２積演算素子１１２は、可変抵抗１１２Ｒの抵抗値を重みとして読み出し端子１１２Ｘに入力された第２入力信号に対する積演算を実行して第２出力信号を生成し、共通端子１１２Ｙから第２出力信号を出力する。第２入力信号は、入力値に対応している第１入力信号と異なり、正のバイアスの発生に使用されるため、一定の波形を有する信号となっている。同様に、第２積演算素子１２２、２１２、２２２、…、ｎ１２、ｎ２２は、第２入力信号に重みを乗算して第２出力信号を生成し、第２出力信号を出力する。
　抵抗器１１３Ｗは、第３入力信号が入力され、第３入力信号に基づいて第３出力信号を和演算部１０Ｓに出力する。同様に、抵抗器１２３Ｗは、第３入力信号が入力され、第３入力信号に基づいて第３出力信号を和演算部２０Ｓに出力する。また、これらの第３入力信号は、抵抗器１１３Ｗ及び抵抗器１２３Ｗ各々が所望の正のバイアスを発生させるために必要な波形を有する信号を含んでおり、第３入力部１０３Ｅにより入力される。
　また、抵抗器１１３Ｗ及び抵抗器１２３Ｗは、第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２と異なり寄生容量を有しないため、寄生容量からの放電に起因する過渡応答を発生させ得ない。このため、抵抗器１１３Ｗは、所望の第３入力信号を入力させることにより、第２積演算素子１１２、２１２、…、ｎ１２が発生させる正のバイアスの合計よりも絶対値が大きな正のバイアスを発生させることができる。また、これは、抵抗器１２３Ｗについても同様である。
　和演算部１０Ｓは、第１積演算素子１１１、２１１、…、ｋ１１各々が出力する第１出力信号、第２積演算素子１１２、２１２、…、ｎ１２各々が出力する第２出力信号及び抵抗器１１３Ｗが出力する第３出力信号の総和を演算する。同様に、和演算部２０Ｓは、第１積演算素子１２１、２２１、…、ｋ２１各々が出力する第１出力信号、第２積演算素子１２２、２２２、…、ｎ２２各々が出力する第２出力信号及び抵抗器１２３Ｗが出力する第３出力信号の総和を演算する。ただし、和演算部１０Ｓ、２０Ｓは、第１入力信号と第２入力信号の総和又は第１入力信号と第３入力信号の総和を演算してもよい。
　次に、図３及び図４を参照しながら、実施形態に係る積和演算器による総和の演算方法の一例について説明する。図３は、実施形態に係る積和演算器の一部の構成の等価回路の一例を示す図である。
　図３に示すように、第１積演算素子１１１は、寄生容量１１１Ｃ及び寄生抵抗１１１Ｐを備え、寄生容量１１１Ｃが可変抵抗１１１Ｒに並列接続されており、寄生抵抗１１１Ｐが可変抵抗１１１Ｒに直列接続されていると考えることができる。同様に、第１積演算素子１２１、２１１、２２１、…、ｋ１１、ｋ２１は、それぞれ寄生容量１２１Ｃ、２１１Ｃ、２２１Ｃ、…、ｋ１１Ｃ、ｋ２１Ｃと、寄生抵抗１２１Ｐ、２１１Ｐ、２２１Ｐ、…、ｋ１１Ｐ、ｋ２１Ｐとを備える。さらに、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１には、それぞれ配線抵抗１１１Ｗ、１２１Ｗ、２１１Ｗ、２２１Ｗ、…、ｋ１１Ｗ、ｋ２１Ｗが直列接続されていると考えることができる。
　図４は、実施形態に係る入力値に対応する第１入力信号の入力に応じて第１積演算素子が出力する第１出力信号の一例を示す図である。以下、図４を使用した説明では、第１積演算素子１１１を例に挙げて説明するが、第１積演算素子１２１、２１１、２２１、…、ｋ１１、ｋ２１についても同様である。
　図４（ａ）は、入力値「２」に対応する第１入力信号が入力された場合における第１出力信号Ｔ２の一例を示している。第１出力信号Ｔ２は、過渡応答ＴＦ２及び過渡応答ＴＳ２を含む。
　過渡応答ＴＦ２は、寄生容量１１１Ｃへの充電に起因しており、第１積演算素子１１１への第１入力信号の入力が開始した時点で発生し始め、所定の時間が経過した後に定常状態へ移行する。ここで言う第１入力信号の入力が開始した時点とは、例えば、図４に示した時刻ｔ０である。また、過渡応答ＴＦ２は、例えば、図４に示した時刻ｔ１において定常状態へ移行している。さらに、過渡応答ＴＦ２のピーク高さ及び過渡応答ＴＦ２が発生している期間は、寄生容量１１１Ｃの静電容量に依存している。
　一方、過渡応答ＴＳ２は、寄生容量１１１Ｃからの放電に起因しており、第１積演算素子１１１への第１入力信号の入力が終了した時点で発生し始め、所定の時間が経過した後に定常状態へ移行する。ここで言う第１入力信号の入力が終了した時点とは、例えば、図４（ａ）に示した時刻ｔ２１である。また、過渡応答ＴＳ２は、例えば、図４（ａ）に示した時刻ｔ２２において定常状態へ移行している。さらに、過渡応答ＴＳ２のピーク高さ及び過渡応答ＴＳ２が発生している期間は、寄生容量１１１Ｃの静電容量に依存している。また、時刻ｔ１から時刻ｔ２１までの期間は、入力値「２」に対応した長さとなっている。
　同様に、図４（ｂ）、図４（ｃ）及び図４（ｄ）は、それぞれ入力値「１」、「３」及び「０」に対応する第１入力信号が入力された場合における第１出力信号Ｔ１、Ｔ３及びＴ０の一例を示している。第１出力信号Ｔ１、Ｔ３及びＴ０は、それぞれ寄生容量１１１Ｃへの充電に起因する過渡応答ＴＦ１、ＴＦ３及びＴＦ０と、寄生容量１１１Ｃからの放電に起因している過渡応答ＴＳ１、ＴＳ３及びＴＳ０とを含む。また、過渡応答ＴＦ１、ＴＦ３及びＴＦ０は、いずれも図４に示した時刻ｔ０で発生し始め、図４に示した時刻ｔ１において定常状態へ移行している。さらに、過渡応答ＴＦ１、ＴＦ３、ＴＦ０のピーク高さ及び過渡応答ＴＦ１、ＴＦ３、ＴＦ０が発生している期間は、寄生容量１１１Ｃの静電容量に依存している。
　一方、過渡応答ＴＳ１、ＴＳ３及びＴＳ０は、それぞれ第１入力信号の入力の終了により、図４（ｂ）に示した時刻ｔ１１、図４（ｃ）に示した時刻ｔ３１及び図４（ｄ）に示した時刻ｔ０１で発生し始めている。また、過渡応答ＴＳ１、ＴＳ３及びＴＳ０は、それぞれ図４（ｂ）に示した時刻ｔ１２、図４（ｃ）に示した時刻ｔ３２及び図４（ｄ）に示した時刻ｔ０２において定常状態へ移行している。さらに、過渡応答ＴＳ１、ＴＳ３及びＴＳ０のピーク高さ及び過渡応答ＴＳ１、ＴＳ３及びＴＳ０が発生している期間は、寄生容量１１１Ｃの静電容量に依存している。また、時刻ｔ１から時刻ｔ１１までの期間、時刻ｔ１から時刻ｔ３１までの期間及び時刻ｔ１から時刻ｔ０１までの期間は、それぞれ入力値「１」、「３」及び「０」に対応した長さとなっている。
　また、図４に示すように、過渡応答ＴＳ２、ＴＳ１、ＴＳ３及びＴＳ０は、いずれも時刻ｔ２において既に定常状態への移行が完了している。
　和演算部１０Ｓは、第１入力信号の入力による第１積演算素子１１１、２１１、…、ｋ１１各々の寄生容量１１１Ｃ、２１１Ｃ、…、ｋ１１Ｃへの充電に起因する過渡応答後に定常状態となっている時点から、第１入力信号の入力による第１積演算素子１１１、２１１、…、ｋ１１各々の寄生容量１１１Ｃ、２１１Ｃ、…、ｋ１１Ｃからの放電に起因する過渡応答が発生し始めた後の時点までの演算期間において、第１積演算素子１１１が出力した第１出力信号の総和を演算する。また、これは、和演算部２０Ｓについても同様である。
　ここで言う充電に起因する過渡応答後に定常状態となっている時点とは、例えば、図４に示した時刻ｔ１である。また、ここで言う放電に起因する過渡応答が発生し始めた後の時点とは、当該過渡応答が発生している期間中の時点又は当該過渡応答後に定常状態となっている時点である。例えば、放電に起因する過渡応答ＴＳ２が発生している期間中とは、時刻ｔ２１から時刻ｔ２２の間の期間である。また、例えば、放電に起因する過渡応答ＴＳ２後に定常状態となっている時点とは、時刻ｔ２２以降における時点である。
　また、ここで言う演算期間とは、複数の入力値に対応する第１入力信号各々の入力により発生した放電に起因する全ての過渡応答が定常状態となっている時点、例えば、時刻ｔ１から時刻ｔ２までの区間をいう。積和演算器１は、例えば、スイッチを使用することにより、演算期間の間だけ和演算部１０Ｓに第１出力信号Ｔ２、Ｔ１、Ｔ３及びＴ０を供給し、演算期間における第１出力信号の総和を演算する。
　積和演算器１は、和演算部１０Ｓ及び和演算部２０Ｓが演算期間に放電に起因する過渡応答ＴＳ２、ＴＳ１、ＴＳ３及びＴＳ０の少なくとも一部を含めているため、負のバイアスに対応する負の電荷を発生させることができる。特に、第１入力部１０１Ｅ、２０１Ｅ、…、ｋ０１Ｅは、入力値「０」に対応する第１入力信号が入力された場合でも充電に起因する過渡応答ＴＦ０及び放電に起因する過渡応答ＴＳ０が発生するような第１入力信号を入力している。したがって、積和演算器１は、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１に入力値「０」に対応する第１入力信号が入力された場合でも、常に一定の値の負のバイアスを発生させることができる。
　図３に戻って、第２積演算素子１１２は、寄生容量１１２Ｃ及び寄生抵抗１１２Ｐを有し、寄生容量１１２Ｃが可変抵抗１１２Ｒに並列接続されており、寄生抵抗１１２Ｐが可変抵抗１１２Ｒに直列接続されていると考えることができる。同様に、第２積演算素子１２２、２１２、２２２、…、ｎ１２、ｎ２２は、それぞれ寄生容量１２２Ｃ、２１２Ｃ、２２２Ｃ、…、ｎ１２Ｃ、ｎ２２Ｃと、寄生抵抗１２２Ｐ、２１２Ｐ、２２２Ｐ、…、ｎ１２Ｐ、ｎ２２Ｐとを有する。さらに、第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２には、それぞれ配線抵抗１１２Ｗ、１２２Ｗ、２１２Ｗ、２２２Ｗ、…、ｎ１２Ｗ、ｎ２２Ｗが直列接続されていると考えることができる。
　第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２は、第２入力信号に基づいて正のバイアスに対応する正の電荷を発生させるために用いられる。これらの正のバイアスは、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１及び第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２が発生させた負のバイアスと足し合わされ、バイアスを調整するために使用される。
　抵抗器１１３Ｗ及び抵抗器１２３Ｗは、第３入力信号に基づいて正のバイアスに対応する正の電荷を発生するために用いられる。これらの正のバイアスは、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１及び第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２が発生させた負のバイアスと足し合わされ、バイアスを調整するために使用される。
　和演算部１０Ｓは、演算期間において、第１積演算素子１１１、２１１、…、ｋ１１が出力した第１出力信号、第２積演算素子１１２、２１２、…、ｎ１２が出力した第２出力信号及び抵抗器１１３Ｗが出力した第３出力信号の総和を演算する。同様に、和演算部２０Ｓは、演算期間において、第１積演算素子１２１、２２１、…、ｋ２１が出力した第１出力信号、第２積演算素子１２２、２２２、…、ｎ２２が出力した第２出力信号及び抵抗器１２３Ｗが出力した第３出力信号の総和を演算する。
　ただし、和演算部１０Ｓは、抵抗器１１３Ｗ及び抵抗器１２３Ｗに第３入力信号が入力されなかった場合又は積演算素子１が抵抗器１１３Ｗ及び抵抗器１２３Ｗを備えていない場合、演算期間において、第１積演算素子１１１、２１１、…、ｋ１１が出力した第１出力信号及び第２積演算素子１１２、２１２、…、ｎ１２が出力した第２出力信号の総和を演算する。これは、和演算部２０Ｓについても同様である。
　次に、図５を参照しながら、実施形態に係る積和演算器が実行するニューラルネットワーク演算の一例について説明する。図５は、実施形態に係る積和演算器が実行するニューラルネットワーク演算の一例を説明するための図である。
　ノード１０１、２０１、…、ｋ０１、１０２、２０２、…、ｎ０２、１０３は、入力層を形成している。パーセプトロン１０、２０は、隠れ層又は出力層を形成している。
　ノード１０１は、図１及び図３に示した第１入力部１０１Ｅに対応しており、第１入力信号に対応する入力値をパーセプトロン１０、２０に対して出力する。同様に、ノード２０１、…、ｋ０１は、それぞれ第１入力部２０１Ｅ、…、ｋ０１Ｅに対応しており、第１入力信号に対応する入力値をパーセプトロン１０、２０に対して出力する。
　ノード１０２は、図１及び図３に示した第２入力部１０２Ｅに対応しており、第２入力信号に対応する入力値をパーセプトロン１０、２０に対して出力する。同様に、ノード２０２、…、ｋ０２は、それぞれ第２入力部２０２Ｅ、…、ｎ０２Ｅに対応しており、第２入力信号に対応する入力値をパーセプトロン１０、２０に対して出力する。
　ノード１０３は、図１及び図３に示した第３入力部１０３Ｅに対応しており、第３入力信号に対応する入力値をパーセプトロン１０、２０に対して出力する。
　矢印１１１Ａは、第１積演算素子１１１に対応しており、ノード１０１が出力した入力値に重みが乗算され、第１出力信号に対応する値がパーセプトロン１０に入力されることを表している。同様に、矢印１２１Ａは、第１積演算素子１２１に対応しており、ノード１０１が出力した入力値に重みが乗算され、第１出力信号に対応する値がパーセプトロン２０に入力されることを表している。これらは、矢印２１１Ａ、２２１Ａ、…、ｋ１１Ａ、ｋ２１Ａについても同様である。
　矢印１１２Ａは、第２積演算素子１１２に対応しており、ノード１０２が出力した入力値に重みが乗算され、第２出力信号に対応する値がパーセプトロン１０に入力されることを表している。同様に、矢印１２２Ａは、第２積演算素子１２２に対応しており、ノード１０２が出力した入力値に重みが乗算され、第２出力信号に対応する値がパーセプトロン２０に入力されることを表している。これらは、矢印２１２Ａ、２２２Ａ、…、ｎ１２Ａ、ｎ２２Ａについても同様である。
　矢印１１３Ａは、抵抗器１１３に対応しており、ノード１０３が出力した入力値に抵抗値により定まっている重みが乗算され、第３出力信号に対応する値がパーセプトロン１０に入力されることを表している。同様に、矢印１２３Ａは、抵抗器１２３に対応しており、ノード１０３が出力した入力値に抵抗値により定まっている重みが乗算され、第３出力信号に対応する値がパーセプトロン２０に入力されることを表している
　パーセプトロン１０は、矢印１１１Ａ、２１１Ａ、…ｋ１１Ａ、矢印１１２Ａ、２１２Ａ、…ｎ１２Ａ及び矢印１１３Ａから入力された値の総和に、図５に示したバイアス「－ｂ１」が足された値を出力する。同様に、パーセプトロン２０は、矢印１２１Ａ、２２１Ａ、…ｋ２１Ａ、矢印１２２Ａ、２２２Ａ、…ｎ２２Ａ及び矢印１２３Ａから入力された値の総和に、図５に示したバイアス「－ｂ２」が足された値を出力する。
　また、バイアス「－ｂ１」は、第１積演算素子１１１、２１１、…、ｋ１１の少なくとも一つが発生させた負のバイアスを含んでおり、第２積演算素子１１２、２１２、…、ｎ０２及び抵抗器１１３Ｗの少なくとも一つが発生させた正のバイアスを含んでいてもよい。これは、バイアス「－ｂ２」についても同様である。
　以上、実施形態に係る積和演算器１について説明した。積和演算器１は、寄生容量１１１Ｃ、１２１Ｃ、２１１Ｃ、２２１Ｃ、…、ｋ１１Ｃ、ｋ２１Ｃ各々からの放電に起因する過渡応答の少なくとも一部を含む演算期間において、第１出力信号の総和を演算する。このため、積和演算器１は、構成要素を別途追加して回路構成を複雑にすること無く、負のバイアスに対応する負の電荷を発生させることができる。また、積和演算器１は、第１積演算素子を多数使用したり、放電に起因する過渡応答を出来るだけ多く演算期間に含めたりすることにより、絶対値が大きな負のバイアスを発生させ、広い範囲で負のバイアスを発生させることができる。
　また、第１積演算素子１１１、１２１、２１１、２２１、…、ｋ１１、ｋ２１は、書き込み端子と、共通端子と、読み出し端子とを有する抵抗変化素子又はトンネル磁気抵抗効果素子であってもよい。これにより、積和演算器１は、抵抗変化素子及びトンネル磁気抵抗効果素子の寄生容量の静電容量が大きいため、絶対値が大きな負のバイアスを発生させ、広い範囲で負のバイアスを発生させることができる。
　また、積和演算器１は、第２積演算素子１１２、１２２、２１２、２２２、…、ｎ１２、ｎ２２各々が所望の正のバイアスに対応する正の電荷を発生させるため、上述した負のバイアスとの総和を演算し、バイアスを正から負の広い範囲で調整することができる。
　さらに、積和演算器１は、抵抗器１１３Ｗ及び抵抗器１２３Ｗ各々が所望の正のバイアスに対応する正の電荷を発生させるため、上述した負のバイアスとの総和を演算し、バイアスを正から負の広い範囲で調整することができる。また、抵抗器１１３Ｗは、第２積演算素子１１２、２１２、…、ｎ１２が発生させる正のバイアスの合計よりも絶対値が大きな正のバイアスを発生させることができる。同様に、抵抗器１２３Ｗは、第２積演算素子１２２、２２２、…、ｎ２２が発生させる正のバイアスの合計よりも絶対値が大きな正のバイアスを発生させることができる。このため、積和演算器１は、上述した負のバイアスを抵抗器１１３Ｗ及び抵抗器１２３Ｗの少なくとも一つが発生させた正のバイアスで素早く打ち消し、バイアスを正から負の広い範囲で調整することができる。
　また、上述した積和演算器１は、ニューロモーフィックデバイスの構成要素として使用され得る。
　なお、上述した実施形態に係る積和演算器１等の各装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録させ、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、処理を行ってもよい。
　なお、ここで言うコンピュータシステムとは、オペレーティング・システム（Operating　System：ＯＳ）又は周辺機器等のハードウェアを含むものであってもよい。また、コンピュータ読み取り可能な記録媒体とは、例えば、フロッピーディスク、光磁気ディスク、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital　Versatile　Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置、ネットワーク又は通信回線を介してプログラムが送信される場合におけるサーバ又はクライアントとなるコンピュータシステム内部の揮発性メモリのように一定時間プログラムを保持しているものも含む。
　また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、又は、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体とは、インターネット等のネットワーク又は電話回線等の通信回線のように情報を伝送する機能を有する媒体のことをいう。
　また、上述したプログラムは、上述した機能の一部を実現するためのものであってもよく、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分プログラムであってもよい。上述したプログラムは、例えば、コンピュータが備えるＣＰＵ（Central　Processing　Unit）等のプロセッサにより読み出されて実行される。
  以上のような積和演算器、あるいはそれを用いたニューロモーフィックデバイスは、各種センサやロボットの脳として機能させることができる。このニューロモーフィックデバイスを用いた制御装置にセンサから出力された信号を入力すると、Ｅｄｇｅ素子として機能させることができる。センサ信号には一般的に多くのノイズが存在し、一般的なセンサモジュールでは得たいセンサ信号をノイズから取り出すことができない。したがって、センサ信号の時系列信号から、例えば信号処理技術を用いてノイズを除去し、得たい信号を取り出すなどの方法が取られる。この場合、得た信号以外はエネルギーの消費だけであり、情報を生まない。このニューロモーフィックデバイスを用いた制御装置にセンサ信号を入力することにより、高精度の認識を行うことができる。従来は源信号にノイズが重畳した観測信号を源信号とノイズに分離することで、初めて意味のある情報として抽出されるが、本制御装置を用いるとノイズを含む時系列信号から得たい源信号を予測することができ、源信号の出力強度や統計値が小さくても意味のある信号として取り出すことができる。これはセンサと制御装置が一体となったモジュールであり、ＡＩ　Ｅｄｇｅセンサモジュールとすることができる。本制御装置を用いると、認識精度が高くなるために従来よりも小さな演算機能で情報を取り出すことができ、低コスト、省電力及び省体積化を実現することができる。
  本制御装置に複数のセンサの信号を同時に入力することも好ましい。複数のセンサの信号が同時に入力することによって、互いのセンサの関連性に関する認識を得ることができる。例えば、ロボットにおいて手、足、胴体にセンサが設置され、そのセンサからの信号が同時に本制御装置に入力されると、その信号によってロボットが歩いているか、転んだのかなどの情報を複合的に判断することができる。さらに、AI　Edge センサモジュールが複数設置されたロボットや車などにおいて、本制御装置に同時に信号が入力されることによってより省電力化と高機能化が期待できる。複数のセンサが異なる種類のセンサであった場合には、それぞれのセンサに対応できる電圧や電流に対応した制御装置を設置する必要がある。この場合、制御装置のインタフェースに変圧器やアナログ‐デジタル変換器などが必要となり、エネルギー変換によってエネルギーが消費される。ＡＩ　Ｅｄｇｅセンサモジュールでも同様にエネルギーが消費されるが、ＡＩ　Ｅｄｇｅセンサモジュールから中央の制御装置に出力された信号はＡＩ　Ｅｄｇｅセンサモジュールで一定の認識と識別がされたものであり、必要な情報のみを送ることができる。これらの機能によりＡＩ　Ｅｄｇｅセンサモジュールと中央の制御装置の間の通信を削減することができるため、システム全体としてのエネルギー消費を減少できる。
　以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
  本発明によれば、積和演算をニューロモーフィック素子を使用する場合に、結果の精度を向上させることができる。
１…積和演算器、１０１Ｅ，２０１Ｅ，ｋ０１Ｅ…第１入力部、１１１，１２１，２１１，２２１，ｋ１１，ｋ２１…第１積演算素子、１１１Ｃ，１２１Ｃ，２１１Ｃ，２２１Ｃ，ｋ１１Ｃ，ｋ２１Ｃ…寄生容量、１１１Ｐ，１２１Ｐ，２１１Ｐ，２２１Ｐ，ｋ１１Ｐ，ｋ２１Ｐ…寄生抵抗、１１１Ｒ，１２１Ｒ，２１１Ｒ，２２１Ｒ，ｋ１１Ｒ，ｋ２１Ｒ…可変抵抗、１１１Ｗ，１２１Ｗ，２１１Ｗ，２２１Ｗ，ｋ１１Ｗ，ｋ２１Ｗ…配線抵抗、１１１Ｘ，１２１Ｘ，２１１Ｘ，２２１Ｘ，ｋ１１Ｘ，ｋ２１Ｘ…読み出し端子、１１１Ｙ，１２１Ｙ，２１１Ｙ，２２１Ｙ，ｋ１１Ｙ，ｋ２１Ｙ…共通端子、１１１Ｚ，１２１Ｚ，２１１Ｚ，２２１Ｚ，ｋ１１Ｚ，ｋ２１Ｚ…書き込み端子、１０２Ｅ，２０２Ｅ，ｎ０２Ｅ…第２入力部、１１２，１２２，２１２，２２２，ｎ１２，ｎ２２…第２積演算素子、１１２Ｃ，１２２Ｃ，２１２Ｃ，２２２Ｃ，ｎ１２Ｃ，ｎ２２Ｃ…寄生容量、１１２Ｐ，１２２Ｐ，２１２Ｐ，２２２Ｐ，ｎ１２Ｐ，ｎ２２Ｐ…寄生抵抗、１１２Ｒ，１２２Ｒ，２１２Ｒ，２２２Ｒ，ｎ１２Ｒ，ｎ２２Ｒ…可変抵抗、１１２Ｗ，１２２Ｗ，２１２Ｗ，２２２Ｗ，ｎ１２Ｗ，ｎ２２Ｗ…配線抵抗、１１２Ｘ，１２２Ｘ，２１２Ｘ，２２２Ｘ，ｎ１２Ｘ，ｎ２２Ｘ…読み出し端子、１１２Ｙ，１２２Ｙ，２１２Ｙ，２２２Ｙ，ｎ１２Ｙ，ｎ２２Ｙ…共通端子、１１２Ｚ，１２２Ｚ，２１２Ｚ，２２２Ｚ，ｎ１２Ｚ，ｎ２２Ｚ…書き込み端子、１０３Ｅ…第３入力部、１１３Ｗ，１２３Ｗ…抵抗器、１０Ｓ，２０Ｓ…和演算部、１１１１…磁化固定層、１１１２…非磁性層、１１１３…第１領域、１１１４…磁壁、１１１５…第２領域、１１１６…第１磁化供給層、１１１７…第２磁化供給層、４…トンネル磁気抵抗効果素子、４１…第１強磁性層、４２…第２強磁性層、４３…トンネルバリア層、Ｔ，Ｔ０，Ｔ１，Ｔ２，Ｔ３…第１出力信号、ＴＦ０，ＴＦ１，ＴＦ２，ＴＦ３，ＴＳ０，ＴＳ１，ＴＳ２，ＴＳ３…過渡応答、１０，２０…パーセプトロン、１０１，１０２，１０３，２０１，２０２，ｋ０１，ｎ０２…ノード、１１１Ａ，１１２Ａ，１１３Ａ，１２１Ａ，１２２Ａ，１２３Ａ，２１１Ａ，２１２Ａ，２２１Ａ，２２２Ａ，ｋ１１Ａ，ｋ２１Ａ，ｎ１２Ａ，ｎ２２Ａ…矢印

Claims (8)

  1. 　入力値に対応する第１入力信号に重みを乗算して第１出力信号を生成し、前記第１出力信号を出力する複数の第１積演算素子と、
    　前記第１入力信号の入力による複数の前記第１積演算素子各々の寄生容量への充電に起因する過渡応答後に定常状態となっている時点から、前記第１入力信号の入力による複数の前記第１積演算素子各々の前記寄生容量からの放電に起因する過渡応答が発生し始めた後の時点までの演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号の総和を演算する和演算部と、
    　を備える積和演算器。
  2. 　複数の前記第１積演算素子各々は、書き込み端子と、共通端子と、読み出し端子とを有する抵抗変化素子である、
    　請求項１に記載の積和演算器。
  3. 　複数の前記第１積演算素子各々は、トンネル磁気抵抗効果素子である、
    　請求項１に記載の積和演算器。
  4. 　正のバイアスの発生に使用される第２入力信号に重みを乗算して第２出力信号を生成し、前記第２出力信号を出力する少なくとも一つの第２積演算素子を更に備え、
    　前記和演算部は、複数の前記第１積演算素子各々が出力した前記第１出力信号及び少なくとも一つの前記第２積演算素子各々が出力した前記第２出力信号の総和を演算する、
    　請求項１から３のいずれか一つに記載の積和演算器。
  5. 　第３入力信号が入力され、前記第３入力信号に基づいて第３出力信号を前記和演算部に出力する抵抗器を更に備え、
    　前記和演算部は、前記演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号及び前記抵抗器が出力した前記第３出力信号の総和を演算する、
    　請求項１から３のいずれか一つに記載の積和演算器。
  6. 　第２入力信号に重みを乗算して第２出力信号を生成し、前記第２出力信号を出力する少なくとも一つの第２積演算素子と、
    　第３入力信号が入力され、前記第３入力信号に基づいて第３出力信号を前記和演算部に出力する抵抗器と、
    　を更に備え、
    　前記和演算部は、前記演算期間において、複数の前記第１積演算素子各々が出力した前記第１出力信号、複数の前記第２積演算素子各々が出力した前記第２出力信号及び少なくとも一つの前記第２積演算素子各々が出力した前記第２出力信号の総和を演算する、
    　請求項１から３のいずれか一つに記載の積和演算器。
  7. 　請求項１から請求項６のいずれか一つに記載の積和演算器を備えるニューロモーフィックデバイス。
  8. 　請求項１から請求項６のいずれか一つに記載の積和演算器による積和演算方法であって、
    　複数の前記第１積演算素子各々が、前記第１入力信号に重みを乗算して前記第１出力信号を生成し、前記第１出力信号を出力する積演算工程と、
    　前記第１入力信号の入力による複数の前記第１積演算素子各々の前記寄生容量への充電に起因する過渡応答後に定常状態となっている時点から、前記第１入力信号の入力による複数の前記第１積演算素子各々の寄生容量からの放電に起因する過渡応答が発生し始めた後の時点までの前記演算期間において、前記和演算部が、複数の前記第１積演算素子各々が出力した前記第１出力信号の総和を演算する和演算工程と、
    　を含む積和演算方法。
PCT/JP2018/036118 2018-09-27 2018-09-27 積和演算器、ニューロモーフィックデバイス及び積和演算方法 WO2020065881A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019511673A JP6536765B1 (ja) 2018-09-27 2018-09-27 積和演算器、ニューロモーフィックデバイス及び積和演算方法
CN201880097097.9A CN112654996A (zh) 2018-09-27 2018-09-27 积和运算器、神经形态器件以及积和运算方法
PCT/JP2018/036118 WO2020065881A1 (ja) 2018-09-27 2018-09-27 積和演算器、ニューロモーフィックデバイス及び積和演算方法
US17/279,473 US20220004853A1 (en) 2018-09-27 2018-09-27 Product-sum calculation unit, neuromorphic device, and product-sum calculation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/036118 WO2020065881A1 (ja) 2018-09-27 2018-09-27 積和演算器、ニューロモーフィックデバイス及び積和演算方法

Publications (1)

Publication Number Publication Date
WO2020065881A1 true WO2020065881A1 (ja) 2020-04-02

Family

ID=67144547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036118 WO2020065881A1 (ja) 2018-09-27 2018-09-27 積和演算器、ニューロモーフィックデバイス及び積和演算方法

Country Status (4)

Country Link
US (1) US20220004853A1 (ja)
JP (1) JP6536765B1 (ja)
CN (1) CN112654996A (ja)
WO (1) WO2020065881A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020126427A (ja) * 2019-02-04 2020-08-20 ソニー株式会社 演算装置、積和演算システム及び設定方法
JP2020126426A (ja) * 2019-02-04 2020-08-20 ソニー株式会社 演算装置、及び積和演算システム
GB2621887A (en) * 2022-08-26 2024-02-28 Secqai Ltd Improvements in neuromorphic computing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2016538632A (ja) * 2013-10-28 2016-12-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 教師あり学習を使用してクラスにタグ付けするための方法および装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104847B1 (ja) * 1988-08-31 1995-11-13
JP2760170B2 (ja) * 1990-11-29 1998-05-28 松下電器産業株式会社 学習機械
JP4620944B2 (ja) * 2003-10-16 2011-01-26 キヤノン株式会社 積和演算回路及びその方法
ATE542176T1 (de) * 2003-10-16 2012-02-15 Canon Kk Betriebsschaltung und betriebssteuerverfahren dafür
JP4272967B2 (ja) * 2003-10-16 2009-06-03 キヤノン株式会社 演算回路およびその動作制御方法
WO2013108299A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 ニューラルネットワーク回路の学習方法
US10664748B2 (en) * 2016-03-18 2020-05-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
JP6556768B2 (ja) * 2017-01-25 2019-08-07 株式会社東芝 積和演算器、ネットワークユニットおよびネットワーク装置
KR102314300B1 (ko) * 2017-02-10 2021-10-21 한국전자통신연구원 뉴로모픽 연산 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2016538632A (ja) * 2013-10-28 2016-12-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 教師あり学習を使用してクラスにタグ付けするための方法および装置

Also Published As

Publication number Publication date
CN112654996A (zh) 2021-04-13
JP6536765B1 (ja) 2019-07-03
US20220004853A1 (en) 2022-01-06
JPWO2020065881A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
WO2020065881A1 (ja) 積和演算器、ニューロモーフィックデバイス及び積和演算方法
Oxtoby Measure and category: A survey of the analogies between topological and measure spaces
JP6556768B2 (ja) 積和演算器、ネットワークユニットおよびネットワーク装置
Fontana et al. Prufer domains
US10896242B2 (en) Resistive memory device for matrix-vector multiplications
EP1676197B1 (en) Operation circuit and operation control method thereof
CN112445456A (zh) 使用乘法器-累加器电路的系统、计算装置和方法
JP5826971B2 (ja) スタイラスペン、タッチパネルシステム、および電子機器
US10324573B2 (en) Sensing devices for sensing electrical characteristics
JP2005122465A (ja) 積和演算回路及びその方法
JP6540931B1 (ja) 積和演算器、論理演算デバイス、ニューロモーフィックデバイス及び積和演算方法
JP2010267570A (ja) 特性解析装置
Piotrowska Analysis of fractional electrical circuit with sinusoidal input signal using Caputo and conformable derivative definitions
CN104321728A (zh) 触摸面板控制器、集成电路、触摸面板装置和电子设备
WO2013046099A1 (en) Gradient amplifier with compensation for dead time and forward voltage
JP6904491B2 (ja) 積和演算器、論理演算デバイス、ニューロモーフィックデバイス及び積和演算方法
KR20210028063A (ko) 곱셉 누적기 회로를 이용한 컴퓨팅 장치 및 방법
JP2021002133A (ja) 演算装置及び積和演算システム
CN110046472A (zh) 基于电流传输器的二次非线性磁控忆阻模拟器
US20220171603A1 (en) Multiply-accumulate calculation device, logical calculation device, neuromorphic device, and multiply-accumulate calculation method
CN115292102B (zh) 仿真方法、电子设备、可读存储介质
JP2012242926A (ja) 回路改善装置、回路改善装置の回路改善方法および回路改善プログラム
Tripathi et al. FPGA based control and protection unit of a multichannel pulsed power supply for solid state RF amplifiers
WO2014038519A1 (ja) タッチパネルコントローラ、及びこれを含む集積回路、タッチパネル装置、電子機器
RU175892U1 (ru) Аналоговое запоминающее устройство

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019511673

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935395

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18935395

Country of ref document: EP

Kind code of ref document: A1