WO2013108299A1 - ニューラルネットワーク回路の学習方法 - Google Patents

ニューラルネットワーク回路の学習方法 Download PDF

Info

Publication number
WO2013108299A1
WO2013108299A1 PCT/JP2012/003491 JP2012003491W WO2013108299A1 WO 2013108299 A1 WO2013108299 A1 WO 2013108299A1 JP 2012003491 W JP2012003491 W JP 2012003491W WO 2013108299 A1 WO2013108299 A1 WO 2013108299A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
electrode
input
neural network
variable resistance
Prior art date
Application number
PCT/JP2012/003491
Other languages
English (en)
French (fr)
Inventor
雄 西谷
幸広 金子
上田　路人
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2012800140896A priority Critical patent/CN103430186A/zh
Priority to JP2013513466A priority patent/JP5289646B1/ja
Priority to US13/951,443 priority patent/US8775346B2/en
Publication of WO2013108299A1 publication Critical patent/WO2013108299A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present invention relates to a learning method for a neural network circuit.
  • Neural network mimics the neural network of a living body.
  • the nerve cells of a living body exchange pulses (spike pulses) having a substantially constant shape. Therefore, as a neural network circuit for realizing a neural network, a model has been proposed which directly imitates a biological neural circuit and directly handles pulses.
  • Patent Document 1 discloses a model (pulse density model) that expresses information using pulse density.
  • This model is a model that expresses analog information using, for example, the number of pulses propagated in a certain time.
  • Patent Document 2 discloses a model (pulse timing model) that expresses information using pulse timing. This model is a model that expresses analog information using a pulse and a time interval of the pulse.
  • Non-Patent Document 1 discloses that by using a pulse timing model, higher performance can be obtained than when a pulse density model is used.
  • the neural network circuit that realizes the pulse timing model as in Patent Document 2 has a problem that the circuit area of the entire neural network circuit is increased.
  • An object of the present invention is to provide a learning method of a neural network circuit capable of realizing a learning operation based on pulse timing with a smaller number of elements.
  • a learning method of a neural network circuit is a learning method of a neural network circuit configured by connecting a plurality of neural network circuit elements (40), wherein the plurality of neural network circuits are connected.
  • Each of the network circuit elements (40) includes at least one synapse circuit (20) to which an output signal (hereinafter referred to as a first input signal) of another neural network circuit element (40) is input, and the at least one synapse circuit.
  • a neuron circuit (30) to which an output signal of (20) is input, and the synapse circuit (20) includes a first electrode (13) and a second electrode formed on the semiconductor film (11).
  • Variable resistance in which a resistance value between the first electrode (13) and the second electrode (14) changes according to a potential difference between the first electrode (13) and the control electrode (15). It comprises an element (10), and is configured to switch between a state where the first input signal can be input and a state where it cannot be input to the first electrode (13) of the variable resistance element (10).
  • the neuron circuit (30) includes a waveform generation circuit (32) for generating a bipolar sawtooth pulse voltage, the first input signal is configured to have a bipolar sawtooth pulse waveform, and the first electrode While the first input signal can be input in (13), the control voltage of the variable resistance element (10) is generated in the same neural network circuit element (40) as the variable resistance element (10). Said bipolar The first electrode (13), which receives a sawtooth pulse voltage and is generated depending on the input timing difference between the voltage applied to the first electrode (13) and the voltage applied to the control electrode (15), The resistance value of the variable resistance element (10) is changed by the potential difference with the control electrode (15).
  • the learning operation based on the pulse timing can be realized with a smaller number of elements.
  • FIG. 1 shows a block diagram of a neural network circuit element in the embodiment.
  • FIG. 2A shows the shape of a bipolar sawtooth pulse voltage used for the first input voltage and the third input voltage in the embodiment.
  • FIG. 2B shows a shape of a square wave pulse voltage used for the second input signal voltage in the embodiment.
  • FIG. 3 shows an operation of switching the conduction and non-conduction of the bipolar sawtooth pulse voltage V PRE shown in FIG. 2A using the square wave pulse voltage V POST2 shown in FIG. 2B in the first switch in the embodiment.
  • FIG. 4A shows a cross-sectional view of the variable resistance element in the embodiment.
  • FIG. 4B shows a circuit symbol of the variable resistance element in the embodiment.
  • FIG. 5 shows an STDP evaluation circuit in the embodiment.
  • FIG. 6A shows the shape of a bipolar sawtooth pulse voltage used for the first input voltage in the first embodiment.
  • FIG. 6B shows the shape of the square wave pulse voltage used for the second input signal voltage in the first embodiment.
  • 6C shows an asymmetric STDP in Example 1.
  • FIG. 7 shows a circuit used for evaluating the integration operation in the first embodiment.
  • FIG. 8 shows an evaluation result of the integration operation in the first example.
  • FIG. 9A shows a schematic diagram for explaining a hierarchical neural network.
  • FIG. 9B shows a schematic diagram for explaining an interconnection neural network.
  • FIG. 10 is a schematic diagram for explaining the operation of a general neuron.
  • FIG. 11 is a schematic diagram for explaining the operation of the integral firing type neuron.
  • FIG. 12A shows a schematic diagram for explaining STDP.
  • FIG. 12B shows a schematic diagram illustrating the characteristics of the asymmetric STDP.
  • FIG. 12C shows a schematic diagram illustrating a symmetric STDP.
  • FIG. 13 is a cross-sectional view of a resistance change type memory element disclosed in Patent Document 2.
  • FIG. 14A is a block diagram showing a conventional STDP neural network circuit element disclosed in Patent Document 2.
  • FIG. 14B is a block diagram showing an STDP section of a conventional synapse circuit disclosed in Patent Document 2.
  • FIG. 14C is a block diagram showing an STDP section of a conventional synapse circuit disclosed in Patent Document 2.
  • FIG. 15 shows a signal generation circuit in the embodiment.
  • a neural network imitates a biological neural network.
  • a neural network uses a neuron imitating a nerve cell as a functional unit in a neural network as a functional unit, and performs information processing by arranging a plurality of neurons in a network.
  • a hierarchical neural network in which neurons 100 are connected in a hierarchical manner as shown in FIG. 9A, and an interconnected neural network (Hopfield network) in which neurons 100 are connected together as shown in FIG. 9B.
  • Neural network has two major functions. The first is a “processing” function that obtains an output from an input, and the second is a “learning” function that sets the input / output relationship of the entire neural network to a desired one.
  • the hierarchical neural network circuit shown in FIG. 9A includes three layers: an input layer 400, an intermediate layer 500, and an output layer 600.
  • Each layer includes at least one neuron 100.
  • the input layer 400 is connected to each neuron 100 in the intermediate layer 500.
  • each neuron 100 in the intermediate layer 500 is connected to each neuron 100 in the output layer.
  • the input signal 200 is input to the input layer 400, propagates in order through the intermediate layer 500 and the output layer 600, and is output from the output layer 600.
  • a predetermined calculation described later is performed on the input value, and the output value is propagated to the neuron in the next layer.
  • the output value from the output layer 600 becomes the final output 300 of the network.
  • This series of operations is information processing of the neural network circuit. If a sufficient number of neurons are included in the intermediate layer 500, arbitrary input / output is realized.
  • the hierarchical neural network circuit illustrated in FIG. 9A includes three layers, a plurality of intermediate layers 500 may be included.
  • FIG. 10 is a schematic diagram of a neuron.
  • the neuron 100 includes synapse parts 121 and 122 and a neuron part 130.
  • the number of synapse parts 121 and 122 is equal to the number of neurons connected in the previous stage, that is, the number of input signals.
  • the synapse units 121 and 122 weight each of the plurality of external input signals 111 and 112.
  • the weighting values (w 1 , w 2 ) are called bond weights.
  • the neuron unit 130 calculates the sum of the input signals weighted by the synapse units 121 and 122, and outputs a value obtained by nonlinearly calculating the sum value.
  • n is equal to the number of input signals.
  • the synapse units 121 and 122 multiply each input signal by a corresponding connection weight value w i (1, 2,..., N), and the neuron unit 130 sums them.
  • V n is calculated.
  • V n ⁇ w i x i (Equation 1)
  • ⁇ is a sum symbol for i.
  • the neuron unit 130 sets a result obtained by performing the non-linear operation f on the obtained sum V n as an output value y. Therefore, the output y of the neuron unit 130 is expressed as shown in Equation 2.
  • y f (V n ) (Formula 2)
  • f a monotone increasing function having a saturation characteristic is used.
  • a step function (step function) or a sigmoid function is often used.
  • the neural network circuit has parallel processability because a plurality of neuron units 130 can perform operations simultaneously. That is, unlike sequential computer information processing, parallel information processing is possible.
  • [Learning function] An important feature of the neural network circuit is that it has a “learning” function as well as a “processing” function that obtains an output from an input as described above. The learning described here is to set the input / output relationship of the entire neural network circuit to a desired one by updating the above-described synaptic connection weight.
  • Patent Document 1 discloses a model (pulse density model) that expresses information using pulse density.
  • This model is a model that expresses analog information using, for example, the number of pulses propagated in a certain time.
  • Patent Document 2 discloses a model (pulse timing model) that expresses information using pulse timing.
  • This model is a model that expresses analog information using a pulse and a time interval of the pulse.
  • signals exchanged between neurons are signals having a constant waveform, and thus there is an advantage that hardware implementation described later is easy.
  • the pulse timing model can express information by each pulse, it can process information faster than the pulse density model.
  • Non-Patent Document 1 discloses that by using a pulse timing model, higher performance can be obtained than when a pulse density model is used.
  • Integral firing models have been proposed as neuron behavior models that can be applied to information representation using pulses as described above.
  • an integral firing operation of a neuron having two input terminals will be described with reference to FIG.
  • the input pulse x 1 synaptic 1 is input, the input pulse x 2 synapse 2 is input at a timing pulse is input, each of the synapse portion A unimodal voltage change appears at.
  • Such a potential at the synapse portion is called a post-synaptic potential (hereinafter abbreviated as “PSP”).
  • PSP post-synaptic potential
  • the third and fourth graphs from the top in FIG. 11 show the PSP temporal changes P 1 (t) and P 2 (t) at synapse 1 and synapse 2.
  • the height of the PSP is proportional to the synaptic bond strength.
  • t represents time.
  • the neuron computes the sum of PSPs from all connected synapses. This is called the neuron internal potential V n (t).
  • the internal potential V n (t) is the sum of P 1 (t) and P 2 (t) as shown in the fifth graph from the top in FIG.
  • the internal potential V n (t) is expressed as in Expression 3.
  • V n (t) ⁇ P i (t) (Formula 3)
  • P i the PSP at synapse i
  • ⁇ the sum symbol for i.
  • the neuron As shown in FIG. 13, exceeds the threshold value V th of the internal potential V n is predetermined, the neuron outputs a pulse signal y. This is called “firing” of neurons.
  • the pulse output y is output from the neuron, and is input to another neuron after a certain transmission time t Delay .
  • the pulse timing can also be used to update the synaptic connection weight in the learning operation.
  • a learning operation using a property called spike timing synaptic plasticity Spike-timing ⁇ synaptic plasticity, hereinafter abbreviated as “STDP”
  • STDP spike timing synaptic plasticity
  • the synaptic connection load of synapse 1 is a feature that changes.
  • Several types of STDP have also been observed in actual living nerve cells.
  • the STDP is a characteristic in which the synaptic coupling strength w changes as a function of the time difference t POST -t PRE between t PRE and t POST at this time.
  • the characteristic shown in FIG. 12B is asymmetric STDP, and the amount of change ⁇ w of the synaptic coupling strength depends on the time sequence of both pulses in addition to the time difference t POST ⁇ t PRE between the two pulses.
  • the characteristic shown in FIG. 12C is a symmetric STDP, and the amount of change ⁇ w in synaptic coupling strength is determined by a function of only the time difference t POST -t PRE between two pulses, and does not depend on the order of the pulses.
  • Patent Document 2 discloses a method of storing a variable resistance value of a variable resistance memory element as a synapse coupling load.
  • variable resistance memory element 720 has a structure in which a metal oxide film 722 is sandwiched between an upper electrode 721 and a lower electrode 723.
  • a voltage is applied between the upper electrode 721 and the lower electrode 723, the resistance value between the upper electrode 721 and the lower electrode 723 changes to be non-volatile depending on the value of the flowing current.
  • FIG. 14A is a block diagram of a conventional STDP neural network circuit element disclosed in Patent Document 2.
  • the neural network circuit element is a hardware reproduction of a neuron that is a functional unit of the neural network.
  • the neural network circuit element 700 includes a plurality of synapse circuits 710 and one neuron circuit 730.
  • the synapse circuit 710 stores the synapse coupling load using the variable resistance memory element 720.
  • the learning function is realized by changing the resistance value of the variable resistance memory element 720 by the method described above.
  • 14B and 14C are circuit diagrams exemplified in Patent Document 2 regarding a specific configuration of the STDP section shown in FIG. 14A.
  • a neural network circuit requires a plurality of input terminals for one neuron circuit. Further, as the number of neural network circuit elements in the entire neural network circuit increases, the number of input terminals required for one neuron circuit increases. The same number of synapse circuits as the number of input terminals is required for one neuron circuit. Therefore, if a neural network circuit composed of a large number of neural network circuit elements is configured, a very large number of synapse circuits are required. For example, in the interconnected neural network circuit shown in FIG. 9B, the number of synapses required when the number of neurons is n is the square of n. Therefore, in order to reduce the area of the neural network circuit, it is important to simplify the configuration of the synapse circuit.
  • a signal to be propagated to the neuron circuit 730 and a signal for updating the synaptic load of the resistance change type memory element 720 by STDP are generated in the synapse circuit 710.
  • the waveform is generated by the pulse generation unit and the STDP unit in FIG. 14A. Therefore, a signal generator and an arithmetic circuit as shown in FIGS. 14B and 14C are required in the synapse circuit, and the configuration of the synapse circuit 710 is large.
  • the conventional synapse circuit 710 and its driving method have a problem that the area of the synapse circuit 710 becomes extremely large, and a neural network circuit using the synapse circuit 710 has also become large.
  • the inventors of the present invention as a learning method and a neural network circuit of a neural network circuit, which can realize a learning operation by STDP with a smaller number of elements after extensive research.
  • the inventors have come up with the following aspects.
  • the inventors of the present invention generate a non-linear waveform for updating the synaptic load in the synapse circuit 710 in the conventional neural network circuit element 700, which is another neural network input to the synapse circuit 730.
  • the signal from the circuit element (herein referred to as another input signal) is caused by the spike pulse itself (input pulse x 1 in FIG. 11).
  • the other input signal is a spike pulse
  • a spike pulse generated by the same neural network circuit element 700 as the input synapse circuit 710 (herein referred to as its own input signal). Therefore, there is a need to newly generate a non-linear waveform in the synapse circuit 710 using another input signal as a trigger.
  • the inventors of the present invention make the output signal itself of the neural network circuit element a non-linear waveform, and compares the other input signal and its own input signal as a non-linear waveform, thereby comparing other input signals. It was found that it is possible to eliminate the need to generate a non-linear waveform separately in the synapse circuit to which is input. Furthermore, in order to effectively detect the difference in input timing when comparing non-linear waveforms, it has been found that a bipolar sawtooth waveform described later can be suitably used as the non-linear waveform. It was.
  • FIG. 1 shows a block diagram of a neural network circuit element 40 according to an embodiment.
  • One neural network circuit element 40 includes at least one input terminal 51, the same number of synapse circuits 20 as the number of input terminals 51, one neuron circuit 30, and one output terminal 52.
  • the neural network circuit is configured by connecting a plurality of neural network circuit elements 40. Specifically, the output terminal 52 of the neural network circuit element 40 is connected to the input terminal 51 of another neural network circuit element 40.
  • the input terminal 51 of the neural network circuit element 40 is connected to the first input terminal 41 of the synapse circuit 20.
  • the output terminal 44 of the synapse circuit 20 is connected to the input terminal 45 of the neuron circuit 30.
  • the first output terminal 46 of the neuron circuit 30 is connected to the output terminal 52 of the neural network circuit element 40.
  • FIG. 1 only one neuron circuit 30 and one synapse circuit 20 are shown for ease of illustration, but actually, a plurality of synapse circuits 20 for one neuron circuit 30 are illustrated. Is connected.
  • the neuron circuit 30 includes an integration circuit 31, a waveform generation circuit 32, and a delay circuit 33.
  • the input terminal 45 of the neuron circuit 30 is connected to the integration circuit 31.
  • the integration circuit 31 calculates the sum of currents flowing from the plurality of synapse circuits 20 connected to the neuron circuit 30. When the calculated value exceeds a predetermined value, a signal (trigger signal) is output to the waveform generation circuit 32.
  • the signal generation circuit 32 generates a non-linear waveform pulse voltage V POST1 and a switching pulse voltage V POST2 using the signal from the integration circuit 31 as a trigger.
  • the non-linear waveform pulse voltage V POST1 has, for example, the shape shown in FIG. 2A or a shape obtained by inverting the sign thereof.
  • the non-linear waveform pulse voltage shown in FIG. 2A is referred to as a “bipolar sawtooth pulse voltage”.
  • a bipolar sawtooth pulse voltage is characterized in that the potential, which is initially 0 volts, rises to a predetermined positive potential over time, then drops to a predetermined negative potential, and then returns to 0 volts again. is there.
  • the switching pulse voltage V POST2 for example, a square wave pulse voltage shown in FIG. 2B can be used.
  • the signal generation circuit 32 stores a digital / analog converter 321 driven by the output signal from the integration circuit 31 as a trigger, and digital waveform data for generating a bipolar sawtooth pulse voltage.
  • the digital memory 322 is provided.
  • the digital / analog converter 321 reads the digital waveform data from the digital memory 322, converts it into an analog waveform, and outputs it.
  • the nonlinear waveform pulse voltage V POST1 is output to the second output terminal 47 of the neuron circuit 30.
  • the second output terminal 47 is connected to the third input terminal 43 of all other synapse circuits 20 connected to the neuron circuit 30 and is input as the third input signal voltage 80.
  • the nonlinear waveform voltage V POST1 is output to the first output terminal 46 after a predetermined delay time has elapsed by the delay circuit 33. Since the first output terminal 46 of the neuron circuit 30 is connected to the output terminal 52 of the neural network circuit element 40, the output signal of the delay circuit 33 becomes the output signal of the neural network circuit element 40. Then, this output signal is input as a first input signal voltage to the first input terminal of the synapse circuit in another neural network circuit element (not shown).
  • the switching pulse voltage V POST2 is output to the third output terminal 48 of the neuron circuit 30.
  • the third output terminal 48 is connected to the second input terminals 42 of all the synapse circuits 20 connected to the neuron circuit 30 and is input as the second input signal voltage 70.
  • the synapse circuit 20 includes a first switch 22, a second switch 21, a variable resistance element 10, and a predetermined DC voltage source 23.
  • the first input terminal 41 of the synapse circuit 20 is connected to the first input terminal 26 of the first switch 22.
  • the second input terminal 42 of the synapse circuit 20 is connected to the control terminal 29 of the first switch.
  • the output terminal 28 of the first switch 22 is connected to the first electrode 13 of the variable resistance element 10.
  • the third input terminal 43 of the synapse circuit 20 is connected to the control electrode 15 of the variable resistance element 10.
  • the output terminal 44 of the synapse circuit 20 is connected to the second electrode 14 of the variable resistance element 10.
  • the output terminal 44 of the synapse circuit 20 is connected to the input terminal 45 of the neuron circuit 30.
  • the first input signal voltage 60 to the first input terminal 41 of the synapse circuit 20 is a non-linear waveform pulse voltage V PRE from another neural network circuit element (not shown).
  • the second input signal voltage 70 to the second input terminal 42 of the synapse circuit 20 is the switching pulse voltage V POST2 generated by the waveform generation circuit 32 of the neuron circuit 30.
  • the third input signal voltage 80 to the third input terminal 43 of the synapse circuit 20 is a non-linear waveform pulse voltage V POST1 generated by the waveform generation circuit 32 of the neuron circuit 30 in
  • the important point in the configuration of the neural network circuit element 40 of the present embodiment is that all the waveform generation is performed by the neuron circuit 30 and processing is performed using the generated nonlinear waveform pulse voltage V POST1 and switching pulse voltage V POST2. It is to perform a learning operation. As a result, the synapse circuit 20 can be simplified.
  • variable resistance element 10 shows a schematic cross-sectional view and a circuit symbol of the variable resistance element 10, respectively.
  • the variable resistance element 10 includes a semiconductor film 11, a ferroelectric film 12, a first electrode 13, a second electrode 14, and a control electrode 15.
  • the Z axis is the normal direction of the ferroelectric film 12.
  • the X axis is a direction orthogonal to the Z axis.
  • the circuit symbol of the variable resistance element 10 is expressed as shown in FIG. 4B.
  • FIG. 1 shows a neural network circuit element 40 in which the variable resistance element 10 is incorporated based on the notation of FIG. 4B.
  • An example of the material of the semiconductor film 11 is ZnO, GaN, or InGaZnO.
  • Examples of the material of the ferroelectric film 12 are Pb (Zr, Ti) O 3 , Sr (Bi, Ta) O, or Bi 12 TiO 20 .
  • Examples of the first electrode 13, the second electrode 14, and the control electrode 15 are a laminate composed of a platinum film and a titanium film.
  • the semiconductor film 11, the ferroelectric film 12, and the control electrode 15 are stacked along the Z axis.
  • a first electrode 13 and a second electrode 14 are disposed on the front side surface of the semiconductor film 11.
  • the variable resistance value of the variable resistance element 10 is a resistance value between the first electrode 13 and the second electrode 14.
  • the part of the semiconductor film 11 stacked on the part has a low resistance.
  • the part of the semiconductor layer 11 laminated on the part has a high resistance.
  • the resistance value between the first electrode 13 and the second electrode 14 is the resistance value of the semiconductor in the region sandwiched between the first electrode 13 and the second electrode 14. Therefore, the resistance value between the first electrode 13 and the second electrode 14 is continuous depending on the proportion of the ferroelectric film 12 stacked below the region having the upward and downward polarization directions. Changes.
  • variable resistance element 10 by providing a potential difference between the first electrode 13 and the second electrode 14 and the control electrode 15, the polarization direction of the ferroelectric film 12 is changed, and the first electrode 13 and the second electrode 14 are changed.
  • the resistance value between is controlled. For example, when a positive potential difference is provided between both electrodes and the control electrode 15 with respect to the first electrode 13 and the second electrode 14, the direction of the electric field due to polarization of the ferroelectric film 12 is upward (semiconductor film 11 Side).
  • the direction of the electric field due to the polarization of the ferroelectric film 12 is easily directed downward (on the control electrode 15 side). Further, as the absolute value of the potential difference to be applied is larger, the amount of change in polarization of the ferroelectric film 12 due to the potential difference is increased. Therefore, when a positive potential difference is provided, the resistance value between the first electrode 13 and the second electrode 14 decreases, and when a negative potential difference is provided, the resistance value between the first electrode 13 and the second electrode 14 increases. However, the change in the resistance value becomes more significant as the absolute value of the applied potential difference is larger.
  • the upward direction is the direction in which the semiconductor film 11 is laminated
  • the downward direction means the direction in which the control electrode 15 is laminated.
  • the method of controlling the resistance value of the variable resistance element 10 by providing a potential difference between the first electrode 13 and the second electrode 14 and the control electrode 15 has been described.
  • the first electrode 13 The resistance value of the variable resistance element 10 can also be controlled by providing a potential difference between the first electrode 14 and the control electrode 15 or by providing a potential difference between the second electrode 14 and the control electrode 15.
  • the first switch 22 is electrically connected to the second input terminal 27 of the first switch 22 by the second input signal voltage 70 of the synapse circuit. Keep being in the state.
  • the second switch 21 supplies a predetermined first reference voltage (power supply voltage V DD ) while a non-linear waveform pulse voltage V PRE as a first input signal is input to the synapse circuit 20.
  • the first reference voltage source 23 is connected to the first electrode 13 of the variable resistance element 10. That is, when the nonlinear waveform pulse voltage V PRE is input to the synapse circuit 20 as the first input signal voltage 60 from another neural network circuit element (not shown), the second switch 21 is caused by the nonlinear waveform pulse voltage V PRE . Opened and closed. For example, the second switch 21 is closed during the HI level period when the nonlinear waveform pulse voltage V PRE is equal to or higher than a predetermined voltage, and is opened during other periods.
  • the second electrode 14 of the synapse circuit 20 has the same potential as the ground voltage (second reference voltage supplied from the second reference voltage source, which is different from the first reference voltage).
  • the first reference voltage source is used.
  • a certain DC voltage source 23 and the first electrode 13 of the variable resistance element 10 are connected.
  • the variable resistance element 10 has a characteristic that the resistance value between the first electrode 13 and the second electrode 14 is variable as described above.
  • the power supply voltage V DD is applied between the first electrode 13 and the second electrode 14 of the variable resistance element 10, and the second voltage of the variable resistance element 10 is supplied from the DC voltage source 23.
  • a current proportional to the current conductivity (the reciprocal of the resistance value) of the variable resistance element 10 flows to the electrode 14 and is input to the neuron circuit 30.
  • the magnitude of the current input to the neuron circuit 30 is proportional to the synaptic connection weight w, and expresses PSP (P 1 (t), P 2 (t)) in FIG. Therefore, in the present embodiment, the conductivity (the reciprocal of the resistance value) of the variable resistance element 10 corresponds to the synapse coupling load w.
  • Such an input to the neuron circuit 30 is given asynchronously via the synapse circuit 20 from a plurality of other neural network circuit elements.
  • the input currents from the plurality of synapse circuits 20 are spatiotemporally added in the integration circuit 31 of the neuron circuit 30. Integrating voltage generated by the space-time addition is regarded as the internal potential V n.
  • V n Integrating voltage generated by the space-time addition is regarded as the internal potential V n.
  • V n exceeds a predetermined threshold voltage V TH
  • the waveform generation circuit 32 generates pulse voltages (V POST1 , V POST2 ).
  • the non-linear waveform pulse voltage V POST1 generated by the waveform generation circuit 32 is a synapse circuit of another neural network circuit element circuit (not shown) after a predetermined delay time set by the delay circuit 33 has elapsed. Applied to the first input terminal. This delay time corresponds to the transmission delay time t Delay in the neuron model.
  • the waveform generation circuit 32 of the neuron circuit 30 generates the switching pulse voltage V POST2 simultaneously with the nonlinear waveform pulse voltage V POST1 .
  • the pulse voltage is output so that the time T in indicated by the dotted line in each of FIGS. 2A and 2B is the same time.
  • the nonlinear waveform pulse voltage V POST1 is applied to the control electrode 15 of the variable resistance element 10 of the synapse circuit 20 as the third input signal voltage 80.
  • the switching pulse voltage V POST2 is applied as the second input signal voltage 60 to the control terminal 29 of the first switch 22 of the synapse circuit 20.
  • the non-linear waveform pulse voltage V PRE of another neural network circuit element is input to the first switch 22 of the synapse circuit 20 as the first input signal voltage 60.
  • the first switch 22 is switched by the switching pulse voltage V POST2 .
  • the first electrode 22 of the variable resistance element 10 and the first input terminal 41 of the synapse circuit 20 are connected by the first switch 22 while the switching pulse voltage V POST2 is at the HI level. That is, the first input signal voltage V PRE can be input to the first electrode 13 of the variable resistance element 10 while the switching pulse voltage V POST2 is at the HI level, and the variable resistance is maintained while the switching pulse voltage V POST2 is at the LO level.
  • the first input signal voltage V PRE cannot be input to the first electrode 13 of the element 10.
  • the first input signal voltage is applied to the first input terminal 41 while the first switch 22 conducts the first electrode 13 of the variable resistance element 10 and the first input terminal 41 by the switching pulse voltage V POST2 .
  • the non-linear waveform pulse voltage V PRE is input as 60, the pulse voltage is applied to the first electrode 13 of the variable resistance element 10 only during that time.
  • the non-linear waveform pulse voltage V POST1 and the switching pulse voltage V POST2 are input to the synapse circuit 20 at the same timing, so the first electrode of the variable resistance element 10 13 and the first input terminal 41 of the synapse circuit 20 are in conduction, the nonlinear waveform pulse voltage V POST1 is applied to the control electrode 15 of the variable resistance element 10. Therefore, the non-linear waveform pulse voltage V POST1 and the switching pulse voltage V POST2 and the non-linear waveform pulse voltage V PRE are temporally overlapped to input the first electrode 13 and the control electrode 15 of the variable resistance element 10. There is a finite potential difference between them. The resistance value of the variable resistance element 10 is changed by this potential difference.
  • the synaptic coupling strength of the synapse circuit 20 is updated by the change in the resistance value. “Learning” operation is possible.
  • the resistance value changes depending on the magnitude of the potential difference that changes depending on the timing at which the pulse voltage is applied.
  • the degree of changes also.
  • the asymmetric STDP shown in FIG. 12B can be realized by using the bipolar sawtooth pulse voltage shown in FIG. 2A as the nonlinear waveform pulse voltage.
  • the non-linear waveform pulse voltage V PRE is applied to the first electrode 13 of the variable resistance element 10 only when the switching pulse voltage V POST2 is HI.
  • the potential difference provided between the first electrode 13 and the control electrode 15 includes a first input voltage V PRE having a non-linear waveform applied to the first electrode 13 and a third input voltage having a non-linear waveform applied to the control electrode 15. represented by the difference value V POST1 -V PRE of V POST1.
  • V effect When the input timing difference t POST1 ⁇ t PRE between the first input voltage V PRE and the third input voltage V POST1 changes, the waveform of V effect also changes. For example, when t POST1 ⁇ t PRE ⁇ 0 (when the first input signal voltage V PRE is input earlier than the third input signal voltage V POST1 ), the nonlinear waveform pulse voltage V PRE and V POST1 overlap in time. , V effect has a large potential difference change in the negative direction. As the negative potential difference provided between the first electrode 13 and the control electrode 15 of the variable resistance element 10 increases, the conductivity (the reciprocal of the resistance value) decreases significantly.
  • the variable resistance element 10 can modulate the resistance value depending on the input timing difference.
  • the bipolar sawtooth pulse voltage V PRE input from another neural network circuit element is compared with the bipolar sawtooth pulse voltage V POST1 generated by the neuron circuit 30 in the same neural network circuit element 40. Therefore, it is not necessary to generate the comparison waveform by the synapse circuit 20 itself, and the area of the synapse circuit 20 can be reduced. Thereby, the circuit area of the neural network circuit element 40 itself can be reduced. Therefore, the learning operation based on the pulse timing can be realized with a smaller number of elements.
  • the waveform of the non-linear pulse waveform voltages V PRE and V POST1 is not particularly limited as long as it is a bipolar sawtooth pulse voltage waveform as described above. For example, as shown in FIG. It is possible to adopt a waveform in which the slope between is steeper than the slope of other portions. Since the slope of the region close to the 0 volt point is steep, the change in the potential difference V effect becomes large even when the input timing difference between the first input signal voltage VPRE and the third input signal voltage V POST1 is small. The sensitivity to input timing difference can be increased.
  • Example 1 (Production of variable resistance element 10) An oxide conductive film made of strontium ruthenate (SrRuO 3 ) having a thickness of 30 nm was deposited on a (001) single crystal substrate made of strontium titanate (SrTiO 3 ) by a pulse laser deposition (hereinafter referred to as PLD) method. The temperature of the substrate during deposition was 700 ° C. After deposition, the control electrode 15 was formed by photolithography and ion milling.
  • PLD pulse laser deposition
  • a ferroelectric film 12 made of lead zirconate titanate (Pb (Zr, Ti) O 3 ) having a thickness of 450 nm was deposited on the SRO using the PLD method. Thereafter, the temperature of the substrate was lowered to 400 ° C. Next, a semiconductor film 11 made of zinc oxide (ZnO) having a thickness of 30 nm was deposited.
  • Pb (Zr, Ti) O 3 lead zirconate titanate
  • a laminate composed of a titanium film having a thickness of 5 nm and a platinum film having a thickness of 30 nm was deposited by electron beam evaporation at room temperature. After the deposition, the first electrode 13 and the second electrode 14 were formed by a lift-off method. In this way, the variable resistance element 10 was obtained.
  • the synapse circuit shown in FIG. 5 was configured, and the STDP characteristics of the synapse circuit using the above-described variable resistance element 10 were evaluated.
  • a 0.1 volt DC voltage source was connected to V DD .
  • a switch circuit 25 as shown in FIG. 6 was used for the first switch.
  • the non-linear waveform pulse voltage V PRE is applied to the first electrode 13 of the variable resistance element 10 only when the switching pulse voltage V POST2 is HI, and during the other periods, the DC voltage source 23 and the variable resistance element 10 An operation is performed so that the first electrode 13 is connected.
  • the configuration of the second switch 21 in FIG. 1 is omitted.
  • the waveform shown in FIG. 6A is a non-linear waveform pulse voltage V PRE
  • the waveform shown in FIG. 6B is a switching pulse voltage V POST2
  • the switch circuit 25 is used as the first switch 22 in FIG.
  • the switching operation as shown was realized.
  • An asymmetric STDP as shown in FIG. 12B was obtained.
  • the integrating circuit 31 includes an operational amplifier 53, a capacitor 36, and a resistor 37.
  • the capacitance value of the capacitor 36 was 1 picofarad, and the resistance value of the resistor 37 was 1 megohm.
  • the integration circuit 31 charges the capacitor 36 using the current input from the synapse circuit 20. This operation, the time integral of the operation result of the current is output as the integral voltage V n.
  • the capacitor 36 is disposed between the negative input terminal ( ⁇ ) and the output terminal of the operational amplifier 35.
  • the output signal of the operational amplifier 35 returns to the negative input terminal ( ⁇ ) via the resistor 37. As a result, the input to the negative input terminal ( ⁇ ) becomes virtual ground by the feedback function of the operational amplifier 35.
  • the constant is determined by the predetermined power supply voltage and the resistance value of the variable resistance element 20 regardless of the number of synapse circuits 20 and the integrated potential of the capacitor 36.
  • a current is input to the neuron circuit 30 through each synapse circuit 20.
  • a circuit 25 similar to FIG. 5 is used as the first switch 22 of the synapse circuit 20 shown in FIG. 7, and a field effect transistor 24 is used as the second switch 21.
  • a non-linear waveform pulse voltage V PRE is applied to the gate terminal of the field effect transistor 24.
  • the field effect transistor 24 used in this embodiment is turned on when the non-linear waveform pulse voltage V PRE is HI, and is turned off otherwise. Since the on-resistance of the field effect transistor 24 is 1/100 or less of the resistance value of the variable resistance element 10, the resistance value between the DC voltage source 23 and the negative input terminal ( ⁇ ) of the operational amplifier 35 is approximately variable resistance element. Equal to a resistance value of 10. Accordingly, a pulse current flows through the variable resistance element 10 only when the nonlinear waveform pulse voltage V PRE is HI. The magnitude of the pulse current is approximately proportional to the reciprocal (conductivity) of the resistance value of the variable resistance element 10.
  • Nonlinear waveform pulse voltage V PRE is evaluated for integral voltage V n after being applied 20 microseconds.
  • the waveform shown in FIG. 6A is the non-linear waveform pulse voltages V PRE and V POST1
  • the waveform shown in FIG. 6B is the switching pulse voltage V POST2 .
  • the amount of change in the integrated voltage is shown on the left axis of FIG.
  • the change amount of the integration voltage shows a characteristic corresponding to the change amount of the conductivity, and it is shown that the STDP characteristic of the variable resistance element 10 is also reflected in the integration operation of the integration circuit 31.
  • the present invention can be used for load update operation of a neural network circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

　パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法を提供する。シナプス回路(20)は、可変抵抗素子(10)を具備し、可変抵抗素子(10)の第１電極(13)に、第１入力信号（他のニューラルネットワーク回路素子(40)の出力信号）が入力可能な状態と入力不能な状態とが切り替えられるように構成されており、ニューロン回路(30)は、双極性ノコギリ形パルス電圧を発生させる波形発生回路(32)を備え、第１入力信号が双極性ノコギリ形パルス波形を有するように構成され、第１電極(13)に前記第１入力信号が入力可能な状態である間、可変抵抗素子(10)の制御電極(15)に、当該可変抵抗素子(10)と同じニューラルネットワーク回路素子(40)内で生成された双極性ノコギリ形パルス電圧を入力し、第１電極(13)に印加される電圧と制御電極(15)に印加される電圧との入力タイミング差に依存して生じる第１電極(13)と制御電極(15)との間の電位差によって、可変抵抗素子(10)の抵抗値を変化させる。

Description

ニューラルネットワーク回路の学習方法
　本発明は、ニューラルネットワーク回路の学習方法に関する。
　現在、コンピュータの発展は目覚しく、日常の様々な場面で利用されている。しかし、これまでのコンピュータの処理能力の発展は部品の微細化とアルゴリズムの進化によって達成されたものであり、基本的な情報処理の原理は変化していない。一方で、これらのコンピュータは、その処理方式の特性のため、人が容易に行うことができる動作を非常に不得意としている。例えば、リアルタイムでの顔認識や、空間構造の把握などが挙げられる。こういった処理能力は、最新のアルゴリズムと最大規模のコンピュータを用いても人間の処理速度に及ばない。
　これに対して、生体の脳の情報処理方式を模倣したコンピュータの研究が行われている。この処理モデルの最も基本となるものがニューラルネットワーク（neural network）である。
　ニューラルネットワークは生体の神経回路網を模したものである。ここで、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、ニューラルネットワークを実現するニューラルネットワーク回路として、生体の神経回路をより忠実に真似て、パルスを直接扱うモデルが提案されている。例えば、特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。このモデルは、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデルである。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。このモデルは、パルスとパルスの時間的間隔とを用いてアナログ情報を表現するモデルである。これらパルス信号を扱うモデルでは、ニューロン（neuron）間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易であるという利点がある。しかし、特許文献１のようなパルス密度モデルでは密度を抽出する必要があるため、情報を表現するために一定の時間を要する。そのため、ニューロンの細かい時間スケールでの振る舞いを表現することはできないという欠点がある。一方、特許文献２のようなパルスタイミングモデルは、１つ１つのパルスによって情報を表現できるため、パルス密度モデルよりも高速な情報処理が可能である。例えば、非特許文献１には、パルスタイミングモデルを用いることで、パルス密度モデルを用いた場合よりも高い性能が得られることが開示されている。
特開平７－１１４５２４号公報 特開２０１０－１４６５１４号公報
Ｗ．　Ｍａａｓｓ、"Ｎｅｔｗｏｒｋｓ　ｏｆ　Ｓｐｉｋｉｎｇ　Ｎｅｕｒｏｎｓ：　Ｔｈｅ　Ｔｈｉｒｄ　Ｇｅｎｅｒａｔｉｏｎ　ｏｆ Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｍｏｄｅｌｓ、"　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ、　ｖｏｌ．　１０、　ｎｏ．　９、　ｐｐ．　１６５９－１６７１、　１９９７．
　しかしながら、特許文献２のようなパルスタイミングモデルを実現するニューラルネットワーク回路では、ニューラルネットワーク回路全体の回路面積が大きくなるという課題を有していた。
　本発明の目的は、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法を提供することである。
　上記課題を解決するための一の態様に係るニューラルネットワーク回路の学習方法は、複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、前記シナプス回路（２０）は、半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、前記可変抵抗素子（１０）の前記第１電極（１３）に、前記第１入力信号が入力可能な状態と入力不能な状態とが切り替えられるように構成されており、前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧を発生させる波形発生回路（３２）を備え、前記第１入力信号が双極性ノコギリ形パルス波形を有するように構成され、前記第１電極（１３）に前記第１入力信号が入力可能な状態である間、前記可変抵抗素子（１０）の前記制御電圧に、当該可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記双極性ノコギリ形パルス電圧を入力し、前記第１電極（１３）に印加される電圧と前記制御電極（１５）に印加される電圧との入力タイミング差に依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させるものである。
　本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
　本発明によれば、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができる。
図１は、実施の形態における、ニューラルネットワーク回路素子のブロック図を示す。 図２Ａは、実施の形態における、第１入力電圧および第３入力電圧に用いる双極性ノコギリ形パルス電圧の形状を示す。 図２Ｂは、実施の形態における、第２入力信号電圧に用いる方形波パルス電圧の形状を示す。 図３は、実施の形態における、第１スイッチにおいて、図２Ａに示す双極性ノコギリ形パルス電圧ＶＰＲＥの導通と非導通を、図２Ｂに示す方形波パルス電圧ＶＰＯＳＴ２を用いて、スイッチする動作を示す。 図４Ａは、実施の形態における、可変抵抗素子の断面図を示す。 図４Ｂは、実施の形態における、可変抵抗素子の回路記号を示す。 図５は、実施例における、ＳＴＤＰの評価回路を示す。 図６Ａは、実施例１における、第１入力電圧に用いる双極性ノコギリ形パルス電圧の形状を示す。 図６Ｂは、実施例１における、第２入力信号電圧に用いる方形波パルス電圧の形状を示す。 図６Ｃは、実施例１における、非対称型ＳＴＤＰを示す。 図７は、実施例１における、積分動作の評価に用いた回路を示す。 図８は、実施例１における、積分動作の評価結果を示す。 図９Ａは、階層型ニューラルネットワークを説明するための概略図を示す。 図９Ｂは、相互結合型ニューラルネットワークを説明するための概略図を示す。 図１０は、一般的なニューロンの動作を説明するための概略図を示す。 図１１は、積分発火型ニューロンの動作を説明するための概略図を示す。 図１２Ａは、ＳＴＤＰを説明するための概略図を示す。 図１２Ｂは、非対称型ＳＴＤＰの特徴を示す概略図を示す。 図１２Ｃは、対称型ＳＴＤＰを示す概略図を示す。 図１３は、特許文献２に開示された、抵抗変化形メモリ素子の断面図を示す。 図１４Ａは、特許文献２に開示された、従来のＳＴＤＰニューラルネットワーク回路素子を示すブロック図を示す。 図１４Ｂは、特許文献２に開示された、従来のシナプス回路のＳＴＤＰ部を示すブロック図を示す。 図１４Ｃは、特許文献２に開示された、従来のシナプス回路のＳＴＤＰ部を示すブロック図を示す。 図１５は、実施の形態における、信号発生回路を示す。
　［ニューラルネットワークの説明］
　まず、本発明の実施の形態の前提となるニューラルネットワークおよびこれを実現するための従来におけるニューラルネットワーク回路の課題についてより詳しく説明する。ニューラルネットワークは生体の神経回路網を模したものである。ニューラルネットワークは、神経回路網における機能単位である神経細胞を模したニューロンを機能単位とし、複数のニューロンをネットワーク状に配置して情報処理を行う。例えば、図９Ａに示すようにニューロン１００を階層状に接続した階層型ニューラルネットワークや、図９Ｂに示すようにニューロン１００同士を相互に接続した相互結合型ニューラルネットワーク（ホップフィールドネットワーク）がある。
　ニューラルネットワークは、大きく２つの機能を有する。１つ目は、入力から出力を得る「処理」機能であり、２つ目は、ニューラルネットワーク全体の入出力の関係を所望のものに設定する「学習」機能である。
　［処理機能］
　ここでは階層型ニューラルネットワーク回路を例に、情報処理の動作について説明する。図９Ａに示した階層型ニューラルネットワーク回路は、入力層４００、中間層５００、出力層６００の３つの層を備えている。各層には少なくとも１つのニューロン１００が含まれる。入力層４００は中間層５００の各ニューロン１００と接続され、同様に、中間層５００の各ニューロン１００は出力層の各ニューロン１００と接続されている。入力信号２００は入力層４００へ入力され、中間層５００、出力層６００と順に伝播し、出力層６００から出力される。ニューロン１００では、入力値に対して後述する所定の演算が行われ、その出力値を次の層のニューロンへ伝播する。従って、出力層６００からの出力値が、ネットワークの最終出力３００となる。この一連の動作がニューラルネットワーク回路の情報処理であり、中間層５００に含まれるニューロンを十分多くとると、任意の入出力が実現される。図９Ａに示した階層型ニューラルネットワーク回路は３つの層を備えているが、中間層５００を複数備えることもできる。
　続いて、ニューラルネットワーク回路の構成単位であるニューロンについて説明する。図１０は、ニューロンの模式図である。ニューロン１００は、シナプス（synapse）部１２１，１２２とニューロン部１３０を備えている。なお、シナプス部１２１，１２２の数は前段に接続されたニューロンの数、つまり入力信号の数に等しい。シナプス部１２１，１２２は外部からの複数の入力信号１１１，１１２それぞれに対して重み付けを行う。重み付けの値（ｗ１、ｗ２）を結合荷重と呼ぶ。ニューロン部１３０は、シナプス部１２１，１２２によって重み付けされた入力信号の和を計算し、和の値を非線形演算した値を出力する。ここで、外部からの入力信号をそれぞれｘｉ（１、２、・・・、ｎ）と表すとする。ｎは入力信号の数に等しい。式１に示すように、シナプス部１２１，１２２は各入力信号に対して、対応する結合荷重の値ｗｉ（１、２、・・・、ｎ）を乗算し、ニューロン部１３０はそれらの和Ｖｎを計算する。
　　　Ｖｎ＝Σｗｉｘｉ　　　　　（式１）
　ここで、Σはｉについての和記号である。
　さらにニューロン部１３０は、求めた和Ｖｎに対して非線形演算ｆを行った結果を出力値ｙとする。従ってニューロン部１３０の出力ｙは式２のように表される。
　　　ｙ＝ｆ（Ｖｎ）　　　　　（式２）
　非線形関数ｆには、飽和特性を持つ単調増加関数が用いられる。例えば、ステップ関数（階段関数）やシグモイド関数（sigmoid function）が用いられることが多い。
　ニューラルネットワーク回路は、複数のニューロン部１３０が同時に演算を行うことができるため、並列処理性を持つ。つまり、従来型コンピュータの逐次情報処理とは異なり、並列情報処理が可能であることが特長である。
　［学習機能］
　ニューラルネットワーク回路の重要な特徴は、上述したように入力から出力を得る「処理」機能だけでなく、「学習」機能を備えている点である。ここで述べる学習とは、上述したシナプスの結合荷重を更新することで、ニューラルネットワーク回路全体の入出力の関係を所望のものに設定することである。
　［パルスニューロンモデル］
　ここまでニューラルネットワークの処理機能および学習機能について詳述してきた。これまでの説明に用いたモデルにおいては、ニューロン間で伝播する信号は、電流や電位の値をアナログ値で表現したものであった。これに対して、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、生体の神経回路をより忠実に真似て、パルスを直接扱うモデルが提案されている。例えば、特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。このモデルは、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデルである。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。このモデルは、パルスとパルスの時間的間隔とを用いてアナログ情報を表現するモデルである。これらパルス信号を扱うモデルでは、ニューロン間でやり取りする信号が一定波形の信号であるため、後述するハードウェア化が容易であるという利点がある。しかし、パルス密度モデルでは密度を抽出する必要があるため、情報を表現するために一定の時間を要する。そのためニューロンの細かい時間スケールでの振る舞いを表現することはできないという欠点がある。一方、パルスタイミングモデルは、１つ１つのパルスによって情報を表現できるため、パルス密度モデルよりも高速な情報処理が可能である。例えば、非特許文献１には、パルスタイミングモデルを用いることで、パルス密度モデルを用いた場合よりも高い性能が得られることが開示されている。
　上述のような、パルスを用いた情報表現に適用できるニューロンの動作モデルとして、積分発火モデルが提案されている。ここでは、２つの入力端子を有するニューロンの積分発火動作について、図１１を用いて説明する。
　図１１に示すように、外部もしくは他のニューロンから、シナプス１に入力パルスｘ１が入力され、シナプス２に入力パルスｘ２が入力されると、パルスが入力されたタイミングで、それぞれのシナプス部において単峰性の電圧変化が現れる。このようなシナプス部の電位をシナプス後電位（Post-synaptic potential、以下、「ＰＳＰ」と略記する）と呼ぶ。図１１の上から３つ目および４つ目のグラフは、シナプス１およびシナプス２でのＰＳＰの時間変化Ｐ１（ｔ）とＰ２（ｔ）を示す。ＰＳＰの高さはシナプス結合強度に比例する。ここでｔは時間を表す。
　ニューロンは、接続しているすべてのシナプスからのＰＳＰの総和を演算する。これを、ニューロンの内部電位Ｖｎ（ｔ）と呼ぶ。ニューロンへの入力端子が２つの場合、図１１の上から５つ目のグラフに示すように、内部電位Ｖｎ（ｔ）はＰ１（ｔ）とＰ２（ｔ）の和となる。一般的に表すと、内部電位Ｖｎ（ｔ）は式３のように表される。
　　　Ｖｎ（ｔ）＝ΣＰｉ（ｔ）　　　　　（式３）
　ここで、ＰｉはシナプスｉでのＰＳＰであり、Σはｉについての和記号である。
　図１３に示すように、内部電位Ｖｎがあらかじめ定められた閾値Ｖｔｈを超えると、そのニューロンはパルス信号ｙを出力する。これをニューロンの「発火」と呼ぶ。パルス出力ｙはニューロンから出力され、一定の伝達時間ｔＤｅｌａｙを経た後に、他のニューロンに入力される。
　パルスタイミングによる情報表現を用いる場合、学習動作におけるシナプス結合荷重の更新においてもパルスタイミングを利用することができる。特に、スパイクタイミングシナプス可塑性（Spike-timing dependent synaptic plasticity、以下では「ＳＴＤＰ」と略記する）と呼ばれる性質を用いた学習動作が注目を浴びている。ＳＴＤＰとは、あるシナプス１に着目したとき、シナプス１に信号を送るニューロン(前ニューロン)が発火するタイミングと、シナプス１に重み付けされた信号を受け取るニューロン(後ニューロン)が発火するタイミングに依存して、シナプス１のシナプス結合荷重が変化する特徴である。実際の生物の神経細胞においても、いくつかの種類のＳＴＤＰが観測されている。
　ここで図１２Ａを用いて、ＳＴＤＰについて説明する。図１２Ａに示すように、シナプス１２０に接続された前ニューロンが発火するタイミングをｔＰＲＥとし、後ニューロン発火するタイミングをｔＰＯＳＴとする。ＳＴＤＰとは、このときのｔＰＲＥとｔＰＯＳＴとの時間差ｔＰＯＳＴ－ｔＰＲＥを関数として、シナプスの結合強度ｗが変化する特性のことである。ＳＴＤＰには大きく分けて、２種類のものが知られている。図１２Ｂに示した特性が非対称型ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔＰＯＳＴ－ｔＰＲＥに加えて、両パルスの時間順序にも依存する。図１２Ｃに示した特性が対称型ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔＰＯＳＴ－ｔＰＲＥだけの関数で決まり、パルスの順番に依存しない。
　［集積回路化］
　ここまででニューラルネットワークの概要について詳述したが、ニューラルネットワーク回路を構成するにあたっては、上述したニューロンの機能をどのようにして実現するかが問題となる。これまで、従来型コンピュータを用い、ソフトウェア処理にてニューロンの機能を実現する手法を用いることが多かった。しかし、この場合、複数のニューロンにおける処理をＣＰＵが時分割で実行することになるため、本来の並列情報処理がなされない。そのため、ハードウェアを用いてニューロンを構成し集積回路化することが必須である。
　上述のように、パルスタイミングによる情報表現に基づくニューラルネットワーク回路は高い性能を実現できることが示唆されている。また、ニューロン間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易である。そのため、近年ではＳＴＤＰを用いた学習機能を実装したニューラルネットワークのハードウェア化、すなわちニューラルネットワーク回路の実現に関する研究が盛んである。ＳＴＤＰを用いた学習機能を含む従来のニューラルネットワーク回路においては、シナプス結合強度をアナログ量として記憶することに適した素子を実現することが最大の課題である。これについて、例えば特許文献２では、可変抵抗型メモリ素子の可変抵抗値をシナプス結合荷重として記憶させる手法が開示されている。図１３は特許文献２に開示された可変抵抗型メモリ素子７２０の断面模式図である。可変抵抗型メモリ素子７２０は金属酸化膜７２２を上部電極７２１と下部電極７２３で挟んだ構造を有する。上部電極７２１と下部電極７２３との間に電圧を印加すると、流した電流値に依存して上部電極７２１と下部電極７２３との間の抵抗値が不揮発に変化する素子である。
　図１４Ａは特許文献２に開示された従来のＳＴＤＰニューラルネットワーク回路素子のブロック図である。ここで、ニューラルネットワーク回路素子とは、ニューラルネットワークの機能単位であるニューロンをハードウェアで再現したものである。ニューラルネットワーク回路素子７００は、複数のシナプス回路７１０と、１つのニューロン回路７３０と、を備えている。シナプス回路７１０は、可変抵抗型メモリ素子７２０を用いてシナプス結合荷重を記憶している。また、上述した手法で、可変抵抗型メモリ素子７２０の抵抗値を変更することによって、学習機能を実現している。図１４Ｂおよび図１４Ｃは、図１４Ａ中に示されたＳＴＤＰ部の具体的な構成について、特許文献２に例示された回路図である。
　図９Ａおよび図９Ｂからわかるように、ニューラルネットワーク回路を構成するには、１つのニューロン回路に対して複数の入力端子が必要となる。また、ニューラルネットワーク回路全体のニューラルネットワーク回路素子の数が増えるに従って、１つのニューロン回路に対して必要となる入力端子の数は増加する。１つのニューロン回路に対して、入力端子の数と同数のシナプス回路が必要となる。そのため多数のニューラルネットワーク回路素子からなるニューラルネットワーク回路を構成すると、非常に多くのシナプス回路が必要となる。例えば、図９Ｂに示した相互結合型ニューラルネットワーク回路では、ニューロンの数をｎとしたときに必要なシナプスの数はｎの２乗となる。従って、ニューラルネットワーク回路をより小面積化するにはシナプス回路の構成を簡略化することが重要である。
　従来のニューラルネットワーク回路素子７００では、ニューロン回路７３０へ伝播させる信号および、ＳＴＤＰによって抵抗変化型メモリ素子７２０のシナプス荷重を更新するための信号を、シナプス回路７１０の中で生成している。例えば、図１４Ａ中のパルス発生部やＳＴＤＰ部で波形を生成している。そのため、シナプス回路内に図１４Ｂおよび図１４Ｃに示すような信号発生器や演算回路が必要となり、シナプス回路７１０の構成が大規模なものとなってしまっていた。
　以上の点から、従来のシナプス回路７１０およびその駆動法では、シナプス回路７１０の面積が極めて大きくなるという課題を有しており、これを用いたニューラルネットワーク回路も大規模になっていた。
　上記従来の課題に対して、本発明の発明者らは、鋭意研究の末、ＳＴＤＰによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法およびニューラルネットワーク回路として、以下のような態様を想到するに至った。
　本発明の発明者らは、従来のニューラルネットワーク回路素子７００において、シナプス回路７１０内でシナプス荷重を更新するための非線形波形を生成しているのは、シナプス回路７３０に入力される他のニューラルネットワーク回路素子からの信号（ここでは他の入力信号と称する）がスパイクパルスそのもの（図１１における入力パルスｘ１）であることに起因するものであることに着目した。つまり、従来の構成においては、他の入力信号がスパイクパルスであることにより、入力された当該シナプス回路７１０と同じニューラルネットワーク回路素子７００で生成されたスパイクパルス（ここでは自己の入力信号と称する）と比較するために、他の入力信号をトリガとして当該シナプス回路７１０で非線形波形を新たに生じさせる必要性が生じていた。
　そこで、本発明の発明者らは、ニューラルネットワーク回路素子の出力信号自体を非線形波形とし、他の入力信号および自己の入力信号のいずれをも非線形波形としてこれらを比較することにより、他の入力信号が入力されるシナプス回路で非線形波形を別途生成する必要性をなくすことができるという知見を得た。さらに、非線形波形同士を比較する際に、入力タイミング差を有効に検出するために、当該非線形波形として、後述する双極性ノコギリ形波形（bipolar sawtooth waveform）が好適に採用できるという知見を得るに至った。
　以下、本発明の実施の形態によるニューラルネットワーク回路の学習方法を、図面を参照しながら説明する。
　（実施の形態）
　図１は、実施の形態によるニューラルネットワーク回路素子４０のブロック図を示す。１つのニューラルネットワーク回路素子４０は、少なくとも１つの入力端子５１と、入力端子５１の数と同数のシナプス回路２０と、１つのニューロン回路３０と、１つの出力端子５２と、を備えている。ニューラルネットワーク回路は、図９Ａおよび図９Ｂに示すように、複数のニューラルネットワーク回路素子４０が接続されることで構成される。具体的には、ニューラルネットワーク回路素子４０の出力端子５２は、他のニューラルネットワーク回路素子４０の入力端子５１に接続される。
　ニューラルネットワーク回路素子４０の入力端子５１は、シナプス回路２０の第１入力端子４１に接続されている。シナプス回路２０の出力端子４４は、ニューロン回路３０の入力端子４５に接続されている。ニューロン回路３０の第１出力端子４６は、ニューラルネットワーク回路素子４０の出力端子５２に接続されている。なお、図１では、図面の見易さのため、１つのニューロン回路３０および１つのシナプス回路２０のみが記載されているが、実際には、１つのニューロン回路３０に対して複数のシナプス回路２０が接続される。
　ニューロン回路３０は、積分回路３１と、波形発生回路３２と、遅延回路３３と、を備える。
　ニューロン回路３０の入力端子４５は、積分回路３１に接続されている。積分回路３１は、ニューロン回路３０に接続されている複数のシナプス回路２０から流れ込む電流の和を演算する。そして、演算値が所定の値を超えたときに、波形発生回路３２へ信号（トリガ信号）を出力する。
　信号発生回路３２は、積分回路３１からの信号をトリガとして、非線形波形パルス電圧ＶＰＯＳＴ１およびスイッチングパルス電圧ＶＰＯＳＴ２を生成する。非線形波形パルス電圧ＶＰＯＳＴ１は、例えば、図２Ａに示した形状、またはそれらを符号反転させた形状である。ここで図２Ａに示した非線形波形パルス電圧を「双極性ノコギリ形パルス電圧」と呼ぶこととする。双極性ノコギリ形パルス電圧の特徴は、初めは０ボルトである電位が、時間経過と共に所定の正の電位まで上昇し、その後、所定の負の電位まで低下した後に、再び０ボルトに戻ることである。スイッチングパルス電圧ＶＰＯＳＴ２には、例えば図２Ｂに示した方形波パルス電圧が用いられ得る。
　例えば、信号発生回路３２は、図１５に示すように、積分回路３１からの出力信号をトリガとして駆動するデジタル／アナログコンバータ３２１と、双極性ノコギリ形パルス電圧を生成するためのデジタル波形データが記憶されたデジタルメモリ３２２とを備えている。デジタル／アナログコンバータ３２１は、積分回路３１からの出力信号が入力されると、デジタルメモリ３２２からデジタル波形データを読み出し、これをアナログ波形に変換して出力する。
　非線形波形パルス電圧ＶＰＯＳＴ１は、ニューロン回路３０の第２出力端子４７に出力される。第２出力端子４７は、ニューロン回路３０に接続された、他のすべてのシナプス回路２０の第３入力端子４３に接続され、第３入力信号電圧８０として入力される。また、非線形波形電圧ＶＰＯＳＴ１は遅延回路３３によって所定の遅延時間を経過した後、第１出力端子４６に出力される。ニューロン回路３０の第１出力端子４６は、ニューラルネットワーク回路素子４０の出力端子５２に接続されているので、遅延回路３３の出力信号がニューラルネットワーク回路素子４０の出力信号となる。そして、この出力信号が他のニューラルネットワーク回路素子（図示省略）におけるシナプス回路の第１入力端子に第１入力信号電圧として入力されることとなる。スイッチングパルス電圧ＶＰＯＳＴ２は、ニューロン回路３０の第３出力端子４８に出力される。第３出力端子４８は、ニューロン回路３０に接続された、すべてのシナプス回路２０の第２入力端子４２に接続され、第２入力信号電圧７０として入力される。
　シナプス回路２０は、第１スイッチ２２と、第２スイッチ２１と、可変抵抗素子１０と、所定の直流電圧源２３と、を備える。シナプス回路２０の第１入力端子４１は、第１スイッチ２２の第１入力端子２６に接続されている。シナプス回路２０の第２入力端子４２は、第１スイッチの制御端子２９に接続されている。
　第１スイッチ２２の出力端子２８は、可変抵抗素子１０の第１電極１３に接続されている。シナプス回路２０の第３入力端子４３は、可変抵抗素子１０の制御電極１５に接続されている。シナプス回路２０の出力端子４４は、可変抵抗素子１０の第２電極１４に接続されている。シナプス回路２０の出力端子４４は、ニューロン回路３０の入力端子４５に接続されている。シナプス回路２０の第１入力端子４１への第１入力信号電圧６０は、他のニューラルネットワーク回路素子（図示省略）からの非線形波形パルス電圧ＶＰＲＥである。またシナプス回路２０の第２入力端子４２への第２入力信号電圧７０は、ニューロン回路３０の波形生成回路３２が生成したスイッチングパルス電圧ＶＰＯＳＴ２である。またシナプス回路２０の第３入力端子４３への第３入力信号電圧８０は、同じニューラルネットワーク回路素子４０内のニューロン回路３０の波形生成回路３２が生成した非線形波形パルス電圧ＶＰＯＳＴ１である。
　ここで、本実施の形態のニューラルネットワーク回路素子４０の構成において重要な点は、波形生成はすべてニューロン回路３０で行い、生成した非線形波形パルス電圧ＶＰＯＳＴ１とスイッチングパルス電圧ＶＰＯＳＴ２を用いて処理および学習動作を行うことである。これによってシナプス回路２０を簡略化することができる。
　次に、可変抵抗素子１０について説明する。図４Ａおよび図４Ｂは、それぞれ、可変抵抗素子１０の断面模式図および回路記号を示す。可変抵抗素子１０は、半導体膜１１、強誘電体膜１２、第１電極１３、第２電極１４および制御電極１５を具備する。Ｚ軸は強誘電体膜１２の法線方向である。Ｘ軸はＺ軸に直交する方向である。また、可変抵抗素子１０の回路記号を図４Ｂのように表記することとする。図１には、図４Ｂの表記に基づいて当該可変抵抗素子１０が組み込まれたニューラルネットワーク回路素子４０が示されている。
　半導体膜１１の材料の例は、ＺｎＯ、ＧａＮ、またはＩｎＧａＺｎＯである。強誘電体膜１２の材料の例は、Ｐｂ（Ｚｒ、Ｔｉ）Ｏ３、Ｓｒ（Ｂｉ，Ｔａ）Ｏ、またはＢｉ１２ＴｉＯ２０である。第１電極１３、第２電極１４および制御電極１５の例は、白金膜およびチタン膜から構成される積層体である。
　半導体膜１１、強誘電体膜１２および制御電極１５はＺ軸に沿って積層されている。半導体膜１１の表側の面に、第１電極１３および第２電極１４が配置されている。
　次に、本実施の形態における、可変抵抗素子１０の可変抵抗値について、図４Ａを用いて説明する。可変抵抗素子１０の可変抵抗値とは、第１電極１３と第２電極１４との間の抵抗値である。強誘電体膜１２の一部分が上方向の分極方向を有する場合、当該一部分の上に積層している半導体膜１１の部分は低い抵抗を有する。一方、強誘電体膜１２の一部分が下方向の分極方向を有する場合、当該一部分の上に積層している半導体層１１の部分は高い抵抗を有する。このとき、第１電極１３と第２電極１４との間の抵抗値は、第１電極１３と第２電極１４とに挟まれた領域の半導体の抵抗値となる。従って、当該領域の下に積層されている強誘電体膜１２のうち上方向と下方向の分極方向を有する領域の割合によって、第１電極１３と第２電極１４との間の抵抗値は連続的に変化する。
　次に、本実施の形態による可変抵抗素子１０の抵抗値の制御方法について、図４Ａを用いて説明する。可変抵抗素子１０では、第１電極１３および第２電極１４と制御電極１５との間に電位差を設けることで、強誘電体膜１２の分極方向を変化させ、第１電極１３と第２電極１４との間の抵抗値が制御される。例えば、第１電極１３および第２電極１４を基準として、両電極と制御電極１５との間に正の電位差を設けると、強誘電体膜１２の分極による電場の向きが上方向（半導体膜１１側）に向きやすくなる。反対に、負の電位差を設けると、強誘電体膜１２の分極による電場の向きが下方向（制御電極１５側）に向きやすくなる。また、与える電位差の絶対値が大きいほど、電位差による強誘電体膜１２の分極の変化量が大きくなる。したがって、正の電位差を設けると第１電極１３と第２電極１４との間の抵抗値は減少し、負の電位差を設けると第１電極１３と第２電極１４との間の抵抗値は増加し、それら抵抗値の変化は与えた電位差の絶対値が大きいほど顕著になる。ここで、上方向とは半導体膜１１が積層されている方向であり、下方向とは制御電極１５が積層されている方向を意味している。
　ここでは、第１電極１３および第２電極１４と制御電極１５の間との間に電位差を設けることで、可変抵抗素子１０の抵抗値を制御する手法について説明したが、例えば、第１電極１３と制御電極１５との間に電位差を設けることや、第２電極１４と制御電極１５との間に電位差を設けることによっても、可変抵抗素子１０の抵抗値を制御することができる。
　次にニューラルネットワーク回路素子４０の動作の詳細について説明する。
　まず、処理動作について説明する。
　「処理」動作の間は、シナプス回路の第２入力信号電圧７０によって、第１スイッチ２２は、可変抵抗素子１０の第１電極１３と、第１スイッチ２２の第２入力端子２７と、が導通されている状態を保つ。
　また、第２スイッチ２１は、第１入力信号である非線形波形パルス電圧ＶＰＲＥがシナプス回路２０に入力されている間、所定の第１基準電圧（電源電圧ＶＤＤ）を供給する直流電圧源（第１基準電圧源）２３と可変抵抗素子１０の第１電極１３とを接続する。すなわち、他のニューラルネットワーク回路素子（図示省略）から、非線形波形パルス電圧ＶＰＲＥが第１入力信号電圧６０としてシナプス回路２０へ入力されると、その非線形波形パルス電圧ＶＰＲＥによって第２スイッチ２１が開閉される。例えば第２スイッチ２１は、非線形波形パルス電圧ＶＰＲＥが所定の電圧以上となるＨＩレベルの期間に閉状態となり、それ以外の期間に開状態となる。また、シナプス回路２０の第２電極１４は、グランド電圧（第１基準電圧と異なるように、第２基準電圧源から供給される第２基準電圧）と等電位となる。
　可変抵抗素子１０の第１電極１３と第１スイッチ２２の第２入力端子２７とは、第１スイッチ２２によって導通されているので、第２スイッチ２１が閉状態になると、第１基準電圧源である直流電圧源２３と可変抵抗素子１０の第１電極１３とが接続される。可変抵抗素子１０は、前述したように第１電極１３と第２電極１４との間の抵抗値が可変する特性を有している。第２スイッチ２１が閉状態になることにより、可変抵抗素子１０の第１電極１３と第２電極１４との間に電源電圧ＶＤＤが印加され、直流電圧源２３から可変抵抗素子１０の第２電極１４へ、可変抵抗素子１０の現時点の伝導率（抵抗値の逆数）に比例した電流が流れ、ニューロン回路３０に入力される。ニューロン回路３０に入力される電流の大きさは、シナプス結合荷重ｗに比例しており、図１１のＰＳＰ（Ｐ１（ｔ），Ｐ２（ｔ））を表現している。従って、本実施の形態では、可変抵抗素子１０の伝導率（抵抗値の逆数）がシナプス結合荷重ｗに相当することとなる。
　このようなニューロン回路３０への入力は、複数の他のニューラルネットワーク回路素子からシナプス回路２０を介して非同期的に与えられる。これら複数のシナプス回路２０からの入力電流が、ニューロン回路３０の積分回路３１において時空間加算される。時空間加算によって生じる積分電圧は内部電位Ｖｎとみなせる。内部電位Ｖｎが所定の閾値電圧ＶＴＨを超えると、波形発生回路３２がパルス電圧（ＶＰＯＳＴ１，ＶＰＯＳＴ２）を生成する。このうち、波形発生回路３２で生成された非線形波形パルス電圧ＶＰＯＳＴ１は、遅延回路３３により設定された所定の遅延時間が経過した後、他のニューラルネットワーク回路素子回路（図示省略）のシナプス回路の第１入力端子へ印加される。この遅延時間はニューロンモデルにおける伝達遅延時間ｔＤｅｌａｙに相当する。
　次に、学習動作、特にＳＴＤＰを利用した学習動作について説明する。
　「学習」動作時には、ニューロン回路３０の波形発生回路３２は非線形波形パルス電圧ＶＰＯＳＴ１と同時にスイッチングパルス電圧ＶＰＯＳＴ２を生成する。例えば、図２Ａおよび図２Ｂのそれぞれに点線で示される時刻Ｔｉｎが同じ時刻となるように、パルス電圧を出力する。非線形波形パルス電圧ＶＰＯＳＴ１は第３入力信号電圧８０としてシナプス回路２０の可変抵抗素子１０の制御電極１５へ与えられる。スイッチングパルス電圧ＶＰＯＳＴ２は第２入力信号電圧６０としてシナプス回路２０の第１スイッチ２２の制御端子２９へ与えられる。また他のニューラルネットワーク回路素子の非線形波形パルス電圧ＶＰＲＥが、第１入力信号電圧６０としてシナプス回路２０の第１スイッチ２２に入力される。シナプス回路２０では、スイッチングパルス電圧ＶＰＯＳＴ２によって、第１スイッチ２２を切り替える。
　次に、可変抵抗素子１０を具備するシナプス回路２０において、ＳＴＤＰを実現する方法について、図１を用いて説明する。例えば、スイッチングパルス電圧ＶＰＯＳＴ2がＨＩレベルの期間は、第１スイッチ２２によって、可変抵抗素子１０の第１電極１３と、シナプス回路２０の第１入力端子４１とが接続される場合を考える。すなわち、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩレベルの期間、可変抵抗素子１０の第１電極１３に第１入力信号電圧ＶＰＲＥが入力可能な状態となり、スイッチングパルス電圧ＶＰＯＳＴ２がＬＯレベルの期間、可変抵抗素子１０の第１電極１３に第１入力信号電圧ＶＰＲＥが入力不能な状態となる。この場合、スイッチングパルス電圧ＶＰＯＳＴ２によって、第１スイッチ２２が可変抵抗素子１０の第１電極１３と第１入力端子４１とを導通させている間に、第１入力端子４１に第１入力信号電圧６０として、非線形波形パルス電圧ＶＰＲＥが入力されると、その間だけ、可変抵抗素子１０の第１電極１３にパルス電圧が印加される。ここで、図２Ａおよび図２Ｂに示したように、非線形波形パルス電圧ＶＰＯＳＴ１と、スイッチングパルス電圧ＶＰＯＳＴ2とは、同じタイミングでシナプス回路２０に入力されるので、可変抵抗素子１０の第１電極１３と、シナプス回路２０の第１入力端子４１とが導通している間に、非線形波形パルス電圧ＶＰＯＳＴ１が、可変抵抗素子１０の制御電極１５に印加される。従って、非線形波形パルス電圧ＶＰＯＳＴ1およびスイッチングパルス電圧ＶＰＯＳＴ２と、非線形波形パルス電圧ＶＰＲＥとが時間的に重なって入力されることで、可変抵抗素子１０の第１電極１３と制御電極１５との間に有限の電位差が設けられる。この電位差によって可変抵抗素子１０の抵抗値が変更される。上述のとおり、本実施の形態においては、可変抵抗素子１０の抵抗値の逆数（伝導率）がシナプス結合強度を表わしているので、その抵抗値の変化によりシナプス回路２０のシナプス結合強度を更新する「学習」動作が可能となる。
　また、非線形波形パルス電圧ＶＰＯＳＴ１およびスイッチングパルス電圧ＶＰＯＳＴ２と、非線形波形パルス電圧ＶＰＲＥとが印加されるタイミングによって、可変抵抗素子１０の第１電極１３と制御電極１５との間に設けられる電位差の大きさは変化する。上述のように、可変抵抗素子１０の抵抗値変化の程度は印加される電圧の大きさに依存するので、パルス電圧が印加されるタイミングによって変化する電位差の大きさに依存して、抵抗値変化の程度も変化する。本実施形態では、図２Ａに示した双極性ノコギリ形パルス電圧を非線形波形パルス電圧として用いることで、図１２Ｂに示した非対称型のＳＴＤＰを実現することができる。
　非線形波形パルス電圧ＶＰＲＥおよびＶＰＯＳＴ１を図２Ａに示す双極性ノコギリ形パルス電圧とし、スイッチングパルス電圧ＶＰＯＳＴ２を図２Ｂに示す方形波パルス電圧としたときの、第１スイッチ２２の動作について、図３にまとめた。ここでは、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の第１電極１３に印加される場合を考える。第１電極１３と制御電極１５との間に設けられる電位差は、第１電極１３に印加される非線形波形の第１入力電圧ＶＰＲＥと、制御電極１５に印加される非線形波形の第３入力電圧ＶＰＯＳＴ１の差分値ＶＰＯＳＴ1－ＶＰＲＥで表される。この差分値をＶｅｆｆｅｃｔとする。第１入力電圧ＶＰＲＥと第３入力電圧ＶＰＯＳＴ１の入力タイミング差ｔＰＯＳＴ１－ｔＰＲＥが変化すると、Ｖｅｆｆｅｃｔの波形も変化する。例えばｔＰＯＳＴ１－ｔＰＲＥ＜０のとき（第１入力信号電圧ＶＰＲＥが第３入力信号電圧ＶＰＯＳＴ１より早く入力されるとき）、非線形波形パルス電圧ＶＰＲＥとＶＰＯＳＴ１とが時間的に重なると、Ｖｅｆｆｅｃｔは、負方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３と制御電極１５との間に設けられる負の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく減少する。従って、Ｖｅｆｆｅｃｔの負方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく減少する。一方、ｔＰＯＳＴ１－ｔＰＲＥ＞０のとき（第１入力信号電圧ＶＰＲＥが第３入力信号電圧ＶＰＯＳＴ１より遅く入力されるとき）は、非線形波形パルス電圧ＶＰＲＥとＶＰＯＳＴ１とが時間的に重なると、Ｖｅｆｆｅｃｔは、正方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３と制御電極１５との間に設けられる正の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく増加するので、Ｖｅｆｆｅｃｔの正方向の変化が大きくなるときに、伝導率(抵抗値の逆数)が大きく増加する。
　このようにスイッチングパルス電圧ＶＰＯＳＴ２を用いて第１スイッチ２２を切り替えることで、同じニューラルネットワーク回路素子４０内で生成された第３入力電圧ＶＰＯＳＴ１と他のニューラルネットワーク回路素子から入力された第１入力信号電圧ＶＰＲＥとの入力タイミング差に基づいて、可変抵抗素子１０の第１電極１３と制御電極１５との間に、当該入力タイミング差に依存した電位差が設けられる。このようにして設けられた電位差によって、可変抵抗素子１０において入力タイミング差に依存した抵抗値の変調が実現される。
　このように、他のニューラルネットワーク回路素子から入力される双極性ノコギリ形パルス電圧ＶＰＲＥを、同じニューラルネットワーク回路素子４０内のニューロン回路３０で生成される双極性ノコギリ形パルス電圧ＶＰＯＳＴ１と比較するため、当該比較用の波形をシナプス回路２０自身で生成する必要がなくなり、シナプス回路２０の面積を小さくすることができる。これにより、ニューラルネットワーク回路素子４０自体の回路面積を小さくすることができる。従って、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができる。
　また、比較対象となる非線形パルス波形電圧ＶＰＲＥ，ＶＰＯＳＴ１として、２つの極性を有し、０ボルトの地点を基準として点対称となるような双極性ノコギリ形パルス電圧波形を用いている。このため、第１入力信号電圧ＶＰＲＥと第３入力信号電圧ＶＰＯＳＴ１との間のタイミングずれを容易に可変抵抗素子１０の抵抗値の変調に反映させることができる。
　非線形パルス波形電圧ＶＰＲＥ，ＶＰＯＳＴ１の波形は、上記のような双極性ノコギリ形パルス電圧波形である限り特に限定されないが、例えば、図２Ａに示すように各極性の頂点と０ボルトの地点との間の傾きが他の部分の傾きより急峻であるような波形が採用可能である。０ボルトの地点に近い領域の傾きが急峻であることにより、第１入力信号電圧ＶＰＲＥと第３入力信号電圧ＶＰＯＳＴ１との入力タイミング差がわずかである場合でも電位差Ｖｅｆｆｅｃｔの変化が大きくなるため、入力タイミング差に対して感度を高めることができる。
　なお、本実施の形態では、非線形波形パルス電圧ＶＰＲＥを用いて、シナプス回路２０の第２スイッチ２１を開閉したが、例えば非線形波形パルス電圧ＶＰＲＥが入力されている間、所定の電圧となるような方形波パルス電圧を用いて第２スイッチ２１を開閉してもよい。
　（実施例）
　以下の実施例を参照しながら本発明をより詳細に説明する。
　（実施例１）
　（可変抵抗素子１０の作製）
　厚さ３０ｎｍのルテニウム酸ストロンチウム（ＳｒＲｕＯ３）からなる酸化物導電膜を、チタン酸ストロンチウム（ＳｒＴｉＯ３）からなる（００１）単結晶基板上に、パルスレーザデポジション（以下ＰＬＤ）法によって堆積した。堆積時の基板の温度は７００℃であった。堆積後、フォトリソグラフィおよびイオンミリング法によって制御電極１５を形成した。
　基板の温度が７００℃である状態で、ＰＬＤ法を用いてＳＲＯ上に厚さ４５０ｎｍのジルコニウム酸チタン酸鉛（Ｐｂ（Ｚｒ，Ｔｉ）Ｏ３）からなる強誘電体膜１２を堆積した。その後、基板の温度を４００℃まで下げた。次いで、厚さ３０ｎｍの酸化亜鉛（ＺｎＯ）からなる半導体膜１１を堆積した。
　半導体膜１１上にパターニングされたレジストを形成した後、厚さ５ｎｍのチタン膜と、厚さ３０ｎｍの白金膜から構成される積層体を、室温下で電子ビーム蒸着法によって堆積した。堆積後、リフトオフ法によって第１電極１３と第２電極１４を形成した。このようにして、可変抵抗素子１０を得た。
　（シナプス回路の評価）
　図５に示したシナプス回路を構成し、上述の可変抵抗素子１０を用いたシナプス回路のＳＴＤＰ特性を評価した。ＶＤＤには０．１ボルトの直流電圧源を接続した。第１スイッチには図６に示すようなスイッチ回路２５を用いた。スイッチ回路２５はスイッチングパルス電圧ＶＰＯＳＴ2がＨＩの期間だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の第１電極１３に印加され、それ以外の期間は直流電圧源２３と可変抵抗素子１０の第１電極１３が接続されるような動作を行う。なお、図５においては図１における第２スイッチ２１の構成は省略している。
　本実施例では、図６Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図６Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ2とし、スイッチ回路２５を図１における第１スイッチ２２として用いることで図３に示したようなスイッチング動作を実現した。印加する非線形波形パルス電圧ＶＰＲＥおよびスイッチングパルス電圧ＶＰＯＳＴ２のタイミングを変えながら、両パルス電圧を印加する前後の伝導率（抵抗値の逆数）の変化を測定すると、図６Ｃに示したように、図１２Ｂのような非対称形のＳＴＤＰが得られた。
　（積分動作の評価）
　次に、図７に示したような、１つのシナプス回路２０に積分回路３１を接続した回路を作製し、ＳＴＤＰによる可変抵抗素子１０の抵抗変化に伴う積分動作の変化について評価した。
　積分回路３１は、オペアンプ５３、キャパシタ３６および抵抗３７から構成される。キャパシタ３６の容量値は１ピコファラッドとし、抵抗３７の抵抗値は１メガオームとした。積分回路３１は、シナプス回路２０から入力される電流を用いてキャパシタ３６を充電する。この動作によって、電流の時間積分の演算結果が積分電位Ｖｎとして出力される。またキャパシタ３６は、オペアンプ３５の負極性入力端子（－）および出力端子間に配置されている。またオペアンプ３５の出力信号は抵抗３７を介して負極性入力端子（－）に戻る。その結果、オペアンプ３５のフィードバック機能により、負極性入力端子（－）への入力が仮想接地となる。
　オペアンプ３５の負極性入力端子（－）への入力が仮想接地となるため、シナプス回路２０の数やキャパシタ３６の積分電位に関わらず、所定の電源電圧と可変抵抗素子２０の抵抗値によって決まる一定電流が、各シナプス回路２０を通して、ニューロン回路３０へ入力される。
　図７に示すシナプス回路２０の第１スイッチ２２として図５と同様の回路２５を用い、第２スイッチ２１として電界効果トランジスタ２４を用いた。電界効果トランジスタ２４のゲート端子には非線形波形パルス電圧ＶＰＲＥが印加される。本実施例に用いた電界効果トランジスタ２４は、非線形波形パルス電圧ＶＰＲＥがＨＩのときにオンし、それ以外ではオフする。電界効果トランジスタ２４のオン抵抗は可変抵抗素子１０の抵抗値の１００分の１以下であるため、直流電圧源２３とオペアンプ３５の負極製入力端子（－）の間の抵抗値はおよそ可変抵抗素子１０の抵抗値に等しい。したがって、非線形波形パルス電圧ＶＰＲＥがＨＩの期間だけ、可変抵抗素子１０にパルス電流が流れる。パルス電流の大きさはおよそ可変抵抗素子１０の抵抗値の逆数(伝導率)に比例する。
　ニューロン回路２０に入力された電流パルスは、積分回路３１のキャパシタ３６を充電するため、時間積分結果が出力Ｖｎとして出力される。非線形波形パルス電圧ＶＰＲＥが印加されて２０マイクロ秒後の積分電圧Ｖｎについて評価した。
　本実施例では、図６Ａに示す波形を非線形波形パルス電圧ＶＰＲＥおよびＶＰＯＳＴ1とし、図６Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ2とした。印加する非線形波形パルス電圧およびスイッチングパルス電圧のタイミングを変えながら、両パルス電圧を印加する前後の積分電圧Ｖｎの変化を測定した。図８の左軸に積分電圧の変化量を示す。図８の右軸には、参考のため、図６Ｃに示した伝導率の変化量と同じものをプロットした。積分電圧の変化量は、伝導率の変化量に対応した特性を示し、可変抵抗素子１０のＳＴＤＰ特性が積分回路３１の積分動作にも反映されていることが示された。
　上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。
　本発明は、ニューラルネットワーク回路の荷重更新動作に用いられ得る。
　１０　可変抵抗素子
　１１　半導体膜
　１２　強誘電体膜
　１３　第１電極
　１４　第２電極
　１５　制御電極
　２０　シナプス回路
　２１　第２スイッチ
　２２　第１スイッチ
　２３　直流電圧源（第１基準電圧源）
　３０　ニューロン回路
　３１　積分回路
　３２　波形発生回路
　３３　遅延回路
　４０　ニューラルネットワーク回路素子
　５４　グランド電圧源（第２基準電圧源）
　３２１　デジタル／アナログコンバータ
　３２２　デジタルメモリ

Claims (5)

  1. 　複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、
    　前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、
    　他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、
    　前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、
    　前記シナプス回路（２０）は、
    　半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、
    　前記可変抵抗素子（１０）の前記第１電極（１３）に、前記第１入力信号が入力可能な状態と入力不能な状態とが切り替えられるように構成されており、
    　前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧を発生させる波形発生回路（３２）を備え、前記第１入力信号が双極性ノコギリ形パルス波形を有するように構成され、
    　前記第１電極（１３）に前記第１入力信号が入力可能な状態である間、前記可変抵抗素子（１０）の前記制御電極（１５）に、当該可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記双極性ノコギリ形パルス電圧を入力し、
    　前記第１電極（１３）に印加される電圧と前記制御電極（１５）に印加される電圧との入力タイミング差に依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させる、ニューラルネットワーク回路の学習方法。
  2. 　前記シナプス回路（２０）は、入力された前記第１入力信号を前記可変抵抗素子（１０）の前記第１電極（１３）に入力可能な状態とするか入力不能な状態とするかを切り替える第１スイッチ（２２）を備え、
    　前記ニューロン回路（３０）は、前記第１スイッチ（２２）を、前記双極性ノコギリ形パルス電圧の生成期間と同じ期間、前記第１入力信号が前記第１電極（１３）に入力可能な状態となるように切り替えるための第２入力信号を生成するよう構成される、請求項１に記載のニューラルネットワーク回路の学習方法。
  3. 　前記ニューロン回路（３０）は、
    　前記少なくとも１つのシナプス回路（２０）の前記可変抵抗素子（１０）を流れる電流値を積分する積分回路（３１）と、
    　前記波形発生回路（３２）で発生させた前記双極性ノコギリ形パルス電圧を所定時間遅延させて前記ニューラルネットワーク回路素子（４０）の出力信号として出力する遅延回路（３３）と、を具備し、
    　前記波形発生回路（３２）は、前記積分回路（３１）で積分された電流値が所定の値を超えたとき、前記双極性ノコギリ形パルス電圧を発生させる、請求項１に記載のニューラルネットワーク回路の学習方法。
  4. 　前記シナプス回路（２０）は、一端が第１基準電圧源（２３）に接続され、他端が前記可変抵抗素子（１０）の前記第１電極（１３）に接続される第２スイッチ（２１）を備え、
    　前記第２スイッチ（２１）は、前記第１入力信号が入力されている間、前記第１基準電圧源（２３）と前記第１電極（１３）とを接続するように構成される、請求項１に記載のニューラルネットワーク回路の学習方法。
  5. 　複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路であって、
    　前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、
    　他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、
    　前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、
    　前記シナプス回路（２０）は、半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、
    　前記可変抵抗素子（１０）の前記第１電極（１３）に、前記第１入力信号が入力可能な状態と入力不能な状態とが切り替えられるように構成されており、
    　前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧を生成する波形発生回路（３２）を備え、
    　前記可変抵抗素子（１０）の前記制御電圧には、前記第１電極（１３）に前記第１入力信号が入力可能な状態である間、当該可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記双極性ノコギリ形パルス電圧が入力されるように構成されており、前記第１入力信号が双極性ノコギリ形パルス波形を有するように構成され、
    　前記第１電極（１３）に印加される電圧と前記制御電極（１５）に印加される電圧との入力タイミング差に依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させる、ニューラルネットワーク回路。
     
PCT/JP2012/003491 2012-01-20 2012-05-29 ニューラルネットワーク回路の学習方法 WO2013108299A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012800140896A CN103430186A (zh) 2012-01-20 2012-05-29 神经网络电路的学习方法
JP2013513466A JP5289646B1 (ja) 2012-01-20 2012-05-29 ニューラルネットワーク回路の学習方法
US13/951,443 US8775346B2 (en) 2012-01-20 2013-07-25 Learning method of neural network circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012009889 2012-01-20
JP2012-009889 2012-01-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/951,443 Continuation US8775346B2 (en) 2012-01-20 2013-07-25 Learning method of neural network circuit

Publications (1)

Publication Number Publication Date
WO2013108299A1 true WO2013108299A1 (ja) 2013-07-25

Family

ID=48798759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003491 WO2013108299A1 (ja) 2012-01-20 2012-05-29 ニューラルネットワーク回路の学習方法

Country Status (4)

Country Link
US (1) US8775346B2 (ja)
JP (1) JP5289646B1 (ja)
CN (1) CN103430186A (ja)
WO (1) WO2013108299A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019511799A (ja) * 2016-02-22 2019-04-25 チューリッヒ大学Ｕｎｉｖｅｒｓｉｔａｔ Ｚｕｒｉｃｈ アナログ電子ニューラルネットワーク
JP7139426B2 (ja) 2017-11-20 2022-09-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
WO2013111200A1 (ja) * 2012-01-23 2013-08-01 パナソニック株式会社 ニューラルネットワーク回路の学習方法
JP5659361B1 (ja) 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US9830981B2 (en) * 2015-01-14 2017-11-28 International Business Machines Corporation Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line
US10217046B2 (en) * 2015-06-29 2019-02-26 International Business Machines Corporation Neuromorphic processing devices
WO2017171771A1 (en) * 2016-03-31 2017-10-05 Hewlett Packard Enterprise Development Lp Data processing using resistive memory arrays
US10733946B2 (en) * 2016-08-26 2020-08-04 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
US10579092B2 (en) 2016-11-01 2020-03-03 International Business Machines Corporation Global timing generator
CN106875005B (zh) * 2017-01-20 2019-09-20 清华大学 自适应阈值神经元信息处理方法和系统
US10649912B2 (en) 2017-07-14 2020-05-12 International Business Machines Corporation Method and apparatus for an efficient TLB lookup
KR102067112B1 (ko) * 2017-10-17 2020-01-16 한양대학교 산학협력단 Pcm 기반의 뉴런 네트워크 소자
WO2019087500A1 (ja) * 2017-11-02 2019-05-09 Tdk株式会社 ニューロモルフィック素子を含むアレイ装置およびニューラルネットワークシステム
CN107622306A (zh) * 2017-11-02 2018-01-23 北京理工大学珠海学院 一种基于人工神经网络的新型函数信号源生成方法及装置
US10714242B2 (en) 2017-12-20 2020-07-14 International Business Machines Corporation Symmetrically tunable electrical resistor
JP6876281B2 (ja) * 2017-12-28 2021-05-26 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算器の使用方法
CN111512312B (zh) * 2017-12-28 2023-08-18 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
JP6569755B1 (ja) * 2018-03-06 2019-09-04 Tdk株式会社 ニューラルネットワーク装置、信号生成方法およびプログラム
EP3767517B1 (en) * 2018-03-16 2022-12-28 TDK Corporation Product-sum operation device, neuromorphic device, and method for using product-sum operation device
US11403518B2 (en) * 2018-04-25 2022-08-02 Denso Corporation Neural network circuit
US11861429B2 (en) 2018-04-30 2024-01-02 Hewlett Packard Enterprise Development Lp Resistive and digital processing cores
CN110766130B (zh) * 2018-07-28 2022-06-14 华中科技大学 一种bp神经网络学习电路
JP6536765B1 (ja) * 2018-09-27 2019-07-03 Tdk株式会社 積和演算器、ニューロモーフィックデバイス及び積和演算方法
JP6540931B1 (ja) * 2018-10-11 2019-07-10 Tdk株式会社 積和演算器、論理演算デバイス、ニューロモーフィックデバイス及び積和演算方法
EP3671750A1 (en) * 2018-12-21 2020-06-24 IMEC vzw Synapse circuit with memory
CN109800851B (zh) * 2018-12-29 2024-03-01 中国人民解放军陆军工程大学 神经突触电路和脉冲神经网络电路
CN110363276A (zh) * 2019-06-21 2019-10-22 石致宇 一种模拟人工神经网络的基因电路及其构建方法
US11468307B2 (en) * 2019-11-15 2022-10-11 Jiangsu Advanced Memory Technology Co., Ltd. Artificial neuromorphic circuit and operation method
US20220130900A1 (en) * 2020-02-27 2022-04-28 Tdk Corporation Arithmetic operation circuit and neuromorphic device
JP6899024B1 (ja) * 2020-06-11 2021-07-07 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
CN113033793B (zh) * 2021-03-02 2023-08-22 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
CN116824512B (zh) * 2023-08-28 2023-11-07 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004514A (ja) * 2005-06-24 2007-01-11 Elpida Memory Inc 人工神経回路
US20080162391A1 (en) * 2006-12-29 2008-07-03 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of stdp and dopamine signaling
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731705B2 (ja) * 1992-08-24 1995-04-10 東京工業大学長 自己学習型積和演算回路素子及び回路
JPH07114524A (ja) 1993-10-14 1995-05-02 Ricoh Co Ltd 信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004514A (ja) * 2005-06-24 2007-01-11 Elpida Memory Inc 人工神経回路
US20080162391A1 (en) * 2006-12-29 2008-07-03 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of stdp and dopamine signaling
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019511799A (ja) * 2016-02-22 2019-04-25 チューリッヒ大学Ｕｎｉｖｅｒｓｉｔａｔ Ｚｕｒｉｃｈ アナログ電子ニューラルネットワーク
US11270199B2 (en) 2016-02-22 2022-03-08 Universität Zürich Analogue electronic neural network
JP7139426B2 (ja) 2017-11-20 2022-09-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム

Also Published As

Publication number Publication date
JPWO2013108299A1 (ja) 2015-05-11
CN103430186A (zh) 2013-12-04
US8775346B2 (en) 2014-07-08
JP5289646B1 (ja) 2013-09-11
US20130311415A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
JP5289646B1 (ja) ニューラルネットワーク回路の学習方法
JP5289647B1 (ja) ニューラルネットワーク回路の学習方法
JP5659361B1 (ja) ニューラルネットワーク回路、およびその学習方法
JP6501146B2 (ja) ニューラルネットワーク回路およびその学習方法
JP5155843B2 (ja) 情報処理装置及びこれを用いたニューラルネットワーク回路
Pershin et al. Experimental demonstration of associative memory with memristive neural networks
KR102230784B1 (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
Feali et al. Implementation of adaptive neuron based on memristor and memcapacitor emulators
Acciarito et al. Hardware design of LIF with Latency neuron model with memristive STDP synapses
Bakhshiev et al. Mathematical Model of the Impulses Transformation Processes in Natural Neurons for Biologically Inspired Control Systems Development.
Šuch et al. Passive memristor synaptic circuits with multiple timing dependent plasticity mechanisms
Xu et al. A memristor model with concise window function for spiking brain-inspired computation
Hajiabadi et al. Memristor-based synaptic plasticity and unsupervised learning of spiking neural networks
Siegel et al. System model of neuromorphic sequence learning on a memristive crossbar array
Huang et al. Adaptive SRM neuron based on NbOx memristive device for neuromorphic computing
Parmar et al. Short-term plasticity circuit device exploration in the MASTISK neuromorphic framework
KR102215067B1 (ko) Stdp 학습 하드웨어
Mulaosmanovic et al. FeFETs for neuromorphic systems
JP4181837B2 (ja) 演算回路およびこれを用いたニューラルネットワーク
Ostrovskii et al. Studying the dynamics of memristive synapses in spiking neuromorphic systems
JP2752109B2 (ja) 集積回路及び半導体装置
CN115600665B (zh) 一种基于vta-da神经元的忆阻自修复神经网络电路
Liu et al. Implementation of Multiple-Step Quantized STDP based on Linear Weight Update Memristive Synapses
Kipelkin et al. Memristive model of the Fitzhugh-Nagumo neuronal oscillator
Zhang et al. Applications of 3D RRAM beyond Storage

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013513466

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866071

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866071

Country of ref document: EP

Kind code of ref document: A1