WO2013111200A1 - ニューラルネットワーク回路の学習方法 - Google Patents

ニューラルネットワーク回路の学習方法 Download PDF

Info

Publication number
WO2013111200A1
WO2013111200A1 PCT/JP2012/003492 JP2012003492W WO2013111200A1 WO 2013111200 A1 WO2013111200 A1 WO 2013111200A1 JP 2012003492 W JP2012003492 W JP 2012003492W WO 2013111200 A1 WO2013111200 A1 WO 2013111200A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
input
neural network
electrode
pulse voltage
Prior art date
Application number
PCT/JP2012/003492
Other languages
English (en)
French (fr)
Inventor
雄 西谷
幸広 金子
上田　路人
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2012800152802A priority Critical patent/CN103460220A/zh
Priority to JP2013513467A priority patent/JP5289647B1/ja
Priority to US13/951,448 priority patent/US8965821B2/en
Publication of WO2013111200A1 publication Critical patent/WO2013111200A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Definitions

  • the present invention relates to a learning method for a neural network circuit.
  • Neural network mimics the neural network of a living body.
  • the nerve cells of a living body exchange pulses (spike pulses) having a substantially constant shape. Therefore, as a neural network circuit for realizing a neural network, a model has been proposed which directly imitates a biological neural circuit and directly handles pulses.
  • Patent Document 1 discloses a model (pulse density model) that expresses information using pulse density.
  • This model is a model that expresses analog information using, for example, the number of pulses propagated in a certain time.
  • Patent Document 2 discloses a model (pulse timing model) that expresses information using pulse timing. This model is a model that expresses analog information using a pulse and a time interval of the pulse.
  • Non-Patent Document 1 discloses that by using a pulse timing model, higher performance can be obtained than when a pulse density model is used.
  • the neural network circuit that realizes the pulse timing model as in Patent Document 2 has a problem that the circuit area of the entire neural network circuit is increased.
  • An object of the present invention is to provide a neural network circuit learning method and a neural network circuit capable of realizing a learning operation based on pulse timing with a smaller number of elements.
  • a learning method of a neural network circuit is a learning method of a neural network circuit configured by connecting a plurality of neural network circuit elements (40), wherein the plurality of neural network circuits are connected.
  • Each of the network circuit elements (40) includes at least one synapse circuit (20) to which an output signal (hereinafter referred to as a first input signal) of another neural network circuit element (40) is input, and the at least one synapse circuit.
  • a neuron circuit (30) to which an output signal of (20) is input, and the synapse circuit (20) includes a first electrode (13) and a second electrode formed on the semiconductor film (11).
  • the neuron circuit (30) includes a waveform generation circuit (32) for generating a bipolar sawtooth pulse voltage or a Mexican hat pulse voltage (hereinafter referred to as a predetermined pulse voltage).
  • a predetermined pulse voltage a bipolar sawtooth pulse voltage or a Mexican hat pulse voltage (hereinafter referred to as a predetermined pulse voltage).
  • One input signal is configured to have the predetermined pulse voltage waveform, and is a temporal intermediate point of the predetermined pulse voltage waveform generated in the same neural network circuit element (40) as the variable resistance element (10).
  • the first input signal is applied to the control electrode (15) of the variable resistance element (10) during a period having a predetermined time width before and after the intermediate point as a reference (hereinafter referred to as an input allowable period).
  • the resistance value of the element (10) is changed.
  • the learning operation based on the pulse timing can be realized with a smaller number of elements.
  • FIG. 1 shows a block diagram of a neural network circuit element in the embodiment.
  • FIG. 2A shows the shape of a bipolar sawtooth pulse voltage used for the first input signal voltage and the third input signal voltage in the embodiment.
  • FIG. 2B shows the shape of a Mexican hat type pulse voltage used for the first input voltage and the third input voltage in the embodiment.
  • FIG. 2C shows the shape of the square wave pulse voltage used for the second input voltage in the embodiment.
  • FIG. 3 shows an operation of switching the conduction and non-conduction of the bipolar sawtooth pulse voltage V PRE shown in FIG. 2A using the square wave pulse voltage V POST2 shown in FIG. 2C in the first switch in the embodiment. Indicates.
  • FIG. 3 shows an operation of switching the conduction and non-conduction of the bipolar sawtooth pulse voltage V PRE shown in FIG. 2A using the square wave pulse voltage V POST2 shown in FIG. 2C in the first switch in the embodiment. Indicates.
  • FIG. 3 shows an operation of switching the conduction and non
  • FIG. 4 shows an operation of switching the conduction and non-conduction of the Mexican hat pulse voltage V PRE shown in FIG. 2B using the square wave pulse voltage V POST2 shown in FIG. 2C in the first switch in the embodiment.
  • FIG. 5A shows a cross-sectional view of the variable resistance element in the embodiment.
  • FIG. 5B shows a circuit symbol of the variable resistance element in the embodiment.
  • FIG. 6 shows an STDP evaluation circuit in the embodiment.
  • FIG. 7A shows the shape of a bipolar sawtooth pulse voltage used for the first input signal voltage in the first embodiment.
  • FIG. 7B shows the shape of the square wave pulse voltage used for the second input voltage in the first embodiment.
  • FIG. 7C shows an asymmetric STDP in Example 1.
  • FIG. 8 shows a circuit used for evaluating the integration operation in the first embodiment.
  • FIG. 9 shows an asymmetric STDP in the first embodiment.
  • FIG. 10A shows the shape of a Mexican hat type pulse voltage used for the first input signal voltage in the second embodiment.
  • FIG. 10B shows the shape of the square wave pulse voltage used for the second input voltage in the second embodiment.
  • FIG. 10C shows a symmetric STDP in the second embodiment.
  • FIG. 11A shows a schematic diagram for explaining a hierarchical neural network.
  • FIG. 11B shows a schematic diagram for explaining an interconnection neural network.
  • FIG. 12 is a schematic diagram for explaining the operation of a general neuron.
  • FIG. 13 is a schematic diagram for explaining the operation of the integral firing type neuron.
  • FIG. 14A shows a schematic diagram for explaining STDP.
  • FIG. 14A shows a schematic diagram for explaining STDP.
  • FIG. 14B shows a schematic diagram illustrating the characteristics of the asymmetric STDP.
  • FIG. 14C shows a schematic diagram illustrating a symmetric STDP.
  • FIG. 15 is a cross-sectional view of a resistance change memory element disclosed in Patent Document 2.
  • FIG. 16A is a block diagram showing a conventional STDP neural network circuit element disclosed in Patent Document 2.
  • FIG. 16B is a block diagram showing an STDP portion of a conventional synapse circuit disclosed in Patent Document 2.
  • FIG. 16C is a block diagram showing an STDP section of a conventional synapse circuit disclosed in Patent Document 2.
  • FIG. 17 shows a signal generation circuit in the embodiment.
  • a neural network imitates a biological neural network.
  • a neural network uses a neuron imitating a nerve cell as a functional unit in a neural network as a functional unit, and performs information processing by arranging a plurality of neurons in a network.
  • FIG. 11A there is a hierarchical neural network in which neurons 100 are connected in a hierarchy, and an interconnected neural network (Hopfield network) in which neurons 100 are connected to each other as shown in FIG. 11B.
  • Neural network has two major functions. The first is a “processing” function that obtains an output from an input, and the second is a “learning” function that sets the input / output relationship of the entire neural network to a desired one.
  • the hierarchical neural network shown in FIG. 11A includes three layers: an input layer 400, an intermediate layer 500, and an output layer 600. Each layer includes at least one neuron 100.
  • the input layer 400 is connected to each neuron 100 in the intermediate layer 500.
  • each neuron 100 in the intermediate layer 500 is connected to each neuron 100 in the output layer.
  • the input signal 200 is input to the input layer 400, propagates in order through the intermediate layer 500 and the output layer 600, and is output from the output layer 600.
  • a predetermined calculation described later is performed on the input value, and the output value is propagated to the neuron in the next layer.
  • the output value from the output layer 600 becomes the final output 300 of the network.
  • This series of operations is information processing of the neural network, and if a sufficient number of neurons are included in the intermediate layer 500, arbitrary input / output is realized.
  • the hierarchical neural network illustrated in FIG. 11A includes three layers, a plurality of intermediate layers 500 may be included.
  • FIG. 12 is a schematic diagram of a neuron.
  • the neuron 100 includes synapse parts 121 and 122 and a neuron part 130.
  • the number of synapse parts is equal to the number of neurons connected in the previous stage, that is, the number of input signals.
  • the synapse units 121 and 122 weight each of the plurality of external input signals 111 and 112.
  • the weighting values (w 1 , w 2 ) are called bond weights.
  • the neuron unit 130 calculates the sum of the input signals weighted by the synapse unit, and outputs a value obtained by nonlinearly calculating the sum value.
  • Equation 1 an external input signal is represented as x i (1, 2,..., N).
  • n is equal to the number of input signals.
  • the synapse unit multiplies each input signal by a corresponding connection weight value w i (1, 2,..., N), and the neuron unit calculates a sum V n thereof. To do.
  • V n ⁇ w i x i (Equation 1)
  • ⁇ is a sum symbol for i.
  • the neuron unit sets the output value y as a result of performing the non-linear operation f on the obtained sum V n . Therefore, the output y of the neuron is expressed as shown in Equation 2.
  • y f (V n ) (Formula 2)
  • f a monotone increasing function having a saturation characteristic is used.
  • a step function (step function) or a sigmoid function is often used.
  • Neural networks have parallel processing because multiple neurons can perform operations at the same time. That is, unlike sequential computer information processing, parallel information processing is possible.
  • [Learning function] An important feature of the neural network is that it has a “learning” function as well as a “processing” function that obtains an output from an input as described above. The learning described here is to set the input / output relationship of the entire neural network to a desired one by updating the above-described synaptic connection weight.
  • Patent Document 1 discloses a model (pulse density model) that expresses information using pulse density.
  • This model is a model that expresses analog information using, for example, the number of pulses propagated in a certain time.
  • Patent Document 2 discloses a model (pulse timing model) that expresses information using pulse timing.
  • This model is a model that expresses analog information using a time interval between pulses.
  • signals exchanged between neurons are signals having a constant waveform, and thus there is an advantage that hardware implementation described later is easy.
  • the pulse timing model can express information by each pulse, it can process information faster than the pulse density model.
  • Non-Patent Document 1 discloses that by using a pulse timing model, higher performance can be obtained than when a pulse density model is used.
  • Integral firing models have been proposed as neuron behavior models that can be applied to information representation using pulses as described above.
  • an integral firing operation of a neuron having two input terminals will be described with reference to FIG.
  • FIG. 13 shows temporal changes P 1 (t) and P 2 (t) of PSP at synapse 1 and synapse 2.
  • the height of the PSP is proportional to the synaptic bond strength.
  • t represents time.
  • the neuron computes the sum of PSPs from all connected synapses. This is called the neuron internal potential V n (t).
  • V n (t) When there are two input terminals to the neuron, as shown in FIG. 13, the internal potential V n (t) is the sum of P 1 (t) and P 2 (t). Generally speaking, the internal potential V n (t) is expressed as in Expression 3.
  • V n (t) ⁇ P i (t) (Formula 3)
  • P i the PSP at synapse i
  • ⁇ the sum symbol for i.
  • the neuron when the internal potential Vn exceeds a predetermined threshold value Vth , the neuron outputs a pulse signal y. This is called “firing” of neurons.
  • the pulse output y is output from the neuron, and is input to another neuron after a certain transmission time t Delay .
  • the pulse timing can also be used to update the synaptic connection weight in the learning operation.
  • a learning operation using a property called spike timing synaptic plasticity Spike-timing ⁇ synaptic plasticity, hereinafter abbreviated as “STDP”
  • STDP spike timing synaptic plasticity
  • the synaptic connection load of synapse 1 is a feature that changes.
  • Several types of STDP have also been observed in actual living nerve cells.
  • the STDP is a characteristic in which the synaptic coupling strength w changes as a function of the time difference t POST -t PRE between t PRE and t POST at this time.
  • the characteristic shown in FIG. 14B is asymmetric STDP, and the amount of change ⁇ w of the synaptic coupling strength depends on the time difference between the two pulses t POST -t PRE and also on the time order of both pulses.
  • the characteristic shown in FIG. 14C is a symmetric STDP, and the amount of change ⁇ w of the synaptic coupling strength is determined by a function of only the time difference t POST ⁇ t PRE between the two pulses, and does not depend on the order of the pulses.
  • Patent Document 2 discloses a method of storing a variable resistance value of a variable resistance memory element as a synapse coupling load.
  • variable resistance memory element 720 has a structure in which a metal oxide film 722 is sandwiched between an upper electrode 721 and a lower electrode 723.
  • a voltage is applied between the upper electrode 721 and the lower electrode 723, the resistance value between the upper electrode 721 and the lower electrode 723 changes to be non-volatile depending on the value of the flowing current.
  • FIG. 16A is a block diagram of a conventional STDP neural network circuit element disclosed in Patent Document 2.
  • the neural network circuit element is a hardware reproduction of a neuron that is a functional unit of the neural network.
  • the neural network circuit element 700 includes a plurality of synapse circuits 710 and one neuron circuit 730.
  • the synapse circuit 710 stores the synapse coupling load using the variable resistance memory element 720.
  • the learning function is realized by changing the resistance value of the variable resistance memory element 720 by the method described above.
  • 16B and 16C are circuit diagrams exemplified in Patent Document 2 regarding a specific configuration of the STDP unit illustrated in FIG. 16A.
  • a neural network circuit requires a plurality of input terminals for one neuron circuit. Further, as the number of neural network circuit elements in the entire neural network circuit increases, the number of input terminals required for one neuron circuit increases. The same number of synapse circuits as the number of input terminals is required for one neuron circuit. Therefore, if a neural network circuit composed of a large number of neural network circuit elements is configured, a very large number of synapse circuits are required. For example, in the interconnected neural network shown in FIG. 11B, the number of synapses necessary when the number of neurons is n is the square of n. Therefore, in order to reduce the area of the neural network circuit, it is important to simplify the configuration of the synapse circuit.
  • a signal to be propagated to the neuron circuit 730 and a signal for updating the synaptic load of the resistance change type memory element 720 by STDP are generated in the synapse circuit 710.
  • the waveform is generated by the pulse generation unit and the STDP unit in FIG. 16A. Therefore, a signal generator and an arithmetic circuit as shown in FIGS. 16B and 16C are required in the synapse circuit, and the configuration of the synapse circuit 710 is large.
  • the conventional synapse circuit 710 and its driving method have a problem that the area of the synapse circuit 710 becomes extremely large, and a neural network circuit using the synapse circuit 710 has also become large.
  • the inventors of the present invention as a learning method and a neural network circuit of a neural network circuit, which can realize a learning operation by STDP with a smaller number of elements after extensive research.
  • the inventors have come up with the following aspects.
  • the inventors of the present invention generate a non-linear waveform for updating the synaptic load in the synapse circuit 710 in the conventional neural network circuit element 700, which is another neural network input to the synapse circuit 730.
  • the signal from the circuit element (herein referred to as another input signal) is caused by the spike pulse itself (input pulse x 1 in FIG. 11).
  • the other input signal is a spike pulse
  • a spike pulse generated by the same neural network circuit element 700 as the input synapse circuit 710 (herein referred to as its own input signal). Therefore, there is a need to newly generate a non-linear waveform in the synapse circuit 710 using another input signal as a trigger.
  • the inventors of the present invention need to convert the output signal itself of the neural network circuit element into a non-linear waveform after the other input signal is received by the synapse circuit of the neural network circuit element.
  • the knowledge that it can be lost was obtained.
  • a bipolar sawtooth waveform (bipolar sawtooth waveform) or Mexican-hat waveform (mexican-hat waveform) described later is used as the non-linear waveform.
  • FIG. 1 shows a block diagram of a neural network circuit element 40 according to an embodiment.
  • One neural network circuit element 40 includes at least one input terminal 51, the same number of synapse circuits 20 as the number of input terminals 51, one neuron circuit 30, and one output terminal 52.
  • the neural network circuit is configured by connecting a plurality of neural network circuit elements 40 as shown in FIGS. 11A and 11B. Specifically, the output terminal 52 of the neural network circuit element 40 is connected to the input terminal 51 of another neural network circuit element 40.
  • the input terminal 51 of the neural network circuit element 40 is connected to the first input terminal 41 of the synapse circuit 20.
  • the output terminal 44 of the synapse circuit 20 is connected to the input terminal 45 of the neuron circuit 30.
  • the first output terminal 46 of the neuron circuit 30 is connected to the output terminal 52 of the neural network circuit element 40.
  • FIG. 1 only one neuron circuit 30 and one synapse circuit 20 are shown for ease of illustration, but actually, a plurality of synapse circuits 20 for one neuron circuit 30 are illustrated. Is connected.
  • the neuron circuit 30 includes an integration circuit 31, a waveform generation circuit 32, and a delay circuit 33.
  • the input terminal 44 of the neuron circuit 30 is connected to the integration circuit 31.
  • the integration circuit 31 calculates the sum of currents flowing from the plurality of synapse circuits 20 connected to the neuron circuit 30. When the calculated value exceeds a predetermined value, a signal (trigger signal) is output to the waveform generation circuit 32.
  • the signal generation circuit 32 generates a non-linear waveform pulse voltage V POST1 and a switching pulse voltage V POST2 using the signal from the integration circuit 31 as a trigger.
  • the non-linear waveform pulse voltage V POST1 has, for example, the shape illustrated in FIGS. 2A and 2B or a shape obtained by inverting the sign thereof.
  • the non-linear waveform pulse voltage shown in FIG. 2A is referred to as a “bipolar sawtooth pulse voltage”.
  • a bipolar sawtooth pulse voltage is characterized by the fact that the potential, which is initially 0 volts, decreases to a predetermined negative potential over time, then rises to a predetermined positive potential, and then returns to 0 volts again. is there.
  • the non-linear waveform pulse voltage shown in FIG. 2B is referred to as a “Mexican hat type pulse voltage”.
  • the potential which is initially 0 volts, decreases to a predetermined negative potential with the passage of time, and then increases to a predetermined positive potential. Thereafter, the potential drops to a predetermined negative value and then returns to 0 volts again.
  • the switching pulse voltage V POST2 for example, a square wave pulse voltage shown in FIG. 2C can be used.
  • the signal generation circuit 32 generates a digital / analog converter 321 driven by the output signal from the integration circuit 31 as a trigger, and a bipolar sawtooth pulse voltage or Mexican hat pulse voltage. And a digital memory 322 in which the digital waveform data is stored.
  • the digital / analog converter 321 reads the digital waveform data from the digital memory 322, converts it into an analog waveform, and outputs it.
  • the non-linear waveform pulse voltage V POST1 is output to the first output terminal 45 after a predetermined delay time has elapsed by the delay circuit 32. Since the first output terminal 45 of the neuron circuit 30 is connected to the output terminal 52 of the neural network circuit element 40, the output signal of the delay circuit 33 becomes the output signal of the neural network circuit element 40. This output signal is input as a first input signal voltage (that is, a non-linear waveform pulse voltage VPRE ) to the first input terminal of the synapse circuit in another neural network circuit element (not shown).
  • the switching pulse voltage V POST2 is output to the second output terminal 46 of the neuron circuit 30.
  • the second output terminal 46 is connected to the second input terminals 42 of all the synapse circuits 20 connected to the neuron circuit 30 and is input as the second input signal voltage 60.
  • the synapse circuit 20 includes a first switch 22, a second switch 21, a variable resistance element 10 described later, and a predetermined DC voltage source 23.
  • the first input terminal 41 of the synapse circuit 20 is connected to the input terminal 26 of the first switch 22.
  • the second input terminal 42 of the synapse circuit 20 is connected to the control terminal 28 of the first switch.
  • the output terminal 27 of the first switch 22 is connected to the control electrode 15 of the variable resistance element 10.
  • the output terminal 43 of the synapse circuit 20 is connected to the second electrode 14 of the variable resistance element 10.
  • the output terminal 43 of the synapse circuit 20 is connected to the input terminal 44 of the neuron circuit 30.
  • the first input signal voltage 60 of the synapse circuit 20 is a non-linear waveform pulse voltage V PRE from another neural network circuit element (not shown).
  • the second input signal voltage 70 to the second input terminal 42 of the synapse circuit 20 is a switching pulse voltage V POST2 generated by the waveform generation circuit 32 of the neuron circuit 30 in the same neural network circuit element 40.
  • the important point in the configuration of the neural network circuit element 40 of the present embodiment is that all the waveform generation is performed by the neuron circuit 30, and the generated nonlinear waveform pulse voltage V POST1 (inputted to the other neural network circuit element 40). And non-linear waveform pulse voltage V PRE ) and switching pulse voltage V POST2 are used to perform processing and learning operation. As a result, the synapse circuit 20 can be simplified.
  • variable resistance element 10 shows a schematic cross-sectional view and a circuit symbol of the variable resistance element 10, respectively.
  • the variable resistance element 10 includes a semiconductor film 11, a ferroelectric film 12, a first electrode 13, a second electrode 14, and a control electrode 15.
  • the Z axis is the normal direction of the ferroelectric film 12.
  • the X axis is a direction orthogonal to the Z axis.
  • the circuit symbol of the variable resistance element 10 is expressed as shown in FIG. 5B.
  • FIG. 1 shows a neural network circuit element 40 in which the variable resistance element 10 is incorporated based on the notation of FIG. 5B.
  • An example of the material of the semiconductor film 11 is ZnO, GaN, or InGaZnO.
  • Examples of the material of the ferroelectric film 12 are Pb (Zr, Ti) O 3 , Sr (Bi, Ta) O, or Bi 12 TiO 20 .
  • Examples of the first electrode 13, the second electrode 14, and the control electrode 15 are a laminate composed of a platinum film and a titanium film.
  • the semiconductor film 11, the ferroelectric film 12, and the control electrode 15 are stacked along the Z axis.
  • a first electrode 13 and a second electrode 14 are disposed on the front side surface of the semiconductor film 11.
  • the variable resistance value of the variable resistance element 10 is a resistance value between the first electrode 13 and the second electrode 14.
  • the part of the semiconductor film 11 stacked on the part has a low resistance.
  • the part of the semiconductor layer 11 laminated on the part has a high resistance.
  • the resistance value between the first electrode 13 and the second electrode 14 is the resistance value of the semiconductor in the region sandwiched between the first electrode 13 and the second electrode 14. Therefore, the resistance value between the first electrode 13 and the second electrode 14 is continuous depending on the proportion of the ferroelectric film 12 stacked below the region having the upward and downward polarization directions. Changes.
  • variable resistance element 10 by providing a potential difference between the first electrode 13 and the second electrode 14 and the control electrode 15, the polarization direction of the ferroelectric film 12 is changed, and the first electrode 13 and the second electrode 14 are changed.
  • the resistance value between is controlled. For example, when a positive potential difference is provided between both electrodes and the control electrode 15 with respect to the first electrode 13 and the second electrode 14, the direction of the electric field due to polarization of the ferroelectric film 12 is upward (semiconductor film 11 Side).
  • the direction of the electric field due to the polarization of the ferroelectric film 12 is easily directed downward (on the control electrode 15 side). Further, as the absolute value of the potential difference to be applied is larger, the amount of change in polarization of the ferroelectric film 12 due to the potential difference is increased. Therefore, when a positive potential difference is provided, the resistance value between the first electrode 13 and the second electrode 14 decreases, and when a negative potential difference is provided, the resistance value between the first electrode 13 and the second electrode 14 increases. However, the change in the resistance value becomes more significant as the absolute value of the applied potential difference is larger.
  • the upward direction is the direction in which the semiconductor film 11 is laminated
  • the downward direction means the direction in which the control electrode 15 is laminated.
  • the first switch 22 is not connected between the control electrode 15 of the variable resistance element 10 and the first input terminal 41 of the synapse circuit 20 by the second input signal voltage 70 of the synapse circuit. Stay in continuity.
  • the second switch 21 is configured such that the non-linear waveform pulse voltage V PRE that is the first input signal is input to the synapse circuit 20 while the DC voltage source (first reference voltage source) 23 and the first of the variable resistance element 10 are set.
  • the electrode 13 is connected. That is, when the nonlinear waveform pulse voltage V PRE is input to the synapse circuit 20 as the first input signal voltage 60 from another neural network circuit element (not shown), the second switch 21 is caused by the nonlinear waveform pulse voltage V PRE . Opened and closed. For example, the second switch 21 is closed during the HI level period when the nonlinear waveform pulse voltage V PRE is equal to or higher than a predetermined voltage, and is opened during other periods.
  • the second electrode 14 of the synapse circuit 20 has the same potential as the ground voltage (second reference voltage supplied from the second reference voltage source, which is different from the first reference voltage).
  • variable resistance element 10 has a characteristic that the resistance value between the first electrode 13 and the second electrode 14 is variable as described above.
  • the power supply voltage V DD is applied between the first electrode 13 and the second electrode 14 of the variable resistance element 10, and the second voltage of the variable resistance element 10 is supplied from the DC voltage source 23.
  • a current proportional to the current conductivity (the reciprocal of the resistance value) of the variable resistance element 10 flows to the electrode 14 and is input to the neuron circuit 30.
  • the magnitude of the current input to the neuron circuit 30 is proportional to the synaptic connection load w, and represents PSP (P 1 (t), P 2 (t)) in FIG. Therefore, in the present embodiment, the conductivity (the reciprocal of the resistance value) of the variable resistance element 10 corresponds to the synapse coupling load w.
  • Such an input to the neuron circuit 30 is given asynchronously via the synapse circuit 20 from a plurality of other neural network circuit elements.
  • the input currents from the plurality of synapse circuits 20 are spatiotemporally added in the integration circuit 31 of the neuron circuit 30. Integrating voltage generated by the space-time addition is regarded as the internal potential V n.
  • V n Integrating voltage generated by the space-time addition is regarded as the internal potential V n.
  • V n exceeds a predetermined threshold voltage V TH
  • the waveform generation circuit 32 generates pulse voltages (V POST1 , V POST2 ).
  • the non-linear waveform pulse voltage V POST1 generated by the waveform generation circuit 32 is a synapse circuit of another neural network circuit element circuit (not shown) after a predetermined delay time set by the delay circuit 33 has elapsed.
  • the first input signal voltage V PRE is applied to the first input terminal. This delay time corresponds to the transmission delay time t Delay in the neuron model.
  • the waveform generation circuit 32 of the neuron circuit 30 generates the switching pulse voltage V POST2 simultaneously with the nonlinear waveform pulse voltage V POST1 .
  • the pulse voltage is output so that the time T in indicated by the dotted line in each of FIG. 2A and FIG. 2B or FIG. 2C is the same time.
  • the switching pulse voltage V POST2 is supplied to the control terminal 28 of the first switch 22 of the synapse circuit 20 as the second input signal voltage 70.
  • the nonlinear waveform pulse voltage V PRE of another neural network circuit element is input to the input terminal 26 of the first switch 22 of the synapse circuit 20 as the first input signal voltage 60.
  • the first switch 22 is switched by the switching pulse voltage V POST2 .
  • the switching pulse voltage V POST2 is a period having a predetermined time width before and after the intermediate point of the nonlinear waveform pulse voltage V PRE generated in the same neural network circuit element 40 as an intermediate point.
  • the voltage level becomes a predetermined voltage level (HI level).
  • the synaptic coupling strength of the synapse circuit 20 is updated by the change in the resistance value. “Learning” operation is possible.
  • the waveform of the pulse voltage applied to the control electrode 15 of the variable resistance element 10 changes depending on the timing at which the nonlinear waveform pulse voltage V PRE and the switching pulse voltage V POST2 are applied.
  • the degree of change in the resistance value of the variable resistance element 10 depends on the magnitude of the applied voltage, that is, the voltage waveform. For this reason, depending on the shape of the generated waveform that changes depending on the timing at which the two pulse voltages are applied, the degree of change in the resistance value also changes.
  • the asymmetric STDP shown in FIG. 14B can be realized, and the Mexican hat type shown in FIG. 2B can be realized.
  • the symmetric STDP shown in FIG. 14C can be realized.
  • FIG. 3 summarizes the operation of the first switch 22 when the non-linear waveform pulse voltage V PRE is the bipolar sawtooth pulse voltage shown in FIG. 2A and the switching pulse voltage V POST2 is the square pulse voltage shown in FIG. 2C. It was.
  • the non-linear waveform pulse voltage V PRE is applied to the control electrode 15 of the variable resistance element 10 only when the switching pulse voltage V POST2 is HI.
  • a voltage applied to the control electrode 15 by the operation of the first switch 22 is assumed to be V sample .
  • the input timing difference t POST2 ⁇ t PRE between the non-linear waveform pulse voltage V PRE and the switching pulse voltage V POST2 changes, the waveform of V sample also changes.
  • V sample has a large potential difference change in the positive direction.
  • the conductivity increases greatly. Therefore, when the change in the positive direction of V sample increases, the conductivity (reciprocal of the resistance value) increases greatly.
  • FIG. 4 shows the operation of the first switch 22 when the nonlinear waveform pulse voltage V PRE is the Mexican hat type pulse voltage shown in FIG. 2B and the switching pulse voltage V POST2 is the square wave pulse voltage shown in FIG. 2C.
  • the switching pulse voltage V POST2 is applied at the timing when the potential of the nonlinear waveform pulse voltage V PRE takes a positive value, the change in the potential difference in the positive direction of V sample increases.
  • the conductivity increases greatly. Therefore, when the change in the positive direction of V sample increases, the conductivity (reciprocal of the resistance value) increases greatly.
  • the switching pulse voltage V POST2 is applied at the timing when the potential of the nonlinear waveform pulse voltage V PRE takes a negative value, the V sample has a large potential difference change in the negative direction.
  • the switching pulse voltage (second input signal voltage) V POST2 generated in the same neural network circuit element 40 and other neural network circuit elements.
  • a potential difference depending on the timing difference is provided. Due to the potential difference provided in this way, the variable resistance element 10 can modulate the resistance value depending on the input timing difference.
  • the non-linear pulse waveform voltage V PRE which is a bipolar sawtooth pulse voltage or Mexican hat pulse voltage input from another neural network circuit element is generated by the neuron circuit 30 in the same neural network circuit element 40. Since the comparison waveform is compared with the switching pulse voltage V POST2 corresponding to the generation timing of the bipolar sawtooth pulse voltage V POST1 , it is not necessary to generate the comparison waveform by the synapse circuit 20 itself, and the area of the synapse circuit 20 is reduced. be able to. Thereby, the circuit area of the neural network circuit element 40 itself can be reduced. Therefore, the learning operation based on the pulse timing can be realized with a smaller number of elements.
  • a non-linear pulse waveform voltage V PRE to be compared a bipolar sawtooth pulse voltage waveform having two polarities and being symmetric with respect to a point of 0 volt or a line with a time of 0 volt as a reference A symmetrical hat voltage waveform is used. For this reason, the timing shift between the switching pulse voltage V POST2 that is the second input signal voltage compared with the first input signal voltage V PRE can be easily reflected in the modulation of the resistance value of the variable resistance element 10. .
  • the waveforms of the non-linear pulse waveform voltages V PRE and V POST1 are not particularly limited as long as they are each a bipolar sawtooth pulse voltage waveform or a Mexican hat pulse voltage waveform as described above, but may be, for example, a bipolar sawtooth pulse voltage.
  • FIG. 2A it is possible to employ a waveform in which the slope of the line segment connecting the apex of each polarity and the point of 0 volt is steeper than the slope of the other part. Due to the steep slope of the region close to the 0 volt point, even if the input timing difference between the first input signal voltage V PRE and the third input signal voltage V POST1 is slight, the change in the potential difference V effect becomes large.
  • the sensitivity can be increased with respect to the input timing difference.
  • the slope of the line segment connecting the vertices of each polarity is steep, so that the first input signal voltage V PRE and the third input Even when the input timing difference from the signal voltage V POST1 is slight, the change in the potential difference V effect becomes large, so that the sensitivity to the input timing difference can be increased.
  • Example 1 (Production of variable resistance element 10)
  • An oxide conductive film made of strontium ruthenate (SrRuO 3 ) having a thickness of 30 nm was deposited on a (001) single crystal substrate made of strontium titanate (SrTiO 3 ) by a pulse laser deposition (hereinafter referred to as PLD) method.
  • the temperature of the substrate during deposition was 700 ° C.
  • the control electrode 15 was formed by photolithography and ion milling.
  • a ferroelectric film 12 made of lead zirconate titanate (Pb (Zr, Ti) O 3 ) having a thickness of 450 nm was deposited on the SRO using the PLD method. Thereafter, the temperature of the substrate was lowered to 400 ° C. Next, a semiconductor film 11 made of zinc oxide (ZnO) having a thickness of 30 nm was deposited.
  • Pb (Zr, Ti) O 3 lead zirconate titanate
  • a laminate composed of a titanium film having a thickness of 5 nm and a platinum film having a thickness of 30 nm was deposited by electron beam evaporation at room temperature. After the deposition, the first electrode 13 and the second electrode 14 were formed by a lift-off method. In this way, the variable resistance element 10 was obtained.
  • the synaptic circuit shown in FIG. 6 was configured, and the STDP characteristics of the synaptic circuit using the above-described variable resistance element 10 were evaluated.
  • a 0.1 volt DC voltage source was connected to V DD .
  • a switch circuit 25 as shown in FIG. 6 was used for the first switch.
  • the non-linear waveform pulse voltage V PRE is applied to the control electrode 15 of the variable resistance element 10 only when the switching pulse voltage V POST2 is HI, and the control electrode 15 of the variable resistance element 10 is grounded during other periods. The operation is performed.
  • the configuration of the second switch 21 in FIG. 1 is omitted.
  • the waveform shown in FIG. 7A is a non-linear waveform pulse voltage V PRE
  • the waveform shown in FIG. 7B is a switching pulse voltage V POST2
  • the switch circuit 25 is used as the first switch 22 in FIG.
  • the switching operation as shown was realized.
  • An asymmetric STDP as shown in FIG. 14B was obtained.
  • the integrating circuit 31 includes an operational amplifier 53, a capacitor 36, and a resistor 37.
  • the capacitance value of the capacitor 36 was 1 picofarad, and the resistance value of the resistor 37 was 1 megohm.
  • the integration circuit 31 charges the capacitor 36 using the current input from the synapse circuit 20. This operation, the time integral of the operation result of the current is output as the integral voltage V n.
  • the capacitor 36 is disposed between the negative input terminal ( ⁇ ) and the output terminal of the operational amplifier 35.
  • the output signal of the operational amplifier 35 returns to the negative input terminal ( ⁇ ) via the resistor 37. As a result, the input to the negative input terminal ( ⁇ ) becomes virtual ground by the feedback function of the operational amplifier 35.
  • the constant is determined by the predetermined power supply voltage and the resistance value of the variable resistance element 20 regardless of the number of synapse circuits 20 and the integrated potential of the capacitor 36.
  • a current is input to the neuron circuit 30 through each synapse circuit 20.
  • a circuit 25 similar to that in FIG. 6 is used as the first switch 22 of the synapse circuit 20 shown in FIG. 8, and a field effect transistor 24 is used as the second switch 21.
  • a non-linear waveform pulse voltage V PRE is applied to the gate terminal of the field effect transistor 24.
  • the field effect transistor 24 used in this embodiment is turned on when the non-linear waveform pulse voltage V PRE is HI, and is turned off otherwise. Since the on-resistance of the field effect transistor 24 is 1/100 or less of the resistance value of the variable resistance element 10, the resistance value between the DC voltage source 23 and the negative input terminal ( ⁇ ) of the operational amplifier 35 is approximately variable resistance element. Equal to a resistance value of 10. Accordingly, a pulse current flows through the variable resistance element 10 only when the nonlinear waveform pulse voltage V PRE is HI. The magnitude of the pulse current is approximately proportional to the reciprocal (conductivity) of the resistance value of the variable resistance element 10.
  • Nonlinear waveform pulse voltage V PRE is evaluated for integral voltage V n after being applied 20 microseconds.
  • the waveform shown in FIG. 7A is a non-linear waveform pulse voltage V PRE
  • the waveform shown in FIG. 7B is a switching pulse voltage V POST2 .
  • the amount of change in the integrated voltage is shown on the left axis of FIG.
  • the same amount of change in conductivity as shown in FIG. 7C is plotted for reference.
  • the change amount of the integration voltage shows a characteristic corresponding to the change amount of the conductivity, and it is shown that the STDP characteristic of the variable resistance element 10 is also reflected in the integration operation of the integration circuit 31.
  • Example 2 Evaluation of synapse circuit 100
  • the synapse circuit shown in FIG. 6 was configured, and the STDP characteristics of the synapse circuit using the variable resistance element 10 were evaluated.
  • the change amount of the integrated voltage is shown on the right axis of FIG. 10C.
  • the change amount of the integration voltage shows a characteristic corresponding to the change amount of the conductivity, and it is shown that the symmetric STDP characteristic of the variable resistance element 10 is also reflected in the integration operation of the integration circuit 31.
  • the present invention can be used for load update operation of a neural network circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Feedback Control In General (AREA)

Abstract

　パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法を提供する。シナプス回路(20)は、可変抵抗素子(10)を具備し、ニューロン回路(30)は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を発生させる波形発生回路(32)を備え、第１入力信号（他のニューラルネットワーク回路素子(40)の出力信号）が所定のパルス電圧波形を有するように構成され、可変抵抗素子(10)と同じニューラルネットワーク回路素子(40)内で生成された所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、可変抵抗素子(10)の制御電極(15)に、第１入力信号を入力可能とすることで、入力許容期間に対する第１入力信号の入力タイミングに依存して生じる第１電極(13)と制御電極(15)との間の電位差によって、可変抵抗素子(10)の抵抗値を変化させる。

Description

ニューラルネットワーク回路の学習方法
　本発明は、ニューラルネットワーク回路の学習方法に関する。
　現在、コンピュータの発展は目覚しく、日常の様々な場面で利用されている。しかし、これまでのコンピュータの処理能力の発展は部品の微細化とアルゴリズムの進化によって達成されたものであり、基本的な情報処理の原理は変化していない。一方で、これらのコンピュータは、その処理方式の特性のため、人が容易に行うことができる動作を非常に不得意としている。例えば、リアルタイムでの顔認識や、空間構造の把握などが挙げられる。こういった処理能力は、最新のアルゴリズムと最大規模のコンピュータを用いても人間の処理速度に及ばない。
　これに対して、生体の脳の情報処理方式を模倣したコンピュータの研究が行われている。この処理モデルの最も基本となるものがニューラルネットワーク（neural network）である。
　ニューラルネットワークは生体の神経回路網を模したものである。ここで、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、ニューラルネットワークを実現するニューラルネットワーク回路として、生体の神経回路をより忠実に真似て、パルスを直接扱うモデルが提案されている。例えば、特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。このモデルは、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデルである。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。このモデルは、パルスとパルスの時間的間隔とを用いてアナログ情報を表現するモデルである。これらパルス信号を扱うモデルでは、ニューロン（neuron）間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易であるという利点がある。しかし、特許文献１のようなパルス密度モデルでは密度を抽出する必要があるため、情報を表現するために一定の時間を要する。そのため、ニューロンの細かい時間スケールでの振る舞いを表現することはできないという欠点がある。一方、特許文献２のようなパルスタイミングモデルは、１つ１つのパルスによって情報を表現できるため、パルス密度モデルよりも高速な情報処理が可能である。例えば、非特許文献１には、パルスタイミングモデルを用いることで、パルス密度モデルを用いた場合よりも高い性能が得られることが開示されている。
特開平７－１１４５２４号公報 特開２０１０－１４６５１４号公報
Ｗ．　Ｍａａｓｓ、"Ｎｅｔｗｏｒｋｓ　ｏｆ　Ｓｐｉｋｉｎｇ　Ｎｅｕｒｏｎｓ：　Ｔｈｅ　Ｔｈｉｒｄ　Ｇｅｎｅｒａｔｉｏｎ　ｏｆ Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｍｏｄｅｌｓ、"　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ、　ｖｏｌ．　１０、　ｎｏ．　９、　ｐｐ．　１６５９－１６７１、　１９９７．
　しかしながら、特許文献２のようなパルスタイミングモデルを実現するニューラルネットワーク回路では、ニューラルネットワーク回路全体の回路面積が大きくなるという課題を有していた。
　本発明の目的は、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法およびニューラルネットワーク回路を提供することである。
　上記課題を解決するための一の態様に係るニューラルネットワーク回路の学習方法は、複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、前記シナプス回路（２０）は、半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を発生させる波形発生回路（３２）を備え、前記第１入力信号が前記所定のパルス電圧波形を有するように構成され、前記可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、前記可変抵抗素子（１０）の前記制御電極（１５）に、前記第１入力信号を入力可能とすることで、前記入力許容期間に対する前記第１入力信号の入力タイミングに依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させるものである。
　本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
　本発明によれば、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができる。
図１は、実施の形態における、ニューラルネットワーク回路素子のブロック図を示す。 図２Ａは、実施の形態における、第１入力信号電圧および第３入力信号電圧に用いる双極性ノコギリ形パルス電圧の形状を示す。 図２Ｂは、実施の形態における、第１入力電圧および第３入力電圧に用いるメキシカンハット形パルス電圧の形状を示す。 図２Ｃは、実施の形態における、第２入力電圧に用いる方形波パルス電圧の形状を示す。 図３は、実施の形態における、第１スイッチにおいて、図２Ａに示す双極性ノコギリ形パルス電圧ＶＰＲＥの導通と非導通を、図２Ｃに示す方形波パルス電圧ＶＰＯＳＴ２を用いて、スイッチする動作を示す。 図４は、実施の形態における、第１スイッチにおいて、図２Ｂに示すメキシカンハット形パルス電圧ＶＰＲＥの導通と非導通を、図２Ｃに示す方形波パルス電圧ＶＰＯＳＴ２を用いて、スイッチする動作を示す。 図５Ａは、実施の形態における、可変抵抗素子の断面図を示す。 図５Ｂは、実施の形態における、可変抵抗素子の回路記号を示す。 図６は、実施例における、ＳＴＤＰの評価回路を示す。 図７Ａは、実施例１における、第１入力信号電圧に用いる双極性ノコギリ形パルス電圧の形状を示す。 図７Ｂは、実施例１における、第２入力電圧に用いる方形波パルス電圧の形状を示す。 図７Ｃは、実施例１における、非対称型ＳＴＤＰを示す。 図８は、実施例１における、積分動作の評価に用いた回路を示す。 図９は、実施例１における、非対称型ＳＴＤＰを示す。 図１０Ａは、実施例２における、第１入力信号電圧に用いるメキシカンハット形パルス電圧の形状を示す。 図１０Ｂは、実施例２における、第２入力電圧に用いる方形波パルス電圧の形状を示す。 図１０Ｃは、実施例２における、対称型ＳＴＤＰを示す。 図１１Ａは、階層型ニューラルネットワークを説明するための概略図を示す。 図１１Ｂは、相互結合型ニューラルネットワークを説明するための概略図を示す。 図１２は、一般的なニューロンの動作を説明するための概略図を示す。 図１３は、積分発火型ニューロンの動作を説明するための概略図を示す。 図１４Ａは、ＳＴＤＰを説明するための概略図を示す。 図１４Ｂは、非対称型ＳＴＤＰの特徴を示す概略図を示す。 図１４Ｃは、対称型ＳＴＤＰを示す概略図を示す。 図１５は、特許文献２に開示された、抵抗変化形メモリ素子の断面図を示す。 図１６Ａは、特許文献２に開示された、従来のＳＴＤＰニューラルネットワーク回路素子を示すブロック図を示す。 図１６Ｂは、特許文献２に開示された、従来のシナプス回路のＳＴＤＰ部を示すブロック図を示す。 図１６Ｃは、特許文献２に開示された、従来のシナプス回路のＳＴＤＰ部を示すブロック図を示す。 図１７は、実施の形態における、信号発生回路を示す。
　［ニューラルネットワークの説明］
　まず、本発明の実施の形態の前提となるニューラルネットワークおよびこれを実現するための従来におけるニューラルネットワーク回路の課題についてより詳しく説明する。ニューラルネットワークは生体の神経回路網を模したものである。ニューラルネットワークは、神経回路網における機能単位である神経細胞を模したニューロンを機能単位とし、複数のニューロンをネットワーク状に配置して情報処理を行う。例えば、図１１Ａに示すようにニューロン１００を階層状に接続した階層型ニューラルネットワークや、図１１Ｂに示すようにニューロン１００同士を相互に接続した相互結合型ニューラルネットワーク（ホップフィールドネットワーク）がある。
　ニューラルネットワークは、大きく２つの機能を有する。１つ目は、入力から出力を得る「処理」機能であり、２つ目は、ニューラルネットワーク全体の入出力の関係を所望のものに設定する「学習」機能である。
　[処理機能］
　ここでは階層型ニューラルネットワーク回路を例に、情報処理の動作について説明する。図１１Ａに示した階層型ニューラルネットワークは、入力層４００、中間層５００、出力層６００の３つの層を備えている。各層には少なくとも１つのニューロン１００が含まれる。入力層４００は中間層５００の各ニューロン１００と接続され、同様に、中間層５００の各ニューロン１００は出力層の各ニューロン１００と接続されている。入力信号２００は入力層４００へ入力され、中間層５００、出力層６００と順に伝播し、出力層６００から出力される。ニューロン１００では、入力値に対して後述する所定の演算が行われ、その出力値を次の層のニューロンへ伝播する。従って、出力層６００からの出力値が、ネットワークの最終出力３００となる。この一連の動作がニューラルネットワークの情報処理であり、中間層５００に含まれるニューロンを十分多くとると、任意の入出力が実現される。図１１Ａに示した階層型ニューラルネットワークは３つの層を備えているが、中間層500を複数備えることもできる。
　続いて、ニューラルネットワークの構成単位であるニューロンについて説明する。図１２は、ニューロンの模式図である。ニューロン１００は、シナプス（synapse）部１２１、１２２とニューロン部１３０を備えている。なお、シナプス部の数は前段に接続されたニューロンの数、つまり入力信号の数に等しい。シナプス部１２１、１２２は外部からの複数の入力信号１１１、１１２それぞれに対して重み付けを行う。重み付けの値（ｗ１、ｗ２）を結合荷重と呼ぶ。ニューロン部１３０は、シナプス部によって重み付けされた入力信号の和を計算し、和の値を非線形演算した値を出力する。ここで、外部からの入力信号をそれぞれｘｉ（１、２、・・・、ｎ）と表すとする。ｎは入力信号の数に等しい。式１に示すように、シナプス部は各入力信号に対して、対応する結合荷重の値ｗｉ（１、２、・・・、ｎ）を乗算し、ニューロン部はそれらの和Ｖｎを計算する。
　　　Ｖｎ＝Σｗｉｘｉ　　　　　（式１）
　ここで、Σはｉについての和記号である。
　さらにニューロン部は、求めた和Ｖｎに対して非線形演算ｆを行った結果を出力値ｙとする。従ってニューロンの出力ｙは式２のように表される。
　　　ｙ＝ｆ（Ｖｎ）　　　　　（式２）
　非線形関数ｆには、飽和特性を持つ単調増加関数が用いられる。例えば、ステップ関数（階段関数）やシグモイド関数（sigmoid function）が用いられることが多い。
　ニューラルネットワークは、複数のニューロンが同時に演算を行うことができるため、並列処理性を持つ。つまり、従来型コンピュータの逐次情報処理とは異なり、並列情報処理が可能であることが特長である。
　［学習機能］
　ニューラルネットワークの重要な特徴は、上述したように入力から出力を得る「処理」機能だけでなく、「学習」機能を備えている点である。ここで述べる学習とは、上述したシナプスの結合荷重を更新することで、ニューラルネットワーク全体の入出力の関係を所望のものに設定することである。
　［パルスニューロンモデル］
　ここまでニューラルネットワークの処理機能と学習機能について詳述してきた。これまでの説明に用いたモデルにおいては、ニューロン間で伝播する信号は、電流や電位の値をアナログ値で表現したものであった。これに対して、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、生体の神経回路をより忠実に真似て、パルスを直接扱うモデルが提案されている。例えば、特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。このモデルは、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデルである。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。このモデルは、パルスとパルスの時間的間隔を用いてアナログ情報を表現するモデルである。これらパルス信号を扱うモデルでは、ニューロン間でやり取りする信号が一定波形の信号であるため、後述するハードウェア化が容易であるという利点がある。しかし、パルス密度モデルでは密度を抽出する必要があるため、情報を表現するために一定の時間を要する。そのためニューロンの細かい時間スケールでの振る舞いを表現することはできないという欠点がある。一方、パルスタイミングモデルは、１つ１つのパルスによって情報を表現できるため、パルス密度モデルよりも高速な情報処理が可能である。例えば、非特許文献１には、パルスタイミングモデルを用いることで、パルス密度モデルを用いた場合よりも高い性能が得られることが開示されている。
　上述のような、パルスを用いた情報表現に適用できるニューロンの動作モデルとして、積分発火モデルが提案されている。ここでは、２つの入力端子を有するニューロンの積分発火動作について、図１３を用いて説明する。
　図１３に示すように、外部もしくは他のニューロンから、シナプス１に入力パルスｘ１が入力され、シナプス２に入力パルスｘ２が入力されると、パルスが入力されたタイミングで、それぞれのシナプス部において単峰性の電圧変化が現れる。このようなシナプス部の電位をシナプス後電位（Post-synaptic potential、以下、「ＰＳＰ」と略記する）と呼ぶ。図１３にシナプス１およびシナプス２でのＰＳＰの時間変化Ｐ１（ｔ）とＰ２（ｔ）を示す。ＰＳＰの高さはシナプス結合強度に比例する。ここでｔは時間を表す。
　ニューロンは、接続しているすべてのシナプスからのＰＳＰの総和を演算する。これを、ニューロンの内部電位Ｖｎ（ｔ）と呼ぶ。ニューロンへの入力端子が２つの場合、図１３に示すように、内部電位Ｖｎ（ｔ）はＰ１（ｔ）とＰ２（ｔ）の和となる。一般的に表すと、内部電位Ｖｎ（ｔ）は式３のように表される。
　　　Ｖｎ（ｔ）＝ΣＰｉ（ｔ）　　　　　（式３）
　ここで、ＰｉはシナプスｉでのＰＳＰであり、Σはｉについての和記号である。
　図１３に示すように、内部電位Ｖnがあらかじめ定められた閾値Ｖｔｈを越えると、そのニューロンはパルス信号ｙを出力する。これをニューロンの「発火」と呼ぶ。パルス出力ｙはニューロンから出力され、一定の伝達時間ｔＤｅｌａｙを経た後に、他のニューロンに入力される。
　パルスタイミングによる情報表現を用いる場合、学習動作におけるシナプス結合荷重の更新においてもパルスタイミングを利用することができる。特に、スパイクタイミングシナプス可塑性（Spike-timing dependent synaptic plasticity、以下では「ＳＴＤＰ」と略記する）と呼ばれる性質を用いた学習動作が注目を浴びている。STDPとは、あるシナプス１に着目したとき、シナプス１に信号を送るニューロン(前ニューロン)が発火するタイミングと、シナプス１に重み付けされた信号を受け取るニューロン(後ニューロン)が発火するタイミングに依存して、シナプス１のシナプス結合荷重が変化する特徴である。実際の生物の神経細胞においても、いくつかの種類のＳＴＤＰが観測されている。
　ここで図１４Ａを用いて、ＳＴＤＰについて説明する。図１４Ａに示すように、シナプス１２０に接続された前ニューロンが発火するタイミングをｔＰＲＥとし、後ニューロン発火するタイミングをｔＰＯＳＴとする。ＳＴＤＰとは、このときのｔＰＲＥとｔＰＯＳＴとの時間差ｔＰＯＳＴ－ｔＰＲＥを関数として、シナプスの結合強度ｗが変化する特性のことである。ＳＴＤＰには大きく分けて、２種類のものが知られている。図１４Ｂに示した特性が非対称型ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔＰＯＳＴ－ｔＰＲＥに加えて、両パルスの時間順序にも依存する。図１４Ｃに示した特性が対称型ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔＰＯＳＴ－ｔＰＲＥだけの関数で決まり、パルスの順番に依存しない。
　［集積回路化］
　ここまででニューラルネットワークの概要について詳述したが、ニューラルネットワークを構成するにあたっては、上述したニューロンの機能をどのようにして実現するかが問題となる。これまで、従来型コンピュータを用い、ソフトウェア処理にてニューロンの機能を実現する手法を用いることが多かった。しかし、この場合、複数のニューロンにおける処理をＣＰＵが時分割で実行することになるため、本来の並列情報処理がなされない。
そのため、ハードウェアを用いてニューロンを構成し集積回路化することが必須である。
　上述のように、パルスタイミングによる情報表現に基づくニューラルネットワークは高い性能を実現できることが示唆されている。また、ニューロン間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易である。そのため、近年ではＳＴＤＰを用いた学習機能を実装したニューラルネットワークのハードウェア化、すなわちニューラルネットワーク回路の実現に関する研究が盛んである。ＳＴＤＰを用いた学習機能を含む従来のニューラルネットワーク回路においては、シナプス結合強度をアナログ量として記憶することに適した素子を実現することが最大の課題である。これについて、例えば特許文献２では、可変抵抗型メモリ素子の可変抵抗値をシナプス結合荷重として記憶させる手法が開示されている。図１５は特許文献２に開示された可変抵抗型メモリ素子７２０の断面模式図である。可変抵抗型メモリ素子７２０は金属酸化膜７２２を上部電極７２１と下部電極７２３で挟んだ構造を有する。上部電極７２１と下部電極７２３との間に電圧を印加すると、流した電流値に依存して上部電極７２１と下部電極７２３との間の抵抗値が不揮発に変化する素子である。
　図１６Ａは特許文献２に開示された従来のＳＴＤＰニューラルネットワーク回路素子のブロック図である。ここで、ニューラルネットワーク回路素子とは、ニューラルネットワークの機能単位であるニューロンをハードウェアで再現したものである。ニューラルネットワーク回路素子７００は、複数のシナプス回路７１０と、１つのニューロン回路７３０と、を備えている。シナプス回路７１０は、可変抵抗型メモリ素子７２０を用いてシナプス結合荷重を記憶している。また、上述した手法で、可変抵抗型メモリ素子７２０の抵抗値を変更することによって、学習機能を実現している。図１６Ｂおよび図１６Ｃは、図１６Ａ中に示されたＳＴＤＰ部の具体的な構成について、特許文献２に例示された回路図である。
　図１１Ａおよび図１１Ｂからわかるように、ニューラルネットワーク回路を構成するには、１つのニューロン回路に対して複数の入力端子が必要となる。また、ニューラルネットワーク回路全体のニューラルネットワーク回路素子の数が増えるに従って、１つのニューロン回路に対して必要となる入力端子の数は増加する。１つのニューロン回路に対して、入力端子の数と同数のシナプス回路が必要となる。そのため多数のニューラルネットワーク回路素子からなるニューラルネットワーク回路を構成すると、非常に多くのシナプス回路が必要となる。例えば、図１１Ｂに示した相互結合型ニューラルネットワークでは、ニューロンの数をｎとしたときに必要なシナプスの数はｎの２乗となる。従って、ニューラルネットワーク回路をより小面積化するにはシナプス回路の構成を簡略化することが重要である。
　従来のニューラルネットワーク回路素子７００では、ニューロン回路７３０へ伝播させる信号および、ＳＴＤＰによって抵抗変化型メモリ素子７２０のシナプス荷重を更新するための信号を、シナプス回路７１０の中で生成している。例えば、図１６Ａ中のパルス発生部やＳＴＤＰ部で波形を生成している。そのため、シナプス回路内に図１６Ｂおよび図１６Ｃに示すような信号発生器や演算回路が必要となり、シナプス回路７１０の構成が大規模なものとなってしまっていた。
　以上の点から、従来のシナプス回路７１０およびその駆動法では、シナプス回７１０の面積が極めて大きくなるという課題を有しており、これを用いたニューラルネットワーク回路も大規模になっていた。
　上記従来の課題に対して、本発明の発明者らは、鋭意研究の末、ＳＴＤＰによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法およびニューラルネットワーク回路として、以下のような態様を想到するに至った。
　本発明の発明者らは、従来のニューラルネットワーク回路素子７００において、シナプス回路７１０内でシナプス荷重を更新するための非線形波形を生成しているのは、シナプス回路７３０に入力される他のニューラルネットワーク回路素子からの信号（ここでは他の入力信号と称する）がスパイクパルスそのもの（図１１における入力パルスｘ１）であることに起因するものであることに着目した。つまり、従来の構成においては、他の入力信号がスパイクパルスであることにより、入力された当該シナプス回路７１０と同じニューラルネットワーク回路素子７００で生成されたスパイクパルス（ここでは自己の入力信号と称する）と比較するために、他の入力信号をトリガとして当該シナプス回路７１０で非線形波形を新たに生じさせる必要性が生じていた。
　そこで、本発明の発明者らは、ニューラルネットワーク回路素子の出力信号自体を非線形波形とすることで他の入力信号をニューラルネットワーク回路素子のシナプス回路が受信してから非線形波形に変換する必要性をなくすことができるという知見を得た。さらに、非線形波形同士を比較する際に、入力タイミング差を有効に検出するために、当該非線形波形として、後述する双極性ノコギリ形波形（bipolar sawtooth waveform）またはメキシカンハット形波形（mexican-hat waveform）が好適に採用できるという知見を得るに至った。
　以下、本発明の実施の形態によるニューラルネットワーク回路の学習方法を、図面を参照しながら説明する。
　（実施の形態）
　図１は、実施の形態によるニューラルネットワーク回路素子４０のブロック図を示す。１つのニューラルネットワーク回路素子４０は少なくとも１つの入力端子５１と、入力端子５１の数と同数のシナプス回路２０と、１つのニューロン回路３０と、１つの出力端子５２と、を備えている。また、ニューラルネットワーク回路は、図１１Ａ、図１１Ｂに示すように、複数のニューラルネットワーク回路素子４０が接続されることで構成される。具体的には、ニューラルネットワーク回路素子４０の出力端子５２は、他のニューラルネットワーク回路素子４０の入力端子５１に接続される。
　ニューラルネットワーク回路素子４０の入力端子５１は、シナプス回路２０の第１入力端子４１に接続されている。シナプス回路２０の出力端子４４は、ニューロン回路３０の入力端子４５に接続されている。ニューロン回路３０の第１出力端子４６は、ニューラルネットワーク回路素子４０の出力端子５２に接続されている。なお、図１では、図面の見易さのため、１つのニューロン回路３０および１つのシナプス回路２０のみが記載されているが、実際には、１つのニューロン回路３０に対して複数のシナプス回路２０が接続される。
　ニューロン回路３０は、積分回路３１と、波形発生回路３２と、遅延回路３３と、を備える。
　ニューロン回路３０の入力端子４４は、積分回路３１に接続されている。積分回路３１は、ニューロン回路３０に接続されている複数のシナプス回路２０から流れ込む電流の和を演算する。そして、演算値が所定の値を超えたときに、波形発生回路３２へ信号（トリガ信号）を出力する。
　信号発生回路３２は、積分回路３１からの信号をトリガとして、非線形波形パルス電圧ＶＰＯＳＴ１およびスイッチングパルス電圧ＶＰＯＳＴ２を生成する。非線形波形パルス電圧ＶＰＯＳＴ１は、例えば、図２Ａや図２Ｂに示した形状、またはそれらを符号反転させた形状である。ここで図２Ａに示した非線形波形パルス電圧を「双極性ノコギリ形パルス電圧」と呼ぶこととする。双極性ノコギリ形パルス電圧の特徴は、初めは０ボルトである電位が、時間経過と共に所定の負の電位まで低下し、その後、所定の正の電位まで上昇した後に、再び０ボルトに戻ることである。一方、図２Ｂに示した非線形波形パルス電圧を「メキシカンハット形パルス電圧」と呼ぶこととする。メキシカンハット形パルス電圧の場合は、初めは０ボルトである電位が、時間経過と共に所定の負の電位まで低下した後、所定の正の電位まで上昇する。その後、電位は、所定の負の値まで低下した後、再び０ボルトに戻る。スイッチングパルス電圧ＶＰＯＳＴ２には、例えば図２Ｃに示した方形波パルス電圧が用いられ得る。
　例えば、信号発生回路３２は、図１７に示すように、積分回路３１からの出力信号をトリガとして駆動するデジタル／アナログコンバータ３２１と、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧を生成するためのデジタル波形データが記憶されたデジタルメモリ３２２とを備えている。デジタル／アナログコンバータ３２１は、積分回路３１からの出力信号が入力されると、デジタルメモリ３２２からデジタル波形データを読み出し、これをアナログ波形に変換して出力する。
　非線形波形パルス電圧ＶＰＯＳＴ１は、遅延回路３２によって所定の遅延時間を経過した後、第１出力端子４５に出力される。ニューロン回路３０の第１出力端子４５は、ニューラルネットワーク回路素子４０の出力端子５２に接続されているので、遅延回路３３の出力信号がニューラルネットワーク回路素子４０の出力信号となる。そして、この出力信号が他のニューラルネットワーク回路素子（図示省略）におけるシナプス回路の第１入力端子に第１入力信号電圧（すなわち、非線形波形パルス電圧ＶＰＲＥ）として入力されることとなる。スイッチングパルス電圧ＶＰＯＳＴ２は、ニューロン回路３０の第２出力端子４６に出力される。第２出力端子４６は、ニューロン回路３０に接続された、すべてのシナプス回路２０の第２入力端子４２に接続され、第２入力信号電圧６０として入力される。
　シナプス回路２０は、第１スイッチ２２と、第２スイッチ２１と、後述する可変抵抗素子１０と、所定の直流電圧源２３と、を備える。シナプス回路２０の第１入力端子４１は、第１スイッチ２２の入力端子２６に接続されている。シナプス回路２０の第２入力端子４２は、第１スイッチの制御端子２８に接続されている。
　第１スイッチ２２の出力端子２７は、可変抵抗素子１０の制御電極１５に接続されている。シナプス回路２０の出力端子４３は、可変抵抗素子１０の第２電極１４に接続されている。シナプス回路２０の出力端子４３は、ニューロン回路３０の入力端子４４に接続されている。シナプス回路２０の第１入力信号電圧６０は、他のニューラルネットワーク回路素子（図示省略）からの非線形波形パルス電圧ＶＰＲＥである。またシナプス回路２０の第２入力端子４２への第２入力信号電圧７０は、同じニューラルネットワーク回路素子４０内のニューロン回路３０の波形生成回路３２が生成したスイッチングパルス電圧ＶＰＯＳＴ２である。
　ここで、本実施の形態のニューラルネットワーク回路素子４０の構成において重要な点は、波形生成はすべてニューロン回路３０で行い、生成した非線形波形パルス電圧ＶＰＯＳＴ１（他のニューラルネットワーク回路素子４０に入力される非線形波形パルス電圧ＶＰＲＥとなる）とスイッチングパルス電圧ＶＰＯＳＴ２を用いて処理および学習動作を行うことである。これによってシナプス回路２０を簡略化することができる。
　次に、可変抵抗素子１０について説明する。図５Ａおよび図５Ｂは、それぞれ、可変抵抗素子１０の断面模式図および回路記号を示す。可変抵抗素子１０は、半導体膜１１、強誘電体膜１２、第１電極１３、第２電極１４および制御電極１５を具備する。Ｚ軸は強誘電体膜１２の法線方向である。Ｘ軸はＺ軸に直交する方向である。また、可変抵抗素子１０の回路記号を図５Ｂのように表記することとする。図１には、図５Ｂの表記に基づいて当該可変抵抗素子１０が組み込まれたニューラルネットワーク回路素子４０が示されている。
　半導体膜１１の材料の例は、ＺｎＯ、ＧａＮ、またはＩｎＧａＺｎＯである。強誘電体膜１２の材料の例は、Ｐｂ（Ｚｒ、Ｔｉ）Ｏ３、Ｓｒ（Ｂｉ，Ｔａ）Ｏ、またはＢｉ１２ＴｉＯ２０である。第１電極１３、第２電極１４および制御電極１５の例は、白金膜およびチタン膜から構成される積層体である。
　半導体膜１１、強誘電体膜１２および制御電極１５はＺ軸に沿って積層されている。半導体膜１１の表側の面に、第１電極１３および第２電極１４が配置されている。
　次に、本実施の形態における、可変抵抗素子１０の可変抵抗値について、図５Aを用いて説明する。可変抵抗素子１０の可変抵抗値とは、第１電極１３と第２電極１４との間の抵抗値である。強誘電体膜１２の一部分が上方向の分極方向を有する場合、当該一部分の上に積層している半導体膜１１の部分は低い抵抗を有する。一方、強誘電体膜１２の一部分が下方向の分極方向を有する場合、当該一部分の上に積層している半導体層１１の部分は高い抵抗を有する。このとき、第１電極１３と第２電極１４との間の抵抗値は、第１電極１３と第２電極１４とに挟まれた領域の半導体の抵抗値となる。従って、当該領域の下に積層されている強誘電体膜１２のうち上方向と下方向の分極方向を有する領域の割合によって、第１電極１３と第２電極１４との間の抵抗値は連続的に変化する。
　次に、本実施の形態による可変抵抗素子１０の抵抗値の制御方法について、図５Ａを用いて説明する。可変抵抗素子１０では、第１電極１３および第２電極１４と制御電極１５との間に電位差を設けることで、強誘電体膜１２の分極方向を変化させ、第１電極１３と第２電極１４との間の抵抗値が制御される。例えば、第１電極１３および第２電極１４を基準として、両電極と制御電極１５との間に正の電位差を設けると、強誘電体膜１２の分極による電場の向きが上方向（半導体膜１１側）に向きやすくなる。反対に、負の電位差を設けると、強誘電体膜１２の分極による電場の向きが下方向（制御電極１５側）に向きやすくなる。また、与える電位差の絶対値が大きいほど、電位差による強誘電体膜１２の分極の変化量が大きくなる。したがって、正の電位差を設けると第１電極１３と第２電極１４との間の抵抗値は減少し、負の電位差を設けると第１電極１３と第２電極１４との間の抵抗値は増加し、それら抵抗値の変化は与えた電位差の絶対値が大きいほど顕著になる。ここで、上方向とは半導体膜１１が積層されている方向であり、下方向とは制御電極１５が積層されている方向を意味している。
　次にニューラルネットワーク回路素子４０の動作の詳細について説明する。
　まず、処理動作について説明する。
　「処理」動作の間は、シナプス回路の第２入力信号電圧７０によって、第１スイッチ２２は、可変抵抗素子１０の制御電極１５と、シナプス回路２０の第１入力端子４１と、の間が非導通である状態を保つ。
　また、第２スイッチ２１は、第１入力信号である非線形波形パルス電圧ＶＰＲＥがシナプス回路２０に入力されている間、直流電圧源（第１基準電圧源）２３と可変抵抗素子１０の第１電極１３とを接続する。すなわち、他のニューラルネットワーク回路素子（図示省略）から、非線形波形パルス電圧ＶＰＲＥが第１入力信号電圧６０としてシナプス回路２０へ入力されると、その非線形波形パルス電圧ＶＰＲＥによって第２スイッチ２１が開閉される。例えば第２スイッチ２１は、非線形波形パルス電圧ＶＰＲＥが所定の電圧以上となるＨＩレベルの期間に閉状態となり、それ以外の期間に開状態となる。また、シナプス回路２０の第２電極１４は、グランド電圧（第１基準電圧と異なるように、第２基準電圧源から供給される第２基準電圧）と等電位となる。
　第２スイッチ２１が閉状態になると、直流電圧源２３と可変抵抗素子１０の第１電極１３とが接続される。可変抵抗素子１０は、前述したように第１電極１３と第２電極１４との間の抵抗値が可変する特性を有している。第２スイッチ２１が閉状態になることにより、可変抵抗素子１０の第１電極１３と第２電極１４との間に電源電圧ＶＤＤが印加され、直流電圧源２３から可変抵抗素子１０の第２電極１４へ、可変抵抗素子１０の現時点の伝導率（抵抗値の逆数）に比例した電流が流れ、ニューロン回路３０に入力される。ニューロン回路３０に入力される電流の大きさは、シナプス結合荷重ｗに比例しており、図１３のＰＳＰ（Ｐ１（ｔ），Ｐ２（ｔ））を表現している。従って、本実施の形態では、可変抵抗素子１０の伝導率（抵抗値の逆数）がシナプス結合荷重ｗに相当することとなる。
　このようなニューロン回路３０への入力は、複数の他のニューラルネットワーク回路素子からシナプス回路２０を介して非同期的に与えられる。これら複数のシナプス回路２０からの入力電流が、ニューロン回路３０の積分回路３１において時空間加算される。時空間加算によって生じる積分電圧は内部電位Ｖｎとみなせる。内部電位Ｖｎが所定の閾値電圧ＶＴＨを超えると、波形発生回路３２がパルス電圧（ＶＰＯＳＴ１，ＶＰＯＳＴ２）を生成する。このうち、波形発生回路３２で生成された非線形波形パルス電圧ＶＰＯＳＴ１は、遅延回路３３により設定された所定の遅延時間が経過した後、他のニューラルネットワーク回路素子回路（図示省略）のシナプス回路の第１入力端子へ第１入力信号電圧ＶＰＲＥとして印加される。この遅延時間はニューロンモデルにおける伝達遅延時間ｔＤｅｌａｙに相当する。
　次に、学習動作、特にＳＴＤＰを利用した学習動作について説明する。
　「学習」動作時には、ニューロン回路３０の波形発生回路３２は非線形波形パルス電圧ＶＰＯＳＴ１と同時にスイッチングパルス電圧ＶＰＯＳＴ２を生成する。例えば、図２Ａおよび図２Ｂまたは図２Ｃのそれぞれに点線で示される時刻Ｔｉｎが同じ時刻となるように、パルス電圧を出力する。スイッチングパルス電圧ＶＰＯＳＴ２は第２入力信号電圧７０としてシナプス回路２０の第１スイッチ２２の制御端子２８へ与えられる。また他のニューラルネットワーク回路素子の非線形波形パルス電圧ＶＰＲＥが、第１入力信号電圧６０としてシナプス回路２０の第１スイッチ２２の入力端子２６に入力される。シナプス回路２０では、スイッチングパルス電圧ＶＰＯＳＴ２によって、第１スイッチ２２を切り替える。スイッチングパルス電圧ＶＰＯＳＴ２は、同じニューラルネットワーク回路素子４０内で生成された非線形波形パルス電圧ＶＰＲＥの時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間、所定の電圧レベル（ＨＩレベル）となる。
　次に、可変抵抗素子１０を具備するシナプス回路２０において、ＳＴＤＰを実現する方法について、図１を用いて説明する。例えば、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩレベルの期間は、第１スイッチ２２によって、可変抵抗素子１０の制御電極１５と、シナプス回路２０の第１入力端子４１とが接続される場合を考える。すなわち、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩレベルの期間、可変抵抗素子１０の制御電極１５に第１信号電圧ＶＰＲＥが入力可能な入力許容期間となる。この場合、スイッチングパルス電圧ＶＰＯＳＴ２によって、第１スイッチ２２が可変抵抗素子１０の制御電極１５と第１入力端子４１とを導通させている間に、非線形波形パルス電圧ＶＰＲＥが入力されると、その間だけ可変抵抗素子１０の制御電極１５にパルス電圧が印加される。従って、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２が時間的に重なって入力されることで、可変抵抗素子１０の制御電極１５に有限の電圧が印加される。つまり、第１電極１３および第２電極１４と制御電極１５との間に電位差が設けられるので、この電位差によって可変抵抗素子１０の抵抗値が変更される。上述のとおり、本実施の形態においては、可変抵抗素子１０の抵抗値の逆数（伝導率）がシナプス結合強度を表わしているので、その抵抗値の変化によりシナプス回路２０のシナプス結合強度を更新する「学習」動作が可能となる。
　また、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２とが印加されるタイミングによって、可変抵抗素子１０の制御電極１５に印加されるパルス電圧の波形は変化する。上述のように、可変抵抗素子１０の抵抗値変化の程度は印加される電圧の大きさ、つまり電圧波形に依存する。このため、２つのパルス電圧が印加されるタイミングによって変化する生成波形の形状に依存して、抵抗値変化の程度も変化する。本実施形態では、図２Ａに示した双極性ノコギリ形パルス電圧を非線形波形パルス電圧として用いることで、図１４Ｂに示した非対称型のＳＴＤＰを実現することができ、図２Ｂに示したメキシカンハット形パルス電圧を非線形波形パルス電圧として用いることで、図１４Ｃに示した対称型のＳＴＤＰを実現することができる。
　非線形波形パルス電圧ＶＰＲＥを図２Ａに示す双極性ノコギリ形パルス電圧とし、スイッチングパルス電圧ＶＰＯＳＴ２を図２Ｃに示す方形波パルス電圧としたときの、第１スイッチ２２の動作について、図３にまとめた。ここでは、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の制御電極１５に印加される場合を考える。第１スイッチ２２の動作によって制御電極１５に印加される電圧をＶｓａｍｐｌｅとする。非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２の入力タイミング差ｔＰＯＳＴ２－ｔＰＲＥが変化すると、Ｖｓａｍｐｌｅの波形も変化する。例えばｔＰＯＳＴ２－ｔＰＲＥ＜０のとき（非線形波形パルス電圧ＶＰＲＥがスイッチングパルス電圧ＶＰＯＳＴ１より早く入力されるとき）、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２が時間的に重なると、Ｖｓａｍｐｌｅの負方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる負の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく減少する。従って、Ｖｓａｍｐｌｅの負方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく減少する。一方、ｔＰＯＳＴ２－ｔＰＲＥ＞０のとき（非線形波形パルス電圧ＶＰＲＥがスイッチングパルス電圧ＶＰＯＳＴ１より遅く入力されるとき）は、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２が時間的に重なると、Ｖｓａｍｐｌｅは、正方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる正の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく増加する。従って、Ｖｓａｍｐｌｅの正方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく増加する。
　同様に非線形波形パルス電圧ＶＰＲＥを図２Ｂに示すメキシカンハット形パルス電圧とし、スイッチングパルス電圧ＶＰＯＳＴ２を図２Ｃに示す方形波パルス電圧としたときの、第１スイッチ２２の動作について、図４にまとめた。ここでも、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間（すなわち、前述の入力許容期間）だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の制御電極１５に印加される場合を考える。非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２の入力タイミング差ｔＰＯＳＴ２－ｔＰＲＥが変化すると、Ｖｓａｍｐｌｅの波形も変化する。例えば、非線形波形パルス電圧ＶＰＲＥの電位が正の値をとるタイミングに、スイッチングパルス電圧ＶＰＯＳＴ２が印加されると、Ｖｓａｍｐｌｅの正方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる正の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく増加する。従って、Ｖｓａｍｐｌｅの正方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく増加する。一方、非線形波形パルス電圧ＶＰＲＥの電位が負の値をとるタイミングに、スイッチングパルス電圧ＶＰＯＳＴ２が印加されると、Ｖｓａｍｐｌｅは、負方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる負の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく減少する。従って、Ｖｓａｍｐｌｅの負方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく減少する。
　このようにスイッチングパルス電圧ＶＰＯＳＴ２を用いて第１スイッチ２２を切り替えることで、同じニューラルネットワーク回路素子４０内で生成されたスイッチングパルス電圧（第２入力信号電圧）ＶＰＯＳＴ２と他のニューラルネットワーク回路素子から入力された非線形波形パルス電圧（第１入力信号電圧）ＶＰＲＥの入力タイミング差に基づいて、可変抵抗素子１０の第１電極１３および第２電極１４と制御電極１５との間に、当該入力タイミング差に依存した電位差が設けられる。このようにして設けられた電位差によって、可変抵抗素子１０において入力タイミング差に依存した抵抗値の変調が実現される。
　このように、他のニューラルネットワーク回路素子から入力される双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧である非線形パルス波形電圧ＶＰＲＥを、同じニューラルネットワーク回路素子４０内のニューロン回路３０で生成される双極性ノコギリ形パルス電圧ＶＰＯＳＴ１の生成タイミングに応じたスイッチングパルス電圧ＶＰＯＳＴ２と比較するため、当該比較用の波形をシナプス回路２０自身で生成する必要がなくなり、シナプス回路２０の面積を小さくすることができる。これにより、ニューラルネットワーク回路素子４０自体の回路面積を小さくすることができる。従って、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができる。
　また、比較対象となる非線形パルス波形電圧ＶＰＲＥとして、２つの極性を有し、０ボルトの地点を基準として点対称となるような双極性ノコギリ形パルス電圧波形または０ボルトの時間を基準として線対称となるようなメキシカンハット形パルス電圧波形を用いている。このため、第１入力信号電圧ＶＰＲＥと比較される第２入力信号電圧であるスイッチングパルス電圧ＶＰＯＳＴ２との間のタイミングずれを容易に可変抵抗素子１０の抵抗値の変調に反映させることができる。
　非線形パルス波形電圧ＶＰＲＥ，ＶＰＯＳＴ１の波形は、それぞれ上記のような双極性ノコギリ形パルス電圧波形またはメキシカンハット形パルス電圧波形である限り特に限定されないが、例えば、双極性ノコギリ形パルス電圧であれば、図２Ａに示すように、各極性の頂点と０ボルトの地点との間を結ぶ線分の傾きが他の部分の傾きより急峻であるような波形が採用可能である。０ボルトの地点に近い領域の傾きが急峻であることにより、第１入力信号電圧ＶＰＲＥと第３入力信号電圧ＶＰＯＳＴ１との入力タイミング差がわずかである場合でも電位差Ｖｅｆｆｅｃｔの変化が大きくなるため、入力タイミング差に対して感度を高めることができる。同様に、メキシカンハット形パルス電圧であれば、図２Ｂに示すように、各極性の頂点同士の間を結ぶ線分の傾きが急峻であることにより、第１入力信号電圧ＶＰＲＥと第３入力信号電圧ＶＰＯＳＴ１との入力タイミング差がわずかである場合でも電位差Ｖｅｆｆｅｃｔの変化が大きくなるため、入力タイミング差に対して感度を高めることができる。
　なお、本実施の形態では、非線形波形パルス電圧ＶＰＲＥを用いて、シナプス回路２０の第２スイッチ２１を開閉したが、例えば非線形波形パルス電圧ＶＰＲＥが入力されている間、所定の電圧となるような方形波パルス電圧を用いて第２スイッチ２１を開閉してもよい。
　（実施例）
　以下の実施例を参照しながら本発明をより詳細に説明する。
　（実施例１）
　（可変抵抗素子１０の作製）
　厚さ３０ｎｍのルテニウム酸ストロンチウム（ＳｒＲｕＯ３）からなる酸化物導電膜を、チタン酸ストロンチウム（ＳｒＴｉＯ３）からなる（００１）単結晶基板上に、パルスレーザデポジション（以下ＰＬＤ）法によって堆積した。堆積時の基板の温度は７００℃であった。堆積後、フォトリソグラフィおよびイオンミリング法によって制御電極１５を形成した。
　基板の温度が７００℃である状態で、ＰＬＤ法を用いてＳＲＯ上に厚さ４５０ｎｍのジルコニウム酸チタン酸鉛（Ｐｂ（Ｚｒ，Ｔｉ）Ｏ３）からなる強誘電体膜１２を堆積した。その後、基板の温度を４００℃まで下げた。次いで、厚さ３０ｎｍの酸化亜鉛（ＺｎＯ）からなる半導体膜１１を堆積した。
　半導体膜１１上にパターニングされたレジストを形成した後、厚さ５ｎｍのチタン膜と、厚さ３０ｎｍの白金膜から構成される積層体を、室温下で電子ビーム蒸着法によって堆積した。堆積後、リフトオフ法によって第１電極１３と第２電極１４を形成した。このようにして、可変抵抗素子１０を得た。
　（シナプス回路の評価）
　図６に示したシナプス回路を構成し、上述の可変抵抗素子１０を用いたシナプス回路のＳＴＤＰ特性を評価した。ＶＤＤには０．１ボルトの直流電圧源を接続した。第１スイッチには図６に示すようなスイッチ回路２５を用いた。スイッチ回路２５はスイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の制御電極１５に印加され、それ以外の期間は可変抵抗素子１０の制御電極１５は接地されるような動作を行う。なお、図６においては図１における第２スイッチ２１の構成は省略している。
　本実施例では、図７Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図７Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ２とし、スイッチ回路２５を図１における第１スイッチ２２として用いることで図３に示したようなスイッチング動作を実現した。印加する非線形波形パルス電圧ＶＰＲＥおよびスイッチングパルス電圧ＶＰＯＳＴ２のタイミングを変えながら、両パルス電圧を印加する前後の伝導率（抵抗値の逆数）の変化を測定すると、図７Ｃに示したように、図１４Ｂのような非対称形のＳＴＤＰが得られた。
　（積分動作の評価）
　次に、図８に示したような、１つのシナプス回路２０に積分回路３１を接続した回路を作製し、ＳＴＤＰによる可変抵抗素子１０の抵抗変化に伴う積分動作の変化について評価した。
　積分回路３１は、オペアンプ５３、キャパシタ３６および抵抗３７から構成される。キャパシタ３６の容量値は１ピコファラッドとし、抵抗３７の抵抗値は１メガオームとした。積分回路３１は、シナプス回路２０から入力される電流を用いてキャパシタ３６を充電する。この動作によって、電流の時間積分の演算結果が積分電位Ｖｎとして出力される。またキャパシタ３６は、オペアンプ３５の負極性入力端子（－）および出力端子間に配置されている。またオペアンプ３５の出力信号は抵抗３７を介して負極性入力端子（－）に戻る。その結果、オペアンプ３５のフィードバック機能により、負極性入力端子（－）への入力が仮想接地となる。
　オペアンプ３５の負極性入力端子（－）への入力が仮想接地となるため、シナプス回路２０の数やキャパシタ３６の積分電位に関わらず、所定の電源電圧と可変抵抗素子２０の抵抗値によって決まる一定電流が、各シナプス回路２０を通して、ニューロン回路３０へ入力される。
　図８に示すシナプス回路２０の第１スイッチ２２として図６と同様の回路２５を用い、第２スイッチ２１として電界効果トランジスタ２４を用いた。電界効果トランジスタ２４のゲート端子には非線形波形パルス電圧ＶＰＲＥが印加される。本実施例に用いた電界効果トランジスタ２４は、非線形波形パルス電圧ＶＰＲＥがＨＩのときにオンし、それ以外ではオフする。電界効果トランジスタ２４のオン抵抗は可変抵抗素子１０の抵抗値の１００分の１以下であるため、直流電圧源２３とオペアンプ３５の負極製入力端子（－）の間の抵抗値はおよそ可変抵抗素子１０の抵抗値に等しい。したがって、非線形波形パルス電圧ＶＰＲＥがＨＩの期間だけ、可変抵抗素子１０にパルス電流が流れる。パルス電流の大きさはおよそ可変抵抗素子１０の抵抗値の逆数(伝導率)に比例する。
　ニューロン回路２０に入力されたパルス電流は、積分回路３１のキャパシタ３６を充電するため、時間積分結果が出力Ｖｎとして出力される。非線形波形パルス電圧ＶＰＲＥが印加されて２０マイクロ秒後の積分電圧Ｖｎについて評価した。
　本実施例では、図７Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図７Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ２とした。印加する非線形波形パルス電圧およびスイッチングパルス電圧のタイミングを変えながら、両パルス電圧を印加する前後の積分電圧Ｖｎの変化を測定した。図９の左軸に積分電圧の変化量を示す。図９の右軸には、参考のため、図７Ｃに示した伝導率の変化量と同じものをプロットした。積分電圧の変化量は、伝導率の変化量に対応した特性を示し、可変抵抗素子１０のＳＴＤＰ特性が積分回路３１の積分動作にも反映されていることが示された。
　（実施例２）
　（シナプス回路１００の評価）
　実施例１と同様に、図６に示したシナプス回路を構成し、可変抵抗素子１０を用いたシナプス回路のＳＴＤＰ特性を評価した。
　図１０Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図１０Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ２として印加する前後の伝導率（抵抗値の逆数）の変化を測定した。図１０Ｃの左軸に示すように、図１４Ｃのような対称形のＳＴＤＰ特性が得られた。
　（積分動作の評価）
　次に、実施例１と同様に、図８に示したような、１つのシナプス回路２０に積分回路３１を接続した回路を作製し、ＳＴＤＰによる可変抵抗素子１０の抵抗変化に伴う積分動作の変化について、非線形波形パルス電圧ＶＰＲＥが印加されて２０マイクロ秒後の積分電圧Ｖｎから評価した。
　図１０Ｃの右軸に積分電圧の変化量を示す。積分電圧の変化量は、伝導率の変化量に対応した特性を示し、可変抵抗素子１０の対称形ＳＴＤＰ特性が積分回路３１の積分動作にも反映されていることが示された。
　上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。
　本発明は、ニューラルネットワーク回路の荷重更新動作に用いられ得る。
　１０　可変抵抗素子
　１１　半導体膜
　１２　強誘電体膜
　１３　第１電極
　１４　第２電極
　１５　制御電極
　２０　シナプス回路
　２１　第２スイッチ
　２２　第１スイッチ
　２３　直流電圧源（第１基準電圧源）
　３０　ニューロン回路
　３１　積分回路
　３２　波形発生回路
　３３　遅延回路
　４０　ニューラルネットワーク回路素子
　５４　グランド電圧源（第２基準電圧源）
　３２１　デジタル／アナログコンバータ
　３２２　デジタルメモリ

Claims (5)

  1. 　複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、
    　前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、
    　他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、
    　前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、
    　前記シナプス回路（２０）は、
    　半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、
    　前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を発生させる波形発生回路（３２）を備え、前記第１入力信号が前記所定のパルス電圧波形を有するように構成され、
    　前記可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、前記可変抵抗素子（１０）の前記制御電極（１５）に、前記第１入力信号を入力可能とすることで、前記入力許容期間に対する前記第１入力信号の入力タイミングに依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させる、ニューラルネットワーク回路の学習方法。
  2. 　前記シナプス回路（２０）は、入力された前記第１入力信号を前記可変抵抗素子（１０）の前記制御電極（１５）に入力可能とするか否かを切り替える第１スイッチ（２２）を備え、
    　前記ニューロン回路（３０）は、前記第１スイッチ（２２）を、前記入力許容期間、前記第１入力信号が前記制御電極（１５）に入力可能な状態となるように切り替えるための第２入力信号を生成するよう構成される、請求項１に記載のニューラルネットワーク回路の学習方法。
  3. 　前記ニューロン回路（３０）は、
    　前記少なくとも１つのシナプス回路（２０）の前記可変抵抗素子（１０）を流れる電流値を積分する積分回路（３１）と、
    　前記波形発生回路（３２）で発生させた前記双極性ノコギリ形パルス電圧を所定時間遅延させて前記ニューラルネットワーク回路素子（４０）の出力信号として出力する遅延回路（３３）と、を具備し、
    　前記波形発生回路（３２）は、前記積分回路（３１）で積分された電流値に応じた前記所定のパルス電圧を発生させる、請求項１に記載のニューラルネットワーク回路の学習方法。
  4. 　前記シナプス回路（２０）は、一端が第１基準電圧源（２３）に接続され、他端が前記可変抵抗素子（１０）の前記第１電極（１３）に接続される第２スイッチ（２１）を備え、
    　前記第２スイッチ（２１）は、前記第１入力信号が入力されている間、前記第１基準電圧源（２３）と前記第１電極（１３）とを接続するように構成される、請求項１に記載のニューラルネットワーク回路の学習方法。
  5. 　複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路であって、
    　前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、
    　他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、
    　前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、
    　前記シナプス回路（２０）は、半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、
    　前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を生成する波形発生回路（３２）を備え、前記第１入力信号が前記所定のパルス電圧波形を有するように構成され、
    　前記可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、前記可変抵抗素子（１０）の前記制御電極（１５）に、前記第１入力信号を入力可能とすることで、前記入力許容期間に対する前記第１入力信号の入力タイミングに依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させる、ニューラルネットワーク回路。
     
PCT/JP2012/003492 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法 WO2013111200A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012800152802A CN103460220A (zh) 2012-01-23 2012-05-29 神经网络电路的学习方法
JP2013513467A JP5289647B1 (ja) 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法
US13/951,448 US8965821B2 (en) 2012-01-23 2013-07-25 Learning method of neural network circuit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012010657 2012-01-23
JP2012-010657 2012-01-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/951,448 Continuation US8965821B2 (en) 2012-01-23 2013-07-25 Learning method of neural network circuit

Publications (1)

Publication Number Publication Date
WO2013111200A1 true WO2013111200A1 (ja) 2013-08-01

Family

ID=48872979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003492 WO2013111200A1 (ja) 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法

Country Status (4)

Country Link
US (1) US8965821B2 (ja)
JP (1) JP5289647B1 (ja)
CN (1) CN103460220A (ja)
WO (1) WO2013111200A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792547B2 (en) 2014-03-18 2017-10-17 Panasonic Intellectual Property Management Co., Ltd. Neural network circuit and learning method for neural network circuit
CN110766130A (zh) * 2018-07-28 2020-02-07 华中科技大学 一种bp神经网络学习电路
JP6841393B1 (ja) * 2020-02-27 2021-03-10 Tdk株式会社 演算回路及びニューロモーフィックデバイス
WO2021066100A1 (ja) * 2019-10-02 2021-04-08 国立大学法人東北大学 シナプス回路の駆動方法
JP6892026B1 (ja) * 2020-02-27 2021-06-23 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
CN113033793A (zh) * 2021-03-02 2021-06-25 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
JP2021197191A (ja) * 2020-06-11 2021-12-27 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
WO2023013018A1 (ja) * 2021-08-06 2023-02-09 日本電気株式会社 演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN103460220A (zh) * 2012-01-23 2013-12-18 松下电器产业株式会社 神经网络电路的学习方法
WO2015001697A1 (ja) 2013-07-04 2015-01-08 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US10169701B2 (en) * 2015-05-26 2019-01-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US10318861B2 (en) * 2015-06-17 2019-06-11 International Business Machines Corporation Artificial neuron apparatus
CN107563497B (zh) * 2016-01-20 2021-03-19 中科寒武纪科技股份有限公司 用于稀疏人工神经网络的计算装置和运算方法
WO2018037335A1 (en) * 2016-08-26 2018-03-01 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
KR20180111156A (ko) * 2017-03-31 2018-10-11 에스케이하이닉스 주식회사 피드-백 라인을 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 동작 방법
KR20180116842A (ko) 2017-04-18 2018-10-26 에스케이하이닉스 주식회사 강유전체 트랜지스터를 포함하는 뉴로모픽 소자의 시냅스 시스템
CN107194463B (zh) * 2017-04-20 2019-11-22 北京大学 神经元电路和神经形态电路
US11442695B2 (en) * 2017-12-28 2022-09-13 Tdk Corporation Product-sum operation device, neuromorphic device, and method for determining malfunction in product-sum operation device
JP6876281B2 (ja) * 2017-12-28 2021-05-26 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算器の使用方法
JP6569755B1 (ja) * 2018-03-06 2019-09-04 Tdk株式会社 ニューラルネットワーク装置、信号生成方法およびプログラム
WO2020075272A1 (ja) * 2018-10-11 2020-04-16 Tdk株式会社 積和演算器、論理演算デバイス、ニューロモーフィックデバイス及び積和演算方法
EP3671750A1 (en) * 2018-12-21 2020-06-24 IMEC vzw Synapse circuit with memory
CN110163365A (zh) * 2019-05-29 2019-08-23 北京科易达知识产权服务有限公司 一种应用于忆阻器突触阵列的脉冲神经元电路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004514A (ja) * 2005-06-24 2007-01-11 Elpida Memory Inc 人工神経回路
US20080162391A1 (en) * 2006-12-29 2008-07-03 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of stdp and dopamine signaling
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731705B2 (ja) * 1992-08-24 1995-04-10 東京工業大学長 自己学習型積和演算回路素子及び回路
KR0178805B1 (ko) * 1992-08-27 1999-05-15 정호선 스스로 학습이 가능한 다층 신경회로망 및 학습 방법
JPH07114524A (ja) 1993-10-14 1995-05-02 Ricoh Co Ltd 信号処理装置
US6470328B1 (en) * 1998-08-07 2002-10-22 Monolith Company, Ltd. Artificial neuron on the base of B-driven threshold element
KR20020093585A (ko) * 2001-06-06 2002-12-16 마츠시타 덴끼 산교 가부시키가이샤 반도체장치
US8156057B2 (en) * 2003-03-27 2012-04-10 Knowm Tech, Llc Adaptive neural network utilizing nanotechnology-based components
GB0506253D0 (en) * 2005-03-29 2005-05-04 Univ Ulster Electronic synapse device
JP2009021436A (ja) * 2007-07-12 2009-01-29 Hitachi Ltd 半導体装置
JP5106031B2 (ja) * 2007-10-12 2012-12-26 パナソニック株式会社 半導体記憶装置及びその製造方法並びに半導体スイッチング装置
WO2010082928A1 (en) * 2009-01-15 2010-07-22 Hewlett-Packard Development Company, L.P. Silicon-based memristive device
GB2471535B (en) * 2010-01-07 2012-01-11 Dna Electronics Ltd Electrically actuated switch
JP4852670B1 (ja) * 2010-05-26 2012-01-11 パナソニック株式会社 不揮発スイッチング装置を駆動する方法
US8441835B2 (en) * 2010-06-11 2013-05-14 Crossbar, Inc. Interface control for improved switching in RRAM
WO2012029211A1 (ja) * 2010-09-02 2012-03-08 パナソニック株式会社 不揮発性論理回路を駆動する方法
CN103493140B (zh) * 2011-07-15 2016-07-06 松下知识产权经营株式会社 驱动半导体存储装置的方法
JP5289646B1 (ja) * 2012-01-20 2013-09-11 パナソニック株式会社 ニューラルネットワーク回路の学習方法
CN103460220A (zh) * 2012-01-23 2013-12-18 松下电器产业株式会社 神经网络电路的学习方法
US8658476B1 (en) * 2012-04-20 2014-02-25 Crossbar, Inc. Low temperature P+ polycrystalline silicon material for non-volatile memory device
JP5450912B1 (ja) * 2012-06-04 2014-03-26 パナソニック株式会社 不揮発性半導体装置を駆動する方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004514A (ja) * 2005-06-24 2007-01-11 Elpida Memory Inc 人工神経回路
US20080162391A1 (en) * 2006-12-29 2008-07-03 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of stdp and dopamine signaling
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792547B2 (en) 2014-03-18 2017-10-17 Panasonic Intellectual Property Management Co., Ltd. Neural network circuit and learning method for neural network circuit
CN110766130A (zh) * 2018-07-28 2020-02-07 华中科技大学 一种bp神经网络学习电路
CN110766130B (zh) * 2018-07-28 2022-06-14 华中科技大学 一种bp神经网络学习电路
WO2021066100A1 (ja) * 2019-10-02 2021-04-08 国立大学法人東北大学 シナプス回路の駆動方法
JP6841393B1 (ja) * 2020-02-27 2021-03-10 Tdk株式会社 演算回路及びニューロモーフィックデバイス
JP6892026B1 (ja) * 2020-02-27 2021-06-23 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
WO2021171480A1 (ja) * 2020-02-27 2021-09-02 Tdk株式会社 演算回路及びニューロモーフィックデバイス
WO2021171454A1 (ja) * 2020-02-27 2021-09-02 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
JP2021197191A (ja) * 2020-06-11 2021-12-27 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
CN113033793A (zh) * 2021-03-02 2021-06-25 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
CN113033793B (zh) * 2021-03-02 2023-08-22 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
WO2023013018A1 (ja) * 2021-08-06 2023-02-09 日本電気株式会社 演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラム

Also Published As

Publication number Publication date
US20130311414A1 (en) 2013-11-21
US8965821B2 (en) 2015-02-24
CN103460220A (zh) 2013-12-18
JPWO2013111200A1 (ja) 2015-05-11
JP5289647B1 (ja) 2013-09-11

Similar Documents

Publication Publication Date Title
JP5289647B1 (ja) ニューラルネットワーク回路の学習方法
JP5289646B1 (ja) ニューラルネットワーク回路の学習方法
JP5659361B1 (ja) ニューラルネットワーク回路、およびその学習方法
JP6501146B2 (ja) ニューラルネットワーク回路およびその学習方法
JP5155843B2 (ja) 情報処理装置及びこれを用いたニューラルネットワーク回路
Pershin et al. Experimental demonstration of associative memory with memristive neural networks
KR102230784B1 (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
CN110428050B (zh) 一种基于忆阻器实现多样化stdp学习规则的突触仿生电路
CN111967589A (zh) 神经元模拟电路及其驱动方法、神经网络装置
Bakhshiev et al. Mathematical Model of the Impulses Transformation Processes in Natural Neurons for Biologically Inspired Control Systems Development.
Kong et al. Study of recall time of associative memory in a memristive Hopfield neural network
Xu et al. A memristor model with concise window function for spiking brain-inspired computation
Donahue et al. Design and analysis of neuromemristive echo state networks with limited-precision synapses
Wang et al. A memristor-based learning engine for synaptic trace-based online learning
Hajiabadi et al. Memristor-based synaptic plasticity and unsupervised learning of spiking neural networks
Siegel et al. System model of neuromorphic sequence learning on a memristive crossbar array
Huang et al. Adaptive SRM neuron based on NbOx memristive device for neuromorphic computing
KR102215067B1 (ko) Stdp 학습 하드웨어
Mulaosmanovic et al. FeFETs for neuromorphic systems
Vu et al. Spiking Neural Networks with Nonidealities from Memristive Silicon Oxide Devices
Ostrovskii et al. Studying the dynamics of memristive synapses in spiking neuromorphic systems
Liu et al. Implementation of Multiple-Step Quantized STDP based on Linear Weight Update Memristive Synapses
Nguyen et al. Associative Memory Demonstrated By a Simple Design of Spiking Neural Network with an Ionic Synaptic Transistor
Sun et al. A Memcapacitor Biomimetic Circuit Realizing Classical Conditioning and Fear Learning
Wang et al. Realization of Artificial Neuron with Firing Saturation Based on Single Memristive Device

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013513467

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12866671

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12866671

Country of ref document: EP

Kind code of ref document: A1