WO2023074798A1 - スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム - Google Patents

スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム Download PDF

Info

Publication number
WO2023074798A1
WO2023074798A1 PCT/JP2022/040150 JP2022040150W WO2023074798A1 WO 2023074798 A1 WO2023074798 A1 WO 2023074798A1 JP 2022040150 W JP2022040150 W JP 2022040150W WO 2023074798 A1 WO2023074798 A1 WO 2023074798A1
Authority
WO
WIPO (PCT)
Prior art keywords
spike
data
input
circuit
spikes
Prior art date
Application number
PCT/JP2022/040150
Other languages
English (en)
French (fr)
Inventor
怜穏 押尾
睦 木村
任遠 張
康彦 中島
Original Assignee
国立大学法人 奈良先端科学技術大学院大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 奈良先端科学技術大学院大学 filed Critical 国立大学法人 奈良先端科学技術大学院大学
Publication of WO2023074798A1 publication Critical patent/WO2023074798A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
    • G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the present disclosure relates to apparatus and methods for implementing spiking neural networks and spiking neuromorphic systems.
  • a neuromorphic system is a system that implements a neural network in hardware.
  • Neuromorphic systems are sometimes referred to as neuromorphic systems.
  • attention has been focused particularly on systems that model biological neurons more strictly than artificial neural networks (ANNs). This system is called a Spiking Neural Network (SNN).
  • SNN Spiking Neural Network
  • An object of one aspect of the present disclosure is to provide an apparatus and method for executing a spiking neural network and a spiking neuromorphic system capable of improving processing speed.
  • a device for executing a spiking neural network, wherein spike data input to the device is composed of a plurality of spikes. wherein the device has a variable weight, generates a membrane potential change adjusted according to the weight for each spike constituting the spike data, and an integral value of the membrane potential change exceeds a threshold value;
  • the spike data is data in which input data is expressed as a spike pattern, and the spike pattern is the number of spikes constituting the spike data, the spike It is defined using at least two of the width of each spike forming data and the amplitude of each spike forming said spike data.
  • a method is a method for executing a spiking neural network, wherein input data is spike data input to an apparatus for executing the spiking neural network.
  • the spike data input to the device is composed of a plurality of spikes, the device has a variable weight, and for each spike constituting the spike data, the weight and a circuit for generating a new spike when the integrated value of the membrane potential displacement exceeds a threshold, wherein the spike data is input data as a spike pattern
  • the spike pattern is represented data, and the spike pattern is at least two of the number of spikes that make up the spike data, the width of each spike that makes up the spike data, and the amplitude of each spike that makes up the spike data. Defined using parameters.
  • FIG. 4 is a diagram for explaining how the membrane potential Vmem increases or decreases discontinuously;
  • FIG. 4 is a diagram showing circuit configuration examples of a synapse circuit and a neuron circuit;
  • FIG. 2 is a diagram showing electrical characteristics of a memcapacitor and a schematic configuration of the memcapacitor;
  • 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment;
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment
  • FIG. 4A and 4B are diagrams for explaining an example of the present embodiment
  • FIG. 4 is a diagram for explaining another embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining another embodiment of the present disclosure
  • FIG. 5 is a diagram for explaining still another embodiment of the present disclosure;
  • a neuromorphic system is hardware that mimics the brain, and is expected to be compact and consume less power.
  • the spiking neuromorphic system which uses spikes for signal transduction, is based on the same principle as the brain, and is expected to have higher performance including unknown brain functions.
  • coding In spiking neuromorphic systems, the physical representation of transmitted signals is called coding.
  • Conventional spiking neuromorphic systems have used coding using only the number of spikes. If coding using spike width and spike amplitude in addition to the number of spikes can be used, the processing speed can be improved for the same amount of processing information, and as a result, a significant reduction in processing time can be expected. Also, a significant increase in the amount of information processed can be expected for the same processing time.
  • the present disclosure has conducted extensive studies to enable coding that uses both the spike width and the spike amplitude. I have come to disclose.
  • FIG. 1 shows a model of a spiking neural network.
  • a neural network consists of a plurality of neurons and a plurality of synapses. Neurons are connected by synapses.
  • FIG. 1 shows a plurality of synapses s1, s2, and s3 connecting between a certain neuron n1 and neurons preceding the neuron n1.
  • the neuron n1 and the neurons following the neuron n1 are also connected by synapses.
  • multiple synapses s1, s2 and s3 are connected to neuron n1.
  • Spike x1 and spike x4 are input to neuron n1 via synapse s1.
  • the input time of spike x1 is T1.
  • T4 be the input time of spike x4.
  • Spike x3 is input to neuron n1 via synapse s2.
  • T3 be the input time of spike x3.
  • Spike x2 is input to neuron n1 via synapse s3.
  • T2 be the input time of spike x2.
  • W1 be the weight of synapse s1.
  • Weight W1 is a positive weight.
  • Synapse s1 is an excitatory synapse.
  • W2 be the weight of synapse s2.
  • Weight W2 is a negative weight.
  • Synapse s2 is an inhibitory synapse.
  • W3 be the weight of synapse s3.
  • Weight W3 is a positive weight.
  • Synapse s3 is an excitatory synapse.
  • Each synapse multiplies the input spike by a weight and outputs a membrane potential change adjusted according to the weight to the neuron.
  • spike x3 input to synapse s2 is multiplied by weight W2 of synapse s2, and membrane potential displacement adjusted according to weight W2 is output to neuron n1.
  • Membrane potential displacement will be described later.
  • the state of neuron n1 is represented by an internal variable called membrane potential.
  • Vmem be the membrane potential of the neuron n1.
  • FIG. 2 shows how the membrane potential Vmem increases or decreases discontinuously.
  • the spike x1 is input to the synapse s1 at time T1
  • the synapse s1 is an excitatory synapse
  • the membrane potential Vmem increases.
  • the spike x2 is input to the synapse s3 at time T2
  • the membrane potential Vmem increases because the synapse s3 is an excitatory synapse.
  • the membrane potential Vmem decreases because the synapse s2 is an inhibitory synapse.
  • the membrane potential Vmem increases because the synapse s1 is an excitatory synapse.
  • the neuron n1 displaces the membrane potential Vmem according to each spike each time the above spike is input to the neuron n1 via each synapse.
  • the neuron n1 then integrates the displacement of the membrane potential Vmem.
  • the change in the membrane potential Vmem when one spike is input to the neuron n1 is referred to as the change in membrane potential. Let the membrane potential change be ⁇ Vmem.
  • Neuron n1 holds a threshold. Let Vth be the threshold. In the example of FIG. 2, the neuron n1 fires when the integral value of the membrane potential change ⁇ Vmem reaches the threshold Vth. Assume that the firing time of neuron n1 is T5. The integrated value is the membrane potential Vmem at time T5 when all of the spikes x1, x2, x3 and x4 described above are input.
  • the neuron n1 When the neuron n1 fires, the neuron n1 outputs a spike y to the subsequent neuron, as shown in Figure 1. After the neuron n1 fires, the membrane potential Vmem of the neuron n1 is reset.
  • FIG. 3 shows circuit configuration examples of the synapse circuit 301 and the neuron circuit 302 according to this embodiment.
  • a synapse circuit 301 is a hardware configuration example of the synapses s1, s2, and s3 illustrated in FIG.
  • a neuron circuit 302 is a hardware configuration example of the neuron n1 illustrated in FIG. That is, the synapse circuit 301 and neuron circuit 302 are examples of circuits that generate new spikes.
  • a plurality of such circuits is an example of an apparatus for implementing a spiking neural network.
  • a system composed of a plurality of synapse circuits 301 and a plurality of neuron circuits 302 is an example of a spiking neuromorphic system.
  • the configuration of the synapse circuit 301 will be described first, then the configuration of the neuron circuit 302 will be described, and finally the operations of the synapse circuit 301 and the neuron circuit 302 that are connected to each other will be described.
  • the synapse circuit 301 includes a first input terminal X1, a second input terminal X2, an output terminal A, a first capacitor c1, a first switching element t1, and a second switching element. It has an element t2, a third switching element t3, a fourth switching element t4, a fifth switching element t5, a sixth switching element t6, and a second capacitor c2.
  • a first input signal is input to the first input terminal X1.
  • a second input signal is input to the second input terminal X2.
  • the first input signal is a signal obtained by inverting the first input signal.
  • the first input signal and the second input signal are complementary.
  • a third capacitor CM is connected between the output terminal A and the ground potential.
  • the first capacitor c1 is a memcapacitor with variable electrical characteristics.
  • FIG. 4 shows electrical characteristics of the memcapacitor and a schematic configuration of the memcapacitor.
  • the memcapacitor has electrical characteristics indicated by reference numeral 401 in FIG.
  • the memcapacitor has a schematic configuration indicated by reference numeral 402 in FIG.
  • a memcapacitor is a passive element that not only stores electric charge but also has electrical characteristics such that the capacitance value of the capacitor changes according to the history of the applied voltage, as shown by the hysteresis characteristics indicated by reference numeral 401 in FIG.
  • a memcapacitor is a memory element.
  • a memcapacitor holds analog data as a storage element.
  • a memcapacitor can be used as a nonvolatile memory.
  • the memcapacitor has a Pt layer 42 disposed on the base 41, a bismuth lanthanum titanate (BLT) layer 43 disposed on the Pt layer 42, and a BLT layer 43. and an Au layer 44 disposed on 43 .
  • the Pt layer 42 is the negative electrode.
  • the Au layer 44 is the positive electrode.
  • a charge Q is accumulated in the BLT layer 43 by applying a voltage V between the Pt layer 42 and the Au layer 44 . The application of this voltage V changes the capacitance value of the capacitor composed of the Pt layer 42, the BLT layer 43, and the Au layer 44.
  • the second capacitor c2 has a fixed capacitance value.
  • the first switching element t1 is a p-type MOSFET.
  • the first switching element t1 is turned on when the gate-source voltage is equal to or lower than the threshold voltage.
  • the gate is connected to the second input terminal X2 and the source is connected to the first input terminal X1.
  • the second switching element t2 is a p-type MOSFET.
  • the second switching element t2 is turned on when the gate-source voltage is equal to or lower than the threshold voltage.
  • the gate is connected to the first input terminal X1 and the drain is connected to the second input terminal X2.
  • the third switching element t3 is an n-type MOSFET.
  • the third switching element t3 is turned on when the gate-source voltage is equal to or higher than the threshold voltage.
  • the gate is connected to the second input terminal X2 through the second capacitor c2, the source is connected to the source of the second switching element t2, and the drain is connected to the first input terminal X1 through the first capacitor c1.
  • the fourth switching element t4 is an n-type MOSFET.
  • the fourth switching element t4 is turned on when the gate-source voltage is equal to or higher than the threshold voltage.
  • the gate is connected to the first input terminal X1 through the first capacitor c1
  • the source is connected to the second input terminal X2 through the second capacitor c2
  • the drain is connected to the drain of the first switching element t1.
  • the fifth switching element t5 is a p-type MOSFET.
  • the fifth switching element t5 is turned on when the gate-source voltage is equal to or lower than the threshold voltage.
  • the gate is connected to the second input terminal X2 through the second capacitor c2, the source is connected to the first input terminal X1 through the first capacitor c1, and the drain is connected to the output terminal A.
  • the sixth switching element t6 is a p-type MOSFET.
  • the sixth switching element t6 turns on when the gate-source voltage is equal to or lower than the threshold voltage.
  • the gate is connected to the first input terminal X1 through the first capacitor c1, the source is connected to the output terminal A, and the drain is connected to the second input terminal X2 through the second capacitor c2.
  • the synaptic circuit 301 shown in FIG. 3 represents an excitatory synapse. That is, in the synapse circuit 301 shown in FIG. 3, the sign of the weight expressed using the capacitance value of the first capacitor c1 is positive. When expressing an inhibitory synapse, in the synapse circuit 301 shown in FIG.
  • the first switching element t1 is replaced with an n-type MOSFET
  • the second switching element t2 is replaced with an n-type MOSFET
  • the third switching It is sufficient to replace the element t3 with a p-type MOSFET
  • replace the fourth switching element t4 with a p-type MOSFET
  • replace the fifth switching element t5 with an n-type MOSFET
  • replace the sixth switching element t6 with an n-type MOSFET.
  • the sign of the weight expressed using the capacitance value of the first capacitor c1 is negative.
  • the neuron circuit 302 includes a third capacitor CM, a seventh switching element t11, a first inverter element IN1, a second inverter element IN2, a third inverter element IN3, and a third inverter element IN3. It has a 4-inverter element IN4, a fourth capacitor c11, a fifth capacitor c12, a sixth capacitor c13, and an output terminal Y.
  • the third capacitor CM has a fixed capacitance value.
  • the third capacitor CM is connected between the output terminal A of the synapse circuit 301 and the ground potential, as described above.
  • the output terminal A of the synapse circuit 301 can be said to be an input terminal of the neuron circuit 302 from the perspective of the neuron circuit 302 .
  • the membrane potential Vmem illustrated in FIG. 1 is expressed using the potential of the third capacitor CM.
  • the seventh switching element t11 is an n-type MOSFET.
  • the seventh switching element t11 turns on when the gate-source voltage is equal to or higher than the threshold voltage.
  • the gate is connected to the output terminal Y, the source is connected to the ground potential, and the drain is connected to the ground potential via the third capacitor CM.
  • the first inverter element IN1 receives an input signal from the input side and outputs an output signal from the output side.
  • the output signal is the inverse of the input signal.
  • the input side is connected to the third capacitor CM, and the output side is connected to the ground potential through the fourth capacitor c11.
  • the second inverter element IN2 receives an input signal from the input side and outputs an output signal from the output side.
  • the output signal is the inverse of the input signal.
  • the input side is connected to the fourth capacitor c11, and the output side is connected to the ground potential through the fifth capacitor c12.
  • the third inverter element IN3 receives an input signal from the input side and outputs an output signal from the output side.
  • the output signal is the inverse of the input signal.
  • the input side is connected to the fifth capacitor c12, and the output side is connected to the ground potential via the sixth capacitor c13.
  • the fourth inverter element IN4 receives an input signal from the input side and outputs an output signal from the output side.
  • the output signal is the inverse of the input signal.
  • the input side is connected to the sixth capacitor c13, and the output side is connected to the output terminal Y.
  • the fourth capacitor c11 has a fixed capacitance value.
  • the fourth capacitor c11 is connected between the ground potential and the input side of the second inverter element IN2.
  • the fifth capacitor c12 has a fixed capacitance value.
  • the fifth capacitor c12 is connected between the ground potential and the input side of the third inverter element IN3.
  • the sixth capacitor c13 has a fixed capacitance value.
  • the sixth capacitor c13 is connected between the ground potential and the input side of the fourth inverter element IN4.
  • a spike is input to the first input terminal X1.
  • the spikes input to the first input terminal X1 correspond to the spikes x1, x2, x3 and x4 illustrated in FIG.
  • a spike obtained by inverting the spike input to the first input terminal X1 is input to the second input terminal X2.
  • the spike input to the first input terminal X1 and the spike input to the second input terminal X2 are complementary.
  • the spike input to the second input terminal X2 is hereinafter referred to as an inverted spike.
  • the spike input to the first input terminal X1 is a voltage spike.
  • the voltage spike input to the first input terminal X1 is a positive voltage.
  • the positive voltage input to the first input terminal X1 is a voltage equal to or higher than the respective threshold voltages of the third switching element t3 and the fourth switching element t4.
  • the spike input to the first input terminal X1 is hereinafter referred to as the first spike.
  • the inverted spike input to the second input terminal X2 is a voltage spike.
  • the voltage spike input to the second input terminal X2 is a negative voltage.
  • the negative voltage input to the second input terminal X2 is a voltage below the threshold voltages of the first switching element t1, the second switching element t2, the fifth switching element t5, and the sixth switching element t6.
  • the inverted spike input to the second input terminal X2 will be referred to as the second spike.
  • the first spike and the second spike are complementary. Therefore, the rising timing of the first spike and the falling timing of the second spike match. Also, the falling timing of the first spike and the rising timing of the second spike match.
  • a first spike generator for generating a first spike is connected to the first input terminal X1 of the synapse circuit 301 .
  • a second spike generator for generating a second spike is connected to the second input terminal X2 of the synapse circuit 301 .
  • the first spike generator converts input data such as an image into spike data consisting of multiple spikes. That is, the first spike generation device is a device that encodes input data such as an image into spike data as a binary number. The first spike generation device outputs each spike constituting spike data after conversion to the first input terminal X1. Each spike corresponds to the first spike.
  • the second spike generator converts input data such as images into spike data consisting of a plurality of spikes. That is, the second spike generation device is a device that encodes input data such as an image into spike data as a binary number. The second spike generation device outputs each spike constituting spike data after conversion to the second input terminal X2. Each spike corresponds to a second spike.
  • the first spike generator and the second spike generator perform the above encoding on the same input data.
  • the spike data encoded by the first spike generator is expressed as a spike pattern.
  • the spike pattern is defined using at least two of the number of spikes that make up the spike data, the width of each spike that makes up the spike data, and the amplitude of each spike that makes up the spike data. The same is true for the spike data encoded by the second spike generator.
  • the synapse circuit 301 operates as follows when the first spike is input to the first input terminal X1 and the second spike is input to the second input terminal X2.
  • the potential difference between the positive voltage input to the first input terminal X1 and the negative voltage input to the second input terminal X2 is applied to the second capacitor c2.
  • the application of this potential difference charges the second capacitor c2.
  • the discharge of the first capacitor c1 charges the third capacitor CM. Since the first capacitor c1 has a variable capacity, that is, stores an amount of charge corresponding to the weight, the membrane potential change ⁇ Vmem of the third capacitor CM is a change adjusted according to the weight of the first capacitor c1. .
  • the potential difference between the negative voltage input to the first input terminal X1 and the positive voltage input to the second input terminal X2 is applied to the first capacitor c1.
  • the application of this potential difference charges the first capacitor c1.
  • the discharge of the second capacitor c2 charges the third capacitor CM. Since the second capacitor c2 stores a charge amount corresponding to the fixed capacitance, the film potential change ⁇ Vmem of the third capacitor CM is a change corresponding to the fixed capacitance of the second capacitor c2.
  • the synapse circuit 301 controls the on/off of the first switching element t1 to the sixth switching element t6, and charges and discharges each of the first capacitor c1 and the second capacitor c2 to transfer the charge to the third capacitor CM.
  • This charge transition increases the potential of the third capacitor CM, that is, the membrane potential Vmem. From this, it can be said that the synapse circuit 301 constitutes a charge pump circuit that generates an increase in the membrane potential Vmem.
  • the membrane potential Vmem increases. Therefore, when a plurality of first spikes are input to the first input terminal X1 and a plurality of second spikes are input to the second input terminal X2, the membrane potential Vmem increases at the input timing of each spike. , that is, increases discontinuously.
  • the synapse circuit 301 expresses excitatory synapses. With a circuit configuration that expresses an inhibitory synapse, the potential of the third capacitor CM, that is, the membrane potential Vmem, decreases at the timing of each spike input, that is, decreases discontinuously.
  • the threshold Vth illustrated in FIG. 1 is expressed using the threshold of the first inverter element IN1.
  • the film potential Vmem of the third capacitor exceeds the threshold value of the first inverter element IN1
  • signals are applied to the first inverter element IN1, the second inverter element IN2, the third inverter element IN3, and the fourth inverter element IN4 in this order.
  • the signal output from the fourth inverter element IN4 to the output terminal Y becomes a new spike.
  • a new spike output to the output terminal Y is also input to the gate of the seventh switching element t11.
  • the seventh switching element t11 is turned on when a spike is input to its gate, and discharges the third capacitor CM.
  • the discharge of the third capacitor CM resets the third capacitor CM.
  • Example 1 As shown in FIG. 5, a simple network was constructed by combining a neuron circuit n11, a first synapse circuit s11 and a second synapse circuit s12, and a circuit simulation was performed.
  • a positive weighting was applied to the first synapse circuit s11.
  • the first synaptic circuit s11 acts as an excitatory synapse to increase the membrane potential Vmem of the neuron circuit n11.
  • Negative weighting was applied to the second synaptic circuit s12.
  • the second synaptic circuit s12 acts as an inhibitory synapse to reduce the membrane potential Vmem of the neuron circuit n11.
  • FIG. 6 shows the circuit simulation results.
  • Reference numeral 601 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 602 indicates the voltage waveform of spike data input to the input terminal x12 of the second synapse circuit s12.
  • Reference numeral 603 indicates the membrane potential of the neuron circuit n11.
  • Reference numeral 694 indicates the voltage waveform of spike data output from the output terminal y11 of the neuron circuit n11.
  • the membrane potential of the neuron circuit n11 increases each time a spike is input to the input terminal x11 of the first synapse circuit s11. Conversely, every time a spike is input to the input terminal x12 of the second synapse circuit s12, the membrane potential of the neuron circuit n11 decreases.
  • the membrane potential of the neuron circuit n11 continues to increase, and finally the threshold value of the neuron circuit n11 reach the voltage. Neuron circuit n11 generates spikes. After generating the spike, the membrane potential of the neuron circuit n11 is reset to the initial potential of 0V.
  • spike data is defined using the number of spikes that constitute spike data.
  • the spike data includes the number SN of spikes forming the spike data, the width SW of each spike forming the spike data, and the width SW of each spike forming the spike data.
  • the spike amplitude SA is also used and defined.
  • the present inventors performed a circuit simulation and confirmed that there is a positive correlation between the spike width SW and the increase in membrane potential, as shown in FIG.
  • the present inventors performed circuit simulations and confirmed that there is also a positive correlation between the spike amplitude SA and the increase in membrane potential, as shown in FIG.
  • encoding is performed by allocating the high-order bits of the transmission signal to wide spike widths and the low-order bits to narrow spike widths.
  • the membrane potential rise is 1:2
  • the upper bit of the 2-bit transmission signal should be assigned to the spike width of 200 ns, and the lower bit to the spike width of 10 ns.
  • the 2-bit transmission signals 00-11 are encoded with a combination of spike widths of 200 ns and 10 ns.
  • Fig. 12 shows the results of circuit simulation by conventional coding.
  • Reference numeral 1201 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 1202 indicates the membrane potential of neuron circuit n11.
  • Reference numeral 1203 indicates the voltage waveform of spike data output from the output terminal y11 of the neuron circuit n11.
  • FIG. 13 shows the circuit simulation results of Example 2.
  • Reference numeral 1301 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 1302 indicates the membrane potential of the neuron circuit n11.
  • Reference numeral 1303 indicates the voltage waveform of spike data output from the output terminal y11 of the neuron circuit n11.
  • encoding is performed by allocating the high-order bits of the transmission signal to large spike amplitudes and the low-order bits to small spike amplitudes.
  • the high-order bit of the 3-bit transmission signal is set to a spike amplitude of 0.8 V
  • the middle-order bit is set to a spike amplitude of 0.42 V
  • All that is necessary is to allocate the lower bits to a spike amplitude of 0.4V.
  • the 3-bit transmission signals 000-111 are encoded with a combination of spike widths of 0.8V, 0.42V and 0.4V.
  • Fig. 16 shows the results of circuit simulation by conventional coding.
  • Reference numeral 1601 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 1602 indicates the membrane potential of the neuron circuit n11.
  • Reference numeral 1603 indicates the voltage waveform of spike data output from the output terminal y11 of the neuron circuit n11.
  • FIG. 17 shows the circuit simulation results of Example 3.
  • Reference numeral 1701 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 1702 indicates the membrane potential of the neuron circuit n11.
  • Reference numeral 1703 indicates the voltage waveform of spike data output from the output terminal y11 of the neuron circuit n11.
  • the conventional coding when representing the 3-bit transmission signal 111, in the conventional encoding of only the number of spikes, it is represented by spike data composed of 7 spikes with a spike amplitude of 0.4V.
  • Example 3 it is represented by spike data composed of one spike amplitude of 0.8V, one spike amplitude of 0.42V, and one spike amplitude of 0.4V.
  • the effect of reducing the processing time becomes more pronounced as the number of bits of the transmission signal increases.
  • Example 4 differs from Example 3 in that the membrane potential increase is 1:4. According to FIG. 18, since the membrane potential rise is 1:4, the high-order bit of the 3-bit transmission signal has a spike amplitude of 0.8 V, and the middle-order bit and low-order bit have a spike amplitude of 0.4 V. All you have to do is allocate. More specifically, as shown in FIG. 19, the 3-bit transmission signals 000-111 are encoded with a combination of spike widths of 0.8V and 0.4V.
  • FIG. 20 shows the circuit simulation results of Example 4.
  • Reference numeral 2001 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 2002 indicates the membrane potential of the neuron circuit n11.
  • Reference numeral 2003 indicates the voltage waveform of spike data output from the output terminal y11 of the neuron circuit n11.
  • Example 5 provides encoding that assigns each bit of the transmitted signal to a different combination of spike width and spike amplitude.
  • the method of allocating each bit of the transmission signal to a different combination of spike width and spike amplitude can be selected according to the situation.
  • circuits for generating different spike widths and spike amplitudes require a certain amount of circuit area. It is preferable to allocate to spike width and spike amplitude.
  • the number of types of spike widths and spike amplitudes is increased, and all bits of the transmitted signal are separately assigned to different combinations of spike widths and spike amplitudes. is preferred.
  • FIG. 21 shows combinations of spike widths and spike amplitudes with a membrane potential increase width of about 8:4:2:1.
  • FIG. 22 shows the circuit simulation results of the fifth embodiment.
  • Reference numeral 2201 indicates the voltage waveform of spike data input to the input terminal x11 of the first synapse circuit s11.
  • Reference numeral 2202 indicates the membrane potential of neuron circuit n11.
  • spike data was encoded as a binary number in the above embodiment, the present disclosure is not limited to this.
  • the present disclosure as shown in FIG. 23, can be represented by spike data, indicated by reference numeral 2301, consisting of a combination of spikes of four membrane potential rise amplitudes, indicated by reference numeral 2302, encoded as binary numbers. That is, different strengths of the transmitted signal can be allocated to different spike widths and spike amplitudes.
  • one of the at least two parameters defining the spike pattern is the width of each spike that makes up the spike data
  • sign the spike data as the product of the number of spikes and the average spike intensity. and widen the width of each spike as the spike intensity increases.
  • one of the at least two parameters defining the spike pattern is the amplitude of each spike that constitutes the spike data
  • the spike data is encoded as the product of the number of spikes and the average value of the spike intensity, and the spike The amplitude of each spike should be increased as the intensity goes from low to high.
  • the spike intensity is represented by a function f(SA, SW) that monotonically increases with respect to both the spike amplitude SA and the spike width SW.
  • the ratio of membrane potential displacement to one weight can be set to 1:2:3:4 or 1:2:4:8.
  • the average spike intensity is the average sum of the spike intensities of each spike. More specifically, it is obtained by dividing the sum of the spike intensities of each spike by the number of spikes. Therefore, it can be said that the product of the number of spikes and the average value of spike intensities is the total sum of spike intensities. As shown in FIG. 23, between the spike data indicated by reference numeral 2301 and the spike data indicated by reference numeral 2302, the number described below each spike, ie, the sum of spike strengths, is 10 for both. That is, each summation is equal.
  • the present disclosure can be used for all neural networks and neuromorphic systems.
  • the present disclosure can be used in the fully connected layers.
  • FIG. 25 is a diagram showing a circuit configuration for realizing a synapse circuit and a neuron circuit according to yet another embodiment of the present disclosure.
  • the circuit 2500 according to this embodiment includes a matrix array MX, a multiplexer group MP, a first selection transistor group PT, a second selection transistor group NT, a first selection circuit 2501, a second selection It comprises a circuit 2502 , a third selection circuit 2503 , a voltage supply circuit 2504 and a control circuit 2505 .
  • the matrix array MX has 16 memcapacitors CM11 to CM44 arranged in a matrix at intersections of four bit lines B1 to B4 and four word lines W1 to W4.
  • bit line BG the four bit lines B1 to B4 are collectively referred to as "bit line BG”.
  • word line WG the four word lines W1 to W4 are collectively referred to as "word line WG”.
  • the 16 memcapacitors CM11 to CM44 are collectively referred to as "memcapacitors CMG”.
  • the number of bit lines BG is 4
  • the number of word lines WG is 4
  • the number of memcapacitors CMG is 16, but this embodiment is not limited to these numbers. .
  • the memcapacitor CMG is a memcapacitor having the electrical characteristics indicated by reference numeral 401 in FIG. 4 and the schematic configuration indicated by reference numeral 402 in FIG. Since FIG. 4 has already been described, it will not be described again here.
  • the memcapacitor CMG has two terminals. One terminal thereof is connected to the bit line BG. The other terminal is connected to the word line WG.
  • memcapacitor CM11 has one terminal connected to bit line B1 and the other terminal connected to word line W1.
  • the multiplexer group MP has four multiplexers M1 to M4.
  • the four multiplexers M1 to M4 are collectively referred to as "multiplexer MG".
  • the number of multiplexers MG is four, but this embodiment is not limited to this number.
  • the multiplexer MG has four input terminals, one output terminal, and one control terminal.
  • the multiplexer MG selects one of four voltages input from each of four input terminals based on a control signal input from one control terminal. In this case, the multiplexer MG outputs the selected voltage from the output terminal. Further, the multiplexer MG selects not to output any of the above four voltages based on the control signal input from one control terminal. In this case, the output terminal of the multiplexer MG is disconnected from any of the four input terminals.
  • the first selection transistor group PT has four p-type MOSFETs P1 to P4.
  • the four p-type MOSFETs P1 to P4 are collectively referred to as "p-type MOSFET PG".
  • the number of p-type MOSFETs PG is four, but this embodiment is not limited to this number.
  • the source terminal of the p-type MOSFET PG is connected to the power supply potential Vdd, and the drain terminal is connected to the bit line BG.
  • the source terminal of the p-type MOSFET P1 is connected to the power supply potential Vdd, and the drain terminal is connected to the bit line B1.
  • the second select transistor group NT has four n-type MOSFETs N1 to N4.
  • the four n-type MOSFETs N1 to N4 are collectively referred to as "n-type MOSFET NG".
  • the number of n-type MOSFETNGs is four, but this embodiment is not limited to this number.
  • the source terminal of the n-type MOSFET NG is connected to the ground potential GND, and the drain terminal is connected to the bit line BG.
  • the source terminal of the n-type MOSFET N1 is connected to the ground potential GND, and the drain terminal is connected to the bit line B1.
  • the first selection circuit 2501 outputs the control signal SP.
  • the control signal SP is input to the gate terminal of the p-type MOSFET PG of the first selection transistor group PT.
  • the p-type MOSFET PG is turned on.
  • the bit line BG is connected to the power supply potential Vdd through the p-type MOSFET PG.
  • the second selection circuit 2502 outputs the control signal SN.
  • the control signal SN is input to the gate terminal of the n-type MOSFET NG of the second selection transistor group NT.
  • the n-type MOSFET NG is turned on.
  • the bit line BG is connected to the ground potential GND via the n-type MOSFETNG.
  • the third selection circuit 2503 outputs control signals SM1 to SM4.
  • control signal SMG the four control signals SM1 to SM4 will be collectively referred to as "control signal SMG".
  • the number of control signals SMG is four, but this embodiment is not limited to this number.
  • a control signal SMG is input to the control terminal of the multiplexer MG in the multiplexer group MP.
  • the multiplexer MG selects one of the four voltages or selects not to output any of them, the number of bits of the control signal SMG must be at least 3 bits. . However, this embodiment is not limited to this.
  • a voltage supply circuit 2504 supplies voltages VL1 to VL4.
  • the four voltages VL1 to VL4 are collectively referred to as "voltage VLG".
  • the number of voltages VLG is four in the present embodiment, the present embodiment is not limited to this number.
  • the voltage VLG is input to four input terminals of the multiplexer MG of the multiplexer group MP.
  • the voltage supply circuit 2504 may generate the voltage VLG internally, or may be supplied with the voltage VLG from the outside.
  • the control circuit 2505 comprehensively controls the first selection circuit 2501, the second selection circuit 2502, the third selection circuit 2503 and the voltage supply circuit 2504.
  • circuit 2500 (equipment operation) The operation of circuit 2500 will now be described.
  • the voltage supply circuit 2504 supplies the voltage VLG to the multiplexers MG of the multiplexer group MP.
  • Voltages VL1 to VL4 are input to the four input terminals of the multiplexer MG, respectively.
  • the voltage VL1 is the voltage of the ground potential GND
  • the voltage VL2 is a voltage of 1/4 of the power supply potential Vdd
  • the voltage VL3 is 2/4 of the power supply potential Vdd, that is, 1/2.
  • the voltage VL4 is 3/4 of the power supply potential Vdd.
  • Voltages VL1-VL4 each correspond to the spike amplitudes of the four spikes input to circuit 2500.
  • the third selection circuit 2503 Based on the instruction from the control circuit 2505, the third selection circuit 2503 outputs the control signal SMG to the multiplexer MG of the multiplexer group MP.
  • Control signals SM1-SM4 are input to respective control terminals of multiplexers M1-M4.
  • the multiplexer MG selects one of the voltages VL1 to VL4 based on the control signal SMG, and outputs the selected voltage from the output terminal. Since the output terminal of the multiplexer MG is connected to the word line WG, the voltage output from the output terminal of the multiplexer MG is applied to the word line WG.
  • the first selection circuit 2501 changes the level of the control signal SP to low level.
  • the level of the control signal SP becomes low level, the p-type MOSFET PG of the first selection transistor group PT is turned on.
  • the voltage of the power supply potential Vdd is applied to the bit line BG via the p-type MOSFET PG.
  • the charging operation of the memcapacitor CMG will be described more specifically.
  • the memcapacitor CM22 will be described below as an example.
  • the first selection circuit 2501 makes the level of the control signal SP high.
  • the third selection circuit 2503 stops outputting the control signal SMG.
  • the voltage supply circuit 2504 stops supplying the voltages VL1 to VL4.
  • the second selection circuit 2502 sets the level of the control signal SN to a high level.
  • the n-type MOSFET NG of the second selection transistor group NT is turned on.
  • the voltage of the ground potential GND is applied to the bit line BG via the n-type MOSFETNG.
  • the discharge operation of the memcapacitor CMG will be described more specifically.
  • the memcapacitors CM21 to CM24 connected to the bit line B2 will be described below as an example.
  • any one of the first to fourth potential differences is applied across each of the memcapacitors CM21 to CM24. Therefore, in each of the memcapacitors CM21 to CM24, a charge amount corresponding to the potential difference applied across the terminals is accumulated.
  • inverter element IG input terminals of inverter elements I1 to I4 are connected to bit lines B1 to B4, respectively.
  • Output signals O1-O4 are output from respective output terminals of inverter elements I1-I4.
  • the four inverter elements I1 to I4 will be collectively referred to as "inverter element IG”.
  • output signal OX when collectively referring to the four output signals O1 to O4, they will be referred to as "output signal OX”.
  • the number of inverter elements IG is four, but this embodiment is not limited to this number.
  • the inverter element IG When the charge accumulated in the memcapacitor CMG is discharged toward the ground potential GND, a potential difference corresponding to the amount of accumulated charge is input to the input terminal of the inverter element IG connected to the bit line BG. .
  • the charge accumulated in the memcapacitor CMG gradually decreases as the charge is discharged. Also, the potential difference decreases as the charge stored in the memcapacitor CMG decreases.
  • the inverter element IG outputs the output signal OX from the output terminal until the potential difference input to the input terminal exceeds the threshold value of the inverter element IG and becomes equal to or less than the threshold value again.
  • the periods during which output signals O1-O4 are output correspond to the spike widths of the four spikes output from circuit 2500, respectively.
  • this embodiment is not limited to the configuration in which the periods in which the output signals O1 to O4 are output correspond to the spike widths of the four spikes output from the circuit 2500, respectively.
  • a circuit capable of accumulating the above spike width may be connected to the output terminal side of the inverter element IG.
  • the circuit is realized by combining a time integration circuit and a time comparator circuit. By connecting this circuit to the output terminal side of the inverter element IG, it is possible to construct a spiking neuron circuit by regarding the spike width output from the circuit 2500 as the membrane potential change amount.
  • Modification 1 Although the circuit 2500 selects the voltage VL to be applied to the word line WG via the multiplexer MG, this embodiment is not limited to this.
  • a DA converter may be used instead of the multiplexer MG.
  • a DA converter can generate a plurality of voltages from one voltage, so there is no need to supply the four voltages VL1 to VL4 from the voltage supply circuit 2504.
  • FIG. One voltage is supplied from the voltage supply circuit 2504 to the DA converter, and four voltages VL1 to VL4 are generated inside the DA converter.
  • the circuit configuration of the DA converter is more complicated than the circuit configuration of the multiplexer MG.
  • the voltages VL1 to VL4 respectively correspond to the spike amplitudes of the four spikes input to the circuit 2500, but this embodiment is not limited to this.
  • the inverter element IG is connected to the bit line BG, and the output signal OX of the inverter element IG corresponds to the spike widths of the four spikes output from the circuit 2500, but this embodiment is limited to this. not a thing
  • a current mirror circuit may be connected instead of the inverter element IG.
  • the current mirror circuit outputs a current having the same value as the current flowing through the bit line BG.
  • a spiking neuromorphic system can be constructed by connecting the output terminal of the current mirror circuit to the input terminal of the neuron circuit 302 shown in FIG. 3 and inputting the output current of the current mirror circuit to the neuron circuit 302. can.
  • the voltages VL1 to VL4 respectively correspond to the spike amplitudes of the four spikes input to the circuit 2500, but this embodiment is not limited to this.
  • the period during which the voltage VLG is supplied from the voltage supply circuit 2504 to the multiplexer MG correspond to the spike width, it is possible to construct spike data that is a combination of the spike amplitude and the spike width.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

スパイキングニューラルネットワークを実行するための装置であって、前記装置に入力されるスパイクデータは、複数のスパイクから構成されており、前記装置は、可変の重みを有し、前記スパイクデータを構成する各スパイクに対して前記重みに応じて調整された膜電位変位を生成し、当該膜電位変位の積分値が閾値を超えた場合に新たなスパイクを生成する回路（３０１、３０２）を備えており、前記スパイクデータは、入力データがスパイクパターンとして表現されたデータであり、前記スパイクパターンは、前記スパイクデータを構成するスパイクの数、各スパイクの幅、及び各スパイクの振幅のうちの少なくとも２つを用いて定義される。

Description

スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム
　本開示は、スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステムに関する。
　ニューロモーフィックシステムはニューラルネットワークをハードウェアで実現したシステムである。ニューロモーフィックシステムはニューロモルフィックシステムと称される場合もある。ニューロモーフィックシステムのうち特に、人工ニューラルネットワーク（Artificial Neural Network：ＡＮＮ）よりも厳密に生物のニューロンをモデル化したシステムが注目されている。このシステムはスパイキングニューラルネットワーク（Spiking Neural Network：ＳＮＮ）と称されている。
特開２０２１－０１３０４８号公報
黒江 康明, スパイキングニューラルネットワーク - 学習法を中心として, システム／制御／情報, Vol. 48, No. 2, pp. 57-62, 2004 岡崎 篤也, ニューロモーフィックコンピューティングを支えるハードウェア技術の現状と研究動向, 日本ロボット学会誌 Vo. 35, No. 3, pp. 209-214, pp. 209-214, 2017 澤田 篤志, 押尾 怜穏, 野村 武司, 張 任遠, 木村 睦, 中島 康彦, メムキャパシタを用いたスパイキングニューラルネットワークの開発, 電子情報通信学会, CPSY2021-11, pp. 59-63, 2021年7月 D. Auge, J. H. Hille, E. Mueller, and A. Knoll, A Survey of Encoding Techniques for Signal Processing in Spiking Neural Networks, Neural Processing Letters, 2021 W. Guo, M. Fouda, A. M. Eltawil, and K. N. Salama, Neural Coding in Spiking Neural Networks: A Comparative Study for Robust Neuromorphic Systems, Front. Neurosci., 2021 T. Erlina, R. Zhang, and Y. Nakashima, A Feasibility Study of Multi-Domain Stochastic Computing Circuit, IEICE Trans. Electron., Vol. E104-C, No.5, pp. 153-163, 2021
　本開示の一態様は、処理速度の向上を図ることができるスパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステムを提供することを目的とする。
　上記の課題を解決するために、本開示の一態様に係る装置は、スパイキングニューラルネットワークを実行するための装置であって、前記装置に入力されるスパイクデータは、複数のスパイクから構成されており、前記装置は、可変の重みを有し、前記スパイクデータを構成する各スパイクに対して前記重みに応じて調整された膜電位変位を生成し、当該膜電位変位の積分値が閾値を超えた場合に新たなスパイクを生成する回路を備えており、前記スパイクデータは、入力データがスパイクパターンとして表現されたデータであり、前記スパイクパターンは、前記スパイクデータを構成するスパイクの数、前記スパイクデータを構成する各スパイクの幅、及び前記スパイクデータを構成する各スパイクの振幅のうちの少なくとも２つを用いて定義される。
　本開示の他の一態様に係る方法は、スパイキングニューラルネットワークを実行するための方法であって、前記方法は、入力データを、スパイキングニューラルネットワークを実行するための装置に入力されるスパイクデータに変換する方法であり、前記装置に入力されるスパイクデータは、複数のスパイクから構成されており、前記装置は、可変の重みを有し、前記スパイクデータを構成する各スパイクに対して前記重みに応じて調整された膜電位変位を生成し、当該膜電位変位の積分値が閾値を超えた場合に新たなスパイクを生成する回路を備えており、前記スパイクデータは、入力データがスパイクパターンとして表現されたデータであり、前記スパイクパターンは、前記スパイクデータを構成するスパイクの数、前記スパイクデータを構成する各スパイクの幅、及び前記スパイクデータを構成する各スパイクの振幅のうちの少なくとも２つのパラメータを用いて定義される。
　本開示の一態様によれば、処理速度の向上を図ることができる。
スパイキングニューラルネットワークのモデルを示す概念図。 膜電位Ｖｍｅｍが不連続的に増加又は減少する様子を説明する図。 シナプス回路及びニューロン回路の各回路構成例を示す図。 メムキャパシタの電気的特性と、当該メムキャパシタの概略構成と、を示す図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本実施形態の実施例を説明する図。 本開示のその他の実施形態を説明する図。 本開示のその他の実施形態を説明する図。 本開示の更なるその他の実施形態を説明する図。
　＜本開示に至った経緯＞
　従来、人工知能は、高機能なハードウェアで複雑及び長大なソフトウェアが実行される。このため、巨大なサイズのハードウェアと膨大な消費電力が問題となった。ニューロモーフィックシステムは、脳を模倣するハードウェアであり、コンパクト化及び低消費電力化が期待できる。特に、信号伝達にスパイクを用いるスパイキングニューロモーフィックシステムは、脳と同じ原理に基づいており、未知の脳の機能を含む高性能化が期待できる。
　スパイキングニューロモーフィックシステムにおいて、伝達信号の物理的な表現方法はコーディングと称される。従来のスパイキングニューロモーフィックシステムでは、スパイク数のみを用いたコーディングが使われてきた。スパイク数に加えて、スパイク幅及びスパイク振幅を併用したコーディングを使うことができれば、同じ処理情報量に対して処理速度が向上し、その結果、処理時間の大幅な低減が期待できる。また、同じ処理時間に対して、処理情報量の大幅な増加が期待できる。
　本開示者らは、スパイク数に加えて、スパイク幅及びスパイク振幅を併用したコーディングを可能とすべく鋭意検討を行った結果、スパイク数、スパイク幅及びスパイク振幅を併用したコーディングを可能とする本開示をするに至った。
　＜実施形態＞
　以下、添付図面を参照しながら、本開示の実施形態に係るスパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステムについて、詳細に説明する。
　（ニューロンの発火のメカニズム）
　ここではまず、スパイキングニューラルネットワークのニューロンの発火のメカニズムについて説明しておく。図１にスパイキングニューラルネットワークのモデルを示す。なお、ニューラルネットワークは、複数のニューロンと複数のシナプスとから成る。ニューロン間はシナプスで接続されている。図１には、或る１つのニューロンｎ１と、ニューロンｎ１の前段のニューロンとの間を接続する複数のシナプスｓ１、ｓ２及びｓ３が記載されている。図１には記載されていないが、ニューロンｎ１と、ニューロンｎ１の後段のニューロンとの間もシナプスで接続されている。
　図１のとおり、ニューロンｎ１に対して複数のシナプスｓ１、ｓ２及びｓ３が接続されている。シナプスｓ１を介してスパイクｘ１及びスパイクｘ４がニューロンｎ１に入力される。図１の例では、スパイクｘ１の入力時刻をＴ１とする。スパイクｘ４の入力時刻をＴ４とする。シナプスｓ２を介してスパイクｘ３がニューロンｎ１に入力される。スパイクｘ３の入力時刻をＴ３とする。シナプスｓ３を介してスパイクｘ２がニューロンｎ１に入力される。スパイクｘ２の入力時刻をＴ２とする。
　また、シナプスｓ１の重みをＷ１とする。重みＷ１は正の重みである。シナプスｓ１は興奮性のシナプスである。シナプスｓ２の重みをＷ２とする。重みＷ２は負の重みである。シナプスｓ２は抑制性のシナプスである。シナプスｓ３の重みをＷ３とする。重みＷ３は正の重みである。シナプスｓ３は興奮性のシナプスである。各シナプスは、入力されたスパイクに重みを乗じ、重みに応じて調整された膜電位変位をニューロンに出力する。例えば、シナプスｓ２を例に説明すると、シナプスｓ２に入力されたスパイクｘ３と、シナプスｓ２の重みＷ２とが乗じられ、重みＷ２に応じて調整された膜電位変位がニューロンｎ１に出力される。膜電位変位については、後述する。
　ニューロンｎ１の状態は、膜電位と呼ばれる内部変数によって表される。ニューロンｎ１の膜電位をＶｍｅｍとする。ニューロンｎ１にスパイクが入力されると、膜電位Ｖｍｅｍは不連続的に増加又は減少する。図２に膜電位Ｖｍｅｍが不連続的に増加又は減少する様子を示す。図２の例では、時刻Ｔ１においてスパイクｘ１がシナプスｓ１に入力されると、シナプスｓ１は興奮性のシナプスであるので膜電位Ｖｍｅｍは増加する。次に、時刻Ｔ２においてスパイクｘ２がシナプスｓ３に入力されると、シナプスｓ３は興奮性のシナプスであるので膜電位Ｖｍｅｍは増加する。時刻Ｔ３においてスパイクｘ３がシナプスｓ２に入力されると、シナプスｓ２は抑制性のシナプスであるので膜電位Ｖｍｅｍは減少する。次に、時刻Ｔ４においてスパイクｘ４がシナプスｓ１に入力されると、シナプスｓ１は興奮性のシナプスであるので膜電位Ｖｍｅｍは増加する。
　すなわち、ニューロンｎ１は、上述の各スパイクが各シナプスを介してニューロンｎ１に入力される度に、各スパイクに応じて膜電位Ｖｍｅｍを変位させる。そして、ニューロンｎ１は、膜電位Ｖｍｅｍの変位を積分する。以下、１つのスパイクがニューロンｎ１に入力された際における膜電位Ｖｍｅｍの変位を膜電位変位と称する。膜電位変位をΔＶｍｅｍとする。
　ニューロンｎ１は閾値を保持している。閾値をＶｔｈとする。図２の例では、膜電位変位ΔＶｍｅｍの積分値が閾値Ｖｔｈに達すると、ニューロンｎ１が発火する。ニューロンｎ１の発火時刻をＴ５とする。なお、当該積分値は、上述のスパイクｘ１、ｘ２、ｘ３及びｘ４の全てが入力された時点、すなわち時刻Ｔ５における膜電位Ｖｍｅｍである。
　ニューロンｎ１が発火すると、図１のとおり、ニューロンｎ１は後段のニューロンにスパイクｙを出力する。ニューロンｎ１の発火後、ニューロンｎ１の膜電位Ｖｍｅｍはリセットされる。
　（シナプス回路及びニューロン回路）
　次に、本実施形態に係るシナプス回路及びニューロン回路の各構成について説明する。図３に、本実施形態に係るシナプス回路３０１及びニューロン回路３０２の各回路構成例を示す。シナプス回路３０１は、図１に例示したシナプスｓ１、ｓ２及びｓ３のハードウェア構成例である。また、ニューロン回路３０２は、図１に例示したニューロンｎ１のハードウェア構成例である。すなわち、シナプス回路３０１及びニューロン回路３０２は、新たなスパイクを生成する回路の一例である。複数の当該回路は、スパイキングニューラルネットワークを実行するための装置の一例である。また、複数のシナプス回路３０１と複数のニューロン回路３０２とから成るシステムは、スパイキングニューロモーフィックシステムの一例である。
　以下、まず、シナプス回路３０１の構成について説明し、次に、ニューロン回路３０２の構成について説明し、最後に、互いに接続されたシナプス回路３０１及びニューロン回路３０２の各動作について説明する。
　１．シナプス回路３０１の構成
　図３のとおり、シナプス回路３０１は、第１入力端子Ｘ１と、第２入力端子Ｘ２と、出力端子Ａと、第１キャパシタｃ１と、第１スイッチング素子ｔ１と、第２スイッチング素子ｔ２と、第３スイッチング素子ｔ３と、第４スイッチング素子ｔ４と、第５スイッチング素子ｔ５と、第６スイッチング素子ｔ６と、第２キャパシタｃ２と、を有している。
　第１入力端子Ｘ１には第１入力信号が入力される。第２入力端子Ｘ２には第２入力信号が入力される。第１入力信号は、第１入力信号を反転させた信号である。第１入力信号と第２入力信号とは相補的である。
　出力端子Ａからは出力信号が出力される。出力端子Ａと接地電位との間には、第３キャパシタＣＭが接続されている。
　第１キャパシタｃ１は、可変の電気的特性を有するメムキャパシタである。図４に、メムキャパシタの電気的特性と、当該メムキャパシタの概略構成と、を示す。メムキャパシタは、図４の符号４０１で示す電気的特性を備える。メムキャパシタは、図４の符号４０２で示す概略構成を備える。
　メムキャパシタは、図４の符号４０１で示すヒステリシス特性のとおり、コンデンサに電荷を貯めるだけでなく、コンデンサの容量値が印加電圧の履歴に応じて変化する電気的特性を持った受動素子である。メムキャパシタは記憶素子である。メムキャパシタは、記憶素子としてアナログデータを保持する。メムキャパシタは不揮発性メモリとしての活用が可能である。
　メムキャパシタは、図４の符号４０２で示す概略構成のとおり、基台４１上に配置されたＰｔ層４２と、Ｐｔ層４２上に配置されたチタン酸ビスマスランタン（ＢＬＴ）層４３と、ＢＬＴ層４３上に配置されたＡｕ層４４とを備える。Ｐｔ層４２は負極である。Ａｕ層４４は正極である。Ｐｔ層４２とＡｕ層４４との間に電圧Ｖが印加されることによって、ＢＬＴ層４３に電荷Ｑが蓄積される。この電圧Ｖの印加によって、Ｐｔ層４２とＢＬＴ層４３とＡｕ層４４とからなるコンデンサの容量値が変化する。なお、メムキャパシタは公知の素子であるので詳細は割愛する。
　第２キャパシタｃ２は固定の容量値を有する。
　第１スイッチング素子ｔ１は、ｐ型ＭＯＳＦＥＴである。第１スイッチング素子ｔ１は、ゲート－ソース間電圧が閾値電圧以下の場合にオンとなる。ゲートが第２入力端子Ｘ２に接続され、ソースが第１入力端子Ｘ１に接続される。
　第２スイッチング素子ｔ２は、ｐ型ＭＯＳＦＥＴである。第２スイッチング素子ｔ２は、ゲート－ソース間電圧が閾値電圧以下の場合にオンとなる。ゲートが第１入力端子Ｘ１に接続され、ドレインが第２入力端子Ｘ２に接続される。
　第３スイッチング素子ｔ３は、ｎ型ＭＯＳＦＥＴである。第３スイッチング素子ｔ３は、ゲート－ソース間電圧が閾値電圧以上の場合にオンとなる。ゲートが第２キャパシタｃ２を介して第２入力端子Ｘ２に接続され、ソースが第２スイッチング素子ｔ２のソースに接続され、ドレインが第１キャパシタｃ１を介して第１入力端子Ｘ１に接続される。
　第４スイッチング素子ｔ４は、ｎ型ＭＯＳＦＥＴである。第４スイッチング素子ｔ４は、ゲート－ソース間電圧が閾値電圧以上の場合にオンとなる。ゲートが第１キャパシタｃ１を介して第１入力端子Ｘ１に接続され、ソースが第２キャパシタｃ２を介して第２入力端子Ｘ２に接続され、ドレインが第１スイッチング素子ｔ１のドレインに接続される。
　第５スイッチング素子ｔ５は、ｐ型ＭＯＳＦＥＴである。第５スイッチング素子ｔ５は、ゲート－ソース間電圧が閾値電圧以下の場合にオンとなる。ゲートが第２キャパシタｃ２を介して第２入力端子Ｘ２に接続され、ソースが第１キャパシタｃ１を介して第１入力端子Ｘ１に接続され、ドレインが出力端子Ａに接続される。
　第６スイッチング素子ｔ６は、ｐ型ＭＯＳＦＥＴである。第６スイッチング素子ｔ６は、ゲート－ソース間電圧が閾値電圧以下の場合にオンとなる。ゲートが第１キャパシタｃ１を介して第１入力端子Ｘ１に接続され、ソースが出力端子Ａに接続され、ドレインが第２キャパシタｃ２を介して第２入力端子Ｘ２に接続される。
　ここで、図１に例示した重みＷ１、Ｗ２及びＷ３の絶対値は、メムキャパシタの上述した可変の容量値を用いて表現される。
　また、図３に示したシナプス回路３０１は、興奮性のシナプスを表現している。つまり、図３に示したシナプス回路３０１では、第１キャパシタｃ１の容量値を用いて表現される重みの符号は正となる。なお、抑制性のシナプスを表現する場合には、図３に示したシナプス回路３０１において、第１スイッチング素子ｔ１をｎ型ＭＯＳＦＥＴに置き換え、第２スイッチング素子ｔ２をｎ型ＭＯＳＦＥＴに置き換え、第３スイッチング素子ｔ３をｐ型ＭＯＳＦＥＴに置き換え、第４スイッチング素子ｔ４をｐ型ＭＯＳＦＥＴに置き換え、第５スイッチング素子ｔ５をｎ型ＭＯＳＦＥＴに置き換え、第６スイッチング素子ｔ６をｎ型ＭＯＳＦＥＴに置き換えれば良い。この置き換えた構成では、第１キャパシタｃ１の容量値を用いて表現される重みの符号は負となる。
　２．ニューロン回路３０２の構成
　図３のとおり、ニューロン回路３０２は、第３キャパシタＣＭと、第７スイッチング素子ｔ１１と、第１インバータ素子ＩＮ１と、第２インバータ素子ＩＮ２と、第３インバータ素子ＩＮ３と、第４インバータ素子ＩＮ４と、第４キャパシタｃ１１と、第５キャパシタｃ１２と、第６キャパシタｃ１３と、出力端子Ｙと、を有している。
　第３キャパシタＣＭは固定の容量値を有する。第３キャパシタＣＭは、上述のとおり、シナプス回路３０１の出力端子Ａと接地電位との間に接続されている。なお、シナプス回路３０１の出力端子Ａは、ニューロン回路３０２からすると、ニューロン回路３０２の入力端子といえる。ここで、図１に例示した膜電位Ｖｍｅｍは、第３キャパシタＣＭの電位を用いて表現される。
　第７スイッチング素子ｔ１１は、ｎ型ＭＯＳＦＥＴである。第７スイッチング素子ｔ１１は、ゲート－ソース間電圧が閾値電圧以上の場合にオンとなる。ゲートが出力端子Ｙに接続され、ソースが接地電位に接続され、ドレインが第３キャパシタＣＭを介して接地電位に接続される。
　第１インバータ素子ＩＮ１は、入力側から入力信号が入力され、出力側から出力信号を出力する。出力信号は入力信号の反転信号である。入力側が第３キャパシタＣＭに接続され、出力側が第４キャパシタｃ１１を介して接地電位に接続される。
　第２インバータ素子ＩＮ２は、入力側から入力信号が入力され、出力側から出力信号を出力する。出力信号は入力信号の反転信号である。入力側が第４キャパシタｃ１１に接続され、出力側が第５キャパシタｃ１２を介して接地電位に接続される。
　第３インバータ素子ＩＮ３は、入力側から入力信号が入力され、出力側から出力信号を出力する。出力信号は入力信号の反転信号である。入力側が第５キャパシタｃ１２に接続され、出力側が第６キャパシタｃ１３を介して接地電位に接続される。
　第４インバータ素子ＩＮ４は、入力側から入力信号が入力され、出力側から出力信号を出力する。出力信号は入力信号の反転信号である。入力側が第６キャパシタｃ１３に接続され、出力側が出力端子Ｙに接続される。
　第４キャパシタｃ１１は、固定の容量値を有する。第４キャパシタｃ１１は、接地電位と第２インバータ素子ＩＮ２の入力側との間に接続される。
　第５キャパシタｃ１２は、固定の容量値を有する。第５キャパシタｃ１２は、接地電位と第３インバータ素子ＩＮ３の入力側との間に接続される。
　第６キャパシタｃ１３は、固定の容量値を有する。第６キャパシタｃ１３は、接地電位と第４インバータ素子ＩＮ４の入力側との間に接続される。
　３．シナプス回路３０１の動作
　第１入力端子Ｘ１にはスパイクが入力される。第１入力端子Ｘ１に入力されるスパイクは、図１に例示したスパイクｘ１、ｘ２、ｘ３及びｘ４に対応する。第２入力端子Ｘ２には、第１入力端子Ｘ１に入力されるスパイクを反転させたスパイクが入力される。第１入力端子Ｘ１に入力されるスパイクと第２入力端子Ｘ２に入力されるスパイクとは相補的である。以下、第２入力端子Ｘ２に入力されるスパイクを反転スパイクと称する。
　第１入力端子Ｘ１に入力されるスパイクは電圧スパイクである。また、第１入力端子Ｘ１に入力される電圧スパイクは正の電圧である。また、第１入力端子Ｘ１に入力される正の電圧は第３スイッチング素子ｔ３及び第４スイッチング素子ｔ４の各閾値電圧以上の電圧である。以下、第１入力端子Ｘ１に入力されるスパイクを第１スパイクと称する。
　第２入力端子Ｘ２に入力される反転スパイクは電圧スパイクである。第２入力端子Ｘ２に入力される電圧スパイクは負の電圧である。また、第２入力端子Ｘ２に入力される負の電圧は第１スイッチング素子ｔ１、第２スイッチング素子ｔ２、第５スイッチング素子ｔ５及び第６スイッチング素子ｔ６の各閾値電圧以下の電圧である。以下、第２入力端子Ｘ２に入力される反転スパイクを第２スパイクと称する。
　なお、上述のとおり、第１スパイクと第２スパイクとは相補的である。したがって、第１スパイクの立ち上がりのタイミングと第２スパイクの立ち下がりのタイミングとは一致する。また、第１スパイクの立ち下がりのタイミングと第２スパイクの立ち上がりのタイミングとは一致する。
　また、図示はしないが、シナプス回路３０１の第１入力端子Ｘ１には第１スパイクを生成する第１スパイク生成装置が接続されている。シナプス回路３０１の第２入力端子Ｘ２には第２スパイクを生成する第２スパイク生成装置が接続されている。
　第１スパイク生成装置は、画像等の入力データを複数のスパイクから成るスパイクデータに変換する。すなわち、第１スパイク生成装置は、画像等の入力データをスパイクデータに二進数として符号化する装置である。第１スパイク生成装置は、変換後のスパイクデータを構成する各スパイクを第１入力端子Ｘ１に出力する。各スパイクが第１スパイクに相当する。
　第２スパイク生成装置は、画像等の入力データを複数のスパイクから成るスパイクデータに変換する。すなわち、第２スパイク生成装置は、画像等の入力データをスパイクデータに二進数として符号化する装置である。第２スパイク生成装置は、変換後のスパイクデータを構成する各スパイクを第２入力端子Ｘ２に出力する。各スパイクが第２スパイクに相当する。
　第１スパイク生成装置と第２スパイク生成装置とは、同一の入力データに対し、上述の符号化を行う。
　また、第１スパイク生成装置によって符号化されたスパイクデータは、スパイクパターンとして表現される。スパイクパターンは、スパイクデータを構成するスパイクの数、スパイクデータを構成する各スパイクの幅、及びスパイクデータを構成する各スパイクの振幅のうちの少なくとも２つを用いて定義される。第２スパイク生成装置によって符号化されたスパイクデータについても同様である。
　なお、第１スパイク生成装置及び第２スパイク生成装置の各構成及び符号化処理の詳細については説明を省略する。
　シナプス回路３０１は、第１入力端子Ｘ１に第１スパイクが入力され、第２入力端子Ｘ２に第２スパイクが入力されると、次のとおり動作する。
　１）第１スパイクが立ち上がり、第２スパイクが立ち下がると、第１入力端子Ｘ１には正の電圧が印加される一方、第２入力端子Ｘ２には負の電圧が印加される。これにより、第１スイッチング素子ｔ１はオンとなり、第２スイッチング素子ｔ２はオフとなり、第３スイッチング素子ｔ３はオフとなり、第４スイッチング素子ｔ４はオンとなり、第５スイッチング素子ｔ５はオンとなり、第６スイッチング素子ｔ６はオフとなる。
　この場合、第２キャパシタｃ２には、第１入力端子Ｘ１に入力された正の電圧と第２入力端子Ｘ２に入力された負の電圧との電位差が印加される。この電位差の印加により、第２キャパシタｃ２は充電される。また、第１キャパシタｃ１の放電により、第３キャパシタＣＭは充電される。第１キャパシタｃ１は、可変の容量、すなわち重みに応じた電荷量を蓄積しているので、第３キャパシタＣＭの膜電位変位ΔＶｍｅｍは、第１キャパシタｃ１の重みに応じて調整された変位となる。
　２）第１スパイクが立ち下がり、第２スパイクが立ち上がると、第１入力端子Ｘ１には負の電圧が印加される一方、第２入力端子Ｘ２には正の電圧が印加される。これにより、第１スイッチング素子ｔ１はオフとなり、第２スイッチング素子ｔ２はオンとなり、第３スイッチング素子ｔ３はオンとなり、第４スイッチング素子ｔ４はオフとなり、第５スイッチング素子ｔ５はオフとなり、第６スイッチング素子ｔ６はオンとなる。
　この場合、第１キャパシタｃ１には、第１入力端子Ｘ１に入力された負の電圧と第２入力端子Ｘ２に入力された正の電圧との電位差が印加される。この電位差の印加により、第１キャパシタｃ１は充電される。また、第２キャパシタｃ２の放電により、第３キャパシタＣＭは充電される。第２キャパシタｃ２は、固定の容量に応じた電荷量を蓄積しているので、第３キャパシタＣＭの膜電位変位ΔＶｍｅｍは、第２キャパシタｃ２の固定の容量に応じた変位となる。
　このようにして、シナプス回路３０１は、第１スイッチング素子ｔ１～第６スイッチング素子ｔ６をオンオフ制御し、第１キャパシタｃ１及び第２キャパシタｃ２の各々への充放電により電荷を第３キャパシタＣＭへ遷移させる。この電荷の遷移により、第３キャパシタＣＭの電位、すなわち、膜電位Ｖｍｅｍは増加する。このことから、シナプス回路３０１は、膜電位Ｖｍｅｍの上昇を生成するチャージポンプ回路を構成するといえる。
　また、第１入力端子Ｘ１に第１スパイクが入力され、第２入力端子Ｘ２に第２スパイクが入力される度に、膜電位Ｖｍｅｍは増加する。それゆえ、第１入力端子Ｘ１に複数の第１スパイクが入力され、第２入力端子Ｘ２に複数の第２スパイクが入力される場合には、膜電位Ｖｍｅｍは、各スパイクの入力のタイミングで増加する、すなわち、不連続的に増加する。なお、上述のとおり、シナプス回路３０１は興奮性のシナプスを表現している。抑制性のシナプスを表現した回路構成であれば、第３キャパシタＣＭの電位、すなわち、膜電位Ｖｍｅｍは、各スパイクの入力のタイミングで減少する、すなわち、不連続的に減少する。
　４．ニューロン回路３０２の動作
　第３キャパシタＣＭの膜電位Ｖｍｅｍが増加する度に、膜電位変位ΔＶｍｅｍは積分される。当該積分値は、膜電位Ｖｍｅｍが増加した時点における膜電位Ｖｍｅｍとなる。
　図１に例示した閾値Ｖｔｈは、第１インバータ素子ＩＮ１の閾値を用いて表現される。第３キャパシタの膜電位Ｖｍｅｍが第１インバータ素子ＩＮ１の閾値を超えると、第１インバータ素子ＩＮ１、第２インバータ素子ＩＮ２、第３インバータ素子ＩＮ３、及び第４インバータ素子ＩＮ４を、この順で信号が伝達されることになる。第４インバータ素子ＩＮ４から出力端子Ｙに出力される信号が新たなスパイクとなる。
　また、出力端子Ｙに出力される新たなスパイクは、第７スイッチング素子ｔ１１のゲートにも入力される。第７スイッチング素子ｔ１１は、ゲートにスパイクが入力されるとオンとなり、第３キャパシタＣＭを放電する。第３キャパシタＣＭの放電により、第３キャパシタＣＭはリセットされる。
　＜本実施形態の効果＞
　以下、本実施形態の効果について、実施例を用いて説明する。
　（実施例１）
　図５のとおり、ニューロン回路ｎ１１と第１シナプス回路ｓ１１と第２シナプス回路ｓ１２を組み合わせて簡単なネットワークを構築し、回路シミュレーションを行った。
　第１シナプス回路ｓ１１に正の重み付けを行った。第１シナプス回路ｓ１１は、ニューロン回路ｎ１１の膜電位Ｖｍｅｍを増加させるための興奮性のシナプスの働きをする。第２シナプス回路ｓ１２に負の重み付けを行った。第２シナプス回路ｓ１２は、ニューロン回路ｎ１１の膜電位Ｖｍｅｍを減少させるための抑制性シナプスの働きをする。
　また、第１シナプス回路ｓ１１の正の重みの絶対値は、第２シナプス回路ｓ１２の負の重みの絶対値よりも大きいとする。
　図６に回路シミュレーション結果を示す。符号６０１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号６０２で第２シナプス回路ｓ１２の入力端子ｘ１２に入力されたスパイクデータの電圧波形を示す。符号６０３でニューロン回路ｎ１１の膜電位を示す。符号６９４でニューロン回路ｎ１１の出力端子ｙ１１から出力されるスパイクデータの電圧波形を示す。
　図６のとおり、第１シナプス回路ｓ１１の入力端子ｘ１１にスパイクが入力される度にニューロン回路ｎ１１の膜電位が増加している。逆に第２シナプス回路ｓ１２の入力端子ｘ１２にスパイクが入力される度にニューロン回路ｎ１１の膜電位が減少している。
　第２シナプス回路ｓ１２の負の重みの絶対値よりも第１シナプス回路ｓ１１の正の重みの絶対値が大きいので、ニューロン回路ｎ１１の膜電位は増加し続け、最終的にはニューロン回路ｎ１１の閾値電圧に達する。ニューロン回路ｎ１１はスパイクを生成する。スパイクの生成後、ニューロン回路ｎ１１の膜電位は初期電位の０Ｖにリセットされている。
　ここで、実施例１では、スパイクデータは、スパイクデータを構成するスパイクの数を用いて定義されている。一方、後述する実施例２～５では、図７のとおり、スパイクデータは、スパイクデータを構成するスパイクの数ＳＮに加えて、スパイクデータを構成する各スパイクの幅ＳＷ及びスパイクデータを構成する各スパイクの振幅ＳＡも用いて定義されている。
　本開示者らは、回路シミュレーションを行い、図８のとおり、スパイク幅ＳＷと膜電位上昇との間には正の相関があることを確認した。また、本開示者らは、回路シミュレーションを行い、図９のとおり、スパイク振幅ＳＡと膜電位上昇との間にも正の相関があることを確認した。
　（実施例２）
　実施例２では、伝達信号の上位ビットを広いスパイク幅に、下位ビットを狭いスパイク幅に割り振る符号化を行う。図１０によれば、膜電位上昇が１：２になっているので、２ビットの伝達信号の上位ビットを２００ｎｓのスパイク幅に、下位ビットを１０ｎｓのスパイク幅に割り振ればよい。より具体的には、図１１のとおり、２ビットの伝達信号００～１１は、２００ｎｓと１０ｎｓのスパイク幅の組み合わせで符号化される。
　図１２に、従来の符号化による回路シミュレーション結果を示す。符号１２０１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号１２０２でニューロン回路ｎ１１の膜電位を示す。符号１２０３でニューロン回路ｎ１１の出力端子ｙ１１から出力されるスパイクデータの電圧波形を示す。
　図１３に、実施例２の回路シミュレーション結果を示す。符号１３０１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号１３０２でニューロン回路ｎ１１の膜電位を示す。符号１３０３でニューロン回路ｎ１１の出力端子ｙ１１から出力されるスパイクデータの電圧波形を示す。
　例えば、２ビットの伝達信号１１を表す場合、従来のスパイク数のみの符号化では、３個の１０ｎｓのスパイク幅のスパイクから構成されるスパイクデータで表される。一方、実施例２では、１個の２００ｎｓのスパイク幅のスパイクと１個の１０ｎｓのスパイク幅のスパイクとから構成されるスパイクデータで表される。回路シミュレーション結果によれば、従来の符号化であれば、ひとつの出力スパイクを生成するまでに、平均的に７．３個のスパイク数が必要であったことに対し、実施例２では、５．１個のスパイク数で十分であった。このことから処理時間が低減されていることがわかる。理論的には２／３＝０．６７になるはずであり、５．１/７．３＝０．６９で大凡正しい結果が得られている。
　なお、処理時間の低減効果は、伝達信号のビット数が増加するにつれて、より顕著となる。例えば、８ビットの伝達信号１１１１１１１１を表す場合、従来の符号化では、２５５個の同じスパイク幅のスパイクから構成されるスパイクデータで表される。一方、実施例２では、異なる８種のスパイク幅のスパイクから構成されるスパイクデータで表される。処理時間は８／２５５に低減される。
　（実施例３）
　実施例３では、伝達信号の上位ビットを大きいスパイク振幅に、下位ビットを小さいスパイク振幅に割り振る符号化を行う。図１４によれば、膜電位上昇が１：２：４になっているので、３ビットの伝達信号の上位ビットを０．８Ｖのスパイク振幅に、中位ビットを０．４２Ｖのスパイク振幅に、下位ビットを０．４Ｖのスパイク振幅に割り振ればよい。より具体的には、図１５のとおり、３ビットの伝達信号０００～１１１は、０．８Ｖと０．４２Ｖと０．４Ｖのスパイク幅の組み合わせで符号化される。
　図１６に、従来の符号化による回路シミュレーション結果を示す。符号１６０１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号１６０２でニューロン回路ｎ１１の膜電位を示す。符号１６０３でニューロン回路ｎ１１の出力端子ｙ１１から出力されるスパイクデータの電圧波形を示す。
　図１７に、実施例３の回路シミュレーション結果を示す。符号１７０１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号１７０２でニューロン回路ｎ１１の膜電位を示す。符号１７０３でニューロン回路ｎ１１の出力端子ｙ１１から出力されるスパイクデータの電圧波形を示す。
　例えば、３ビットの伝達信号１１１を表す場合、従来のスパイク数のみの符号化では、７個の０．４Ｖのスパイク振幅のスパイクから構成されるスパイクデータで表される。一方、実施例３では、１個の０．８Ｖのスパイク振幅と１個の０．４２Ｖのスパイク振幅と１個の０．４Ｖのスパイク振幅のスパイクとから構成されるスパイクデータで表される。回路シミュレーション結果によれば、従来のコーディングでは、１つの出力スパイクを生成するまでに、平均的に１０個のスパイク数が必要であったことに対し、実施例３の符号化では、５．４個のスパイク数で十分であった。このことから処理時間が低減されていることがわかる。理論的には３／７＝０．４３になるはずで、５．４／１０＝０．５４で大凡正しい結果が得られている。
　なお、処理時間の低減効果は、伝達信号のビット数が増加するにつれて、より顕著となることは、実施例２と同じである。
　（実施例４）
　実施例４が実施例３と異なる点は、膜電位上昇が１：４である点である。図１８によれば、膜電位上昇が１:４になっているので、３ビットの伝達信号の上位ビットを０．８Ｖのスパイク振幅に、中位ビット及び下位ビットを０．４Ｖのスパイク振幅に割り振ればよい。より具体的には、図１９のとおり、３ビットの伝達信号０００～１１１は、０．８Ｖと０．４Ｖのスパイク幅の組み合わせで符号化される。
　図２０に、実施例４の回路シミュレーション結果を示す。符号２００１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号２００２でニューロン回路ｎ１１の膜電位を示す。符号２００３でニューロン回路ｎ１１の出力端子ｙ１１から出力されるスパイクデータの電圧波形を示す。
　例えば、３ビットの伝達信号１１１を表す場合、従来のスパイク数のみの符号化では、７個の０．４Ｖのスパイク振幅のスパイクから構成されるスパイクデータで表される。一方、実施例４では、１個の０．８Ｖのスパイク振幅と３個の０．４Ｖのスパイク振幅のスパイクとから構成されるスパイクデータで表される。回路シミュレーション結果によれば、従来の符号化では、１つの出力スパイクを生成するまでに、実施例３で述べたとおり、平均的に１０個のスパイク数が必要であったことに対し、実施例４では、６．８個のスパイク数で十分であった。このことから処理時間が低減されていることがわかる。理論的には４／７＝０．５７になるはずで、６．８/１０＝０．６８で大凡正しい結果が得られている。
　（実施例５）
　実施例５は、伝達信号のそれぞれのビットを異なるスパイク幅とスパイク振幅との組み合わせに割り振る符号化を行う。
　伝達信号のそれぞれのビットを異なるスパイク幅とスパイク振幅の組み合わせに割り振る方法は、状況により選べばよい。一般に、異なるスパイク幅やスパイク振幅の生成回路はある程度の回路面積となるため、回路面積を小さくしたい用途では、スパイク幅やスパイク振幅の種類は少なめにして、いくつかのビットをまとめて、ひとつのスパイク幅やスパイク振幅に割り振ることが好ましい。
　一方、回路面積を大きくしても処理速度を向上させたい用途では、スパイク幅やスパイク振幅の種類を多くして、伝達信号のすべてのビットを別々に、異なるスパイク幅とスパイク振幅の組み合わせに割り振ることが好ましい。
　例えば、図２１に、膜電位上昇幅が約８：４：２：１となるスパイク幅とスパイク振幅との組み合わせを示す。図２２に、実施例５の回路シミュレーション結果を示す。符号２２０１で第１シナプス回路ｓ１１の入力端子ｘ１１に入力されたスパイクデータの電圧波形を示す。符号２２０２でニューロン回路ｎ１１の膜電位を示す。
　＜その他の実施形態＞
　上述の実施形態では、スパイクデータは二進数として符号化されていたが、本開示はこれに限るものではない。本開示は、図２３のとおり、符号２３０１で示す、二進数として符号化されたスパイクデータを符号２３０２で示す４つの膜電位上昇幅のスパイクの組み合わせから構成されるスパイクデータで表わすことができる。すなわち、伝達信号の異なる強度を異なるスパイク幅及びスパイク振幅に割り振ることができる。
　より詳細には、スパイクパターンを定義する少なくとも２つのパラメータの１つがスパイクデータを構成する各スパイクの幅である場合であれば、スパイクデータを、スパイク数とスパイク強度の平均値との積として符号化し、スパイク強度の小さいものから大きいものに向かうにつれて各スパイクの幅を広くすれば良い。
　また、スパイクパターンを定義する少なくとも２つのパラメータの１つがスパイクデータを構成する各スパイクの振幅である場合であれば、スパイクデータを、スパイク数とスパイク強度の平均値との積として符号化し、スパイク強度の小さいものから大きいものに向かうにつれて各スパイクの振幅を大きくすれば良い。
　ここで、スパイク強度は、スパイク振幅ＳＡ及びスパイク幅ＳＷの両方に対して単調増加する関数ｆ（ＳＡ，ＳＷ）で表現される。スパイク強度の組を適切に設定することにより、１つの重みに対する膜電位変位の比を１：２：３：４に設定したり、１:２:４:８に設定したりすることができる。
　また、スパイク強度の平均値は、各スパイクのスパイク強度の総和の平均をとった値である。より具体的には、各スパイクのスパイク強度の総和をスパイク数で除算したものである。したがって、スパイク数とスパイク強度の平均値との積とは、スパイク強度の総和であるといえる。図２３のとおり、符号２３０１で示すスパイクデータと符号２３０２で示すスパイクデータとの間において、各スパイクの下に記載の数字、すなわち、スパイク強度の総和はいずれも１０である。すなわち、各総和は等しくなっている。
　また、本開示は、すべてのニューラルネットワーク及びニューロモーフィックシステムに利用できる。例えば、図２４のような、複数層の畳み込み層と数層の最終層の全結合層を組み合わせたニューラルネットワークにおいて、本開示は全結合層において利用可能である。
　＜更なるその他の実施形態＞
　図２５は、本開示の更なるその他の実施形態に係るシナプス回路及びニューロン回路を実現する回路構成を示す図である。図２５のとおり、本実施形態に係る回路２５００は、マトリックスアレイＭＸと、マルチプレクサ群ＭＰと、第１選択トランジスタ群ＰＴと、第２選択トランジスタ群ＮＴと、第１選択回路２５０１と、第２選択回路２５０２と、第３選択回路２５０３と、電圧供給回路２５０４と、制御回路２５０５と、を備えている。
　（装置構成）
　マトリックスアレイＭＸは、４本のビット線Ｂ１～Ｂ４の各々と、４本のワード線Ｗ１～Ｗ４の各々との交差位置にマトリックス状に配置された１６個のメムキャパシタＣＭ１１～ＣＭ４４を有している。以下では、４本のビット線Ｂ１～Ｂ４を総称する際には「ビット線ＢＧ」と称する。また、４本のワード線Ｗ１～Ｗ４を総称する際には「ワード線ＷＧ」と称する。また、１６個のメムキャパシタＣＭ１１～ＣＭ４４を総称する際には「メムキャパシタＣＭＧ」と称する。なお、本実施形態では、ビット線ＢＧの本数を４本、ワード線ＷＧの本数を４本、メムキャパシタＣＭＧの個数を１６個としたが、本実施形態はこれらの数に限られるものではない。
　メムキャパシタＣＭＧは、図４の符号４０１で示した電気的特性及び、図４の符号４０２で示した概略構成を備えるメムキャパシタである。図４については既に説明済みであるため、ここでは繰り返し説明を行わない。
　メムキャパシタＣＭＧは２つの端子を有している。その一方の端子はビット線ＢＧに接続されている。その他方の端子はワード線ＷＧに接続されている。例えばメムキャパシタＣＭ１１について述べれば、メムキャパシタＣＭ１１の一方の端子はビット線Ｂ１に接続され、他方の端子はワード線Ｗ１に接続されている。
　マルチプレクサ群ＭＰは、４個のマルチプレクサＭ１～Ｍ４を有している。以下では、４個のマルチプレクサＭ１～Ｍ４を総称する際には「マルチプレクサＭＧ」と称する。なお、本実施形態では、マルチプレクサＭＧの個数を４個としたが、本実施形態はこの数に限られるものではない。
　マルチプレクサＭＧは、４個の入力端子と、１個の出力端子と、１個の制御端子と、有している。マルチプレクサＭＧは、１個の制御端子から入力される制御信号に基づき、４個の入力端子の各々から入力される４つの電圧のうちのいずれか１つの電圧を選択する。この場合、マルチプレクサＭＧは、当該選択された電圧を出力端子から出力する。また、マルチプレクサＭＧは、１個の制御端子から入力される制御信号に基づき、上述の４つの電圧のいずれも出力しないことを選択する。この場合、マルチプレクサＭＧの出力端子は、４個の入力端子のいずれからも切断される。
　第１選択トランジスタ群ＰＴは、４個のｐ型ＭＯＳＦＥＴＰ１～Ｐ４を有している。以下では、４個のｐ型ＭＯＳＦＥＴＰ１～Ｐ４を総称する際には「ｐ型ＭＯＳＦＥＴＰＧ」と称する。なお、本実施形態では、ｐ型ＭＯＳＦＥＴＰＧの個数を４個としたが、本実施形態はこの数に限られるものではない。
　ｐ型ＭＯＳＦＥＴＰＧのソース端子は電源電位Ｖｄｄに接続され、ドレイン端子はビット線ＢＧに接続されている。例えばｐ型ＭＯＳＦＥＴＰ１について述べれば、ｐ型ＭＯＳＦＥＴＰ１のソース端子は電源電位Ｖｄｄに接続され、ドレイン端子はビット線Ｂ１に接続されている。
　第２選択トランジスタ群ＮＴは、４個のｎ型ＭＯＳＦＥＴＮ１～Ｎ４を有している。以下では、４個のｎ型ＭＯＳＦＥＴＮ１～Ｎ４を総称する際には「ｎ型ＭＯＳＦＥＴＮＧ」と称する。なお、本実施形態では、ｎ型ＭＯＳＦＥＴＮＧの個数を４個としたが、本実施形態はこの数に限られるものではない。
　ｎ型ＭＯＳＦＥＴＮＧのソース端子は接地電位ＧＮＤに接続され、ドレイン端子はビット線ＢＧに接続されている。例えばｎ型ＭＯＳＦＥＴＮ１について述べれば、ｎ型ＭＯＳＦＥＴＮ１のソース端子は接地電位ＧＮＤに接続され、ドレイン端子はビット線Ｂ１に接続されている。
　第１選択回路２５０１は制御信号ＳＰを出力する。当該制御信号ＳＰは、第１選択トランジスタ群ＰＴのｐ型ＭＯＳＦＥＴＰＧのゲート端子に入力される。制御信号ＳＰのレベルがロウレベルであるとき、ｐ型ＭＯＳＦＥＴＰＧはオンとなる。ｐ型ＭＯＳＦＥＴＰＧがオンすると、ｐ型ＭＯＳＦＥＴＰＧを介して、ビット線ＢＧは電源電位Ｖｄｄと接続される。
　第２選択回路２５０２は制御信号ＳＮを出力する。当該制御信号ＳＮは、第２選択トランジスタ群ＮＴのｎ型ＭＯＳＦＥＴＮＧのゲート端子に入力される。制御信号ＳＮのレベルがハイレベルであるとき、ｎ型ＭＯＳＦＥＴＮＧはオンとなる。ｎ型ＭＯＳＦＥＴＮＧがオンすると、ｎ型ＭＯＳＦＥＴＮＧを介して、ビット線ＢＧは接地電位ＧＮＤと接続される。
　第３選択回路２５０３は制御信号ＳＭ１～ＳＭ４を出力する。以下では、４つの制御信号ＳＭ１～ＳＭ４を総称する際には「制御信号ＳＭＧ」と称する。なお、本実施形態では、制御信号ＳＭＧの個数を４つとしたが、本実施形態はこの数に限られるものではない。制御信号ＳＭＧは、マルチプレクサ群ＭＰのマルチプレクサＭＧの制御端子に入力される。なお、本実施形態では、マルチプレクサＭＧが４つの電圧のうちのいずれか１つの電圧を選択する、又は、いずれも出力しないことを選択するので、制御信号ＳＭＧのビット数は少なくとも３ビット必要である。ただし、本実施形態はこれに限られるものではない。
　電圧供給回路２５０４は電圧ＶＬ１～ＶＬ４を供給する。以下では、４つの電圧ＶＬ１～ＶＬ４を総称する際には「電圧ＶＬＧ」と称する。なお、本実施形態では、電圧ＶＬＧの個数を４つとしたが、本実施形態はこの数に限られるものではない。電圧ＶＬＧは、マルチプレクサ群ＭＰのマルチプレクサＭＧの４つの入力端子に入力される。
　なお、電圧供給回路２５０４は、内部で電圧ＶＬＧを生成しても良いし、外部から電圧ＶＬＧを供給されても良い。
　制御回路２５０５は、第１選択回路２５０１、第２選択回路２５０２、第３選択回路２５０３及び電圧供給回路２５０４を統括的に制御する。
　（装置動作）
　次に、回路２５００の動作を説明する。
　制御回路２５０５からの指示に基づき、電圧供給回路２５０４は電圧ＶＬＧをマルチプレクサ群ＭＰのマルチプレクサＭＧに供給する。マルチプレクサＭＧの４つ入力端子には、電圧ＶＬ１～ＶＬ４がそれぞれに入力される。ここで、本実施形態では、電圧ＶＬ１は接地電位ＧＮＤの電圧であり、電圧ＶＬ２は電源電位Ｖｄｄの１／４の電圧であり、電圧ＶＬ３は電源電位Ｖｄｄの２／４、すなわち、１／２の電圧であり、電圧ＶＬ４は電源電位Ｖｄｄの３／４の電圧である。電圧ＶＬ１～ＶＬ４はそれぞれ、回路２５００に入力される４つのスパイクのスパイク振幅に対応する。
　なお、本実施形態では、電圧ＶＬ１～ＶＬ４の各々の電圧を上述のとおり規定されているが、本実施形態は上述に限られるものではない。
　制御回路２５０５からの指示に基づき、第３選択回路２５０３は制御信号ＳＭＧをマルチプレクサ群ＭＰのマルチプレクサＭＧに出力する。制御信号ＳＭ１～ＳＭ４はそれぞれ、マルチプレクサＭ１～Ｍ４の各制御端子に入力される。
　マルチプレクサＭＧは、制御信号ＳＭＧに基づき、電圧ＶＬ１～ＶＬ４のうちのいずれか１つを選択し、当該選択した電圧を出力端子から出力する。マルチプレクサＭＧの出力端子はワード線ＷＧに接続されているので、マルチプレクサＭＧの出力端子から出力される電圧はワード線ＷＧに印加されることになる。
　制御回路２５０５からの指示に基づき、第１選択回路２５０１は制御信号ＳＰのレベルをロウレベルにする。制御信号ＳＰのレベルがロウレベルになると、第１選択トランジスタ群ＰＴのｐ型ＭＯＳＦＥＴＰＧはオンする。ｐ型ＭＯＳＦＥＴＰＧがオンすると、電源電位Ｖｄｄの電圧は、ｐ型ＭＯＳＦＥＴＰＧを介して、ビット線ＢＧに印加されることになる。
　このようにして、電圧ＶＬＧがワード線ＷＧに印加されると共に、電源電位Ｖｄｄがビット線ＢＧに印加されると、メムキャパシタＣＭＧの両端間にはワード線ＷＧに印加された電圧ＶＬＧとビット線ＢＧに印加された電源電位Ｖｄｄの電圧との電位差が印加されることになる。当該電位差の印加によりメムキャパシタＣＭＧは充電される。
　ここで、メムキャパシタＣＭＧの充電動作について、より具体的に説明する。なお、以下では、メムキャパシタＣＭ２２を例として説明する。
　マルチプレクサＭ２の出力端子から電圧ＶＬ１が出力された場合、ワード線Ｗ２には電圧ＶＬ１が印加される。一方、ビット線Ｂ２には電源電位Ｖｄｄの電圧が印加されるので、メムキャパシタＣＭ２２の両端間には次の電位差（以下「第１電位差」と称する。）が印加されることになる。
・（電源電位Ｖｄｄの電圧）－（電圧ＶＬ１）＝（電源電位Ｖｄｄの電圧）
　同様に、マルチプレクサＭ２の出力端子から電圧ＶＬ２が出力された場合、メムキャパシタＣＭ２２の両端間には次の電位差（以下「第２電位差」と称する。）が印加されることになる。
・（電源電位Ｖｄｄの電圧）－（電圧ＶＬ２）＝（電源電位Ｖｄｄの３／４の電圧）
　同様に、マルチプレクサＭ２の出力端子から電圧ＶＬ３が出力された場合、メムキャパシタＣＭ２２の両端間には次の電位差（以下「第３電位差」と称する。）が印加されることになる。
・（電源電位Ｖｄｄの電圧）－（電圧ＶＬ３）＝（電源電位Ｖｄｄの１／２の電圧）
　同様に、マルチプレクサＭ２の出力端子から電圧ＶＬ４が出力された場合、メムキャパシタＣＭ２２の両端間には次の電位差（以下「第４電位差」と称する。）が印加されることになる。
・（電源電位Ｖｄｄの電圧）－（電圧ＶＬ４）＝（電源電位Ｖｄｄの１／４の電圧）
　メムキャパシタＣＭ２２には、両端間に印加される第１～第４電位差の各々に応じた電荷量が蓄積される。
　一方、マルチプレクサＭ２の出力端子から電圧ＶＬ１～４のいずれも出力されなかった場合、メムキャパシタＣＭ２２の両端間には電位差が印加されないので、メムキャパシタＣＭ２２に電荷は蓄積されない。
　再び、回路２５００の動作説明に戻る。制御回路２５０５からの指示に基づき、第１選択回路２５０１は制御信号ＳＰのレベルをハイレベルにする。また、第３選択回路２５０３は制御信号ＳＭＧの出力を停止する。また、電圧供給回路２５０４は電圧ＶＬ１～ＶＬ４の供給を停止する。また、第２選択回路２５０２は制御信号ＳＮのレベルをハイレベルにする。
　制御信号ＳＮのレベルがハイレベルになると、第２選択トランジスタ群ＮＴのｎ型ＭＯＳＦＥＴＮＧはオンする。ｎ型ＭＯＳＦＥＴＮＧがオンすると、接地電位ＧＮＤの電圧は、ｎ型ＭＯＳＦＥＴＮＧを介して、ビット線ＢＧに印加されることになる。
　このようにして、接地電位ＧＮＤがビット線ＢＧに印加されると、メムキャパシタＣＭＧに蓄積された電荷は、ビット線ＢＧ及びｎ型ＭＯＳＦＥＴＮＧを介して、接地電位ＧＮＤに向かって放電される。
　ここで、メムキャパシタＣＭＧの放電動作について、より具体的に説明する。なお、以下では、ビット線Ｂ２に接続されたメムキャパシタＣＭ２１～ＣＭ２４を例として説明する。
　メムキャパシタＣＭ２１～ＣＭ２４の各々の両端間には上述の第１～第４電位差のいずれかが印加される。このため、メムキャパシタＣＭ２１～ＣＭ２４の各々には、両端間に印加された電位差に応じた電荷量が蓄積されている。
　ｎ型ＭＯＳＦＥＴＮ２がオンすると、ビット線Ｂ２に接地電位ＧＮＤの電圧が印加されるので、メムキャパシタＣＭ２１～ＣＭ２４の各々に蓄積された電荷が接地電位ＧＮＤに流れ込む。
　再び、回路２５００の動作説明に戻る。図２５のとおり、ビット線Ｂ１～Ｂ４の各々にはインバータ素子Ｉ１～Ｉ４の各入力端子が接続されている。インバータ素子Ｉ１～Ｉ４の各出力端子から出力信号Ｏ１～Ｏ４が出力される。以下では、４個のインバータ素子Ｉ１～Ｉ４を総称する際には「インバータ素子ＩＧ」と称する。また、４つの出力信号Ｏ１～Ｏ４を総称する際には「出力信号ＯＸ」と称する。なお、本実施形態では、インバータ素子ＩＧの個数を４個としたが、本実施形態はこの数に限られるものではない。
　メムキャパシタＣＭＧに蓄積された電荷が接地電位ＧＮＤに向かって放電される際、ビット線ＢＧに接続されたインバータ素子ＩＧの入力端子には、蓄積されている電荷量に応じた電位差が入力される。なお、メムキャパシタＣＭＧに蓄積されている電荷は、当該電荷の放電に伴い、徐々に減少する。また、当該電位差は、メムキャパシタＣＭＧに蓄積された電荷が減少するにつれて減少する。インバータ素子ＩＧは、入力端子に入力される電位差がインバータ素子ＩＧの閾値を超えてから、再び、当該閾値以下となるまで、出力端子から出力信号ＯＸを出力する。すなわち、インバータ素子ＩＧは、放電される電荷量が多ければ多いほど出力信号ＯＸを出力する期間は長くなる。一方、インバータ素子ＩＧは、放電される電荷量が少なければ少ないほど出力信号ＯＸを出力する期間は短くなる。出力信号Ｏ１～Ｏ４が出力される期間はそれぞれ、回路２５００から出力される４つのスパイクのスパイク幅に対応する。但し、本実施形態は、出力信号Ｏ１～Ｏ４が出力される期間がそれぞれ、回路２５００から出力される４つのスパイクのスパイク幅に対応する構成に限定される訳ではない。例えば、インバータ素子ＩＧの出力端子側に、上述のスパイク幅を累積可能な回路を接続しても良い。当該回路は、時間積分回路と時間コンパレータ回路とを組み合わせることで実現される。当該回路をインバータ素子ＩＧの出力端子側に接続すれば、回路２５００から出力されるスパイク幅を膜電位変化量とみなしてスパイキングニューロン回路を構成することが可能となる。
　（変形例１）
　回路２５００では、マルチプレクサＭＧを介してワード線ＷＧに印加する電圧ＶＬを選択したが、本実施形態はこれに限られるものではない。マルチプレクサＭＧに代えて、ＤＡコンバータを用いても良い。ＤＡコンバータであれば、１つの電圧から複数の電圧を生成することができるので、電圧供給回路２５０４から４つの電圧ＶＬ１～ＶＬ４を供給する必要はない。電圧供給回路２５０４から１つの電圧をＤＡコンバータに供給し、ＤＡコンバータの内部で４つの電圧ＶＬ１～ＶＬ４を生成すれば良い。ただし、ＤＡコンバータの回路構成はマルチプレクサＭＧの回路構成よりも複雑となる。
　（変形例２）
　回路２５００では、電圧ＶＬ１～ＶＬ４はそれぞれ、回路２５００に入力される４つのスパイクのスパイク振幅に対応するものとしたが、本実施形態はこれに限られるものではない。マルチプレクサＭＧを介して電圧ＶＬＧがワード線ＷＧに印加される期間をスパイク幅に対応させることで、スパイク振幅とスパイク幅とを組み合わせたスパイクデータを構成することができる。
　更に、マルチプレクサＭＧを介して電圧ＶＬＧがワード線ＷＧに印加される回数をスパイク数に対応させることで、スパイク振幅とスパイク幅とスパイク数とを組み合わせたスパイクデータを構成することができる。
　（変形例３）
　回路２５００では、ビット線ＢＧにインバータ素子ＩＧを接続し、インバータ素子ＩＧの出力信号ＯＸを、回路２５００から出力される４つのスパイクのスパイク幅に対応させたが、本実施形態はこれに限られるものではない。例えば、回路２５００では、ビット線ＢＧにインバータ素子ＩＧを接続したが、当該インバータ素子ＩＧに代えてカレントミラー回路を接続しても良い。当該カレントミラー回路は、ビット線ＢＧに流れる電流と同じ値である電流を出力する。当該カレントミラー回路の出力端子を図３に示したニューロン回路３０２の入力端子に接続し、当該カレントミラー回路の出力電流をニューロン回路３０２に入力することでスパイキングニューロモーフィックシステムを構築することができる。
　（変形例４）
　回路２５００では、電圧ＶＬ１～ＶＬ４はそれぞれ、回路２５００に入力される４つのスパイクのスパイク振幅に対応するものとしたが、本実施形態はこれに限られるものではない。電圧供給回路２５０４からマルチプレクサＭＧに電圧ＶＬＧを供給する期間をスパイク幅に対応させることで、スパイク振幅とスパイク幅とを組み合わせたスパイクデータを構成することができる。
　３０１　シナプス回路、３０２　ニューロン回路、ｃ１　第１キャパシタ

Claims (14)

  1. 　スパイキングニューラルネットワークを実行するための装置であって、
    　前記装置に入力されるスパイクデータは、複数のスパイクから構成されており、
    　前記装置は、
    　　可変の重みを有し、前記スパイクデータを構成する各スパイクに対して前記重みに応じて調整された膜電位変位を生成し、当該膜電位変位の積分値が閾値を超えた場合に新たなスパイクを生成する回路を備えており、
    　前記スパイクデータは、入力データがスパイクパターンとして表現されたデータであり、
    　前記スパイクパターンは、前記スパイクデータを構成するスパイクの数、前記スパイクデータを構成する各スパイクの幅、及び前記スパイクデータを構成する各スパイクの振幅のうちの少なくとも２つを用いて定義される、装置。
  2. 　前記回路は、前記スパイクデータを構成する各スパイクが入力される度に、当該スパイクの入力によってスイッチング素子をオンオフ制御し、コンデンサへの充放電により電荷を遷移させて前記膜電位変位を生成するチャージポンプ回路を更に有する、請求項１に記載の装置。
  3. 　前記回路は、前記重みを示す、可変の電気的特性を有するメムキャパシタを更に有する、請求項１又は２に記載の装置。
  4. 　スパイキングニューラルネットワークを実行するための方法であって、
    　前記方法は、入力データを、スパイキングニューラルネットワークを実行するための装置に入力されるスパイクデータに変換する方法であり、
    　前記装置に入力されるスパイクデータは、複数のスパイクから構成されており、
    　前記装置は、
    　　可変の重みを有し、前記スパイクデータを構成する各スパイクに対して前記重みに応じて調整された膜電位変位を生成し、当該膜電位変位の積分値が閾値を超えた場合に新たなスパイクを生成する回路を備えており、
    　前記スパイクデータは、入力データがスパイクパターンとして表現されたデータであり、
    　前記スパイクパターンは、前記スパイクデータを構成するスパイクの数、前記スパイクデータを構成する各スパイクの幅、及び前記スパイクデータを構成する各スパイクの振幅のうちの少なくとも２つのパラメータを用いて定義される、方法。
  5. 　前記スパイクパターンを定義する少なくとも２つのパラメータの１つが前記スパイクデータを構成する各スパイクの幅である場合において、
    　前記スパイクデータは、二進数として符号化されており、
    　前記二進数の最下位ビット側から最上位ビット側に向かうにつれて各スパイクの幅が広くなる、請求項４に記載の方法。
  6. 　前記スパイクパターンを定義する少なくとも２つのパラメータの１つが前記スパイクデータを構成する各スパイクの振幅である場合において、
    　前記スパイクデータは、二進数として符号化されており、
    　前記二進数の最下位ビット側から最上位ビット側に向かうにつれて各スパイクの振幅が大きくなる、請求項４又は５に記載の方法。
  7. 　前記スパイクパターンを定義する少なくとも２つのパラメータの１つが前記スパイクデータを構成する各スパイクの幅である場合において、
    　前記スパイクデータは、スパイク数とスパイク強度の平均値との積として符号化されており、
    　前記スパイク強度の小さいものから大きいものに向かうにつれて各スパイクの幅が広くなる、請求項４に記載の方法。
  8. 　前記スパイクパターンを定義する少なくとも２つのパラメータの１つが前記スパイクデータを構成する各スパイクの振幅である場合において、
    　前記スパイクデータは、スパイク数とスパイク強度の平均値との積として符号化されており、
    　前記スパイク強度の小さいものから大きいものに向かうにつれて各スパイクの振幅が大きくなる、請求項４又は７に記載の方法。
  9. 　前記スパイク強度の異なる強度を互いに異なるスパイク幅及び／又は異なるスパイク振幅に割り振られている、請求項７又は８に記載の方法。
  10. 　複数のニューロン回路と、
    　複数のシナプス回路と
    を備え、
    　前記複数のニューロン回路の各々は、前記複数のシナプス回路のうちの１つ又は複数のシナプス回路が接続されており、接続された各シナプス回路からスパイクを取得し、
    　請求項１～３のいずれか１項に記載の装置は、１つのシナプス回路と当該シナプス回路に接続された１つのニューロン回路との組合せを実現する、スパイキングニューロモーフィックシステム。
  11. 　前記装置は、
    　　複数のワード線と複数のビット線との交差位置に複数のメムキャパシタがマトリックス状に配置されたマトリックスアレイと、
    　　複数のマルチプレクサであって、各マルチプレクサが、複数の入力端子の各々から入力される複数の電圧のうちのいずれか１つの電圧を選択し、当該選択された電圧を、対応する前記ワード線に印加する、又は、前記複数の電圧のいずれも出力しないことを選択する、複数のマルチプレクサと、
    　　電源電位と、対応する前記ビット線との間に配置された、複数のｐ型ＭＯＳＦＥＴと、
    　　接地電位と、対応する前記ビット線との間に配置された、複数のｎ型ＭＯＳＦＥＴと
    　を備えている、請求項１～３のいずれか１項に記載の装置。
  12. 　前記装置は、前記複数のビット線の各々に関して、各前記ビット線に接続された各前記メムキャパシタに蓄積された電荷量に応じた出力信号を出力する、請求項１１に記載の装置。
  13. 　各前記マルチプレクサに入力される各前記電圧は、前記装置に入力されるスパイクのスパイク振幅に対応する、請求項１１又は１２に記載の装置。
  14. 　各前記出力信号が出力される期間は、前記装置から出力されるスパイクのスパイク幅に対応する、請求項１２に記載の装置。
PCT/JP2022/040150 2021-10-29 2022-10-27 スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム WO2023074798A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021178174 2021-10-29
JP2021-178174 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074798A1 true WO2023074798A1 (ja) 2023-05-04

Family

ID=86159972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040150 WO2023074798A1 (ja) 2021-10-29 2022-10-27 スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム

Country Status (1)

Country Link
WO (1) WO2023074798A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193354A1 (en) * 2015-12-30 2017-07-06 SK Hynix Inc. Neuromorphic device and method of adjusting a resistance change ratio thereof
WO2020178903A1 (ja) * 2019-03-01 2020-09-10 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193354A1 (en) * 2015-12-30 2017-07-06 SK Hynix Inc. Neuromorphic device and method of adjusting a resistance change ratio thereof
WO2020178903A1 (ja) * 2019-03-01 2020-09-10 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算方法

Similar Documents

Publication Publication Date Title
TWI762719B (zh) 用於混和訊號運算的系統及方法
CN109492187A (zh) 用于执行模拟复向量矩阵乘法的方法和系统
US5264734A (en) Difference calculating neural network utilizing switched capacitors
CN111052153B (zh) 使用半导体存储元件的神经网络运算电路及动作方法
KR102141385B1 (ko) 전치 가능한 메모리와 가상 순람표를 이용한 뉴로모픽 시스템
US10453527B1 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
US20230401432A1 (en) Distributed multi-component synaptic computational structure
KR20180090560A (ko) 다수 개의 시냅스 셀들을 가진 시냅스를 포함하는 뉴로모픽 소자
KR102354286B1 (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
US5155377A (en) Charge domain differential conductance synapse cell for neural networks
CN114429199A (zh) 可扩展的仿神经电路
WO2023074798A1 (ja) スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム
US20200381027A1 (en) Dac/adc architecture for ai in memory
US20210011687A1 (en) Product-sum calculation device and product-sum calculation method
Gi et al. A ReRAM-based convolutional neural network accelerator using the analog layer normalization technique
JPH0628504A (ja) ニューラル・ネットワーク
US11106971B2 (en) Neuromorphic device and a synapse network including a post-synaptic neuron having a subtracting circuit
JP7358312B2 (ja) 記憶装置およびニューラルネットワーク装置
US20220156556A1 (en) Spiking neural network circuit
CN217279611U (zh) 人工神经元的电子电路及人工神经网络
Kotov et al. Resistor Array as a Commutator
Kier et al. An MDAC synapse for analog neural networks
WO2022091794A1 (ja) ニューロモーフィック装置及びニューロモーフィックシステム
JP7482071B2 (ja) 記憶装置およびニューラルネットワーク装置
US20210279558A1 (en) Synaptic circuit and neural network apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887123

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023556635

Country of ref document: JP