WO2020162141A1 - 演算装置、積和演算システム及び設定方法 - Google Patents

演算装置、積和演算システム及び設定方法 Download PDF

Info

Publication number
WO2020162141A1
WO2020162141A1 PCT/JP2020/001471 JP2020001471W WO2020162141A1 WO 2020162141 A1 WO2020162141 A1 WO 2020162141A1 JP 2020001471 W JP2020001471 W JP 2020001471W WO 2020162141 A1 WO2020162141 A1 WO 2020162141A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
sum
value
load
multiplication
Prior art date
Application number
PCT/JP2020/001471
Other languages
English (en)
French (fr)
Inventor
吉田 浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080011337.6A priority Critical patent/CN113474782A/zh
Priority to US17/425,055 priority patent/US11836461B2/en
Priority to DE112020000661.1T priority patent/DE112020000661T5/de
Publication of WO2020162141A1 publication Critical patent/WO2020162141A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52Multiplying; Dividing
    • G06F7/523Multiplying only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443Sum of products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50Adding; Subtracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06GANALOGUE COMPUTERS
    • G06G7/00Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/14Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06GANALOGUE COMPUTERS
    • G06G7/00Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means

Definitions

  • the present technology relates to a calculation device, a product-sum calculation system, and a setting method applicable to a product-sum calculation using an analog method.
  • the sum-of-products calculation is a calculation for multiplying each of a plurality of input values by a load and adding each multiplication result to each other, and is used for recognition processing of images and sounds by a neural network or the like, for example.
  • Patent Document 1 describes an analog circuit that performs the process of sum-of-products calculation by an analog method.
  • a load corresponding to each of the plurality of electric signals is set.
  • the electric charge corresponding to the corresponding electric signal and the load is output, and the output electric charge is appropriately stored in the capacitor.
  • a calculation target value representing the sum of products result is calculated based on the voltage of the capacitor in which the electric charge is stored.
  • an object of the present technology is to provide an arithmetic device, a product-sum calculation system, and a setting method capable of accurately detecting a calculation result in an analog circuit that performs a product-sum calculation. Especially.
  • an arithmetic device includes a plurality of input lines and a plurality of product-sum arithmetic devices.
  • An electric signal corresponding to an input value is input to each of the plurality of input lines within a predetermined input period.
  • Each of the plurality of product-sum calculation devices has a plurality of multiplication units and an output unit.
  • the plurality of multiplication units generate electric charges corresponding to a multiplication value obtained by multiplying the input value by a load value based on the electric signal input to each of the plurality of input lines.
  • the output unit accumulates charges corresponding to the multiplication value generated by each of the plurality of multiplication units, and outputs a sum of products signal indicating a sum of the multiplication values based on the accumulated charges.
  • the plurality of multiplication units generate a positive load charge corresponding to a multiplication value obtained by multiplying the input value by a positive load value, or a multiplication value obtained by multiplying the input value by a negative load value.
  • a positive load ratio which is a ratio of the total sum of the positive load values to the total sum of the absolute values of the load values, is included between 0% and 100%, including at least one of the corresponding load heavy multiplication units. It is configured to have any one of the ratios.
  • the output unit outputs the sum-of-products signal by accumulating at least one of the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit. .. Further, the length of the input period is set based on the distribution of the positive load ratios of the plurality of product-sum calculation devices.
  • the length of the input period of the electrical signal is set according to the input value based on the distribution of the positive load ratios of the multiple product-sum computing devices.
  • the electric signal according to the input value may be a pulse signal in which the length of ON time for the input period corresponds to the input value.
  • the length of the input period may be set based on at least one of the average and the variance of the positive load ratio.
  • the length of the input period may be set longer as the positive load ratio is more distributed around 50%.
  • the length of the input period may be set longer as the average of the positive load ratio is closer to 50%.
  • the length of the input period may be set longer as the variance of the positive load ratio is smaller when the average of the positive load ratio is close to 50%.
  • the length of the input period is set based on the number of product-sum calculation devices that are likely to have the product-sum signal output from the output unit smaller than a noise level among the plurality of product-sum calculation devices. May be.
  • the arithmetic unit further determines the number of product-sum arithmetic units among the plurality of product-sum arithmetic units that are likely to have the product-sum signal output from the output unit smaller than a noise level.
  • a determination circuit may be provided.
  • the determination circuit is Based on the electric signal input to each of the plurality of input lines, a positive load charge corresponding to a multiplied value obtained by multiplying the input value by a positive load value, and an absolute value of the input value having the positive load.
  • a plurality of determination multiplication units that respectively generate a load heavy charge corresponding to a multiplication value obtained by multiplying a negative load value that is the same as the value, Based on the total number of the positive load charges generated by each of the plurality of determination multiplication units, and the charge corresponding to the difference between the total number of the load heavy charges generated by each of the plurality of determination multiplication units, A determination output unit that outputs a determination signal, and a determination unit that determines the number of product-sum signals smaller than the determination signal among the plurality of product-sum signals output from the plurality of arithmetic devices. You may.
  • the number of product-sum calculation devices that have a high possibility that the sum-of-products signal output from the output unit will be lower than the noise level is determined when the electric signals corresponding to the same input value are input to the plurality of input lines. The determination may be made based on the number determined by the determination unit.
  • the output unit has a storage unit that stores at least one of the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit, and is held by the storage unit.
  • the product-sum signal representing the sum of the multiplication values may be output by performing threshold value determination on the generated voltage with a predetermined threshold value.
  • the storage unit includes a positive charge storage unit capable of storing the positive load charge generated by the positive load multiplication unit, and a negative charge storage unit capable of storing the load heavy charge generated by the load weight multiplication unit. May have.
  • the output unit may output the sum-of-products signal by performing threshold value determination on each of the positive charge storage unit and the negative charge storage unit with the predetermined threshold value.
  • the predetermined threshold may be set based on the length of the input period.
  • the absolute values of the positive load value and the negative load value may be fixed at the same value.
  • the positive load ratio may be a ratio of the number of the positive load multiplication units to the number of the plurality of multiplication units.
  • Each of the plurality of product-sum calculation devices may have a positive charge output line and a negative charge output line.
  • the plurality of multiplication units may be provided corresponding to the plurality of input lines.
  • the positive load multiplication unit includes a resistor having a non-linear characteristic that is connected between the corresponding input line of the plurality of input lines and the positive charge output line, defines the positive load value, and has a non-linear characteristic. You may output the positive load charge corresponding to the said multiplication value to the said positive charge output line.
  • the load weight multiplication unit includes a resistor having a non-linear characteristic that defines the negative load value and is connected between the corresponding input line of the plurality of input lines and the negative charge output line, The heavy load charge corresponding to the multiplication value may be output to the negative charge output line.
  • the resistor included in the positive load multiplication unit and the resistor included in the load weight multiplication unit may have the same resistance value.
  • the positive load ratio may be a ratio of the number of resistors included in the positive load multiplication unit to the total number of resistors.
  • the determination circuit may have a positive charge output line and a negative charge output line.
  • the plurality of determination multiplication units may be provided corresponding to the plurality of input lines. Further, each of the plurality of determination multiplying units is provided between a corresponding input line of the plurality of input lines and the positive charge output line, and a corresponding input line of the plurality of input lines and the negative charge line.
  • a common resistor connected to each of the charge output lines and having a non-linear characteristic may be included.
  • a sum-of-products calculation system includes the plurality of input lines, a plurality of analog circuits, and a network circuit.
  • Each of the plurality of analog circuits has the plurality of multiplication units and the output unit.
  • the network circuit is configured by connecting the plurality of analog circuits. Further, the length of the input period is set based on the distribution of the positive load ratios of the plurality of product-sum calculation devices.
  • a setting method is to set an input period for inputting the electrical signal to the plurality of input lines based on distributions of the positive load ratios of the plurality of product-sum calculation devices.
  • FIG. 3 is a schematic circuit diagram showing an example of a PWM type analog circuit.
  • FIG. 6 is a diagram for explaining an example of calculating the sum of products signal by the analog circuit shown in FIG. 5. It is a schematic diagram which shows the example of calculation of the sum-of-products signal which shows the sum-of-products result. It is a schematic circuit diagram which shows the other example of the analog circuit of a PWM system.
  • FIG. 9 is a diagram for explaining an example of calculating the sum of products signal by the analog circuit shown in FIG. 8. It is a schematic circuit diagram showing an example of a TACT type analog circuit. 6 is a schematic graph for explaining the potential of each output line at the end of the input period.
  • FIG. 3 is a schematic diagram showing a configuration example of a calculation device for explaining a simulation regarding a time-axis analog product sum calculation. It is a schematic diagram which shows the structural example of a noise embedding determination circuit. It is a schematic diagram which shows an example of a test signal. It is a schematic diagram which shows the structural example of a neural network.
  • FIG. 1 is a schematic diagram illustrating a configuration example of an arithmetic device according to an embodiment of the present technology.
  • the arithmetic unit 100 is an analog type arithmetic unit that executes a predetermined arithmetic process including a sum of products operation. By using the arithmetic unit 100, it is possible to execute arithmetic processing according to a mathematical model such as a neural network.
  • the arithmetic unit 100 has a plurality of signal lines 1, a plurality of input units 2, and a plurality of analog circuits 3.
  • Each signal line 1 is a line that transmits an electric signal of a predetermined method.
  • the electric signal for example, an analog signal that represents a signal value by using an analog amount such as a pulse timing or a pulse width is used.
  • FIG. 1 the direction in which the electric signal is transmitted is schematically illustrated by using arrows.
  • the analog circuit 3 corresponds to a product-sum calculation device.
  • a plurality of signal lines 1 are connected to one analog circuit 3.
  • the signal line 1 that transmits an electric signal to the analog circuit 3 becomes an input signal line to which the electric signal is input for the analog circuit 3 to which the signal line 1 is connected.
  • the signal line 1 that transmits the electric signal output from the analog circuit 3 is an output signal line that outputs the electric signal to the analog circuit 3 to which the signal line 1 is connected.
  • the input signal line corresponds to the input line.
  • the plurality of input units 2 respectively generate a plurality of electric signals according to the input data 4.
  • the input data 4 is data to be processed using a neural network or the like implemented by the arithmetic device 100, for example. Therefore, it can be said that each signal value of the plurality of electric signals corresponding to the input data 4 is an input value to the arithmetic device 100.
  • the input data 4 for example, arbitrary data such as image data, audio data, statistical data, etc. to be processed by the arithmetic unit 100 is used.
  • image data for example, an electric signal having a pixel value (RGB value, brightness value, etc.) of each pixel of the image data as a signal value is generated.
  • an electric signal corresponding to the input data 4 may be appropriately generated according to the type of the input data 4 and the content of the processing by the arithmetic device 100.
  • the analog circuit 3 is an analog circuit that performs a product-sum operation based on the input electric signal.
  • the sum-of-products calculation is, for example, a calculation of adding a plurality of input values and a plurality of multiplication values obtained by multiplying a load value corresponding to each input value. Therefore, it can be said that the product-sum calculation is a process of calculating the sum of the multiplication values (hereinafter referred to as the product-sum result).
  • a plurality of input signal lines are connected to one analog circuit 3 and a plurality of electric signals are given.
  • the plurality of input signal lines and the analog circuit configure the product-sum operation circuit according to this embodiment. Further, by inputting a plurality of electric signals from each input signal line, the product-sum calculation circuit (analog circuit 3) executes the product-sum calculation method according to the present embodiment.
  • the total number of electric signals input to one analog circuit 3 is N.
  • the number N of electric signals input to each analog circuit 3 is appropriately set for each circuit according to, for example, a model of operation processing, accuracy, and the like.
  • a signal value x i which is represented by the electric signal input from the i-th input signal line
  • a multiplication value of the load value w i corresponding to the signal value x i w i ⁇ x i Is calculated.
  • the calculation of the multiplication value is executed for each electric signal (input signal line), and N multiplication values are calculated.
  • a value obtained by adding the N multiplication values is calculated as a product-sum result (sum of N multiplication values). Therefore, the sum of products result calculated by one analog circuit 3 is expressed by the following equation.
  • the load value w i is set, for example, in the range of ⁇ w i ⁇ + ⁇ .
  • is an arbitrary real value. Therefore, the load value w i includes a positive load value w i , a negative load value w i , a zero load value w i, and the like. In this way, by setting the load value w i within a predetermined range, it is possible to avoid the situation where the product-sum result diverges.
  • the range in which the load value w i is set may be standardized.
  • the load value w i is set in the range of ⁇ 1 ⁇ w i ⁇ 1.
  • binary connect In a neural network or the like, it is possible to use a method called binary connect in which the weight value w i is set to either + ⁇ or ⁇ .
  • Binary connect is used in various fields such as image recognition using a deep neural network (multilayer neural network).
  • the binary connector By using the binary connector, it is possible to simplify the setting of the load value w i without deteriorating the recognition accuracy and the like.
  • binary connect the absolute values of the positive load value and the negative load value are fixed at the same value.
  • the load value w i is binarized into a binary value ( ⁇ ).
  • binary value
  • the binarized load value w i may be standardized to set the load value w i to ⁇ 1.
  • the setting range and value of the load value w i are not limited, and may be appropriately set, for example, so that desired processing accuracy is realized.
  • the signal value x i is, for example, an electric signal output from the input unit 2 or a sum of products result output from the analog circuit 3.
  • the input unit 2 and the analog circuit 3 function as a signal source that outputs the signal value x i .
  • one signal source (input unit 2, analog circuit 3) outputs a single electric signal (single signal value x i ). Therefore, the same electric signal is input to each of the plurality of signal lines 1 connected to the output side of one signal source. Further, one signal source and the analog circuit 3 to which the electric signal output from the signal source is input are connected by a single input signal line.
  • the M input signal lines are connected to the analog circuit 3 connected to the M signal sources.
  • one signal source outputs a pair of positive and negative electric signals (a pair of signal values x i + , x i ⁇ ).
  • the arithmetic device 100 has a hierarchical structure in which a plurality of analog circuits 3 are provided in each of a plurality of layers.
  • a multilayer perceptron type neural network or the like is constructed.
  • the number of analog circuits provided in each layer, the number of layers, and the like are appropriately designed so that desired processing can be executed, for example.
  • the number of analog circuits 3 provided in the j-th layer may be described as N j .
  • the N electrical signals generated by the N input units 2 are input to each analog circuit 3 provided in the first layer (the lowest layer).
  • Each of the analog circuits 3 in the first stage calculates the sum of products result regarding the signal value x i of the input data, and outputs the result to the analog circuit 3 provided in the next layer (second stage) after the nonlinear conversion process.
  • Each of the analog circuits 3 provided in the second layer receives N 1 electrical signals representing the sum of products calculated in the first stage. Therefore, when viewed from the analog circuits 3 in the second stage, the result of the non-linear conversion of the sum of products calculated in the first stage becomes the signal value x i of the electric signal.
  • the second-stage analog circuits 3 calculate the sum of products results regarding the signal values x i output from the first stage, and output the result to the higher-layer analog circuit 3.
  • the product-sum result of the upper-layer analog circuit 3 is calculated based on the product-sum result calculated by the lower-layer analog circuit 3.
  • Such processing is executed a plurality of times, and the processing result is output from the analog circuit 3 included in the uppermost layer (third layer in FIG. 1).
  • processing such as image recognition for determining that the subject is a cat from the image data (input data 4) in which the cat is photographed.
  • the network circuit functions as a data flow type processing system which performs arithmetic processing by passing a signal, for example.
  • various processing functions can be realized by appropriately setting the weight value (synapse connection), for example.
  • the product-sum calculation system according to this embodiment is constructed.
  • the method of connecting the analog circuits 3 is not limited, and a plurality of analog circuits 3 may be appropriately connected so that desired processing can be performed, for example.
  • the present technology is applicable even when the analog circuits 3 are connected so as to form another structure different from the hierarchical structure.
  • the configuration has been described in which the product sum results calculated in the lower layer are directly input to the upper layer.
  • the present invention is not limited to this, and for example, conversion processing or the like may be performed on the product-sum result.
  • conversion processing or the like may be performed on the product-sum result.
  • a process of performing non-linear conversion on the sum of products of each analog circuit 3 using an activation function and inputting the conversion result to an upper layer is executed.
  • a function circuit 5 that performs non-linear conversion of an electric signal by an activation function is used.
  • the function circuit 5 is, for example, provided between the lower layer and the upper layer, and is a circuit that appropriately converts the signal value of the input electric signal and outputs the electric signal according to the conversion result.
  • the function circuit 5 is provided for each signal line 1, for example.
  • the number and arrangement of the function circuits 5 are appropriately set according to, for example, a mathematical model installed in the arithmetic unit 100.
  • a ReLU function (ramp function) or the like is used.
  • the ReLU function when the signal value x i is 0 or more, the ReLU function outputs the signal value x i as it is, and otherwise outputs 0.
  • a function circuit 5 that implements the ReLU function is appropriately connected to each signal line 1. This makes it possible to realize the processing of the arithmetic device 100.
  • FIG. 2 is a schematic diagram showing an example of an electric signal input to the analog circuit 3.
  • 2A and 2B schematically show graphs representing waveforms of a plurality of electric signals.
  • the horizontal axis of the graph is the time axis, and the vertical axis is the voltage of the electric signal.
  • FIG. 2A shows an example of a waveform of an electric signal of a pulse width modulation (PWM) system.
  • the PWM method is a method of expressing the signal value x i using, for example, the pulse width ⁇ i of the pulse waveform. That is, in the PWM method, the pulse width ⁇ i of the electric signal has a length corresponding to the signal value x i . Typically, the longer the pulse width ⁇ i , the larger the signal value x i .
  • the electric signal is input to the analog circuit 3 within a predetermined input period T. More specifically, each electric signal is input to the analog circuit 3 so that the pulse waveform of the electric signal falls within the input period T. Therefore, the maximum value of the pulse width of the electric signal is similar to that in the input period T. Note that the timing of inputting each pulse waveform (electrical signal) is not limited as long as it is within the input period T.
  • time-axis analog product-sum calculation using the PWM analog circuit 3 can be executed.
  • FIG. 2B shows an example of the waveform of the electric signal of the spike timing method (hereinafter referred to as the TACT method).
  • the TACT method is a method of expressing the signal value x i by using the rising timing of the pulse, for example. For example, a pulse is input at a timing corresponding to an input value with reference to a predetermined timing.
  • the electric signal is input to the analog circuit 3 within a predetermined input period T.
  • the signal value x i is represented by the pulse input timing in the input period T.
  • the maximum signal value x i is represented by the pulse input at the same time as the start of the input period T.
  • the smallest signal value x i is represented by the pulse input at the same time as the end of the input period T.
  • the signal value x i is represented by the length from the pulse input timing to the end timing of the input period T.
  • the maximum signal value x i is represented by a pulse whose length from the input timing of the pulse to the end timing of the input period T is equal to the input period T.
  • a pulse having a length of 0 from the input timing of the pulse to the end timing of the input period T represents the smallest signal value x i .
  • a continuous pulse signal that rises at a timing according to an input value and maintains an ON level until a product-sum result is obtained is used as an electric signal of the TACT method.
  • a rectangular pulse having a predetermined pulse width or the like may be used as the TACT electrical signal.
  • time-axis analog product-sum calculation using the TACT analog circuit 3 can be executed.
  • the signal value xi represented by each electric signal is a variable of 0 or more and 1 or less.
  • FIG. 3 is a schematic diagram showing a specific configuration example of the arithmetic device 100.
  • FIG. 3 is a layout example of circuits that realize the arithmetic device 100 shown in FIG. 1, for example, and schematically illustrates a plurality of analog circuits 3 provided in one layer of the arithmetic device 100.
  • the analog circuit 3 has a pair of output lines 7, a plurality of synapse circuits 8 and a neuron circuit 9. As shown in FIG. 3, one analog circuit 3 is configured to extend in a predetermined direction (vertical direction in the drawing). A plurality of analog circuits 3 extending in the vertical direction are arranged side by side in the horizontal direction to form one layer. In the following, the analog circuit 3 arranged on the leftmost side in the figure is referred to as the first analog circuit 3. In addition, the direction in which the analog circuit 3 extends may be referred to as the extending direction.
  • the pair of output lines 7 are arranged apart from each other along the extending direction.
  • the pair of output lines 7 includes a positive charge output line 7a and a negative charge output line 7b.
  • Each of the positive charge output line 7a and the negative charge output line 7b is connected to the neuron circuit 9 via a plurality of synapse circuits 8.
  • the synapse circuit 8 calculates a multiplication value (w i ⁇ x i ) of the signal value x i represented by the electric signal and the weight value w i . Specifically, the charge (current) corresponding to the multiplication value is output to either the positive charge output line 7a or the negative charge output line 7b.
  • either one of the positive load value w i + and the negative load value w i ⁇ is set in the synapse circuit 8.
  • the positive load charge corresponding to the product of the positive load value w i + is output to the positive charge output line 7a.
  • the heavy load charge corresponding to the product of the negative load value w i ⁇ is output to the negative charge output line 7b.
  • a charge having the same sign (for example, a positive charge) is output regardless of whether the weight value w i is positive or negative. That is, the positive load charge and the heavy load charge have the same sign.
  • the synapse circuit 8 is configured to output the electric charge corresponding to the multiplication result to the different output line 7a or 7b depending on the sign of the weight value w i .
  • the specific configuration of the synapse circuit 8 will be described later in detail.
  • the plurality of synapse circuits 8 serve as a plurality of multiplication units that generate electric charges corresponding to a product value obtained by multiplying an input value by a load value, based on electric signals input to each of the plurality of input lines. Function.
  • a single input signal line 6 and a pair of output lines 7 are connected to one synapse circuit 8. That is, a single electric signal is input to one synapse circuit 8, and the electric charge corresponding to the multiplication value calculated based on the input electric signal is output to one of the output lines 7a or 7b. ..
  • the synapse circuit 8 is a 1-input 2-output circuit connected to the single input signal line 6 and the pair of output lines 7 (the positive charge output line 7a and the negative charge output line 7b).
  • a plurality of synapse circuits 8 are arranged along a pair of output lines 7. Each synapse circuit 8 is connected in parallel to the positive charge output line 7a (negative charge output line 7b).
  • the synapse circuit 8 arranged on the most downstream side (the side connected to the neuron circuit 9) will be referred to as the first synapse circuit.
  • the plurality of input signal lines 6 are wired so as to intersect the pair of output lines 7 of each of the plurality of analog circuits 3.
  • the input signal line 6 is provided so as to be orthogonal to each output line 7. That is, the arithmetic device 100 has a crossbar configuration in which the input signal line 6 and the output line 7 intersect.
  • the analog circuits 3 and the like can be integrated with high density.
  • the jth synapse circuit 8 included in each analog circuit 3 is connected in parallel to the jth input signal line 6. Therefore, similar electrical signals are input to the synapse circuits 8 connected to the same input signal line 6. Thereby, it is possible to implement a configuration in which one signal source included in the lower layer is connected to the plurality of analog circuits 3 included in the upper layer.
  • the analog circuit 3 (pre-neuron) included in the lower layer is schematically illustrated as a signal source for inputting an electric signal to each input signal line 6.
  • the present invention is not limited to this, and the crossbar configuration can be used even when the input unit 2 is used as a signal source, for example.
  • the plurality of analog circuits 3 are connected in parallel to each of the plurality of input signal lines 6.
  • each analog circuit 3 each synapse circuit 8
  • the neuron circuit 9 calculates the sum of products result shown in the equation (1) based on the multiplication value calculated by each synapse circuit 8. Specifically, based on the charges input via the pair of output lines 7, an electric signal representing the product-sum result (product-sum signal) is output.
  • FIG. 4 is a schematic diagram showing a configuration example of the neuron circuit 9.
  • the neuron circuit 9 has a storage unit 11 and a signal output unit 12.
  • FIG. 4 shows a 2-input 1-output neuron circuit 9 connected to a pair of output lines 7 and a single output signal line 10. It should be noted that a 2-input 2-output circuit or the like may be used as the neuron circuit 9.
  • the storage unit 11 stores the charges output to the pair of output lines 7 by the plurality of synapse circuits 8.
  • the storage unit 11 has two capacitors 13a and 13b.
  • the capacitor 13a is connected between the positive charge output line 7a and GND.
  • the capacitor 13b is connected between the negative charge output line 7b and GND. Therefore, charges flowing from the positive charge output line 7a and the negative charge output line 7b are accumulated in the capacitors 13a and 13b, respectively.
  • the charge accumulated in the capacitor 13a becomes the sum ⁇ + of the positive load charges corresponding to the product value of the positive load value w i + .
  • the charge accumulated in the capacitor 13b becomes the sum ⁇ ⁇ of the heavy load charges corresponding to the product value of the negative load value w i ⁇ .
  • the potential of the positive charge output line 7a with reference to GND rises. Therefore, the potential of the positive charge output line 7a becomes a value according to the total sum ⁇ + of charges corresponding to the product value of the positive load value w i + .
  • the potential of the positive charge output line 7a corresponds to the voltage held by the capacitor 13a.
  • the potential of the negative charge output line 7b with respect to GND rises. Therefore, the potential of the negative charge output line 7b becomes a value corresponding to the total sum ⁇ ⁇ of charges corresponding to the product value of the negative load value w i ⁇ .
  • the potential of the negative charge output line 7b corresponds to the voltage held by the capacitor 13b.
  • the signal output unit 12 outputs a product-sum signal that represents the sum of the multiplication values (w i ⁇ x i ) based on the charges accumulated in the accumulation unit 11.
  • the sum-of-products signal is a signal representing the total sum-of-products result which is the sum of the product values of all the positive and negative combined weight values w i and the signal values x i .
  • the sum of products result expressed by the equation (1) can be written as follows.
  • N + and N ⁇ are the total number of positive load values w i + and the total number of negative load values w i ⁇ , respectively.
  • the total product sum result is the sum of product values (w i + ⁇ x i ) multiplied by the positive weight value w i + , and the negative product charge result. It can be calculated as a difference from the product sum result of the heavy load charges, which is the sum of the multiplication value (
  • the signal output unit 12 generates, as the product-sum signal, for example, one signal representing the overall product-sum result.
  • the positive product-sum result and the negative product-sum result are calculated by appropriately referring to the charges accumulated in the storage unit 11 (capacitors 13a and 13b), and the overall product-sum result is calculated from these differences. It is calculated. Further, for example, two signals, a positive sum-of-products signal and a negative sum-of-products signal representing positive and negative sum-of-products results may be generated as the sum-of-products signal.
  • the method of referring to the charges accumulated in the accumulation unit 11 is not limited. As an example, a method of detecting the electric charge accumulated in one capacitor 13 will be described.
  • the charge corresponding to the multiplication value is accumulated in the capacitor 13 within the input period T. That is, before and after the input period T, the charge corresponding to the multiplication value does not accumulate.
  • the capacitor 13 is charged at a predetermined charging rate.
  • a comparator comparative or the like
  • the charging rate can be represented by, for example, the amount of charge per unit time, and can also be called a charging rate.
  • this threshold determination corresponds to detecting the timing when the voltage held in the capacitor 13 is increased by charging and the threshold voltage is reached.
  • the ON level is maintained even after the end of the input period T, so that the charge is accumulated in the capacitor 13.
  • a comparator comparative or the like
  • the timing at which the potential of the output line to which the capacitor 13 is connected reaches a predetermined threshold potential. For example, the more the charge at the end of the input period T, the earlier the timing of reaching the threshold potential. Therefore, based on the timing, it is possible to represent the charges accumulated in the input period T (sum of products).
  • this threshold judgment corresponds to detecting the timing when the voltage held in the capacitor 13 reaches the threshold voltage.
  • the timing representing the sum of products result is detected. Based on this detection result, a product-sum signal of positive load charges, a product-sum signal of heavy load charges, or an overall product-sum signal is appropriately generated.
  • the sum of products may be calculated by directly reading the potential of the capacitor 13 at the end of the input period T, for example.
  • the voltage corresponding to the accumulated positive load charge and the voltage corresponding to the accumulated load heavy charge may be respectively amplified.
  • the sum-of-products signal may be generated by amplifying the difference voltage between the voltage corresponding to the accumulated positive load charges and the voltage corresponding to the accumulated load heavy charges.
  • the neuron circuit 9 may be provided with a differential amplifier or the like having an arbitrary configuration.
  • the neuron circuit 9 accumulates the electric charges corresponding to the multiplication values generated by each of the plurality of multiplication units, and outputs the sum of products signal indicating the sum of the multiplication values based on the accumulated electric charges. Functions as an output unit. Further, the capacitors 13a and 13b function as a positive charge storage unit and a negative charge storage unit. The neuron circuit 9 outputs a sum-of-products signal by accumulating at least one of the positively-charged electric charges generated by the positive-weighted multiplication unit or the heavy-duty-charged charges generated by the load-weighted multiplication unit.
  • FIG. 5 is a schematic circuit diagram showing an example of the analog circuit according to the present embodiment.
  • FIG. 5 illustrates an example of the PWM type analog circuit 3.
  • the analog circuit 3 is provided so as to extend in a direction orthogonal to the plurality of input signal lines 6. That is, in the example shown in FIG. 5, the crossbar configuration is adopted.
  • the analog circuit 3 has a pair of output lines (a positive charge output line 7a and a negative charge output line 7b), a plurality of synapse circuits (a plurality of multiplying units) 8, and a neuron circuit 9.
  • the neuron circuit 9 includes a storage unit 11, a charging unit 15, a signal output unit 12, and switches 16a to 16d.
  • a pulse signal (PWM signal) having a pulse width corresponding to the signal value x i is input to the plurality of input signal lines 6 as the input signals in 1 to in 6 .
  • PWM signal pulse width corresponding to the signal value x i
  • FIG. 5 A pulse signal (PWM signal) having a pulse width corresponding to the signal value x i is input to the plurality of input signal lines 6 as the input signals in 1 to in 6 .
  • six input signal lines 6 are shown, but the number of input signal lines 6 is not limited.
  • the input signals in 1 to in 6 are input within the input period T having a predetermined length (see FIG. 6).
  • the positive charge output line 7a outputs a positive load charge corresponding to a multiplication value (w i + ⁇ x i ) obtained by multiplying the signal value x i by the positive load value w i + .
  • the negative charge output line 7b outputs a load heavy charge corresponding to a multiplication value (
  • the pair of output lines 7 corresponds to one or more output lines.
  • the plurality of synapse circuits 8 are provided corresponding to the plurality of input signal lines 6, respectively. In this embodiment, one synapse circuit 8 is provided for one input signal line 6.
  • Each of the plurality of synapse circuits 8 is a resistor connected between the corresponding input signal line 6 of the plurality of input signal lines 6 and any one of the positive charge output line 7a and the negative charge output line 7b. Including 17.
  • the resistor 17 may have a non-linear characteristic and may have a function of preventing current backflow. Then, the charge corresponding to the multiplication value (w i + ⁇ x i ) (or (
  • each synapse circuit 8 when it is desired to multiply the signal value x i by the positive weight value w i + , the resistor 17 is connected between the input signal line 6 and the positive charge output line 7a, The positive charge output line 7a is made to output positive load charges.
  • the synapse circuit 8 to which the input signals in 1 , in 3 , and in 6 are input is the synapse circuit 8a configured as a positive load multiplication unit that generates positive load charges. It can be said that the synapse circuit 8a is a multiplication unit in which a positive load is set.
  • each synapse circuit 8 when it is desired to multiply the signal value x i by the negative weight value w i - , a resistor 17 is connected between the input signal line 6 and the negative charge output line 7b to obtain a negative charge.
  • the load heavy charge is output to the output line 7b.
  • the synapse circuit 8 to which the input signals in 2 , in 4 , and in 5 are input is the synapse circuit 8b configured as a load weight multiplication unit that generates load heavy charges. It can be said that the synapse circuit 8b is a multiplication unit in which the load weight is set.
  • the resistor 17 has a resistance value corresponding to the load value w i desired to be set. That is, the resistor 17 functions as an element that defines the load value w i in the arithmetic device 100 that executes the product-sum calculation in the analog circuit 3.
  • the resistor 17 for example, a fixed resistance element, a variable resistance element, a MOS transistor operating in a subthreshold region, or the like is used.
  • a MOS transistor that operates in the subthreshold region as the resistor 17, it is possible to achieve low power consumption.
  • any other resistor may be used.
  • the storage unit 11 stores electric charges generated by each of the plurality of synapse circuits 8 and corresponding to the multiplication value (w i ⁇ x i ).
  • the storage unit 11 is provided with two capacitors 13a and 13b.
  • the capacitor 13a is connected to the positive charge output line 7a via the switch 16b, and accumulates the positive load charge generated by the synapse circuit 8a.
  • the capacitor 13b is connected to the negative charge output line 7b via the switch 16c and stores the load heavy charge generated by the synapse circuit 8b.
  • the charging unit 15 charges the storage unit 11 in which the sum of charges corresponding to the multiplication value (w i ⁇ x i ) is stored at a predetermined charging speed.
  • two current sources 18a and 18b are provided as the charging unit 15. The charging is performed after the input period T ends.
  • the current source 18a is connected to the side of the capacitor 13a connected to the positive charge output line 7a (the side opposite to GND) via the switch 16a.
  • the current source 18b is connected to the side of the capacitor 13b connected to the negative charge output line 7b (the side opposite to GND) via the switch 16d.
  • the current sources 18a and 18b charge the capacitors 13a and 13b at the same charging rate.
  • the potential of the positive charge output line 7a (voltage held by the capacitor 13a) V + and the potential of the negative charge output line 7b (voltage held by the capacitor 13b) V ⁇ are increased.
  • the specific configuration of the current source 18 is not limited and may be arbitrarily designed.
  • the signal output unit 12 After the charging unit 15 starts charging, the signal output unit 12 performs threshold value determination on a voltage held by the storage unit 11 with a predetermined threshold value, thereby summing the multiplication values (w i ⁇ x i ). Output the sum of products signal.
  • the signal output unit 12 two comparators 20a and 20b and a signal generation unit 21 are provided.
  • the comparator 20a detects the timing when the voltage held by the capacitor 13a becomes larger than a predetermined threshold ⁇ 1.
  • the magnitude of the voltage held by the capacitor 13a is determined by the total amount of positively-charged charges accumulated in the capacitor 13a and the charge amount (charging speed ⁇ time).
  • the comparator 20b detects the timing when the voltage held by the capacitor 13b becomes larger than a predetermined threshold value ⁇ 2.
  • the magnitude of the voltage held by the capacitor 13b is determined by the total amount of load heavy charge accumulated in the capacitor 13b and the charge amount (charging speed ⁇ time).
  • a PMW signal which is a pulse signal whose pulse width is modulated, is output as the product-sum signal.
  • the specific circuit configuration of the signal generation unit 21 is not limited, and may be arbitrarily designed.
  • FIG. 6 and 7 are diagrams for explaining an example of calculating the sum of products signal by the analog circuit 3 shown in FIG.
  • a signal representing the total sum of products including positive and negative is calculated.
  • T is time.
  • T represents each of the input period and the output period.
  • T n is the end timing of the input period T, and
  • T m is the end timing of the output period T.
  • the length of the input period T and the length of the output period T are set equal to each other. Further, the output period T starts from the end timing t n of the input period T. Therefore, the end timing t n of the input period T corresponds to the start timing of the output period T.
  • is a threshold used for threshold determination by the signal output unit 12 (comparator 20).
  • S i (t) is an input signal (PWM signal) input to the i-th input signal line 6.
  • ⁇ i is the pulse width of the input signal S i (t).
  • P i (t) is the amount of change in the internal state (potential) in each synapse circuit 8 shown in FIG.
  • W i is a load value and is defined by the resistance value of the resistor 17 shown in FIG.
  • V n (t) is the total sum of “P i (t)” and corresponds to the total amount of charges accumulated in the capacitor 13.
  • S n (t) is a sum-of-products signal (PWM signal) representing the sum-of-products result.
  • ⁇ n is the pulse width of the output sum-of-products signal. Specifically, “ ⁇ n ”is a value according to the length from the timing when the voltage held by the capacitor 13 becomes larger than the threshold value ⁇ in the output period T to the end timing t m of the output period T. Become.
  • the switches 16b and 16c are provided, and particularly by disconnecting the output line with this switch, it is possible to reduce the power consumption and improve the charging accuracy.
  • the synapse circuit 8 shown in FIG. 5 generates charges corresponding to a product value obtained by multiplying the signal value x i by the weight value w i . Specifically, the resistance of the resistor 17 increases the internal state (potential) at a constant slope w i .
  • the change amount P i (t n ) of the internal potential of each synapse circuit 8 at the end timing t n of the input period T is given by the following equation.
  • the high level value of the input signal S i (t) is 1.
  • the total amount of charges V n (t n ) accumulated in the capacitor 13 is the sum of Pi(t n ) and is given by the following equation.
  • the switches 16a and 16d shown in FIG. 5 are turned on, and the switches 16b and 16c are turned off. Then, at the end timing t n of the input period T, charging by the charging unit 15 (current source 18) is started. Therefore, in this embodiment, the output period T is started at the charging start timing of the charging unit 15. That is, at the end timing t n of the input period T, the charging and output periods are simultaneously started.
  • the current source 18 increases the internal potential of each synapse circuit 8 at the slope (charging speed) ⁇ from the end timing t n of the input period T. And in the output period T, multiply-accumulate signal (PWM signal having a voltage from the timing which is greater than the threshold ⁇ is held by the capacitor 13, a pulse width tau n corresponding to the length of the end time t m of the output period T ) Is generated.
  • R n is given by the following equation.
  • the threshold value ⁇ is assumed to be equal to or more than the total amount V n (t n ) of charges.
  • FIG. 7 is a schematic diagram showing an example of calculation of a sum-of-products signal showing the total sum-of-products result based on the sum-of-products results of both the positive load charges and the heavy load charges.
  • the sum-of-products signal representing the sum-of-products result of the positively-charged charges is “S n + (t)” and the pulse width thereof is “ ⁇ n + ”.
  • the sum-of-products signal representing the sum-of-products result of the heavy load charges is “S n ⁇ (t)”, and the pulse width thereof is “ ⁇ n ⁇ ”.
  • the sum-of-products signal representing the total sum-of-products result is “S n (t)”, and its pulse width is “ ⁇ n ”.
  • the total amount V n + (t n ) of the positive load charges accumulated in the capacitor 13a is given by the following equation. Note that w i + is a positive load value.
  • the total amount V n - (t n ) of the heavy load charges accumulated in the capacitor 13b at the end timing t n of the input period T is given by the following formula. Note that w i ⁇ is a negative load value.
  • the pulse width tau n + product-sum signal S n + (t), the product-sum signal S n - pulse width (t) ⁇ n - may be capable of determining whether one is greater with.
  • a circuit for comparing the pulse width ⁇ n + and the pulse width ⁇ n ⁇ can be realized by appropriately using an AND circuit, a knot circuit, or the like.
  • FIG. 8 is a schematic circuit diagram showing another example of the PWM type analog circuit 3.
  • FIG. 9 is a diagram for explaining an example of calculating the sum of products signal by the analog circuit 3 shown in FIG.
  • the differential amplifier circuit 23 outputs the charge (V + ⁇ V ⁇ ) corresponding to the difference between the total amount of the positive load charges and the total amount of the heavy load charges, and the storage unit 11 Is stored in the capacitor 13 included in.
  • the specific configuration of the differential amplifier circuit 23 is not limited and may be arbitrarily designed.
  • the switches 16a, 16b, and 16c are turned on and the switch 16b is turned off. Then, the input signal is input within the input period T.
  • the electric charge (V + ⁇ V ⁇ ) output from the differential amplifier circuit 23 is accumulated in the capacitor 13. Note that, in FIG. 9, the illustration of the charge accumulation state in the input period T is omitted.
  • the switch 16c is turned off and the switch 16d is turned on. Then, as shown in FIG. 9, at the end timing t n of the input period T, charging by the charging unit 15 (current source 18) is started.
  • the signal generator 21 calculates the sum of products signal (PWM signal) “S n (t)” based on the detected timing.
  • the sum of products signal “S n (t)” is obtained by performing the threshold value determination on the charge (V + ⁇ V ⁇ ) corresponding to the difference between the total amount of the positive load charges and the total amount of the heavy load charges. It is possible to output.
  • the potential of the positive charge output line 7a (voltage held in the capacitor 13a) V + and the potential of the negative charge output line 7b (holded in the capacitor 13b). It is possible to obtain the result of the sum of products operation based on the applied voltage) V ⁇ .
  • FIG. 10 is a schematic circuit diagram showing an example of the TACT type analog circuit 3.
  • a pulse signal (TACT signal) is input to the plurality of input signal lines 6 as the input signals in1 to in6 at a timing corresponding to the signal value xi.
  • the length of ON time in the input period T corresponds to the input value.
  • the length of the ON time in the input period T may be referred to as the pulse width in the input period T.
  • the charge accumulated in the capacitor 13a becomes the sum ⁇ + of the positive load charges corresponding to the product value of the positive load value w i + .
  • the charge accumulated in the capacitor 13b becomes the sum ⁇ ⁇ of the heavy load charges corresponding to the product value of the negative load value w i ⁇ .
  • a sum-of-products signal representing the sum-of-products result of the load heavy charges is generated based on the timing when the voltage held by the capacitor 13b becomes larger than the threshold value ⁇ . Based on these positive and negative product-sum signals, it is possible to generate a product-sum signal representing the overall product-sum result.
  • the inventor considered the time constants of the positive charge output line 7a and the negative charge output line 7b as parameters related to the potential V + of the positive charge output line 7a and the potential V ⁇ of the negative charge output line 7b. That is, the time constant of the output line 7 was considered. As a result, as described below, the inventors have found a configuration in which the output line 7 has a constant time constant regardless of the number of resistors 17 arranged between the plurality of input signal lines 6.
  • the capacitors 13a and 13b functionally include a parasitic capacitance (not shown) generated in the output lines 7a and 7b.
  • the minimum value of the capacitance that the capacitors 13 a and 13 b can take is the parasitic capacitance generated in the output line 7.
  • the electric charge is accumulated based on the parasitic capacitance generated in the output lines 7a and 7b, and the sum of products signal can be generated based on the threshold determination.
  • the time constant of the output line 7 changes sequentially depending on the number of input signals that are sequentially input with time and the number of resistors 17 (ON resistance) that can transmit signals to the output line 7.
  • the time constant at the end of the input period T In the TACT type analog circuit 3 according to the present embodiment, at the end of the input period T, signals are input to all the input signal lines 6. Therefore, the number of input signals at the end of the input period T becomes the maximum value and becomes a constant value. As a result, the time constant at the end of the input period T changes sequentially depending on the number of ON resistances.
  • the resistance value of the resistor 17 is set to the same resistance value R. That is, the configuration of binary connect is adopted.
  • the parasitic capacitance of each synapse circuit 8 is designed to be a constant capacitance C. Since the resistor 17 is connected in parallel to one output line 7, when N resistors 17 are connected (the ON resistance is N), the combined resistance is R/N. On the other hand, since the number of synapse circuits 8 is N, which is the same as the number of resistors 17, the combined capacitance is NC.
  • the product-sum signal is generated based on the parasitic capacitance of each synapse circuit 8 without providing the capacitor 13.
  • the value of the combined resistance ⁇ the combined capacitance is RC regardless of the number of resistors 17 (the number of ON resistances). Therefore, the time constant of the output line 7 at the end of the input period T becomes the same RC regardless of the number of the resistors 17.
  • the capacitance of each capacitor 13 is set to a value (the number of resistors 17 ⁇ C 0 ) obtained by multiplying the predetermined constant C 0 by the number of resistors 17 (the number of ON resistances).
  • FIG. 11 is a schematic graph for explaining the potential V of each output line 7 at the end of the input period T.
  • the potential V of each output line 7 at the end of the input period T will be described with reference to the equation (13) and FIG. 11.
  • the curve in the graph of FIG. 11 is a curve corresponding to the equation (13).
  • Vc is a constant, and has a value corresponding to the converged value of the potential after the time equal to or longer than the time constant has elapsed.
  • Tave is the average pulse width of the pulse signal input to each input signal line 6 in the input period T.
  • the input period T and the threshold value ⁇ are determined based on the curve corresponding to the equation (13). That is, the potential V when the input period T is substituted for “tave” in (Equation 13) is set as the threshold ⁇ .
  • the output line 7 is output at the end timing of the input period T (start timing of the output period T). The potential exceeds the threshold.
  • threshold determination is performed on each of the capacitors 13a and 13b based on the threshold ⁇ .
  • the product sum signal “S n (t)” having the pulse width “ ⁇ n ”, which is the average “tave” of the pulse widths in the input period T of each pulse signal.
  • ⁇ n the pulse width of the pulse widths in the input period T of each pulse signal.
  • each analog circuit 3 the number of resistors 17 (that is, the number of positive load multiplication units) connecting the input signal line 6 and the positive charge output line 7a, and the input signal line 6 and the negative charge output line 7b are connected. No matter how the number of resistors 17 (that is, the number of negative multiplication units) is combined, the product of the potential V + of the positive charge output line 7a and the potential V ⁇ of the negative charge output line 7b described in FIG. A sum operation is realized.
  • the TACT type analog circuit 3 another configuration or another summing operation may be executed.
  • the result of the sum-of-products calculation is based on the potential of the positive charge output line 7a (voltage held by the capacitor 13a) V + and the potential of the negative charge output line 7b (voltage held by the capacitor 13b) V ⁇ . It is possible to obtain
  • the neuron circuit 9 has at least the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit. It is possible to output a sum-of-products signal that represents the sum of multiplication values by having a storage unit 11 that stores one and performing a threshold determination on a voltage held by the storage unit 11 using a predetermined threshold. is there.
  • the storage unit 11 has a positive charge storage unit capable of storing the positive load charges generated by the positive load multiplication unit and a negative charge storage unit capable of storing the load heavy charges generated by the load weight multiplication unit. .. Then, the neuron circuit 9 can output the sum-of-products signal by performing threshold value determination on each of the positive charge storage unit and the negative charge storage unit with a predetermined threshold value.
  • the predetermined threshold may be set based on the length of the input period.
  • the inventor considered the relationship between the product-sum signal “S n (t)” output as the result of the product-sum calculation and noise caused by heat or the like (hereinafter, simply referred to as thermal noise).
  • thermal noise the product-sum signal “S n (t)” output as the result of the product-sum calculation and noise caused by heat or the like.
  • the input value is standardized using the duty ratio R i between the pulse width ⁇ i and the input period T.
  • the input value is standardized at a predetermined timing within the input period T. For example, when the pulse signal shown in FIG. 2B is used, the input value is standardized using the pulse width in the input period T.
  • the potential V of the output line 7 corresponding to the result of the sum of products operation is standardized with the threshold value ⁇ as a reference. That is, regardless of the amount of information input, the result of the product-sum operation is standardized to a constant charge amount equal to or less than the threshold value. Therefore, the result of the product-sum calculation is reduced regardless of the amount of information input, and there is room for consideration regarding the calculation accuracy and the detection accuracy of the calculation result.
  • the noise level of thermal noise limits the detection limit. That is, the output below the thermal noise is automatically rejected as noise burial, and there is a concern that the accuracy of the product-sum calculation may be reduced.
  • the inventor focused on controlling the input time T for the PWM-based time-axis analog product-sum operation and the TACT-method time-axis analog product-sum operation.
  • the input time T is lengthened.
  • the input time T is 1.2 times as long.
  • the pulse width ⁇ i is also expanded 1.2 times. To be done. As a result, the potential of the positive charge output line 7a (voltage held by the capacitor 13a) V + and the potential of the negative charge output line 7b (voltage held by the capacitor 13b) V ⁇ also increase.
  • the pulse width " ⁇ n - " of "S n - (t)” is also expanded 1.2 times.
  • the pulse width “ ⁇ n ”of the sum-of-products signal “S n (t)” representing the sum-of-products result is also expanded 1.2 times.
  • the input time is 1.2 times as long, for example.
  • the pulse width of the TACT type pulse signal input to the input signal line 6 in the input period T is expanded by 1.2 times.
  • the potential of the positive charge output line 7a (voltage held by the capacitor 13a) V + and the potential of the negative charge output line 7b (voltage held by the capacitor 13b) V ⁇ also increase.
  • the average "tave" of the pulse widths in the input period T of each pulse signal shown in FIG. 11 is expanded 1.2 times.
  • the pulse width “ ⁇ n + ”of the sum-of-products signal “S n + (t)” that represents the sum-of-products result of the positively-charged charges and the sum-of-products signal that represents the result of the sum-of-products calculation of the heavy load charges are “S n ⁇
  • the pulse width “ ⁇ n ⁇ ”of (t)” is also expanded 1.2 times.
  • the pulse width “ ⁇ n ”of the sum-of-products signal “S n (t)” representing the sum-of-products result is also expanded 1.2 times.
  • the threshold value ⁇ is determined according to the input period T, for example, based on the curve corresponding to the equation (13).
  • the length of the input period T is extended, and the ON time of the pulse signal corresponding to the input value is increased accordingly. Also extend the length. Further, the threshold value ⁇ is appropriately set based on the length of the input period T.
  • the potential of the positive charge output line 7a (voltage held by the capacitor 13a) V + and the potential of the negative charge output line 7b (voltage held by the capacitor 13b) V ⁇ can be increased.
  • the value (pulse width “ ⁇ n ”) of the sum-of-products signal “S n (t)” representing the sum-of-products result can be expanded. As a result, it is possible to reduce the number of embedded noises, and it is possible to accurately detect the product-sum operation result.
  • FIG. 12 is a schematic diagram showing a configuration example of an arithmetic device for explaining a simulation regarding a time-axis analog product sum operation.
  • the simulation is executed under the following conditions using the arithmetic unit 100 in which a plurality of TACT type analog circuits 3 as illustrated in FIG. 10 are arranged.
  • the value of the input signal is defined by a normal distribution whose average is a pulse (intermediate value) input at the timing of the input period T/2 (dispersion is a predetermined fixed value). That is, the pulse signals corresponding to the input values according to these distributions are input to the 500 input signal lines 6.
  • a random number is set for each trial to which input signal line 6 each of the pulse signals corresponding to the 500 input values according to the normal distribution is inputted.
  • the resistor 17 having the same resistance value as a load has a positive side (between the input signal line 6 and the positive charge output line 7a) or a negative side (the input signal line 6 and the positive charge output line). 7b).
  • a synapse circuit 8a that functions as a positive load multiplication unit is formed.
  • the synapse circuit 8b that functions as a positive load multiplication unit is configured.
  • the synapse circuits 8a and 8b may be referred to as a positive load multiplication unit 8a and a load weight multiplication unit 8b.
  • the positive load ratio is the ratio of the sum of positive load values to the sum of absolute load values in each analog circuit 3.
  • the positive load ratio is the ratio of the number of resistors 17 connected to the positive side to the total number (500) of resistors 17.
  • This positive load ratio can also be said to be the ratio of the number of positive load multiplication units 8a to the number of synapse circuits 8.
  • the positive load ratio is 100%.
  • the resistors 17 are connected between all the input signal lines 6 and the negative charge output lines 7b, that is, when all the multiplication units 8 are the load weight multiplication units 8b, the positive load ratio is 0%.
  • the number of resistors 17 connected between the input signal line 6 and the positive charge output line 7a is the same as the number of resistors 17 connected between the input signal line 6 and the negative charge output line 7b.
  • the positive load ratio is 50%. That is, when the number of the positive load multiplication units 8a is the same as the number of the load weight multiplication units 8b, the positive load ratio is 50%.
  • the plurality of multiplication units 8 includes at least one of the positive load multiplication unit 8a and the load weight multiplication unit 8b, and is a ratio of the sum of the positive load values to the sum of the absolute values of the load values.
  • the load ratio is configured to be any ratio between 0% and 100%.
  • the neuron circuit 9 outputs a sum of products signal by accumulating at least one of the positively-charged charges generated by the positively-weighted multiplying unit 8a and the heavy-loading heavy charges generated by the load-weight multiplying unit 8b.
  • the distribution of the positive load ratios of the plurality of analog circuits 3 is defined by a normal distribution whose average is 50% (dispersion is a predetermined fixed value). That is, the most analog circuits 3 having a positive load ratio of 50% exist.
  • the ratio of the total of the negative load values to the total of the absolute value of the load values in each analog circuit 3 is the load weight ratio.
  • the ratio of the sum of the positive load values and the sum of the negative load values in each analog circuit 3 is defined as the positive load weight ratio.
  • the positive load ratio, the load weight ratio, and the positive load weight ratio can be regarded as mutually equivalent parameters.
  • the position where the resistor 17 is arranged is set by a random number for each trial.
  • the number of inputs of the arithmetic device 100 shown in FIG. 12 is regarded as eight.
  • the positive load ratio of the analog circuit 3 shown in the center is 50%. That is, four resistors 17 are connected to each of the positive side and the negative side. The positions of the four resistors 17 on the positive side and the positions of the four resistors 17 on the negative side are set by random numbers for each trial. This corresponds to the positions of the positive load multiplication unit 8a and the load weight multiplication unit 8b being set by random numbers.
  • the product-sum operation value is calculated as an absolute value, and for example, the product-sum signal representing the overall product-sum result illustrated in FIG. 7 corresponds to the pulse width “ ⁇ n ”of “S n (t)”.
  • the inventor focused on the distribution of the positive load ratios of the plurality of analog circuits 3. Then, with respect to the positive load ratio which is the condition of the simulation, the average of the normal distribution is fixed at 50%, the dispersion is varied, and the simulation is tried a plurality of times. As a result, it was newly found that there is a dependency between the distribution of the positive load ratio and the minimum value of the sum of products calculation value.
  • the positive load ratio is 50%, and the sum of positive loads (the number of resistors) and the sum of load weights (the number of resistors) are equal.
  • the difference between the average of the pulse widths of the pulse signals input to the positive load multiplication unit 8a in the input period T and the average of the pulse widths of the pulse signals input to the load weight multiplication unit 8b in the input period T is It is a parameter related to the minimum value of the product-sum operation value.
  • the more the positive load ratios of the plurality of analog circuits 3 are distributed around 50% the longer the input period T is set. As a result, it is possible to reduce the number of embedded noises, and it is possible to detect the product-sum operation result with high accuracy. Further, it is possible to prevent the input period T from being unnecessarily lengthened. That is, since the input period T can be adjusted appropriately, it is possible to increase the level of the product-sum signal while suppressing power consumption and processing time.
  • parameters such as the number of inputs, the number of outputs, weight values, weight ratios, etc. are often determined by learning processing on a computer such as a server device.
  • the analog circuit 3 By appropriately designing the analog circuit 3 based on the determined parameters, the arithmetic unit 100 capable of performing a desired product-sum operation is realized.
  • the input time T is set based on the determined parameters and the distribution of the positive load ratios of the plurality of analog circuits 3.
  • the input period T is set based on at least one of the average or the variance of the positive load ratios of the plurality of analog circuits 3.
  • the more the positive load ratios of the plurality of analog circuits 3 are distributed around 50% the longer the input time T is set.
  • the closer the average of the positive load ratios of the plurality of analog circuits 3 is to 50% the longer the input time T is set.
  • the average of the positive load ratios of the plurality of analog circuits 3 is close to 50%, the smaller the variance of the positive load ratios, the longer the input period T is set.
  • FIG. 13 is a schematic diagram showing a configuration example of the noise embedding determination circuit.
  • the noise embedding determination circuit 40 for determining the number of analog circuits 3 in which the product-sum signal output from the neuron circuit 9 is likely to be lower than the noise level is provided in the arithmetic device 100. Then, the input period T may be set based on the number of the analog circuits 3 among the plurality of analog circuits 3 in which the product-sum signal output from the neuron circuit 9 is likely to be lower than the noise level.
  • the neuron circuit 9 shown in FIG. 13 has the switches 16a and 16b, the capacitors 13a and 13b, and the differential amplifier circuit 23 shown in FIG. 8, and corresponds to the difference between the total amount of positive load charges and the total amount of load heavy charges. It is assumed that the electric charge (V + ⁇ V ⁇ ) to be output is output as a product-sum signal.
  • the sum-of-products signal representing the sum of multiplication values is not limited to the sum-of-products signal “S n (t)” (pulse signal) illustrated in FIG. 7, but also the total amount of positive load charges and the total amount of load heavy charges. Also included is a charge signal (voltage signal) based on the charge (V + -V - ) corresponding to the difference between
  • the noise embedding determination circuit 40 includes a positive charge output line 41a, a negative charge output line 41b, a plurality of synapse circuits 42, a neuron circuit 43, and a plurality of comparators 44.
  • the positive charge output line 41a and the negative charge output line 41b are provided so as to be orthogonal to the plurality of input signal lines 6 like the plurality of analog circuits 3.
  • FIG. 13 shows that the same test signal is input to the plurality of analog circuits 3 and the noise embedding determination circuit 40.
  • the plurality of analog circuits 3 and the noise embedding determination circuit 40 (a portion excluding the plurality of comparators 44) are arranged in parallel with respect to the common input signal line 6.
  • the present invention is not limited to this, and the noise embedding determination circuit 40 may be configured without being connected to the plurality of analog circuits 3.
  • the plurality of synapse circuits 42 are provided corresponding to the plurality of input signal lines 6, respectively.
  • Each of the plurality of synapse circuits 42 includes between the corresponding input signal line 6 of the plurality of input signal lines 6 and the positive charge output line 41 a and the corresponding input signal line 6 of the number of input signal lines 6.
  • a shared resistor 45 connected between the negative charge output line 41b and the negative charge output line 41b.
  • the resistor 45 may have a non-linear characteristic, and may have a current backflow prevention function.
  • the resistance value of the resistor 45 is the same as the resistance value of the resistor 17 provided in the analog circuit 3.
  • each synapse circuit 42 generates and outputs the charge corresponding to the multiplication value (w i + ⁇ x i ) to the positive charge output line 41a. Further, charges corresponding to the multiplication value (
  • the plurality of synapse circuits 42 function as a plurality of determination multiplication units.
  • the neuron circuit 43 has the same configuration as the neuron circuit 9 of the analog circuit 3. That is, the neuron circuit 43 has the switches 16a and 16b, the capacitors 13a and 13b, and the differential amplifier circuit 23 shown in FIG. 8, and the charge () corresponding to the difference between the total amount of the positive load charges and the total amount of the load heavy charges ( V + -V - ) is used as the determination signal.
  • the plurality of comparators 44 are provided respectively corresponding to the plurality of analog circuits 3. One terminal of the comparator 44 is connected to the output of the corresponding analog circuit 3. The output of the noise embedding determination circuit 40 is connected to the other terminal of the comparator 44.
  • a signal is output from the comparator 44 when the potential output from each analog circuit 3 as the sum of products signal is larger than the potential output from the noise embedding determination circuit 40 as the determination signal.
  • the present invention is not limited to this, and when the potential output from the noise embedding determination circuit 40 as the determination signal becomes larger than the potential output from each analog circuit 3 as the sum of products signal, the signal is output from the comparator 44. May be.
  • the plurality of comparators 44 function as a determination unit for determining the number of product-sum signals smaller than the determination signal among the plurality of product-sum signals output from the plurality of analog circuits 3.
  • the number obtained by subtracting the number of comparators 44 that output signals from the total number of analog circuits 3 is the number of product-sum signals that is smaller than the determination signal.
  • FIG. 14 is a schematic diagram showing an example of a test signal.
  • electric signals corresponding to the same input value are input to the plurality of input signal lines 6.
  • a PWM signal having a pulse width of T/2 is used as the test signal. Without being limited to this, any electrical signal corresponding to the same input value may be used.
  • each analog circuit 3 When a test signal is input to the plurality of input signal lines 6, each analog circuit 3 outputs a charge (V + ⁇ V ⁇ ) as a sum-of-products signal.
  • the noise embedding determination circuit 40 outputs (V + ⁇ V ⁇ ) as a determination signal.
  • the same resistor 45 is connected to both the positive side and the negative side in each synapse circuit 42. Therefore, the charges (V + ⁇ V ⁇ ) corresponding to the difference between the total amount of the positively-charged charges and the total amount of the heavy-load charges can be regarded as a noise component. Therefore, the magnitude of the determination signal can be regarded as the noise level.
  • a plurality of comparators 44 determines the number of analog circuits 3 whose sum-of-products signal becomes lower than the noise level. Based on the number determined by the plurality of comparators 44 when the test signal is input to the plurality of input signal lines 6, the sum-of-products signal output from the neuron circuit 9 of the plurality of analog circuits 3 causes noise. It is possible to determine the number of analog circuits 3 that are likely to become smaller than the level.
  • the noise embedding determination circuit 40 can detect the output of each analog circuit 3 as the number of outputs “Mx” below the detection limit.
  • the length of the input period T is controlled by the ratio of the number of outputs “Mx” to the total number “M” of the plurality of analog circuits 3. For example, when the ratio of the output number “Mx” to the total number “M” is larger than the predetermined threshold value, the input period T is set to be long. As a result, it is possible to reduce the number of embedded noises, and it is possible to accurately detect the product-sum operation result.
  • the input period T and the threshold value ⁇ can be automatically set based on the outputs from the plurality of comparators 44 may be configured.
  • the input period T and the threshold value ⁇ may be set by an operator or the like when the arithmetic device 100 is designed.
  • the noise embedding determination circuit 40 can be realized even when the pulse signal illustrated in FIG. 7 is output as the sum of products signal.
  • the pulse width of the pulse signal output as the sum of products signal from each analog circuit 3 and the pulse width of the pulse signal output as the determination signal by the noise embedding determination circuit 40 are compared. Accordingly, it is possible to determine the number of the analog circuits 3 among the plurality of analog circuits 3 in which the product-sum signal output from the neuron circuit 9 is likely to be lower than the noise level.
  • the noise embedding determination circuit 40 can be realized even when the binary connect configuration is not adopted. For example, in the determination multiplication unit of the noise embedding determination circuit 40, both positive load and load weight having the same value are configured. This makes it possible to realize the noise embedding determination circuit 40 that can output a determination signal corresponding to a noise component.
  • FIG. 15 is a schematic diagram showing a configuration example of a neural network.
  • a neural network is realized by executing a plurality of product-sum operations, a plurality of normalization processes, and a plurality of pooling processes.
  • the product-sum calculation here corresponds to the output of a plurality of product-sum results by the arithmetic unit 100 including the plurality of analog circuits 3.
  • the normalization process is a process of normalizing the input signal for the input of the product-sum calculation of the next stage.
  • the pooling process is a process of reducing the number of input signals according to the number of inputs of the product-sum calculation of the next stage. The normalization process and the pooling process can simplify the process and reduce the processing time.
  • the input period T and the threshold value ⁇ are set based on the distribution of the positive load ratios of the plurality of analog circuits 3 and the determination result of the noise embedding number. It is possible to optimize. As a result, the product-sum operation result can be detected with extremely high accuracy.
  • FIG. 12 illustrates a case where the arithmetic device 100 that executes each of the product-sum operations 1 to 8 is composed of a plurality of analog circuits 3 designed with a common time constant. Therefore, in each arithmetic device 100, the input period T and the threshold value ⁇ are set based on a common time constant curve. In FIG. 12, the input period T is set to be different in each arithmetic device 100. The present invention is not limited to this, and the common input period T and threshold value ⁇ may be adopted.
  • the arithmetic unit 100 may be configured by the analog circuit 3 having another configuration and the product-sum operation may be executed. Even in this case, the calculation result can be accurately detected by appropriately setting the input period T and the threshold value ⁇ based on the distribution of the positive load ratios of the plurality of analog circuits 3 and the determination result of the noise embedding number. Becomes
  • the length of the input period of the electric signal according to the input value is set based on the distribution of the positive load ratios of the plurality of analog circuits 3. This makes it possible to increase the level of the sum-of-products signal output from each analog circuit 3 while suppressing power consumption. As a result, it is possible to accurately detect the calculation result.
  • the sum of products signal is output based on the timing when the voltage held by the storage unit exceeds the threshold value and becomes large has been described as an example.
  • a configuration may be adopted in which the sum-of-products signal is output based on the timing when the voltage held by the storage unit becomes smaller than the threshold value.
  • the voltage of the capacitor functioning as the storage unit is precharged until it reaches a predetermined preset value. Then, after the sum of charges corresponding to the product of the signal value and the weight value is accumulated, the capacitor is discharged at a predetermined rate. In such a case, it is possible to output the sum of products signal based on the timing when the voltage held by the capacitor becomes smaller than the threshold value.
  • the configuration is not limited to this. It should be noted that in the present disclosure, discharging the capacitor is included in charging the capacitor with a negative charge.
  • the multiplication unit includes a resistor that is connected between the corresponding input line and one of the one or more output lines and defines a load value, and the output line to which the resistor is connected corresponds to the multiplication value. Output electric charge. Of course, it is not limited to this.
  • the configurations of the arithmetic unit, the product-sum arithmetic unit, the analog circuit, the synapse circuit, the neuron circuit, and the like, the method of generating the product-sum signal, and the like described with reference to the drawings are merely embodiments, and deviate from the gist of the present technology. It can be arbitrarily modified as long as it does not exist. That is, other arbitrary configurations and methods for implementing the present technology may be adopted.
  • “same”, “equal”, “orthogonal” and the like are concepts including “substantially the same”, “substantially equal”, “substantially orthogonal” and the like.
  • a state included in a predetermined range for example, a range of ⁇ 10%) based on “completely the same”, “completely equal”, “completely orthogonal”, or the like is also included.
  • a plurality of input lines to which electric signals corresponding to input values are respectively input within a predetermined input period, Each A plurality of multiplication units that generate electric charges corresponding to a product of the input value and a load value, based on the electric signal input to each of the plurality of input lines; An output unit for accumulating charges corresponding to the multiplication value generated by each of the plurality of multiplication units and outputting a sum-of-products signal representing the sum of the multiplication values based on the accumulated charges.
  • the plurality of multiplication units correspond to a positive load multiplication unit that generates a positive load charge corresponding to a multiplication value obtained by multiplying the input value by a positive load value, or a multiplication value obtained by multiplying the input value by a negative load value.
  • a positive load ratio which is a ratio of the sum of the positive load values to the sum of the absolute values of the load values, between 0% and 100%. Configured to be either ratio,
  • the output unit accumulates at least one of the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit to output the sum of products signal.
  • a product-sum calculation device of An arithmetic unit wherein the length of the input period is set based on the distribution of the positive load ratios of the plurality of product-sum arithmetic units.
  • the electric signal according to the input value is a pulse signal in which the length of ON time for the input period corresponds to the input value.
  • the arithmetic unit according to (1) or (2), The length of the input period is set based on at least one of the average and the variance of the positive load ratio.
  • the arithmetic unit according to any one of (1) to (4) The arithmetic unit is set such that the length of the input period is set longer as the average of the positive load ratio is closer to 50%.
  • the arithmetic unit according to any one of (1) to (5) The arithmetic unit, wherein the length of the input period is set to be longer as the variance of the positive load ratio is smaller when the average of the positive load ratio is close to 50%.
  • the length of the input period is set based on the number of product-sum calculation devices that are likely to have the product-sum signal output from the output unit smaller than the noise level among the plurality of product-sum calculation devices. Arithmetic unit.
  • the arithmetic unit according to (7) further comprising: Of the plurality of product-sum operation devices, the operation device is provided with a determination circuit for determining the number of product-sum operation devices in which the product-sum signal output from the output unit is likely to be smaller than a noise level. .. (9) The arithmetic unit according to (8), The determination circuit is Based on the electric signal input to each of the plurality of input lines, a positive load charge corresponding to a multiplied value obtained by multiplying the input value by a positive load value, and an absolute value of the input value having the positive load.
  • a plurality of determination multiplication units that respectively generate a load heavy charge corresponding to a multiplication value obtained by multiplying a negative load value that is the same as the value, Based on the total number of the positive load charges generated by each of the plurality of determination multiplication units, and the charge corresponding to the difference between the total number of the load heavy charges generated by each of the plurality of determination multiplication units, A determination output unit that outputs a determination signal, and a determination unit for determining the number of product-sum signals smaller than the determination signal among a plurality of product-sum signals output from the plurality of arithmetic devices Arithmetic unit.
  • the arithmetic unit according to (9), The number of product-sum calculation devices that have a high possibility that the sum-of-products signal output from the output unit will be lower than the noise level is determined when the electric signals corresponding to the same input value are input to the plurality of input lines.
  • the output unit has a storage unit that stores at least one of the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit, and is held by the storage unit.
  • An arithmetic unit that outputs a sum-of-products signal representing the sum of the multiplication values by performing threshold determination on a predetermined voltage with a predetermined threshold.
  • the arithmetic unit according to (11), The storage unit includes a positive charge storage unit capable of storing the positive load charge generated by the positive load multiplication unit, and a negative charge storage unit capable of storing the load heavy charge generated by the load weight multiplication unit.
  • the output unit outputs the sum-of-products signal by performing threshold value determination on each of the positive charge storage unit and the negative charge storage unit with the predetermined threshold value.
  • the arithmetic unit according to (11) or (12) The predetermined threshold value is set based on the length of the input period.
  • the arithmetic unit according to any one of (1) to (13), The positive load value and the absolute value of the negative load value are fixed at the same value,
  • the positive load ratio is a ratio of the number of the positive load multiplication units to the number of the plurality of multiplication units.
  • Each of the plurality of product-sum calculation devices has a positive charge output line and a negative charge output line
  • the plurality of multiplication units are provided corresponding to the plurality of input lines
  • the positive load multiplication unit includes a resistor connected between the corresponding input line of the plurality of input lines and the positive charge output line to define the positive load value and have a non-linear characteristic
  • the load weight multiplication unit includes a resistor connected between a corresponding input line of the plurality of input lines and the negative charge output line to define the negative load value and have a nonlinear characteristic
  • An arithmetic unit for outputting a heavy load charge corresponding to the multiplied value to a negative charge output line.
  • the positive load ratio is a ratio of the number of resistors included in the positive load multiplier to the total number of resistors.
  • the determination circuit has a positive charge output line and a negative charge output line,
  • the plurality of determination multiplication units are provided corresponding to the plurality of input lines, Each of the plurality of determination multiplying units includes a corresponding input line of the plurality of input lines and the positive charge output line, and a corresponding input line of the plurality of input lines and the negative charge.
  • An arithmetic unit including a common resistor connected to each of the output lines and having a non-linear characteristic.
  • the product-sum calculation apparatus according to any one of (15) to (17),
  • the resistor is a fixed resistance element, a variable resistance element, or a MOS transistor operating in a subthreshold region.
  • the plurality of multiplication units correspond to a positive load multiplication unit that generates a positive load charge corresponding to a multiplication value obtained by multiplying the input value by a positive load value, or a multiplication value obtained by multiplying the input value by a negative load value.
  • a positive load ratio which is a ratio of the sum of the positive load values to the sum of the absolute values of the load values, between 0% and 100%. Configured to be either ratio,
  • the output unit accumulates at least one of the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit to output the sum of products signal.
  • An analog circuit and a network circuit configured by connecting the plurality of analog circuits, A product-sum calculation system in which the length of the input period is set based on the distribution of the positive load ratios of the plurality of product-sum calculation devices.
  • Each A plurality of multiplying units that generate charges corresponding to a product of the input value and a load value, based on an electric signal corresponding to an input value input to each of the plurality of input lines;
  • An output unit for accumulating charges corresponding to the multiplication value generated by each of the plurality of multiplication units and outputting a sum-of-products signal representing the sum of the multiplication values based on the accumulated charges.
  • the plurality of multiplication units correspond to a positive load multiplication unit that generates a positive load charge corresponding to a multiplication value obtained by multiplying the input value by a positive load value, or a multiplication value obtained by multiplying the input value by a negative load value.
  • a positive load ratio which is a ratio of the sum of the positive load values to the sum of the absolute values of the load values, between 0% and 100%. Configured to be either ratio,
  • the output unit accumulates at least one of the positive load charge generated by the positive load multiplication unit or the load heavy charge generated by the load weight multiplication unit to output the sum of products signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Power Engineering (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Analogue/Digital Conversion (AREA)
  • Complex Calculations (AREA)
  • Amplifiers (AREA)

Abstract

演算装置は複数の入力線と複数の積和演算装置とを具備する。複数の入力線は、所定の入力期間内に入力値に応じた電気信号が入力される。積和演算装置の乗算部は、入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、荷重値の絶対値の総和に対する正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成される。積和演算装置の出力部は、正荷重乗算部により生成された正荷重電荷又は負荷重乗算部により生成された負荷重電荷の少なくとも一方を蓄積することで、乗算値の和を表す積和信号を出力する。入力期間の長さは複数の積和演算装置の正荷重比率の分布に基づいて設定される。

Description

演算装置、積和演算システム及び設定方法
 本技術は、アナログ方式を用いた積和演算に適用可能な演算装置、積和演算システム、及び設定方法に関する。
 従来、積和演算を行う技術が開発されている。積和演算は、複数の入力値のそれぞれに荷重を乗算し、各乗算結果を互いに加算する演算であり、例えばニューラルネットワーク等による画像や音声等の認識処理に用いられる。
 例えば特許文献1には、積和演算の処理をアナログ方式によって行うアナログ回路について記載されている。このアナログ回路では、複数の電気信号のそれぞれに対応した荷重が設定される。また、対応する電気信号と荷重とに応じた電荷がそれぞれ出力され、出力された電荷がキャパシタに適宜蓄えられる。そして、電荷が蓄えられたキャパシタの電圧に基づいて積和結果を表す算出対象値が算出される。これにより、例えばデジタル方式による処理と比べて積和演算に要する消費電力を抑制することが可能となっている(特許文献1の明細書段落[0003][0049]~[0053][0062]図3等)。
国際公開第2018/034163号
 このようなアナログ方式の回路を用いることで、ニューラルネットワーク等の低消費電力化につながると期待されており、演算結果を精度よく検出することが可能な技術が求められている。
 以上のような事情に鑑み、本技術の目的は、積和演算を行うアナログ方式の回路において、演算結果を精度よく検出することが可能な演算装置、積和演算システム、及び設定方法を提供することにある。
 上記目的を達成するため、本技術の一形態に係る演算装置は、複数の入力線と、複数の積和演算装置とを具備する。
 前記複数の入力線は、所定の入力期間内に、入力値に応じた電気信号がそれぞれ入力される。
 前記複数の積和演算装置の各々は、複数の乗算部と、出力部とを有する。
 前記複数の乗算部は、前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する。
 前記出力部は、前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する。
 また前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成される。
 また前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する。
 また前記入力期間の長さは、前記複数の積和演算装置の前記正荷重比率の分布に基づいて設定される。
 この演算装置では、複数の積和演算装置の正荷重比率の分布に基づいて、入力値に応じた電気信号の入力期間の長さが設定される。これにより、消費電力を抑えつつ、各積和演算装置から出力される積和信号のレベルを増加させることが可能となる。この結果、演算結果を精度よく検出することが可能となる。
 前記入力値に応じた電気信号は、前記入力期間に対するON時間の長さが前記入力値に対応しているパルス信号であってもよい。
 前記入力期間の長さは、前記正荷重比率の平均又は分散の少なくとも一方に基づいて設定されてもよい。
 前記入力期間の長さは、前記正荷重比率が50%の付近に多く分布するほど、長く設定されてもよい。
 前記入力期間の長さは、前記正荷重比率の平均が50%に近いほど、長く設定されてもよい。
 前記入力期間の長さは、前記正荷重比率の平均が50%に近い場合、前記正荷重比率の分散が小さいほど、長く設定されてもよい。
 前記入力期間の長さは、前記複数の積和演算装置のうち前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数に基づいて設定されてもよい。
 前記演算装置は、さらに、前記複数の積和演算装置のうち、前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数を判定するための判定回路を具備してもよい。
 前記判定回路は、
 前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷と、前記入力値に絶対値が前記正の荷重値と同じになる負の荷重値を乗算した乗算値に対応する負荷重電荷とをそれぞれ生成する複数の判定用乗算部と、
 前記複数の判定用乗算部の各々により生成された前記正荷重電荷の総数、及び前記複数の判定用乗算部の各々により生成された前記負荷重電荷の総数の差に対応する電荷に基づいて、判定用信号を出力する判定用出力部と
 前記複数の演算装置から出力される複数の積和信号のうち、前記判定用信号よりも小さい積和信号の数を判定するための判定部と
 を有してもよい。
 前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数は、前記複数の入力線に同じ入力値に対応する電気信号が入力された際の前記判定部により判定された数に基づいて判定されてもよい。
 前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積する蓄積部を有し、前記蓄積部により保持される電圧に対して所定の閾値により閾値判定を実行することで、前記乗算値の和を表す積和信号を出力してもよい。
 前記蓄積部は、前記正荷重乗算部により生成された前記正荷重電荷を蓄積可能な正電荷蓄積部と、前記負荷重乗算部により生成された前記負荷重電荷を蓄積可能な負電荷蓄積部とを有してもよい。この場合、前記出力部は、前記正電荷蓄積部、及び前記負電荷蓄積部の各々に対して、前記所定の閾値により閾値判定を実行することで、前記積和信号を出力してもよい。
 前記所定の閾値は、前記入力期間の長さに基づいて設定されてもよい。
 前記正の荷重値、及び前記負の荷重値の絶対値は、同じ値で固定されていてもよい。この場合、前記正荷重比率は、前記複数の乗算部の数に対する前記正荷重乗算部の数の比率であってもよい。
 前記複数の積和演算装置の各々は、正電荷出力線と、負電荷出力線とを有してもよい。この場合、前記複数の乗算部は、前記複数の入力線に対応して設けられてもよい。また前記正荷重乗算部は、前記複数の入力線のうちの対応する入力線と、前記正電荷出力線との間に接続され前記正の荷重値を規定し非線形特性を有する抵抗器を含み、前記正電荷出力線に前記乗算値に対応する正荷重電荷を出力してもよい。また前記負荷重乗算部は、前記複数の入力線のうちの対応する入力線と、前記負電荷出力線との間に接続され前記負の荷重値を規定し非線形特性を有する抵抗器を含み、前記負電荷出力線に前記乗算値に対応する負荷重電荷を出力してもよい。
 前記正荷重乗算部が有する抵抗器、及び前記負荷重乗算部が有する抵抗器は、同じ抵抗値を有してもよい。この場合、前記正荷重比率は、前記抵抗器の総数に対する前記正荷重乗算部が有する抵抗器の数の比率であってもよい。
 前記判定回路は、正電荷出力線と、負電荷出力線とを有してもよい。この場合、前記複数の判定用乗算部は、前記複数の入力線に対応して設けられてもよい。また前記複数の判定用乗算部の各々は、前記複数の入力線のうちの対応する入力線と前記正電荷出力線との間、及び前記複数の入力線のうちの対応する入力線と前記負電荷出力線との間の各々に接続され非線形特性を有する共通の抵抗器を含んでもよい。
 本技術の一形態に係る積和演算システムは、前記複数の入力線と、複数のアナログ回路と、ネットワーク回路とを具備する。
 前記複数のアナログ回路の各々は、前記複数の乗算部と、前記出力部とを有する。
 前記ネットワーク回路は、前記複数のアナログ回路を接続して構成される。
 また前記入力期間の長さは、前記複数の積和演算装置の前記正荷重比率の分布に基づいて設定される。
 本技術の一形態に係る設定方法は、前記複数の積和演算装置の前記正荷重比率の分布に基づいて、前記複数の入力線に前記電気信号を入力する入力期間を設定する
本技術の一実施形態に係る演算装置の構成例を示す模式図である。 アナログ回路に入力される電気信号の一例を示す模式図である。 演算装置の具体的な構成例を示す模式図である。 ニューロン回路の構成例を示す模式図である。 PWM方式のアナログ回路の一例を示す模式的な回路図である。 図5に示すアナログ回路による積和信号の算出例を説明するための図である。 全体の積和結果を示す積和信号の算出例を示す模式図である。 PWM方式のアナログ回路の他の例を示す模式的な回路図である。 図8に示すアナログ回路による積和信号の算出例を説明するための図である。 TACT方式のアナログ回路の一例を示す模式的な回路図である。 入力期間の終了時における各出力線の電位について説明するための模式的なグラフである。 、時間軸アナログ積和演算に関するシミュレーションについて説明するための、演算装置の構成例を示す模式図である。 ノイズ埋没判定回路の構成例を示す模式図である。 テスト信号の一例を示す模式図である。 ニューラルネットワークの構成例を示す模式図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [演算装置の構成]
 図1は、本技術の一実施形態に係る演算装置の構成例を示す模式図である。演算装置100は、積和演算を含む所定の演算処理を実行するアナログ方式の演算装置である。演算装置100を用いることで、例えばニューラルネットワーク等の数学モデルに従った演算処理を実行することが可能である。
 演算装置100は、複数の信号線1と、複数の入力部2と、複数のアナログ回路3とを有する。各信号線1は、所定の方式の電気信号を伝送する線である。電気信号としては、例えばパルスのタイミングや幅等のアナログ量を用いて信号値を表すアナログ信号が用いられる。図1には電気信号が伝送される方向が、矢印を用いて模式的に図示されている。本実施形態では、アナログ回路3は、積和演算装置に相当する。
 例えば、1つのアナログ回路3には、複数の信号線1が接続される。アナログ回路3に電気信号を伝送する信号線1は、その信号線1が接続されたアナログ回路3にとって、電気信号が入力される入力信号線となる。また、アナログ回路3から出力される電気信号を伝送する信号線1は、その信号線1が接続されたアナログ回路3にとって、電気信号が出力される出力信号線となる。本実施形態では、入力信号線は、入力線に相当する。
 複数の入力部2は、入力データ4に応じた複数の電気信号をそれぞれ生成する。入力データ4は、例えば演算装置100によって実装されるニューラルネットワーク等を用いた処理の対象となるデータである。従って入力データ4に応じた複数の電気信号の各信号値は、演算装置100に対する入力値であるとも言える。
 入力データ4としては、例えば演算装置100の処理対象となる画像データ、音声データ、統計データ等の任意のデータが用いられる。例えば、入力データ4として画像データが用いられる場合等には、画像データの各画素の画素値(RGB値や輝度値等)を信号値とする電気信号が生成される。この他、入力データ4の種類や演算装置100による処理の内容に応じて、入力データ4に応じた電気信号が適宜生成されてよい。
 アナログ回路3は、入力される電気信号に基づいて、積和演算を行うアナログ方式の回路である。積和演算は、例えば複数の入力値と、各入力値に対応する荷重値とをそれぞれ乗算して得られる複数の乗算値を足し合わせる演算である。従って積和演算は、各乗算値の和(以下積和結果と記載する)を算出する処理であるとも言える。
 図1に示すように、1つのアナログ回路3には、複数の入力信号線が接続され、複数の電気信号が与えられる。これら複数の入力信号線とアナログ回路とにより、本実施形態に係る積和演算回路が構成される。また各入力信号線から複数の電気信号が入力されることで、積和演算回路(アナログ回路3)により、本実施形態に係る積和演算方法が実行される。
 以下では、1つのアナログ回路3に入力される電気信号の総数をNとする。なお、各アナログ回路3に入力される電気信号の個数Nは、例えば演算処理のモデルや精度等に応じて回路ごとに適宜設定される。
 アナログ回路3では、例えばi番目の入力信号線から入力される電気信号により表される信号値xiと、信号値xiに対応する荷重値wiとの乗算値であるwi・xiが算出される。ここでiはN以下の自然数(i=1、2、・・・、N)である。乗算値の演算は、各電気信号(入力信号線)ごとに実行され、N個の乗算値が算出される。このN個の乗算値をそれぞれ足し合わせた値が積和結果(N個の乗算値の和)として算出される。従って、1つのアナログ回路3で算出される積和結果は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
 荷重値wiは、例えば-α≦wi≦+αの範囲に設定される。ここでαは、任意の実数値である。従って荷重値wiには、正の荷重値wiや負の荷重値wi、あるいはゼロの荷重値wi等が含まれる。このように、荷重値wiを所定の範囲に設定することで、積和結果が発散するといった事態を回避することが可能である。
 また例えば、荷重値wiが設定される範囲が規格化されてもよい。この場合、荷重値wiは、-1≦wi≦1の範囲に設定される。これにより、例えば積和結果の最大値や最小値等を調整することが可能となり、所望の精度で積和演算を実行することが可能となる。
 ニューラルネットワーク等では、荷重値wiを+α及び-αのどちらかに設定するバイナリコネクトと呼ばれる手法を用いることが可能である。バイナリコネクトは、例えば深層ニューラルネットワーク(多層ニューラルネットワーク)を用いた画像認識等の様々な分野に用いられる。バイナリコネクタを用いることで、認識精度等を劣化させることなく、荷重値wiの設定を簡略化することが可能である。バイナリコネクトでは、正の荷重値、及び負の荷重値の絶対値は、同じ値で固定される。
 上記したように、バイナリコネクトでは、荷重値wiがバイナリ値(±α)に2値化される。従って例えば、荷重値wiの正負を切り替えることで、所望の荷重値wiを容易に設定することが可能である。また、2値化された荷重値wiを規格化して、荷重値wiを±1に設定してもよい。この他、荷重値wiの設定範囲や値等は限定されず、例えば所望の処理精度が実現されるように適宜設定されてよい。
 信号値xiは、例えば入力部2から出力された電気信号や、アナログ回路3から出力された積和結果である。このように、入力部2及びアナログ回路3は、信号値xiを出力する信号源として機能するとも言える。
 図1に示す例では、1つの信号源(入力部2、アナログ回路3)から、単一の電気信号(単一の信号値x)が出力される。従って、1つの信号源の出力側に接続された複数の信号線1には、それぞれ同じ電気信号が入力される。また、1つの信号源と、その信号源から出力された電気信号が入力されるアナログ回路3とが、単一の入力信号線で接続される。
 従って例えば、図1に示す演算装置100では、M個の信号源と接続されるアナログ回路3には、M個の入力信号線が接続されることになる。この場合、アナログ回路3に入力される電気信号の総数Nは、N=Mとなる。なお、1つの信号源から、正負に対応した1対の電気信号(1対の信号値xi +、xi )が出力される構成もあり得る。
 図1に示すように、演算装置100は、複数の階層のそれぞれに、複数のアナログ回路3が設けられた階層構造を有する。アナログ回路3の層構造を構成することで、例えば多層パーセプトロン型のニューラルネットワーク等が構築される。各階層に設けられるアナログ回路の数や、階層の数等は、例えば所望の処理が実行可能となるように適宜設計される。以下では、j段目の層に設けられるアナログ回路3の数をNjと記載する場合がある。
 例えば1段目の層(最下位層)に設けられた各アナログ回路3には、N個の入力部2により生成されたN個の電気信号がそれぞれ入力される。1段目の各アナログ回路3により、入力データの信号値xiに関する積和結果がそれぞれ算出され、非線形変換処理後に次の階層(2段目)に設けられたアナログ回路3に出力される。
 2段目の層(上位層)に設けられた各アナログ回路3には、1段目で算出された各積和結果を表すN1個の電気信号がそれぞれ入力される。従って2段目の各アナログ回路3から見ると、1段目で算出された各積和結果の非線形変換処理結果が電気信号の信号値xiとなる。2段目の各アナログ回路3により、1段目から出力された信号値xiに関する積和結果が算出され、さらに上位層のアナログ回路3に出力される。
 このように、演算装置100では、下位層のアナログ回路3で算出された積和結果に基づいて、上位層のアナログ回路3の積和結果が算出される。このような処理が複数回実行され、最上位層(図1では3段目の層)に含まれるアナログ回路3から処理結果が出力される。これにより、例えば猫が撮影された画像データ(入力データ4)から、被写体が猫であることを判定するといった画像認識等の処理が可能となる。
 このように、複数のアナログ回路3を適宜接続することで所望のネットワーク回路を構成することが可能である。ネットワーク回路は、例えば信号を通過させることで演算処理を行うデータフロー型の処理システムとして機能する。ネットワーク回路では、例えば荷重値(シナプス結合)を適宜設定することで、様々な処理機能を実現することが可能となる。このネットワーク回路により、本実施形態に係る積和演算システムが構築される。
 なお、各アナログ回路3を接続する方法等は限定されず、例えば所望の処理が可能となるように、複数のアナログ回路3が適宜接続されてもよい。例えば、各アナログ回路3が階層構造とは異なる他の構造を構成するように接続される場合であっても、本技術は適用可能である。
 上記では、下位層で算出された積和結果をそのまま上位層に入力する構成について説明した。これに限定されず、例えば積和結果についての変換処理等が実行されてもよい。例えばニューラルネットワークモデルでは、各アナログ回路3の積和結果に対して、活性化関数を用いて非線形変換を行い、その変換結果を上位層に入力するといった処理が実行される。
 演算装置100では、例えば電気信号に対して活性化関数による非線形変換を行う関数回路5等が用いられる。関数回路5は、例えば下位層と上位層との間に設けられ、入力する電気信号の信号値を適宜変換して、変換結果に応じた電気信号を出力する回路である。関数回路5は、例えば信号線1ごとに設けられる。関数回路5の数や配置等は、例えば演算装置100に実装される数学モデル等に応じて適宜設定される。
 活性化関数としては、例えばReLU関数(ランプ関数)等が用いられる。ReLU関数は、例えば信号値xiが0以上である場合には、信号値xiをそのまま出力し、それ以外の場合には0を出力する。例えばReLU関数を実装した関数回路5が各信号線1に適宜接続される。これにより、演算装置100の処理を実現することが可能である。
 図2は、アナログ回路3に入力される電気信号の一例を示す模式図である。図2A及びBには、複数の電気信号の波形を表すグラフが模式的に図示されている。グラフの横軸は時間軸であり、縦軸は電気信号の電圧である。
 図2Aには、パルス幅変調(PWM:Pulse Width Modulation)方式の電気信号の波形の一例が示されている。PWM方式は、例えばパルス波形のパルス幅τiを用いて信号値xiを表す方式である。すなわち、PWM方式では、電気信号のパルス幅τiは、信号値xiに応じた長さとなる。典型的には、パルス幅τiが長いほど、値の大きい信号値xiを表す。
 また電気信号は、所定の入力期間T内に、アナログ回路3に入力される。より詳しくは、電気信号のパルス波形が、入力期間Tに収まるように、各電気信号がアナログ回路3に入力される。従って、電気信号のパルス幅の最大値は、入力期間Tと同様となる。なお、入力期間Tに収まる範囲であれば、各パルス波形(電気信号)が入力されるタイミング等は限定されない。
 PWM方式では、例えばパルス幅τiと入力期間Tとのデューティ比Ri(=τi/T)を用いて、信号値xiを規格化することが可能である。すなわち、規格化された信号値xiは、信号値xi=Riと表される。なお信号値xiとパルス幅τiとを対応付ける方法等は限定されず、例えば所望の精度で演算処理等が可能となるように、信号値xiを表すパルス幅τiが適宜設定されてよい。
 PWM方式の電気信号が用いられる場合、PWM方式のアナログ回路3を用いた時間軸アナログ積和演算が実行可能である。
 図2Bには、スパイクタイミング方式(以下、TACT方式と記載する)の電気信号の波形の一例が示されている。TACT方式は、例えばパルスの立ち上がりタイミングを用いて信号値xiを表す方式である。例えば所定のタイミングを基準として、入力値に応じたタイミングでパルスが入力される。
 電気信号は、所定の入力期間T内に、アナログ回路3に入力される。この入力期間Tにおける、パルスの入力タイミングにより信号値xiが表される。例えば入力期間Tの開始と同時に入力されたパルスにより最も大きい信号値xiが表される。入力期間Tの終了と同時に入力されたパルスにより、最も小さい信号値xiが表される。
 このことを、パルスの入力タイミングから入力期間Tの終了タイミングまでの長さにより、信号値xiが表されると言うことも可能である。例えば、パルスの入力タイミングから入力期間Tの終了タイミングまでの長さが入力期間Tと等しいパルスにより、最も大きい信号値xiが表される。パルスの入力タイミングから入力期間Tの終了タイミングまでの長さが0のパルスにより、最も小さい信号値xiが表される。
 なお図2Bには、TACT方式の電気信号として、入力値に応じたタイミングに立ち上がり、積和結果が得られるまでONレベルを維持する継続的なパルス信号が用いられる。これに限定されず、TACT方式の電気信号として、所定のパルス幅を持った矩形パルス等が用いられてもよい。
 TACT方式の電気信号が用いられる場合、TACT方式のアナログ回路3を用いた時間軸アナログ積和演算が実行可能である。
 図2A及びBに例示するように、入力値に応じた電気信号として、入力期間Tに対するON時間の長さがに入力値に対応しているパルス信号を用いることが可能である。なお以下では、各電気信号により表される信号値xiが0以上1以下の変数であるとして説明を行う。
 図3は、演算装置100の具体的な構成例を示す模式図である。図3は、例えば図1に示す演算装置100を実現する回路の配置例であり、演算装置100のうち1つの階層に設けられる複数のアナログ回路3が模式的に図示されている。
 アナログ回路3は、1対の出力線7と、複数のシナプス回路8と、ニューロン回路9とを有する。図3に示すように、1つのアナログ回路3は、所定の方向(図中の縦方向)に延在するように構成される。この縦方向に延在するアナログ回路3が、横方向に複数並んで配置されることで、1つの階層が構成される。以下では、図中の最も左側に配置されたアナログ回路3を1番目のアナログ回路3とする。またアナログ回路3が延在する方向を延在方向と記載する場合がある。
 1対の出力線7は、延在方向に沿って互いに離間して配置される。1対の出力線7は、正電荷出力線7aと、負電荷出力線7bとを有する。正電荷出力線7a及び負電荷出力線7bの各々は、複数のシナプス回路8を経由してニューロン回路9に接続される。
 シナプス回路8は、電気信号により表される信号値xiと荷重値wiとの乗算値(wi・x)を算出する。具体的には、乗算値に対応する電荷(電流)を正電荷出力線7a及び負電荷出力線7bのどちらか一方に出力する。
 後述するように、シナプス回路8には正の荷重値wi +及び負の荷重値wi -のどちらか一方が設定される。例えば正の荷重値wi +との乗算値に対応する正荷重電荷は、正電荷出力線7aに出力される。また例えば負の荷重値wi -との乗算値に対応する負荷重電荷は、負電荷出力線7bに出力される。
 なおシナプス回路8では、乗算値に対応する電荷として、荷重値wiの正負にかかわらず同符号の電荷(例えば正の電荷)が出力される。すなわち、正荷重電荷及び負荷重電荷は、互いに同符号の電荷となる。
 このように、シナプス回路8は、乗算結果に対応する電荷を荷重値wiの符号に応じてそれぞれ別の出力線7a又は7bに出力するように構成される。シナプス回路8の具体的な構成については、後に詳しく説明する。本実施形態において、複数のシナプス回路8は、複数の入力線の各々に入力される電気信号に基づいて、入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部として機能する。
 本実施形態では、1つのシナプス回路8に対して、単一の入力信号線6と、1対の出力線7とが接続される。すなわち1つのシナプス回路8には、単一の電気信号が入力され、入力された電気信号に基づいて算出された乗算値に対応する電荷が、いずれか一方の出力線7a又は7bに出力される。このように、シナプス回路8は、単一の入力信号線6と1対の出力線7(正電荷出力線7a及び負電荷出力線7b)とに接続された1入力2出力の回路となる。
 1つのアナログ回路3では、複数のシナプス回路8が、1対の出力線7に沿って配置される。各シナプス回路8は、正電荷出力線7a(負電荷出力線7b)に対してそれぞれ並列に接続される。以下では、最も下流側(ニューロン回路9に接続される側)に配置されるシナプス回路8を1番目のシナプス回路とする。
 図3に示すように、複数の入力信号線6は、複数のアナログ回路3の各々が有する1対の出力線7に対して交差するように配線される。典型的には、入力信号線6は各出力線7と直交するように設けられる。すなわち、演算装置100は、入力信号線6と出力線7とが交差したクロスバー構成を有する。クロスバー構成を用いることで、例えばアナログ回路3等を高密度に集積化することが可能となる。
 また演算装置100では、j番目の入力信号線6に対して、各アナログ回路3に含まれるj番目のシナプス回路8がそれぞれ並列に接続される。従って、同じ入力信号線6に接続されるシナプス回路8には、互いに同様の電気信号が入力される。これにより、下位層に含まれる1つの信号源が、上位層に含まれる複数のアナログ回路3に接続される構成を実装することが可能である。
 なお図3に示す例では、各入力信号線6に電気信号を入力する信号源として、下位層に含まれるアナログ回路3(プレニューロン)が模式的に図示されている。これに限定されず、例えば信号源として、入力部2が用いられる場合にも、クロスバー構成を用いることが可能である。
 このように、演算装置100では、複数のアナログ回路3が、複数の入力信号線6の各々に並列に接続される。これにより、例えば、各アナログ回路3(各シナプス回路8)に対して並列に電気信号を入力することが可能となり、演算処理の高速化を図ることが可能である。この結果、優れた演算性能を発揮することが可能となる。
 ニューロン回路9は、各シナプス回路8で算出された乗算値に基づいて、(数1)式に示す積和結果を算出する。具体的には、1対の出力線7を介して入力された電荷に基づいて、積和結果(積和信号)を表す電気信号を出力する。
 図4は、ニューロン回路9の構成例を示す模式図である。ニューロン回路9は、蓄積部11と、信号出力部12とを有する。図4には、1対の出力線7と、単一の出力信号線10とに接続された2入力1出力のニューロン回路9が示されている。なお、ニューロン回路9として2入力2出力の回路等が用いられる場合もあり得る。
 蓄積部11は、複数のシナプス回路8により1対の出力線7に出力された電荷を蓄積する。蓄積部11は、2つのキャパシタ13a及び13bを有する。キャパシタ13aは、正電荷出力線7aとGNDとの間に接続される。またキャパシタ13bは、負電荷出力線7bとGNDとの間に接続される。従って各キャパシタ13a及び13bには、正電荷出力線7a及び負電荷出力線7bから流れ込む電荷がそれぞれ蓄積される。
 例えば電気信号の入力期間Tが経過した際に、キャパシタ13aに蓄積された電荷は、正の荷重値wi +との乗算値に対応する正荷重電荷の総和σ+となる。また同様に、キャパシタ13bに蓄積された電荷は、負の荷重値wi -との乗算値に対応する負荷重電荷の総和σ-となる。
 例えばキャパシタ13aに正荷重電荷が蓄積されると、GNDを基準とする正電荷出力線7aの電位が上昇する。従って、正電荷出力線7aの電位は、正の荷重値wi +との乗算値に対応する電荷の総和σ+に応じた値となる。なお、正電荷出力線7aの電位は、キャパシタ13aにより保持される電圧に相当する。
 同様に、キャパシタ13bに負荷重電荷が蓄積されると、GNDを基準とする負電荷出力線7bの電位が上昇する。従って、負電荷出力線7bの電位は、負の荷重値wi -との乗算値に対応する電荷の総和σ-に応じた値となる。なお、負電荷出力線7bの電位は、キャパシタ13bにより保持される電圧に相当する。
 信号出力部12は、蓄積部11に蓄積された電荷に基づいて、乗算値(wi・x)の和を表す積和信号を出力する。積和信号は、例えば正負合わせたすべての荷重値wiと信号値xiとの乗算値の和である全体の積和結果を表す信号である。例えば、(数1)式で表される積和結果は、以下のように書き表すことが可能である。
Figure JPOXMLDOC01-appb-M000002
 ここで、N+及びN-は、それぞれ正の荷重値wi +の総数及び負の荷重値wi -の総数である。(数2)式に示すように、全体の積和結果は、正の荷重値wi +との乗算値(wi +・x)の総和である正荷重電荷の積和結果と、負の荷重値wi -との乗算値(|wi -|・x)の総和である負荷重電荷の積和結果との差分として算出可能である。
 図4に示す例では、信号出力部12は、積和信号として、例えば全体の積和結果を表す1つの信号を生成する。具体的には、蓄積部11(キャパシタ13a及び13b)に蓄積された電荷を適宜参照して、正の積和結果及び負の積和結果を算出し、これらの差分から全体の積和結果が算出される。また例えば、正負それぞれの積和結果を表す正の積和信号及び負の積和信号の2つの信号が積和信号として生成されてもよい。
 蓄積部11に蓄積された電荷を参照する方法は限定されない。一例として、1つのキャパシタ13に蓄積された電荷を検出する方法について説明する。図2Aに例示するPWM方式の電気信号が用いられる場合、乗算値に対応する電荷は、入力期間T内にキャパシタ13に蓄積される。すなわち、入力期間Tの前後では、乗算値に対応する電荷の蓄積は生じない。
 例えば入力期間Tの終了後に、所定の充電速度でキャパシタ13を充電する。この時、比較器(コンパレータ等)を用いて、キャパシタ13が接続された出力線の電位が所定の閾値電位に到達するタイミングを検出する。例えば充電開始時の電荷が多いほど、閾値電位に達するタイミングが早くなる。従ってタイミングに基づいて、入力期間T内に蓄積された電荷(積和結果)を表すことが可能となる。なお充電速度は、例えば単位時間当たりの充電量で表現することが可能であり、充電率と言うことも可能である。
 なお、この閾値判定は、充電によりキャパシタ13に保持される電圧を増加させ、閾値電圧に到達するタイミングを検出することに相当する。
 図2Bに例示するTACT方式の電気信号が用いられる場合は、入力期間Tの終了後にもONレベルが維持されるので、キャパシタ13に電荷が蓄積される。この電荷の蓄積に対して、比較器(コンパレータ等)を用いて、キャパシタ13が接続された出力線の電位が所定の閾値電位に到達するタイミングを検出する。例えば入力期間Tの終了時の電荷が多いほど、閾値電位に達するタイミングが早くなる。従ってタイミングに基づいて、入力期間T内に蓄積された電荷(積和結果)を表すことが可能となる。
 なお、この閾値判定は、キャパシタ13に保持される電圧が、閾値電圧に到達するタイミングを検出することに相当する。
 例えば、上記のような閾値判定を行うことで、積和結果を表すタイミングが検出される。この検出結果に基づいて、正荷重電荷の積和信号や負荷重電荷の積和信号、あるいは全体の積和信号が適宜生成される。この他にも、例えば入力期間Tの終了時のキャパシタ13の電位を直接読み出して、各積和結果が算出されてもよい。
 なお、積和信号を生成するために、蓄積された正荷重電荷に応じた電圧及び蓄積された負荷重電荷に応じた電圧がそれぞれ増幅されてもよい。また蓄積された正荷重電荷に応じた電圧と、蓄積された負荷重電荷に応じた電圧との差分電圧が増幅されて、積和信号が生成されてもよい。例えばニューロン回路9内に、任意の構成を有する差動増幅器等が設けられてよい。
 本実施形態において、ニューロン回路9は、複数の乗算部の各々により生成された乗算値に対応する電荷を蓄積し、蓄積された電荷に基づいて、乗算値の和を表す積和信号を出力する出力部として機能する。またキャパシタ13a及びキャパシタ13bは、正電荷蓄積部及び負電荷蓄積部として機能する。ニューロン回路9は、正荷重乗算部により生成された正荷重電荷、又は負荷重乗算部により生成された負荷重電荷の少なくとも一方を蓄積することで、積和信号を出力する。
 [PWM方式のアナログ回路]
 図5は、本実施形態に係るアナログ回路の一例を示す模式的な回路図である。図5には、PWM方式のアナログ回路3の一例が図示されている。アナログ回路3は、複数の入力信号線6に対して、直交する方向に延在して設けられる。すなわち図5に示す例では、クロスバー構成が採用されている。
 アナログ回路3は、1対の出力線(正電荷出力線7a、負電荷出力線7b)と、複数のシナプス回路(複数の乗算部)8と、ニューロン回路9とを有する。図5に示す例では、ニューロン回路9は、蓄積部11、充電部15、信号出力部12、及びスイッチ16a~16dを含んでいる。
 複数の入力信号線6には、入力信号in1~in6として、信号値xiに応じたパルス幅を有するパルス信号(PWM信号)が入力される。図5に示す例では、6本の入力信号線6が図示されているが、入力信号線6の数は限定されない。入力信号in1~in6は、所定の長さを有する入力期間T内に入力される(図6参照)。
 正電荷出力線7aは、信号値xiに正の荷重値wi +を乗算した乗算値(wi +・x)に対応する正荷重電荷を出力する。負電荷出力線7bは、信号値xiに負の荷重値wi -を乗算した乗算値(|wi -|・x)に対応する負荷重電荷を出力する。本実施形態において、1対の出力線7は、1以上の出力線に相当する。
 複数のシナプス回路8は、複数の入力信号線6に対応してそれぞれ設けられる。本実施形態では、1つの入力信号線6に対して、1つのシナプス回路8が設けられる。複数のシナプス回路8の各々は、複数の入力信号線6のうちの対応する入力信号線6と、正電荷出力線7a及び負電荷出力線7bのいずれか1つとの間に接続される抵抗器17を含む。この抵抗器17は、非線形特性を有してもよく、電流の逆流防止機能を有してもよい。そして抵抗器17が接続された出力線7a(又は7b)に、乗算値(wi +・x)(又は(|wi -|・x))に対応する電荷を出力する。
 例えば、各シナプス回路8において、信号値xiに対して正の荷重値wi +を乗算したい場合には、入力信号線6と正電荷出力線7aとの間に抵抗器17を接続し、正電荷出力線7aに、正荷重電荷を出力させる。図5に示す例では、入力信号in、in、inが入力されるシナプス回路8が、正荷重電荷を生成する正荷重乗算部として構成されたシナプス回路8aとなる。シナプス回路8aは、正荷重が設定された乗算部ともいえる。
 各シナプス回路8において、信号値xiに対して負の荷重値wi -を乗算したい場合には、入力信号線6と負電荷出力線7bとの間に抵抗器17を接続し、負電荷出力線7bに、負荷重電荷を出力させる。図5に示す例では、入力信号in、in、inが入力されるシナプス回路8が、負荷重電荷を生成する負荷重乗算部として構成されたシナプス回路8bとなる。シナプス回路8bは、負荷重が設定された乗算部ともいえる。
 なお抵抗器17は、設定したい荷重値wiに応じた抵抗値を有するものが用いられる。すなわち抵抗器17は、積和演算をアナログ回路3で実行する演算装置100において、荷重値wiを規定する素子として機能する。
 抵抗器17としては、例えば、固定抵抗素子、可変抵抗素子、又はサブスレッショルド領域で動作するMOSトランジスタ等が用いられる。例えば、抵抗器17として、サブスレッショルド領域で動作するMOSトランジスタを用いることで、低消費電力化を実現することが可能となる。もちろん、他の任意の抵抗器が用いられてもよい。
 蓄積部11は、複数のシナプス回路8の各々により生成された、乗算値(wi・x)に対応する電荷を蓄積する。本実施形態では、蓄積部11として、2つのキャパシタ13a及び13bが設けられる。
 キャパシタ13aは、スイッチ16bを介して正電荷出力線7aに接続され、シナプス回路8aにより生成された正荷重電荷を蓄積する。キャパシタ13bは、スイッチ16cを介して負電荷出力線7bに接続され、シナプス回路8bにより生成された負荷重電荷を蓄積する。
 充電部15は、乗算値(wi・x)に対応する電荷の和が蓄積された蓄積部11を、所定の充電速度により充電する。本実施形態では、充電部15として、2つの電流源18a及び18bが設けられる。なお充電は、入力期間Tの終了後に実行される。
 電流源18aは、スイッチ16aを介して、キャパシタ13aの正電荷出力線7aに接続されている側(GNDの反対側)に接続される。電流源18bは、スイッチ16dを介して、キャパシタ13bの負電荷出力線7bに接続されている側(GNDの反対側)に接続される。
 本実施形態では、電流源18a及び18bにより、キャパシタ13a及び13bが同じ充電速度で充電される。これにより正電荷出力線7aの電位(キャパシタ13aに保持された電圧)V+、及び負電荷出力線7bの電位(キャパシタ13bに保持された電圧)V-が、それぞれ増加される。電流源18の具体的な構成は限定されず、任意に設計されてよい。
 信号出力部12は、充電部15による充電の開始後、蓄積部11により保持される電圧に対して、所定の閾値により閾値判定を実行することで、乗算値(wi・x)の和を表す積和信号を出力する。本実施形態では、信号出力部12として、2つのコンパレータ20a及びコンパレータ20bと、信号生成部21とが設けられる。
 コンパレータ20aは、キャパシタ13aにより保持される電圧が、所定の閾値θ1よりも大きくなるタイミングを検出する。なおキャパシタ13aにより保持される電圧の大きさは、キャパシタ13aに蓄積された正荷重電荷の総量及び充電量(充電速度×時間)により定まる。
 コンパレータ20bは、キャパシタ13bにより保持される電圧が、所定の閾値θ2よりも大きくなるタイミングを検出する。なおキャパシタ13bにより保持される電圧の大きさは、キャパシタ13bに蓄積された負荷重電荷の総量及び充電量(充電速度×時間)により定まる。
 なお本実施形態では、キャパシタ13a及び13bの各々に対して、同じ閾値より閾値判定を実行することで、積和信号が出力される。すなわち閾値θ1=閾値θ2に設定される。
 信号生成部21は、コンパレータ20aにより検出されたタイミング、及びコンパレータ20bにより検出されたタイミングに基づいて、乗算値(wi・x)の和を表す積和信号を出力する。すなわち信号生成部21は、キャパシタ13aにより保持される電圧が閾値θ1に達したタイミングと、キャパシタ13bにより保持される電圧が閾値θ2(=θ1)に達したタイミングとに基づいて、積和信号を出力する。
 本実施形態では、積和信号として、パルス幅が変調されたパルス信号である、PMW信号が出力される。信号生成部21の具体的な回路構成等は限定されず、任意に設計されてよい。
 図6及び図7は、図5に示すアナログ回路3による積和信号の算出例を説明するための図である。本実施形態では、キャパシタ13aに蓄積された正荷重電荷に基づいた正荷重電荷の積和結果と、キャパシタ13bに蓄積された負荷重電荷に基づいた負荷重電荷の積和結果とに基づいて、正負を含めた全体の積和結果を表す信号が算出される。
 正荷重電荷の積和結果、及び負荷重電荷の積和結果の算出は、互いに等しい処理となる。まず図6を参照しながら、正負の区別なく、キャパシタ13に蓄積された電荷に基づいた積和結果の算出方法(積和演算方法)を説明する。
 図6の中で記載されているパラメータを説明する。「t」は時間である。「T」は入力期間及び出力期間の各々を表す。「tn 」は入力期間Tの終了タイミングであり、「t」は出力期間Tの終了タイミングである。
 本実施形態では、入力期間Tの長さと、出力期間Tの長さとが、互いに等しく設定される。また入力期間Tの終了タイミングtnから出力期間Tが開始される。従って、入力期間Tの終了タイミングtnは、出力期間Tの開始タイミングに相当する。
 「θ」は、信号出力部12(コンパレータ20)による閾値判定に用いられる閾値である。
 「Si(t)」は、i番目の入力信号線6に入力される入力信号(PWM信号)である。「τ」は、入力信号Si(t)のパルス幅である。「Pi(t)」は、図5に示す各シナプス回路8における、内部状態(電位)の変化量である。「w」は、荷重値であり、図5に示す抵抗器17の抵抗値により規定される。
 「Vn(t)」は、「Pi(t)」の総和であり、キャパシタ13に蓄積される電荷の総量に相当する。「Sn(t)」は、積和結果を表す積和信号(PWM信号)である。「τ」は、出力される積和信号のパルス幅である。具体的には、「τn」は、出力期間T内における、キャパシタ13により保持される電圧が閾値θより大きくなるタイミングから、出力期間Tの終了タイミングtmまでの長さに応じた値となる。
 本実施例では、スイッチ16b及び16cを備えており、特に、このスイッチで出力線を切り離すことで、低消費電力化と充電精度の向上が可能となっている。
 ここで以下の式に示すように、入力値(信号値)xiは、入力信号Si(t)のパルス幅τiと入力期間Tとのデューティ比Ri(=τi/T)で与えられる。
Figure JPOXMLDOC01-appb-M000003
 図5に示すシナプス回路8により、信号値xiに荷重値wiを乗算した乗算値に対応する電荷が生成される。具体的には、抵抗器17の抵抗により、一定の傾きwiで内部状態(電位)が増加される。
 そして、入力期間Tの終了タイミングtnにおける各シナプス回路8の内部電位の変化量Pi(t)は、以下の式で与えられる。なお、入力信号Si(t)のハイレベルの値は1とする。
Figure JPOXMLDOC01-appb-M000004
 キャパシタ13に蓄積される電荷の総量Vn(t)は、Pi(t)の総和となるので、以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000005
 入力期間Tの終了タイミングtnで、図5に示すスイッチ16a及び16dがONに切替えられ、またスイッチ16b及び16cがOFFに切替えられる。そして、入力期間Tの終了タイミングtnで、充電部15(電流源18)による充電が開始される。従って本実施形態では、充電部15による充電の開始タイミングで、出力期間Tが開始される。すなわち入力期間Tの終了タイミングtnで、充電及び出力期間が同時に開始される。
 電流源18により、入力期間Tの終了タイミングtnから、各シナプス回路8の内部電位を、傾き(充電速度)αで増加させる。そして出力期間T内における、キャパシタ13により保持される電圧が閾値θより大きくなるタイミングから、出力期間Tの終了タイミングtmまでの長さに応じたパルス幅τnを有する積和信号(PWM信号)が生成される。
 積和信号のパルス幅τnと出力期間Tとのデューティ比をRn(=τn/T)とすると、Rnは、以下の式で与えられる。なお、閾値θは、電荷の総量Vn(t)以上であるとする。
Figure JPOXMLDOC01-appb-M000006
 従って、信号値xiに荷重値wiを乗算した乗算値(wi・x)を足し合わせた積和結果は、以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000007
 すなわち積和結果は、αRn=α・(τn/T)に、充電速度α、閾値θ、及び出力期間Tにより定められる定数を減算した値となる。このように、所定の長さ出力期間Tにおける、蓄積部11により保持された電圧が閾値θより大きくなるタイミングに基づいて、積和結果を表す積和信号を出力することが可能となる。
 図7は、正荷重電荷及び負荷重電荷の両方の積和結果をふまえた全体の積和結果を示す積和信号の算出例を示す模式図である。図7では、正荷重電荷の積和結果を表す積和信号を「Sn +(t)」とし、そのパルス幅を「τn +」とする。また負荷重電荷の積和結果を表す積和信号を「Sn -(t)」とし、そのパルス幅を「τn -」とする。さらに、全体の積和結果を表す積和信号を「Sn(t)」とし、そのパルス幅を「τn」とする。
 入力期間Tの終了タイミングtnにおける、キャパシタ13aに蓄積される正荷重電荷の総量Vn +(t)は、以下の式で与えられる。なおwi +は正の荷重値である。
Figure JPOXMLDOC01-appb-M000008
 入力期間Tの終了タイミングtnにおける、キャパシタ13bに蓄積される負荷重電荷の総量Vn -(t)は、以下の式で与えられる。なおwi -は負の荷重値である。
Figure JPOXMLDOC01-appb-M000009
 正の積和信号Sn +(t)のデューティ比をRn +(=τn +/T)とすると、信号値xiに正の荷重値wi +を乗算した乗算値(wi +・x)を足し合わせた正の積和結果は、以下の式で与えられる。なお、閾値θは、正荷重電荷の総量Vn +(t)以上であるとする。
Figure JPOXMLDOC01-appb-M000010
 負の積和信号Sn -(t)のデューティ比をRn -(=τn -/T)とすると、入力値xiに負の荷重値wi -を乗算した乗算値(|wi -|・x)を足し合わせた負の積和結果は、以下の式で与えられる。なお、充電速度α及び閾値θは、(数10)式で用いらる値と等しい。また閾値θは、負荷重電荷の総量Vn -(t)以上であるとする。
Figure JPOXMLDOC01-appb-M000011
 従って、上記した(数2)式を用いると、全体の積和結果は以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000012
 すなわち全体の積和結果は、充電速度α、積和信号Sn +(t)のパルス幅τn +、積和信号Sn -(t)のパルス幅τn -、及び出力期間Tにより求められる。すなわち、コンパレータ20aにより検出されるタイミング、及びコンパレータ20bにより検出されるタイミングに基づいて、容易に積和結果を算出することが可能となる。
 そして図7に示すように、全体の積和結果を表す積和信号として、パルス幅「τ」を有する積和信号「Sn(t)」を容易に出力することが可能となる。なお、積和信号Sn +(t)のパルス幅τn +と、積和信号Sn -(t)のパルス幅τn -とのいずれが大きいかを判定可能であってもよい。そしてパルス幅τn +の方が大きい場合の積和信号「Sn(t)」を正の積和信号として出力し、パルス幅τn -の方が大きい場合の積和信号「Sn(t)」を負の積和信号として出力することも可能である。パルス幅τn +と、パルス幅τn -とを比較する回路は、アンド回路やノット回路等を適宜用いることで実現することが可能である。
 例えばReLU関数(ランプ関数)等が用いられる場合等において、正の積和信号「Sn(t)」となる場合はそのまま出力され、負の積和信号「Sn(t)」となる場合は0を出力する、といった設定も可能である。
 充電速度α及び閾値θの設定として、出力期間Tに対して、α=θ/Tとする。これにより、(数6)式、(数7)式、(数10)式、(数11)式に含まれる、充電速度α、閾値θ、及び出力期間Tにより定められる定数をゼロにすることが可能となり、処理の簡素化を図ることが可能となる。すなわち閾値θを、入力期間Tの長さに基づいて設定することで、有利な効果を発揮することが可能となる。
 図8は、PWM方式のアナログ回路3の他の例を示す模式的な回路図である。図9は、図8に示すアナログ回路3による積和信号の算出例を説明するための図である。
 図8に例示するアナログ回路3では、差動増幅回路23により、正荷重電荷の総量と、負荷重電荷の総量との差に対応する電荷(V+-V-)が出力され、蓄積部11に含まれるキャパシタ13に蓄積される。差動増幅回路23の具体的な構成は限定されず、任意に設計されてよい。
 入力期間Tの開始タイミングでは、スイッチ16a、16b、及び16cがONとなり、スイッチ16bがOFFとなる。そして、入力期間T内に、入力信号が入力される。キャパシタ13には、差動増幅回路23により出力される電荷(V+-V-)が蓄積される。なお図9では、入力期間Tにおける電荷の蓄積状態の図示は省略されている。
 入力期間Tの終了タイミングtnでは、スイッチ16cがOFFに切替えられ、またスイッチ16dがONに切替えられる。そして図9に示すように、入力期間Tの終了タイミングtnで、充電部15(電流源18)による充電が開始される。
 また信号出力部12のコンパレータ20により、キャパシタ13により保持される電圧が閾値θより大きくなるタイミングが検出される。検出されたタイミングに基づいて、信号生成部21により積和信号(PWM信号)「Sn(t)」が算出される。
 このように、正荷重電荷の総量と、負荷重電荷の総量との差に対応する電荷(V+-V-)に対して閾値判定を実行することで、積和信号「Sn(t)」を出力することが可能である。
 なお上記のPWM方式のアナログ回路3による積和演算の説明では、各シナプス回路8における内部状態(電位)の変化や、充電によるキャパシタ13の電圧の増加を一次関数的な直線の変化として近似している。もちろんこのような近似がなければ積和演算が難しくなるという訳では全くなく、逆にシナプス回路8の寄生容量等を考慮にいれて積和演算の精度を向上させることも可能である。
 いずれにせよ本技術に係るアナログ回路3(積和演算装置)では、正電荷出力線7aの電位(キャパシタ13aに保持された電圧)V+、及び負電荷出力線7bの電位(キャパシタ13bに保持された電圧)V-に基づいて、積和演算の結果を得ることが可能である。
 [TACT方式のアナログ回路]
 図10は、TACT方式のアナログ回路3の一例を示す模式的な回路図である。複数の入力信号線6には、入力信号in1~in6として、信号値xiに応じたタイミングでパルス信号(TACT信号)が入力される。
 ここでは、図2Bに例示する、入力値に応じたタイミングに立ち上がりONレベルが維持される継続的なパルス信号が入力される。このパルス信号は、入力期間T内において、入力期間Tに対するON時間の長さがに入力値に対応している。以下、入力期間T内におけるON時間の長さを、入力期間Tにおけるパルス幅と記載する場合がある。
 入力期間Tが経過したタイミングでは、キャパシタ13aに蓄積された電荷は、正の荷重値wi +との乗算値に対応する正荷重電荷の総和σ+となる。また同様に、キャパシタ13bに蓄積された電荷は、負の荷重値wi -との乗算値に対応する負荷重電荷の総和σ-となる。
 入力期間Tの終了後にも電気信号のONレベルが維持されるので、キャパシタ13a及びキャパシタ13bに電荷が蓄積される。そしてキャパシタ13aにより保持される電圧が閾値θより大きくなるタイミングに基づいて、正荷重電荷の積和結果を表す積和信号(PWM信号)が生成される。
 またキャパシタ13bにより保持される電圧が閾値θより大きくなるタイミングに基づいて、負荷重電荷の積和結果を表す積和信号(PWM信号)が生成される。これら正負の積和信号に基づいて、全体の積和結果を表す積和信号を生成することが可能である。
 ここでは発明者は、正電荷出力線7aの電位V+、及び負電荷出力線7bの電位V-に関連するパラメータとして、正電荷出力線7a及び負電荷出力線7bの時定数について考察した。すなわち出力線7の時定数について考察した。その結果、以下に説明するように、出力線7について、複数の入力信号線6との間に配置される抵抗器17の数にかかわらず、時定数を一定にする構成を見出した。
 まず、キャパシタ13a及び13bは、出力線7a及び7bに発生する寄生容量(図示省略)も機能的に含んでいるものとする。この場合、キャパシタ13a及び13bが取り得る容量の最小値は出力線7に発生する寄生容量となる。例えばキャパシタ13が設けられない場合でも、出力線7a及び7bに発生する寄生容量に基づいて電荷は蓄積され、閾値判定に基づいて積和信号を生成することが可能である。このことは、図8等に例示するPWM方式のアナログ回路3でも同様である。
 出力線7の時定数は、時間とともに逐次入力される入力信号数と、出力線7に信号を伝達できる状態の抵抗器17の数(ON抵抗)により逐次変化する。ここで入力期間Tの終了時における時定数に着目する。本実施形態に係るTACT方式のアナログ回路3では、入力期間Tの終了時には、全ての入力信号線6に対して信号が入力される。従って、入力期間Tの終了時における入力信号数は最大値となり、一定の値となる。この結果、入力期間Tの終了時における時定数は、ON抵抗の数により逐次変化することになる。
 ここで、抵抗器17の抵抗値を同じ抵抗値Rとする。すなわちバイナリコネクトの構成を採用する。また各シナプス回路8の寄生容量が一定の容量Cとなるように設計する。1つの出力線7に対して抵抗器17は並列に接続されるので、N個の抵抗器17が接続される(ON抵抗がN個となる)場合は、合成抵抗はR/Nとなる。一方、シナプス回路8は抵抗器17の数と同じN個となるので、合成容量はNCとなる。
 例えば、キャパシタ13を設けることなく、各シナプス回路8の寄生容量に基づいて積和信号を生成する。この場合、抵抗器17の数(ON抵抗の数)にかからわず、合成抵抗×合成容量の値は、RCとなる。従って、入力期間Tの終了時における出力線7の時定数は、抵抗器17の数にかかわらず、同じRCとなる。
 キャパシタ13を設置する場合、各キャパシタ13の容量を、所定の定数C0を抵抗器17の数(ON抵抗の数)だけ乗算した値(抵抗器17の数×C0)に設定する。これにより時定数は、R/N×(NC+NC0)=R×(C+C0)となり、抵抗器17の数にかかわらず一定となる。このように抵抗器17の数にかかわらず、時定数を一定にすることが可能である。
 従って、入力期間Tの終了時における各出力線7の電位Vは、以下の式により近似することが可能である。
Figure JPOXMLDOC01-appb-M000013
 図11は、入力期間Tの終了時における各出力線7の電位Vについて説明するための模式的なグラフである。(数13)式及び図11を参照して、入力期間Tの終了時における各出力線7の電位Vについて説明する。なお図11のグラフ中の曲線は、(数13)式に対応する曲線である。
 「Vc」は、定数であり、時定数以上の時間が経過した後の電位の収束値に応じた値となる。
 「tave」は、各入力信号線6に入力されるパルス信号の、入力期間Tにおけるパルス幅の平均である。
 図11に示すように、(数13)式に対応する曲線に基づいて、入力期間Tと閾値θとを定める。すなわち(数13)の「tave」に入力期間Tを代入した場合の電位Vを、閾値θとする。これにより全ての入力信号線6に、入力期間Tにおけるパルス幅が最大となる最大パルスが入力された場合には、入力期間Tの終了タイミング(出力期間Tの開始タイミング)で、出力線7の電位が閾値を超える。
 一方、全ての入力信号線6に、入力期間Tにおけるパルス幅が0となるパルスが入力された場合には、出力期間Tの終了タイミングで、出力線7の電位が閾値を超える。この結果、出力期間T内にて、積和信号を高い分解能で精度よく算出することが可能となる。すなわち閾値θを、入力期間Tの長さに基づいて設定することで、有利な効果を発揮することが可能となる。
 図11に示すように、閾値θにより、キャパシタ13a及び13bの各々に対して閾値判定を実行する。これにより、各パルス信号の入力期間Tにおけるパルス幅の平均である「tave」をパルス幅「τ」とする積和信号「Sn(t)」を精度よく生成して出力することが可能となる。なお各出力線7の電荷の変化が、図11に示す曲線に沿って行われるとは限らない。少なくとも、入力期間Tの終了時における各出力線7の電位Vと、積和信号「Sn(t)」のパルス幅「τ」について、(数13)式にて近似することが可能であることが見出された。
 各アナログ回路3において、入力信号線6と正電荷出力線7aとを接続する抵抗器17の数(すなわち正荷重乗算部の数)、及び入力信号線6と負電荷出力線7bとを接続する抵抗器17の数(すなわち負重乗算部の数)をどのように組み合わせたとしても、正電荷出力線7aの電位V+、及び負電荷出力線7bの電位V-について、図11に説明した積和演算が実現される。
 従って、図7に例示するのと同様に、積和信号Sn +(t)のパルス幅τn +、及び積和信号Sn -(t)のパルス幅τn -に基づいて、全体の積和結果を表す積和信号「Sn(t)」を算出することが可能である。
 もちろんTACT方式のアナログ回路3として、他の構成や他の清和演算が実行されてもよい。いずれにせよ正電荷出力線7aの電位(キャパシタ13aに保持された電圧)V+、及び負電荷出力線7bの電位(キャパシタ13bに保持された電圧)V-に基づいて、積和演算の結果を得ることが可能である。
 PWM方式のアナログ回路3、及びTACT方式のアナログ回路3のいずれにおいても、ニューロン回路9は、正荷重乗算部により生成された正荷重電荷、又は負荷重乗算部により生成された負荷重電荷の少なくとも一方を蓄積する蓄積部11を有し、蓄積部11により保持される電圧に対して所定の閾値により閾値判定を実行することで、乗算値の和を表す積和信号を出力することが可能である。
 また蓄積部11は、正荷重乗算部により生成された正荷重電荷を蓄積可能な正電荷蓄積部と、負荷重乗算部により生成された前記負荷重電荷を蓄積可能な負電荷蓄積部とを有する。そしてニューロン回路9は、正電荷蓄積部、及び負電荷蓄積部の各々に対して、所定の閾値により閾値判定を実行することで、積和信号を出力することが可能である。なお所定の閾値は、前記入力期間の長さに基づいて設定されてもよい。
 ここで発明者は、積和演算の結果として出力される積和信号「Sn(t)」と、熱等に起因するノイズ(以下、単に熱ノイズと記載する)との関係について考察した。PWM方式の時間軸アナログ積和演算、及びTACT方式の時間軸アナログ積和演算では、入力値が時間情報として入力期間Tを基準として正規化される。
 例えばPWM方式では、パルス幅τiと入力期間Tとのデューティ比Riを用いて、入力値が規格される。TACT方式では、入力期間T内の所定のタイミングにて入力値が規格化される。例えば図2Bに示すパルス信号が用いられる場合には、入力期間Tにおけるパルス幅を用いて、入力値が規格化される。
 また積和演算の結果に対応する出力線7の電位Vは、閾値θを基準として規格化される。すなわち入力される情報量にかかわらず、積和演算の結果は閾値以下の一定の電荷量に規格化される。従って、入力される情報量にかかわらず積和演算の結果は縮小されるため、演算精度及び演算結果の検出精度について、考察の余地が残っている。
 例えば図7にて例示した全体の積和結果を表す積和信号「Sn(t)」の検出について、熱ノイズのノイズレベルが検出の限界を制限している。すなわち熱ノイズ以下の出力はノイズ埋没として自動的に棄却されており、積和演算の精度の低下が懸念されている。一方、演算装置100に含まれる複数のアナログ回路3から出力される積和演算値の最小値が、どの程度熱ノイズに埋没するか定量的に予測するのは、現状難しい。
 発明者は、PWM方式の時間軸アナログ積和演算、及びTACT方式の時間軸アナログ積和演算について、入力時間Tを制御することに着目した。例えば図5~図9を参照して説明したPWM方式の時間軸アナログ積和演算において、入力時間Tを長くする。説明を分かりやすくするために、例えば入力時間Tを1.2倍の長さにしたとする。
 入力信号線6に入力されるPWM方式のパルス信号は、パルス幅τiと入力期間Tとのデューティ比Riに入力値が対応しているので、パルス幅τiも1.2倍に拡張される。これにより、正電荷出力線7aの電位(キャパシタ13aに保持された電圧)V+、及び負電荷出力線7bの電位(キャパシタ13bに保持された電圧)V-も高くなる。
 これにより図7に例示する正荷重電荷の積和結果を表す積和信号「Sn +(t)」のパルス幅「τn +」、及び負荷重電荷の積和結果を表す積和信号を「Sn -(t)」のパルス幅「τn -」も1.2倍に拡張される。この結果、全体の積和結果を表す積和信号「Sn(t)」のパルス幅「τn」も1.2倍に拡張される。なお閾値θは、例えばα=θ/Tが成り立つように設定される。
 また図10及び図11を参照して説明したTACT方式の時間軸アナログ積和演算において、例えば入力時間を1.2倍の長さにしたとする。そうすると、入力信号線6に入力されるTACT方式のパルス信号の、入力期間Tにおけるパルス幅が1.2倍に拡張される。これにより、正電荷出力線7aの電位(キャパシタ13aに保持された電圧)V+、及び負電荷出力線7bの電位(キャパシタ13bに保持された電圧)V-も高くなる。
 これにより図11に示す各パルス信号の入力期間Tにおけるパルス幅の平均である「tave」が1.2倍に拡張される。この結果、正荷重電荷の積和結果を表す積和信号「Sn +(t)」のパルス幅「τn +」、及び負荷重電荷の積和結果を表す積和信号を「Sn -(t)」のパルス幅「τn -」も1.2倍に拡張される。この結果、全体の積和結果を表す積和信号「Sn(t)」のパルス幅「τn」も1.2倍に拡張される。なお閾値θは、例えば(数13)式に対応する曲線に基づいて、入力期間Tに応じて定められる。
 このように、PWM方式の時間軸アナログ積和演算、及びTACT方式の時間軸アナログ積和演算において、入力期間Tの長さを拡張し、それに応じて入力値に応じたパルス信号のON時間の長さも拡張する。また閾値θは、入力期間Tの長さに基づいて適宜設定する。
 これにより、正電荷出力線7aの電位(キャパシタ13aに保持された電圧)V+、及び負電荷出力線7bの電位(キャパシタ13bに保持された電圧)V-を高くすることが可能となる。この結果、全体の積和結果を表す積和信号「Sn(t)」の値(パルス幅「τn」)を拡張することが可能となる。これにより、ノイズ埋没数を低減させることが可能となり、積和演算結果を精度よく検出することが可能となる。
 一方で、入力期間Tを長くすると、消費電力や処理時間の増加の原因となってしまう可能性がある。発明者は、消費電力や処理時間を抑えつつ、積和演算の結果の検出精度を向させるためにさらに検討を重ね、以下に説明する技術を新たに考案した。
 図12は、時間軸アナログ積和演算に関するシミュレーションについて説明するための、演算装置の構成例を示す模式図である。例えば、図10に例示するようなTACT方式のアナログ回路3が複数並べられた演算装置100を用いて、以下の条件にて、シミュレーションを実行する。
 入力数…500
 入力信号の値…中間値を平均とする正規分布(分散は固定)により規定
 入力信号の配置…試行ごとに乱数により設定
 荷重…正負2値
 正荷重比率…50%を平均とする正規分布(分散は固定)により規定
 荷重の配置…試行ごとに乱数により設定
 積和演算値…絶対値で算出
 この条件について説明する。入力信号の値は、入力期間T/2のタイミングで入力されるパルス(中間値)を平均とする正規分布により規定される(分散は所定の固定値)。すなわちこれらの分布に従う入力値に応じたパルス信号が、500個の入力信号線6に入力される。
 正規分布に従う500個の入力値に応じたパルス信号の各々が、どの入力信号線6に入力されるかは、試行ごとに乱数により設定される。
 荷重として、同じ抵抗値を有する抵抗器17が、各アナログ回路3において、正側(入力信号線6と正電荷出力線7aとの間)、又は負側(入力信号線6と正電荷出力線7bとの間)に接続される。
 抵抗器17が正側に接続されると、正荷重乗算部として機能するシナプス回路8aが構成される。抵抗器17が負側に接続されると、正荷重乗算部として機能するシナプス回路8bが構成される。以下、シナプス回路8a及び8bを、正荷重乗算部8a及び負荷重乗算部8bと記載する場合がある。
 正荷重比率は、各アナログ回路3における、荷重値の絶対値の総和に対する正の荷重値の総和の比率である。このシミュレーションでは、バイナリコネクトの構成が採用されている。従って、正荷重比率は、抵抗器17の総数(500個)に対する正側に接続される抵抗器17の数の比率となる。この正荷重比率は、複数のシナプス回路8の数に対する正荷重乗算部8aの数の比率とも言える。
 例えば全ての入力信号線6と正電荷出力線7aとの間に抵抗器17が接続される場合、すなわち全ての乗算部8が正荷重乗算部8aとなる場合には、正荷重比率は100%となる。全ての入力信号線6と負電荷出力線7bとの間に抵抗器17が接続される場合、すなわち全ての乗算部8が負荷重乗算部8bとなる場合には、正荷重比率は0%となる。
 入力信号線6と正電荷出力線7aとの間に接続される抵抗器17の数と、入力信号線6と負電荷出力線7bとの間に接続される抵抗器17の数とが同数である場合、正荷重比率は50%となる。すなわち正荷重乗算部8aの数と、負荷重乗算部8bの数とが同数である場合、正荷重比率は50%となる。
 すなわち演算装置100において、複数の乗算部8は、正荷重乗算部8a、又は負荷重乗算部8bの少なくとも一方を含み、荷重値の絶対値の総和に対する正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成されている。またニューロン回路9は、正荷重乗算部8aにより生成された正荷重電荷、又は負荷重乗算部8bにより生成された負荷重電荷の少なくとも一方を蓄積することで、積和信号を出力する。
 本シミュレーションでは、複数のアナログ回路3の正荷重比率の分布が、50%を平均とする正規分布により規定される(分散は所定の固定値)。すなわち正荷重比率が50%となるアナログ回路3が最も多く存在することになる。
 なお各アナログ回路3における、荷重値の絶対値の総和に対する負の荷重値の総和の比率を、負荷重比率とする。また各アナログ回路3における、正の荷重値の総和と、負の荷重値の総和のと比率を、正負荷重比率とする。本開示では、正荷重比率、負荷重比率、及び正負荷重比率は、互いに同等のパラメータと見做すことが可能である。
 正荷重比率が定められたアナログ回路3において、抵抗器17が配置される位置は、試行ごとに乱数により設定される。例えは便宜的に、図12に示す演算装置100の入力数を8と見做す。中央に図示されているアナログ回路3の正荷重比率は50%である。すなわち正側と負側とにそれぞれ4つの抵抗器17が接続される。これら正側の4つの抵抗器17の位置、負側の4つの抵抗器17の位置は、試行ごとに乱数により設定される。このことは、正荷重乗算部8aの位置、及び負荷重乗算部8bの位置が、乱数により設定されることに相当する。
 積和演算値は絶対値で算出され、例えば図7に例示する全体の積和結果を表す積和信号を「Sn(t)」のパルス幅「τn」に相当する。
 このような条件にてシミュレーションを複数回試行した。その結果、積和演算値の平均値、中央値、最大値については、ある範囲に含まれる傾向が見受けられた。すなわち積和演算値の平均値、中央値、最大値については、予測可能な範囲を見出すことが可能であった。一方、積和演算値の最小値については、試行ごとにばらつきが見受けられ、予測が困難であった。
 ここでは発明者は、複数のアナログ回路3の正荷重比率の分布に着目した。そして、シミュレーションの条件である正荷重比率について、正規分布の平均は50%で固定し、分散を変動させて複数回シミュレーションを試行した。その結果、正荷重比率の分布と、積和演算値の最小値との間に依存性があることを新たに見出した。
 具体的には、正荷重比率の正規分布の分散が小さくなるほど、積和演算値の最小値が小さくなる傾向が見受けられた。逆に言えば、正荷重比率の正規分布が大きくなるほど、積和演算値の最小値が大きくなる傾向が見受けられた。また正荷重比率の正規分布の平均が50%に近くなるほど、積和演算値の最小値が小さくなる傾向も見受けられた。
 例えば、正荷重比率が50%であり、正荷重の総和(抵抗器の数)と負荷重の総和(抵抗器の数)とが等しいとする。この場合、正荷重乗算部8aに入力されるパルス信号の入力期間Tにおけるパルス幅の平均と、負荷重乗算部8bに入力されるパルス信号の入力期間Tにおけるパルス幅の平均との差が、積和演算値の最小値に関連するパラメータとなる。
 おそらく、互いに同数となる入力信号線6(本シミュレーションで250個ずつ)にランダムにパルス信号を入力した場合、入力期間Tにおけるパルス幅の平均は、互いに近い値となることが多いと考えられる。従って、正荷重比率の正規分布の平均が50%に近くなるほど、積和演算値の最小値が小さくなる傾向が表れるのではないかと考えらえる。もちろんこの考えは、新たに見出された傾向についての推論である。
 また、この傾向は、バイナリコネクトとは異なる多値の荷重が設定される場合にも、見受けられると考えられる。正荷重の総和と負荷重の総和とが互いに近い値になるほど、積和演算値は小さくなると考えられる。
 このような傾向をもとに、積和演算装値の最小値を、正荷重比率により大まかに予測することが可能となる。そして、消費電力を抑えつつ、熱ノイズの埋没数を効率よく低減させることが可能となる。
 具体的には、複数のアナログ回路3の正荷重比率が50%の付近に多く分布するほど、入力期間Tを長く設定する。これにより、ノイズ埋没数を低減させることが可能となり、積和演算結果を高精度に検出することが可能となる。また必要以上に入力期間Tを長くしてしまうことを防ぐことが可能となる。すなわち適正に入力期間Tを調整することが可能となるので、消費電力及び処理時間を抑えつつ、積和信号のレベルを増加させることが可能となる。
 例えばニューラルネットワーク等を構築する場合には、サーバ装置等のコンピュータにの学習処理により、入力数、出力数、荷重値、荷重比等のパラメータが決定される場合が多い。決定されたパラメータに基づいて、アナログ回路3を適宜設計することで、所望の積和演算が可能な演算装置100が実現される。
 例えば、アナログ回路3の設計時に、決定されているパラメータに基づいて、複数のアナログ回路3の正荷重比率の分布に基づいて、入力時間Tを設定する。例えば、複数のアナログ回路3の正荷重比率の平均又は分散の少なくとも一方に基づいて、入力期間Tを設定する。
 具体的には、複数のアナログ回路3の正荷重比率が50%の付近に多く分布するほど、入力時間Tを長く設定する。例えば、複数のアナログ回路3の正荷重比率の平均が50%に近いほど、入力時間Tを長く設定する。また複数のアナログ回路3の正荷重比率の平均が50%に近い場合、正荷重比率の分散が小さいほど、入力期間Tを長く設定する。このような設定方法を実行することで、消費電力を抑えつつ、各アナログ回路3から出力される積和信号のレベルを増加させることが可能となる。この結果、演算結果を精度よく検出することが可能となる。
 [ノイズ埋没判定回路]
 図13は、ノイズ埋没判定回路の構成例を示す模式図である。例えば、演算装置100内に、ニューロン回路9から出力される積和信号がノイズレベルよりも小さくなる可能性の高いアナログ回路3の数を判定するためのノイズ埋没判定回路40を設ける。そして、複数のアナログ回路3のうち、ニューロン回路9から出力される積和信号がノイズレベルよりも小さくなる可能性の高いアナログ回路3の数に基づいて、入力期間Tが設定されてよい。
 ここでは、図8に示す差動増幅回路23までの構成からなるアナログ回路3が用いられる場合を例に挙げる。すなわち図13に示すニューロン回路9は、図8に示すスイッチ16a及び16b、キャパシタ13a及び13b、及び差動増幅回路23を有し、正荷重電荷の総量と負荷重電荷の総量との差に対応する電荷(V+-V-)を、積和信号として出力するとする。
 すなわち本技術において、乗算値の和を表す積和信号は、図7に例示する積和信号「Sn(t)」(パルス信号)のみならず、正荷重電荷の総量と負荷重電荷の総量との差に対応する電荷(V+-V-)に基づいた電荷信号(電圧信号)も含まれる。
 またバイナリコネクトの構成が採用されているとする。すなわち抵抗器17として、同じ抵抗値を有する抵抗器が用いられるとする。
 図13に示すように、ノイズ埋没判定回路40は、正電荷出力線41aと、負電荷出力線41bと、複数のシナプス回路42と、ニューロン回路43と、複数のコンパレータ44とを有する。
 正電荷出力線41a、及び負電荷出力線41bは、複数のアナログ回路3と同様に、複数の入力信号線6に対して直交するように設けられる。図13では、複数のアナログ回路3と、ノイズ埋没判定回路40とに、同じテスト信号が入力される旨が表現されている。実際の構成としては、共通の入力信号線6に対して、複数のアナログ回路3と、ノイズ埋没判定回路40(複数のコンパレータ44を除く部分)とが、並列となるように構成される。これに限定されず、ノイズ埋没判定回路40が、複数のアナログ回路3とは接続されずに構成されてもよい。
 複数のシナプス回路42は、複数の入力信号線6に対応してそれぞれ設けられる。複数のシナプス回路42の各々は、複数の入力信号線6のうちの対応する入力信号線6と正電荷出力線41aとの間、及び数の入力信号線6のうちの対応する入力信号線6と負電荷出力線41bとの間に接続される共有の抵抗器45を含む。この抵抗器45は、非線形特性を有してもよく、電流の逆流防止機能を有してもよい。抵抗器45の抵抗値は、アナログ回路3に設けられる抵抗器17の抵抗値と同じである。
 従って、各シナプス回路42により、正電荷出力線41aに乗算値(wi +・x)対応する電荷が生成されて出力される。また正電荷出力線41bに乗算値(|wi -|・x)対応する電荷が生成されて出力される。すなわちノイズ埋没判定回路40では、各シナプス回路42から、乗算値(wi +・x)対応する電荷と、乗算値(|wi -|・x)対応する電荷とがともに出力される。本実施形態において、複数のシナプス回路42は、複数の判定用乗算部として機能する。
 ニューロン回路43は、アナログ回路3のニューロン回路9と同様の構成を有する。すなわちニューロン回路43は、、図8に示すスイッチ16a及び16b、キャパシタ13a及び13b、及び差動増幅回路23を有し、正荷重電荷の総量と負荷重電荷の総量との差に対応する電荷(V+-V-)を、判定用信号として用いられる。
 複数のコンパレータ44は、複数のアナログ回路3に対応してそれぞれ設けられる。コンパレータ44の一方の端子は、対応するアナログ回路3の出力に接続される。コンパレータ44の他の端子には、ノイズ埋没判定回路40の出力が接続される。
 本実施形態では、各アナログ回路3から積和信号として出力される電位が、ノイズ埋没判定回路40から判定用信号として出力される電位よりも大きくなる場合に、コンパレータ44から信号が出力される。もちろんこれに限定されず、ノイズ埋没判定回路40から判定用信号として出力される電位が、各アナログ回路3から積和信号として出力される電位よりも大きくなる場合に、コンパレータ44から信号が出力されてもよい。
 本実施形態において、複数のコンパレータ44は、複数のアナログ回路3から出力される複数の積和信号のうち、判定用信号よりも小さい積和信号の数を判定するための判定部として機能する。本実施形態では、アナログ回路3の総数から、信号を出力したコンパレータ44の数を差し引いた数が、判定用信号よりも小さい積和信号の数となる。
 図14は、テスト信号の一例を示す模式図である。ノイズ埋没数の判定が実行される際には、複数の入力信号線6に、同じ入力値に対応する電気信号が入力される。図14に示す例では、テスト信号として、パルス幅がT/2となるPWM信号が用いられる。これに限定されず、同じ入力値に対応する任意の電気信号が用いられてよい。
 複数の入力信号線6にテスト信号が入力されると、各アナログ回路3からは、積和信号として電荷(V+-V-)が出力される。ノイズ埋没判定回路40からは、判定用信号として(V+-V-)が出力される。
 図13に示すように、ノイズ埋没判定回路40では、各シナプス回路42にて正側及び負側の両方に同じ抵抗器45が接続される。従って、正荷重電荷の総量と負荷重電荷の総量との差に対応する電荷(V+-V-)は、ノイズ成分と見做すことが可能となる。従って判定用信号の大きさは、ノイズレベルと見做すことが可能である。
 複数のコンパレータ44により、積和信号がノイズレベルよりも小さくなるアナログ回路3の数が判定される。この複数の入力信号線6にテスト信号が入力された際の、複数のコンパレータ44により判定された数に基づいて、複数のアナログ回路3のうち、ニューロン回路9から出力される積和信号がノイズレベルよりも小さくなる可能性の高いアナログ回路3の数を判定することが可能である。
 ノイズ埋没判定回路40は、各アナログ回路3の出力が、検出限界以下となる出力数「Mx」と検出可能な回路ともいえる。複数のアナログ回路3の総数「M」に対する、出力数「Mx」の比率により、入力期間Tの長さを制御する。例えば総数「M」に対する出力数「Mx」の比率が、所定の閾値よりも大きい場合には、入力期間Tを長く設定する。これにより、ノイズ埋没数を低減させることが可能となり、積和演算結果を精度よく検出することが可能となる。
 なお、複数のコンパレータ44からの出力に基づいて、自動的に入力期間T及び閾値θが設定可能な回路が構成されてもよい。あるいは、演算装置100の設計時に、オペレータ等により、入力期間T及び閾値θが設定されてもよい。
 積和信号として、図7に例示するパルス信号が出力される場合にも、ノイズ埋没判定回路40は実現可能である。各アナログ回路3から積和信号として出力されるパルス信号のパルス幅と、ノイズ埋没判定回路40により判定用信号として出力されるパルス信号のパルス幅を比較する。これにより、複数のアナログ回路3のうち、ニューロン回路9から出力される積和信号がノイズレベルよりも小さくなる可能性の高いアナログ回路3の数を判定することが可能である。
 また、バイナリコネクトの構成が採用されない場合にも、ノイズ埋没判定回路40は実現可能である。例えば、ノイズ埋没判定回路40の判定用乗算部において、互いに同じ値となる正荷重及び負荷重を両方構成させる。これにより、ノイズ成分に対応する判定用信号を出力可能なノイズ埋没判定回路40を実現することが可能となる。
 図15は、ニューラルネットワークの構成例を示す模式図である。例えば、図15に示すように、複数の積和演算、複数の正規化処理、及び複数のプーリング処理を実行することで、ニューラルネットワークが実現される。
 ここで積和演算は、複数のアナログ回路3を含む演算装置100による、複数の積和結果の出力に相当する。正規化処理は、次段の積和演算の入力のために、入力信号を正規化する処理である。プーリング処理は、次段の積和演算の入力数に合わせて、入力信号の数を減らす処理である。正規化処理及びプーリング処理により、処理の簡素化や処理時間の短縮を図ることが可能となる。
 図12に示すように、各々の積和演算が実行される際には、複数のアナログ回路3の正荷重比率の分布や、ノイズ埋没数の判定結果に基づいて、入力期間T及び閾値θを最適化することが可能である。この結果、非常に高い精度で、積和演算結果を検出することが可能となる。
 なお図12では、積和演算1~8をそれぞれ実行する演算装置100が、共通の時定数にて設計された複数のアナログ回路3により構成されている場合が図示されている。従って、各演算装置100において、共通の時定数曲線に基づいて、入力期間T及び閾値θが設定されている。図12では、各演算装置100にて、入力期間Tが異なるように設定されている。これに限定されず、共通の入力期間T及び閾値θが採用されてもよい。
 もちろん、他の構成を有するアナログ回路3により演算装置100が構成され、積和演算が実行されてもよい。この場合でも、複数のアナログ回路3の正荷重比率の分布や、ノイズ埋没数の判定結果に基づいて、入力期間T及び閾値θを適正設定することで、演算結果を精度よく検出することが可能となる。
 以上、本実施形態に係る演算装置100では、複数のアナログ回路3の正荷重比率の分布に基づいて、入力値に応じた電気信号の入力期間の長さが設定される。これにより、消費電力を抑えつつ、各アナログ回路3から出力される積和信号のレベルを増加させることが可能となる。この結果、演算結果を精度よく検出することが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記では、蓄積部により保持された電圧が閾値を過ぎて大きくなるタイミングに基づいて、積和信号を出力する場合を例に挙げた。しかしながら、蓄積部により保持された電圧が閾値を過ぎて小さくなるタイミングに基づいて、積和信号を出力する構成が採用されてもよい。例えば、蓄積部として機能するキャパシタの電圧が、所定のプリセット値となるまで予め充電される。そして信号値と荷重値との乗算値に対応する電荷の和が蓄積された後に、キャパシタを所定の速度で放電する。このような場合、キャパシタにより保持された電圧が閾値を過ぎて小さくなるタイミングに基づいて、積和信号を出力することが可能である。もちろんこのような構成に限定される訳ではない。なお本開示では、キャシタの放電は、キャシタに負の電荷を充電することに含まれる。
 上記では、1対の出力線が用いられる場合を説明した。これに限定されず、3以上の出力線が設けられてもよい。すなわち1以上の任意の数の出力線が用いられる場合でも、上記で説明した本技術は適用可能である。例えば乗算部は、対応する入力線と、1以上の出力線のいずれか1つとの間に接続され荷重値を規定する抵抗器を含み、抵抗器が接続された出力線に乗算値に対応する電荷を出力する。もちろんこれに限定される訳ではない。
 各図面を参照して説明した演算装置、積和演算装置、アナログ回路、シナプス回路、ニューロン回路等の各構成、積和信号の生成方法等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成や方法等が採用されてよい。
 本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)所定の入力期間内に、入力値に応じた電気信号がそれぞれ入力される複数の入力線と、
 各々が、
  前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部と、
  前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する出力部と
  を有し、
  前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成され、
  前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する
 複数の積和演算装置と
 を具備し、
 前記入力期間の長さは、前記複数の積和演算装置の前記正荷重比率の分布に基づいて設定される
 演算装置。
(2)(1)に記載の演算装置であって、
 前記入力値に応じた電気信号は、前記入力期間に対するON時間の長さが前記入力値に対応しているパルス信号である
 演算装置。
(3)(1)又は(2)に記載の演算装置であって、
 前記入力期間の長さは、前記正荷重比率の平均又は分散の少なくとも一方に基づいて設定される
 演算装置。
(4)(1)から(3)のうちいずれか1つに記載の演算装置であって、
 前記入力期間の長さは、前記正荷重比率が50%の付近に多く分布するほど、長く設定される
 演算装置。
(5)(1)から(4)のうちいずれか1つに記載の演算装置であって、
 前記入力期間の長さは、前記正荷重比率の平均が50%に近いほど、長く設定される
 演算装置。
(6)(1)から(5)のうちいずれか1つに記載の演算装置であって、
 前記入力期間の長さは、前記正荷重比率の平均が50%に近い場合、前記正荷重比率の分散が小さいほど、長く設定される
 演算装置。
(7)(1)から(6)のうちいずれか1つに記載の演算装置であって、
 前記入力期間の長さは、前記複数の積和演算装置のうち前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数に基づいて設定される
 演算装置。
(8)(7)に記載の演算装置であって、さらに、
 前記複数の積和演算装置のうち、前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数を判定するための判定回路を具備する
 演算装置。  
(9)(8)に記載の演算装置であって、
 前記判定回路は、
 前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷と、前記入力値に絶対値が前記正の荷重値と同じになる負の荷重値を乗算した乗算値に対応する負荷重電荷とをそれぞれ生成する複数の判定用乗算部と、
 前記複数の判定用乗算部の各々により生成された前記正荷重電荷の総数、及び前記複数の判定用乗算部の各々により生成された前記負荷重電荷の総数の差に対応する電荷に基づいて、判定用信号を出力する判定用出力部と
 前記複数の演算装置から出力される複数の積和信号のうち、前記判定用信号よりも小さい積和信号の数を判定するための判定部と
 を有する
 演算装置。
(10)(9)に記載の演算装置であって、
 前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数は、前記複数の入力線に同じ入力値に対応する電気信号が入力された際の前記判定部により判定された数に基づいて判定される
 演算装置。  
(11)(1)から(10)のうちいずれか1つに記載の演算装置であって、
 前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積する蓄積部を有し、前記蓄積部により保持される電圧に対して所定の閾値により閾値判定を実行することで、前記乗算値の和を表す積和信号を出力する
 演算装置。
(12)(11)に記載の演算装置であって、
 前記蓄積部は、前記正荷重乗算部により生成された前記正荷重電荷を蓄積可能な正電荷蓄積部と、前記負荷重乗算部により生成された前記負荷重電荷を蓄積可能な負電荷蓄積部とを有し、
 前記出力部は、前記正電荷蓄積部、及び前記負電荷蓄積部の各々に対して、前記所定の閾値により閾値判定を実行することで、前記積和信号を出力する
 演算装置。
(13)(11)又は(12)に記載の演算装置であって、
 前記所定の閾値は、前記入力期間の長さに基づいて設定される
 演算装置。
(14)(1)から(13)のうちいずれか1つに記載の演算装置であって、
 前記正の荷重値、及び前記負の荷重値の絶対値は、同じ値で固定されており、
 前記正荷重比率は、前記複数の乗算部の数に対する前記正荷重乗算部の数の比率である
 演算装置。
(15)(1)から(14)のうちいずれか1つに記載の演算装置であって、
 前記複数の積和演算装置の各々は、正電荷出力線と、負電荷出力線とを有し、
 前記複数の乗算部は、前記複数の入力線に対応して設けられ、
 前記正荷重乗算部は、前記複数の入力線のうちの対応する入力線と、前記正電荷出力線との間に接続され前記正の荷重値を規定し非線形特性を有する抵抗器を含み、前記正電荷出力線に前記乗算値に対応する正荷重電荷を出力し、
 前記負荷重乗算部は、前記複数の入力線のうちの対応する入力線と、前記負電荷出力線との間に接続され前記負の荷重値を規定し非線形特性を有する抵抗器を含み、前記負電荷出力線に前記乗算値に対応する負荷重電荷を出力する
 演算装置。
(16)(15)に記載の演算装置であって、
 前記正荷重乗算部が有する抵抗器、及び前記負荷重乗算部が有する抵抗器は、同じ抵抗値を有し、
 前記正荷重比率は、前記抵抗器の総数に対する前記正荷重乗算部が有する抵抗器の数の比率である
 演算装置。
(17)(8)から(10)のうちいずれか1つに記載の演算装置であって、
 前記判定回路は、正電荷出力線と、負電荷出力線とを有し、
 前記複数の判定用乗算部は、前記複数の入力線に対応して設けられ、
 前記複数の判定用乗算部の各々は、前記複数の入力線のうちの対応する入力線と前記正電荷出力線との間、及び前記複数の入力線のうちの対応する入力線と前記負電荷出力線との間の各々に接続され非線形特性を有する共通の抵抗器を含む
 演算装置。
(18)(15)から(17)のうちいずれか1つに記載の積和演算装置であって、
 前記抵抗器は、固定抵抗素子、可変抵抗素子、又はサブスレッショルド領域で動作するMOSトランジスタである
 積和演算装置。
(19)所定の入力期間内に、入力値に応じた電気信号がそれぞれ入力される複数の入力線と、
 各々が、
  前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部と、
  前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する出力部と
  を有し、
  前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成され、
  前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する
 複数のアナログ回路と
 前記複数のアナログ回路を接続して構成されたネットワーク回路と
 を具備し、
 前記入力期間の長さは、前記複数の積和演算装置の前記正荷重比率の分布に基づいて設定される
 積和演算システム。
(20)各々が、
  複数の入力線の各々に入力される入力値に応じた電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部と、
  前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する出力部と
  を有し、
  前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成され、
  前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する
 複数の積和演算装置の前記正荷重比率の分布に基づいて、前記複数の入力線に前記電気信号を入力する入力期間を設定する
 設定方法。
 T…入力期間
 θ…閾値
 1…信号線
 3…アナログ回路
 6…入力信号線
 7…1対の出力線
 7a…正電荷出力線
 7b…負電荷出力線
 8…シナプス回路(乗算部)
 8a…シナプス回路(正荷重乗算部)
 8b…シナプス回路(負荷重乗算部)
 9…ニューロン回路
 10…出力信号線
 11…蓄積部
 12…信号出力部
 13…キャパシタ
 17…抵抗器
 20…コンパレータ
 21…信号生成部
 23…差動増幅回路
 40…ノイズ埋没判定回路
 41a…ノイズ埋没判定回路の正電荷出力線
 41b…ノイズ埋没判定回路の負電荷出力線
 42…ノイズ埋没判定回路のシナプス回路
 43…ノイズ埋没判定回路のニューロン回路
 44…ノイズ埋没判定回路のコンパレータ
 45…ノイズ埋没判定回路の抵抗器
 100…演算装置

Claims (20)

  1.  所定の入力期間内に、入力値に応じた電気信号がそれぞれ入力される複数の入力線と、
     各々が、
      前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部と、
      前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する出力部と
      を有し、
      前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成され、
      前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する
     複数の積和演算装置と
     を具備し、
     前記入力期間の長さは、前記複数の積和演算装置の前記正荷重比率の分布に基づいて設定される
     演算装置。
  2.  請求項1に記載の演算装置であって、
     前記入力値に応じた電気信号は、前記入力期間に対するON時間の長さが前記入力値に対応しているパルス信号である
     演算装置。
  3.  請求項1に記載の演算装置であって、
     前記入力期間の長さは、前記正荷重比率の平均又は分散の少なくとも一方に基づいて設定される
     演算装置。
  4.  請求項1に記載の演算装置であって、
     前記入力期間の長さは、前記正荷重比率が50%の付近に多く分布するほど、長く設定される
     演算装置。
  5.  請求項1に記載の演算装置であって、
     前記入力期間の長さは、前記正荷重比率の平均が50%に近いほど、長く設定される
     演算装置。
  6.  請求項1に記載の演算装置であって、
     前記入力期間の長さは、前記正荷重比率の平均が50%に近い場合、前記正荷重比率の分散が小さいほど、長く設定される
     演算装置。
  7.  請求項1に記載の演算装置であって、
     前記入力期間の長さは、前記複数の積和演算装置のうち前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数に基づいて設定される
     演算装置。
  8.  請求項7に記載の演算装置であって、さらに、
     前記複数の積和演算装置のうち、前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数を判定するための判定回路を具備する
     演算装置。  
  9.  請求項8に記載の演算装置であって、
     前記判定回路は、
     前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷と、前記入力値に絶対値が前記正の荷重値と同じになる負の荷重値を乗算した乗算値に対応する負荷重電荷とをそれぞれ生成する複数の判定用乗算部と、
     前記複数の判定用乗算部の各々により生成された前記正荷重電荷の総数、及び前記複数の判定用乗算部の各々により生成された前記負荷重電荷の総数の差に対応する電荷に基づいて、判定用信号を出力する判定用出力部と
     前記複数の演算装置から出力される複数の積和信号のうち、前記判定用信号よりも小さい積和信号の数を判定するための判定部と
     を有する
     演算装置。
  10.  請求項9に記載の演算装置であって、
     前記出力部から出力される前記積和信号がノイズレベルよりも小さくなる可能性の高い積和演算装置の数は、前記複数の入力線に同じ入力値に対応する電気信号が入力された際の前記判定部により判定された数に基づいて判定される
     演算装置。  
  11.  請求項1に記載の演算装置であって、
     前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積する蓄積部を有し、前記蓄積部により保持される電圧に対して所定の閾値により閾値判定を実行することで、前記乗算値の和を表す積和信号を出力する
     演算装置。
  12.  請求項11に記載の演算装置であって、
     前記蓄積部は、前記正荷重乗算部により生成された前記正荷重電荷を蓄積可能な正電荷蓄積部と、前記負荷重乗算部により生成された前記負荷重電荷を蓄積可能な負電荷蓄積部とを有し、
     前記出力部は、前記正電荷蓄積部、及び前記負電荷蓄積部の各々に対して、前記所定の閾値により閾値判定を実行することで、前記積和信号を出力する
     演算装置。
  13.  請求項11に記載の演算装置であって、
     前記所定の閾値は、前記入力期間の長さに基づいて設定される
     演算装置。
  14.  請求項1に記載の演算装置であって、
     前記正の荷重値、及び前記負の荷重値の絶対値は、同じ値で固定されており、
     前記正荷重比率は、前記複数の乗算部の数に対する前記正荷重乗算部の数の比率である
     演算装置。
  15.  請求項1に記載の演算装置であって、
     前記複数の積和演算装置の各々は、正電荷出力線と、負電荷出力線とを有し、
     前記複数の乗算部は、前記複数の入力線に対応して設けられ、
     前記正荷重乗算部は、前記複数の入力線のうちの対応する入力線と、前記正電荷出力線との間に接続され前記正の荷重値を規定し非線形特性を有する抵抗器を含み、前記正電荷出力線に前記乗算値に対応する正荷重電荷を出力し、
     前記負荷重乗算部は、前記複数の入力線のうちの対応する入力線と、前記負電荷出力線との間に接続され前記負の荷重値を規定し非線形特性を有する抵抗器を含み、前記負電荷出力線に前記乗算値に対応する負荷重電荷を出力する
     演算装置。
  16.  請求項15に記載の演算装置であって、
     前記正荷重乗算部が有する抵抗器、及び前記負荷重乗算部が有する抵抗器は、同じ抵抗値を有し、
     前記正荷重比率は、前記抵抗器の総数に対する前記正荷重乗算部が有する抵抗器の数の比率である
     演算装置。
  17.  請求項8に記載の演算装置であって、
     前記判定回路は、正電荷出力線と、負電荷出力線とを有し、
     前記複数の判定用乗算部は、前記複数の入力線に対応して設けられ、
     前記複数の判定用乗算部の各々は、前記複数の入力線のうちの対応する入力線と前記正電荷出力線との間、及び前記複数の入力線のうちの対応する入力線と前記負電荷出力線との間の各々に接続され非線形特性を有する共通の抵抗器を含む
     演算装置。
  18.  請求項15に記載の積和演算装置であって、
     前記抵抗器は、固定抵抗素子、可変抵抗素子、又はサブスレッショルド領域で動作するMOSトランジスタである
     積和演算装置。
  19.  所定の入力期間内に、入力値に応じた電気信号がそれぞれ入力される複数の入力線と、
     各々が、
      前記複数の入力線の各々に入力される前記電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部と、
      前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する出力部と
      を有し、
      前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成され、
      前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する
     複数のアナログ回路と
     前記複数のアナログ回路を接続して構成されたネットワーク回路と
     を具備し、
     前記入力期間の長さは、前記複数の積和演算装置の前記正荷重比率の分布に基づいて設定される
     積和演算システム。
  20.  各々が、
      複数の入力線の各々に入力される入力値に応じた電気信号に基づいて、前記入力値に荷重値を乗算した乗算値に対応する電荷を生成する複数の乗算部と、
      前記複数の乗算部の各々により生成された前記乗算値に対応する電荷を蓄積し、前記蓄積された電荷に基づいて、前記乗算値の和を表す積和信号を出力する出力部と
      を有し、
      前記複数の乗算部は、前記入力値に正の荷重値を乗算した乗算値に対応する正荷重電荷を生成する正荷重乗算部、又は前記入力値に負の荷重値を乗算した乗算値に対応する負荷重電荷を生成する負荷重乗算部の少なくとも一方を含み、前記荷重値の絶対値の総和に対する前記正の荷重値の総和の比率である正荷重比率が0%から100%までの間のいずれかの比率となるように構成され、
      前記出力部は、前記正荷重乗算部により生成された前記正荷重電荷、又は前記負荷重乗算部により生成された前記負荷重電荷の少なくとも一方を蓄積することで、前記積和信号を出力する
     複数の積和演算装置の前記正荷重比率の分布に基づいて、前記複数の入力線に前記電気信号を入力する入力期間を設定する
     設定方法。
PCT/JP2020/001471 2019-02-04 2020-01-17 演算装置、積和演算システム及び設定方法 WO2020162141A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080011337.6A CN113474782A (zh) 2019-02-04 2020-01-17 算术装置、积和算术系统和设定方法
US17/425,055 US11836461B2 (en) 2019-02-04 2020-01-17 Arithmetic apparatus, multiply-accumulate system, and setting method
DE112020000661.1T DE112020000661T5 (de) 2019-02-04 2020-01-17 Arithmetikeinrichtung, multiplizier-akkumulier-system und einstellverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-018104 2019-02-04
JP2019018104A JP2020126427A (ja) 2019-02-04 2019-02-04 演算装置、積和演算システム及び設定方法

Publications (1)

Publication Number Publication Date
WO2020162141A1 true WO2020162141A1 (ja) 2020-08-13

Family

ID=71947552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001471 WO2020162141A1 (ja) 2019-02-04 2020-01-17 演算装置、積和演算システム及び設定方法

Country Status (5)

Country Link
US (1) US11836461B2 (ja)
JP (1) JP2020126427A (ja)
CN (1) CN113474782A (ja)
DE (1) DE112020000661T5 (ja)
WO (1) WO2020162141A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034163A1 (ja) * 2016-08-19 2018-02-22 国立大学法人 九州工業大学 積和演算装置
WO2018168293A1 (ja) * 2017-03-14 2018-09-20 国立大学法人北海道大学 重み符号固定学習装置
WO2018235449A1 (ja) * 2017-06-19 2018-12-27 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272967B2 (ja) * 2003-10-16 2009-06-03 キヤノン株式会社 演算回路およびその動作制御方法
JP4620943B2 (ja) * 2003-10-16 2011-01-26 キヤノン株式会社 積和演算回路及びその方法
EP1676197B1 (en) * 2003-10-16 2012-01-18 Canon Kabushiki Kaisha Operation circuit and operation control method thereof
US11315009B2 (en) * 2017-03-03 2022-04-26 Hewlett Packard Enterprise Development Lp Analog multiplier-accumulators
WO2020065881A1 (ja) * 2018-09-27 2020-04-02 Tdk株式会社 積和演算器、ニューロモーフィックデバイス及び積和演算方法
DE112019005195T5 (de) * 2018-10-19 2021-07-08 Semiconductor Energy Laboratory Co., Ltd. Halbleitervorrichtung und elektronisches Gerät

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034163A1 (ja) * 2016-08-19 2018-02-22 国立大学法人 九州工業大学 積和演算装置
WO2018168293A1 (ja) * 2017-03-14 2018-09-20 国立大学法人北海道大学 重み符号固定学習装置
WO2018235449A1 (ja) * 2017-06-19 2018-12-27 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置

Also Published As

Publication number Publication date
JP2020126427A (ja) 2020-08-20
CN113474782A (zh) 2021-10-01
US11836461B2 (en) 2023-12-05
DE112020000661T5 (de) 2021-12-09
US20220100469A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
KR102403307B1 (ko) 곱합 연산 장치
WO2020013069A1 (ja) 積和演算装置、積和演算回路、積和演算システム、及び積和演算方法
WO2021044821A1 (ja) 演算装置及び積和演算システム
WO2020162241A1 (ja) 演算装置、及び積和演算システム
JP7447790B2 (ja) 演算装置、積和演算装置、積和演算システム、及び積和演算方法
WO2020255599A1 (ja) 演算装置及び積和演算システム
WO2020195867A1 (ja) 演算装置及び積和演算システム
WO2020162141A1 (ja) 演算装置、積和演算システム及び設定方法
WO2020195546A1 (ja) 演算装置及び積和演算システム
Ramírez-Mendoza Study of the response of the connection of Adaptive Fuzzy Spiking Neurons with self-synapse in each single neuron
JP3507695B2 (ja) カオスニューラルネットワークを用いた信号検出方法及び装置
Amarnath et al. Employing Analog Circuits by Neural-Network based Multi-Layer-Perceptron
WO2020013075A1 (ja) 積和演算システム及び積和演算方法
Sudha et al. Utilizing Analog Circuits by Neural-Network based Multi-Layer-Perceptron
Sano et al. A method of analyzing information represented in neural networks
Kang et al. Neural networks for optimization problem with nonlinear constraints
JP2009238031A (ja) 識別装置及び残存容量推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20752866

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20752866

Country of ref document: EP

Kind code of ref document: A1