WO2018235448A1 - 多層ニューラルネットワークのニューロンの出力レベル調整方法 - Google Patents

多層ニューラルネットワークのニューロンの出力レベル調整方法 Download PDF

Info

Publication number
WO2018235448A1
WO2018235448A1 PCT/JP2018/018298 JP2018018298W WO2018235448A1 WO 2018235448 A1 WO2018235448 A1 WO 2018235448A1 JP 2018018298 W JP2018018298 W JP 2018018298W WO 2018235448 A1 WO2018235448 A1 WO 2018235448A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
neuron
layer
neural network
value
Prior art date
Application number
PCT/JP2018/018298
Other languages
English (en)
French (fr)
Inventor
イリナ カタエヴァ
茂樹 大塚
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2018235448A1 publication Critical patent/WO2018235448A1/ja
Priority to US16/710,296 priority Critical patent/US12026608B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors

Definitions

  • the present disclosure relates to a method of adjusting output levels of neurons in a multilayer neural network.
  • Multilayer neural networks are information processing mechanisms designed to mimic the behavior of human neural networks.
  • This multi-layered neural network typically comprises an input layer including input neurons for receiving input values and distributing them to other neurons, and an output layer including output neurons for outputting output values to the outside. , And an intermediate layer including an intermediate neuron existing between the input neuron and the output neuron.
  • the input neuron transmits the input value to the intermediate neuron as it is without processing the input value.
  • the intermediate neuron and the output neuron calculate the sum of the output values of the plurality of neurons in the previous layer multiplied by the positive or negative weight indicating the strength of the connection, respectively, and the calculated value is used as the activation function Through to the output value.
  • the sigmoid function is a function in which the output value changes between 0 and 1 according to the sigmoid curve, with the input value at 0.
  • the hyperbolic tangent function is a function in which an output value changes between -1 and 1 according to a hyperbola caused by tanh with the input value 0 as a boundary.
  • Non-Patent Document 1 describes that the learning time of a multilayer neural network can be shortened by using ReLU. Furthermore, Non-Patent Document 1 also shows that although ReLU does not saturate the output without normalizing the input, the recognition error rate can be reduced by normalizing the output of ReLU.
  • Non-Patent Document 1 various calculations in a multilayer neural network are digitally performed using a GPU (Graphics Processing Unit). Therefore, the output of ReLU can be easily normalized.
  • the GPU Graphics Processing Unit
  • the hardware circuit there is a hybrid CMOS circuit in which a resistance change type memory (memister) which can be set to a different resistance state depending on an applied voltage or current as shown in, for example, Patent Document 1 is incorporated. .
  • weights are given to input values by means of a memristor provided at the intersection of the crossbar circuit where the input bar and the output bar intersect. Then, an integrated circuit constituted by a CMOS element is connected to the output bar, and this integrated circuit functions as a neuron by adding input values to which weights are given, or adding input values to output values according to the activation function. Perform generation in the analog domain.
  • Patent Document 1 in the case where generation of an output value corresponding to an activation function is performed in an analog domain in an integrated circuit (analog processing circuit) configured by a CMOS element, as described below It is thought that it arises. The situation described below is particularly likely to occur when using an activation function whose upper limit is not defined as the output value such as ReLU, since the output value of the neuron in the upper layer tends to increase.
  • an output range which is an outputtable range is restricted according to the circuit configuration and the characteristics of circuit elements. Therefore, when the output value corresponding to the activation function is large, the output value may be saturated due to the limitation by the output range. If the output value is saturated, the circuit that performs processing as the activation function can not output the correct output value.
  • the present disclosure relates to a neuron of a multilayer neural network capable of suppressing the occurrence of saturation of the output of the analog processing circuit and a change in conductance of the memory when the multilayer neural network is configured using the memristor and the analog processing circuit. It aims at providing an output level adjustment method.
  • a method of adjusting output levels of neurons in a multi-layer neural network transmits signals for transmission between layered neurons of the multi-layer neural network and signal processing in the neurons in an analog domain.
  • the resistance change type memory which adds a weight as synapse to the signal to be added, and addition of the signal to which each weight is added and signal output from the added signal according to the activation function as signal processing in the neuron
  • the invention is applied to a multi-layer neural network comprising an analog processing circuit that performs value generation.
  • the method of adjusting the output level of the neuron of the multi-layered neural network generates output values according to the activation function that are lower than the write threshold voltage of the memristor even when the output value of the neuron of each layer becomes the largest. And adjusting the output levels of the neurons of each layer so that they fall within the set maximum output range of the analog processing circuit that performs the.
  • the output value corresponding to the activation function may be saturated due to the limitation by the output range of the analog processing circuit, or the conductance of the memristor of the next layer may be changed by the output value. Can be suppressed. Therefore, it is possible to avoid deterioration in accuracy of recognition, prediction, motion control and the like by the multi-layered neural network.
  • FIG. 1 conceptually illustrates an example of the structure of a multilayer neural network according to an embodiment
  • FIG. 3 is a block diagram showing the configuration of the multi-layered neural network of FIG. 1 embodied using a crossbar circuit, It is a figure for demonstrating a crossbar circuit
  • FIG. 10 is another diagram for explaining the crossbar circuit
  • FIG. 10 is yet another diagram for explaining the crossbar circuit
  • FIG. 8 is a graph showing the amplitude of the maximum output among the output values of each output neuron of the first convolution layer, FIG.
  • FIG. 17 is a graph showing the amplitude of the maximum output among the output values of the output neurons of the second convolution layer
  • FIG. 17 is a graph showing the amplitude of the maximum output among the output values of the output neurons of the third convolution layer
  • FIG. 17 is a graph showing the amplitude of the maximum output among the output values of the output neurons of the fourth convolution layer
  • FIG. 17 is a graph showing the amplitude of the maximum output among the output values of the output neurons of the fifth convolution layer
  • FIG. 16 is a graph showing the amplitude of the maximum output among the output values of the output neurons of the sixth convolution layer
  • FIG. 17 is a graph showing the amplitude of the maximum output among the output values of the output neurons of the seventh convolution layer
  • FIG. 6 is a flow chart showing a process for adjusting the output level of the neuron according to the first embodiment
  • FIG. 17 is a graph showing an example of the amplitude of the maximum output output from the output neuron of each convolution layer when using the modified filter weight and the modified bias input; It is the flowchart which showed the process for adjusting the output level of the neuron by a 2nd embodiment.
  • a first embodiment of a method of adjusting output levels of neurons of a multilayer neural network according to the present disclosure will be described with reference to the drawings.
  • a so-called convolution neural network is adopted as a multi-layered neural network and the image as input data is applied to classification into a plurality of categories.
  • the present disclosure can also be applied to a conventional multi-layered neural network consisting of so-called input layers, intermediate layers, and output layers.
  • the convolutional neural network 20 corresponds to an example of a multilayer neural network.
  • FIG. 1 conceptually shows an example of the structure of a convolutional neural network 20 according to the present embodiment.
  • the convolutional neural network 20 basically has a structure in which convolution layers and pooling layers are alternately connected.
  • the convolutional neural network 20 includes the first convolution layer 21, the second convolution layer 22, the third convolution layer 23, the fourth convolution layer 24, the fifth convolution layer 25, It has a seven-layer convolution layer consisting of the sixth convolution layer 26 and the seventh convolution layer 27.
  • a first pooling layer 28 is provided between the second convolution layer 22 and the third convolution layer 23, and a second pooling is provided between the fourth convolution layer 24 and the fifth convolution layer 25.
  • Layer 29 is provided.
  • the pooling layer is not necessarily connected next to the convolution layer, and the pooling layer may be connected after connecting a plurality of convolution layers.
  • the number of layers of the convolution layers 21 to 27 and the pooling layers 28 to 29 is not limited to the example shown in FIG. In general, as the number of layers of the convolution layers 21 to 27 and the pooling layers 28 to 29 is increased, the recognition performance can be further improved.
  • the first to seventh convolution layers 21 to 27 perform an operation to convolute a filter having a predetermined size (for example, 3 ⁇ 3, 5 ⁇ 5) with respect to input data (image) input thereto.
  • An image as input data has input values (pixel values) arranged in two dimensions.
  • the convolution operation of the filters in each of the convolution layers 21 to 27 involves convolution of filters in general image processing, that is, convolution of a small-sized image (filter) into the input image in two dimensions to blur the image or Basically, it is the same as emphasizing an edge.
  • each pixel value (weight) of a small size image as a filter and the same size as a filter in an image as input data are used as a filter convolution operation.
  • the multiplication results obtained by multiplying the respective pixel values in the region of 1 are integrated.
  • a convolution operation by the same filter is performed in the same region of the plurality of input images, and the operation result of the convolution operation is further integrated.
  • the integration result calculated in this way becomes an output value corresponding to the filter position of each of the convolution layers 21 to 27 through an activation function such as ReLU.
  • the filter is shifted on the image as input data at a predetermined stride, and the convolution operation described above is repeatedly performed at each shift position.
  • an output value corresponding to the shift position of each filter is created over the entire input image.
  • the result of two-dimensionally combining those output values so as to correspond to the shift position of the filter becomes output data by each of the convolution layers 21 to 27, and becomes input data of the next layer.
  • the output data of each convolution layer 21 to 27 takes the form of an image two-dimensionally arranged, and is generally called a feature map.
  • This feature map is generated in the same number as the number of filters used in each convolution layer 21-27. Therefore, in general, input data including a plurality of input images (feature maps) is input to each of the convolution layers 22 to 27 after the second convolution layer 22. Further, also in the first convolution layer 21, when the input image is a color image, three images corresponding to RGB are input. On the other hand, when the input image is a grayscale image, only one image is input to the first convolution layer 21.
  • the size of the filter used in the sixth and seventh convolution layers 26 and 27 is set to 1 ⁇ 1. That is, in the sixth and seventh convolution layers 26 and 27, a 1 ⁇ 1 convolution operation is performed in which pixel values at the same position in each input image are multiplied by filter weights and then added. It is also possible to use so-called all bonding layers as the sixth and seventh convolution layers 26 and 27, but in the present embodiment, each convolution layer 21 including the sixth and seventh convolution layers 26 and 27 is used.
  • a convolution layer which performs a 1x1 convolutional operation as described above is employed. This is because the use of a full bonding layer makes the number of input bars too large to cope with one crossbar circuit. The crossbar circuit will be described in detail later.
  • ReLU is used as the activation function.
  • ReLU is a function defined by max (0, x).
  • the above-described filter weights are determined by learning.
  • the learning is performed by supervised learning in the present embodiment, once the convolutional neural network 20 is constructed on a computer.
  • the target of learning includes not only the above-described filter weight but also the magnitude of the weight for the bias input described later.
  • the first and second pooling layers 28, 29 discard the part of the information indicating the position of the input image where the compatibility with the filter is high, thereby making the invariance to the positional change of the feature appearing in the input image It is intended to increase the size of the image and reduce the amount of calculation later.
  • the first and second pooling layers 28 and 29 define a window of a predetermined size (2 ⁇ 2, 3 ⁇ 3, etc.) with respect to the input image, and input values (pixel values) in the window.
  • a plurality of input values of the input image are put together by averaging (average pooling) or adopting the maximum value of the input values in the window (maximum pooling).
  • the windows are shifted in the row and column directions so that the windows that define the pooling range do not overlap. However, the windows may be shifted so that the windows defining the pooling range partially overlap.
  • the number of input images before and after pooling remains unchanged.
  • the output layer 30 is configured to output, for example, the probability that an image as the input data 10 belongs to each of a plurality of categories to be classified, by normalization using a soft max function. Therefore, the image as the input data 10 can be classified into a plurality of categories by selecting the category corresponding to the highest probability among the probabilities output by the output layer 30.
  • the microcomputer 40, the D / A conversion circuit 43, the crossbar circuit 44, and the A / D conversion are mainly used as components for realizing the convolutional neural network 20.
  • a circuit 45 is provided.
  • the crossbar circuit 44 is configured, for example, as a hybrid CMOS circuit in which a memristor, which is a resistance change memory, is incorporated.
  • the crossbar circuit 44 adds weights to the input signals by the memristor, adds the weighted input signals input to the respective neurons for each neuron, and adds the result to the activation function. It is an analog processing circuit that performs processing for generating an output value in the analog domain.
  • the crossbar circuit 44 includes a plurality of input bars 50, a plurality of output bars 51 and 52, a plurality of memristor 53 for weighting input signals, and a plurality of differential operational amplifiers 54.
  • An input signal (voltage signal) corresponding to each pixel value of the area of the same size as the above-described filter in the input image is input to the plurality of input bars 50 by the microcomputer 40.
  • the plurality of output bars 51 and 52 are provided to intersect with the plurality of input bars 50 respectively.
  • These input bars 50 and output bars 51, 52 can be formed on a CMOS substrate on which CMOS devices are formed, as shown in FIG.
  • a voltage signal corresponding to the above-described pixel value is input to the input bar 50 through the input neuron 55 made of a CMOS element.
  • a memristor 53 for giving a weight to an input signal is provided at the intersection of the input bar 50 and the output bar 51, and the input bar 50 and the output bar 51 are connected via the memristor 53.
  • the memristor 53 is a resistance change type memory that can be set to a different resistance state between the minimum value and the maximum value depending on the applied voltage or the current flow. For example, the conductance of the memristor 53 can be increased by applying a negative write voltage using a voltage application circuit (not shown), and can be decreased by applying a positive write voltage. The memristor 53 maintains the set resistance state (conductance) unless a voltage equal to or higher than the positive and negative write voltages is applied.
  • Elements usable as such a memory element 53 include Pt / TiO 2 / Pt metal oxide elements, phase change memories, magnetic tunnel junction memories, and the like.
  • FIG. 4 The configuration shown in FIG. 4 is shown as an electrical circuit as shown in FIG.
  • an operational amplifier is formed by the CMOS elements that constitute the output neuron 56 connected to the output bar 51.
  • the resistor R is connected between the input and the output of the operational amplifier to configure the adder 57. Therefore, as shown in FIG. 5, the voltage signals V1 and V2 respectively input from the input neuron 55 to the input bar 50 are connected to the output bar 51 after being multiplied by the conductances G1 and G2 by the memristor 53, respectively. Is added by the adder 57. The addition result is multiplied by R in the adder 57.
  • the output neuron 56 the multiplication results of the voltage signals V1, V2,...
  • Output voltage of output neuron R ⁇ ViGi
  • the output bar 51 is connected to the non-inverting input terminal of the differential operational amplifier 54
  • the output bar 52 is connected to the inverting input terminal of the differential operational amplifier 54.
  • Differential operational amplifier 54 may be configured using CMOS elements in a CMOS substrate.
  • the adder 57 shown in FIG. 5 is omitted.
  • an activation function processing circuit that performs processing as the above-described activation function is also omitted.
  • the adder 57 is provided on each of the output bars 51 and 52 on the input side of the differential operational amplifier 54, and the activation function processing circuit is provided on the output side of the differential operational amplifier 54.
  • the integrated circuit configured by the CMOS elements includes the adder 57, the differential operational amplifier 54, the activation function processing circuit, and the like.
  • the output bars 51 and 52 are connected to the non-inverted input terminal and the inverted input terminal of the differential operational amplifier 54, not only positive weights but also negative weights are used as a filter. It is possible to perform a convolution operation. That is, when a certain input signal is multiplied by a positive weight, the conductance of the memristor 53 provided between the output bar 51 connected to the non-inverted input terminal and the input bar 50 is set to the inverted input terminal. The conductance of the memristor 53 provided between the connected output bar 52 and the input bar 50 may be set larger by the positive weight to be set.
  • the conductance of the memristor 53 provided between the output bar 52 connected to the inverting input terminal and the input bar 50 is the non-inverting input terminal
  • the conductance of the memristor 53 provided between the output bar 51 connected to the input bar 50 and the input bar 50 may be set larger by a negative weight to be set.
  • two output bars 51 and 52 form one set, and for the memristor 53 between the one set of output bars 51 and 52 and the input bar 50, Weights corresponding to the respective filters 1, 2, 3,... Used in the corresponding convolution layers 21 to 27 are set.
  • the microcomputer 40 includes a CPU 41, a RAM 42, a ROM, and the like, and performs various processes in accordance with a program stored in, for example, the ROM (corresponding to an example of a non-transitional tangible storage medium). Although the process for the first convolution layer 21 is described below, the microcomputer 40 performs the same process in principle for the other convolution layers 22 to 27.
  • the microcomputer 40 determines an area for performing the convolution operation of the filter, and outputs a digital signal corresponding to the pixel value of each pixel included in the area to the D / A conversion circuit 43.
  • the D / A conversion circuit 43 outputs, to the crossbar circuit 44, an analog signal (voltage signal) corresponding to each pixel value in the area where the convolution operation is performed.
  • the microcomputer 40 executes a process of taking in the output from the A / D conversion circuit 45 at the timing when the operation process in the crossbar circuit 44 is finished and the output is output.
  • the A / D conversion circuit 45 converts the output value processed by the activation function and the convolution operation at the shift position of a certain filter into the digital signal as many as the number of filters used in the first convolution layer 21 Converted and output.
  • the microcomputer 40 stores the digital signal output from the A / D conversion circuit 45 in the RAM 42 by discriminating the plurality of filters.
  • the microcomputer 40 shifts the area for performing the filter convolution operation by a predetermined stride in the input image, and outputs the digital signal corresponding to the pixel value included in the area after the shift to the D / A conversion circuit 43 And perform the same process as described above. This is repeated until the filter shift is complete in all regions of the input image.
  • digital data indicating feature maps as many as the number of filters created by the first convolution layer 21 is stored in the RAM 42.
  • the convolutional neural network 20 is constructed on a computer, and the weight of the filter and the magnitude of the bias input are learned using a general gradient descent method, an error back propagation method, or the like. Be done. By this learning, weights for filter weights and bias inputs in the convolution layers 21 to 27 are optimized.
  • the levels of the output values of the convolution layers 21 to 27 at the end of learning largely differ from each other.
  • an activation function such as ReLU whose output value does not have an upper limit
  • the output value tends to increase as the upper layer neuron is closer to the output layer.
  • the level difference between the 27 output values tends to be large.
  • FIGS. 6-12 An example of the level difference of the output value of the neuron of each convolution layer 21-27 is shown in FIGS. 6-12.
  • FIGS. 6 to 12 are plots of the maximum output amplitude of the output neuron 56 belonging to each convolution layer 21 to 27 when an image is input to the convolutional neural network 20.
  • FIG. Not only the output levels of the convolution layers 21 to 27 differ but also the output levels of the output neurons 56 belonging to the same convolution layers 21 to 27 greatly fluctuate, so the vertical axes in FIGS. It has a logarithmic scale.
  • FIG. 6 shows the amplitude of the maximum output among the output values of the output neurons 56 of the first convolution layer 21 in units of a predetermined output value (voltage value). As shown in FIG. 6, the maximum output of the output neuron 56 belonging to the first convolution layer 21 is dispersed in the range of about 2.5 to about 15.
  • FIG. 7 shows the maximum output amplitude of the output neuron 56 belonging to the second convolution layer 22. As shown in FIG. 7, the maximum output of each output neuron 56 belonging to the second convolution layer 22 is distributed in the range of about 15 to about 50.
  • the third to sixth convolution layers 23 to 26 have 192 output neurons 56.
  • the maximum output of each output neuron 56 belonging to the third convolution layer 23 is dispersed in the range of about 15 to about 65, as shown in FIG.
  • the maximum output of each output neuron 56 belonging to the fourth convolution layer 24 is distributed in the range of about 25 to about 110, as shown in FIG.
  • the maximum output of each output neuron 56 belonging to the fifth convolution layer 25 is dispersed in the range of about 18 to about 80, as shown in FIG.
  • the maximum output of each output neuron 56 belonging to the sixth convolution layer 26 is distributed in the range of about 2 to about 70, as shown in FIG.
  • the seventh convolution layer 27 has 10 output neurons 56 according to the number of categories to be classified.
  • the maximum output of each output neuron 56 belonging to the seventh convolution layer 27 is distributed in the range of about 280 to about 600, as shown in FIG.
  • the maximum output of the output neuron 56 of each of the convolution layers 21 to 27 has a difference of 200 times or more. Furthermore, the maximum outputs of the output neurons belonging to the same convolution layers 21 to 27 also have an opening several to several tens of times.
  • the activation function processing circuit that performs processing as an activation function is provided in an integrated circuit configured of a CMOS element as a part of an analog processing circuit. Therefore, in the activation function processing circuit, the output range, which is the possible output range, is restricted in accordance with the circuit configuration and the characteristics of the circuit elements. Therefore, in the case where the maximum output is dispersed in the above-described range, the output value may be saturated without being included in the output range. If the output value is saturated, the activation function processing circuit can not output the correct output value.
  • the output neuron 56 in the front layer when the output neuron 56 in the front layer generates an excessive output value and an input value corresponding to the output value is input, a voltage equal to or higher than the write threshold is applied and the conductance is increased. Is likely to change. If the conductance of the memristor 53 has changed, it becomes impossible to give the weight to be given to the input value.
  • the weights of the learned filter and the bias input are not set as they are in the memristor 53 of the crossbar circuit 44, but are corrected so that the output levels of the respective output neurons become appropriate. I decided to use it.
  • the adjustment method of the output level of the neuron in this embodiment will be described with reference to the flowchart of FIG.
  • the process shown in the flowchart of FIG. 13 is executed by a computer that constructs a convolutional neural network 20 as a multilayer neural network.
  • a method such as gradient descent method or error back propagation method is applied to the convolutional neural network 20 constructed on the computer, and the weights for the filter weights and bias inputs of the convolution layers 21 to 27 are applied. Learn the size.
  • the magnitude of the bias input of each layer is set to a predetermined value (for example, 1).
  • the output value output from 56 is detected.
  • a plurality of images may be input to detect the output value of the output neuron 56 of each layer.
  • the maximum output among the output values of the output neurons 56 of the convolution layers 21 to 27 is selected for each output neuron 56. Furthermore, in S120, based on the maximum value among the maximum outputs of the output neurons 56 included in the respective convolution layers 21 to 27 for each of the convolution layers 21 to 27, the outputs on the respective convolution layers 21 to 27 The output maximum value of the neuron 56 is determined.
  • the scaling factor is calculated for each of the convolution layers 21 to 27 based on the output maximum value determined in S120 and the maximum output range of the activation function processing circuit.
  • the calculation of the scaling factor is sequentially performed from the first convolution layer 21 to the seventh convolution layer 27.
  • the input voltage to the next layer is the write threshold voltage of the memristor 53 even when the output of the activation function processing circuit reaches the upper limit value of the maximum output range. For example, it is set so as not to become 0.9 V or more.
  • the maximum output range of the activation function processing circuit is set in the range of less than 0.5 V, and is 0.2 V in this embodiment.
  • the output maximum value of each of convolution layers 21 to 27 is set according to the input image.
  • the write threshold voltage of the memristor 53 can not be reached.
  • the first layer scaling factor for the first convolution layer 21 is calculated, for example, according to Equation 2 below.
  • Scaling_factor_layer1 maximum neuron output_layer1 / max_range
  • the value corresponding to the largest output value of the output neuron 56 included in the first convolution layer 21 is taken as the first layer output maximum value, and this first layer output maximum value is used as the maximum value of the activation function processing circuit. Divide by output range to calculate the first layer scaling factor.
  • the second layer scaling factor for the second convolution layer 22 is calculated, for example, according to Equation 3 below.
  • (Number 3) Scaling_factor_layer2 (maximum neuron output_layer2 / max_range) / Scaling_factor_layer1
  • the second layer scaling factor is obtained by dividing the second output maximum value corresponding to the largest output value of the output neuron 56 included in the second convolution layer 22 by the maximum output range of the activation function processing circuit. Calculate the result by dividing it by the first layer scaling factor.
  • the output value of each output neuron 56 of the first convolution layer 21 is corrected (reduced) to the appropriate range by the first layer scaling factor by the process of S140 described later. Therefore, the input value input to the second convolution layer 22 is affected by the correction by the first layer scaling factor.
  • the second layer scaling factor is calculated taking into account the first scaling factor as described above.
  • the scaling factors for the third to seventh convolution layers 23 to 27 are also calculated according to, for example, Equation 4 below, similarly taking into account the scaling factor of the lower layer.
  • Scaling_factor_layerN (maximum neuron output_layerN / max_range) / (Scaling_factor_layer1 * ... * Scaling_factor_layerN-1)
  • the scaling factors of the upper layers of the third to seventh convolution layers 23 to 27 are calculated after cumulative factors of the scaling factors of lower layers are considered.
  • the process proceeds to S140.
  • the filter weights of the convolution layers 21 to 27 learned at S100 and the weight magnitudes for the bias inputs are corrected using the scaling factor of each layer calculated at S130. Specifically, for each convolution layer 21 to 27, dividing the learned original filter weights and weights for the bias input by the corresponding scaling factors, as shown in Equations 5 and 6 below: Thus, the corrected filter weight and the corrected bias input weight are calculated.
  • W scaled_layerN W original_layerN / Scaling_factor_layerN (Number 6)
  • W_Bias scaled_layerN W_Bias original_layerN / (Scaling_factor_layerN * Scaling_factor_layer (N-1) *... * Scaling_factor_layer2 * Scaling_factor_layer1)
  • Information on the corrected filter weight and the corrected bias input weight is provided to a conductance setting device not shown.
  • the conductance setting device applies a voltage higher than the write threshold voltage of the memristor 53 between the input bar 50 and the output bar 51, 52 of the crossbar circuit 44 of each of the convolution layers 21 to 27, Set the conductance corresponding to the corrected filter weight and the corrected bias input weight.
  • the scaling factor of each layer is calculated, and the scaling factor of the filter weight of each layer is used to correct the output value of the output neuron 56 of each layer by using the scaling factor.
  • the possibility of being within the range of the maximum output range of the processing circuit can be increased, and furthermore, the write threshold voltage of the memory 53 can be prevented from being exceeded.
  • ReLU used as an activation function in this embodiment is a linear function in the positive range, even if filter weights and bias inputs are corrected by a scaling factor, recognition performance is not adversely affected. .
  • the graph of FIG. 14 shows the result of examining the amplitude of the maximum output output from the output neuron 56 of each of the convolution layers 21 to 27 when the modified filter weight and the modified bias input weight are used.
  • the amplitude of the maximum output of the output neuron 56 of each convolution layer 21-27 is shown superimposed.
  • the amplitude of the output of the output neuron 56 of any layer is in the range of 0-2.
  • the unit of the maximum output amplitude is determined to correspond to 0.1 V when converted to a voltage value. Therefore, in the example of FIG. 14, the output value of the output neuron 56 of each layer is within the range up to 0.2 V in terms of voltage.
  • the output maximum value of each of the convolution layers 21 to 27 is calculated as a value corresponding to the largest output value of the output neuron 56 included in each of the convolution layers 21 to 27.
  • the method of calculating the output maximum value of each of the convolution layers 21 to 27 is not limited to this.
  • the output maximum values of the convolution layers 21 to 27 are M ⁇ with respect to the average value obtained by averaging the maximum values of the output values of the plurality of output neurons 56 included in each layer, as shown in Equation 7 below.
  • M is a real number
  • ⁇ is a standard deviation
  • Layer N output maximum value mean value of maximum neuron outputs_layerN + M ⁇
  • the magnitude of the standard deviation ⁇ can be calculated from the distribution of the maximum output of each output neuron 56 when one or more images are input to the convolutional neural network 20.
  • the standard deviation ⁇ is preferably calculated for each layer.
  • the real number M to be multiplied by the standard deviation ⁇ is preferably selected, for example, in the range of 3 to 6 in order to secure a safe margin.
  • the learning of the filter weight and the size of the bias input is first performed on the convolutional neural network 20 built on the computer.
  • the output value of the output neuron 56 of each convolution layer 21 to 27 is detected, and a scaling factor for adjusting the output level of each output neuron 56 based on the output value. was calculated.
  • the learning of the convolutional neural network 20 can also be performed in a configuration embodied using the crossbar circuit 44.
  • the output level of the output neuron 56 of each of the convolution layers 21 to 27 is To perform the adjustment.
  • teaching data for example, a MNIST data set of handwritten numbers from 0 to 9
  • the analog output voltage y is measured.
  • the voltage signal in the back propagation bypasses the activation function processing circuit in the analog processing circuit, and propagates while being converted by the differential activation function processing circuit.
  • the differential activation function processing circuit is a circuit that embodies a function obtained by differentiating the activation function.
  • the conductance update amount is calculated for the conductance of each memristor 53 of the crossbar circuit 44. Furthermore, the write voltage to be applied to each memristor 53 is calculated in order to realize the conductance update amount.
  • the forward propagation and back propagation in learning of such a neural network and the method of calculating the update amount of conductance based on these are described in detail in Patent Document 1 and the like by the inventor of the present application, and therefore further explanation will be given. I omit it.
  • the conductance (weight) of the memristor 53 of the crossbar circuit 44 is changed by learning. Therefore, as in the first embodiment, the conductance of each memristor 53 can not be modified to adjust the output level of the output neuron 56 of each convolution layer 21-27.
  • the output level of the output neuron 56 of each layer is adjusted using the adder 57 shown in FIG. 5 and the differential operational amplifier 54 shown in FIG. 3 provided in the analog processing circuit.
  • the method of adjusting the output level of the neuron according to the present embodiment will be described in detail using the flowchart of FIG. The process shown in the flowchart of FIG. 15 is executed by the microcomputer 40.
  • the adder 57 shown in FIG. 5 is used to adjust the output level of the output neuron 56 in each layer.
  • the feedback resistor R of the adder 57 is formed of, for example, a memristor, and the magnitude of the feedback resistor R can be changed.
  • the detected output value of the output neuron 56 exceeds the upper limit of the maximum output range of the analog processing circuit set below the write threshold voltage of the memristor 53. Determine if it is determined that the output value of the output neuron 56 exceeds the upper limit of the maximum output range of the analog processing circuit, the process proceeds to the processing of S230, and the output value of the corresponding output neuron 56 is less than the range upper limit. Adjust (decrease) the magnitude of feedback resistance R. Thereafter, in S240, it is determined whether or not learning has ended, and if it has not ended, the processing from S200 is repeated.
  • the magnitude of the feedback resistance R of the adder 57 is adjusted so that the output value of the output neuron 56 is less than the upper limit of the range. Therefore, when learning is completed, the possibility that the output value of each output neuron 56 falls within the range of the maximum output range of the set analog processing circuit can be enhanced, and the write threshold voltage of the memristor is exceeded. It can be avoided.
  • the feedback resistance R is adjusted in order from the output neuron 56 of the lower layer closer to the input layer of the convolutional neural network 20 to the output neuron 56 of the upper layer closer to the output layer as in the first embodiment described above. It is preferred to do. As a result, in the output neuron 56 of the upper layer, it is possible to adjust the output level in consideration of the adjustment result of the output level of the output neuron 56 of the lower layer.
  • the magnitude of the feedback resistance R for each output neuron 56 belonging to the same layer may be performed separately. However, for example, among the plurality of output neurons 56 belonging to the same layer, the largest output value is selected among the output values exceeding the upper range limit, and the largest output value is adjusted to less than the upper limit of the maximum output range.
  • the magnitudes of the feedback resistances R of a plurality of output neurons belonging to the same layer may be adjusted together as much as necessary for the purpose.
  • the magnitudes of the feedback resistors R included in the analog processing circuit corresponding to the output neurons 56 of all the layers may be adjusted together.
  • a feedback resistor R consisting of a memristor is connected between the inverting input terminal and the output terminal of the differential operational amplifier 54 shown in FIG.
  • the resistance R may be adjusted.
  • both the feedback resistor R of the adder 57 and the feedback resistor R of the differential operational amplifier 54 may be adjusted.
  • S110 to S140 and S200 to S240 correspond to an example of the adjustment step.
  • S110 and S210 correspond to an example of a detection step.
  • S120 and S130 correspond to an example of the calculation step.
  • S140 corresponds to an example of the correction step.
  • S220 corresponds to an example of the determination step.
  • S230 corresponds to an example of a change step.
  • the adjusting step may be performed on a multi-layered neural network built on a computer.
  • the adjusting step detects the output value of the neuron of each layer, the output maximum value of the neuron of each layer determined based on the output value of the neuron of each layer detected by the detecting step, and the activation function Calculation step of calculating the scaling factor for each hierarchy based on the maximum output range of the analog processing circuit which executes the generation of the output value according to the maximum output range of the analog processing circuit
  • the output value may be set to be smaller than the write threshold voltage of the memristor, and the correction step of correcting the conductance of the corresponding memristor may be included according to the scaling factor for each hierarchy calculated in the calculation step. .
  • the conductance corrected by the correction step can actually be set in the memristor.
  • the scaling factor is calculated, and the conductance (weight) of the memristor is corrected by the scaling factor. It becomes possible to adjust the output level of the neuron of each hierarchy appropriately. That is, the scaling factor is calculated for each hierarchy based on the maximum output value of the neuron of each hierarchy and the maximum output range of the analog processing circuit.
  • the maximum output range of the analog processing circuit is set such that the output value of the neuron of each layer is always smaller than the write threshold voltage of the memristor. Therefore, by modifying the conductance of the memristor by the scaling factor, it is possible to increase the possibility that the output value of the neuron falls within the range of the maximum output range of the set analog processing circuit. Not be exceeded.
  • the adjusting step is performed together when learning is performed in a multi-layered neural network constructed using the memristor and the analog processing circuit. It is also good.
  • the analog processing circuit may include an operational amplifier, a feedback resistor that connects the output of the operational amplifier to the inverting input terminal, and determines the degree of amplification by the operational amplifier, and a memristor may be used as a feedback resistor. .
  • the adjusting step is a detecting step of detecting the output value of the neuron of each layer, and the output value of the neuron of each layer detected by the detecting step is a predetermined range upper limit defined based on the write threshold voltage of the memristor
  • the resistance value of the memristor as a feedback resistor is changed in an analog processing circuit corresponding to a neuron having an output value exceeding the range upper limit by the determination step of determining whether or not the value exceeds the range upper limit, and the output value of the neuron is limited to the range upper limit.
  • the conductance (weight) of the memristor is changed by learning if the adjustment step is also performed. Therefore, as a tuning step, the conductance of the memristor can not be modified. Therefore, the analog processing circuit is provided with a feedback resistor consisting of an operational amplifier and a memristor, and the resistance value of the memristor as a feedback resistor is changed in an analog processing circuit corresponding to a neuron having an output value whose output value exceeds the upper range limit. Do. Also in this case, the output value of the neuron can be more likely to fall within the range of the maximum output range of the set analog processing circuit, and furthermore, the memory threshold value of the memristor is not exceeded. it can.
  • each step is expressed as S100, for example.
  • each step may be divided into multiple sub-steps, while multiple steps may be combined into one step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

多層ニューラルネットワーク（２０）の階層化されたニューロン（５６）間での信号の伝達及びニューロンでの信号処理をアナログ領域で行うべく、重みを付与する抵抗変化型メモリであるメモリスタ（５３）と、それぞれ重みが付与された信号の加算、及び加算した信号から活性化関数に応じた出力値の生成を実行するアナログ処理回路（４４）とを備えた多層ニューラルネットワークのニューロンの出力レベル調整方法が提供される。多層ニューラルネットワークのニューロンの出力レベル調整方法は、各階層のニューロンの出力値が、最も大きくなったときでも、メモリスタの書込閾値電圧未満であって、かつ活性化関数に応じた出力値の生成を実行するアナログ処理回路の、設定された最大出力レンジ内に収まるように、各階層のニューロンの出力レベルを調整する調整ステップ（Ｓ１１０～Ｓ１４０、Ｓ２００～Ｓ２４０）を備える。

Description

多層ニューラルネットワークのニューロンの出力レベル調整方法 関連出願の相互参照
　本出願は、２０１７年６月１９日に出願された日本国特許出願２０１７－１１９６８５号、に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、多層ニューラルネットワークのニューロンの出力レベル調整方法に関する。
　多層ニューラルネットワークは、人間の神経回路網の挙動を模倣するように作られた情報処理機構である。この多層ニューラルネットワークは、典型的には、入力値が与えられて他のニューロンに分配するための入力用ニューロンを含む入力層と、外部に対して出力値を出す出力用ニューロンを含む出力層と、入力用ニューロンと出力用ニューロンとの間に存在する中間ニューロンを含む中間層とから構成される。
　信号は、入力層から中間層を介して出力層へと一方向に流れる。入力用ニューロンは、入力値に対して処理を行なわずにそのまま中間ニューロンに伝達する。中間ニューロン及び出力用ニューロンは、前の層の複数のニューロンの出力値に、それぞれ、結合の強さを示す正又は負の重みを掛け合わせたものの総和を算出し、その算出値を活性化関数に通して出力値とする。
　活性化関数として、従来は、シグモイド関数や、双曲線正接関数が用いられていた。シグモイド関数は、入力値の０を境に、出力値がシグモイド曲線に従い０と１の間で変化する関数である。双曲線正接関数は、入力値の０を境に、出力値がtanhによる双曲線に従って－１と１の間で変化する関数である。しかし、これらの活性化関数を用いた場合、計算負荷が高い、入力値が大きい値を取るときに微分係数、すなわち勾配が小さくなるため、逆誤差伝播法を用いて多層ニューラルネットワークの学習を行う際に、深い層で勾配が消失するおそれがあった。
　そのため、近年では、活性化関数として、ReLU（Rectified Linear Unit）やそれに類似する関数（leaky ReLU、maxoutなど）が用いられることが多い。例えば、ReLUは、max(0,x)により定義される関数である。これらの関数の強みは、単純であるため計算が速い、勾配損失しない、スパース性の高さに繋がる、などである。非特許文献１には、ReLUを用いることで、多層ニューラルネットワークの学習時間を短縮できることが記載されている。さらに、非特許文献１には、ReLUは、入力を正規化しなくとも出力が飽和することはないが、ReLUの出力を正規化することにより、認識エラー率を低減できることも示されている。
　ただし、非特許文献１では、多層ニューラルネットワークにおける種々の計算がGPU（Graphics Processing Unit）を用いてデジタル的に行われる。従って、ReLUの出力の正規化も容易に行うことができる。一方、GPUは消費電力が大きいというおそれがあるため、多層ニューラルネットワークにおける計算をより低消費電力にて行うことが可能な専用のハードウエア回路の開発が進められている。そのハードウエア回路の一例として、例えば特許文献１に示されるような、印加電圧や通電電流によって異なる抵抗状態に設定することが可能な抵抗変化型メモリ（メモリスタ）が組み込まれたハイブリッドＣＭＯＳ回路がある。このハイブリッドＣＭＯＳ回路では、入力バーと出力バーとが交差するクロスバー回路の交点に設けられたメモリスタによって入力値に重みが付与される。そして、出力バーにCMOS素子によって構成された集積回路が接続され、この集積回路が、ニューロンとして、重みが付与された入力値の加算や、加算した入力値から活性化関数に応じた出力値の生成をアナログ領域で実行する。
ＷＯ　２０１７／０１００４８　Ａ
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in neural information processing systems, pp. 1097-1105, 2012.
　特許文献１に示されるように、CMOS素子によって構成される集積回路（アナログ処理回路）において、活性化関数に応じた出力値の生成がアナログ領域で行われる場合、以下に説明するようなおそれが生じることが考えられる。なお、以下に説明する事態は、ReLUのような出力値に上限値が定められていない活性化関数を用いる場合、上位階層のニューロンの出力値が増大する傾向が生じるため、特に生じやすくなる。
　まず、集積回路内で、活性化関数としての処理を行う回路は、その回路構成や回路素子の特性に応じて、出力可能な範囲である出力レンジが規制される。そのため、活性化関数に応じた出力値が大きい場合、その出力レンジによる制限を受けて、出力値が飽和してしまう可能性がある。出力値が飽和した場合、活性化関数としての処理を行う回路は、正しい出力値を出力することができなくなってしまう。また、ある層のメモリスタは、前層のニューロンにより過大な出力値が生成され、その出力値に応じた入力値が入力されることにより書込閾値以上の電圧が印加されると、コンダクタンスが変化してしまう可能性がある。メモリスタのコンダクタンスが変化してしまった場合、入力値に対して付与すべき所望の重みを付与することができなくなってしまう。
　本開示は、メモリスタ及びアナログ処理回路を用いて多層ニューラルネットワークを構成する際に、アナログ処理回路の出力の飽和やメモリスタのコンダクタンスの変化の発生を抑制することが可能な、多層ニューラルネットワークのニューロンの出力レベル調整方法を提供することを目的とする。
　本開示の一態様によれば、多層ニューラルネットワークのニューロンの出力レベル調整方法は、多層ニューラルネットワークの階層化されたニューロン間での信号の伝達及びニューロンでの信号処理をアナログ領域で行うべく、伝達される信号に対してシナプスとしての重みを付与する抵抗変化型メモリであるメモリスタと、ニューロンにおける信号処理として、それぞれ重みが付与された信号の加算、及び加算した信号から活性化関数に応じた出力値の生成を実行するアナログ処理回路とを備えた多層ニューラルネットワークに適用される。多層ニューラルネットワークのニューロンの出力レベル調整方法は、各階層のニューロンの出力値が、最も大きくなったときでも、メモリスタの書込閾値電圧未満であって、かつ活性化関数に応じた出力値の生成を実行するアナログ処理回路の、設定された最大出力レンジ内に収まるように、各階層のニューロンの出力レベルを調整する調整ステップを備える。
　本開示によれば、活性化関数に応じた出力値が、アナログ処理回路の出力レンジによる制限を受けて飽和してしまったり、その出力値によって次の階層のメモリスタのコンダクタンスが変化してしまったりすることを抑制することができる。そのため、多層ニューラルネットワークによる認識、予測、運動制御などの精度の劣化を回避することが可能となる。
　　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
実施形態による多層ニューラルネットワークの構造の一例を概念的に示す図であり、 図１の多層ニューラルネットワークを、クロスバー回路を用いて具現化した場合の構成を示す構成図であり、 クロスバー回路について説明するための図であり、 クロスバー回路について説明するための別の図であり、 クロスバー回路について説明するためのさらに別の図であり、 第１コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第２コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第３コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第４コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第５コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第６コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第７コンボリューション層の各出力ニューロンの出力値の中の最大出力の振幅を示すグラフを示す図であり、 第１実施形態によるニューロンの出力レベルを調整するための処理を示したフローチャートであり、 修正フィルタ重み及び修正バイアス入力を用いた場合に、各コンボリューション層の出力ニューロンから出力される最大出力の振幅の一例を示すグラフを示す図であり、 第２実施形態によるニューロンの出力レベルを調整するための処理を示したフローチャートである。
　（第１実施形態）
　以下、本開示に係る多層ニューラルネットワークのニューロンの出力レベル調整方法の第１実施形態を図面を参照して説明する。なお、本実施形態では、多層ニューラルネットワークとしていわゆる畳み込みニューラルネットワーク（Convolution Neural Network）を採用し、入力データとしての画像を、複数のカテゴリに分類する用途に適用した例について説明する。ただし、本開示は、いわゆる入力層、中間層、及び出力層からなる通常の多層ニューラルネットワークに適用することも可能である。また、多層ニューラルネットワークの用途として、上述した入力画像の分類の他、画像以外のパターン認識、情報圧縮、運動制御、雑音除去、時系列予測などが挙げられる。畳み込みニューラルネットワーク２０は、多層ニューラルネットワークの一例に相当する。
　図１は、本実施形態による畳み込みニューラルネットワーク２０の構造の一例を概念的に示している。畳み込みニューラルネットワーク２０は、基本的に、コンボリューション層とプーリング層とを交互に接続した構造を有する。例えば、図１に示す例では、畳み込みニューラルネットワーク２０は、第１コンボリューション層２１、第２コンボリューション層２２、第３コンボリューション層２３、第４コンボリューション層２４、第５コンボリューション層２５、第６コンボリューション層２６、及び、第７コンボリューション層２７からなる７層のコンボリューション層を有している。そして、第２コンボリューション層２２と第３コンボリューション層２３との間に、第１プーリング層２８が設けられ、第４コンボリューション層２４と第５コンボリューション層２５との間に、第２プーリング層２９が設けられている。
　このように、畳み込みニューラルネットワーク２０においては、コンボリューション層の次に必ずプーリング層が接続されるとは限らず、複数のコンボリューション層を接続した後に、プーリング層が接続されることもある。また、コンボリューション層２１～２７及びプーリング層２８～２９の層数は、図１に示す例に限られない。一般的には、コンボリューション層２１～２７及びプーリング層２８～２９の層数を増やすほど、認識性能をより向上させることができる。
　第１～第７コンボリューション層２１～２７は、それぞれ入力される入力データ（画像）に対して、所定のサイズ（例えば３×３、５×５）を有するフィルタを畳み込む演算を行う。入力データとしての画像は、２次元に配列された入力値（ピクセル値）を有する。各コンボリューション層２１～２７におけるフィルタの畳み込み演算は、一般的な画像処理でのフィルタの畳み込み、すなわち、小サイズの画像（フィルタ）を入力画像に２次元的に畳み込んで、画像をぼかしたり、エッジを強調したりするものと基本的に同じである。
　具体的には、第１～第７コンボリューション層２１～２７では、フィルタの畳み込み演算として、フィルタとしての小サイズの画像の各ピクセル値（重み）と、入力データとしての画像におけるフィルタと同サイズの領域の各ピクセル値とをそれぞれ掛け合わせた各乗算結果を積算する。この際、入力データが複数枚の画像を含む場合には、それら複数枚の入力画像の同じ領域において同じフィルタによる畳み込み演算が行われ、それらの畳み込み演算による演算結果がさらに積算される。このようにして計算された積算結果は、ReLUなどの活性化関数を経て、各コンボリューション層２１～２７のフィルタ位置に対応する出力値となる。
　フィルタは、所定のストライドで入力データとしての画像上をシフトされていき、各シフト位置において、上述した畳み込み演算が繰り返し行われる。これにより、各コンボリューション層２１～２７において、入力画像全体に渡ってそれぞれのフィルタのシフト位置に応じた出力値が作成される。それらの出力値を、フィルタのシフト位置に対応するように２次元的にまとめた結果が、各コンボリューション層２１～２７による出力データとなり、次の階層の入力データとなる。
　このように、各コンボリューション層２１～２７の出力データは、それぞれ２次元的に配列される画像の形を取り、一般的には特徴マップと呼ばれる。この特徴マップは、各コンボリューション層２１～２７において使用されるフィルタの数と同じ数だけ生成される。このため、通常は、第２コンボリューション層２２以降の各コンボリューション層２２～２７には、複数枚の入力画像（特徴マップ）を含む入力データが入力される。また、第１コンボリューション層２１においても、入力画像がカラー画像である場合には、ＲＧＢに対応する３枚の画像が入力される。一方、入力画像がグレースケール画像である場合には、第１コンボリューション層２１には、１枚の画像が入力されるだけである。
　なお、本実施形態では、第６、第７コンボリューション層２６、２７において使用されるフィルタのサイズは１×１に設定されている。つまり、第６、第７コンボリューション層２６、２７では、各入力画像における同じ位置のピクセル値が、フィルタによる重みを掛け合わされた上で加算される、１×１の畳み込み演算が行われる。これら第６、第７コンボリューション層２６、２７として、いわゆる全結合層を用いることも可能であるが、本実施形態では、第６、第７コンボリューション層２６、２７を含む各コンボリューション層２１～２７における畳み込み演算を、後述するクロスバー回路を用いてアナログ領域において実行するために、上述したように１×１の畳み込み演算を行うコンボリューション層を採用している。全結合層を採用すると、入力バーの数が過大となり、１つのクロスバー回路で対応することが困難になるためである。クロスバー回路に関しては、後に詳細に説明する。
　本実施形態では、上述したように、活性化関数として、ReLUを用いる。ReLUは、max(0,x)により定義される関数である。このように出力値に上限値が定められていないReLUを用いることにより、計算が速い、勾配損失しない、スパース性の高さに繋がる、などのメリットが得られる。ただし、活性化関数はReLUに限られず、ReLUと類似する近似関数(f=log(1+ex))、leaky ReLU(f=max(0.01 x,x))、Parametric ReLU(f=max(ax,x))、複数の線形関数の中での最大値を関数の値として採用するmaxoutなどを用いても良い。
　また、上述したフィルタの重みは学習によって決定される。学習は、本実施形態では、畳み込みニューラルネットワーク２０を、一旦コンピュータ上に構築して、教師あり学習により行われる。学習の対象は、上述したフィルタの重みの他、後述するバイアス入力に対する重みの大きさが含まれる。
　第１、第２プーリング層２８、２９は、入力画像のどの位置でフィルタとの適合性が高かったかを示す情報の一部を捨てることにより、入力画像内に現れる特徴の位置変化に対する不変性を高めるとともに、画像のサイズを縮小して後の計算量を削減できるようにするためのものである。
　具体的には、第１、第２プーリング層２８、２９は、入力画像に対して所定のサイズ（２×２、３×３など）のウインドウを定め、そのウインドウ内の入力値（ピクセル値）を平均化（平均プーリング）したり、ウインドウ内の入力値の最大値を採用（最大プーリング）したりすることにより、入力画像の複数の入力値をまとめる。このプーリング演算では、プーリングの対象範囲を定めるウインドウが重ならないように、ウインドウが行方向及び列方向にシフトされる。ただし、プーリング範囲を定めるウインドウが一部重なるように、ウインドウをシフトさせても良い。また、このようなプーリングは、各入力画像（特徴マップ）毎に行われるので、プーリング前後の入力画像の枚数は不変である。
　出力層３０は、例えば、ソフトマックス関数による正規化により、分類すべき複数のカテゴリ毎に、入力データ１０としての画像が属する確率を出力するように構成される。従って、出力層３０が出力する確率の中で最も高い確率に対応するカテゴリを選択することにより、入力データ１０としての画像を、複数のカテゴリに分類することができる。
　次に、上述した構造を有する畳み込みニューラルネットワーク２０を、クロスバー回路及びＣＭＯＳ素子の集積回路によって構成されるアナログ処理回路を用いて具現化するための構成について図２を参照して説明する。図２に示すように、畳み込みニューラルネットワーク２０を具現化するための構成要素として、本実施形態では、主に、マイクロコンピュータ４０、Ｄ／Ａ変換回路４３、クロスバー回路４４、及びＡ／Ｄ変換回路４５を備えている。
　最初に、クロスバー回路４４について、図３～図５に基づいて説明する。クロスバー回路４４は、例えば、抵抗変化型メモリであるメモリスタが組み込まれたハイブリッドＣＭＯＳ回路として構成される。このクロスバー回路４４は、メモリスタにより入力信号に重みを付与するとともに、各ニューロン毎に、それぞれのニューロンに入力される、重みが付与された入力信号を加算し、その加算結果を活性化関数を通して出力値を生成する処理をアナログ領域で行うアナログ処理回路である。
　図３に示すように、クロスバー回路４４は、複数の入力バー５０と、複数の出力バー５１、５２と、入力信号に重み付与する複数のメモリスタ５３と、複数の差動演算増幅器５４とを有する。複数の入力バー５０には、マイクロコンピュータ４０によって、入力画像における、上述したフィルタと同サイズの領域の各ピクセル値に対応する入力信号（電圧信号）が入力される。複数の出力バー５１、５２は、複数の入力バー５０とそれぞれ交差するように設けられる。
　これらの入力バー５０及び出力バー５１、５２は、図４に示すように、ＣＭＯＳ素子が形成されたＣＭＯＳ基板上に形成され得る。この場合、入力バー５０には、ＣＭＯＳ素子からなる入力ニューロン５５を介して、上述したピクセル値に対応する電圧信号が入力されるように構成される。入力バー５０と出力バー５１との交点には、入力信号に重みを付与するメモリスタ５３が設けられ、入力バー５０と出力バー５１とは、メモリスタ５３を介して接続されている。
　メモリスタ５３は、印加電圧や通電電流によって、最小値と最大値との間で、異なる抵抗状態に設定することが可能な抵抗変化型メモリである。例えば、メモリスタ５３のコンダクタンスは、図示しない電圧印加回路を用いて、負の書込電圧を印加することにより増加させることができ、正の書込電圧を印加することにより減少させることができる。そして、メモリスタ５３は、正負の書込電圧以上の電圧が印加されない限り、設定された抵抗状態（コンダクタンス）を維持する。このようなメモリスタ５３として使用可能な素子としては、Pt/TiO2/Pt金属酸化物素子、相変化メモリ、磁気トンネル接合メモリ、などがある。
　図４に示す構成を、電気回路的に示すと図５のようになる。図５に示すように、出力バー５１に接続される出力ニューロン５６を構成するＣＭＯＳ素子によって演算増幅器が形成されている。さらに、この演算増幅器の入出力間に抵抗Ｒが接続されることにより、加算器５７が構成されている。このため、図５に示すように、入力ニューロン５５から入力バー５０にそれぞれ入力された電圧信号Ｖ１、Ｖ２は、メモリスタ５３によるコンダクタンスＧ１、Ｇ２がそれぞれ掛け合わされた上で、出力バー５１に接続された加算器５７において加算される。なお、この加算結果は、加算器５７にてＲ倍される。このようにして、出力ニューロン５６において、以下の数式１に示すように、各入力バー５０の電圧信号Ｖ１、Ｖ２、…と、メモリスタ５３のコンダクタンスＧ１、Ｇ２との乗算結果が積算され、さらにＲ倍された結果が得られる。
（数１）
　　　出力ニューロンの出力電圧＝ＲΣＶｉＧｉ
　図３に示すように、出力バー５１は、差動演算増幅器５４の非反転入力端子に接続され、出力バー５２は、差動演算増幅器５４の反転入力端子に接続されている。差動演算増幅器５４は、ＣＭＯＳ基板内のＣＭＯＳ素子を用いて構成され得る。なお、図３においては、図５に示した加算器５７は省略されている。さらに、図３では、上述した活性化関数としての処理を行う活性化関数処理回路も省略されている。実際には、加算器５７は差動演算増幅器５４の入力側において、出力バー５１，５２のそれぞれに設けられ、活性化関数処理回路は差動演算増幅器５４の出力側に設けられる。このように、ＣＭＯＳ素子によって構成される集積回路には、加算器５７、差動演算増幅器５４、及び活性化関数処理回路などが含まれる。
　本実施形態では、差動演算増幅器５４の非反転入力端子及び反転入力端子に、それぞれ出力バー５１、５２を接続しているので、フィルタとして、正の重みだけでなく、負の重みも利用して畳み込み演算を行うことが可能になる。すなわち、ある入力信号に対して正の重みを掛け合わせる場合には、非反転入力端子に接続された出力バー５１と入力バー５０との間に設けられたメモリスタ５３のコンダクタンスを、反転入力端子に接続された出力バー５２と入力バー５０との間に設けられたメモリスタ５３のコンダクタンスよりも、設定しようとしている正の重み分だけ大きく設定すれば良い。逆に、ある入力信号に対して負の重みを掛け合わせる場合には、反転入力端子に接続された出力バー５２と入力バー５０との間に設けられたメモリスタ５３のコンダクタンスを、非反転入力端子に接続された出力バー５１と入力バー５０との間に設けられたメモリスタ５３のコンダクタンスよりも、設定しようとしている負の重み分だけ大きく設定すれば良い。
　従って、本実施形態では、図３に示すように、２本の出力バー５１、５２を１組として、その１組の出力バー５１、５２と入力バー５０との間のメモリスタ５３に対して、該当するコンボリューション層２１～２７において使用される、それぞれのフィルタ１、２、３、…に対応する重みが設定される。
　マイクロコンピュータ４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭなどを備え、例えば、ＲＯＭ（非遷移的実体的記憶媒体の一例に相当）に記憶されたプログラムに従い、種々の処理を実施する。なお、以下においては、第１コンボリューション層２１を対象とした処理について説明するが、マイクロコンピュータ４０は、他のコンボリューション層２２～２７に対しても原則として同様の処理を行なう。
　まず、マイクロコンピュータ４０は、入力データ１０としての画像において、フィルタの畳み込み演算を行う領域を定め、その領域に含まれる各ピクセルのピクセル値に応じたデジタル信号をＤ／Ａ変換回路４３に出力する。これにより、Ｄ／Ａ変換回路４３は、畳み込み演算が行われる領域の各ピクセル値に応じたアナログ信号（電圧信号）をクロスバー回路４４へ出力する。
　さらに、マイクロコンピュータ４０は、クロスバー回路４４における演算処理が終了して、出力が出されるタイミングで、Ａ／Ｄ変換回路４５からの出力を取り込む処理を実行する。この際、Ａ／Ｄ変換回路４５は、第１コンボリューション層２１において使用されるフィルタ数と同数の、あるフィルタのシフト位置での畳み込み演算、活性化関数による処理を経た出力値をデジタル信号に変換して出力している。マイクロコンピュータ４０は、Ａ／Ｄ変換回路４５から出力されたデジタル信号を、複数のフィルタ毎に区別して、ＲＡＭ４２にそれぞれ格納する。
　そして、マイクロコンピュータ４０は、入力画像において、フィルタの畳み込み演算を行う領域を所定のストライドだけシフトさせ、そのシフト後の領域に含まれるピクセル値に対応するデジタル信号をＤ／Ａ変換回路４３に出力するとともに、上述したのと同様の処理を行う。これを、入力画像のすべての領域でフィルタのシフトが完了するまで繰り返す。これにより、第１コンボリューション層２１により作成された、フィルタ数と同数の特徴マップを示すデジタルデータがＲＡＭ４２に保存される。
　次に、本実施形態の技術的特徴について説明する。上述したように、本実施形態では、畳み込みニューラルネットワーク２０がコンピュータ上に構築され、一般的な勾配降下法、誤差逆伝播法などの手法を用いて、フィルタの重みやバイアス入力の大きさが学習される。この学習により、各コンボリューション層２１～２７におけるフィルタ重みやバイアス入力に対する重みは最適化されていく。
　その一方で、学習が終了した時点での、各コンボリューション層２１～２７の出力値のレベルは、相互に大きく相違する。特に、ReLUのような、出力値に上限値が定められていない活性化関数を用いた場合、出力層に近い上位層のニューロンほど出力値が増大する傾向が生じるため、各コンボリューション層２１～２７の出力値のレベル差が大きくなりやすい。
　各コンボリューション層２１～２７のニューロンの出力値のレベル差の一例が、図６～図１２に示されている。図６～図１２は、畳み込みニューラルネットワーク２０に、ある画像が入力された場合の、各コンボリューション層２１～２７に属する出力ニューロン５６の最大出力振幅をプロットしたものである。なお、各コンボリューション層２１～２７の出力レベルが異なるだけでなく、同じコンボリューション層２１～２７に属する出力ニューロン５６に関しても、出力レベルが大きく変動するため、図６～図１２の縦軸は対数目盛としている。
　第１及び第２コンボリューション層２１、２２には、９６個のフィルタが設定されている。そのため、第１及び第２コンボリューション層２１、２２は、９６個のフィルタに対応する９６個の出力ニューロン５６を有する。この９６個の出力ニューロン５６からは、上述したように、フィルタのシフト位置毎に出力値が出力される。図６は、所定の出力値（電圧値）を単位として、第１コンボリューション層２１の各出力ニューロン５６の出力値の中の最大出力の振幅を示したものである。図６に示すように、第１コンボリューション層２１に属する出力ニューロン５６の最大出力は、約２．５～約１５の範囲に分散している。図７は、第２コンボリューション層２２に属する出力ニューロン５６の最大出力振幅を示している。図７に示すように、第２コンボリューション層２２に属する各々の出力ニューロン５６の最大出力は、約１５～約５０の範囲に分散している。
　第３～第６コンボリューション層２３～２６には、それぞれ、１９２個のフィルタが設定されている。そのため、第３～第６コンボリューション層２３～２６は、１９２個の出力ニューロン５６を有する。そして、第３コンボリューション層２３に属する各々の出力ニューロン５６の最大出力は、図８に示すように、約１５～約６５の範囲に分散している。第４コンボリューション層２４に属する各々の出力ニューロン５６の最大出力は、図９に示すように、約２５～約１１０の範囲に分散している。第５コンボリューション層２５に属する各々の出力ニューロン５６の最大出力は、図１０に示すように、約１８～約８０の範囲に分散している。第６コンボリューション層２６に属する各々の出力ニューロン５６の最大出力は、図１１に示すように、約２～約７０の範囲に分散している。
　第７コンボリューション層２７は、分類すべきカテゴリ数に応じた１０個の出力ニューロン５６を有する。この第７コンボリューション層２７に属する各々の出力ニューロン５６の最大出力は、図１２に示すように、約２８０～約６００の範囲に分散している。
　以上のように、各コンボリューション層２１～２７が有する出力ニューロン５６の最大出力には、２００倍以上の開きがある。さらに、同じコンボリューション層２１～２７に属する出力ニューロンの最大出力も、数倍から数十倍の開きがある。
　ここで、本実施形態では、上述したように、活性化関数としての処理を行う活性化関数処理回路は、アナログ処理回路の一部として、ＣＭＯＳ素子から構成される集積回路内に設けられる。従って、活性化関数処理回路は、その回路構成や、回路素子の特性に応じて、出力可能な範囲である出力レンジが規制されることになる。そのため、上述した範囲で最大出力が分散するケースでは、出力レンジに収まらず、出力値が飽和してしまう可能性がある。出力値が飽和した場合、活性化関数処理回路は、正しい出力値を出力することができなくなってしまう。
　また、クロスバー回路４４のメモリスタ５３は、前層の出力ニューロン５６によって過大な出力値が生成され、その出力値に応じた入力値が入力された場合、書き込み閾値以上の電圧が印加されてコンダクタンスが変化してしまう可能性が生じる。メモリスタ５３のコンダクタンスが変化してしまった場合、入力値に対して付与すべき重みを付与することができなくなってしまう。
　そこで、本実施形態では、学習したフィルタの重みやバイアス入力に対する重みを、そのままクロスバー回路４４のメモリスタ５３に設定するのではなく、各出力ニューロンの出力レベルが適正となるように修正した上で用いることとした。以下、本実施形態における、ニューロンの出力レベルの調整手法について、図１３のフローチャートを参照して説明する。なお、図１３のフローチャートに示す処理は、多層ニューラルネットワークとしての畳み込みニューラルネットワーク２０を構築したコンピュータにおいて実行される。
　まず、Ｓ１００では、コンピュータ上に構築した畳み込みニューラルネットワーク２０に対して、勾配降下法、誤差逆伝播法などの手法を適用し、各コンボリューション層２１～２７のフィルタの重みやバイアス入力に対する重みの大きさを学習する。なお、本実施形態では、各層のバイアス入力の大きさを所定値（例えば、１）としている。
　学習の終了後、Ｓ１１０において、フィルタ重みやバイアス入力に対する重みが最適化された、コンピュータ上に構築された畳み込みニューラルネットワーク２０にある画像を入力したときの、各コンボリューション層２１～２７の出力ニューロン５６から出力される出力値を検出する。この際、複数枚の画像を入力して、各層の出力ニューロン５６の出力値を検出するようにしても良い。
　そして、Ｓ１２０において、各コンボリューション層２１～２７の各出力ニューロン５６の出力値の中の最大出力を、出力ニューロン５６毎に選択する。さらにＳ１２０では、コンボリューション層２１～２７毎に、それぞれのコンボリューション層２１～２７に含まれる各出力ニューロン５６の最大出力の中の最大値に基づいて、各コンボリューション層２１～２７での出力ニューロン５６の出力最大値を決定する。
　続くＳ１３０では、Ｓ１２０で決定した出力最大値と、活性化関数処理回路の最大出力レンジとに基づいて、各コンボリューション層２１～２７毎に、スケーリングファクターを算出する。このスケーリングファクターの算出は、第１コンボリューション層２１から第７コンボリューション層２７へと順番に実行される。
　活性化関数処理回路の最大出力レンジは、活性化関数処理回路の出力が最大出力レンジの上限値となった場合であっても、次の階層への入力電圧がメモリスタ５３の書込閾値電圧（例えば、０．９Ｖ）以上とならないように設定される。例えば、活性化関数処理回路の最大出力レンジは、０．５Ｖ未満の範囲で設定され、本実施形態では、０．２Ｖとしている。このように、最大出力レンジを、メモリスタ５３の書込閾値電圧に対してマージンを持った０．５Ｖ未満に設定することにより、入力画像に応じて、各コンボリューション層２１～２７の出力最大値が、Ｓ１２０にて決定した出力最大値を超えることがあったとしても、メモリスタ５３の書込閾値電圧までは達しないようにすることができる。
　第１コンボリューション層２１用の第１層スケーリングファクターは、例えば、下記の数式２に従って算出される。
（数２）
　Scaling_factor_layer1=maximum neuron output_layer1/max_range
　このように、第１コンボリューション層２１に含まれる出力ニューロン５６の最も大きな出力値に相当する値を第１層出力最大値とし、この第１層出力最大値を、活性化関数処理回路の最大出力レンジで除算して第１層スケーリングファクターを算出する。
　次に、第２コンボリューション層２２用の第２層スケーリングファクターは、例えば、下記の数式３に従って算出される。
（数３）
　Scaling_factor_layer2
　=(maximum neuron output_layer2/max_range)/Scaling_factor_layer1
　このように、第２層スケーリングファクターは、第２コンボリューション層２２に含まれる出力ニューロン５６の最も大きな出力値に相当する第２出力最大値を、活性化関数処理回路の最大出力レンジで除算した結果を、第１層スケーリングファクターで除算して算出する。
　つまり、第１コンボリューション層２１の各出力ニューロン５６の出力値は、後述するＳ１４０の処理により第１層スケーリングファクターによって適正範囲に修正（縮小）される。このため、第２コンボリューション層２２に入力される入力値は、第１層スケーリングファクターによる修正の影響を受ける。そこで、第２層スケーリングファクターは、上述したように第１スケーリングファクターを加味して算出される。
　第３～第７コンボリューション層２３～２７用の各スケーリングファクターも、同様に下位の階層のスケーリングファクターを加味して、例えば、下記の数式４に従って算出される。
（数４）
　Scaling_factor_layerN
　=(maximum neuron output_layerN／max_range)/(Scaling_factor_layer1*・・・*Scaling_factor_layerN-1)
　このように、第３～第７コンボリューション層２３～２７の上位階層のスケーリングファクターは、それよりも下位階層のスケーリングファクターを累積的に考慮した上で算出される。
　各層のスケーリングファクターの算出が完了すると、Ｓ１４０の処理に進む。Ｓ１４０では、Ｓ１００において学習された、各コンボリューション層２１～２７のフィルタの重みやバイアス入力に対する重みの大きさを、Ｓ１３０で算出した各層のスケーリングファクターを用いて修正する。具体的には、各コンボリューション層２１～２７毎に、下記の数式５、数式６に示されるように、学習されたオリジナルのフィルタ重み及びバイアス入力に対する重みを、対応するスケーリングファクターで除算することにより、修正フィルタ重み及び修正バイアス入力重みを算出する。
（数５）
　Wscaled_layerN=Woriginal_layerN/Scaling_factor_layerN
（数６）
W_Biasscaled_layerN=W_Biasoriginal_layerN/(Scaling_factor_layerN*Scaling_factor_layer (N-1)*・・・* Scaling_factor_layer2*Scaling_factor_layer1)
　修正フィルタ重み及び修正バイアス入力重みに関する情報は、図示しないコンダクタンス設定装置に提供される。コンダクタンス設定装置は、各コンボリューション層２１～２７のクロスバー回路４４の入力バー５０と出力バー５１、５２との間にメモリスタ５３の書込閾値電圧以上の電圧を印加して、それぞれのメモリスタ５３に修正したフィルタ重み及び修正バイアス入力重みに対応するコンダクタンスを設定する。
　上述したようにして、各層のスケーリングファクターを算出し、そのスケーリングファクターを用いて、各層のフィルタ重み及びバイアス入力に対する重みを修正することにより、各層の出力ニューロン５６の出力値が、設定されたアナログ処理回路の最大出力レンジの範囲に収まる可能性を高めることができ、さらに、メモリスタ５３の書込閾値電圧を超えないようにすることができる。
　なお、本実施形態において活性化関数として用いるＲｅＬＵは、正の範囲において、線形な関数であるため、フィルタの重みやバイアス入力をスケーリングファクターによって修正しても、認識性能に悪影響を与えることはない。
　修正フィルタ重み及び修正バイアス入力重みを用いた場合に、各コンボリューション層２１～２７の出力ニューロン５６から出力される最大出力の振幅を調べた結果を図１４のグラフに示す。図１４には、各コンボリューション層２１～２７の出力ニューロン５６の最大出力の振幅が重ねて示されている。
　図１４から理解されるように、いずれの層の出力ニューロン５６の出力の振幅も、０～２の範囲に収まっている。図１４に示す例では、最大出力振幅の単位は、電圧値に換算すると０．１Ｖに対応するように定めている。従って、図１４の例では、各層の出力ニューロン５６の出力値は、電圧換算でいずれも０．２Ｖまでの範囲に収まっている。
　上述した第１実施形態では、各コンボリューション層２１～２７の出力最大値を、各コンボリューション層２１～２７に含まれる出力ニューロン５６の最も大きな出力値に相当する値として算出した。しかしながら、各コンボリューション層２１～２７の出力最大値の算出方法は、これに限られない。
　例えば、各コンボリューション層２１～２７の出力最大値は、下記の数式７に示すように、各層に含まれる複数の出力ニューロン５６のそれぞれの出力値の最大値を平均化した平均値に対しＭσ（Ｍは実数、σは標準偏差）を加えた値として算出しても良い。
（数７）
　第Ｎ層出力最大値=mean value of maximum neuron outputs_layerN+Mσ 
　標準偏差σの大きさは、単数又は複数の画像を畳み込みニューラルネットワーク２０に入力したときの各出力ニューロン５６の最大出力の分布から算出することができる。また、標準偏差σは、各層毎に算出されることが好ましい。標準偏差σに乗じる実数Ｍは、安全なマージンを確保するため、例えば３～６の範囲で選択されることが好ましい。
　このような算出手法を採用した場合であっても、各コンボリューション層２１～２７の出力最大値を適切に算出することができる。
（第２実施形態）
　次に、本開示に係る多層ニューラルネットワークのニューロンの出力レベル調整方法の第２実施形態について説明する。
　上述した第１実施形態では、まず、コンピュータ上に構築された畳み込みニューラルネットワーク２０に対して、フィルタの重みやバイアス入力の大きさの学習を行った。次いで、学習後の畳み込みニューラルネットワーク２０において、各コンボリューション層２１～２７の出力ニューロン５６の出力値を検出し、その出力値に基づいて、各出力ニューロン５６の出力レベルを調整するためのスケーリングファクターを算出した。
　しかしながら、畳み込みニューラルネットワーク２０の学習は、クロスバー回路４４を用いて具現化した構成にて実施することも可能である。本実施形態では、クロスバー回路４４を用いて具現化した畳み込みニューラルネットワーク２０において学習を行うとともに、その学習が行われるときに、併せて各コンボリューション層２１～２７の出力ニューロン５６の出力レベルの調整を実行するものである。
　以下に、クロスバー回路４４を用いて具現化した畳み込みニューラルネットワーク２０の学習の概要を説明する。
　クロスバー回路４４を用いて具現化した畳み込みニューラルネットワーク２０に、教師データ（例えば、０から９までの手書きの数字のＭＮＩＳＴデータセット）を入力する。そして、畳み込みニューラルネットワーク２０からのアナログ出力電圧ｙを計測する。このアナログ出力電圧ｙを用いて、誤認識率（例えばＭＮＩＳＴカテゴリ分類の誤認識率）に対応する、目標アナログ出力電圧ｔａｒｇｅｔと実際のアナログ出力電圧ｙとの差ｅ＝ｔａｒｇｅｔ－ｙを算出する。これは、畳み込みニューラルネットワーク２０内の信号の順伝播に相当する。
　そして、畳み込みニューラルネットワーク２０の出力側から誤認識率ｅ＝ｔａｒｇｅｔ－ｙに対応する電圧信号を入力して、畳み込みニューラルネットワーク２０の入力側から出力される出力電圧を測定する。これは、畳み込みニューラルネットワーク２０内の信号の逆伝播に相当する。ただし、逆伝播における電圧信号は、アナログ処理回路において、活性化関数処理回路をバイパスして、微分活性化関数処理回路で変換されつつ伝播するようにする。微分活性化関数処理回路とは、活性化関数を微分した関数を具現化する回路である。
　そして、順伝播において得られた誤認識率と、逆伝播において得られた出力電圧とに基づいて、クロスバー回路４４の各メモリスタ５３のコンダクタンスについて、コンダクタンス更新量を算出する。さらに、コンダクタンス更新量を実現するために、各メモリスタ５３に印加すべき書込電圧を算出する。このようなニューラルネットワークの学習における順伝播及び逆伝播、並びにこれらに基づいたコンダクタンスの更新量の算出方法は、本願発明者による特許文献１等に詳細に記載されているため、これ以上の説明は省略する。
　上述したように、クロスバー回路４４を用いて具現化した畳み込みニューラルネットワーク２０において学習が行われる場合、クロスバー回路４４のメモリスタ５３のコンダクタンス（重み）は学習によって変更される。従って、第１実施形態のように、各コンボリューション層２１～２７の出力ニューロン５６の出力レベルを調整するために、各メモリスタ５３のコンダクタンスを修正することはできない。
　そこで、本実施形態では、アナログ処理回路内に設けられた、図５に示す加算器５７や、図３に示す差動演算増幅器５４を利用して、各層の出力ニューロン５６の出力レベルを調整する。以下に、図１５のフローチャートを用いて、本実施形態による、ニューロンの出力レベル調整方法について詳しく説明する。図１５のフローチャートに示す処理は、マイクロコンピュータ４０によって実行される。
　なお、以下の説明では、各層の出力ニューロン５６の出力レベル調整のために、図５に示す加算器５７を利用する例について説明する。この場合、加算器５７のフィードバック抵抗Ｒは、例えばメモリスタによって構成され、そのフィードバック抵抗Ｒの大きさを変更することが可能となっている。
　図１５のフローチャートのＳ２００では、上述した教師データを用いた学習が行われる。続くＳ２１０では、各コンボリューション層２１～２７の出力ニューロン５６の出力値が検出される。
　Ｓ２２０では、検出された出力ニューロン５６の出力値（つまり、活性化処理回路の出力値）が、メモリスタ５３の書込閾値電圧未満に設定されたアナログ処理回路の最大出力レンジの上限を超えたか否かを判定する。出力ニューロン５６の出力値が、アナログ処理回路の最大出力レンジの上限を超えたと判定すると、Ｓ２３０の処理に進み、該当する出力ニューロン５６の出力値がレンジ上限未満となるように、加算器５７のフィードバック抵抗Ｒの大きさを調整（低下）する。その後、Ｓ２４０において、学習が終了したか否かを判定し、終了していない場合には、Ｓ２００からの処理を繰り返す。
　上記のように本実施形態では、出力ニューロン５６の出力値がレンジ上限未満となるように加算器５７のフィードバック抵抗Ｒの大きさを調整する。このため、学習が終了したときには、各出力ニューロン５６の出力値が、設定されたアナログ処理回路の最大出力レンジの範囲に収まる可能性を高めることができ、さらに、メモリスタの書込閾値電圧を超えないようにすることができる。
　フィードバック抵抗Ｒの調整は、上述した第１実施形態と同様に、畳み込みニューラルネットワーク２０の入力層に近い下位の階層の出力ニューロン５６から、出力層に近い上位の階層の出力ニューロン５６へと順番に行うことが好ましい。これにより、上位の階層の出力ニューロン５６では、下位の階層の出力ニューロン５６の出力レベルの調整結果を加味した上で、出力レベルの調整を行うことができる。
　また、上記のように、下位の階層の出力ニューロン５６から、上位の階層の出力ニューロン５６へと順番に出力レベルの調整を行う場合、同じ階層に属するそれぞれの出力ニューロン５６に対するフィードバック抵抗Ｒの大きさの調整は個別に行っても良い。しかし、例えば、同じ階層に属する複数の出力ニューロン５６の中で、レンジ上限を超えた出力値の中で最も大きい出力値を選定し、その最も大きい出力値を最大出力レンジの上限未満に調整するために必要な分だけ、同じ階層に属する複数の出力ニューロンのフィードバック抵抗Ｒの大きさを一緒に調整するようにしても良い。
　さらに、すべての階層の出力ニューロン５６に対応するアナログ処理回路に含まれるフィードバック抵抗Ｒの大きさを一緒に調整するようにしても良い。
　また、加算器５７のフィードバック抵抗Ｒではなく、図３に示す差動演算増幅器５４の反転入力端子と出力端子との間に、メモリスタからなるフィードバック抵抗Ｒを接続し、差動演算増幅器５４のフィードバック抵抗Ｒを調整対象としても良い。さらに、調整幅の拡大のため、加算器５７のフィードバック抵抗Ｒと、差動演算増幅器５４のフィードバック抵抗Ｒとの両方を調整対象としても良い。
　なお、Ｓ１１０～Ｓ１４０とＳ２００～Ｓ２４０は調整ステップの一例に相当する。Ｓ１１０とＳ２１０は検出ステップの一例に相当する。Ｓ１２０とＳ１３０は算出ステップの一例に相当する。Ｓ１４０は修正ステップの一例に相当する。Ｓ２２０は判定ステップの一例に相当する。Ｓ２３０は変更ステップの一例に相当する。
　本開示の別の態様によれば、調整ステップの一例として、調整ステップは、コンピュータ上に構築された多層ニューラルネットワークに対して実行されてもよい。調整ステップは、各階層のニューロンの出力値を検出する検出ステップと、検出ステップによって検出された各階層のニューロンの出力値に基づいて決定される各階層のニューロンの出力最大値と、活性化関数に応じた出力値の生成を実行するアナログ処理回路の最大出力レンジとに基づいて、各階層毎に、スケーリングファクターを算出する算出ステップと、アナログ処理回路の最大出力レンジは、各階層のニューロンの出力値がメモリスタの書込閾値電圧よりも小さくなるように設定され、算出ステップで算出された各階層毎のスケーリングファクターによって、それぞれ、対応するメモリスタのコンダクタンスを修正する修正ステップと、を含んでもよい。修正ステップによって修正されたコンダクタンスが、実際にメモリスタに設定されるようにすることができる。
　この構成によれば、コンピュータ上に構築された多層ニューラルネットワークに対して調整ステップを実行する場合には、スケーリングファクターを算出し、このスケーリングファクターによってメモリスタのコンダクタンス（重み）を修正する、これにより、各階層のニューロンの出力レベルを適切に調整することができるようになる。つまり、スケーリングファクターは、各階層のニューロンの出力最大値と、アナログ処理回路の最大出力レンジとに基づいて、各階層毎に算出される。アナログ処理回路の最大出力レンジは、各階層のニューロンの出力値が必ずメモリスタの書込閾値電圧よりも小さくなるように設定されている。そのため、スケーリングファクターによってメモリスタのコンダクタンスを修正することにより、ニューロンの出力値は、設定されたアナログ処理回路の最大出力レンジの範囲に収まる可能性を高めることができ、さらに、メモリスタの書込閾値電圧を超えないようにすることができる。
　さらに本開示の別の態様によれば、調整ステップの他の例として、調整ステップは、メモリスタ及びアナログ処理回路を用いて構築された多層ニューラルネットワークにおいて学習が行われるときに、併せて実行されてもよい。アナログ処理回路は、演算増幅器と、当該演算増幅器の出力と反転入力端子とを接続し、演算増幅器による増幅度を決定するフィードバック抵抗と、を含んでもよく、フィードバック抵抗としてメモリスタが使用されてもよい。調整ステップは、各階層のニューロンの出力値を検出する検出ステップと、検出ステップによって検出された各階層のニューロンの出力値が、メモリスタの書込閾値電圧に基づいて定められた所定のレンジ上限を超えているか否かを判定する判定ステップと、レンジ上限を超えた出力値を持つニューロンに対応するアナログ処理回路において、フィードバック抵抗としてのメモリスタの抵抗値を変更して、ニューロンの出力値をレンジ上限以下に低下させる変更ステップと、を含んでもよい。
　上記のように、メモリスタ及びアナログ処理回路を用いて構築された多層ニューラルネットワークにおいて学習が行われるときに、併せて調整ステップも実行する場合、メモリスタのコンダクタンス（重み）は学習によって変更される。従って、調整ステップとして、メモリスタのコンダクタンスを修正することはできない。そのため、アナログ処理回路に、演算増幅器と、メモリスタからなるフィードバック抵抗を設け、出力値がレンジ上限を超えた出力値を持つニューロンに対応するアナログ処理回路において、フィードバック抵抗としてのメモリスタの抵抗値を変更する。このようにしても、ニューロンの出力値が、設定されたアナログ処理回路の最大出力レンジの範囲に収まる可能性を高めることができ、さらに、メモリスタの書込閾値電圧を超えないようにすることができる。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１００と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。
　以上、本開示に係る多層ニューラルネットワークのニューロンの出力レベル調整方法の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

Claims (12)

  1. 　多層ニューラルネットワーク（２０）の階層化されたニューロン（５６）間での信号の伝達及び前記ニューロンでの信号処理をアナログ領域で行うべく、伝達される信号に対してシナプスとしての重みを付与する抵抗変化型メモリであるメモリスタ（５３）と、前記ニューロンにおける信号処理として、それぞれ重みが付与された信号の加算、及び加算した信号から活性化関数に応じた出力値の生成を実行するアナログ処理回路（４４）とを備えた多層ニューラルネットワークのニューロンの出力レベル調整方法であって、
    　各階層のニューロンの出力値が、最も大きくなったときでも、前記メモリスタの書込閾値電圧未満であって、かつ活性化関数に応じた出力値の生成を実行するアナログ処理回路の、設定された最大出力レンジ内に収まるように、各階層のニューロンの出力レベルを調整する調整ステップ（Ｓ１１０～Ｓ１４０、Ｓ２００～Ｓ２４０）を備える多層ニューラルネットワークのニューロンの出力レベル調整方法。
  2. 　前記活性化関数として、出力値に上限値が定められていない活性化関数が用いられる請求項１に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  3. 　前記調整ステップ（Ｓ１１０～Ｓ１４０）は、コンピュータ上に構築された多層ニューラルネットワークに対して実行され、
    　前記調整ステップは、
    　前記各階層のニューロンの出力値を検出する検出ステップ（Ｓ１１０）と、
    　前記検出ステップによって検出された前記各階層のニューロンの出力値に基づいて決定される前記各階層のニューロンの出力最大値と、前記活性化関数に応じた出力値の生成を実行する前記アナログ処理回路の最大出力レンジとに基づいて、各階層毎に、スケーリングファクターを算出する算出ステップ（Ｓ１２０、Ｓ１３０）と、
    　前記アナログ処理回路の最大出力レンジは、前記各階層のニューロンの出力値が前記メモリスタの書込閾値電圧よりも小さくなるように設定され、
    　前記算出ステップで算出された各階層毎のスケーリングファクターによって、それぞれ、対応する前記メモリスタのコンダクタンスを修正する修正ステップ（Ｓ１４０）と、を含み、
    　前記修正ステップによって修正されたコンダクタンスが、実際に前記メモリスタに設定される請求項２に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  4. 　前記算出ステップでは、多層ニューラルネットワークの入力層に近い下位階層のニューロンから、出力層に近い上位階層のニューロンへと順番にスケーリングファクターが算出され、前記上位階層のニューロンに対するスケーリングファクターは、前記上位階層のニューロンよりも下位階層のニューロンに対するスケーリングファクターを累積的に考慮した上で算出される請求項３に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  5. 　前記算出ステップでは、各階層毎に、それぞれの階層に含まれる各ニューロンの出力値の中の最大値に基づいて、前記各階層のニューロンの出力最大値が決定される請求項３又は４に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  6. 　前記算出ステップでは、各階層毎に、それぞれの階層に含まれる複数のニューロンの各々の出力値の最大値を平均化した平均値に対しＮσ（Ｎは整数、σは標準偏差）を加えた値から、前記各階層のニューロンの出力最大値が決定される請求項３又は４に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  7. 　コンピュータ上に構築された多層ニューラルネットワークの学習が行われた後に、前記調整ステップが実行される請求項３乃至６のいずれかに記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  8. 　前記アナログ処理回路では、前記メモリスタのコンダクタンスによる重みが付与された信号を加算する際に、併せて重みが付与されたバイアス入力も加算し、
    　前記修正ステップでは、前記算出ステップで算出された各階層毎のスケーリングファクターによって、それぞれ、対応するバイアス入力に対する重みも修正する請求項３乃至７のいずれかに記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  9. 　前記調整ステップ（Ｓ２００～Ｓ２４０）は、前記メモリスタ及び前記アナログ処理回路を用いて構築された多層ニューラルネットワークにおいて学習が行われるときに、併せて実行され、
    　前記アナログ処理回路は、演算増幅器と、当該演算増幅器の出力と反転入力端子とを接続し、前記演算増幅器による増幅度を決定するフィードバック抵抗（Ｒ）と、を含み、前記フィードバック抵抗としてメモリスタが備えられ、
    　前記調整ステップは、
    　前記各階層のニューロンの出力値を検出する検出ステップ（Ｓ２１０）と、
    　前記検出ステップによって検出された前記各階層のニューロンの出力値が、前記メモリスタの書込閾値電圧に基づいて定められた所定のレンジ上限を超えているか否かを判定する判定ステップ（Ｓ２２０）と、
    　前記レンジ上限を超えた出力値を持つニューロンに対応する前記アナログ処理回路において、前記フィードバック抵抗としての前記メモリスタの抵抗値を変更して、ニューロンの出力値を前記レンジ上限以下に低下させる変更ステップ（Ｓ２３０）と、を含む請求項１又は２に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  10. 　前記変更ステップでは、多層ニューラルネットワークの入力層に近い下位階層のニューロンから、出力層に近い上位階層のニューロンへと順番に、前記フィードバック抵抗としてのメモリスタの抵抗値の変更が行われる請求項９に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  11. 　前記変更ステップでは、各階層のニューロンに対応する前記アナログ処理回路に含まれる前記フィードバック抵抗としてのメモリスタの抵抗値の変更が一緒に行われる請求項１０に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。
  12. 　前記変更ステップでは、すべての階層のニューロンに対応する前記アナログ処理回路に含まれる前記フィードバック抵抗としてのメモリスタの抵抗値の変更が一緒に行われる請求項９に記載の多層ニューラルネットワークのニューロンの出力レベル調整方法。

     
PCT/JP2018/018298 2017-06-19 2018-05-11 多層ニューラルネットワークのニューロンの出力レベル調整方法 WO2018235448A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/710,296 US12026608B2 (en) 2017-06-19 2019-12-11 Method for adjusting output level of multilayer neural network neuron

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-119685 2017-06-19
JP2017119685A JP6724869B2 (ja) 2017-06-19 2017-06-19 多層ニューラルネットワークのニューロンの出力レベル調整方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/710,296 Continuation US12026608B2 (en) 2017-06-19 2019-12-11 Method for adjusting output level of multilayer neural network neuron

Publications (1)

Publication Number Publication Date
WO2018235448A1 true WO2018235448A1 (ja) 2018-12-27

Family

ID=64735736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018298 WO2018235448A1 (ja) 2017-06-19 2018-05-11 多層ニューラルネットワークのニューロンの出力レベル調整方法

Country Status (3)

Country Link
US (1) US12026608B2 (ja)
JP (1) JP6724869B2 (ja)
WO (1) WO2018235448A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816096A (zh) * 2019-01-23 2019-05-28 长安大学 一种基于忆阻器的感知器神经网络电路及其调节方法
CN111461308A (zh) * 2020-04-14 2020-07-28 中国人民解放军国防科技大学 忆阻神经网络及权值训练方法
WO2020261285A1 (en) * 2019-06-24 2020-12-30 Telefonaktiebolaget Lm Ericsson (Publ) First node, and method performed thereby, for handling a problem in a communications network
CN113517016A (zh) * 2021-07-21 2021-10-19 清华大学 计算装置及其鲁棒性处理方法
US11537897B2 (en) 2017-06-19 2022-12-27 Denso Corporation Artificial neural network circuit training method, training program, and training device
CN118211551A (zh) * 2024-05-17 2024-06-18 天津中医药大学 人体经络等效电路模型可信度评估及元件参数定量方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220058492A1 (en) * 2018-12-04 2022-02-24 Technion Research & Development Foundation Limited Delta-sigma modulation neurons for high-precision training of memristive synapses in deep neural networks
US10803259B2 (en) 2019-02-26 2020-10-13 Lightmatter, Inc. Hybrid analog-digital matrix processors
JP7034984B2 (ja) * 2019-05-30 2022-03-14 株式会社東芝 演算装置
US11250107B2 (en) * 2019-07-15 2022-02-15 International Business Machines Corporation Method for interfacing with hardware accelerators
CN111291879B (zh) * 2020-03-29 2023-08-22 湖南大学 一种具备习惯化与敏感化的信号发生装置
JP7371235B2 (ja) * 2020-06-25 2023-10-30 ポリン テクノロジー リミテッド ニューラルネットワークのアナログハードウェア実現
WO2022003657A1 (en) * 2020-06-30 2022-01-06 Samsung Electronics Co., Ltd. A method and system for processing data efficiently in a model inference phase in a communication device
CN111950719B (zh) * 2020-08-14 2024-06-04 清华大学 基于忆阻器的信息处理电路以及信息处理方法
CN112686373B (zh) * 2020-12-31 2022-11-01 上海交通大学 一种基于忆阻器的在线训练强化学习方法
CN113570042B (zh) * 2021-07-30 2024-07-19 昕海智创(深圳)科技有限公司 一种基于带通滤波软件的滤波算法
WO2023128792A1 (en) * 2021-12-30 2023-07-06 PolyN Technology Limited Transformations, optimizations, and interfaces for analog hardware realization of neural networks
WO2023148580A1 (ja) * 2022-02-07 2023-08-10 株式会社半導体エネルギー研究所 半導体装置の動作方法
KR102650005B1 (ko) * 2022-04-15 2024-03-22 국민대학교 산학협력단 메모리 장치, 메모리 장치의 동작 방법, 및 이를 포함하는 메모리 시스템
CN115906968B (zh) * 2022-11-09 2023-12-08 南方科技大学 双有符号操作数非易失性存算一体单元、阵列及运算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013534677A (ja) * 2010-07-07 2013-09-05 クゥアルコム・インコーポレイテッド 生物規範型ネットワークのための伝達及びシナプス訓練方法及びハードウェア
US20170017877A1 (en) * 2015-07-13 2017-01-19 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10109348B2 (en) 2014-10-30 2018-10-23 Hewlett Packard Enterprise Development Lp Double bias memristive dot product engine for vector processing
US9934463B2 (en) 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
US10885429B2 (en) * 2015-07-06 2021-01-05 University Of Dayton On-chip training of memristor crossbar neuromorphic processing systems
US10332004B2 (en) * 2015-07-13 2019-06-25 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
KR102578124B1 (ko) * 2016-12-16 2023-09-14 에스케이하이닉스 주식회사 신경망 장치의 정규화 장치 및 방법
JP6724863B2 (ja) 2017-05-29 2020-07-15 株式会社デンソー 畳み込みニューラルネットワーク
JP6724870B2 (ja) 2017-06-19 2020-07-15 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置
JP6805984B2 (ja) 2017-07-06 2020-12-23 株式会社デンソー 畳み込みニューラルネットワーク

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013534677A (ja) * 2010-07-07 2013-09-05 クゥアルコム・インコーポレイテッド 生物規範型ネットワークのための伝達及びシナプス訓練方法及びハードウェア
US20170017877A1 (en) * 2015-07-13 2017-01-19 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRIS YAKOPCIC DEPARTMENT OF ELECTRICAL AND COMPUTER ENGINEERING, UNIVERSITY OF DAYTON, OH, USA ; MD ZAHANGIR ALOM ; TAREK M. TAH: "Memristor crossbar deep network implementation based on a Convolutional neural network", 2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), 24 July 2016 (2016-07-24) - 29 July 2016 (2016-07-29), pages 963 - 970, XP032992268, ISSN: 2161-4407, DOI: 10.1109/IJCNN.2016.7727302 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537897B2 (en) 2017-06-19 2022-12-27 Denso Corporation Artificial neural network circuit training method, training program, and training device
CN109816096A (zh) * 2019-01-23 2019-05-28 长安大学 一种基于忆阻器的感知器神经网络电路及其调节方法
CN109816096B (zh) * 2019-01-23 2022-10-18 长安大学 一种基于忆阻器的感知器神经网络电路及其调节方法
WO2020261285A1 (en) * 2019-06-24 2020-12-30 Telefonaktiebolaget Lm Ericsson (Publ) First node, and method performed thereby, for handling a problem in a communications network
CN111461308A (zh) * 2020-04-14 2020-07-28 中国人民解放军国防科技大学 忆阻神经网络及权值训练方法
CN113517016A (zh) * 2021-07-21 2021-10-19 清华大学 计算装置及其鲁棒性处理方法
CN118211551A (zh) * 2024-05-17 2024-06-18 天津中医药大学 人体经络等效电路模型可信度评估及元件参数定量方法

Also Published As

Publication number Publication date
US12026608B2 (en) 2024-07-02
US20200110991A1 (en) 2020-04-09
JP6724869B2 (ja) 2020-07-15
JP2019003546A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
WO2018235448A1 (ja) 多層ニューラルネットワークのニューロンの出力レベル調整方法
CN109754066B (zh) 用于生成定点型神经网络的方法和装置
US11537897B2 (en) Artificial neural network circuit training method, training program, and training device
US20240127043A1 (en) Image processing system and medical information processing system
WO2019008951A1 (ja) 畳み込みニューラルネットワーク
US11449734B2 (en) Neural network reduction device, neural network reduction method, and storage medium
US11928576B2 (en) Artificial neural network circuit and method for switching trained weight in artificial neural network circuit
JP6724863B2 (ja) 畳み込みニューラルネットワーク
US11562215B2 (en) Artificial neural network circuit
KR101563569B1 (ko) 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법
JP7106486B2 (ja) 学習装置、学習方法、プログラムおよび情報処理システム
US11810265B2 (en) Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium
CN112270343A (zh) 一种图像分类方法、装置及相关组件
CN111861931A (zh) 模型训练、图像增强方法和装置、电子设备及存储介质
CN110852451B (zh) 基于核函数的递归核自适应滤波方法
CN115346125B (zh) 一种基于深度学习的目标检测方法
CN114626500A (zh) 一种神经网络计算方法及相关设备
WO2020137090A1 (ja) ニューラルネットワーク学習装置、方法およびプログラム
JP2021086284A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111582461B (zh) 神经网络训练方法、装置、终端设备和可读存储介质
JP6741159B1 (ja) 推論装置及び推論方法
US20240346303A1 (en) Hardware Realization of Neural Networks Using Buffers
JP2021135583A (ja) 学習装置、電子機器、学習方法、電子機器の制御方法およびプログラム
WO2020044567A1 (ja) データ処理システムおよびデータ処理方法
CN117372281A (zh) 一种基于神经网络的图像降噪方法、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18819714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18819714

Country of ref document: EP

Kind code of ref document: A1