WO2018220957A1 - 畳み込みニューラルネットワーク - Google Patents

畳み込みニューラルネットワーク Download PDF

Info

Publication number
WO2018220957A1
WO2018220957A1 PCT/JP2018/011272 JP2018011272W WO2018220957A1 WO 2018220957 A1 WO2018220957 A1 WO 2018220957A1 JP 2018011272 W JP2018011272 W JP 2018011272W WO 2018220957 A1 WO2018220957 A1 WO 2018220957A1
Authority
WO
WIPO (PCT)
Prior art keywords
crossbar circuit
input
convolution
layer
bars
Prior art date
Application number
PCT/JP2018/011272
Other languages
English (en)
French (fr)
Inventor
イリナ カタエヴァ
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2018220957A1 publication Critical patent/WO2018220957A1/ja
Priority to US16/688,088 priority Critical patent/US11586888B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Definitions

  • the present disclosure relates to a convolutional neural network including a plurality of convolution layers.
  • a convolutional neural network is generally used as the deep neural network.
  • the convolutional neural network transmits features extracted by repeating convolution and pooling of the local region (filter) to the output layer through the fully connected layer, and from the output layer, the Softmax function For example, an output value indicating the probability of belonging to each class to be classified is output.
  • a dedicated hardware circuit for performing such operations efficiently for example, a crossbar using a resistance change type memory (memristor) that can be set to different resistance states depending on an applied voltage or an energized current as shown in Patent Document 1 and Patent Document 2.
  • a circuit for example, a resistance change type memory (memristor) that can be set to different resistance states depending on an applied voltage or an energized current as shown in Patent Document 1 and Patent Document 2.
  • This cross bar circuit is arranged so that a large number of input bars and a large number of output bars intersect, and the input bar and the output bar are connected via a memristor at each intersection.
  • each input signal is multiplied by the conductance by the memristor and then accumulated on the output bar. Therefore, for example, by setting the conductance corresponding to the weight of each element of the filter in each convolution layer of the convolutional neural network described above in each memristor, the convolution operation can be executed by the crossbar circuit. .
  • the number of filters used in one convolution layer may be large.
  • the number of feature maps created in the convolution layer is also large.
  • the crossbar circuit in the upper convolution layer may require, for example, more than a thousand input bars.
  • the physical size of the crossbar circuit that is, the number of input bars and output bars, is limited by factors such as IR drop in wiring and the maximum allowable current of wiring. For this reason, when the convolutional neural network becomes large-scale, there is a possibility that the crossbar circuit cannot be used for the convolution calculation in the upper convolutional layer.
  • An object of the present disclosure is to provide a convolutional neural network capable of applying a crossbar circuit to a convolution operation even when a large number of input bars are required for the convolution operation in the convolution layer.
  • the neural network includes a plurality of convolution layers and a merge layer. At least one of the plurality of convolution layers is provided at each intersection of the plurality of input bars, the plurality of output bars intersecting with the plurality of input bars, and the plurality of input bars and the plurality of output bars.
  • a crossbar circuit having a plurality of weighting elements for applying weights corresponding to a plurality of filters to be convoluted to each input signal input to the bar.
  • At least one crossbar circuit of the plurality of convolution layers is added on each output bar in a state where the input signal input to each input bar is weighted by the weighting element, The convolution operation of the plurality of filters with respect to input data including the input signal is performed in the analog domain.
  • the input data includes a plurality of feature maps.
  • the at least one crossbar circuit of the plurality of convolution layers includes a first crossbar circuit that performs a convolution operation of a plurality of filters on a part of the feature maps of the plurality of feature maps, and the first crossbar circuit.
  • a convolution operation of a plurality of filters is performed on a part of the feature map that is different from the part of the feature map that is provided separately from the bar circuit and is subject to the convolution operation in the first crossbar circuit.
  • the merge layer merges the calculation result of the first crossbar circuit and the calculation result of the second crossbar circuit.
  • the crossbar circuit in at least one of the plurality of convolution layers, includes the first crossbar circuit and the second crossbar circuit that are provided separately from each other. Composed. For this reason, even if the number of input bars exceeding the physical size upper limit of the crossbar circuit is required in a certain convolution layer, the required number of input bars is the same as that of the first crossbar circuit and the first crossbar circuit. It becomes possible to distribute to a plurality of crossbar circuits including two crossbar circuits. As a result, the convolution operation can be executed in the crossbar circuit.
  • the first crossbar circuit performs a convolution operation of a plurality of filters on a part of the feature maps of the plurality of feature maps and outputs an operation result (feature map).
  • the second crossbar circuit performs a convolution operation of a plurality of filters on a part of the feature map that is different from the part of the feature map on which the convolution operation is performed in the first crossbar circuit. (Feature map) is output.
  • the calculation results of the first crossbar circuit and the second crossbar circuit are not based on all the input feature maps when viewed individually. For this reason, if processing in the convolutional neural network is continued using the results of the convolution operations as they are, there is a possibility that the recognition performance is deteriorated.
  • the convolution neural network according to the present disclosure further includes a merge layer that merges the convolution calculation result by the first crossbar circuit and the convolution calculation result by the second crossbar circuit.
  • the merge result is based on all the input feature maps. Therefore, it is possible to suppress degradation in recognition performance by continuing the subsequent process in the convolutional neural network using the merge result by the merge layer.
  • the merge layer preferably merges corresponding elements of the calculation result by the first crossbar circuit and the calculation result by the second crossbar circuit.
  • a crossbar circuit configured in the same manner as the convolutional layer crossbar circuit can be used for the merge processing in the merge layer.
  • the merge layer is provided at each intersection of a plurality of input bars, a plurality of output bars intersecting with the plurality of input bars, and a plurality of input bars and the plurality of output bars.
  • a crossbar circuit having a plurality of weighting elements for applying weights to each element of each input convolution calculation result, and the convolution calculation of the first crossbar circuit in the crossbar circuit of the merge layer It is preferable that the elements corresponding to the result and the convolution calculation result of the second crossbar circuit are merged by being added on each output bar in a state where the weight is given by the weighting element. In this way, the merge layer can also be efficiently calculated by configuring the merge layer using a crossbar circuit.
  • the drawing It is a figure which shows notionally an example of the structure of the convolution neural network by embodiment, It is a block diagram which shows the structure at the time of embodying the convolution neural network of FIG. 1 using a crossbar circuit, It is an explanatory diagram for explaining the crossbar circuit, It is another explanatory drawing for demonstrating a crossbar circuit, It is another explanatory drawing for demonstrating a crossbar circuit, In the convolutional neural network having the structure shown in FIG. 1, the first to fifth convolution layers perform a convolution operation using a 3 ⁇ 3 size filter, and the sixth and seventh convolution layers have a 1 ⁇ 1 size.
  • the merge layer is a diagram showing a configuration in which a first layer crossbar circuit and a second layer crossbar circuit provided in a hierarchy are formed, It is a figure which shows the improvement degree of the average error rate regarding the classification
  • Embodiments of a convolutional neural network according to the present disclosure will be described with reference to the drawings.
  • an example in which an image as input data is applied to use for classifying into a plurality of categories will be described.
  • the convolutional neural network can be applied to other uses.
  • the convolutional neural network can be applied to detection of an object or a person, recognition of a human face, recognition of a road sign, or the like.
  • FIG. 1 conceptually shows an example of the structure of a convolutional neural network 20 according to the present embodiment.
  • the convolutional neural network 20 basically has a structure in which convolution layers and pooling layers are alternately connected.
  • the convolutional neural network 20 includes a first convolution layer 21, a second convolution layer 22, a third convolution layer 23, a fourth convolution layer 24, a fifth convolution layer 25, It has seven convolution layers including a sixth convolution layer 26 and a seventh convolution layer 27.
  • a first pooling layer 28 is provided between the second convolution layer 22 and the third convolution layer 23, and a second pooling is provided between the fourth convolution layer 24 and the fifth convolution layer 25.
  • a layer 29 is provided.
  • the pooling layer is not necessarily connected next to the convolution layer, and the pooling layer may be connected after connecting a plurality of convolution layers.
  • the number of convolution layers 21 to 27 and pooling layers 28 to 29 is not limited to the example shown in FIG. Generally, the recognition performance can be further improved as the number of the convolution layers 21 to 27 and the pooling layers 28 to 29 is increased.
  • the first to seventh convolution layers 21 to 27 perform an operation of convolving a filter having a predetermined size (for example, 3 ⁇ 3, 5 ⁇ 5) with respect to each input data (image).
  • This is basically a filter convolution in general image processing, that is, a two-dimensional convolution of a small size image (filter) with an input image to blur the image or enhance the edge. Is the same.
  • a convolution operation is performed by accumulating each multiplication result obtained by multiplying each value.
  • the input data includes a plurality of input images
  • a convolution operation using the same filter is performed in the same region of the plurality of input images, and the operation results of the convolution operations are further integrated.
  • the integration results calculated in this way are output corresponding to the filter positions of the convolution layers 21 to 27 through activation functions such as ReLU and tanh.
  • the filter weight is determined by learning.
  • learning is performed by supervised learning after the convolutional neural network 20 is once constructed on a computer.
  • the learning target includes, in addition to the filter weights described above, the filter weights of the merge layer described later and the magnitude of the bias input.
  • the learning value is set in a crossbar circuit described later.
  • the filter is shifted on the input image by a predetermined stride, and the above-described convolution operation is performed at each shift position.
  • an output corresponding to each filter position is created over the entire input image, and the set thereof becomes the output of each convolution layer 21 to 27.
  • the result of two-dimensionally collecting these outputs so as to correspond to the shift position of the filter is output data by the convolution layers 21 to 27, and the output data is the input data of the convolution layer of the next layer.
  • the output data of the respective convolution layers 21 to 27 take the form of images arranged two-dimensionally, and are generally called feature maps. As many feature maps as the number of filters used in each convolution layer 21 to 27 are generated. Therefore, input data including a plurality of input images (feature maps) is input to the convolution layers 22 to 27 after the second convolution layer 22.
  • the input image when the input image is a color image, three images corresponding to RGB are input. In this embodiment, a color image is used as input data. On the other hand, when the input image is a grayscale image, only one image is input to the first convolution layer 21.
  • the size of the filter used in the sixth and seventh convolution layers 26 and 27 is set to 1 ⁇ 1. That is, in the sixth and seventh convolution layers 26 and 27, a 1 ⁇ 1 convolution operation is performed in which pixel values at the same position in each input image are added after being multiplied by the weights of the filters. As the sixth and seventh convolution layers 26 and 27, so-called total coupling layers can be used. In the present embodiment, each convolution layer 21 including the sixth and seventh convolution layers 26 and 27 is used. In order to execute the convolution operation in .about.27 in the analog domain using a crossbar circuit, a convolution layer for performing a 1 ⁇ 1 convolution operation as described above is employed. This is because if the total coupling layer is employed, the number of input bars becomes excessive, making it difficult to cope with one crossbar circuit. The crossbar circuit will be described in detail later.
  • the first and second pooling layers 28 and 29 eliminate the invariance with respect to the position change of the feature appearing in the input image by discarding a part of the information indicating at which position of the input image the compatibility with the filter is high. This is to increase the size and reduce the size of the image so that the amount of later calculation can be reduced.
  • a window having a predetermined size for example, 2 ⁇ 2, 3 ⁇ 3
  • pixel values in the windows are averaged.
  • a plurality of pixel values of the input image are collected by (average pooling) or adopting the maximum pixel value in the window (maximum pooling).
  • the first and second pooling layers 28 and 29 are configured to perform average pooling so that processing in the first and second pooling layers is also performed in the analog domain using a crossbar circuit. .
  • the windows in pooling are shifted on the input image so that the application positions of the windows do not overlap or overlap only partly. Therefore, for example, when the window size is 2 ⁇ 2 and the window is shifted by a stride of 2 pixels so that the windows do not overlap, the number of pixels of the input image is reduced to 1 ⁇ 4 by pooling. In addition, since such pooling is performed for each input image (feature map), the number of input images before and after pooling is unchanged.
  • the output layer 30 is configured to output the probability that the image as the input data 10 belongs for each of a plurality of categories to be classified, for example, by normalization with a softmax function. Therefore, by selecting a category corresponding to the highest probability that the output layer 30 outputs, the image as the input data 10 can be classified into a plurality of categories.
  • a configuration for realizing the convolutional neural network 20 having the above-described structure using a crossbar circuit will be described with reference to FIG.
  • a microcomputer 40 As components for realizing the convolutional neural network 20, in the present embodiment, a microcomputer 40, a D / A conversion circuit 43, a crossbar circuit 44, and an A / D conversion are mainly used.
  • a circuit 45 is provided.
  • the crossbar circuit 44 includes a plurality of input bars 50, a plurality of output bars 51 and 52, a plurality of weighting elements 53, and a plurality of differential operational amplifiers 54.
  • An input signal (voltage signal) corresponding to each pixel value in the region of the same size as the filter in the input image is input to the plurality of input bars 50 by the microcomputer 40.
  • the plurality of output bars 51 and 52 are provided so as to intersect with the plurality of input bars 50, respectively.
  • the input bar 50 and the output bars 51 and 52 can be formed on a CMOS substrate on which CMOS elements are formed, for example, as shown in FIG.
  • the input bar 50 is configured to receive a voltage signal corresponding to the above-described pixel value via an input neuron 55 made of a CMOS element.
  • a memristor as a weighting element 53 is provided at the intersection of the input bar 50 and the output bar 51, and the input bar 50 and the output bar 51 are connected via the memristor.
  • the memristor is a resistance change type memory that can be set to different resistance states between a minimum value and a maximum value depending on an applied voltage or an energization current. For example, the conductance of the memristor can be increased by applying a negative write voltage using a voltage application circuit (not shown), and can be decreased by applying a positive write voltage. The memristor maintains the set resistance state (conductance) unless a voltage equal to or higher than the positive / negative write voltage is applied.
  • Elements that can be used as such memristors include Pt / TiO2 / Pt metal oxide elements, phase change memories, magnetic tunnel junction memories, and the like.
  • FIG. 5 shows the configuration shown in FIG. 4 as an electric circuit.
  • an operational amplifier is formed by CMOS elements constituting the output neuron 56 connected to the output bar 51.
  • the output bar 51 is connected to the non-inverting input terminal of the differential operational amplifier 54, and the output bar 52 is connected to the inverting input terminal of the differential operational amplifier 54.
  • the differential operational amplifier 54 can be configured using a CMOS element in a CMOS substrate.
  • the adder shown in FIG. 5 is omitted.
  • a circuit that performs the processing as the activation function described above is also omitted.
  • an activation function processing circuit is provided on the output side of the differential operational amplifier 54.
  • the output bars 51 and 52 are connected to the non-inverting input terminal and the inverting input terminal of the differential operational amplifier 54, respectively, not only a positive weight but also a negative weight is used as a filter. It is possible to perform a convolution operation. That is, when multiplying a certain input signal by a positive weight, the conductance of the weighting element 53 provided between the output bar 51 and the input bar 50 connected to the non-inverting input terminal is set as the inverting input. The conductance of the weighting element 53 provided between the output bar 52 and the input bar 50 connected to the terminal may be set larger by the positive weight to be set.
  • the conductance of the weighting element 53 provided between the output bar 52 connected to the inverting input terminal and the input bar 50 is non-inverted.
  • the conductance of the weighting element 53 provided between the output bar 51 connected to the input terminal and the input bar 50 may be set larger by the negative weight to be set.
  • the two output bars 51 and 52 are set as one set, and the weighting element 53 between the set of output bars 51 and 52 and the input bar 50 is used.
  • the microcomputer 40 includes a CPU 41, a RAM 42, a ROM, and the like, and performs various processes according to a program stored in the ROM, for example. In the following, processing for the first convolution layer 21 will be described, but the microcomputer 40 performs the same processing for the other convolution layers 22 to 27.
  • the microcomputer 40 determines a region for performing a filter convolution operation, and outputs a digital signal corresponding to the pixel value of each pixel included in the region to the D / A conversion circuit 43.
  • the D / A conversion circuit 43 outputs an analog signal (voltage signal) corresponding to each pixel value in the region where the convolution operation is performed to the crossbar circuit 44.
  • the microcomputer 40 executes a process of taking in the output from the A / D conversion circuit 45 at the timing when the arithmetic process in the crossbar circuit 44 is completed and the output is output.
  • the A / D conversion circuit 45 converts the output of the same number of filters used in the first convolution layer 21 through the convolution operation at a certain filter position and the processing by the activation function into a digital signal. Output.
  • the microcomputer 40 distinguishes the digital signal output from the A / D conversion circuit 45 for each of the plurality of filters and stores it in the RAM 42.
  • the microcomputer 40 shifts the area where the filter convolution operation is performed in the input image by a predetermined stride, and outputs a digital signal corresponding to the pixel value included in the shifted area, as described above. Similar processing is performed. This is repeated until the filter shift is completed in all regions of the input image. Thereby, digital data indicating the same number of feature maps as the number of filters created by the first convolution layer 21 is stored in the RAM 42.
  • the number of filters used in one convolution layer may increase.
  • a large number of feature maps are created in the convolution layer.
  • the crossbar circuit 44 in the convolution layer of the next layer may require, for example, more than 1000 input bars 50.
  • the first to fifth convolution layers 21 to 25 perform a convolution operation using a filter of 3 ⁇ 3 size, and perform the first and second convolutions.
  • the number of filters in the convolution layers 21 and 22 is 96
  • the number of filters in the third to sixth convolution layers 23 to 26 is 192
  • the number of filters in the seventh convolution layer 27 is 10
  • each convolution FIG. 6 shows the number of input bars 50 and output bars 51 and 52 required in the volume layers 21 to 27.
  • the number of input bars 50 in the second convolution layer 22 is 865, as shown in FIG.
  • the number of output bars 51 and 52 is 192.
  • the number of input bars 50 is 865
  • the number of output bars 51 and 52 is 384.
  • the number of input bars 50 is 1729
  • the number of output bars 51 and 52 is 384.
  • the number of input bars 50 is 193, and the number of output bars 51 and 52 is 384.
  • the number of input bars 50 is 193, and the number of output bars 51 and 52 is 20.
  • the physical size of the crossbar circuit 44 that is, the number of input bars and output bars, is limited by factors such as IR drop in each wiring and the maximum allowable current of each wiring.
  • the number of input bars 50 and output bars 51 and 52 is practically limited to 512 ⁇ 512 or limited to 1024 ⁇ 1024.
  • the convolutional neural network 20 becomes large-scale, it may happen that only one crossbar circuit 44 cannot receive input from all feature maps in the upper convolution layer. .
  • the crossbar circuit 44 is separate from at least a first crossbar circuit that performs a convolution operation of a plurality of filters on a part of the feature maps of the plurality of feature maps, and the first crossbar circuit.
  • a second crossbar circuit that performs a convolution operation of a plurality of filters on a part of the feature map that is different from the part of the feature map in which the convolution operation is performed in the first crossbar circuit. Will have.
  • the number of the input bars 50 and the output bars 51 and 52 is limited to 512 ⁇ 512
  • input is performed in the second and third convolution layers 22 and 23 as shown as “partition number example 1” in FIG. Since the number of bars 50 is 865, two crossbar circuits are required. Therefore, the number of divisions of the crossbar circuit of the second and third convolution layers 22 and 23 is two. Furthermore, in the fourth and fifth convolution layers 24 and 25, since the number of input bars 50 is 1729, four crossbar circuits are required. Accordingly, the number of divisions of the crossbar circuit of the fourth and fifth convolution layers 24 and 25 is four.
  • the two or more divided crossbar circuits perform a convolution operation or the like using different partial feature maps as inputs.
  • the output of each divided crossbar circuit is viewed individually, it is not based on all the input feature maps. For this reason, if the processing in the convolutional neural network 20 is continued using those outputs as they are, there is a possibility that the recognition performance is deteriorated.
  • the merge layer 63 has the same crossbar circuit 64 as each of the convolution layers 21 to 27.
  • 1 ⁇ 1 Is configured to perform a convolution operation. That is, the calculation result of the first crossbar circuit 61 and the calculation result of the second crossbar circuit 62 each take the form of an image.
  • the weight for each filter of 1 ⁇ 1 size is applied to the pixel value at the same position in the image as the calculation result of the divided first and second crossbar circuits 61 and 62, respectively. Multiplying and then adding.
  • the number of filters in the merge layer 63 is set to be the same as the number of filters used in the corresponding convolution layer. Note that the filter weights in the merge layer 63 are also learned simultaneously with the learning of the filter weights in the crossbar circuits 44, 61, and 62, as described above.
  • each element (pixel) of the convolution calculation result of the first crossbar circuit 61 is merged.
  • the number of elements (pixels) of the convolution calculation result of the second crossbar circuit 62, and the number of elements (pixels) of the merge result by the merge layer 63 are the same.
  • the crossbar circuit 44 of the second convolution layer 22 includes two first and second crossbar circuits 61 and 62.
  • the number of feature maps input to the first and second crossbar circuits 61 and 62, the number of feature maps output from the first and second crossbar circuits 61 and 62, and merging An example of the number of feature maps output from the crossbar circuit 64 of the layer 63 is shown.
  • the number of filters used in the first convolution layer 21 is 96, and 96 feature maps of the same number as the number of filters are given to the second convolution layer 22 as input data.
  • this input data is to be processed by one crossbar circuit 44, as shown in FIG. 6, 865 input bars are required.
  • the number of input bars of the crossbar circuit 44 is limited to 512 at the maximum. Therefore, in the second convolution layer 22, the crossbar circuit 44 is divided into two parts, the first and second crossbar circuits 61 and 62.
  • the first crossbar circuit 61 receives 48 feature maps out of 96 feature maps included in the input data.
  • the number of required input bars is 48.
  • the second crossbar circuit 62 performs a convolution operation of a plurality of filters on a part of the feature map that is different from the part of the feature map to be subjected to the convolution operation in the first crossbar circuit 61. Accordingly, the remaining 48 feature maps other than those input to the first crossbar circuit 61 out of the 96 feature maps included in the input data are also input to the second crossbar circuit 62. Further, the second crossbar circuit 62 performs the convolution calculation of the remaining 48 filters other than the filter for which the first crossbar circuit 61 performs the convolution calculation. Accordingly, in the second crossbar circuit 62, the number of input bars 50 is 433 and the number of output bars 51 and 52 is 96, as in the first crossbar circuit 61. The number of second feature maps created by the second crossbar circuit 62 is 48.
  • the above is a description of the first merge layer provided in the second convolution layer 22 when the maximum number of crossbar circuits 44 is limited to 512 ⁇ 512.
  • a crossbar circuit of a second merge layer provided in the third convolution layer 23 a third merge layer provided in the fourth convolution layer 24, and a fourth merge layer provided in the fifth convolution layer 25.
  • the result is as shown in FIG. That is, the second to fourth merge layers all have 193 input bars and 384 output bars.
  • the third merge layer and the fourth merge layer are not necessary. Only the layer is provided.
  • the third and fourth merge layer crossbar circuits have 193 input bars and 384 output bars, as in the above example.
  • a merge layer is provided by merging corresponding elements of the respective operation results of the divided crossbar circuit.
  • Each feature map output from is based on all the input feature maps. Therefore, by using the feature map output from the merge layer and continuing the subsequent process in the convolutional neural network, it is possible to suppress the degradation of the recognition performance.
  • the first crossbar circuit 61 performs a convolution operation with all filters on a part (for example, 48) of feature maps in the input data to obtain the total number ( For example, 96 first feature maps are created, and the second crossbar circuit 62 also performs a convolution operation by all filters on another part (eg, 48) of feature maps of the input data.
  • the second feature map may be created for all sheets (for example, 96 sheets).
  • the number of input bars of the crossbar circuit 64 of the merge layer 63 is the number of first feature maps + the number of second feature maps + bias input, it increases compared to the above-described embodiment. become.
  • the inside of the merge layer 63 may be configured hierarchically. That is, as shown in FIG. 10, the merge layer 63 may be composed of first layer crossbar circuits 65 and 66 and second layer crossbar circuit 67 provided in a hierarchical manner. 10 shows, for example, the number of feature maps input to the crossbar circuits 65 to 67 and the crossbar circuits 65 when the hierarchical merge layer 63 is provided in the fourth convolution layer 24. An example of the number of feature maps output from .about.67 is shown.
  • the hierarchical configuration of the merge layer 63 will be described with reference to FIG.
  • the number of feature maps created in the third convolution layer 23 is 192
  • the first crossbar circuit 61 in the fourth convolution layer 24 has 96 feature maps. Is entered. Then, the first crossbar circuit 61 performs a convolution operation using 96 filters out of 192 filters in total to create 96 feature maps. Similarly, the remaining 96 feature maps other than those input to the first crossbar circuit 61 are also input to the second crossbar circuit 62 of the fourth convolution layer 24. Then, the second crossbar circuit 62 performs the convolution calculation of the remaining 48 filters other than the filter for which the first crossbar circuit 61 performs the convolution calculation, and creates 96 feature maps.
  • the merge layer 63 is provided with two first layer crossbar circuits 65 and 66.
  • the number of first layer crossbar circuits 65 and 66 may be three or more.
  • the two first layer crossbar circuits 65 and 66 both receive the feature map created by the first crossbar circuit 61 and the feature map created by the second crossbar circuit 62 as inputs.
  • a convolution operation with a filter of size 1 is performed.
  • the number of filters used in the first layer crossbar circuits 65 and 66 is also the same 192, and 192 feature maps are created respectively.
  • the filters used in the two first-layer crossbar circuits 65 and 66 are individually prepared and learning is also performed. For this reason, in the two first layer crossbar circuits 65 and 66, filters having different weights are used.
  • the second layer crossbar circuit 67 receives the feature map created by the two first layer crossbar circuits 65 and 66 and performs a convolution operation using a filter of 1 ⁇ 1 size to obtain a fourth convolution layer. As an output of 24, 192 feature maps are created.
  • the average error rate regarding the classification of the input data into each category is 9.17 ⁇ 0.13. %Met.
  • the average error rate is 13.1 ⁇ 0.43% in the division example 1, and the division example 2 worsened to 11.22 ⁇ 0.14%.
  • the merge layer 63 including the one-level crossbar circuit 64 as described in the above-described embodiment is provided, the average error rate is 11.17 ⁇ 0.24% in the division example 1, and the division example. 2 improved to 10.02 ⁇ 0.26%.
  • the average error rate is 11.15 ⁇ 0.04% in the division example 1, and the division example In Example 2, it was 9.64 ⁇ 0.25%, and it was confirmed that further improvement could be achieved.
  • the example in which the convolution operation in all the convolution layers 21 to 27 is performed using the crossbar circuit 44 has been described.
  • at least one convolution layer that requires division of the crossbar circuit 44 is described.
  • the convolution operation may be performed by using the divided crossbar circuits 61 and 62 and the merge layer, and the convolution operation of other convolution layers may be performed by the microcomputer 40.
  • the merge layer 63 serves as an all coupling layer, and all elements (all elements of all feature maps). Pixels) may be weighted and added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

ニューラルネットワーク（２０）は、複数の畳み込み層（２１～２７）と、マージ層（６３）とを備える。１つの畳み込み層は、複数の入力バー（５０）と、複数の出力バー（５１、５２）と、各入力信号に対して、重みを付与する複数の重み付与素子（５３）とを有するクロスバー回路（４４）を有する。前記クロスバー回路（４４）は、入力信号に重みを付与して、各出力バー上で加算することにより、畳み込み演算をアナログ領域で行う。入力データは、複数の特徴マップを含む。前記クロスバー回路（４４）は、一部の特徴マップに対して畳み込み演算を行う第１クロスバー回路（６１）と、別の一部の特徴マップに対して畳み込み演算を行う第２クロスバー回路（６２）とを有する。前記マージ層（６３）は、前記第１クロスバー回路と前記第２クロスバー回路による演算結果とをマージする。

Description

畳み込みニューラルネットワーク 関連出願の相互参照
　本出願は、２０１７年５月２９日に出願された日本特許出願番号２０１７－１０５７４２号に基づくもので、ここにその記載内容を援用する。
　本開示は、複数の畳み込み層を含む畳み込みニューラルネットワークに関するものである。
　近年、ディープニューラルネットワーク及びディープラーニングアルゴリズムを使用することにより、例えば画像認識の分野において、従来の機械学習による認識性能を遥かに凌駕する認識性能を得られることが実証されている。この際、ディープニューラルネットワークとして、概して畳み込みニューラルネットワークが用いられる。畳み込みニューラルネットワークは、局所領域（フィルタ）の畳み込み（Convolution)とプーリング(Pooling)とを繰り返して抽出した特徴を、全結合層を介して出力層に伝え、出力層から、ソフトマックス（Softmax）関数などにより、分類すべき各クラスに属する確からしさを示す出力値を出力するように構成される。
　このような畳み込みニューラルネットワークでは、畳み込みやプーリングのために、多くの加算、乗算、及び除算などの演算が繰り返される。従って、畳み込みニューラルネットワークにおける演算をＣＰＵやＧＰＵを用いて行う場合、演算負荷が膨大となり、消費電力も増加するという問題がある。
　そのため、このような演算を効率良く行うための専用のハードウエア回路の開発が進められている。そのハードウエア回路の一例として、例えば特許文献１や特許文献２に示されるような、印加電圧や通電電流によって異なる抵抗状態に設定することが可能な抵抗変化型メモリ（メモリスタ）を利用したクロスバー回路がある。
　このクロスバー回路は、多数の入力バーと多数の出力バーとが交差するように配列され、各交点において入力バーと出力バーとがメモリスタを介して接続されることによって構成される。クロスバー回路の入力バーに入力信号を入力すると、各入力信号はメモリスタによるコンダクタンスを重みとして乗じられた後、出力バー上において積算される。このため、例えば、上述した畳み込みニューラルネットワークのある畳み込み層における、フィルタの各要素の重みに対応したコンダクタンスを各メモリスタに設定することにより、畳み込み演算をクロスバー回路にて実行させることが可能となる。
　ここで、出力層から見て上位の階層の畳み込み層において、フィルタの畳み込み演算を上述したクロスバー回路にて行おうとした場合、下位の階層の畳み込み層で作成された各特徴マップに対するフィルタの畳み込み演算結果を積算するために、入力バーの数として、（下位の階層の畳み込み層で作成された特徴マップの数×フィルタサイズ＋１）が必要となる。なお、フィルタサイズとしては、例えば３×３、５×５のサイズが用いられる。また、入力バーの数に「１」を加えているのは、バイアスを入力するための入力バーも必要なためである。
　大規模な畳み込みニューラルネットワークでは、１つの畳み込み層において用いられるフィルタの数も多数に上ることがある。この場合、畳み込み層で作成される特徴マップの数も多数に上ることになる。そのような場合、その上位階層の畳み込み層のクロスバー回路では、例えば、千を超える入力バーが必要となることもあり得る。
　しかしながら、クロスバー回路の物理的なサイズ、すなわち入力バーや出力バーの本数は、配線でのＩＲドロップや、配線の最大許容電流などの要因により、制限を受ける。このため、畳み込みニューラルネットワークが大規模となった場合には、上位階層の畳み込み層において、畳み込み演算にクロスバー回路を利用できない可能性が生じる。
国際公開第２０１６／０６８９５３号 国際公開第２０１７／０１００４９号
　本開示は、畳み込み層での畳み込み演算のために多数の入力バーが必要となる場合であっても、その畳み込み演算にクロスバー回路を適用することが可能な畳み込みニューラルネットワークを提供することを目的とする。
　本開示の態様において、ニューラルネットワークは、複数の畳み込み層と、マージ層とを備える。複数の畳み込み層の少なくとも１つは、複数の入力バーと、それら複数の入力バーと交差する複数の出力バーと、複数の入力バーと複数の出力バーとの各交点に設けられ、複数の入力バーに入力される各入力信号に対して、畳み込まれる複数のフィルタに対応する重みを付与する複数の重み付与素子とを有するクロスバー回路を有する。前記複数の畳み込み層の少なくとも１つのクロスバー回路は、それぞれの入力バーに入力された入力信号が前記重み付与素子によって重みを付与された状態で、各出力バー上で加算されることにより、それぞれの入力信号を含む入力データに対する前記複数のフィルタの畳み込み演算をアナログ領域で行う。前記入力データは、複数の特徴マップを含む。前記前記複数の畳み込み層の少なくとも１つのクロスバー回路は、前記複数の特徴マップの内の一部の特徴マップに対して複数のフィルタの畳み込み演算を行う第１クロスバー回路と、前記第１クロスバー回路とは別個に設けられ、前記第１クロスバー回路にて畳み込み演算の対象とされる前記一部の特徴マップとは異なる別の一部の特徴マップに対して複数のフィルタの畳み込み演算を行う第２クロスバー回路とを有する。前記マージ層は、前記第１クロスバー回路による演算結果と、前記第２クロスバー回路による演算結果とをマージする。
　上記のように、本開示による畳み込みニューラルネットワークは、複数の畳み込み層の少なくとも１つにおいて、クロスバー回路は、互いに別個に設けられた第１クロスバー回路と第２クロスバー回路とを有するように構成される。このため、ある畳み込み層において、クロスバー回路の物理的なサイズ上限を超える入力バーの本数が必要となる場合であっても、その必要となる入力バーの本数を、第１クロスバー回路と第２クロスバー回路を含む複数のクロスバー回路に振り分けることが可能になる。これにより、畳み込み演算をクロスバー回路において実行することが可能になる。
　ただし、第１クロスバー回路は、複数の特徴マップの内の一部の特徴マップに対して複数のフィルタの畳み込み演算を行って演算結果（特徴マップ）を出力するものである。また、第２クロスバー回路は、第１クロスバー回路にて畳み込み演算が行われる一部の特徴マップとは異なる別の一部の特徴マップに対して複数のフィルタの畳み込み演算を行って演算結果（特徴マップ）を出力するものである。このように、第１クロスバー回路及び第２クロスバー回路の演算結果は、個別に見ると、入力された全ての特徴マップに基づくものではない。このため、それらの畳み込み演算結果をそのまま用いて畳み込みニューラルネットワークにおける処理を続行すると、認識性能の低下を招く虞がある。
　そのため、本開示による畳み込みニューラルネットワークは、さらに、第１クロスバー回路による畳み込み演算結果と、第２クロスバー回路による畳み込み演算結果とをマージするマージ層を備えている。このように、それぞれの演算結果をマージすることにより、そのマージ結果は、入力された全ての特徴マップに基づくものとなる。そのため、マージ層によるマージ結果を用いて、その後の畳み込みニューラルネットワークにおける処理を続行することで、認識性能の低下を抑制することが可能となる。
　上述した構成において、マージ層は、第１クロスバー回路による演算結果と、第２クロスバー回路による演算結果との対応する要素同士をマージするものであることが好ましい。このように、対応する要素同士をマージするようにした場合、マージ層におけるマージ処理に、畳み込み層のクロスバー回路と同様に構成されたクロスバー回路を用いることができる。
　上述した構成において、マージ層は、複数の入力バーと、複数の入力バーと交差する複数の出力バーと、複数の入力バーと複数の出力バーとの各交点に設けられ、複数の入力バーに入力されるそれぞれの畳み込み演算結果の各要素に対して、重みを付与する複数の重み付与素子とを有するクロスバー回路を有し、マージ層のクロスバー回路において、第１クロスバー回路の畳み込み演算結果と第２クロスバー回路の畳み込み演算結果との対応する要素同士が重み付与素子による重みを付与された状態で、各出力バー上で加算されることによりマージされることが好ましい。このように、マージ層もクロスバー回路を用いて構成することにより、マージ処理の演算も効率的に行うことができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
実施形態による畳み込みニューラルネットワークの構造の一例を概念的に示す図であり、 図１の畳み込みニューラルネットワークを、クロスバー回路を用いて具現化した場合の構成を示す構成図であり、 クロスバー回路について説明するための説明図であり、 クロスバー回路について説明するための別の説明図であり、 クロスバー回路について説明するためのさらに別の説明図であり、 図１に示す構造の畳み込みニューラルネットワークにおいて、第１～第５コンボリューション層では３×３のサイズのフィルタを用いた畳み込み演算を行い、第６、第７コンボリューション層では１×１のサイズのフィルタを用いた畳み込み演算を行い、かつ、第１、第２コンボリューション層でのフィルタ数を９６、第３～第６コンボリューション層でのフィルタ数を１９２、及び第７コンボリューション層でのフィルタ数を１０とした場合に、各コンボリューション層にて必要となる入力バー及び出力バーの本数を示す図であり、 図６に示したケースにおいて、クロスバー回路の入力バーと出力バーの本数が、５１２×５１２の制限を受ける場合と、１０２４×１０２４の制限を受ける場合とで、それぞれ必要となるクロスバー回路の分割数の例を示す図であり、 クロスバー回路が、２つ以上のクロスバー回路に分割された場合の、それら２つ以上のクロスバー回路の演算結果をマージするマージ層を含む構成を示す図であり、 クロスバー回路の入力バーと出力バーの本数が、５１２×５１２の制限を受ける場合と、１０２４×１０２４の制限を受ける場合とで、いずれのコンボリューション層においてマージ層が必要になるか、及びマージ層が必要となる場合に、そのマージ層を構成するクロスバー回路の入力バーと出力バーとの本数を示す図であり、 変形例として、マージ層が、階層的に設けられた第１層クロスバー回路と、第２層クロスバー回路とから形成される構成を示した図であり、 実施形態及び変形例による、入力データの各カテゴリへの分類に関する平均エラー率の改善度合を示す図である。
　本開示に係る畳み込みニューラルネットワーク（Convolution Neural Network）の実施形態を、図面を参照しつつ説明する。以下に説明する実施形態では、入力データとしての画像を、複数のカテゴリに分類する用途に適用した例について説明する。ただし、畳み込みニューラルネットワークは、その他の用途に適用することも可能である。例えば、畳み込みニューラルネットワークは、物体や人の検出、人の顔の認識、あるいは、道路標識の認識などにも適用することが可能である。
　図１は、本実施形態による畳み込みニューラルネットワーク２０の構造の一例を概念的に示している。畳み込みニューラルネットワーク２０は、基本的に、コンボリューション層とプーリング層とを交互に接続した構造を有する。例えば、図１に示す例では、畳み込みニューラルネットワーク２０は、第１コンボリューション層２１、第２コンボリューション層２２、第３コンボリューション層２３、第４コンボリューション層２４、第５コンボリューション層２５、第６コンボリューション層２６、及び、第７コンボリューション層２７からなる７層のコンボリューション層を有している。そして、第２コンボリューション層２２と第３コンボリューション層２３との間に、第１プーリング層２８が設けられ、第４コンボリューション層２４と第５コンボリューション層２５との間に、第２プーリング層２９が設けられている。
　このように、畳み込みニューラルネットワーク２０においては、コンボリューション層の次に必ずプーリング層が接続されるとは限らず、複数のコンボリューション層を接続した後に、プーリング層が接続されることもある。また、コンボリューション層２１～２７及びプーリング層２８～２９の層数は、図１に示す例に限られない。一般的には、コンボリューション層２１～２７及びプーリング層２８～２９の層数を増やすほど、認識性能をより向上させることができる。
　第１～第７コンボリューション層２１～２７は、それぞれ入力される入力データ（画像）に対して、所定のサイズ（例えば３×３、５×５）を有するフィルタを畳み込む演算を行う。これは、一般的な画像処理でのフィルタの畳み込み、すなわち、小サイズの画像（フィルタ）を入力画像に２次元的に畳み込んで、画像をぼかしたり、エッジを強調したりするものと基本的に同じである。具体的には、第１～第７コンボリューション層２１～２７では、フィルタとしての小サイズの画像の各ピクセル値（重み）と、入力データとしての入力画像におけるフィルタと同サイズの領域の各ピクセル値とをそれぞれ掛け合わせた各乗算結果を積算することで、畳み込み演算が行われる。この際、入力データが複数枚の入力画像を含む場合には、それら複数枚の入力画像の同じ領域において同じフィルタによる畳み込み演算が行われ、それらの畳み込み演算による演算結果がさらに積算される。このようにして計算された積算結果は、ＲｅＬＵやｔａｎｈなどの活性化関数を経て、各コンボリューション層２１～２７のフィルタ位置に対応する出力となる。
　なお、フィルタの重みは学習によって決定される。学習は、本実施形態では、畳み込みニューラルネットワーク２０を、一旦コンピュータ上に構築し、教師あり学習により行われる。学習の対象は、上述したフィルタの重みの他、後述するマージ層のフィルタの重みやバイアス入力の大きさが含まれる。学習が終了すると、その学習値が、後述するクロスバー回路に設定される。
　フィルタは、所定のストライドで入力画像上をシフトされていき、各シフト位置において、上述した畳み込み演算が行われる。これにより、各コンボリューション層２１～２７において、入力画像全体に渡ってそれぞれのフィルタ位置に応じた出力が作成され、それらの集合が、各コンボリューション層２１～２７の出力となる。それらの出力を、フィルタのシフト位置に対応するように２次元的にまとめた結果が、各コンボリューション層２１～２７による出力データとなり、その出力データが次の階層のコンボリューション層の入力データとなる。このように、各コンボリューション層２１～２７の出力データは、それぞれ２次元的に配列される画像の形を取り、一般的には特徴マップと呼ばれる。この特徴マップは、各コンボリューション層２１～２７において使用されるフィルタの数と同じ数だけ生成される。このため、第２コンボリューション層２２以降の各コンボリューション層２２～２７には、複数枚の入力画像（特徴マップ）を含む入力データが入力される。
　また、第１コンボリューション層２１においても、入力画像がカラー画像である場合には、ＲＧＢに対応する３枚の画像が入力される。本実施形態では、入力データとしてカラー画像を用いている。一方、入力画像がグレースケール画像である場合には、第１コンボリューション層２１には、１枚の画像が入力されるだけである。
本実施形態では、第６、第７コンボリューション層２６、２７において使用されるフィルタのサイズは１×１に設定されている。つまり、第６、第７コンボリューション層２６、２７では、各入力画像における同じ位置のピクセル値が、フィルタによる重みを掛け合わされた上で加算される、１×１の畳み込み演算が行われる。これら第６、第７コンボリューション層２６、２７として、いわゆる全結合層を用いることも可能であるが、本実施形態では、第６、第７コンボリューション層２６、２７を含む各コンボリューション層２１～２７における畳み込み演算を、クロスバー回路を用いてアナログ領域において実行するために、上述したように１×１の畳み込み演算を行うコンボリューション層を採用している。全結合層を採用すると、入力バーの数が過大となり、１つのクロスバー回路で対応することが困難になるためである。クロスバー回路に関しては、後に詳細に説明する。
　第１、第２プーリング層２８、２９は、入力画像のどの位置でフィルタとの適合性が高かったかを示す情報の一部を捨てることにより、入力画像内に現れる特徴の位置変化に対する不変性を高めるとともに、画像のサイズを縮小して後の計算量を削減できるようにするためのものである。
　具体的には、第１、第２プーリング層２８、２９においては、入力画像に対して所定のサイズ（例えば２×２、３×３）のウインドウを定め、そのウインドウ内のピクセル値を平均化（平均プーリング）したり、ウインドウ内のピクセル値の最大値を採用（最大プーリング）したりすることにより、入力画像の複数のピクセル値をまとめる。なお、本実施形態では、第１、第２プーリング層における処理もクロスバー回路を用いてアナログ領域で行うべく、第１、第２プーリング層２８、２９は平均プーリングを実行するように構成される。
　プーリングにおけるウインドウは、そのウインドウの適用位置が重ならないように、あるいは一部のみで重なるように入力画像上でシフトされる。このため、例えば、ウインドウのサイズが２×２であり、ウインドウが重ならないように２ピクセルのストライドでシフトした場合には、プーリングにより入力画像のピクセル数は１／４に縮小される。なお、このようなプーリングは、各入力画像（特徴マップ）毎に行われるので、プーリング前後の入力画像の枚数は不変である。
　出力層３０は、例えば、ソフトマックス関数による正規化により、分類すべき複数のカテゴリ毎に、入力データ１０としての画像が属する確率を出力するように構成される。従って、出力層３０が出力する確率の中で最も高い確率に対応するカテゴリを選択することにより、入力データ１０としての画像を、複数のカテゴリに分類することができる。
　次に、上述した構造を有する畳み込みニューラルネットワーク２０を、クロスバー回路を用いて具現化するための構成について図２を参照して説明する。図２に示すように、畳み込みニューラルネットワーク２０を具現化するための構成要素として、本実施形態では、主に、マイクロコンピュータ４０、Ｄ／Ａ変換回路４３、クロスバー回路４４、及びＡ／Ｄ変換回路４５を備えている。
　最初に、クロスバー回路４４について、図３～図５に基づいて説明する。図３に示すように、クロスバー回路４４は、複数の入力バー５０と、複数の出力バー５１、５２と、複数の重み付与素子５３と、複数の差動演算増幅器５４とを有する。
　複数の入力バー５０には、マイクロコンピュータ４０によって、入力画像における、上述したフィルタと同サイズの領域の各ピクセル値に対応する入力信号（電圧信号）が入力される。複数の出力バー５１、５２は、複数の入力バー５０とそれぞれ交差するように設けられる。
　これらの入力バー５０及び出力バー５１、５２は、例えば図４に示すように、ＣＭＯＳ素子が形成されたＣＭＯＳ基板上に形成され得る。この場合、入力バー５０には、ＣＭＯＳ素子からなる入力ニューロン５５を介して、上述したピクセル値に対応する電圧信号が入力されるように構成される。入力バー５０と出力バー５１との交点には、重み付与素子５３としてのメモリスタが設けられ、入力バー５０と出力バー５１とは、メモリスタを介して接続されている。
　メモリスタは、印加電圧や通電電流によって、最小値と最大値との間で、異なる抵抗状態に設定することが可能な抵抗変化型メモリである。例えば、メモリスタのコンダクタンスは、図示しない電圧印加回路を用いて、負の書込電圧を印加することにより増加させることができ、正の書込電圧を印加することにより減少させることができる。そして、メモリスタは、正負の書込電圧以上の電圧が印加されない限り、設定された抵抗状態（コンダクタンス）を維持する。このようなメモリスタとして使用可能な素子としては、Pt/TiO2/Pt金属酸化物素子、相変化メモリ、磁気トンネル接合メモリ、などがある。
　図４に示す構成を、電気回路的に示すと図５のようになる。図５に示すように、出力バー５１に接続される出力ニューロン５６を構成するＣＭＯＳ素子によって演算増幅器が形成されている。さらに、この演算増幅器の入出力間に抵抗Ｒが接続されることにより、加算器が構成されている。このため、図５に示すように、入力ニューロン５５から入力バー５０にそれぞれ入力された電圧信号Ｖ１、Ｖ２は、重み付与素子５３としてのメモリスタによるコンダクタンスＧ１、Ｇ２がそれぞれ掛け合わされた上で、加算される。この加算結果は、加算器においてＲ倍される。このようにして、出力ニューロン５６からは、以下の数式１に示すように、各入力バー５０の電圧信号Ｖ１、Ｖ２、…と、メモリスタのコンダクタンスＧ１、Ｇ２との乗算結果が積算され、さらにＲ倍された結果が出力される。
（数１）
　　　出力ニューロンの出力電圧＝ＲΣＶｉＧｉ
　図３に示すように、出力バー５１は、差動演算増幅器５４の非反転入力端子に接続され、出力バー５２は、差動演算増幅器５４の反転入力端子に接続されている。差動演算増幅器５４は、ＣＭＯＳ基板内のＣＭＯＳ素子を用いて構成され得る。なお、図３においては、図５に示した加算器は省略されている。さらに、図３では、上述した活性化関数としての処理を行う回路も省略されている。実際には、差動演算増幅器５４の出力側に、活性化関数処理回路が設けられる。
　本実施形態では、差動演算増幅器５４の非反転入力端子及び反転入力端子に、それぞれ出力バー５１、５２を接続しているので、フィルタとして、正の重みだけでなく、負の重みも利用して畳み込み演算を行うことが可能になる。すなわち、ある入力信号に対して正の重みを掛け合わせる場合には、非反転入力端子に接続された出力バー５１と入力バー５０との間に設けられた重み付与素子５３のコンダクタンスを、反転入力端子に接続された出力バー５２と入力バー５０との間に設けられた重み付与素子５３のコンダクタンスよりも、設定しようとしている正の重み分だけ大きく設定すれば良い。逆に、ある入力信号に対して負の重みを掛け合わせる場合には、反転入力端子に接続された出力バー５２と入力バー５０との間に設けられた重み付与素子５３のコンダクタンスを、非反転入力端子に接続された出力バー５１と入力バー５０との間に設けられた重み付与素子５３のコンダクタンスよりも、設定しようとしている負の重み分だけ大きく設定すれば良い。
　従って、本実施形態では、図３に示すように、２本の出力バー５１、５２を１組として、その１組の出力バー５１、５２と入力バー５０との間の重み付与素子５３に対して、それぞれのフィルタ１、２、３、…に対応する重みが設定される。
　マイクロコンピュータ４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭなどを備え、例えば、ＲＯＭに記憶されたプログラムに従い、種々の処理を実施する。なお、以下においては、第１コンボリューション層２１を対象とした処理について説明するが、マイクロコンピュータ４０は、他のコンボリューション層２２～２７に対しても同様の処理を行なう。
　まず、マイクロコンピュータ４０は、入力データ１０としての画像において、フィルタの畳み込み演算を行う領域を定め、その領域に含まれる各ピクセルのピクセル値に応じたデジタル信号をＤ／Ａ変換回路４３に出力する。これにより、Ｄ／Ａ変換回路４３は、畳み込み演算が行われる領域の各ピクセル値に応じたアナログ信号（電圧信号）をクロスバー回路４４へ出力する。
　さらに、マイクロコンピュータ４０は、クロスバー回路４４における演算処理が終了して、出力が出されるタイミングで、Ａ／Ｄ変換回路４５からの出力を取り込む処理を実行する。この際、Ａ／Ｄ変換回路４５は、第１コンボリューション層２１において使用されるフィルタ数と同数の、あるフィルタ位置での畳み込み演算、活性化関数による処理を経た出力をデジタル信号に変換して出力している。マイクロコンピュータ４０は、Ａ／Ｄ変換回路４５から出力されたデジタル信号を、複数のフィルタ毎に区別して、ＲＡＭ４２にそれぞれ格納する。
　そして、マイクロコンピュータ４０は、入力画像において、フィルタの畳み込み演算を行う領域を所定のストライドだけシフトさせ、そのシフト後の領域に含まれるピクセル値に対応するデジタル信号を出力するとともに、上述したのと同様の処理を行う。これを、入力画像のすべての領域でフィルタのシフトが完了するまで繰り返す。これにより、第１コンボリューション層２１により作成された、フィルタ数と同数の特徴マップを示すデジタルデータがＲＡＭ４２に保存される。
　上述した構成を有する畳み込みニューラルネットワーク２０において、大規模なネットワークを構築しようとした場合、１つのコンボリューション層において用いられるフィルタの数も多数に上ることがある。この場合、そのコンボリューション層で作成される特徴マップの数も多数に上ることになる。そのような場合、その次の階層（上位階層）のコンボリューション層のクロスバー回路４４では、例えば、千を超える入力バー５０が必要となることもあり得る。
　例えば、図１に示す構造の畳み込みニューラルネットワーク２０において、第１～第５コンボリューション層２１～２５では、３×３のサイズのフィルタを用いた畳み込み演算を行い、かつ、第１、第２コンボリューション層２１、２２でのフィルタ数を９６、第３～第６コンボリューション層２３～２６でのフィルタ数を１９２、及び第７コンボリューション層２７でのフィルタ数を１０とした場合に、各コンボリューション層２１～２７にて必要となる入力バー５０及び出力バー５１、５２の数を図６に示す。
　第１コンボリューション層２１では、ＲＧＢの３枚の画像に対して、３×３のフィルタによる畳み込み演算を行うために必要な入力バー５０の数は、画像枚数（３枚）×フィルタサイズ（３×３）＋バイアス入力（１）＝２８となる。また、出力バー５１、５２の数は、１組の出力バー（２本）×フィルタ数（９６）＝１９２となる。
　同様に、第２～第７コンボリューション層２２～２７にて必要となるクロスバーの数を計算すると、図６に示すように、第２コンボリューション層２２では、入力バー５０の数は８６５、出力バー５１、５２の数は１９２となる。第３コンボリューション層２３では、入力バー５０の数は８６５、出力バー５１、５２の数は３８４となる。第４、第５コンボリューション層２４、２５では、入力バー５０の数は１７２９、出力バー５１、５２の数は３８４となる。第６コンボリューション層２６では、入力バー５０の数は１９３、出力バー５１、５２の数は３８４となる。そして、第７コンボリューション層２７では、入力バー５０の数は１９３、出力バー５１、５２の数は２０となる。
　このように、あるコンボリューション層において、多数のフィルタを用いた場合、生成される特徴マップの数も増えるため、次の（上位の）階層のコンボリューション層のクロスバー回路４４において、必要な入力バーの本流が飛躍的に増加することになる。
　しかしながら、クロスバー回路４４の物理的なサイズ、すなわち入力バーや出力バーの本数は、各配線でのＩＲドロップや、各配線の最大許容電流などの要因により、制限を受ける。例えば、入力バー５０と出力バー５１、５２の数は、実用上、５１２×５１２に制限されたり、１０２４×１０２４に制限されたりする。
　このため、畳み込みニューラルネットワーク２０が大規模となった場合には、上位階層のコンボリューション層において、１つのクロスバー回路４４だけでは、すべての特徴マップからの入力を受けることができないことが起こり得る。この場合、クロスバー回路４４を２つ以上のクロスバー回路に分割し、多数の特徴マップからの入力を、２つ以上のクロスバー回路に振り分けることが考えられる。この場合、クロスバー回路４４は、少なくとも、複数の特徴マップの内の一部の特徴マップに対して複数のフィルタの畳み込み演算等を行う第１クロスバー回路と、第１クロスバー回路とは別個に設けられ、第１クロスバー回路にて畳み込み演算等が行われる一部の特徴マップとは異なる別の一部の特徴マップに対して複数のフィルタの畳み込み演算を行う第２クロスバー回路とを有することになる。
　例えば、図６に示したケースにおいて、クロスバー回路４４の入力バー５０と出力バー５１、５２の本数が、５１２×５１２の制限を受ける場合と、１０２４×１０２４の制限を受ける場合とで、それぞれ必要となるクロスバー回路４４の分割数を図７に示す。
　入力バー５０と出力バー５１、５２の本数が５１２×５１２の制限を受ける場合、図７に「分割数の例１」として示すように、第２、第３コンボリューション層２２、２３において、入力バー５０の数が８６５であるため、２つのクロスバー回路が必要となる。従って、第２、第３コンボリューション層２２、２３のクロスバー回路の分割数は２となる。さらに、第４、第５コンボリューション層２４、２５では、入力バー５０の数が１７２９であるため、４つのクロスバー回路が必要となる。従って、第４、第５コンボリューション層２４、２５のクロスバー回路の分割数は４となる。
　クロスバー回路の入力バー５０と出力バー５１、５２の最大本数が１０２４×１０２４である場合には、クロスバー回路の分割は多少抑えられる。それでも、図７に「分割数の例２」として示すように、第４、第５コンボリューション層２４、２５において、２つのクロスバー回路が必要となるので、クロスバー回路の分割数は２となる。
　クロスバー回路を分割すると、分割された２つ以上のクロスバー回路では、それぞれ異なる一部の特徴マップを入力とした畳み込み演算等を行うことになる。換言すれば、分割された各クロスバー回路の出力を個別に見ると、入力された全ての特徴マップに基づくものではない。このため、それらの出力をそのまま用いて畳み込みニューラルネットワーク２０における処理を続行すると、認識性能の低下を招く虞がある。
　そのため、本実施形態では、図８に示すように、クロスバー回路４４が、２つ以上の第１、第２クロスバー回路６１，６２に分割された場合、それら２つ以上の第１、第２クロスバー回路６１、６２の演算結果の対応する要素としてのピクセル値同士をマージするマージ層６３を設けた。
　マージ層６３は、各コンボリューション層２１～２７と同様のクロスバー回路６４を有し、当該クロスバー回路６４において、上述した第６、第７コンボリューション層２６、２７と同様に、１×１の畳み込み演算を行うように構成される。すなわち、第１クロスバー回路６１の演算結果と、第２クロスバー回路６２の演算結果とは、それぞれ画像の形を取る。マージ層６３のクロスバー回路６４では、分割された第１、第２クロスバー回路６１、６２の演算結果としての画像における同じ位置のピクセル値に対し、それぞれ１×１のサイズのフィルタ毎の重みを掛け合わせた上で加算する演算を行う。マージ層６３におけるフィルタの数は、対応するコンボリューション層において使用されるフィルタの数と同じに設定される。なお、マージ層６３におけるフィルタの重みも、上述したように、クロスバー回路４４、６１、６２におけるフィルタの重みの学習と同時に学習される。
　また、マージ層６３によって、第１、第２クロスバー回路６１、６２にて作成された特徴マップ（画像）をマージするために、第１クロスバー回路６１の畳み込み演算結果の各要素（ピクセル）の数、第２クロスバー回路６２の畳み込み演算結果の各要素（ピクセル）の数、及びマージ層６３によるマージ結果の各要素（ピクセル）の数は、同一である。
　図８を参照して、クロスバー回路４４の分割やマージ層６３に関して、より具体的に説明する。図８では、クロスバー回路４４の最大本数が５１２×５１２に制限される分割例１において、第２コンボリューション層２２のクロスバー回路４４が、２つの第１、第２クロスバー回路６１，６２に分割された場合に、第１、第２クロスバー回路６１、６２に入力される特徴マップの数、及び第１、第２クロスバー回路６１、６２から出力される特徴マップの数、さらにマージ層６３のクロスバー回路６４から出力される特徴マップの数の一例を示している。
　上述したように、第１コンボリューション層２１において使用されるフィルタ数は９６であり、第２コンボリューション層２２には、そのフィルタ数と同数の９６枚の特徴マップが、入力データとして与えられる。第２コンボリューション層２２において、この入力データを１つのクロスバー回路４４で処理しようとすると、図６に示すように、入力バーの数として８６５本が必要となる。しかし、クロスバー回路４４の入力バーの本数は最大で５１２本に制限されている。このため、第２コンボリューション層２２では、クロスバー回路４４を第１、第２クロスバー回路６１、６２の２つに分割する。
　第１クロスバー回路６１には、入力データに含まれる９６枚の特徴マップの内、４８枚の特徴マップが入力される。この場合、必要となる入力バーの本数は、特徴マップの枚数４８×フィルタサイズ（３×３）＋バイアス入力（１）＝４３３となり、最大本数内に収めることができる。また、第２コンボリューション層２２において使用されるフィルタ数は９６であるが、第１クロスバー回路６１では、その内の半分の４８のフィルタによる畳み込み演算を行うように構成される。従って、第１クロスバー回路の出力バーの本数は、１組の出力バー（２本）×フィルタ数（４８）＝９６となる。そして、フィルタ数が４８であるため、第１クロスバー回路６１にて作成される第１特徴マップの枚数は４８枚となる。
　第２クロスバー回路６２は、第１クロスバー回路６１にて畳み込み演算の対象とされる一部の特徴マップとは異なる別の一部の特徴マップに対して複数のフィルタの畳み込み演算を行う。従って、第２クロスバー回路６２にも、入力データに含まれる９６枚の特徴マップの内、第１クロスバー回路６１に入力される以外の残りの４８枚の特徴マップが入力される。さらに、第２クロスバー回路６２では、第１クロスバー回路６１にて畳み込み演算が行われるフィルタ以外の、残りの４８のフィルタの畳み込み演算が行われる。従って、第２クロスバー回路６２においては、第１クロスバー回路６１と同様に、入力バー５０の本数が４３３となり、出力バー５１、５２の本数は９６となる。また、第２クロスバー回路６２にて作成される第２特徴マップの数は４８枚となる。
　そして、第１クロスバー回路６１にて作成された第１特徴マップと、第２クロスバー回路６２にて作成された第２特徴マップとが、マージ層６３の入力データとなる。このため、図９に第１マージ層として示すように、マージ層６３のクロスバー回路６４の入力バー５０の本数は、（第１特徴マップの枚数（４８）＋第２特徴マップの枚数（４８））×フィルタサイズ（１×１）＋バイアス入力＝９７となる。また、クロスバー回路６４の出力バー５１、５２の本数は、１組の出力バー（２本）×フィルタ数（９６）＝１９２となる。このように、マージ層６３では、１×１の畳み込み演算を行うだけであるため、入力バー５０の本数及び出力バー５１、５２の本数とも、最大本数内に収めることができる。
　以上は、クロスバー回路４４の最大本数が５１２×５１２に制限される場合に、第２コンボリューション層２２に設けられる第１マージ層に関する説明である。同様にして、第３コンボリューション層２３に設けられる第２マージ層、第４コンボリューション層２４に設けられる第３マージ層、及び第５コンボリューション層２５に設けられる第４マージ層のクロスバー回路の入力バー及び出力バーの本数を計算すると、図９に示すようになる。すなわち、第２～第４マージ層は、いずれも入力バーの本数は１９３、出力バーの本数は３８４となる。
　また、クロスバー回路４４の最大本数が１０２４×１０２４に制限される場合には、図９に示すように、第１マージ層及び第２マージ層は不要であり、第３マージ層及び第４マージ層だけが設けられる。その場合の第３，第４マージ層のクロスバー回路は、上述した例と同じく、入力バーの本数は１９３、出力バーの本数は３８４となる。
　このように、コンボリューション層のクロスバー回路が２つ以上に分割される場合に、分割されたクロスバー回路のそれぞれの演算結果の対応する要素同士をマージするマージ層を設けることにより、マージ層から出力される各々の特徴マップは、入力された全ての特徴マップに基づくものとなる。そのため、マージ層から出力された特徴マップを用いて、その後の畳み込みニューラルネットワークにおける処理を続行することで、認識性能の低下を抑制することが可能となる。
　例えば、図８に示した、第１、第２クロスバー回路６１、６２へ入力される特徴マップの数、第１、第２クロスバー回路６１、６２から出力される特徴マップの数は、一例に過ぎない。第１、第２クロスバー回路６１、６２には、入力バーが最大本数内に収まる範囲で、異なる数の特徴マップを入力しても良い。また、第１クロスバー回路６１と、第２クロスバー回路６２とで、異なる数の特徴マップが作成されるようにしても良い。
　また、図８に示す例とは異なり、第１クロスバー回路６１において、入力データの内の一部（例えば４８枚）の特徴マップに対して、すべてのフィルタによる畳み込み演算を行って全枚数（例えば９６枚）の第１特徴マップを作成するとともに、第２クロスバー回路６２においても、入力データの内の別の一部（例えば４８枚）の特徴マップに対して、すべてのフィルタによる畳み込み演算を行って全枚数（例えば９６枚）の第２特徴マップを作成しても良い。ただし、この場合、マージ層６３のクロスバー回路６４の入力バーの本数は、第１特徴マップの枚数＋第２特徴マップの枚数＋バイアス入力となるため、上述した実施形態に比べて増加することになる。
　さらに、マージ層６３の内部を階層的に構成しても良い。つまり、図１０に示すように、マージ層６３を、階層的に設けられた第１層クロスバー回路６５、６６と、第２層クロスバー回路６７とから構成しても良い。なお、図１０には、例えば、第４コンボリューション層２４において、階層的なマージ層６３を設けた場合の、各クロスバー回路６５～６７に入力される特徴マップの数、各クロスバー回路６５～６７から出力される特徴マップの数の一例を示している。以下、図１０を参照して、マージ層６３の階層的な構成について説明する。
　上述したように、第３コンボリューション層２３にて作成される特徴マップの枚数は１９２枚であり、第４コンボリューション層２４の第１クロスバー回路６１には、その中の９６枚の特徴マップが入力される。そして、第１クロスバー回路６１は、全部で１９２個のフィルタの内の９６個のフィルタによる畳み込み演算を行って、９６枚の特徴マップを作成する。同様に、第４コンボリューション層２４の第２クロスバー回路６２にも、第１クロスバー回路６１に入力された以外の残りの９６枚の特徴マップが入力される。そして、第２クロスバー回路６２は、第１クロスバー回路６１にて畳み込み演算が行われるフィルタ以外の、残りの４８のフィルタの畳み込み演算を行い、９６枚の特徴マップを作成する。
　マージ層６３には、２個の第１層クロスバー回路６５、６６が設けられる。ただし、第１層クロスバー回路６５、６６は３個以上であっても良い。２つの第１層クロスバー回路６５、６６は、ともに、第１クロスバー回路６１にて作成された特徴マップと、第２クロスバー回路６２にて作成された特徴マップとを入力として、１×１のサイズのフィルタによる畳み込み演算を行う。第１層クロスバー回路６５、６６にて使用されるフィルタ数も同じ１９２であり、それぞれ１９２枚の特徴マップを作成する。ただし、２個の第１層クロスバー回路６５、６６にて使用されるフィルタは、それぞれ個別に用意され、学習もそれぞれ行われる。このため、２個の第１層クロスバー回路６５、６６では、それぞれ重みの異なるフィルタが用いられることになる。
　第２層クロスバー回路６７は、２個の第１層クロスバー回路６５、６６にて作成された特徴マップを入力として、１×１のサイズのフィルタによる畳み込み演算を行い、第４コンボリューション層２４の出力として、１９２枚の特徴マップを作成する。
　図１１に基づき、マージ層６３を階層的に構成した場合の効果を説明する。コンピュータ上に、各コンボリューション層２１～２７のクロスバー回路４４を分割せずに畳み込みニューラルネットワーク２０を構築した場合、入力データの各カテゴリへの分類に関する平均エラー率は９．１７±０．１３％であった。
　それに対し、各コンボリューション層２１～２７のクロスバー回路４４を分割し、上述したマージ層６３を設けなかった場合、平均エラー率は、分割例１において１３．１±０．４３％、分割例２において１１．２２±０．１４％まで悪化した。しかし、上述した実施形態にて説明したような、１階層のクロスバー回路６４からなるマージ層６３を設けた場合、平均エラー率は、分割例１において１１．１７±０．２４％、分割例２において１０．０２±０．２６％まで改善した。さらに、図１０に示すように、２階層のクロスバー回路６５、６６からなるマージ層６３を設けた場合には、平均エラー率は、分割例１において１１．１５±０．０４％、分割例２において９．６４±０．２５％となり、より一層の改善を図ることができることを確認した。
　また、上述した実施形態では、すべてのコンボリューション層２１～２７における畳み込み演算をクロスバー回路４４を用いて行う例について説明したが、クロスバー回路４４の分割が必要となる少なくとも１つのコンボリューション層において、分割したクロスバー回路６１、６２及びマージ層を用いて畳み込み演算を行い、他のコンボリューション層の畳み込み演算はマイクロコンピュータ４０にて行うものであっても良い。
　さらに、上述した実施形態のマージ層６３におけるマージ処理をクロスバー回路６４ではなく、マイクロコンピュータ４０にて行う場合には、マージ層６３は、全結合層として、全ての特徴マップの全要素（全ピクセル）を重み付けして加算するものであっても良い。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (7)

  1. 　複数の畳み込み層（２１～２７）と、
    　マージ層（６３）とを備えた畳み込みニューラルネットワーク（２０）であって、
    　複数の畳み込み層の少なくとも１つは、複数の入力バー（５０）と、それら複数の入力バーと交差する複数の出力バー（５１、５２）と、複数の入力バーと複数の出力バーとの各交点に設けられ、複数の入力バーに入力される各入力信号に対して、畳み込まれる複数のフィルタに対応する重みを付与する複数の重み付与素子（５３）とを有するクロスバー回路（４４）を有し、
    前記複数の畳み込み層の少なくとも１つのクロスバー回路（４４）は、それぞれの入力バーに入力された入力信号が前記重み付与素子によって重みを付与された状態で、各出力バー上で加算されることにより、それぞれの入力信号を含む入力データに対する前記複数のフィルタの畳み込み演算をアナログ領域で行うものであり、
    　前記入力データは、複数の特徴マップを含み、
    　前記前記複数の畳み込み層の少なくとも１つのクロスバー回路（４４）は、前記複数の特徴マップの内の一部の特徴マップに対して複数のフィルタの畳み込み演算を行う第１クロスバー回路（６１）と、前記第１クロスバー回路とは別個に設けられ、前記第１クロスバー回路にて畳み込み演算の対象とされる前記一部の特徴マップとは異なる別の一部の特徴マップに対して複数のフィルタの畳み込み演算を行う第２クロスバー回路（６２）とを有し、
    　前記マージ層（６３）は、前記第１クロスバー回路による演算結果と、前記第２クロスバー回路による演算結果とをマージする畳み込みニューラルネットワーク。
  2. 　前記マージ層は、前記第１クロスバー回路による演算結果と、前記第２クロスバー回路による演算結果との対応する要素同士をマージする請求項１に記載の畳み込みニューラルネットワーク。
  3. 　前記マージ層は、複数の入力バーと、複数の入力バーと交差する複数の出力バーと、複数の入力バーと複数の出力バーとの各交点に設けられ、複数の入力バーに入力されるそれぞれの畳み込み演算結果の各要素に対して、重みを付与する複数の重み付与素子とを有する第３クロスバー回路（６４）を有し、
    　前記マージ層の第３クロスバー回路において、前記第１クロスバー回路の畳み込み演算結果と前記第２クロスバー回路の畳み込み演算結果との対応する要素同士が、重み付与素子による重みを付与された状態で、各出力バー上で加算される請求項２に記載の畳み込みニューラルネットワーク。
  4. 　前記マージ層は、階層的に設けられた第１マージ層（６５、６６）と第２マージ層（６７）とを有し、
    　前記第１マージ層は、前記第１クロスバー回路による畳み込み演算結果と、前記第２クロスバー回路による畳み込み演算結果との対応する要素同士をマージしたマージ結果として、複数のマージ結果を出力し、
    　前記第２マージ層は、前記第１マージ層が出力した複数のマージ結果の対応する要素同士をさらにマージする請求項２又は３に記載の畳み込みニューラルネットワーク。
  5. 　前記第１クロスバー回路は、複数のフィルタの内の一部のフィルタの畳み込み演算を行い、畳み込み演算を行ったフィルタの数に対応する特徴マップを作成するものであり、
    　前記第２クロスバー回路は、前記第１クロスバー回路にて畳み込み演算を行ったフィルタとは異なる別の一部のフィルタの畳み込み演算を行い、畳み込み演算を行ったフィルタの数に対応する特徴マップを作成するものである請求項１乃至４のいずれかに記載の畳み込みニューラルネットワーク。
  6. 　前記第１クロスバー回路の畳み込み演算結果の各要素の数、前記第２クロスバー回路の畳み込み演算結果の各要素の数、及び前記マージ層によるマージ結果の各要素の数は、同一である請求項１乃至５のいずれかに記載の畳み込みニューラルネットワーク。
  7. 　前記前記複数の畳み込み層の少なくとも１つのクロスバー回路における重み付与素子、及び前記マージ層の第３クロスバー回路における重み付与素子は、外部にて行われる学習結果に基づく重みがそれぞれ設定される請求項３に記載の畳み込みニューラルネットワーク。
     
PCT/JP2018/011272 2017-05-29 2018-03-22 畳み込みニューラルネットワーク WO2018220957A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/688,088 US11586888B2 (en) 2017-05-29 2019-11-19 Convolutional neural network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-105742 2017-05-29
JP2017105742A JP6724863B2 (ja) 2017-05-29 2017-05-29 畳み込みニューラルネットワーク

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/688,088 Continuation US11586888B2 (en) 2017-05-29 2019-11-19 Convolutional neural network

Publications (1)

Publication Number Publication Date
WO2018220957A1 true WO2018220957A1 (ja) 2018-12-06

Family

ID=64456285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011272 WO2018220957A1 (ja) 2017-05-29 2018-03-22 畳み込みニューラルネットワーク

Country Status (3)

Country Link
US (1) US11586888B2 (ja)
JP (1) JP6724863B2 (ja)
WO (1) WO2018220957A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110000116A (zh) * 2019-04-19 2019-07-12 福建铂格智能科技股份公司 一种基于深度学习的自由落体果蔬分选方法及系统
US11537897B2 (en) 2017-06-19 2022-12-27 Denso Corporation Artificial neural network circuit training method, training program, and training device
US12026608B2 (en) 2017-06-19 2024-07-02 Denso Corporation Method for adjusting output level of multilayer neural network neuron

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807519B (zh) * 2019-11-07 2023-01-17 清华大学 基于忆阻器的神经网络的并行加速方法及处理器、装置
KR20220010362A (ko) 2020-07-17 2022-01-25 삼성전자주식회사 뉴럴 네트워크 장치 및 그의 동작 방법
WO2022150009A1 (en) * 2021-01-08 2022-07-14 Agency For Science, Technology And Research GENERATING AN OUTPUT FOR A RECTIFIED LINEAR UNIT (ReLU)-ACTIVATED NEURON OF A NEURAL NETWORK

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646243B1 (en) * 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array
US20180018559A1 (en) * 2016-07-14 2018-01-18 University Of Dayton Analog neuromorphic circuits for dot-product operation implementing resistive memories

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10109348B2 (en) 2014-10-30 2018-10-23 Hewlett Packard Enterprise Development Lp Double bias memristive dot product engine for vector processing
US9934463B2 (en) 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
US10332004B2 (en) 2015-07-13 2019-06-25 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018559A1 (en) * 2016-07-14 2018-01-18 University Of Dayton Analog neuromorphic circuits for dot-product operation implementing resistive memories
US9646243B1 (en) * 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAKOPCIC, CHRIS ET AL.: "Memristor crossbar deep network implementation based on a convolutional neural network", IEEE 2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), 24 July 2016 (2016-07-24) - 29 July 2016 (2016-07-29), XP032992268, ISSN: 2161-4407, DOI: 10.1109/IJCNN.2016.7727302 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537897B2 (en) 2017-06-19 2022-12-27 Denso Corporation Artificial neural network circuit training method, training program, and training device
US12026608B2 (en) 2017-06-19 2024-07-02 Denso Corporation Method for adjusting output level of multilayer neural network neuron
CN110000116A (zh) * 2019-04-19 2019-07-12 福建铂格智能科技股份公司 一种基于深度学习的自由落体果蔬分选方法及系统
CN110000116B (zh) * 2019-04-19 2021-04-23 福建铂格智能科技股份公司 一种基于深度学习的自由落体果蔬分选方法及系统

Also Published As

Publication number Publication date
JP6724863B2 (ja) 2020-07-15
US20200082255A1 (en) 2020-03-12
US11586888B2 (en) 2023-02-21
JP2018200627A (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
WO2018220957A1 (ja) 畳み込みニューラルネットワーク
US11501146B2 (en) Convolutional neural network
JP7021904B2 (ja) 畳み込み神経網処理方法及び装置
Lin et al. Exploring context with deep structured models for semantic segmentation
US11521039B2 (en) Method and apparatus with neural network performing convolution
JP6724869B2 (ja) 多層ニューラルネットワークのニューロンの出力レベル調整方法
US20180253641A1 (en) Arithmetic processing apparatus and control method therefor
US11017269B2 (en) System and method for optimization of deep learning architecture
US11562215B2 (en) Artificial neural network circuit
EP4307211A1 (en) Method and apparatus with image restoration
CN113298129A (zh) 基于超像素和图卷积网络的极化sar图像分类方法
JP7279921B2 (ja) ニューラルネットワーク回路装置、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム
Toh Kernel and range approach to analytic network learning
JP2017027314A (ja) 並列演算装置、画像処理装置及び並列演算方法
CN112560960A (zh) 一种高光谱图像分类方法、装置以及计算设备
WO2019243910A1 (en) Segmenting irregular shapes in images using deep region growing
CN116152082A (zh) 用于图像去模糊的方法和设备
CN113672612A (zh) 索引源数组中的元素
CN107644251A (zh) 神经元激活方法、装置和系统以及对象分类方法和系统
US20230092017A1 (en) Computing device and method
US20230124075A1 (en) Methods, systems, and media for computer vision using 2d convolution of 4d video data tensors
US20210319299A1 (en) Inference device and inference method
Ahmed et al. Tiny Deep Ensemble: Uncertainty Estimation in Edge AI Accelerators via Ensembling Normalization Layers with Shared Weights
Xie Effect of Enhancement on Convolutional Neural Network Based Multi-view Object Classification
CN112801282A (zh) 三维图像处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18809264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18809264

Country of ref document: EP

Kind code of ref document: A1