WO2022004389A1 - 演算装置、学習方法、およびニューラルネットワークの作成方法 - Google Patents

演算装置、学習方法、およびニューラルネットワークの作成方法 Download PDF

Info

Publication number
WO2022004389A1
WO2022004389A1 PCT/JP2021/022886 JP2021022886W WO2022004389A1 WO 2022004389 A1 WO2022004389 A1 WO 2022004389A1 JP 2021022886 W JP2021022886 W JP 2021022886W WO 2022004389 A1 WO2022004389 A1 WO 2022004389A1
Authority
WO
WIPO (PCT)
Prior art keywords
calculation
region
layer
feature map
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/022886
Other languages
English (en)
French (fr)
Inventor
敏之 藤嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of WO2022004389A1 publication Critical patent/WO2022004389A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • This disclosure relates to an arithmetic unit using a neural network, a learning method, and a method of creating a neural network.
  • Non-Patent Document 1 a configuration of a neural network that recognizes according to the result of learning based on the content of data has been proposed (see, for example, Non-Patent Document 1).
  • the arithmetic unit includes a generation unit that generates a first feature map and a second feature map having a common feature amount in the channel direction based on input data, a first region in which the first feature map is input, and a generation unit.
  • An input layer having a second area in which a second feature map is input in the channel direction, and a third area in which calculation results corresponding to the first area are output and a fourth area in which calculation results corresponding to the second area are output.
  • a neural network having an output layer having a region in the channel direction is provided with an arithmetic unit, and the third region is coupled to a first region and at least a part of a second region, and a second region is provided.
  • the operational coefficient of the coupling from to the third region is set to substantially zero
  • the fourth region is coupled to the second region and at least a part of the first region, and from the first region to the fourth region.
  • the operation factor of the combination is set to substantially zero.
  • the learning method includes a first step of generating a first feature map and a second feature map having a common feature amount in the channel direction based on input data, and a first region in which the first feature map is input. And an input layer having a second area in which the second feature map is input in the channel direction, and a third area in which calculation results corresponding to the first area are output and calculation results corresponding to the third area and the second area are output.
  • the second step includes a third step to be updated, the second step is a step of joining the third region to the first region and at least a part of the second region, and the fourth region is one of the second region and at least the first region.
  • the third step is such that the calculation coefficient of the connection from the second region to the third region and the calculation coefficient of the connection from the first region to the fourth region become substantially zero. , Includes steps to update the arithmetic coefficients.
  • the learning method includes a first step of generating a first feature map and a second feature map having a common feature amount in the channel direction based on input data, and a first region in which the first feature map is input. And an input layer having a second area in which the second feature map is input in the channel direction, and a third area in which calculation results corresponding to the first area are output and calculation results corresponding to the third area and the second area are output.
  • the second step includes a third step to be updated, the second step is a step of joining the third region to the first region and at least a part of the second region, and the fourth region is one of the second region and at least the first region.
  • the third step including the step of joining the parts, keeps the calculation coefficient of the connection from the second region to the third region and the calculation coefficient of the connection from the first region to the fourth region substantially zero. However, it includes a step of updating the arithmetic coefficients of other combinations.
  • the method for creating a neural network includes a first calculation path and a first calculation path so as to have one or more calculation layers for outputting the result of executing a predetermined calculation using a calculation coefficient for the feature amount of the input feature map.
  • a step of inputting teacher data and updating the calculation coefficient of the calculation layer, and a step of connecting the corresponding layers in the first calculation path and the second calculation path where the calculation coefficient is updated in the channel direction include.
  • the method for creating a neural network includes a first calculation path and a first calculation path so as to have one or more calculation layers for outputting the result of executing a predetermined calculation using a calculation coefficient for the feature amount of the input feature map.
  • an auxiliary arithmetic layer that executes the same operation as the arithmetic layer arranged at the corresponding position at the position where the arithmetic layer corresponding to the arithmetic layer arranged in the first arithmetic path is not arranged in the second arithmetic path.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a computer.
  • FIG. 2 is a functional block diagram of the processor.
  • FIG. 3 is a diagram illustrating the generation of the feature map by the generation unit.
  • FIG. 4 is a schematic diagram showing the structure of the neural network.
  • FIG. 5 is a first flowchart of the first process of creating a neural network.
  • FIG. 6A is a diagram showing a first state in the first process of creating a neural network.
  • FIG. 6B is a diagram showing a second state in the first process of creating a neural network.
  • FIG. 6C is a diagram showing a third state in the first process of creating a neural network.
  • FIG. 7 is a diagram showing a first example of coupling in a calculation path.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a computer.
  • FIG. 2 is a functional block diagram of the processor.
  • FIG. 3 is a diagram illustrating the generation of the feature map by the generation unit.
  • FIG. 8 is a diagram showing a second example of coupling in the calculation path.
  • FIG. 9 is a diagram showing an outline of the activation operation in the auxiliary operation layer.
  • FIG. 10 is an operation flowchart of the learning process.
  • FIG. 11 is a flowchart of the second process of creating the neural network.
  • FIG. 12 is a second flowchart of the first process of creating a neural network.
  • FIG. 13 is a third flowchart of the first process of creating a neural network.
  • FIG. 14 is a schematic diagram showing the configuration of a camera equipped with an arithmetic unit.
  • FIG. 15 is a processing flowchart of a camera equipped with an arithmetic unit.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a computer
  • FIG. 2 is a functional block diagram of a processor.
  • the computer 1 which is an example of the arithmetic unit generates a feature map based on predetermined input data, inputs the feature map to the neural network, and outputs the calculation result. Therefore, the computer 1 includes an input / output interface 11, a memory 12, and a processor 13.
  • the input / output interface 11 has an interface circuit for receiving data to be processed by the computer 1 or outputting the data processed by the computer 1.
  • the input / output interface 11 includes, for example, a communication interface circuit for connecting the computer 1 to a communication network, or a peripheral device interface circuit for connecting the computer 1 to various peripheral devices such as a keyboard and a display.
  • the input / output interface 11 accepts input of predetermined data and outputs a processing result.
  • the memory 12 is an example of a storage unit, and has, for example, at least one of a semiconductor memory, a magnetic disk device, and an optical disk device.
  • the memory 12 stores a driver program, an operating system program, an application program, data, and the like used for processing by the processor 13.
  • the memory 12 stores, as an application program, a computer program for realizing the arithmetic processing of the present disclosure.
  • the memory 12 stores as data a parameter group (number of layers, layer configuration, kernel, weighting coefficient, etc.) for defining the neural network.
  • the various programs may be installed in the memory 12 from a computer-readable portable recording medium using a known setup program or the like.
  • the computer-readable portable recording medium is, for example, a CD-ROM (Compact Disc Read-Only Memory), a DVD-ROM (DVD Read-Only Memory), or the like.
  • the processor 13 includes one or more processors and their peripheral circuits.
  • the processor 13 is a processing circuit that comprehensively controls the overall operation of the computer 1, and is, for example, a CPU (Central Processing Unit).
  • the processor 13 may have a GPU (Graphics Processing Unit) capable of processing a large number of routine operations in parallel.
  • the processor 13 controls the operation of the input / output interface 11 and the like so that various processes of the computer 1 are executed by appropriate means based on the program and the like stored in the memory 12.
  • the processor 13 executes processing based on a program (operating system program, driver program, application program, etc.) stored in the memory 12. Further, the processor 13 can execute a plurality of programs (application programs and the like) in parallel.
  • the processor 13 has a generation unit 131 for generating a feature map based on the input input data, and an arithmetic processing unit 132 for executing an operation by the neural network NN1.
  • the arithmetic processing unit 132 is a functional module implemented by a program executed on the processor of the processor 13.
  • the arithmetic processing unit 132 may be mounted on the computer 1 as an independent integrated circuit, microprocessor, or firmware.
  • FIG. 3 is a diagram illustrating the generation of the feature map by the generation unit 131.
  • the generation unit 131 generates the first feature map FM1 and the second feature map FM2 based on the input data ID.
  • the input data ID is, for example, image data having an RGB corresponding value for each pixel.
  • the feature amount in the channel (C) direction is common. That is, in the first feature map FM1 and the second feature map FM2, the feature amounts in the corresponding channels are the same.
  • the generation unit 131 generates the first feature map FM1 and the second feature map FM2 by performing predetermined operations such as a convolution operation, a transposed convolution operation, a pooling operation, and an activation operation on the input data ID.
  • the generation unit 131 generates the first feature map FM1 and the second feature map FM2 by executing a convolution operation for each pixel of each of RGB for the input data ID which is image data, for example. Further, the generation unit 131 may generate the same data as the input data ID as the first feature map FM1 and the second feature map FM2.
  • FIG. 4 is a schematic diagram showing the structure of the neural network NN1.
  • the first feature map FM1 and the second feature map FM2 generated based on the input data ID by the above-mentioned generation unit 131 are input to the neural network NN1. Then, the neural network NN1 performs at least one of a convolution operation, a transposed convolution operation, a pooling operation, and an activation operation on the first feature map FM1 and the second feature map FM2, and outputs the output data OD.
  • the neural network NN1 is learned according to the error back propagation method by using a plurality of images showing an object to be detected and information indicating the position, type, etc. of the object on each image as training data.
  • the neural network NN1 is, for example, a ResNet having a convolution calculation path and a skip connection calculation path.
  • the neural network NN1 detects an object represented by the image data, for example, based on the input of the image data.
  • the neural network NN1 includes an input layer IL and an output layer OL.
  • the input layer IL has a first region R1 and a second region R2 in the channel direction.
  • the first feature map FM1 generated based on the input data ID is input to the first area R1.
  • the second feature map FM2 generated based on the input data ID is input to the second area R2.
  • the output layer OL has a third region R3 and a fourth region R4 in the channel direction.
  • the third region R3 is coupled to the first region R1. Further, the third region R3 is bound to at least a part of the second region R2. At this time, the calculation coefficient of the coupling from the second region R2 to the third region R3 is set to substantially zero.
  • the fourth region R4 is combined with the second region R2. Further, the fourth region R4 is bound to at least a part of the first region R1. At this time, the calculation coefficient of the coupling from the first region R1 to the fourth region R4 is set to substantially zero.
  • the neural network NN1 generates and outputs output data OD based on the output of the third region R3 and the output of the fourth region R4.
  • the fact that the calculation coefficient of the combination is set to substantially zero means that the calculation coefficient is set so that the feature amount of the previous layer does not affect the result of the calculation in the subsequent layer. Good, details will be described later.
  • the neural network NN1 may have at least one intermediate layer, preferably a plurality of intermediate layers, between the input layer IL and the output layer OL.
  • FIG. 5 is the first flowchart of the neural network creation first process
  • FIGS. 6 (a)-(c) are diagrams showing the state of the neural network in the neural network creation first process.
  • the computer can create the neural network NN1 by executing the processing of each step shown in FIG.
  • the computer creates a first calculation path P1 and a second calculation path P2 each having one or more calculation layers. Then, each calculation layer is arranged so that the position of the calculation layer that executes the same calculation is the corresponding position in the first calculation path P1 and the second calculation path P2 (step S11).
  • FIG. 6A shows a state in which a first calculation path P1 having three calculation layers L11-L13 and a second calculation path P2 having two calculation layers L21-L22 are created and each calculation layer is arranged. There is.
  • the first calculation path P1 has calculation layers L11 and L12 for executing the convolution calculation, and calculation layers L13 for executing the activation calculation.
  • a first feature map FM1 having a dimension of W ⁇ H ⁇ Ci is input to the first calculation path P1 (W represents a width, H represents a height, and C represents a channel).
  • the calculation layer L11 executes a convolution operation using, for example, a 3 ⁇ 3 kernel on the input first feature map FM1, and outputs a feature map having a dimension of W ⁇ H ⁇ Cm.
  • the calculation layer L12 executes a convolution operation using, for example, a 3 ⁇ 3 kernel on the feature map output from the calculation layer L11, and outputs a feature map having a dimension of W ⁇ H ⁇ Co.
  • the calculation layer L13 executes an activation operation by, for example, a ReLU function on the feature map output from the calculation layer L12, and outputs a feature map having a dimension of W ⁇ H ⁇ Co.
  • the second calculation path P2 has calculation layers L21 and L22 for executing the convolution calculation.
  • a second feature map FM2 having a dimension of W ⁇ H ⁇ Ci is input to the second calculation path P2.
  • the calculation layer L21 executes a convolution operation using, for example, a 3 ⁇ 3 kernel on the input second feature map FM2, and outputs a feature map having a dimension of W ⁇ H ⁇ Cr.
  • the calculation layer L22 executes a convolution operation using, for example, a 1 ⁇ 1 kernel on the feature map output from the calculation layer L21, and outputs a feature map having a dimension of W ⁇ H ⁇ Co.
  • the sum of the output of the first calculation path P1 and the output of the second calculation path is passed to the next process as the output of the neural network NN1.
  • the computer is arranged at a position where the calculation layer corresponding to the calculation layer arranged in the second calculation path P2 is not arranged in the first calculation path P1, and is arranged in the first calculation path P1 in the second calculation path.
  • An auxiliary arithmetic layer is added at a position where the arithmetic layer corresponding to the arithmetic layer is not arranged (step S12).
  • the calculation layer corresponding to the calculation layer L22 arranged in the second calculation path P2 is not arranged.
  • the calculation layer corresponding to the calculation layer L11 and the calculation layer L13 arranged in the first calculation path P1 is not arranged.
  • the computer adds the auxiliary arithmetic layers FL1-FL3 as shown in FIG. 6B.
  • the auxiliary calculation layer FL1 is a calculation layer that executes a convolution operation similar to the calculation layer L11.
  • the auxiliary calculation layer FL2 is a calculation layer that executes the same activation calculation as the calculation layer L13.
  • the auxiliary calculation layer FL3 is a calculation layer that executes a convolution operation similar to the calculation layer L22. Further, in the auxiliary calculation layer FL1-3, the calculation coefficient is set so as to output a feature amount substantially equal to the input feature amount.
  • connecting arithmetic layers in the channel direction means connecting a plurality of arithmetic layers in the channel direction to form one arithmetic layer.
  • the arithmetic layer L11 and the auxiliary arithmetic layer FL1 the arithmetic layer L12 and the arithmetic layer L21, the arithmetic layer L13 and the auxiliary arithmetic layer FL2, the auxiliary arithmetic layer FL3 and the arithmetic layer L22 are arranged at the corresponding positions.
  • Each is connected in the channel direction.
  • Each layer connected at the corresponding positions of the first calculation path P1 and the second calculation path P2 performs the same operation on the input feature map.
  • the layer in which the calculation layer L11 and the auxiliary calculation layer FL1 are connected can perform a convolution operation using a 3 ⁇ 3 kernel on the feature map in which the first feature map FM1 and the second feature map FM2 are connected. Execute and output a feature map having a dimension of W ⁇ H ⁇ (Cm + Cr).
  • the calculation coefficient of the connection from the first calculation path P1 to the second calculation path P2 and the calculation coefficient of the connection from the second calculation path P2 to the first calculation path P1 are set to substantially zero. ..
  • FIG. 7 is a diagram showing a first example of a connection in a calculation path
  • FIG. 8 is a diagram showing a second example of a connection in a calculation path.
  • each node in the calculation path is connected in the channel direction.
  • FIG. 7 shows an example of the combination of the first feature map FM1 and the second feature map FM2 with the connected arithmetic layer L11 and auxiliary arithmetic layer FL1.
  • the calculation layer L11 is included in the first calculation path P1, and the first feature map FM1 is input.
  • the auxiliary calculation layer FL1 is included in the second calculation path P2, and the second feature map FM2 is input. Some channels included in the first feature map FM1 are also included in the second feature map FM2.
  • the arithmetic layer L11 and the auxiliary arithmetic layer FL1 correspond to the input layer IL.
  • Each channel Ci1-Ci16 of the first feature map FM1 and the second feature map FM2 is fully coupled to each channel Cm1-Cm4 of the calculation layer L11. Further, each channel Ci1-Ci16 of the first feature map FM1 and the second feature map FM2 is fully coupled to each channel Cr1-Cr8 of the auxiliary calculation layer FL1.
  • the calculation coefficient of the connection between each channel Cm1-Cm4 of the calculation layer L11 and the channel Ci11-Ci16 not included in the first feature map FM1 among the channels of the second feature map FM2 is set to substantially zero.
  • the calculation coefficient of the coupling other than the coupling between each channel Cr1-Cr8 of the auxiliary calculation layer FL1 and the corresponding channels Ci9-Ci16 is set to substantially zero.
  • Equation 1 the weight W, which is an arithmetic coefficient used for the convolution operation executed in the arithmetic layer L11 and the auxiliary arithmetic layer FL1, is set as in Equation 2 shown below.
  • the weight of the bond in the arithmetic layer L11 is W f1
  • the weight of the bond in the auxiliary arithmetic layer FL1 is W h1 .
  • W f1 the weight of the connection with the first feature map FM1 is updated by learning, and the weight of the connection with the channel of the second feature map FM2 not included in the first feature map FM1 becomes substantially zero. Is set.
  • the weight of the connection with the channel not included in the second feature map FM2 in the first feature map FM1 is set to be substantially zero, and the weight of the connection with the second feature map FM2 is set to be substantially zero.
  • the weight of the connection between the corresponding channels of the second feature map FM2 and the auxiliary calculation layer FL1 is a predetermined value (for example, 1), and the weight of the connection with other channels is substantially 0. It is preset to be, and is not updated by learning.
  • Equation 3 By setting W h1 as shown in Equation 3 below, a value equal to that of the second feature map FM2 can be output from the auxiliary calculation layer FL1 in the convolution calculation in the auxiliary calculation layer FL1.
  • ⁇ is a Kronecker delta.
  • the range of r and s is-(k-1) / 2 to (k-1) / 2, and cr > co .
  • FIG. 8 shows an example of the connection between the connected arithmetic layer L11 and the auxiliary arithmetic layer FL1 and the concatenated arithmetic layer L12 and the arithmetic layer L21.
  • the calculation layer L11 and the calculation layer L12 are included in the first calculation path P1.
  • the auxiliary calculation layer FL1 and the calculation layer L21 are included in the second calculation path P2.
  • the arithmetic layer L12 and the arithmetic layer L21 correspond to an intermediate layer between the input layer IL and the output layer OL.
  • Each channel Cm1-Cm4 of the arithmetic layer L11 and each channel Cr1-Cr8 of the auxiliary arithmetic layer FL1 are fully coupled to each channel Co1 and Co2 of the arithmetic layer L12.
  • the calculation coefficient of the coupling between each channel Co1 and Co2 of the calculation layer L12 and each channel Cr1-Cr8 of the auxiliary calculation layer FL1 is set to substantially zero.
  • each channel Cm1-Cm4 of the arithmetic layer L11 and each channel Cr1-Cr8 of the auxiliary arithmetic layer FL1 are fully coupled to each channel Cr1-Cr8 of the arithmetic layer L21.
  • the calculation coefficient of the coupling between each channel Cr1-Cr8 of the calculation layer L21 and each channel Cm1-Cm4 of the calculation layer L11 is set to substantially zero.
  • Equation 4 the weight W, which is the calculation coefficient in Equation 1, is set as in Equation 4 shown below.
  • the weight of the connection between the arithmetic layer L11 and the arithmetic layer L12 is W f2
  • the weight of the coupling between the auxiliary arithmetic layer FL1 and the arithmetic layer L12 are 0.
  • the weight of the connection between the auxiliary arithmetic layer FL1 and the arithmetic layer L21 is W h2 .
  • W f2 is set so that the arithmetic layer L11 and the arithmetic layer L12 are fully connected in the channel direction, and is updated by learning.
  • W h2 is preset and is not updated by learning.
  • the output of the auxiliary calculation layer FL3 and the calculation layer L22 can be set. You can perform sum operations with the output. That is, the weight used for the calculation of the auxiliary calculation layer FL3 is W h3, and the weight used for the calculation of the calculation layer L22 is W f3 .
  • ⁇ is a coefficient tensor set according to the weight ratio required for the sum of the output of the auxiliary arithmetic layer FL3 and the output of the arithmetic layer L22. The value of ⁇ may be 1.
  • FIG. 9 is a diagram showing an outline of the activation operation in the auxiliary operation layer FL2.
  • the auxiliary calculation layer FL2 executes the same activation calculation as the calculation layer L13, and the calculation coefficient is set to substantially zero. Since the calculation coefficient is substantially zero for the activation calculation, the auxiliary calculation layer FL2 has an offset calculation layer FL21, an activation calculation layer FL22, and an inverse offset calculation layer FL23 in this order from the input side.
  • the auxiliary calculation layer FL2 executes the offset calculation by the offset calculation layer FL21 immediately before the activation calculation by the activation calculation layer FL22, and executes the reverse offset calculation by the inverse offset calculation layer FL23 immediately after the activation calculation.
  • the offset operation is an operation of converting an input value into a range in which the value does not substantially change before and after the activation operation.
  • the inverse offset operation is an operation of converting the value converted by the offset operation into the original input value.
  • the offset calculation layer FL21 can execute the offset calculation by adding a predetermined positive value to the input value.
  • the inverse offset calculation layer FL23 can execute the inverse offset calculation by subtracting a predetermined positive value added by the offset calculation from the input value.
  • the offset calculation layer FL21 may perform normalization of the input value, for example, by performing batch normalization for the input value.
  • the offset operation for the activation operation by the ReLU function can be executed by normalizing so that ⁇ is 1 and ⁇ is a sufficiently large value. Further, by normalizing ⁇ to 0 and ⁇ to a sufficiently large value, it is possible to execute an offset operation for the activation operation by the sigmoid function.
  • the inverse offset calculation layer FL23 executes an operation that cancels the calculation in the offset calculation layer FL21.
  • the offset calculation layer FL21 may be implemented by setting the bias of the convolution calculation to a value other than 1 in the previous calculation layer.
  • the inverse offset calculation layer FL23 may be implemented by setting the bias of the convolution calculation to a value other than 1 in the later calculation layer.
  • the offset calculation layer FL21 may output the input value as it is.
  • the inverse offset calculation layer FL23 executes an operation by the inverse function of the sigmoid function and obtains the original input value.
  • the neural network NN1 may have an arithmetic layer for executing a transposed convolution operation.
  • the weight other than the weight for the feature amount of the corresponding channel is set to be 0 as in the case of the convolution operation.
  • the auxiliary calculation layer corresponding to the calculation layer that executes the transposed convolution operation can output the input feature map as it is.
  • the neural network NN1 may have an arithmetic layer for executing a pooling arithmetic.
  • a convolution operation using a 1 ⁇ 1 kernel is performed with a stride (for example, stride 2 in the case of 2 ⁇ 2 pooling) according to the size of the target area in the pooling operation.
  • the neural network NN1 may have an arithmetic layer for executing batch normalization arithmetic.
  • the ⁇ and ⁇ calculated in the batch normalization operation are set to 0 and 1 regardless of the actual values, so that the input feature map is input. Can be output as it is.
  • the arithmetic layer that executes the convolution operation using the kernel of is may be combined.
  • the convolution operation using the larger kernel is executed, and in the operation path where the convolution operation using the smaller kernel is performed, the operation coefficient outside the kernel is set to zero. ..
  • the combined arithmetic layer uses a kernel with a large dirate size, and in the convolution operation using a kernel with a small dirate size, unnecessary arithmetic coefficients are set to zero.
  • the region in the channel direction corresponding to the arithmetic layer L11 corresponds to the first region R1
  • the region in the channel direction corresponding to the auxiliary arithmetic layer FL1 corresponds to the second region R2. ..
  • the arithmetic layer L11 and the auxiliary arithmetic layer FL1 connected in the channel direction correspond to the input layer IL.
  • the region in the channel direction corresponding to the auxiliary calculation layer FL3 corresponds to the third region R3, and the region in the channel direction corresponding to the calculation layer L22 corresponds to the fourth region R4.
  • the auxiliary calculation layer FL3 and the calculation layer L22 connected in the channel direction correspond to the output layer OL.
  • the auxiliary calculation layer FL3 is coupled to the first feature map FM1 and the second feature map FM2, and the calculation coefficient of the coupling with the second feature map FM2 is set to substantially zero.
  • the calculation layer L22 is coupled to the first feature map FM1 and the second feature map FM2, and the calculation coefficient of the coupling with the first feature map FM1 is set to substantially zero.
  • the neural network NN1 of the present embodiment can realize the calculation by a plurality of calculation paths by one connected calculation path, it can be easily implemented in a general-purpose FPGA or a general-purpose calculation engine.
  • the neural network NN1 of the present embodiment can reduce the amount of data of the intermediate result data of the calculation that needs to be held as compared with the case where it is implemented with a plurality of calculation paths as they are.
  • FIG. 10 is an operation flowchart of the learning process.
  • the computer can update the calculation coefficient of the neural network based on the input data and make the neural network learn the processing based on the input data.
  • the computer generation unit 131 generates the first feature map FM1 and the second feature map FM2 having a common feature amount in the channel direction based on the input data which is the teacher data (step S21).
  • the computer creates a neural network including an input layer and an output layer (step S22).
  • the input layer has a first region R1 to which the first feature map FM1 is input and a second region R2 to which the second feature map FM2 is input in the channel direction.
  • the output layer has a third region R3 from which the calculation result corresponding to the first region R1 is output and a fourth region R4 from which the calculation result corresponding to the second region R2 is output in the channel direction.
  • the computer inputs the first feature map FM1 and the second feature map FM2 into the neural network NN1. Then, the computer uses a method such as a gradient descent method and an error back propagation method so that the error between the output value in the third region R3 and the fourth region R4 and the correct answer shown in the teacher data becomes small, and the input layer is used. The calculation coefficient of the connection between the output layer and the output layer is updated (step S23), and the learning process is terminated.
  • a method such as a gradient descent method and an error back propagation method so that the error between the output value in the third region R3 and the fourth region R4 and the correct answer shown in the teacher data becomes small, and the input layer is used.
  • the calculation coefficient of the connection between the output layer and the output layer is updated (step S23), and the learning process is terminated.
  • step S23 the computer sets the calculation coefficient so that the calculation coefficient of the connection from the second region R2 to the third region R3 and the calculation coefficient of the connection from the first region R1 to the fourth region R4 become substantially zero. Update.
  • step S23 the computer maintains the calculation coefficient of the connection from the second region R2 to the third region R3 and the calculation coefficient of the connection from the first region R1 to the fourth region R4 to substantially zero.
  • the calculation coefficients of other combinations may be updated.
  • FIG. 11 is a flowchart of the second process of creating the neural network.
  • the computer executes the flowchart shown in FIG. 11 each time step S22 in the learning process shown in FIG. 10 is called.
  • the computer creates an input layer having a first region R1 to which the first feature map FM1 is input and a second region R2 to which the second feature map FM2 is input in the channel direction (step S31). Subsequently, the computer creates an output layer having the third region R3 and the fourth region R4 in the channel direction (step S32).
  • the computer combines the third region R3 with the first region R1 and at least a part of the second region R2 (step S33). Subsequently, the computer joins the fourth region R4 to the second region R2 and at least a part of the first region R1 (step S34), and ends the second process of creating the neural network.
  • the computer may perform steps S31 and S32 in reverse order.
  • the computer may also perform steps S33 and S34 in reverse order.
  • the neural network thus created corresponds to the neural network NN1 shown in FIG.
  • FIG. 12 is a second flowchart of the first process of creating a neural network.
  • the second flowchart of the first process of creating a neural network corresponds to the one in which step S43 is added between steps S12 and S13 in the first flowchart of the first process of creating a neural network. Therefore, the description of steps S41, S42, and S44, which are common to the first flowchart of the neural network creation process, will be omitted.
  • the computer inputs the teacher data into the first calculation path P1 and the second calculation path P2, respectively, and the first calculation path P1 and the second calculation path so that the error between the output value and the correct answer shown in the teacher data becomes small.
  • the operation coefficient of the combination in P2 is updated (step S43).
  • the computer since the arithmetic layer included in the first arithmetic path P1 and the arithmetic layer included in the second arithmetic path P2 are not connected in the channel direction, the computer updates the arithmetic coefficients in the first arithmetic path P1 and the second arithmetic path P1 and the second. It can be executed independently for the calculation path P2.
  • FIG. 13 is a third flowchart of the first process of creating a neural network.
  • the third flowchart of the first process of creating a neural network corresponds to the one in which step S52 is added between steps S11 and S12 in the first flowchart of the first process of creating a neural network. Therefore, the description of steps S51, S53, and S54 common to the first flowchart of the neural network creation first process will be omitted. Further, since the process of step S52 is the same as the process of step S43 in the second flowchart of the first process of creating the neural network, the description of step S52 will be omitted.
  • FIG. 14 is a schematic diagram showing the configuration of a camera equipped with an arithmetic unit.
  • the arithmetic unit is a microcontroller 4 mounted on the camera 2.
  • the camera 2 is an example of an image pickup apparatus, and includes an image sensor 3, a microcontroller 4, and a lens 5.
  • the image sensor 3 is an example of an image pickup device, and converts light from a subject focused by the lens 5 into image data.
  • the microcontroller 4 is an integrated circuit that integrates a processor, a memory, and an input / output interface. The microcontroller 4 executes an operation based on the image data input from the image sensor 3 and outputs a signal indicating a region in the image data to be the target of autofocus.
  • the microcontroller 4 operates as a focusing control unit and outputs a focusing control signal for controlling the lens 5 so as to focus on a predetermined region represented by image data.
  • the lens 5 is an example of an optical system, and the light from the subject is focused on the image sensor 3.
  • the lens 5 has an autofocus mechanism 51, and the autofocus mechanism 51 focuses the lens 5 on the subject based on the focusing control signal output from the microcontroller 4.
  • the arithmetic unit according to the present embodiment can implement a neural network such as ResNet that performs operations by a plurality of operation paths with a small cache memory.
  • ResNet a neural network such as ResNet that performs operations by a plurality of operation paths with a small cache memory.
  • FIG. 15 is a processing flowchart of a camera equipped with an arithmetic unit.
  • the camera 2 starts the process of FIG. 15 in response to the detection of an operation instructing the execution of autofocus such as a half-press of a shutter button (not shown) by the user.
  • the camera 2 may repeatedly execute the process of FIG. 15 while the operation instructing the execution of autofocus is detected.
  • the image sensor 3 transmits image data corresponding to the focused light to the microcontroller 4 (step S101).
  • the microcontroller 4 generates a first feature map and a second feature map having a common feature amount in the channel direction based on the received image data (step S102). Subsequently, the microcontroller 4 inputs the first feature map and the second feature map to the neural network, and executes an operation for identifying a region corresponding to the identification object included in the image data (step S103).
  • the microcontroller 4 generates a focusing control signal for focusing on the region corresponding to the identification target object identified by the calculation, and transmits it to the autofocus mechanism 51.
  • the autofocus mechanism 51 changes the position of the focusing lens included in the lens 5 based on the focusing control signal received from the microcontroller 4 (step S104). Whether or not the specified area of the image is in focus is determined by a method such as a contrast AF method or a phase difference AF method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

演算装置は、入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する生成部と、第１特徴マップが入力される第１領域および第２特徴マップが入力される第２領域をチャネル方向に有する入力層と、第１領域に対応する演算結果が出力される第３領域および第２領域に対応する演算結果が出力される第４領域をチャネル方向に有する出力層とを備えるニューラルネットワークに演算を実行させる演算部と、を備え、第３領域は、第１領域および少なくとも第２領域の一部に結合されるとともに、第２領域から第３領域にいたる結合の演算係数は実質的にゼロに設定され、第４領域は、第２領域および少なくとも第１領域の一部に結合されるとともに、第１領域から第４領域にいたる結合の演算係数は実質的にゼロに設定される。

Description

演算装置、学習方法、およびニューラルネットワークの作成方法
　本開示は、ニューラルネットワークを使用した演算装置、学習方法、およびニューラルネットワークの作成方法に関する。
　従来、データの内容に基づく学習の結果に従って認識を行うニューラルネットワークの構成が提案されている（例えば非特許文献１を参照）。
Kaiming He et. al., "Deep Residual Learning for Image Recognition," arXiv:1512.03385, 2015
　本開示にかかる演算装置は、入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する生成部と、第１特徴マップが入力される第１領域および第２特徴マップが入力される第２領域をチャネル方向に有する入力層と、第１領域に対応する演算結果が出力される第３領域および第２領域に対応する演算結果が出力される第４領域をチャネル方向に有する出力層とを備えるニューラルネットワークに演算を実行させる演算部と、を備え、第３領域は、第１領域および少なくとも第２領域の一部に結合されるとともに、第２領域から第３領域にいたる結合の演算係数は実質的にゼロに設定され、第４領域は、第２領域および少なくとも第１領域の一部に結合されるとともに、第１領域から第４領域にいたる結合の演算係数は実質的にゼロに設定される。
　本開示にかかる学習方法は、入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する第１ステップと、第１特徴マップが入力される第１領域および第２特徴マップが入力される第２領域をチャネル方向に有する入力層と、第１領域に対応する演算結果が出力される第３領域および第２領域に対応する演算結果が出力される第４領域をチャネル方向に有する出力層とを備えるようニューラルネットワークを作成する第２ステップと、コンピュータが、入力データとして教師データをニューラルネットワークに入力し、入力層と出力層との結合の演算係数を更新する第３ステップと、を含み、第２ステップは、第３領域を第１領域および少なくとも第２領域の一部に結合するステップと、第４領域を第２領域および少なくとも第１領域の一部に結合するステップと、を含み、第３ステップは、第２領域から第３領域にいたる結合の演算係数および第１領域から第４領域にいたる結合の演算係数が実質的にゼロになるよう、演算係数を更新するステップを含む。
　本開示にかかる学習方法は、入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する第１ステップと、第１特徴マップが入力される第１領域および第２特徴マップが入力される第２領域をチャネル方向に有する入力層と、第１領域に対応する演算結果が出力される第３領域および第２領域に対応する演算結果が出力される第４領域をチャネル方向に有する出力層とを備えるようニューラルネットワークを作成する第２ステップと、コンピュータが、入力データとして教師データをニューラルネットワークに入力し、入力層と出力層との結合の演算係数を更新する第３ステップと、を含み、第２ステップは、第３領域を第１領域および少なくとも第２領域の一部に結合するステップと、第４領域を第２領域および少なくとも第１領域の一部に結合するステップと、を含み、第３ステップは、第２領域から第３領域にいたる結合の演算係数および第１領域から第４領域にいたる結合の演算係数を実質的にゼロに維持しながら、その他の結合の演算係数を更新するステップを含む。
　本開示にかかるニューラルネットワークの作成方法は、入力された特徴マップの特徴量に対し演算係数を用いて所定の演算を実行した結果を出力する演算層をそれぞれ１以上備えるように第１演算経路および第２演算経路を作成するとともに、同一の演算を実行する演算層の位置が第１演算経路および第２演算経路において対応する位置となるように各演算層を配置するステップと、第１演算経路において第２演算経路に配置された演算層に対応する演算層が配置されていない位置、および、第２演算経路において第１演算経路に配置された演算層に対応する演算層が配置されていない位置に、対応する位置に配置された演算層と同一の演算を実行する補助演算層を追加するステップと、少なくともいずれか一方に補助演算層を追加された第１演算経路および第２演算経路に、それぞれ教師データを入力して演算層の演算係数を更新するステップと、演算係数が更新された第１演算経路および第２演算経路において対応するそれぞれの層をチャネル方向に連結するステップと、を含む。
　本開示にかかるニューラルネットワークの作成方法は、入力された特徴マップの特徴量に対し演算係数を用いて所定の演算を実行した結果を出力する演算層をそれぞれ１以上備えるように第１演算経路および第２演算経路を作成するとともに、同一の演算を実行する演算層の位置が第１演算経路および第２演算経路において対応する位置となるように各演算層を配置するステップと、第１演算経路および第２演算経路にそれぞれ教師データを入力して演算層の演算係数を更新するステップと、第１演算経路において第２演算経路に配置された演算層に対応する演算層が配置されていない位置、および、第２演算経路において第１演算経路に配置された演算層に対応する演算層が配置されていない位置に、対応する位置に配置された演算層と同一の演算を実行する補助演算層を追加するステップと、少なくともいずれか一方に補助演算層が追加された第１演算経路および第２演算経路において対応するそれぞれの層をチャネル方向に連結するステップと、を含む。
図１は、コンピュータの概略構成を示す模式図である。 図２は、プロセッサの機能ブロック図である。 図３は、生成部による特徴マップの生成を説明する図である。 図４は、ニューラルネットワークの構造を示す模式図である。 図５は、ニューラルネットワーク作成第１処理の第１フローチャートである。 図６Ａは、ニューラルネットワーク作成第１処理における第１の状態を示す図である。 図６Ｂは、ニューラルネットワーク作成第１処理における第２の状態を示す図である。 図６Ｃは、ニューラルネットワーク作成第１処理における第３の状態を示す図である。 図７は、演算経路における結合の第１の例を示す図である。 図８は、演算経路における結合の第２の例を示す図である。 図９は、補助演算層における活性化演算の概要を示す図である。 図１０は、学習処理の動作フローチャートである。 図１１は、ニューラルネットワーク作成第２処理のフローチャートである。 図１２は、ニューラルネットワーク作成第１処理の第２フローチャートである。 図１３は、ニューラルネットワーク作成第１処理の第３フローチャートである。 図１４は、演算装置を搭載するカメラの構成を示す模式図である。 図１５は、演算装置を搭載するカメラの処理フローチャートである。
　以下、図面を参照して演算装置、学習方法、およびニューラルネットワークの作成方法について詳細に説明する。ただし、本発明は図面または以下に記載される実施形態には限定されないことを理解されたい。
　図１はコンピュータの概略構成を示す模式図であり、図２はプロセッサの機能ブロック図である。
　本実施形態において、演算装置の一例であるコンピュータ１は、所定の入力データに基づいて特徴マップを生成し、特徴マップをニューラルネットワークに入力して演算結果を出力する。そのために、コンピュータ１は、入出力インタフェース１１と、メモリ１２と、プロセッサ１３とを備える。
　入出力インタフェース１１は、コンピュータ１が処理すべきデータを受け付け、または、コンピュータ１により処理されたデータを出力するためのインタフェース回路を有する。入出力インタフェース１１は、例えばコンピュータ１を通信ネットワークに接続するための通信インタフェース回路、またはコンピュータ１をキーボード、ディスプレイといった各種周辺機器と接続するための周辺機器インタフェース回路を含む。入出力インタフェース１１は、所定のデータの入力を受け付けて、処理結果を出力する。
　メモリ１２は記憶部の一例であり、例えば、半導体メモリ、磁気ディスク装置および光ディスク装置のうちの少なくとも１つを有する。メモリ１２は、プロセッサ１３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、メモリ１２はアプリケーションプログラムとして、本開示の演算処理を実現するためのコンピュータプログラムを記憶する。また、メモリ１２はデータとして、ニューラルネットワークを規定するためのパラメータ群（層数、層構成、カーネル、重み係数等）を記憶する。各種プログラムは、コンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてメモリ１２にインストールされてよい。コンピュータ読み取り可能な可搬型記録媒体とは、例えばＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ－ＲＯＭ（DVD Read-Only Memory）等である。
　プロセッサ１３は、１以上のプロセッサおよびその周辺回路を備える。プロセッサ１３は、コンピュータ１の全体的な動作を統括的に制御する処理回路であり、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ１３は、大量の定型的演算を並列に処理可能なＧＰＵ（Graphics Processing Unit）を有してもよい。プロセッサ１３は、コンピュータ１の各種処理がメモリ１２に記憶されているプログラム等に基づいて適切な手段で実行されるように、入出力インタフェース１１等の動作を制御する。プロセッサ１３は、メモリ１２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、プロセッサ１３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
　図２に示すように、プロセッサ１３は、入力された入力データに基づいて特徴マップを生成するための生成部１３１と、ニューラルネットワークＮＮ１による演算を実行するための演算処理部１３２を有する。演算処理部１３２は、プロセッサ１３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、演算処理部１３２は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてコンピュータ１に実装されてもよい。
　図３は、生成部１３１による特徴マップの生成を説明する図である。生成部１３１は、入力データＩＤに基づいて、第１特徴マップＦＭ１および第２特徴マップＦＭ２を生成する。入力データＩＤは、例えば画素ごとにＲＧＢの対応値を有する画像データである。第１特徴マップＦＭ１および第２特徴マップＦＭ２において、チャネル（Ｃ）方向の特徴量は共通している。すなわち、第１特徴マップＦＭ１および第２特徴マップＦＭ２において、対応するチャネルにおける特徴量は同一である。
　生成部１３１は、入力データＩＤに対し、畳み込み演算、転置畳み込み演算、プーリング演算、活性化演算といった所定の演算を行うことにより、第１特徴マップＦＭ１および第２特徴マップＦＭ２を生成する。生成部１３１は、例えば画像データである入力データＩＤに対し、ＲＧＢのそれぞれについて画素ごとに畳み込み演算を実行することにより、第１特徴マップＦＭ１および第２特徴マップＦＭ２を生成する。また、生成部１３１は、入力データＩＤと同一のデータを、第１特徴マップＦＭ１および第２特徴マップＦＭ２として生成してもよい。
　図４は、ニューラルネットワークＮＮ１の構造を示す模式図である。
　ニューラルネットワークＮＮ１には、上述の生成部１３１により入力データＩＤに基づいて生成された第１特徴マップＦＭ１および第２特徴マップＦＭ２が入力される。そして、ニューラルネットワークＮＮ１は、第１特徴マップＦＭ１および第２特徴マップＦＭ２に対し、畳み込み演算、転置畳み込み演算、プーリング演算、活性化演算のうち少なくとも１つを行い、出力データＯＤを出力する。ニューラルネットワークＮＮ１は、検出対象となる物体が表わされた複数の画像、および、各画像上における物体の位置、種類等を示す情報を教師データとして用いて、誤差逆伝搬法に従って学習される。ニューラルネットワークＮＮ１は、例えば、畳み込みの演算経路とスキップコネクションの演算経路とを有するResNetである。ニューラルネットワークＮＮ１は、例えば画像データの入力に基づいて、画像データに表わされる物体を検出する。
　ニューラルネットワークＮＮ１は、入力層ＩＬと出力層ＯＬとを備える。入力層ＩＬは、チャネル方向に、第１領域Ｒ１および第２領域Ｒ２を有する。第１領域Ｒ１には、入力データＩＤに基づいて生成された第１特徴マップＦＭ１が入力される。第２領域Ｒ２には、入力データＩＤに基づいて生成された第２特徴マップＦＭ２が入力される。
　出力層ＯＬは、チャネル方向に、第３領域Ｒ３および第４領域Ｒ４を有する。第３領域Ｒ３は、第１領域Ｒ１と結合される。また、第３領域Ｒ３は、第２領域Ｒ２の少なくとも一部に結合される。このとき、第２領域Ｒ２から第３領域Ｒ３にいたる結合の演算係数は、実質的にゼロに設定される。
　第４領域Ｒ４は、第２領域Ｒ２と結合される。また、第４領域Ｒ４は、第１領域Ｒ１の少なくとも一部に結合される。このとき、第１領域Ｒ１から第４領域Ｒ４にいたる結合の演算係数は、実質的にゼロに設定される。
　ニューラルネットワークＮＮ１は、第３領域Ｒ３の出力および第４領域Ｒ４の出力に基づいて出力データＯＤを生成し、出力する。
　本明細書において、結合の演算係数が実質的にゼロに設定されるとは、前の層の特徴量が後の層における演算の結果に影響を与えないように演算係数が設定されることをいい、詳細は後述する。
　ニューラルネットワークＮＮ１は、入力層ＩＬと出力層ＯＬとの間に、少なくとも１つ、好ましくは複数の中間層を有していてもよい。
　図５は、ニューラルネットワーク作成第１処理の第１フローチャートであり、図６（ａ）－（ｃ）は、ニューラルネットワーク作成第１処理におけるニューラルネットワークの状態を示す図である。コンピュータは、図５に示す各ステップの処理を実行することにより、ニューラルネットワークＮＮ１を作成することができる。
　まず、コンピュータは、演算層をそれぞれ１以上備える第１演算経路Ｐ１および第２演算経路Ｐ２を作成する。そして、同一の演算を実行する演算層の位置が第１演算経路Ｐ１および第２演算経路Ｐ２において対応する位置となるように各演算層を配置する（ステップＳ１１）。
　図６Ａは、３つの演算層Ｌ１１－Ｌ１３を有する第１演算経路Ｐ１と、２つの演算層Ｌ２１－Ｌ２２を有する第２演算経路Ｐ２とが作成され、各演算層が配置された状態を示している。
　第１演算経路Ｐ１は、畳み込み演算を実行する演算層Ｌ１１およびＬ１２と、活性化演算を実行する演算層Ｌ１３とを有する。第１演算経路Ｐ１には、Ｗ×Ｈ×Ｃｉの次元を有する第１特徴マップＦＭ１が入力される（Ｗは幅、Ｈは高さ、Ｃはチャネルを表す）。演算層Ｌ１１は、入力された第１特徴マップＦＭ１に対して、例えば３×３のカーネルを用いた畳み込み演算を実行し、Ｗ×Ｈ×Ｃｍの次元を有する特徴マップを出力する。演算層Ｌ１２は、演算層Ｌ１１から出力された特徴マップに対して、例えば３×３のカーネルを用いた畳み込み演算を実行し、Ｗ×Ｈ×Ｃｏの次元を有する特徴マップを出力する。演算層Ｌ１３は、演算層Ｌ１２から出力された特徴マップに対して、例えばReLU関数による活性化演算を実行し、Ｗ×Ｈ×Ｃｏの次元を有する特徴マップを出力する。
　第２演算経路Ｐ２は、畳み込み演算を実行する演算層Ｌ２１およびＬ２２を有する。第２演算経路Ｐ２には、Ｗ×Ｈ×Ｃｉの次元を有する第２特徴マップＦＭ２が入力される。演算層Ｌ２１は、入力された第２特徴マップＦＭ２に対して、例えば３×３のカーネルを用いた畳み込み演算を実行し、Ｗ×Ｈ×Ｃｒの次元を有する特徴マップを出力する。演算層Ｌ２２は、演算層Ｌ２１から出力された特徴マップに対して、例えば１×１のカーネルを用いた畳み込み演算を実行し、Ｗ×Ｈ×Ｃｏの次元を有する特徴マップを出力する。
　第１演算経路Ｐ１の出力および第２演算経路の出力の和は、ニューラルネットワークＮＮ１の出力として次の処理に渡される。
　次に、コンピュータは、第１演算経路Ｐ１において第２演算経路Ｐ２に配置された演算層に対応する演算層が配置されていない位置、および、第２演算経路において第１演算経路Ｐ１に配置された演算層に対応する演算層が配置されていない位置に、補助演算層を追加する（ステップＳ１２）。図６Ａの例では、第１演算経路Ｐ１において、第２演算経路Ｐ２に配置された演算層Ｌ２２に対応する演算層は配置されていない。また、第２演算経路Ｐ２において、第１演算経路Ｐ１に配置された演算層Ｌ１１および演算層Ｌ１３に対応する演算層は配置されていない。コンピュータは、図６Ｂに示すように、補助演算層ＦＬ１－ＦＬ３を追加する。補助演算層ＦＬ１は、演算層Ｌ１１と同様の畳み込み演算を実行する演算層である。補助演算層ＦＬ２は、演算層Ｌ１３と同様の活性化演算を実行する演算層である。補助演算層ＦＬ３は、演算層Ｌ２２と同様の畳み込み演算を実行する演算層である。また、補助演算層ＦＬ１－３では、入力される特徴量と実質的に等しい特徴量を出力するように演算係数が設定される。
　そして、コンピュータは、第１演算経路Ｐ１および第２演算経路Ｐ２において対応するそれぞれの層をチャネル方向に連結し（ステップＳ１４）、ニューラルネットワークＮＮ１を生成する。本開示において、「演算層をチャネル方向に連結する」とは、複数の演算層をチャネル方向に連続させて１つの演算層を構成することをいう。図６Ｃに示すように、対応する位置に配置された演算層Ｌ１１および補助演算層ＦＬ１、演算層Ｌ１２および演算層Ｌ２１、演算層Ｌ１３および補助演算層ＦＬ２、補助演算層ＦＬ３および演算層Ｌ２２が、それぞれチャネル方向に連結される。第１演算経路Ｐ１および第２演算経路Ｐ２の対応する位置で連結された各層は、入力された特徴マップに対してそれぞれ同一の演算を実行する。例えば、演算層Ｌ１１と補助演算層ＦＬ１とが連結された層は、第１特徴マップＦＭ１と第２特徴マップＦＭ２とが連結された特徴マップに対して３×３のカーネルを用いた畳み込み演算を実行し、Ｗ×Ｈ×（Ｃｍ＋Ｃｒ）の次元を有する特徴マップを出力する。
　チャネル方向の連結において、第１演算経路Ｐ１の演算層の少なくとも一部は、第２演算経路Ｐ２の演算層の少なくとも一部に結合される。このとき、第１演算経路Ｐ１から第２演算経路Ｐ２にいたる結合の演算係数、および、第２演算経路Ｐ２から第１演算経路Ｐ１にいたる結合の演算係数は、実質的にゼロに設定される。
　図７は演算経路における結合の第１の例を示す図であり、図８は演算経路における結合の第２の例を示す図である。図７、図８に示す例では、演算経路における各ノードは、チャネル方向に結合されている。
　図７は、第１特徴マップＦＭ１および第２特徴マップＦＭ２と、連結された演算層Ｌ１１および補助演算層ＦＬ１との結合の例を示している。演算層Ｌ１１は第１演算経路Ｐ１に含まれ、第１特徴マップＦＭ１が入力される。補助演算層ＦＬ１は第２演算経路Ｐ２に含まれ、第２特徴マップＦＭ２が入力される。第１特徴マップＦＭ１に含まれる一部のチャネルは、第２特徴マップＦＭ２にも含まれている。演算層Ｌ１１および補助演算層ＦＬ１は、入力層ＩＬに対応する。
　演算層Ｌ１１の各チャネルＣｍ１－Ｃｍ４には、第１特徴マップＦＭ１および第２特徴マップＦＭ２の各チャネルＣｉ１－Ｃｉ１６が全結合される。また、補助演算層ＦＬ１の各チャネルＣｒ１－Ｃｒ８には、第１特徴マップＦＭ１および第２特徴マップＦＭ２の各チャネルＣｉ１－Ｃｉ１６が全結合される。
　演算層Ｌ１１の各チャネルＣｍ１－Ｃｍ４と第２特徴マップＦＭ２の各チャネルのうち第１特徴マップＦＭ１に含まれないチャネルＣｉ１１－Ｃｉ１６との結合の演算係数は、実質的にゼロに設定される。補助演算層ＦＬ１の各チャネルＣｒ１－Ｃｒ８と、対応するチャネルＣｉ９－Ｃｉ１６との結合以外の結合の演算係数は、実質的にゼロに設定される。このように演算係数を設定することにより、一部のチャネル（Ｃｉ９－Ｃｉ１０）が共通する第１特徴マップＦＭ１および第２特徴マップＦＭ２を、第１演算経路Ｐ１および第２演算経路Ｐ２に分岐させることができる。また、補助演算層ＦＬ１は、第２演算経路の後続の演算層に対して、入力された第２特徴マップＦＭ２を変更せずに出力することができる。
　演算層で実行される畳み込み演算は、以下の式１により一般的に表現される。
Figure JPOXMLDOC01-appb-M000001
　式１において、演算層Ｌ１１および補助演算層ＦＬ１で実行される畳み込み演算に用いられる演算係数であるウェイトWは、以下に示す式２のように設定される。
Figure JPOXMLDOC01-appb-M000002
　すなわち、演算層Ｌ１１における結合のウェイトはWf1であり、補助演算層ＦＬ１における結合のウェイトはWh1である。Wf1のうち、第１特徴マップＦＭ１との結合のウェイトは学習により更新され、第２特徴マップＦＭ２のうち第１特徴マップＦＭ１に含まれないチャネルとの結合のウェイトは実質的にゼロになるよう設定される。
　また、Wh1のうち、第１特徴マップＦＭ１のうち第２特徴マップＦＭ２に含まれないチャネルとの結合のウェイトは、実質的にゼロになるよう設定され、第２特徴マップＦＭ２との結合のウェイトは、第２特徴マップＦＭ２と補助演算層ＦＬ１との対応するチャネルどうし（例えばＣｉ２１とＣｒ１）の結合のウェイトが所定値（例えば１）、他のチャネルとの結合のウェイトが実質的に０となるよう予め設定され、学習により更新されない。
　Wh1を以下に示す式３のように設定することにより、補助演算層ＦＬ１における畳み込み演算において、第２特徴マップＦＭ２と等しい値を補助演算層ＦＬ１から出力させることができる。なお、式３において、δはクロネッカーのデルタである。また、式３において、rおよびsの値域は-(k-1)/2～(k-1)/2であり、cr>coである。
Figure JPOXMLDOC01-appb-M000003
　図８は、連結された演算層Ｌ１１および補助演算層ＦＬ１と、連結された演算層Ｌ１２および演算層Ｌ２１との結合の例を示している。演算層Ｌ１１および演算層Ｌ１２は第１演算経路Ｐ１に含まれる。補助演算層ＦＬ１および演算層Ｌ２１は第２演算経路Ｐ２に含まれる。演算層Ｌ１２および演算層Ｌ２１は、入力層ＩＬと出力層ＯＬとの間の中間層に該当する。
　演算層Ｌ１２の各チャネルＣｏ１、Ｃｏ２には、演算層Ｌ１１の各チャネルＣｍ１－Ｃｍ４および補助演算層ＦＬ１の各チャネルＣｒ１－Ｃｒ８が全結合される。演算層Ｌ１２の各チャネルＣｏ１、Ｃｏ２と補助演算層ＦＬ１の各チャネルＣｒ１－Ｃｒ８との結合の演算係数は、実質的にゼロに設定される。また、演算層Ｌ２１の各チャネルＣｒ１－Ｃｒ８には、演算層Ｌ１１の各チャネルＣｍ１－Ｃｍ４および補助演算層ＦＬ１の各チャネルＣｒ１－Ｃｒ８が全結合される。演算層Ｌ２１の各チャネルＣｒ１－Ｃｒ８と演算層Ｌ１１の各チャネルＣｍ１－Ｃｍ４との結合の演算係数は、実質的にゼロに設定される。
　このとき、式１における演算係数であるウェイトWは、以下に示す式４のように設定される。
Figure JPOXMLDOC01-appb-M000004
　すなわち、演算層Ｌ１１と演算層Ｌ１２との結合のウェイトはWf2であり、演算層Ｌ１１と演算層Ｌ２１との結合のウェイト、および、補助演算層ＦＬ１と演算層Ｌ１２との結合のウェイトは０であり、補助演算層ＦＬ１と演算層Ｌ２１との結合のウェイトはWh2である。Wf2は、演算層Ｌ１１と演算層Ｌ１２とがチャネル方向に全結合されるように設定され、学習により更新される。Wh2は、予め設定され、学習により更新されない。
　また、補助演算層ＦＬ３と演算層Ｌ２２とが連結された演算層による畳み込み演算に用いられるウェイトWを以下に示す式５のように設定することにより、補助演算層ＦＬ３の出力と演算層Ｌ２２の出力との和演算を実行することができる。すなわち、補助演算層ＦＬ３の演算に用いられるウェイトをWh3とし、演算層Ｌ２２の演算に用いられるウェイトをWf3とする。式５において、λは、補助演算層ＦＬ３の出力と演算層Ｌ２２の出力との和に要求されるウェイト比に応じて設定される係数テンソルである。λの値は１であってよい。
Figure JPOXMLDOC01-appb-M000005
　図９は、補助演算層ＦＬ２における活性化演算の概要を示す図である。
　補助演算層ＦＬ２は、演算層Ｌ１３と同様の活性化演算を実行し、演算係数が実質的にゼロに設定される。活性化演算について演算係数が実質的にゼロとするため、補助演算層ＦＬ２は、入力側から順に、オフセット演算層ＦＬ２１と、活性化演算層ＦＬ２２と、逆オフセット演算層ＦＬ２３とを有する。
　補助演算層ＦＬ２は、活性化演算層ＦＬ２２による活性化演算の直前にオフセット演算層ＦＬ２１によるオフセット演算を実行し、活性化演算の直後に逆オフセット演算層ＦＬ２３による逆オフセット演算を実行する。オフセット演算とは、入力値を活性化演算の前後で値が実質的に変化しない値域に変換する演算である。また、逆オフセット演算とは、オフセット演算により変換された値を元の入力値に変換する演算である。
　活性化演算層ＦＬ２２がReLU関数による活性化演算を実行する場合、オフセット演算層ＦＬ２１は、入力値に所定の正の値を加算することによりオフセット演算を実行することができる。このとき、逆オフセット演算層ＦＬ２３は、オフセット演算により加算された所定の正の値を入力値から減算することにより逆オフセット演算を実行することができる。
　また、オフセット演算層ＦＬ２１は、例えば入力値に対するバッチ正規化を行うことにより、入力値の正規化を行ってもよい。ミニバッチにおける平均をμ、標準偏差をσとするとき、σを１、μを十分大きな値となるように正規化を行うことにより、ReLU関数による活性化演算に対するオフセット演算を実行することができる。また、μを０、σを十分大きな値となるように正規化を行うことにより、シグモイド関数による活性化演算に対するオフセット演算を実行することができる。逆オフセット演算層ＦＬ２３は、オフセット演算層ＦＬ２１における演算を打ち消す演算を実行する。
　オフセット演算層ＦＬ２１は、前の演算層において、畳み込み演算のバイアスを１以外の値に設定することにより実装されてもよい。同様に、逆オフセット演算層ＦＬ２３は、後の演算層において、畳み込み演算のバイアスを１以外の値に設定することにより実装されてもよい。
　また、活性化演算層ＦＬ２２がシグモイド関数による活性化演算を実行する場合、オフセット演算層ＦＬ２１は、入力値をそのまま出力してもよい。この場合、逆オフセット演算層ＦＬ２３は、シグモイド関数の逆関数による演算を実行し、元の入力値を求める。
　ニューラルネットワークＮＮ１は、転置畳み込み演算を実行する演算層を有してもよい。転置畳み込み演算を実行する演算層に対応する補助演算層において、畳み込み演算の場合と同様に、対応するチャネルの特徴量に対するウェイト以外が０となるよう設定される。これにより、転置畳み込み演算を実行する演算層に対応する補助演算層は、入力された特徴マップをそのまま出力することができる。
　ニューラルネットワークＮＮ１は、プーリング演算を実行する演算層を有してもよい。プーリング演算を実行する演算層に対応する補助演算層では、プーリング演算における対象領域のサイズに応じたストライド（例えば２×２プーリングの場合、ストライド２）で１×１のカーネルを用いた畳み込み演算を実行する。
　ニューラルネットワークＮＮ１は、バッチ正規化演算を実行する演算層を有してもよい。バッチ正規化演算を実行する演算層に対応する補助演算層では、バッチ正規化演算において算出されたμ、σを、実際の値にかかわらずそれぞれ０、１とすることにより、入力された特徴マップをそのまま出力することができる。
　ニューラルネットワークＮＮ１では、第１演算経路Ｐ１に含まれる所定サイズ（例えば３×３）のカーネルを用いた畳み込み演算を実行する演算層と第２演算経路Ｐ２に含まれる異なるサイズ（例えば５×５）のカーネルを用いた畳み込み演算を実行する演算層が結合されてもよい。この場合、結合された演算層では、大きい方のカーネルを用いた畳み込み演算が実行され、小さい方のカーネルを用いる畳み込み演算が行われる演算経路では、カーネルの外側における演算係数がゼロに設定される。同様に、ダイレートサイズの異なるカーネルを用いた畳み込み演算を実行する演算層を結合することも可能である。この場合、結合された演算層ではダイレートサイズが大きいカーネルを使用し、ダイレートサイズが小さいカーネルを用いる畳み込み演算では、不要な演算係数がゼロに設定される。
　以上の処理によって作成されたニューラルネットワークＮＮ１において、演算層Ｌ１１に対応するチャネル方向の領域は第１領域Ｒ１に対応し、補助演算層ＦＬ１に対応するチャネル方向の領域は第２領域Ｒ２に対応する。そして、チャネル方向に連結された演算層Ｌ１１および補助演算層ＦＬ１は、入力層ＩＬに対応する。また、ニューラルネットワークＮＮ１において、補助演算層ＦＬ３に対応するチャネル方向の領域は第３領域Ｒ３に対応し、演算層Ｌ２２に対応するチャネル方向の領域は第４領域Ｒ４に対応する。そして、チャネル方向に連結された補助演算層ＦＬ３および演算層Ｌ２２は、出力層ＯＬに対応する。
　図７、８に示すように、補助演算層ＦＬ３は、第１特徴マップＦＭ１および第２特徴マップＦＭ２に結合され、第２特徴マップＦＭ２との結合の演算係数は実質的にゼロに設定されている。同様に、演算層Ｌ２２は、第１特徴マップＦＭ１および第２特徴マップＦＭ２に結合され、第１特徴マップＦＭ１との結合の演算係数は実質的にゼロに設定されている。
　複数の演算経路を有するニューラルネットワークをコンピュータに実装するには、演算経路ごとに演算処理を実行する必要がある。そのため、汎用的なＦＰＧＡ（Field-Programmable Gate Array）または並列計算エンジンにおけるこのようなニューラルネットワークの実装は、複雑なものとなる。本実施形態のニューラルネットワークＮＮ１は、複数の演算経路による演算を、連結された１つの演算経路によって実現することができるため、汎用的なＦＰＧＡまたは汎用計算エンジンに容易に実装することができる。また、本実施形態のニューラルネットワークＮＮ１は、保持が必要な演算の中間結果データのデータ量を、複数の演算経路のまま実装する場合よりも削減することができる。
　図１０は、学習処理の動作フローチャートである。コンピュータは、図１０に示す各ステップの処理を実行することにより、入力データに基づいてニューラルネットワークの演算係数を更新させ、入力データに基づく処理をニューラルネットワークに学習させることができる。
　まず、コンピュータの生成部１３１は、教師データである入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップＦＭ１および第２特徴マップＦＭ２を生成する（ステップＳ２１）。
　次に、コンピュータは、入力層と出力層とを備えるニューラルネットワークを作成する（ステップＳ２２）。入力層は、第１特徴マップＦＭ１が入力される第１領域Ｒ１および第２特徴マップＦＭ２が入力される第２領域Ｒ２をチャネル方向に有する。出力層は、第１領域Ｒ１に対応する演算結果が出力される第３領域Ｒ３および第２領域Ｒ２に対応する演算結果が出力される第４領域Ｒ４をチャネル方向に有する。
　続いて、コンピュータは、第１特徴マップＦＭ１および第２特徴マップＦＭ２をニューラルネットワークＮＮ１に入力する。そして、コンピュータは、第３領域Ｒ３および第４領域Ｒ４における出力値と教師データに示される正解との誤差が小さくなるように、例えば勾配降下法および誤差逆伝搬法といった手法を用いて、入力層と出力層との結合の演算係数を更新し（ステップＳ２３）、学習処理を終了する。
　ステップＳ２３において、コンピュータは、第２領域Ｒ２から第３領域Ｒ３にいたる結合の演算係数および第１領域Ｒ１から第４領域Ｒ４にいたる結合の演算係数が実質的にゼロになるよう、演算係数を更新する。
　また、ステップＳ２３において、コンピュータは、第２領域Ｒ２から第３領域Ｒ３にいたる結合の演算係数および第１領域Ｒ１から第４領域Ｒ４にいたる結合の演算係数が実質的にゼロに維持しながら、その他の結合の演算係数を更新してもよい。
　図１１は、ニューラルネットワーク作成第２処理のフローチャートである。コンピュータは、図１０に示す学習処理におけるステップＳ２２が呼び出されるたびに図１１に示されるフローチャートを実行する。
　まず、コンピュータは、第１特徴マップＦＭ１が入力される第１領域Ｒ１および第２特徴マップＦＭ２が入力される第２領域Ｒ２をチャネル方向に有する入力層を作成する（ステップＳ３１）。続いて、コンピュータは、第３領域Ｒ３および第４領域Ｒ４をチャネル方向に有する出力層を作成する（ステップＳ３２）。
　次に、コンピュータは、第３領域Ｒ３を第１領域Ｒ１および少なくとも第２領域Ｒ２の一部に結合する（ステップＳ３３）。続いて、コンピュータは、第４領域Ｒ４を第２領域Ｒ２および少なくとも第１領域Ｒ１の一部に結合し（ステップＳ３４）、ニューラルネットワーク作成第２処理を終了する。コンピュータは、ステップＳ３１およびステップＳ３２を逆の順序で実行してもよい。また、コンピュータは、ステップＳ３３およびステップＳ３４を逆の順序で実行してもよい。このように作成されたニューラルネットワークは、図４に表されるニューラルネットワークＮＮ１に相当する。
　図１２は、ニューラルネットワーク作成第１処理の第２フローチャートである。ニューラルネットワーク作成第１処理の第２フローチャートは、ニューラルネットワーク作成第１処理の第１フローチャートにおけるステップＳ１２とステップＳ１３との間にステップＳ４３を追加したものに相当する。そのため、ニューラルネットワーク作成処理の第１フローチャートと共通するステップＳ４１、Ｓ４２、Ｓ４４については説明を省略する。
　コンピュータは、第１演算経路Ｐ１および第２演算経路Ｐ２にそれぞれ教師データを入力し、出力値と教師データに示される正解との誤差が小さくなるように、第１演算経路Ｐ１および第２演算経路Ｐ２における結合の演算係数を更新する（ステップＳ４３）。このとき、第１演算経路Ｐ１に含まれる演算層および第２演算経路Ｐ２に含まれる演算層はチャネル方向に連結されていないため、コンピュータは、演算係数の更新を第１演算経路Ｐ１および第２演算経路Ｐ２について独立に実行することができる。
　図１３は、ニューラルネットワーク作成第１処理の第３フローチャートである。ニューラルネットワーク作成第１処理の第３フローチャートは、ニューラルネットワーク作成第１処理の第１フローチャートにおけるステップＳ１１とステップＳ１２との間にステップＳ５２を追加したものに相当する。そのため、ニューラルネットワーク作成第１処理の第１フローチャートと共通するステップＳ５１、Ｓ５３、Ｓ５４については説明を省略する。また、ステップＳ５２の処理は、ニューラルネットワーク作成第１処理の第２フローチャートにおけるステップＳ４３の処理と同様であるので、ステップＳ５２についても説明を省略する。
　次に、演算装置をカメラに搭載した例について説明する。図１４は、演算装置を搭載するカメラの構成を示す模式図である。
　本実施形態にかかる演算装置は、カメラ２に搭載されるマイクロコントローラ４である。カメラ２は、撮像装置の一例であり、イメージセンサ３、マイクロコントローラ４およびレンズ５を備える。イメージセンサ３は、撮像素子の一例であり、レンズ５で集光された被写体からの光を画像データに変換する。マイクロコントローラ４は、プロセッサ、メモリ、入出力インタフェースを集積した集積回路である。マイクロコントローラ４は、イメージセンサ３から入力された画像データに基づいて演算を実行し、オートフォーカスの対象とすべき画像データ中の領域を示す信号を出力する。また、マイクロコントローラ４は、合焦制御部として動作し、画像データに表される所定の領域に合焦するようレンズ５を制御する合焦制御信号を出力する。レンズ５は、光学系の一例であり、被写体からの光をイメージセンサ３に集光させる。レンズ５は、オートフォーカス機構５１を有し、オートフォーカス機構５１は、マイクロコントローラ４から出力される合焦制御信号に基づいてレンズ５を被写体に合焦させる。
　本実施形態にかかる演算装置は、複数の演算経路による演算を行うResNetのようなニューラルネットワークを、少ないキャッシュメモリにより実装することができる。
　図１５は、演算装置を備えたカメラの処理フローチャートである。カメラ２は、ユーザによる不図示のシャッターボタンの半押しなどのオートフォーカス実行を指示する動作の検出に応じて、図１５の処理を開始する。カメラ２は、オートフォーカス実行を指示する動作が検出されている間、図１５の処理を繰り返し実行してもよい。
　まず、イメージセンサ３は、集光された光に応じた画像データをマイクロコントローラ４に送信する（ステップＳ１０１）。
　次に、マイクロコントローラ４は、受信した画像データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する（ステップＳ１０２）。続いて、マイクロコントローラ４は、第１特徴マップおよび第２特徴マップをニューラルネットワークに入力し、画像データに含まれる識別対象物に対応する領域を識別する演算を実行させる（ステップＳ１０３）。
　続いて、マイクロコントローラ４は、演算により識別された識別対象物に対応する領域に合焦させるための合焦制御信号を生成し、オートフォーカス機構５１に送信する。オートフォーカス機構５１は、マイクロコントローラ４より受信した合焦制御信号に基づいて、レンズ５に含まれる合焦レンズの位置を変更する（ステップＳ１０４）。画像の特定された領域に焦点が合っているか否かは、コントラストＡＦ方式、位相差ＡＦ方式などの方式により判定される。
　当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
　１　　コンピュータ
　１３１　　生成部
　１３２　　演算処理部
　ＮＮ１　　ニューラルネットワーク

Claims (9)

  1. 　入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する生成部と、
    　前記第１特徴マップが入力される第１領域および前記第２特徴マップが入力される第２領域を前記チャネル方向に有する入力層と、前記第１領域に対応する演算結果が出力される第３領域および前記第２領域に対応する演算結果が出力される第４領域を前記チャネル方向に有する出力層とを備えるニューラルネットワークに演算を実行させる演算部と、を備え、
    　前記第３領域は、前記第１領域および少なくとも前記第２領域の一部に結合されるとともに、前記第２領域から前記第３領域にいたる結合の演算係数は実質的にゼロに設定され、
    　前記第４領域は、前記第２領域および少なくとも前記第１領域の一部に結合されるとともに、前記第１領域から前記第４領域にいたる結合の演算係数は実質的にゼロに設定される、
    　演算装置。
  2. 　前記ニューラルネットワークは、前記入力層と前記出力層との間に少なくとも１つの中間層を備える、請求項１に記載の演算装置。
  3. 　前記生成部は、前記入力データと同一のデータを前記第１特徴マップおよび前記第２特徴マップとして生成する、請求項１または２に記載の演算装置。
  4. 　前記ニューラルネットワークは、畳み込み演算、転置畳み込み演算、プーリング演算、活性化演算のうち少なくとも１つを行う、請求項１－３のいずれか一項に記載の演算装置。
  5. 　入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する第１ステップと、
    　前記第１特徴マップが入力される第１領域および前記第２特徴マップが入力される第２領域を前記チャネル方向に有する入力層と、前記第１領域に対応する演算結果が出力される第３領域および前記第２領域に対応する演算結果が出力される第４領域を前記チャネル方向に有する出力層とを備えるようニューラルネットワークを作成する第２ステップと、
    　コンピュータが、前記入力データとして教師データを前記ニューラルネットワークに入力し、前記入力層と前記出力層との結合の演算係数を更新する第３ステップと、を含み、
    　前記第２ステップは、
    　前記第３領域を前記第１領域および少なくとも前記第２領域の一部に結合するステップと、
    　前記第４領域を前記第２領域および少なくとも前記第１領域の一部に結合するステップと、を含み、
    　前記第３ステップは、前記第２領域から前記第３領域にいたる結合の演算係数および前記第１領域から前記第４領域にいたる結合の演算係数が実質的にゼロになるよう、演算係数を更新するステップを含む、
    　学習方法。
  6. 　入力データに基づいて、チャネル方向の特徴量が共通する第１特徴マップおよび第２特徴マップを生成する第１ステップと、
    　前記第１特徴マップが入力される第１領域および前記第２特徴マップが入力される第２領域を前記チャネル方向に有する入力層と、前記第１領域に対応する演算結果が出力される第３領域および前記第２領域に対応する演算結果が出力される第４領域を前記チャネル方向に有する出力層とを備えるようニューラルネットワークを作成する第２ステップと、
    　コンピュータが、前記入力データとして教師データを前記ニューラルネットワークに入力し、前記入力層と出力層との結合の演算係数を更新する第３ステップと、を含み、
    　前記第２ステップは、
    　前記第３領域を前記第１領域および少なくとも前記第２領域の一部に結合するステップと、
    　前記第４領域を前記第２領域および少なくとも前記第１領域の一部に結合するステップと、を含み、
    　前記第３ステップは、前記第２領域から前記第３領域にいたる結合の演算係数および前記第１領域から前記第４領域にいたる結合の演算係数を実質的にゼロに維持しながら、その他の結合の演算係数を更新するステップを含む、
    　学習方法。
  7. 　入力された特徴マップの特徴量に対し演算係数を用いて所定の演算を実行した結果を出力する演算層をそれぞれ１以上備えるように第１演算経路および第２演算経路を作成するとともに、同一の演算を実行する前記演算層の位置が前記第１演算経路および前記第２演算経路において対応する位置となるように各演算層を配置するステップと、
    　前記第１演算経路において前記第２演算経路に配置された演算層に対応する演算層が配置されていない位置、および、前記第２演算経路において前記第１演算経路に配置された演算層に対応する演算層が配置されていない位置に、対応する位置に配置された演算層と同一の演算を実行する補助演算層を追加するステップと、
    　少なくともいずれか一方に前記補助演算層を追加された前記第１演算経路および前記第２演算経路に、それぞれ教師データを入力して前記演算層の前記演算係数を更新するステップと、
    　前記演算係数が更新された前記第１演算経路および前記第２演算経路において対応するそれぞれの層をチャネル方向に連結するステップと、
    　を含む、ニューラルネットワークの作成方法。
  8. 　入力された特徴マップの特徴量に対し演算係数を用いて所定の演算を実行した結果を出力する演算層をそれぞれ１以上備えるように第１演算経路および第２演算経路を作成するとともに、同一の演算を実行する前記演算層の位置が前記第１演算経路および前記第２演算経路において対応する位置となるように各演算層を配置するステップと、
    　前記第１演算経路および前記第２演算経路にそれぞれ教師データを入力して前記演算層の前記演算係数を更新するステップと、
    　前記第１演算経路において前記第２演算経路に配置された演算層に対応する演算層が配置されていない位置、および、前記第２演算経路において前記第１演算経路に配置された演算層に対応する演算層が配置されていない位置に、対応する位置に配置された演算層と同一の演算を実行する補助演算層を追加するステップと、
    　少なくともいずれか一方に前記補助演算層が追加された前記第１演算経路および前記第２演算経路において対応するそれぞれの層をチャネル方向に連結するステップと、
    　を含む、ニューラルネットワークの作成方法。
  9. 　前記補助演算層は、入力される特徴量と実質的に等しい値を出力するよう演算係数が設定された層である、請求項７または８に記載のニューラルネットワークの作成方法。
PCT/JP2021/022886 2020-07-02 2021-06-16 演算装置、学習方法、およびニューラルネットワークの作成方法 Ceased WO2022004389A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020115034 2020-07-02
JP2020-115034 2020-07-02

Publications (1)

Publication Number Publication Date
WO2022004389A1 true WO2022004389A1 (ja) 2022-01-06

Family

ID=79316101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022886 Ceased WO2022004389A1 (ja) 2020-07-02 2021-06-16 演算装置、学習方法、およびニューラルネットワークの作成方法

Country Status (1)

Country Link
WO (1) WO2022004389A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159940A (ja) * 2018-03-14 2019-09-19 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 点群特徴抽出装置、点群特徴抽出方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159940A (ja) * 2018-03-14 2019-09-19 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 点群特徴抽出装置、点群特徴抽出方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEX KRIZHEVSKY ; ILYA SUTSKEVER ; GEOFFREY E. HINTON: "ImageNet classification with deep convolutional neural networks", COMMUNICATIONS OF THE ACM, ASSOCIATION FOR COMPUTING MACHINERY, INC, UNITED STATES, vol. 60, no. 6, 24 May 2017 (2017-05-24), United States , pages 84 - 90, XP058339266, ISSN: 0001-0782, DOI: 10.1145/3065386 *
CHEN YUNPENG; FAN HAOQI; XU BING; YAN ZHICHENG; KALANTIDIS YANNIS; ROHRBACH MARCUS; SHUICHENG YAN; FENG JIASHI: "Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks With Octave Convolution", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 27 October 2019 (2019-10-27), pages 3434 - 3443, XP033723723, DOI: 10.1109/ICCV.2019.00353 *

Similar Documents

Publication Publication Date Title
US11089201B2 (en) Dual-core focusing image sensor, focusing control method for the same, and electronic device
US11741348B2 (en) Neural network circuit device, neural network, neural network processing method, and neural network execution program
CN110858871B (zh) 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统
US8683396B2 (en) Determining source patterns for use in photolithography
US20190139205A1 (en) Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
JPWO2011158515A1 (ja) 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
US20070172141A1 (en) Image conversion device, image conversion method, and recording medium
CN1953510A (zh) 用于能够有效降低图像噪声的图像处理的方法和装置
JPWO2021140620A5 (ja)
US8908988B2 (en) Method and system for recovering a code image including blurring
US20100239125A1 (en) Digital image processing apparatus, tracking method, recording medium for storing computer program for executing the tracking method, and digital image processing apparatus adopting the tracking method
Yu et al. Impacts of cost functions on inverse lithography patterning
CN103577520A (zh) 目标检索装置、目标检索方法以及计算机可读取记录介质
JP2004274133A (ja) 色収差補正装置および色収差補正方法、並びに色収差補正プログラム
US12518440B2 (en) Neural photofinisher digital content stylization
JP4773680B2 (ja) 情報処理装置および方法、プログラム記録媒体、並びにプログラム
US7945148B2 (en) Method and apparatus for correcting hand-shake in digital image processing apparatus
JP7146461B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
US20150160580A1 (en) Image forming apparatus including lens array optical system, image processing apparatus, program product, and computer-readable storage medium
JP4906753B2 (ja) 画像処理用ルックアップテーブル作成装置および画像処理用ルックアップテーブル作成方法
US8266554B2 (en) Dynamic provisional decomposition of lithographic patterns having different interaction ranges
TWI730467B (zh) 影像轉換方法及影像轉換網路
US10460430B2 (en) Image processing apparatus and method for detecting and reducing an unnecessary light component in an image based on multiple viewpoints
Hyun et al. Focus enhancement for image-based overlay metrology targets via generative models
US20260128002A1 (en) Training system, training method, dimming system, dimming method, computer-readable recording medium with stored program, and non-transitory computer program product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21832264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP