WO2022074877A1 - 処理方法およびそれを利用した処理装置 - Google Patents

処理方法およびそれを利用した処理装置 Download PDF

Info

Publication number
WO2022074877A1
WO2022074877A1 PCT/JP2021/024224 JP2021024224W WO2022074877A1 WO 2022074877 A1 WO2022074877 A1 WO 2022074877A1 JP 2021024224 W JP2021024224 W JP 2021024224W WO 2022074877 A1 WO2022074877 A1 WO 2022074877A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
processing
feature map
image
neural network
Prior art date
Application number
PCT/JP2021/024224
Other languages
English (en)
French (fr)
Inventor
俊嗣 堀井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP21877181.4A priority Critical patent/EP4227892A4/en
Priority to CN202180069293.7A priority patent/CN116368517A/zh
Priority to US18/030,900 priority patent/US20240119717A1/en
Priority to JP2022555266A priority patent/JP7462168B2/ja
Publication of WO2022074877A1 publication Critical patent/WO2022074877A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Definitions

  • the present disclosure relates to processing technology, particularly a processing method for executing processing on input information, and a processing apparatus using the same.
  • Deep Learning is used for the image recognition process.
  • Deep Learning is known as a machine learning methodology using a multi-layered neural network, and for example, a convolutional neural network is used for the multi-layered neural network.
  • a convolutional neural network is formed by a multi-layered neural network that repeats convolution and pooling of local regions. Further, a structure of a completely convolutional neural network in which a fully connected layer constituting a convolutional neural network is made into a convolutional layer has been proposed (see, for example, Patent Document 1).
  • the complete convolutional neural network is a stack of processing in the local area, the positional relationship of the elements in the image to be processed is not specified.
  • the present disclosure has been made in view of such circumstances, and an object thereof is to provide a technique for improving the accuracy of image recognition in a neural network that does not include a fully connected layer.
  • the processing apparatus executes the processing of the first neural network on the target image to be processed, thereby (1 / m) ⁇ (1) of the target image.
  • N A first processing unit that generates a first feature map that is twice the size, an enlargement unit that enlarges the first feature map generated in the first processing unit by n times, and a second neural network for the target image.
  • the second processing unit that generates a second feature map that is (1 / m) times the size of the target image by executing the processing of, the first feature map that is enlarged n times in the enlargement part, and the second processing.
  • the first neural network of the first processing unit and the second neural network of the second processing unit do not include the fully connected layer, and at the time of learning, the first learning image is input to the first neural network of the first processing unit.
  • the second neural network of the second processing unit has a second learning image that is a part of the first learning image and has a size (1 / n) times that of the first learning image. Is input, and at the time of learning, the combination unit is connected to the first processing unit and is connected to the second processing unit without going through the expansion unit.
  • Another aspect of the present disclosure is a processing method.
  • a first feature map having a size (1 / m) ⁇ (1 / n) times the target image is generated.
  • the first neural network and the second neural network do not include the fully connected layer, and the image for the first learning is input to the first neural network at the time of learning, and the first learning is input to the second neural network at the time of learning.
  • a second learning image that is a part of the image for learning and has a size (1 / n) times that of the first learning image is input, and is combined without being enlarged by n times at the time of learning.
  • any combination of the above components and the conversion of the expression of the present disclosure between a method, an apparatus, a system, a computer program, a recording medium on which a computer program is recorded, or the like is also effective as an aspect of the present disclosure. be.
  • the accuracy of image recognition in a neural network that does not include a fully connected layer can be improved.
  • FIGS. 3A and 3B are diagrams showing the configuration of the processing apparatus to be compared in this embodiment. It is a figure which shows the structure of the dense block of FIG. 1 (a)-(b). 3 (a)-(b) are views showing the configuration of the processing apparatus according to this embodiment. 4 (a)-(c) is a diagram showing an outline of processing in the combination portion of FIGS. 3 (a)-(b). 5 (a)-(b) is a diagram showing an outline of processing in the enlarged portion of FIG. 3 (b). 3 is a sequence diagram showing a processing procedure by the processing apparatus of FIGS. 3A and 3B.
  • An embodiment relates to a processing device that identifies an element in a target image by executing an image recognition process on an image to be processed (hereinafter, referred to as “target image”).
  • target image an image to be processed
  • For image recognition processing it is possible to use a fully convolutional neural network that does not include a fully connected layer.
  • the processing of the convolutional layer and the pooling layer is repeated, and an image in which the contained object is segmented by color painting (hereinafter referred to as "segmentation image” or "feature map”) is output.
  • the complete convolutional neural network is a stack of processing in the local region
  • the positional relationship of the elements in the target image is not specified. Since the accuracy of image recognition is improved by using the positional relationship of the elements in the target image, it is desired to specify the positional relationship of the elements in the target image.
  • it is necessary to expand the area to be recognized by the complete convolutional neural network but by expanding the area, the accuracy of image recognition in the area itself deteriorates. Resulting in. Therefore, it is required to both specify the positional relationship of the elements in the target image and improve the accuracy of image recognition in the region.
  • the processing apparatus includes a network for recognizing a wide area (hereinafter referred to as "first network”) and a network for recognizing a narrow area (hereinafter referred to as “second network”).
  • the processed image is input to the first network and the second network.
  • the processing device has a feature map generated by the first network (hereinafter referred to as “first feature map”) and a feature map generated by the second network (hereinafter referred to as "second feature map”). By combining, the final feature map is generated.
  • FIGS. 1 (a)-(b) show the configuration of the processing apparatus 10 to be compared.
  • FIG. 1A shows a configuration for learning processing
  • FIG. 1B shows a configuration for recognition processing.
  • the processing device 10 in FIG. 1A and the processing device 10 in FIG. 1B may be the same device or different devices.
  • the processing apparatus 10 has a convolution layer 20, a batch normalization layer 22, a dense block 24, a dense block 26, a max pooling layer 28, a dense block 30, and a dense block as a configuration for learning processing. 32, includes an average pooling layer 34.
  • the learning image 40 is used.
  • the learning image 40 is an image in which the result of image recognition is prepared in advance as teacher data.
  • the learning image 40 has, for example, a size of "28 x 28". It can be said that this is, for example, an image of a part of an image having a size of "1024 ⁇ 1024", that is, an image of details.
  • the learning image 40 is input to the convolution layer 20.
  • the convolution layer 20 executes spatial filtering while shifting the spatial filter having a size smaller than the size of the input image, for example, the learning image 40.
  • the size of the spatial filter is defined as "5 x 5"
  • the stride which is the width for shifting the spatial filter, is defined as "2". Since spatial filtering is a known technique, the description thereof is omitted here, but this spatial filtering corresponds to the convolution process, and the feature amount of the image is extracted by the convolution process. Padding or the like may be performed on the convolution layer 20.
  • the convolution layer 20 may use a plurality of spatial filters in parallel for the image to execute a plurality of spatial filters in parallel. The parallel use of such multiple spatial filters increases the number of images.
  • the number of spatial filters used in parallel in the convolution layer 20 is called the number of channels.
  • a known technique may be used for the batch normalization layer 22.
  • the intermediate information 42 is the result of processing by the convolution layer 20 and the batch normalization layer 22, and indicates information in the middle of the processing.
  • the intermediate information 42 has a size of "14x14".
  • the dense block 24 is shown as shown in FIG. FIG. 2 shows the configuration of the dense block. As shown in the figure, it includes an intermediate information 60, a convolution layer 62, a combination layer 64, an intermediate information 66, a convolution layer 68, an intermediate information 70, and a batch normalization layer 72.
  • the intermediate information 60, the intermediate information 66, and the intermediate information 70 indicate information in the middle of processing, similarly to the intermediate information 42.
  • the intermediate information 60 has 32 channels
  • the intermediate information 66 has 64 channels
  • the intermediate information 70 has 32 channels.
  • the convolution layer 62 and the convolution layer 68 are the same as the convolution layer 20.
  • the size of the spatial filter of the convolutional layer 62 is defined as "3x3", and the size of the spatial filter of the convolutional layer 68 is defined as "1x1".
  • the combination layer 64 generates the intermediate information 66 by combining the intermediate information 60 and the processing result of the convolution layer 62.
  • the intermediate information 60 and the processing result of the convolution layer 62 are combined as different channels.
  • the batch normalization layer 72 is similar to the batch normalization layer 22. Return to FIG. 1 (a).
  • the dense block 26, the dense block 30, and the dense block 32 are configured in the same manner as the dense block 24.
  • the dense block 24, the dense block 26, the dense block 30, and the dense block 32 are not limited to the configuration shown in FIG. 2, and the combination of the convolution layer and the like may be different. Further, the configurations of the dense block 24, the dense block 26, the dense block 30, and the dense block 32 may be different from each other.
  • the max pooling layer 28 is configured in the same manner as the convolution layer 20.
  • the max pooling layer 28 reduces the size of the image by combining a plurality of pixels included in an arbitrary region in the image into one pixel.
  • the max pooling layer 28 uses the average value of the plurality of pixel values in the region for one pixel in order to combine the plurality of pixels into one pixel.
  • the pooling process is performed in order to enhance the robustness against the translational movement of the average value in the region of interest.
  • the stride which is the width to shift the region in the max pooling layer 28, is defined as "2".
  • the average pooling layer 34 executes the pooling process in the same manner as the max pooling layer 28.
  • the average pooling layer 34 uses the maximum value of the plurality of pixel values in the region for one pixel in order to combine the plurality of pixels into one pixel.
  • the pooling process is performed in order to enhance the robustness against the translational movement of the representative value in the region of interest.
  • the size of the area in the average pooling layer 34 is defined as "7x7".
  • the coefficients of the space filter of the convolution layer 20, the dense block 24, the dense block 26, the dense block 30, and the dense block 32 are learned based on the learning image 40 and the teacher data.
  • the description thereof will be omitted here.
  • the processing apparatus 10 includes a convolution layer 20 to an average pooling layer 34 as a configuration for recognition processing.
  • This configuration is the same as in FIG. 1 (a).
  • the coefficients of the spatial filter derived by the learning process in FIG. 1A are set in the convolution layer 20, the convolution layer 24, the dense block 26, the dense block 30, and the convolution layer 32.
  • the target image 50 is an image to be recognized by the processing device 10, and has a size of, for example, “1024 ⁇ 1024”.
  • the target image 50 is input to the convolution layer 20.
  • intermediate information 52 and intermediate information 54 are generated.
  • the intermediate information 52 has a size of "512 x 512" and the intermediate information 54 has a size of "256 x 256".
  • the result of the authentication process is output from the average pooling layer 34.
  • the processing device 10 can recognize the elements in the narrow region in detail.
  • the processing apparatus 10 it becomes difficult for the processing apparatus 10 to distinguish between the elements.
  • those elements are arranged at different positions in the entire image, it is possible to distinguish between the elements based on the relative positional relationship in which the elements are arranged.
  • the learning process needs to be performed on a wide area.
  • the processing device 10 cannot recognize the elements in the narrow area in detail. Therefore, it is required to achieve both detailed recognition of elements in a narrow area and recognition of the position of elements in a wide area.
  • FIGS. 3 (a)-(b) show the configuration of the processing device 1000.
  • FIG. 3A shows a configuration for learning processing
  • FIG. 3B shows a configuration for recognition processing.
  • the processing device 1000 in FIG. 3A and the processing device 1000 in FIG. 3B may be the same device or different devices.
  • the processing apparatus 1000 shown in FIGS. 3A to 3B commonly includes a first processing unit 100, a second processing unit 300, a combination unit 500, and a convolution layer 510.
  • only the processing apparatus 1000 shown in FIG. 3A includes the extraction unit 200
  • only the processing apparatus 1000 shown in FIG. 3B includes the enlargement unit 400.
  • the first processing unit 100 includes a batch normalization layer 110, a convolution layer 112, a dense block 114, a max pooling layer 118, a dense block 120, a dense block 122, and an average pooling layer 124.
  • the second processing unit 300 includes a batch normalization layer 310, a convolution layer 312, a dense block 314, a dense block 316, a max pooling layer 318, a dense block 320, a dense block 322, and an average pooling layer 324.
  • the first processing unit 100 and the second processing unit 300 do not include a fully bonded layer.
  • (1) learning processing and (2) recognition processing will be described in this order.
  • the first learning image 600 is used.
  • the first learning image 600 is an image in which the result of image recognition is prepared in advance as teacher data.
  • the first learning image 600 has, for example, a size of "112 x 112".
  • the first learning image 600 is input to the first processing unit 100 and the extraction unit 200.
  • the batch normalization layer 110, the convolution layer 112, the dense block 114, the max pooling layer 118, the dense block 120, the dense block 122, and the average pooling layer 124 in the first processing unit 100 are included in the first neural network.
  • FIG. 3A the configuration between the dense block 114 and the max pooling layer 118 is omitted. These perform the same processing as in FIGS. 1 (a)-(b) and 2.
  • the size of the spatial filter of the convolution layer 112 is defined as "5x5" and the stride is defined as "2".
  • the stride of the max pooling layer 118 is defined as "2" and the size of the region in the average pooling layer 124 is defined as "7x7".
  • the first processing unit 100 generates intermediate information 602 and intermediate information 604.
  • the intermediate information 602 has a size of "56 x 56" and the intermediate information 604 has a size of "7 x 7".
  • the intermediate information generated in the average pooling layer 124 also has a size of "7x7". Therefore, the first processing unit 100 converts the size of "112 x 112" into the size of "7 x 7", which can be said to be a conversion of (1 / m) x (1 / n) times.
  • the extraction unit 200 generates a second learning image 610 by extracting a part of the first learning image 600, for example, a central portion. Since the second learning image 610 has a size of "28 ⁇ 28", it has a size (1 / n) times that of the first learning image 600.
  • the second learning image 610 is input to the second processing unit 300.
  • the batch normalization layer 310, the convolution layer 312, the dense block 314, the dense block 316, the max pooling layer 318, the dense block 320, the dense block 322, and the average pooling layer 324 in the second processing unit 300 are included in the second neural network. These perform the same processing as in FIGS. 1 (a)-(b) and 2.
  • the size of the spatial filter of the convolution layer 312 is defined as "5x5" and the stride is defined as "2".
  • the stride of the max pooling layer 318 is defined as "2" and the size of the region in the average pooling layer 324 is defined as "7x7".
  • the second processing unit 300 generates intermediate information 612 and intermediate information 614.
  • the intermediate information 612 has a size of "14x14" and the intermediate information 614 has a size of "7x7".
  • the intermediate information generated in the average pooling layer 324 also has a size of "7x7". Therefore, the second processing unit 300 converts the size of "28 x 28" to the size of "7 x 7", which can be said to be a (1 / m) times conversion.
  • the first learning image 600 is used in the first processing unit 100
  • the second learning image 610 is used in the second processing unit 300. Since the size of the first learning image 600 is larger than the size of the second learning image 610, the first network of the first processing unit 100 targets a wide area, and the second network of the second processing unit 300 is a narrow area. Is the recognition target.
  • the conversion is performed by (1 / m) ⁇ (1 / n) times, and in the second processing unit 300, the conversion is performed by (1 / m) times, so that the first processing unit 100 is performed.
  • the second processing unit 300 have different conversion magnifications.
  • the size of the second learning image 610 is (1 / n) times the size of the first learning image 600, the intermediate information output from the first processing unit 100 and the output from the second processing unit 300
  • the intermediate information to be made has the same size.
  • the combination unit 500 combines the intermediate information from the average pooling layer 124 and the intermediate information from the average pooling layer 324.
  • FIGS. 4A to 4C show an outline of processing in the combination unit 500.
  • the first input information 800a and the second input information 800b are two pieces of information input to the combination unit 500, and include intermediate information.
  • the first input information 800a and the second input information 800b are merged as different channels.
  • the first input information 800a and the second input information 800b are arranged in the horizontal direction to be information on one channel.
  • FIG. 4C the first input information 800a and the second input information 800b are arranged in the vertical axis direction to be information on one channel.
  • the combination unit 500 may combine the two inputs by performing four arithmetic operations such as addition and subtraction for each pixel.
  • the convolution layer 510 is made in the same manner as before.
  • the size of the spatial filter of the convolution layer 510 is defined as "1x1".
  • the coefficients of the spatial filter of the convolution layer are learned based on the first learning image 600 and the teacher data.
  • the second learning image 610 is used in the second processing unit 300. Since a known technique may be used for learning the coefficients of the spatial filter itself, the description thereof is omitted here.
  • the coefficients of the spatial filter derived by the learning process in FIG. 3 (a) are set in each convolution layer in FIG. 3 (b).
  • the target image 700 is used.
  • the target image 700 is an image to be recognized by the processing device 1000, and has a size of, for example, “1024 ⁇ 1024”.
  • the target image 700 is input to the first processing unit 100 and the second processing unit 300.
  • the extraction unit 200 is not used in the authentication process.
  • intermediate information 702 and the intermediate information 712 have a size of "512 x 512"
  • the intermediate information 704 has a size of "64 x 64”
  • the intermediate information 714 has a size of "256 x 256”.
  • the first processing unit 100 generates the first feature map by executing the processing of the first neural network on the target image 700. Since the first processing unit 100 converts the target image 700 by (1 / m) ⁇ (1 / n) times, the first feature map is (1/16) ⁇ (1) of the target image 700. / 16) Has twice the size. Since the target image 700 has a size of "1024 x 1024", the first feature map has a size of "64 x 64".
  • the second processing unit 300 generates the second feature map 716 by executing the processing of the second neural network on the target image 700. Since the second processing unit 300 converts the target image 700 by (1 / m) times, the second feature map 716 has a size of (1/16) times that of the target image 700. Since the target image 700 has a size of "1024 x 1024", the second feature map 716 has a size of "256 x 256".
  • the expansion unit 400 is connected to the first processing unit 100, and the expansion unit 400 is connected to the combination unit 500.
  • FIGS. 5A-(b) show an outline of processing in the enlarged unit 400.
  • FIG. 5A shows an example of processing in the enlarged unit 400.
  • the first pixel 850a to the eighth pixel 850h which are collectively referred to as the pixel 850, are pixels constituting the first feature map generated by the first processing unit 100.
  • An additional pixel 852 is added between the adjacent pixels 850.
  • a third additional pixel 852c is added between the first pixel 850a, the third pixel 850c, the fourth pixel 850d, and the fifth pixel 850e.
  • the enlargement unit 400 duplicates the value of the pixel 850 on the adjacent additional pixel 852.
  • the value of the third pixel 850c is duplicated in the third additional pixel 852c.
  • FIG. 5B shows another example of the processing in the enlarged unit 400.
  • the pixel 850 and the additional pixel 852 are the same as those in FIG. 5A.
  • the enlargement unit 400 uses the value obtained by interpolating the values of the plurality of pixels 850 surrounding the additional pixel 852 for the additional pixel 852. For example, a value stored in the value of the first pixel 850a, the value of the third pixel 850c, the value of the fourth pixel 850d, and the value of the fifth pixel 850e is used for the third additional pixel 852c. Since a known technique may be used for interpolation, the description thereof is omitted here. Return to FIG. 3 (b).
  • the combination unit 500 combines the first feature map 706 that has been magnified n times in the enlargement unit 400 and the second feature map 716 generated in the second processing unit 300. In the combination portion 500 and the convolution layer 510, the same processing as before is performed.
  • the conversion magnification in the first processing unit 100 and the conversion magnification in the second processing unit 300 are different.
  • the sizes of both outputs must be the same.
  • the extraction unit 200 changes the sizes of the first learning image 600 and the second learning image 610 in the learning process
  • the enlargement unit 400 changes the sizes of the first feature map 706 and the second feature in the authentication process. The size is matched with the map 716.
  • the subject of the device, system, or method in this disclosure is equipped with a computer. By executing the program by this computer, the function of the subject of the device, system, or method in the present disclosure is realized.
  • a computer has a processor that operates according to a program as a main hardware configuration. The type of processor does not matter as long as the function can be realized by executing the program.
  • the processor is composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or an LSI (Large Scale Integration).
  • IC semiconductor integrated circuit
  • LSI Large Scale Integration
  • the program is recorded on a non-temporary recording medium such as a computer-readable ROM, optical disc, or hard disk drive.
  • the program may be stored in a recording medium in advance, or may be supplied to the recording medium via a wide area communication network including the Internet or the like.
  • FIG. 6 is a sequence diagram showing a processing procedure by the processing apparatus 1000.
  • the extraction unit 200 extracts the second learning image 610 from the first learning image 600 (S12).
  • the processing device 1000 inputs the first learning image 600 to the first processing unit 100, inputs the second learning image 610 to the second processing unit 300, and executes learning (S14).
  • the processing device 1000 inputs the target image 700 to the first processing unit 100 and the second processing unit 300 (S16).
  • the enlargement unit 400 enlarges the first feature map (S18).
  • the combination unit 500 executes a combination of the first feature map 706 and the second feature map 716 (S20).
  • the first learning image 600 is input to the first processing unit 100, and the second learning image 610 is input to the second processing unit 300.
  • the network and the network to be recognized in a narrow area can coexist. Further, since the network of the recognition target in a wide area and the network of the recognition target in a narrow area coexist, it is possible to realize both the identification of the positional relationship of the elements in the target image and the improvement of the accuracy of the image recognition in the area. .. In addition, since it is possible to both specify the positional relationship of the elements in the target image and improve the accuracy of image recognition in the region, it is possible to improve the accuracy of image recognition in a neural network that does not include a fully connected layer.
  • the magnification of the conversion in the first processing unit 100 and the magnification of the conversion in the second processing unit 300 can be set independently. Further, since the conversion magnification in the first processing unit 100 and the conversion magnification in the second processing unit 300 are set independently, processing suitable for each of the first processing unit 100 and the second processing unit 300 is performed. Can be executed. Further, since the processing suitable for each of the first processing unit 100 and the second processing unit 300 is executed, the recognition accuracy can be improved.
  • the narrow area authentication target can be arranged as a part of the wide area authentication target. Further, by duplicating the value of the pixel included in the first feature map to the pixel to be added, the first feature map is enlarged n times, so that the enlargement can be easily executed. Further, in the first feature map, a third pixel is added between the adjacent first pixel and the second pixel, and the value obtained by interpolating the value of the first pixel and the value of the second pixel is used for the third pixel. As a result, the first feature map is enlarged n times, so that the quality of the first feature map can be maintained and enlarged. Moreover, since the two inputs are merged as different channels, the combination can be easily executed. Further, since the two inputs are combined by performing four arithmetic operations for each pixel, the combination can be easily executed.
  • the processing apparatus (1000) of a certain aspect of the present disclosure executes the processing of the first neural network on the target image (700) to be processed, thereby performing the processing of the target image (700).
  • the first processing unit (100) that generates the first feature map that is (1 / m) ⁇ (1 / n) times the size of, and the first feature map generated by the first processing unit (100) are multiplied by n.
  • a second feature map (1 / m) that is (1 / m) times the size of the target image (700) by executing the processing of the second neural network on the enlarged part (400) and the target image (700).
  • the second processing unit (300) that generates 716), the first feature map that is magnified n times in the enlargement unit (400), and the second feature map (716) that is generated in the second processing unit (300) are combined. It is provided with a combination unit (500).
  • the first neural network of the first processing unit (100) and the second neural network of the second processing unit (300) do not include the fully connected layer, and at the time of learning, they become the first neural network of the first processing unit (100). Is a part of the first learning image (600) and is a part of the first learning in the second neural network of the second processing unit (300) at the time of inputting the first learning image (600).
  • the second learning image (610) may be the central portion of the first learning image (600).
  • the enlargement unit (400) may enlarge the first feature map by n times by duplicating the values of the pixels included in the first feature map to the pixels to be added.
  • the enlargement unit (400) adds a third pixel between the first pixel and the second pixel adjacent to each other in the first feature map, and the value obtained by interpolating the value of the first pixel and the value of the second pixel is the third value.
  • the first feature map may be magnified n times by using it for pixels.
  • the combination unit (500) may merge the two inputs as different channels.
  • the combination unit (500) combines two inputs by performing four arithmetic operations for each pixel.
  • Another aspect of the present disclosure is a processing method.
  • the size becomes (1 / m) ⁇ (1 / n) times the size of the target image (700).
  • the step of generating the first feature map By executing the process of the second neural network on the target image (700), the step of generating the first feature map, the step of magnifying the generated first feature map by n times, and the target image (700). It includes a step of generating a second feature map (716) having a size (1 / m) times, and a step of combining the first feature map enlarged by n times and the generated second feature map (716).
  • the first neural network and the second neural network do not include the fully connected layer, and the first learning image (600) is input to the first neural network at the time of learning, and the second neural network is input to the second neural network at the time of learning.
  • a second learning image (610) that is a part of the first learning image (600) and has a size (1 / n) times that of the first learning image (600) is input, and at the time of learning, The combination is made without n-fold magnification.
  • the average pooling layer 124 of the first processing unit 100 and the average pooling layer 324 of the second processing unit 300 are connected to the combination unit 500.
  • the present invention is not limited to this, and for example, another configuration of the first processing unit 100 and the second processing unit 300 may be connected to the combination unit 500.
  • the max pooling layer 118 of the first processing unit 100 and the max pooling layer 318 of the second processing unit 300 may be connected to the combination unit 500.
  • the max pooling layer 118 is connected to the combination portion 500 via the expansion portion 400. According to this modification, the degree of freedom of configuration can be improved.
  • the accuracy of image recognition in a neural network that does not include a fully connected layer can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

第１処理部１００は、処理対象となる対象画像７００に対して第１ニューラルネットワークの処理を実行することによって、対象画像７００の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成する。拡大部４００は、第１処理部１００において生成した前記第１特徴マップをｎ倍拡大する。第２処理部３００は、対象画像７００に対して第２ニューラルネットワークの処理を実行することによって、対象画像７００の（１／ｍ）倍のサイズとなる第２特徴マップ７１６を生成する。組合せ部５００は、拡大部４００においてｎ倍拡大した第１特徴マップ７０６と、第２処理部３００において生成した第２特徴マップ７１６とを組み合わせる。

Description

処理方法およびそれを利用した処理装置
　本開示は、処理技術、特に入力された情報に対する処理を実行する処理方法およびそれを利用した処理装置に関する。
　画像認識処理には、例えば、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇが使用される。Ｄｅｅｐ　Ｌｅａｒｎｉｎｇは、多層のニューラルネットワークを使った機械学習の方法論として知られ、多層ニューラルネットワークには例えば畳み込みニューラルネットワークが使用される。畳み込みニューラルネットワークは、局所領域の畳み込み(Ｃｏｎｖｏｌｕｔｉｏｎ)とプーリング(Ｐｏｏｌｉｎｇ)とを繰り返す多層のニューラルネットワークによって形成される。さらに、畳み込みニューラルネットワークを構成する全結合層を畳み込み層にする完全畳み込みニューラルネットワークの構造が提案されている（例えば、特許文献１参照）。
国際公開第１９／１５９４１９号
　完全畳み込みニューラルネットワークは局所領域の処理の積み重ねであるので、処理対象となる画像内の要素の位置関係が特定されない。ニューラルネットワークにおける画像認識の精度を向上させるためには、画像内の要素の位置関係を特定できる方が好ましい。
　本開示はこうした状況に鑑みなされたものであり、その目的は、全結合層を含まないニューラルネットワークにおける画像認識の精度を向上する技術を提供することにある。
　上記課題を解決するために、本開示のある態様の処理装置は、処理対象となる対象画像に対して第１ニューラルネットワークの処理を実行することによって、対象画像の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成する第１処理部と、第１処理部において生成した第１特徴マップをｎ倍拡大する拡大部と、対象画像に対して第２ニューラルネットワークの処理を実行することによって、対象画像の（１／ｍ）倍のサイズとなる第２特徴マップを生成する第２処理部と、拡大部においてｎ倍拡大した第１特徴マップと、第２処理部において生成した第２特徴マップとを組み合わせる組合せ部とを備える。第１処理部の第１ニューラルネットワークと第２処理部の第２ニューラルネットワークは全結合層を含まず、学習時において、第１処理部の第１ニューラルネットワークには第１学習用画像が入力され、学習時において、第２処理部の第２ニューラルネットワークには、第１学習用画像の一部であり、かつ第１学習用画像の（１／ｎ）倍のサイズとなる第２学習用画像が入力され、学習時において、組合せ部は、拡大部を介さずに第１処理部に接続されるとともに、第２処理部に接続される。
　本開示の別の態様は、処理方法である。この方法は、処理対象となる対象画像に対して第１ニューラルネットワークの処理を実行することによって、対象画像の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成するステップと、生成した第１特徴マップをｎ倍拡大するステップと、対象画像に対して第２ニューラルネットワークの処理を実行することによって、対象画像の（１／ｍ）倍のサイズとなる第２特徴マップを生成するステップと、ｎ倍拡大した第１特徴マップと、生成した第２特徴マップとを組み合わせるステップとを備える。第１ニューラルネットワークと第２ニューラルネットワークは全結合層を含まず、学習時において、第１ニューラルネットワークには第１学習用画像が入力され、学習時において、第２ニューラルネットワークには、第１学習用画像の一部であり、かつ第１学習用画像の（１／ｎ）倍のサイズとなる第２学習用画像が入力され、学習時において、ｎ倍の拡大がなされずに、組合せがなされる。
　なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。
　本開示によれば、全結合層を含まないニューラルネットワークにおける画像認識の精度を向上できる。
図１（ａ）－（ｂ）は、本実施例の比較対象となる処理装置の構成を示す図である。 図１（ａ）－（ｂ）のデンスブロックの構成を示す図である。 図３（ａ）－（ｂ）は、本実施例に係る処理装置の構成を示す図である。 図４（ａ）－（ｃ）は、図３（ａ）－（ｂ）の組合せ部における処理概要を示す図である。 図５（ａ）－（ｂ）は、図３（ｂ）の拡大部における処理概要を示す図である。 図３（ａ）－（ｂ）の処理装置による処理手順を示すシーケンス図である。
　本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、処理対象となる画像（以下、「対象画像」という）に対して画像認識処理を実行することによって、対象画像内の要素を特定する処理装置に関する。画像認識処理のために、全結合層を含まない完全畳み込みニューラルネットワークの使用が可能である。完全畳み込みニューラルネットワークでは、畳み込み層とプーリング層の処理が繰り返され、含まれる物体に対して色塗りによるセグメンテーションがなされた画像（以下、「セグメンテーション画像」あるいは「特徴マップ」という）が出力される。
　しかしながら、前述のごとく、完全畳み込みニューラルネットワークは局所領域の処理の積み重ねであるので、対象画像内の要素の位置関係が特定されない。対象画像内の要素の位置関係を利用することによって、画像認識の精度が向上するので、対象画像内の要素の位置関係を特定することが望まれる。一方、対象画像内の要素の位置関係を特定するためには、完全畳み込みニューラルネットワークの認識対象となる領域を広げる必要があるが、領域を広げることによって、領域内の画像認識の精度自体が低下してしまう。そのため、対象画像内の要素の位置関係の特定と、領域内の画像認識の精度の向上との両立が求められる。
　本実施例に係る処理装置は、広域を認識対象とするネットワーク（以下、「第１ネットワーク」という）と、狭域を認識対象とするネットワーク（以下、「第２ネットワーク」という）とを備え、処理画像を第１ネットワークと第２ネットワークとに入力する。また、処理装置は、第１ネットワークにより生成される特徴マップ（以下、「第１特徴マップ」という）と、第２ネットワークにより生成される特徴マップ（以下、「第２特徴マップ」という）とを組み合わせることによって、最終的な特徴マップを生成する。
　図１（ａ）－（ｂ）は、比較対象となる処理装置１０の構成を示す。特に、図１（ａ）は、学習処理のための構成を示し、図１（ｂ）は、認識処理ための構成を示す。図１（ａ）における処理装置１０と図１（ｂ）における処理装置１０とは、同一の装置であってもよいし、別の装置であってもよい。
　処理装置１０は、図１（ａ）に示すように学習処理のための構成として、畳み込み層２０、バッチノーマライゼーション層２２、デンスブロック２４、デンスブロック２６、マックスプーリング層２８、デンスブロック３０、デンスブロック３２、アベレージプーリング層３４を含む。学習処理では、学習用画像４０が使用される。学習用画像４０は、画像認識の結果が教師データとして予め用意されている画像である。学習用画像４０は、例えば、「２８×２８」のサイズを有する。これは、例えば、「１０２４×１０２４」のサイズを有する画像のうちの一部分の画像、つまり細部の画像であるといえる。学習用画像４０は、畳み込み層２０に入力される。
　畳み込み層２０は、入力される画像、例えば学習用画像４０のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。畳み込み層２０において、空間フィルタのサイズが「５×５」と規定され、空間フィルタをずらす幅であるストライドが「２」と規定される。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって画像の特徴量が抽出される。畳み込み層２０においてパディング等が実行されてもよい。さらに、畳み込み層２０は、画像に対して、複数の空間フィルタを並列に使用して、複数の空間フィルタリングを並列して実行してもよい。このような複数の空間フィルタの並列使用によって、画像が増加する。畳み込み層２０において並列に使用される空間フィルタの数は、チャンネル数と呼ばれる。バッチノーマライゼーション層２２には公知の技術が使用されればよい。中間情報４２とは、畳み込み層２０、バッチノーマライゼーション層２２による処理がなされた結果であり、処理の途中の情報を示す。中間情報４２は「１４×１４」のサイズを有する。
　デンスブロック２４は、図２のように示される。図２は、デンスブロックの構成を示す。図示のごとく、中間情報６０、畳み込み層６２、組合せ層６４、中間情報６６、畳み込み層６８、中間情報７０、バッチノーマライゼーション層７２を含む。中間情報６０、中間情報６６、中間情報７０は、中間情報４２と同様に、処理の途中の情報を示す。例えば、中間情報６０は３２チャンネルを有し、中間情報６６は６４チャンネルを有し、中間情報７０は３２チャンネルを有する。畳み込み層６２、畳み込み層６８は、畳み込み層２０と同様である。畳み込み層６２の空間フィルタのサイズは「３×３」と規定され、畳み込み層６８の空間フィルタのサイズは「１×１」と規定される。組合せ層６４は、中間情報６０と、畳み込み層６２の処理結果とを組み合わせることによって、中間情報６６を生成する。中間情報６０と、畳み込み層６２の処理結果とは、別のチャンネルとして組み合わされる。バッチノーマライゼーション層７２はバッチノーマライゼーション層２２と同様である。図１（ａ）に戻る。
　デンスブロック２６、デンスブロック３０、デンスブロック３２は、デンスブロック２４と同様に構成される。デンスブロック２４、デンスブロック２６、デンスブロック３０、デンスブロック３２は、図２の構成に限定されず、畳み込み層等の組合せが異なっていてもよい。また、デンスブロック２４、デンスブロック２６、デンスブロック３０、デンスブロック３２の構成が互いに異なっていてもよい。
　マックスプーリング層２８は畳み込み層２０と同様に構成される。マックスプーリング層２８は、画像内の任意の領域に含まれた複数の画素を１つの画素にまとめることによって、画像のサイズを小さくする。マックスプーリング層２８は、複数の画素を１つの画素にまとめるために、領域内の複数の画素値の平均値を１つの画素に対して使用する。プーリング処理は、着目領域における平均値の並進移動に対してロバスト性を強化するためになされる。マックスプーリング層２８において領域をずらす幅であるストライドが「２」と規定される。
　アベレージプーリング層３４は、マックスプーリング層２８と同様にプーリング処理を実行する。アベレージプーリング層３４は、複数の画素を１つの画素にまとめるために、領域内の複数の画素値のうちの最大値を１つの画素に対して使用する。プーリング処理は、着目領域における代表値の並進移動に対してロバスト性を強化するためになされる。アベレージプーリング層３４における領域のサイズが「７×７」と規定される。
　学習処理では、学習用画像４０と教師データとをもとに、畳み込み層２０と、デンスブロック２４とデンスブロック２６とデンスブロック３０とデンスブロック３２に含まれる畳み込み層の空間フィルタの係数が学習される。学習用画像４０と教師データを使用する状況下における空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。
　処理装置１０は、図１（ｂ）に示すように認識処理のための構成として、畳み込み層２０からアベレージプーリング層３４を含む。この構成は図１（ａ）と同じである。ここで、図１（ａ）における学習処理によって導出された空間フィルタの係数が、畳み込み層２０と、デンスブロック２４とデンスブロック２６とデンスブロック３０とデンスブロック３２に含まれる畳み込み層に設定される。対象画像５０は、処理装置１０における認識処理の対象となる画像であり、例えば、「１０２４×１０２４」のサイズを有する。対象画像５０は、畳み込み層２０に入力される。
　畳み込み層２０からアベレージプーリング層３４は、これまでと同様の処理を実行するので、ここでは説明を省略する。また、認証処理において、中間情報５２、中間情報５４が生成される。中間情報５２は、「５１２×５１２」のサイズを有し、中間情報５４は、「２５６×２５６」のサイズを有する。認証処理の結果はアベレージプーリング層３４から出力される。
　学習用画像４０は「２８×２８」のサイズを有し、対象画像５０は「１０２４×１０２４」のサイズを有するので、学習用画像４０を使用する学習処理は、狭域に対してなされているといえる。そのため、処理装置１０は、狭域における要素を詳細に認識可能である。ここで、異なった要素が狭域において類似する場合に、処理装置１０では、それらの要素の区別が困難になる。一方、それらの要素が画像全体のうちの異なった位置に配置されていれば、それらの要素が配置された相対的な位置関係をもとに、それらの要素の区別が可能になる。そのためには、学習処理が広域に対してなされる必要がある。しかしながら、学習処理が広域に対してなされた場合、処理装置１０は、狭域における要素を詳細に認識できなくなる。そのため、狭域における要素の詳細な認識と、広域における要素の位置の認識との両立が求められる。
　図３（ａ）－（ｂ）は、処理装置１０００の構成を示す。特に、図３（ａ）は、学習処理のための構成を示し、図３（ｂ）は、認識処理ための構成を示す。図３（ａ）における処理装置１０００と図３（ｂ）における処理装置１０００とは、同一の装置であってもよいし、別の装置であってもよい。図３（ａ）－（ｂ）に示される処理装置１０００は、第１処理部１００、第２処理部３００、組合せ部５００、畳み込み層５１０を共通して含む。一方、図３（ａ）に示される処理装置１０００だけが抽出部２００を含み、図３（ｂ）に示される処理装置１０００だけが拡大部４００を含む。
　第１処理部１００は、バッチノーマライゼーション層１１０、畳み込み層１１２、デンスブロック１１４、マックスプーリング層１１８、デンスブロック１２０、デンスブロック１２２、アベレージプーリング層１２４を含む。第２処理部３００は、バッチノーマライゼーション層３１０、畳み込み層３１２、デンスブロック３１４、デンスブロック３１６、マックスプーリング層３１８、デンスブロック３２０、デンスブロック３２２、アベレージプーリング層３２４を含む。第１処理部１００、第２処理部３００には、全結合層が含まれない。ここでは、（１）学習処理、（２）認識処理の順に説明する。
（１）学習処理
　図３（ａ）に示される学習処理では、第１学習用画像６００が使用される。第１学習用画像６００は、画像認識の結果が教師データとして予め用意されている画像である。第１学習用画像６００は、例えば、「１１２×１１２」のサイズを有する。第１学習用画像６００は、第１処理部１００と抽出部２００に入力される。
　第１処理部１００におけるバッチノーマライゼーション層１１０、畳み込み層１１２、デンスブロック１１４、マックスプーリング層１１８、デンスブロック１２０、デンスブロック１２２、アベレージプーリング層１２４は、第１ニューラルネットワークに含まれる。図３（ａ）においてデンスブロック１１４とマックスプーリング層１１８との間の構成は省略される。これらは、図１（ａ）－（ｂ）、図２と同様の処理を実行する。畳み込み層１１２の空間フィルタのサイズが「５×５」と規定され、ストライドが「２」と規定される。マックスプーリング層１１８のストライドが「２」と規定され、アベレージプーリング層１２４における領域のサイズが「７×７」と規定される。
　第１処理部１００では、中間情報６０２、中間情報６０４が生成される。中間情報６０２は、「５６×５６」のサイズを有し、中間情報６０４は、「７×７」のサイズを有する。アベレージプーリング層１２４において生成される中間情報も「７×７」のサイズを有する。そのため、第１処理部１００は、「１１２×１１２」のサイズを「７×７」のサイズに変換しており、これは、（１／ｍ）×（１／ｎ）倍の変換といえる。ここで、ｍ＝４、ｎ＝４である。
　抽出部２００は、第１学習用画像６００の一部、例えば中心部分を抽出することによって、第２学習用画像６１０を生成する。第２学習用画像６１０は、「２８×２８」のサイズを有するので、第１学習用画像６００の（１／ｎ）倍のサイズを有する。第２学習用画像６１０は、第２処理部３００に入力される。
　第２処理部３００におけるバッチノーマライゼーション層３１０、畳み込み層３１２、デンスブロック３１４、デンスブロック３１６、マックスプーリング層３１８、デンスブロック３２０、デンスブロック３２２、アベレージプーリング層３２４は、第２ニューラルネットワークに含まれる。これらは、図１（ａ）－（ｂ）、図２と同様の処理を実行する。畳み込み層３１２の空間フィルタのサイズが「５×５」と規定され、ストライドが「２」と規定される。マックスプーリング層３１８のストライドが「２」と規定され、アベレージプーリング層３２４における領域のサイズが「７×７」と規定される。
　第２処理部３００では、中間情報６１２、中間情報６１４が生成される。中間情報６１２は、「１４×１４」のサイズを有し、中間情報６１４は、「７×７」のサイズを有する。アベレージプーリング層３２４において生成される中間情報も「７×７」のサイズを有する。そのため、第２処理部３００は、「２８×２８」のサイズを「７×７」のサイズに変換しており、これは、（１／ｍ）倍の変換といえる。
　学習のために、第１処理部１００では第１学習用画像６００が使用され、第２処理部３００では第２学習用画像６１０が使用される。第１学習用画像６００のサイズは第２学習用画像６１０のサイズよりも大きいので、第１処理部１００の第１ネットワークは広域を認識対象とし、第２処理部３００の第２ネットワークは狭域を認識対象とする。
　第１処理部１００では、（１／ｍ）×（１／ｎ）倍の変換がなされ、第２処理部３００では、（１／ｍ）倍の変換がなされているので、第１処理部１００と第２処理部３００とでは変換の倍率が異なる。しかしながら、第２学習用画像６１０のサイズが第１学習用画像６００のサイズの（１／ｎ）倍であるので、第１処理部１００から出力される中間情報と、第２処理部３００から出力される中間情報は同一のサイズを有する。
　組合せ部５００は、アベレージプーリング層１２４からの中間情報と、アベレージプーリング層３２４からの中間情報とを組み合わせる。図４（ａ）－（ｃ）は、組合せ部５００における処理概要を示す。第１入力情報８００ａ、第２入力情報８００ｂは、組合せ部５００に入力される２つの情報であり、中間情報を含む。図４（ａ）では、第１入力情報８００ａと第２入力情報８００ｂとが別のチャンネルとして合併される。図４（ｂ）では、第１入力情報８００ａ、第２入力情報８００ｂが、横方向に並べることによって１つのチャンネルの情報にされる。図４（ｃ）では、第１入力情報８００ａ、第２入力情報８００ｂが、縦軸方向に並べることによって１つのチャンネルの情報にされる。図３（ａ）に戻る。組合せ部５００は、２つの入力を画素毎に加算、減算等の四則演算して組み合わせてもよい。畳み込み層５１０は、これまでと同様になされる。畳み込み層５１０の空間フィルタのサイズが「１×１」と規定される。
　学習処理では、第１学習用画像６００と教師データとをもとに、畳み込み層の空間フィルタの係数が学習される。その際、第２処理部３００では第２学習用画像６１０が使用される。空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。
（２）認識処理
　図３（ａ）における学習処理によって導出された空間フィルタの係数が、図３（ｂ）における各畳み込み層に設定される。図３（ｂ）に示される認証処理では、対象画像７００が使用される。対象画像７００は、処理装置１０００における認識処理の対象となる画像であり、例えば、「１０２４×１０２４」のサイズを有する。対象画像７００は、第１処理部１００と第２処理部３００に入力される。認証処理において抽出部２００は使用されない。
　バッチノーマライゼーション層１１０からアベレージプーリング層１２４、バッチノーマライゼーション層３１０からアベレージプーリング層３２４は、これまでと同様の処理を実行するので、ここでは説明を省略する。また、認証処理において、中間情報７０２、中間情報７０４、中間情報７１２、中間情報７１４が生成される。中間情報７０２と中間情報７１２は「５１２×５１２」のサイズを有し、中間情報７０４は「６４×６４」のサイズを有し、中間情報７１４は「２５６×２５６」のサイズを有する。
　第１処理部１００は、対象画像７００に対して第１ニューラルネットワークの処理を実行することによって、第１特徴マップを生成する。第１処理部１００では、対象画像７００に対して（１／ｍ）×（１／ｎ）倍の変換がなされるので、第１特徴マップは、対象画像７００の（１／１６）×（１／１６）倍のサイズを有する。対象画像７００は「１０２４×１０２４」のサイズを有するので、第１特徴マップは「６４×６４」のサイズを有する。
　一方、第２処理部３００は、対象画像７００に対して第２ニューラルネットワークの処理を実行することによって、第２特徴マップ７１６を生成する。第２処理部３００では、対象画像７００に対して（１／ｍ）倍の変換がなされるので、第２特徴マップ７１６は、対象画像７００の（１／１６）倍のサイズを有する。対象画像７００は「１０２４×１０２４」のサイズを有するので、第２特徴マップ７１６は「２５６×２５６」のサイズを有する。
　第１処理部１００において生成された第１特徴マップと、第２処理部３００において生成された第２特徴マップ７１６とではサイズが異なるので、第１特徴マップと第２特徴マップ７１６とを組み合わせることができない。そこで、第１処理部１００には拡大部４００が接続され、拡大部４００が組合せ部５００に接続される。拡大部４００は、第１処理部１００において生成した第１特徴マップをｎ倍拡大することによって、第１特徴マップ７０６を生成する。ここではｎ＝４であるので、第１特徴マップ７０６は、第２特徴マップ７１６と同一の「２５６×２５６」のサイズを有する。
　図５（ａ）－（ｂ）は、拡大部４００における処理概要を示す。図５（ａ）は、拡大部４００における処理の一例を示す。画素８５０と総称される第１画素８５０ａから第８画素８５０ｈは、第１処理部１００において生成した第１特徴マップを構成する画素である。隣接する画素８５０の間に追加画素８５２が追加される。例えば、第１画素８５０ａ、第３画素８５０ｃ、第４画素８５０ｄ、第５画素８５０ｅの間に第３追加画素８５２ｃが追加される。第１追加画素８５２ａ、第４追加画素８５２ｄ、第５追加画素８５２ｅ、第７追加画素８５２ｇ、第８追加画素８５２ｈも同様である。このように画素８５０に追加画素８５２を追加することによって、第１特徴マップがｎ倍拡大される。拡大部４００は、画素８５０の値を、隣接の追加画素８５２に複製する。例えば、第３画素８５０ｃの値は、第３追加画素８５２ｃに複製される。
　図５（ｂ）は、拡大部４００における処理の別の一例を示す。画素８５０と追加画素８５２は図５（ａ）と同一である。拡大部４００は、追加画素８５２を囲む複数の画素８５０の値を補間した値を、追加画素８５２に使用する。例えば、第１画素８５０ａの値、第３画素８５０ｃの値、第４画素８５０ｄの値、第５画素８５０ｅの値を保管した値が、第３追加画素８５２ｃに使用される。補間には公知の技術が使用されればよいので、ここでは説明を省略する。図３（ｂ）に戻る。
　組合せ部５００は、拡大部４００においてｎ倍拡大した第１特徴マップ７０６と、第２処理部３００において生成した第２特徴マップ７１６とを組み合わせる。組合せ部５００および畳み込み層５１０では、これまで同様の処理がなされる。
　前述のごとく、第１処理部１００における変換の倍率と、第２処理部３００における変換の倍率とは異なる。一方、第１処理部１００からの出力と、第２処理部３００からの出力とを組合せ部５００において組み合わせるために、両方の出力のサイズは同一でなければならない。これらの条件を満たすために、学習処理において抽出部２００により第１学習用画像６００と第２学習用画像６１０とのサイズを変え、認証処理において拡大部４００により第１特徴マップ７０６と第２特徴マップ７１６とのサイズが合わされる。
　本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
　以上の構成による処理装置１０００の動作を説明する。図６は、処理装置１０００による処理手順を示すシーケンス図である。学習処理である場合（Ｓ１０のＹ）、抽出部２００は、第１学習用画像６００から第２学習用画像６１０を抽出する（Ｓ１２）。処理装置１０００は、第１学習用画像６００を第１処理部１００に入力し、第２学習用画像６１０を第２処理部３００に入力して学習を実行する（Ｓ１４）。学習処理でない場合（Ｓ１０のＮ）、処理装置１０００は、対象画像７００を第１処理部１００と第２処理部３００に入力する（Ｓ１６）。拡大部４００は第１特徴マップを拡大する（Ｓ１８）。組合せ部５００は、第１特徴マップ７０６と第２特徴マップ７１６との組合せを実行する（Ｓ２０）。
　本実施例によれば、学習時において、第１処理部１００に第１学習用画像６００が入力され、第２処理部３００に第２学習用画像６１０が入力されるので、広域な認識対象のネットワークと狭域な認識対象のネットワークとを共存できる。また、広域な認識対象のネットワークと狭域な認識対象のネットワークとが共存されるので、対象画像内の要素の位置関係の特定と、領域内の画像認識の精度の向上との両立を実現できる。また、対象画像内の要素の位置関係の特定と、領域内の画像認識の精度の向上との両立が実現されるので、全結合層を含まないニューラルネットワークにおける画像認識の精度を向上できる。また、拡大部４００により第１特徴マップのサイズを変更するので、第１処理部１００での変換の倍率と第２処理部３００での変換の倍率とを独立して設定できる。また、第１処理部１００での変換の倍率と第２処理部３００での変換の倍率とが独立して設定されるので、第１処理部１００と第２処理部３００のそれぞれに適した処理を実行できる。また、第１処理部１００と第２処理部３００のそれぞれに適した処理が実行されるので、認識精度を向上できる。
　また、第２学習用画像６１０は第１学習用画像６００の中心部分であるので、広域の認証対象の一部に狭域の認証対象を配置できる。また、第１特徴マップに含まれる画素の値を、追加する画素に複製することによって、第１特徴マップをｎ倍拡大するので、拡大を容易に実行できる。また、第１特徴マップにおいて隣接した第１画素と第２画素の間に第３画素を追加し、第１画素の値と第２画素の値とを補間した値を第３画素に使用することによって、第１特徴マップをｎ倍拡大するので、第１特徴マップの品質を維持しながら拡大できる。また、２つの入力を別のチャンネルとして合併するので、組合せを容易に実行できる。また、２つの入力を画素毎に四則演算して組み合わせるので、組合せを容易に実行できる。
　本開示の一態様の概要は、次の通りである。上記課題を解決するために、本開示のある態様の処理装置（１０００）は、処理対象となる対象画像（７００）に対して第１ニューラルネットワークの処理を実行することによって、対象画像（７００）の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成する第１処理部（１００）と、第１処理部（１００）において生成した第１特徴マップをｎ倍拡大する拡大部（４００）と、対象画像（７００）に対して第２ニューラルネットワークの処理を実行することによって、対象画像（７００）の（１／ｍ）倍のサイズとなる第２特徴マップ（７１６）を生成する第２処理部（３００）と、拡大部（４００）においてｎ倍拡大した第１特徴マップと、第２処理部（３００）において生成した第２特徴マップ（７１６）とを組み合わせる組合せ部（５００）とを備える。第１処理部（１００）の第１ニューラルネットワークと第２処理部（３００）の第２ニューラルネットワークは全結合層を含まず、学習時において、第１処理部（１００）の第１ニューラルネットワークには第１学習用画像（６００）が入力され、学習時において、第２処理部（３００）の第２ニューラルネットワークには、第１学習用画像（６００）の一部であり、かつ第１学習用画像（６００）の（１／ｎ）倍のサイズとなる第２学習用画像（６１０）が入力され、学習時において、組合せ部（５００）は、拡大部（４００）を介さずに第１処理部（１００）に接続されるとともに、第２処理部（３００）に接続される。
　第２学習用画像（６１０）は、第１学習用画像（６００）の中心部分であってもよい。
　拡大部（４００）は、第１特徴マップに含まれる画素の値を、追加する画素に複製することによって、第１特徴マップをｎ倍拡大してもよい。
　拡大部（４００）は、第１特徴マップにおいて隣接した第１画素と第２画素の間に第３画素を追加し、第１画素の値と第２画素の値とを補間した値を第３画素に使用することによって、第１特徴マップをｎ倍拡大してもよい。
　組合せ部（５００）は、２つの入力を別のチャンネルとして合併してもよい。
　組合せ部（５００）は、２つの入力を画素毎に四則演算して組み合わせる。
　本開示の別の態様は、処理方法である。この方法は、処理対象となる対象画像（７００）に対して第１ニューラルネットワークの処理を実行することによって、対象画像（７００）の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成するステップと、生成した第１特徴マップをｎ倍拡大するステップと、対象画像（７００）に対して第２ニューラルネットワークの処理を実行することによって、対象画像（７００）の（１／ｍ）倍のサイズとなる第２特徴マップ（７１６）を生成するステップと、ｎ倍拡大した第１特徴マップと、生成した第２特徴マップ（７１６）とを組み合わせるステップとを備える。第１ニューラルネットワークと第２ニューラルネットワークは全結合層を含まず、学習時において、第１ニューラルネットワークには第１学習用画像（６００）が入力され、学習時において、第２ニューラルネットワークには、第１学習用画像（６００）の一部であり、かつ第１学習用画像（６００）の（１／ｎ）倍のサイズとなる第２学習用画像（６１０）が入力され、学習時において、ｎ倍の拡大がなされずに、組合せがなされる。
　以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
　本実施例における処理装置１０００は、第１処理部１００のアベレージプーリング層１２４と、第２処理部３００のアベレージプーリング層３２４とを組合せ部５００に接続する。しかしながらこれに限らず例えば、第１処理部１００と第２処理部３００の別の構成が組合せ部５００に接続されてもよい。例えば、第１処理部１００のマックスプーリング層１１８と第２処理部３００のマックスプーリング層３１８とが組合せ部５００に接続されてもよい。その際、マックスプーリング層１１８は拡大部４００を介して組合せ部５００に接続される。本変形例によれば、構成の自由度を向上できる。
　本開示によれば、全結合層を含まないニューラルネットワークにおける画像認識の精度を向上できる。
　１０　処理装置、　２０　畳み込み層、　２２　バッチノーマライゼーション層、　２４，２６　デンスブロック、　２８　マックスプーリング層、　３０，３２　デンスブロック、　３４　アベレージプーリング層、　６２　畳み込み層、　６４　組合せ層、　６８　畳み込み層、　７２　バッチノーマライゼーション層、　１００　第１処理部、　１１０　バッチノーマライゼーション層、　１１２　畳み込み層、　１１４　デンスブロック、　１１８　マックスプーリング層、　１２０，１２２　デンスブロック、　１２４　アベレージプーリング層、　２００　抽出部、　３００　第２処理部、　３１０　バッチノーマライゼーション層、　３１２　畳み込み層、　３１４，３１６　デンスブロック、　３１８　マックスプーリング層、　３２０，３２２　デンスブロック、　３２４　アベレージプーリング層、　４００　拡大部、　５００　組合せ部、　５１０　畳み込み層、　１０００　処理装置。

Claims (7)

  1. 　処理対象となる対象画像に対して第１ニューラルネットワークの処理を実行することによって、前記対象画像の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成する第１処理部と、
    　前記第１処理部において生成した前記第１特徴マップをｎ倍拡大する拡大部と、
    　前記対象画像に対して第２ニューラルネットワークの処理を実行することによって、前記対象画像の（１／ｍ）倍のサイズとなる第２特徴マップを生成する第２処理部と、
    　前記拡大部においてｎ倍拡大した前記第１特徴マップと、前記第２処理部において生成した前記第２特徴マップとを組み合わせる組合せ部とを備え、
    　前記第１処理部の前記第１ニューラルネットワークと前記第２処理部の前記第２ニューラルネットワークは全結合層を含まず、
    　学習時において、前記第１処理部の前記第１ニューラルネットワークには第１学習用画像が入力され、
    　学習時において、前記第２処理部の前記第２ニューラルネットワークには、前記第１学習用画像の一部であり、かつ前記第１学習用画像の（１／ｎ）倍のサイズとなる第２学習用画像が入力され、
    　学習時において、前記組合せ部は、前記拡大部を介さずに前記第１処理部に接続されるとともに、前記第２処理部に接続される処理装置。
  2. 　前記第２学習用画像は、前記第１学習用画像の中心部分である請求項１に記載の処理装置。
  3. 　前記拡大部は、前記第１特徴マップに含まれる画素の値を、追加する画素に複製することによって、前記第１特徴マップをｎ倍拡大する請求項１または２に記載の処理装置。
  4. 　前記拡大部は、前記第１特徴マップにおいて隣接した第１画素と第２画素の間に第３画素を追加し、前記第１画素の値と前記第２画素の値とを補間した値を前記第３画素に使用することによって、前記第１特徴マップをｎ倍拡大する請求項１または２に記載の処理装置。
  5. 　前記組合せ部は、２つの入力を別のチャンネルとして合併する請求項１から４のいずれか１項に記載の処理装置。
  6. 　前記組合せ部は、２つの入力を画素毎に四則演算して組み合わせる請求項１から４のいずれか１項に記載の処理装置。
  7. 　処理対象となる対象画像に対して第１ニューラルネットワークの処理を実行することによって、前記対象画像の（１／ｍ）×（１／ｎ）倍のサイズとなる第１特徴マップを生成するステップと、
    　生成した前記第１特徴マップをｎ倍拡大するステップと、
    　前記対象画像に対して第２ニューラルネットワークの処理を実行することによって、前記対象画像の（１／ｍ）倍のサイズとなる第２特徴マップを生成するステップと、
    　ｎ倍拡大した前記第１特徴マップと、生成した前記第２特徴マップとを組み合わせるステップとを備え、
    　前記第１ニューラルネットワークと前記第２ニューラルネットワークは全結合層を含まず、
    　学習時において、前記第１ニューラルネットワークには第１学習用画像が入力され、
    　学習時において、前記第２ニューラルネットワークには、前記第１学習用画像の一部であり、かつ前記第１学習用画像の（１／ｎ）倍のサイズとなる第２学習用画像が入力され、
    　学習時において、ｎ倍の拡大がなされずに、組合せがなされる処理方法。
PCT/JP2021/024224 2020-10-08 2021-06-25 処理方法およびそれを利用した処理装置 WO2022074877A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21877181.4A EP4227892A4 (en) 2020-10-08 2021-06-25 TREATMENT METHOD AND TREATMENT DEVICE USING SAME
CN202180069293.7A CN116368517A (zh) 2020-10-08 2021-06-25 处理方法以及利用其的处理装置
US18/030,900 US20240119717A1 (en) 2020-10-08 2021-06-25 Processing method and processing device using same
JP2022555266A JP7462168B2 (ja) 2020-10-08 2021-06-25 処理方法およびそれを利用した処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-170751 2020-10-08
JP2020170751 2020-10-08

Publications (1)

Publication Number Publication Date
WO2022074877A1 true WO2022074877A1 (ja) 2022-04-14

Family

ID=81125793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024224 WO2022074877A1 (ja) 2020-10-08 2021-06-25 処理方法およびそれを利用した処理装置

Country Status (5)

Country Link
US (1) US20240119717A1 (ja)
EP (1) EP4227892A4 (ja)
JP (1) JP7462168B2 (ja)
CN (1) CN116368517A (ja)
WO (1) WO2022074877A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159419A1 (ja) 2018-02-16 2019-08-22 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
WO2019194044A1 (ja) * 2018-04-04 2019-10-10 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
WO2020064715A1 (en) * 2018-09-28 2020-04-02 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning using deep learning engines
WO2020183799A1 (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021015317A (ja) 2017-11-21 2021-02-12 富士フイルム株式会社 認識装置、認識方法及びプログラム
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
US10769744B2 (en) * 2018-10-31 2020-09-08 Kabushiki Kaisha Toshiba Computer vision system and method
CN111476793B (zh) 2020-03-10 2023-04-18 西北大学 动态增强磁共振成像处理方法、系统、存储介质、终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159419A1 (ja) 2018-02-16 2019-08-22 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
WO2019194044A1 (ja) * 2018-04-04 2019-10-10 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
WO2020064715A1 (en) * 2018-09-28 2020-04-02 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning using deep learning engines
WO2020183799A1 (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4227892A4

Also Published As

Publication number Publication date
US20240119717A1 (en) 2024-04-11
CN116368517A (zh) 2023-06-30
EP4227892A1 (en) 2023-08-16
JPWO2022074877A1 (ja) 2022-04-14
JP7462168B2 (ja) 2024-04-05
EP4227892A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
US11315235B2 (en) Processing method for performing process on image and processing device using the processing method
US8571353B2 (en) Apparatus and method for image processing
Liu et al. A new multi-focus image fusion algorithm and its efficient implementation
EP3067858B1 (en) Image noise reduction
EP3067863B1 (en) Image noise reduction
US8295645B2 (en) Image processing apparatus, image processing method, and computer program
JP6876940B2 (ja) 画像処理装置および画像処理方法
WO2022074878A1 (ja) 処理方法およびそれを利用した処理装置
CN109729261A (zh) 用于处理数据值的流的系统和方法
US20130142422A1 (en) Image processing method, and image processor
JP5600524B2 (ja) 画像処理装置、画像処理方法、プログラム、および記憶媒体
WO2022074877A1 (ja) 処理方法およびそれを利用した処理装置
CN110689061A (zh) 一种基于对齐特征金字塔网络的图像处理方法、装置及系统
JP2021028841A (ja) 処理方法およびそれを利用した処理装置
JP2009157449A (ja) 画像処理システム、画像処理方法および画像処理用プログラム
JP2001060002A (ja) マスクデータファイル作成方法及び装置並びに記録媒体
JP7210380B2 (ja) 画像学習プログラム、画像学習方法、及び画像認識装置
WO2022091478A1 (ja) 処理方法およびそれを利用した処理装置
JP5076758B2 (ja) 画像処理方法およびプログラム
WO2023238384A1 (ja) 試料観察装置および方法
JP3934353B2 (ja) 画像処理装置、記録媒体およびプログラム
WO2022133874A1 (zh) 图像处理方法及设备、计算机可读存储介质
JP4415104B2 (ja) 画像処理方法およびシステム、並びにプログラム
JP6902425B2 (ja) カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム
JP2006065613A (ja) 特定画像領域区画装置および方法，ならびに特定画像領域区画処理をコンピュータに実行させるプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877181

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555266

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021877181

Country of ref document: EP

Effective date: 20230508