WO2021181627A1 - 画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体 - Google Patents
画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2021181627A1 WO2021181627A1 PCT/JP2020/010908 JP2020010908W WO2021181627A1 WO 2021181627 A1 WO2021181627 A1 WO 2021181627A1 JP 2020010908 W JP2020010908 W JP 2020010908W WO 2021181627 A1 WO2021181627 A1 WO 2021181627A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature amount
- unit
- attention
- image
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Definitions
- the present disclosure relates to an image processing device, an image recognition system, an image processing method, and a non-temporary computer-readable medium.
- Patent Documents 1 and 2 disclose a method of recognizing a subject by using a feature amount map in which an unnecessary area is deleted from the intermediate feature amount map. Further, it is known in Non-Patent Document 1 that an attention mechanism is used to predict an attention weight according to the importance of each intermediate feature amount map, and each intermediate feature amount map is weighted by the attention weight. There is.
- the purpose of this disclosure is to improve related technology.
- the image processing apparatus performs a weighting operation on a pixel value for each of an intermediate acquisition unit that acquires a feature amount map showing the features of an image and the acquired feature amount map, and the weighted pixel value. From the preprocessing unit that calculates the statistical value of each of the feature amount maps and the statistical value of the pixel value corresponding to each of the feature amount maps, a caution weight indicating the importance for each of the feature amount maps is obtained. It includes a caution weight prediction unit for predicting, and a caution weighting unit for weighting each of the acquired feature map using the attention weight.
- the image recognition system performs a weighting operation on a pixel value for each of an intermediate acquisition unit that acquires a feature amount map showing the features of an image and the acquired feature amount map, and the weighted pixel value. From the preprocessing unit that calculates the statistical value of each of the feature amount maps and the statistical value of the pixel value corresponding to each of the feature amount maps, a caution weight indicating the importance for each of the feature amount maps is obtained.
- An image processing device having an attention weight prediction unit for prediction and an attention weighting unit for weighting each of the feature amount maps acquired by the intermediate acquisition unit using the attention weight, and a learned recognition.
- the model includes a recognition device that recognizes a subject included in the image by using information based on the weighted feature amount map.
- a step of acquiring a feature amount map showing the features of an image and a weighting operation on the pixel value for each of the acquired feature amount maps are performed, and the weighted statistics of the pixel value are performed.
- Each of the acquired feature amount maps is weighted by using the attention weights.
- the non-temporary computer-readable medium in one aspect of the present disclosure is weighted by performing an intermediate acquisition function for acquiring a feature amount map showing the features of an image and a weighting operation on the pixel value for each of the acquired feature amount maps. From the preprocessing function that calculates the statistical value of the pixel value for each of the feature amount maps and the statistical value of the pixel value corresponding to each of the feature amount maps, the importance for each of the feature amount maps is determined. An image processing program for realizing a computer with an attention weight prediction function for predicting the indicated attention weight and an attention weighting function for weighting each of the acquired feature map using the attention weight is stored. Has been done.
- FIG. It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 1.
- FIG. It is a schematic block diagram which shows an example of the image recognition system to which the image processing apparatus which concerns on Embodiment 2 can be applied. It is a figure which shows an example of the structure of the feature conversion part which concerns on Embodiment 2. It is a figure for demonstrating the process of the attention mechanism part which concerns on Embodiment 2.
- FIG. It is a block diagram which shows the structure of the attention mechanism part which concerns on Embodiment 2. It is a flowchart which shows the processing of the image recognition system which concerns on Embodiment 2. It is a flowchart which shows the attention mechanism processing of the attention mechanism part which concerns on Embodiment 2.
- FIG. It is a block diagram which shows the structure of the attention mechanism part which concerns on Embodiment 5. It is a flowchart which shows the attention mechanism processing of the attention mechanism part which concerns on Embodiment 5. It is the schematic block diagram of the computer which concerns on Embodiments 1-5.
- FIG. 1 is a block diagram showing the configuration of the image processing device 10 according to the first embodiment.
- the image processing device 10 includes an intermediate acquisition unit 100, a preprocessing unit 102, an attention weight prediction unit 104, and an attention weighting unit 106.
- the intermediate acquisition unit 100 acquires a feature amount map showing the features of the image.
- the preprocessing unit 102 performs a weighting operation on the pixel value for each of the acquired feature map, and calculates a statistical value of the weighted pixel value for each of the feature map.
- the attention weight prediction unit 104 predicts the attention weight indicating the importance for each of the feature map from the statistical values of the pixel values corresponding to each of the feature maps.
- the attention weighting unit 106 uses the attention weights to weight each of the feature maps acquired by the intermediate acquisition unit.
- Patent Document 1 has a problem that the calculation cost is high because the activation map for each class is generated in order to generate the feature amount map in which unnecessary areas are deleted.
- Patent Document 2 since a detailed feature amount for the region of interest is extracted, there is a problem that the influence of the region other than the region of interest is excessively excluded and the recognition accuracy is insufficient.
- the recognition accuracy There is a problem that is insufficient.
- the image processing device 10 performs a pixel value weighting operation for each of the feature map before predicting the attention weight. As a result, it is possible to generate a highly accurate feature map while preventing an increase in the calculation cost of the attention weight prediction process. As a result, the recognition accuracy can be improved while preventing an increase in the calculation cost of the subsequent recognition process.
- FIG. 2 is a schematic configuration diagram showing an example of an image recognition system 1 to which the image processing device 20 according to the second embodiment can be applied.
- FIG. 3 is a diagram showing an example of the configuration of the feature conversion unit 24 according to the second embodiment.
- the image recognition system 1 is a computer or the like that recognizes a subject included in the input image I.
- the subject is a person, a vehicle, an animal, or the like.
- the subject is the face of a person.
- the image recognition system 1 includes an image processing device 20, a recognition device 5, and a learning device 6.
- the image processing device 20 is a computer or the like that generates a feature amount vector V from the input image I and outputs the feature amount vector V to the recognition device 5.
- the feature quantity vector V is a vector representation of the features of each region of the input image I.
- the image processing device 20 includes an image acquisition unit 22, a normalization unit 23, and a feature conversion unit 24.
- the image acquisition unit 22 acquires the input image I.
- the image acquisition unit 22 outputs the acquired input image I to the normalization unit 23.
- the normalization unit 23 generates a normalized image in which the subject is normalized based on the position of the subject included in the input image I.
- the normalized image may include a peripheral area other than the subject.
- the normalization unit 23 outputs the normalized image to the convolution calculation unit 25 of the feature conversion unit 24.
- the feature conversion unit 24 generates a feature map M that extracts the features of the input image I from the normalized image, and generates a feature vector V based on the feature map M.
- each feature map M determines the strength of reaction (that is, feature amount) to the kernel (filter) used in the feature conversion process including the convolution calculation process and the attention mechanism process, which will be described later, for each region of the input image I. It is a matrix to represent. That is, each feature amount map M shows the features of the input image I.
- the feature conversion unit 24 outputs the generated feature amount vector V to the recognition device 5.
- the feature conversion unit 24 has a function of a convolutional layer or a fully connected layer included in a neural network such as a convolutional neural network learned by machine learning such as deep learning.
- the feature conversion unit 24 includes a convolution calculation unit 25 and a caution mechanism unit 26.
- the convolution calculation unit 25 extracts the features of the input image I by performing the convolution calculation on the input image I using the learned parameters, and generates one or a plurality of feature amount maps M.
- the convolution operation may include a pooling operation.
- the convolution calculation unit 25 outputs the generated feature map M to the attention mechanism unit 26.
- the attention mechanism unit 26 uses the attention mechanism algorithm to generate a feature amount map M weighted with the corresponding attention weights for each of the feature amount maps M output from the convolution calculation unit 25.
- the attention mechanism algorithm is an algorithm that calculates attention weights for each of a plurality of feature map Ms and weights each of the feature map Ms with corresponding attention weights.
- the attention weight is a weight indicating the importance of each of the feature map M output from the convolution calculation unit 25.
- This caution weight is a macroscopic weight that selects or weights the feature map M according to the importance of the feature map M, and is the weight of each pixel of the kernel used in the convolution operation. It's different.
- the attention mechanism unit 26 outputs the weighted feature amount map M to the subsequent elements.
- the feature conversion unit 24 has a configuration in which a plurality of sets of the convolution calculation unit 25 and the attention mechanism unit 26 are connected in series. Therefore, the attention mechanism unit 26 at the end converts the weighted feature amount map M into the feature amount vector V, and outputs the feature amount vector V to the recognition device 5.
- the attention mechanism unit 26 other than the terminal outputs the weighted feature amount map M to the subsequent convolution calculation unit 25.
- the convolution calculation unit 25 and the attention mechanism unit 26 may be connected regularly and repeatedly, and are irregularly connected as in the convolution calculation unit 25 ⁇ attention mechanism unit 26 ⁇ convolution calculation unit 25 ⁇ convolution calculation unit 25 ⁇ ... May be connected. However, the feature conversion unit 24 may have only one set of the convolution calculation unit 25 and the attention mechanism unit 26.
- the recognition device 5 is a computer or the like that recognizes a subject included in an image by using information based on a weighted feature map by a learned recognition model.
- the recognition device 5 performs one or more of a process of detecting a subject included in the input image I, a process of identifying, a process of tracking, a process of classifying, and any other recognition process, and outputs an output value O. do.
- the recognition device 5 also has a function such as a fully connected layer included in a neural network such as a convolutional neural network learned by machine learning such as deep learning.
- the learning device 6 is connected to the convolution calculation unit 25 and the attention mechanism unit 26 of the feature conversion unit 24 of the image processing device 20, and the recognition device 5, and updates various parameters used for processing these elements or devices by learning. And it is a computer etc. that optimizes.
- the learning device 6 inputs the learning data to the first convolution calculation unit 25 of the feature conversion unit 24, and updates various parameters based on the difference between the output value O output from the recognition device 5 and the correct label. I do. Then, the learning device 6 outputs various optimized parameters to the convolution calculation unit 25, the attention mechanism unit 26, and the recognition device 5.
- the learning device 6 includes a learning database (not shown) that stores learning data.
- the present invention is not limited to this, and the learning database may be included in another device (not shown) or the like that is communicably connected to the learning device 6.
- the image processing device 20, the recognition device 5, and the learning device 6 may be composed of a plurality of computers or the like, or may be composed of a single computer or the like. When composed of a plurality of computers or the like, each device may be communicably connected through various networks such as the Internet, a wide area network (WAN), and a local area network (LAN).
- networks such as the Internet, a wide area network (WAN), and a local area network (LAN).
- FIG. 4 is a diagram for explaining an outline of the processing of the attention mechanism unit 26 according to the second embodiment.
- the attention mechanism unit 26 acquires a plurality of feature amount maps M (M0) from the convolution calculation unit 25.
- Each feature map M0 is an H ⁇ W matrix, and a plurality of feature maps M0 are represented by a C ⁇ H ⁇ W third-order tensor (C, H, and W are natural numbers).
- C, H, and W are natural numbers.
- H indicates the number of pixels in the vertical direction of each feature amount map M
- W indicates the number of pixels in the horizontal direction of each feature amount map M.
- C indicates the number of channels.
- the attention mechanism unit 26 generates a plurality of feature map M1 from the plurality of feature maps M0 using the extraction filter F.
- the plurality of feature maps M1 may be represented by a C ⁇ H ⁇ W third-order tensor.
- the extraction filter F is a filter that extracts an extraction target area in the feature map M0.
- the extraction target area is a pixel area corresponding to the area of interest included in the input image I or the normalized image.
- the region of interest may be a subject included in the normalized image or a part of the subject. Further, the region of interest may be a partial region of the subject included in the normalized image.
- the region of interest may be a partial region such as eyes, nose, or mouth.
- the extraction filter F may be a filter that removes a pixel region other than the extraction target region.
- the extraction filter F may be a filter that removes a pixel region corresponding to a region other than the subject such as a background included in the normalized image.
- the extraction filter F may have a scale equal to the feature map M0 of one channel. That is, the extraction filter F may be an H ⁇ W matrix.
- the attention mechanism unit 26 generates a feature amount vector V1 whose component is a value corresponding to each of the plurality of feature amount maps M1.
- the number of dimensions of the feature vector V1 is C.
- the attention mechanism unit 26 calculates the attention weight corresponding to each component of the feature amount vector V1 using the fully connected layer FC, and generates the feature amount vector V2 having the attention weight as a component.
- the number of dimensions of the feature vector V2 is C.
- the attention mechanism unit 26 weights each of the plurality of feature amount maps M0 using the corresponding attention weights, and generates a plurality of feature amount maps M2.
- the plurality of feature maps M2 may be represented by a C ⁇ H ⁇ W third-order tensor.
- FIG. 5 is a block diagram showing the configuration of the attention mechanism unit 26 according to the second embodiment.
- the attention mechanism unit 26 includes an intermediate acquisition unit 200, a preprocessing unit 202, an attention weight prediction unit 204, an attention weighting unit 206, and an intermediate output unit 208.
- the intermediate acquisition unit 200 acquires a plurality of feature map M0s output from the convolution calculation unit 25.
- the intermediate acquisition unit 200 outputs the acquired plurality of feature amount maps M0 to the preprocessing unit 202.
- the preprocessing unit 202 performs a weighting operation on the pixel value for each of the acquired plurality of feature map M0s, and generates a plurality of feature maps M1.
- the preprocessing unit 202 performs the above weighting operation using the extraction filter F.
- the preprocessing unit 202 calculates the statistical value of the weighted pixel value for each of the plurality of feature amount maps M1 and generates the feature amount vector V1.
- the statistical value may be an average value, a median value, a mode value, or the like.
- the preprocessing unit 202 outputs the feature amount vector V1 to the attention weight prediction unit 204.
- the attention weight prediction unit 204 predicts the attention weight indicating the importance of each of the plurality of feature maps M1 from the statistical values of the pixel values corresponding to each of the plurality of feature maps M1, and generates the feature vector V2. do.
- the statistical value of the pixel value corresponding to each of the plurality of feature amount maps M1 is also the statistical value of the pixel value corresponding to each of the plurality of feature amount maps M0.
- the attention weight indicating the importance of each of the plurality of feature maps M1 also indicates the importance of each of the plurality of feature maps M0.
- Attention weight prediction unit 204 uses an attention weight prediction model that predicts attention weight.
- the attention weight prediction model has a fully connected layer FC that includes attention weight prediction parameters.
- the attention weight prediction parameter is a parameter optimized by the learning device 6 and output from the learning device 6.
- the attention weight prediction unit 204 outputs the feature amount vector V2 to the attention weighting unit 206.
- the attention weighting unit 206 uses the attention weights included in the feature amount vector V2 to weight each of the plurality of feature amount maps M0 acquired by the intermediate acquisition unit 200. Then, the attention weighting unit 206 generates a plurality of weighted feature amount maps M2, and outputs the plurality of feature amount maps M2 to the intermediate output unit 208.
- the intermediate output unit 208 outputs a plurality of feature map M2s to subsequent elements.
- FIG. 6 is a flowchart showing the processing of the image recognition system 1 according to the second embodiment.
- the image acquisition unit 22 of the image processing device 20 acquires the input image I.
- the image acquisition unit 22 outputs the acquired input image I to the normalization unit 23.
- the normalization unit 23 detects the position of the subject included in the input image I, and generates a normalized image in which the subject is normalized based on the detected position.
- the normalization unit 23 detects the position of the face of the person who is the subject in the input image I, and calculates the number of pixels corresponding to the vertical and horizontal lengths of the detected face. Then, the normalization unit 23 normalizes the face in the image based on the number of vertical and horizontal pixels of the image and the number of vertical and horizontal pixels of the face.
- the normalization unit 23 may detect a representative position of the subject and use an image cut out by a predetermined range based on the representative position of the subject as a normalized image.
- the normalization unit 23 outputs the normalized image to the first convolution calculation unit 25 of the feature conversion unit 24.
- the convolution calculation unit 25 acquires the parameters of the convolution calculation from the learning device 6, and performs the convolution calculation on the normalized image using the parameters. As a result, the convolution calculation unit 25 generates a plurality of feature maps M0. The convolution calculation unit 25 outputs a plurality of feature amount maps M0 to the attention mechanism unit 26.
- the attention mechanism unit 26 performs the attention mechanism processing and generates a plurality of feature map M2. The details of the attention mechanism processing will be described later.
- the attention mechanism unit 26 determines whether or not to end the convolution operation shown in S12 and the attention mechanism process shown in S13.
- the attention mechanism unit 26 ends (Yes in S14)
- the attention mechanism unit 26 outputs a plurality of feature amount maps M2 to the recognition device 5 and proceeds to the process in S15. If the attention mechanism unit 26 does not end (No in S14), the plurality of feature amount maps M2 are output to the subsequent convolution calculation unit 25, and the process is returned to S12.
- the convolution calculation unit 25 performs a convolution calculation on a plurality of feature map M2s output from the attention mechanism unit 26 instead of the normalized image.
- the recognition device 5 performs a predetermined recognition process using information based on a plurality of feature amount maps M2. Then, the recognition device 5 ends the process.
- FIG. 7 is a flowchart showing the attention mechanism processing of the attention mechanism unit 26 according to the second embodiment.
- the intermediate acquisition unit 200 of the attention mechanism unit 26 acquires a plurality of feature amount maps M0 output from the convolution calculation unit 25.
- the intermediate acquisition unit 200 outputs the acquired plurality of feature amount maps M0 to the preprocessing unit 202 and the attention weighting unit 206.
- the intermediate acquisition unit 200 acquires the extraction filter F and outputs it to the preprocessing unit 202. Specifically, the intermediate acquisition unit 200 acquires the filter weight, which is the pixel value of the pixel included in the extraction filter F, for all the pixels included in the extraction filter F, and outputs the filter weight to the preprocessing unit 202. Further, the intermediate acquisition unit 200 acquires the attention weight prediction parameter of the attention weight prediction model from the learning device 6, and outputs the attention weight prediction parameter to the attention weight prediction unit 204.
- the preprocessing unit 202 applies the extraction filter F to each of the plurality of feature amount maps M0, and performs a weighting operation on the pixel values of the pixels included in each of the plurality of feature amount maps M0. do. That is, the preprocessing unit 202 multiplies the pixel value of each pixel position included in each of the plurality of feature amount maps M0 by the pixel value of the pixel position included in the extraction filter F and corresponding to the pixel position. As a result, the preprocessing unit 202 generates a plurality of feature amount maps M1.
- the preprocessing unit 202 calculates statistical values for all the pixel values included in the feature amount map M1 for each of the plurality of feature amount maps M1.
- the preprocessing unit 202 generates a feature vector V1 whose component is a statistical value corresponding to each of the feature maps M1.
- the preprocessing unit 202 outputs the feature amount vector V1 to the attention weight prediction unit 204.
- the attention weight prediction unit 204 predicts the attention weight for each feature map M1 from the feature vector V1 by using the attention weight prediction model including the attention weight prediction parameter.
- the attention weight prediction unit 204 generates a feature amount vector V2 having each attention weight as a component, and outputs the feature amount vector V2 to the attention weighting unit 206.
- the attention weighting unit 206 weights each of the feature map M0 output from the intermediate acquisition unit 200 with the corresponding component (attention weight) of the feature vector V2. Then, the attention weighting unit 206 generates a plurality of feature amount maps M2, and outputs the plurality of feature amount maps M2 to the intermediate output unit 208.
- the intermediate output unit 208 outputs the feature map M2 to the subsequent elements.
- the intermediate output unit 208 converts the feature amount map M2 into a vector and generates the feature amount vector V. Then, the intermediate output unit 208 outputs the feature amount vector V to the recognition device 5.
- the attention mechanism unit 26 of the image processing device 20 performs a pixel value weighting calculation for each of the plurality of feature map M0s before predicting the attention weights using the attention mechanism algorithm. conduct. Therefore, it is possible to reduce the influence of unnecessary information on the prediction of attention weights. As a result, it is possible to generate a highly accurate feature map M2 while preventing an increase in the calculation cost of the attention weight prediction process. As a result, the recognition accuracy can be improved while preventing an increase in the calculation cost of the subsequent recognition process.
- the attention mechanism unit 26 uses an extraction filter F for extracting the extraction target area corresponding to the area of interest in the pixel value weighting operation. Therefore, the attention mechanism unit 26 can generate the feature amount map M2 with the accuracy according to the purpose by using the extraction filter F according to the purpose, and can obtain the recognition accuracy according to the purpose.
- the attention mechanism unit 26 weights the feature map M0 before the extraction filter F is applied with the attention weight, it is possible to prevent the influence of the region other than the region of interest from being excessively excluded. ..
- the preprocessing unit 202 applies the same extraction filter F to each of the plurality of feature amount maps M0.
- the preprocessing unit 202 has a plurality of different extraction filters F according to the types of the acquired plurality of feature amount maps M0, and corresponds to each of the acquired plurality of feature amount maps.
- the weighting operation may be performed using the extraction filter F to be used.
- the preprocessing unit 202 uses a normalized image for the feature map M0 in which the convolution calculation is performed so that the features of the nose of the face are extracted by the convolution calculation unit 25.
- An extraction filter F having the nose region of interest as the region of interest may be applied.
- the pixel position of the region of interest in the normalized image may be predetermined according to the type of region of interest (for example, eyes, nose, mouth, etc.). Then, the pixel position of the extraction target region in the feature amount map M0 may be calculated in advance based on the pixel position of the region of interest.
- the type of region of interest for example, eyes, nose, mouth, etc.
- the preprocessing unit 202 can select and apply a preferable extraction filter F according to the characteristics extracted by the convolution calculation unit 25 to each of the feature amount maps M0. Therefore, the attention mechanism unit 26 can calculate the attention weight more efficiently and with high accuracy.
- the preprocessing unit 202 may perform the weighting operation and the calculation of the statistical value of the pixel value in parallel without generating the feature amount map M1. Further, the preprocessing unit 202 may perform a predetermined weighting such as a weighting average for each of the feature amount maps M0 without using the extraction filter F.
- FIG. 8 is a flowchart showing the learning process of the learning device 6 according to the second embodiment. The same steps as those shown in FIG. 6 are designated by the same symbols and the description thereof will be omitted.
- the learning device 6 acquires a large amount of learning data from the learning database (not shown).
- the training data may be a data set including an image and a correct label indicating the classification of the subject of the image.
- the image of the training data may be a normalized image that has been normalized in advance.
- the training data may be classified into training data and test data.
- the learning device 6 inputs the image included in the learning data to the first convolution calculation unit 25 of the feature conversion unit 24 of the image processing device 20, and proceeds to the process in S12.
- the learning device 6 calculates an error between the output value O and the correct label of the learning data according to the recognition process performed by the recognition device 5 in S15.
- the learning device 6 determines whether or not to end learning. In the second embodiment, the learning device 6 may determine whether or not to end learning by determining whether or not the number of updates has reached a preset number of times. Further, the learning device 6 may determine whether or not to end learning by determining whether or not the error is less than a predetermined threshold value.
- the process proceeds to S37, and if not (No in S35), the process proceeds to S36.
- the learning device 6 updates various parameters used in the convolution calculation of the convolution calculation unit 25, the attention weight prediction model of the attention mechanism unit 26, and the recognition model of the recognition device 5 based on the calculated error.
- the learning device 6 may update various parameters by using the backpropagation method as an example. Then, the learning device 6 returns the process to S12.
- the learning device 6 determines various parameters. Then, the learning device 6 ends the process.
- the learning device 6 optimizes the parameters of the convolution operation, the parameters of the attention weight prediction model, and the parameters of the recognition model by machine learning.
- the image recognition system 1 when the image recognition system 1 is a system that authenticates a subject by biometric authentication, the image recognition system 1 may include a feature amount database that stores the feature amounts of the subject.
- the feature amount database may be connected to the image processing device 20 and the recognition device 5.
- the intermediate output unit 208 replaces S26 shown in FIG. 7 with the feature amount.
- the vector V may be stored in the feature database instead of the recognition device 5.
- S15 and 16 shown in FIG. 6 may be omitted.
- the third embodiment is characterized in that the extraction filter F weights the extraction target region corresponding to the region of interest according to the degree of attention of the region of interest.
- the degree of attention indicates the degree of attention for the area of interest. Since the image recognition system 1 according to the third embodiment has basically the same configuration and functions as the image recognition system 1 according to the second embodiment, the differences will be described below.
- 9A to 9C are diagrams showing an example of the extraction filter F according to the third embodiment.
- the extraction filter F has a large value for the extraction target area corresponding to the attention area of the subject (here, the face) having a high degree of attention among the pixels included in the feature map M0. It may be weighted by a filter weight. On the other hand, the extraction filter F may weight the extraction target area corresponding to the area of interest of the other subject with a filter weight of a small value. The extraction filter F may remove a pixel region corresponding to a background other than the subject. Note that FIGS. 9A, B and C show an example in which the areas of interest with high attention are the eyes, nose and mouth, respectively.
- the attention mechanism unit 26 can generate the feature amount map M2 with the accuracy according to the purpose by using the extraction filter F according to the purpose. Therefore, the recognition accuracy of the subsequent recognition device 5 is improved. Since the attention mechanism unit 26 can be weighted with a filter weight according to the degree of attention of each pixel of the feature map M0, it is possible to prevent the influence of the region other than the region of interest from being excessively excluded.
- the attention area is an area that can be specified by the user in advance, but the attention area specified by the user may not be the optimum area in the recognition process.
- FIG. 10 is a diagram showing an example of the extraction filter F according to the fourth embodiment.
- the solid line inside the extraction filter F shown in this figure indicates the contour line of the filter weight. As shown in this figure, the contour lines have a complicated shape.
- the fourth embodiment is characterized in that the filter weight, which is the pixel value of the pixel included in the extraction filter F, is the filter weight learned by machine learning as a parameter.
- this parameter is called a filter weight parameter. Since the image recognition system 1 according to the fourth embodiment has basically the same configuration and functions as the image recognition system 1 according to the second to third embodiments, the differences will be described below.
- the intermediate acquisition unit 200 acquires the extraction filter F from the learning device 6 and outputs it to the preprocessing unit 202. At this time, the intermediate acquisition unit 200 acquires the learned filter weight parameters of the extraction filter F from the learning device 6 for all the pixels included in the extraction filter F, and outputs them to the preprocessing unit 202. Further, the intermediate acquisition unit 200 acquires the attention weight prediction parameter of the attention weight prediction model from the learning device 6, and outputs the attention weight prediction parameter to the attention weight prediction unit 204.
- the learning device 6 updates the filter weight parameter in addition to the various parameters used in the convolution calculation, the attention weight prediction model, and the recognition model based on the calculated error.
- the learning device 6 may update these parameters using the backpropagation method as an example. Then, the learning device 6 returns the process to S12.
- the learning device 6 determines the filter weight parameter in addition to the various parameters used in the convolution calculation, the attention weight prediction model, and the recognition model. Then, the learning device 6 ends the process.
- each of the plurality of pixels of the extraction filter F includes a trained filter weight optimized by machine learning.
- the attention mechanism unit 26 can generate a highly accurate feature map M2 by using such an extraction filter F. Therefore, the recognition accuracy of the subsequent recognition device 5 is improved.
- the fifth embodiment of the present disclosure will be described with reference to FIGS. 11 to 12. Since the region of interest differs depending on the input image I or the normalized image, it is preferable that the extraction filter F is generated according to the input image I or the normalized image.
- the fifth embodiment is characterized in that different pixel values, that is, weights are assigned to each pixel of the extraction filter F according to the input image I.
- FIG. 11 is a block diagram showing the configuration of the attention mechanism unit 36 according to the fifth embodiment.
- the attention mechanism unit 36 is a computer or the like having basically the same configuration and function as the attention mechanism unit 26 of the second to third embodiments.
- the attention mechanism unit 36 is different from the attention mechanism unit 26 in that the pretreatment unit 302 is provided instead of the pretreatment unit 202.
- the pre-processing unit 302 has a filter generation unit 303 in addition to the configuration and functions of the pre-processing unit 202.
- the filter generation unit 303 generates the extraction filter F by using the trained attention area prediction model that predicts the extraction target area corresponding to the attention area according to the input image I or the normalized image.
- the region of interest prediction model may include a convolution layer, a fully connected layer, and the like including the region of interest prediction parameters.
- the preprocessing unit 302 uses the generated extraction filter F to perform a weighting operation on each of the plurality of feature map M0s.
- FIG. 12 is a flowchart showing the attention mechanism processing of the attention mechanism unit 36 according to the fifth embodiment.
- the step shown in FIG. 12 has S40-44 in place of S21 shown in FIG.
- the same steps as those shown in FIG. 7 are designated by the same symbols and the description thereof will be omitted.
- the intermediate acquisition unit 200 acquires the attention area prediction parameter of the attention area prediction model and the attention weight prediction parameter of the attention weight prediction model from the learning device 6.
- the intermediate acquisition unit 200 outputs the attention area prediction parameter to the filter generation unit 303, and outputs the attention weight prediction parameter to the attention weight prediction unit 204.
- the filter generation unit 303 inputs the feature amount map M0 into the feature amount map M0 including the acquired attention area prediction parameter, and predicts the extraction target area corresponding to the feature amount map M0. At this time, the filter generation unit 303 may also predict the weight of the extraction target region corresponding to the region of interest, that is, the pixel value corresponding to the extraction target region in the extraction filter F. In S44, the filter generation unit 303 generates an extraction filter F in which each pixel is weighted according to the degree of attention based on the prediction result.
- the preprocessing unit 302 performs a weighting operation using the generated extraction filter F.
- the attention mechanism unit 36 since the attention mechanism unit 36 generates the extraction filter F according to the input image I or the normalized image in the attention mechanism processing, the extraction accuracy of the extraction target region corresponding to the region of interest is improved. do. As a result, the attention mechanism unit 36 can predict the attention weight with higher accuracy and generate the feature amount map M2 with higher accuracy.
- the computer is composed of a computer system including a personal computer, a word processor, and the like.
- the computer may be composed of a LAN (local area network) server, a computer (personal computer) communication host, a computer system connected to the Internet, and the like. It is also possible to distribute the functions to each device on the network and configure the computer in the entire network.
- FIG. 13 is an example of a schematic configuration diagram of the computer 1900 according to the first to fifth embodiments.
- the computer 1900 includes a control unit 1000 for controlling the entire system.
- An input device 1050, a storage device 1200, a storage medium drive device 1300, a communication control device 1400, and an input / output I / F 1500 are connected to the control unit 1000 via a bus line such as a data bus.
- the control unit 1000 includes a processor 1010, a ROM 1020, and a RAM 1030.
- the processor 1010 performs various information processing and control according to a program stored in various storage units such as the ROM 1020 and the storage device 1200.
- the ROM 1020 is a read-only memory in which various programs and data for the processor 1010 to perform various controls and calculations are stored in advance.
- the RAM 1030 is a random access memory used as a working memory by the processor 1010. In the RAM 1030, various areas for performing various processes according to the first to fifth embodiments can be secured.
- the input device 1050 is an input device that accepts input from users such as a keyboard, mouse, and touch panel.
- the keyboard is provided with various keys such as a numeric keypad, function keys for executing various functions, and cursor keys.
- the mouse is a pointing device, and is an input device that specifies a corresponding function by clicking a key, an icon, or the like displayed on the display device 1100.
- the touch panel is an input device arranged on the surface of the display device 1100. It identifies a user's touch position corresponding to various operation keys displayed on the screen of the display device 1100, and an operation displayed corresponding to the touch position. Accepts key input.
- the display device 1100 for example, a CRT, a liquid crystal display, or the like is used.
- the display device displays the input result by the keyboard and the mouse, and displays the finally searched image information. Further, the display device 1100 displays an image of operation keys for performing various necessary operations from the touch panel according to various functions of the computer 1900.
- the storage device 1200 includes a readable and writable storage medium and a drive device for reading and writing various information such as programs and data to and from the storage medium.
- a hard disk or the like is mainly used as the storage medium used in the storage device 1200, but a non-temporary computer-readable medium used in the storage medium drive device 1300 described later may be used.
- the storage device 1200 has a data storage unit 1210, a program storage unit 1220, and other storage units (for example, a storage unit for backing up programs and data stored in the storage device 1200) and the like (for example, a storage unit for backing up programs and data stored in the storage device 1200). ing.
- the program storage unit 1220 stores programs for realizing various processes according to the first to fifth embodiments.
- the data storage unit 1210 stores various data of various databases according to the first to fifth embodiments.
- the storage medium drive device 1300 is a drive device for the processor 1010 to read data including computer programs and documents from an external storage medium (external storage medium).
- the external storage medium means a non-temporary computer-readable medium in which computer programs, data, and the like are stored.
- Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs.
- the various programs may also be supplied to the computer by various types of transient computer readable medium.
- Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
- various programs can be supplied to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path and a storage medium driving device 1300.
- the processor 1010 of the control unit 1000 reads various programs from the external storage medium set in the storage medium driving device 1300 and stores them in each unit of the storage device 1200.
- the computer 1900 executes various processes, the corresponding program is read from the storage device 1200 into the RAM 1030 and executed.
- the computer 1900 can also read and execute the program directly from the external storage medium into the RAM 1030 by the storage medium driving device 1300 instead of from the storage device 1200.
- various programs and the like may be stored in the ROM 1020 in advance, and the processor 1010 may execute the programs.
- the computer 1900 may download various programs and data from another storage medium via the communication control device 1400 and execute the programs and data.
- the communication control device 1400 is a control device for connecting the computer 1900 to various external electronic devices such as other personal computers and word processors via a network.
- the communication control device 1400 makes it possible to access the computer 1900 from these various external electronic devices.
- the input / output I / F 1500 is an interface for connecting various input / output devices via a parallel port, a serial port, a keyboard port, a mouse port, and the like.
- processor 1010 a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (digital signal processor), an ASIC (application specific integrated circuit), or the like may be used.
- CPU Central Processing Unit
- GPU Graphics Processing Unit
- FPGA field-programmable gate array
- DSP digital signal processor
- ASIC application specific integrated circuit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
画像処理装置(10)は、画像の特徴を示す特徴量マップを取得する中間取得部(100)と、取得した特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた画素値の統計値を特徴量マップの各々について算出する前処理部(102)と、特徴量マップの各々に対応する画素値の統計値から、特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測部(104)と、注意重みを用いて、取得した特徴量マップの各々に対して重み付けを行う注意重み付け部(106)と、を備える。
Description
本開示は、画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体に関する。
畳み込みニューラルネットワーク(CNN)を用いて、対象画像の特徴を抽出した特徴量マップを生成し、特徴量マップから被写体を認識する画像認識システムが知られている。特許文献1および2には、中間特徴量マップから不要領域を削除した特徴量マップを用いて被写体を認識する方法が開示されている。また非特許文献1には、注意機構を用いて、各中間特徴量マップの重要度に応じた注意重みを予測し、各中間特徴量マップに対して注意重みで重み付けをすることが知られている。
J. Hu, L. Shen, S. Albanie, G. Sun, E. Wu, "Squeeze-and-Excitation Networks", Computer Vision and Pattern Recognition, 2017年9月5日提出
本開示の目的は、関連する技術を改善することにある。
本開示の一態様における画像処理装置は、画像の特徴を示す特徴量マップを取得する中間取得部と、取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する前処理部と、前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測部と、前記注意重みを用いて、取得した前記特徴量マップの各々に対して重み付けを行う注意重み付け部と、を備える。
本開示の一態様における画像認識システムは、画像の特徴を示す特徴量マップを取得する中間取得部と、取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する前処理部と、前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測部と、前記注意重みを用いて、前記中間取得部が取得した前記特徴量マップの各々に対して重み付けを行う注意重み付け部と、を有する画像処理装置と、学習済の認識モデルにより、重み付けられた前記特徴量マップに基づく情報を用いて、前記画像に含まれる被写体を認識する認識装置と、を備える。
本開示の一態様における画像処理方法は、画像の特徴を示す特徴量マップを取得する段階と、取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する段階と、前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する段階と、前記注意重みを用いて、取得した前記特徴量マップの各々に対して重み付けを行う段階と、を備える。
本開示の一態様における非一時的なコンピュータ可読媒体は、画像の特徴を示す特徴量マップを取得する中間取得機能と、取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する前処理機能と、前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測機能と、前記注意重みを用いて、取得した前記特徴量マップの各々に対して重み付けを行う注意重み付け機能と、をコンピュータに実現させるための画像処理プログラムが格納されている。
(実施形態1)
以下、図面を参照して本開示の実施形態1について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
以下、図面を参照して本開示の実施形態1について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
図1は、実施形態1にかかる画像処理装置10の構成を示すブロック図である。画像処理装置10は、中間取得部100と、前処理部102と、注意重み予測部104と、注意重み付け部106とを備える。
中間取得部100は、画像の特徴を示す特徴量マップを取得する。
前処理部102は、取得した特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた画素値の統計値を特徴量マップの各々について算出する。
注意重み予測部104は、特徴量マップの各々に対応する画素値の統計値から、特徴量マップの各々に対する重要度を示す注意重みを予測する。
注意重み付け部106は、注意重みを用いて、中間取得部が取得した特徴量マップの各々に対して重み付けを行う。
前処理部102は、取得した特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた画素値の統計値を特徴量マップの各々について算出する。
注意重み予測部104は、特徴量マップの各々に対応する画素値の統計値から、特徴量マップの各々に対する重要度を示す注意重みを予測する。
注意重み付け部106は、注意重みを用いて、中間取得部が取得した特徴量マップの各々に対して重み付けを行う。
上述の特許文献1に記載の方法では、不要領域を削除した特徴量マップを生成するためにクラス毎の活性化マップを生成するため、計算コストが高いという問題がある。
上述の特許文献2に記載の方法では、注目領域に対する詳細な特徴量を抽出するため、注目領域以外の領域の影響を過度に排除してしまい、認識精度が不十分であるという問題がある。
また上述の非特許文献1に記載の方法では、注意重みを予測する場合に、認識の際に考慮されるべき領域の特徴と背景等の不要領域を含む特徴とを同等に扱うため、認識精度が不十分であるという問題がある。
上述の特許文献2に記載の方法では、注目領域に対する詳細な特徴量を抽出するため、注目領域以外の領域の影響を過度に排除してしまい、認識精度が不十分であるという問題がある。
また上述の非特許文献1に記載の方法では、注意重みを予測する場合に、認識の際に考慮されるべき領域の特徴と背景等の不要領域を含む特徴とを同等に扱うため、認識精度が不十分であるという問題がある。
しかし実施形態1の構成によれば、画像処理装置10は、注意重みを予測する前に、特徴量マップの各々について画素値の重み付け演算を行う。これにより注意重み予測処理の計算コストの増大を防ぎつつ、精度の高い特徴量マップを生成することができる。そしてこれにより、後続の認識処理の計算コストの増大を防ぎつつ、認識精度を向上させることができる。
(実施形態2)
次に図2~9を用いて、本開示の実施形態2について説明する。図2は、実施形態2にかかる画像処理装置20が適用されることができる画像認識システム1の一例を示す概略構成図である。また図3は、実施形態2にかかる特徴変換部24の構成の一例を示す図である。
次に図2~9を用いて、本開示の実施形態2について説明する。図2は、実施形態2にかかる画像処理装置20が適用されることができる画像認識システム1の一例を示す概略構成図である。また図3は、実施形態2にかかる特徴変換部24の構成の一例を示す図である。
画像認識システム1は、入力画像Iに含まれる被写体を認識するコンピュータ等である。一例として被写体は、人物、車両または動物等である。本実施形態2で被写体は、人物の顔である。図2に示すように、画像認識システム1は、画像処理装置20と、認識装置5と、学習装置6とを備える。
画像処理装置20は、入力画像Iから特徴量ベクトルVを生成し、特徴量ベクトルVを認識装置5に出力するコンピュータ等である。特徴量ベクトルVは、入力画像Iの領域ごとの特徴をベクトルで表現したものである。画像処理装置20は、画像取得部22と、正規化部23と、特徴変換部24とを有する。
画像取得部22は、入力画像Iを取得する。画像取得部22は、取得した入力画像Iを正規化部23に出力する。
正規化部23は、入力画像Iに含まれる被写体の位置に基づいて被写体を正規化した正規化画像を生成する。正規化画像は、被写体以外の周辺領域を含んでもよい。正規化部23は、正規化画像を特徴変換部24の畳み込み演算部25に出力する。
正規化部23は、入力画像Iに含まれる被写体の位置に基づいて被写体を正規化した正規化画像を生成する。正規化画像は、被写体以外の周辺領域を含んでもよい。正規化部23は、正規化画像を特徴変換部24の畳み込み演算部25に出力する。
特徴変換部24は、正規化画像から入力画像Iの特徴を抽出した特徴量マップMを生成し、特徴量マップMに基づいて特徴量ベクトルVを生成する。ここで各特徴量マップMは、入力画像Iの領域ごとの、後述する畳み込み演算処理および注意機構処理を含む特徴変換処理において用いられるカーネル(フィルタ)に対する反応の強さ(すなわち、特徴量)を表す行列である。すなわち各特徴量マップMは、入力画像Iの特徴を示す。特徴変換部24は、生成した特徴量ベクトルVを認識装置5に出力する。
ここで特徴変換部24は、深層学習等の機械学習により学習された畳み込みニューラルネットワーク等のニューラルネットワークに含まれる畳み込み層または全結合層等の機能を有する。特徴変換部24は、畳み込み演算部25と、注意機構部26とを有する。
畳み込み演算部25は、学習済のパラメータを用いて、入力画像Iに対して畳み込み演算を行うことにより入力画像Iの特徴を抽出し、1または複数の特徴量マップMを生成する。なお畳み込み演算は、プーリング演算を含んでよい。畳み込み演算部25は、生成した特徴量マップMを注意機構部26に出力する。
注意機構部26は、注意機構アルゴリズムを用いて、畳み込み演算部25から出力された特徴量マップMの各々に対して、対応する注意重みで重み付けられた特徴量マップMを生成する。ここで注意機構アルゴリズムは、複数の特徴量マップMの各々に対して注意重みを算出し、特徴量マップMの各々に対して、対応する注意重みで重み付けするアルゴリズムである。注意重みは、畳み込み演算部25から出力された特徴量マップMの各々に対する重要度を示す重みである。本注意重みは、特徴量マップMの重要度に応じて特徴量マップMを取捨選択し、または重み付けをする巨視的な重みであるという点で、畳み込み演算で用いられるカーネルの各画素の重みと相違する。注意機構部26は、重み付けられた特徴量マップMを後続の要素に出力する。
なお特徴変換部24は、図3に示すように、畳み込み演算部25および注意機構部26の組が複数個直列に接続される構成を有する。したがって、末端の注意機構部26は、重み付けられた特徴量マップMを特徴量ベクトルVに変換し、特徴量ベクトルVを認識装置5に出力する。末端以外の注意機構部26は、重み付けられた特徴量マップMを後続の畳み込み演算部25に出力する。なお畳み込み演算部25と注意機構部26とは、規則的に繰り返し接続されてもよく、畳み込み演算部25→注意機構部26→畳み込み演算部25→畳み込み演算部25→…のように不規則に接続されてもよい。しかしこれに限らず、特徴変換部24は、1組の畳み込み演算部25および注意機構部26のみを有してもよい。
認識装置5は、学習済の認識モデルにより、重み付けられた特徴量マップに基づく情報を用いて、画像に含まれる被写体を認識するコンピュータ等である。認識装置5は、入力画像Iに含まれる被写体を検出する処理、識別する処理、追跡する処理、分類する処理、およびその他の任意の認識処理のうちの1または複数を行い、出力値Oを出力する。認識装置5も、深層学習等の機械学習により学習された畳み込みニューラルネットワーク等のニューラルネットワークに含まれる全結合層等の機能を有する。
学習装置6は、画像処理装置20の特徴変換部24の畳み込み演算部25および注意機構部26と、認識装置5とに接続され、これらの要素または装置の処理に用いられる各種パラメータを学習により更新し、最適化するコンピュータ等である。学習装置6は、学習データを特徴変換部24の最初の畳み込み演算部25に入力し、認識装置5から出力された出力値Oと正解ラベルとの差に基づいて、各種パラメータを更新する学習処理を行う。そして学習装置6は、最適化した各種パラメータを畳み込み演算部25、注意機構部26および認識装置5に出力する。なお本実施形態2では学習装置6は、学習データを記憶する学習データベース(不図示)を備える。しかしこれに限らず、学習データベースは、学習装置6と通信可能に接続された他の装置(不図示)等に含まれていてもよい。
なお画像処理装置20、認識装置5および学習装置6は、複数のコンピュータ等で構成されてもよく、単一のコンピュータ等で構成されてもよい。複数のコンピュータ等で構成される場合は、各装置が、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)等の各種ネットワークを通じて通信可能に接続されてよい。
次に図4は、実施形態2にかかる注意機構部26の処理の概要を説明するための図である。
まず注意機構部26は、畳み込み演算部25から複数の特徴量マップM(M0)を取得する。各特徴量マップM0は、H×Wの行列であり、複数の特徴量マップM0は、C×H×Wの3階テンソルで表される(C、HおよびWは自然数)。ここでHは各特徴量マップMの縦方向の画素数を示し、Wは各特徴量マップMの横方向の画素数を示す。またCは、チャンネル数を示す。
まず注意機構部26は、畳み込み演算部25から複数の特徴量マップM(M0)を取得する。各特徴量マップM0は、H×Wの行列であり、複数の特徴量マップM0は、C×H×Wの3階テンソルで表される(C、HおよびWは自然数)。ここでHは各特徴量マップMの縦方向の画素数を示し、Wは各特徴量マップMの横方向の画素数を示す。またCは、チャンネル数を示す。
次に注意機構部26は、複数の特徴量マップM0から抽出フィルタFを用いて複数の特徴量マップM1を生成する。複数の特徴量マップM1は、C×H×Wの3階テンソルで表されてよい。なお抽出フィルタFは、特徴量マップM0における抽出対象領域を抽出するフィルタである。抽出対象領域は、入力画像Iまたは正規化画像に含まれる注目領域に対応する画素領域である。ここで注目領域は、正規化画像に含まれる被写体または被写体の一部の領域であってよい。また注目領域は、正規化画像に含まれる被写体の一部の領域であってもよい。たとえば被写体が人物の顔である場合、注目領域は、目、鼻または口等の部分領域であってよい。本実施形態2で抽出フィルタFは、抽出対象領域以外の画素領域を除去するフィルタであってよい。一例として抽出フィルタFは、正規化画像に含まれる背景等の被写体以外の領域に対応する画素領域を除去するフィルタであってよい。このとき抽出フィルタFは、1チャンネルの特徴量マップM0と等しいスケールを有してよい。すなわち抽出フィルタFは、H×Wの行列であってよい。
そして注意機構部26は、複数の特徴量マップM1の各々に対応する値を成分とする特徴量ベクトルV1を生成する。ここで特徴量ベクトルV1の次元数はCである。
注意機構部26は、全結合層FCを用いて特徴量ベクトルV1の各成分に対応する注意重みを算出し、注意重みを成分とする特徴量ベクトルV2を生成する。ここで特徴量ベクトルV2の次元数はCである。
そして注意機構部26は、複数の特徴量マップM0の各々に対して、対応する注意重みを用いて重み付けし、複数の特徴量マップM2を生成する。複数の特徴量マップM2は、C×H×Wの3階テンソルで表されてよい。
このような処理を行う注意機構部26の構成について、図5を用いて説明する。図5は、実施形態2にかかる注意機構部26の構成を示すブロック図である。注意機構部26は、中間取得部200と、前処理部202と、注意重み予測部204と、注意重み付け部206と、中間出力部208とを有する。
中間取得部200は、畳み込み演算部25から出力される複数の特徴量マップM0を取得する。中間取得部200は、取得した複数の特徴量マップM0を前処理部202に出力する。
前処理部202は、取得した複数の特徴量マップM0の各々について画素値に対する重み付け演算を行い、複数の特徴量マップM1を生成する。本実施形態2で前処理部202は、抽出フィルタFを用いて上記重み付け演算を行う。そして前処理部202は、重み付けられた画素値の統計値を複数の特徴量マップM1の各々について算出し、特徴量ベクトルV1を生成する。ここで統計値は、平均値、中央値または最頻値等であってよい。そして前処理部202は、特徴量ベクトルV1を注意重み予測部204に出力する。
注意重み予測部204は、複数の特徴量マップM1の各々に対応する画素値の統計値から、複数の特徴量マップM1の各々に対する重要度を示す注意重みを予測し、特徴量ベクトルV2を生成する。ここで本実施形態2では、複数の特徴量マップM1の各々に対応する画素値の統計値は、複数の特徴量マップM0の各々に対応する画素値の統計値でもある。また複数の特徴量マップM1の各々に対する重要度を示す注意重みは、複数の特徴量マップM0の各々に対する重要度も示す。注意重み予測部204は、注意重みを予測する注意重み予測モデルを用いる。注意重み予測モデルは、注意重み予測パラメータを含む全結合層FCを有する。注意重み予測パラメータは、学習装置6が最適化し、学習装置6から出力されるパラメータである。注意重み予測部204は、特徴量ベクトルV2を注意重み付け部206に出力する。
注意重み付け部206は、特徴量ベクトルV2に含まれる注意重みを用いて、中間取得部200が取得した複数の特徴量マップM0の各々に対して重み付けを行う。そして注意重み付け部206は、重み付けられた複数の特徴量マップM2を生成し、複数の特徴量マップM2を中間出力部208に出力する。
中間出力部208は、複数の特徴量マップM2を後続の要素に出力する。
図6は、実施形態2にかかる画像認識システム1の処理を示すフローチャートである。
まずS10において、画像処理装置20の画像取得部22は、入力画像Iを取得する。画像取得部22は、取得した入力画像Iを正規化部23に出力する。
まずS10において、画像処理装置20の画像取得部22は、入力画像Iを取得する。画像取得部22は、取得した入力画像Iを正規化部23に出力する。
次にS11において、正規化部23は、入力画像Iに含まれる被写体の位置を検出し、検出した位置に基づいて被写体を正規化した正規化画像を生成する。本実施形態2で正規化部23は、入力画像I中の被写体である人物の顔の位置を検出し、検出された顔の縦および横の長さに対応する画素数を算出する。そして正規化部23は、画像の縦および横の画素数と顔の縦および横の画素数とに基づいて、画像中の顔を正規化する。これに代えて正規化部23は、被写体の代表位置を検出し、被写体の代表位置を基準に所定の範囲だけ切り出した画像を正規化画像としてもよい。正規化部23は、正規化画像を特徴変換部24の最初の畳み込み演算部25に出力する。
次にS12において、畳み込み演算部25は学習装置6から畳み込み演算のパラメータを取得し、正規化画像に対して当該パラメータを用いて畳み込み演算を行う。これにより畳み込み演算部25は、複数の特徴量マップM0を生成する。畳み込み演算部25は、複数の特徴量マップM0を注意機構部26に出力する。
次にS13において、注意機構部26は、注意機構処理を行い、複数の特徴量マップM2を生成する。注意機構処理の詳細については、後述する。
次にS14において、注意機構部26は、S12に示す畳み込み演算およびS13に示す注意機構処理を終了するか否かを判定する。注意機構部26は、終了する場合(S14でYes)、複数の特徴量マップM2を認識装置5に出力し、処理をS15に進める。注意機構部26は、終了しない場合(S14でNo)、複数の特徴量マップM2を後続の畳み込み演算部25に出力し、処理をS12に戻す。
なお、二回目以降のS12においては、畳み込み演算部25は、正規化画像に代えて、注意機構部26から出力された、複数の特徴量マップM2に対して畳み込み演算を行う。
なお、二回目以降のS12においては、畳み込み演算部25は、正規化画像に代えて、注意機構部26から出力された、複数の特徴量マップM2に対して畳み込み演算を行う。
S15において、認識装置5は、複数の特徴量マップM2に基づく情報を用いて、所定の認識処理を行う。そして認識装置5は、処理を終了する。
図7は、実施形態2にかかる注意機構部26の注意機構処理を示すフローチャートである。
まずS20において、注意機構部26の中間取得部200は、畳み込み演算部25から出力される複数の特徴量マップM0を取得する。中間取得部200は、取得した複数の特徴量マップM0を前処理部202および注意重み付け部206に出力する。
まずS20において、注意機構部26の中間取得部200は、畳み込み演算部25から出力される複数の特徴量マップM0を取得する。中間取得部200は、取得した複数の特徴量マップM0を前処理部202および注意重み付け部206に出力する。
次にS21において、中間取得部200は、抽出フィルタFを取得し、前処理部202に出力する。具体的には、中間取得部200は、抽出フィルタFに含まれる画素の画素値であるフィルタ重みを抽出フィルタFに含まれるすべての画素について取得し、前処理部202に出力する。また中間取得部200は、学習装置6から注意重み予測モデルの注意重み予測パラメータを取得し、注意重み予測パラメータを注意重み予測部204に出力する。
次にS22において、前処理部202は、複数の特徴量マップM0の各々に対して抽出フィルタFを適用させ、複数の特徴量マップM0の各々に含まれる画素の画素値に対して重み付け演算をする。すなわち前処理部202は、複数の特徴量マップM0の各々に含まれる各画素位置の画素値と、抽出フィルタFに含まれ、当該画素位置に対応する画素位置の画素値とを乗算する。これにより前処理部202は、複数の特徴量マップM1を生成する。
次にS23において、前処理部202は、複数の特徴量マップM1の各々について、その特徴量マップM1に含まれる全ての画素値についての統計値を算出する。前処理部202は、特徴量マップM1の各々に対応する統計値を成分とする特徴量ベクトルV1を生成する。そして前処理部202は、特徴量ベクトルV1を注意重み予測部204に出力する。
次にS24において、注意重み予測部204は、注意重み予測パラメータを含む注意重み予測モデルを用いて、特徴量ベクトルV1から、特徴量マップM1ごとに注意重みを予測する。注意重み予測部204は、各注意重みを成分とする特徴量ベクトルV2を生成し、特徴量ベクトルV2を注意重み付け部206に出力する。
次にS25において、注意重み付け部206は、中間取得部200から出力された特徴量マップM0の各々を、特徴量ベクトルV2の対応する成分(注意重み)で重み付けする。そして注意重み付け部206は、複数の特徴量マップM2を生成し、複数の特徴量マップM2を中間出力部208に出力する。
次にS26において、中間出力部208は、特徴量マップM2を後続の要素に出力する。このとき注意機構部26が特徴変換部24の末端の注意機構部26である場合は、中間出力部208は、特徴量マップM2をベクトルに変換し、特徴量ベクトルVを生成する。そして中間出力部208は、認識装置5に特徴量ベクトルVを出力する。
このように実施形態2によれば、画像処理装置20の注意機構部26は、注意機構アルゴリズムを用いた注意重みの予測の前に、複数の特徴量マップM0の各々について画素値の重み付け演算を行う。したがって不要な情報による注意重みの予測への影響を小さくすることができる。これにより注意重み予測処理の計算コストの増大を防ぎつつ、精度の高い特徴量マップM2を生成することができる。そしてこれにより、後続の認識処理の計算コストの増大を防ぎつつ、認識精度を向上させることができる。
また注意機構部26は、画素値の重み付け演算に注目領域に対応する抽出対象領域を抽出する抽出フィルタFを用いる。したがって注意機構部26は、目的に応じた抽出フィルタFを使用することにより、目的に応じた精度の特徴量マップM2を生成することができ、目的に応じた認識精度を得ることができる。
なお注意機構部26は、抽出フィルタFが適用される前の特徴量マップM0に対して注意重みで重み付けを行うため、注目領域以外の領域の影響を過度に排除することを防止することができる。
なお本実施形態2において、S22で前処理部202は、複数の特徴量マップM0の各々に対して同じ抽出フィルタFを適用させる。しかしこれに限らず、前処理部202は、取得した複数の特徴量マップM0の種別に応じた、複数の異なる抽出フィルタFを有し、取得した複数の特徴量マップの各々に対して、対応する抽出フィルタFを用いて重み付け演算を行ってもよい。たとえば、複数の特徴量マップM0のうち、畳み込み演算部25で顔の鼻の特徴が抽出されるように畳み込み演算がされた特徴量マップM0に対しては、前処理部202は、正規化画像の鼻領域を注目領域とする抽出フィルタFを適用させてよい。ここで正規化画像の注目領域の画素位置は、注目領域の種別(たとえば、眼、鼻または口等)に応じて予め定められてよい。そして、特徴量マップM0における抽出対象領域の画素位置は、注目領域の画素位置に基づいて、予め算出されてよい。
この場合前処理部202は、特徴量マップM0の各々に対して、畳み込み演算部25で抽出された特徴に応じて好ましい抽出フィルタFを選択し、適用させることが可能となる。したがって注意機構部26は、より効率よく精度の高い注意重みを算出することが可能となる。
なおS22およびS23において、前処理部202は、特徴量マップM1を生成せずに、重み付け演算と画素値の統計値の算出とを並行して行ってよい。また前処理部202は、特徴量マップM0の各々に対して、抽出フィルタFを用いずに、重み付け平均等の所定の重み付けを行ってよい。
図8は、実施形態2にかかる学習装置6の学習処理を示すフローチャートである。なお、図6に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
まずS30において学習装置6は、学習データベース(不図示)から大量の学習データを取得する。一例として学習データは、画像と当該画像の被写体の分類を示す正解ラベルとを含むデータセットであってよい。ここで学習データの画像は、予め正規化処理が行われた正規化画像であってよい。なお交差検定を行う場合は、学習データは訓練データとテストデータとに分類されていてよい。学習装置6は、画像処理装置20の特徴変換部24の最初の畳み込み演算部25に学習データに含まれる画像を入力し、処理をS12に進める。
まずS30において学習装置6は、学習データベース(不図示)から大量の学習データを取得する。一例として学習データは、画像と当該画像の被写体の分類を示す正解ラベルとを含むデータセットであってよい。ここで学習データの画像は、予め正規化処理が行われた正規化画像であってよい。なお交差検定を行う場合は、学習データは訓練データとテストデータとに分類されていてよい。学習装置6は、画像処理装置20の特徴変換部24の最初の畳み込み演算部25に学習データに含まれる画像を入力し、処理をS12に進める。
S34において学習装置6は、S15で認識装置5が認識処理を行ったことに応じて、出力値Oと学習データの正解ラベルとの間の誤差を算出する。
次にS35において学習装置6は、学習を終了するか否かを判定する。本実施形態2において学習装置6は、更新回数が予め設定された回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。また学習装置6は、誤差が予め定められた閾値未満であるか否かを判定することにより、学習を終了するか否かを判定してもよい。学習装置6は、学習を終了する場合(S35でYes)処理をS37に進め、そうでなければ(S35でNo)処理をS36に進める。
次にS35において学習装置6は、学習を終了するか否かを判定する。本実施形態2において学習装置6は、更新回数が予め設定された回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。また学習装置6は、誤差が予め定められた閾値未満であるか否かを判定することにより、学習を終了するか否かを判定してもよい。学習装置6は、学習を終了する場合(S35でYes)処理をS37に進め、そうでなければ(S35でNo)処理をS36に進める。
S36において学習装置6は、算出した誤差に基づいて、畳み込み演算部25の畳み込み演算、注意機構部26の注意重み予測モデルおよび認識装置5の認識モデルに用いられる各種パラメータを更新する。学習装置6は一例として誤差逆伝播法を用いて、各種パラメータを更新してよい。そして学習装置6は、処理をS12に戻す。
S37において学習装置6は、各種パラメータを決定する。そして学習装置6は処理を終了する。
S37において学習装置6は、各種パラメータを決定する。そして学習装置6は処理を終了する。
このように学習装置6は、機械学習により、畳み込み演算のパラメータと注意重み予測モデルのパラメータと認識モデルのパラメータとを最適化する。
以上実施形態2について説明したが、画像認識システム1が生体認証により被写体を認証するシステムである場合には、画像認識システム1は、被写体の特徴量を格納する特徴量データベースを備えていてよい。特徴量データベースは、画像処理装置20と認識装置5とに接続されてよい。このとき特徴量の登録においては、図6に示すS14で末端の注意機構部26が注意機構処理を終了する場合(S14でY)、図7に示すS26に代えて中間出力部208は特徴量ベクトルVを、認識装置5に代えて特徴量データベースに格納してよい。このとき図6に示すS15および16は、省略されてよい。
(実施形態3)
次に図9A~Cを用いて、本開示の実施形態3について説明する。実施形態3は、抽出フィルタFが注目領域に対応する抽出対象領域を注目領域の注目度に応じて重み付けすることに特徴を有する。なお注目度は、注目領域に対して注目すべき度合を示す。実施形態3にかかる画像認識システム1は、実施形態2にかかる画像認識システム1と基本的に同様の構成および機能を有するため、以下相違点について説明する。図9A~Cは、実施形態3にかかる抽出フィルタFの一例を示す図である。
次に図9A~Cを用いて、本開示の実施形態3について説明する。実施形態3は、抽出フィルタFが注目領域に対応する抽出対象領域を注目領域の注目度に応じて重み付けすることに特徴を有する。なお注目度は、注目領域に対して注目すべき度合を示す。実施形態3にかかる画像認識システム1は、実施形態2にかかる画像認識システム1と基本的に同様の構成および機能を有するため、以下相違点について説明する。図9A~Cは、実施形態3にかかる抽出フィルタFの一例を示す図である。
図9A~Cに示すように、抽出フィルタFは、特徴量マップM0に含まれる画素のうち、被写体(ここでは、顔)の注目度の高い注目領域に対応する抽出対象領域については大きな値のフィルタ重みで重み付けするものであってよい。一方抽出フィルタFは、それ以外の被写体の注目領域に対応する抽出対象領域については小さな値のフィルタ重みで重み付けするものであってよい。なお抽出フィルタFは、被写体以外の背景に対応する画素領域を除去するものであってよい。なお図9A、BおよびCは、注目度の高い注目領域がそれぞれ、、眼、鼻および口である例を示している。
このように実施形態3によれば、注意機構部26は、目的に応じた抽出フィルタFを使用することにより、目的に応じた精度の特徴量マップM2を生成することができる。したがって後続の認識装置5の認識精度が向上する。
なお注意機構部26は、特徴量マップM0の各画素の注目度に応じたフィルタ重みで重み付けができるため、注目領域以外の領域の影響を過度に排除することを防止することができる。
なお注意機構部26は、特徴量マップM0の各画素の注目度に応じたフィルタ重みで重み付けができるため、注目領域以外の領域の影響を過度に排除することを防止することができる。
(実施形態4)
次に本開示の実施形態4について図10を用いて説明する。実施形態3では、注目領域は予めユーザが特定しうる領域であったが、ユーザが特定した注目領域が認識処理の上で最適な領域でない場合がある。図10は、実施形態4にかかる抽出フィルタFの一例を示す図である。本図に示す抽出フィルタFの内側の実線は、フィルタ重みの等値線を示す。本図に示すように、等値線は複雑な形状を有する。
次に本開示の実施形態4について図10を用いて説明する。実施形態3では、注目領域は予めユーザが特定しうる領域であったが、ユーザが特定した注目領域が認識処理の上で最適な領域でない場合がある。図10は、実施形態4にかかる抽出フィルタFの一例を示す図である。本図に示す抽出フィルタFの内側の実線は、フィルタ重みの等値線を示す。本図に示すように、等値線は複雑な形状を有する。
実施形態4は、このような抽出フィルタFに含まれる画素の画素値であるフィルタ重みが、パラメータとして機械学習により学習されたフィルタ重みであることに特徴を有する。ここで、このパラメータをフィルタ重みパラメータと呼ぶ。なお実施形態4にかかる画像認識システム1は、実施形態2~3にかかる画像認識システム1と基本的に同様の構成および機能を有するため、以下では相違点について説明する。
まず図7に示すS21に代えて、中間取得部200は、学習装置6から抽出フィルタFを取得し、前処理部202に出力する。このとき中間取得部200は、抽出フィルタFの学習済のフィルタ重みパラメータを抽出フィルタFに含まれるすべての画素について学習装置6から取得し、前処理部202に出力する。また中間取得部200は、学習装置6から注意重み予測モデルの注意重み予測パラメータを取得し、注意重み予測パラメータを注意重み予測部204に出力する。
また図8に示すS36に代えて、学習装置6は、算出した誤差に基づいて、畳み込み演算、注意重み予測モデルおよび認識モデルに用いられる各種パラメータに加えて、フィルタ重みパラメータを更新する。学習装置6は一例として誤差逆伝播法を用いて、これらのパラメータを更新してよい。そして学習装置6は、処理をS12に戻す。
また図8に示すS37に代えて、学習装置6は、畳み込み演算、注意重み予測モデルおよび認識モデルに用いられる各種パラメータに加えて、フィルタ重みパラメータを決定する。そして学習装置6は処理を終了する。
また図8に示すS37に代えて、学習装置6は、畳み込み演算、注意重み予測モデルおよび認識モデルに用いられる各種パラメータに加えて、フィルタ重みパラメータを決定する。そして学習装置6は処理を終了する。
このように実施形態4によれば、抽出フィルタFが有する複数の画素の各々は、機械学習により最適化された学習済のフィルタ重みを含む。注意機構部26は、このような抽出フィルタFを使用して、精度の高い特徴量マップM2を生成することができる。したがって後続の認識装置5の認識精度が向上する。
(実施形態5)
次に本開示の実施形態5について、図11~12を用いて説明する。注目領域は入力画像Iまたは正規化画像によって異なるため、抽出フィルタFは入力画像Iまたは正規化画像に応じて生成されることが好ましい。実施形態5は、入力画像Iに応じて異なる画素値、すなわち重みが抽出フィルタFの各画素に割り当てられることに特徴を有する。
次に本開示の実施形態5について、図11~12を用いて説明する。注目領域は入力画像Iまたは正規化画像によって異なるため、抽出フィルタFは入力画像Iまたは正規化画像に応じて生成されることが好ましい。実施形態5は、入力画像Iに応じて異なる画素値、すなわち重みが抽出フィルタFの各画素に割り当てられることに特徴を有する。
図11は、実施形態5にかかる注意機構部36の構成を示すブロック図である。注意機構部36は、実施形態2~3の注意機構部26と基本的には同様の構成および機能を有するコンピュータ等である。ただし注意機構部36は、前処理部202に代えて前処理部302を備える点で注意機構部26と相違する。
前処理部302は、前処理部202の構成および機能に加えて、フィルタ生成部303を有する。
フィルタ生成部303は、入力画像Iまたは正規化画像に応じて、注目領域に対応する抽出対象領域を予測する学習済の注目領域予測モデルを用いて、抽出フィルタFを生成する。ここで注目領域予測モデルは、注目領域予測パラメータを含む畳み込み層および全結合層等を有してよい。
なお前処理部302は、生成された抽出フィルタFを用いて、複数の特徴量マップM0の各々に対して重み付け演算を行う。
フィルタ生成部303は、入力画像Iまたは正規化画像に応じて、注目領域に対応する抽出対象領域を予測する学習済の注目領域予測モデルを用いて、抽出フィルタFを生成する。ここで注目領域予測モデルは、注目領域予測パラメータを含む畳み込み層および全結合層等を有してよい。
なお前処理部302は、生成された抽出フィルタFを用いて、複数の特徴量マップM0の各々に対して重み付け演算を行う。
図12は、実施形態5にかかる注意機構部36の注意機構処理を示すフローチャートである。図12に示すステップは、図7に示すS21に代えて、S40~44を有する。なお、図7に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
S40において、中間取得部200は、学習装置6から注目領域予測モデルの注目領域予測パラメータと注意重み予測モデルの注意重み予測パラメータとを取得する。中間取得部200は、注目領域予測パラメータをフィルタ生成部303に出力し、注意重み予測パラメータを注意重み予測部204に出力する。
S42において、フィルタ生成部303は、取得した注目領域予測パラメータを含む注目領域予測モデルに特徴量マップM0を入力し、特徴量マップM0における注目領域に対応する抽出対象領域を予測する。このときフィルタ生成部303は、注目領域に対応する抽出対象領域の重み、すなわち抽出フィルタFにおける抽出対象領域に対応する画素値も予測してよい。
S44において、フィルタ生成部303は予測結果に基づいて、各画素に注目度に応じた重みが付与された抽出フィルタFを生成する。
S44において、フィルタ生成部303は予測結果に基づいて、各画素に注目度に応じた重みが付与された抽出フィルタFを生成する。
そしてS22において、前処理部302は、生成された抽出フィルタFを用いて重み付け演算を行う。
このように実施形態5によれば、注意機構部36は注意機構処理において入力画像Iまたは正規化画像に応じた抽出フィルタFを生成するため、注目領域に対応する抽出対象領域の抽出精度が向上する。これにより、注意機構部36はより精度の高い注意重みを予測し、より精度の高い特徴量マップM2を生成することができる。
上述の実施形態1~5ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、LAN(ローカル・エリア・ネットワーク)のサーバ、コンピュータ(パソコン)通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。
なお上述の実施形態1~5では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の正規化処理、畳み込み演算処理、注意機構処理、認識処理および学習処理等の各種処理を、後述のプロセッサ1010にコンピュータプログラムを実行させることにより実現することも可能である。
図13は、実施形態1~5にかかるコンピュータ1900の概略構成図の一例である。図13に示すように、コンピュータ1900は、システム全体を制御するための制御部1000を備えている。この制御部1000には、データバス等のバスラインを介して、入力装置1050、記憶装置1200、記憶媒体駆動装置1300、通信制御装置1400、および入出力I/F1500が接続されている。
制御部1000は、プロセッサ1010と、ROM1020と、RAM1030とを備えている。
プロセッサ1010は、ROM1020や記憶装置1200等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ROM1020は、プロセッサ1010が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。
プロセッサ1010は、ROM1020や記憶装置1200等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ROM1020は、プロセッサ1010が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。
RAM1030は、プロセッサ1010にワーキングメモリとして使用されるランダムアクセスメモリである。このRAM1030には、本実施形態1~5による各種処理を行うための各種エリアが確保可能になっている。
入力装置1050は、キーボード、マウスおよびタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キーおよびカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置1100に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置1100の表面に配置される入力機器で、表示装置1100に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。
表示装置1100は、例えばCRTや液晶ディスプレイ等が使用される。この表示装置には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また表示装置1100は、コンピュータ1900の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。
記憶装置1200は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置1200に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置1300で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置1200は、データ格納部1210、プログラム格納部1220および図示しないその他の格納部(例えば、この記憶装置1200内に格納されているプログラムやデータ等をバックアップするための格納部)等を有している。プログラム格納部1220には、本実施形態1~5における各種処理を実現するためのプログラムが格納されている。データ格納部1210には、本実施形態1~5にかかる各種データベースの各種データを格納する。
この記憶装置1200に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置1300で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置1200は、データ格納部1210、プログラム格納部1220および図示しないその他の格納部(例えば、この記憶装置1200内に格納されているプログラムやデータ等をバックアップするための格納部)等を有している。プログラム格納部1220には、本実施形態1~5における各種処理を実現するためのプログラムが格納されている。データ格納部1210には、本実施形態1~5にかかる各種データベースの各種データを格納する。
記憶媒体駆動装置1300は、プロセッサ1010が外部の記憶媒体(外部記憶媒体)からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置1300を介して、各種プログラムをコンピュータに供給できる。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置1300を介して、各種プログラムをコンピュータに供給できる。
つまりコンピュータ1900は、制御部1000のプロセッサ1010が、記憶媒体駆動装置1300にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置1200の各部に格納する。
そして、コンピュータ1900が各種処理を実行する場合、記憶装置1200から該当プログラムをRAM1030に読み込み、実行するようになっている。但しコンピュータ1900は、記憶装置1200からではなく、記憶媒体駆動装置1300により外部の記憶媒体から直接RAM1030にプログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めROM1020に記憶させておき、これをプロセッサ1010が実行するようにしてもよい。さらに、コンピュータ1900は、各種プログラムやデータを、通信制御装置1400を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。
通信制御装置1400は、コンピュータ1900と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置1400は、これら各種外部電子機器からコンピュータ1900にアクセスすることを可能とする。
入出力I/F1500は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。
なおプロセッサ1010は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(digital signal processor)およびASIC(application specific integrated circuit)等が用いられてよい。
請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
以上、実施形態を参照して本開示を説明したが、本開示は上記によって限定されるものではない。本開示の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 画像認識システム、5 認識装置、6 学習装置、10,20 画像処理装置、22 画像取得部、23 正規化部、24 特徴変換部、25 畳み込み演算部、26,36 注意機構部、100,200 中間取得部、102,202,302 前処理部、104,204 注意重み予測部、106,206 注意重み付け部、208 中間出力部、303 フィルタ生成部、1000 制御部、1010 プロセッサ、1020 ROM、1030 RAM、1050 入力装置、1100 表示装置、1200 記憶装置、1210 データ格納部、1220 プログラム格納部、1300 記憶媒体駆動装置、1400 通信制御装置、1500 入出力I/F、1900 コンピュータ、I 入力画像、O 出力値、M 特徴量マップ、M0 特徴量マップ、M1 特徴量マップ、M2 特徴量マップ、V 特徴量ベクトル、V1 特徴量ベクトル、V2 特徴量ベクトル、FC 全結合層、F 抽出フィルタ
Claims (10)
- 画像の特徴を示す特徴量マップを取得する中間取得部と、
取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する前処理部と、
前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測部と、
前記注意重みを用いて、取得した前記特徴量マップの各々に対して重み付けを行う注意重み付け部と、
を備える画像処理装置。 - 前記前処理部は、取得した前記特徴量マップの各々について、前記画像の注目領域に対応する画素領域を抽出するフィルタを用いて重み付け演算を行う
請求項1に記載の画像処理装置。 - 前記前処理部は、取得した前記特徴量マップの各々について、前記画像の注目領域の注目度に応じた重みで前記注目領域に対応する画素領域に重み付けをするフィルタを用いて重み付け演算を行う
請求項1または2に記載の画像処理装置。 - 前記フィルタが有する複数の画素の各々は、機械学習により最適化された学習済のフィルタ重みを含む
請求項2または3に記載の画像処理装置。 - 前記前処理部は、前記画像に応じて前記注目領域に対応する画素領域を予測する学習済の注目領域予測モデルを用いて、前記フィルタを生成するフィルタ生成部をさらに含む
請求項2または3に記載の画像処理装置。 - 前記前処理部は、取得した前記特徴量マップの種別に応じた、複数の異なるフィルタを有し、取得した前記特徴量マップの各々に対して、対応するフィルタを用いて重み付け演算を行う
請求項2から5のいずれか一項に記載の画像処理装置。 - 画像の特徴を示す特徴量マップを取得する中間取得部と、取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する前処理部と、前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測部と、前記注意重みを用いて、前記中間取得部が取得した前記特徴量マップの各々に対して重み付けを行う注意重み付け部と、を有する画像処理装置と、
学習済の認識モデルにより、重み付けられた前記特徴量マップに基づく情報を用いて、前記画像に含まれる被写体を認識する認識装置と、
を備える画像認識システム。 - 機械学習により、前記注意重みを予測する注意重み予測モデルのパラメータと前記認識モデルのパラメータとを最適化する学習装置をさらに備える
請求項7に記載の画像認識システム。 - 画像の特徴を示す特徴量マップを取得する段階と、
取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する段階と、
前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する段階と、
前記注意重みを用いて、取得した前記特徴量マップの各々に対して重み付けを行う段階と、
を備える画像処理方法。 - 画像の特徴を示す特徴量マップを取得する中間取得機能と、
取得した前記特徴量マップの各々について画素値に対する重み付け演算を行い、重み付けられた前記画素値の統計値を前記特徴量マップの各々について算出する前処理機能と、
前記特徴量マップの各々に対応する前記画素値の前記統計値から、前記特徴量マップの各々に対する重要度を示す注意重みを予測する注意重み予測機能と、
前記注意重みを用いて、取得した前記特徴量マップの各々に対して重み付けを行う注意重み付け機能と、
をコンピュータに実現させるための画像処理プログラムが格納された
非一時的なコンピュータ可読媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010908 WO2021181627A1 (ja) | 2020-03-12 | 2020-03-12 | 画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体 |
JP2022505663A JP7459924B2 (ja) | 2020-03-12 | 2020-03-12 | 画像処理装置、画像認識システム、画像処理方法および画像処理プログラム |
US17/909,074 US20230080876A1 (en) | 2020-03-12 | 2020-03-12 | Image processing apparatus, image recognition system, and image processing method |
EP20924840.0A EP4120185A4 (en) | 2020-03-12 | 2020-03-12 | IMAGE PROCESSING DEVICE, IMAGE RECOGNITION SYSTEM, IMAGE PROCESSING METHOD AND NON-TRANSITORY COMPUTER READABLE MEDIA |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010908 WO2021181627A1 (ja) | 2020-03-12 | 2020-03-12 | 画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021181627A1 true WO2021181627A1 (ja) | 2021-09-16 |
Family
ID=77670573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/010908 WO2021181627A1 (ja) | 2020-03-12 | 2020-03-12 | 画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230080876A1 (ja) |
EP (1) | EP4120185A4 (ja) |
JP (1) | JP7459924B2 (ja) |
WO (1) | WO2021181627A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023228230A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 分類装置、学習装置、分類方法、学習方法、およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12009100B2 (en) * | 2020-08-05 | 2024-06-11 | Unitedhealth Group Incorporated | Predictive monitoring of the glucose-insulin endocrine metabolic regulatory system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019017403A1 (ja) * | 2017-07-19 | 2019-01-24 | 日本電信電話株式会社 | マスク計算装置、クラスタ重み学習装置、マスク計算ニューラルネットワーク学習装置、マスク計算方法、クラスタ重み学習方法及びマスク計算ニューラルネットワーク学習方法 |
JP2019096006A (ja) | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2019528113A (ja) * | 2016-08-18 | 2019-10-10 | グーグル エルエルシー | 機械学習モデルを使用した眼底画像の処理 |
JP2020008896A (ja) | 2018-07-02 | 2020-01-16 | カシオ計算機株式会社 | 画像識別装置、画像識別方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8363939B1 (en) * | 2006-10-06 | 2013-01-29 | Hrl Laboratories, Llc | Visual attention and segmentation system |
-
2020
- 2020-03-12 WO PCT/JP2020/010908 patent/WO2021181627A1/ja unknown
- 2020-03-12 JP JP2022505663A patent/JP7459924B2/ja active Active
- 2020-03-12 EP EP20924840.0A patent/EP4120185A4/en active Pending
- 2020-03-12 US US17/909,074 patent/US20230080876A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019528113A (ja) * | 2016-08-18 | 2019-10-10 | グーグル エルエルシー | 機械学習モデルを使用した眼底画像の処理 |
WO2019017403A1 (ja) * | 2017-07-19 | 2019-01-24 | 日本電信電話株式会社 | マスク計算装置、クラスタ重み学習装置、マスク計算ニューラルネットワーク学習装置、マスク計算方法、クラスタ重み学習方法及びマスク計算ニューラルネットワーク学習方法 |
JP2019096006A (ja) | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2020008896A (ja) | 2018-07-02 | 2020-01-16 | カシオ計算機株式会社 | 画像識別装置、画像識別方法及びプログラム |
Non-Patent Citations (3)
Title |
---|
J. HUL. SHENS. ALBANIEG. SUNE. WU: "Squeeze- and-Excitation Networks", COMPUTER VISION AND PATTERN RECOGNITION, 5 September 2017 (2017-09-05) |
NIE, XUAN ET AL.: "Attention Mask R-CNN for Ship Detection and Segmentation From Remote Sensing Images", IEEE ACCESS, vol. 8, 7 January 2020 (2020-01-07), pages 9325 - 9334, XP011767007, DOI: 10.1109/ACCESS.2020.2964540 * |
See also references of EP4120185A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023228230A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 分類装置、学習装置、分類方法、学習方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4120185A4 (en) | 2023-03-22 |
JPWO2021181627A1 (ja) | 2021-09-16 |
US20230080876A1 (en) | 2023-03-16 |
EP4120185A1 (en) | 2023-01-18 |
JP7459924B2 (ja) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501161B2 (en) | Method to explain factors influencing AI predictions with deep neural networks | |
US8266078B2 (en) | Platform for learning based recognition research | |
US11508170B2 (en) | Digital handwriting synthesis | |
WO2021181627A1 (ja) | 画像処理装置、画像認識システム、画像処理方法および非一時的なコンピュータ可読媒体 | |
JP2020507824A (ja) | 電子装置及びその制御方法 | |
CN116560895B (zh) | 用于机械装备的故障诊断方法 | |
CN115376518B (zh) | 一种实时噪声大数据的声纹识别方法、系统、设备和介质 | |
CN111444802B (zh) | 一种人脸识别方法、装置及智能终端 | |
CN114266943A (zh) | 图像风格迁移方法、装置、设备及存储介质 | |
US20230103737A1 (en) | Attention mechanism, image recognition system, and feature conversion method | |
US10546246B2 (en) | Enhanced kernel representation for processing multimodal data | |
CN114386580A (zh) | 决策模型训练、决策方法、装置、电子设备及存储介质 | |
CN111798376B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CA3179311A1 (en) | Identifying claim complexity by integrating supervised and unsupervised learning | |
CN116755811A (zh) | 一种融合应用的桌面虚拟化方法及系统 | |
US11921821B2 (en) | System and method for labelling data for trigger identification | |
US11941594B2 (en) | User interaction artificial intelligence chat engine for integration of automated machine generated responses | |
US20230344823A1 (en) | Pre-authentication for fast interactive videoconference session access | |
US20240233749A9 (en) | System and method for determining and processing user temperament | |
US12056231B2 (en) | Training an artificial intelligence engine for real-time monitoring to eliminate false positives | |
US20230342438A1 (en) | Generating a floating interactive box using machine learning for quick-reference to resources | |
US20240257253A1 (en) | Computing system for controlling transmission of placement packets to device connected over a communication channel using machine learning | |
US20230342588A1 (en) | Ai system to initiate a concurrent reaction according to predicted user behavior | |
US20230342426A1 (en) | System and method for training a machine learning model to label data for trigger identification | |
US20230344824A1 (en) | Managing pre-authentication for fast interactive videoconference session access |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20924840 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022505663 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020924840 Country of ref document: EP Effective date: 20221012 |