WO2020059545A1 - 画像認識器学習装置、画像認識器学習方法、及びプログラム - Google Patents

画像認識器学習装置、画像認識器学習方法、及びプログラム Download PDF

Info

Publication number
WO2020059545A1
WO2020059545A1 PCT/JP2019/035215 JP2019035215W WO2020059545A1 WO 2020059545 A1 WO2020059545 A1 WO 2020059545A1 JP 2019035215 W JP2019035215 W JP 2019035215W WO 2020059545 A1 WO2020059545 A1 WO 2020059545A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
pixels
pixel
unit
positive example
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/035215
Other languages
English (en)
French (fr)
Inventor
和彦 村崎
慎吾 安藤
淳 嵯峨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/277,248 priority Critical patent/US11989929B2/en
Publication of WO2020059545A1 publication Critical patent/WO2020059545A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to an image recognizer learning device, an image recognizer learning method, and a program, and particularly to an image recognizer learning device, an image recognizer learning method, and a program for efficiently learning an image recognizer.
  • a number of recognition methods have been proposed that can accurately extract a target region from an image if there is sufficient learning data using a machine learning method such as deep learning.
  • Non-Patent Document 1 for a set of images in which labels used for learning are given only to some pixels of an image, pseudo-estimating labels for pixels whose labels are unknown provides high accuracy. We propose a method to learn the region extractor.
  • Non-Patent Document 1 a label is assigned to an unlabeled pixel around a pixel to which a label is given based on contour information in an image and a score of a recognizer learned from a part of the label.
  • this approach makes it possible to assign an appropriate pseudo label only to the area where the same label is assigned to the surrounding area. There is a problem that it cannot be treated as a target of pseudo labeling.
  • the present invention has been made in view of the above points, and an image recognizer learning apparatus, an image recognizer learning method, and an image recognizer learning method capable of efficiently learning an image recognizer using learning data without label information.
  • the purpose is to provide the program.
  • the image recognizer learning device based on an image set including an image including a pixel to which a positive example label or a negative example label is provided, and an image including an image including a pixel to which no label is provided, based on the positive example A value based on the difference between the distance between feature vectors for each of the labeled pixels, and the distance between feature vectors for each of the positively labeled pixels and unlabeled pixels, based on the distance between the feature vectors of each of the pixel to which the positive example label is assigned and the pixel to which no label is assigned, and the distance between the pixel to which the positive example label is assigned and the pixel to which the negative example label is assigned.
  • a likelihood that indicates the likelihood of the pixel is calculated, and the pixels having a predetermined first sample number are calculated in the order of the likelihood,
  • the pseudo example label is assigned to the pixel of the second predetermined number of samples, and the pseudo label assigning unit assigns the negative example label, and It is determined whether or not there is a pixel to which a bell is not added, and if there is a pixel to which no label is added, learning by the expression learning unit, extraction of a feature vector by the feature amount extraction unit, estimation of the positive example distribution And a determination unit that repeats the estimation by the unit and the assignment of the label by the pseudo label assigning unit.
  • the expression learning unit may include an image set including an image including a pixel to which a positive example label or a negative example label is added and an image including a pixel to which no label is added. Based on the distance between the feature vectors for each of the pixels to which the positive example label has been assigned, and the distance between the feature vectors for each of the pixels to which the positive example label has been assigned and the unlabeled pixel. And the distance between the feature vectors of each of the pixels to which the positive example label is assigned and the pixels to which no label is assigned, and the value of the pixel to which the positive example label is assigned and the negative example.
  • the feature vector of each pixel is extracted such that the objective function including the value based on the difference between the feature vector and the distance between the feature vectors for each of the labeled pixels is minimized.
  • a feature expression model for learning, and a feature amount extraction unit calculates a feature vector of the pixel for each of a plurality of pixels included in the image based on the feature expression model learned by the expression learning unit.
  • the positive example distribution estimating unit estimates the distribution of a feature vector for each of the pixels to which the positive example label extracted by the feature amount extracting unit is added, and the pseudo label providing unit extracts the positive example distribution.
  • a likelihood indicating the likelihood of the pixel is calculated for each of the unlabeled pixels, and a first predetermined likelihood is determined in descending order of the likelihood.
  • the positive example label is assigned, and in the order of the lower likelihood, the pixel of the second predetermined sample number is assigned the negative example label.
  • the picture Among the pixels it is determined whether or not there is a pixel to which a label is not provided. If there is a pixel to which no label is provided, learning by the expression learning unit, extraction of a feature vector by the feature amount extraction unit, The estimation by the positive example distribution estimating unit and the assignment of the label by the pseudo label assigning unit are repeated.
  • the expression learning unit includes an image including a pixel to which a positive example label or a negative example label is added and a pixel to which no label is added. Based on the image set including the image, the distance between the feature vectors of each of the pixels to which the positive example label is assigned, and the feature of each of the pixels to which the positive example label is assigned and the pixel to which no label is assigned.
  • the value based on the difference between the distances between the vectors, the distance between the feature vectors for each of the pixels to which the positive example label is assigned and the pixels to which no label is assigned, and the value of the pixel to which the positive example label is assigned and The feature vector of the pixel is set so that the objective function including the value based on the difference between the feature vector and the distance between the feature vectors for each of the labeled pixels is minimized.
  • the feature amount extraction unit extracts, for each of a plurality of pixels included in the image, a feature vector of the pixel based on the feature expression model learned by the expression learning unit.
  • the pseudo-label assigning unit estimates a feature vector distribution for each of the pixels to which the positive example label extracted by the unit is assigned, and the pseudo-label assigning unit assigns the label based on the distribution estimated by the positive example distribution estimating unit. For each of the non-existent pixels, a likelihood indicating the likelihood of the pixel is calculated, and a positive example label is assigned to pixels of a predetermined first number of samples in descending order of the likelihood. , A negative example label is assigned to pixels of a predetermined second number of samples.
  • the determining unit determines whether or not there is a pixel to which no label is provided among the pixels of the image. If there is a pixel to which no label is provided, learning by the expression learning unit, The extraction of the feature vector, the estimation by the positive example distribution estimation unit, and the assignment of the label by the pseudo label assignment unit are repeated.
  • an image including a pixel to which a positive example label or a negative example label is given and an image including a pixel to which no label is given are referred to. Based on the image set including the distance between the feature vectors of each of the pixels to which the positive example label is assigned, and the distance between the feature vectors of each of the pixels to which the positive example label is assigned and the unlabeled pixels.
  • the value based on the difference with the distance, and the distance between the feature vectors for each of the pixels to which the positive example label is assigned and the unlabeled pixels, the pixel to which the positive example label is assigned, and the negative example label Extract the feature vector of each pixel so that the objective function including the value based on the difference between the feature vectors of each of the assigned pixels is minimized.
  • a likelihood indicating the likelihood of a positive example of the pixel is calculated, a positive example label is assigned to a pixel of a first predetermined number of samples in the order of the likelihood, and By repeatedly giving a negative example label to pixels of a predetermined second number of samples, it is possible to efficiently learn the image recognizer using learning data having no label information.
  • the objective function of the image recognition device learning apparatus includes a distance between feature vectors for each of pixels to which the same label is assigned and a feature vector for each of pixels to which different labels are assigned. May further be represented by a value based on the difference from the distance.
  • a program according to the present invention is a program for functioning as each unit of the above-described image recognizer learning device.
  • an image recognizing device can be efficiently learned using learning data having no label information.
  • FIG. 1 is a block diagram illustrating a configuration of an image recognizer learning device according to an embodiment of the present invention. It is an image figure showing an example of an image set concerning an embodiment of the invention. 5 is a flowchart illustrating an image recognizer learning processing routine of the image recognizer learning device according to the embodiment of the present invention.
  • a method of learning an image recognizer that extracts a target region with high accuracy based on learning data in which only some pixels of an image are labeled is realized.
  • the learning data includes an image to which no label is assigned, a method of efficiently using the image is realized.
  • the likelihood belonging to each label is calculated for a pixel whose label is unknown, and a pseudo label is gradually given from a pixel having high reliability.
  • expression learning is performed to obtain a characteristic expression such that the distance between pixels having the same label is short.
  • labels are sequentially assigned to pixels whose labels are unknown by repeating optimization of the feature expression by expression learning and pseudo labeling based on the feature expression.
  • an image recognizer for extracting a target region can be obtained.
  • a high-precision image recognizer can be learned by giving a pseudo label to other unlabeled data based on some reliable label information.
  • FIG. 1 is a block diagram showing a configuration of an image recognizer learning device 10 according to the embodiment of the present invention.
  • the image recognizer learning device 10 is configured by a computer including a CPU, a RAM, and a ROM storing a program for executing an image recognizer learning processing routine to be described later. It is configured.
  • an image recognizer learning device 10 includes an image set storage unit 100, an expression learning unit 110, a feature extraction model storage unit 120, a feature amount extraction unit 130, a feature vector It includes a set storage unit 140, a positive example distribution estimating unit 150, a positive example distribution storing unit 160, a pseudo label assigning unit 170, and a determining unit 180.
  • the image set storage unit 100 stores an image set including an image including a pixel to which a positive example label or a negative example label is assigned and an image set including an image including a pixel to which no label is assigned. , Three types of label data of a positive example label, a negative example label, or unknown (no label) are associated with each pixel of the image.
  • the problem setting is a problem of extracting a certain target region from an image, and the given label is either a positive example (belonging to the target region) or a negative example (not belonging to the target region). I do.
  • FIG. 2 is an image diagram showing an example of an image set.
  • an image in which some pixels of the horse region and some pixels that are not the horse region are labeled (left and middle in the upper part of FIG. 2), and nothing.
  • an unlabeled image (right in the upper part of FIG. 2), a recognizer for accurately extracting a horse region is learned.
  • the image set storage unit 100 associates each pixel of each image of the image set in the upper part of FIG. 2 with three types of label data of a positive example label, a negative example label, or unknown (no labeling). , And a set of images.
  • the expression learning unit 110 determines a pixel to which a positive example label is assigned based on an image set including an image including a pixel to which a positive example label or a negative example label is assigned and an image including an image including a pixel to which no label is assigned. , And a value based on the difference between the distance between the feature vectors for each of the pixels and the distance between the feature vectors for each of the pixels to which the positive example label is assigned and the pixels to which no label is assigned, and the positive example label is assigned. Between the feature vectors for each of the assigned pixels and the unlabeled pixels, and the distance between the feature vectors for each of the pixels to which the positive example label is assigned and the pixels to which the negative example label is assigned. A feature expression model for extracting a feature vector of the pixel is learned so that an objective function including a value based on the difference is minimized.
  • the objective function further includes a value based on a difference between a distance between feature vectors for each of pixels to which the same label is assigned and a distance between feature vectors for each of pixels to which different labels are assigned. expressed.
  • the expression learning unit 110 first includes, from the image set storage unit 100, an image including a pixel to which a positive example label or a negative example label is assigned, and an image including a pixel to which no label is assigned. Get a set of images. Further, the expression learning unit 110 acquires the characteristic expression model stored in the characteristic extraction model storage unit 120.
  • the expression learning unit 110 uses the three types of label data, positive example, negative example, and unknown, associated with each pixel included in the image set to generate positive and negative examples. Learning of a feature extraction model that increases the distance between
  • a convolutional neural network is used as a feature extraction model to be learned, but any model that can appropriately learn an objective function may be used.
  • ⁇ is a predetermined hyperparameter, and is a value that controls how much the distance between the positive and negative examples should be increased.
  • anchor p a which is the center of the distance comparison in the formula (1), near the feature vectors of the same class for the anchor, learning so that feature vectors of different classes is far advanced.
  • an objective function is set in consideration of a pixel whose label is unknown in this Triplet @ Loss.
  • the pixel whose label is unknown is a pixel that truly belongs to either the positive example or the negative example.
  • the ratio of positive examples included in unlabeled pixels is represented by ⁇ p
  • the ratio of negative examples is represented by ⁇ n
  • a set of unlabeled pixels is represented by U. This ratio is determined in advance for each type of target area, and for example, a value statistically obtained from an image representing the type is used.
  • L tri comparing the respective distances from the anchor (a, p, p') average of next ⁇
  • L tri (a, p, the average value of the n') is the same as L PN, which is the original objective function.
  • L tri (a, p, u) is the distance between the feature vectors of each of the pixels to which the positive example label is assigned, and the distance between the pixels to which the positive example label is assigned and the pixels to which no label is assigned.
  • 5 is an example of a value based on a difference between a feature vector and a distance between feature vectors.
  • L tri (a, u, n) is the distance between the feature vectors of each of the pixel to which the positive example label is assigned and the pixel to which no label is assigned, the pixel to which the positive example label is assigned, and the negative value. It is an example of a value based on a difference between a distance between feature vectors for each of pixels to which an example label is assigned.
  • L PN is a direct objective function, the number of learning samples (6) ( ) Is used in combination.
  • gamma is the predetermined is a value (0 ⁇ gamma ⁇ 1)
  • L PN is a direct objective function
  • the number of learning samples (6) ( ) Is a parameter to adjust. That is, the objective function L PN where all labels originally is known, is a weighted sum of the objective function L PN which can be represented by L PU and L UN based on the label unknown pixel, the equation (7
  • the objective function of (1) learning data having no label information can be used for learning of the image recognizer.
  • the expression learning unit 110 learns a feature extraction model by backpropagation of the error using the stochastic gradient descent method or the like with the above equation (7) as an objective function.
  • the expression learning unit 110 stores the learned feature extraction model in the feature extraction model storage unit 120, and passes the feature extraction model to the feature amount extraction unit 130.
  • the feature extraction model storage unit 120 stores the feature expression model learned by the expression learning unit 110.
  • the feature amount extraction unit 130 extracts a feature vector of each of a plurality of pixels included in the image based on the feature expression model learned by the expression learning unit 110.
  • the feature amount extraction unit 130 extracts a feature vector of the pixel for each of a plurality of pixels included in the image. .
  • the feature amount extraction unit 130 stores the feature vectors for each of the plurality of pixels included in the extracted image in the feature vector set storage unit 140, and passes the feature vectors to the positive example distribution estimation unit 150.
  • the feature vector set storage unit 140 stores a feature vector for each of the pixels extracted by the feature amount extraction unit 130.
  • the positive example distribution estimating unit 150 estimates the distribution of the feature vector for each of the pixels to which the positive example label extracted by the feature amount extracting unit 130 is assigned.
  • the positive example distribution estimating unit 150 puts together the feature vectors of the pixels to which the positive example labels extracted by the feature amount extracting unit 130 are assigned, and performs normal distribution fitting.
  • Positive sample distribution estimating unit 150 obtains an average value mu P and covariance matrix sigma P cord marked was feature vectors positive sample label, it estimates the normal distribution.
  • the positive sample distribution estimating unit 150 an average value mu P and covariance matrix sigma P estimated and stored in the positive sample distribution storage unit 160, and passes to the pseudo label assignment module 170.
  • the normal distribution storage unit 160 stores the normal distribution (the average value ⁇ P and the covariance matrix ⁇ P ) estimated by the positive example distribution estimating unit 150.
  • the pseudo-label assigning section 170 is based on the normal distribution (the average value ⁇ P and the covariance matrix ⁇ P ) estimated by the positive example distribution estimating section 150 and the feature vector of each of the unlabeled pixels. For each of the unlabeled pixels, a likelihood indicating the likelihood of a positive example of the pixel is calculated, and a positive example label is assigned to a pixel of a predetermined first number of samples in descending order of the likelihood. The negative example label is assigned to the pixels of the second predetermined number of samples in the order of the lower likelihood.
  • the pseudo-label assigning unit 170 calculates the likelihood based on the estimated normal distribution with respect to the feature vector u of the pixel to which no label is assigned, as in the following Expression (8): A positive example label is assigned to a sample with a high likelihood and a negative example label is assigned to a sample with a low likelihood.
  • d is the number of dimensions of the feature vector.
  • the number of samples to be labeled in one update is set as ⁇
  • the ratio of positive / negative examples included in the number of samples ⁇ is set as ⁇ P , ⁇ N. That is, the first sample number, which is the number of samples to which the positive example label is added, is ⁇ ⁇ ⁇ P
  • the second sample number which is the number of samples to which the negative example label is added, is ⁇ ⁇ ⁇ N. is there.
  • the pseudo-label assigning unit 170 updates the label of each of the unlabeled pixels stored in the image set storage unit 100.
  • the pseudo label providing unit 170 notifies the determining unit 180 that the label has been provided.
  • the determination unit 180 determines whether or not there is a pixel to which a label is not provided among the pixels of the image. If there is a pixel to which no label is provided, the learning by the expression learning unit 110 and the feature amount extraction unit 130 , The estimation by the positive example distribution estimating unit 150, and the assignment of the label by the pseudo label assigning unit 170 are repeated.
  • the determination unit 180 determines whether or not there is a pixel to which no label is assigned among the pixels of the image stored in the image collection storage unit 100.
  • the expression learning unit 110 is notified to perform learning again, and the expression learning unit 110 performs further learning using a new label.
  • the extraction of the feature vector, the estimation by the positive example distribution estimating unit 150, and the assignment of the label by the pseudo label assigning unit 170 are repeated. By repeating this process until labels are assigned to all pixels, a label set in which labels are assigned to all pixels can be obtained.
  • a positive example label or a negative example label is given to all pixels included in the image as shown in the lower part of FIG. For this reason, a target area for image recognition by the image recognizer can be extracted from the pixel to which the positive example label of the image is added. Further, from the result of repeatedly learning until the positive example label or the negative example label is given to all the pixels, the feature extraction model and the distribution of the feature vector of the pixels to which the positive example label is given are obtained as an image recognizer. .
  • the image recognizer may be re-learned using a label set of an image to which a label is assigned to all pixels stored in the image set storage unit 100. Then, the label of each pixel may be identified using the learned feature extraction model and the likelihood of the pixel to which the positive example has been assigned to the distribution of the feature vector.
  • the feature extraction unit 130 uses the feature extraction model stored in the learned feature extraction model storage unit 120. By extracting a vector and assigning a label by the pseudo label assigning unit 170, a label may be assigned to all pixels included in the image and a target area may be extracted.
  • FIG. 3 is a flowchart showing an image recognizer learning processing routine according to the embodiment of the present invention.
  • step S100 an image set including an image including a pixel to which a positive example label or a negative example label is added and an image including a pixel to which no label is added is acquired from the image set storage unit 100.
  • step S110 the expression learning unit 110 acquires the feature expression model stored in the feature extraction model storage unit 120.
  • step S120 the expression learning unit 110 determines whether the positive example label is based on an image set including an image including a pixel to which a positive example label or a negative example label is assigned and an image including an image including a pixel to which no label is assigned.
  • the distance between the feature vectors for each of the example-labeled pixels and the unlabeled pixels, and the feature vectors for each of the positive-example-labeled pixels and the negative-example-labeled pixels For extracting the feature vector of the pixel so that the objective function of the above equation (7), which is represented by including the value based on the difference from the distance of the pixel, is minimized.
  • step S130 the expression learning unit 110 stores the learned feature extraction model in the feature extraction model storage unit 120.
  • step S140 based on the feature expression model learned in step S120, the feature amount extraction unit 130 extracts a feature vector of each of the plurality of pixels included in each image in the image set.
  • step S ⁇ b> 150 the feature amount extracting unit 130 stores a feature vector for each of a plurality of pixels included in the extracted image in the feature vector set storage unit 140.
  • step S160 the positive example distribution estimating unit 150 estimates the normal distribution of the feature vector for each of the pixels to which the positive example label extracted in step S140 is added.
  • step S170 positive example distribution estimating unit 150, an average value mu P and covariance matrix sigma P estimated and stored in the positive sample distribution storage unit 160.
  • step S180 based on the normal distribution estimated in step S160, the pseudo label assigning unit 170 calculates, for each of the pixels to which no label is assigned, a likelihood indicating the likelihood of the pixel, A positive example label is assigned to pixels of a predetermined first number of samples in descending order of likelihood, and a negative example label is assigned to pixels of a predetermined number of second samples in descending order of likelihood.
  • step S190 the pseudo-label assigning unit 170 updates the label of each of the unlabeled pixels stored in the image set storage unit 100.
  • step S200 the determination unit 180 determines whether or not there is a pixel to which no label is assigned among the pixels of each image in the image set.
  • step S200 If there is a pixel to which no label is given (YES in step S200), the process returns to step S110, and the processes in steps S110 to S200 are repeated.
  • step S200 if there is no pixel to which no label is assigned (NO in step S200), the process ends.
  • the image recognizer learning device As described above, according to the image recognizer learning device according to the embodiment of the present invention, among the pixels of the image, when there is a pixel to which no label is given, a positive example label or a negative example label is given. Based on an image set including an image including pixels and an image including unlabeled pixels, a distance between feature vectors for each of the pixels to which the positive example label is assigned, and a positive example label are assigned.
  • each positive example class can be an anchor, it is necessary to minimize the objective function LPN for each positive example class.
  • the pixel set of the i-th positive example class is denoted by P i , and the objective function of Triplet loss where A is a set of anchors, P is a set of positive examples, and N is a set of negative examples is L (A, P, N).
  • the objective function of the multi-class problem is represented by the following equation (9).
  • C p denotes a number of classes positive cases class.
  • the expression learning unit 110 sets a feature expression model for extracting a feature vector of a pixel such that the objective function represented by the above equation (11) is minimized. learn.
  • the positive example distribution estimating unit 150 estimates, for each positive example class, the normal distribution of the feature vector for each of the pixels to which the positive example label of the positive example class extracted by the feature amount extracting unit 130 is assigned. .
  • the pseudo-label assigning unit 170 based on the normal distribution of the positive example class estimated by the positive example distribution estimating unit 150 and the feature vector of each of the unlabeled pixels. Then, for each of the unlabeled pixels, a likelihood indicating the likelihood of the pixel is calculated as a positive example, and the pixels of a predetermined first number of samples are calculated in descending order of the likelihood. Assign a positive example label of the class. In addition, a negative example label is assigned to a predetermined number of pixels of the second number of samples in ascending order of the total likelihood of each positive example class.
  • the present invention can be applied to multimodal data in which a plurality of input data exist for the same label.
  • a feature expression model for extracting a feature vector of a pixel is learned for each modal so that the objective function shown in the above equation (7) is minimized, and the learning is performed for each modal.
  • a feature vector is obtained by using the feature expression model of the modal, the modal is combined, the normal distribution of the combined vector is estimated using the combined vector obtained by combining the feature vectors of the positive example distribution estimating unit 150, and the pseudo
  • the label assigning unit 170 may assign a positive example label or a negative example label using a connection vector for each of the pixels to which no label is assigned.
  • the image region extraction problem has been described.
  • the present invention is not limited to this problem, and is generally applicable to a problem of estimating discrete labels for input data such as image identification and anomaly detection. Can be applied.
  • the program has been described as being installed in advance, but the program may be stored in a computer-readable recording medium and provided.
  • Image Recognizer Learning Device 100 Image Set Storage Unit 110 Expression Learning Unit 120 Feature Extraction Model Storage Unit 130 Feature Amount Extraction Unit 140 Feature Vector Set Storage Unit 150 Positive Case Distribution Estimating Unit 160 Positive Case Distribution Storage Unit 170 Pseudo Label Assignment Unit 180 Judgment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができるようにする。　判定部１８０が、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、正例ラベルに対応する特徴ベクトルの分布に基づいて、ラベルが付与されていない画素の各々について当該画素の正例らしさを示す尤度に基づいてラベルを所定数付与することを繰り返す。

Description

画像認識器学習装置、画像認識器学習方法、及びプログラム
　本発明は、画像認識器学習装置、画像認識器学習方法、及びプログラムに係り、特に、画像認識器を効率的に学習するための画像認識器学習装置、画像認識器学習方法、及びプログラムに関する。
　深層学習等の機械学習手法を用いて十分な学習用データがあれば、精度よく画像から対象領域の抽出を行えるような認識手法が多数提案されている。
　一方で、十分な学習データが得られていない場合には、一部のデータに過学習を起こしてしまい、認識精度が高まらないという問題がある。例えば、非特許文献１では、学習に用いられるラベルが画像の一部の画素にのみ与えられている画像集合に対して、ラベル不明の画素についてラベルを擬似的に推定することで、高精度な領域抽出器を学習する手法を提案している。
　しかし、非特許文献１の手法では、画像内の輪郭情報と、一部のラベルから学習された認識器のスコアに基づいて、ラベルが与えられている画素周辺のラベル不明画素に対してラベルを伝播させるアプローチを取っているが、このアプローチでは、周辺に同一のラベルが付与されている領域に対してのみ適切な擬似ラベルの付与が可能となるため、例えば全くラベルが与えられていない画像を擬似ラベリングの対象として扱うことができない、という問題があった。
　また、一部のラベルから学習する認識器は少ないサンプルから学習を行うために過学習の危険性が高い、という問題があった。
　本発明は上記の点に鑑みてなされたものであり、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる画像認識器学習装置、画像認識器学習方法、およびプログラムを提供することを目的とする。
　本発明に係る画像認識器学習装置は、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習する表現学習部と、前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出する特徴量抽出部と、前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定する正例分布推定部と、前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与する擬似ラベル付与部と、前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる判定部と、を備えて構成される。
　また、本発明に係る画像認識器学習方法は、表現学習部が、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、特徴量抽出部が、前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出し、正例分布推定部が、前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定し、擬似ラベル付与部が、前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与し、判定部が、前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる。
　本発明に係る画像認識器学習装置及び画像認識器学習方法によれば、表現学習部が、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
　特徴量抽出部が、表現学習部により学習された特徴表現モデルに基づいて、画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出し、正例分布推定部が、特徴量抽出部により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定し、擬似ラベル付与部が、正例分布推定部により推定された分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
　そして、判定部が、画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、表現学習部による学習、特徴量抽出部による特徴ベクトルの抽出、正例分布推定部による推定、及び擬似ラベル付与部によるラベルの付与を繰り返させる。
　このように、画像の画素のうち、ラベルが付与されていない画素がある場合、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、画像に含まれる複数の画素の各々について抽出した正例ラベルが付与された画素の各々についての特徴ベクトルの分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与することを繰り返させることにより、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる。
　また、本発明に係る画像認識器学習装置の前記目的関数は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を更に含んで表されることができる。
　本発明に係るプログラムは、上記の画像認識器学習装置の各部として機能させるためのプログラムである。
　本発明の画像認識器学習装置、画像認識器学習方法、およびプログラムによれば、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる。
本発明の実施の形態に係る画像認識器学習装置の構成を示すブロック図である。 本発明の実施の形態に係る画像集合の一例を示すイメージ図である。 本発明の実施の形態に係る画像認識器学習装置の画像認識器学習処理ルーチンを示すフローチャートである。
　以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係る画像認識器学習装置の概要＞
　まず、本発明の実施の形態の概要について説明する。
　本発明の実施の形態では、画像の一部の画素にのみラベルが付与された学習データに基づいて精度良く対象領域を抽出する画像認識器を学習する手法を実現する。特に、学習データとして全くラベルが付与されていない画像を含む場合においてもそれらを効率的に活用する手法を実現する。
　上述の課題を解決するためには、ラベル付けされていない画素を学習に活用するため、擬似的なラベル付けを行う必要がある。
　本発明の実施の形態では、ラベル不明の画素について各ラベルに属する尤度を算出し、信頼度の高い画素から徐々に擬似ラベルを与える。尤度算出のため、同一ラベルの画素同士で距離が近くなるような特徴表現を求める表現学習を行う。
　表現学習において適切な特徴表現を得るため、ラベル不明の画素についても学習サンプルとして取り入れた目的関数を導入する。これによって学習サンプルの多様性を確保でき、過学習を抑えることができる。
　そして、学習された表現に基づいて、各ラベルが属する分布を推定し、ラベル不明の画素について各ラベルに属する尤度を算出する。算出された尤度が高い画素を選択し、対応する擬似ラベルを与える。
　このようにして、表現学習による特徴表現の最適化と特徴表現に基づく擬似ラベル付けを繰り返すことでラベル不明の画素に対して逐次的にラベルを付与する。
　最終的に得られる全ての画素にラベルが付与された学習データに基づいて認識器を学習することで、対象領域を抽出する画像認識器を得ることができる。
　このような構成により、対象領域のラベル情報を持たない学習データを効率的に用いた画像認識器の学習が可能となる。
　例えば、インフラ設備を撮影した画像から劣化箇所を検知する課題において、撮影画像は大量に存在していても、劣化箇所の詳細な形状を画素毎にラベル付けすることは難しい場合が多い。また、ラベル付けにおいて見落としが発生する可能性もある。
　そうした場合に、一部の信頼できるラベル情報を基にして他のラベル付けされていないデータについても擬似的なラベルを与えることで、高精度な画像認識器を学習することができる。
＜本発明の実施の形態に係る画像認識器学習装置の構成＞
　図１を参照して、本発明の実施の形態に係る画像認識器学習装置１０の構成について説明する。図１は、本発明の実施の形態に係る画像認識器学習装置１０の構成を示すブロック図である。
　画像認識器学習装置１０は、ＣＰＵと、ＲＡＭと、後述する画像認識器学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
　図１に示すように、本実施形態に係る画像認識器学習装置１０は、画像集合記憶部１００と、表現学習部１１０と、特徴抽出モデル記憶部１２０と、特徴量抽出部１３０と、特徴ベクトルセット記憶部１４０と、正例分布推定部１５０と、正例分布記憶部１６０と、擬似ラベル付与部１７０と、判定部１８０とを備えて構成される。
　画像集合記憶部１００には、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合が格納されており、画像集合の画像の各々について、当該画像の各画素に正例ラベル、負例ラベル、又は不明（ラベル付け無し）の３種類のラベルデータが対応付けられている。
　本実施形態では、簡単のため、問題設定を画像からある１つの対象領域を抜き出す問題とし、与えられるラベルについては正例（対象領域に属する）・負例（対象領域に属さない）のいずれかとする。
　図２は、画像集合の一例を示すイメージ図である。この例では、画像から馬の領域を抽出する問題において、馬領域の一部の画素及び馬領域でない一部の画素がラベル付けされている画像（図２上段の左・中）、及び何もラベル付けされていない画像（図２上段の右）を用いて、馬領域を精度よく抽出する認識器を学習する。
　具体的には、画像集合記憶部１００は、図２上段の画像集合の各画像の各画素に正例ラベル、負例ラベル、又は不明（ラベル付け無し）の３種類のラベルデータを対応付けて、画像集合を格納している。
　表現学習部１１０は、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
　当該目的関数は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を更に含んで表される。
　具体的には、表現学習部１１０は、まず、画像集合記憶部１００から、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合を取得する。また、表現学習部１１０は、特徴抽出モデル記憶部１２０に格納されている特徴表現モデルを取得する。
　次に、表現学習部１１０は、画像集合の画像の各々について、当該画像に含まれる各画素に対応付けらえた正例・負例・不明の３種のラベルデータを用いて正例と負例との間の距離が離れるような特徴抽出モデルの学習を行う。
　ここで、本実施の形態では、学習する特徴抽出モデルとして畳み込みニューラルネットワークを用いることを想定するが、目的関数に対して適切な学習が可能なモデルであればいずれでも良い。
＜＜目的関数の設定＞＞
　学習した特徴抽出モデルによって得られる画素ｘの特徴ベクトルをｆ（ｘ）とすると、表現学習部１１０による学習では、正例画素Ｐ＝｛ｐ１，ｐ２，…｝と負例画素Ｎ＝｛ｎ１，ｎ２，…｝に対してｆ（ｐｉ）とｆ（ｐｊ）の距離が小さく、ｆ（ｐｉ）とｆ（ｎｊ）の距離が大きくなるように特徴抽出モデルを学習する。
　この最適化を行うための目的関数は参考文献１においてＴｒｉｐｌｅｔ　Ｌｏｓｓとして提案されており、下記式（１）のような数式によって表される。
［参考文献１］Hoffer and Ailon, "Deep metric learning using triplet network",InternationalWorkshop on Similarity-Based Pattern Recognition 2015.
Figure JPOXMLDOC01-appb-M000001
　ここで、αは予め定められる超パラメータであり、正例と負例との距離をどれだけ離すべきかをコントロールする値である。
　上記式（１）において距離比較の中心となっているｐａをアンカーと呼び、アンカーに対して同一クラスの特徴ベクトルが近くに、異なるクラスの特徴ベクトルが遠くになるよう学習が進む。
　この目的関数を全てのサンプルについて算出する必要があり、それらをまとめた目的関数ＬＰＮは、下記式（３）のようになる。
Figure JPOXMLDOC01-appb-M000002
　ここで、
Figure JPOXMLDOC01-appb-I000003

は該当する全要素における平均値を示す。正例サンプルはどれもアンカーになり得るため、全ての正例サンプルをアンカーとした際の全ての正例・負例の組み合わせに対するＬｔｒｉの平均値が、最小化すべき目的関数となるまた、Ｌｔｒｉ（ａ，ｐ，ｎ）は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値の一例である。
　本実施の形態では、このＴｒｉｐｌｅｔ　Ｌｏｓｓにおいてラベルが不明の画素を考慮した場合の目的関数を設定する。
　ここで、ラベル不明の画素は真には正例・負例のどちらかに属する画素であると仮定する。また、ラベル不明画素に含まれる正例の割合をθｐ、負例の割合をθｎとおき、ラベル不明画素の集合をＵで示す。この割合は、対象領域の種類毎に予め定められるものであり、例えば、当該種類を表す画像から統計的に求められる値を用いる。
　また、ラベル不明画素に含まれる正例及び負例画素の特徴は、ラベルが付与されている正例・負例画素と同じ分布からランダムに得られているものと仮定する。
　この時、既知の正例である集合ＰをアンカーとしてＵとの距離を最大化するＴｒｉｐｌｅｔ　Ｌｏｓｓを考えると下記式（４）のようになる。
Figure JPOXMLDOC01-appb-M000004
　ここで、上記式（４）において、Ｕに含まれる正例画素をＵＰ、負例画素をＵＮで示している。ＰとＵＰとが同じ分布から得られることを想定しているため、アンカーからのそれぞれの距離を比較するＬｔｒｉ（ａ，ｐ，ｐ´）の平均値はαとなり、Ｌｔｒｉ（ａ，ｐ，ｎ´）の平均値は本来の目的関数であるＬＰＮと同じとなる。また、Ｌｔｒｉ（ａ，ｐ，ｕ）は、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値の一例である。
　同様にして、既知の正例である集合ＰをアンカーとしてＵとの距離を近づけ、Ｎとの距離を離すようなＴｒｉｐｌｅｔ　Ｌｏｓｓを考えると下記式（５）のようになる。
Figure JPOXMLDOC01-appb-M000005
　また、Ｌｔｒｉ（ａ，ｕ，ｎ）は、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値の一例である。
　上記式（４）及び式（５）を足し合わせると、下記式（６）が導き出される。
Figure JPOXMLDOC01-appb-M000006
 
　すなわち、データＵに対する仮定が成り立つ場合においては、求めるべき目的関数ＬＰＮがラベル不明画素に基づくＬＰＵとＬＵＮから求められることがわかる。すなわち、全てのラベルが既知である場合の直接的な目的関数であるＬＰＮを、ラベル不明画素に基づくＬＰＵ及びＬＵＮにより表現することができる。
　これは、ラベルが付与されたデータＰ及びデータＮに比べて十分に多いラベル不明データＵが得られる場合に有効な手法となる。
　本実施の形態においては、直接的な目的関数であるＬＰＮと、学習サンプル数を増やすことができる上記式（６）（
Figure JPOXMLDOC01-appb-I000007

）とを組み合わせて用いる。
　最終的に表現学習部１１０において最小化される目的関数は、下記式（７）のようになる。
Figure JPOXMLDOC01-appb-M000008
　ここで、γは、予め定められる値（０＜γ＜１）であり、直接的な目的関数であるＬＰＮと、学習サンプル数を増やすことができる上記式（６）（
Figure JPOXMLDOC01-appb-I000009

）とを調整するためのパラメータである。すなわち、本来全てのラベルが既知である場合の目的関数ＬＰＮと、ラベル不明画素に基づくＬＰＵ及びＬＵＮにより表現することができる目的関数ＬＰＮとの重み付き和である、上記式（７）の目的関数を用いることにより、ラベル情報を持たない学習データを画像認識器の学習に用いることができる。
　表現学習部１１０は、上記式（７）を目的関数として、確率的勾配降下法等を用いて誤差逆伝播によって特徴抽出モデルを学習する。
　そして、表現学習部１１０は、学習した特徴抽出モデルを特徴抽出モデル記憶部１２０に格納し、特徴量抽出部１３０に当該特徴抽出モデルを渡す。
　特徴抽出モデル記憶部１２０には、表現学習部１１０により学習された特徴表現モデルが格納される。
　特徴量抽出部１３０は、表現学習部１１０により学習された特徴表現モデルに基づいて、画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出する。
　具体的には、特徴量抽出部１３０は、画像の各画素に、学習された特徴抽出モデルを適用させることにより、当該画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出する。
　そして、特徴量抽出部１３０は、抽出した画像に含まれる複数の画素の各々についての特徴ベクトルを、特徴ベクトルセット記憶部１４０に格納し、正例分布推定部１５０に渡す。
　特徴ベクトルセット記憶部１４０には、特徴量抽出部１３０により抽出された画素の各々についての特徴ベクトルが格納される。
　正例分布推定部１５０は、特徴量抽出部１３０により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定する。
　具体的には、正例分布推定部１５０は、特徴量抽出部１３０により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルをまとめ、正規分布のフィッティングを行う。
　正例分布推定部１５０は、正例ラベルに紐づけられた特徴ベクトルの平均値μＰ及び共分散行列ΣＰを求め、当該正規分布を推定する。
　そして、正例分布推定部１５０は、推定した平均値μＰ及び共分散行列ΣＰを、正例分布記憶部１６０に格納し、擬似ラベル付与部１７０に渡す。
　正例分布記憶部１６０には、正例分布推定部１５０により推定された正規分布（平均値μＰ及び共分散行列ΣＰ）が格納される。
　擬似ラベル付与部１７０は、正例分布推定部１５０により推定された正規分布（平均値μＰ及び共分散行列ΣＰ）と、ラベルが付与されていない画素の各々についての特徴ベクトルとに基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
　具体的には、擬似ラベル付与部１７０は、推定された正規分布に基づいて、ラベルが付与されていない画素の特徴ベクトルｕに対して、下記式（８）のように尤度を算出し、尤度の高いサンプルから正例ラベルを、尤度の低いサンプルから負例ラベルを付与する。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｄは、特徴ベクトルの次元数である。
　新たにラベル付与するサンプルの数については、あらかじめ２つの超パラメータを設定する。１回の更新でラベル付与するサンプル数をβとし、そのサンプル数βに含まれる正例・負例の比率をθＰ，θＮとして設定する。すなわち、正例ラベルが付与されるサンプルの数である第１サンプル数は、β×θＰであり、負例ラベルが付与されるサンプルの数である第２サンプル数は、β×θＮである。
　そして、擬似ラベル付与部１７０は、画像集合記憶部１００に格納されているラベルが付与されていない画素の各々についてのラベルを更新する。
　また、擬似ラベル付与部１７０は、ラベルを付与した旨を、判定部１８０に通知する。
　判定部１８０は、画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、表現学習部１１０による学習、特徴量抽出部１３０による特徴ベクトルの抽出、正例分布推定部１５０による推定、及び擬似ラベル付与部１７０によるラベルの付与を繰り返させる。
　具体的には、判定部１８０は、画像集合記憶部１００に格納されている画像の画素のうち、ラベルが付与されていない画素があるか否かを判定する。
　ラベルが付与されていない画素がある場合、表現学習部１１０に対し、再度学習を行うように通知し、表現学習部１１０により新たなラベルを用いてさらに学習が行われ、特徴量抽出部１３０による特徴ベクトルの抽出、正例分布推定部１５０による推定、及び擬似ラベル付与部１７０によるラベルの付与が繰り返される。全ての画素についてラベルが付与されるまでこれを繰り返すことで、ラベルが全画素に付与されたラベルセットを得ることができる。
　一方、ラベルが付与されていない画素がない場合、処理を終了する。
　処理を終了した場合、例えば、図２下段に示すように画像に含まれるすべての画素に正例ラベル又は負例ラベルが付与される。このため、当該画像の正例ラベルが付与された画素により、画像認識器による画像認識の対象領域を抽出することができる。また、すべての画素に正例ラベル又は負例ラベルが付与されるまで繰り返し学習した結果から、特徴抽出モデル、及び正例ラベルが付与された画素の特徴ベクトルの分布が、画像認識器として得られる。
　他の画像に対してラベル推定をする場合には、画像集合記憶部１００に格納されているすべての画素についてラベルが付与された画像のラベルセットを用いて画像認識器を学習し直しても良いし、学習済みの特徴抽出モデル、及び正例が付与された画素の特徴ベクトルの分布に対する尤度を用いて、各画素のラベルを識別しても良い。
　例えば、図２上段の右に示すようなラベルが付与されていない画像の場合、まず、学習済みの特徴抽出モデル記憶部１２０に格納された特徴抽出モデルを用いて、特徴量抽出部１３０による特徴ベクトルの抽出を行い、擬似ラベル付与部１７０によるラベルの付与を行うことにより、当該画像に含まれるすべての画素にラベルを付与し、対象領域を抽出してもよい。
＜本発明の実施の形態に係る画像認識器学習装置の作用＞
　図３は、本発明の実施の形態に係る画像認識器学習処理ルーチンを示すフローチャートである。
　画像認識器学習装置１０において、図３に示す画像認識器学習処理ルーチンが実行される。
　まず、ステップＳ１００において、画像集合記憶部１００から、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合を取得する。
　次に、ステップＳ１１０において、表現学習部１１０は、特徴抽出モデル記憶部１２０に格納されている特徴表現モデルを取得する。
　ステップＳ１２０において、表現学習部１１０は、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される、上記式（７）の目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
　ステップＳ１３０において、表現学習部１１０は、学習した特徴抽出モデルを特徴抽出モデル記憶部１２０に格納する。
　ステップＳ１４０において、特徴量抽出部１３０は、上記ステップＳ１２０により学習された特徴表現モデルに基づいて、画像集合の各画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出する。
　ステップＳ１５０において、特徴量抽出部１３０は、抽出した画像に含まれる複数の画素の各々についての特徴ベクトルを、特徴ベクトルセット記憶部１４０に格納する。
　ステップＳ１６０において、正例分布推定部１５０は、上記ステップＳ１４０により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルの正規分布を推定する。
　ステップＳ１７０において、正例分布推定部１５０は、推定した平均値μＰ及び共分散行列ΣＰを、正例分布記憶部１６０に格納する。
　ステップＳ１８０において、擬似ラベル付与部１７０は、上記ステップＳ１６０により推定された正規分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
　ステップＳ１９０において、擬似ラベル付与部１７０は、画像集合記憶部１００に格納されているラベルが付与されていない画素の各々についてのラベルを更新する。
　ステップＳ２００において、判定部１８０は、画像集合の各画像の画素のうち、ラベルが付与されていない画素があるか否かを判定する。
　ラベルが付与されていない画素がある場合（上記ステップＳ２００のＹＥＳ）、ステップＳ１１０に戻り、上記ステップＳ１１０～Ｓ２００の処理を繰り返す。
　一方、ラベルが付与されていない画素がない場合（上記ステップＳ２００のＮＯ）、処理を終了する。
　以上説明したように、本発明の実施形態に係る画像認識器学習装置によれば、画像の画素のうち、ラベルが付与されていない画素がある場合、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、画像に含まれる複数の画素の各々について抽出した正例ラベルが付与された画素の各々についての特徴ベクトルの分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与することを繰り返させることにより、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
＜多クラス問題への拡張＞
　上述の実施の形態は、正例と負例のみが現れる２クラスの問題設定であったが、３以上の多クラスの問題についても同様のアプローチを適用することができる。
　例えば、多数の正例クラスと１つの負例クラス（まとまった意味を持たないようなその他クラス）を識別する問題について適用方法を示す。
　この場合、各正例クラスはそれぞれアンカーとなり得るため、各正例クラスについて上述の目的関数ＬＰＮを最小化する必要がある。ｉ番目の正例クラスの画素集合をＰｉで示し、Ａをアンカーの集合、Ｐを正例の集合、Ｎを負例の集合とするＴｒｉｐｌｅｔ　ｌｏｓｓの目的関数をＬ（Ａ，Ｐ，Ｎ）で示すとすると、多クラス問題の目的関数は下記式（９）のように表される。
Figure JPOXMLDOC01-appb-M000011
　ここで、Ｃｐは正例クラスのクラス数を示す。
　ラベル不明画素を考慮する場合、各クラスについて２クラスの場合と同様の式が成り立つため、下記式（１０）のように表される。
Figure JPOXMLDOC01-appb-M000012
　これに基づいて２クラスの場合と同様にγで重み付けされた目的関数は下記式（１１）のようになる。
Figure JPOXMLDOC01-appb-M000013
　ただし、この式変形はラベル不明画素Ｕがラベル付き画素と同じ分布から得られていることを仮定しているため、各クラスにおけるラベル付けされた画素数の比率とラベル不明画素Ｕに含まれる各クラスに属する画素数の比率を揃える必要がある。
　ラベル不明画素Ｕに含まれる各クラスのラベル比率を何らかの方法で推定もしくは仮定し、その比率に合うようラベル付き画素の数を調整しながら擬似ラベルを付与していくことが望ましい。
　上述したように、多クラス問題へ拡張する場合には、表現学習部１１０は、上記式（１１）に示す目的関数が最小になるように、画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
　また、正例分布推定部１５０は、各正例クラスについて、特徴量抽出部１３０により抽出された当該正例クラスの正例ラベルが付与された画素の各々についての特徴ベクトルの正規分布を推定する。
　また、擬似ラベル付与部１７０は、各正例クラスについて、正例分布推定部１５０により推定された当該正例クラスの正規分布と、ラベルが付与されていない画素の各々についての特徴ベクトルとに基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、当該正例クラスの正例ラベルを付与する。また、各正例クラスの尤度の総和が低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
　画像認識器学習装置１０の他の構成については、２クラス問題の場合と同様である。
＜多モーダル問題への拡張＞
　また、入力データが同一のラベルに対して複数存在しているような多モーダルのデータに対しても本発明を適用することができる。
　この場合、表現学習部１１０による学習では、モーダル毎に、上記式（７）に示す目的関数が最小になるように、画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、モーダル毎に、当該モーダルの特徴表現モデルを用いて特徴ベクトルを得て、モーダル間で結合し、正例分布推定部１５０の特徴ベクトルを結合した結合ベクトルを用いて、結合ベクトルの正規分布を推定し、擬似ラベル付与部１７０では、ラベルが付与されていない画素の各々についての結合ベクトルを用いて、正例ラベルや負例ラベルを付与すればよい。
＜画像領域抽出以外の問題への拡張＞
　また、上述の実施の形態では、画像領域抽出問題について説明したが、これに限定されるものではなく、画像識別や異変検知などの入力データに対して離散的なラベルを推定する問題一般に対して適用することができる。
　また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０ 画像認識器学習装置
１００ 画像集合記憶部
１１０ 表現学習部
１２０ 特徴抽出モデル記憶部
１３０ 特徴量抽出部
１４０ 特徴ベクトルセット記憶部
１５０ 正例分布推定部
１６０ 正例分布記憶部
１７０ 擬似ラベル付与部
１８０ 判定部

Claims (4)

  1. 　正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習する表現学習部と、
    　前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出する特徴量抽出部と、
    　前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定する正例分布推定部と、
    　前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与する擬似ラベル付与部と、
    　前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる判定部と、
    　を含む画像認識器学習装置。
  2. 　前記目的関数は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を更に含んで表される
    　請求項１記載の画像認識器学習装置。
  3. 　表現学習部が、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、
    　特徴量抽出部が、前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出し、
    　正例分布推定部が、前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定し、
    　擬似ラベル付与部が、前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与し、
    　判定部が、前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる
    　画像認識器学習方法。
  4. 　コンピュータを、請求項１又は２記載の画像認識器学習装置の各部として機能させるためのプログラム。
PCT/JP2019/035215 2018-09-20 2019-09-06 画像認識器学習装置、画像認識器学習方法、及びプログラム Ceased WO2020059545A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/277,248 US11989929B2 (en) 2018-09-20 2019-09-06 Image classifier learning device, image classifier learning method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018176051A JP7067383B2 (ja) 2018-09-20 2018-09-20 画像認識器学習装置、画像認識器学習方法、及びプログラム
JP2018-176051 2018-09-20

Publications (1)

Publication Number Publication Date
WO2020059545A1 true WO2020059545A1 (ja) 2020-03-26

Family

ID=69887335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035215 Ceased WO2020059545A1 (ja) 2018-09-20 2019-09-06 画像認識器学習装置、画像認識器学習方法、及びプログラム

Country Status (3)

Country Link
US (1) US11989929B2 (ja)
JP (1) JP7067383B2 (ja)
WO (1) WO2020059545A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022019108A (ja) * 2020-07-17 2022-01-27 日本電信電話株式会社 特徴学習装置、特徴抽出装置、特徴学習方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189122A1 (ja) * 2019-03-18 2020-09-24 日本電気株式会社 送信端末特定装置、送信端末特定方法及びプログラム
EP3933528B1 (en) * 2020-06-30 2024-10-02 Bull SAS Predicting system in additive manufacturing process by machine learning algorithms
WO2022162732A1 (ja) * 2021-01-26 2022-08-04 日本電信電話株式会社 パラメータ更新方法、特徴抽出器、及び特徴抽出プログラム
JP7620290B2 (ja) 2021-08-03 2025-01-23 日本電信電話株式会社 学習装置、学習方法、およびプログラム
CN116524288A (zh) * 2022-01-20 2023-08-01 戴尔产品有限公司 用于训练模型的方法、设备和程序产品
IL290416B2 (en) * 2022-02-07 2025-03-01 Seetrue Screening Ltd Detection of a concealed prohibited material in an item, using image processing
JP7426613B2 (ja) 2022-02-28 2024-02-02 パナソニックＩｐマネジメント株式会社 学習方法、及び、プログラム
CN114663643B (zh) * 2022-03-14 2025-04-11 北京达佳互联信息技术有限公司 标识识别方法、装置、电子设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117019A (ja) * 2015-12-21 2017-06-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117019A (ja) * 2015-12-21 2017-06-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HOFFER, ELAD ET AL.: "DEEP METRIC LEARNING USING TRIPLET NETWORK", INTERNATIONALWORKSHOP ON SIMILARITY-BASED PATTERN RECOGNITION, 2015, pages 1 - 8, XP055263335 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022019108A (ja) * 2020-07-17 2022-01-27 日本電信電話株式会社 特徴学習装置、特徴抽出装置、特徴学習方法及びプログラム
JP7425445B2 (ja) 2020-07-17 2024-01-31 日本電信電話株式会社 特徴学習装置、特徴抽出装置、特徴学習方法及びプログラム

Also Published As

Publication number Publication date
US11989929B2 (en) 2024-05-21
US20210357698A1 (en) 2021-11-18
JP7067383B2 (ja) 2022-05-16
JP2020047055A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
WO2020059545A1 (ja) 画像認識器学習装置、画像認識器学習方法、及びプログラム
JP6855091B2 (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
EP3767536B1 (en) Latent code for unsupervised domain adaptation
CN114255381B (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN108537168B (zh) 基于迁移学习技术的面部表情识别方法
CN108235770A (zh) 图像识别方法及云端系统
CN108710948B (zh) 一种基于聚类均衡和权重矩阵优化的迁移学习方法
CN114067155B (zh) 基于元学习的图像分类方法、装置、产品及存储介质
CN112949693A (zh) 图像分类模型的训练方法、图像分类方法、装置和设备
EP4414692A1 (en) Artificial intelligence-based material defect detection system and method considering type and distribution of real defect images
CN112926496A (zh) 用于预测图像清晰度的神经网络、训练方法及预测方法
CN116721441B (zh) 基于区块链的门禁安全管理方法与系统
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN111401112A (zh) 人脸识别方法和装置
CN112446428A (zh) 一种图像数据处理方法及装置
CN107657223B (zh) 一种基于快速处理多距离度量学习的人脸认证方法
KR102646430B1 (ko) 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
KR102636135B1 (ko) 불균형 초서 인식을 위한 주목도를 이용한 로우샷 전이 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20240087443A (ko) 비지도 도메인 적응을 위한 객체 검색 모델의 트레이닝 방법 및 장치
CN115761302A (zh) 基于前向特征兼容的小样本目标识别方法
JP2022028912A (ja) 照合処理装置、照合処理方法、及び、照合処理プログラムが格納された記録媒体
CN113902922A (zh) 图片识别方法、介质、装置和计算设备
CN111931586A (zh) 人脸年龄识别方法、装置及存储介质
Talreja Stochastically optimized handwritten character recognition system using Hidden Markov Model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19863576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19863576

Country of ref document: EP

Kind code of ref document: A1