WO2017029758A1 - 学習装置および学習識別システム - Google Patents

学習装置および学習識別システム Download PDF

Info

Publication number
WO2017029758A1
WO2017029758A1 PCT/JP2015/073374 JP2015073374W WO2017029758A1 WO 2017029758 A1 WO2017029758 A1 WO 2017029758A1 JP 2015073374 W JP2015073374 W JP 2015073374W WO 2017029758 A1 WO2017029758 A1 WO 2017029758A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
class
identification
unit
samples
Prior art date
Application number
PCT/JP2015/073374
Other languages
English (en)
French (fr)
Inventor
孝之 瀬光
信明 本山
関口　俊一
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017535217A priority Critical patent/JP6338781B2/ja
Priority to CN201580082158.0A priority patent/CN107924493A/zh
Priority to US15/554,534 priority patent/US20180039822A1/en
Priority to PCT/JP2015/073374 priority patent/WO2017029758A1/ja
Priority to DE112015006815.5T priority patent/DE112015006815T5/de
Publication of WO2017029758A1 publication Critical patent/WO2017029758A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Definitions

  • the present invention relates to, for example, a learning device and a learning identification system for learning a classifier for identifying a class to which a target object in an image belongs.
  • Non-Patent Document 1 describes a technique for obtaining the frequency of light and dark levels in an image as a histogram. Such processing is also an example of the feature extraction processing.
  • Supervised learning is a learning method in which a learning sample with a label corresponding to an input image is prepared and a calculation formula for estimating a corresponding label from an image or a feature vector is obtained based on the learning sample.
  • Non-Patent Document 1 describes image identification processing using the shortest distance method, which is one of the supervised learnings.
  • the shortest distance method a distance in the feature space with each class is obtained as a classification unit, and it is determined that the distance belongs to a class having the smallest distance.
  • Non-Patent Document 2 describes a method of learning facial expressions in an image using a neural network called Convolutional Neural Networks (hereinafter referred to as CNN).
  • CNN Convolutional Neural Networks
  • the probability belonging to each class is obtained for the image to be classified, and the class having the maximum probability is determined as the class to which the image belongs.
  • Non-Patent Document 3 describes facial expression recognition for recognizing a facial expression of a person in an image.
  • facial expression recognition the facial expression of a person in an image is generally classified into seven classes: joy, sadness, anger, true face, surprise, fear, and disgust. An identification result is obtained.
  • the facial expression recognition output format may be a format for determining the certainty factor for each of the seven classes. In any case, a standard indicating which class the image to be identified belongs to is set.
  • N is a natural number of 3 or more
  • M is a natural number greater than or equal to 2 and smaller than N
  • the present invention solves the above-described problems, and an object of the present invention is to obtain a learning device and a learning identification system capable of comparing the results of N class identification with identification criteria for M class identification problems smaller than N.
  • the learning device includes a learning sample acquisition unit, a classification unit, and a learning unit.
  • the learning sample acquisition unit acquires learning samples classified into each class by N class identification.
  • the classifying unit reclassifies the learning samples acquired by the learning sample acquiring unit into classes that are fewer than N and are subject to M class identification.
  • the learning unit learns a classifier for performing M class identification based on the learning sample reclassified by the classification unit.
  • the learning sample classified into each class by N class identification is reclassified into M class identification classes having fewer than N to learn a classifier that provides an identification criterion for M class identification.
  • the results of class identification can be compared with less than N classification criteria for M class identification problems.
  • FIG. 1 is a block diagram illustrating a hardware configuration of a learning device according to Embodiment 1.
  • FIG. 6A shows a hardware processing circuit that realizes the function of the learning device, and FIG.
  • 6B shows a hardware configuration that executes software that realizes the function of the learning device.
  • 4 is a flowchart showing an operation of the learning device according to the first embodiment. It is a figure which shows the outline
  • FIG. 8A shows learning samples reclassified from 7 classes to 2 classes, and
  • FIG. 8B shows the results of 2-class identification. It is a block diagram which shows the function structure of the learning apparatus which concerns on Embodiment 2 of this invention.
  • 6 is a flowchart illustrating an operation of the learning device according to the second embodiment. It is a figure which shows the process which adjusts the ratio of the number of samples of the learning sample between classes. 11A shows a case where the number of samples is not adjusted, and FIG. 11B shows a case where the number of samples is adjusted.
  • FIG. 1 is a diagram showing an outline of image identification in facial expression recognition.
  • the images to be identified are classified into the class of classifiers that output the highest classification score when input to the classifier of each class, and the identification result is obtained according to the classification standard of each class. It is done.
  • the image 100a is classified into the class of the label “joy”
  • the image 100b is classified into the class of the label “sadness”
  • the image 100c is classified into the class of the label “anger”.
  • a result such as “joy level 80” is output for the image 100a.
  • the degree of joy corresponds to the degree of certainty that the image to be identified belongs to the class of the label “joy” and has a value from 0 to 100.
  • FIG. 2 is a diagram showing a problem when the result of 7-class identification in facial expression recognition is compared with an identification criterion for 2-class identification.
  • the degree of sadness corresponds to the degree of certainty that the image to be identified belongs to the class of the label “sadness”, and is a value from 0 to 100.
  • the degree of surprise corresponds to the degree of certainty that the image to be identified belongs to the class of “surprise” and has a value from 0 to 100.
  • the degree of fear corresponds to the degree of certainty that the image to be identified belongs to the label “fear” class, and is a value from 0 to 100.
  • the discrimination result of the joy level 80 and the discrimination result of the surprise level 80 cannot be given the superiority or inferiority of which is more positive, and these discrimination results are compared on the affirmation axis shown in FIG. Can not do it. That is, a correspondence relationship such as “if the affirmation degree of the identification result of the joy degree 100 is 100, the affirmation degree of the identification result of the surprise degree 100 is 80” is not known.
  • the feature vector of the learning sample is represented by a variable (x 1 , x 2 ).
  • classes C1 to C6 are represented by dotted circles, and an average vector of feature vectors of learning samples classified into each class is the center point of the circle.
  • the radius of the circle is 50, which is the same radius for each class.
  • the positive class is a class into which data to be detected is classified. For example, in the above-described two-class identification problem “whether or not a positive expression is given”, an image in which the subject person is identified as having a positive expression is classified.
  • the negative class is a class in which data that is not a detection target is classified. For example, in the above-described two-class identification problem “whether or not a positive expression is given”, an image in which the subject person is identified as not having a positive expression is classified.
  • FIG. 4 is a diagram illustrating a state in which an identification boundary between classes is set for the feature space of FIG.
  • the identification boundary is a boundary where classes in which data is classified between classes in the feature space are switched, and identification boundaries E1 to E6 that are boundaries of the classes C1 to C6 are set.
  • the six-class identification problem is solved by applying the shortest distance method. It is determined which feature vector of the learning sample is close to the average vector of classes C1 to C6, and the label of the closest class is the learning class. This is the sample identification result.
  • the distance between the identification boundary defined by the line segment and the feature vector of the learning sample is used as shown in FIG.
  • the feature vector of the point A matches the average vector of the class C2
  • the distance from the contact point between the circle of the class C2 and each of the circles of the classes C1 and C3 is 50. It becomes.
  • the feature vector of the point B is data of confidence level 0 in the class C2 or the class C3.
  • the confidence levels of the two classes are equal, the shortest distance method cannot determine whether the data of the point B is class C2 or class C3.
  • the center point of the positive class average vector is the point C
  • the average vector of the negative class is point D. Therefore, the identification boundary between the positive class and the negative class in the two-class identification problem is the identification boundary E4.
  • the feature vector of the point A that is data of the certainty factor 50 classified into the class C2 by the six-class identification and the certainty factor classified into the class C2 or the class C3
  • the feature vector of point B which is 0 data, becomes data with the same certainty factor 50 as the two-class identification problem. That is, the feature vector of each point on the line segment F parallel to the identification boundary E4 has the same certainty when considering the two-class identification problem. For this reason, it is not possible to define the correspondence between the result of 6-class identification and the result of 2-class identification.
  • M may be 3 or more and less than N
  • a plurality of identification boundaries are set, and the positional relationship between classes is also It becomes complicated. Even in this case, it is necessary to compare the individual identification results of the N class identification problem according to the identification standard of the M class identification problem, and the correspondence between the N class identification result and the M class identification result cannot be defined. It becomes a problem.
  • the learning sample classified into each class by N class identification is reclassified into an M class identification class, and identification for performing M class identification based on the reclassified learning sample is performed.
  • Learn the vessel Thereby, it is possible to learn a discriminator that performs discrimination based on the discrimination criterion of M class discrimination from the learning samples classified into each class by N class discrimination. This will be described in detail below.
  • FIG. 5 is a block diagram showing a functional configuration of the learning identification system 1 according to Embodiment 1 of the present invention.
  • the learning identification system 1 is a system that performs identification processing by pattern recognition such as facial expression recognition and object detection, and includes a learning device 2, a storage device 3, and an identification device 4.
  • the learning device 2 according to Embodiment 1 includes a learning sample acquisition unit 2a, a classification unit 2b, and a learning unit 2c.
  • the storage device 3 is a storage device that stores the discriminator learned by the learning device 2.
  • the identification device 4 is a device that identifies identification target data using the classifier learned by the learning device 2, and includes a feature extraction unit 4a and an identification unit 4b.
  • the learning device 2 and the identification device 4 are shown as separate devices, but may be a single device having both functions.
  • the learning sample acquisition unit 2a is a component that acquires the learning sample.
  • the learning sample is acquired from an external storage device such as a video camera or a hard disk drive.
  • the learning sample is composed of a pair of a feature vector extracted from the learning target data and a label associated therewith.
  • Examples of the learning target data include multimedia data such as image data, video data, audio data, and text data.
  • the feature vector is data indicating the feature amount of the learning target data.
  • the image data may be used as a feature vector.
  • processed data obtained by performing feature extraction processing such as a primary differential filter or an average value filter on image data may be used as a feature vector.
  • the label is information for identifying a class to which the learning sample belongs. For example, a label “dog” is attached to a class of image data in which the subject is a dog.
  • the learning samples are classified into N classes by N class identification. However, N is a natural number of 3 or more. Note that the learning sample may be an identification result obtained when the identification device 4 performs N class identification.
  • the classification unit 2b reclassifies the learning samples acquired by the learning sample acquisition unit 2a into classes that are fewer than N and are subject to M class identification.
  • M is a natural number of 2 or more and less than N.
  • the classifying unit 2b identifies the M learning class based on the reference data in which the correspondence between the label of the class to be identified by N class and the label of the class to be identified by M class is defined. Reclassify to the corresponding label class. That is, the classifying unit 2b selects the class label in which the learning sample is classified based on the reference data in which the correspondence between the labels is defined as described above, among the labels of the classes targeted by the M class identification. Sort to the label you want. The learning sample is classified into the class of labels distributed in this way. By performing such label redistribution and classification on all learning samples, the learning samples classified into each class by N class identification are reclassified to the target class by M class identification.
  • the learning unit 2c learns a classifier for performing M class identification based on the learning sample reclassified by the classification unit 2b.
  • the relationship between the feature vector and the label of the plurality of learning samples is learned, and the identification criterion for M class identification is determined.
  • Examples of the learning method include a shortest distance method or a learning method using CNN.
  • the storage device 3 is a storage device that stores the discriminator learned by the learning device 2.
  • the storage device 3 may be built in the learning device 2 or the identification device 4.
  • the learning identification system 1 may not include the storage device 3. That is, the learning device 2c of the learning device 2 can directly set the discriminator for the discriminating unit 4b of the discriminating device 4, whereby the storage device 3 can be omitted.
  • the feature extraction unit 4 a extracts a feature vector that is a feature amount of the identification target data.
  • the identification unit 4b performs M class identification of the identification target data based on the classifier learned by the learning device 2 and the feature vector acquired by the feature extraction unit 4a. For example, the identification unit 4b identifies a class to which the classification target data belongs using a classifier, and outputs a label of this class as a classification result.
  • the learning device 2 includes a processing circuit for performing processing from step ST1 to step ST3 shown in FIG.
  • the processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in the memory.
  • FIG. 6 is a block diagram illustrating a hardware configuration of the learning device 2 according to the first embodiment.
  • FIG. 6A shows a hardware processing circuit that implements the function of the learning device 2
  • FIG. 6B shows a hardware configuration that executes software that implements the function of the learning device 2.
  • the processing circuit when the processing circuit is a dedicated hardware processing circuit 100, the processing circuit 100 may be, for example, a single circuit, a composite circuit, a programmed processor, or a parallel programmed processor.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the functions of the learning sample acquisition unit 2a, the classification unit 2b, and the learning unit 2c may be realized by a processing circuit, or the functions of the units may be realized by a single processing circuit.
  • the processing circuit is the CPU 101
  • the functions of the learning sample acquisition unit 2a, the classification unit 2b, and the learning unit 2c are realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are described as programs and stored in the memory 102.
  • the CPU 101 reads out and executes the program stored in the memory 102, thereby realizing the functions of each unit.
  • the learning device 2 includes a memory 102 for storing a program that, when executed by the CPU 101, results in the processing from step ST1 to step ST3 shown in FIG.
  • these programs cause the computer to execute the procedure or method of the learning sample acquisition unit 2a, the classification unit 2b, and the learning unit 2c.
  • the memory is, for example, a RAM (Random Access Memory), ROM, flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Programmable EPROM), or other nonvolatile or volatile semiconductor memory, magnetic disk, flexible disk, Optical discs, compact discs, mini discs, DVDs (Digital Versatile Disk), and the like are applicable.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrically Programmable EPROM
  • magnetic disk magnetic disk
  • flexible disk Optical discs
  • compact discs compact discs
  • mini discs mini discs
  • DVDs Digital Versatile Disk
  • the functions of the learning sample acquisition unit 2a, the classification unit 2b, and the learning unit 2c may be realized by dedicated hardware, and a part may be realized by software or firmware.
  • the learning sample acquisition unit 2a realizes its function by a dedicated hardware processing circuit 100
  • the classification unit 2b and the learning unit 2c realize its function by executing a program stored in the memory 102 by the CPU 101.
  • the processing circuit can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • the functions of the feature extraction unit 4a and the identification unit 4b in the identification device 4 may be realized by dedicated hardware, or may be realized by software or firmware, like the learning device 2. Also, some of these functions may be realized by dedicated hardware, and some may be realized by software or firmware.
  • FIG. 7 is a flowchart showing the operation of the learning device 2.
  • the reclassification is executed based on the correspondence between the labels.
  • reference data in which a correspondence relationship between a label of a class to be identified by 7 classes and a label of a class to be identified by 2 classes is defined in advance.
  • the classification unit 2b distributes the class labels of the learning samples to the corresponding labels among the labels of the classes targeted by the two-class identification.
  • the learning sample is classified into a class of labels distributed to the classification unit 2b.
  • the correspondence relationship between the label of the class that is the object of N class identification and the label of the class that is the object of M class identification differs depending on the purpose of the application for performing information processing using the learning identification system 1. If the application is intended to detect positive facial expressions from the image of the person watching the advertisement, for example, the “joy”, “surprise”, and “true face” labels in facial expression recognition correspond to “positive” labels
  • the labels “sadness”, “anger”, “fear”, and “disgust” are associated with the label “negative”.
  • the learning apparatus 2 may determine the correspondence between labels automatically, a user may set.
  • the classifying unit 2b analyzes the processing algorithm of the application, identifies the M class identification performed by the application, the label of the class targeted by the M class identification, and the class targeted by the N class identification You may associate with the label of. Further, the user may set the correspondence between the labels using the input device.
  • the learning unit 2c learns a classifier for performing M class identification based on the learning sample reclassified by the classification unit 2b (step ST3). For example, when a feature vector of identification target data is input, a discriminator is generated that identifies a class to which the identification target data belongs, among the two-class identification classes (positive and negative). The discriminator obtained in this way is stored in the storage device 3.
  • the feature extraction unit 4a of the identification device 4 inputs an image showing the person who sees the advertisement and extracts a feature vector from this image.
  • the identification unit 4b identifies whether the image belongs to a positive class or a negative class based on the classifier read from the storage device 3 and the feature vector of the image. Is output as the identification result.
  • FIG. 8 is a diagram showing an outline of processing for performing 2-class identification using the result of 7-class identification in facial expression recognition.
  • FIG. 8 (a) shows a learning sample reclassified from 7 classes (joy, surprise, face, sadness, anger, fear, disgust) to 2 classes (positive, negative), and FIG. The result of 2-class identification is shown.
  • An image 100a shown in FIG. 8B is an image that is classified into the class of the label “joy”, and an identification result of joy degree 80 is obtained, and the image 100b is classified into the class of the label “sadness”, and is sad. It is an image with an identification result of degree 80. Further, the image 100d is an image that is classified into the label “surprise” class and obtained the identification result of the surprise degree 80, and the image 100e is classified into the label “fear” class and the identification result of the fear degree 80. Is the obtained image.
  • each data classified into each class by 7-class identification is re-classified into a target class by 2-class identification according to the correspondence between labels.
  • each data consisting of a pair of feature vectors and labels of the images 100a and 100d is labeled with the label “joy” and the label “surprise” sorted into the label “positive” regardless of the pleasure level 80 and the surprise level 80. Reclassified as “positive” class.
  • the data consisting of a pair of feature vectors and labels of the images 100b and 100e are classified into the label “negative” from the label “sadness” and the label “fear” regardless of the sadness degree 80 and the fear degree 80. Reclassified to the class of label “Negative”.
  • the learning device 2 learns a discriminator using a positive facial expression as a discrimination criterion based on the learning samples reclassified into the “positive” class and the “negative” class in this way. .
  • the data of the images 100a, 100b, 100d, and 100e that have been classified into the respective classes by the 7-class discrimination are converted into affirmation degrees. It is possible to make a comparison based on the two-class identification criterion. For example, the data of the image 100a having the joy degree 80 has an affirmation degree 80, and the data of the image 100d having the surprise degree 80 has an affirmation degree 70. Data of the image 100b having the sadness degree 80 has an affirmation degree 40, and data of the image 100e having the fear degree 80 has an affirmation degree 30.
  • the learning device 2 includes the learning sample acquisition unit 2a, the classification unit 2b, and the learning unit 2c.
  • the learning sample acquisition unit 2a acquires learning samples classified into each class by N class identification.
  • the classification unit 2b reclassifies the learning samples acquired by the learning sample acquisition unit 2a into classes that are fewer than N and are targeted for M class identification.
  • the learning unit 2c learns a classifier for performing M class identification based on the learning sample reclassified by the classification unit 2b. In this way, the learning samples classified into each class by N class identification are reclassified into M class identification classes, and the M class identification classifier is learned. Therefore, the result of N class identification is less than N. It can be compared with the classification criteria for class identification problems.
  • the classifying unit 2b is based on reference data indicating a correspondence relationship between a label of a class that is a target of N class identification and a label of a class that is a target of M class identification. Then, the learning sample acquired by the learning sample acquisition unit 2a is reclassified into the class of the label corresponding to the M class identification. As a result, the classes that are the targets of N class identification based on the correspondence defined in the reference data can be grouped into the classes that are the targets of M class identification.
  • the learning identification system 1 includes a learning device 2 and an identification device 4.
  • the identification device 4 Using the classifier learned by the learning device 2, the identification device 4 identifies the class to which the identification target data belongs from among the classes that are targets of M class identification. By configuring in this way, the same effect as described above can be obtained. Further, it is possible to perform M class identification using an M class classifier learned from the result of N class identification.
  • FIG. FIG. 9 is a block diagram showing a functional configuration of a learning device 2A according to Embodiment 2 of the present invention.
  • the learning device 2A includes a learning sample acquisition unit 2a, a classification unit 2b, a learning unit 2c, and an adjustment unit 2d.
  • the adjustment unit 2d adjusts the ratio of the number of samples between classes of the learning samples reclassified by the classification unit 2b so that misclassification of M class identification is reduced.
  • each function of the learning sample acquisition unit 2a, the classification unit 2b, the learning unit 2c, and the adjustment unit 2d in the learning device 2A may be realized by dedicated hardware as in the first embodiment, It may be realized by firmware. Also, some of these functions may be realized by dedicated hardware, and some may be realized by software or firmware.
  • FIG. 10 is a flowchart showing the operation of the learning device 2A.
  • the processing in step ST1a and step ST2a in FIG. 10 is the same as that in step ST1 and step ST2 in FIG.
  • the adjusting unit 2d adjusts the ratio of the number of samples between classes of the learning samples reclassified in step ST2a so that misclassification of M class identification is reduced (step ST3a).
  • the learning unit 2c learns the discriminator based on the learning sample in which the ratio of the number of samples between classes is adjusted by the adjustment unit 2d (step ST4a).
  • FIG. 11 is a diagram showing processing for adjusting the ratio of the number of learning samples between classes, and shows a state in which learning samples are distributed between a positive class and a negative class.
  • an identification boundary L1 shown in FIG. 11A is obtained.
  • a positive sample is a learning sample to be identified in the positive class
  • a negative sample is a learning sample to be identified in the negative class.
  • the adjustment unit 2d thins out negative samples between the positive class and the negative class, for example, as indicated by an arrow a in FIG.
  • the learning is performed by adjusting the ratio of the number of learning samples between the positive class and the negative class, thereby moving from the identification boundary L1 to the identification boundary L2.
  • the identification boundary L2 more learning samples than the identification boundary L1 are determined as the positive class, and the identification standard for the M class identification is adjusted to a standard that is easily determined as the positive class.
  • the success and failure of class identification of the learning sample is determined based on the identification criteria between classes, so the above effects Can be obtained.
  • an operation for randomly canceling one sample selection is repeated until the number of samples reaches a predetermined number.
  • the selection may be repeated at random until the number of samples to be left as learning samples reaches a predetermined number from all the samples classified between classes.
  • a method called a bootstrap method may be adopted.
  • the learning device 2A adjusts the ratio of the number of samples between classes of the learning samples reclassified by the classification unit 2b so that misclassification of M class identification is reduced. 2d.
  • the learning unit 2c learns the discriminator based on the learning sample in which the ratio of the number of samples between classes is adjusted by the adjustment unit 2d.
  • any combination of each embodiment, any component of each embodiment can be modified, or any component can be omitted in each embodiment. .
  • the learning apparatus can learn a discriminator that solves the M class identification problem using each identification result of the N class identification problem as a learning sample, so that various identifications by pattern recognition such as facial expression recognition and object detection can be performed. It is applicable to an information processing system that performs
  • 1 learning identification system 2, 2A learning device, 2a learning sample acquisition unit, 2b classification unit, 2c learning unit, 2d adjustment unit, 3 storage device, 4 identification device, 4a feature extraction unit, 4b identification unit, 30 affirmation, 100 processing circuit, 100a to 100e image, 101 CPU, 102 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

学習サンプル取得部（２ａ）は、Ｎ（Ｎは３以上の自然数）クラス識別で各クラスに分類された学習サンプルを取得する。分類部（２ｂ）は、学習サンプル取得部（２ａ）により取得された学習サンプルを、Ｎよりも少ないＭ（Ｍは２以上Ｎ未満の自然数）クラス識別の対象となるクラスに再分類する。学習部（２ｃ）は、分類部（２ｂ）により再分類された学習サンプルに基づいて、Ｍクラス識別を行うための識別器を学習する。

Description

学習装置および学習識別システム
　この発明は、例えば、画像中の対象物体が属するクラスを識別するための識別器を学習する学習装置および学習識別システムに関する。
　画像処理技術分野では、画像データに対して特徴抽出を行い、この画像データから抽出された特徴ベクトルにより特定されるパターンを学習して、画像中の対象物体を識別するパターン認識の技術がさかんに研究開発されている。
　特徴抽出では、画像データの画素値をそのまま特徴ベクトルとして抽出してもよいし、画像を加工して得られたデータを特徴ベクトルとしてもよい。このような特徴抽出により得られる特徴量は、一般的に複数次元のデータになるので、この特徴量は特徴ベクトルと呼ばれている。ただし、特徴量は単一次元のデータであってもよい。
　例えば、非特許文献１には、画像における濃淡レベルの頻度をヒストグラムとして求める技術が記載されている。このような処理も上記特徴抽出処理の一例である。
　また、画像識別処理では、パターン認識における学習の１つである教師あり学習を使用した学習方法が数多く提案されている。教師あり学習とは、入力画像に対応するラベルが付与された学習サンプルを用意し、この学習サンプルに基づいて画像または特徴ベクトルから対応するラベルを推定する計算式を求める学習方法である。
　非特許文献１には、この教師あり学習の１つである最短距離法を用いた画像識別処理が記載されている。最短距離法では、分類単位として各クラスとの特徴空間における距離を求め、この距離が最小となるクラスに属すると判定するものである。
　このとき、画像データのクラスは複数個あればよく、一般的にクラスが多いほど識別が難しくなり、少ないほど簡単になる。
　非特許文献２には、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ（以下、ＣＮＮと記載する）と呼ばれるニューラルネットワークを用いて、画像に写った顔の表情を学習する方法が記載されている。この方法では、分類対象となる画像に対して各クラスに属する確率が求められ、この確率が最大のクラスを当該画像が属するクラスであると判定する。
　また、非特許文献３には、画像に写る人物の表情を認識する表情認識について記載されている。表情認識では、画像に写る人物の表情が、一般的に喜び、悲しみ、怒り、真顔、驚き、恐れ、嫌悪という７つのクラスに分類され、例えば、ある画像に写る人物の表情は喜び度が８０であるというような識別結果が得られる。この他、表情認識の出力形式は、７つのクラスのそれぞれについて確信度を求める形式もあり得る。いずれの場合にせよ、識別対象の画像がどのクラスに属するかを示す基準が設定される。
高木幹雄、下田陽久　監修、"新編　画像解析ハンドブック"、東京大学出版会、２００４年、ｐｐ．１６００－１６０３． Wei Li, Min Li, Zhong Su, Zhigang Zhu, "A Deep-Learning Approach to Facial Expression Recognition with Candid Images", 14th IAPR Conference on Machine Vision Applications（MVA 2015），pp. 279-282, Tokyo. Michael Lyons, Shigeru Akamatsu, Miyuki Kamachi, Jiro Gyoba, "Coding Facial Expressions with Gabor Wavelets", 3rd IEEE International Conference on Automatic Face and Gesture Recognition, pp. 200-205, 1998.
　このような識別技術が適用される分野において、多クラス識別で各クラスに分類されている学習サンプルを用いて、より少ないクラスの識別結果を得たい場合がある。
　例えば、広告を見た人物の画像の表情認識において７クラス（喜び、悲しみ、怒り、真顔、驚き、恐れ、嫌悪）に分類された識別結果から、広告の効果を判断するために、広告を見た人物が肯定的な表情であるか否かを検出したいことがある。
　しかしながら、Ｎ（Ｎは３以上の自然数）クラス識別問題では、各クラスの識別基準で識別結果が得られる。このため、Ｎクラス識別の結果が、Ｎよりも少ないＭ（Ｍは２以上Ｎ未満の自然数）クラス識別問題の各クラスの識別基準でどのような値になるのかを判別できない。また、Ｎクラス識別の結果が個々のクラスについて数値化されている場合は、異なるクラスの識別結果同士を、Ｍクラス識別の識別基準で比較することができない。
　このように、従来では、Ｎクラス識別の結果をＭクラス識別問題として比較することができなかった。
　この発明は上記課題を解決するもので、Ｎクラス識別の結果をＮよりも少ないＭクラス識別問題の識別基準で比較することができる学習装置および学習識別システムを得ることを目的とする。
　この発明に係る学習装置は、学習サンプル取得部、分類部および学習部を備える。学習サンプル取得部は、Ｎクラス識別で各クラスに分類された学習サンプルを取得する。分類部は、学習サンプル取得部により取得された学習サンプルを、Ｎよりも少ないＭクラス識別の対象となるクラスに再分類する。学習部は、分類部により再分類された学習サンプルに基づいて、Ｍクラス識別を行うための識別器を学習する。
　この発明によれば、Ｎクラス識別で各クラスに分類された学習サンプルを、Ｎよりも少ないＭクラス識別のクラスに再分類してＭクラス識別の識別基準を与える識別器を学習するので、Ｎクラス識別の結果をＮよりも少ないＭクラス識別問題の識別基準で比較することができる。
表情認識における画像識別の概要を示す図である。 表情認識における７クラス識別の結果を、２クラス識別の識別基準で比較する場合の問題点を示す図である。 ６個のクラスが規定された特徴空間を示す図である。 図３の特徴空間にクラス間の識別境界を設定した様子を示す図である。 この発明の実施の形態１に係る学習識別システムの機能構成を示すブロック図である。 実施の形態１に係る学習装置のハードウェア構成を示すブロック図である。図６（ａ）は、学習装置の機能を実現するハードウェアの処理回路を示し、図６（ｂ）は、学習装置の機能を実現するソフトウェアを実行するハードウェア構成を示している。 実施の形態１に係る学習装置の動作を示すフローチャートである。 表情認識における７クラス識別の結果を用いて２クラス識別を行う処理の概要を示す図である。図８（ａ）は、７クラスから２クラスに再分類された学習サンプルを示し、図８（ｂ）は、２クラス識別の結果を示している。 この発明の実施の形態２に係る学習装置の機能構成を示すブロック図である。 実施の形態２に係る学習装置の動作を示すフローチャートである。 クラス間の学習サンプルのサンプル数の割合を調整する処理を示す図である。図１１（ａ）はサンプル数の調整をしていない場合を示し、図１１（ｂ）はサンプル数の調整をした場合を示している。
　以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、表情認識における画像識別の概要を示す図である。前述したように、表情認識では、喜び、悲しみ、怒り、真顔、驚き、恐れ、嫌悪という７つの分類ラベルが一般的であり、Ｎ＝７である。この７クラス識別問題において、識別対象の画像は、各クラスの識別器に入力されたときに最も高い識別スコアを出力した識別器のクラスに分類され、個々のクラスの識別基準で識別結果が得られる。
　なお、図１では、画像１００ａがラベル“喜び”のクラスに分類され、画像１００ｂがラベル“悲しみ”のクラスに分類され、画像１００ｃがラベル“怒り”のクラスに分類されている。また、識別結果として、例えば、画像１００ａについて“喜び度８０”というような結果が出力される。喜び度は、識別対象の画像がラベル“喜び”のクラスに属する確信度に相当し、０から１００までの値とする。
　図２は、表情認識における７クラス識別の結果を、２クラス識別の識別基準で比較する場合の問題点を示す図である。図２において、表情認識の７クラス識別で画像１００ａについて“喜び度８０”、画像１００ｂについて“悲しみ度８０”、画像１００ｄについて“驚き度８０”、画像１００ｅについて“恐れ度８０”という識別結果が得られたものとする。なお、悲しみ度は、識別対象の画像がラベル“悲しみ”のクラスに属する確信度に相当し、０から１００までの値とする。驚き度は、識別対象の画像がラベル“驚き”のクラスに属する確信度に相当し、０から１００までの値とする。恐れ度は、識別対象の画像がラベル“恐れ”のクラスに属する確信度に相当し、０から１００までの値とする。
　表情認識における喜び、悲しみ、怒り、真顔、驚き、恐れ、嫌悪の７クラス識別問題の識別結果で“肯定的な表情をしているかどうか”という２クラス識別問題を考える。
　この場合、７クラス識別問題の個々の識別結果を“肯定的な表情をしているかどうか”という識別基準でそれぞれ比較する必要がある。
　しかしながら、７クラス識別問題の個々の識別結果は、７クラス識別問題で対象となるクラスの識別基準で判断された結果であるため、“肯定的な表情をしているかどうか”という識別基準で比較することができない。
　例えば、喜び度８０の識別結果と驚き度８０の識別結果とでは、どちらがより肯定的であるか否かの優劣を付けられず、これらの識別結果を図２に示す肯定度の軸上で比較することができない。すなわち、“喜び度１００の識別結果の肯定度が１００であると、驚き度１００の識別結果の肯定度は８０である”というような対応関係が分からない。
　図３は、６（Ｎ＝６）個のクラスが規定された特徴空間を示す図である。学習サンプルの特徴ベクトルは、変量（ｘ１，ｘ２）で表される。図３において、クラスＣ１～Ｃ６は点線の円で表され、各クラスに分類された学習サンプルの特徴ベクトルの平均ベクトルが円の中心点となる。また、円の半径は５０とし、各クラスで同じ半径である。
　ここで、クラスＣ１～Ｃ３をポジティブクラスに分類し、クラスＣ４～Ｃ６をネガティブクラスに分類した２（Ｍ＝２）クラスの識別問題を想定する。
　ポジティブクラスは、検出対象のデータが分類されるクラスである。例えば、前述した“肯定的な表情をしているかどうか”の２クラス識別問題において、被写体の人物が肯定的な表情であると識別された画像が分類される。
　また、ネガティブクラスは、検出対象ではないデータが分類されるクラスである。例えば、前述した“肯定的な表情をしているかどうか”の２クラス識別問題において、被写体の人物が肯定的な表情ではないと識別された画像が分類される。
　図４は、図３の特徴空間に対してクラス間の識別境界を設定した様子を示す図である。
　識別境界とは、特徴空間内のクラス間でデータが分類されるクラスが入れ替わる境界であり、クラスＣ１～Ｃ６のそれぞれの境界となる識別境界Ｅ１～Ｅ６が設定される。
　また、ここでは最短距離法を適用して６クラス識別問題を解いており、学習サンプルの特徴ベクトルがクラスＣ１～Ｃ６のいずれの平均ベクトルに近いかが判定され、最も近いクラスのラベルが、この学習サンプルの識別結果となる。
　識別結果同士を比較するための確信度は、図４に示すように線分で規定された識別境界と学習サンプルの特徴ベクトルとの間の距離を用いている。例えば、点Ａの特徴ベクトルは、クラスＣ２の平均ベクトルに一致し、クラスＣ２の円とクラスＣ１，Ｃ３の各円との接点からの距離が５０であるので、クラスＣ２における確信度５０のデータとなる。
　一方、点Ｂは、クラスＣ２の円とクラスＣ３の円との接点であるため、この点Ｂの特徴ベクトルは、クラスＣ２またはクラスＣ３における確信度０のデータとなる。このように２つのクラスの確信度が等しいため、最短距離法では点ＢのデータがクラスＣ２かクラスＣ３であるかを判別できない。
　クラスＣ１～Ｃ３をポジティブクラスに分類し、クラスＣ４～Ｃ６をネガティブクラスに分類した２クラス識別問題を想定した場合、ポジティブクラスの平均ベクトルの中心点は点Ｃであり、ネガティブクラスの平均ベクトルの中心点は点Ｄである。
　従って、２クラス識別問題におけるポジティブクラスとネガティブクラスの識別境界は識別境界Ｅ４となる。
　また、識別境界Ｅ４からの距離を確信度とする場合、６クラス識別でクラスＣ２に分類された確信度５０のデータである点Ａの特徴ベクトルと、クラスＣ２またはクラスＣ３に分類された確信度０のデータである点Ｂの特徴ベクトルとが、２クラス識別問題としては同じ確信度５０のデータとなる。
　すなわち、識別境界Ｅ４に平行な線分Ｆ上の各点の特徴ベクトルは、２クラス識別問題を考えたときに同じ確信度となる。このため、６クラス識別の結果と２クラス識別の結果との間の対応関係を定義できない。
　図４の例では２クラスで識別境界が１つだけの場合を示したが、実際には、Ｍが３以上Ｎ未満の場合もあり、複数の識別境界が設定され、クラス間の位置関係も複雑になる。
　この場合においても、Ｍクラス識別問題の識別基準でＮクラス識別問題の個々の識別結果同士を比較する必要が生じ、Ｎクラス識別の結果とＭクラス識別の結果との対応関係を定義できないことが問題となる。
　そこで、この発明に係る学習装置では、Ｎクラス識別で各クラスに分類された学習サンプルをＭクラス識別のクラスに再分類し、再分類された学習サンプルに基づいてＭクラス識別を行うための識別器を学習する。これにより、Ｎクラス識別で各クラスに分類された学習サンプルからＭクラス識別の識別基準で識別を行う識別器を学習することができる。以下に詳細に説明する。
　図５は、この発明の実施の形態１に係る学習識別システム１の機能構成を示すブロック図である。学習識別システム１は、例えば、表情認識、物体検出などのパターン認識による識別処理を行うシステムであり、学習装置２、記憶装置３および識別装置４を備える。
　実施の形態１に係る学習装置２は、学習サンプル取得部２ａ、分類部２ｂおよび学習部２ｃを備える。記憶装置３は、学習装置２により学習された識別器を記憶する記憶装置である。識別装置４は、学習装置２により学習された識別器を用いて識別対象データを識別する装置であり、特徴抽出部４ａおよび識別部４ｂを備える。
　なお、図５では、学習装置２と識別装置４が別々の装置である場合を示したが、両者の機能を有した１つの装置であってもよい。
　学習装置２において、学習サンプル取得部２ａは、学習サンプルを取得する構成要素であり、例えば、ビデオカメラ、ハードディスクドライブなどの外部記憶装置から学習サンプルを取得する。
　学習サンプルは、学習対象データから抽出された特徴ベクトルとこれに付随するラベルのペアから構成される。学習対象データとしては、例えば、画像データ、映像データ、音声データ、テキストデータなどのマルチメディアデータが挙げられる。
　特徴ベクトルは、学習対象データの特徴量を示すデータである。学習対象データが画像データである場合、画像データを特徴ベクトルとして使用してもよい。
　また、画像データに対して一次微分フィルタまたは平均値フィルタなどの特徴抽出処理を施した加工データを、特徴ベクトルとして使用してもよい。
　ラベルは、学習サンプルが属するクラスを識別するための情報であり、例えば、被写体が犬である画像データのクラスに対してラベル“犬”が付される。
　学習サンプルは、Ｎクラス識別でＮ個のクラスにそれぞれ分類されているものとする。ただし、Ｎは、３以上の自然数である。
　なお、学習サンプルは、識別装置４がＮクラス識別を行って得られた識別結果であってもよい。
　分類部２ｂは、学習サンプル取得部２ａによって取得された学習サンプルを、Ｎよりも少ないＭクラス識別の対象となるクラスに再分類する。ただし、Ｍは、２以上Ｎ未満の自然数である。
　例えば、分類部２ｂは、Ｎクラス識別の対象となるクラスのラベルと、Ｍクラス識別の対象となるクラスのラベルとの対応関係が規定された参照データに基づいて上記学習サンプルをＭクラス識別の対応するラベルのクラスに再分類する。
　すなわち、分類部２ｂは、このようにラベル同士の対応関係が規定された参照データに基づいて、学習サンプルが分類されたクラスのラベルを、Ｍクラス識別で対象となるクラスのラベルのうち、対応するラベルに振り分ける。学習サンプルは、このように振り分けられたラベルのクラスに分類される。
　このようなラベルの再振り分けと分類を全ての学習サンプルに対して行うことにより、Ｎクラス識別で各クラスに分類された学習サンプルがＭクラス識別で対象となるクラスに再分類される。
　学習部２ｃは、分類部２ｂにより再分類された学習サンプルに基づいて、Ｍクラス識別を行うための識別器を学習する。ここで、複数の学習サンプルの特徴ベクトルとラベルの関係が学習されて、Ｍクラス識別の識別基準が決定される。学習方法としては、例えば、最短距離法またはＣＮＮを用いた学習方法が挙げられる。
　識別器は、識別対象データの特徴ベクトルが入力されたとき、識別対象データが属するクラスをＭクラス識別の各クラスの識別基準で識別して出力する。
　記憶装置３は、前述したように、学習装置２によって学習された識別器を記憶する記憶装置である。例えば、ハードディスクドライブなどの外部記憶装置によって実現される。
　また、記憶装置３は、学習装置２または識別装置４に内蔵されていてもよい。
　なお、学習識別システム１は、記憶装置３を備えない構成であってもよい。すなわち、学習装置２の学習部２ｃが、識別装置４の識別部４ｂに対して識別器を直接設定することにより、記憶装置３を省略することができる。
　識別装置４において、特徴抽出部４ａは、識別対象データの特徴量である特徴ベクトルを抽出する。識別部４ｂは、学習装置２により学習された識別器および特徴抽出部４ａにより取得された特徴ベクトルに基づいて識別対象データのＭクラス識別を行う。
　例えば、識別部４ｂは、識別器を用いて識別対象データがどのクラスに属するかを識別し、このクラスのラベルを識別結果として出力する。
　学習装置２における、学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃの各機能は、処理回路により実現される。すなわち、学習装置２は、後述する図７に示すステップＳＴ１からステップＳＴ３までの処理を行うための処理回路を備えている。
　処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　図６は、実施の形態１に係る学習装置２のハードウェア構成を示すブロック図である。図６（ａ）は学習装置２の機能を実現するハードウェアの処理回路を示し、図６（ｂ）は学習装置２の機能を実現するソフトウェアを実行するハードウェア構成を示している。
　図６（ａ）に示すように、上記処理回路が専用のハードウェアの処理回路１００である場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
　学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃの各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図６（ｂ）に示すように、上記処理回路がＣＰＵ１０１である場合、学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。
　ソフトウェアとファームウェアはプログラムとして記述され、メモリ１０２に格納される。ＣＰＵ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。
　すなわち、学習装置２は、ＣＰＵ１０１によって実行されるときに、図７に示すステップＳＴ１からステップＳＴ３までの処理が結果的に実行されるプログラムを格納するためのメモリ１０２を備える。また、これらのプログラムは、学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃの手順または方法をコンピュータに実行させるものである。
　ここで、メモリとは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）などが該当する。
　なお、学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃの各機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
　例えば、学習サンプル取得部２ａは、専用のハードウェアの処理回路１００でその機能を実現し、分類部２ｂおよび学習部２ｃは、ＣＰＵ１０１がメモリ１０２に格納されたプログラム実行することによりその機能を実現する。
　このように、上記処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって前述の機能を実現することができる。
　また、識別装置４における特徴抽出部４ａおよび識別部４ｂの各機能についても、学習装置２と同様に、専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
　次に動作について説明する。
　図７は、学習装置２の動作を示すフローチャートである。
　まず、学習サンプル取得部２ａは、Ｎクラス識別で各クラスに分類された学習サンプルを取得する（ステップＳＴ１）。
　例えば、広告を見る人物の画像を識別対象データとして、７（Ｎ＝７）クラス（喜び、悲しみ、怒り、真顔、驚き、恐れ、嫌悪）に分類された識別結果が、学習サンプルとして取得される。
　次に、分類部２ｂは、学習サンプル取得部２ａによって取得された学習サンプルを、Ｍクラス識別の対象となるクラスに再分類する（ステップＳＴ２）。
　例えば、７クラスに分類された学習サンプルが２（Ｍ＝２）クラス（肯定的、否定的）に再分類される。
　再分類は、ラベル同士の対応関係に基づいて実行される。
　例えば、分類部２ｂには、７クラス識別の対象となるクラスのラベルと２クラス識別の対象となるクラスのラベルとの対応関係が規定された参照データが予め設定されている。
　分類部２ｂは、上記参照データに基づいて、学習サンプルのクラスのラベルを、２クラス識別で対象となるクラスのラベルのうち、対応するラベルに振り分ける。学習サンプルは、分類部２ｂに振り分けられたラベルのクラスに分類される。
　このようなラベルの再振り分けと分類を全ての学習サンプルに対して行うことにより、７クラス識別で各クラスに分類された学習サンプルが、２クラス識別で対象となるクラスに再分類される。
　Ｎクラス識別の対象となるクラスのラベルとＭクラス識別の対象となるクラスのラベルとの対応関係は、学習識別システム１を利用した情報処理を行うためのアプリケーションの目的によって異なる。
　アプリケーションが広告を見る人物の画像から肯定的な表情を検出することを目的としている場合、例えば、表情認識における“喜び”、“驚き”、“真顔”のラベルが“肯定的”のラベルに対応付けられ、“悲しみ”、“怒り”、“恐れ”、“嫌悪”のラベルが“否定的”のラベルに対応付けられる。
　また、この他、アプリケーションがホラー映画を見る人物の画像から当該人物が恐怖を感じているかどうかを検出することを目的としている場合、表情認識における“恐れ”、“嫌悪”、“悲しみ”、“怒り”、“驚き”のラベルが“恐怖効果あり”のラベルに対応付けられ、“喜び”、“真顔”のラベルが“恐怖効果なし”のラベルに対応付けられる。
　なお、ラベル同士の対応関係は、学習装置２が自動で決定してもよいが、ユーザが設定してもよい。例えば、分類部２ｂが、アプリケーションの処理アルゴリズムを解析して、このアプリケーションで実施されるＭクラス識別を特定して、このＭクラス識別で対象となるクラスのラベルとＮクラス識別で対象となるクラスのラベルとの対応付けを行ってもよい。また、ユーザが、入力装置を用いてラベル同士の対応関係を設定してもよい。
　この後、学習部２ｃが、分類部２ｂにより再分類された上記学習サンプルに基づいて、Ｍクラス識別を行うための識別器を学習する（ステップＳＴ３）。
　例えば、識別対象データの特徴ベクトルが入力されたときに、２クラス識別のクラス（肯定的、否定的）のうち、この識別対象データが属するクラスを識別する識別器が生成される。このようにして得られた識別器は、記憶装置３に記憶される。
　広告を見る人物の画像から肯定的な表情を検出する場合、識別装置４の特徴抽出部４ａが、広告を見る人物が写った画像を入力し、この画像から特徴ベクトルを抽出する。
　次に、識別部４ｂは、記憶装置３から読み出した上記識別器と上記画像の特徴ベクトルに基づいて、この画像が肯定的のクラスまたは否定的のクラスのいずれに属するかを識別し、そのクラスのラベルを識別結果として出力する。
　図８は、表情認識における７クラス識別の結果を用いて２クラス識別を行う処理の概要を示す図である。図８（ａ）は、７クラス（喜び、驚き、真顔、悲しみ、怒り、恐れ、嫌悪）から２クラス（肯定的、否定的）に再分類された学習サンプルを示し、図８（ｂ）は２クラス識別の結果を示している。
　図８（ｂ）に示す画像１００ａは、ラベル“喜び”のクラスに分類され、喜び度８０という識別結果が得られた画像であり、画像１００ｂは、ラベル“悲しみ”のクラスに分類され、悲しみ度８０という識別結果が得られた画像である。また、画像１００ｄは、ラベル“驚き”のクラスに分類され、驚き度８０という識別結果が得られた画像であり、画像１００ｅは、ラベル“恐れ”のクラスに分類され、恐れ度８０という識別結果が得られた画像である。
　実施の形態１に係る学習装置２では、ラベル同士の対応関係に応じて、７クラス識別で各クラスに分類されたデータが２クラス識別で対象となるクラスに再分類される。
　例えば、画像１００ａ，１００ｄの特徴ベクトルとラベルのペアからなる各データは、喜び度８０と驚き度８０によらず、ラベル“喜び”とラベル“驚き”がラベル“肯定的”に振り分けられてラベル“肯定的”のクラスに再分類される。
　同様に、画像１００ｂ，１００ｅの特徴ベクトルとラベルのペアからなる各データは、悲しみ度８０と恐れ度８０によらず、ラベル“悲しみ”とラベル“恐れ”がラベル“否定的”に振り分けられてラベル“否定的”のクラスに再分類される。
　学習装置２は、このように“肯定的”のクラスと“否定的”のクラスとに再分類された学習サンプルに基づいて、肯定的な表情であることを識別基準とした識別器を学習する。
　この識別器を使用して２クラス識別を行うことで、図８（ｂ）に示すように、７クラス識別で各クラスに分類されていた画像１００ａ，１００ｂ，１００ｄ，１００ｅのデータを、肯定度という２クラス識別の識別基準で比較することが可能となる。
　例えば、喜び度８０であった画像１００ａのデータは肯定度８０、驚き度８０であった画像１００ｄのデータは肯定度７０となる。悲しみ度８０であった画像１００ｂのデータは肯定度４０となり、恐れ度８０であった画像１００ｅのデータは肯定度３０となる。
　以上のように、この実施の形態１に係る学習装置２は、学習サンプル取得部２ａ、分類部２ｂおよび学習部２ｃを備える。
　学習サンプル取得部２ａは、Ｎクラス識別で各クラスに分類された学習サンプルを取得する。分類部２ｂは、学習サンプル取得部２ａにより取得された学習サンプルを、Ｎよりも少ないＭクラス識別の対象となるクラスに再分類する。学習部２ｃは、分類部２ｂにより再分類された学習サンプルに基づいて、Ｍクラス識別を行うための識別器を学習する。
　このようにＮクラス識別で各クラスに分類された学習サンプルをＭクラス識別のクラスに再分類してＭクラス識別の識別器が学習されるので、Ｎクラス識別の結果を、Ｎよりも少ないＭクラス識別問題の識別基準で比較することができる。
　また、実施の形態１に係る学習装置２において、分類部２ｂは、Ｎクラス識別の対象となるクラスのラベルとＭクラス識別の対象となるクラスのラベルとの対応関係を示す参照データに基づいて、学習サンプル取得部２ａにより取得された学習サンプルを、Ｍクラス識別の対応するラベルのクラスに再分類する。これにより、参照データに規定された対応関係でＮクラス識別の対象となるクラスを、Ｍクラス識別の対象となるクラスにまとめることができる。
　さらに、実施の形態１に係る学習識別システム１は、学習装置２および識別装置４を備える。識別装置４は、学習装置２により学習された識別器を用いて、Ｍクラス識別の対象となるクラスのうち、識別対象データが属するクラスを識別する。
　このように構成することで、上記と同様の効果が得られる。また、Ｎクラス識別の結果で学習されたＭクラス識別器を用いてＭクラス識別を行うことができる。
実施の形態２．
　図９は、この発明の実施の形態２に係る学習装置２Ａの機能構成を示すブロック図である。図９において、図１と同一の構成要素には、同一の符号を付して説明を省略する。
　学習装置２Ａは、学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃおよび調整部２ｄを備える。調整部２ｄは、分類部２ｂにより再分類された学習サンプルのクラス間のサンプル数の割合をＭクラス識別の誤識別が減少するように調整する。
　また、学習装置２Ａにおける学習サンプル取得部２ａ、分類部２ｂ、学習部２ｃおよび調整部２ｄの各機能についても、実施の形態１と同様に、専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。
　また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
　次に動作について説明する。
　図１０は、学習装置２Ａの動作を示すフローチャートである。図１０におけるステップＳＴ１ａおよびステップＳＴ２ａの処理は、図７のステップＳＴ１およびステップＳＴ２と同様の処理であるので説明を省略する。
　調整部２ｄは、ステップＳＴ２ａで再分類された学習サンプルのクラス間のサンプル数の割合をＭクラス識別の誤識別が減少するように調整する（ステップＳＴ３ａ）。
　次に、学習部２ｃは、調整部２ｄによりクラス間のサンプル数の割合が調整された学習サンプルに基づいて識別器を学習する（ステップＳＴ４ａ）。
　図１１はクラス間の学習サンプルのサンプル数の割合を調整する処理を示す図であり、肯定的クラスと否定的クラスとの間に学習サンプルが分布している様子を示している。
　肯定的クラスと否定的クラスの間の学習サンプルのサンプル数の割合を調整せずに学習すると、図１１（ａ）に示す識別境界Ｌ１が得られる。
　肯定的サンプルとは、肯定的クラスに識別されるべき学習サンプルであり、否定的サンプルとは、否定的クラスに識別されるべき学習サンプルである。
　学習サンプルのサンプル数の割合を調整せずに学習すると、識別境界Ｌ１を跨いで肯定的クラス側に誤って識別された否定的サンプル（Ｆａｌｅ　Ｐｏｓｉｔｉｖｅ；以下、ＦＰと記載する）の数と、識別境界Ｌ１を跨いで否定的クラス側に誤って識別された肯定的サンプル（Ｆａｌｅ　Ｎｅｇａｔｉｖｅ；以下、ＦＮと記載する）の数とが決まる。
　識別精度を向上するには、このようなＦＮとＦＰが減るように学習する必要がある。
　そこで、調整部２ｄは、例えば、図１１（ｂ）に矢印ａで示すように、肯定的クラスと否定的クラスとの間の否定的サンプルを間引く。このように肯定的クラスと否定的クラスの間の学習サンプルのサンプル数の割合を調整して学習を行うことで、識別境界Ｌ１から識別境界Ｌ２に移動する。識別境界Ｌ２では、識別境界Ｌ１よりも多くの学習サンプルが肯定的クラスと判定され、Ｍクラス識別の識別基準が肯定的クラスに判定されやすい基準に調整されている。
　なお、機械学習ではクラス間に識別境界を設定しない場合もあるが、この場合においても、クラス間の識別基準に基づいて学習サンプルのクラス識別の成功と失敗を判定するので、上記のような効果を得ることができる。
　サンプル数の割合の調整方法としては、例えば、あるクラス間に分類されている全ての学習サンプルを選択した状態から、ランダムに一方のサンプル選択を解除する操作を予め定めたサンプル数になるまで繰り返すことが挙げられる。また、クラス間に分類されている全てのサンプルから、学習サンプルとして残すサンプルが予め定めたサンプル数になるまでランダムに選択を繰り返してもよい。さらに、ブートストラップ法と呼ばれる方法を採用してもよい。
　以上のように、実施の形態２に係る学習装置２Ａは、分類部２ｂにより再分類された学習サンプルのクラス間のサンプル数の割合をＭクラス識別の誤識別が減少するように調整する調整部２ｄを備える。学習部２ｃは、調整部２ｄによりクラス間のサンプル数の割合が調整された学習サンプルに基づいて識別器を学習する。
　これにより、クラス間の一方に学習サンプルが識別されやすい識別基準に調整することができるので、クラス間での誤識別が減少し、Ｍクラス識別の識別精度を向上させることができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る学習装置は、Ｎクラス識別問題の個々の識別結果を学習サンプルとしてＭクラス識別問題を解く識別器を学習することができるので、表情認識、物体検出などのパターン認識による様々な識別を行う情報処理システムに適用可能である。
１　学習識別システム、２，２Ａ　学習装置、２ａ　学習サンプル取得部、２ｂ　分類部、２ｃ　学習部、２ｄ　調整部、３　記憶装置、４　識別装置、４ａ　特徴抽出部、４ｂ　識別部、３０　肯定度、１００　処理回路、１００ａ～１００ｅ　画像、１０１　ＣＰＵ、１０２　メモリ。

Claims (5)

  1. 　Ｎ（Ｎは３以上の自然数）クラス識別で各クラスに分類された学習サンプルを取得する学習サンプル取得部と、
    　前記学習サンプル取得部により取得された学習サンプルを、Ｎよりも少ないＭ（Ｍは２以上Ｎ未満の自然数）クラス識別の対象となるクラスに再分類する分類部と、
    　前記分類部により再分類された学習サンプルに基づいて前記Ｍクラス識別を行うための識別器を学習する学習部と
    を備えたことを特徴とする学習装置。
  2. 　前記分類部により再分類された学習サンプルのクラス間のサンプル数の割合を、前記Ｍクラス識別の誤識別が減少するように調整する調整部を備え、
    　前記学習部は、前記クラス間のサンプル数の割合が調整された学習サンプルに基づいて前記識別器を学習することを特徴とする請求項１記載の学習装置。
  3. 　前記分類部は、前記Ｎクラス識別の対象となるクラスのラベルと、前記Ｍクラス識別の対象となるクラスのラベルとの対応関係を示すデータに基づいて、前記学習サンプル取得部により取得された学習サンプルを前記Ｍクラス識別の対応するラベルのクラスに再分類することを特徴とする請求項１記載の学習装置。
  4. 　Ｎ（Ｎは３以上の自然数）クラス識別で各クラスに分類された学習サンプルを取得する学習サンプル取得部と、前記学習サンプル取得部により取得された学習サンプルを、Ｎよりも少ないＭ（Ｍは２以上Ｎ未満の自然数）クラス識別の対象となるクラスに再分類する分類部と、前記分類部により再分類された学習サンプルに基づいて、前記Ｍクラス識別を行うための識別器を学習する学習部とを有する学習装置と、
    　識別対象データの特徴量を抽出する特徴抽出部と、前記学習装置により学習された前記識別器および前記特徴抽出部により取得された特徴量に基づいて、前記識別対象データの前記Ｍクラス識別を行う識別部とを有する識別装置と
    を備えたことを特徴とする学習識別システム。
  5. 　前記学習装置は、前記分類部により再分類された学習サンプルのクラス間のサンプル数の割合を、前記Ｍクラス識別の誤識別が減少するように調整する調整部を有し、
    　前記学習部は、前記クラス間のサンプル数の割合が調整された学習サンプルに基づいて前記識別器を学習することを特徴とする請求項４記載の学習識別システム。
PCT/JP2015/073374 2015-08-20 2015-08-20 学習装置および学習識別システム WO2017029758A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017535217A JP6338781B2 (ja) 2015-08-20 2015-08-20 学習装置および学習識別システム
CN201580082158.0A CN107924493A (zh) 2015-08-20 2015-08-20 学习装置和学习识别系统
US15/554,534 US20180039822A1 (en) 2015-08-20 2015-08-20 Learning device and learning discrimination system
PCT/JP2015/073374 WO2017029758A1 (ja) 2015-08-20 2015-08-20 学習装置および学習識別システム
DE112015006815.5T DE112015006815T5 (de) 2015-08-20 2015-08-20 Lerneinrichtung und Lernunterscheidungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/073374 WO2017029758A1 (ja) 2015-08-20 2015-08-20 学習装置および学習識別システム

Publications (1)

Publication Number Publication Date
WO2017029758A1 true WO2017029758A1 (ja) 2017-02-23

Family

ID=58051188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073374 WO2017029758A1 (ja) 2015-08-20 2015-08-20 学習装置および学習識別システム

Country Status (5)

Country Link
US (1) US20180039822A1 (ja)
JP (1) JP6338781B2 (ja)
CN (1) CN107924493A (ja)
DE (1) DE112015006815T5 (ja)
WO (1) WO2017029758A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100664A1 (ja) * 2021-12-01 2023-06-08 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417530B2 (en) 2016-09-30 2019-09-17 Cylance Inc. Centroid for improving machine learning classification and info retrieval
US10929478B2 (en) * 2017-06-29 2021-02-23 International Business Machines Corporation Filtering document search results using contextual metadata

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244879A (ja) * 1999-02-22 2000-09-08 Sony Corp 画像情報変換装置および方法
WO2014097670A1 (ja) * 2012-12-21 2014-06-26 富士ゼロックス株式会社 文書分類装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
JP2011248636A (ja) * 2010-05-27 2011-12-08 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5898221B2 (ja) * 2010-10-19 2016-04-06 スリーエム イノベイティブ プロパティズ カンパニー 製造されたウェブ製品のデジタルサンプルに対する評価のコンピュータ支援割り当て
JP5765583B2 (ja) * 2012-10-26 2015-08-19 カシオ計算機株式会社 多クラス識別器、多クラス識別方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244879A (ja) * 1999-02-22 2000-09-08 Sony Corp 画像情報変換装置および方法
WO2014097670A1 (ja) * 2012-12-21 2014-06-26 富士ゼロックス株式会社 文書分類装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100664A1 (ja) * 2021-12-01 2023-06-08 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2017029758A1 (ja) 2017-11-09
CN107924493A (zh) 2018-04-17
JP6338781B2 (ja) 2018-06-06
DE112015006815T5 (de) 2018-05-24
US20180039822A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
US10628683B2 (en) System and method for CNN layer sharing
Singh et al. Face detection and recognition system using digital image processing
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
JP4724125B2 (ja) 顔認識システム
US9292745B2 (en) Object detection apparatus and method therefor
Chen et al. Evaluation of gender classification methods on thermal and near-infrared face images
KR101410489B1 (ko) 얼굴 식별 방법 및 그 장치
KR102286571B1 (ko) 영상에서 다수의 객체를 인식하는 방법
KR20170109304A (ko) 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법
TW201621754A (zh) 多類別物件分類方法及系統
JP2018142189A (ja) プログラム、測距方法、及び測距装置
JP6338781B2 (ja) 学習装置および学習識別システム
US11132577B2 (en) System and a method for efficient image recognition
KR101491832B1 (ko) 영상 선택 장치 및 방법
Hegde et al. Facial Expression Classifier Using Better Technique: FisherFace Algorithm
Mccullagh Face detection by using haar cascade classifier
Forczmański Human face detection in thermal images using an ensemble of cascading classifiers
Zarkasi et al. Weightless Neural Networks Face Recognition Learning Process for Binary Facial Pattern
JP2018036870A (ja) 画像処理装置及びプログラム
Asif et al. Deep component based age invariant face recognition in an unconstrained environment
Ghahramani et al. Unseen family member classification using mixture of experts
El Hadi et al. Application of the deep learning approach for identification and face recognition in real-time video
Doshi et al. Rotation invariant compound LBP texture features
de Melo Nunes et al. 3D Face Recognition on Point Cloud Data
Cao Intelligent surveillance with multimodal object detection in complex environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15901740

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017535217

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15554534

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015006815

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15901740

Country of ref document: EP

Kind code of ref document: A1