WO2016009569A1 - 属性要因分析方法、装置、およびプログラム - Google Patents

属性要因分析方法、装置、およびプログラム Download PDF

Info

Publication number
WO2016009569A1
WO2016009569A1 PCT/JP2014/069633 JP2014069633W WO2016009569A1 WO 2016009569 A1 WO2016009569 A1 WO 2016009569A1 JP 2014069633 W JP2014069633 W JP 2014069633W WO 2016009569 A1 WO2016009569 A1 WO 2016009569A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
image data
factor analysis
reference image
estimation
Prior art date
Application number
PCT/JP2014/069633
Other languages
English (en)
French (fr)
Inventor
康行 伊原
将 杉山
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to PCT/JP2014/069633 priority Critical patent/WO2016009569A1/ja
Priority to JP2016534083A priority patent/JP6270182B2/ja
Priority to US15/325,136 priority patent/US10268876B2/en
Publication of WO2016009569A1 publication Critical patent/WO2016009569A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to a method for estimating an attribute of an object such as a person, and more particularly to a method, an apparatus, and a program for analyzing an attribute factor.
  • supervised learning is known as one of machine learning techniques (see, for example, Patent Document 1).
  • machine learning each case data set consisting of a pair of input data (observation data) and output (meaning of observation data, attributes / results) is regarded as “advice from the teacher”.
  • Machine computer learns.
  • learning refers to creating a function model that predicts / estimates an output for input data whose output is unknown.
  • face image recognition will be specifically described as an example.
  • Patent Document 2 discloses an “age estimation apparatus, method, and program” that can obtain a recognition result close to the result perceived by humans.
  • the age estimation device disclosed in Patent Document 2 when an age estimation model is created by regression analysis, the younger group's learning weight is increased to improve the younger group's estimation accuracy.
  • a kernel regularized weighted least squares (KRWLS) is used in a supervised regression problem that predicts the true age of test data from which feature vectors are extracted.
  • the age estimation function is modeled by a linear combination of positive definite kernels.
  • a classifier having a high learning efficiency called a least square probabilistic classifier (LSPC) is also known (see, for example, Non-Patent Document 1 and Non-Patent Document 2).
  • LSPC is an identification method for learning a class posterior probability model under a square loss, and its greatest feature is that a solution can be calculated analytically.
  • LSPC since LSPC directly estimates the posterior probability for each class in the form of a density ratio, it also has a feature that it is resistant to an imbalance in the number of learning data of each class. In LSPC, the posterior probability is learned using the square loss. As a result, the LSPC can shorten the learning time several hundred times while maintaining pattern recognition accuracy comparable to that of the conventional method. In addition, LSPC is not easily affected by a deviation in the number of data of a specific class. In addition, ranking learning is also known. Here, “ranking learning” is a technique of optimization based on supervised learning so that a high score can be given to data according to the degree of relevance and permutation.
  • ranking SVM Ranking Support Vector Machine
  • the loss to the pair of learning data is considered, thereby reducing the two-class identification problem by SVM and optimizing the score function.
  • the correlation value in the subspace (one-dimensional) of CCA is used.
  • a maximum likelihood estimated mutual information (Maximum Likelihood Mutual Information; MLMI) (see, for example, Non-Patent Document 4), a method of calculating mutual information (Mutual Information; MI), and a square loss mutual information.
  • MLMI Maximum Likelihood Mutual Information
  • MI Mutual Information
  • MI square loss mutual information
  • LSMI least-square mutual information
  • SMI Square-loss Mutual Information
  • SMI Square-loss Mutual Information
  • a technique for optimizing a sparse regression model is also known (see, for example, Non-Patent Document 6 and Non-Patent Document 7).
  • Patent Document 1 it is only possible to estimate an output (for example, gender) from input data (face image). Also in Patent Document 2 described above, the age is only estimated from the input data (face image). Further, any of the above-mentioned Non-Patent Documents 1 to 3 merely estimates the attributes of unknown data. In other words, the above-described conventional supervised learning only discloses a technique for estimating (outputting) the attribute (impression level felt by many people) from the entire face. That is, the attribute factor (the main cause of the data attribute) is unknown.
  • An object of the present invention is to provide an attribute factor analysis method, apparatus, and program capable of analyzing a factor of a target attribute. Another object of the present invention is to provide an attribute estimation / attribute factor analysis method, apparatus, and program capable of not only estimating an attribute of a target but also analyzing a factor of the attribute.
  • a first aspect of the present invention is a method of analyzing attribute factors using an attribute factor analyzer from a training sample set each consisting of a set of reference image data and attribute data associated with the reference image data.
  • a division step of dividing the image area of the reference image data constituting each of the training sample sets into a mesh shape into parts of a predetermined sample size, and a sparse regression analysis for each part from the training sample set.
  • the explanatory variable representing the feature quantity of the reference image data of each part and the objective variable representing the attribute data for each of the training sample sets using the model construction process for constructing the regression model and the regression model.
  • a second aspect of the present invention is a method for estimating an attribute of input image data and analyzing the factor of the attribute using an attribute estimation / attribute factor analysis device, each of which includes reference image data and reference image
  • a division step of dividing the image area of the reference image data constituting each of the training sample set consisting of a set of attribute data attached to the data into a mesh shape with a predetermined sample size, and a part from the training sample set Performs sparse regression analysis for each model to build a regression model, estimates the attributes of the input image data using the regression model, and features the input image data for each part of the input image data
  • Attribute estimation / dependency calculation to obtain the attribute estimation result and attribute factor analysis result of the input image data by calculating the dependency between the explanatory variable representing the quantity and the objective variable representing the estimated attribute To the step, and visualization process attribute estimation result and the
  • FIG. 1 is a block diagram showing a configuration of an attribute factor analysis apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a training sample related to a face image.
  • FIG. 3 is a diagram showing an example of the attribute factor analysis result visualized by the visualization processing unit of FIG. 1 together with the attribute factor analysis result by another method.
  • FIG. 4 is a block diagram showing a configuration of an attribute factor analyzer according to the second embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the adjustment of the sample size.
  • FIG. 6 is a block diagram showing a configuration of an attribute factor analysis apparatus according to the third embodiment of the present invention.
  • FIG. 7 is a diagram for explaining division positions in the attribute factor analysis apparatus shown in FIG. FIG.
  • FIG. 8 is a diagram for explaining division position adjustment in the attribute factor analysis apparatus shown in FIG.
  • FIG. 9 is a block diagram showing a configuration of an attribute estimation / attribute factor analysis apparatus according to the fourth embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of the attribute estimation result and the attribute factor analysis result visualized by the visualization processing unit of FIG. 9 together with the correct value.
  • FIG. 11 is a block diagram showing a configuration of an attribute estimation / attribute factor analysis apparatus according to the fifth embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration of an attribute estimation / attribute factor analysis apparatus according to the sixth embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an attribute factor analysis apparatus 100 according to the first embodiment of the present invention.
  • the attribute factor analysis apparatus 100 shown in the figure can be realized by a computer that operates under program control.
  • the attribute factor analysis device 100 includes an input device 10 for inputting data, a data processing device 20, an output device 30 for outputting processing results in the data processing device 20, and an auxiliary storage device 40 that functions as various databases. ing.
  • the data processing device 20 includes a read only memory (ROM) for storing a program, a random access memory (RAM) used as a work memory for temporarily storing data, and a program stored in the ROM. And a central processing unit (CPU) for processing data stored in the RAM.
  • the auxiliary storage device 40 accumulates training sample sets. Each training sample set is a set of reference image data and a set of attribute data associated with the reference image data. In this example, the sample number n is 2100, for example. Of course, the number of samples is not limited to this.
  • the reference image data includes face image data.
  • the attribute data includes data representing the appearance impression of a person's face.
  • the illustrated attribute factor analysis apparatus 100 is an apparatus that analyzes whether or not there is a dependency (correlation) between the feature of the data for each facial part and the visual impression.
  • the input device 10 inputs the training sample set stored in the auxiliary storage device 40 to the data processing device 20.
  • the data processing device 20 includes a part division processing unit 21, a sparse regression analysis processing unit 22, a memory 23 for storing a regression model, which will be described later, a dependency calculation unit 24, and a visualization processing unit 25.
  • the part division processing unit 21 divides the image area of the reference image data constituting each of the training sample sets into a mesh shape into parts having a predetermined sample size.
  • the sparse regression analysis processing unit 22 performs a sparse regression analysis for each part from the training sample set, and constructs a regression model as described later.
  • the constructed regression model is stored in the memory 23.
  • the memory 23 may be composed of a hard disk, for example.
  • the dependence calculation unit 24 uses the regression model to determine the dependence between the explanatory variable X representing the feature amount of the reference image data of each part and the objective variable Y representing the attribute data for each training sample set. To obtain an attribute factor analysis result.
  • the visualization processing unit 25 visualizes the attribute factor analysis result and outputs it to the output device 30.
  • FIG. 2 is a diagram illustrating an example of a training sample related to a face image.
  • the training sample is composed of a set of an explanatory variable X representing the feature amount of the face image data and an objective variable Y representing the face attribute “impression degree”.
  • 2100 training samples are accumulated in the auxiliary storage device 40.
  • the part division processing unit 21 determines a part division method (mesh division method) for the explanatory variable X according to the analysis purpose, customer needs, and the like. In this example, the part division processing unit 21 first normalizes the face image data at the positions of both eyes for all 2100 face image samples.
  • one image data consists of (64 ⁇ 64) pixels.
  • the part division processing unit 21 divides the normalized face image data into block image data of (8 ⁇ 8) pixels. Therefore, in the case of this example, the part division processing unit 21 obtains 64 block image data as shown in FIG.
  • Each block image data is, for example, as shown in FIG. 1 , Face part R 2 It is represented by Therefore, in this example, the facial part R 1 ⁇ R K
  • the total number K of is equal to 64.
  • the feature vector x of the entire face image is divided and expressed by the feature vector of each face part as in the following equation (1).
  • T represents transposition
  • the feature vector x of the entire face image is composed of a matrix of n rows and K columns.
  • the sparse regression analysis processing unit 22 performs a sparse regression analysis for each part determined by the part division processing unit 21 from the training sample set, and constructs a regression model represented by the following equation (2).
  • X i (J) Represents the feature quantity of the training sample.
  • the kernel function defined by the feature quantity for each face part is expressed by a Gaussian kernel as shown in the following equation (3).
  • ⁇ represents a Gaussian width.
  • the regression model can obtain an optimal solution by the LASSO (the Last Absolute Shrinkage and Selection Operator) method (see Non-Patent Document 8 above) or the elastic net method (see Non-Patent Document 9 above).
  • the LASSO method is a method for solving an optimization problem expressed by the following formula (4), to which an L1 regularization term is added.
  • the first term on the right side represents a square error
  • the second term on the right side represents a regularization term for suppressing overlearning.
  • ⁇ is a regularization parameter.
  • the elastic net is a technique for solving the optimization problem represented by the following formula (5) in which an L2 regularization term is added to the right side of the formula (4).
  • DAL dual augmented Lagrangian
  • the merit of the LASSO method is that a sparse solution (most of the coefficient vector ⁇ is zero) is obtained because the origin cannot be differentiated with the L1 norm.
  • the estimation process is fast and a face region having a large attribute and dependency is easily selected.
  • the LASSO method also points out a problem that it is difficult to select a collinear variable. Therefore, in order to compensate for this problem, an elastic net may be used which allows easy selection of variables having high collinearity.
  • ⁇ Gausian width
  • ⁇ regularization parameters
  • the feature amount of the image data includes any one selected from among feature amounts including RGB, Gray Scale, Laplacian, and Haar-like feature amounts. Further, a common feature amount is used for each part. In the first embodiment, the above four types of feature amounts of image data are listed. However, the present invention is not limited to these, and other feature amounts may be used.
  • the dependence calculation unit 24 uses the regression model constructed by the sparse regression analysis processing unit 22 to determine between each face sample j (explanatory variable X) and attribute (objective variable Y) for each training sample set. Dependency score is calculated.
  • the dependency score is defined by the following formula (6).
  • the dependency degree calculation unit 24 outputs the dependency degree score as an attribute factor analysis result. Thereby, the difference of the attribute factor between each data can be known.
  • the visualization processing unit 25 visualizes the attribute factor analysis result output from the dependency calculation unit 24 and outputs it to the output device 30.
  • the attribute factor analysis result indicates an area extracted as an attribute factor.
  • the visualization processing unit 25 calculates the magnitude of the numerical value of the dependency score for each block image (part) calculated by the dependency calculation unit 24 in a matrix (Color-Matrix) as shown in FIG. Visualize. 3 illustrates not only an example of visualization in the case of the first embodiment (sparse regression) but also an example of visualization in the case of non-sparse regression and LSMI (Least-Square Mutual Information). ing.
  • FIG. 3 also shows an example of three types of attributes, that is, “attribute 1”, “attribute 2”, and “attribute 3” as attributes (impression degree).
  • the impression level of the attribute 1 shows an example of visualization of the attribute factor analysis result in the case of “bright and refreshing”.
  • the impression level of the attribute 2 shows an example of visualization of the attribute factor analysis result when the degree of impression is “pretty”.
  • the impression degree of the attribute 3 shows an example of visualization of the attribute factor analysis result in the case of “business sensitivity”. As shown in FIG.
  • FIG. 3 shows that the first embodiment (sparse regression) shows a tendency very similar to LSMI.
  • the first embodiment (sparse regression) can better select a facial part having a higher dependency on attributes than the non-sparse regression. For example, when the impression level of attribute 1 is “bright and fresh”, the attribute factor analysis result indicates that the degree of dependence is large in the vicinity of the mouth, cheeks, and eyes.
  • Each unit of the attribute factor analysis device 100 may be realized using a combination of hardware and software. In the form of a combination of hardware and software, each unit is realized as various means by operating hardware such as a control unit (CPU) based on an attribute factor analysis program stored in the ROM.
  • CPU control unit
  • the attribute factor analysis program may be recorded on a recording medium and distributed.
  • the attribute factor analysis program recorded on the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like.
  • Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • the attribute factor analysis apparatus 100 according to the first embodiment having such a configuration can analyze a factor of an attribute (impression degree) of a target (person's face).
  • FIG. 4 is a block diagram showing a configuration of an attribute factor analyzer 100A according to the second embodiment of the present invention. In addition, about the structure with little connection with this invention, description is simplified or abbreviate
  • the attribute factor analysis apparatus 100A shown in the figure can be realized by a computer that operates under program control.
  • the attribute factor analysis device 100A has the same configuration as that of the attribute factor analysis device 100 shown in FIG. 1 and operates except that the configuration of the data processing device is different as described later. Therefore, the reference numeral 20A is attached to the data processing apparatus. Constituent elements similar to those shown in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted for the sake of simplicity.
  • the illustrated data processing device 20A has the same configuration as that of the data processing device 20 shown in FIG. 1 and operates except that the configuration of the part division processing unit is different as described later. Therefore, the reference numeral 21A is given to the part division processing unit.
  • the part division processing unit 21A calculates in advance the magnitude of the correlation between the explanatory variable X of the part data and the objective variable Y in addition to the part division processing in the part division processing unit 21 shown in FIG. It further includes a sample size adjustment unit 212 for adjusting the sample size.
  • the sample size (in the case of FIG. 5, the size of the block image data) needs to be appropriately determined in advance.
  • each block image data is composed of (8 ⁇ 8) pixels.
  • the image area of the image data is divided into (8 ⁇ 8) parts in a mesh shape. That is, each image data is divided into 64 block image data.
  • the sample size adjustment unit 212 calculates the degree of dependence (correlation) between the explanatory variable X of the part data and the objective variable Y in advance while appropriately changing the sample size.
  • An appropriate sample size is designated while adjusting the balance between “variance of dependency (correlation value) (larger is better)” and “size of region to be analyzed (smaller is better)”.
  • Each unit of the attribute factor analysis device 100A according to the second embodiment may be realized using a combination of hardware and software.
  • each unit is realized as various means by operating hardware such as a control unit (CPU) based on an attribute factor analysis program stored in the ROM.
  • the attribute factor analysis program may be recorded on a recording medium and distributed.
  • the attribute factor analysis program recorded on the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • the attribute factor analysis apparatus 100A according to the second embodiment having such a configuration can easily analyze an attribute (impression degree) factor of a target (person's face).
  • FIG. 6 is a block diagram showing the configuration of the attribute factor analysis device 100B according to the third embodiment of the present invention.
  • the attribute factor analysis apparatus 100B shown in the figure can be realized by a computer that operates under program control.
  • the attribute factor analysis device 100B has the same configuration as that of the attribute factor analysis device 100 shown in FIG. 1 and operates except that the configuration of the data processing device is different as described later. Therefore, the reference numeral 20B is attached to the data processing device. Constituent elements similar to those shown in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted for the sake of simplicity.
  • the illustrated data processing device 20B includes a part division processing unit 21B, a sparse regression analysis processing unit 22B, a memory 23B, a dependency calculation unit 24B, and a visualization processing unit 25B.
  • the part division processing unit 21B divides the reference image data into parts of a predetermined sample size while shifting the division position of the image area by predetermined pixels.
  • the sparse regression analysis processing unit 22B obtains the regression model for each shifted part.
  • the obtained regression model is stored in the memory 23B.
  • the dependency calculation unit 24B performs the calculation of the dependency on each of the shifted parts in parallel to obtain a plurality of attribute factor analysis results.
  • the visualization processing unit 25B integrates (averages) a plurality of attribute factor analysis results, visualizes them, and outputs them to the output device 30.
  • FIG. 7 is a diagram for explaining division positions in the attribute factor analysis apparatus 100 shown in FIG.
  • FIG. 7A shows the image data divided by the part division processing unit 21.
  • FIG. 7B shows an attribute factor analysis result (visualized by the visualization processing unit 25) obtained by the dependency calculation unit 24.
  • the division position of the part may not always be an appropriate position. In the case of FIG. 7 (A), the dividing line passes through the center line of the eyebrows, nose and mouth. For this reason, as shown in FIG.
  • FIG. 8 is a diagram for explaining division position adjustment in the attribute factor analysis apparatus 100B shown in FIG.
  • FIG. 8A shows a plurality of divided image data obtained by shifting the division position by the part division processing unit 21B.
  • FIG. 8B shows a plurality of attribute factor analysis results obtained in parallel by the dependency calculation unit 24B.
  • FIG. 8C shows an integrated attribute factor analysis result visualized by the visualization processing unit 25B.
  • the part division processing unit 21B divides the division position of the image area of the image data into parts of a predetermined sample size while shifting by several pixels (for example, two pixels). .
  • the sparse regression analysis processing unit 23B obtains the regression model for each shifted part.
  • the dependency calculation unit 24B performs the dependency calculation on each of the shifted parts in parallel to obtain a plurality of attribute factor analysis results.
  • the visualization processing unit 25B integrates a plurality of attribute factor analysis results (Color Matrix) (averages pixels at the same position), visualizes them on the output device 30, and outputs them. To do. In this way, by integrating multiple attribute factor analysis results (Color Matrix), it is easy to understand (average) attribute factor analysis results (Color Matrix) with a gradient in the display (displayed in red). Can be presented.
  • Each unit of the attribute factor analysis device 100B according to the third embodiment may be realized using a combination of hardware and software.
  • each unit is realized as various means by operating hardware such as a control unit (CPU) based on an attribute factor analysis program stored in the ROM.
  • the attribute factor analysis program may be recorded on a recording medium and distributed.
  • the attribute factor analysis program recorded on the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • the attribute factor analysis device 100B according to the third embodiment having such a configuration can easily analyze the attribute (impression degree) factor of the target (person's face).
  • FIG. 9 is a block diagram showing a configuration of an attribute estimation / attribute factor analysis device 200 according to the fourth exemplary embodiment of the present invention.
  • the illustrated attribute estimation / attribute factor analysis apparatus 200 can be realized by a computer that operates under program control.
  • the attribute estimation / attribute factor analysis device 200 includes a first input device 10 that inputs data, a data processing device 60, an output device 30 that outputs processing results in the data processing device 60, and an auxiliary that functions as various databases.
  • a storage device 40 and a second input device 50 for inputting data are provided.
  • the data processing device 60 includes a read only memory (ROM) for storing a program, a random access memory (RAM) used as a work memory for temporarily storing data, and a program stored in the ROM. And a central processing unit (CPU) for processing data stored in the RAM.
  • the auxiliary storage device 40 accumulates training sample sets. Each training sample set is a set of reference image data and a set of attribute data associated with the reference image data. In this example, the sample number n is 2100, for example. Of course, the number of samples is not limited to this.
  • the second input device 50 is for inputting input image data (test sample image). In the illustrated example, the reference image data and the input image data (test sample image) are composed of face image data.
  • the attribute data includes data representing the appearance impression of a person's face.
  • the reference image data and the input image data (test sample image) are not necessarily face image data, but normalization processing is applied to all image data.
  • the normalization process is to perform alignment at a specific part. For example, when the reference image data and the input image data (test sample image) are face image data, the normalization process is to align both eyes.
  • the illustrated attribute estimation / attribute factor analysis apparatus 200 is an apparatus that estimates the attribute of input image data (test sample image) and analyzes the attribute factor.
  • the first input device 10 inputs the training sample set stored in the auxiliary storage device 40 to the data processing device 60.
  • the second input device 50 inputs the input image data (test sample image) to the data processing device 60.
  • the data processing device 60 includes a part division processing unit 61, a sparse regression analysis processing unit 62, a memory 63 for storing a regression model, an attribute estimation / dependency calculation unit 64, and a visualization processing unit 65.
  • the part division processing unit 61 divides the image area of the reference image data constituting each of the training sample sets into a mesh shape into parts of a predetermined sample size.
  • the sparse regression analysis processing unit 62 constructs a regression model by performing sparse regression analysis for each part from the training sample set.
  • the constructed regression model is stored in the memory 63.
  • the memory 63 may be composed of a hard disk, for example.
  • the attribute estimation / dependency calculation unit 64 uses the regression model to estimate the attribute of the input image data, and for the input image data, estimates the explanatory variable X representing the feature quantity of the input image data of each part. The dependence between the objective variable Y representing the attribute is calculated, and the attribute estimation result and attribute factor analysis result of the input image data are obtained.
  • the visualization processing unit 65 visualizes the attribute estimation result and the attribute factor analysis result and outputs them to the output device 30. Next, the operation of each processing unit of the data processing device 60 will be described in detail.
  • the operations of the part division processing unit 61, the sparse regression analysis processing unit 62, the sparse regression analysis processing unit 62, and the memory 63 are the part division processing unit 21, the sparse regression analysis processing unit 22, and the sparse regression analysis processing unit shown in FIG. 23 and the operation of the memory 23, the description thereof will be omitted.
  • the attribute estimation / dependency calculation unit 64 uses the regression model (stored in the memory 63) constructed by the sparse regression analysis processing unit 62 to input image data (test sample) x te The input image data (test sample) x te
  • a dependency score between the face part j (explanatory variable X) and the attribute (object variable Y) is calculated.
  • the dependency score is defined by the following equation (7).
  • the attribute estimation / dependency calculation unit 64 outputs an attribute estimation result and outputs a dependency score as an attribute factor analysis result.
  • unknown data test sample
  • the visualization processing unit 65 visualizes the attribute estimation result and the attribute factor analysis result output from the attribute estimation / dependency calculation unit 64 and outputs the result to the output device 30.
  • the visualization processing unit 65 shows the numerical value of the attribute estimation result and the magnitude of the numerical value of the dependency score for each block image (part) calculated by the attribute estimation / dependency calculation unit 64 in FIG. As shown, it is visualized with a matrix (Color-Matrix).
  • a matrix Color-Matrix
  • test sample x te As well as the first embodiment (estimated value based on sparse regression) in the case where three types of test samples “test sample 1”, “test sample 2”, and “test sample 3” are input, the correct answer Values are also illustrated.
  • the estimated attribute is an example of “bright and refreshing” that is the impression degree of attribute 1.
  • a person attribute impression degree
  • 4.0 means “very bright and refreshing”.
  • FIG. 10 it can be seen that the estimated value by sparse regression is almost equal to the correct value in any test sample.
  • each unit of the attribute estimation / attribute factor analysis apparatus 200 can analyze and visualize the relationship between the regression output and the attribute factor.
  • Each unit of the attribute estimation / attribute factor analysis apparatus 200 according to the fourth embodiment may be realized using a combination of hardware and software. In the form of a combination of hardware and software, each unit is realized as various means by operating hardware such as a control unit (CPU) based on an attribute estimation / attribute factor analysis program stored in the ROM.
  • CPU control unit
  • the attribute estimation / attribute factor analysis program may be recorded on a recording medium and distributed.
  • the attribute estimation / attribute factor analysis program recorded in the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like.
  • Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • the attribute estimation / attribute factor analysis device 200 according to the first embodiment having such a configuration not only estimates the attribute (impression level) of the target (person's face) but also determines the factor of the attribute (impression level). Can be analyzed.
  • FIG. 11 is a block diagram showing a configuration of an attribute estimation / attribute factor analysis device 200A according to the fifth embodiment of the present invention.
  • the illustrated attribute estimation / attribute factor analysis device 200A can be realized by a computer that operates under program control.
  • the attribute estimation / attribute factor analysis apparatus 200A has the same configuration as that of the attribute estimation / attribute factor analysis apparatus 200 shown in FIG. 9 except that the configuration of the data processing apparatus is different as described later.
  • the reference numeral 60A is attached to the data processing device. Constituent elements similar to those shown in FIG. 9 are denoted by the same reference numerals, and description thereof is omitted for the sake of simplicity.
  • the illustrated data processing device 60A has the same configuration as the data processing device 60 shown in FIG.
  • the reference numeral 61A is assigned to the part division processing unit.
  • the part division processing unit 61A calculates in advance the magnitude of correlation between the explanatory variable X of the part data and the objective variable Y in addition to the part division processing in the part division processing unit 61 shown in FIG. It further includes a sample size adjustment unit 612 that adjusts the sample size. Next, the operation of the sample size adjustment unit 612 is the same as the operation of the sample size adjustment unit 212 shown in FIG.
  • Each unit of the attribute estimation / attribute factor analysis device 200A according to the fifth embodiment may be realized using a combination of hardware and software.
  • each unit is realized as various means by operating hardware such as a control unit (CPU) based on an attribute estimation / attribute factor analysis program stored in the ROM. Further, the attribute estimation / attribute factor analysis program may be recorded on a recording medium and distributed. The attribute estimation / attribute factor analysis program recorded in the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • the attribute estimation / attribute factor analysis device 200A according to the fifth embodiment having such a configuration not only estimates the attribute (impression level) of the target (person's face) but also determines the factor of the attribute (impression level).
  • FIG. 12 is a block diagram showing a configuration of an attribute estimation / attribute factor analysis device 200B according to the sixth embodiment of the present invention.
  • the illustrated attribute estimation / attribute factor analysis device 200B can be realized by a computer that operates under program control.
  • the attribute estimation / attribute factor analysis apparatus 200B has the same configuration as the attribute estimation / attribute factor analysis apparatus 200 shown in FIG. 9 except that the configuration of the data processing apparatus is different as described later. To work. Therefore, the reference numeral 60B is attached to the data processing apparatus. Constituent elements similar to those shown in FIG.
  • the illustrated data processing device 60B includes a part division processing unit 61B, a sparse regression analysis processing unit 62B, a memory 63B, an attribute estimation / dependency calculation unit 64B, and a visualization processing unit 65B.
  • the part division processing unit 61B divides each of the training sample sets into parts of a predetermined sample size while shifting the division position of the image area of the reference image data by predetermined pixels.
  • the sparse regression analysis processing unit 62B obtains the regression model for each shifted part.
  • the obtained regression model is stored in the memory 63B.
  • the attribute estimation / dependency calculation unit 64B performs, in parallel, the attribute estimation and the dependency calculation for each of the shifted parts, so that a plurality of attribute estimation results and a plurality of attribute factor analysis results are obtained. And get.
  • the visualization processing unit 65B integrates (averages) a plurality of attribute estimation results and a plurality of attribute factor analysis results, visualizes them, and outputs them to the output device 30.
  • the division position is adjusted. Since the adjustment of the division position is the same as that described with reference to FIGS. 7 and 8, the description thereof is omitted.
  • Each unit of the attribute estimation / attribute factor analysis device 200B according to the sixth embodiment may be realized using a combination of hardware and software.
  • each unit is realized as various means by operating hardware such as a control unit (CPU) based on an attribute estimation / attribute factor analysis program stored in the ROM. Further, the attribute estimation / attribute factor analysis program may be recorded on a recording medium and distributed.
  • the attribute estimation / attribute factor analysis program recorded in the recording medium is read into the memory via the wired, wireless, or recording medium itself, and operates the control unit and the like.
  • the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • the attribute estimation / attribute factor analysis device 200B according to the sixth embodiment having such a configuration can estimate the attribute (impression degree) of the target (person's face) more accurately and the factor of the attribute (impression degree). Can be analyzed in an easy-to-understand manner.
  • the processing of the embodiment is performed by using information stored in a computer-readable storage medium encoded with a program, software, or an instruction that can be executed by a computer. It may be executed by installing it.
  • the storage medium includes not only a portable recording medium such as an optical disk, a floppy (registered trademark) disk, and a hard disk, but also a transmission medium that temporarily records and holds data such as a network.
  • a portable recording medium such as an optical disk, a floppy (registered trademark) disk, and a hard disk
  • a transmission medium that temporarily records and holds data such as a network.
  • each image data may be divided into (M ⁇ N) rectangular block image data of M rows and N columns.
  • M and N are first and second integers of 2 or more, respectively.
  • each of the first integer M and the second integer N is preferably 6 or more.
  • the plurality of block image data obtained by dividing all have the same sample size, but it is needless to say that they may be different from each other.
  • the image area of each image data is divided into a plurality of block image data of different sample sizes so that the dividing line does not pass through the characteristic part of the face (for example, mouth, eyes, nose, etc.). May be.
  • the image data is face image data and the attribute is the impression level of the face is described as an example.
  • the present invention is not limited to this.
  • the image data may be image data other than the face image data, and the attribute may be an attribute other than the impression degree.
  • the present invention can be applied to applications such as application to makeup simulation and flexible makeup improvement point advice according to the customer's orientation (image that he wants to be).

Abstract

　本発明は、各々が参照画像データとこの参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性の要因を分析する方法である。属性要因分析方法は、訓練サンブル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、参照サンブル集合から部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、回帰モデルを用いて、訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出工程と、属性要因分析結果を可視化して出力する可視化工程と、を含む。

Description

属性要因分析方法、装置、およびプログラム
　本発明は、人物等の対象の属性を推定する方法に関し、特に、属性の要因を分析する方法、装置、およびプログラムに関する。
　近年、人物の顔画像からその人物の属性（性別、年齢、表情など）を推定する研究が著しく発展している。中でも性別・年齢推定は、マーケティング戦略、セキュリティ、アミューズメントなどの用途に応用され、製品化されている。
　例えば、機械学習の手法の１つとして、「教師付き学習」が知られている（例えば、特許文献１参照）。教師付き学習では、各々が入力データ（観測データ）と出力（観測データの意味、属性・結果）との一組から成る事例データ集合を「教師からの助言」とみなし、事例データ集合を元に機械（計算機）が学習を行う。ここでの「学習」とは、出力が未知の入力データに対する出力を予測・推定する関数モデルを作成することをいう。
　次に、顔画像認識を例に挙げて具体的に説明する。本顔画像認識では、顔画像から性別（人物属性の１つ）を推定する場合について説明する。
　学習時では、女性、男性の顔画像から成る事例データの集合から、計算機が関数モデルを構築する。評価時では、性別が未知の顔画像（例えば、女性の顔画像であるとする）を入力すると、計算機は、入力データと上記関数モデルから、性別として「女性」を出力する。
　又、特許文献２は、人間が知覚する結果に近い認識結果を得られる「年齢推定装置及び方法並びにプログラム」を開示している。特許文献２に開示された年齢推定装置では、回帰分析（ｒｅｇｒｅｓｓｉｏｎ）で年齢推定のモデルを作る際に、若年層の学習重みを強くすることで、若年層の推定精度を改善している。具体的には、特許文献２では、特徴ベクトルの抽出元であるテストデータの真の年齢を予測する教師付き回帰問題において、カーネル正則化重み付き最小二乗法（ＫＲＷＬＳ：Ｋｅｒｎｅｌ　Ｒｅｇｕｌａｒｉｚｅｄ　Ｗｅｉｇｈｔｅｄ　Ｌｅａｓｔ　Ｓｑｕａｒｅｓ）を用いて、年齢推定関数を正定値カーネルの線形結合でモデル化している。
　また、最小二乗確率的識別器（ＬＳＰＣ：Ｌｅａｓｔ　Ｓｑｕａｒｅ　Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｃｌａｓｓｉｆｉｅｒ）と呼ばれる学習効率の良い識別器も知られている（例えば、非特許文献１、非特許文献２参照）。ＬＳＰＣは、二乗損失のもとでクラスの事後確率モデルを学習する識別手法であり、解が解析的に計算できることが最大の特徴である。また、ＬＳＰＣは、事後確率を密度比の形でクラス毎に直接推定する為、各クラスの学習データ数のアンバランスに強いという特徴も併せ持つ。ＬＳＰＣでは、事後確率を二乗損失を用いて学習を行う。これにより、ＬＳＰＣは、従来手法と同程度のパターン認識精度を維持しながら、学習時間を数百倍短縮することが可能となる。また、ＬＳＰＣでは、特定のクラスのデータ数の偏りの影響を受けにくい。
　さらに、ランキング学習も知られている。ここで、「ランキング学習」とは、関連度の高さや順列に応じて、データに高いスコアを付与出来る様、教師付き学習の枠組みで最適化する手法である。例えば、ペアワイズ・アプローチに基づくランキング学習の代表例な例として、ｒａｎｋｉｎｇ　ＳＶＭ（ｒａｎｋｉｎｇ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）が知られている（例えば、非特許文献３参照）。ｒａｎｋｉｎｇ　ＳＶＭでは、学習データのペアに対する損失を考えることで、ＳＶＭによる２クラス識別問題に帰着させ、スコア関数の最適化を行う。
　尚、対象の特徴量を表す説明変数と属性・結果を表す目的変数との間の相関の大きさを算出する方法として、ＣＣＡ（正準相関分析）の部分空間（１次元）での相関値を算出する方法や、相互情報量（Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ；ＭＩ）を算出する方法である最尤推定相互情報量（Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ；ＭＬＭＩ）（例えば、非特許文献４参照）、二乗損失相互情報量（Ｓｑｕａｒｅｄ−ｌｏｓｓ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ；ＳＭＩ）を算出する方法である最小二乗相互情報量（Ｌｅａｓｔ−Ｓｑｕａｒｅｓ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ；ＬＳＭＩ）（例えば、非特許文献５参照）などが知られている。
　また、スパース回帰モデルを最適化する手法も知られている（例えば、非特許文献６、非特許文献７参照）。
特開平１１−１７５７２４号公報 特許第４７４２１９２号公報
Ｓｕｇｉｙａｍａ，Ｍ，"Ｓｕｐｅｒｆａｓｔ−ｔｒａｉｎａｂｌｅ　ｍｕｌｔｉ−ｃｌａｓｓ　ｐｒｏｂａｂｌｉｓｔｉｃ　ｃｌａｓｓｉｆｉｅｒ　ｂｙ　ｌｅａｓｔ−ｓｑｕａｒｅ　ｐｏｓｔｅｒｉｏｒ　ｆｉｔｔｉｎｇ，"ＩＥＩＣＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｓｙｓｔｅｍｓ，ｖｏｌ．Ｅ９３−Ｄ，ｎｏ．１０，ｐｐ．２６９０−２７０１，２０１０ 伊原　康行、杉山　将、植木　一也、藤田　光洋、"複数識別器の重み付き統合による多人種の年代識別"、動的画像処理実利用化ワークショップ２０１１（ＤＩＡ２０１１）予稿集、ｐｐ．３１７−３２２、徳島、２０１１．３．３−４ Ｒ．Ｈｅｒｂｒｉｃｈ，Ｔ．Ｇｒａｅｐｅｌ　ａｎｄ　Ｋ．Ｏｂｅｒｍａｙｅｒ："Ｌａｒｇｅ　ｍａｒｇｉｎｒａｎｋ　ｂｏｕｎｄａｒｉｅｓ　ｆｏｒ　ｏｒｄｉｎａｌ　ｒｅｇｒｅｓｓｉｏｎ"，Ａｄｖａｎｃｅｓ　ｉｎ　Ｌａｒｇｅ　Ｍａｒｇｉｎ　Ｃｌａｓｓｉｆｉｅｒｄｓ，Ｃａｍｂｒｉｇｅ，ＭＡ，ＭＩＴ　Ｐｒｅｓｓ，ｐｐ．１１５−１３２（２０００） Ｓｕｚｕｋｉ，Ｔ．，Ｓｕｇｉｙａｍａ，Ｍ．，Ｓｅｓｅ，Ｊ．，＆　Ｋａｎａｍｏｒｉ，Ｔ．"Ａｐｐｒｏｘｉｍａｔｉｎｇ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　ｂｙ　Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　Ｄｅｎｓｉｔｙ　Ｒａｔｉｏ　Ｅｓｔｉｍａｔｉｏｎ"Ｉｎ　Ｙ．Ｓａｅｙｓ，Ｈ．Ｌｉｕ，Ｉ．Ｌｎｚａ，Ｌ．Ｗｅｈｅｎｋｅｌ，ａｎｄ　Ｙ．Ｖａｎ　ｄｅ　Ｐｅｅｒ（Ｅｄｓ．），Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｎｅｗ　Ｃｈａｌｌｅｎｇｅｓ　ｆｏｒ　Ｆｅａｔｕｒｅ　Ｓｅｌｅｃｔｉｏｎ　ｉｎ　Ｄａｔａ　Ｍｉｎｉｎｇ　ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ　２００８（ＦＳＤＭ２００８），ＪＭＬＲ　Ｗｏｒｋｓｈｏｐ　ａｎｄ　Ｃｏｎｆｅｒｅｎｃｅ　Ｐｒｏｃｅｅｄｉｎｇ，ｖｏｌ．４，ｐｐ．５−２０，２００８ Ｓｕｚｕｋｉ，Ｔ．，Ｓｕｇｉｙａｍａ，Ｍ．，Ｋａｎａｍｏｒｉ，Ｔ．，＆　Ｓｅｓｅ，Ｊ．"Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ　Ｒｅｖｅａｌｓ　Ｇｌｏｂａｌ　Ａｓｓｏｃｉａｔｉｏｎｓ　ｂｅｔｗｅｅｎ　Ｓｔｉｍｕｌｉ　ａｎｄ　Ｂｉｏｌｏｇｉｃａｌ　Ｐｒｏｃｅｓｓｅｓ"ＢＭＣ　Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，ｖｏｌ．１０，ｎｏ．１，ｐｐ．Ｓ５２，２００９ Ｔｏｍｉｏｋａ，Ｒ．，Ｓｕｚｕｋｉ，Ｔ．ａｎｄ　Ｓｕｇｉｙａｍａ，Ｍ．"Ａｕｇｍｅｎｔｅｄ　Ｌａｇｒａｎｇｉａｎ　Ｍｅｔｈｏｄｓ　ｆｏｒ　Ｌｅａｒｎｉｎｇ，Ｓｅｌｅｃｔｉｎｇ，　ａｎｄ　Ｃｏｍｂｉｎｉｎｇ　Ｆｅａｔｕｒｅｓ，Ｏｐｔｉｍｉｚａｔｉｏｎ　ｆｏｒ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ"ＭＩＴ　Ｐｒｅｓｓ，Ｃａｍｂｒｉｄｇｅ，ＭＡ，ＵＳＡ，ｃｈａｐｔｅｒ　９，ｐｐ．２５５−２８３（２０１１） 富岡　亮太、鈴木　大慈、杉山　将「スパース正則化およびマルチカーネル学習のための最適化アルゴリズムと画像認識への応用」『画像ラボ』２０１０年４月号ｐｐ．５−１１日本工業出版 Ｒ．Ｔｉｂｓｈｉｒａｎｉ，"Ｒｅｇｒｅｓｓｉｏｎ　ｓｈｒｉｎｋａｇｅ　ａｎｄ　ｓｕｂｓｅｔ　ｓｅｌｅｃｔｉｏｎ　ｗｉｔｈ　ｔｈｅ　ｌａｓｓｏ，"Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ｒｏｙａｌ　Ｓｔａｔｉｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ，Ｓｅｒｉｅｓ　Ｂ，ｖｏｌ．５８，ｎｏ．１，ｐｐ．２６７−２８８，１９９６． Ｚｏｕ，Ｈ．ａｎｄ　Ｈａｓｔｉｅ，Ｔ．，"Ｒｅｇｕｌａｒｉｚａｔｉｏｎ　ａｎｄ　ｖａｒｉａｂｌｅ　ｓｅｌｅｃｔｉｏｎ　ｖｉａ　ｔｈｅ　ｅｌａｓｔｉｃ　ｎｅｔ"，Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ｒｏｙａｌ　Ｓｔａｔｉｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ　Ｂ，６７，２００５，ｐｐ．３０１−３２０．
　上述した特許文献１では、入力データ（顔画像）から出力（例えば、性別）を推定することしかできない。また、上述した特許文献２でも、入力データ（顔画像）から年齢を推定しているだけである。さらに、上述した非特許文献１~３のいずれも、未知データの属性を推定しているだけである。
　換言すれば、上述した従来の教師付き学習は、顔全体からその属性（多人数が感じる印象度）を推定（出力）する技術を開示しているだけである。すなわち、その属性の要因（データが属性を持つ主な原因）については分からない。
［発明の目的］
　本発明の目的は、対象の属性の要因を分析することができる、属性要因分析方法、装置、およびプログラムを提供することにある。
　本発明の他の目的は、対象の属性を推定するだけでなく、その属性の要因を分析することもできる、属性推定・属性要因分析方法、装置、およびプログラムを提供することにある。
　本発明の第１の形態は、各々が参照画像データとこの参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性要因分析装置を用いて、属性の要因を分析する方法であって、訓練サンプル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、訓練サンブル集合から部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、回帰モデルを用いて、訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出工程と、属性要因分析結果を可視化して出力する可視化工程と、を含むことを特徴とする。
　本発明の第２の形態は、属性推定・属性要因分析装置を用いて、入力画像データの属性を推定し、かつその属性の要因を分析する方法であって、各々が参照画像データと参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、訓練サンブル集合から部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、回帰モデルを用いて、入力画像データの属性を推定すると共に、入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と推定した属性を表す目的変数との間の依存度を算出して、入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出工程と、属性推定結果と前記属性要因分析結果とを可視化して出力する可視化工程と、を含むことを特徴とする。
　本発明によれば、対象の属性の要因を分析することができる。
　図１は本発明の第１の実施形態に係る属性要因分析装置の構成を示すブロック図である。
　図２は顔画像に関する訓練サンプルの一例を示す図である。
　図３は図１の可視化処理部で可視化された属性要因分析結果の例を、他の手法による属性要因分析結果と共に示す図である。
　図４は本発明の第２の実施形態に係る属性要因分析装置の構成を示すブロック図である。
　図５はサンプル・サイズの調整を説明するための図である。
　図６は本発明の第３の実施形態に係る属性要因分析装置の構成を示すブロック図である。
　図７は図１に示した属性要因分析装置における分割位置を説明するための図である。
　図８は図６に示した属性要因分析装置における分割位置の調整を説明するための図である。
　図９は本発明の第４の実施形態に係る属性推定・属性要因分析装置の構成を示すブロック図である。
　図１０は図９の可視化処理部で可視化された、属性推定結果および属性要因分析結果の例を、正解値と共に示す図である。
　図１１は本発明の第５の実施形態に係る属性推定・属性要因分析装置の構成を示すブロック図である。
　図１２は本発明の第６の実施形態に係る属性推定・属性要因分析装置の構成を示すブロック図である。
［第１の実施の形態］
　図１は、本発明の第１の実施形態に係る属性要因分析装置１００の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図示の属性要因分析装置１００は、プログラム制御により動作するコンピュータで実現可能である。属性要因分析装置１００は、データを入力する入力装置１０と、データ処理装置２０と、データ処理装置２０での処理結果を出力する出力装置３０と、種々のデータベースとして働く補助記憶装置４０とを備えている。
　図示はしないが、データ処理装置２０は、プログラムを記憶するリードオンリメモリ（ＲＯＭ）と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ（ＲＡＭ）と、ＲＯＭに記憶されたプログラムに従って、ＲＡＭに記憶されているデータを処理する中央処理装置（ＣＰＵ）とから構成される。
　補助記憶装置４０は、訓練サンプル集合を蓄積する。訓練サンプル集合は、各々が参照画像データと、この参照画像データに付随する属性データとの一組から成る集合である。本例では、サンプル数ｎは、例えば、２１００個である。サンプル数は、これに限定されないのは勿論である。
　また、図示の例では、参照画像データは顔画像データから成る。また、属性データは、人物の顔の見た目の印象度を表すデータから成る。
　なお、参照画像データは、必ずしも顔画像データで無くても良いが、全ての画像データに対して正規化処理が施されている。ここで、正規化処理とは、特定の部位で位置合わせをすることである。例えば、参照画像データが顔画像データの場合、正規化処理は両目を位置合わせすることである。
　図示の属性要因分析装置１００は、顔部位別データの特徴と見た目の印象度との間に依存度（相関）があるかを分析する装置である。
　入力装置１０は、補助記憶装置４０に格納されている訓練サンプル集合をデータ処理装置２０に入力する。
　データ処理装置２０は、部位分割処理部２１と、スパース回帰分析処理部２２と、後述する回帰モデルを格納するメモリ２３と、依存度算出部２４と、可視化処理部２５とから成る。
　部位分割処理部２１は、訓練サンブル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する。
　スパース回帰分析処理部２２は、訓練サンブル集合から、部位毎に、スパース回帰分析をして、後述するような回帰モデルを構築する。構築された回帰モデルは、メモリ２３に格納される。メモリ２３は、例えば、ハードディスクから成ってよい。
　依存度算出部２４は、回帰モデルを用いて、訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数Ｘと属性データを表す目的変数Ｙとの間の依存度を算出して、属性要因分析結果を得る。
　可視化処理部２５は、属性要因分析結果を可視化して出力装置３０に出力する。
　次に、データ処理装置２０の各処理部の動作について詳細に説明する。
　図２は、顔画像に関する訓練サンプルの一例を示す図である。訓練サンプルは、顔画像データの特徴量を表す説明変数Ｘと、顔の属性「印象度」を表す目的変数Ｙとの一組から成る。前述したように、本例の場合、このような訓練サンプルが、２１００個、補助記憶装置４０に蓄積されている。
　部位分割処理部２１は、分析目的、顧客ニーズなどに応じて、説明変数Ｘの部位分割方法（メッシュ分割方法）を決定する。本例では、部位分割処理部２１は、まず、２１００個の顔画像サンプル全てに対して、両目の位置で顔画像データを正規化する。本例では、１画像データは、（６４×６４）ピクセルから成る。
　次に、部位分割処理部２１は、正規化した顔画像データを、（８×８）ピクセルのブロック画像データに分割する。したがって、本例の場合、部位分割処理部２１は、図２に示されるように、６４個のブロック画像データを得る。
　各ブロック画像データは、例えば、図２に示されるように、顔部位Ｒ１、顔部位Ｒ２で表される。従って、本例の場合、顔部位Ｒ１~ＲＫの総数Ｋは、６４に等しい。
　顔画像全体の特徴ベクトルｘは、次の式（１）のように、各顔部位の特徴ベクトルによって、分割表現される。
Figure JPOXMLDOC01-appb-I000001
ここで、Ｔは転置を表し、顔画像全体の特徴ベクトルｘは、ｎ行Ｋ列のマトリックスから成る。
　但し、部位分割手法には工夫を要する。それについては、後で詳述する。
　スパース回帰分析処理部２２は、訓練サンプル集合から、部位分割処理部２１で決めた部位毎に、スパース回帰分析をして、次の式（２）で表される、回帰モデルを構築する。
Figure JPOXMLDOC01-appb-I000002
Figure JPOXMLDOC01-appb-I000003
し、ｘｉ （ｊ）は訓練サンプルの特徴量を表す。顔部位毎の特徴量で定義されるカーネル関数は、次の式（３）のように、ガウシアン・カーネルで表される。
Figure JPOXMLDOC01-appb-I000004
ここで、σはガウス幅を表す。
　次に、回帰モデルの最適化手法について説明する。回帰モデルは、ＬＡＳＳＯ（ｔｈｅ　Ｌｅａｓｔ　Ａｂｓｏｌｕｔｅ　Ｓｈｒｉｎｋａｇｅ　ａｎｄ　Ｓｅｌｅｃｔｉｏｎ　Ｏｐｅｒａｔｏｒ）手法（上記非特許文献８参照）、または、ｅｌａｓｔｉｃ　ｎｅｔ手法（上記非特許文献９参照）により、最適解を得ることができる。ここで、ＬＡＳＳＯ手法とは、Ｌ１正則化項を付与した、下記の式（４）で表される最適化問題を解く手法である。
Figure JPOXMLDOC01-appb-I000005
ここで、右辺の第１項は、二乗誤差を表し、右辺の第２項は、過学習を抑制するための正則化項を表す。λは正則化パラメータである。また、ｅｌａｓｔｉｃ　ｎｅｔとは、式（４）の右辺にＬ２正則化項を付与した、下記の式（５）で表される最適化問題を解く手法である。
Figure JPOXMLDOC01-appb-I000006
ＬＡＳＳＯ解、ｅｌａｓｔｉｃ　ｎｅｔ解を得るための最適化手法の例として、ＤＡＬ（ｄｕａｌ　ａｕｇｍｅｎｔｅｄ　Ｌａｇｒａｎｇｉａｎ）などがある（上記非特許文献６、参照）。ＬＡＳＳＯ手法のメリットは、Ｌ１ノルムでの原点の微分不可能性のため、スパースな解（係数ベクトルγの大半がゼロ）が得られることである。その結果、推定処理が高速であり、属性と従属度の大きい顔領域が選ばれやすいという利点がある。しかしながら、ＬＡＳＳＯ手法には、共線性のある変数が選ばれにくいといった問題も指摘される。そこで、この問題点を補うために、共線性の高い変数同士も選ばれやすいｅｌａｓｔｉｃ　ｎｅｔを使うこともある。尚、σ（ガウス幅）及びλ、μ（正則化パラメータ）は、公差確認法により選択される。
　尚、画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る。また、各部位とも、共通した特徴量を使用する。
　また、本第１の実施形態では、画像データの特徴量として上記４種類を挙げているが、本発明はそれらに限定されず、他の特徴量を用いても良いのは勿論である。
　依存度算出部２４は、スパース回帰分析処理部２２で構築された回帰モデルを用いて、訓練サンプル集合のそれぞれに対し、顔部位ｊ（説明変数Ｘ）と属性（目的変数Ｙ）との間の依存度スコアを算出する。依存度スコアは、下記の式（６）で定義される。
Figure JPOXMLDOC01-appb-I000007
　依存度算出部２４は、依存度スコアを、属性要因分析結果として出力する。これにより、各データ間の属性要因の違いを知ることができる。
　可視化処理部２５は、依存度算出部２４から出力された属性要因分析結果を可視化して、出力装置３０に出力する。ここで、属性要因分析結果とは、属性の要因として抽出された領域を指す。
　詳述すると、可視化処理部２５は、依存度算出部２４で算出した、各ブロック画像（部位）ごとの依存度スコアの数値の大小を、図３に示すように、マトリクス（Ｃｏｌｏｒ−Ｍａｔｒｉｘ）で可視化する。
　尚、図３では、本第１の実施形態（スパース回帰）の場合の可視化の例ばかりでなく、非スパース回帰の場合およびＬＳＭＩ（Ｌｅａｓｔ−Ｓｑｕａｒｅｓ　Ｍｕｔｕａｌ　Ｉｎｆｏｍａｔｉｏｎ）の場合の可視化の例をも図示している。本例では、非スパース回帰として、Ｌ２正則化カーネル回帰分析を使用している。ＬＳＭＩは、上記非特許文献５に記載されている。
　また図３では、属性（印象度）として、３種類の属性、すなわち、「属性１」、「属性２」、および「属性３」の例を示している。属性１の印象度は、「明るくさわやか度」である場合の属性要因分析結果の可視化の例を示している。属性２の印象度は、「かわいらしい度」である場合の属性要因分析結果の可視化の例を示している。属性３の印象度は、「ビジネス感度」である場合の属性要因分析結果の可視化の例を示している。
　図３に示されるように、依存度の大小を表す数値が大きいほど濃度が濃くなっている（強い赤色に着色されている）。また、属性要因分析結果を可視化することで、依存度の大きさの、部位毎の違いを分かりやすく説明することが可能となる。
　図３から、本第１の実施形態（スパース回帰）は、ＬＳＭＩと非常に類似した傾向を示していることが分かる。また、本第１の実施形態（スパース回帰）の方が、非スパース回帰よりも、属性との依存度の高い、顔部位を上手く選べていることが分かる。
　例えば、属性１の印象度が「明るくさわやか度」の場合、属性要因分析結果は、口、ほお、目の付近で依存度が大きいことを示している。換言すれば、口、ほお、目の付近が、「明るくさわやか」な印象の決め手になることを示している。
　また、属性２の印象度が「かわいらしい度」の場合、属性要因分析結果は、おでこ、顎の付近で依存度が大きいことを示している。換言すれば、おでこ、顎の付近が、「かわいらしい」の印象の決め手になることを示している。
　さらに、属性３の印象度が「ビジネス感度」の場合、属性要因分析結果は、髪領域の付近で依存度が大きいことを示している。換言すれば、髪領域の付近が、「ビジネス感」の印象の決め手になることを示している。
　図３から、全体的傾向として、次のことがわかる。
　まず、顔部位により、印象度との大きな依存度が認められることである。詳述すると、特定の印象度との依存度の大きい部位は、ほぼ共通している（目、口など）ことがわかる。
　次に、印象度の種類により、依存度の大きい顔部位の位置が異なることである。
　尚、本第１の実施形態では、顔の印象度として上記３種類を挙げているが、本発明はそれらに限定されず、それら３種類の印象度から少なくとも１の印象度を選択しても良いし、他の印象度を用いても良いのは勿論である。
　第１の実施形態に係る属性要因分析装置１００の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態ては、ＲＯＭに記憶された属性要因分析プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　このような構成の第１の実施形態に係る属性要因分析装置１００は、対象（人物の顔）の属性（印象度）の要因を分析することができる。
［第２の実施の形態］
　図４は、本発明の第２の実施形態に係る属性要因分析装置１００Ａの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図示の属性要因分析装置１００Ａは、プログラム制御により動作するコンピュータで実現可能である。属性要因分析装置１００Ａは、データ処理装置の構成が後述のように相違している点を除いて、図１に示した属性要因分析装置１００と同様の構成を有し、動作をする。したがって、データ処理装置に２０Ａの参照符号を付してある。図１に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
　図示のデータ処理装置２０Ａは、部位分割処理部の構成が後述のように相違している点を除いて、図１に示したデータ処理装置２０と同様の構成を有し、動作をする。したがって、部位分割処理部に２１Ａの参照符号を付してある。
　部位分割処理部２１Ａは、図１に示した部位分割処理部２１における部位分割処理に加えて、部位のデータの説明変数Ｘと目的変数Ｙとの間の相関の大きさを予め算出して、サンプル・サイズを調整するサンプル・サイズ調整部２１２を更に含む。
　次に、サンプル・サイズ調整部２１２の動作について更に詳細に説明する。
　図５に示されるように、サンプル・サイズの大きさ（図５の場合、ブロック画像データのサイズ）は、予め適切に決めておく必要がある。図５の例では、各ブロック画像データは、（８×８）ピクセルから成る。そして、画像データの画像領域は、（８×８）の部位にメッシュ状に分割されている。すなわち、各画像データは、６４個のブロック画像データに分割されている。
　サンプル・サイズが小さすぎる場合、相関の大小の比較が出来なくなる。すなわち、どの部位データにおいても、目的変数Ｙとの相関が非常に小さくなってしまう。
　一方、サンプル・サイズが大きすぎる場合、本来の分析目的が達成出来なくなる。換言すれば、目的変数Ｙへの関与度が高い部位の特定が困難になる。
　そこで、サンプル・サイズ調整部２１２は、サンプル・サイズを適宜変更しながら、部位データの説明変数Ｘと目的変数Ｙとの間の依存度（相関）の大きさを予め算出し、「部位毎の依存度（相関値）の分散（大きいほど良い）」と、「分析したい部位のサイズ（小さいほど良い）」のバランスを調整しながら、適切なサンプル・サイズを指定する。
　第２の実施形態に係る属性要因分析装置１００Ａの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された属性要因分析プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　このような構成の第２の実施形態に係る属性要因分析装置１００Ａは、対象（人物の顔）の属性（印象度）の要因を容易に分析することができる。
［第３の実施の形態］
　図６は、本発明の第３の実施形態に係る属性要因分析装置１００Ｂの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図示の属性要因分析装置１００Ｂは、プログラム制御により動作するコンピュータで実現可能である。属性要因分析装置１００Ｂは、データ処理装置の構成が後述のように相違している点を除いて、図１に示した属性要因分析装置１００と同様の構成を有し、動作をする。したがって、データ処理装置に２０Ｂの参照符号を付してある。図１に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
　図示のデータ処理装置２０Ｂは、部位分割処理部２１Ｂ、スパース回帰分析処理部２２Ｂ、メモリ２３Ｂ、依存度算出部２４Ｂ、および可視化処理部２５Ｂから成る。
　部位分割処理部２１Ｂは、参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、所定のサンブル・サイズの部位に分割する。
　スパース回帰分析処理部２２Ｂは、上記ずらされた部位毎に、上記回帰モデルを得る。この得られた回帰モデルは、メモリ２３Ｂに格納される。
　依存度算出部２４Ｂは、上記ずらされた各部位に対して、上記依存度の計算を並列に実施して、複数の属性要因分析結果を得る。
　可視化処理部２５Ｂは、複数の属性要因分析結果を統合（平均化）し、可視化して出力装置３０に出力する。
　このように本第３の実施形態に係る属性要因分析装置１００Ｂでは、分割位置を調整している。
　次に、この分割位置の調整について、図１に示した属性要因分析装置１００と比較しながら詳細に説明する。
　図７は、図１に示した属性要因分析装置１００における分割位置を説明するための図である。図７（Ａ）は、部位分割処理部２１によって分割された画像データを示す。図７（Ｂ）は、依存度算出部２４によって得られた（可視化処理部２５によって可視化された）属性要因分析結果を示す。
　前述したように、部位の分割位置が必ずしも適切な位置とは限らない場合がある。
　図７（Ａ）の場合、分割線が、眉毛、鼻、口の中央線を通過している。このため、図７（Ｂ）に示されるように、眉毛全体、鼻全体、口全体の部位データの目的変数Ｙとの相関の大きさが判別しづらくなる。
　図８は、図６に示した属性要因分析装置１００Ｂにおける分割位置の調整を説明するための図である。図８（Ａ）は、部位分割処理部２１Ｂによって分割位置をずらして得られる、複数の分割された画像データを示す。図８（Ｂ）は、依存度算出部２４Ｂによって並列に実施して得られる、複数の属性要因分析結果を示す。図８（Ｃ）は、可視化処理部２５Ｂによって可視化された、統合された属性要因分析結果を示す。
　部位分割処理部２１Ｂは、図８（Ａ）に示されるように、画像データの画像領域の分割位置を数ピクセル（例えば、２ピクセル）ずつ、ずらしながら、所定のサンプル・サイズの部位に分割する。
　スパース回帰分析処理部２３Ｂは、上記ずらされた部位毎に、上記回帰モデルを得る。
　依存度算出部２４Ｂは、図８（Ｂ）に示されるように、上記ずらされた各部位に対して、上記依存度の計算を並列に実施して、複数の属性要因分析結果を得る。
　可視化処理部２５Ｂは、図８（Ｃ）に示されるように、複数の属性要因分析結果（Ｃｏｌｏｒ　Ｍａｔｒｉｘ）を統合（同じ位置での画素の平均化）して、出力装置３０に可視化して出力する。
　このように、複数の属性要因分析結果（Ｃｏｌｏｒ　Ｍａｔｒｉｘ）を統合することで、表示（赤色表示）に勾配をもたせた、わかりやい統合した（平均化した）属性要因分析結果（Ｃｏｌｏｒ　Ｍａｔｒｉｘ）を提示することが出来る。
　第３の実施形態に係る属性要因分析装置１００Ｂの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された属性要因分析プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　このような構成の第３の実施形態に係る属性要因分析装置１００Ｂは、対象（人物の顔）の属性（印象度）の要因を分かりやすく分析することができる。
［第４の実施の形態］
　図９は、本発明の第４の実施形態に係る属性推定・属性要因分析装置２００の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図示の属性推定・属性要因分析装置２００は、プログラム制御により動作するコンピュータで実現可能である。属性推定・属性要因分析装置２００は、データを入力する第１の入力装置１０と、データ処理装置６０と、データ処理装置６０での処理結果を出力する出力装置３０と、種々のデータベースとして働く補助記憶装置４０と、データを入力する第２の入力装置５０とを備えている。
　図示はしないが、データ処理装置６０は、プログラムを記憶するリードオンリメモリ（ＲＯＭ）と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ（ＲＡＭ）と、ＲＯＭに記憶されたプログラムに従って、ＲＡＭに記憶されているデータを処理する中央処理装置（ＣＰＵ）とから構成される。
　補助記憶装置４０は、訓練サンプル集合を蓄積する。訓練サンプル集合は、各々が参照画像データと、この参照画像データに付随する属性データとの一組から成る集合である。本例では、サンプル数ｎは、例えば、２１００個である。サンプル数は、これに限定されないのは勿論である。
　第２の入力装置５０は、入力画像データ（テストサンプル画像）を入力するためのものである。
　また、図示の例では、参照画像データおよび入力画像データ（テストサンプル画像）は顔画像データから成る。また、属性データは、人物の顔の見た目の印象度を表すデータから成る。
　なお、参照画像データおよび入力画像データ（テストサンプル画像）は、必ずしも顔画像データで無くても良いが、全ての画像データに対して正規化処理が施されている。ここで、正規化処理とは、特定の部位で位置合わせをすることである。例えば、参照画像データおよび入力画像データ（テストサンプル画像）が顔画像データの場合、正規化処理は両目を位置合わせすることである。
　図示の属性推定・属性要因分析装置２００は、入力画像データ（テストサンプル画像）の属性を推定し、かつその属性の要因を分析する装置である。
　第１の入力装置１０は、補助記憶装置４０に格納されている訓練サンプル集合をデータ処理装置６０に入力する。第２の入力装置５０は、前述したように、入力画像データ（テストサンプル画像）をデータ処理装置６０に入力する。
　データ処理装置６０は、部位分割処理部６１と、スパース回帰分析処理部６２と、回帰モデルを格納するメモリ６３と、属性推定・依存度算出部６４と、可視化処理部６５とから成る。
　部位分割処理部６１は、訓練サンブル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する。
　スパース回帰分析処理部６２は、訓練サンブル集合から、部位毎に、スパース回帰分析をして、回帰モデルを構築する。構築された回帰モデルは、メモリ６３に格納される。メモリ６３は、例えば、ハードディスクから成ってよい。
　属性推定・依存度算出部６４は、回帰モデルを用いて、入力画像データの属性を推定すると共に、入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数Ｘと推定した属性を表す目的変数Ｙとの間の依存度を算出して、入力画像データの属性推定結果と属性要因分析結果とを得る。
　可視化処理部６５は、属性推定結果と属性要因分析結果とを可視化して出力装置３０に出力する。
　次に、データ処理装置６０の各処理部の動作について詳細に説明する。
　部位分割処理部６１、スパース回帰分析処理部６２、スパース回帰分析処理部６２、およびメモリ６３の動作は、それぞれ、図１の部位分割処理部２１、スパース回帰分析処理部２２、スパース回帰分析処理部２３、およびメモリ２３の動作と同様であるので、それらの説明については省略する。
　属性推定・依存度算出部６４は、スパース回帰分析処理部６２で構築された（メモリ６３に格納された）回帰モデルを用いて、入力画像データ（テストサンプル）ｘｔｅの属性を推定すると共に、入力画像データ（テストサンプル）ｘｔｅに対し、顔部位ｊ（説明変数Ｘ）と属性（目的変数Ｙ）との間の依存度スコアを算出する。依存度スコアは、下記の式（７）で定義される。
Figure JPOXMLDOC01-appb-I000008
　属性推定・依存度算出部６４は、属性推定結果を出力すると共に、依存度スコアを属性要因分析結果として出力する。これにより、未知のデータ（テストサンプル）ｘｔｅに対する属性要因を知ることができる。
　可視化処理部６５は、属性推定・依存度算出部６４から出力された、属性推定結果と属性要因分析結果とを可視化して、出力装置３０に出力する。
　詳述すると、可視化処理部６５は、属性推定・依存度算出部６４で算出した、属性推定結果の数値と、各ブロック画像（部位）ごとの依存度スコアの数値の大小とを、図１０に示すように、マトリクス（Ｃｏｌｏｒ−Ｍａｔｒｉｘ）で可視化する。
　尚、図１０では、テストサンプルｘｔｅとして、「テストサンプル１」、「テストサンプル２」、および「テストサンプル３」の三種類のテストサンプルを入力した場合における、本第１の実施形態（スパース回帰による推定値）ばかりでなく、正解値をも図示している。本例では、推定した属性が、属性１の印象度である「明るくさわやか度」の例を示している。また、人物の属性（印象度）は、０．０~４．０の範囲にある例を示している。すなわち、０．０は、「全く明るくさわやかでない」ことを意味し、４．０は、「とても明るくさわやかである」ことを意味する。
　図１０に示されるように、どのテストサンプルにおいても、スパース回帰による推定値は、ほぼ正解値に等しいことが分かる。また、依存度スコアの大小を表す数値が大きいほど濃度が濃くなっている（強い赤色に着色されている）。また、属性要因分析結果（依存度スコア）を可視化することで、依存度の大きさの、部位毎の違いを分かりやすく説明することが可能となる。図１０から、テストサンプルにより傾向が微妙に異なっていることが分かる。
　このように、属性推定・属性要因分析装置２００は、回帰出力と属性要因との関連を、分析し、可視化することが可能である。
　第４の実施形態に係る属性推定・属性要因分析装置２００の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された属性推定・属性要因分析プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性推定・属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性推定・属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　このような構成の第１の実施形態に係る属性推定・属性要因分析装置２００は、対象（人物の顔）の属性（印象度）を推定するだけでなく、その属性（印象度）の要因を分析することができる。
［第５の実施の形態］
　図１１は、本発明の第５の実施形態に係る属性推定・属性要因分析装置２００Ａの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図示の属性推定・属性要因分析装置２００Ａは、プログラム制御により動作するコンピュータで実現可能である。属性推定・属性要因分析装置２００Ａは、データ処理装置の構成が後述のように相違している点を除いて、図９に示した属性推定・属性要因分析装置２００と同様の構成を有し、動作をする。したがって、データ処理装置に６０Ａの参照符号を付してある。図９に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
　図示のデータ処理装置６０Ａは、部位分割処理部の構成が後述のように相違している点を除いて、図９に示したデータ処理装置６０と同様の構成を有し、動作をする。したがって、部位分割処理部に６１Ａの参照符号を付してある。
　部位分割処理部６１Ａは、図９に示した部位分割処理部６１における部位分割処理に加えて、部位のデータの説明変数Ｘと目的変数Ｙとの間の相関の大きさを予め算出して、サンプル・サイズを調整するサンプル・サイズ調整部６１２を更に含む。
　次に、サンプル・サイズ調整部６１２の動作は、図４に示したサンプル・サイズ調整部２１２の動作と同様なので、その説明を省略する。
　第５の実施形態に係る属性推定・属性要因分析装置２００Ａの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された属性推定・属性要因分析プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性推定・属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性推定・属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　このような構成の第５の実施形態に係る属性推定・属性要因分析装置２００Ａは、対象（人物の顔）の属性（印象度）を推定するだけでなく、その属性（印象度）の要因を容易に分析することができる。
［第６の実施の形態］
　図１２は、本発明の第６の実施形態に係る属性推定・属性要因分析装置２００Ｂの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
　図示の属性推定・属性要因分析装置２００Ｂは、プログラム制御により動作するコンピュータで実現可能である。属性推定・属性要因分析装置２００Ｂは、データ処理装置の構成が後述のように相違している点を除いて、図９に示した属性推定・属性要因分析装置２００と同様の構成を有し、動作をする。したがって、データ処理装置に６０Ｂの参照符号を付してある。図９に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
　図示のデータ処理装置６０Ｂは、部位分割処理部６１Ｂ、スパース回帰分析処理部６２Ｂ、メモリ６３Ｂ、属性推定・依存度算出部６４Ｂ、および可視化処理部６５Ｂから成る。
　部位分割処理部６１Ｂは、訓練サンプル集合の各々に対して、参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、所定のサンブル・サイズの部位に分割する。
　スパース回帰分析処理部６２Ｂは、上記ずらされた部位毎に、上記回帰モデルを得る。この得られた回帰モデルは、メモリ６３Ｂに格納される。
　属性推定・依存度算出部６４Ｂは、上記ずらされた各部位に対して、上記属性の推定と上記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得る。
　可視化処理部６５Ｂは、複数の属性推定結果と複数の属性要因分析結果とを統合（平均化）し、可視化して出力装置３０に出力する。
　このように本第６の実施形態に係る属性推定・属性要因分析装置２００Ｂでは、分割位置を調整している。この分割位置の調整は、図７および図８を参照して説明したのと同様であるので、その説明については省略する。
　このように、複数の属性推定結果を統合することにより、属性をより正確に推定できると共に、複数の属性要因分析結果（Ｃｏｌｏｒ　Ｍａｔｒｉｘ）を統合することで、表示（赤色表示）に勾配をもたせた、わかりやい統合した（平均化した）属性要因分析結果（Ｃｏｌｏｒ　Ｍａｔｒｉｘ）を提示することが出来る。
　第６の実施形態に係る属性推定・属性要因分析装置２００Ｂの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＯＭに記憶された属性推定・属性要因分析プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性推定・属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性推定・属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　このような構成の第６の実施形態に係る属性推定・属性要因分析装置２００Ｂは、対象（人物の顔）の属性（印象度）をより正確に推定できると共に、その属性（印象度）の要因を分かりやすく分析することができる。
　なお、上述の各実施形態において、実施形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー（登録商標）ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
［変形例］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　例えば、上述した実施形態では、各画像データの画像領域が正方形の場合を例に挙げて説説明しているが、各画像データの画像領域は矩形であって良い。
　また、上述した実施形態では、各画像データの正方形の画像領域を、８×８の６４個の正方形のブロック画像データに分割しているが、ブロック画像データの形状や分割数はこれらに限定しないのは勿論である。例えば、一般的に、各画像データの矩形の画像領域を、Ｍ行Ｎ列の（Ｍ×Ｎ）個の矩形のブロック画像データに分割しても良い。ここで、ＭおよびＮの各々は、それぞれ、２以上の第１およひ第２の整数である。但し、上述したように、サンプル・サイズの大きさは、大きすぎると本来の分析目的が達成できなくなるので、第１の整数Ｍおよび第２の整数Ｎの各々は、６以上であることが好ましい。
　さらに、上述した実施形態では、分割して得られる複数個のブロック画像データは、すべて同じサンプル・サイズをしているが、互いに異なっていても良いのは勿論である。具体的には、顔の特徴的部位（例えば、口、目、鼻など）を分割線が通過しないように、各画像データの画像領域を、異なるサンプル・サイズの複数のブロック画像データに分割しても良い。
　また、上述した実施形態では、画像データが顔画像データであって、属性が顔の印象度である場合を例に挙げて説明しているが、本発明はこれに限定されないのは勿論である。画像データは顔画像データ以外の画像データであってもよく、属性も印象度以外の属性であってよい。
　本発明は、メイクシミュレーションへの応用や、顧客の志向性（自分のなりたいイメージ等）に応じた柔軟なメイク改善ポイントアドバイスなどといった用途に適用可能である。
　　１０　　入力装置
　　２０、２０Ａ、２０Ｂ　　データ処理装置
　　２１、２１Ａ、２１Ｂ　　部位分割処理部
　　２１２　　サンプル・サイズ調整部
　　２２、２２Ｂ　　スパース回帰分析処理部
　　２３、２３Ｂ　　メモリ（回帰モデル）
　　２４、２４Ｂ　　依存度算出部
　　２５、２５Ｂ　　可視化処理部
　　３０　　出力装置
　　４０　　補助記憶装置（訓練サンブル集合）
　　５０　　入力装置（テストサンプル画像）
　　６０、６０Ａ、６０Ｂ　　データ処理装置
　　６１、６１Ａ、６１Ｂ　　部位分割処理部
　　６１２　　サンプル・サイズ調整部
　　６２、６２Ｂ　　スパース回帰分析処理部
　　６３、６３Ｂ　　メモリ（回帰モデル）
　　６４、６４Ｂ　　属性推定・依存度算出部
　　６５、６５Ｂ　　可視化処理部
　１００、１００Ａ、１００Ｂ　　属性要因分析装置
　２００、２００Ａ、２００Ｂ　　属性推定・属性要因分析装置

Claims (42)

  1. 　各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性要因分析装置を用いて、属性の要因を分析する方法であって、
    　前記訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、
    　前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、
    　前記回帰モデルを用いて、前記訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と前記属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出工程と、
    　前記属性要因分析結果を可視化して出力する可視化工程と、
    を含む属性要因分析方法。
  2. 　前記分割工程は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整工程を含む、請求項１に記載の属性要因分析方法。
  3. 　前記分割工程は、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    　前記モデル構築工程は、前記ずらされた部位毎に、前記回帰モデルを得、
    　前記依存度算出工程は、前記ずらされた各部位に対して、前記依存度の計算を並列に実施して、複数の属性要因分析結果を得、
    　前記可視化工程は、前記複数の属性要因分析結果を統合し、可視化して出力する、
    請求項１または２に記載の属性要因分析方法。
  4. 　前記参照画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る、請求項１から３の何れか１項に記載の属性要因分析方法。
  5. 　前記参照画像データが顔画像データから成る、請求項１から４の何れか１項に記載の属性要因分析方法。
  6. 　前記属性データが顔の印象度を表すデータから成る、請求項５に記載の属性要因分析方法。
  7. 　前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも１つを含む、請求項６に記載の属性要因分析方法。
  8. 　属性推定・属性要因分析装置を用いて、入力画像データの属性を推定し、かつ該属性の要因を分析する方法であって、
    　各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、
    　前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、
    　前記回帰モデルを用いて、前記入力画像データの属性を推定すると共に、該入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と前記推定した属性を表す目的変数との間の依存度を算出して、前記入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出工程と、
    　前記属性推定結果と前記属性要因分析結果とを可視化して出力する可視化工程と、
    を含む属性推定・属性要因分析方法。
  9. 　前記分割工程は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整工程を含む、請求項８に記載の属性推定・属性要因分析方法。
  10. 　前記分割工程は、前記訓練サンプル集合の各々に対して、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    　前記モデル構築工程は、前記ずらされた部位毎に、前記回帰モデルを構築し、
    　前記属性推定・依存度算出工程は、前記ずらされた各部位に対して、前記属性の推定と前記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得、
    　前記可視化工程は、複数の属性推定結果と前記複数の属性要因分析結果とを統合し、可視化して出力する、
    請求項８または９に記載の属性推定・属性要因分析方法。
  11. 　前記参照画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る、請求項７から１０の何れか１項に記載の属性推定・属性要因分析方法。
  12. 　前記参照画像データおよび前記入力画像データの各々が顔画像データから成る、請求項７から１１の何れか１項に記載の属性推定・属性要因分析方法。
  13. 　前記属性データが顔の印象度を表すデータから成る、請求項１２に記載の属性推定・属性要因分析方法。
  14. 　前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも１つを含む、請求項１３に記載の属性推定・属性要因分析方法。
  15. 　各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性の要因を分析する属性要因分析装置であって、
    　前記訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する部位分割処理部と、
    　前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するスパース回帰分析処理部と、
    　前記回帰モデルを用いて、前記訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と前記属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出部と、
    　前記属性要因分析結果を可視化して出力する可視化処理部と、
    を含む属性要因分析装置。
  16. 　前記部位分割処理部は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整するサンプル・サイズ調整部を含む、請求項１５に記載の属性要因分析装置。
  17. 　前記部位分割処理部は、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    　前記スパース回帰分析処理部は、前記ずらされた部位毎に、前記回帰モデルを得、
    　前記依存度算出部は、前記ずらされた各部位に対して、前記依存度の計算を並列に実施して、複数の属性要因分析結果を得、
    　前記可視化処理部は、前記複数の属性要因分析結果を統合し、可視化して出力する、
    請求項１５または１６に記載の属性要因分析装置。
  18. 　前記参照画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る、請求項１５から１７の何れか１項に記載の属性要因分析装置。
  19. 　前記参照画像データが顔画像データから成る、請求項１５から１８の何れか１項に記載の属性要因分析装置。
  20. 　前記属性データが顔の印象度を表すデータから成る、請求項１９に記載の属性要因分析装置。
  21. 　前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも１つを含む、請求項２０に記載の属性要因分析装置。
  22. 　入力画像データの属性を推定し、かつ該属性の要因を分析する属性推定・属性要因分析装置であって、
    　各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する部位分割処理部と、
    　前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するスパース回帰分析処理部と、
    　前記回帰モデルを用いて、前記入力画像データの属性を推定すると共に、該入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と前記推定した属性を表す目的変数との間の依存度を算出して、前記入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出部と、
    　前記属性推定結果と前記属性要因分析結果とを可視化して出力する可視化処理部と、
    を含む属性推定・属性要因分析装置。
  23. 　前記部位分割処理部は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整するサンプル・サイズ調整部を含む、請求項２２に記載の属性推定・属性要因分析装置。
  24. 　前記部位分割処理部は、前記訓練サンプル集合の各々に対して、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    　前記スパース回帰分析処理部は、前記ずらされた部位毎に、前記回帰モデルを構築し、
    　前記属性推定・依存度算出部は、前記ずらされた各部位に対して、前記属性の推定と前記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得、
    　前記可視化処理部は、複数の属性推定結果と前記複数の属性要因分析結果とを統合し、可視化して出力する、
    請求項２２または２３に記載の属性推定・属性要因分析装置。
  25. 　前記参照画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る、請求項２２から２４の何れか１項に記載の属性推定・属性要因分析装置。
  26. 　前記参照画像データおよび前記入力画像データの各々が顔画像データから成る、請求項２２から２５の何れか１項に記載の属性推定・属性要因分析装置。
  27. 　前記属性データが顔の印象度を表すデータから成る、請求項２６に記載の属性推定・属性要因分析装置。
  28. 　前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも１つを含む、請求項２７に記載の属性推定・属性要因分析装置。
  29. 　コンピュータに、各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性の要因を分析させる属性要因分析プログラムであって、前記コンピュータに、
    　前記訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割手順と、
    　前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築手順と、
    　前記回帰モデルを用いて、前記訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と前記属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出手順と、
    　前記属性要因分析結果を可視化して出力する可視化手順と、
    を実行させる属性要因分析プログラム。
  30. 　前記分割手順は、前記コンピュータに、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整手順をさらに実行させる、請求項２９に記載の属性要因分析プログラム。
  31. 　前記分割手順は、前記コンピュータに、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割させ、
    　前記モデル構築手順は、前記コンピュータに、前記ずらされた部位毎に、前記回帰モデルを得させ、
    　前記依存度算出手順は、前記コンピュータに、前記ずらされた各部位に対して、前記依存度の計算を並列に実施して、複数の属性要因分析結果を得させ、
    　前記可視化手順は、前記コンピュータに、前記複数の属性要因分析結果を統合し、可視化して出力させる、
    請求項２９または３０に記載の属性要因分析プログラム。
  32. 　前記参照画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る、請求項２９から３１の何れか１項に記載の属性要因分析プログラム。
  33. 　前記参照画像データが顔画像データから成る、請求項２９から３２の何れか１項に記載の属性要因分析プログラム。
  34. 　前記属性データが顔の印象度を表すデータから成る、請求項３３に記載の属性要因分析プログラム。
  35. 　前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも１つを含む、請求項３４に記載の属性要因分析プログラム。
  36. 　コンピュータに、入力画像データの属性を推定させ、かつ該属性の要因を分析させる属性推定・属性要因分析プログラムであって、前記コンピュータに、
    　各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割手順と、
    　前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築手順と、
    　前記回帰モデルを用いて、前記入力画像データの属性を推定すると共に、該入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と前記推定した属性を表す目的変数との間の依存度を算出して、前記入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出手順と、
    　前記属性推定結果と前記属性要因分析結果とを可視化して出力する可視化手順と、
    を実行させる属性推定・属性要因分析プログラム。
  37. 　前記分割手順は、前記コンピュータに、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整手順をさらに実行させる、請求項８に記載の属性推定・属性要因分析プログラム。
  38. 　前記分割手順は、前記コンピュータに、前記訓練サンプル集合の各々に対して、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割させ、
    　前記モデル構築手順は、前記コンピュータに、前記ずらされた部位毎に、前記回帰モデルを構築させ、
    　前記属性推定・依存度算出手順は、前記コンピュータに、前記ずらされた各部位に対して、前記属性の推定と前記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得させ、
    　前記可視化手順は、前記コンピュータに、複数の属性推定結果と前記複数の属性要因分析結果とを統合し、可視化して出力させる、
    請求項３６または３７に記載の属性推定・属性要因分析プログラム。
  39. 　前記参照画像データの特徴量は、ＲＧＢ，Ｇｒａｙ　Ｓｃａｌｅ，Ｌａｐｌａｃｉａｎ，およびＨａａｒ−ｌｉｋｅ特徴量を含む特徴量の中から選択されたいずれか１つから成る、請求項３６から３８の何れか１項に記載の属性推定・属性要因分析プログラム。
  40. 　前記参照画像データおよび前記入力画像データの各々が顔画像データから成る、請求項３６から３９の何れか１項に記載の属性推定・属性要因分析プログラム。
  41. 　前記属性データが顔の印象度を表すデータから成る、請求項４０に記載の属性推定・属性要因分析プログラム。
  42. 　前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも１つを含む、請求項４１に記載の属性推定・属性要因分析プログラム。
PCT/JP2014/069633 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム WO2016009569A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2014/069633 WO2016009569A1 (ja) 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム
JP2016534083A JP6270182B2 (ja) 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム
US15/325,136 US10268876B2 (en) 2014-07-17 2014-07-17 Attribute factor analysis method, device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/069633 WO2016009569A1 (ja) 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム

Publications (1)

Publication Number Publication Date
WO2016009569A1 true WO2016009569A1 (ja) 2016-01-21

Family

ID=55078085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/069633 WO2016009569A1 (ja) 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム

Country Status (3)

Country Link
US (1) US10268876B2 (ja)
JP (1) JP6270182B2 (ja)
WO (1) WO2016009569A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207910A1 (ja) * 2018-04-24 2019-10-31 株式会社日立ソリューションズ データ分析システム及びデータ分析方法
JP2020154844A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び製品開発システム
JPWO2021084590A1 (ja) * 2019-10-28 2021-05-06
CN115293282A (zh) * 2022-08-18 2022-11-04 昆山润石智能科技有限公司 制程问题分析方法、设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350773A1 (en) * 2015-05-28 2016-12-01 The Nielsen Company (Us), Llc Methods and apparatus to correct age misattribution
WO2017198749A1 (en) * 2016-05-19 2017-11-23 Visiana Aps Image processing apparatus and method
CN108304974B (zh) * 2018-02-26 2022-02-08 中国民航信息网络股份有限公司 一种基于优化C5.0和Apriori的民航NOSHOW预测及强因子分析方法
CN110210311B (zh) * 2019-04-30 2021-05-04 杰创智能科技股份有限公司 一种基于通道特征融合稀疏表示的人脸识别方法
CN110348722A (zh) * 2019-07-01 2019-10-18 百维金科(上海)信息科技有限公司 一种基于XGBoost的互联网金融风控模型
CN111159645B (zh) * 2019-12-19 2023-06-06 成都数之联科技股份有限公司 一种基于产品生产履历和参数的不良根因定位方法
CN111309706A (zh) * 2020-01-20 2020-06-19 北京明略软件系统有限公司 模型训练方法、装置、可读存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166283A (ja) * 1997-08-13 1999-03-09 Matsushita Electric Ind Co Ltd 画像特徴量の相関抽出方法及び画像検索装置
JP2010271872A (ja) * 2009-05-20 2010-12-02 Canon Inc 画像認識装置、撮像装置及び画像認識方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175724A (ja) 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
JP4742192B2 (ja) 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置及び方法並びにプログラム
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
KR101216115B1 (ko) * 2011-08-09 2012-12-27 이인권 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
KR101434170B1 (ko) * 2012-09-25 2014-08-26 한국전자통신연구원 추출된 데이터 특징을 이용한 학습 방법 및 장치
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166283A (ja) * 1997-08-13 1999-03-09 Matsushita Electric Ind Co Ltd 画像特徴量の相関抽出方法及び画像検索装置
JP2010271872A (ja) * 2009-05-20 2010-12-02 Canon Inc 画像認識装置、撮像装置及び画像認識方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SATOSHI HIRATA ET AL.: "Preliminary experiments on quantification of facial attractiveness", FIT2013 DAI 12 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 20 August 2013 (2013-08-20), pages 111 - 112 *
SHOJI HARADA ET AL.: "On Constructing Shape Feature Space for Interpreting Subjective Expressions", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 40, no. 5, 15 May 1999 (1999-05-15), pages 2356 - 2366 *
YASUHIRO IMAI ET AL.: "The Impression classification of the Face for fit Hairstyle", THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN KENKYUKAI SHIRY, 27 May 2005 (2005-05-27), pages 1 - 5 *
YUSUKE SHINOHARA ET AL.: "Facial Expression Recognition Using Fisher Weight Maps", IEICE TECHNICAL REPORT, vol. 103, no. 737, 11 March 2004 (2004-03-11), pages 79 - 84 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207910A1 (ja) * 2018-04-24 2019-10-31 株式会社日立ソリューションズ データ分析システム及びデータ分析方法
JP2019191895A (ja) * 2018-04-24 2019-10-31 株式会社日立ソリューションズ データ分析システム及びデータ分析方法
JP2020154844A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び製品開発システム
JP7263864B2 (ja) 2019-03-20 2023-04-25 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び製品開発システム
JPWO2021084590A1 (ja) * 2019-10-28 2021-05-06
WO2021084590A1 (ja) * 2019-10-28 2021-05-06 富士通株式会社 学習方法、学習プログラム、および学習装置
JP7322965B2 (ja) 2019-10-28 2023-08-08 富士通株式会社 学習方法、学習プログラム、および学習装置
CN115293282A (zh) * 2022-08-18 2022-11-04 昆山润石智能科技有限公司 制程问题分析方法、设备及存储介质
CN115293282B (zh) * 2022-08-18 2023-08-29 昆山润石智能科技有限公司 制程问题分析方法、设备及存储介质

Also Published As

Publication number Publication date
US10268876B2 (en) 2019-04-23
JPWO2016009569A1 (ja) 2017-05-25
US20170177924A1 (en) 2017-06-22
JP6270182B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
JP6270182B2 (ja) 属性要因分析方法、装置、およびプログラム
Lu Embedded feature selection accounting for unknown data heterogeneity
US9317740B2 (en) Demographic analysis of facial landmarks
Guo et al. A probabilistic fusion approach to human age prediction
Shrivastava et al. Exploring the color feature power for psoriasis risk stratification and classification: A data mining paradigm
Zhao et al. Learning from normalized local and global discriminative information for semi-supervised regression and dimensionality reduction
Beveridge et al. Factors that influence algorithm performance in the face recognition grand challenge
US9477905B2 (en) Image congealing via efficient feature selection
JP6029041B2 (ja) 顔印象度推定方法、装置、及びプログラム
Conroy et al. Fast, exact model selection and permutation testing for l2-regularized logistic regression
Rajala et al. Detecting multivariate interactions in spatial point patterns with Gibbs models and variable selection
Dornaika et al. Toward graph-based semi-supervised face beauty prediction
Saleh et al. Computer-aided diagnosis system for retinal disorder classification using optical coherence tomography images
Lu et al. Predicting progressions of cognitive outcomes via high-order multi-modal multi-task feature learning
Jena et al. Elitist TLBO for identification and verification of plant diseases
JP4228031B1 (ja) 画像解析装置、画像登録装置および画像検索装置
JP6319820B2 (ja) 属性要因分析方法、装置、およびプログラム
Demontis et al. Super-sparse regression for fast age estimation from faces at test time
JP5454356B2 (ja) データ分類装置およびプログラム
Gönen et al. Supervised learning of local projection kernels
JP6547280B2 (ja) 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム
Grant et al. Predicting and visualizing psychological attributions with a deep neural network
Zheng et al. Time-varying correlation structure estimation and local-feature detection for spatio-temporal data
Criminisi et al. Introduction: The abstract forest model
Choi Color compensation via color-flow representation and eigenspace manifold learning for robust color-invariant face recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14897608

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15325136

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016534083

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14897608

Country of ref document: EP

Kind code of ref document: A1