WO2017056980A1 - 肌評価装置、肌評価方法および肌評価プログラム - Google Patents

肌評価装置、肌評価方法および肌評価プログラム Download PDF

Info

Publication number
WO2017056980A1
WO2017056980A1 PCT/JP2016/077037 JP2016077037W WO2017056980A1 WO 2017056980 A1 WO2017056980 A1 WO 2017056980A1 JP 2016077037 W JP2016077037 W JP 2016077037W WO 2017056980 A1 WO2017056980 A1 WO 2017056980A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
principal component
principal
skin evaluation
eigenvectors
Prior art date
Application number
PCT/JP2016/077037
Other languages
English (en)
French (fr)
Inventor
那緒子 吉田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201680056882.0A priority Critical patent/CN108135346B/zh
Publication of WO2017056980A1 publication Critical patent/WO2017056980A1/ja
Priority to US15/920,988 priority patent/US10964062B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1293—Using chemometrical methods resolving multicomponent spectra
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Definitions

  • the present invention relates to a skin evaluation device, a skin evaluation method, and a skin evaluation program, and in particular, a skin evaluation device and a skin evaluation method for evaluating the application state of a cosmetic based on a photographed image obtained by photographing a face of a subject who applied makeup. And a skin evaluation program.
  • the foundation By applying an appropriate amount to the skin, the foundation can hide skin color unevenness, spots, pores, breakouts, etc., and can make the skin texture beautifully.
  • spots and pores may not be covered or the texture of the skin may be deteriorated. Therefore, in the development of cosmetics, it is very important to grasp the amount of cosmetics attached to the skin and the position of the cosmetics attached. Therefore, in the beauty industry, a method for grasping the adhesion location and the adhesion amount of the foundation has been proposed.
  • Non-Patent Document 1 the amount of foundation applied to the skin and the distribution of the foundation from an image photographed using an optical filter that emphasizes a slight difference in color tone between the bare skin and the skin applied with the foundation. A method for measuring the situation has been proposed.
  • Patent Document 1 requires the design and development of an optical filter that selectively transmits light in a specific wavelength range that emphasizes the difference in order to obtain a difference in skin tone between the bare skin and the foundation applied. It is necessary and cannot be measured easily because it cannot be measured without imaging using this optical filter.
  • the present invention has been made to solve such a conventional problem, and is a skin evaluation apparatus, a skin evaluation method, and a skin evaluation that can accurately evaluate the application state of cosmetics to facial skin and the like.
  • the purpose is to provide a program.
  • the skin evaluation apparatus includes an image input unit that inputs a spectral image obtained by photographing a subject's skin, a spectral reflectance calculation unit that measures spectral reflectance from at least a part of the spectral image, and a spectral reflectance.
  • a principal component analysis unit that performs principal component analysis on the first to third principal components and calculates first to third principal component scores based on the first to third principal component eigenvectors;
  • a skin evaluation unit that evaluates the application state of the cosmetic on the skin using at least one of the main component scores of the first to third main components and a preset threshold value or discriminant function of each main component. is there.
  • the eigenvector of the first principal component represents skin brightness
  • the eigenvector of the second principal component has a reflectance difference between the short wavelength band and the long wavelength band
  • the third principal component is It is preferable to have a reflectance difference between the reflectance near the center wavelength of 550 nm and the reflectance near the center wavelength of 500 nm, and between the reflectance near the center wavelength of 550 nm and the reflectance near the center wavelength of 600 nm.
  • the skin evaluation unit uses the third principal component score calculated by the principal component analysis unit and a preset threshold or discriminant function of the third principal component to determine whether the skin is bare skin or makeup It is preferable to evaluate whether the coating material is applied.
  • the skin evaluation unit may evaluate the application amount of the cosmetic using the principal component score of the third principal component calculated by the principal component analysis unit and a preset threshold or discriminant function of the third principal component. preferable.
  • the skin evaluation unit applies the cosmetics to the bare skin using the principal component scores of the second principal component and the third principal component, and preset threshold values or discriminant functions of the second principal component and the third principal component. It is preferable to evaluate the elapsed time from
  • the database stores preset threshold values or discriminant functions of the first to third principal components, and the skin evaluation unit includes at least one of the first to third principal component scores calculated by the principal component analysis unit, It is also possible to evaluate the cosmetic application state on the skin using preset threshold values or discriminant functions of the principal components stored in the database.
  • a spectral image in which a subject's skin is photographed is input, a spectral reflectance is measured from at least a part of the spectral image, a principal component analysis is performed on the spectral reflectance, Calculating the eigenvectors of the third to third principal components and the principal component scores of the first to third principal components based on the eigenvectors of the first to third principal components, and at least one of the calculated first to third principal component scores.
  • the skin evaluation program includes a step of inputting a spectral image in which a subject's skin is photographed, a step of measuring a spectral reflectance from at least a part of the spectral image, and a principal component analysis for the spectral reflectance. And calculating the eigenvectors of the first to third principal components and the principal component scores of the first to third principal components based on the eigenvectors of the first to third principal components, and the calculated principal components of the first to third principal components This is for causing the computer to execute at least one of the component scores and a step of evaluating the application state of the cosmetic on the skin using a preset threshold value or discriminant function of each main component.
  • FIG. 1 shows the structure of the skin evaluation apparatus which evaluates the application state of the cosmetics concerning Embodiment 1 of this invention. It is a figure which shows the flowchart of the skin evaluation method performed by the skin evaluation apparatus which concerns on Embodiment 1.
  • FIG. (A) shows the eigenvector of the first principal component according to the first embodiment
  • (B) shows the eigenvector of the second principal component according to the first embodiment
  • (C) shows the third eigenvector according to the first embodiment.
  • the eigenvector of the principal component is shown.
  • It is a graph which shows the contribution rate and cumulative contribution rate of the eigenvalue of each principal component calculated by principal component analysis.
  • FIG. 7 is a diagram for explaining a method of acquiring images of the first to third principal components in FIG. FIG.
  • FIG. 5 is an image obtained by extracting the first to third main components and a wavelength portion of 720 nm from a spectral image obtained by photographing an arm of a subject's bare skin and an arm having a different foundation application amount. It is a figure which shows the brightness
  • FIG. 1 the structure of the skin evaluation apparatus which concerns on embodiment of this invention is shown.
  • the skin evaluation apparatus evaluates the skin state of the subject's face F, that is, the cosmetic application state, using a photographed image obtained by photographing the face F of the subject with bare skin or makeup with the camera C.
  • the camera C The image input unit 1 is connected to the image input unit 1, and a preprocessing unit 2, a spectral reflectance measurement unit 3, a principal component analysis unit 4, a skin evaluation unit 5, and a display unit 6 are sequentially connected to the image input unit 1.
  • a reference database 7 is connected to the skin evaluation unit 5.
  • a control unit 8 is connected to the spectral reflectance measurement unit 3, the principal component analysis unit 4, and the skin evaluation unit 5, and an operation unit 9 is connected to the control unit 8.
  • the image input unit 1 inputs a captured image from the camera C that captured the face F of the subject.
  • the captured image input from the camera C is a color filter that selectively transmits a plurality of specific wavelength ranges including at least wavelengths corresponding to R (red), G (green), and B (blue).
  • a monochrome camera i.e., camera C
  • light in an arbitrary wavelength range includes wavelengths corresponding to R (red), G (green), and B (blue).
  • the skin of the subject's face F may be skin with makeup (makeup skin) or bare skin.
  • the subject is not limited to the face F of the subject, and may be an arm or a skin replica.
  • the preprocessing unit 2 performs preprocessing such as light amount correction and noise removal on the captured image input from the image input unit 1.
  • the spectral reflectance measurement unit 3 measures the spectral reflectance based on the spectral image input from the preprocessing unit 2 (reflection spectrum taken every 10 nm in the visible light region of 380 nm to 780 nm).
  • a known method can be used as a method of measuring the spectral reflectance.
  • the spectral reflectance is measured from the spectral image.
  • the present invention is not limited to this. For example, using a spectral radiance meter (CS-2000 manufactured by Konica Minolta), The spectral reflectance of the facial skin may be measured.
  • the spectral reflectance measured by the spectral reflectance measuring unit 3 is output to the principal component analyzing unit 4.
  • the principal component analysis unit 4 performs principal component analysis on the spectral reflectance measured by the spectral reflectance measurement unit 3, and performs the first eigenvector to third eigenvector and the main components of the first to third principal components. Calculate the component score.
  • the calculated principal component scores of the first to third principal components are output to the skin evaluation unit 5.
  • the acquired first eigenvector of the first principal component represents the brightness of the skin
  • the second eigenvector of the second principal component is reflected between the short wavelength band and the long wavelength band.
  • the third eigenvector of the third principal component is between the reflectance near the center wavelength of 550 nm and the reflectance near the center wavelength of 500 nm, and between the reflectance near the center wavelength of 550 nm and the reflectance near the center wavelength of 600 nm.
  • a material having a reflectance difference for example, a material having a reflectance difference of about 0.3 to 0.8%.
  • the database 7 includes first to third eigenvectors related to the first to third principal components calculated by the principal component analysis unit 4, and principal component scores related to the calculated first to third principal components.
  • the threshold value and discriminant function used when performing skin evaluation based on the above are stored. Examples of the threshold and the discrimination function include a threshold for discriminating bare skin and makeup skin based on the third principal component score, a threshold for evaluating the amount of cosmetic applied based on the third principal component score, And a discriminant function for evaluating the elapsed time after the cosmetic application based on the main component scores of the second main component and the third main component.
  • cosmetics A plurality of types (N levels) of subject (skin) images having different foundation application amounts are used as samples.
  • Cosmetic coating amount is preferably selected 0.0 mg / cm 2 or more 1.0 mg / cm 2 or less from 2-3 or more.
  • the application amount of cosmetics is 9 types (9 levels), that is, 0 mg / cm 2 (bare skin), 0.05 mg / cm 2 , 0.10 mg / cm 2 , 0.15 mg / cm 2 , 0.2 mg.
  • the eigenvectors relating to the components to the third principal component and the principal component score can be measured, and a threshold value for evaluating the makeup skin can be arbitrarily set, or a discriminant function can be obtained by Fisher's linear discriminant analysis or the like.
  • the discriminant function can be determined by, for example, a method of dividing two groups of data by a determination plane in linear discriminant analysis.
  • Can be expressed as w is an amount representing the inclination of the decision plane.
  • the determination plane w is obtained by the following procedure.
  • An interclass covariance matrix (Sb) and an intraclass covariance matrix (Sw) of two groups of data are obtained.
  • a new matrix Sn is obtained from Sb and Sw as shown in the following equation. Solve the eigenvalue problem of Sn and find the eigenvector with the largest eigenvalue. This eigenvector is the slope w on the decision surface of the linear discriminant analysis, and the expression representing this decision surface is the discriminant function.
  • the subject used for such pre-processing can be not only the skin of a person's face and arms, but also a skin replica, but the threshold value and discrimination used to evaluate the elapsed time after applying cosmetics When obtaining a function, it is preferable to use human skin.
  • the skin evaluation unit 5 compares the principal component scores relating to the first to third principal components calculated by the principal component analysis unit 4 with the threshold values stored in the database 7 or uses a discriminant function. Evaluate the skin of the subject. In particular, the discrimination between bare skin and makeup skin is evaluated by the third principal component, the application amount of the makeup skin is evaluated by the third principal component, and the prediction of the makeup skin over time is performed by the second principal component and the third principal component. It is preferable to evaluate by component. The result acquired by the skin evaluation unit 5 is output to the display unit 6.
  • the display unit 6 includes, for example, a display device such as an LCD (liquid crystal display), and displays the result of evaluation related to the cosmetic application state evaluated by the skin evaluation unit 5.
  • the operation unit 9 is for an operator to input information, and can be formed from a keyboard, a mouse, a trackball, a touch panel, and the like.
  • the control unit 8 controls each unit in the skin evaluation device based on various command signals input from the operation unit 9 by the operator.
  • the preprocessing unit 2, the spectral reflectance measurement unit 3, the principal component analysis unit 4, the skin evaluation unit 5, and the control unit 8 are a CPU (Central Processing Unit) and an operation program for causing the CPU to perform various processes. However, they may be composed of digital circuits. Further, a memory can be connected to the CPU via a signal line such as a bus.
  • a signal line such as a bus.
  • the eigenvectors and principal component scores for the first to third principal components calculated by the unit 4 and the evaluation results relating to the cosmetic application state calculated by the skin evaluation unit 5 are stored in the memory, respectively.
  • the image stored in the memory and the evaluation result relating to the cosmetic application state can be displayed on the display unit 6 under the control of the control unit 8.
  • a spectral image obtained by photographing the subject's face F with the camera C is input from the camera C to the preprocessing unit 2 via the image input unit 1 of the skin evaluation apparatus, After pre-processing such as correction and noise removal, the pre-processing unit 2 inputs the spectral reflectance measurement unit 3 (step S1). Then, the spectral reflectance measuring unit 3 measures the spectral reflectance based on the input spectral image and outputs it to the principal component analyzing unit 4 (step S2).
  • the principal component analysis unit 4 calculates the principal component scores based on the eigenvectors relating to the first to third principal components and the respective eigenvectors from the spectral reflectance, and inputs them to the skin evaluation unit 5 (step S3).
  • the skin evaluation unit 5 uses the threshold values and discriminant functions stored in the database 7 to calculate the cosmetic application state, that is, the skin and makeup, from the principal component scores relating to the first to third principal components calculated. Discrimination from the skin, evaluation of the amount of cosmetic applied, and prediction of the elapsed time after applying the cosmetic are performed (step S4).
  • the skin evaluation as in the above embodiment can be executed by causing a computer including an input means, a CPU, a memory, and the like to function according to the skin evaluation program. That is, when the skin evaluation program causes the computer to function, the image input unit 1 obtains a photographed image obtained by photographing the face of the subject, and based on the obtained photographed image, the CPU performs the preprocessing unit 2, spectral reflection. The rate measurement unit 3, the principal component analysis unit 4, and the skin evaluation unit 5 are executed to evaluate the skin of the subject.
  • skin evaluation is performed using a spectral image
  • skin evaluation can also be performed using an RGB image (Red, Green, Blue image) captured by a digital camera (DSC).
  • RGB image Red, Green, Blue image
  • DSC digital camera
  • the application state of the cosmetic is analyzed with eigenvectors and principal component scores by spectral images, and stored in a recording medium such as a database, and using the stored eigenvectors, for example, by Winner estimation or the like, It is also possible to obtain a spectral reflectance from the RGB image and perform skin evaluation.
  • Example 1 The Example which actually evaluated the application state of the cosmetics of a test subject's face using the skin evaluation apparatus is shown.
  • the skin of a subject is photographed while changing the application amount of the foundation and the elapsed time after applying the foundation, and a spectral image including wavelengths corresponding to R, G, and B is acquired.
  • the reflectance was determined. Specifically, four samples, that is, (1) foundation application amount is 0 mg / cm 2 (bare skin), skin immediately after application, (2) foundation application amount is 0.05 mg / cm 2.
  • FIG. 3 shows eigenvectors related to the first to third principal components.
  • FIG. 3A shows the first eigenvector related to the first principal component
  • FIG. 3B shows the second eigenvector related to the second principal component
  • FIG. 3C shows the third eigenvector related to the third principal component.
  • the vertical axis represents the reflectance
  • the horizontal axis represents the wavelength (380 to 780 nm).
  • the calculated second eigenvector of the second principal component has a reflectance difference between the short wavelength band and the long wavelength band, and in this embodiment, the reflectance difference is about 0.4%.
  • the third eigenvector of the third principal component is between the reflectance near the center wavelength of 550 nm and the reflectance near the center wavelength of 500 nm, and between the reflectance near the center wavelength of 550 nm and the reflectance near the center wavelength of 600 nm.
  • the difference in reflectance is about 0.5%.
  • FIG. 4 shows the contribution ratio of each eigenvalue of each principal component including the first to third principal components and the cumulative contribution ratio of the eigenvalues.
  • the vertical axis in FIG. 4 represents the contribution ratio (%), and the horizontal axis represents the number of main components (Nth main component).
  • the cumulative contribution ratio is 99.5% for the first to third principal components, it can be seen that the spectral reflection spectrum of the skin can be sufficiently reproduced with the three principal components.
  • 5A to 5C are plots of principal component scores obtained based on the eigenvectors of the second principal component and the third principal component shown in FIGS. 3B and 3C, respectively.
  • the coating amount of foundation of samples (1) indicates a 0 mg / cm 2 (skin) ⁇ mark is indicated by broken lines, more than 90% of the principal component scores of the third principal component is zero. It can be seen that it is plotted in a region higher than 45. Thereby, it can confirm that separation of bare skin and makeup skin can be evaluated based on distribution of a main ingredient score of the 3rd principal ingredient.
  • the application amount of the foundation of sample (2) is 0.05 mg / cm 2 (thin).
  • Square marks are mainly plotted, and it can be seen that ⁇ marks indicating that the application amount of the foundation of the sample (3) is 1.0 mg / cm 2 (dark) are mainly plotted in a small area.
  • the application quantity of cosmetics can be estimated based on distribution of the main component score of a 3rd main component.
  • the application amount of the foundation of the sample (3) is 0.8 mg / cm 2 (dense) in the region on the right side of the graph of the correlation function between the second principal component and the third principal component shown by the broken line.
  • the ⁇ mark indicating the skin immediately after application is mainly plotted
  • the application amount of the foundation of sample (4) is 0.8 mg / cm 2 (dark)
  • the x mark indicating the skin after 6 hours from the application is mainly plotted.
  • 6 (A) to 6 (D) are images of 720 nm from the spectral images obtained by imaging the facial skin of the samples (1) to (3) (facial skin having a foundation (FD) application amount of 3 levels).
  • the images of the first principal component to the third principal component are arranged. In the following, with reference to FIG. 7, a method for acquiring images of the first principal component to the third principal component will be described.
  • the eigenvector of each principal component is calculated by the following method.
  • the application amount of the foundation (FD) is a spectroscopic image at a certain level (reflection spectrum taken every 10 nm in the visible light region of 380 nm to 780 nm) I, that is, in this example, samples (1) to (
  • M number of wavelengths
  • xi is a foundation (FD)
  • Equation 1 From the spectral images (x1 to xi to xM) of all levels shown in Equation 1, that is, in this embodiment, from the spectral images Xall of the samples (1) to (4), the average value ⁇ all shown in Equation 2 and The covariance matrix Call shown in Equation 3 is obtained, and the eigenvalue problem of this covariance matrix, that is, by solving Equation 4, the eigenvalue ⁇ j and the eigenvector ⁇ j are calculated.
  • the eigenvectors are rearranged in descending order of eigenvalues, and “j” is numbered 1, 2, 3,.
  • the first principal component, the second principal component, the third principal component,... In order from the eigenvector corresponding to the maximum eigenvalue. Since each eigenvector is an M-dimensional vector, the pixel array is restored by a process reverse to the method of expressing the spectral image I as an M-dimensional vector, and an image of each principal component is generated. Also, the principal component score of each principal component is calculated based on the eigenvector of each principal component.
  • the newly photographed spectral image I is also created using the eigenvector that is normalized and calculated in the same manner as described above, and the principal component score of each principal component is calculated by multiplying the projection vector W shown in Equation 5.
  • FIG. 6 is a graph in which the maximum value of the principal component score calculated in this way is visualized in red and the minimum value is visualized in blue.
  • Example 3 In this example, first, a spectral image obtained by photographing a subject's arm with various application amounts of the foundation was obtained, and a spectral reflectance was obtained. Specifically, four samples, ie, (5) skin with a foundation application amount of 0 mg / cm 2 (bare skin), (6) skin with a foundation application amount of 0.05 mg / cm 2 (thin) , (7) An image obtained by photographing skin with a foundation application amount of 0.4 mg / cm 2 (normal) and (8) skin with a foundation application amount of 0.8 mg / cm 2 (dark) was used.
  • FIG. 9 is a diagram illustrating an image group extracted with the third principal component illustrated in FIG. 8D and a luminance profile of the image group.
  • the luminance profile shown here first creates an image obtained by converting the spectral image relating to the principal component scores 3 to -3 of the image of FIG. 8D into 256 gradations, and then FIG. 8 shown in FIG.
  • a result obtained by principal component analysis of the difference in the amount of cosmetic applied to one subject may be stored as data in a database.
  • data of a plurality of subjects may be stored in a database, and analysis may be performed by calling eigenvectors, threshold values, and discriminant functions for a specified specific subject.
  • eigenvectors, threshold values, and discriminant functions obtained by simultaneously performing principal component analysis on cosmetic application states in a plurality of subjects may be stored in a database.
  • the data stored in the database in this way may be used as typical standard data to evaluate the skin condition of other subjects.
  • the skin evaluation apparatus may not calculate the spectral reflectance by measuring the spectral reflectance from at least a part of the spectral image in which the skin of the subject is photographed, and at least the spectral image in which the skin of the subject is photographed.
  • Spectral reflectance data directly from a database or memory that stores at least one of spectral reflectance data obtained by measuring the skin of the subject using a measuring instrument that can obtain spectral reflectance data and spectral reflectance data already calculated from a part May be obtained.
  • a principal component analysis is performed on the obtained spectral reflectance, and eigenvectors of the first to third principal components and a principal component score of the first to third principal components based on the eigenvectors of the first to third principal components are calculated.
  • the cosmetic application state on the skin may be evaluated using at least one of the calculated first to third principal component scores and a preset threshold or discriminant function for each principal component.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Cosmetics (AREA)

Abstract

肌における化粧料の塗布状態を、容易に、精度良く、評価する。主成分分析部４が、分光画像から計測された分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出し、肌評価部５が、算出された第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて肌における化粧料の塗布状態を評価する。

Description

肌評価装置、肌評価方法および肌評価プログラム
　この発明は、肌評価装置、肌評価方法および肌評価プログラムに係り、特に、化粧を施した被験者の顔を撮影した撮影画像に基づいて化粧料の塗布状態を評価する肌評価装置、肌評価方法および肌評価プログラムに関する。
　ファンデーションは、適切な量を肌に塗布することにより、肌の色むら、シミ、毛穴、吹き出物等を隠し、肌の質感を美しく整えることができる。しかし、肌への付着量によっては、シミや毛穴をカバーできなかったり、肌の質感を悪くみせたりすることがある。
　そのため、化粧品の開発において、化粧料の肌への付着量や化粧料の付着位置を把握することは大変重要である。そこで、美容業界においては、ファンデーションの付着箇所や付着量を把握する方法が提案されている。
　例えば、非特許文献１では、素肌とファンデーションを塗布した状態の肌とのわずかな色調の違いを強調する光学フィルタを用いて撮影した画像から、肌に付着するファンデーションの塗布量や、ファンデーションの分布状況を計測する方法が提案されている。
株式会社カネボウ化粧品ホームページ　２０１０年６月２８日付ニュースリリース　技術発表レポート「ファンデーションの仕上がり状態を識別し画像化する新技術「ファンデーションの定量・分布計測システム」の開発に成功」　　　（http://www.kanebo-cosmetics.co.jp/company/pdf/20100628-01.pdf）
　しかしながら、特許文献１の方法は、素肌とファンデーションを塗布した状態の肌の色調の違いを出すために、その差異を強調する特定の波長域の光を選択的に透過する光学フィルタの設計開発が必要であり、また、この光学フィルタを用いて撮像しなければ計測できないため、容易に計測できない。
　この発明は、このような従来の問題点を解消するためになされたもので、顔肌等への化粧料の塗布状態を精度良く、評価することができる肌評価装置、肌評価方法および肌評価プログラムを提供することを目的とする。
　この発明に係る肌評価装置は、被験者の肌が撮影された分光画像を入力する画像入力部と、分光画像の少なくとも一部から分光反射率を計測する分光反射率算出部と、分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出する主成分分析部と、算出された第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて肌における化粧料の塗布状態を評価する肌評価部と、を備えるものである。
　ここで、第１主成分の固有ベクトルは、肌の明るさを表し、第２主成分の固有ベクトルは、短波長帯域と長波長帯域との間に反射率差を有し、第３主成分は、中心波長５５０ｎｍ付近の反射率と中心波長５００ｎｍ付近の反射率との間、及び、中心波長５５０ｎｍ付近の反射率と中心波長６００ｎｍ付近の反射率との間に反射率差を有することが好ましい。
　肌評価部は、主成分分析部により算出された第３主成分の主成分得点と、予め設定された第３主成分の閾値または判別関数を用いて、肌が素肌であるのか、または、化粧料を塗布した状態であるのかを評価することが好ましい。
　肌評価部は、主成分分析部により算出された第３主成分の主成分得点と、予め設定された第３主成分の閾値または判別関数を用いて、化粧料の塗布量を評価することが好ましい。
　肌評価部は、第２主成分及び第３主成分の主成分得点と、予め設定された第２主成分及び第３主成分の閾値または判別関数を用いて、化粧料が素肌に塗布されてからの経過時間を評価することが好ましい。
　主成分分析部により算出された第１～３主成分の固有ベクトルを格納するデータベースをさらに備え、主成分分析部は、データベースに格納された第１～３主成分の固有ベクトルを参照することにより、第１～３主成分の主成分得点を算出することもできる。
　データベースは、予め設定された第１～３主成分の閾値または判別関数を格納し、肌評価部は、主成分分析部により算出された第１～３主成分の主成分得点の少なくとも１つと、データベースに格納された予め設定された各主成分の閾値または判別関数を用いて肌における化粧料の塗布状態を評価することもできる。
　この発明に係る肌評価方法は、被験者の肌が撮影された分光画像を入力し、分光画像の少なくとも一部から分光反射率を計測し、分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出し、算出された第１～３主成分の主成分得点の少なくとも１つと予め設定された各主成分の閾値または判別関数を用いて肌における化粧料の塗布状態を評価する方法である。
　この発明に係る肌評価プログラムは、被験者の肌が撮影された分光画像を入力するステップと、分光画像の少なくとも一部から分光反射率を計測するステップと、分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出するステップと、算出された第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて肌における化粧料の塗布状態を評価するステップとをコンピュータに実行させるためのものである。
　この発明によれば、被験者の肌における化粧料の塗布状態を、容易に、精度良く、評価することが可能となる。
この発明の実施の形態１に係る化粧料の塗布状態を評価する肌評価装置の構成を示すブロック図である。 実施の形態１に係る肌評価装置により実行される肌評価方法のフローチャートを示す図である。 （Ａ）は、実施例１に係る第１主成分の固有ベクトルを示し、（Ｂ）は、実施例１に係る第２主成分の固有ベクトルを示し、（Ｃ）は、実施例１に係る第３主成分の固有ベクトルを示す。 主成分分析により算出された各主成分の固有値の寄与率と累積寄与率を示すグラフである。 （Ａ）～（Ｃ）は、第２主成分及び第３主成分の主成分得点をプロットした図であり、（Ａ）は、素肌と化粧肌との分離評価を説明するための図、（Ｂ）は、化粧料の塗布量の評価を説明するための図、（Ｃ）は、化粧肌の経時予測の評価を説明するための図である。 被験者の素肌の顔及びファンデーションの塗布量が異なる顔を撮影した分光画像から、第１～３主成分及び７２０ｎｍの波長部分を抽出した画像である。 図６の第１～３主成分の画像の取得方法を説明するための図である。 被験者の素肌の腕及びファンデーション塗布量が異なる腕を撮影した分光画像から、第１～３主成分及び７２０ｎｍの波長部分を抽出した画像ある。 図７の第３主成分を抽出した画像と、各画像に対応する輝度プロファイルを示す図である。 輝度差と塗布量との相関を示すグラフである。
　以下、この発明の実施の形態を添付図面に基づいて説明する。
　図１に、この発明の実施の形態に係る肌評価装置の構成を示す。肌評価装置は、素肌または化粧を施した被験者の顔ＦをカメラＣで撮影した撮影画像を用いて被験者の顔Ｆの肌の状態、すなわち、化粧料の塗布状態を評価するもので、カメラＣに接続される画像入力部１を備え、この画像入力部１に前処理部２、分光反射率測定部３、主成分分析部４、肌評価部５および表示部６が順次接続されている。また、肌評価部５には、基準データベース７が接続されている。さらに、分光反射率測定部３、主成分分析部４および肌評価部５には制御部８が接続され、この制御部８に操作部９が接続されている。
　画像入力部１は、被験者の顔Ｆを撮影したカメラＣから撮影画像を入力する。ここで、カメラＣから入力される撮影画像は、少なくともＲ（赤）、Ｇ（緑）、Ｂ（青）に該当する波長を含む、複数種類の特定の波長域を選択的に透過するカラーフィルタを取り付けたモノクロカメラ（すなわち、カメラＣ）により撮影した分光画像である。また、分光光源を用いて３８０～７８０ｎｍ（可視域）において、少なくとも３波長以上の任意の波長範囲の光を被写体の顔Ｆに照射し、モノクロカメラにより撮影した画像を用いることもできる。なお、任意の波長範囲の光は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に該当する波長を含む。
　被験者の顔Ｆの肌は、化粧を施した肌（化粧肌）であっても、素肌であってもよい。また、被写体は、被験者の顔Ｆに限定されず、腕や、肌レプリカであってもよい。
　前処理部２は、画像入力部１から入力される撮影画像に対して、光量補正およびノイズ除去などの前処理を施す。
　分光反射率測定部３は、前処理部２から入力された分光画像（３８０ｎｍ～７８０ｎｍの可視光領域内で１０ｎｍおきに撮影した反射スペクトル）に基づいて、分光反射率を計測する。分光反射率を計測する方法は、公知の方法を用いることができる。
　なお、この実施の形態においては、分光画像から分光反射率を計測するが、これに限定されず、例えば、分光放射輝度計（コニカミノルタ製　ＣＳ-２０００）を用いて、直接的に、被験者の顔肌の分光反射率を計測してもよい。
　分光反射率測定部３により計測された分光反射率は、主成分分析部４へ出力される。
　主成分分析部４は、分光反射率測定部３により計測された分光反射率に対して主成分分析を行い、第１主成分～第３主成分に係る第１固有ベクトル～第３固有ベクトルと各主成分得点を算出する。
　算出された第１主成分～第３主成分の各主成分得点は、肌評価部５へ出力される。
　なお、ここで、取得される第１主成分の第１固有ベクトルは、肌の明るさを表すものであり、第２主成分の第２固有ベクトルは、短波長帯域と長波長帯域との間に反射率差を有するものであり、たとえば、反射率差０．２～０．５％程度のものが挙げられる。第３主成分の第３固有ベクトルは、中心波長５５０ｎｍ付近の反射率と中心波長５００ｎｍ付近の反射率との間、及び、中心波長５５０ｎｍ付近の反射率と中心波長６００ｎｍ付近の反射率との間に反射率差を有するもので、たとえば、反射率差０．３～０．８％程度のものが挙げられる。
　データベース７は、主成分分析部４で算出された第１主成分～第３主成分に係る第１固有ベクトル～第３固有ベクトルや、算出された第１主成分～第３主成分に係る主成分得点に基づいて肌評価を行う際に用いられる閾値や判別関数を格納する。閾値や判別関数としては、例えば、第３主成分の主成分得点に基づく素肌と化粧肌とを判別する閾値や、第３主成分の主成分得点に基づく化粧料の塗布量を評価する閾値や、第２主成分及び第３主成分の主成分得点に基づく化粧料塗布後の経過時間を評価する判別関数が挙げられる。
　なお、ここで、データベース７に予め格納される第１主成分～第３主成分に係る第１固有ベクトル～第３固有ベクトルや、閾値及び判別関数を獲得するために使用される画像として、化粧料（ファンデーション）の塗布量が異なる複数種（Ｎ水準）の被写体（肌）画像をサンプルとして用いる。化粧料の塗布量は、０．０mg／cm２以上１．０mg／cm２以下から２～３以上選択することが好ましい。例えば、化粧料の塗布量が、９種類（９水準）、すなわち、０mg／cm２（素肌）、０．０５mg／cm２、０．１０mg／cm２、０．１５mg／cm２、０．２mg／cm２、０．４mg／cm２、０．６mg／cm２、０．８mg／cm２及び１．０mg／cm２とした場合の肌の分光画像から、それぞれ分光反射率や、第１主成分～第３主成分に係る固有ベクトルや、主成分得点を計測し、化粧肌を評価する閾値を任意に設定したり、フィッシャーの線形判別分析等により判別関数を獲得しておくことができる。
　判別関数は、例えば、線形判別分析で２群のデータを決定面により分ける手法で決定できる。
Figure JPOXMLDOC01-appb-I000001

で表すことができる。ｗは決定面の傾きを表す量である。具体的には次の手順で決定面のｗを求める。２群のデータのクラス間共分散行列（Sb）とクラス内共分散行列（Sw）を求める。SbとSwから新たな行列Sｎを下式のように求める。
Figure JPOXMLDOC01-appb-I000002

Snの固有値問題を解き、最大の固有値を有する固有ベクトルを求める。この固有ベクトルが線形判別分析の決定面における傾きｗとなり、この決定面を表す式が判別関数となる。
　また、このような事前処理に用いられる被写体は、人の顔や腕の肌だけでなく、肌レプリカを用いることもできるが、化粧料塗布後の経過時間を評価するために用いられる閾値や判別関数を求める場合、人肌を用いることが好ましい。
　肌評価部５は、主成分分析部４で算出された第１主成分～第３主成分に係る主成分得点と、データベース７に格納された閾値と比較したり、判別関数を用いたりして被写体の肌を評価する。特に、素肌と化粧肌との判別は、第３主成分で評価し、化粧肌の塗布量は、第３主成分で評価し、化粧肌の継時予測は、第２主成分と第３主成分で評価することが好ましい。
　肌評価部５で取得された結果は、表示部６へ出力される。
　表示部６は、例えば、ＬＣＤ（liquid crystal display）等のディスプレイ装置を含んでおり、肌評価部５で評価された化粧料の塗布状態に係る評価の結果を表示する。
　操作部９は、操作者が情報の入力操作を行うためのもので、キーボード、マウス、トラックボール、タッチパネル等から形成することができる。
　制御部８は、操作者により操作部９から入力された各種の指令信号等に基づいて、肌評価装置内の各部の制御を行うものである。
　なお、前処理部２、分光反射率測定部３、主成分分析部４、肌評価部５および制御部８は、ＣＰＵ（Central Processing Unit）と、ＣＰＵに各種の処理を行わせるための動作プログラムから構成されるが、それらをデジタル回路で構成してもよい。また、ＣＰＵにバスなどの信号線を介してメモリを接続することができ、例えば、前処理部２で生成された分光画像、分光反射率測定部３で算出された分光反射率、主成分分析部４で算出された第１主成分～第３主成分にかかる固有ベクトル及び主成分得点、および肌評価部５で算出された化粧料の塗布状態に係る評価結果などをメモリにそれぞれ格納し、このメモリに格納された画像および化粧料の塗布状態に係る評価結果を制御部８の制御の下で表示部６に表示させることができる。
　次に、図２を参照して、この実施の形態１の動作について説明する。
　まず、被験者の顔ＦをカメラＣで撮影して得られた分光画像が、図１に示すように、カメラＣから肌評価装置の画像入力部１を介して前処理部２に入力され、光源補正およびノイズ除去などの前処理が施された後、前処理部２から分光反射率計測部３へ入力される（ステップＳ１）。そして、分光反射率計測部３は、入力された分光画像に基づいて分光反射率を計測し、主成分分析部４へ出力する（ステップＳ２）。次いで、主成分分析部４では、分光反射率から第１主成分～第３主成分にかかる固有ベクトルと、各固有ベクトルに基づいて主成分得点を算出し、肌評価部５へ入力する（ステップＳ３）。肌評価部５は、データベース７に格納された閾値や判別関数を用いて、算出された第１主成分～第３主成分に係る主成分得点から、化粧料の塗布状態、すなわち、素肌と化粧肌との判別や、化粧料の塗布量の評価や、化粧料塗布後の経過時間の予測を行う（ステップＳ４）。
　なお、上記の実施の形態のような肌評価は、入力手段、ＣＰＵおよびメモリなどから構成されるコンピュータを肌評価プログラムにより機能させることで実行することができる。すなわち、肌評価プログラムがコンピュータを機能させることにより、画像入力部１が、被験者の顔を撮影した撮影画像を取得し、取得された撮影画像に基づいて、ＣＰＵが、前処理部２、分光反射率測定部３、主成分分析部４および肌評価部５を実行させて被験者の肌評価を行う。
　本実施の形態においては、分光画像を用いて肌評価を行ったが、デジタルカメラ（ＤＳＣ）で撮影したＲＧＢ画像（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ画像）を用いて肌評価を行うこともできる。
　例えば、予め、化粧料の塗布状態を分光画像により固有ベクトル、主成分得点を解析し、データベース等の記録媒体に保存しておき、この保存された固有ベクトル等を用いて、例えば、Ｗｉｎｎｅｒ推定等により、ＲＧＢ画像から分光反射率を求め、肌評価を行うこともできる。
実施例１
　実際に、肌評価装置を用いて被験者の顔の化粧料の塗布状態を評価した実施例を示す。
　この実施例は、まず、ある被験者の顔肌を、ファンデーションの塗布量や、ファンデーション塗布後の経過時間を変えて撮影し、Ｒ、Ｇ、Ｂに該当する波長を含む分光画像を取得し、分光反射率を求めた。具体的には、４つのサンプル、すなわち、（１）ファンデーションの塗布量が、０mg／cm２（素肌）であり、塗布直後の肌、（２）ファンデーションの塗布量が、０．０５mg／cm２（薄い）であり、塗布直後の肌、（３）ファンデーションの塗布量が、０．８mg／cm２（濃い）であり、塗布直後の肌、（４）ファンデーションの塗布量が、０．８mg／cm２（濃い）であり、塗布後６時間経過後の肌を撮影した画像を肌評価のために使用した。また、分光画像は、１０４０×１３９２画素の原画像を縦横双方向に８分割した１３０×１７４画素のものを使用した。
　上記（１）～（４）の分光反射率に対して、主成分分析を行った。図３は、第１～３主成分に係る固有ベクトルを示す。図３（Ａ）は、第１主成分に係る第１固有ベクトルを示し、（Ｂ）は、第２主成分に係る第２固有ベクトルを示し、（Ｃ）は、第３主成分に係る第３固有ベクトルを示す。図３（Ａ）～（Ｃ）の縦軸は、反射率、横軸は、波長（３８０～７８０ｎｍ）を示す。
　ここで、算出された第２主成分の第２固有ベクトルは、短波長帯域と長波長帯域との間に反射率差を有するものであり、本実施例では、０．４％程度の反射率差を有する。第３主成分の第３固有ベクトルは、中心波長５５０ｎｍ付近の反射率と中心波長５００ｎｍ付近の反射率との間、及び、中心波長５５０ｎｍ付近の反射率と中心波長６００ｎｍ付近の反射率との間に反射率差を有するものであり、本実施例では０．５％程度の反射率差を有する。
　また、図４に、第１～３主成分を含む各主成分の各固有値の寄与率及び固有値の累積寄与率を示す。図４の縦軸は、寄与率（％）、横軸は、主成分数（第Ｎ主成分）を示す。
　図４が示すように、第１～３主成分までで累積寄与率は９９．５％であるため、肌の分光反射スペクトルが３つの主成分で十分に再現できることが分かる。
　図５（Ａ）～（Ｃ）は、図３（Ｂ）及び（Ｃ）に示される第２主成分及び第３主成分の固有ベクトルに基づいて求められる各主成分得点をそれぞれプロットしたものである。
　図５（Ａ）から、サンプル（１）のファンデーションの塗布量が、０mg／cm２（素肌）を示す◇マークが、破線で示す、第３主成分の主成分得点の９割以上が０．４５よりも高い領域にプロットされていることが分かる。
　これにより、第３主成分の主成分得点の分布に基づいて、素肌と化粧肌の分離を評価できることを確認することができる。
　図５（Ｂ）から、破線で示す、第３主成分得点が－０．０８よりも高い領域には、サンプル（２）のファンデーションの塗布量が、０．０５mg／cm２（薄い）を示す□マークが主にプロットされ、小さい領域には、サンプル（３）のファンデーションの塗布量が、１．０mg／cm２（濃い）を示す△マークが主にプロットされていることがわかる。
　これにより、第３主成分の主成分得点の分布に基づいて、化粧料の塗布量を予測できることがわかる。
　図５（Ｃ）から、破線で示す、第２主成分と第３主成分との相関関数のグラフ右側領域にサンプル（３）のファンデーションの塗布量が、０．８mg／cm２（濃い）であり、塗布直後の肌を示す△マークが主にプロットされているのに対し、グラフ左側領域には、サンプル（４）のファンデーションの塗布量が、０．８mg／cm２（濃い）であり、塗布後６時間経過後の肌を示す×マークが主にプロットされていることが分かる。
　これにより、第２主成分と第３主成分の主成分得点の分布に基づいて、ファンデーション塗布後、どれくらい時間が経過しているかを予測できることがわかる。
　図６の（Ａ）～（Ｄ）の画像群は、上記サンプル（１）～（３）の顔肌（ファンデーション（ＦＤ）塗布量が３水準の顔肌）を撮像した分光画像から７２０ｎｍ、第１主成分～第３主成分の画像を並べたものである。
　なお、以下に、図７を参照して、第１主成分～第３主成分の画像の取得方法について説明する。
　まず、各主成分の固有ベクトルは、以下の方法で算出する。ここで、ファンデーション（ＦＤ）塗布量が、ある水準の分光画像（３８０ｎｍ～７８０ｎｍの可視光領域内で１０ｎｍおきに撮影した反射スペクトル）Ｉ、すなわち、本実施例においては、サンプル（１）～（４）のいずれかの分光画像Ｉは、その各波長の画像上の同じ画素位置における分光反射率を並べたＭ次元（Ｍ＝波長数）のベクトルｘｉで表すものとし、ｘｉは、ファンデーション（ＦＤ）の塗布量が、ある水準の分光画像における、ある波長の画像上の画素位置における分光反射率を示す。図中の「Ｍ」は、ｉの最大値を示す。
　まず、数式１に示す全ての水準の分光画像（ｘ１～ｘｉ～ｘＭ）、すなわち、本実施例においては、サンプル（１）～（４）の分光画像 Ｘallから、数式２に示す平均値 μallと、数式３に示す共分散行列 Ｃallを求め、この共分散行列の固有値問題、すなわち、数式４を解くことで固有値λｊと、固有ベクトルνｊを算出する。なお、固有値問題を解いた際、固有ベクトルを固有値の大きい順に並べ替えて、「ｊ」は、１、２、３・・と付番するものとする。また、最大固有値に対応する固有ベクトルから順に第１主成分、第２主成分、第３主成分・・・とする。各固有ベクトルは、Ｍ次元のベクトルであるため、分光画像ＩをＭ次元のベクトルに表した方法と逆の処理で画素配列を復元し、各主成分の画像を生成する。
　また、各主成分の固有ベクトルに基づいて、各主成分の主成分得点を算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　新たに撮影した分光画像Ｉも上述した方法と同様に規格化して算出された固有ベクトルを用いて作成し、数式５に示す射影ベクトルＷを乗算することで各主成分の主成分得点を算出する。
　このように算出された主成分得点の最大値を赤色、最小値を青色に可視化したものが図６となる。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｌは任意の正数値を示し、本実施例においては、Ｌ=４である。
　図６の７２０ｎｍ、第１主成分及び第２主成分に係る画像群（Ａ）～（Ｃ）からは、化粧料の塗布量に応じた変化を確認することはできないが、第３主成分に係る画像群（Ｄ）は、ファンデーションを示す青色部分が、ファンデーション塗布量に多くなるにつれて、徐々に増加し濃く変化していることが分かる。このように、画像からも第３主成分の主成分得点から化粧料の塗布量を評価することができることが分かる。
実施例３
　この実施例においては、まず、ある被験者の腕を、ファンデーションの塗布量を様々に変えて撮影した分光画像を取得し、分光反射率を求めた。具体的には、４つのサンプル、すなわち、（５）ファンデーションの塗布量が、０mg／cm２（素肌）の肌、（６）ファンデーションの塗布量が、０．０５mg／cm２（薄い）の肌、（７）ファンデーションの塗布量が、０．４mg／cm２（普通）の肌、（８）ファンデーションの塗布量が、０．８mg／cm２（濃い）の肌を撮影した画像を使用した。
　図８の（Ａ）～（Ｄ）の画像群は、上記サンプル（５）～（８）の腕肌を撮像した分光画像から７２０ｎｍ、第１主成分～第３主成分に関連する波長だけ抽出した画像を並べたものである。図８の（Ａ）～（Ｄ）の画像群は、実施例２と同様の方法で取得した。
　図８の７２０ｎｍ、第１主成分及び第２主成分に係る画像群（Ａ）～（Ｃ）からは、化粧料の塗布量に応じた変化を確認することはできないが、第３主成分に係る画像群（Ｄ）は、ファンデーションを示す青色部分が、ファンデーション塗布量に多くなるにつれて、徐々に増加し濃く変化していることが分かる。このように、画像からも第３主成分の主成分得点から化粧料の塗布量を推定することができることが分かる。
　図９は、図８（Ｄ）に示す第３主成分で抽出された画像群と、それら画像群の輝度プロファイルを示す図である。
　ここに示される輝度プロファイルは、まず、図８（Ｄ）の画像の主成分得点３～－３にかかる分光画像を２５６階調に変換した画像を作成し、次いで、図９に示される図８（Ｄ）の黒線部分について、２５６階調に変換した画像の輝度プロファイルを２本算出し、その２本の輝度値の画素位置毎の平均値を算出したものである。
　図９から、サンプル（５）の素肌においては、輝度に変化はないものの、サンプル（６～（８）のファンデーションが塗布された肌では、図中の矢印が示すように、素肌部分とファンデーション塗布部分との輝度に明らかな差が確認された。
　また、図１０は、各サンプルのファンデーション塗布量と、図９に基づいて算出したファンデーション塗布部分と未塗布部分の輝度差との相関を示すグラフ（ｙ＝２５．８８７Ｌｎ（ｘ）+１８８．４７、相関係数Ｒ２＝０．９９９９）である。図１０のグラフによれば、輝度差が大きいほどファンデーションの塗布量が大きいことが分かる。
　これにより、第３主成分の主成分得点に基づいて、化粧料の塗布量を推定することができることが確認された。
　本発明においては、被験者一人に対する化粧料の塗布量の違いを主成分分析して取得された結果、すなわち、固有ベクトル、閾値及び判別関数をデータとしてデータベースに格納してもよい。また、複数の被験者のデータをデータベースに格納し、指定された特定の被験者における固有ベクトル、閾値及び判別関数を呼び出し、解析を行ってもよい。また、複数の被験者における化粧料の塗布状態を同時に主成分分析して得られた固有ベクトル、閾値及び判別関数をデータベースに格納してもよい。さらに、このようにデータベースに格納されたデータを、典型的な標準データとして利用し、他の被験者の肌の状態を評価してもよい。
　また、肌評価装置で、被験者の肌が撮影された分光画像の少なくとも一部から分光反射率を計測して分光反射率を算出しなくてもよく、被験者の肌が撮影された分光画像の少なくとも一部から算出済みの分光反射率データ、分光反射率を取得できる計測器により被験者の肌を計測して取得された分光反射率データの少なくとも一方を記憶したデータベースやメモリ等から直接、分光反射率を取得してもよい。この取得した分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出し、算出された第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて肌における化粧料の塗布状態を評価してもよい。
　１　画像入力部、２　前処理部、３　分光反射率測定部、４　主成分分析部、５　肌評価部、６　表示部、７　データベース、８　制御部、９　操作部、Ｆ　顔、Ｃ　カメラ。

Claims (11)

  1. 　被験者の肌が撮影された分光画像を入力する画像入力部と、
    　前記分光画像の少なくとも一部から分光反射率を計測する分光反射率算出部と、
    　前記分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、前記第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出する主成分分析部と、
    　算出された前記第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて前記肌における化粧料の塗布状態を評価する肌評価部と、
    を備える肌評価装置。
  2. 　前記第１主成分の固有ベクトルは、肌の明るさを表す請求項１に記載の肌評価装置。
  3. 　前記第２主成分の固有ベクトルは、短波長帯域と長波長帯域との間に反射率差を有する請求項１または２に記載の肌評価装置。
  4. 　前記第３主成分の固有ベクトルは、中心波長５５０ｎｍ付近の反射率と中心波長５００ｎｍ付近の反射率との間、及び、中心波長５５０ｎｍ付近の反射率と中心波長６００ｎｍ付近の反射率との間に反射率差を有する請求項１または２に記載の肌評価装置。
  5. 　前記肌評価部は、前記主成分分析部により算出された前記第３主成分の主成分得点と、前記予め設定された前記第３主成分の閾値または判別関数を用いて、前記肌が素肌であるのか、または、化粧料を塗布した状態であるのかを評価する請求項１～４のいずれかに記載の肌評価装置。
  6. 　前記肌評価部は、前記主成分分析部により算出された前記第３主成分の主成分得点と、前記予め設定された前記第３主成分の閾値または判別関数を用いて、化粧料の塗布量を評価する請求項１～４のいずれかに記載の肌評価装置。
  7. 　前記肌評価部は、前記第２主成分及び前記第３主成分の主成分得点と、前記予め設定された前記第２主成分及び前記第３主成分の閾値または判別関数を用いて、化粧料が素肌に塗布されてからの経過時間を評価する請求項１～４のいずれかに記載の肌評価装置。
  8. 　前記主成分分析部により算出された前記第１～３主成分の固有ベクトルを格納するデータベースをさらに備え、
    　前記主成分分析部は、前記データベースに格納された前記第１～３主成分の固有ベクトルを参照することにより、前記第１～３主成分の主成分得点を算出する請求項１～７のいずれかに記載の肌評価装置。
  9. 　前記データベースは、前記予め設定された前記第１～３主成分の閾値または判別関数を格納し、
    　前記肌評価部は、前記主成分分析部により算出された前記第１～３主成分の主成分得点の少なくとも１つと、前記データベースに格納された前記予め設定された各主成分の閾値または判別関数を用いて前記肌における化粧料の塗布状態を評価する請求項８に記載の肌評価装置。
  10. 　被験者の肌が撮影された分光画像を入力し、
    　前記分光画像の少なくとも一部から分光反射率を計測し、
    　前記分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、前記第
    １～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出し、
    　算出された前記第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて前記肌における化粧料の塗布状態を評価する肌評価方法。
  11. 　被験者の肌が撮影された分光画像を入力するステップと、
    　前記分光画像の少なくとも一部から分光反射率を計測するステップと、
    　前記分光反射率に対して主成分分析を行い、第１～３主成分の固有ベクトルと、前記第１～３主成分の固有ベクトルに基づく第１～３主成分の主成分得点とを算出するステップと、
    　算出された前記第１～３主成分の主成分得点の少なくとも１つと、予め設定された各主成分の閾値または判別関数を用いて前記肌における化粧料の塗布状態を評価するステップとをコンピュータに実行させるための肌評評価プログラム。
PCT/JP2016/077037 2015-09-29 2016-09-14 肌評価装置、肌評価方法および肌評価プログラム WO2017056980A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680056882.0A CN108135346B (zh) 2015-09-29 2016-09-14 皮肤评价装置、皮肤评价方法及记录介质
US15/920,988 US10964062B2 (en) 2015-09-29 2018-03-14 Skin evaluation device, skin evaluation method, and skin evaluation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-190652 2015-09-29
JP2015190652A JP6533729B2 (ja) 2015-09-29 2015-09-29 肌評価装置、肌評価方法および肌評価プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/920,988 Continuation US10964062B2 (en) 2015-09-29 2018-03-14 Skin evaluation device, skin evaluation method, and skin evaluation program

Publications (1)

Publication Number Publication Date
WO2017056980A1 true WO2017056980A1 (ja) 2017-04-06

Family

ID=58423740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077037 WO2017056980A1 (ja) 2015-09-29 2016-09-14 肌評価装置、肌評価方法および肌評価プログラム

Country Status (4)

Country Link
US (1) US10964062B2 (ja)
JP (1) JP6533729B2 (ja)
CN (1) CN108135346B (ja)
WO (1) WO2017056980A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6985826B2 (ja) * 2017-06-27 2021-12-22 花王株式会社 塗布状態評価方法
JP7419744B2 (ja) * 2019-10-18 2024-01-23 株式会社プロテリアル 組織画像の解析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093043A (ja) * 2012-11-06 2014-05-19 Kao Corp 顔画像分析装置及び顔画像分析方法
JP5650012B2 (ja) * 2011-02-25 2015-01-07 花王株式会社 顔画像処理方法、美容カウンセリング方法および顔画像処理装置
JP2015005281A (ja) * 2013-05-24 2015-01-08 花王株式会社 顔画像分析方法及び顔画像分析装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5129530A (en) 1974-09-04 1976-03-12 Toyoda Automatic Loom Works Somenkiniokeru shujinsochi
JP4570764B2 (ja) * 2000-12-01 2010-10-27 本田技研工業株式会社 運動情報認識システム
US20090253162A1 (en) * 2008-04-08 2009-10-08 Reveal Sciences, Llc Method and apparatus for analyzing skin and hair
JP5863530B2 (ja) * 2012-03-27 2016-02-16 キヤノン株式会社 記録装置、測定装置および測定方法
TWI493169B (zh) * 2013-01-18 2015-07-21 Univ Nat Cheng Kung 評估皮膚生理參數濃度及分布之光學系統及其方法
CN103077541A (zh) * 2013-01-18 2013-05-01 无锡鸿图微电子技术有限公司 人脸皮肤色彩的度量与表述的方法及系统
WO2014204007A1 (en) * 2013-06-19 2014-12-24 L'oreal Method for evaluating cosmetic effects of cosmetic product on skin
KR20150061339A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 분장 컬러 시뮬레이션 장치 및 그 방법
CN104688180B (zh) * 2013-12-09 2017-03-29 中国工程物理研究院流体物理研究所 一种基于光谱成像的美白效果判断方法
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5650012B2 (ja) * 2011-02-25 2015-01-07 花王株式会社 顔画像処理方法、美容カウンセリング方法および顔画像処理装置
JP2014093043A (ja) * 2012-11-06 2014-05-19 Kao Corp 顔画像分析装置及び顔画像分析方法
JP2015005281A (ja) * 2013-05-24 2015-01-08 花王株式会社 顔画像分析方法及び顔画像分析装置

Also Published As

Publication number Publication date
JP6533729B2 (ja) 2019-06-19
CN108135346A (zh) 2018-06-08
US10964062B2 (en) 2021-03-30
CN108135346B (zh) 2021-04-20
US20180204353A1 (en) 2018-07-19
JP2017063904A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
US10638968B2 (en) Skin gloss evaluation device, skin gloss evaluation method, and skin gloss evaluation program
JP4954082B2 (ja) コントラスト視力検査を行うための方法
KR20150141988A (ko) 피부 진단 및 화상 처리 방법
CN110740679A (zh) 用于对皮肤光泽定量估计的皮肤光泽测量
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
WO2016190200A1 (ja) 視野検査装置
Pulsifer et al. An objective fingerprint quality-grading system
JP2009082338A (ja) エントロピーを用いた肌の鑑別方法
JP2007252891A (ja) 肌の美しさの目視評価値の推定方法
WO2017056980A1 (ja) 肌評価装置、肌評価方法および肌評価プログラム
CN110505838A (zh) 使用布鲁斯特角的皮肤光泽测量
JP5235473B2 (ja) 分光特性推定装置
JP2944309B2 (ja) 皮膚表面形態特徴検出方法
KR20110098275A (ko) 피부 색상 측정 시스템 및 방법
Ginardi et al. Intelligent method for dipstick urinalysis using smartphone camera
JP2003144393A (ja) しみ・そばかす評価方法
KR101928501B1 (ko) 영상을 이용한 피부 산도 측정 방법
KR100370271B1 (ko) 피부측정 시스템
JPH0282947A (ja) 皮表形態の検出，解析方法
JP5765024B2 (ja) 化粧崩れの評価方法
JP7412767B2 (ja) 肌の色ムラ評価装置、肌の色ムラ評価方法および肌の色ムラ評価プログラム
Reynolds et al. Characterization of human lightness discrimination thresholds for independent spectral variations
KR20180027936A (ko) 화장료의 색상 커버력 측정 시스템 및 커버력 측정 방법
Chang et al. Determination of reflection photoelasticity fringes analysis with digital image-discrete processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851154

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851154

Country of ref document: EP

Kind code of ref document: A1