WO2014119242A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム Download PDF

Info

Publication number
WO2014119242A1
WO2014119242A1 PCT/JP2014/000244 JP2014000244W WO2014119242A1 WO 2014119242 A1 WO2014119242 A1 WO 2014119242A1 JP 2014000244 W JP2014000244 W JP 2014000244W WO 2014119242 A1 WO2014119242 A1 WO 2014119242A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
face
skin
correction
image
Prior art date
Application number
PCT/JP2014/000244
Other languages
English (en)
French (fr)
Inventor
智史 山梨
理惠子 浅井
あおい 牟田
千枝 西
香織 安食
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51261959&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2014119242(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP14745809.5A priority Critical patent/EP2820970B1/en
Priority to US14/388,923 priority patent/US9615647B2/en
Priority to CN201480000917.XA priority patent/CN104203042B/zh
Publication of WO2014119242A1 publication Critical patent/WO2014119242A1/ja
Priority to US15/010,190 priority patent/US9681736B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a makeup support apparatus that supports facial makeup (makeup), a makeup support method, and a makeup support program.
  • make face makeup methods
  • Patent Literature 1 and Patent Literature 2 acquire an image obtained by capturing a face to be a makeup target (hereinafter, simply referred to as “face”).
  • face a makeup target
  • a simulation image is generated by superimposing an image indicating the state of makeup when applying lipstick or cheek on a face to the acquired image. Then, according to the related art, the generated simulation image is displayed on the display device.
  • makeup that improves the aesthetics by correcting the impression of the feature of the face part is hereinafter referred to as "makeup for face”.
  • makeup in addition to the above-mentioned makeup for face, makeup includes a concealer for hiding the eyelid under the eyes.
  • Such a makeup that partially corrects the condition of the skin to improve the aesthetics is hereinafter referred to as "make-up for skin correction".
  • makeup for makeup performed on the face there are so-called basic makeup.
  • the basic makeup is to take care of the skin by applying a lotion, a cosmetic solution or the like.
  • face makeup the method of face makeup
  • skin correction makeup the method of skin correction makeup
  • basic makeup hereinafter referred to as "skin correction makeup”
  • skin correction makeup the method of basic makeup
  • the effects of facial makeup often differ depending on skin correction makeup and skin care. For example, when the eyelids under the eyes are hidden by the concealer, the impression of the face becomes younger, so that the makeup for young people becomes more visible.
  • skin condition is not good because appropriate skin care is not performed, the actual makeup may be significantly different from the simulation image because the riding on the makeup becomes worse.
  • the skin condition is subjected to inappropriate skin correction makeup or skin care, or if the required skin correction makeup or skin care is not performed, the user is not suitable for facial makeup It is possible to make a wrong decision about Many users do not have sufficient knowledge of the skin condition of each part of the face and do not have sufficient knowledge about skin correction makeup and skin care. Also, in the prior art, the skin condition is not taken into consideration.
  • An object of the present invention is to provide a makeup support apparatus, a makeup support method, and a makeup support program that can appropriately assist makeup even for faces whose skin condition is not good.
  • the makeup assisting apparatus comprises: an image acquisition unit for acquiring an image of a face; a face component acquisition unit for acquiring an area of the face component of the face from the image; A face makeup selection unit for selecting face makeup that is a makeup method, a skin condition acquisition unit for acquiring the skin condition of the face, and a skin that is a makeup method for skin correction based on the skin condition A skin correction makeup selecting unit for selecting skin care that is a method of correction makeup / basic makeup, and presenting the selected face makeup to the user in association with the corresponding area of the face part, And a makeup presenting unit for presenting the selected skin-correcting makeup / the skin care.
  • the makeup assisting method of the present invention comprises the steps of: acquiring an image of a face; acquiring an area of a face part from the image; and for each face part, a method of makeup for the face.
  • a step of selecting makeup, a step of acquiring the skin condition of the face, and a step of selecting skin care which is a method of makeup for skin correction / basic makeup which is a method of makeup for skin correction based on the skin condition And presenting the selected facial makeup to the user in association with the corresponding region of the facial part, and presenting the selected skin correction makeup / the skin care.
  • the computer performs processing for acquiring an image of a face, processing for acquiring a face part area from the image, and face makeup for each face part. Based on the process of selecting a certain makeup for face, the process of acquiring the skin condition of the face, and the skin condition which is a way of makeup for skin correction / basic makeup which is a way of makeup for skin correction based on the skin condition.
  • makeup support can be appropriately performed even on a face whose skin condition is not good.
  • Block diagram showing an example of configuration of makeup assisting apparatus according to Embodiment 1 of the present invention Block diagram showing an example of the configuration of a makeup assisting apparatus according to Embodiment 2 of the present invention
  • the figure which shows an example of makeup ID table for faces in Embodiment 2 The figure which shows an example of the makeup table for faces in Embodiment 2.
  • a diagram showing an example of a facial cosmetic table according to a second embodiment The figure which shows an example of makeup ID table for skin corrections in Embodiment 2.
  • a figure showing an example of a makeup table for skin amendments in a 2nd embodiment The figure which shows an example of the cosmetics table for skin corrections in Embodiment 2.
  • the flowchart which shows one example of operation of the makeup support device which relates to the form 2 of execution A diagram showing an example of an image in the second embodiment A diagram showing an example of arrangement of face feature points in the second embodiment A diagram showing an example of face part information in the second embodiment The figure which shows an example of the skin condition information in Embodiment 2.
  • a diagram showing an example of a simulation image in the second embodiment The figure which shows an example of the skin condition information for skin care selection in Embodiment 2.
  • Embodiment 1 of the present invention is an example of a basic aspect of the present invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a makeup assisting apparatus according to the present embodiment.
  • makeup assisting apparatus 100 includes an image acquiring unit 220, a face part acquiring unit 230, a face makeup selecting unit 250, a skin condition acquiring unit 260, a skin correction makeup selecting unit 280, and a makeup presenting unit 290. .
  • the image acquisition unit 220 acquires an image obtained by capturing a face.
  • the face part acquisition unit 230 acquires the area of the face part of the face from the captured image.
  • the face makeup selection unit 250 selects face makeup for each face part.
  • the face makeup is a method (type) of face makeup.
  • the skin condition acquisition unit 260 acquires the skin condition of the face.
  • the skin correction makeup selection unit 280 selects skin correction makeup / skin care based on the acquired skin condition. That is, the skin correction makeup selection unit 280 performs selection based on the skin condition for at least one of the skin correction makeup and the skin care.
  • the skin correction makeup is the method (type) of the skin correction makeup.
  • skin care is the method (type) of basic makeup.
  • Makeup presenting unit 290 presents the selected facial makeup to the user in association with the area of the corresponding facial part, and presents the selected skin correction makeup / skin care.
  • makeup assisting apparatus 100 has, for example, a central processing unit (CPU), a storage medium such as ROM (Read Only Memory) storing a control program, and a working memory such as RAM (Random Access Memory). .
  • CPU central processing unit
  • storage medium such as ROM (Read Only Memory) storing a control program
  • RAM Random Access Memory
  • Such makeup assisting apparatus 100 presents to the user not only the makeup for face in association with the corresponding area but also the makeup / skin care for skin correction selected based on the skin condition. Can. That is, makeup assisting apparatus 100 can present appropriate skin correction makeup / skin care in combination with a simulation image of appropriate facial makeup. Therefore, makeup assisting apparatus 100 can appropriately assist makeup even for a face whose skin condition is not good.
  • Second Embodiment Embodiment 2 of the present invention is an example of a specific aspect of the present invention, and is an example in which the present invention is applied to an apparatus provided with a digital video camera and a display with a touch panel on the same side.
  • “Face part” refers to a part that characterizes the impression of the face, such as eyes, eyebrows, nose, cheeks (brows), lips, and outlines.
  • the “area of the face part” refers to the area occupied by the face part on the image or real space, and includes the positions of the feature points of the face part such as the corner of the eye.
  • the “face part feature amount” is a value of a predetermined parameter indicating a face feature.
  • it is multivariate data consisting of multiple values, such as the ratio of face length to face width, the ratio of nose length to eye interval, and the ratio of eye width to face width I assume.
  • the "divided face area” refers to an area obtained by dividing the face area of the face.
  • the "skin condition” is at least one of a condition of spots (spots), a condition of eyelids, a condition of eyelids, a condition of eyelids, a condition of pores, a condition of water, an oil condition, a texture condition, and a blood color condition. Shall be included.
  • the “skin condition feature amount” is a value of a predetermined parameter indicating the feature of the skin condition.
  • the data is multivariate data composed of a plurality of values, such as the intensity of eyelid eye condition and the intensity of spot condition.
  • the intensity is, for example, the size of the difference from the average value of the skin color of the face area.
  • the skin condition feature may include a value related to the relative position of the face.
  • the "necessary skin correction area” is a divided face area where the skin condition has reached a predetermined level to which the skin correction makeup should be applied.
  • “Face makeup” refers to a method (type) of makeup to improve the aesthetics by correcting the impression of the features of the facial part, and includes at least the color, coating concentration, and application range of the cosmetic for skin. It shall be
  • Make-up for skin correction indicates a method (type) of make-up that partially corrects the condition of the skin to improve aesthetics, and includes at least the color, application concentration, and application range of the cosmetic for skin. It shall be
  • Skin care indicates the method (type) of the basic makeup for adjusting the condition of the skin, the type of basic cosmetic, the amount applied per application, the application range, the application frequency, the application frequency, the application time period, etc. Shall be included.
  • FIG. 2 is a block diagram showing an example of the configuration of the makeup assisting apparatus according to the present embodiment.
  • the makeup assisting apparatus is, for example, a touch panel terminal with a camera.
  • makeup assisting apparatus 100 includes a photographing unit 210, an image acquiring unit 220, a face part acquiring unit 230, a face makeup table storage unit 240, a face makeup selecting unit 250, a skin condition acquiring unit 260, and skin corrections.
  • a makeup table storage unit 270, a skin correction makeup selection unit 280, a makeup presentation unit 290, and a display unit 300 are included.
  • the imaging unit 210 is, for example, the above-described digital video camera, and captures an image of the face of the user of the makeup support apparatus 100. Then, the photographing unit 210 outputs the photographed video to the image acquisition unit 220.
  • the video is composed of a plurality of time-series images (frame images).
  • the image acquisition unit 220 sequentially acquires images constituting the video from the input video. Then, the image acquiring unit 220 outputs the acquired image to the face part acquiring unit 230, the skin condition acquiring unit 260, and the makeup presenting unit 290.
  • the face part acquisition unit 230 acquires the area of the face part of the face from the input image. Acquisition of the area of the face part is performed, for example, by matching each partial area of the image with a template image of each face part prepared in advance (see, for example, Patent Document 2). Then, the face part acquisition unit 230 outputs the acquired face part identification information and information indicating the area (hereinafter referred to as “face part information”) to the face makeup selection unit 250.
  • face part information information indicating the area
  • the face makeup table storage unit 240 stores a face makeup table.
  • the face makeup table is a table in which face part feature quantities that can be acquired from an image and face makeup that is appropriate for the face having the face part feature quantities are registered in advance in association with one another.
  • the face makeup table is periodically updated from a server on the Internet, for example, via a communication circuit (not shown) provided in the makeup assisting apparatus 100.
  • cosmetics information information on skin cosmetics necessary to apply the face makeup (hereinafter referred to as “cosmetics information”) is further registered in the face makeup table for each face makeup.
  • the face makeup selecting unit 250 acquires face part feature amounts of the face, refers to the face makeup table, and selects face makeup for each face part.
  • the face makeup selecting unit 250 may acquire the face part feature amount from the face part information input from the face part acquiring unit 230, or an image acquired by analyzing the image acquired by the image acquiring unit 220. It may be obtained from Then, the face makeup selecting unit 250 outputs information (hereinafter referred to as “face makeup information”) indicating the selected face makeup to the makeup presenting unit 290.
  • the face makeup selecting unit 250 determines which of the groups registered in the face makeup table the face part feature value acquired from the face belongs to, and makes the face makeup corresponding to the determined group. select. This determination is performed, for example, by calculating the distance between the acquired face part feature amount and the representative value (centroid) of each group.
  • the face makeup selection unit 250 also acquires cosmetic information of the acquired face makeup from the face makeup table. Then, the face makeup selecting unit 250 outputs the acquired cosmetic information to the makeup presenting unit 290 in association with the face makeup.
  • the skin condition acquisition unit 260 acquires the skin condition for each of the divided face areas of the face.
  • the skin condition is acquired, for example, by acquiring the skin area from the image based on the area of the face part acquired by the face part acquisition unit 230, and analyzing the acquired image of the skin area (for example, patent document 3).
  • the skin condition acquisition unit 260 detects the skin necessary correction region by digitizing the acquired skin condition of each divided face region and comparing the obtained numerical value with a value indicating the predetermined level. Then, the skin condition acquiring unit 260 outputs the detected skin correction area and information indicating the skin condition (hereinafter referred to as “skin condition information”) to the skin correction makeup selecting unit 280.
  • the skin correction makeup table storage unit 270 stores a skin correction makeup table.
  • the skin correction makeup table is a table in which a skin condition feature amount that can be acquired from an image and a skin correction feature that is appropriate for the skin portion having the skin condition feature amount are registered in advance.
  • the skin correction makeup table is periodically updated from a server on the Internet, for example, via a communication circuit (not shown) provided in makeup assisting apparatus 100.
  • the nearest neighbor method or the farthest neighbor method is applied to a sample of the skin condition feature value obtained from an unspecified number of skin portions on which makeup for skin correction has been performed by a makeup engineer in the past. It is assumed that known cluster analysis is performed by a method or the like. The samples of the skin condition feature amount are grouped and registered according to the cluster analysis result. In the skin correction makeup table, it is assumed that skin correction makeup performed in the past for the skin part to be a group is registered for each skin condition feature value group.
  • the skin correction makeup selection unit 280 acquires the skin condition feature value for the skin correction area in the divided face area. Then, the skin correction makeup selection unit 280 selects the skin correction makeup for each skin correction area with reference to the skin correction makeup table.
  • the skin correction feature selecting unit 280 may acquire the skin condition feature amount from the skin condition information input from the skin condition acquiring unit 260, or by analyzing the image acquired by the image acquiring unit 220. You may acquire from an image. Then, the skin correction makeup selection unit 280 outputs information indicating the selected skin correction makeup (hereinafter referred to as “skin correction makeup information”) to the makeup presentation unit 290.
  • the skin correction makeup selecting unit 280 determines which of the groups registered in the group skin correction makeup table the skin condition feature value acquired from the divided face area belongs to, and is determined to be the determined group. Select the corresponding makeup for skin correction. This determination is performed, for example, by calculating the distance between the acquired skin condition feature amount and the representative value (centroid) of each group.
  • the skin correction makeup selecting unit 280 acquires cosmetic information of the acquired skin correction makeup from the skin correction makeup table. Then, the skin correction makeup selection unit 280 outputs the acquired cosmetic information to the makeup presentation unit 290 in association with the skin correction makeup.
  • Makeup presenting unit 290 presents the selected facial makeup and skin correction makeup to the user in association with the corresponding facial part area and divided facial area. More specifically, makeup presenting section 290 generates a simulation image based on the input image, face makeup information, and skin correction makeup information, and outputs the generated simulation image to display section 300. .
  • the simulation image is an image obtained by superimposing an image obtained by applying the selected face makeup and skin correction makeup to the input (photographed) image.
  • the alpha value ( ⁇ ) is set to a value according to the concentration of makeup.
  • the alpha blending process is represented, for example, by the following formulas (1) to (3).
  • r 1 , g 1 and b 1 are RGB values of an arbitrary area of the photographed image
  • r 2 , g 2 and b 2 are RGB values of the corresponding area of the image of makeup.
  • R, G, B are RGB values of the corresponding region of the simulation image.
  • R r 1 ⁇ ⁇ + r 2 ⁇ (1- ⁇ ) (1)
  • G g 1 ⁇ ⁇ + g 2 ⁇ (1- ⁇ ) (2)
  • B b 1 ⁇ ⁇ + b 2 ⁇ (1- ⁇ ) (3)
  • the order in which the composition is applied to the face in a superimposed manner (hereinafter referred to as the "application order") is set for each of the makeups, and the image when the makeup is applied has a shaded image with a density according to the density. It is assumed that The application sequence defines, for example, that the application of teak should be after application of the foundation. In this case, the superposition of the images may be performed by overpainting the images of the respective makeup in the order according to the application order with respect to the photographed image.
  • the makeup presenting unit 290 generates a simulation image for each of the images constituting the video acquired from the image acquiring unit 220, using the facial makeup and the skin correction makeup that have been temporarily selected, and displays the display unit 300. Output to (display). That is, makeup presenting section 290 maintains and presents the makeup once selected for one image.
  • makeup presenting section 290 further presents information (cosmetics information) on skin cosmetics necessary for applying the selected facial makeup and skin correction makeup. More specifically, the makeup presenting unit 290 superimposes or adds an image or text indicating the input cosmetic information to the simulation image.
  • the display unit 300 is, for example, a display portion of a display with a touch panel, and displays (presents) the input simulation image and the cosmetic information to the user of the makeup assisting apparatus 100.
  • makeup assisting apparatus 100 has, for example, a CPU, a storage medium such as a ROM storing a control program, and a working memory such as a RAM.
  • a CPU central processing unit
  • storage medium such as a ROM storing a control program
  • working memory such as a RAM.
  • the functions of the above-described units are realized by the CPU executing a control program.
  • the makeup assisting apparatus 100 needs the makeup for skin correction for makeup selected based on the skin condition in addition to presenting the makeup for face in association with the corresponding area. It can be presented to the user in association with the area.
  • makeup assisting apparatus 100 can present a simulation image of makeup including appropriate makeup for skin correction. Therefore, makeup assisting apparatus 100 can appropriately assist makeup even for a face whose skin condition is not good.
  • the face makeup table is constituted of, for example, a face makeup ID table, a face makeup table, and a face cosmetic table.
  • FIG. 3 is a diagram showing an example of a face makeup ID table.
  • the face makeup ID table 410 describes, for example, a face makeup ID 412 for each group 411 of face part feature quantities.
  • face makeup ID is information that identifies one or more face makeup patterns to be performed on one face at a time.
  • a face part makeup ID “FM1” is associated with a group 411 of face part feature quantities “FG1”. Therefore, the face makeup selecting section 250 acquires the face part makeup ID 412 "FM1" when the face part feature acquired from the face belongs to the group 411 of the face part feature "FG1".
  • FIG. 4 is a diagram showing an example of a face makeup table.
  • the face makeup table 420 describes, for example, a corresponding makeup type 422 for each face part makeup ID 421.
  • the face part makeup ID 421 corresponds to the face makeup ID 412 of the face makeup ID table 410.
  • the makeup type 422 is illustrated in a simplified manner, but specifically, it is “foundation”, “eye shadow”, “lipstick”, “teak” or the like.
  • the face makeup table 420 describes a color 423, a density 424, a range 425, and a cosmetic ID 426 for each combination of the face part makeup ID 421 and the makeup type 422.
  • the color 423 is illustrated here in a simplified manner, and specifically, is the RGB value, the degree of gloss, and the like.
  • the density 424 is illustrated in a simplified manner here, specifically, it indicates the degree of transparency and gradation when superimposing on the image of the face.
  • the range 425 is illustrated in a simplified manner here, specifically, a relative coordinate group from the feature point, a pair of a relative position of the central point to the feature point, and a radius, and the like. That is, the set of color 423, density 424, and range 425 contains at least the information necessary for imaging.
  • the face makeup table 420 may further describe the application pattern of the skin cosmetic.
  • the coating pattern of the skin cosmetic is, for example, in the case of eye shadow, information indicating the relative range to the face part, such as an eye hole, an eye line, or under the eye.
  • makeup types 422 “T1” to “T4” are associated with makeup ID 421 “FM1”.
  • the color 423 “C1”, the density “D1”, the range “A1”, and “I1” Cosmetics ID 426 is associated. Therefore, when the acquired facial makeup ID 421 (412) is "FM1", the facial makeup selection section 250 faces “C1, D1, A1” in correspondence with the makeup type 422 “T1”. Acquire as makeup information for.
  • the face makeup selection unit 250 acquires a cosmetic ID 426 of “I1” when the acquired face makeup ID 412 (421) is “FM1”.
  • the face makeup selection unit 250 similarly acquires face makeup information and cosmetics ID 426 corresponding to the makeup types 422 “T2” to “T4”.
  • FIG. 5 is a view showing an example of a facial cosmetic table.
  • the face cosmetic table 430 describes a company ID 432 and a product number 433 for each cosmetic ID 431.
  • the cosmetic ID 431 corresponds to the cosmetic ID 426 of the face makeup table 420.
  • the company ID 432 is the name or identifier of a company that manufactures or sells skin cosmetics.
  • the product number 433 is a product number for skin cosmetics.
  • the cosmetic ID 431 of “I1” is associated with a company ID 432 of “B1” and a product number 433 of “b11”. Therefore, when the acquired cosmetic ID 431 (426) is "I1", the facial makeup selection unit 250 acquires the company ID 432 "B1” and the part number 433 "b11" as cosmetic information on the facial makeup. .
  • the face makeup ID table 410, the face makeup table 420, and the face cosmetic table 430 shown in FIGS. 3 to 5 may be integrated into one table.
  • the skin correction makeup table includes, for example, a skin correction makeup ID table, a skin correction makeup table, and a skin correction cosmetic table.
  • FIG. 6 is a diagram showing an example of a skin correction makeup ID table.
  • the skin correction makeup ID table 460 for example, a skin correction makeup ID 462 is described for each skin condition feature group 461.
  • the “skin correction makeup ID” is information for identifying one or more skin correction makeup patterns to be performed on one divided face area at a time.
  • a skin correction feature ID group “SM2” is associated with a skin condition feature group 461 “SG2”. Therefore, when the skin condition feature acquired from the divided face area belongs to the group 461 of the skin condition feature "SG2," the skin correction makeup selecting unit 250 acquires the skin correction makeup ID 462 "SM2". Do.
  • FIG. 7 is a view showing an example of the skin correction make table.
  • the skin correction makeup table 470 describes, for example, a corresponding makeup type 472 for each skin correction makeup ID 471.
  • the skin correction makeup ID 471 corresponds to the skin correction makeup ID 462 of the skin correction makeup ID table 460.
  • the skin correction makeup table 470 describes a color 473, a density 474, a range 475, and a cosmetics ID 476 for each combination of the skin correction makeup ID 471 and the makeup type 472.
  • the makeup type 472 "T6” is associated with the makeup ID 471 "SM2". Further, for example, for the combination of the makeup ID 471 “SM2” and the makeup type 472 “T6", the color 473 "C4", the density “D3", the range “A5", and "I5" Cosmetics ID 476 is associated. Therefore, when the acquired skin correction makeup ID 471 (462) is “SM2”, the skin correction makeup selection unit 250 selects “C4, D3, A5” corresponding to the makeup type 472 “T6”. Acquired as makeup information for skin correction.
  • the skin correction makeup selection unit 250 acquires a cosmetic ID 476 of “I5”.
  • FIG. 8 is a diagram showing an example of a skin correction cosmetic table.
  • the skin correction cosmetic table 480 describes a company ID 482 and a product number 483 for each cosmetic ID 481.
  • the cosmetic ID 481 corresponds to the cosmetic ID 476 of the skin correction makeup table 470.
  • a company ID 482 "B3” and a product number 483 “b32” are associated with a cosmetic ID 481 "I5". Therefore, when the acquired cosmetic ID 481 (476) is "I5", the skin correction makeup selection unit 250 selects the company ID 482 "B3” and the part number 483 "b32" as cosmetic information of the skin correction makeup. get.
  • the skin correction makeup ID table 460, the skin correction makeup table 470, and the skin correction cosmetic table 480 shown in FIGS. 6 to 8 may be integrated into one table.
  • the face cosmetic table 430 shown in FIG. 5 and the skin correction cosmetic table 480 shown in FIG. 8 may be integrated into one table.
  • the same cosmetics such as a foundation
  • the makeup may be used between the makeup for face and the makeup for skin correction.
  • the makeup itself can be identical between the facial makeup and the skin correction makeup.
  • FIG. 9 is a flowchart showing an example of the operation of makeup assisting apparatus 100.
  • step S1100 the photographing unit 210 photographs the face of the user, and the image acquisition unit 220 acquires an image constituting the photographed video.
  • FIG. 10 is a view showing an example of an image acquired in step S1100 of FIG.
  • the image 510 includes an image 511 of the face of the user (hereinafter referred to as a “face image”).
  • face image an image 511 of the face of the user
  • the user is not in makeup, and as shown in FIG. 10, for example, it is assumed that the user has eyelids 512 and 513 under both eyes and has a stain 514 on his forehead.
  • the face part acquisition unit 230 acquires a face part from the image 510.
  • the face part acquisition unit 230 extracts feature points (of face parts) of the face from the image 510 by analyzing the image 510, for example.
  • the face part acquisition unit 230 acquires an area formed by feature points constituting the same face part as an area of the face part.
  • the face part acquisition unit 230 generates face part information from the acquired area of the face part.
  • FIG. 11 is a view showing an example of the arrangement of face feature points extracted in step S1200 of FIG.
  • the face part acquisition unit 230 acquires the area 525 surrounded by the first to fourth feature points 521 to 524 as the right eye area.
  • FIG. 12 is a diagram showing an example of face part information generated in step S1200 of FIG.
  • the face part information 530 describes, for example, an area 532 and a person ID 533 for each face part ID 531.
  • the face part ID 531 is identification information of face parts such as the left eye and the upper lip.
  • the area 532 is information indicating the range of the area of the face part in the image, and is, for example, a coordinate value list of a coordinate system set on the image.
  • the person ID 533 is identification information of a person. For example, every time shooting is started, the person ID 533 is set to a value designated by the user via an operation on the touch panel display.
  • the face makeup selecting unit 250 acquires face part feature amounts, and selects face makeup.
  • the facial part feature amount is multivariate data on predetermined parameters indicating facial features.
  • the face makeup selecting unit 250 acquires the face part feature amount from, for example, the image 510 (see FIG. 10), the face feature point group (see FIG. 11), or the face part information (see FIG. 12). .
  • the face makeup selecting unit 250 obtains face makeup information and cosmetics information corresponding to the acquired face part feature amount from the face makeup table (see FIGS. 3 to 5).
  • step S1400 skin condition acquisition unit 260 acquires the skin condition for each divided face area.
  • the skin condition acquisition unit 260 divides the face area into a large number of divided face areas by, for example, a line connecting feature points of the face (see FIG. 11) extracted by the face part acquisition unit 230.
  • the skin condition acquisition unit 260 analyzes the image for each divided face area to determine whether it is a skin necessary correction area.
  • the condition as to whether or not it is a makeup area for skin correction includes, for example, a part indicating a difference between the average value of the skin color of the face area and a value higher than a predetermined threshold, and the condition for the face area The ratio of the area of the part is equal to or greater than a predetermined threshold.
  • the skin condition acquisition unit 260 generates skin condition information for each skin necessary correction area.
  • the skin condition acquiring unit 260 may treat the continuous skin need correction area as one skin correction required area.
  • FIG. 13 is a diagram showing an example of skin condition information generated in step S1400 of FIG.
  • the skin condition information 540 describes, for example, an area 542, a color difference 543, an area ratio 544, and a person ID 545 for each area ID 541.
  • the area ID 541 is identification information of the skin necessary area.
  • the area 542 is information indicating the range of the skin necessary correction area in the image, and is, for example, a coordinate value list of a coordinate system set on the image.
  • the color difference 543 is, for example, the difference between the color of the skin area of the face area and the average value of the skin area of the face area in a part greatly different from the skin area of the face area. Are RGB values, HSV values, etc.
  • the area ratio 544 is illustrated here in a simplified manner, specifically, the area ratio is the ratio of the area of the part where the color is largely different from the skin color of the face area to the face area.
  • the person ID 545 is identification information of a person, and corresponds to the person ID 533 (see FIG. 12) of the face part information 530.
  • the skin correction makeup selection unit 280 acquires the skin condition feature amount, and selects the skin correction makeup.
  • the skin condition feature amount is multivariate data on a predetermined parameter indicating the feature of the skin condition, as described above.
  • the skin correction makeup selection unit 280 acquires a skin condition feature amount from, for example, skin condition information (see FIG. 13).
  • the skin correction makeup selecting unit 280 acquires skin correction makeup information and cosmetics information corresponding to the acquired skin condition feature amount from the skin correction makeup table (see FIGS. 6 to 8).
  • step S1600 makeup presenting section 290 generates a simulation image based on face makeup information and skin correction makeup information, and causes display section 300 to display the simulation image.
  • makeup presenting section 290 also causes display section 300 to display the cosmetic information.
  • FIG. 14 is a diagram showing an example of a simulation image generated in step S1600 of FIG.
  • the simulation image 550 is an image in which images 551 to 555 of facial makeup such as eyebrows, eyeshadows, eyeliners, cheeks, and lipsticks are superimposed on a facial image 511.
  • the simulation image 550 is an image in which images 556 and 557 for skin correction makeup, such as a stain concealer and an eyelid concealer, are superimposed on the face image 511.
  • images 556 and 557 for skin correction makeup such as a stain concealer and an eyelid concealer
  • the simulation image 550 displays a state in which both the appropriate skin correction makeup and the appropriate facial makeup are virtually applied.
  • an information display area 558 indicating cosmetic information is added to the simulation image 550. That is, in the simulation image 550, cosmetic information of the skin cosmetic necessary for applying the selected facial makeup and skin correction makeup is also displayed. If the user likes the makeup indicated by the displayed simulation image 550, the user can obtain necessary skin cosmetics based on the displayed cosmetic information, and can easily perform actual makeup. .
  • step S1700 the image acquisition unit 220 determines whether or not the video input is continuing. If the image acquisition unit 220 continues the input of the video (S1700: YES), the process returns to step S1100, and shifts the process to the next image. Further, when the input of the video is completed (S1700: NO), the image acquisition unit 220 ends the series of processing.
  • makeup assisting apparatus 100 can follow the image and present both the facial makeup and the skin correction makeup to the user in association with the corresponding area. Therefore, the user can confirm the effect of the makeup while changing the direction and expression of the face, and experience as if looking at the state in which the makeup was actually performed in the mirror. Can.
  • makeup assisting apparatus 100 requires the makeup for skin correction based on the skin condition, in addition to presenting makeup for face in association with the corresponding area. Can be presented in association with a specific area. Thereby, makeup assisting apparatus 100 can appropriately assist makeup even for a face whose skin condition is not good.
  • skin care refers to the action taken to improve the skin condition, for example, how to take care of the skin to improve the skin condition, and improve the skin condition from inside the body (improve the inner beauty ) Including action.
  • the former for example, application of lotion, massage and the like can be mentioned.
  • the latter includes, for example, intake of supplements, intake of natural food, exercise such as yoga, and the like.
  • makeup assisting apparatus 100 further selects skin care for each face based on the skin condition in skin correction makeup selecting section 280, and makes this selected skin care correspond to the face in makeup presenting section 290. And may be presented further. However, in this case, it is necessary to comprehensively analyze the skin condition of the entire face and select appropriate skin care. That is, skin condition information for skin care selection may be different from the skin condition information for skin correction makeup selection described above.
  • makeup assisting apparatus 100 may perform selection and presentation of skin care for each face part or divided face area. In this case, it is desirable that makeup assisting apparatus 100 present skin care in association with the corresponding area.
  • makeup assisting apparatus 100 may be connected to a skin care device such as a steamer or a facial care device, and the makeup presenting unit 290 may present the user with device information such as how to use the skin care device.
  • the makeup presenting unit 290 may communicate with the connected device to acquire device information from the device, or acquire only identification information from the device and acquire corresponding device information from the Internet. You may
  • the makeup presentation unit 290 may present the usage method of the skin care device with contents different for each user based on the skin condition of the user.
  • FIG. 15 is a diagram showing an example of skin condition information to be acquired by the skin condition acquisition unit 260 for skin care selection.
  • skin condition information 560 for skin care selection describes, for example, color 562, position 563, shape 564, number 565, area 566, conductivity 567, and reflectance 568 for each skin item 561. doing.
  • the skin item 561 indicates the type of skin condition where skin care is required, such as spots and dullness.
  • the color 562 is, for example, an RGB value or an HSV value. This may be an absolute value or, as described above, may be a difference with respect to the average value of skin color of the entire face.
  • the position 563 is information indicating the range of the area corresponding to the skin item 561 in the image, and is a coordinate value list of the coordinate system set on the image.
  • the coordinate system may be a list of relative coordinate values from the feature points of the face described above.
  • the shape is information indicating the shape of the range of the region corresponding to the skin item 561 and is, for example, radius (long axis diameter and short axis diameter), length, number of branches, depth, or the like.
  • the number 565 is, for example, the number (number) of individual regions corresponding to the skin item 561.
  • the area 566 is, for example, the area [mm 2 ] of the area corresponding to the skin item 561 or the area ratio [%] of the area to a designated range (for example, a face area).
  • the conductivity 567 is, for example, the impedance [ ⁇ ] or the amount of transpiration from the skin [mg / sec].
  • the reflectance 568 is, for example, the reflectance [%] of light.
  • the skin correction makeup selection unit 280 acquires, for example, the feature amount of the skin condition of the entire face from the skin condition information 560 for skin care selection.
  • makeup assisting apparatus 100 stores, for example, as a component of skin condition information 560 for skin care selection, a table in which skin condition feature amounts of the entire face that can be acquired and skin care are associated in advance and registered. There is. Then, the skin correction makeup selecting unit 280 refers to the table to acquire skin care corresponding to the acquired feature amount, and outputs information indicating the skin care to the makeup presenting unit 290.
  • the makeup presenting unit 290 causes the display unit 300 to display information indicating the skin care together with or separately from the simulation image.
  • makeup assisting apparatus 100 can comprehensively assist makeup from the skin care stage by further presenting appropriate skin care to the user.
  • makeup assisting apparatus 100 may also present information indicating the detected skin condition.
  • makeup assisting apparatus 100 sets an average skin condition of a person to 50, a very bad skin condition to 0, a very good skin condition to 100, and each detectable skin condition in a range of 0 to 100. Allocate within. Then, makeup assisting apparatus 100 presents the value corresponding to the skin condition in this allocation to the user, together with the fact that the range of the value indicating the skin condition is 0-100. Thereby, the user can intuitively grasp the quality of his / her own skin care according to how much the presented value is away from 50 in the upper and lower direction.
  • makeup assisting apparatus 100 selects one makeup from the facial part feature quantity and the skin condition feature quantity
  • the present invention is not limited to this.
  • makeup assisting apparatus 100 may present a plurality of makeups as options, and set the selected makeup as a target of presentation by makeup presenting section 290.
  • makeup assisting apparatus 100 causes face makeup selecting section 250 to select a plurality of face makeups, and causes display unit 300 to display identification information of the selected plurality of face makeups. Then, makeup assisting apparatus 100 outputs face makeup information of face makeup selected by the user through an operation on the touch panel display, etc., from face makeup selecting section 250 to makeup presenting section 290.
  • makeup assisting apparatus 100 presents, for example, face makeup with priorities 1 to 3 in the face makeup selection unit 250 as options. This allows the user to select facial makeup that matches the trend.
  • makeup assisting apparatus 100 receives from the user switching of the makeup to be presented at an arbitrary timing.
  • the user can quickly determine a suitable makeup that meets the user's preferences from among a plurality of makeups.
  • makeup assisting apparatus 100 may select makeup to be presented based on parameters other than the facial part feature amount and the skin condition feature amount. For example, makeup assisting apparatus 100 may preferentially select makeup having a high external rating, such as ratings of an unspecified number of users on the Internet.
  • makeup assisting apparatus 100 may select makeup in consideration of human attributes. For example, makeup assisting apparatus 100 preferentially applies the makeup applied to the person whose age group and residence area coincide with the user among the makeup of makeup applied by the makeup engineer in the past. select. In this case, it is necessary to set information on attributes of people such as person ID, occupation, age, etc. for the makeup registered in the face makeup table and the skin correction makeup table, and the image to be photographed. . This makes it possible to preferentially present more appropriate makeup when the appropriate makeup differs depending on the attribute of a person.
  • makeup assisting apparatus 100 may associate, with the cosmetic information to be displayed, link information to a web site where skin cosmetic can be purchased.
  • makeup assisting apparatus 100 can display the corresponding web site via the Internet, and can assist makeup more effectively.
  • sales of cosmetics can be promoted.
  • makeup assisting apparatus 100 may generate and display a simulation image of a face in the middle of makeup instead of a simulation image of a face after all the makeup has been performed. Further, as described above, when the application order is set for each makeup as described above, the makeup support apparatus 100 may sequentially generate and display simulation images of faces in the middle of makeup according to the application order. Thereby, makeup assisting apparatus 100 can present the user with an order of appropriate makeup.
  • makeup assisting apparatus 100 may present the correspondence with the selected makeup area, and the color and density of the selected makeup by text.
  • This text for example, "Please apply a thick teak of B1 company's part number b55 to a range of about 4 cm in diameter centered on the highest position of both cheek bones," “1 cm wide below both eyes” Apply the Concealer No. 78 of B2 company lightly to the range. "
  • makeup assisting apparatus 100 may present face makeup and skin correction makeup by a method other than the simulation image.
  • makeup assisting apparatus 100 is connected to a printer for transferring a cosmetic agent for skin cosmetics to a predetermined thin film (paper-like medium).
  • the thin film easily carries the transferred cosmetic agent. For this reason, the cosmetic on the thin film is easily transferred to the skin by being pressed against the skin.
  • makeup assisting apparatus 100 sets, in makeup presenting section 290, the same shape and area as the area in the real space of the photographed face, and transfers the facial makeup and the skin correction makeup to the corresponding areas. Instruct the printer to do so.
  • the thin film may be planar or three-dimensional.
  • makeup assisting apparatus 100 can present the user with facial makeup and skin correction makeup on the thin film in association with the corresponding areas.
  • the user actually makes the selected makeup based on the simulation image by pressing the entire thin film against the face with the points indicating the left and right eyes printed on the thin film aligned with the left and right eyes of the user. be able to. That is, the user can easily and quickly make a desired makeup without applying a cosmetic agent for each face part.
  • the face makeup table and the skin correction makeup table may not necessarily be stored in the makeup support apparatus 100.
  • makeup assisting apparatus 100 accesses a server on the network where the table is stored, and selects makeup for face and skin correction. Good.
  • makeup assisting apparatus 100 arranges, for example, only photographing unit 210 and display unit 300 among the functional units shown in FIG. 2 on a terminal possessed by the user, and arranges other apparatus units on a server on the network.
  • a server For example, it may be a distributed system.
  • the skin condition acquisition unit 260 is not based on an image, but sensor information of a sensor device that detects the skin condition by contacting the skin, and a sensor of a non-contact sensor device that acquires skin information without contacting the skin. Skin information may be acquired from information (for example, temperature information on the skin surface, etc.). In addition, the skin information acquisition unit 260 may acquire the skin condition from the information input by the operation of the user on the touch panel display or the like.
  • the skin condition acquisition unit 260 may acquire skin condition information from an image other than an image used for a simulation image, such as an image when ultraviolet light is applied to a face.
  • the skin condition acquiring unit 260 may detect external light and acquire facial part feature amounts and skin condition characteristic amounts in a state where the influence of the external light is reduced from the image.
  • face makeup to be presented includes mascara, lip gloss, and the like.
  • the skin correction makeup to be presented includes highlights and the like.
  • the makeup assisting apparatus of the present disclosure includes: an image acquiring unit acquiring an image obtained by photographing a face; a face part acquiring unit acquiring an area of the face part of the face from the image; A face makeup selection unit for selecting face makeup that is a makeup method, a skin condition acquisition unit for acquiring the skin condition of the face, and a skin that is a makeup method for skin correction based on the skin condition A skin correction makeup selecting unit for selecting skin care that is a method of correction makeup / basic makeup, and presenting the selected face makeup to the user in association with the corresponding area of the face part, And a makeup presenting unit for presenting the selected skin-correcting makeup / the skin care.
  • the skin condition acquiring unit acquires a skin condition for each of the divided face regions obtained by dividing the face region of the face, and the skin correction makeup selecting unit selects the divided face regions.
  • the makeup for skin correction is selected for each of the divided face areas on the basis of the skin condition acquired in step b.
  • the makeup presentation unit associates the makeup for skin correction with the corresponding divided face area. May be presented.
  • the makeup presenting unit is configured to apply the face makeup and the skin correction makeup to the face in the image, the face makeup and the skin correction makeup.
  • a simulation image obtained by superimposing an image indicating a state may be generated, and the generated simulation image may be presented.
  • the skin condition acquiring unit detects a skin necessary correction area, which is the divided face area where the skin condition has reached a predetermined level to which the skin correction makeup should be applied.
  • the skin correction makeup selecting unit may set the skin correction area as a target of selection of the skin correction makeup.
  • the makeup assisting apparatus further includes an imaging unit configured to capture an image of the face of the user, and a display unit configured to display the simulation image to the user, the image acquisition unit including the image Acquiring an image constituting the image, the makeup presenting unit sequentially maintaining, for each of the images constituting the image, the makeup for face and the makeup for skin correction temporarily selected for the image while maintaining the makeup for the face and the skin;
  • the simulation image may be generated and displayed on the display unit.
  • the face makeup selecting unit acquires the face part feature quantity of the face, and the face makeup in which the acquired face part feature quantity and face makeup are associated in advance and registered.
  • the face makeup is selected with reference to a table
  • the skin correction makeup selection unit acquires a skin feature amount for each of the divided face areas, and the skin feature amount that can be acquired and the skin correction makeup are obtained in advance.
  • the face makeup may be selected with reference to the skin correction makeup table registered in association with each other.
  • the skin condition may be a spot (plaque) state, a haze state, a dull state, a haze state, a pore state, a moisture state, an oil content state, a texture state, and It may include at least one of the reddish states.
  • the makeup for face and the makeup for skin correction include at least a color, an application density, and an application range of a cosmetic for skin, and the makeup presenting unit is for the selected face. Further information on makeup and cosmetics needed to apply said skin-correcting makeup may be presented.
  • makeup assisting apparatus 100 may newly include an illumination unit that illuminates a face to be photographed. It is desirable that the illumination unit has a light control function and can reproduce ambient light (fluorescent light, candle light, illumination of a bar, natural light, etc. of an office) desired by the user according to the user's instruction. Thereby, makeup assisting apparatus 100 enables the user to perform makeup simulation while confirming the appearance of makeup under the actually desired ambient light.
  • illumination unit has a light control function and can reproduce ambient light (fluorescent light, candle light, illumination of a bar, natural light, etc. of an office) desired by the user according to the user's instruction.
  • the makeup assisting method of the present disclosure includes a step of acquiring an image obtained by photographing a face, a step of acquiring an area of a face part from the image, and a face makeup method which is a face makeup method for each face part.
  • the makeup support program includes a process of obtaining an image of a face, a process of obtaining an area of a face part from the image, and a face makeup process for each face part. Based on the process of selecting a certain makeup for face, the process of acquiring the skin condition of the face, and the skin condition which is a way of makeup for skin correction / basic makeup which is a way of makeup for skin correction based on the skin condition. A process of selecting and a process of presenting the selected facial makeup to the user in association with the corresponding area of the facial part, and presenting the selected skin correction makeup / the skin care; Run
  • the present invention is useful as a makeup support device, a makeup support method, and a makeup support program that can appropriately assist makeup even for faces whose skin condition is not good.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　肌状態が良好でない顔についてもメイクアップの支援を適切に行うこと。メイクアップ支援装置１００は、顔を撮影した画像を取得する画像取得部２２０と、画像から、顔の顔部品の領域を取得する顔部品取得部２３０と、顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部２５０と、顔の肌状態を取得する肌状態取得部２６０と、肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部２８０と、ユーザに対して、選択された顔用メイクを対応する顔部品の領域に対応付けて提示すると共に、選択された肌補正用メイク／スキンケアを提示するメイク提示部２９０と、を有する。

Description

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
　本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
　近年、顔のメイクアップの仕方（以下、単に「メイク」という）の多様化が進んでいる。どのようなメイクが適切であるかは、流行やメイクアップを行う人の好みだけなく、メイクアップの対象となる顔の顔部品（目、眉、鼻、頬骨、唇、輪郭等）の大きさ、形状および配置などに応じて異なる。
　したがって、適切なメイクを選択することは、特にメイクについての十分な知識を有さない人にとって、困難となってきている。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。
　そこで、メイクアップが行われたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術（以下「従来技術」という）は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像を取得する。また、従来技術は、取得した画像に対して、口紅やチーク（頬紅）等を顔に施したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成する。そして、従来技術は、生成したシミュレーション画像を、表示装置に表示させる。このような、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップを、以下では、「顔用メイクアップ」という。
　かかる従来技術では、実際にメイクアップを行うことなく、メイクの良し悪しを判断し、より少ない時間および手間で適切なメイクを選択することが可能となる。
特開２００１－３４６６２７号公報 特開２００３－４４８３７号公報 特開２００７－１３３５１８号公報
　ところで、メイクアップには、上述の顔用メイクアップの他、目の下の隈を隠すためのコンシーラ等がある。このような、肌の状態を部分的に補正して審美性の向上を図るメイクアップを、以下では、「肌補正用メイクアップ」という。また、顔に対して行う化粧には、メイクアップの他、いわゆる基礎化粧がある。基礎化粧は、化粧水や美容液等の塗布等により、肌に対して手入れを行うことである。
　顔の印象は、顔用メイクアップの仕方（以下「顔用メイク」という）だけでなく、肌補正用メイクアップの仕方（以下「肌補正用メイク」という）や基礎化粧の仕方（以下、「スキンケア」という）によっても異なる。また、顔用メイクの効果は、肌補正用メイクやスキンケアによって異なる場合が多い。例えば、目の下の隈がコンシーラによって隠れている場合には、顔の印象は若くなるため、若者向けのメイクがより映えるようになる。また、適切なスキンケアが行われずに肌状態が良好でない場合には、化粧の乗りが悪くなるため、実際のメイクがシミュレーション画像と大きく異なったものに成り得る。
　したがって、肌状態に対して、不適切な肌補正用メイクまたはスキンケアが行われている場合、あるいは、必要な肌補正用メイクまたはスキンケアが行われていない場合、ユーザは、顔用メイクの適不適についての判断を誤ってしまうことがある。多くのユーザは、顔の各部分の肌状態を十分に把握しておらず、肌補正用メイクおよびスキンケアについての十分な知識を有していない。また、従来技術では、肌状態を考慮していない。
　本発明の目的は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができるメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。
　本発明のメイクアップ支援装置は、顔を撮影した画像を取得する画像取得部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、前記顔の肌状態を取得する肌状態取得部と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するメイク提示部と、を有する。
　本発明のメイクアップ支援方法は、顔を撮影した画像を取得するステップと、前記画像から、顔部品の領域を取得するステップと、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、前記顔の肌状態を取得するステップと、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択するステップと、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するステップと、を有する。
　本発明のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像を取得する処理と、前記画像から、顔部品の領域を取得する処理と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、前記顔の肌状態を取得する処理と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する処理と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示する処理と、を実行させる。
　本発明によれば、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における顔用メイクＩＤテーブルの一例を示す図 実施の形態２における顔用メイクテーブルの一例を示す図 実施の形態２における顔用化粧品テーブルの一例を示す図 実施の形態２における肌補正用メイクＩＤテーブルの一例を示す図 実施の形態２における肌補正用メイクテーブルの一例を示す図 実施の形態２における肌補正用化粧品テーブルの一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２における画像の一例を示す図 実施の形態２における顔の特徴点の配置の一例を示す図 実施の形態２における顔部品情報の一例を示す図 実施の形態２における肌状態情報の一例を示す図 実施の形態２におけるシミュレーション画像の一例を示す図 実施の形態２におけるスキンケア選択用の肌状態情報の一例を示す図
　以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　本発明の実施の形態１は、本発明の基本的態様の一例である。
　図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図１において、メイクアップ支援装置１００は、画像取得部２２０、顔部品取得部２３０、顔用メイク選択部２５０、肌状態取得部２６０、肌補正用メイク選択部２８０、およびメイク提示部２９０を有する。
　画像取得部２２０は、顔を撮影した画像を取得する。
　顔部品取得部２３０は、撮影された画像から、顔の顔部品の領域を取得する。
　顔用メイク選択部２５０は、顔部品毎に、顔用メイクを選択する。ここで、顔用メイクとは、顔用メイクアップの仕方（種類）である。
　肌状態取得部２６０は、顔の肌状態を取得する。
　肌補正用メイク選択部２８０は、取得された肌状態に基づいて、肌補正用メイク／スキンケアを選択する。すなわち、肌補正用メイク選択部２８０は、肌補正用メイクおよびスキンケアの少なくとも一方について、肌状態に基づいた選択を行う。ここで、肌補正用メイクとは、肌補正用メイクアップの仕方（種類）である。また、スキンケアとは、基礎化粧の仕方（種類）である。
　メイク提示部２９０は、ユーザに対して、選択された顔用メイクを対応する顔部品の領域に対応付けて提示すると共に、選択された肌補正用メイク／スキンケアを提示する。
　メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、ユーザに対して、顔用メイクを対応する領域に対応付けて提示するだけでなく、肌状態に基づいて選択された肌補正用メイク／スキンケアを提示することができる。すなわち、メイクアップ支援装置１００は、適切な肌補正用メイク／スキンケアを、適切な顔用メイクのシミュレーション画像と併せて提示することができる。したがって、メイクアップ支援装置１００は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
　（実施の形態２）
　本発明の実施の形態２は、本発明の具体的態様の一例であり、本発明を、デジタルビデオカメラとタッチパネル付きディスプレイとを同一面側に備えた装置に適用した例である。
　＜用語の説明＞
　まず、本実施の形態において用いられる用語について説明する。
　「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔の印象を特徴付ける部分を指すものとする。
　「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。
　「顔部品特徴量」とは、顔の特徴を示す所定のパラメータの値である。ここでは、顔の幅に対する顔の長さの比、両目の間隔に対する鼻の長さの比、および、顔の幅に対する目の幅の比等の、複数の値から成る多変量データであるものとする。
　「分割顔領域」とは、顔の顔領域を分割した領域を指すものとする。
　「肌状態」とは、しみ（斑）の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも１つを含むものとする。
　「肌状態特徴量」とは、肌状態の特徴を示す所定のパラメータの値である。ここでは、目の隈の状態の強度、および、しみの状態の強度等の、複数の値から成る多変量データであるものとする。ここで、強度とは、例えば、顔領域の肌の色の平均値との差分の大きさである。なお、肌状態特徴量は、顔における相対位置に関する値を含んでもよい。
　「要肌補正領域」とは、肌状態が肌補正用メイクを適用すべき所定のレベルに達している分割顔領域であるものとする。
　「顔用メイク」とは、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。
　「肌補正用メイク」は、肌の状態を部分的に補正して審美性の向上を図るメイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。
　「スキンケア」は、肌の状態を整えるための基礎化粧の仕方（種類）を示し、基礎化粧品の種類、１回当たりの塗布量、塗布範囲、塗布頻度、塗布する時間帯、塗布の仕方等を含むものとする。
　＜メイクアップ支援装置の構成＞
　次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
　図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。メイクアップ支援装置は、例えば、カメラ付きタッチパネル端末である。
　図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、顔部品取得部２３０、顔用メイクテーブル格納部２４０、顔用メイク選択部２５０、肌状態取得部２６０、肌補正用メイクテーブル格納部２７０、肌補正用メイク選択部２８０、メイク提示部２９０、および表示部３００を有する。
　撮影部２１０は、例えば上述のデジタルビデオカメラであり、メイクアップ支援装置１００のユーザの顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。
　画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像を、顔部品取得部２３０、肌状態取得部２６０、およびメイク提示部２９０へ出力する。
　顔部品取得部２３０は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、顔部品取得部２３０は、取得した顔部品の識別情報および領域を示す情報（以下「顔部品情報」という）を、顔用メイク選択部２５０へ出力する。
　顔用メイクテーブル格納部２４０は、顔用メイクテーブルを格納している。顔用メイクテーブルは、画像から取得され得る顔部品特徴量と、その顔部品特徴量を有する顔に適切な顔用メイクとを、予め対応付けて登録したテーブルである。顔用メイクテーブルは、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新される。
　本実施の形態では、予め、過去にメイクアップ技術者によって顔用メイクが行われた不特定多数の顔の顔用特徴量のサンプルに対して、主成分分析が行われているものとする。そして、主成分分析結果は、主成分値が1σ以上であるか否か等を判定基準とする公知の主成分層別法により、予めグルーピングされているものとする。そして、顔用メイクテーブルには、顔用特徴量のグループ毎に、そのグループに属する顔に対して過去に行われた顔用メイクが、登録されているものとする。
　また、顔用メイクテーブルには、顔用メイク毎に、その顔用メイクを適用するのに必要な肌用化粧品に関する情報（以下「化粧品情報」という）が、更に登録されているものとする。
　顔用メイク選択部２５０は、顔の顔部品特徴量を取得し、顔用メイクテーブルを参照して、顔部品毎に、顔用メイクを選択する。なお、顔用メイク選択部２５０は、顔部品特徴量を、顔部品取得部２３０から入力された顔部品情報から取得してもよいし、画像取得部２２０が取得した画像を解析することにより画像から取得してもよい。そして、顔用メイク選択部２５０は、選択した顔用メイクを示す情報（以下「顔用メイク情報」という）を、メイク提示部２９０へ出力する。
　なお、上述の通り、顔用メイクテーブルには、顔用特徴量のグループ毎に、顔用メイクが登録されている。したがって、顔用メイク選択部２５０は、顔から取得された顔部品特徴量が、顔用メイクテーブルに登録されたグループのいずれに属するかを判定し、判定されたグループに対応する顔用メイクを選択する。この判定は、例えば、取得された顔部品特徴量と各グループの代表値（セントロイド）との距離を算出することにより行われる。
　また、顔用メイク選択部２５０は、顔用メイクテーブルから、取得した顔用メイクの化粧品情報を取得する。そして、顔用メイク選択部２５０は、取得した化粧品情報を、顔用メイクと対応付けて、メイク提示部２９０へ出力する。
　肌状態取得部２６０は、顔の分割顔領域毎に、肌状態を取得する。肌状態の取得は、例えば、顔部品取得部２３０が取得した顔部品の領域に基づいて、画像から肌領域を取得し、取得した肌領域の画像を解析することにより行われる（例えば、特許文献３参照）。肌状態取得部２６０は、取得した各分割顔領域の肌状態を数値化し、得られた数値を上記所定のレベルを示す値と比較することにより、要肌補正領域を検出する。そして、肌状態取得部２６０は、検出した要肌補正領域およびその肌状態を示す情報（以下「肌状態情報」という）を、肌補正用メイク選択部２８０へ出力する。
　肌補正用メイクテーブル格納部２７０は、肌補正用メイクテーブルを格納している。肌補正用メイクテーブルは、画像から取得され得る肌状態特徴量と、その肌状態特徴量を有する肌部分に適切な肌補正用メイクとを予め対応付けて登録したテーブルである。肌補正用メイクテーブルは、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新される。
　本実施の形態では、予め、過去にメイクアップ技術者によって肌補正用メイクが行われた不特定多数の肌部分から得られた肌状態特徴量のサンプルに対して、最近隣法あるいは最遠隣法等による公知のクラスタ分析が行われているものとする。そして、肌状態特徴量のサンプルは、クラスタ分析結果により、グルーピングされて登録されているものとする。そして、肌補正用メイクテーブルには、肌状態特徴量のグループ毎に、そのグループにする肌部分に対して過去に行われた肌補正用メイクが、登録されているものとする。
　また、肌補正用メイクテーブルには、肌補正用メイク毎に、その肌補正用メイクを適用するのに必要な肌用化粧品の化粧品情報が、更に登録されているものとする。
　肌補正用メイク選択部２８０は、分割顔領域のうち要肌補正領域を対象として、その肌状態特徴量を取得する。そして、肌補正用メイク選択部２８０は、肌補正用メイクテーブルを参照して、要肌補正領域毎に、肌補正用メイクを選択する。なお、肌補正用メイク選択部２８０は、肌状態特徴量を、肌状態取得部２６０から入力された肌状態情報から取得してもよいし、画像取得部２２０が取得した画像を解析することにより画像から取得してもよい。そして、肌補正用メイク選択部２８０は、選択した肌補正用メイクを示す情報（以下「肌補正用メイク情報」という）を、メイク提示部２９０へ出力する。
　なお、上述の通り、肌補正用メイクテーブルには、肌状態特徴量のグループ毎に、肌補正用メイクが登録されている。したがって、肌補正用メイク選択部２８０は、分割顔領域から取得された肌状態特徴量が、グループ肌補正用メイクテーブルに登録されたグループのうちいずれに属するかを判定し、判定されたグループに対応する肌補正用メイクを、選択する。この判定は、例えば、取得された肌状態特徴量と各グループの代表値（セントロイド）との距離を算出することにより行われる。
　また、肌補正用メイク選択部２８０は、肌補正用メイクテーブルから、取得した肌補正用メイクの化粧品情報を取得する。そして、肌補正用メイク選択部２８０は、取得した化粧品情報を、肌補正用メイクと対応付けて、メイク提示部２９０へ出力する。
　メイク提示部２９０は、選択された顔用メイクおよび肌補正用メイクを、対応する顔部品の領域および分割顔領域に対応付けてユーザに提示する。より具体的には、メイク提示部２９０は、入力された画像、顔用メイク情報、および肌補正用メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部３００に出力する。ここで、シミュレーション画像は、入力（撮影）された画像に、顔に対して選択された顔用メイクおよび肌補正用メイクを適用したときの画像を、重畳して得られる画像である。
　なお、画像の重畳は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）～（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ２、ｇ２、ｂ２は、メイクの画像の対応する領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
　Ｒ ＝ ｒ１×α＋ｒ２×（１－α）　　　・・・（１）
　Ｇ ＝ ｇ１×α＋ｇ２×（１－α）　　　・・・（２）
　Ｂ ＝ ｂ１×α＋ｂ２×（１－α）　　　・・・（３）
　また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクを適用したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。
　また、メイク提示部２９０は、画像取得部２２０から取得した映像を構成する画像毎に、順次、一旦選択された顔用メイクおよび肌補正用メイクを用いて、シミュレーション画像を生成して表示部３００に出力する（表示させる）。すなわち、メイク提示部２９０は、１つの映像に対して、一旦選択されたメイクを維持して提示する。
　また、メイク提示部２９０は、選択された顔用メイクおよび肌補正用メイクを適用するのに必要な肌用化粧品に関する情報（化粧品情報）を、更に提示する。より具体的には、メイク提示部２９０は、上記シミュレーション画像に、入力された化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。
　表示部３００は、例えば、タッチパネル付きディスプレイのディスプレイ部分であり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示（提示）する。
　なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　以上のような構成により、メイクアップ支援装置１００は、顔用メイクを対応する領域に対応付けて提示することに加え、肌状態に基づいて選択された肌補正用メイクを、当該メイクが必要な領域に対応付けてユーザに提示することができる。
　すなわち、メイクアップ支援装置１００は、適切な肌補正用メイクを含めたメイクのシミュレーション画像を提示することができる。したがって、メイクアップ支援装置１００は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
　＜テーブルの構成＞
　次に、顔用メイクテーブルおよび肌補正用メイクテーブルの例について説明する。
　顔用メイクテーブルは、例えば、顔用メイクＩＤテーブル、顔用メイクテーブル、および顔用化粧品テーブルから構成される。
　図３は、顔用メイクＩＤテーブルの一例を示す図である。
　図３に示すように、顔用メイクＩＤテーブル４１０は、例えば、顔部品特徴量のグループ４１１毎に、顔用メイクＩＤ４１２を記述している。ここで、「顔用メイクＩＤ」とは、１つの顔に対して一度に行われる１つまたは複数の顔用メイクのパターンを識別する情報である。
　例えば、「ＦＧ１」という顔部品特徴量のグループ４１１には、「ＦＭ１」という顔部品メイクＩＤが対応付けられている。したがって、顔用メイク選択部２５０は、顔から取得された顔部品特徴量が、「ＦＧ１」という顔部品特徴量のグループ４１１に属する場合、「ＦＭ１」という顔部品メイクＩＤ４１２を取得する。
　図４は、顔用メイクテーブルの一例を示す図である。
　図４に示すように、顔用メイクテーブル４２０は、例えば、顔部品メイクＩＤ４２１毎に、対応するメイク種別４２２を記述している。顔部品メイクＩＤ４２１は、顔用メイクＩＤテーブル４１０の顔用メイクＩＤ４１２と対応している。メイク種別４２２は、ここでは簡略化して図示しているが、具体的には、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。
　そして、顔用メイクテーブル４２０は、顔部品メイクＩＤ４２１とメイク種別４２２との組み合わせ毎に、色４２３、濃度４２４、範囲４２５、および化粧品ＩＤ４２６を記述している。色４２３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度４２４は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲４２５は、ここでは簡略化して図示しているが、具体的には、特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色４２３、濃度４２４、および範囲４２５の組は、少なくとも画像化に必要な情報を含む。
　なお、顔用メイクテーブル４２０は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。
　例えば、「ＦＭ１」というメイクＩＤ４２１には、「Ｔ１」～「Ｔ４」というメイク種別４２２が対応付けられている。また、例えば、「ＦＭ１」というメイクＩＤ４２１と「Ｔ１」というメイク種別４２２との組み合わせに対しては、「Ｃ１」という色４２３、「Ｄ１」という濃度、「Ａ１」という範囲、および「Ｉ１」という化粧品ＩＤ４２６が、対応付けられている。したがって、顔用メイク選択部２５０は、取得された顔用メイクＩＤ４２１（４１２）が「ＦＭ１」である場合、「Ｔ１」というメイク種別４２２に対応して、「Ｃ１、Ｄ１、Ａ１」を、顔用メイク情報として取得する。
　また、顔用メイク選択部２５０は、取得された顔用メイクＩＤ４１２（４２１）が「ＦＭ１」である場合、「Ｉ１」という化粧品ＩＤ４２６を取得する。
　更に、顔用メイク選択部２５０は、同様に、「Ｔ２」～「Ｔ４」というメイク種別４２２に対応する顔用メイク情報および化粧品ＩＤ４２６を取得する。
　図５は、顔用化粧品テーブルの一例を示す図である。
　図５に示すように、顔用化粧品テーブル４３０は、化粧品ＩＤ４３１毎に、会社ＩＤ４３２および品番４３３を記述している。化粧品ＩＤ４３１は、顔用メイクテーブル４２０の化粧品ＩＤ４２６に対応している。会社ＩＤ４３２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番４３３は、肌用化粧品の品番である。
　例えば、「Ｉ１」という化粧品ＩＤ４３１には、「Ｂ１」という会社ＩＤ４３２および「ｂ１１」という品番４３３が対応付けられている。したがって、顔用メイク選択部２５０は、取得された化粧品ＩＤ４３１（４２６）が「Ｉ１」である場合、「Ｂ１」という会社ＩＤ４３２および「ｂ１１」という品番４３３を、顔用メイクの化粧品情報として取得する。
　なお、図３～図５に示す顔用メイクＩＤテーブル４１０、顔用メイクテーブル４２０、および顔用化粧品テーブル４３０は、１つのテーブルに統合されていてもよい。
　肌補正用メイクテーブルは、例えば、肌補正用メイクＩＤテーブル、肌補正用メイクテーブル、および肌補正用化粧品テーブルから構成される。
　図６は、肌補正用メイクＩＤテーブルの一例を示す図である。
　図６に示すように、肌補正用メイクＩＤテーブル４６０は、例えば、肌状態特徴量のグループ４６１毎に、肌補正用メイクＩＤ４６２を記述している。ここで、「肌補正用メイクＩＤ」とは、１つの分割顔領域に対して一度に行われる１つまたは複数の肌補正用メイクのパターンを識別する情報である。
　例えば、「ＳＧ２」という肌状態特徴量のグループ４６１には、「ＳＭ２」という肌補正用メイクＩＤ４６２が対応付けられている。したがって、肌補正用メイク選択部２５０は、分割顔領域から取得された肌状態特徴量が、「ＳＧ２」という肌状態特徴量のグループ４６１に属する場合、「ＳＭ２」という肌補正用メイクＩＤ４６２を取得する。
　図７は、肌補正用メイクテーブルの一例を示す図である。
　図７に示すように、肌補正用メイクテーブル４７０は、例えば、肌補正用メイクＩＤ４７１毎に、対応するメイク種別４７２を記述している。肌補正用メイクＩＤ４７１は、肌補正用メイクＩＤテーブル４６０の肌補正用メイクＩＤ４６２と対応している。そして、肌補正用メイクテーブル４７０は肌補正用メイクＩＤ４７１とメイク種別４７２との組み合わせ毎に、色４７３、濃度４７４、範囲４７５、および化粧品ＩＤ４７６を記述している。
　例えば、「ＳＭ２」というメイクＩＤ４７１には、「Ｔ６」というメイク種別４７２が対応付けられている。また、例えば、「ＳＭ２」というメイクＩＤ４７１と「Ｔ６」というメイク種別４７２との組み合わせに対しては、「Ｃ４」という色４７３、「Ｄ３」という濃度、「Ａ５」という範囲、および「Ｉ５」という化粧品ＩＤ４７６が、対応付けられている。したがって、肌補正用メイク選択部２５０は、取得された肌補正用メイクＩＤ４７１（４６２）が「ＳＭ２」である場合、「Ｔ６」というメイク種別４７２に対応して、「Ｃ４、Ｄ３、Ａ５」を、肌補正用メイク情報として取得する。
　また、肌補正用メイク選択部２５０は、取得された肌補正用メイクＩＤ４６２（４７１）が「ＳＭ２」である場合、「Ｉ５」という化粧品ＩＤ４７６を取得する。
　図８は、肌補正用化粧品テーブルの一例を示す図である。
　図８に示すように、肌補正用化粧品テーブル４８０は、化粧品ＩＤ４８１毎に、会社ＩＤ４８２および品番４８３を記述している。化粧品ＩＤ４８１は、肌補正用メイクテーブル４７０の化粧品ＩＤ４７６に対応している。
　例えば、「Ｉ５」という化粧品ＩＤ４８１には、「Ｂ３」という会社ＩＤ４８２および「ｂ３２」という品番４８３が対応付けられている。したがって、肌補正用メイク選択部２５０は、取得された化粧品ＩＤ４８１（４７６）が「Ｉ５」である場合、「Ｂ３」という会社ＩＤ４８２および「ｂ３２」という品番４８３を、肌補正用メイクの化粧品情報として取得する。
　なお、図６～図８に示す肌補正用メイクＩＤテーブル４６０、肌補正用メイクテーブル４７０、および肌補正用化粧品テーブル４８０は、１つのテーブルに統合されていてもよい。
　また、図５に示す顔用化粧品テーブル４３０および図８に示す肌補正用化粧品テーブル４８０は、１つのテーブルに統合されていてもよい。
　また、顔用メイクと肌補正用メイクとの間では、ファンデーション等、同一の化粧品が用いられ得る。更に、アイシャドウによって目元の傷痕を隠し得る場合等、顔用メイクと肌補正用メイクとの間では、メイクそのものが同一と成り得る。
　＜メイクアップ支援装置の動作＞
　次に、メイクアップ支援装置１００の動作について説明する。
　図９は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。
　まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔を撮影し、画像取得部２２０は、撮影された映像を構成する画像を取得する。
　図１０は、図９のステップＳ１１００において取得される、画像の一例を示す図である。
　図１０に示すように、画像５１０は、ユーザの顔の画像（以下「顔画像」という）５１１を含む。ユーザは、メイクアップをしていない状態であり、図１０に示すように、例えば、両目の下に隈５１２、５１３を有し、額にしみ５１４を有しているものとする。
　そして、図９のステップＳ１２００において、顔部品取得部２３０は、画像５１０から、顔部品を取得する。この際、顔部品取得部２３０は、例えば、画像５１０を解析することにより、画像５１０から顔の（顔部品の）特徴点を抽出する。そして、顔部品取得部２３０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部２３０は、取得した顔部品の領域から、顔部品情報を生成する。
　図１１は、図９のステップＳ１２００において抽出される、顔の特徴点の配置の一例を示す図である。
　図１１に示すように、顔画像５１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１～第４の特徴点５２１～５２４は、右目を構成する。したがって、顔部品取得部２３０は、第１～第４の特徴点５２１～５２４により囲まれる領域５２５を、右目の領域として取得する。
　図１２は、図９のステップＳ１２００において生成される、顔部品情報の一例を示す図である。
　図１２に示すように、顔部品情報５３０は、例えば、顔部品ＩＤ５３１毎に、領域５３２および人ＩＤ５３３を記述している。顔部品ＩＤ５３１は、左目、上唇等の、顔部品の識別情報である。領域５３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ５３３は、人の識別情報である。人ＩＤ５３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
　そして、図９のステップＳ１３００において、顔用メイク選択部２５０は、顔部品特徴量を取得し、顔用メイクを選択する。顔部品特徴量は、上述の通り、顔の特徴を示す所定のパラメータについての多変量データである。顔用メイク選択部２５０は、例えば、画像５１０（図１０参照）から、顔の特徴点群（図１１参照）から、もしくは、顔部品情報（図１２参照）から、顔部品特徴量を取得する。そして、顔用メイク選択部２５０は、取得した顔部品特徴量に対応する顔用メイク情報および化粧品情報を、顔用メイクテーブル（図３～図５参照）から取得する。
　そして、ステップＳ１４００において、肌状態取得部２６０は、分割顔領域毎に、肌状態を取得する。この際、肌状態取得部２６０は、例えば、顔部品取得部２３０が抽出した顔の特徴点（図１１参照）を結ぶ線により、顔の領域を多数の分割顔領域に分割する。そして、肌状態取得部２６０は、分割顔領域毎に、画像を解析して、要肌補正領域であるか否かを判断する。
　要肌補正用メイク領域であるか否かの条件は、例えば、顔領域の肌の色の平均値との差分を示す値が所定の閾値よりも高い部分を有し、かつ、顔面積に対する当該部分の面積の比が所定の閾値以上であることである。
　そして、肌状態取得部２６０は、要肌補正領域毎に、肌状態情報を生成する。なお、肌状態取得部２６０は、連続する要肌補正領域を、１つの要肌補正領域として扱ってもよい。
　図１３は、図９のステップＳ１４００において生成される、肌状態情報の一例を示す図である。
　図１３に示すように、肌状態情報５４０は、例えば、領域ＩＤ５４１毎に、領域５４２、色差分５４３、面積比５４４、および人ＩＤ５４５を記述している。
　領域ＩＤ５４１は、要肌補正領域の識別情報である。領域５４２は、画像における要肌補正領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。色差分５４３は、例えば、色が顔領域の肌の色と大きく異なる部分の、顔領域の肌の色の平均値との差分であり、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値およびＨＳＶ値等である。面積比５４４は、ここでは簡略化して図示しているが、具体的には、色が顔領域の肌の色と大きく異なる部分の面積の、顔面積に対する比等である。人ＩＤ５４５は、人の識別情報であり、顔部品情報５３０の人ＩＤ５３３（図１２参照）に対応している。
　そして、図９のステップＳ１５００において、肌補正用メイク選択部２８０は、肌状態特徴量を取得し、肌補正用メイクを選択する。肌状態特徴量は、上述の通り、肌状態の特徴を示す所定のパラメータについての多変量データである。肌補正用メイク選択部２８０は、例えば、肌状態情報（図１３参照）から、肌状態特徴量を取得する。そして、肌補正用メイク選択部２８０は、取得した肌状態特徴量に対応する肌補正用メイク情報および化粧品情報を、肌補正用メイクテーブル（図６～図８参照）から取得する。
　そして、ステップＳ１６００において、メイク提示部２９０は、顔用メイク情報および肌補正用メイク情報に基づいて、シミュレーション画像を生成し、表示部３００に表示させる。この際、メイク提示部２９０は、化粧品情報についても、表示部３００に表示させる。
　図１４は、図９のステップＳ１６００において生成される、シミュレーション画像の一例を示す図である。
　図１４に示すように、シミュレーション画像５５０は、顔画像５１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像５５１～５５５を重畳した画像となっている。
　更に、図１４に示すように、シミュレーション画像５５０は、顔画像５１１に、しみ用のコンシーラおよび隈用のコンシーラといった、肌補正用メイクの画像５５６、５５７を重畳した画像となっている。この結果、元の画像５１１に映し出されていた隈５１２、５１３やしみ５１４（図１０参照）が隠れた状態となっている。
　すなわち、シミュレーション画像５５０は、適切な肌補正用メイクと、適切な顔用メイクとの両方が仮想的に適用された状態を、表示する。
　また、シミュレーション画像５５０には、化粧品情報を示す情報表示エリア５５８が追加されている。すなわち、シミュレーション画像５５０には、選択された顔用メイクおよび肌補正用メイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像５５０が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。
　そして、ステップＳ１７００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１７００：ＹＥＳ）、ステップＳ１１００へ戻り、次の画像に処理を移す。また画像取得部２２０は、映像の入力が終了した場合（Ｓ１７００：ＮＯ）、一連の処理を終了する。
　以上のような動作により、メイクアップ支援装置１００は、映像に追従して、顔用メイクおよび肌補正用メイクの両方を、対応する領域に対応付けて、ユーザに提示することができる。したがって、ユーザは、顔の向きや表情を変化させながら、メイクアップの効果を確認することができ、あたかも実際にメイクアップを行った状態を鏡に映して見ているかのような体験をすることができる。
　＜本実施の形態の効果＞
　以上のように、本実施の形態に係るメイクアップ支援装置１００は、顔用メイクを対応する領域に対応付けて提示するだけでなく、肌状態に基づいた肌補正用メイクを、当該メイクが必要な領域に対応付けて提示することができる。これにより、メイクアップ支援装置１００は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができる。
　＜スキンケアの提示＞
　なお、上述の実施の形態では、メイクアップ自体のみに着目したメイクアップの支援について説明したが、メイクアップの効果は、顔の肌のスキンケアの状態に依存する場合が多い。スキンケアとは、ここでは、肌状態の改善を目的として行う行動を指し、例えば、肌状態を改善させるために肌に施す手入れの仕方、および、体内から肌状態を改善させる（インナービューティを向上させる）行動を含む。前者としては、例えば、化粧水の塗布、マッサージ等が挙げられる。後者としては、例えば、サプリメントの摂取、自然食品摂取、ヨガ等の運動等が挙げられる。
　したがって、メイクアップ支援装置１００は、肌補正用メイク選択部２８０において、肌状態に基づいて、顔毎に、スキンケアを更に選択し、メイク提示部２９０において、この選択されたスキンケアを、顔に対応付けて更に提示してもよい。ただし、この場合は、顔全体の肌状態を総合的に解析して、適切なスキンケアを選択する必要がある。すなわち、スキンケア選択のための肌状態情報は、上述の、肌補正用メイク選択のための肌状態情報とは、異なる場合がある。
　また、メイクアップ支援装置１００は、顔部品あるいは分割顔領域毎に、スキンケアの選択および提示を行ってもよい。この場合、メイクアップ支援装置１００は、対応する領域に対応付けて、スキンケアの提示を行うことが望ましい。
　また、メイクアップ支援装置１００は、例えばスチーマー、美顔器などのスキンケア機器と接続され、メイク提示部２９０において、上記スキンケア機器の使用方法等の機器情報を、ユーザに提示してもよい。この場合、メイク提示部２９０は、例えば、接続された機器と通信を行い、当該機器から機器情報を取得してもよいし、当該機器から識別情報のみ取得してインターネットから対応する機器情報を取得してもよい。なお、メイク提示部２９０は、上記スキンケア機器の使用方法を、ユーザの肌状態に基づいて、ユーザ毎に異なった内容で提示してもよい。
　図１５は、肌状態取得部２６０がスキンケア選択のために取得すべき、肌状態情報の一例を示す図である。
　図１５に示すように、スキンケア選択用の肌状態情報５６０は、例えば、肌項目５６１毎に、色５６２、位置５６３、形状５６４、個数５６５、面積５６６、伝導度５６７、および反射率５６８を記述している。
　肌項目５６１は、しみ、くすみ等、スキンケアが必要とされる肌状態の種別を示す。色５６２は、例えば、ＲＧＢ値あるいはＨＳＶ値である。これは、絶対値でもよいし、上述の通り、顔全体の肌色の平均値に対する差分であってもよい。
　位置５６３は、画像における肌項目５６１に該当する領域の範囲を示す情報であり、画像上に設定された座標系の座標値リストである。なお、かかる座標系は、上述の顔の特徴点からの相対座標値のリストであってもよい。
　形状は、肌項目５６１に該当する領域の範囲の形状を示す情報であり、例えば、半径（長軸径および短軸径）、長さ、枝分かれの本数、あるいは深さ等である。
　個数５６５は、例えば、肌項目５６１に該当する個々の領域の数（本数）である。
　面積５６６は、例えば、肌項目５６１に該当する領域の面積［ｍｍ２］、あるいは、かかる領域の指定範囲（例えば顔領域）に対する面積比［％］である。
　伝導度５６７は、例えば、インピーダンス［Ω］あるいは肌からの蒸散量［ｍｇ／ｓｅｃ］である。
　反射率５６８は、例えば、光の反射率［％］である。
　肌補正用メイク選択部２８０は、例えば、顔全体の肌状態の特徴量を、スキンケア選択用の肌状態情報５６０から取得する。また、メイクアップ支援装置１００は、例えば、スキンケア選択用の肌状態情報５６０の成分として、取得され得る顔全体の肌状態の特徴量とスキンケアとを予め対応付けて登録したテーブルを、格納している。そして、肌補正用メイク選択部２８０は、かかるテーブルを参照して、取得した特徴量に対応するスキンケアを取得し、当該スキンケアを示す情報を、メイク提示部２９０へ出力する。メイク提示部２９０は、例えば、かかるスキンケアを示す情報を、シミュレーション画像と一緒に、または別に、表示部３００に表示させる。
　このように、メイクアップ支援装置１００は、適切なスキンケアをユーザに更に提示することにより、スキンケアの段階からメイクアップを総合的に支援することができる。
　なお、メイクアップ支援装置１００は、肌補正用メイクあるいはスキンケアを提示する際に、検出した肌状態を示す情報を併せて提示してもよい。この場合、メイクアップ支援装置１００は、肌状態を示す情報を、肌状態の良し悪しを直感的に把握することが可能な数値により、提示することが望ましい。
　例えば、メイクアップ支援装置１００は、人の平均的な肌状態を５０、非常に悪い肌状態を０、非常に良い肌状態を１００に設定し、検出可能な各肌状態を０－１００の範囲内で割り振る。そして、メイクアップ支援装置１００は、この割り振りにおいて肌状態に対応する値を、肌状態を示す値の範囲が０－１００であることと併せて、ユーザに提示する。これにより、ユーザは、提示された値が５０から上下どちらの方向にどの程度離れているかに応じて、自己のスキンケアの良し悪しを直感的に把握することができる。
　＜メイクの選択肢＞
　また、本実施の形態に係るメイクアップ支援装置１００は、顔部品特徴量および肌状態特徴量から１つのメイクを選択したが、これに限定されない。例えば、メイクアップ支援装置１００は、複数のメイクを選択肢として提示し、選択されたメイクを、メイク提示部２９０による提示の対象としてもよい。
　この場合、例えば、メイクアップ支援装置１００は、顔用メイク選択部２５０において、複数の顔用メイクを選択し、選択した複数の顔用メイクの識別情報を、表示部３００に表示させる。そして、メイクアップ支援装置１００は、タッチパネル付きディスプレイに対する操作等を介してユーザにより選択された顔用メイクの顔用メイク情報を、顔用メイク選択部２５０からメイク提示部２９０へと出力される。
　特に、顔用メイクテーブルでは、顔部品特徴量の各グループに複数の顔用メイクが対応付けられており、それら複数の顔用メイクに市場での人気順等の優先度が設定されているとする。この場合、メイクアップ支援装置１００は、顔用メイク選択部２５０において、例えば、優先度が１位から３位までの顔用メイクを、選択肢として提示する。これにより、ユーザは、流行に合った顔用メイクを選択することができる。
　また、この場合、メイクアップ支援装置１００は、任意のタイミングで、提示の対象となるメイクの切り替えを、ユーザから受け付けることが望ましい。これにより、ユーザは、複数のメイクの中から、適切かつユーザの好みに合ったメイクを、迅速に判断することができる。
　＜他のメイクの選択手法＞
　また、メイクアップ支援装置１００は、顔部品特徴量および肌状態特徴量以外のパラメータに基づいて、提示の対象となるメイクを選択してもよい。例えば、メイクアップ支援装置１００は、インターネット上の不特定多数のユーザの評価等、外部での評価が高いメイクを、優先的に選択してもよい。
　また、メイクアップ支援装置１００は、人の属性を考慮して、メイクを選択してもよい。例えば、メイクアップ支援装置１００は、過去にメイクアップ技術者によって施されたメイクアップのメイクの中から、ユーザと年齢層や居住地域が一致する人に対して適用されたメイクを、優先的に選択する。この場合、顔用メイクテーブルおよび肌補正用メイクテーブルに登録されるメイク、および、撮影される画像に対して、人ＩＤ、職業、年齢等の、人の属性に関する情報が設定される必要がある。これにより、人の属性に応じて適切なメイクが異なる場合に、より適切なメイクを優先的に提示することが可能となる。
　＜化粧品情報の応用＞
　また、メイクアップ支援装置１００は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置１００は、ユーザがメイクに対する決定操作を行ったとき、インターネットを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。
　＜他の提示内容＞
　また、メイクアップ支援装置１００は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。
　また、メイクアップ支援装置１００は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」、「両目の下の幅１ｃｍの範囲に、Ｂ２社の品番７８のコンシーラを、薄目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。
　＜他の提示手法＞
　また、メイクアップ支援装置１００は、シミュレーション画像以外の手法で、顔用メイクおよび肌補正用メイクの提示を行ってもよい。
　例えば、メイクアップ支援装置１００は、肌用化粧品の化粧剤を所定の薄膜（紙状媒体）に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。
　そして、メイクアップ支援装置１００は、メイク提示部２９０において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、顔用メイクおよび肌補正用メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。
　これにより、メイクアップ支援装置１００は、顔用メイクおよび肌補正用メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。
　ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、所望のメイクを行うことができる。
　＜その他の構成の変形例＞
　また、顔用メイクテーブルおよび肌補正用メイクテーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、顔用メイクおよび肌補正用メイクを選択すればよい。
　また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部３００のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
　また、肌状態取得部２６０は、画像からではなく、肌に接触させて肌状態を検出するセンサ機器のセンサ情報、肌には接触させずに肌情報を取得する非接触方式のセンサ機器のセンサ情報（例えば肌表面の温度情報等）から、肌情報を取得してもよい。また、肌情報取得部２６０は、ユーザがタッチパネル付きディスプレイに対する等の操作により入力した情報から、肌状態を取得してもよい。
　また、肌状態取得部２６０は、紫外線光を顔に当てたときの画像等、シミュレーション画像に用いる画像とは別の画像から、肌状態情報を取得してもよい。
　また、肌状態取得部２６０は、外光を検出し、画像から、外光の影響を軽減した状態で、顔部品特徴量や肌状態特徴量の取得を行うようにしてもよい。
　また、メイクの具体的内容は、上述の例に限定されない。例えば、提示の対象となる顔用メイクには、マスカラ、リップグロス等が含まれる。また、提示の対象となる肌補正用メイクには、ハイライト等が含まれる。
　本開示のメイクアップ支援装置は、顔を撮影した画像を取得する画像取得部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、前記顔の肌状態を取得する肌状態取得部と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するメイク提示部と、を有する。
　なお、上記メイクアップ支援装置において、前記肌状態取得部は、前記顔の顔領域を分割した分割顔領域毎に、肌状態を取得し、前記肌補正用メイク選択部は、前記分割顔領域毎に取得された前記肌状態に基づいて、前記分割顔領域毎に、前記肌補正用メイクを選択し、前記メイク提示部は、前記肌補正用メイクを、対応する前記分割顔領域に対応付けて提示してもよい。
　また、上記メイクアップ支援装置において、前記メイク提示部は、前記画像に、前記顔に対して前記顔用メイクおよび前記肌補正用メイクを適用したときの前記顔用メイクおよび前記肌補正用メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。
　また、上記メイクアップ支援装置において、前記肌状態取得部は、肌状態が前記肌補正用メイクを適用すべき所定のレベルに達している前記分割顔領域である、要肌補正領域を検出し、前記肌補正用メイク選択部は、前記要肌補正領域を、前記肌補正用メイクの選択の対象としてもよい。
　また、上記メイクアップ支援装置は、前記ユーザの顔の映像を撮影する撮影部と、前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記メイク提示部は、前記映像に対して一旦選択された前記顔用メイクおよび前記肌補正用メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させてもよい。
　また、上記メイクアップ支援装置において、前記顔用メイク選択部は、前記顔の顔部品特徴量を取得し、取得され得る顔部品特徴量と顔用メイクとを予め対応付けて登録した顔用メイクテーブルを参照して、前記顔用メイクを選択し、前記肌補正用メイク選択部は、前記分割顔領域毎に肌特徴量を取得し、取得され得る肌特徴量と肌補正用メイクとを予め対応付けて登録した肌補正用メイクテーブルを参照して、前記顔用メイクを選択してもよい。
　また、上記メイクアップ支援装置において、前記肌状態は、しみ（斑）の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも１つを含んでもよい。
　また、上記メイクアップ支援装置において、前記顔用メイクおよび前記肌補正用メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記メイク提示部は、選択された前記顔用メイクおよび前記肌補正用メイクを適用するのに必要な化粧品に関する情報を、更に提示してもよい。
　また、メイクアップ支援装置１００は、撮影される顔を照明する照明部を新たに備えてもよい。この照明部は、調光機能を有し、ユーザの指示によりユーザが希望する環境光（オフィスの蛍光灯、キャンドル光、バーの照明、自然光等）を再現可能であることが望ましい。これにより、メイクアップ支援装置１００は、ユーザが、実際に希望する環境光の下でのメイクの見栄えを確認しながら、メイクシミュレーションすることを可能にする。
　本開示のメイクアップ支援方法は、顔を撮影した画像を取得するステップと、前記画像から、顔部品の領域を取得するステップと、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、前記顔の肌状態を取得するステップと、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択するステップと、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するステップと、を有する。
　本開示のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像を取得する処理と、前記画像から、顔部品の領域を取得する処理と、前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、前記顔の肌状態を取得する処理と、前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する処理と、ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示する処理と、を実行させる。
　２０１３年２月１日出願の特願２０１３－０１８２６６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、肌状態が良好でない顔についてもメイクアップの支援を適切に行うことができるメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。
　１００　メイクアップ支援装置
　２１０　撮影部
　２２０　画像取得部
　２３０　顔部品取得部
　２４０　顔用メイクテーブル格納部
　２５０　顔用メイク選択部
　２６０　肌状態取得部
　２７０　肌補正用メイクテーブル格納部
　２８０　肌補正用メイク選択部
　２９０　メイク提示部
　３００　表示部

Claims (10)

  1. 　顔を撮影した画像を取得する画像取得部と、
    　前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、
    　前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する顔用メイク選択部と、
    　前記顔の肌状態を取得する肌状態取得部と、
    　前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する肌補正用メイク選択部と、
    　ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するメイク提示部と、を有する、
    　メイクアップ支援装置。
  2. 　前記肌状態取得部は、
    　前記顔の顔領域を分割した分割顔領域毎に、肌状態を取得し、
    　前記肌補正用メイク選択部は、
    　前記分割顔領域毎に取得された前記肌状態に基づいて、前記分割顔領域毎に、前記肌補正用メイクを選択し、
    　前記メイク提示部は、前記肌補正用メイクを、対応する前記分割顔領域に対応付けて提示する、
    　請求項１に記載のメイクアップ支援装置。
  3. 　前記メイク提示部は、
    　前記画像に、前記顔に対して前記顔用メイクおよび前記肌補正用メイクを適用したときの前記顔用メイクおよび前記肌補正用メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
    　請求項２に記載のメイクアップ支援装置。
  4. 　前記肌状態取得部は、
    　肌状態が前記肌補正用メイクを適用すべき所定のレベルに達している前記分割顔領域である、要肌補正領域を検出し、
    　前記肌補正用メイク選択部は、
    　前記要肌補正領域を、前記肌補正用メイクの選択の対象とする、
    　請求項２に記載のメイクアップ支援装置。
  5. 　前記ユーザの顔の映像を撮影する撮影部と、
    　前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、
    　前記画像取得部は、
    　前記映像を構成する画像を取得し、
    　前記メイク提示部は、
    　前記映像に対して一旦選択された前記顔用メイクおよび前記肌補正用メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させる、
    　請求項４に記載のメイクアップ支援装置。
  6. 　前記顔用メイク選択部は、
    　前記顔の顔部品特徴量を取得し、取得され得る顔部品特徴量と顔用メイクとを予め対応付けて登録した顔用メイクテーブルを参照して、前記顔用メイクを選択し、
    　前記肌補正用メイク選択部は、
    　前記分割顔領域毎に肌特徴量を取得し、取得され得る肌特徴量と肌補正用メイクとを予め対応付けて登録した肌補正用メイクテーブルを参照して、前記顔用メイクを選択する、
    　請求項２に記載のメイクアップ支援装置。
  7. 　前記肌状態は、しみ（斑）の状態、皺の状態、くすみの状態、隈の状態、毛穴の状態、水分の状態、油分の状態、肌理の状態、および血色の状態のうち少なくとも１つを含む、
    　請求項２に記載のメイクアップ支援装置。
  8. 　前記顔用メイクおよび前記肌補正用メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、
    　前記メイク提示部は、
    　選択された前記顔用メイクおよび前記肌補正用メイクを適用するのに必要な化粧品に関する情報を、更に提示する、
    　請求項２に記載のメイクアップ支援装置。
  9. 　顔を撮影した画像を取得するステップと、
    　前記画像から、顔部品の領域を取得するステップと、
    　前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択するステップと、
    　前記顔の肌状態を取得するステップと、
    　前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択するステップと、
    　ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示するステップと、を有する、
    　メイクアップ支援方法。
  10. 　コンピュータに、
    　顔を撮影した画像を取得する処理と、
    　前記画像から、顔部品の領域を取得する処理と、
    　前記顔部品毎に、顔用メイクアップの仕方である顔用メイクを選択する処理と、
    　前記顔の肌状態を取得する処理と、
    　前記肌状態に基づいて、肌補正用メイクアップの仕方である肌補正用メイク／基礎化粧の仕方であるスキンケアを選択する処理と、
    　ユーザに対して、選択された前記顔用メイクを対応する前記顔部品の領域に対応付けて提示すると共に、選択された前記肌補正用メイク／前記スキンケアを提示する処理と、を実行させる、
    　メイクアップ支援プログラム。
PCT/JP2014/000244 2013-02-01 2014-01-20 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム WO2014119242A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14745809.5A EP2820970B1 (en) 2013-02-01 2014-01-20 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US14/388,923 US9615647B2 (en) 2013-02-01 2014-01-20 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
CN201480000917.XA CN104203042B (zh) 2013-02-01 2014-01-20 化妆辅助装置、化妆辅助方法、以及记录介质
US15/010,190 US9681736B2 (en) 2013-02-01 2016-01-29 Makeup application assistance device, makeup application assistance method, and makeup application assistance program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-018266 2013-02-01
JP2013018266A JP6008323B2 (ja) 2013-02-01 2013-02-01 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/388,923 A-371-Of-International US9615647B2 (en) 2013-02-01 2014-01-20 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US15/010,190 Continuation US9681736B2 (en) 2013-02-01 2016-01-29 Makeup application assistance device, makeup application assistance method, and makeup application assistance program

Publications (1)

Publication Number Publication Date
WO2014119242A1 true WO2014119242A1 (ja) 2014-08-07

Family

ID=51261959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000244 WO2014119242A1 (ja) 2013-02-01 2014-01-20 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Country Status (5)

Country Link
US (2) US9615647B2 (ja)
EP (1) EP2820970B1 (ja)
JP (1) JP6008323B2 (ja)
CN (1) CN104203042B (ja)
WO (1) WO2014119242A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447739A (zh) * 2016-09-30 2017-02-22 北京美到家科技有限公司 化妆区域动态图像生成方法、美妆辅助方法及其装置
CN107003827A (zh) * 2014-09-26 2017-08-01 三星电子株式会社 由包括可切换镜子的设备执行的图像显示方法和设备

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991536B2 (ja) 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6128309B2 (ja) 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP2953090A4 (en) 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
JP6288404B2 (ja) 2013-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP3062195A1 (en) * 2015-02-27 2016-08-31 Iconmobile Gmbh Interactive mirror
JP6583660B2 (ja) * 2015-03-26 2019-10-02 パナソニックＩｐマネジメント株式会社 画像合成装置及び画像合成方法
CN108348153A (zh) * 2015-09-04 2018-07-31 Wb技术 用于人脸的分析以及活化和/或局部释放的系统
WO2017149315A1 (en) 2016-03-02 2017-09-08 Holition Limited Locating and augmenting object features in images
GB2601067B (en) * 2016-03-02 2022-08-31 Holition Ltd Locating and augmenting object features in images
CN107153805A (zh) * 2016-03-02 2017-09-12 北京美到家科技有限公司 定制化美妆辅助装置和方法
CN107369133B (zh) * 2016-05-13 2020-04-07 炬芯（珠海）科技有限公司 一种人脸图像美化方法和装置
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
TWI573093B (zh) * 2016-06-14 2017-03-01 Asustek Comp Inc 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
WO2018003421A1 (ja) * 2016-06-30 2018-01-04 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11501456B2 (en) * 2016-12-20 2022-11-15 Shiseido Company, Ltd. Application control device, application control method, program and storage medium that naturally conceal a local difference in brightness on skin
US20190053608A1 (en) * 2017-04-06 2019-02-21 Newtonoid Technologies, L.L.C. Cosmetic applicator
US9814297B1 (en) * 2017-04-06 2017-11-14 Newtonoid Technologies, L.L.C. Cosmetic applicator
CN110168601B (zh) * 2017-04-20 2023-05-26 韩国斯诺有限公司 通过分析校正模式的影像校正方法及系统
CN107423694A (zh) * 2017-07-05 2017-12-01 清远初曲智能科技有限公司 一种基于机器视觉的人工智能用户形象管理方法及系统
WO2019014646A1 (en) 2017-07-13 2019-01-17 Shiseido Americas Corporation REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
CN109493310A (zh) 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
US11191341B2 (en) * 2018-01-11 2021-12-07 Casio Computer Co., Ltd. Notification device, notification method, and storage medium having program stored therein
US10936175B2 (en) 2018-02-02 2021-03-02 Perfect Corp. Systems and methods for implementing a pin mechanism in a virtual cosmetic application
CN108965793B (zh) * 2018-04-28 2022-01-25 耀灵人工智能(浙江)有限公司 一种自适应调节的化妆辅助方法及系统
CN109191584B (zh) * 2018-08-16 2020-09-18 Oppo广东移动通信有限公司 三维模型处理方法、装置、电子设备及可读存储介质
EP3852572A1 (en) * 2018-09-21 2021-07-28 L'oreal A system for sensing and associating a condition on a body part of the user with a three-dimensional environment when using a cosmetic device
US10943394B2 (en) * 2018-09-21 2021-03-09 L'oreal System that generates a three-dimensional beauty assessment that includes region specific sensor data and recommended courses of action
CN109315913B (zh) * 2018-10-16 2022-03-18 陕西科技大学 穿戴式画眉辅助装置
US11291861B2 (en) 2019-03-08 2022-04-05 Mevion Medical Systems, Inc. Delivery of radiation by column and generating a treatment plan therefor
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
CN110533651B (zh) * 2019-08-29 2022-04-08 维沃移动通信有限公司 一种图像处理方法及装置
JP2021101904A (ja) * 2019-12-25 2021-07-15 大日本印刷株式会社 撮影システム
JPWO2021131852A1 (ja) * 2019-12-26 2021-07-01
GB2619283A (en) * 2022-05-26 2023-12-06 Holition Ltd Simulating foundation makeup effect in augmented images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104050A (ja) * 1999-10-06 2001-04-17 Seiko Epson Corp 画像処理を用いた化粧支援方法および化粧台ならびに画像処理を用いた化粧支援処理プログラムを記録した記録媒体
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007133518A (ja) 2005-11-08 2007-05-31 Shiseido Co Ltd 美容医療診断方法、美容医療診断システム、美容医療診断プログラム、及び該プログラムが記録された記録媒体
JP2007216000A (ja) * 2006-01-17 2007-08-30 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010086036A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2199554C (en) * 1996-03-12 2006-03-14 Loren R. Ouellette Skin analyzer with speech capability
CN1078455C (zh) * 1997-08-01 2002-01-30 上海家化联合股份有限公司 皮肤纹理和皱纹的测定方法
JP4188487B2 (ja) * 1999-03-29 2008-11-26 株式会社資生堂 目元メーキャップシミュレーションシステム
FR2810761B1 (fr) 2000-06-26 2003-09-05 Oreal Procede et dispositif de traitement cosmetique,notamment de soin, de maquillage ou de coloration
US8107672B2 (en) 2006-01-17 2012-01-31 Shiseido Company, Ltd. Makeup simulation system, makeup simulator, makeup simulation method, and makeup simulation program
JP2007310652A (ja) 2006-05-18 2007-11-29 Asuka Corporation:Kk 美顔管理システム
JP2009064423A (ja) 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
FR2952519B1 (fr) 2009-11-13 2012-07-20 O Ts Team Creatif Procede et dispositif pour l'analyse de la tendance d'une peau a etre plus ou moins seche.
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
JP5953472B2 (ja) 2012-06-19 2016-07-20 株式会社大都技研 遊技台
JP6128309B2 (ja) 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
JP5991536B2 (ja) 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104050A (ja) * 1999-10-06 2001-04-17 Seiko Epson Corp 画像処理を用いた化粧支援方法および化粧台ならびに画像処理を用いた化粧支援処理プログラムを記録した記録媒体
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007133518A (ja) 2005-11-08 2007-05-31 Shiseido Co Ltd 美容医療診断方法、美容医療診断システム、美容医療診断プログラム、及び該プログラムが記録された記録媒体
JP2007216000A (ja) * 2006-01-17 2007-08-30 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010086036A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003827A (zh) * 2014-09-26 2017-08-01 三星电子株式会社 由包括可切换镜子的设备执行的图像显示方法和设备
CN106447739A (zh) * 2016-09-30 2017-02-22 北京美到家科技有限公司 化妆区域动态图像生成方法、美妆辅助方法及其装置

Also Published As

Publication number Publication date
CN104203042B (zh) 2018-06-05
JP2014147560A (ja) 2014-08-21
US9615647B2 (en) 2017-04-11
US9681736B2 (en) 2017-06-20
US20150049111A1 (en) 2015-02-19
EP2820970B1 (en) 2019-07-03
CN104203042A (zh) 2014-12-10
EP2820970A1 (en) 2015-01-07
EP2820970A4 (en) 2015-06-10
JP6008323B2 (ja) 2016-10-19
US20160143422A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
WO2014119242A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10413042B2 (en) Makeup support device, makeup support method, and makeup support program
JP6128309B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10249211B2 (en) Makeup application assistance device, makeup application assistance method, and makeup application assistance program
JP6288404B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5324031B2 (ja) 美容シミュレーションシステム
JP6132248B2 (ja) メイクアップ支援装置
JP2013178789A (ja) 美容シミュレーションシステム
JP6128356B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
Varshovi Facial makeup detection using HSV color space and texture analysis
JP6078897B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2016055202A (ja) メイクアップ支援装置およびメイクアップ支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14745809

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14388923

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014745809

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE