WO2014119254A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム Download PDF

Info

Publication number
WO2014119254A1
WO2014119254A1 PCT/JP2014/000310 JP2014000310W WO2014119254A1 WO 2014119254 A1 WO2014119254 A1 WO 2014119254A1 JP 2014000310 W JP2014000310 W JP 2014000310W WO 2014119254 A1 WO2014119254 A1 WO 2014119254A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
face
image
area
acquiring
Prior art date
Application number
PCT/JP2014/000310
Other languages
English (en)
French (fr)
Inventor
智史 山梨
理惠子 浅井
あおい 牟田
千枝 西
香織 安食
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP14746577.7A priority Critical patent/EP2821959B1/en
Priority to US14/389,018 priority patent/US9812030B2/en
Priority to CN201480000924.XA priority patent/CN104205162B/zh
Publication of WO2014119254A1 publication Critical patent/WO2014119254A1/ja
Priority to US15/010,200 priority patent/US10242589B2/en
Priority to US15/010,224 priority patent/US10249211B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Definitions

  • the present invention relates to a makeup support apparatus that supports facial makeup (makeup), a makeup support method, and a makeup support program.
  • make face makeup methods
  • Patent Documents 1 to 3 The techniques described in Patent Documents 1 to 3 (hereinafter, referred to as “prior art”) acquire an image obtained by capturing a face to be a makeup target (hereinafter, simply referred to as “face”).
  • face a makeup target
  • a simulation image is generated by superimposing an image indicating the state of makeup when applying lipstick or cheek on a face to the acquired image. Then, according to the related art, the generated simulation image is displayed on the display device.
  • the person who does makeup may have a desire to want to confirm whether the makeup that the other person is doing also suits himself or not. For example, when a friend looks very beautiful by makeup, or when an entertainer or model with a novel makeup is seen on a magazine or TV. According to the above-mentioned prior art, such confirmation can be easily performed from the simulation image by designating the desired makeup.
  • An object of the present invention is to provide a makeup support apparatus, a makeup support method, and a makeup support program that can appropriately perform makeup support with reference to makeup of another person.
  • a first image acquisition unit for capturing a first image and capturing a first face, and an area of a face part of the first face from the first image
  • a second face part acquiring unit for acquiring an area of the face part of the face, and the second image based on the area of the face part of the second face for each face part of the second face
  • a reference makeup acquiring unit for acquiring makeup that is the method of makeup
  • a makeup presenting unit for presenting the acquired makeup to the user in association with the area of the face part of the corresponding first face And.
  • the makeup assisting method of the present invention comprises the steps of: acquiring a first image obtained by photographing a first face; and acquiring an area of a face part of the first face from the first image; Acquiring a second image obtained by photographing a second face subjected to makeup; acquiring an area of a face part of the second face from the second image; and Acquiring makeup, which is the method of the makeup, from the second image based on the area of the face part of the second face for each face part of the face; And displaying the area corresponding to the area of the face part of the corresponding first face to the user.
  • a makeup support program causes a computer to acquire a first image obtained by capturing a first face, and acquires an area of a face part of the first face from the first image.
  • Block diagram showing an example of configuration of makeup assisting apparatus according to Embodiment 1 of the present invention Block diagram showing an example of the configuration of a makeup assisting apparatus according to Embodiment 2 of the present invention
  • a diagram showing an example of a makeup position table in the second embodiment The figure which shows an example of the makeup color table in Embodiment 2.
  • a figure showing an example of a cosmetics table in Embodiment 2 The flowchart which shows one example of operation of the makeup support device which relates to the form 2 of execution The figure which shows an example of the user image in Embodiment 2.
  • a diagram showing an example of arrangement of face feature points in the second embodiment A diagram showing an example of user's face parts information in the second embodiment
  • a diagram showing an example of a model image in the second embodiment A diagram showing an example of reference makeup information in the second embodiment
  • Embodiment 1 of the present invention is an example of a basic aspect of the present invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a makeup assisting apparatus according to the present embodiment.
  • makeup assisting apparatus 100 includes a first image acquisition unit 120, a first facial part acquisition unit 130, a second image acquisition unit 140, a second facial part acquisition unit 150, and a reference makeup acquisition unit 170. , And a makeup presenting unit 180.
  • the first image acquisition unit 120 acquires a first image obtained by photographing a first face.
  • the first face is a face on which a simulation image of makeup is to be generated.
  • the first face part acquisition unit 130 acquires the area of the face part of the first face from the first image.
  • the second image acquisition unit 140 acquires a second image obtained by capturing the second face on which makeup has been applied.
  • the second face is, for example, the face of a model published in a magazine.
  • the second face part acquisition unit 150 acquires the area of the face part of the second face from the second image.
  • the reference makeup acquiring unit 170 acquires makeup, which is a method of makeup, from the second image based on the area of the face part of the second face for each of the face parts of the second face.
  • Makeup presenting section 180 presents the acquired makeup to the user in association with the area of the face part of the corresponding first face.
  • the user is, for example, a person who performs makeup on the first face, such as the person having the first face.
  • makeup assisting apparatus 100 has, for example, a central processing unit (CPU), a storage medium such as ROM (Read Only Memory) storing a control program, and a working memory such as RAM (Random Access Memory). .
  • CPU central processing unit
  • storage medium such as ROM (Read Only Memory) storing a control program
  • RAM Random Access Memory
  • Such makeup assisting apparatus 100 acquires the makeup of makeup applied to the second face for each face part, associates the acquired makeup with the area of the face part of the first face, and sends it to the user Can be presented.
  • another person's face can be adopted as the second face. Therefore, makeup assisting apparatus 100 can appropriately perform makeup assisting with reference to the makeup of another person.
  • Second Embodiment Embodiment 2 of the present invention is an example of a specific aspect of the present invention.
  • the present embodiment is an example in which the present invention is applied to an apparatus provided with a digital camera and a display with a touch panel.
  • “Face part” refers to a part that characterizes the impression of the face, such as eyes, eyebrows, nose, cheeks (brows), lips, and outlines.
  • the “face part ID” is identification information of a face part.
  • the “area of the face part” refers to the area occupied by the face part on the image or real space, and includes the positions of the feature points of the face part such as the corner of the eye.
  • Make-up indicates the method (type) of makeup and includes at least the color, application concentration, and application range of the cosmetic for skin.
  • Reference makeup information is information indicating a makeup selected as makeup to be referred to by a user who receives assistance with makeup.
  • Cosmetic information is information on skin cosmetics for applying makeup.
  • Make-up type is a type of makeup that is distinguished by at least a positional relationship with a face part, such as “foundation”, “eye shadow”, “lipstick”, and “teak”.
  • Cosmetics ID is identification information of skin cosmetics, and is information which can specify cosmetics information.
  • FIG. 2 is a block diagram showing an example of the configuration of the makeup assisting apparatus according to the present embodiment.
  • makeup assisting apparatus 100 includes a photographing unit 110, a first image acquisition unit 120, a first facial part acquisition unit 130, a second image acquisition unit 140, a second facial part acquisition unit 150, and makeup.
  • An information storage unit 160, a reference makeup acquisition unit 170, a makeup presentation unit 180, and a display unit 190 are included.
  • the photographing unit 110 is, for example, a digital still camera, and photographs an image.
  • the first image acquisition unit 120 captures an image of the face (first face, hereinafter referred to as “user's face”) of the user of the makeup support apparatus 100 using the imaging unit 110. Then, the first image acquisition unit 120 acquires a photographed image of the user's face (first image, hereinafter referred to as “user image”), and sends the first facial part acquisition unit 130 and the makeup presentation unit 180 Output.
  • the first image acquisition unit 120 shoots a user image, for example, by prompting the user to shoot a face, such as displaying a message “Please shoot a face to be a target of makeup” on the display. I do.
  • the user image is an image obtained by photographing the face of the user from the front.
  • the first face part acquisition unit 130 acquires the area of the face part of the user's face from the input user image. Acquisition of the area of the face part is performed, for example, by matching each partial area of the user image with a template image of each face part prepared in advance (see, for example, Patent Document 2). Then, the first face part acquisition unit 130 outputs the acquired identification information of the face part and information indicating the area (hereinafter referred to as “user face part information”) to the reference makeup acquisition unit 170.
  • the second image acquisition unit 140 uses the imaging unit 110 to capture an image of a model face (second face, hereinafter referred to as “model face”) that the user intends to use as a reference for makeup.
  • the image of the face of the model is, for example, a photograph published in a fashion magazine.
  • the photographing unit 110 acquires an image (second image, hereinafter referred to as “model image”) of the face of the photographed model, and outputs the image to the second facial part acquisition unit 150 and the reference makeup acquisition unit 170.
  • the second image acquisition unit 140 displays a message “Please shoot the face of the makeup you want to refer to” on the display, or the like, to prompt the user to take a picture of the face of the model. Take a picture of In the present embodiment, it is assumed that the model image is an image taken from the front of a photograph of the face of the model taken from the front.
  • the second face part acquisition unit 150 acquires the area of the face part of the model face from the input model image. Acquisition of the area of the face part is performed, for example, by matching each partial area of the model image with a template image of each face part prepared in advance (see, for example, Patent Document 2). Then, the second face part acquisition unit 150 outputs the acquired identification information of the face part and information indicating the region (hereinafter referred to as “model face part information”) to the reference makeup acquisition unit 170.
  • the makeup information storage unit 160 stores in advance, for each makeup type, the positional relationship with the area of the face part, and makeup information in which a combination of makeup color and cosmetic information is associated.
  • the makeup information includes, for example, a makeup position table, a makeup color table, and a cosmetic table. Also, these pieces of information can be referred to from the reference makeup acquisition unit 170.
  • the makeup position table is a table that defines, for each makeup type, a positional relationship between the application range of makeup and the area of the face part. This positional relationship is, in other words, the extraction criterion of makeup when the reference makeup acquiring unit 170 described later extracts makeup from the image.
  • the makeup color table is a table in which a cosmetic ID of a cosmetic to be proposed is described for each combination of makeup type and makeup color.
  • the cosmetic table is a table in which the details of the cosmetic are described for each cosmetic ID.
  • FIG. 3 is a diagram showing an example of the makeup position table.
  • the makeup position table 510 describes makeup type 513 in association with the combination of the face part ID 511 and the area 512.
  • a makeup type 513 “T2” is associated with a combination of a face part ID 511 “P2” and an area 512 "R2". This indicates that the makeup applied to the area 512 “R2” for the area of the face part ID 511 “P2” is the makeup type 513 “T2”.
  • “P2” indicates the right eye
  • “R2” is adjacent to the upper end of the area of the face part, has a width of 1% or less of the length of the face, and indicates a continuous area of the same color other than skin color
  • T2 corresponding to these shall show an eyeliner.
  • the area is the eyeliner area. Show.
  • FIG. 4 is a diagram showing an example of a makeup color table.
  • the makeup color table 520 describes, for example, a cosmetic ID 523 for each combination of the makeup type 521 and the color 522.
  • the makeup type 521 corresponds to the makeup type 513 of the makeup position table 510.
  • a combination of the makeup type 521 “T2” and the color 522 “C2” is associated with a cosmetic ID 523 "I2". This means that when the color “C2” is used for makeup of the makeup type “T2”, a cosmetic with a cosmetic ID “I2” should be used.
  • FIG. 5 is a diagram showing an example of a cosmetic table.
  • the cosmetic table 530 describes a company ID 532 and a product number 533 for each cosmetic ID 531.
  • the cosmetic ID 531 corresponds to the cosmetic ID 523 of the makeup color table 520.
  • the company ID 532 is the name or identifier of a company that manufactures or sells skin cosmetics.
  • the product number 533 is a product number for skin cosmetics.
  • the cosmetic ID 531 of “I2” is associated with a company ID 532 of “B1” and an item number 533 of “b23”. This indicates that the cosmetic ID "I2" is the skin cosmetic product of the part number "b23" of the company indicated by the company ID "B1".
  • makeup color table 520 shown in FIG. 4 and cosmetic table 530 shown in FIG. 5 may be integrated into one table.
  • the reference makeup acquiring unit 170 in FIG. 2 acquires makeup applied to the face of the model from the model image based on the area of the facial part of the model face for each face part of the model face. More specifically, the reference makeup acquiring unit 170 detects, for each face part, the presence or absence of the area subjected to makeup based on the extraction criteria defined by the makeup position table 510 (see FIG. 3). Then, when there is a region to which makeup has been applied, the reference makeup acquiring unit 170 acquires the region as the application range of makeup. Furthermore, the reference makeup acquiring unit 170 acquires, from the model image, the color and application density of the makeup applied to the area. Details of acquisition of makeup will be described later.
  • the reference makeup acquiring unit 170 acquires cosmetic information of cosmetics necessary for applying the acquired makeup. Acquisition of this cosmetic information is performed, for example, using the cosmetic table 530 (see FIG. 5) stored in the makeup information storage unit 160.
  • the reference makeup acquiring unit 170 outputs, to the makeup presenting unit 180, the reference makeup information indicating the acquired makeup and the acquired cosmetic information.
  • the reference makeup information includes at least information necessary to generate an image when makeup is applied to the face from the image of the face.
  • Makeup presenting unit 180 presents the makeup indicated by the reference makeup information to the user in association with the area of the face part of the face of the corresponding user. More specifically, makeup presenting section 180 generates a simulation image based on the input user image and reference makeup information, and outputs the generated simulation image to display section 190.
  • the simulation image is an image obtained by superimposing an image when makeup (make-up acquired from a model image) indicated by the reference makeup information is applied to the input (photographed) user image. is there.
  • the alpha value ( ⁇ ) is set to a value according to the concentration of makeup.
  • the alpha blending process is represented, for example, by the following formulas (1) to (3).
  • r 1 , g 1 and b 1 are RGB values of an arbitrary area of the photographed image
  • r 2 , g 2 and b 2 are RGB values of the color of makeup.
  • R, G, B are RGB values of the corresponding region of the simulation image.
  • R r 2 ⁇ ⁇ + r 1 ⁇ (1- ⁇ ) (1)
  • G g 2 ⁇ ⁇ + g 1 ⁇ (1- ⁇ ) (2)
  • B b 2 ⁇ ⁇ + b 1 ⁇ (1- ⁇ ) (3)
  • the order in which the composition is applied to the face in a superimposed manner (hereinafter referred to as the “application order”) is set for each of the makeups, and the image when makeup is applied is shaded in accordance with the density Suppose that it is an image.
  • the application sequence defines, for example, that the application of teak should be after application of the foundation.
  • the superposition of the images may be performed by overpainting the images of the respective makeup in the order according to the application order with respect to the photographed image.
  • makeup presenting section 180 further presents the input cosmetic information. More specifically, the makeup presenting unit 180 superimposes or adds an image or text indicating the input cosmetic information to the simulation image.
  • the display unit 190 is, for example, a display, and displays (presents) the input simulation image and the cosmetic information to the user of the makeup assisting apparatus 100.
  • makeup assisting apparatus 100 has, for example, a CPU, a storage medium such as a ROM storing a control program, and a working memory such as a RAM.
  • a CPU central processing unit
  • storage medium such as a ROM storing a control program
  • working memory such as a RAM.
  • the functions of the above-described units are realized by the CPU executing a control program.
  • the reference makeup acquiring unit 170 specifies, from the arrangement of the area of the face part, an area such as an ear or a neck in which a color approximating the color of the skin of the face of the model appears.
  • the reference makeup acquiring unit 170 is based on the color of the specified area, the distribution of shadows estimated from the arrangement of the face parts, and the distribution of colors for each face part estimated from the type of the face parts (lip etc.) , To estimate the skin color distribution.
  • the reference makeup acquiring unit 170 calculates the difference between the estimated skin color and the actual color of the image for each of the divided areas obtained by finely dividing the face area. Then, the reference makeup acquiring unit 170 determines that the divided area having the calculated difference equal to or larger than the predetermined threshold as an area subjected to makeup (hereinafter, “application divided area”).
  • the reference makeup acquiring section 170 applies the makeup of the same type to the plurality of application divided areas. It extracts as one area (hereinafter referred to as "continuous application area"). The reference makeup acquiring unit 170 determines, for each of the extracted continuous application areas, whether or not the makeup position table 510 matches any of the extraction criteria defined by (see FIG. 3). Then, the reference makeup acquiring unit 170 acquires the continuous application area that matches the extraction criteria as the application area of makeup, and the makeup is made from the color in the image of the area and the skin color estimated for the corresponding area. Get the color and application concentration of
  • Acquisition of the color and application density of makeup is performed, for example, by performing processing reverse to the above-mentioned alpha blending processing. That is, with the above-mentioned RGB values as the color of the image, r 1 , g 1 and b 1 as the skin color, and using the equations (1) to (3), r 2 , g 2 and b corresponding to the makeup color 2 and ⁇ corresponding to the concentration of makeup are calculated. However, since there are three variables while there are four variables, either one of these four variables is assumed (for example, alpha is set to a default value for each cosmetic product), or plural It is necessary to operate on the image position of to find the most probable value set.
  • Makeup support apparatus 100 having such a configuration acquires makeup applied to the face of another person for each face part from an image obtained by photographing the face, and acquires the acquired makeup as the face part of the user's face. It can be presented to the user in association with the area.
  • FIG. 6 is a flowchart showing an example of the operation of makeup assisting apparatus 100.
  • Makeup assistance apparatus 100 executes the process shown in FIG. 6 each time the user instructs start of generation of a simulation image by, for example, an operation on a display with a touch panel.
  • the first image acquisition unit 120 captures an image of the user's face (first face) in the imaging unit 110 and acquires a user image (first image).
  • FIG. 7 is a view showing an example of a user image acquired in step S1100 of FIG.
  • the user image 610 includes an image of the face of the user (hereinafter referred to as “face image”) 611. It is assumed that the user has not made makeup.
  • the first face part acquisition unit 130 acquires the face parts of the user's face (first face) from the user image 610.
  • the first face part acquisition unit 130 extracts feature points (of face parts) of the face from the user image 610 by analyzing the user image 610, for example.
  • the first face part acquisition unit 130 acquires an area formed by feature points constituting the same face part as an area of the face part.
  • the first face part acquisition unit 130 generates user face part information from the acquired area of the face part.
  • FIG. 8 is a view showing an example of arrangement of face feature points extracted in step S1200 of FIG.
  • the first facial part acquisition unit 130 acquires the area 625 surrounded by the first to fourth feature points 621 to 624 as the right eye area.
  • FIG. 9 is a diagram showing an example of user's face parts information generated in step S1200 of FIG.
  • the user's face parts information 630 describes, for example, an area 632 and a person ID 633 for each face part ID 631.
  • An area 632 is information indicating the range of the area of the face part in the image, and is, for example, a coordinate value list of a coordinate system set on the image. For example, every time shooting is started, the person ID 633 is set to a value designated by the user via an operation on the touch panel display.
  • the second image acquisition unit 140 captures an image of the face (second face) of the model in the imaging unit 110, and acquires a model image (second image).
  • FIG. 10 is a diagram showing an example of a model image acquired in step S1300 of FIG.
  • the model image 640 includes a face image 641 of the model. It is assumed that an eyebrow 642, an eye shadow 643, an eyeliner 644, a cheek 645, and a lipstick 646 are applied to the face of the model.
  • the second face part acquisition unit 150 acquires the face parts (including the feature points of the face) of the face (second face) of the model from the model image 640, and the face parts Get an area of Then, the second face part acquisition unit 150 generates model face part information from the acquired area of the face part.
  • the configuration of the model face part information is the same as the configuration of the user face part information.
  • the reference makeup acquiring unit 170 acquires makeup applied to the face of the model from the model image 640 (second image). Specifically, the reference makeup acquiring unit 170 refers to the makeup information stored in the makeup information storage unit 160 and acquires makeup for each face part from the model image 640 and the model face part information. The reference makeup acquiring unit 170 also outputs, to the makeup presenting unit 180, reference makeup information indicating the acquired makeup and cosmetics information corresponding to the acquired makeup.
  • FIG. 11 is a diagram showing an example of reference makeup information.
  • the reference makeup information 650 describes, for example, a color 652, a density 653, and a range 654 in association with the face part ID 651.
  • the color 652 is illustrated here in a simplified manner, and specifically includes RGB values, glossiness, and the like.
  • the density 653 is illustrated here in a simplified manner, but specifically, it indicates the degree of transparency and gradation when superimposing on the face image.
  • the range 654 is illustrated in a simplified manner here, specifically, it is a group of relative coordinates from a face feature point, a set of a relative position of a center point to the feature point, and a radius. That is, the set of color 652, density 653, and range 654 contains at least the information necessary for imaging makeup.
  • the reference makeup information 650 may further describe the application pattern of the skin cosmetic.
  • the coating pattern of the skin cosmetic is, for example, in the case of eye shadow, information indicating the relative range to the face part, such as an eye hole, an eye line, or under the eye.
  • step S1600 in FIG. 6 makeup presenting section 180 generates a simulation image based on the user image and the reference makeup information, and causes display section 190 to display the simulation image. At this time, makeup presenting section 180 also causes display section 190 to display the cosmetic information.
  • FIG. 12 is a view showing an example of a simulation image displayed in step S1600 of FIG.
  • the simulation image 660 is an image in which images 661 to 665 of facial makeup such as eyebrows, eyeshadows, eyeliners, cheeks, and lipsticks are superimposed on the face image 611.
  • an information display area 666 indicating cosmetic information is added to the simulation image 660. That is, in the simulation image 660, cosmetic information of a skin cosmetic necessary for applying the makeup indicated by the reference makeup information is also displayed. When the user likes the makeup indicated by the displayed simulation image 660, the user can obtain the necessary skin cosmetics based on the displayed cosmetic information, and can easily perform the actual makeup. .
  • makeup assisting apparatus 100 can display a simulation image when applying makeup similar to that of the face of another person to the face of the user.
  • makeup assisting apparatus 100 presents the user with a simulation image of the makeup of another person's face without requiring identification and input operation of makeup details by the user. be able to. Therefore, makeup assisting apparatus 100 can appropriately perform makeup assisting with reference to the makeup of another person.
  • the reference makeup acquiring unit 170 may acquire an image captured by a device other than the makeup support device 100 as a user image or a model image.
  • the makeup assisting apparatus 100 may be provided with a communication circuit for connecting to a public network such as the Internet, and the reference makeup acquiring unit 170 may acquire a necessary image via the communication circuit.
  • the reference makeup acquiring unit 170 may acquire the color and the density of the makeup from other than the actual color and the density in the model image. For example, on the same page as the photograph of the face of the model, information on cosmetics used by the model may be published as text or a two-dimensional code such as QR code (registered trademark). In such a case, the reference makeup acquiring unit 170 may extract such information from the image obtained by photographing the page, identify the cosmetic, and identify the color from the above-described makeup information. In addition, it may be possible to estimate standard concentrations from cosmetics. In such a case, the reference makeup acquiring unit 170 may estimate the concentration from the specified cosmetic with reference to a table in which the standard concentration is described for each cosmetic.
  • the reference makeup acquiring unit 170 may further acquire an image of the face of the model without makeup, and acquire makeup of the face of the model based on the difference between the image without makeup and the image on which makeup has been made.
  • both of the user image and the model image are images in which the face is photographed from the front, but the present invention is not limited to this.
  • the first image acquisition unit 120 and the first face part acquisition unit 130 acquire an image obtained by photographing a face in an oblique direction
  • the first image acquisition unit 120 and the first face part acquisition unit 130 apply a known image mapping technology to the face image
  • the shape may be mapped to generate an image when the face is viewed from the front.
  • the three-dimensional shape of the face used for the mapping may be a standard three-dimensional shape of the face, or may be a three-dimensional shape or the like acquired from the stereo image based on the stereo image.
  • makeup assisting apparatus 100 may generate and display an image obtained by photographing a face from a direction other than the front.
  • the first facial part acquisition unit 130 and the second facial part acquisition unit 150 are based on the feature points of the face as a reference between the two-dimensional coordinate system in the image and the three-dimensional coordinate system in the solid shape of the face Make an association.
  • the reference makeup acquisition unit 170 performs makeup acquisition using the three-dimensional coordinate system, and maps the acquired makeup on the two-dimensional coordinate system based on the correspondence.
  • the face of the user included in the user image is assumed to be no makeup
  • the present invention is not limited to this.
  • the first image acquisition unit 120 uses a known image processing technology (see, for example, Patent Document 4), and A makeup removal image may be generated, which is an image of the face of the user in a non-makeup state.
  • makeup presenting section 180 generates a simulation image obtained by superimposing an image showing the state of makeup when makeup is applied to the user's face on the makeup removed image, and presents the generated simulation image do it.
  • makeup assisting apparatus 100 may associate, with the cosmetic information to be displayed, link information to a web site where skin cosmetic can be purchased.
  • makeup assisting apparatus 100 can display the corresponding website via the communication network, and can assist makeup more effectively. it can. Also, for cosmetics companies, sales of cosmetics can be promoted.
  • makeup assisting apparatus 100 may generate and display a simulation image of a face in the middle of makeup instead of a simulation image of a face after all the makeup has been performed. Further, as described above, when the application order is set for each makeup as described above, the makeup support apparatus 100 may sequentially generate and display simulation images of faces in the middle of makeup according to the application order. Thereby, makeup assisting apparatus 100 can present the user with an order of appropriate makeup.
  • makeup assisting apparatus 100 may present the correspondence with the selected makeup area, and the color and density of the selected makeup by text.
  • This text is, for example, "Please apply teak of B1 company's part number b55 in a thick eye in the range of about 4 cm in diameter centered on the highest position of both cheek bones.”
  • makeup assisting apparatus 100 can perform makeup assist without generating and displaying an image.
  • makeup assisting apparatus 100 may present makeup in a method other than the simulation image.
  • makeup assisting apparatus 100 is connected to a printer for transferring a cosmetic agent for skin cosmetics to a predetermined thin film (paper-like medium).
  • the thin film easily carries the transferred cosmetic agent. For this reason, the cosmetic on the thin film is easily transferred to the skin by being pressed against the skin.
  • makeup assisting apparatus 100 instructs makeup in makeup presenting section 180 to set the same shape and area as the area in the real space of the photographed face to a thin film, and to transfer the makeup to the corresponding area.
  • the thin film may be planar or three-dimensional.
  • makeup assisting apparatus 100 can present makeup to the user on the thin film in association with the corresponding regions.
  • the user actually makes the selected makeup based on the simulation image by pressing the entire thin film against the face with the points indicating the left and right eyes printed on the thin film aligned with the left and right eyes of the user. be able to. That is, the user can easily and quickly carry out a trendy makeup without performing the operation of applying a cosmetic agent to each face part.
  • makeup assisting apparatus 100 may capture an image of the face of the user with a digital video camera or the like, and generate and display a simulation image in real time with respect to an image (frame) constituting the captured image.
  • makeup presenting section 180 sequentially generates simulation images for each of the images constituting the image and displays them on display section 190 while maintaining the makeup indicated by the reference makeup information temporarily input corresponding to the image. You should do it.
  • the presentation destination of the reference makeup information may not necessarily be the main of the face (first face) of the simulation image.
  • the main of the first face and the main of the second face may not necessarily be different persons.
  • the present invention is also suitable, for example, in a situation where it is desired to reproduce makeup made in the past but do not remember the details.
  • the makeup position table, the makeup color table, and the cosmetic table may not necessarily be stored in the makeup assisting apparatus 100.
  • makeup assisting apparatus 100 accesses a server on the network where the above table is stored, and performs generation of reference makeup information and acquisition of cosmetic information. It is good.
  • makeup assisting apparatus 100 arranges, for example, only photographing unit 110 and display unit 190 of the functional units shown in FIG. 2 on a terminal possessed by the user, and arranges other apparatus units on a server on the network.
  • a server For example, it may be a distributed system.
  • the reference makeup acquiring unit 170 may detect external light and acquire makeup from the image in a state where the influence of the external light is reduced.
  • makeup to be presented includes mascara, lip gloss and the like.
  • a makeup assisting apparatus includes: a first image acquisition unit that captures a first face and acquires a first image; and a region of a face part of the first face from the first image The first face part acquisition unit to be acquired, the second image acquisition unit to acquire a second image obtained by photographing the second face on which makeup is performed, and the second image from the second image
  • a second face part acquiring unit for acquiring an area of the face part of the face, and the second image based on the area of the face part of the second face for each face part of the second face
  • the makeup includes at least a color, a coating concentration, and a coating range of the cosmetic for skin, and the reference makeup acquiring unit is based on the area of the face part of the second face. Alternatively, at least the application range of the makeup may be acquired.
  • the second facial part acquisition unit acquires the color of the skin of the second face from the second image
  • the reference makeup acquisition unit is the color of the skin
  • the makeup presenting unit may be obtained by superimposing, on the first image, an image indicating a state of the makeup when the makeup is applied to the first face.
  • a simulation image may be generated and the generated simulation image may be presented.
  • the first image acquisition unit may make up from the first image when the first face included in the first image is in a state of being made up.
  • the simulation image obtained by superimposing the image which shows the state of may be produced
  • the makeup presenting unit may further present information on cosmetics necessary for applying the makeup.
  • the makeup assisting method of the present disclosure comprises: acquiring a first image obtained by photographing a first face; and acquiring an area of the face part of the first face from the first image; Acquiring a second image obtained by photographing a second face subjected to makeup; acquiring an area of a face part of the second face from the second image; and Acquiring makeup, which is the method of the makeup, from the second image based on the area of the face part of the second face for each face part of the face; And displaying the area corresponding to the area of the face part of the corresponding first face to the user.
  • a makeup support program causes a computer to acquire a first image obtained by capturing a first face, and acquires an area of a face part of the first face from the first image.
  • the present invention is useful as a makeup support device, a makeup support method, and a makeup support program that can appropriately perform makeup support with reference to makeup of another person.
  • makeup assisting apparatus 110 photographing unit 120 first image acquisition unit 130 first facial part acquisition unit 140 second image acquisition unit 150 second facial part acquisition unit 160 makeup information storage unit 170 reference makeup acquisition unit 180 makeup Presentation unit 190 Display unit

Abstract

　他者のメイクを参考にしたメイクアップの支援を適切に行うこと。メイクアップ支援装置１００は、第１の顔を撮影した第１の画像から、第１の顔の顔部品の領域を取得する第１の顔部品取得部１３０と、メイクアップが施された第２の顔を撮影した第２の画像から、第２の顔の顔部品の領域を取得する第２の顔部品取得部１５０と、第２の顔の顔部品毎に、第２の顔の顔部品の領域に基づいて、第２の画像から、メイクアップの仕方であるメイクを取得する参考メイク取得部１７０と、取得されたメイクを、対応する第１の顔の顔部品の領域に対応付けてユーザに提示するメイク提示部１８０と、を有する。

Description

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
　本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
　近年、顔のメイクアップの仕方（以下、単に「メイク」という）の多様化が進んでいる。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要する。このため、無数の選択肢の中から適切なメイクを選択することは、特にメイクについての十分な知識を有さない人にとって、困難である。
　そこで、メイクアップが行われたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１～特許文献３に記載されている。特許文献１～特許文献３に記載の技術（以下「従来技術」という）は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像を取得する。また、従来技術は、取得した画像に対して、口紅やチーク（頬紅）等を顔に施したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成する。そして、従来技術は、生成したシミュレーション画像を、表示装置に表示させる。
　このような従来技術では、実際にメイクアップを行うことなくメイクの良し悪しを判断することができ、より少ない時間および手間で適切なメイクを選択することが可能となる。
特開２００１－３４６６２７号公報 特開２００３－４４８３７号公報 特開２０１２－１１３７４７号公報 特開２００７－２５７１６５号公報
　ところで、メイクアップを行う人は、他者が行っているメイクが自分にも似合うか否かを確認してみたい、といった欲求を抱くことがある。例えば、友人が化粧により非常に美しく見えた場合や、斬新なメイクをしている芸能人やモデルを雑誌やテレビで見掛けた場合である。上述の従来技術によれば、所望のメイクを指定することにより、シミュレーション画像から、かかる確認を容易に行うことができる。
　ところが、他者のメイクと同様のメイクを指定するためには、まず、そのメイクの詳細（肌用化粧剤の色、塗布濃度、および塗布範囲等）を特定し、更に、特定したメイクの情報を入力する操作を行わなければならない。一方で、メイクの詳細を問い合わせることは、特に、かかる相手が芸能人やモデルである場合、難しい。また、他者が行っているメイクの詳細を判断することは、特にメイクについての十分な知識を有さない人にとっては、困難である。
　従来技術は、他者のメイクを参考にしたメイクアップの支援については考慮していない。
　本発明の目的は、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。
　本発明のメイクアップ支援装置は、第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する。
　本発明のメイクアップ支援方法は、第１の顔を撮影した、第１の画像を取得するステップと、前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する。
　本発明のメイクアップ支援プログラムは、コンピュータに、第１の顔を撮影した、第１の画像を取得する処理と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる。
　本発明によれば、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる。
本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２におけるメイク位置テーブルの一例を示す図 実施の形態２におけるメイク色テーブルの一例を示す図 実施の形態２における化粧品テーブルの一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２におけるユーザ画像の一例を示す図 実施の形態２における顔の特徴点の配置の一例を示す図 実施の形態２におけるユーザ顔部品情報の一例を示す図 実施の形態２におけるモデル画像の一例を示す図 実施の形態２における参考メイク情報の一例を示す図 実施の形態２におけるシミュレーション画像の一例を示す図
　以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　本発明の実施の形態１は、本発明の基本的態様の一例である。
　図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図１において、メイクアップ支援装置１００は、第１の画像取得部１２０、第１の顔部品取得部１３０、第２の画像取得部１４０、第２の顔部品取得部１５０、参考メイク取得部１７０、およびメイク提示部１８０を有する。
　第１の画像取得部１２０は、第１の顔を撮影した、第１の画像を取得する。第１の顔は、メイクアップのシミュレーション画像を生成する対象となる顔である。
　第１の顔部品取得部１３０は、第１の画像から、第１の顔の顔部品の領域を取得する。
　第２の画像取得部１４０は、メイクアップが施された第２の顔を撮影した、第２の画像を取得する。第２の顔は、例えば、雑誌に掲載されたモデルの顔である。
　第２の顔部品取得部１５０は、第２の画像から、第２の顔の顔部品の領域を取得する。
　参考メイク取得部１７０は、第２の顔の顔部品毎に、第２の顔の顔部品の領域に基づいて、第２の画像から、メイクアップの仕方であるメイクを取得する。
　メイク提示部１８０は、取得されたメイクを、対応する第１の顔の顔部品の領域に対応付けてユーザに提示する。ユーザは、例えば、第１の顔を有する本人等、第１の顔に対してメイクアップを行う人である。
　メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、第２の顔に施されたメイクアップのメイクを顔部品毎に取得し、取得したメイクを、第１の顔の顔部品の領域に対応付けてユーザに提示することができる。第２の顔としては、例えば、他者の顔を採用することができる。したがって、メイクアップ支援装置１００は、他者のメイクを参考にしたメイクアップの支援を、適切に行うことができる。
　（実施の形態２）
　本発明の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルカメラおよびタッチパネル付きディスプレイを備えた装置に適用した例である。
　＜用語の説明＞
　まず、本実施の形態において用いられる用語について説明する。
　「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔の印象を特徴付ける部分を指すものとする。
　「顔部品ＩＤ」とは、顔部品の識別情報である。
　「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。
　「メイク」とは、メイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。
　「参考メイク情報」とは、メイクアップの支援を受けるユーザが参考にすべきメイクとして選択されたメイクを示す情報である。
　「化粧品情報」とは、メイクを適用するための肌用化粧品に関する情報である。
　「メイク種別」とは、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクの種類である。
　「化粧品ＩＤ」とは、肌用化粧品の識別情報であり、化粧品情報を特定可能な情報である。
　＜メイクアップ支援装置の構成＞
　次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
　図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図２において、メイクアップ支援装置１００は、撮影部１１０、第１の画像取得部１２０、第１の顔部品取得部１３０、第２の画像取得部１４０、第２の顔部品取得部１５０、メイク情報格納部１６０、参考メイク取得部１７０、メイク提示部１８０、および表示部１９０を有する。
　撮影部１１０は、例えば、デジタルスチルカメラであり、画像の撮影を行う。
　第１の画像取得部１２０は、撮影部１１０を用いて、メイクアップ支援装置１００のユーザの顔（第１の顔。以下「ユーザの顔」という）の画像を撮影する。そして、第１の画像取得部１２０は、撮影されたユーザの顔の画像（第１の画像。以下「ユーザ画像」という）を取得し、第１の顔部品取得部１３０およびメイク提示部１８０へ出力する。
　第１の画像取得部１２０は、例えば、ディスプレイに「メイクアップの対象となる顔を撮影して下さい」というメッセージを表示する等、ユーザに対して顔の撮影を促すことによって、ユーザ画像の撮影を行う。なお、本実施の形態において、ユーザ画像は、ユーザの顔を正面から撮影した画像であるものとする。
　第１の顔部品取得部１３０は、入力されたユーザ画像から、ユーザの顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、ユーザ画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、第１の顔部品取得部１３０は、取得した顔部品の識別情報および領域を示す情報（以下「ユーザ顔部品情報」という）を、参考メイク取得部１７０へ出力する。
　第２の画像取得部１４０は、撮影部１１０を用いて、ユーザがメイクの参考にしようとするモデルの顔（第２の顔。以下「モデルの顔」という）の画像を撮影する。モデルの顔の画像は、例えば、ファッション雑誌に掲載された写真である。そして、撮影部１１０は、撮影されたモデルの顔の画像（第２の画像。以下「モデル画像」という）を取得し、第２の顔部品取得部１５０および参考メイク取得部１７０へ出力する。
　第２の画像取得部１４０は、例えば、ディスプレイに「参考にしたいメイクの顔を撮影して下さい」というメッセージを表示する等、ユーザに対してモデルの顔の写真撮影を促すことによって、モデル画像の撮影を行う。なお、本実施の形態において、モデル画像は、モデルの顔を正面から撮影した写真を、正面から撮影した画像であるものとする。
　第２の顔部品取得部１５０は、入力されたモデル画像から、モデルの顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、モデル画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、第２の顔部品取得部１５０は、取得した顔部品の識別情報および領域を示す情報（以下「モデル顔部品情報」という）を、参考メイク取得部１７０へ出力する。
　メイク情報格納部１６０は、メイク種別毎に、顔部品の領域との位置関係、および、メイクの色と化粧品情報との組を対応付けたメイク情報を、予め格納する。メイク情報は、例えば、メイク位置テーブル、メイク色テーブル、および化粧品テーブルを含む。また、これらの情報は、参考メイク取得部１７０から参照可能となっている。
　メイク位置テーブルは、メイク種別毎に、メイクの塗布範囲の、顔部品の領域との間の位置関係を規定するテーブルである。かかる位置関係は、言い換えると、後述の参考メイク取得部１７０が画像からメイクを抽出する際の、メイクの抽出基準である。メイク色テーブルは、メイク種別とメイクの色との組み合わせ毎に、提案すべき化粧品の化粧品ＩＤを記述したテーブルである。化粧品テーブルは、化粧品ＩＤ毎に、化粧品の詳細を記述したテーブルである。
　図３は、メイク位置テーブルの一例を示す図である。
　図３に示すように、メイク位置テーブル５１０は、顔部品ＩＤ５１１と領域５１２との組み合わせに対応付けて、メイク種別５１３を記述している。
　例えば、「Ｐ２」という顔部品ＩＤ５１１と「Ｒ２」という領域５１２との組み合わせには、「Ｔ２」というメイク種別５１３が対応付けられている。これは、「Ｐ２」という顔部品ＩＤ５１１の領域に対する「Ｒ２」という領域５１２に適用されたメイクが、「Ｔ２」というメイク種別５１３であることを示す。
　例えば、「Ｐ２」は、右目を示し、「Ｒ２」は、顔部品の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域を示しているものとする。そして、これらに対応する「Ｔ２」は、アイライナーを示しているものとする。この場合、右目の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域が存在する場合、当該領域がアイライナーの領域であるということを示す。
　図４は、メイク色テーブルの一例を示す図である。
　図４に示すように、メイク色テーブル５２０は、例えば、メイク種別５２１と色５２２との組み合わせ毎に、化粧品ＩＤ５２３を記述している。メイク種別５２１は、メイク位置テーブル５１０のメイク種別５１３に対応している。
　例えば、「Ｔ２」というメイク種別５２１と「Ｃ２」という色５２２との組み合わせには、「Ｉ２」という化粧品ＩＤ５２３が対応付けられている。これは、「Ｔ２」というメイク種別のメイクに「Ｃ２」という色を用いる場合、「Ｉ２」という化粧品ＩＤの化粧品を用いるべきであるということを表す。
　図５は、化粧品テーブルの一例を示す図である。
　図５に示すように、化粧品テーブル５３０は、化粧品ＩＤ５３１毎に、会社ＩＤ５３２および品番５３３を記述している。化粧品ＩＤ５３１は、メイク色テーブル５２０の化粧品ＩＤ５２３に対応している。会社ＩＤ５３２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番５３３は、肌用化粧品の品番である。
　例えば、「Ｉ２」という化粧品ＩＤ５３１には、「Ｂ１」という会社ＩＤ５３２および「ｂ２３」という品番５３３が対応付けられている。これは、「Ｉ２」という化粧品ＩＤが、「Ｂ１」という会社ＩＤが示す会社の、「ｂ２３」という品番の肌用化粧品であるということを示す。
　なお、メイクアップ支援装置１００において、図４に示すメイク色テーブル５２０と図５に示す化粧品テーブル５３０とは、１つのテーブルに統合されていてもよい。
　図２の参考メイク取得部１７０は、モデルの顔の顔部品毎に、モデルの顔の顔部品の領域に基づいて、モデル画像から、モデルの顔に適用されたメイクを取得する。より具体的には、参考メイク取得部１７０は、顔部品毎に、メイク位置テーブル５１０（図３参照）が規定する抽出基準に基づいて、メイクアップが施された領域の有無を検出する。そして、参考メイク取得部１７０は、メイクアップが施された領域が存在する場合、当該領域をメイクの塗布範囲として取得する。更に、参考メイク取得部１７０は、当該領域に施されたメイクアップの色および塗布濃度を、モデル画像から取得する。メイクの取得の詳細については、後述する。
　また、参考メイク取得部１７０は、取得したメイクを適用するのに必要な化粧品の化粧品情報を、取得する。この化粧品情報の取得は、例えば、メイク情報格納部１６０に格納された化粧品テーブル５３０（図５参照）を用いて行われる。
　そして、参考メイク取得部１７０は、取得したメイクを示す参考メイク情報と、取得した化粧品情報とを、メイク提示部１８０へ出力する。本実施の形態において、参考メイク情報は、少なくとも、顔の画像から、当該顔にメイクアップを施したときの画像を生成するために必要な情報を、含むものとする。
　メイク提示部１８０は、参考メイク情報が示すメイクを、対応するユーザの顔の顔部品の領域に対応付けて、ユーザに提示する。より具体的には、メイク提示部１８０は、入力されたユーザ画像および参考メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部１９０に出力する。ここで、シミュレーション画像は、入力（撮影）されたユーザ画像に、参考メイク情報が示すメイク（モデル画像から取得されたメイク）のメイクアップを施したときの画像を、重畳して得られる画像である。
　なお、画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）～（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ２、ｇ２、ｂ２は、メイクの色のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
　Ｒ ＝ ｒ2×α＋ｒ1×（１－α）　　　・・・（１）
　Ｇ ＝ ｇ2×α＋ｇ1×（１－α）　　　・・・（２）
　Ｂ ＝ ｂ2×α＋ｂ1×（１－α）　　　・・・（３）
　また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップを施したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。
　また、メイク提示部１８０は、入力された化粧品情報を、更に提示する。より具体的には、メイク提示部１８０は、上記シミュレーション画像に、入力された化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。
　表示部１９０は、例えば、ディスプレイであり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示（提示）する。
　なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　＜画像からのメイクの取得＞
　画像からメイクを取得する手法としては、例えば、以下の手法を採用することができる。
　参考メイク取得部１７０は、まず、顔部品の領域の配置から、耳や首等、モデルの顔の肌の色に近似する色が表れている領域を特定する。参考メイク取得部１７０は、特定した領域の色と、顔部品の配置から推定される陰影の分布と、顔部品の種別（唇等）から推定される顔部品毎の色の分布等に基づいて、肌の色分布を推定する。参考メイク取得部１７０は、顔領域を細かく分割した分割領域毎に、推定される肌の色と、画像での実際の色との差分を算出する。そして、参考メイク取得部１７０は、算出した差分が所定の閾値以上である分割領域を、メイクアップが施された領域（以下「塗布分割領域」）と判定する。
　参考メイク取得部１７０は、判定した塗布分割領域のうち、連続し、かつ、色が近似する複数の塗布分割領域が存在するとき、当該複数の塗布分割領域を、同一の種別のメイクアップが施された１つの領域（以下「連続塗布領域」という）として抽出する。参考メイク取得部１７０は、抽出した連続塗布領域毎に、メイク位置テーブル５１０が（図３参照）が規定する抽出基準のいずれかに合致するか否かを判定する。そして、参考メイク取得部１７０は、抽出基準に合致する連続塗布領域を、メイクの塗布範囲として取得し、当該領域の画像での色と、対応する領域について推定された肌の色とから、メイクの色および塗布濃度を取得する。
　メイクの色および塗布濃度の取得は、例えば、上述のアルファブレンド処理と逆の処理を行うことにより、行われる。すなわち、上述のＲＧＢ値を画像の色、ｒ１、ｇ１、ｂ１を肌の色とし、式（１）～（３）を用いて、メイクの色に相当するｒ２、ｇ２、ｂ２とメイクの濃度に相当するαとを算出する。但し、変数が４つであるのに対し、式は３つであるため、これら４つの変数のいずれか１つを仮定する（例えば、アルファを化粧品毎にデフォルトの値に設定する）か、複数の画像位置について演算を行い、最も確からしい値の組を求める必要がある。
　このような構成を有するメイクアップ支援装置１００は、他者の顔に適用されたメイクを、その顔を撮影した画像から顔部品毎に取得し、取得したメイクを、ユーザの顔の顔部品の領域に対応付けてユーザに提示することができる。
　＜メイクアップ支援装置の動作＞
　次に、メイクアップ支援装置１００の動作について説明する。
　図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。メイクアップ支援装置１００は、例えば、タッチパネル付きディスプレイに対する操作により、シミュレーション画像の生成開始をユーザから指示される毎に、図６に示す処理を実行する。
　まず、ステップＳ１１００において、第１の画像取得部１２０は、撮影部１１０においてユーザの顔（第１の顔）を撮影し、ユーザ画像（第１の画像）を取得する。
　図７は、図６のステップＳ１１００において取得される、ユーザ画像の一例を示す図である。
　図７に示すように、ユーザ画像６１０は、ユーザの顔の画像（以下「顔画像」という）６１１を含む。ユーザは、メイクアップをしていない状態であるものとする。
　そして、図６のステップＳ１２００において、第１の顔部品取得部１３０は、ユーザ画像６１０から、ユーザの顔（第１の顔）の顔部品を取得する。この際、第１の顔部品取得部１３０は、例えば、ユーザ画像６１０を解析することにより、ユーザ画像６１０から顔の（顔部品の）特徴点を抽出する。そして、第１の顔部品取得部１３０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、第１の顔部品取得部１３０は、取得した顔部品の領域から、ユーザ顔部品情報を生成する。
　図８は、図６のステップＳ１２００において抽出される、顔の特徴点の配置の一例を示す図である。
　図８に示すように、顔画像６１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１～第４の特徴点６２１～６２４は、右目を構成する。したがって、第１の顔部品取得部１３０は、第１～第４の特徴点６２１～６２４により囲まれる領域６２５を、右目の領域として取得する。
　図９は、図６のステップＳ１２００において生成される、ユーザ顔部品情報の一例を示す図である。
　図９に示すように、ユーザ顔部品情報６３０は、例えば、顔部品ＩＤ６３１毎に、領域６３２および人ＩＤ６３３を記述している。領域６３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ６３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
　そして、図６のステップＳ１３００において、第２の画像取得部１４０は、撮影部１１０においてモデルの顔（第２の顔）を撮影し、モデル画像（第２の画像）を取得する。
　図１０は、図６のステップＳ１３００において取得される、モデル画像の一例を示す図である。
　図１０に示すように、モデル画像６４０は、モデルの顔画像６４１を含む。モデルの顔には、アイブロウ６４２、アイシャドウ６４３、アイライナー６４４、チーク６４５、および口紅６４６が施されているものとする。
　そして、図６のステップＳ１４００において、第２の顔部品取得部１５０は、モデル画像６４０から、モデルの顔（第２の顔）の顔部品（顔の特徴点を含む）を取得し、顔部品の領域を取得する。そして、第２の顔部品取得部１５０は、取得した顔部品の領域から、モデル顔部品情報を生成する。これらの処理は、ステップ１２００で説明した処理と同様である。また、モデル顔部品情報の構成は、ユーザ顔部品情報の構成と同様である。
　そして、ステップＳ１５００において、参考メイク取得部１７０は、モデル画像６４０（第２の画像）から、モデルの顔に適用されたメイクを取得する。具体的には、参考メイク取得部１７０は、メイク情報格納部１６０に格納されたメイク情報を参照して、モデル画像６４０およびモデル顔部品情報から、顔部品毎にメイクを取得する。また、参考メイク取得部１７０は、取得したメイクを示す参考メイク情報と、取得したメイクに対応する化粧品情報とを、メイク提示部１８０へ出力する。
　図１１は、参考メイク情報の一例を示す図である。
　図１１に示すように、参考メイク情報６５０は、例えば、顔部品ＩＤ６５１に対応付けて、色６５２、濃度６５３、および範囲６５４を記述している。
　色６５２は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度６５３は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲６５４は、ここでは簡略化して図示しているが、具体的には、顔の特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色６５２、濃度６５３、および範囲６５４の組は、少なくともメイクの画像化に必要な情報を含む。
　なお、参考メイク情報６５０は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。
　そして、図６のステップＳ１６００において、メイク提示部１８０は、ユーザ画像および参考メイク情報に基づいて、シミュレーション画像を生成し、表示部１９０に表示させる。この際、メイク提示部１８０は、化粧品情報についても、表示部１９０に表示させる。
　図１２は、図６のステップＳ１６００において表示される、シミュレーション画像の一例を示す図である。
　図１２に示すように、シミュレーション画像６６０は、顔画像６１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像６６１～６６５を重畳した画像となっている。
　また、シミュレーション画像６６０には、化粧品情報を示す情報表示エリア６６６が追加されている。すなわち、シミュレーション画像６６０には、参考メイク情報が示すメイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像６６０が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。
　このような動作により、メイクアップ支援装置１００は、ユーザの顔に、他者の顔のメイクと同様のメイクを適用したときのシミュレーション画像を、表示することができる。
　＜本実施の形態の効果＞
　以上のように、本実施の形態に係るメイクアップ支援装置１００は、ユーザによるメイクの詳細の特定や入力操作を必要とせずに、他者の顔のメイクについてのシミュレーション画像を、ユーザに提示することができる。したがって、メイクアップ支援装置１００は、他者のメイクを参考にしたメイクアップの支援を、適切に行うことができる。
　＜他のメイク取得手法＞
　なお、参考メイク取得部１７０は、メイクアップ支援装置１００以外の装置で撮影された画像を、ユーザ画像あるいはモデル画像として取得してもよい。この場合、例えば、メイクアップ支援装置１００にインターネット等の公衆網に接続するための通信回路を設け、参考メイク取得部１７０は、かかる通信回路を介して、必要な画像を取得すればよい。
　また、参考メイク取得部１７０は、メイクのうち、色および濃度については、モデル画像における実際の色および濃度以外から取得してもよい。例えば、モデルの顔の写真と同じページに、モデルが使用した化粧品に関する情報が、テキストあるいはＱＲコード（登録商標）等の２次元コードで掲載されていることがある。このような場合、参考メイク取得部１７０は、当該ページを撮影した画像からかかる情報を抽出し、化粧品を特定し、上述のメイク情報から、色を特定すればよい。また、化粧品から、標準的な濃度を推定可能な場合がある。このような場合、参考メイク取得部１７０は、化粧品毎に標準的な濃度を記述したテーブルを参照して、特定した化粧品から、濃度を推定すればよい。
　また、参考メイク取得部１７０は、ノーメイクのモデルの顔の画像を更に取得し、ノーメイクの画像とメイクアップがされた画像との差分に基づいて、モデルの顔のメイクを取得してもよい。
　＜顔画像およびメイクのマッピング＞
　また、本実施の形態では、ユーザ画像およびモデル画像のいずれも、顔を正面から撮影した画像としたが、これに限定されない。例えば、第１の画像取得部１２０および第１の顔部品取得部１３０は、顔を斜め方向から撮影した画像を取得した場合、顔画像を、公知の画像マッピング技術を適用して、顔の立体形状にマッピングし、顔を正面から見たときの画像を生成してもよい。なお、マッピングに使用する顔の立体形状は、標準的な顔の立体形状を用いてもよいし、ステレオ画像に基づいて当該ステレオ画像から取得された立体形状等を用いてもよい。
　また、メイクアップ支援装置１００は、顔を正面以外の方向から撮影した画像を生成して表示してもよい。例えば、第１の顔部品取得部１３０および第２の顔部品取得部１５０は、顔の特徴点を基準として、画像における２次元座標系と、顔の立体形状における３次元座標系との間の対応付けを行う。そして、参考メイク取得部１７０は、メイクの取得を、上記３次元座標系を用いて行い、取得したメイクを、上記対応付けに基づいて、上記２次元座標系にマッピングする。
　＜メイクの除去＞
　また、本実施の形態では、ユーザ画像に含まれるユーザの顔がノーメイクであるものとしたが、これに限定されない。例えば、第１の画像取得部１２０は、ユーザ画像に含まれるユーザの顔がメイクアップされた状態であるとき、公知の画像処理技術を用いて（例えば、特許文献４参照）、ユーザ画像から、メイクアップされていない状態のユーザの顔の画像である化粧除去画像を生成してもよい。この場合、メイク提示部１８０は、化粧除去画像に、ユーザの顔に対してメイクを適用したときのメイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成したシミュレーション画像を提示すればよい。
　＜化粧品情報の応用＞
　また、メイクアップ支援装置１００は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置１００は、ユーザがメイクに対する決定操作を行ったとき、通信ネットワークを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。
　＜他の提示内容＞
　また、メイクアップ支援装置１００は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。
　また、メイクアップ支援装置１００は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。これにより、メイクアップ支援装置１００は、画像を生成および表示することなく、メイクアップ支援を行うことができる。
　＜他のメイク提示手法＞
　また、メイクアップ支援装置１００は、シミュレーション画像以外の手法で、メイクの提示を行ってもよい。
　例えば、メイクアップ支援装置１００は、肌用化粧品の化粧剤を所定の薄膜（紙状媒体）に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。
　そして、メイクアップ支援装置１００は、メイク提示部１８０において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。
　これにより、メイクアップ支援装置１００は、メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。
　ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、流行のメイクを行うことができる。
　また、メイクアップ支援装置１００は、デジタルビデオカメラ等によりユーザの顔の映像を撮影し、撮影映像を構成する画像（フレーム）に対して、リアルタイムにシミュレーション画像を生成して表示してもよい。この場合、メイク提示部１８０は、映像に対応して一旦入力された参考メイク情報が示すメイクを維持しつつ、映像を構成する画像毎に、順次、シミュレーション画像を生成して表示部１９０に表示させればよい。
　＜その他の構成の変形例＞
　また、参考メイク情報の提示先は、必ずしも、シミュレーション画像の顔（第１の顔）の主でなくてもよい。また、第１の顔の主と第２の顔の主とは、必ずしも別人でなくてもよい。本発明は、例えば、過去に行ったメイクを再現したいがその詳細を覚えていない、といった状況にも好適である。
　また、メイク位置テーブル、メイク色テーブル、および化粧品テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、参考メイク情報の生成および化粧品情報の取得を行えばよい。
　また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部１１０および表示部１９０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
　また、参考メイク取得部１７０は、外光を検出し、画像から、外光の影響を軽減した状態で、メイクの取得を行うようにしてもよい。
　また、メイクの具体的内容は、上述の例に限定されない。例えば、提示の対象となるメイクには、マスカラ、リップグロス等が含まれる。
　本開示のメイクアップ支援装置は、第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する。
　なお、上記メイクアップ支援装置において、前記メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記参考メイク取得部は、前記第２の顔の顔部品の前記領域に基づいて、前記メイクのうち少なくとも前記塗布範囲を取得してもよい。
　また、上記メイクアップ支援装置において、前記第２の顔部品取得部は、前記第２の画像から、前記第２の顔の肌の色を取得し、前記参考メイク取得部は、前記肌の色に基づいて、前記メイクを取得してもよい。
　また、上記メイクアップ支援装置において、前記メイク提示部は、前記第１の画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。
　また、上記メイクアップ支援装置において、前記第１の画像取得部は、前記第１の画像に含まれる前記第１の顔がメイクアップされた状態であるとき、前記第１の画像から、メイクアップされていない状態の前記第１の顔の画像である化粧除去画像を生成し、前記メイク提示部は、前記化粧除去画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。
　また、上記メイクアップ支援装置において、前記メイク提示部は、前記メイクを施すのに必要な化粧品に関する情報を、更に提示してもよい。
　本開示のメイクアップ支援方法は、第１の顔を撮影した、第１の画像を取得するステップと、前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する。
　本開示のメイクアップ支援プログラムは、コンピュータに、第１の顔を撮影した、第１の画像を取得する処理と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる。
　２０１３年２月１日出願の特願２０１３－０１８２７９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。
　１００　メイクアップ支援装置
　１１０　撮影部
　１２０　第１の画像取得部
　１３０　第１の顔部品取得部
　１４０　第２の画像取得部
　１５０　第２の顔部品取得部
　１６０　メイク情報格納部
　１７０　参考メイク取得部
　１８０　メイク提示部
　１９０　表示部

Claims (8)

  1. 　第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、
    　前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、
    　メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、
    　前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、
    　前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、
    　取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する、
    　メイクアップ支援装置。
  2. 　前記メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、
    　前記参考メイク取得部は、
    　前記第２の顔の顔部品の前記領域に基づいて、前記メイクのうち少なくとも前記塗布範囲を取得する、
    　請求項１に記載のメイクアップ支援装置。
  3. 　前記第２の顔部品取得部は、
    　前記第２の画像から、前記第２の顔の肌の色を取得し、
    　前記参考メイク取得部は、
    　前記肌の色に基づいて、前記メイクを取得する、
    　請求項１に記載のメイクアップ支援装置。
  4. 　前記メイク提示部は、
    　前記第１の画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
    　請求項１に記載のメイクアップ支援装置。
  5. 　前記第１の画像取得部は、
    　前記第１の画像に含まれる前記第１の顔がメイクアップされた状態であるとき、前記第１の画像から、メイクアップされていない状態の前記第１の顔の画像である化粧除去画像を生成し、
    　前記メイク提示部は、
    　前記化粧除去画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
    　請求項１に記載のメイクアップ支援装置。
  6. 　前記メイク提示部は、
    　前記メイクを施すのに必要な化粧品に関する情報を、更に提示する、
    　請求項１に記載のメイクアップ支援装置。
  7. 　第１の顔を撮影した、第１の画像を取得するステップと、
    　前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、
    　メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、
    　前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、
    　前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、
    　取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する、
    　メイクアップ支援方法。
  8. 　コンピュータに、
    　第１の顔を撮影した、第１の画像を取得する処理と、
    　前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、
    　メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、
    　前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、
    　前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、
    　取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる、
    　メイクアップ支援プログラム。
PCT/JP2014/000310 2013-02-01 2014-01-22 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム WO2014119254A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP14746577.7A EP2821959B1 (en) 2013-02-01 2014-01-22 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US14/389,018 US9812030B2 (en) 2013-02-01 2014-01-22 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
CN201480000924.XA CN104205162B (zh) 2013-02-01 2014-01-22 化妆辅助装置和化妆辅助方法
US15/010,200 US10242589B2 (en) 2013-02-01 2016-01-29 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US15/010,224 US10249211B2 (en) 2013-02-01 2016-01-29 Makeup application assistance device, makeup application assistance method, and makeup application assistance program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-018279 2013-02-01
JP2013018279A JP5991536B2 (ja) 2013-02-01 2013-02-01 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US14/389,018 A-371-Of-International US9812030B2 (en) 2013-02-01 2014-01-22 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US15/010,200 Continuation US10242589B2 (en) 2013-02-01 2016-01-29 Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US15/010,224 Continuation US10249211B2 (en) 2013-02-01 2016-01-29 Makeup application assistance device, makeup application assistance method, and makeup application assistance program

Publications (1)

Publication Number Publication Date
WO2014119254A1 true WO2014119254A1 (ja) 2014-08-07

Family

ID=51261971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000310 WO2014119254A1 (ja) 2013-02-01 2014-01-22 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Country Status (5)

Country Link
US (3) US9812030B2 (ja)
EP (1) EP2821959B1 (ja)
JP (1) JP5991536B2 (ja)
CN (1) CN104205162B (ja)
WO (1) WO2014119254A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
JP6128309B2 (ja) 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6008323B2 (ja) 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP2953090A4 (en) 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP6288404B2 (ja) 2013-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6241320B2 (ja) * 2014-02-28 2017-12-06 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN106293362A (zh) * 2015-05-20 2017-01-04 福建省辉锐电子技术有限公司 一种引导式化妆设备
JP6275086B2 (ja) * 2015-07-25 2018-02-07 株式会社オプティム サーバ、データ提供方法及びサーバ用プログラム
USD810117S1 (en) * 2016-01-14 2018-02-13 Perfect Corp. Display screen with transitional graphical user interface
GB2548087B (en) * 2016-03-02 2022-05-11 Holition Ltd Locating and augmenting object features in images
EP3423990A1 (en) 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
GB2548088B (en) * 2016-03-02 2022-05-11 Holition Ltd Augmenting object features in images
US10324739B2 (en) 2016-03-03 2019-06-18 Perfect Corp. Systems and methods for simulated application of cosmetic effects
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
US10607372B2 (en) 2016-07-08 2020-03-31 Optim Corporation Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
CN106204691A (zh) * 2016-07-19 2016-12-07 马志凌 虚拟化妆系统
CN106447739A (zh) * 2016-09-30 2017-02-22 北京美到家科技有限公司 化妆区域动态图像生成方法、美妆辅助方法及其装置
WO2018074618A1 (ko) * 2016-10-18 2018-04-26 스노우 주식회사 영상을 위한 효과 공유 방법 및 시스템
WO2018079255A1 (ja) * 2016-10-24 2018-05-03 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6986676B2 (ja) * 2016-12-28 2021-12-22 パナソニックＩｐマネジメント株式会社 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
KR101923420B1 (ko) * 2017-04-03 2019-02-27 (주)아모레퍼시픽 맞춤형 마스크 팩 제조 시스템 및 제조 방법
CN108734070A (zh) * 2017-04-24 2018-11-02 丽宝大数据股份有限公司 腮红指引装置及方法
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
CN108305317B (zh) * 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
US20190166980A1 (en) * 2017-12-01 2019-06-06 Perfect Corp. Systems and Methods for Identification and Virtual Application of Cosmetic Products
US11191341B2 (en) * 2018-01-11 2021-12-07 Casio Computer Co., Ltd. Notification device, notification method, and storage medium having program stored therein
CN108256235A (zh) * 2018-01-19 2018-07-06 上海爱优威软件开发有限公司 化妆辅导方法
CN108509846B (zh) * 2018-02-09 2022-02-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质及计算机程序产品
US10762665B2 (en) * 2018-05-23 2020-09-01 Perfect Corp. Systems and methods for performing virtual application of makeup effects based on a source image
CN110533745A (zh) * 2018-05-23 2019-12-03 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体
JP7100139B2 (ja) * 2018-09-06 2022-07-12 富士フイルム株式会社 画像処理装置、方法およびプログラム
CN109446912B (zh) 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质
TWI708164B (zh) * 2019-03-13 2020-10-21 麗寶大數據股份有限公司 虛擬彩妝系統與虛擬彩妝上色方法
TWI702538B (zh) * 2019-03-29 2020-08-21 麗寶大數據股份有限公司 運用於化妝輔助裝置的化妝輔助方法
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
CN111291642B (zh) * 2020-01-20 2023-11-28 深圳市商汤科技有限公司 一种妆容处理方法、装置、电子设备及存储介质
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
USD965004S1 (en) 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11849829B2 (en) * 2021-01-29 2023-12-26 L'oreal Remote beauty consultation system
JP7308317B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7308318B1 (ja) 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007257165A (ja) 2006-03-22 2007-10-04 Kao Corp メイクアップシミュレーション方法
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2008257381A (ja) * 2007-04-03 2008-10-23 Sony Corp 情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体
JP2010073008A (ja) * 2008-09-19 2010-04-02 Nec Corp 化粧支援装置、化粧支援方法、及びプログラム
JP2012113747A (ja) 2007-08-10 2012-06-14 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2013018279A (ja) 2011-07-14 2013-01-31 Ricoh Co Ltd 液滴吐出ヘッド、インクカートリッジ及び画像形成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371272B (zh) * 2006-01-17 2012-07-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法
JP2009064423A (ja) 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
CN101350102B (zh) * 2008-08-29 2012-10-10 北京中星微电子有限公司 一种化妆辅助方法及系统
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP6128309B2 (ja) 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
JP6008323B2 (ja) 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007257165A (ja) 2006-03-22 2007-10-04 Kao Corp メイクアップシミュレーション方法
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2008257381A (ja) * 2007-04-03 2008-10-23 Sony Corp 情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体
JP2012113747A (ja) 2007-08-10 2012-06-14 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010073008A (ja) * 2008-09-19 2010-04-02 Nec Corp 化粧支援装置、化粧支援方法、及びプログラム
JP2013018279A (ja) 2011-07-14 2013-01-31 Ricoh Co Ltd 液滴吐出ヘッド、インクカートリッジ及び画像形成装置

Also Published As

Publication number Publication date
US10249211B2 (en) 2019-04-02
US20160148532A1 (en) 2016-05-26
CN104205162B (zh) 2017-10-27
EP2821959A1 (en) 2015-01-07
US10242589B2 (en) 2019-03-26
JP2014149697A (ja) 2014-08-21
US20160143423A1 (en) 2016-05-26
EP2821959B1 (en) 2018-11-28
CN104205162A (zh) 2014-12-10
EP2821959A4 (en) 2015-12-02
US20150118655A1 (en) 2015-04-30
JP5991536B2 (ja) 2016-09-14
US9812030B2 (en) 2017-11-07

Similar Documents

Publication Publication Date Title
WO2014119254A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2014119253A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9681736B2 (en) Makeup application assistance device, makeup application assistance method, and makeup application assistance program
JP6132232B2 (ja) メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
KR101733512B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
TWI544426B (zh) 影像處理方法以及電子裝置
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
JP2008003724A (ja) 美容シミュレーションシステム
JP2007213623A (ja) 仮想化粧装置及びその方法
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
KR101827998B1 (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
JP6128356B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2013178789A (ja) 美容シミュレーションシステム
JP2011147000A (ja) 携帯端末機
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6078896B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6078897B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2018086307A (ja) メイクアップ支援装置、及びメイクアップ支援方法
JP2016116876A (ja) メイクアップ支援装置
JP6132249B2 (ja) メイクアップ支援装置、メイクアップ支援方法およびメイクアップ支援プログラム
JP6519853B2 (ja) 画像処理装置、スタイラス、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14746577

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14389018

Country of ref document: US

Ref document number: 2014746577

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE