WO2018159231A1 - メイクシミュレーション装置、方法、及び、非一時的な記憶媒体 - Google Patents

メイクシミュレーション装置、方法、及び、非一時的な記憶媒体 Download PDF

Info

Publication number
WO2018159231A1
WO2018159231A1 PCT/JP2018/003943 JP2018003943W WO2018159231A1 WO 2018159231 A1 WO2018159231 A1 WO 2018159231A1 JP 2018003943 W JP2018003943 W JP 2018003943W WO 2018159231 A1 WO2018159231 A1 WO 2018159231A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
face image
image
face
eye
Prior art date
Application number
PCT/JP2018/003943
Other languages
English (en)
French (fr)
Inventor
千枝 西
さち子 竹下
理惠子 浅井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201880005521.2A priority Critical patent/CN110121280A/zh
Priority to EP18761200.7A priority patent/EP3590385A4/en
Priority to JP2019502834A priority patent/JP6793311B2/ja
Publication of WO2018159231A1 publication Critical patent/WO2018159231A1/ja
Priority to US16/524,214 priority patent/US11145091B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a makeup simulation apparatus, method, and non-transitory storage medium.
  • make-up it is widely used to refer to makeup methods performed by others (hereinafter simply referred to as “make-up”), such as model makeup photos published in fashion magazines. .
  • make-up since there are individual differences in the arrangement, shape, and size of the facial parts, it is difficult to accurately imitate the makeup applied to the face of others.
  • Patent Document 1 there is a technique for displaying a simulation image of a face after makeup using the user's face (see, for example, Patent Document 1).
  • the technique described in Patent Document 1 (hereinafter referred to as “prior art”) superimposes a cosmetic image obtained by applying cosmetics on a face on a still image of a user's face, so that the face after makeup is applied. Generate a simulation image.
  • the user can perform makeup in a form that approaches the simulation image.
  • One aspect of the present invention provides a makeup simulation apparatus, method, and program capable of simulating a makeup whose appearance changes depending on the movement of a facial part so that the makeup looks natural regardless of the movement.
  • a makeup simulation apparatus that superimposes a makeup part on a face image in which a person's face is photographed and displays the face on a display device, wherein the appearance of the face is caused by the movement of a specific facial part
  • a different face image acquisition unit for acquiring a first face image and a second face image
  • a makeup part drawing unit for drawing a makeup part on the specific face part in the first face image
  • a makeup part deforming unit that deforms a makeup part drawn on the specific face part of the first face image in accordance with a movement of the specific face part, and the deformation to the second face image.
  • a makeup parts superimposing unit that superimposes makeup parts.
  • constituent elements are not necessarily indispensable unless otherwise specified or apparently essential in principle.
  • FIG. 1 is a block diagram showing a functional configuration of makeup simulation apparatus 10.
  • the makeup simulation apparatus 10 is an apparatus for performing makeup on a computer with respect to an image (hereinafter referred to as “face image”) obtained by photographing the face of a user to be makeup (hereinafter referred to as “user to be makeup”).
  • face image an image obtained by photographing the face of a user to be makeup
  • user to be makeup The makeup simulation device 10 causes a display device to display a makeup part superimposed on a face image in which a person's face is photographed.
  • the makeup simulation apparatus 10 includes a face image acquisition unit 15, a makeup parts drawing unit 20, a makeup parts deformation unit 30, and a makeup parts superimposing unit 40 as functions. These functions are realized by the operation of hardware such as a CPU provided in makeup simulation apparatus 10 as shown in FIG. 17 described later.
  • the face image acquisition unit 15 acquires the first face image 60 and the second face image 62 in which the appearance of the face of the user to be makeup is different due to the movement of specific face parts.
  • the makeup parts drawing unit 20 draws makeup parts on the first face image 60 of the makeup user.
  • the drawn makeup parts are referred to as “drawing makeup parts”.
  • the drawing makeup part 70 is obtained by converting makeup drawn on the face image into data, for example, raster data or vector data.
  • a user who draws makeup parts on the face image of the user to be makeup is referred to as a “make-up user”.
  • the makeup user and the user to be makeup may be the same person or different.
  • the makeup part deforming unit 30 deforms the makeup part drawn on the specific face part of the first face image 60 according to the movement of the specific face part.
  • the deformed makeup parts are referred to as “deformed makeup parts”.
  • the makeup part superimposing unit 40 superimposes the modified makeup part 72 on the second face image 62.
  • the second face image 62 and the modified makeup part 72 superimposed thereon are displayed on the display device.
  • the makeup user can easily confirm how the makeup drawn on the first face image 60 of the user to be made looks on the second face image 62 of the same user to be made. .
  • the first face image 60, the second face image 62, the drawing makeup part 70, and the modified makeup part 72 are managed in the face image management table 50 in association with each makeup user. Details of the face image management table 50 will be described later (see FIG. 8).
  • a moving facial part will be described as an eye.
  • the facial part may be another moving facial part, such as an eyebrow or a lip.
  • the makeup part is described as an eye makeup part for making the eyes.
  • the makeup parts are not limited to eye makeup parts, but may be parts that make up eyebrows, lips, cheeks, or the like.
  • the second face image 62 is a face image with eyes open
  • the first face image 60 is In the case of a face image with open eyes
  • the second face image 62 is a face image with closed eyes.
  • a face image with closed eyes is referred to as an “open eye image”
  • a face image with open eyes is referred to as an “open eye image”.
  • the makeup user can see how the eye makeup drawn on the eye-closed image looks on the eye-open image, and how the eye makeup drawn on the eye-open image looks on the eye-closed image. Can be easily confirmed.
  • FIG. 2 is a schematic diagram relating to eye makeup parts.
  • the makeup parts superimposing unit 40 superimposes eye makeup parts based on eye feature points in the face image.
  • an eye head point 80A As the eye feature points, as shown in FIG. 2A, an eye head point 80A, an eye corner point 80B, a black eye upper point 80C, a black eye lower point 80D, and a Meishan upper point 80E are set.
  • An intermediate point may be further set between the eye feature points.
  • the eye makeup parts include, for example, an upper eyelid makeup part 90A, an eyelid upper makeup part 90B, and a lower eyelid makeup part 90C as shown in FIG.
  • the upper eyelid makeup part 90A is synthesized into a face image with reference to the eye top point 80A, the eye corner point 80B, and the Meishan upper point 80E as shown in FIG. 2B, for example.
  • the overly makeup part is synthesized with a face image based on the eye head point 80A, the eye corner point 80B, and the black eye upper point 80C.
  • the lower eyelid makeup part 90C is synthesized with the face image with reference to the eye top point 80A, the eye corner point 80B, and the black eye lower point 80D, for example, as shown in FIG. 2 (d).
  • 3 and 4 are schematic diagrams relating to opening and closing of the eyes.
  • FIG. 3 is a schematic diagram in the case of a double eyelid
  • FIG. 4 is a schematic diagram in the case of a single eyelid.
  • the makeup user may draw an eye makeup part on the opening image as shown in FIG. 3A, or may draw an eye makeup part on the eye closing image as shown in FIG. 3B. is there.
  • the makeup part deformation unit 30 deforms the eye makeup part so that the eye as shown in FIG. Generate eye makeup parts for closed images.
  • the makeup part deforming unit 30 deforms the eye makeup part so that the eye as shown in FIG. Generate eye makeup parts for the open image.
  • Whether the face image is an opening image or an eye closing image is determined based on the distance L1 between the black eye upper point 80C and the black eye lower point 80D. If this distance L1 is less than a predetermined value, it is determined as a closed image, otherwise it is determined as an open image.
  • the makeup part deforming unit 30 targets the upper eyelid makeup part 90A and the eyelid upper makeup part 90B among the eye makeup parts, and does not target the lower eyelid makeup part 90C. This is because the lower eyelid makeup applied to the actual face is hardly deformed by opening and closing the eyes.
  • the makeup part superimposing unit 40 does not deform the upper eyelid makeup part 90B with respect to the closed eye image when superimposing the modified makeup part 72 on the single eyelid opening image. This makes the makeup simulation for the user who is wearing the single eyelid more realistic.
  • Whether the eyelid is a double eyelid or a single eyelid is determined by whether or not a double line exists above the eyelid in the face image. When a double line is detected, it is determined as a double eyelid, and when a double line is not detected, it is determined as a single eyelid.
  • the double line may be detected by existing image analysis means.
  • the makeup part superimposing unit 40 does not display a part of the modified makeup part 72 when a part of the modified makeup part 72 overlaps the eye region.
  • the eye region is defined as a range surrounded by the eye point 80A, the eye corner point 80B, the black eye upper point 80C, and the black eye lower point 80D. Thereby, it is possible to prevent the deformed makeup part 72 from being unnaturally superimposed on the eye area.
  • FIGS. 5A and 5B are schematic views showing an example of a method for deforming the upper eyelid makeup part 90A.
  • the makeup part deforming unit 30 extends (warps) the lower chord portion of the upper eyelid makeup part 92A drawn in the open eye image downward to warp the upper eyelid makeup part for the closed eye image. 92B is generated.
  • the makeup part deforming unit 30 extends (warps) the lower chord portion of the upper eyelid makeup part 94A drawn in the closed eye image upward, thereby warping the upper eyelid makeup part. 94B is generated.
  • the makeup part deforming unit 30 generates the upper eyelid makeup part 94B for the eye-opening image by enlarging the vertical component of the upper eyelid makeup part 94A drawn on the closed-eye image as a whole in the upward direction.
  • makeup part deforming unit 30 superimposes the upper eyelid makeup part 94A drawn on the eye-closed image as it is on the eye-opening image, and overlaps the region of the opened eye from the drawn upper eyelid makeup part. By removing the portion, the upper eyelid makeup part 90A for the opening image is generated.
  • makeup part deforming unit 30 generates a deformed upper eye makeup part from the drawn upper eye makeup part in the same manner as the upper eyelid makeup part.
  • FIG. 6 is a schematic diagram showing a modification example regarding the deformation method of the upper eyelid makeup part 90A.
  • the makeup part deforming unit 30 may generate the upper eyelid makeup part 96B for the closed eye image by deforming the upper eyelid makeup part 96A drawn in the opening image as follows.
  • the makeup part deforming unit 30 specifies the eye head point 80A and the black eye upper point 80C from the analysis result 98 of the eye feature point in the eye opening image, and the eye region associated with switching from the eye opening state to the eye closing state The deformation area inside is calculated.
  • the makeup part deforming unit 30 sets the upper eyelid makeup part 96A drawn in the opening image for each pixel column, and the height of each pixel column in the deformation region calculated by A1 for the coating of the lower part of the part.
  • the eyelid make-up part 96B for the closed-eye image is generated by moving it downward. At this time, the upper part of the part is left as it is. That is, the paint range is expanded downward in accordance with the height of each pixel column in the deformation area between the opening image and the closing image.
  • the makeup part deforming unit 30 when generating the upper eyelid makeup part 98A for the opening eye image from the upper eyelid makeup part 98B drawn in the closed eye image, the makeup part deforming unit 30 performs the following A3 instead of the above A2.
  • the makeup part deforming unit 30 moves the upper eyelid makeup part 96B drawn in the closed-eye image up by the height of each pixel column calculated in A1 for the lower part of the part in pixel column units.
  • the upper eyelid makeup part 96A for the opening image is generated.
  • the upper part of the part is left as it is. That is, the paint range is reduced upward in accordance with the height of each pixel column in the deformation area between the closed image and the open image.
  • FIG. 7 is a schematic diagram showing an example of switching between the opening image and the closing image.
  • the makeup part superimposing unit 40 draws the drawing as shown in the image 102B.
  • the deformed makeup part 104B for the makeup part 104A is superimposed on the closed-eye image.
  • the makeup part superimposing unit 40 when the makeup user draws the drawing makeup part 104B on the closed eye image as shown in the image 102B and performs the switching operation to the opening image, the makeup part superimposing unit 40, as shown in the image 102A, The deformed makeup part 104A corresponding to the drawing makeup part 104B is superimposed on the opening image.
  • the makeup user can easily know how the appearance of the makeup drawn on the face changes by opening and closing the eyes by using the makeup simulation apparatus 10.
  • FIG. 8 is a table diagram showing the configuration of the face image management table 50.
  • the face image management table 50 manages the face image of the user to be makeup, the drawn makeup part 70 drawn on the face image, and the modified makeup part 72 obtained by deforming the drawn makeup part 70 in association with each other. It is a table.
  • the face image management table 50 includes, as data items, makeup user ID 202, eye opening image 204, eye closing image 206, left eye opening makeup part 208, right eye opening makeup part 210, left eye closing makeup part 212, and right eye closing makeup part 214. , And a single eyelid flag 216.
  • the make user ID 202 stores identification information of the user to be made.
  • the eye-closed image 206 stores data of face images in which the makeup user with the makeup user ID 202 closes his eyes.
  • the right eye makeup part 210 stores eye makeup part data for the right eye of the eye opening image 204.
  • the data of the eye makeup part for the left eye of the closed-eye image 206 is stored.
  • the data of the eye makeup part for the right eye of the eye closing image 206 is stored.
  • the single eyelid flag 216 stores identification information as to whether or not the makeup user with the makeup user ID 202 has made a single eyelid. For example, “ON” is stored for a single or deep double eyelid, and “OFF” is stored for a double or triple eyelid.
  • the reason why three data are stored in the makeup part 212 is that, as described above, the eye makeup parts include the upper eyelid makeup part 90A, the upper eyelid makeup part 90B, and the lower eyelid part. This is because eyelid makeup parts 90C are included.
  • the number of data stored in each makeup part 208, 210, 212, 214 is not limited to three, and may be any number.
  • the data stored in the eye makeup parts 208 and 210 is “open eye drawing makeup parts”
  • the data stored in the eye closing makeup parts 212 and 214 in the same row (record) is “eye closing”. "Deformation makeup parts”.
  • the face image management table 50 may manage the makeup user ID 202 by associating the position information of each feature point of the left eye and right eye of the user.
  • FIG. 9 is a flowchart showing the modified makeup parts generation process.
  • the face image acquisition unit 15 acquires a face image from the face image management table 50 (ST100).
  • makeup part deforming unit 30 determines whether the acquired face image is an eye opening image or an eye closing image (ST102).
  • makeup face deforming unit 30 determines that the acquired face image is an opening image (ST102: opening image)
  • makeup part deforming unit 30 executes a process of generating a deformed makeup part of the closing image from the drawing makeup part of the opening image. (ST110), this process ends. Details of this processing will be described later (see FIG. 10).
  • the makeup part deforming unit 30 determines that the acquired face image is an eye-closed image (ST102: eye-closed image)
  • the makeup-part deforming unit 30 executes a process of generating a deformed makeup part of an opening image from a drawing makeup part of the eye-closed image. (ST112), this process ends. Details of this processing will be described later (see FIG. 11).
  • FIG. 10 is a flowchart showing a process for generating a deformed makeup part of an eye-closed image from a drawing makeup part of an opening image. This process corresponds to ST110 in FIG.
  • the face image acquisition unit 15 acquires a closed eye image corresponding to the opening image acquired in ST100 from the closed eye image 206 of the face image management table 50 (ST200).
  • makeup part deforming unit 30 detects eye feature points from the closed eye image (ST202).
  • makeup part deforming unit 30 adjusts the scale so that the closed eye image matches the open eye image (ST204). For example, the eye-closed image is enlarged or reduced so that the width of the eye of the eye-closed image (the distance between the eye top point 80A and the eye corner point 80B) is the same as the width of the eye of the eye-closed image. This is because, as described with reference to FIGS. 5A and 5B, the make-up part is deformed in the vertical component but not in the horizontal component.
  • makeup part deforming unit 30 acquires upper eyelid makeup part 90A and upper eyelid makeup part 90B from opening makeup parts 208 and 210 of face image management table 50, and lowers the lower part of these makeup parts.
  • the deformed makeup part 72 is generated by warping in the direction (ST206).
  • the makeup part deforming unit 30 creates the deformed makeup part 72 for the closed eye image, that is, the deformed upper eyelid makeup part and the upper eyelid makeup part of the face image management table 50 with the closed eye makeup.
  • the parts 212 and 214 are stored (ST208), and the process returns to ST110 of FIG.
  • FIG. 11 is a flowchart showing a process of generating a deformed makeup part of an opening image from a drawing makeup part of a closing image. This process corresponds to ST112 in FIG.
  • the face image acquisition unit 15 acquires an opening image corresponding to the closed eye image acquired in ST100 from the closed eye image 206 of the face image management table 50 (ST300).
  • makeup part deforming unit 30 detects eye feature points from the opening image (ST302).
  • makeup part deforming unit 30 adjusts the scale of the opening image so as to match the closing image (ST304). For example, the eye opening image is enlarged or reduced so that the eye width of the eye opening image (the distance between the eye top point 80A and the eye corner point 80B) is the same as the eye width of the eye closing image.
  • makeup part deforming unit 30 refers to single eyelid flag 216 of face image management table 50, and determines whether or not the eyes of the face image are single eyelids (ST306).
  • makeup part deforming unit 30 acquires the upper eyelid makeup parts from eyes closed makeup parts 212 and 214 of face image management table 50, and the acquired top The eyelid makeup parts are not deformed (as they are), but are stored in the opening makeup parts 208 and 210 of the face image management table 50 (ST310), and the process returns to ST112 in FIG.
  • makeup part deforming unit 30 acquires the upper eyelid makeup parts from eyes closed makeup parts 212, 214 of face image management table 50, and their makeup.
  • a deformed makeup part is generated by warping the lower chord part of the part upward (ST320).
  • makeup part deforming unit 30 stores the generated modified makeup part for the opening image, that is, the deformed upper eyelid makeup part, in opening makeup parts 208 and 210 of face image management table 50 (ST322). ), The process returns to ST112 in FIG.
  • FIG. 12 is a flowchart showing a display switching process from the opening image to the closing image.
  • Make-up part superimposing unit 40 acquires from the face image management table 50 an eye-closed image associated with the open-eye image being displayed (ST400).
  • makeup part superimposing section 40 adjusts the scale of the closed-eye image as described with reference to FIG. 10 (ST402).
  • the makeup part superimposing unit 40 obtains the deformed makeup parts for the upper eyelid, the drawing makeup parts for the upper eyelid, and the drawing makeup parts for the lower eyelid from the eyes closed makeup parts 212 and 214 of the face image management table 50.
  • a display image is generated by acquiring and superimposing it on the closed-eye image (ST404), and this process ends. This display image is displayed by a predetermined display device.
  • FIG. 13 is a flowchart showing display switching processing from a closed image to an open image.
  • Make-up part superimposing section 40 acquires an opening image associated with the currently closed eye image from face image management table 50 (ST450).
  • makeup part superimposing section 40 adjusts the scale of the opening image as described in FIG. 10 (ST452).
  • makeup part superimposing section 40 refers to single eyelid flag 216 of face image management table 50, and determines whether or not the face image is a single eyelid (ST454).
  • makeup part superimposing unit 40 draws upper eyelid makeup parts (that is, undeformed makeup parts) from eye makeup parts 208 and 210 of face image management table 50. Then, the drawing makeup part on the eyelid and the drawing makeup part of the lower eyelid are obtained and superimposed on the opening image to generate a display image (ST456), and this process is terminated.
  • This display image is displayed by a predetermined display device.
  • makeup part superimposing unit 40 changes the upper eyelid deformed makeup parts and the eyelid deformation from eye makeup parts 208 and 210 of face image management table 50.
  • a display image is generated by acquiring the makeup parts and the drawing makeup parts of the lower eyelid and superimposing them on the opening image (ST460), and this process is terminated. This display image is displayed by a predetermined display device.
  • FIG. 18A is a schematic diagram of an opening image.
  • FIG. 18B is a schematic diagram of a closed-eye image.
  • arc lines above the eyes shown in FIGS. 3A and 4A are detected using the three feature points 80A, 80B, and 80C in FIGS. 2A to 2D.
  • the makeup part is deformed as follows. The range of coating of the upper eyelid makeup part 90A is extended from the lower chord line 91A of the upper eyelid makeup part 90A drawn in the eye opening image to the position of the arc line 92A above the eye in the eye closing image.
  • the makeup part is deformed as follows.
  • the range of the coating of the upper eyelid makeup part 90A is reduced from the lower chord line 91A of the upper eyelid makeup part 90A drawn in the closed eye image to the position of the arc line 92A above the eye of the eye opening image.
  • the schematic diagram at the time of shifting to the opening image from the closing image of the double width makeup part is shown in FIG.
  • the coating range of makeup part 90 ⁇ / b> A is expanded upward by width D (the vertical distance between lower chord line 93 ⁇ / b> A of upper makeup part and arc line 92 ⁇ / b> A above the eye in the opening image).
  • the amount of deformation of the eye makeup parts may be different for double eyelids and triple eyelids.
  • whether or not it is a triple eyelid is determined, for example, when a line is detected between the arc line 92A above the eye and the double line 95A in the closed eye image shown in FIG. . If this line is not detected, it is determined to be double.
  • the triple eyelid when the eyes are opened, the drawn part is folded and hidden in the line ( ⁇ ). Therefore, compared with the case of the double eyelid, the upward expansion amount of the makeup range of the makeup part 90A is increased (for example, 1.1 times).
  • FIG. 14 is a schematic diagram showing a makeup parts drawing screen.
  • the makeup part drawing screen 400 is generated by, for example, the makeup part drawing unit 20, and is displayed on a display device such as a liquid crystal display or a tablet screen compatible with a touch pen, for example.
  • the makeup part drawing screen 400 includes a makeup item selection area 402, a makeup parts drawing area 404, and a preview image display area 406.
  • the makeup part drawing screen 400 is provided with an enlargement button 420, a reduction button 422, an actual size button 424, an entire button 426, and an eye opening / closing switching button 428.
  • the makeup item 430 includes, for example, an eyebrow 432, an eye shadow 434, an eye line 436, a mascara 438, and the like.
  • the makeup item 430 is associated with one or more brushes 450 for drawing the makeup item 430.
  • the eyebrow 432 is associated with a brush 450A for drawing a plurality of hairs at once.
  • This brush 450A can select the right eye and the left eye.
  • the flow of hair is reversed left and right.
  • the strength of the writing pressure corresponds to the color shading.
  • the eyebrow 432 is associated with a brush 450B for blurring eyebrows like powder.
  • the strength of the writing pressure corresponds to the color shade.
  • the eyebrow 432 is associated with a brush 450C for drawing eyebrows one by one.
  • the strength of the writing pressure corresponds to the shade of the color.
  • the eye shadow 434 is associated with a normal brush 450D, and a brush 450E corresponding to the intensity of the writing pressure.
  • the eye line 436 is associated with a brush 450F in which the strength of the writing pressure corresponds to color shading and a brush 450G in which the strength of the writing pressure corresponds to the thickness of the line.
  • the mascara 438 is associated with brushes 450H and 450I for drawing eyelashes along the shape of the eyes.
  • the brushes 450H and 450I can select the right eye and the left eye.
  • a brush 450H for drawing a C curve and a brush 450I for drawing a J curve can be selected. Details of the C curve and the J curve will be described later (see FIGS. 15A and 15B).
  • the strength of the writing pressure corresponds to the size of the mascara. That is, when drawn with a strong writing pressure, the size of the mascara is drawn large, and when drawn with a weak writing pressure, the size of the mascara is drawn small.
  • the brushes 450H and 450I can be switched between upper eyelashes and lower eyelashes. The upper and lower eyelashes have the hair flow inverted upside down.
  • the mascara 438 is associated with a brush 450J for drawing a plurality of eyelashes at once.
  • the mascara 438 is associated with a brush 450K for drawing eyelashes one by one.
  • the strength of the writing pressure corresponds to the color shading.
  • the makeup user selects these brushes 450 from the selection button 440 and draws makeup on the face image displayed in the makeup part drawing area 404.
  • the makeup drawn here becomes the drawing makeup part.
  • the reduction button 422 When the reduction button 422 is pressed, the face image displayed in the makeup part drawing area 404 is reduced.
  • an actual size face image is displayed in the makeup part drawing area 404.
  • the makeup user can draw a makeup part so as to apply an actual facial makeup.
  • the face after makeup when viewed from close can be known more realistically.
  • the whole button 426 When the whole button 426 is pressed, the entire face image is displayed in the makeup part drawing area 404. Thereby, the face after the makeup when viewed from a distance can be known more realistically.
  • the eye opening / closing switching button 428 When the eye opening / closing switching button 428 is pressed, when the eye opening image and the drawing makeup part 70 are displayed in the makeup part drawing area 404, the eye opening / closing switching button 428 switches to the display of the eye closing image and the modified makeup part 72. On the other hand, when the closed eye image and the drawn makeup part 70 are displayed in the makeup part drawing area 404, the display is switched to the display of the opening image and the modified makeup part 72. Thereby, it is possible to easily know how the makeup looks when the eyes are opened and when the eyes are closed.
  • the switching method by the touch pen button can also be used.
  • the right-eye brush is selected by default, but when drawing while pressing the button of the touch pen, the left-eye brush is selected.
  • the entire face image is displayed, and the position of the face image displayed in the makeup part drawing area with respect to the entire face image is displayed. Note that when the actual size button 424 is pressed, the face image in the preview image display area 406 may be displayed in actual size.
  • FIG. 15A is a schematic diagram showing a mascara C curve
  • FIG. 15B is a schematic diagram showing a mascara J curve.
  • the C-curve brush associated with the mascara 438 continuously draws a curve shape like a semicircle arc as shown in FIG. 15A when the brush is moved from the top of the eye toward the outside of the eye. Thereby, the makeup user can easily draw the C-curve eyelash extension on the face image.
  • the J-curve brush associated with the mascara 438 continuously draws a curve shape like a semi-elliptical arc as shown in FIG. Thereby, the makeup user can easily draw the eyelash extension of the J curve on the face image.
  • FIG. 16 is a schematic diagram showing deformation of mascara parts by opening and closing the eyes.
  • deformed makeup parts can be generated in the same manner as the above-mentioned upper eyelid makeup parts.
  • the makeup part deforming unit 30 deforms the mascara part and closes the eye-closed image as shown in FIG. Generate mascara parts for
  • Make-up part deforming unit 30 makes eyelashes so that the mascara parts sleep in a natural appearance (along the face) in the closed-eye image, in other words, the behavior of the eyelashes associated with the normal closed-eye state.
  • the mascara part may be deformed by using the points located between 80A, the corner point 80B, the black eye upper point 80C, and the black eye lower point 80D.
  • the makeup part deforming unit 30 specifies the midpoint P1 of the line segment connecting the black eye upper point 80C and the black eye lower point 80D, and further, the midpoint P1 and the black eye upper point.
  • the midpoint P2 of the line segment connecting 80C is specified.
  • makeup part deforming unit 30 deforms the mascara part drawn in the opening image using the eye top point 80A, the specified middle point P2, and the eye corner point 80B.
  • FIG. 17 is a diagram showing a hardware configuration of a computer that realizes the functions of the respective devices by a program.
  • the computer 1100 includes an input device 1101 such as a keyboard, a mouse, and a touch pad, an output device 1102 such as a display and a speaker, a CPU (Central Processing Unit) 1103, a ROM (Read Only Memory) 1104, a RAM (Random Access Memory) 1105, A storage device 1106 such as a hard disk device or SSD (Solid State Drive), a reading device 1107 that reads information from a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or a USB (Universal Serial Bus) memory, via a network
  • a network card 1108 for communication is provided, and each unit is connected by a bus 1109.
  • the reading device 1107 reads the program from a recording medium on which a program for realizing the function of each device is recorded, and stores the program in the storage device 1106.
  • the network card 1108 communicates with a server device connected to the network, and causes the storage device 1106 to store a program for realizing the functions of each device downloaded from the server device.
  • the CPU 1103 copies the program stored in the storage device 1106 to the RAM 1105, and sequentially reads out and executes the instructions included in the program from the RAM 1105, thereby realizing the functions of the respective devices.
  • the present invention is useful as a makeup simulation apparatus and a makeup simulation method capable of appropriately performing makeup simulation.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

人物の顔画像にメイクパーツ（９０Ａ，９０Ｂ,９０Ｃ）を重畳して表示装置に表示させるメイクシミュレーション装置（１０）であって、顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像（６０）及び第２の顔画像（６２）を取得する顔画像取得部（１５）と、第１の顔画像内の特定の顔パーツにメイクパーツ（９０Ａ，９０Ｂ,９０Ｃ）を描画するメイクパーツ描画部（２０）と、第１の顔画像（６０）の特定の顔パーツに描画されたメイクパーツ（９０Ａ，９０Ｂ,９０Ｃ）を、特定の顔パーツの動きに応じて変形させるメイクパーツ変形部（３０）と、第２の顔画像（６２）に、その変形されたメイクパーツを重畳するメイクパーツ重畳部（４０）と、を備える。

Description

メイクシミュレーション装置、方法、及び、非一時的な記憶媒体
　本発明は、メイクシミュレーション装置、方法及び非一時的な記憶媒体に関する。
　ファッション雑誌に掲載されたモデルの顔写真をお手本にしてメイクアップを行う等、他者が行ったメイクアップの仕方（以下、単に「メイク」という）を参考にすることは、広く行われている。ところが、顔部品の配置、形、および大きさには個人差があるため、他者の顔に施されたメイクを的確に模倣することは難しい。
　そこで、ユーザの顔を用いてメイクアップ後の顔のシミュレーション画像を表示する技術が、存在する（例えば特許文献１参照）。特許文献１に記載の技術（以下「従来技術」という）は、顔に化粧料を塗布したときの化粧料の画像を、ユーザの顔の静止画像に重畳することにより、メイクアップ後の顔のシミュレーション画像を生成する。かかる従来技術によれば、ユーザは、シミュレーション画像に近付ける形で、メイクアップを行うことができる。
特開２０１５－１７６１８１号公報
　しかしながら、実際のメイクでは顔パーツの動きによってメイクの見え方が変わる。例えば、目を閉じているときのアイメイクの見え方と、目を開けているときのアイメイクの見え方とでは大きく変わる。従来のメイクアップシミュレーションでは、このような問題に対応できていなかった。
　本発明の一態様は、顔パーツの動きによって見え方の変わる部分のメイクを、その動きに関わらず自然なメイクとして見えるようシミュレーションすることができる、メイクアップシミュレーション装置、方法及びプログラムを提供する。
　本発明の一態様に係る、人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させるメイクシミュレーション装置が、前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得する顔画像取得部と、前記第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するメイクパーツ描画部と、前記第１の顔画像の前記特定の顔パーツに描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるメイクパーツ変形部と、前記第２の顔画像に、前記変形されたメイクパーツを重畳するメイクパーツ重畳部と、を備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。また、かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本実施の形態に係るメイクシミュレーション装置の機能構成を示すブロック図 アイメイクパーツに関する模式図 二重まぶたの目の開閉に関する模式図 一重まぶたの目の開閉に関する模式図 上まぶたメイクパーツの変形方法に関する模式図 上まぶたメイクパーツの変形方法に関する模式図 上まぶたメイクパーツの変形方法に関する変形例を示す模式図 目開き画像と目閉じ画像との切り替えに関する模式図 顔画像管理テーブルの構成を示すテーブル 変形メイクパーツ生成処理を示すフローチャート 目開き画像の描画メイクパーツから目閉じ画像の変形メイクパーツを生成する処理を示すフローチャート 目閉じ画像の描画メイクパーツから目開き画像の変形メイクパーツを生成する処理を示すフローチャート 目開き画像から目閉じ画像への表示切替処理を示すフローチャート 目閉じ画像から目開き画像への表示切替処理を示すフローチャート メイクパーツ描画画面を示す模式図 マスカラのＣカーブを示す模式図 マスカラのＪカーブを示す模式図 目の開閉によるマスカラパーツの変形を示す模式図 コンピュータのハードウェア構成を示す図 目開き画像の模式図 目閉じ画像の模式図 二重幅メイクパーツの目閉じ画像から目開き画像に移行する際の模式図 目閉じ画像における三重ライン検出方法を示す図
　以下、図面を参照しながら、実施の形態を説明する。
　また、以下の実施の形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
　＜メイクシミュレーション装置の構成＞
　図１は、メイクシミュレーション装置１０の機能構成を示すブロック図である。
　メイクシミュレーション装置１０は、メイク対象のユーザ（以下「被メイクユーザ」という）の顔を撮影した画像（以下「顔画像」という）に対して、コンピュータ上でメイクを行うための装置である。メイクシミュレーション装置１０は、人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる。
　メイクシミュレーション装置１０は、機能として、顔画像取得部１５と、メイクパーツ描画部２０と、メイクパーツ変形部３０と、メイクパーツ重畳部４０とを有する。これらの機能は、後述の図１７に示すように、メイクシミュレーション装置１０が備えるＣＰＵ等のハードウェアが動作することによって実現される。
　顔画像取得部１５は、被メイクユーザの顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像６０及び第２の顔画像６２を取得する。
　メイクパーツ描画部２０は、被メイクユーザの第１の顔画像６０にメイクパーツを描画する。以下、描画されたメイクパーツを「描画メイクパーツ」という。描画メイクパーツ７０は、顔画像に描画されたメイクをデータ化したものであり、例えば、ラスタデータ又はベクタデータ等である。以下、被メイクユーザの顔画像にメイクパーツを描画するユーザを、「メイク実施ユーザ」と呼ぶ。メイク実施ユーザと被メイクユーザとは同一人物であっても良いし、異なってもよい。
　メイクパーツ変形部３０は、第１の顔画像６０の特定の顔パーツに描画されたメイクパーツを、当該特定の顔パーツの動きに応じて変形させる。以下、変形されたメイクパーツを「変形メイクパーツ」と呼ぶ。
　メイクパーツ重畳部４０は、第２の顔画像６２に、変形メイクパーツ７２を重畳する。第２の顔画像６２及びそれに重畳された変形メイクパーツ７２は、表示装置に表示される。
　これにより、メイク実施ユーザは、被メイクユーザの第１の顔画像６０に描いたメイクが、同じ被メイクユーザの第２の顔画像６２ではどのように見えるかを、容易に確認することができる。
　なお、第１の顔画像６０、第２の顔画像６２、描画メイクパーツ７０、及び、変形メイクパーツ７２は、顔画像管理テーブル５０において、被メイクユーザ毎に対応付けられて管理される。顔画像管理テーブル５０の詳細については後述する（図８参照）。
　本実施の形態では、動きのある顔パーツを目として説明する。しかし、顔パーツは、動きのある他の顔パーツ、例えば、眉又は唇等であってもよい。
　また、本実施の形態では、メイクパーツを、目をメイクするためのアイメイクパーツとして説明する。しかし、メイクパーツはアイメイクパーツに限らず、眉、唇又は頬等をメイクするパーツであってもよい。
　また、本実施の形態において、第１の顔画像６０が目を閉じている顔画像である場合は、第２の顔画像６２は目を開いている顔画像となり、第１の顔画像６０が目を開いている顔画像である場合は、第２の顔画像６２は目を閉じている顔画像となる。以下、目を閉じている顔画像を「目閉じ画像」、目を開いている顔画像を「目開き画像」と呼ぶ。
　これにより、メイク実施ユーザは、目閉じ画像に描いたアイメイクが、目開き画像ではどのように見えるか、また、目開き画像に描いたアイメイクが、目閉じ画像ではどのように見えるかを、容易に確認することができる。
　以下、本実施の形態について詳細に説明する。
　図２は、アイメイクパーツに関する模式図である。
　メイクパーツ重畳部４０は、顔画像における目の特徴点を基準として、アイメイクパーツを重畳する。
　目の特徴点として、図２（ａ）に示すように、目頭点８０Ａ、目尻点８０Ｂ、黒目上点８０Ｃ、黒目下点８０Ｄ、及び、眉山上点８０Ｅが設定される。なお、目の特徴点同士の間にさらに中間点が設定されてもよい。
　アイメイクパーツは、例えば図２（ａ）に示すように、上まぶたメイクパーツ９０Ａと、目のきわ上メイクパーツ９０Ｂと、下まぶたメイクパーツ９０Ｃとを含む。
　上まぶたメイクパーツ９０Ａは、例えば図２（ｂ）に示すように、目頭点８０Ａ、目尻点８０Ｂ及び眉山上点８０Ｅを基準として、顔画像に合成される。
　目際上メイクパーツは、例えば図２（ｃ）に示すように、目頭点８０Ａ、目尻点８０Ｂ及び黒目上点８０Ｃを基準として、顔画像に合成される。
　下まぶたメイクパーツ９０Ｃは、例えば図２（ｄ）に示すように、目頭点８０Ａ、目尻点８０Ｂ及び黒目下点８０Ｄを基準として、顔画像に合成される。
　図３及び図４は、目の開閉に関する模式図である。
　図３は二重まぶたの場合の模式図であり、図４は一重まぶたの場合の模式図である。
　メイク実施ユーザは、図３（ａ）に示すように、目開き画像にアイメイクパーツを描く場合もあれば、図３（ｂ）に示すように、目閉じ画像にアイメイクパーツを描く場合もある。
　メイクパーツ変形部３０は、目開き画像に対して図３（ａ）に示すようなアイメイクパーツが描かれた場合、そのアイメイクパーツを変形して、図３（ｂ）に示すような目閉じ画像用のアイメイクパーツを生成する。
　メイクパーツ変形部３０は、目閉じ画像に対して図３（ｂ）に示すようなアイメイクパーツが描かれた場合、そのアイメイクパーツを変形して、図３（ａ）に示すような目開き画像用のアイメイクパーツを生成する。
　顔画像が目開き画像又は目閉じ画像のどちらであるかは、黒目上点８０Ｃと黒目下点８０Ｄとの間の距離Ｌ１に基づいて判断される。この距離Ｌ１が所定値未満の場合、目閉じ画像と判断され、そうでない場合、目開き画像と判断される。
　メイクパーツ変形部３０は、アイメイクパーツのうち、上まぶたメイクパーツ９０Ａ及び目のきわ上メイクパーツ９０Ｂを変形対象とし、下まぶたメイクパーツ９０Ｃを変形対象としない。実際の顔に施された下まぶたメイクも、目の開閉によってほとんど変形しないからである。
　また、一重まぶた（及び奥二重まぶた。以下同じ）の場合、典型的には、実際の目を閉じた顔に施された目のきわ上メイクは、目を開けた場合に見えなくなる。
　したがって、図４（ｂ）に示すように、メイクパーツ重畳部４０は、一重まぶたの目開き画像に変形メイクパーツ７２を重畳する場合、上まぶたメイクパーツ９０Ｂを目閉じ画像に対して変形しない。これにより、一重まぶたの被メイクユーザに対するメイクシミュレーションがよりリアルになる。
　二重まぶた又は一重まぶたのどちらであるかは、顔画像において、目のきわの上に二重線が存在するか否かによって判断される。二重線が検出された場合は二重まぶたと判断され、二重線が検出されなかった場合は一重まぶたと判断される。なお、二重線の検出は、既存の画像解析手段によって行われてよい。
　なお、メイクパーツ重畳部４０は、変形メイクパーツ７２の一部が目の領域内と重複する場合、変形メイクパーツ７２のその一部については非表示とする。目の領域内は、目頭点８０Ａ、目尻点８０Ｂ、黒目上点８０Ｃ、及び、黒目下点８０Ｄで囲まれた範囲内として定義される。これにより、目の領域内に不自然に変形メイクパーツ７２が重畳表示されることを防止することができる。
　図５Ａ、図５Ｂは、上まぶたメイクパーツ９０Ａの変形方法に関する一例を示す模式図である。
　メイクパーツ変形部３０は、図５Ａに示すように、目開き画像に描画された上まぶたメイクパーツ９２Ａの下弦部分を下方向に引き延ばす（ワーピングする）ことにより、目閉じ画像用の上まぶたメイクパーツ９２Ｂを生成する。
　メイクパーツ変形部３０は、図５Ｂに示すように、目閉じ画像に描画された上まぶたメイクパーツ９４Ａの下弦部分を上方向に引き延ばす（ワーピングする）ことにより、目開き画像用の上まぶたメイクパーツ９４Ｂを生成する。
　または、メイクパーツ変形部３０は、目閉じ画像に描画された上まぶたメイクパーツ９４Ａの縦成分を全体的に上方向に拡大することにより、目開き画像用の上まぶたメイクパーツ９４Ｂを生成する。
　または、メイクパーツ変形部３０は、目閉じ画像に描画された上まぶたメイクパーツ９４Ａをそのまま目開き画像に重畳し、その描画された上まぶたメイクパーツからその開いている目の領域内と重複する部分を除去することにより、目開き画像用の上まぶたメイクパーツ９０Ａを生成する。
　なお、メイクパーツ変形部３０は、上記の上まぶたメイクパーツと同様の方法で、描画された目のきわ上メイクパーツから、変形された目のきわ上メイクパーツを生成する。
　図６は、上まぶたメイクパーツ９０Ａの変形方法に関する変形例を示す模式図である。
　メイクパーツ変形部３０は、次のように、目開き画像に描画された上まぶたメイクパーツ９６Ａを変形して、目閉じ画像用の上まぶたメイクパーツ９６Ｂを生成してもよい。
　（Ａ１）メイクパーツ変形部３０は、目開き画像における目の特徴点の分析結果９８から、目頭点８０Ａ及び黒目上点８０Ｃを特定し、目開き状態から目閉じ状態への切替に伴う目領域内の変形領域を算出する。
　（Ａ２）次に、メイクパーツ変形部３０は、目開き画像に描画された上まぶたメイクパーツ９６Ａを、画素の列単位で、パーツ下部の塗りをＡ１で算出した変形領域の各画素列の高さ分だけ下に移動させ、目閉じ画像用の上まぶたメイクパーツ９６Ｂを生成する。このとき、パーツ上部の塗りはそのままとする。すなわち、目開き画像と目閉じ画像との間の変形領域の各画素列の高さに応じて、塗りの範囲を下方へ拡大する。
　なお、目閉じ画像に描画された上まぶたメイクパーツ９８Ｂから、目開き画像用の上まぶたメイクパーツ９８Ａを生成する場合、メイクパーツ変形部３０は、上記Ａ２に代えて、下記Ａ３を行う。
　（Ａ３）メイクパーツ変形部３０は、目閉じ画像に描画された上まぶたメイクパーツ９６Ｂを、画素の列単位で、パーツ下部の塗りをＡ１で算出した各画素列の高さ分だけ上に移動させ、目開き画像用の上まぶたメイクパーツ９６Ａを生成する。このとき、パーツ上部の塗りはそのままとする。すなわち、目閉じ画像と目開き画像との間の変形領域の各画素列の高さに応じて、塗りの範囲を上方へ縮小する。
　図７は、目開き画像と目閉じ画像との切り替えに関する一例を示す模式図である。
　メイク実施ユーザが、画像１０２Ａに示すように、目開き画像に描画メイクパーツ１０４Ａを描き、目閉じ画像への切り替え操作を行うと、メイクパーツ重畳部４０は、画像１０２Ｂに示すように、その描画メイクパーツ１０４Ａに対する変形メイクパーツ１０４Ｂを目閉じ画像に重畳する。
　また、メイク実施ユーザが、画像１０２Ｂに示すように、目閉じ画像に描画メイクパーツ１０４Ｂを描き、目開き画像への切り替え操作を行うと、メイクパーツ重畳部４０は、画像１０２Ａに示すように、その描画メイクパーツ１０４Ｂに対する変形メイクパーツ１０４Ａを目開き画像に重畳する。
　このように、メイク実施ユーザは、メイクシミュレーション装置１０を利用することによって、顔に描いたメイクの見え方が目の開閉によってどのように変わるかを容易に知ることができる。
　＜顔画像管理テーブルの構成＞
　図８は、顔画像管理テーブル５０の構成を示すテーブル図である。
　顔画像管理テーブル５０は、被メイクユーザの顔画像と、その顔画像に描かれた描画メイクパーツ７０と、その描画メイクパーツ７０を変形させた変形メイクパーツ７２と、を対応付けて管理するためのテーブルである。
　例えば、顔画像管理テーブル５０は、データ項目として、メイクユーザＩＤ２０２、目開き画像２０４、目閉じ画像２０６、左目開きメイクパーツ２０８、右目開きメイクパーツ２１０、左目閉じメイクパーツ２１２、右目閉じメイクパーツ２１４、及び、一重まぶたフラグ２１６を有する。
　メイクユーザＩＤ２０２には、被メイクユーザの識別情報が格納される。
　目開き画像２０４には、メイクユーザＩＤ２０２の被メイクユーザが目を開いている顔画像のデータが格納される。目閉じ画像２０６には、メイクユーザＩＤ２０２の被メイクユーザが目を閉じている顔画像のデータが格納される。
　左目開きメイクパーツ２０８には、目開き画像２０４の左目に対するアイメイクパーツのデータが格納される。右目開きメイクパーツ２１０には、目開き画像２０４の右目に対するアイメイクパーツのデータが格納される。
　左目閉じメイクパーツ２１２には、目閉じ画像２０６の左目に対するアイメイクパーツのデータが格納される。右目閉じメイクパーツ２１４には、目閉じ画像２０６の右目に対するアイメイクパーツのデータが格納される。
　一重まぶたフラグ２１６には、メイクユーザＩＤ２０２の被メイクユーザが一重まぶたか否かの識別情報が格納される。例えば、一重又は奥二重まぶたの場合には「ＯＮ」、二重又は三重まぶたの場合には「ＯＦＦ」が格納される。
　メイクパーツを左目と右目とで分けている理由は、人は左目と右目とで形状が異なり、それに伴い、描かれるメイクパーツも異なるためである。
　また、図８のテーブルにおいて、メイクパーツ２１２に３つのデータが格納されている理由は、上述のとおり、アイメイクパーツには、上まぶたメイクパーツ９０Ａと、目のきわ上メイクパーツ９０Ｂと、下まぶたメイクパーツ９０Ｃとが含まれているからである。なお、各メイクパーツ２０８、２１０、２１２、２１４に格納されるデータ数は、３つに限らず、幾つであってもよい。
　また、目開きメイクパーツ２０８、２１０に格納されているデータが「目開き描画メイクパーツ」である場合、同じ行（レコード）の目閉じメイクパーツ２１２、２１４に格納されているデータは「目閉じ変形メイクパーツ」となる。
　反対に、目閉じメイクパーツ２１２、２１４に格納されているデータが「目閉じ描画メイクパーツ」である場合、同じ行（レコード）の目開きメイクパーツ２０８、２１０に格納されているデータは「目開き変形メイクパーツ」となる。
　なお、図８には示されていないが、顔画像管理テーブル５０は、メイクユーザＩＤ２０２に対して、当該ユーザの左目及び右目の各特徴点の位置情報を対応付けて管理してもよい。
　＜変形メイクパーツの生成方法＞
　次に、変形メイクパーツの生成方法について説明する。
　図９は、変形メイクパーツ生成処理を示すフローチャートである。
　顔画像取得部１５は、顔画像管理テーブル５０から顔画像を取得する（ＳＴ１００）。
　次に、メイクパーツ変形部３０は、その取得した顔画像が、目開き画像又は目閉じ画像の何れであるかを判定する（ＳＴ１０２）。
　メイクパーツ変形部３０は、その取得した顔画像が目開き画像と判定した場合（ＳＴ１０２：目開き画像）、目開き画像の描画メイクパーツから目閉じ画像の変形メイクパーツを生成する処理を実行し（ＳＴ１１０）、本処理を終了する。当該処理の詳細については後述する（図１０参照）。
　メイクパーツ変形部３０は、その取得した顔画像が目閉じ画像と判定した場合（ＳＴ１０２：目閉じ画像）、目閉じ画像の描画メイクパーツから目開き画像の変形メイクパーツを生成する処理を実行し（ＳＴ１１２）、本処理を終了する。当該処理の詳細については後述する（図１１参照）。
　図１０は、目開き画像の描画メイクパーツから目閉じ画像の変形メイクパーツを生成する処理を示すフローチャートである。当該処理は、図９のＳＴ１１０に相当する。
　顔画像取得部１５は、顔画像管理テーブル５０の目閉じ画像２０６から、ＳＴ１００で取得した目開き画像に対応する目閉じ画像を取得する（ＳＴ２００）。
　次に、メイクパーツ変形部３０は、目閉じ画像から目の特徴点を検出する（ＳＴ２０２）。
　次に、メイクパーツ変形部３０は、目閉じ画像を、目開き画像に適合するようにスケールを調整する（ＳＴ２０４）。例えば、目閉じ画像の目の横幅（目頭点８０Ａと目尻点８０Ｂとの距離）が、目閉じ画像の目の横幅と同じになるように、目閉じ画像を拡大又は縮小する。図５Ａ、図５Ｂで説明したように、メイクパーツは、縦成分は変形されるが、横成分は変形されないためである。
　次に、メイクパーツ変形部３０は、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０から、上まぶたメイクパーツ９０Ａ及び目のきわ上メイクパーツ９０Ｂを取得し、それらのメイクパーツの下弦を下方向にワーピングして変形メイクパーツ７２を生成する（ＳＴ２０６）。
　次に、メイクパーツ変形部３０は、その生成した目閉じ画像用の変形メイクパーツ７２、つまり、変形させた上まぶたメイクパーツ及び目のきわ上メイクパーツを、顔画像管理テーブル５０の目閉じメイクパーツ２１２、２１４に格納し（ＳＴ２０８）、図８のＳＴ１１０に戻る。
　図１１は、目閉じ画像の描画メイクパーツから目開き画像の変形メイクパーツを生成する処理を示すフローチャートである。当該処理は、図９のＳＴ１１２に相当する。
　顔画像取得部１５は、顔画像管理テーブル５０の目閉じ画像２０６から、ＳＴ１００で取得した目閉じ画像に対応する目開き画像を取得する（ＳＴ３００）。
　次に、メイクパーツ変形部３０は、目開き画像から目の特徴点を検出する（ＳＴ３０２）。
　次に、メイクパーツ変形部３０は、目開き画像を、目閉じ画像に適合するようにスケールを調整する（ＳＴ３０４）。例えば、目開き画像の目の横幅（目頭点８０Ａと目尻点８０Ｂとの距離）が、目閉じ画像の目の横幅と同じになるように、目開き画像を拡大又は縮小する。
　次に、メイクパーツ変形部３０は、顔画像管理テーブル５０の一重まぶたフラグ２１６を参照し、顔画像の目が一重まぶたか否かを判定する（ＳＴ３０６）。
　顔画像の目が一重まぶたである場合（ＳＴ３０６：ＹＥＳ）、メイクパーツ変形部３０は、顔画像管理テーブル５０の目閉じメイクパーツ２１２、２１４から、上まぶたメイクパーツを取得し、その取得した上まぶたメイクパーツを変形させずに（そのまま）、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０に格納し（ＳＴ３１０）、図８のＳＴ１１２に戻る。
　顔画像の目が二重まぶたである場合（ＳＴ３０６：ＮＯ）、メイクパーツ変形部３０は、顔画像管理テーブル５０の目閉じメイクパーツ２１２、２１４から、上まぶたメイクパーツを取得し、それらのメイクパーツの下弦部分を上方向にワーピングして変形メイクパーツを生成する（ＳＴ３２０）。
　そして、メイクパーツ変形部３０は、その生成した目開き画像用の変形メイクパーツ、つまり、変形させた上まぶたメイクパーツを、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０に格納し（ＳＴ３２２）、図８のＳＴ１１２に戻る。
　＜変形メイクパーツの表示方法＞
　次に、変形メイクパーツの表示方法について説明する。
　図１２は、目開き画像から目閉じ画像への表示切替処理を示すフローチャートである。
　メイクパーツ重畳部４０は、顔画像管理テーブル５０から、表示中の目開き画像に対応付けられている目閉じ画像を取得する（ＳＴ４００）。
　次に、メイクパーツ重畳部４０は、図１０で述べたように、目閉じ画像のスケールを調整する（ＳＴ４０２）。
　次に、メイクパーツ重畳部４０は、顔画像管理テーブル５０の目閉じメイクパーツ２１２，２１４から、上まぶたの変形メイクパーツ、目のきわ上の描画メイクパーツ、及び、下まぶたの描画メイクパーツを取得して目閉じ画像に重畳することより表示画像を生成し（ＳＴ４０４）、本処理を終了する。この表示画像は、所定の表示装置によって表示される。
　図１３は、目閉じ画像から目開き画像への表示切替処理を示すフローチャートである。
　メイクパーツ重畳部４０は、顔画像管理テーブル５０から、表示中の目閉じ画像に対応付けられている目開き画像を取得する（ＳＴ４５０）。
　次に、メイクパーツ重畳部４０は、図１０で述べたように、目開き画像のスケールを調整する（ＳＴ４５２）。
　次に、メイクパーツ重畳部４０は、顔画像管理テーブル５０の一重まぶたフラグ２１６を参照し、顔画像が一重まぶたであるか否かを判定する（ＳＴ４５４）。
　顔画像が一重まぶたである場合（ＳＴ４５４：ＹＥＳ）、メイクパーツ重畳部４０は、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０から、上まぶたの描画メイクパーツ（つまり未変形のメイクパーツ）、目のきわ上の描画メイクパーツ、及び、下まぶたの描画メイクパーツを取得して目開き画像に重畳することにより表示画像を生成し（ＳＴ４５６）、本処理を終了する。この表示画像は、所定の表示装置によって表示される。
　顔画像が二重まぶたである場合（ＳＴ４５４：ＮＯ）、メイクパーツ重畳部４０は、顔画像管理テーブル５０の目開きメイクパーツ２０８、２１０から、上まぶたの変形メイクパーツ、目のきわ上の変形メイクパーツ、及び、下まぶたの描画メイクパーツを取得して目開き画像に重畳することにより、表示画像を生成し（ＳＴ４６０）、本処理を終了する。この表示画像は、所定の表示装置によって表示される。
　上述では、目開閉時における、上まぶたメイクパーツ９０Ａの変形方法について、図３ないし図６を用いた変形例を説明したが、以下に説明するような変形をさらに追加してもよい。
　図１８Ａは、目開き画像の模式図である。図１８Ｂは、目閉じ画像の模式図である。図１８Ａでは、図２Ａないし図２Ｄにおける８０Ａ、８０Ｂ、８０Ｃの３点の特徴点を利用して、図３Ａ、図４Ａに示される、目の上の弧のラインを検出する。図１８Ａの目開き画像から目閉じ画像へ移行する際、メイクパーツを次のように変形する。目開き画像に描画された上まぶたメイクパーツ９０Ａの下弦ライン９１Ａから、目閉じ画像における、目の上の弧ライン９２Ａの位置まで上まぶたメイクパーツ９０Ａの塗りの範囲を拡張する。
　反対に、図１８Ｂの目閉じ画像から目開き画像へ移行する際、メイクパーツを次のように変形する。目閉じ画像に描画された上まぶたメイクパーツ９０Ａの下弦ライン９１Ａから、目開き画像の目の上の弧ライン９２Ａの位置まで上まぶたメイクパーツ９０Ａの塗りの範囲を縮小する。なお、二重幅メイクパーツの目閉じ画像から目開き画像に移行する際の模式図を図１９に示す。図１９に示すように、幅Ｄ（上メイクパーツの下弦ライン９３Ａと目開き画像における目の上の弧ライン９２Ａの上下方向の距離）だけ上方向にメイクパーツ９０Ａの塗り範囲を拡大する。
　さらに、二重まぶたの場合と三重まぶたの場合で、アイメイクパーツの変形量を異ならせてもよい。まず、三重まぶたであるか否か判定は、例えば、図２０に示す目閉じ画像において、目の上の弧ライン９２Ａと二重ライン９５Ａの間にラインが検出される場合、三重まぶたと判定する。このラインが検出されない場合は二重と判定する。三重まぶたの場合、目を開けた時に描画部分がライン（皺）の中に折り畳まれて隠れてしまう。そのため、二重まぶたの場合と比較して、メイクパーツ９０Ａの塗り範囲の上方向の拡大量を多くする（例えば１．１倍）。
　＜メイクパーツの描画＞
　図１４は、メイクパーツ描画画面を示す模式図である。
　メイクパーツ描画画面４００は、例えば、メイクパーツ描画部２０によって生成され、例えば、タッチペン対応の液晶ディスプレイ又はタブレット画面等の表示装置に表示される。
　メイクパーツ描画画面４００には、メイクアイテム選択領域４０２、メイクパーツ描画領域４０４、プレビュー画像表示領域４０６が設けられている。また、メイクパーツ描画画面４００には、拡大ボタン４２０、縮小ボタン４２２、実寸大ボタン４２４、全体ボタン４２６、及び、目開閉切り替えボタン４２８が設けられている。
　メイクアイテム選択領域４０２には、顔画像にメイクパーツを描画するための各種メイクアイテム４３０が表示される。
　メイクアイテム４３０は、例えば、アイブロウ４３２、アイシャドウ４３４、アイライン４３６、及び、マスカラ４３８等を含む。メイクアイテム４３０には、そのメイクアイテム４３０を描画するための１又は複数のブラシ４５０が対応付けられている。
　アイブロウ４３２には、複数の毛を一度に描くためのブラシ４５０Ａが対応付けられている。このブラシ４５０Ａは、右目用と左目用とを選択可能である。右目用のブラシ４５０Ａと左目用のブラシ４５０Ａとでは、毛の流れが左右反転している。このブラシ４５０Ａは、筆圧の強弱が色の濃淡に対応する。
　また、アイブロウ４３２には、パウダーのように眉毛をぼかすためのブラシ４５０Ｂが対応付けられている。このブラシ４５０Ｂは、筆圧の強弱が色の濃淡に対応する。
　また、アイブロウ４３２には、眉毛を１本ずつ描くためのブラシ４５０Ｃが対応付けられている。このブラシ４５０Ｃは、筆圧の強弱が色の濃淡に対応する。
　アイシャドウ４３４には、通常のブラシ４５０Ｄと、筆圧の強弱が色の濃淡に対応するブラシと４５０Ｅとが対応付けられている。
　アイライン４３６には、筆圧の強弱が色の濃淡に対応するブラシ４５０Ｆと、筆圧の強弱が線の太さに対応するブラシ４５０Ｇとが対応付けられている。
　マスカラ４３８には、目の形状に沿って睫毛を描いていくためのブラシ４５０Ｈ、４５０Ｉが対応付けられている。このブラシ４５０Ｈ、４５０Ｉは、右目用と左目用とを選択可能である。また、Ｃカーブを描くためのブラシ４５０Ｈと、Ｊカーブを描くためのブラシ４５０Ｉとを選択可能である。Ｃカーブ、Ｊカーブの詳細については後述する（図１５Ａ、図１５Ｂ参照）。このブラシ４５０Ｈ、４５０Ｉは、筆圧の強弱がマスカラのサイズの大小に対応する。すなわち、強い筆圧で描くとマスカラのサイズが大きく描かれ、弱い筆圧で描くとマスカラのサイズが小さく描かれる。また、ブラシ４５０Ｈ、４５０Ｉは、上睫毛用と下睫毛用に切り替え可能である。上睫毛用と下睫毛用とでは毛の流れが上下反転している。
　また、マスカラ４３８には、複数の睫毛を一度に描くためのブラシ４５０Ｊが対応付けられている。
　また、マスカラ４３８には、睫毛を１本ずつ描くためのブラシ４５０Ｋが対応付けられている。このブラシは、筆圧の強弱が色の濃淡に対応する。
　メイク実施ユーザは、選択ボタン４４０からこれらのブラシ４５０を選択して、メイクパーツ描画領域４０４に表示されている顔画像にメイクを描く。ここで描かれたメイクが、描画メイクパーツとなる。
　拡大ボタン４２０は、押下されると、メイクパーツ描画領域４０４に表示されている顔画像が拡大する。
　縮小ボタン４２２は、押下されると、メイクパーツ描画領域４０４に表示されている顔画像が縮小する。
　実寸大ボタン４２４は、押下されると、実寸大の顔画像がメイクパーツ描画領域４０４に表示される。これにより、メイク実施ユーザは、実際の顔のメイクを施すように、メイクパーツを描くことができる。また、近くから見たときのメイク後の顔をよりリアルに知ることができる。
　全体ボタン４２６は、押下されると、顔画像の全体がメイクパーツ描画領域４０４に表示される。これにより、遠くから見たときのメイク後の顔をよりリアルに知ることができる。
　目開閉切り替えボタン４２８は、押下されると、メイクパーツ描画領域４０４に目開き画像及び描画メイクパーツ７０が表示されている場合、目閉じ画像及び変形メイクパーツ７２の表示に切り替える。反対に、メイクパーツ描画領域４０４に目閉じ画像及び描画メイクパーツ７０が表示されている場合、目開き画像及び変形メイクパーツ７２の表示に切り替える。これにより、目を開いたときと目を閉じたときのメイクの見え方を容易に知ることができる。
　また、図１４のメイクパーツ描画画面において、例えば、アイブロウ４３２やマスカラ４３８のように右目用と左目用のブラシがある場合、GUI上の左右選択ボタンによる切り替え以外に、タッチペンのボタンによる切り替え方法でもよい。例えば、デフォルトは右目用のブラシが選択されているが、タッチペンのボタンを押しながら描画する場合は左目用のブラシが選択される。
　プレビュー画像表示領域４０６には、顔画像の全体が表示されると共に、顔画像の全体に対するメイクパーツ描画領域に表示されている顔画像の位置が表示される。なお、実寸大ボタン４２４が押下されると、プレビュー画像表示領域４０６の顔画像が実寸大に表示される構成であってもよい。
　図１５ＡはマスカラのＣカーブを示す模式図であり、図１５ＢはマスカラのＪカーブを示す模式図である。
　マスカラ４３８に対応付けられているＣカーブ用のブラシは、ブラシを目頭から目尻に向かって移動させると、図１５Ａに示すように、半円の弧のようなカーブ形状を連続的に描く。これにより、メイク実施ユーザは、Ｃカーブの睫毛エクステンションを、顔画像に簡単に描くことができる。
　マスカラ４３８に対応付けられているＪカーブ用のブラシは、ブラシを目頭から目尻に向かって移動させると、図１５Ｂに示すように、半楕円の弧のようなカーブ形状を連続的に描く。これにより、メイク実施ユーザは、Ｊカーブの睫毛エクステンションを、顔画像に簡単に描くことができる。
　図１６は、目の開閉によるマスカラパーツの変形を示す模式図である。
　マスカラパーツについても、上述の上まぶたメイクパーツと同様に、変形メイクパーツを生成することができる。
　メイクパーツ変形部３０は、目開き画像に対して図１６（ａ）に示すようなマスカラパーツが描かれた場合、そのマスカラパーツを変形して、図１６（ｂ）に示すような目閉じ画像用のマスカラパーツを生成する。
　メイクパーツ変形部３０は、目閉じ画像において、マスカラパーツが自然な見た目となるよう寝るように（顔面に沿うよう）、言い換えれば、通常の目閉じ状態に伴うまつ毛の挙動となるよう、目頭点８０Ａと、目尻点８０Ｂと、黒目上点８０Ｃ及び黒目下点８０Ｄの間に位置する点を用いて、マスカラパーツを変形させてよい。
　例えば、メイクパーツ変形部３０は、図１６（ａ）に示すように、黒目上点８０Ｃ及び黒目下点８０Ｄを結ぶ線分の中点Ｐ１を特定し、さらに、その中点Ｐ１と黒目上点８０Ｃとを結ぶ線分の中点Ｐ２を特定する。そして、メイクパーツ変形部３０は、目頭点８０Ａと、その特定した中点Ｐ２と、目尻点８０Ｂとを用いて目開き画像に描かれたマスカラパーツを変形させる。
　＜ハードウェア構成＞
　以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した装置１０の機能は、コンピュータプログラムにより実現され得る。
　図１７は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１１００は、キーボードやマウス、タッチパッドなどの入力装置１１０１、ディスプレイやスピーカーなどの出力装置１１０２、ＣＰＵ（Central Processing Unit）１１０３、ＲＯＭ（Read Only Memory）１１０４、ＲＡＭ（Random Access Memory）１１０５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置１１０６、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１１０７、ネットワークを介して通信を行うネットワークカード１１０８を備え、各部はバス１１０９により接続される。
　そして、読取装置１１０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１１０６に記憶させる。あるいは、ネットワークカード１１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１１０６に記憶させる。
　そして、ＣＰＵ１１０３が、記憶装置１１０６に記憶されたプログラムをＲＡＭ１１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１１０５から順次読み出して実行することにより、上記各装置の機能が実現される。
　上述した実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
　本発明は、メイクアップのシミュレーションを適切に行うことができる、メイクアップシミュレーション装置およびメイクアップシミュレーション方法として有用である。
　１０　メイクシミュレーション装置
　１５　顔画像取得部
　２０　メイクパーツ描画部
　３０　メイクパーツ変形部
　４０　メイクパーツ重畳部
　５０　顔画像管理テーブル

Claims (10)

  1. 　人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーション装置であって、
    　前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得する顔画像取得部と、
    　前記第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するメイクパーツ描画部と、
    　前記第１の顔画像の前記特定の顔パーツに描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるメイクパーツ変形部と、
    　前記第２の顔画像に、前記変形されたメイクパーツを重畳するメイクパーツ重畳部と、
    　を備えるメイクシミュレーション装置。
  2. 　前記メイクパーツは、アイメイクパーツであり、
    　前記第１の顔画像が目を閉じている顔画像である場合、前記第２の顔画像は目を開いている顔画像であり、
    　前記第１の顔画像が目を開いている顔画像である場合、前記第２の顔画像は目を閉じている顔画像である、
    　請求項１に記載のメイクシミュレーション装置。
  3. 　前記メイクパーツ変形部は、
    　　前記第１の顔画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合、
    　　前記目を閉じている顔パーツに描画されたアイメイクパーツの下弦部分を上方向に引き延ばして、前記目を開いている顔パーツ用に変形させる、
    　請求項２に記載のメイクシミュレーション装置。
  4. 　前記メイクパーツ変形部は、
    　　前記第１の顔画像が目を開いている顔画像であり、前記第２の顔画像が目を閉じている顔画像である場合、
    　　前記目を開いている顔パーツに描画されたアイメイクパーツの下弦部分を下方向に引き延ばして、前記目を閉じている顔パーツ用に変形させる、
    　請求項２又は３に記載のメイクシミュレーション装置。
  5. 　前記メイクパーツ変形部は、
    　　前記第１の画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合、
    　　前記目を閉じている顔パーツに描画されたアイメイクパーツの縦成分を全体的に上方向に拡大して、前記目を開いている顔パーツ用に変形させる、
    　請求項２又は３に記載のメイクシミュレーション装置。
  6. 　前記メイクパーツ変形部は、
    　　前記第１の画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合、
    　　前記目を閉じている顔パーツに描画されたアイメイクパーツをそのまま目を開いている顔画像に重畳した場合にその開いている目の領域内と重複する部分を、当該アイメイクパーツから除去して、前記目を開いている顔パーツ用に変形させる、
    　請求項２又は３に記載のメイクシミュレーション装置。
  7. 　前記アイメイクパーツは、上まぶたのメイクパーツと、目のきわ上のメイクパーツと、下まぶたのメイクパーツとを含み、
    　前記メイクパーツ変形部は、前記上まぶたのメイクパーツを変形対象とする、
    　請求項２乃至６の何れか１項に記載のメイクシミュレーション装置。
  8. 　前記メイクパーツ重畳部は、
    　　前記第１の顔画像が目を閉じている顔画像であり、前記第２の顔画像が目を開いている顔画像である場合であって、
    　　前記第１及び第２の顔画像のまぶたが一重又は奥二重である場合、前記第１の顔画像において表示される前記上まぶたのメイクパーツを変形せずに、前記第２の顔画像に重畳して表示する、
    　請求項７に記載のメイクシミュレーション装置。
  9. 　人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーション方法であって、
    　前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得し、第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するステップと、
    　前記第１の顔画像に描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるステップと、
    　前記第２の顔画像に、前記変形されたメイクパーツを重畳するステップと、
    　を備える、メイクシミュレーション方法。
  10. 　人物の顔が撮影されている顔画像にメイクパーツを重畳して表示装置に表示させる、メイクシミュレーションプログラムであって、
    　前記顔の外見が特定の顔パーツの動きに起因して相違している、第１の顔画像及び第２の顔画像を取得し、前記第１の顔画像内の前記特定の顔パーツにメイクパーツを描画するステップと、
    　前記第１の顔画像に描画されたメイクパーツを、前記特定の顔パーツの動きに応じて変形させるステップと、
    　前記第２の顔画像に、前記変形されたメイクパーツを重畳するステップと、
    　をコンピュータに実行させるメイクシミュレーションプログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体。
PCT/JP2018/003943 2017-02-28 2018-02-06 メイクシミュレーション装置、方法、及び、非一時的な記憶媒体 WO2018159231A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880005521.2A CN110121280A (zh) 2017-02-28 2018-02-06 化妆模拟装置、方法以及非瞬时性存储介质
EP18761200.7A EP3590385A4 (en) 2017-02-28 2018-02-06 MAKEUP SIMULATION DEVICE, METHOD AND NON-TRANSITORIAL STORAGE MEDIUM
JP2019502834A JP6793311B2 (ja) 2017-02-28 2018-02-06 メイクシミュレーション装置、方法、及び、記憶媒体
US16/524,214 US11145091B2 (en) 2017-02-28 2019-07-29 Makeup simulation device, method, and non-transitory recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017037296 2017-02-28
JP2017-037296 2017-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/524,214 Continuation US11145091B2 (en) 2017-02-28 2019-07-29 Makeup simulation device, method, and non-transitory recording medium

Publications (1)

Publication Number Publication Date
WO2018159231A1 true WO2018159231A1 (ja) 2018-09-07

Family

ID=63370754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003943 WO2018159231A1 (ja) 2017-02-28 2018-02-06 メイクシミュレーション装置、方法、及び、非一時的な記憶媒体

Country Status (5)

Country Link
US (1) US11145091B2 (ja)
EP (1) EP3590385A4 (ja)
JP (1) JP6793311B2 (ja)
CN (1) CN110121280A (ja)
WO (1) WO2018159231A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021049088A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
JP2021049087A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3664035B1 (en) * 2018-12-03 2021-03-03 Chanel Parfums Beauté Method for simulating the realistic rendering of a makeup product
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
EP4075326A4 (en) * 2021-02-23 2022-12-14 Beijing Sensetime Technology Development Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIA
US11837019B1 (en) * 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693768B1 (en) * 2012-07-10 2014-04-08 Lisa LaForgia Cosmetic base matching system
WO2015029372A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015176181A (ja) 2014-03-13 2015-10-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
US20160125229A1 (en) * 2014-11-03 2016-05-05 Anastasia Soare Facial structural shaping

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027618A1 (en) * 2002-06-03 2004-02-12 Fuji Photo Film Co., Ltd. Image defect detecting method
US8218909B2 (en) * 2007-08-30 2012-07-10 Siemens Aktiengesellschaft System and method for geodesic image matching using edge points interpolation
EP2386239A4 (en) * 2009-05-12 2012-08-15 Olympus Medical Systems Corp IN VIVO IMAGING SYSTEM OF THE SUBJECT AND IN VIVO INTRODUCTION DEVICE IN THE FIELD
JP5928839B2 (ja) * 2013-12-19 2016-06-01 フリュー株式会社 画像処理装置および画像処理方法
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US9691165B2 (en) * 2015-07-24 2017-06-27 Disney Enterprises, Inc. Detailed spatio-temporal reconstruction of eyelids

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693768B1 (en) * 2012-07-10 2014-04-08 Lisa LaForgia Cosmetic base matching system
WO2015029372A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015176181A (ja) 2014-03-13 2015-10-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
US20160125229A1 (en) * 2014-11-03 2016-05-05 Anastasia Soare Facial structural shaping

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3590385A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021049088A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
JP2021049087A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7347070B2 (ja) 2019-09-24 2023-09-20 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7351165B2 (ja) 2019-09-24 2023-09-27 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
EP3590385A4 (en) 2020-03-25
US20190347832A1 (en) 2019-11-14
JP6793311B2 (ja) 2020-12-02
EP3590385A1 (en) 2020-01-08
CN110121280A (zh) 2019-08-13
JPWO2018159231A1 (ja) 2019-12-12
US11145091B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
WO2018159231A1 (ja) メイクシミュレーション装置、方法、及び、非一時的な記憶媒体
US9990757B2 (en) Enhancing video chatting
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US9846803B2 (en) Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium
CN109844800B (zh) 虚拟化妆装置和虚拟化妆方法
US8550818B2 (en) System and method for providing and modifying a personalized face chart
JP4753025B2 (ja) メイクアップシミュレーション方法
US20180253895A1 (en) System and method for creating a full head 3d morphable model
WO2018079255A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
BR102012033722A2 (pt) Sistema e método para simulação de maquiagem em dispositivos portáteis equipados com câmera digital
JPWO2018012136A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
EP2998926A1 (en) Portrait generating device and portrait generating method
CN108024071A (zh) 视频内容生成方法、视频内容生成装置及存储介质
JP2009104570A (ja) 画像の形成用のデータ構造及び画像の形成方法
EP4150514A1 (en) High-resolution controllable face aging with spatially-aware conditional gans
JP6672414B1 (ja) 描画プログラム、記録媒体、描画制御装置、描画制御方法
JP2013257844A (ja) 画像変換装置、画像変換方法及びプログラム
JPH1125253A (ja) 眉描画方法
KR100654396B1 (ko) 컴퓨터를 이용한 3차원 얼굴 이미지 변환 장치 및헤어스타일 시뮬레이션 장치
CN105513009B (zh) 一种信息处理方法和电子设备
JP2010073222A (ja) メイクアップシミュレーション方法
JP2010206260A (ja) 画像再生装置、デジタルカメラ及び画像再生プログラム
US20240177389A1 (en) Apparatus and method for creating avatar

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18761200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502834

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018761200

Country of ref document: EP

Effective date: 20190930