WO2015029372A1 - メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム Download PDF

Info

Publication number
WO2015029372A1
WO2015029372A1 PCT/JP2014/004219 JP2014004219W WO2015029372A1 WO 2015029372 A1 WO2015029372 A1 WO 2015029372A1 JP 2014004219 W JP2014004219 W JP 2014004219W WO 2015029372 A1 WO2015029372 A1 WO 2015029372A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
image
face
correction
unit
Prior art date
Application number
PCT/JP2014/004219
Other languages
English (en)
French (fr)
Inventor
智史 山梨
理惠子 浅井
あおい 牟田
千枝 西
香織 安食
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015533971A priority Critical patent/JP6375480B2/ja
Priority to EP14839288.9A priority patent/EP3039990B1/en
Priority to CN201480003129.6A priority patent/CN104822292B/zh
Publication of WO2015029372A1 publication Critical patent/WO2015029372A1/ja
Priority to US14/715,610 priority patent/US9846803B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a makeup support device, a makeup support system, a makeup support method, and a makeup support program that support facial makeup.
  • makeup face makeup methods
  • Patent Document 1 and Patent Document 2 For example, techniques for generating and presenting a simulation image of a face when makeup is applied are described in Patent Document 1 and Patent Document 2, for example.
  • the techniques described in Patent Literature 1 and Patent Literature 2 acquire an image (hereinafter referred to as “face image”) obtained by photographing a face to be makeupd (hereinafter simply referred to as “face”).
  • face image an image obtained by photographing a face to be makeupd
  • face image an image indicating a makeup state when makeup is applied to the face
  • makeup image an image indicating a makeup state when makeup is applied to the face
  • Patent Document 1 can accept a correction setting for a makeup image included in a displayed simulation image from a user.
  • Patent Literature 1 and Patent Literature 2 it is possible to determine whether makeup is good or bad without actually performing makeup. That is, it is possible to select an appropriate makeup with less time and effort.
  • the user can easily perform a makeup simulation for a makeup that has been modified by default as a makeup simulation target (hereinafter referred to as “corrected makeup”). it can.
  • An object of the present disclosure is to provide a makeup support apparatus, a makeup support system, a makeup support method, and a makeup support that make it possible to easily apply a modified makeup created by a user to another user. Is to provide a program.
  • a makeup support apparatus generates a simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the face on an image obtained by photographing the face.
  • a correction information recording unit that records correction information.
  • a makeup support system is a makeup support system including a first makeup support apparatus and a second makeup support apparatus, wherein the first makeup support apparatus includes a first makeup support apparatus and a first makeup support apparatus.
  • a first simulation image that is obtained by superimposing a makeup image indicating a state when makeup is applied to the first face on a first image obtained by photographing the face of A makeup presenting unit; a makeup modifying unit that accepts a modification to the makeup image included in the generated first simulation image from the user; and a region of the makeup image after the modification with respect to a facial feature point
  • a correction information recording unit for recording correction information, which is indicated by using a relative position, and the second makeup support apparatus A correction acquisition unit that acquires correction information; and a second image obtained by superimposing the corrected makeup image on a second image obtained by photographing the second face based on the acquired correction information.
  • a second makeup presenting unit that generates a simulation image.
  • a makeup support method generates a simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the face on an image obtained by photographing the face.
  • Correction information indicating a step of receiving a correction to the makeup image included in the generated simulation image from a user, and a region of the makeup image after the correction using a relative position with respect to a facial feature point Recording.
  • a makeup support program is a simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the face on an image obtained by photographing the face on a computer.
  • the comprehensive or specific mode may be realized by a recording medium such as a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the comprehensive or specific aspect may be realized by any combination of a system, a method, an integrated circuit, a computer program, or a recording medium.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a makeup support apparatus according to Embodiment 1 of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a makeup support apparatus according to Embodiment 2 of the present disclosure.
  • the figure which shows an example of the content of the makeup table in Embodiment 2 The figure which shows an example of the content of the makeup information table in Embodiment 2 FIG.
  • FIG. 10 is a diagram showing an example of specific contents of a makeup range in the second embodiment
  • the first embodiment of the present disclosure is an example of a basic aspect of the present disclosure.
  • FIG. 1 is a block diagram showing an example of the configuration of a makeup support apparatus according to the present embodiment.
  • makeup support apparatus 100 includes makeup presentation unit 270, makeup correction unit 290, and correction information recording unit 300.
  • the makeup presentation unit 270 generates a simulation image obtained by superimposing a makeup image indicating a makeup state when makeup is applied to the face on an image obtained by photographing the face.
  • Make-up correction unit 290 receives a correction for the makeup image included in the generated simulation image from the user.
  • the correction information recording unit 300 records correction information indicating the region of the makeup image after correction using a relative position with respect to the facial feature point.
  • makeup support apparatus 100 has a CPU (Central Processing Unit), a storage medium such as a ROM (Read Only Memory) storing a control program, and a working memory such as a RAM (Random Access Memory). .
  • a CPU Central Processing Unit
  • storage medium such as a ROM (Read Only Memory) storing a control program
  • working memory such as a RAM (Random Access Memory).
  • the function of each unit described above is realized by the CPU executing the control program.
  • Such a makeup support apparatus 100 can record a region of a makeup image of a modified makeup created by a certain user using a relative position with respect to a facial feature point.
  • a face feature point is information that can be acquired from a face, usually regardless of individual differences in size, shape, and arrangement of facial parts. Therefore, makeup assisting apparatus 100 makes it possible to easily apply the modified makeup created by a certain user to other users.
  • the second embodiment of the present disclosure is an example of a specific aspect of the present disclosure.
  • the present embodiment is an example in which the present disclosure is applied to an apparatus including a digital video camera and a display with a touch panel.
  • facial parts refers to parts constituting the face, such as eyes, eyebrows, nose, cheek bones, lips, and contours.
  • “Face part ID” is identification information of a face part.
  • “Face feature points” are feature points of facial parts such as eyebrows, eyebrows, eyes, and eyes on the image or in real space.
  • “Face feature point ID” is identification information of a face feature point.
  • “Makeup” refers to the method (type) of makeup that improves the aesthetics by correcting the impression of facial parts such as eyebrow and eyeshadow. Color, coating concentration, and coating range of the pigment At least.
  • Makeup information is information indicating the contents of makeup, and at least information necessary to generate an image when makeup is applied to the face from the face image (difference from the face color). Information).
  • Makeup type is a type of makeup that is distinguished by at least a positional relationship with a facial part, such as “foundation”, “eyebrow”, “eyeshadow”, “lipstick”, and “teak”.
  • Makeup ID is makeup identification information.
  • Makeup image is an image showing the state of makeup when makeup is applied to the face.
  • FIG. 2 is a block diagram showing an example of the configuration of the makeup support apparatus according to the present embodiment.
  • makeup assisting apparatus 100 includes imaging unit 210, image acquisition unit 220, feature point acquisition unit 230, reference point setting unit 240, makeup information storage unit 250, makeup selection unit 260, and makeup presentation unit 270. , A display unit 280, a makeup correction unit 290, and a correction information recording unit 300.
  • the photographing unit 210 is a digital video camera, for example, and photographs a face image to be subjected to a makeup simulation. Then, the imaging unit 210 outputs the captured video to the image acquisition unit 220.
  • the video is composed of a plurality of time-series images (frame images). In the present embodiment, it is assumed that the face targeted for makeup simulation is the face of the user of makeup assisting apparatus 100.
  • the image acquisition unit 220 sequentially acquires images constituting the video from the input video. Then, the image acquisition unit 220 outputs the acquired image (hereinafter referred to as “captured image”) to the makeup presentation unit 270 and the feature point acquisition unit 230. Note that the image acquisition unit 220 desirably performs image processing for horizontally flipping the captured image in order to give the user a sense of performing makeup while looking at the mirror.
  • the photographed image includes a face image portion (hereinafter referred to as “face image”) to be subjected to the makeup simulation.
  • the feature point acquisition unit 230 acquires the facial feature points of each facial part from the input captured image.
  • the facial feature points are acquired, for example, by matching each partial region of the captured image with a template image of each facial part prepared in advance and set with the facial feature point positions (see, for example, Patent Document 3). ). Then, the feature point acquisition unit 230 outputs the face feature point information to the reference point setting unit 240.
  • the face feature point information is information indicating the identification information and position of each acquired face feature point. Details of the facial feature points will be described later.
  • makeup assisting apparatus 100 may appropriately modify the template image of the facial part in accordance with the orientation of the user's face, and match the deformed template image with the captured image.
  • makeup assisting apparatus 100 includes, for example, a detection unit that detects the orientation of the face included in the captured image from the captured image. Accordingly, makeup assisting apparatus 100 can flexibly follow the movement of the user's face and acquire facial feature points from the facial image.
  • the reference point setting unit 240 sets a face reference point in the face image based on a predetermined rule with the face feature point acquired from the photographed image as a reference.
  • the face reference point is a point for determining the position of the region of the makeup image, and is a point that is a target of the makeup reference point described later.
  • the reference point setting unit 240 outputs the face reference point information to the makeup presenting unit 270 and the makeup correcting unit 290.
  • the face reference point information is information indicating the identification information and position of the set face reference point.
  • the reference point setting unit 240 sets the initial position of the face reference point to the position of the face feature point. Then, when correction information is input from a makeup correction unit 290 described later (that is, after correction is set), the reference point setting unit 240 resets the position of the face reference point according to the correction information.
  • the makeup information storage unit 250 stores a makeup table and a makeup information table.
  • the makeup table defines a plurality of makeup patterns that are makeup patterns for the entire face.
  • the makeup information table describes makeup information for each makeup type constituting the makeup pattern.
  • the makeup information is information describing the contents of makeup in association with the area of the facial part (position of the facial feature point). Details of the contents of the makeup table and makeup information table will be described later.
  • makeup information is information describing the contents of makeup in association with facial feature points. More specifically, the makeup information is information indicating a region of a default makeup image before correction described later using a relative position with respect to the face feature point. More specifically, the makeup information is information indicating the position of the makeup reference point with respect to the region of the makeup image.
  • the makeup reference point is a point that is a target of alignment with the face reference point set in the face image with respect to the makeup image. That is, the face reference point and makeup reference point are reference points for the position of the makeup image region with respect to the face image.
  • Makeup selection unit 260 receives a selection operation for selecting one of a plurality of makeups described in the makeup information table from the user. Such a selection operation is performed, for example, via the above-described display with a touch panel. Then, makeup selection section 260 obtains the selected display makeup from the makeup information table, and outputs the selected display makeup to makeup presentation section 270.
  • the makeup presentation unit 270 generates a simulation image obtained by superimposing the makeup image of the selected makeup based on the makeup information. More specifically, makeup presenting section 270 determines the makeup image region for the face image by matching the position of the makeup reference point of the makeup image with the position of the set face reference point. . Then, makeup presentation unit 270 outputs the generated simulation image to display unit 280. Details of the simulation image generation method will be described later.
  • Display unit 280 includes, for example, a display portion of the above-described display with a touch panel.
  • the display unit 280 displays the simulation image based on the input image data of the simulation image. More specifically, the display unit 280 sequentially displays simulation images along the captured video.
  • Make-up correcting unit 290 receives, for example, correction for a makeup image included in the generated simulation image from the user via the above-described display with a touch panel.
  • the correction includes at least one of translation, rotation, enlargement, reduction, and deformation of the makeup image.
  • Makeup correction unit 290 generates correction information and outputs the correction information to correction information recording unit 300 and reference point setting unit 240.
  • the correction information is information indicating the region of the makeup image after correction using a relative position with respect to the facial feature point, and includes reference point difference information.
  • the reference point difference information is information indicating how the face reference point has moved from the default position. More specifically, the reference point difference information is obtained by using the face coordinate system and the position of the makeup reference point (face reference point position) in the corrected makeup image area with respect to the default position of the face reference point. It is information indicating a difference. Details of the face coordinate system and details of the makeup image correction method will be described later.
  • the correction information recording unit 300 records the input correction information. More specifically, the correction information recording unit 300 stores the correction information in a storage medium that can be used by a user of an apparatus other than the makeup support apparatus 100. Such recording is performed, for example, by connecting to a communication network such as the Internet and transmitting to a shared server on the communication network.
  • a communication network such as the Internet
  • the makeup support apparatus 100 includes, for example, a CPU, a storage medium such as a ROM storing a control program, and a working memory such as a RAM, although not shown. In this case, the function of each unit described above is realized by the CPU executing the control program.
  • Such a makeup support apparatus 100 can record a region of a makeup image of a modified makeup created by a certain user using a relative position with respect to a facial feature point.
  • FIG. 3 is a diagram illustrating an example of face feature points.
  • a plurality of face feature points 412 are extracted for each face part.
  • the face feature point 412 is mainly located at the edge, acute angle portion, central portion, etc. of the face part.
  • the arrangement of the facial feature points 412 varies depending on the face.
  • FIG. 4 is a diagram illustrating an example of a face coordinate system.
  • the face coordinate system 421 includes, for example, an axis passing through the center 422 of the left eye and the center 423 of the right eye as the X axis, orthogonal to the X axis, and the center 422 of the left eye and the center 423 of the right eye
  • This is a coordinate system in which the axis passing through the midpoint between is the Y axis.
  • the unit length of the face coordinate system is desirably a length proportional to the distance between the plurality of face feature points, such as a length based on the distance between the center of the left eye and the center of the right eye. .
  • the face coordinate system is not limited to the example shown in FIG.
  • the face coordinate system may be defined by an axis passing through the nose tip and the right eye corner and an axis passing through the nose tip and the left eye corner.
  • these axes may be individually defined for each makeup type such as cheek, eye shadow, and eyebrow.
  • FIG. 5 is a diagram showing an example of the contents of the makeup table stored in makeup information storage section 250.
  • makeup table 430 describes makeup pattern 431 and makeup ID 432 in association with each other.
  • the makeup pattern 431 is illustrated here in a simplified manner. Specifically, the makeup pattern 431 includes text information representing an image related to makeup such as “cute” and “cool”.
  • the makeup selection unit 260 receives the above-described makeup selection operation from the user by displaying text information such as “cute” and “cool” of the makeup pattern 431 as options, for example.
  • FIG. 6 is a diagram showing an example of the contents of the makeup information table stored in makeup information storage section 250.
  • makeup information table 440 describes, for example, makeup ID 441, makeup type 442, color 443, density 444, and range 445 in association with each other. These constitute makeup information.
  • the makeup ID 441 corresponds to the makeup ID 432 (see FIG. 5) of the makeup table 430.
  • the makeup type 442 is illustrated here in a simplified manner, and specifically includes “eyebrow”, “foundation”, “eyeshadow”, “lipstick”, “teak”, and the like.
  • the set of the color 443, the density 444, and the range 445 includes at least information necessary for imaging a state where makeup has been applied.
  • the color 443 is illustrated in a simplified manner here, but specifically, is an RGB value, a glossiness, and the like.
  • the density 444 is illustrated here in a simplified manner. Specifically, the density 444 includes a transparency and a gradation method when superimposed on the face image.
  • the range 445 is illustrated here in a simplified manner, but specifically is a relative range of the application area with respect to one or more makeup reference points.
  • FIG. 7 is a diagram showing an example of specific contents of the left eye eye shadow range 445 (see FIG. 6).
  • the eye shadow range 445 of the left eye is composed of a combination of three makeup reference points 451 and an application region 452 in which a relative position with respect to the makeup reference point 451 is set. These relative positional relationships are defined, for example, using a coordinate system based on makeup reference point 451.
  • makeup table 430 and makeup information table 440 may be periodically updated from a server on the Internet, for example, via a communication circuit (not shown) provided in makeup assisting apparatus 100. desirable. Further, makeup table 430 shown in FIG. 5 and makeup information table 440 shown in FIG. 6 may be integrated into one table.
  • FIG. 8 is a diagram illustrating an example of a simulation image generation method.
  • the makeup presentation unit 270 performs processing for aligning each of the three makeup reference points 451 with the corresponding three face reference points 453 while maintaining the relative position of the application region 452 with respect to the three face reference points 453 (Hereinafter referred to as “reference point matching process”).
  • the relative positional relationship (the shape of the triangle 454) of the three face reference points 453 does not necessarily match the relative positional relationship (the shape of the triangle 455) of the three makeup reference points 451. Further, when the resolution of the face image and the resolution of the default makeup image indicated by the makeup information are combined, the relative distance between the three face reference points 453 (the size of the triangle 454) is three makeups. It does not necessarily coincide with the relative distance (the size of the triangle 455) between the up reference points 451.
  • the makeup presenting unit 270 enlarges, reduces, or deforms the application region 452 using a known image processing technique such as affine transformation, so that the reference point Perform the fitting process.
  • makeup presentation unit 270 generates a makeup image using application region 452 after the reference point matching process is performed. Then, makeup presentation unit 270 generates a simulation image by superimposing the makeup image of the selected makeup using the application region after the reference point matching process is performed on the face image.
  • the makeup image is generated based on, for example, facial part information and makeup information.
  • the superimposition of the image in the simulation image is performed by a known image synthesis process such as an alpha ( ⁇ ) blend process.
  • the ⁇ value in this case is set to a value corresponding to the makeup density.
  • the alpha blend process is expressed by, for example, the following formulas (1) to (3).
  • r1, g1, and b1 are RGB values of an arbitrary region of the captured image.
  • R2, g2, and b2 are RGB values of an arbitrary region of the makeup image.
  • R, G, and B are RGB values of the corresponding region of the simulation image.
  • the order in which the makeup is applied over the face (hereinafter referred to as “application order”) is set for each makeup, and the makeup image is a shaded image having a density corresponding to the density.
  • the application sequence defines, for example, that the application of cheek should be after the application of the foundation.
  • makeup presentation unit 270 may perform image superimposition on the eyebrow erased face image by overcoating each makeup image in the order corresponding to the application order.
  • makeup presentation unit 270 when performing makeup simulation including eyebrow, makeup presentation unit 270 preferably generates a simulation image using an image obtained by erasing the eyebrows from the photographed image.
  • a technique for erasing the eyebrows from the captured image a known image processing technique such as the technique described in Patent Document 4 can be employed.
  • makeup correcting section 290 selects makeup to be corrected from makeup displayed in the simulation image. Then, makeup correction unit 290 selects a correction type to be executed from among correction types such as translation, rotation, enlargement / reduction, and deformation. Furthermore, makeup correction section 290 determines the degree of correction for the selected correction type. Note that the order of correction types for correction may be determined in advance, or may be arbitrarily selected by the user.
  • Make-up correction unit 290 receives the selection of makeup, selection of correction type, and determination of the degree of correction from the user via the touch panel display described above. Specifically, makeup correcting section 290 first displays makeup options and correction type options. Then, makeup correction unit 290 accepts a drag operation on the face reference point when makeup and a correction type are selected. It is desirable that makeup correction unit 290 displays the position of the face reference point with a marker on the simulation image. Then, makeup correction unit 290 generates correction information indicating a difference from the initial state of the face reference point when a predetermined operation indicating completion of correction is performed.
  • FIG. 9 is a diagram illustrating an example of how the face reference point moves during parallel movement.
  • makeup correcting section 290 acquires the movement direction and movement amount of face reference point 453 on which the drag operation has been performed. Then, as shown in FIG. 9, makeup correcting section 290 moves all other face reference points 453 of the makeup to be corrected in the same manner as face reference point 453 on which the drag operation has been performed. Move in the same direction and with the same amount of movement.
  • the resolution of translation is, for example, 1 / 100th of the distance between the center of the right eye and the center of the left eye.
  • the maximum movement amount from the initial state is, for example, the distance between the center of the right eye and the center of the left eye.
  • the parallel movement is represented by, for example, differences ⁇ X and ⁇ Y in the face coordinate system with respect to the initial position of the face reference point 453 after the parallel movement.
  • FIG. 10 is a diagram illustrating an example of how the face reference point moves during rotation.
  • makeup correcting section 290 acquires the rotation direction and rotation angle of face reference point 453 on which the drag operation has been performed with respect to a predetermined correction reference point 461. Then, as shown in FIG. 10, makeup correcting section 290 sets all other face reference points 453 of the makeup subject to correction to the correction reference point 461 in the same rotational direction and Rotate at the same rotation angle.
  • Rotation resolution is, for example, 0.01 degree.
  • the maximum rotation angle from the initial state is ⁇ 45 degrees.
  • Rotation is represented, for example, by a counterclockwise rotation angle ⁇ of the face reference point 453 after translation with respect to the initial position.
  • FIG. 11 is a diagram illustrating an example of the movement of the face reference point during enlargement / reduction.
  • makeup correcting section 290 acquires the X-axis direction distance and the Y-axis direction distance from predetermined correction reference point 461 of face reference point 453 on which the drag operation has been performed. Then, makeup correction unit 290 obtains an enlargement / reduction rate RX of the distance in the X-axis direction from correction reference point 461 with respect to the initial state, and an enlargement / reduction rate RY of the distance in the Y-axis direction from correction reference point 461 with respect to the initial state. To do. Then, as shown in FIG. 11, makeup correcting section 290 uses the same enlargement / reduction ratio to determine the distances from all the other face reference points 453 of the makeup to be corrected to the correction reference point 461. Change with.
  • the resolution of enlargement / reduction is, for example, 1%.
  • the range of enlargement / reduction is 50% to 200%.
  • FIG. 12 is a diagram showing an example of how the face reference point moves during deformation.
  • makeup correcting section 290 does not move other face reference points 453 of the makeup to be corrected, and moves the movement direction and movement amount of face reference point 453 where the drag operation has been performed. get.
  • the deformation is represented by, for example, identification information of the face reference point 453 on which the drag operation is performed, and differences ⁇ X and ⁇ Y in the face coordinate system of the face reference point 453 with respect to the initial position.
  • the correction reference point 461 necessary for rotation and enlargement / reduction is, for example, the face reference point of the eyebrow head in eyebrow and nose shadow.
  • the correction reference point 461 is a face reference point at the center of the black eye.
  • the correction reference point 461 does not necessarily coincide with the position of the face reference point 453.
  • the correction reference point 461 may be the center position of the face or the barycentric position of the face reference point for each makeup.
  • the correction reference point may be different for each correction type.
  • the correction reference point 461 may be arbitrarily set by the user.
  • makeup correcting unit 290 may accept corrections for left and right makeups for symmetrical makeup such as eyebrow, or may apply corrections made for one makeup to the other makeup. It may be reflected in the up (that is, linked to the left and right).
  • the correction information generated through the above correction includes, for example, the movement amount in the X-axis direction ( ⁇ X), the movement amount in the Y-axis direction ( ⁇ Y), the rotation amount ( ⁇ ), X for each reference point. It includes an axial scale (RX) and a Y-axis scale (RY).
  • FIG. 13 is a flowchart showing an example of the operation of makeup support apparatus 100.
  • step S1100 the image capturing unit 210 starts capturing a video of the user's face, and the image acquisition unit 220 starts acquiring captured images constituting the captured video.
  • the feature point acquisition unit 230 starts acquiring facial parts included in the captured image.
  • the feature point acquisition unit 230 extracts a feature point (a face part) of the face from the photographed image, for example, by analyzing the photographed image. Then, the feature point acquisition unit 230 generates face feature point information from the acquired face feature points.
  • FIG. 14 is a diagram illustrating an example of a captured image acquired in step S1100 of FIG.
  • the captured image 510 includes a user's face image 511.
  • the user is not in makeup.
  • face feature points as shown in FIG. 3 are extracted from the photographed image 510 to generate face feature point information.
  • FIG. 15 is a diagram showing an example of face feature point information generated in step S1100 of FIG.
  • the face feature point information 520 describes a face feature point position 523 and a person ID 524 for each combination of a face part ID 521 and a face feature point ID 522, for example.
  • the face part ID 521 is identification information of face parts such as the left eye and the upper lip.
  • the face feature point ID 522 is identification information of face feature points such as a face feature point of the eyebrow head and a face feature point of the center of the eye.
  • the face feature point position 523 is the position of the face feature point, and is represented by a coordinate value in the face coordinate system, for example.
  • the person ID 524 is person identification information. As the person ID 524, for example, a value designated by the user through an operation on a display with a touch panel or the like is set every time shooting is started.
  • step S1200 of FIG. 13 makeup selecting section 260 selects makeup and outputs makeup information to makeup presenting section 270.
  • the reference point setting part 240 sets a face reference point based on face feature point information and a predetermined rule. That is, the reference point setting unit 240 sets the position of the face feature point as the initial position of the face reference point. Then, the reference point setting unit 240 generates face reference point information and outputs it to the makeup presenting unit 270.
  • FIG. 16 is a diagram showing an example of face reference point information generated in step S1300 of FIG.
  • the face reference point information 530 describes the face reference point position 533, the correction reference position 534, and the person ID 535 for each combination of the face part ID 531 and the face reference point ID 532.
  • the face part ID 531 and the person ID 535 correspond to the face part ID 521 and the person ID 524 of the face feature point information 520, respectively.
  • the face reference point position 533 is the position of the face reference point, and is represented by, for example, a coordinate value in the face coordinate system.
  • the correction reference position 534 is the position of the correction reference point, and is represented by, for example, a coordinate value in the face coordinate system.
  • step S1400 of FIG. 13 makeup presenting unit 270 determines the makeup image application area for the face image in such a manner that the makeup reference point is aligned with the position of the face reference point indicated by the face reference point information. To do. Then, in the determined application region, the makeup image is superimposed on the face image to generate a simulation image. Then, the display unit 280 displays the generated simulation image.
  • FIG. 17 is a diagram showing an example of a simulation image generated in step S1400 of FIG.
  • the simulation image 540 is an image in which makeup images 541 to 545 such as eyebrow, eyeshadow, eyeliner, teak, and lipstick images are superimposed on the face image 511.
  • makeup images 541 to 545 such as eyebrow, eyeshadow, eyeliner, teak, and lipstick images are superimposed on the face image 511.
  • step S1500 of FIG. 13 makeup correction unit 290 determines whether or not a correction operation has been performed on the makeup image. Specifically, this correction operation is, for example, a drag operation on the face reference point. If there is a correction operation for the makeup image (S1500: YES), makeup correction unit 290 advances the process to step S1600. If there is no correction operation for the makeup image (S1500: NO), makeup correction section 290 advances the process to step S1900 described later.
  • step S1600 makeup correction unit 290 outputs correction information indicating the content of the correction operation to reference point setting unit 240.
  • the reference point setting unit 240 moves the position of the makeup reference point according to the correction information, and generates a corrected simulation image.
  • FIG. 18 is a diagram showing an example of the corrected simulation image generated in step S16 of FIG.
  • the face reference point is dragged so that the application area of the eye shadow 542 expands upward and outward.
  • makeup correction unit 290 determines whether or not an operation for recording the correction content (hereinafter referred to as “recording operation”) has been performed.
  • This recording operation is, for example, a click operation of a predetermined icon. If no recording operation is performed (S1700: NO), makeup correcting unit 290 advances the process to step S1900 described later. If makeup operation is performed (S1700: YES), makeup correcting unit 290 advances the process to step S1800.
  • step S1800 makeup correction unit 290 stores (records) correction information indicating the correction contents at that time in a storage medium that can be used by a user of a device other than makeup support device 100.
  • FIG. 19 is a diagram showing an example of correction information recorded in step S1800 of FIG.
  • the correction information 550 describes the position difference 553 and the person ID 554 for each combination of the face part ID 551 and the face reference point ID 552.
  • the part ID 551, the face reference point ID 552, and the person ID 554 correspond to the face part ID 531, the face reference point ID 532, and the person ID 535 of the face reference point information 530, respectively.
  • the position difference 553 is, for example, the above-described movement amount in the X-axis direction ( ⁇ X), movement amount in the Y-axis direction ( ⁇ Y), rotation amount ( ⁇ ), scale in the X-axis direction (RX), and Y-axis direction. Scale (RY).
  • step S1900 of FIG. 13 the image acquisition unit 220 determines whether or not video input is continued. If the input of video continues (S1900: YES), the image acquisition unit 220 returns the process to step S1300 and moves the process to the next captured image. Further, the image acquisition unit 220 ends the series of processes when the input of the video is completed (S1900: NO).
  • the correction information is information describing the correction content of the makeup image using the relative position with respect to the facial feature points as described above. Therefore, for example, in another device, it is possible to generate a simulation image by synthesizing a makeup image in which the correction content indicated by the correction information is applied to the face image of another user.
  • the procedure in which the other device generates the simulation image is the same as the procedure in which the makeup support device 100 generates the simulation image, for example.
  • the other device (other makeup support device) needs to have a correction acquisition unit that acquires the correction information recorded by the makeup support device 100.
  • the other device includes a makeup presentation unit that generates another simulation image obtained by superimposing the modified makeup image on the image obtained by photographing another face based on the obtained modification information. It is necessary to have.
  • the makeup to which the correction information is applied may be the same makeup as the makeup subject to the modification, or may be a makeup different from the makeup subject to the modification. Good.
  • the correction information may be applied to makeup having a color different from that of the makeup to be corrected.
  • FIG. 20 shows an example of a simulation image when the recorded correction information is applied to the face of another user.
  • the created modified makeup can be applied even to a face image 561 of a face different from the face of the simulation image in which the modified makeup is created. That is, the eye shadow 562 is adapted to the face image 561, and the application area is expanded upward and outward in the same manner as the original correction makeup.
  • makeup assisting apparatus 100 can record a region of a makeup image of a modified makeup created by a certain user using a relative position with respect to a facial feature point.
  • a face feature point is information that can be acquired from a face, usually regardless of individual differences in size, shape, and arrangement of facial parts. Therefore, such makeup assisting apparatus 100 makes it possible to easily apply the modified makeup created by one user to other users.
  • makeup support apparatus 100 may include a plurality of makeup support apparatuses 100, and may constitute a makeup support system that shares correction information among the plurality of makeup support apparatuses 100.
  • the makeup support system has the above-described server arranged on the communication network, and collects and accumulates correction information generated by each makeup support apparatus 100 in the server.
  • the server analyzes the makeup trend from the collected correction information, and proposes the correction makeup to the user of each makeup support apparatus 100 based on the analysis result. Good. Further, the server may generate makeup information based on the analysis result and distribute it to each makeup support apparatus 100.
  • correction information is not limited to the above example.
  • the correction information may indicate a difference between the position of the makeup reference point after movement with respect to the position of the default makeup reference point by moving the makeup reference point.
  • makeup selection unit 260 may automatically select makeup suitable for facial features, or may automatically select trendy makeup.
  • makeup support apparatus 100 may access a server on the network storing the table and select makeup.
  • makeup support apparatus 100 arranges, for example, only photographing unit 210 and display unit 280 among the functional units shown in FIG. 2 on a terminal owned by the user, and arranges other device units on a server on the network.
  • a distributed system may be used.
  • makeup assisting apparatus 100 may detect external light and acquire facial feature points from an image while reducing the influence of external light.
  • makeup support apparatus 100 may present information about cosmetics necessary for makeup together with a simulation image to the user.
  • the makeup support device of the present disclosure includes a makeup presentation unit that generates a simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the face on an image obtained by photographing the face. And a makeup correction unit that accepts corrections to the makeup image included in the generated simulation image from the user, and indicates the region of the makeup image after correction using a relative position with respect to a facial feature point.
  • the makeup support apparatus includes an image acquisition unit that acquires the image, a feature point acquisition unit that acquires a facial feature point from the acquired image, and a display unit that displays the generated simulation image. , May further be included.
  • the correction information recording unit may store the correction information in a storage medium that can be used by a user of a device other than the makeup support apparatus.
  • the makeup support apparatus further includes a makeup information storage unit that stores makeup information that indicates a region of the makeup image before correction using a relative position with respect to the facial feature point, and the correction
  • the information may include information indicating the area of the makeup image before correction and information indicating a difference between the area of the makeup image after correction and the area of the makeup image before correction.
  • the correction includes at least one of translation, rotation, enlargement, reduction, and deformation of the makeup image
  • the makeup information is correction to the facial feature point.
  • the correction information using a face coordinate system based on the arrangement of the facial feature points, after correction of the area of the makeup image before correction May include information indicating a difference in the area of the makeup image.
  • the makeup information includes a makeup reference point that is set for the face reference point set in the image and is set for the region of the makeup image.
  • a reference point setting unit for setting a face reference point in the image based on the acquired facial feature point, and the makeup presenting unit A region of the makeup image with respect to the image is determined by matching the position of the makeup reference point with the position of the set face reference point, and the correction information is corrected using the face coordinate system.
  • Information indicating a difference between the position of the makeup reference point in the subsequent makeup image region and the default position of the face reference point may be included.
  • the makeup support apparatus further includes a photographing unit that captures the video of the face, the image acquisition unit acquires an image constituting the video, and the display unit follows the video.
  • the simulation images may be sequentially displayed, and the reference point setting unit may set the position of the face reference point according to the correction information after the correction is set.
  • a makeup support system is a makeup support system including a first makeup support apparatus and a second makeup support apparatus, and the first makeup support apparatus photographs a first face.
  • a first makeup presenting unit that generates a first simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the first face on the first image
  • a makeup correction unit that accepts corrections to the makeup image included in the generated first simulation image from the user, and a region of the makeup image that has been corrected using a relative position with respect to a facial feature point
  • a correction information recording unit for recording the correction information, and the second makeup support device stores the correction information recorded therein. Based on the acquired correction acquisition unit and the acquired correction information, a second simulation image generated by superimposing the corrected makeup image on the second image obtained by photographing the second face is generated. And a second makeup presenting unit.
  • the makeup support method of the present disclosure includes a step of generating a simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the face on an image obtained by photographing the face; A step of accepting a correction to the makeup image included in the generated simulation image, and a step of recording correction information indicating a region of the makeup image after correction using a relative position with respect to a facial feature point And having.
  • the makeup support program of the present disclosure is a process for generating a simulation image obtained by superimposing a makeup image indicating a state when makeup is applied to the face on an image obtained by photographing the face on a computer. Processing for accepting a correction to the makeup image included in the generated simulation image from the user, and correction information indicating a region of the makeup image after correction using a relative position with respect to a facial feature point Recording process.
  • the present disclosure provides a makeup support apparatus, a makeup support system, a makeup support method, and a makeup support program that make it possible to easily apply a modified makeup created by a user to another user. Useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

メイクアップ支援装置（１００）は、顔を撮影した画像に、顔に対してメイクアップを適用したときの状態を示す画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部（２７０）と、ユーザから、生成されたシミュレーション画像に含まれるメイクアップ画像に対する修正を受け付けるメイクアップ修正部（２９０）と、修正後のメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部（３００）と、を有する。

Description

メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
　本開示は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
　近年、顔のメイクアップの仕方（以下、単に「メイクアップ」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクアップを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。
　そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像（以下「顔画像」という）を取得する。そして、特許文献１および特許文献２に記載の技術は、顔画像に、メイクアップを顔に適用したときのメイクアップの状態を示す画像（以下「メイクアップ画像」という）を重畳して、シミュレーション画像を生成し、表示する。以下、シミュレーション画像の生成および表示は、「メイクアップシミュレーション」という。
　また、特許文献１に記載の技術は、ユーザから、表示されたシミュレーション画像に含まれるメイクアップ画像に対する修正の設定を受け付けることができる。
　特許文献１および特許文献２に記載の技術（以下「従来技術」という）によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。また、従来技術によれば、ユーザは、メイクアップシミュレーションの対象としてデフォルトで用意されたメイクアップを修正したメイクアップ（以下「修正メイクアップ」という）についても、メイクアップシミュレーションを簡単に行うことができる。
　ところで、修正メイクアップの中には、他のユーザが試してみたいと望むものが存在し得る。例えば、著名なメイクアップアーティストによって創作された修正メイクアップや、多くのユーザによって実施され、流行になりつつある修正メイクアップが存在する。
特開２００１－３４６６２７号公報 特開２００７－１７５３８４号公報 特開２００３－４４８３７号公報 特開２００７－２５７１６５号公報
　しかしながら、従来技術では、あるユーザによって創作された修正メイクアップを、他のユーザに適用することは困難である。なぜなら、顔部品の大きさ、形状、および配置は、ユーザによって異なり、修正メイクアップのメイクアップ画像を他のユーザの顔画像にどのように貼り付けるかが問題となるからである。
　本開示の目的は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする、メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。
　本開示の一態様に係るメイクアップ支援装置は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有する。
　本開示の一態様に係るメイクアップ支援システムは、第１のメイクアップ支援装置および第２のメイクアップ支援装置を含むメイクアップ支援システムであって、前記第１のメイクアップ支援装置は、第１の顔を撮影した第１の画像に、前記第１の顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、第１のシミュレーション画像を生成する第１のメイクアップ提示部と、ユーザから、生成された前記第１のシミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有し、前記第２のメイクアップ支援装置は、記録された前記修正情報を取得する修正取得部と、取得された前記修正情報に基づいて、第２の顔を撮影した第２の画像に、修正後の前記メイクアップ画像を重畳して得られる、第２のシミュレーション画像を生成する第２のメイクアップ提示部と、を有する。
　本開示の一態様に係るメイクアップ支援方法は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるステップと、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録するステップと、を有する。
　本開示の一態様に係るメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付ける処理と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する処理と、を実行させる。
　本開示によれば、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用されることを可能にする。
　なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
本開示の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本開示の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における顔特徴点の一例を示す図 実施の形態２における顔座標系の一例を示す図 実施の形態２におけるメイクアップテーブルの内容の一例を示す図 実施の形態２におけるメイクアップ情報テーブルの内容の一例を示す図 実施の形態２におけるメイクアップの範囲の具体的内容の一例を示す図 実施の形態２におけるシミュレーション画像の生成手法の一例を示す図 実施の形態２における平行移動の際の顔参照点の移動の様子の一例を示す図 実施の形態２における回転の際の顔参照点の移動の様子の一例を示す図 実施の形態２における拡大縮小の際の顔参照点の移動の様子の一例を示す図 実施の形態２における変形の際の顔参照点の移動の様子の一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２において取得される撮影画像の一例を示す図 実施の形態２において生成される顔特徴点情報の一例を示す図 実施の形態２における生成される顔参照点情報の一例を示す図 実施の形態２において生成されるシミュレーション画像の一例を示す図 実施の形態２において生成される修正後のシミュレーション画像の一例を示す図 実施の形態２において記録される修正情報の一例を示す図 実施の形態２における他のユーザの顔のシミュレーション画像の一例を示す図
　以下、本開示の各実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　本開示の実施の形態１は、本開示の基本的態様の一例である。
　図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図１において、メイクアップ支援装置１００は、メイクアップ提示部２７０、メイクアップ修正部２９０、および修正情報記録部３００を有する。
　メイクアップ提示部２７０は、顔を撮影した画像に、顔に対してメイクアップを適用したときのメイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する。
　メイクアップ修正部２９０は、ユーザから、生成されたシミュレーション画像に含まれるメイクアップ画像に対する修正を受け付ける。
　修正情報記録部３００は、修正後のメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する。
　メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶媒体、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて記録することができる。顔特徴点は、通常、顔部品の大きさ、形状、および配置の個人差によらずに、顔から取得することができる情報である。したがって、メイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする。
　（実施の形態２）
　本開示の実施の形態２は、本開示の具体的態様の一例である。本実施の形態は、本開示を、デジタルビデオカメラおよびタッチパネル付きのディスプレイを備えた装置に適用した例である。
　＜用語の説明＞
　まず、本実施の形態において用いられる用語について説明する。
　「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔を構成する部分を指すものとする。
　「顔部品ＩＤ」とは、顔部品の識別情報である。
　「顔特徴点」とは、画像上あるいは実空間上の、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点である。
　「顔特徴点ＩＤ」とは、顔特徴点の識別情報である。
　「メイクアップ」とは、アイブロウやアイシャドウ等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、色素の色、塗布濃度、および塗布範囲を少なくとも含む。
　「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップを施したときの画像を生成するために必要な情報（顔の色との差分を示す情報）を含む。
　「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。
　「メイクアップID」とは、メイクアップの識別情報である。
　「メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。
　＜メイクアップ支援装置の構成＞
　次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
　図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、特徴点取得部２３０、参照点設定部２４０、メイクアップ情報格納部２５０、メイクアップ選択部２６０、メイクアップ提示部２７０、表示部２８０、メイクアップ修正部２９０、および修正情報記録部３００を有する。
　撮影部２１０は、例えばデジタルビデオカメラであり、メイクアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置１００のユーザの顔であるものとする。
　画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像（以下「撮影画像」という）を、メイクアップ提示部２７０および特徴点取得部２３０へ出力する。なお、画像取得部２２０は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分（以下「顔画像」という）を含む。
　特徴点取得部２３０は、入力された撮影画像から、各顔部品の顔特徴点を取得する。顔特徴点の取得は、例えば、撮影画像の各部分領域と、予め用意され、顔特徴点の位置が設定された、各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献３参照）。そして、特徴点取得部２３０は、顔特徴点情報を、参照点設定部２４０へ出力する。ここで、顔特徴点情報とは、取得された各顔特徴点の識別情報および位置を示す情報である。顔特徴点の詳細については、後述する。
　なお、顔画像は、顔を正面から撮影した画像とは限らない。このため、メイクアップ支援装置１００は、ユーザの顔の向きに応じて顔部品のテンプレート画像を適宜変形し、変形後のテンプレート画像と撮影画像とのマッチングを行うようにしてもよい。この場合、メイクアップ支援装置１００は、例えば、撮影画像から、撮影画像に含まれる顔の向きを検出する検出部を備える。これにより、メイクアップ支援装置１００は、ユーザの顔の動きに柔軟に追随して、顔画像から、顔特徴点の取得を行うことができる。
　参照点設定部２４０は、撮影画像から取得された顔特徴点を基準として、予め定められたルールに基づいて、顔画像に顔参照点を設定する。ここで、顔参照点とは、メイクアップ画像の領域の位置を決定するための点であり、後述のメイクアップ参照点の合わせ込みの対象となる点である。そして、参照点設定部２４０は、顔参照点情報を、メイクアップ提示部２７０およびメイクアップ修正部２９０へ出力する。ここで、顔参照点情報とは、設定された顔参照点の識別情報および位置を示す情報である。
　なお、本実施の形態において、参照点設定部２４０は、顔参照点の初期位置を、顔特徴点の位置に設定する。そして、参照点設定部２４０は、後述のメイクアップ修正部２９０から修正情報が入力された場合（つまり、修正が設定された後）、修正情報に従って、顔参照点の位置を設定し直す。
　メイクアップ情報格納部２５０は、メイクアップテーブルおよびメイクアップ情報テーブルを格納している。メイクアップテーブルは、顔全体のメイクアップのパターンである複数のメイクアップパターンを定義する。メイクアップ情報テーブルは、メイクアップパターンを構成するメイクアップ種別毎に、メイクアップ情報を記述している。メイクアップ情報は、メイクアップの内容を、顔部品の領域（顔特徴点の位置）と関連付けて記述した情報である。メイクアップテーブルおよびメイクアップ情報テーブルの内容の詳細については、後述する。
　本実施の形態において、メイクアップ情報は、メイクアップの内容を顔特徴点と関連付けて記述した情報である。より具体的には、メイクアップ情報は、後述の修正が行われる前のデフォルトのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す情報である。更に具体的には、メイクアップ情報は、メイクアップ画像の領域に対するメイクアップ参照点の位置を示す情報である。ここで、メイクアップ参照点とは、メイクアップ画像に対する顔画像に設定された顔参照点への合わせ込みの対象となる点である。すなわち、顔参照点およびメイクアップ参照点は、顔画像に対するメイクアップ画像の領域の位置の基準点である。
　メイクアップ選択部２６０は、ユーザから、メイクアップ情報テーブルに記述された複数のメイクアップから１つを選択する選択操作を受け付ける。かかる選択操作は、例えば、上述のタッチパネル付きディスプレイを介して行われる。そして、メイクアップ選択部２６０は、選択された表示メイクアップを、選択されたメイクアップのメイクアップ情報を、メイクアップ情報テーブルから取得し、メイクアップ提示部２７０へ出力する。
　メイクアップ提示部２７０は、メイクアップ情報に基づき、選択されたメイクアップのメイクアップ画像を重畳して得られる、シミュレーション画像を生成する。より具体的には、メイクアップ提示部２７０は、メイクアップ画像のメイクアップ参照点の位置を、設定された顔参照点の位置に合わせ込むことにより、顔画像に対するメイクアップ画像の領域を決定する。そして、メイクアップ提示部２７０は、生成したシミュレーション画像を、表示部２８０へ出力する。シミュレーション画像の生成手法の詳細については、後述する。
　表示部２８０は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部２８０は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部２８０は、撮影された映像に沿って、シミュレーション画像を順次表示する。
　メイクアップ修正部２９０は、例えば、上述のタッチパネル付きディスプレイを介して、ユーザから、生成されたシミュレーション画像に含まれるメイクアップ画像に対する修正を受け付ける。修正は、メイクアップ画像の、平行移動、回転、拡大、縮小、および変形のうち少なくとも１つを含む。メイクアップ修正部２９０は、修正情報を生成し、修正情報記録部３００および参照点設定部２４０へ出力する。
　ここで、修正情報は、修正後のメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す情報であり、参照点差分情報を含む。ここで、参照点差分情報とは、顔参照点がデフォルトの位置からどのように移動したかを示す情報である。より具体的には、参照点差分情報は、顔座標系を用いて、修正後のメイクアップ画像の領域のメイクアップ参照点の位置（顔参照点の位置）の、顔参照点のデフォルト位置に対する差分を示す情報である。顔座標系の詳細、およびメイクアップ画像の修正手法についての詳細は、後述する。
　修正情報記録部３００は、入力された修正情報を記録する。より具体的には、修正情報記録部３００は、修正情報を、メイクアップ支援装置１００以外の装置のユーザが利用可能な記憶媒体に保存する。かかる記録は、例えば、インターネット等の通信ネットワークに接続し、通信ネットワーク上の共用サーバに送信することにより行われる。
　なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて記録することができる。
　次に、顔特徴点、顔座標系、メイクアップテーブルの内容、メイクアップ情報テーブルの内容、シミュレーション画像の生成手法、メイクアップ画像の修正手法、および修正情報の内容の詳細について、順に説明する。
　＜顔特徴点＞
　図３は、顔特徴点の一例を示す図である。
　図３に示すように、顔画像（一部のみ図示する）４１１からは、例えば、顔部品毎に複数ずつ、顔特徴点４１２（図中、丸に十字の印で示す）が抽出される。顔特徴点４１２は、主に、顔部品のエッジ、鋭角部、中央部などに位置している。顔特徴点４１２の配置は、顔によって異なる。
　＜顔座標系＞
　図４は、顔座標系の一例を示す図である。
　図４に示すように、顔座標系４２１は、例えば、左目の中心４２２および右目の中心４２３を通る軸をＸ軸とし、Ｘ軸に直交し、かつ、左目の中心４２２と右目の中心４２３との間の中点を通る軸をＹ軸とする座標系である。なお、顔座標系の単位長さは、左目の中心と右目の中心との間の距離を基準とした長さ等、複数の顔特徴点の間の距離に比例した長さであることが望ましい。
　なお、顔座標系は、図４に示す例に限定されない。例えば、顔座標系は、鼻先と右目の目尻とを通る軸と、鼻先と左目の目尻とを通る軸によって定義されてもよい。また、これらの軸は、チーク、アイシャドウ、アイブロウなどのメイクアップ種別毎に、それぞれ個別に定義されてもよい。
　＜メイクアップテーブルの内容＞
　図５は、メイクアップ情報格納部２５０が格納するメイクアップテーブルの内容の一例を示す図である。
　図５に示すように、メイクアップテーブル４３０は、メイクアップパターン４３１と、メイクアップID４３２とを、対応付けて記述している。メイクアップパターン４３１は、ここでは簡略化して図示しているが、具体的には、例えば、「キュート」、「クール」等の、メイクアップに関するイメージを表すテキスト情報を含む。
　メイクアップ選択部２６０は、例えば、メイクアップパターン４３１の「キュート」、「クール」等のテキスト情報を、選択肢として表示することにより、上述のメイクアップの選択操作をユーザから受け付ける。
　＜メイクアップ情報テーブルの内容＞
　図６は、メイクアップ情報格納部２５０が格納するメイクアップ情報テーブルの内容の一例を示す図である。
　図６に示すように、メイクアップ情報テーブル４４０は、例えば、メイクアップID４４１、メイクアップ種別４４２、色４４３、濃度４４４、および範囲４４５を、対応付けて記述している。これらは、メイクアップ情報を構成する。
　メイクアップID４４１は、メイクアップテーブル４３０のメイクアップID４３２（図５参照）に対応している。メイクアップ種別４４２は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。
　色４４３、濃度４４４、および範囲４４５の組は、少なくとも、メイクアップが施された状態を画像化するのに必要な情報を含む。
　色４４３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度４４４は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲４４５は、ここでは簡略化して図示しているが、具体的には、１つまたは複数のメイクアップ参照点に対する塗布領域の相対的な範囲である。
　図７は、左目のアイシャドウの範囲４４５（図６参照）の具体的内容の一例を示す図である。
　図７に示すように、左目のアイシャドウの範囲４４５は、３つのメイクアップ参照点４５１と、メイクアップ参照点４５１に対する相対位置が設定された塗布領域４５２との組み合わせから成る。これらの相対位置関係は、例えば、メイクアップ参照点４５１を基準とする座標系を用いて、定義される。
　なお、メイクアップの流行の変化は速く、提示すべきメイクアップの変化も速い。このため、メイクアップテーブル４３０およびメイクアップ情報テーブル４４０は、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新されることが望ましい。また、図５に示すメイクアップテーブル４３０および図６に示すメイクアップ情報テーブル４４０は、１つのテーブルに統合されていてもよい。
　＜シミュレーション画像の生成手法＞
　図８は、シミュレーション画像の生成手法の一例を示す図である。
　図８に示すように、図７に示す３つのメイクアップ参照点４５１に対応する３つの顔参照点４５３が、顔画像に対して設定されたとする。
　メイクアップ提示部２７０は、３つの顔参照点４５３に対する塗布領域４５２の相対位置を保持したままで、３つのメイクアップ参照点４５１のそれぞれを、対応する３つの顔参照点４５３に合わせ込む処理（以下「参照点合わせ込み処理」という）を行う。
　３つの顔参照点４５３の相対位置関係（三角形４５４の形状）は、３つのメイクアップ参照点４５１の相対位置関係（三角形４５５の形状）と一致しているとは限らない。また、顔画像の解像度と、メイクアップ情報が示すデフォルトのメイクアップ画像の解像度とを合わせたときに、３つの顔参照点４５３の間の相対距離（三角形４５４の大きさ）は、３つのメイクアップ参照点４５１の間の相対距離（三角形４５５の大きさ）と一致しているとは限らない。
　そこで、メイクアップ提示部２７０は、これらの相対位置関係あるいは相対距離が異なる場合、塗布領域４５２を、アフィン変換等の公知の画像処理技術を用いて拡大、縮小、あるいは変形することにより、参照点合わせ込み処理を行う。
　そして、メイクアップ提示部２７０は、参照点合わせ込み処理を行った後の塗布領域４５２を用いてメイクアップ画像を生成する。そして、メイクアップ提示部２７０は、顔画像に、参照点合わせ込み処理を行った後の塗布領域を用いて、選択されたメイクアップのメイクアップ画像の重畳を行って、シミュレーション画像を生成する。メイクアップ画像は、例えば、顔部品情報とメイクアップ情報とに基づいて生成される。
　なお、シミュレーション画像における画像の重畳は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理により行われる。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）～（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、撮影画像の任意の領域のＲＧＢ値である。また、ｒ２、ｇ２、ｂ２は、メイクアップ画像の任意の領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
　Ｒ　＝　ｒ２×α＋ｒ１×（１－α）　　　・・・（１）
　Ｇ　＝　ｇ２×α＋ｇ１×（１－α）　　　・・・（２）
　Ｂ　＝　ｂ２×α＋ｂ１×（１－α）　　　・・・（３）
　また、メイクアップのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップ画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、メイクアップ提示部２７０は、画像の重畳を、眉消去顔画像に対して、各メイクアップ画像を塗布順序に応じた順序で上塗り処理することにより、行ってもよい。
　なお、メイクアップ提示部２７０は、アイブロウを含むメイクアップシミュレーションを行う場合、撮影画像から眉を消去した画像を用いて、シミュレーション画像を生成することが望ましい。撮影画像から眉を消去する技術としては、特許文献４に記載の技術等の、公知の画像処理技術を採用することができる。
　＜メイクアップ画像の修正手法＞
　メイクアップ修正部２９０は、まず、シミュレーション画像に表示されているメイクアップの中から、修正の対象となるメイクアップを選択する。そして、メイクアップ修正部２９０は、平行移動、回転、拡大縮小、および変形という、修正種別の中から、実行する修正種別を選択する。更に、メイクアップ修正部２９０は、選択された修正種別について、修正の程度を決定する。なお、修正を行う修正種別の順序は、予め定められていてもよいし、ユーザが任意に選択することが可能であってもよい。
　メイクアップ修正部２９０は、これらの、メイクアップの選択、修正種別の選択、および修正の程度の決定を、上述のタッチパネルディスプレイを介して、ユーザから受け付ける。具体的には、メイクアップ修正部２９０は、まず、メイクアップの選択肢および修正種別の選択肢を表示する。そして、メイクアップ修正部２９０は、メイクアップおよび修正種別が選択されると、顔参照点に対するドラッグ操作を受け付ける。なお、メイクアップ修正部２９０は、シミュレーション画像に、顔参照点の位置をマーカによって表示することが望ましい。そして、メイクアップ修正部２９０は、修正の完了を示す所定の操作が行われたとき、顔参照点の初期状態からの差分を示す修正情報を生成する。
　図９は、平行移動の際の顔参照点の移動の様子の一例を示す図である。
　平行移動が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、ドラッグ操作が行われた顔参照点４５３の移動方向および移動量を取得する。そして、図９に示すように、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の全ての顔参照点４５３を、ドラッグ操作が行われた顔参照点４５３と同一の移動方向および同一の移動量にて、移動させる。
　平行移動の分解能は、例えば、右目の中心と左目の中心との間の距離の１００分の１である。また、初期状態からの最大の移動量は、例えば、右目の中心と左目の中心との間の距離である。
　平行移動は、例えば、平行移動後の顔参照点４５３の、初期位置に対する顔座標系における差分ΔＸ、ΔＹにより表される。
　図１０は、回転の際の顔参照点の移動の様子の一例を示す図である。
　回転が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、ドラッグ操作が行われた顔参照点４５３の、予め定められた修正基準点４６１に対する回転方向および回転角を取得する。そして、図１０に示すように、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の全ての顔参照点４５３を、上記修正基準点４６１に対して、同一の回転方向および同一の回転角にて、回転させる。
　回転の分解能は、例えば、０.０１度である。また、初期状態からの最大の回転角は、±４５度である。
　回転は、例えば、平行移動後の顔参照点４５３の、初期位置に対する反時計廻りの回転角θにより表される。
　図１１は、拡大縮小の際の顔参照点の移動の様子の一例を示す図である。
　拡大縮小が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、ドラッグ操作が行われた顔参照点４５３の、予め定められた修正基準点４６１からのＸ軸方向距離およびＹ軸方向距離を取得する。そして、メイクアップ修正部２９０は、初期状態に対する修正基準点４６１からのＸ軸方向距離の拡大縮小率ＲＸ、および、初期状態に対する修正基準点４６１からのＹ軸方向距離の拡大縮小率ＲＹを取得する。そして、図１１に示すように、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の全ての顔参照点４５３の上記修正基準点４６１からの距離を、同一の拡大縮小率で変化させる。
　拡大縮小の分解能は、例えば、１％である。また、拡大縮小の範囲は、５０％～２００％である。
　図１２は、変形の際の顔参照点の移動の様子の一例を示す図である。
　変形が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の顔参照点４５３については移動させずに、ドラッグ操作が行われた顔参照点４５３の移動方向および移動量を取得する。
　変形は、例えば、ドラッグ操作が行われた顔参照点４５３の識別情報と、当該顔参照点４５３の、初期位置に対する顔座標系における差分ΔＸ、ΔＹとにより表される。
　なお、回転および拡大縮小に必要な修正基準点４６１は、例えば、アイブロウおよびノーズシャドウにおいては眉頭の顔参照点である。上瞼アイシャドウ、下瞼アイシャドウ、上睫毛マスカラ、および下睫毛マスカラにおいては修正基準点４６１は黒目中心の顔参照点である。
　但し、修正基準点４６１は、必ずしも顔参照点４５３の位置に一致していなくてもよい。例えば、修正基準点４６１は、顔の中心位置や、メイクアップ毎の顔参照点の重心位置としてもよい。また、修正基準点は、修正種別毎に異なっていてもよい。更に、修正基準点４６１は、ユーザによって任意に設定されてもよい。
　また、メイクアップ修正部２９０は、アイブロウ等の左右対称のメイクアップについては、左右のメイクアップで個別に修正を受け付けてもよいし、片方のメイクアップに対して行われた修正を他方のメイクアップに反映（つまり左右で連動）させてもよい。
　以上のような修正を経て生成される修正情報は、例えば、各参照点に対して、Ｘ軸方向の移動量（ΔＸ）、Ｙ軸方向の移動量（ΔＹ）、回転量（θ）、Ｘ軸方向の縮尺（ＲＸ）、およびＹ軸方向の縮尺（ＲＹ）を含む。
　＜メイクアップ支援装置の動作＞
　次に、メイクアップ支援装置１００の動作について説明する。
　図１３は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。
　まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔の映像の撮影を開始し、画像取得部２２０は、撮影された映像を構成する撮影画像の取得を開始する。また、特徴点取得部２３０は、撮影画像に含まれる顔の顔部品の取得を開始する。
　この際、特徴点取得部２３０は、例えば、撮影画像を解析することにより、撮影画像から顔の（顔部品の）特徴点を抽出する。そして、特徴点取得部２３０は、取得した顔特徴点から、顔特徴点情報を生成する。
　図１４は、図１３のステップＳ１１００において取得される、撮影画像の一例を示す図である。
　図１４に示すように、撮影画像５１０は、ユーザの顔画像５１１を含む。ユーザは、メイクアップをしていない状態である。撮影画像５１０からは、例えば、図３に示すような顔特徴点が抽出されて、顔特徴点情報が生成される。
　図１５は、図１３のステップＳ１１００において生成される、顔特徴点情報の一例を示す図である。
　図１５に示すように、顔特徴点情報５２０は、例えば、顔部品ＩＤ５２１と顔特徴点ＩＤ５２２との組み合わせ毎に、顔特徴点位置５２３および人ＩＤ５２４を記述している。
　顔部品ＩＤ５２１は、左目、上唇等の、顔部品の識別情報である。顔特徴点ＩＤ５２２は、眉頭の顔特徴点、目の中心の顔特徴点等の、顔特徴点の識別情報である。顔特徴点位置５２３は、顔特徴点の位置であり、例えば、顔座標系の座標値で表される。人ＩＤ５２４は、人の識別情報である。人ＩＤ５２４は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
　そして、図１３のステップＳ１２００において、メイクアップ選択部２６０は、メイクアップを選択し、メイクアップ情報を、メイクアップ提示部２７０へ出力する。
　そして、図１３のステップＳ１３００において、参照点設定部２４０は、顔特徴点情報と、予め定められたルールに基づいて、顔参照点を設定する。すなわち、参照点設定部２４０は、顔特徴点の位置を、顔参照点の初期位置として設定する。そして、参照点設定部２４０は、顔参照点情報を生成し、メイクアップ提示部２７０へ出力する。
　図１６は、図１３のステップＳ１３００において生成される、顔参照点情報の一例を示す図である。
　図１６に示すように、顔参照点情報５３０は、顔部品ＩＤ５３１と顔参照点ＩＤ５３２との組み合わせ毎に、顔参照点位置５３３、修正基準位置５３４、および人ＩＤ５３５を記述している。
　顔部品ＩＤ５３１および人ＩＤ５３５は、それぞれ、顔特徴点情報５２０の、顔部品ＩＤ５２１および人ＩＤ５２４に対応している。顔参照点位置５３３は、顔参照点の位置であり、例えば、顔座標系の座標値で表される。修正基準位置５３４は、修正基準点の位置であり、例えば、顔座標系の座標値で表される。
　そして、図１３のステップＳ１４００において、メイクアップ提示部２７０は、顔参照点情報が示す顔参照点の位置に、メイクアップ参照点を合せ込む形で、顔画像に対するメイクアップ画像の塗布領域を決定する。そして、決定された塗布領域で、メイクアップ画像を顔画像に重畳し、シミュレーション画像を生成する。そして、表示部２８０は、生成されたシミュレーション画像を表示する。
　図１７は、図１３のステップＳ１４００において生成される、シミュレーション画像の一例を示す図である。
　図１７に示すように、シミュレーション画像５４０は、顔画像５１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅の画像といった、メイクアップ画像５４１～５４５を重畳した画像となっている。
　そして、図１３のステップＳ１５００において、メイクアップ修正部２９０は、メイクアップ画像に対する修正操作があったか否かを判断する。この修正操作は、具体的には、例えば、顔参照点に対するドラッグ操作である。メイクアップ修正部２９０は、メイクアップ画像に対する修正操作があった場合（Ｓ１５００：ＹＥＳ）、処理をステップＳ１６００へ進める。また、メイクアップ修正部２９０は、メイクアップ画像に対する修正操作がない場合（Ｓ１５００：ＮＯ）、処理を、後述のステップＳ１９００へ進める。
　ステップＳ１６００において、メイクアップ修正部２９０は、修正操作の内容を示す修正情報を、参照点設定部２４０へ出力する。参照点設定部２４０は、この修正情報に従って、メイクアップ参照点の位置を移動させて、修正後のシミュレーション画像を生成する。
　図１８は、図１３のステップＳ１６において生成される、修正後のシミュレーション画像の一例を示す図である。
　例えば、図１８に示すように、顔参照点は、アイシャドウ５４２の塗布領域が上外側へ拡大するように、ドラッグされる。
　そして、図１３のステップＳ１７００において、メイクアップ修正部２９０は、修正内容を記録する操作（以下「記録操作」という）が行われたかどうかを判定する。この記録操作は、例えば、所定のアイコンのクリック操作である。メイクアップ修正部２９０は、記録操作が行われていない場合（Ｓ１７００：ＮＯ）、処理を、後述のステップＳ１９００へ進める。また、メイクアップ修正部２９０は、記録操作が行われた場合（Ｓ１７００：ＹＥＳ）、処理をステップＳ１８００へ進める。
　ステップＳ１８００において、メイクアップ修正部２９０は、その時点における修正内容を示す修正情報を、メイクアップ支援装置１００以外の装置のユーザが利用可能な記憶媒体に保存（記録）する。
　図１９は、図１３のステップＳ１８００において記録される、修正情報の一例を示す図である。
　図１９に示すように、修正情報５５０は、顔部品ＩＤ５５１と顔参照点ＩＤ５５２との組み合わせ毎に、位置の差分５５３および人ＩＤ５５４を記述している。
　部品ＩＤ５５１、顔参照点ＩＤ５５２、および人ＩＤ５５４は、それぞれ、顔参照点情報５３０の、顔部品ＩＤ５３１、顔参照点ＩＤ５３２、および人ＩＤ５３５に対応している。位置の差分５５３は、例えば、上述の、Ｘ軸方向の移動量（ΔＸ）、Ｙ軸方向の移動量（ΔＹ）、回転量（θ）、Ｘ軸方向の縮尺（ＲＸ）、およびＹ軸方向の縮尺（ＲＹ）である。
　そして、図１３のステップＳ１９００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１９００：ＹＥＳ）、処理をステップＳ１３００へ戻し、次の撮影画像へと処理を移す。また、画像取得部２２０は、映像の入力が終了した場合（Ｓ１９００：ＮＯ）、一連の処理を終了する。
　このような処理により、あるユーザによって創作された修正メイクアップの修正情報が、記録される。修正情報は、上述の通り、メイクアップ画像の修正内容を、顔特徴点に対する相対位置を用いて記述した情報である。したがって、例えば、他の装置において、他のユーザの顔画像に、修正情報が示す修正内容を適用したメイクアップ画像を合成して、シミュレーション画像を生成することが可能となる。
　この場合、他の装置がシミュレーション画像を生成する手順は、例えば、メイクアップ支援装置１００がシミュレーション画像を生成する手順と同一である。他の装置（他のメイクアップ支援装置）は、メイクアップ支援装置１００によって記録された修正情報を取得する修正取得部を有する必要がある。そして、他の装置は、取得された修正情報に基づいて、他の顔を撮影した画像に、修正後のメイクアップ画像を重畳して得られる、他のシミュレーション画像を生成するメイクアップ提示部を有する必要がある。
　なお、修正情報が適用されるメイクアップは、修正の対象となったメイクアップと同一のメイクアップであってもよいし、修正の対象となったメイクアップとは別のメイクアップであってもよい。例えば、修正の対象となったメイクアップとは色が異なるメイクアップに対して、修正情報を適用してもよい。
　図２０は、記録された修正情報を他のユーザの顔に適用したときのシミュレーション画像の一例を示す。
　図２０に示すように、修正メイクアップが創作されたシミュレーション画像の顔とは別の顔の顔画像５６１であっても、その創作された修正メイクアップを適用することができる。すなわち、アイシャドウ５６２は、顔画像５６１に適合しており、かつ、元の修正メイクアップと同じように塗布領域が上外側へ拡大している。
　以上のように、本実施の形態に係るメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて記録することができる。顔特徴点は、通常、顔部品の大きさ、形状、および配置の個人差によらずに、顔から取得することができる情報である。したがって、このようなメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする。
　なお、メイクアップ支援装置１００は、複数のメイクアップ支援装置１００を含み、当該複数のメイクアップ支援装置１００の間で修正情報を共用する、メイクアップ支援システムを構成してもよい。
　この場合、メイクアップ支援システムは、上述の、通信ネットワーク上に配置されたサーバを有し、当該サーバに、各メイクアップ支援装置１００で生成された修正情報を収集し、蓄積することが望ましい。
　また、この場合、サーバは、収集された修正情報から、メイクアップのトレンドを解析し、解析結果に基づいて、各メイクアップ支援装置１００のユーザに対し、修正メイクアップを提案するようにしてもよい。また、サーバは、解析結果に基づいて、メイクアップ情報を生成し、各メイクアップ支援装置１００に配布してもよい。
　＜修正情報の他の形態＞
　なお、修正情報の形態は、上述の例に限定されない。例えば、修正情報は、メイクアップ参照点を移動させ、デフォルトのメイクアップ参照点の位置に対する移動後のメイクアップ参照点の位置の差分を示すものであってもよい。
　＜メイクアップの他の選択手法＞
　また、メイクアップの選択手法は、上述の例に限定されない。例えば、メイクアップ選択部２６０は、顔の特徴に適したメイクアップを自動で選択してもよいし、流行のメイクアップを自動で選択してもよい。
　＜その他の構成の変形例＞
　また、上述の各種テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。
　また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部２８０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
　また、メイクアップ支援装置１００は、外光を検出し、画像から、外光の影響を軽減した状態で、顔特徴点の取得を行うようにしてもよい。
　また、メイクアップ支援装置１００は、メイクアップに必要な化粧品の情報を、シミュレーション画像と併せてユーザに提示してもよい。
　本開示のメイクアップ支援装置は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有する。
　なお、上記メイクアップ支援装置は、前記画像を取得する画像取得部と、取得された前記画像から、顔特徴点を取得する特徴点取得部と、生成された前記シミュレーション画像を表示する表示部と、を更に有してもよい。
　また、上記メイクアップ支援装置において、前記修正情報記録部は、前記修正情報を、前記メイクアップ支援装置以外の装置のユーザが利用可能な記憶媒体に保存してもよい。
　また、上記メイクアップ支援装置は、修正前の前記メイクアップ画像の領域を前記顔特徴点に対する相対位置を用いて示す、メイクアップ情報を格納するメイクアップ情報格納部、を更に有し、前記修正情報は、修正前の前記メイクアップ画像の領域を示す情報と、修正後の前記メイクアップ画像の領域の修正前の前記メイクアップ画像の領域に対する差分を示す情報と、を含んでもよい。
　また、上記メイクアップ支援装置において、前記修正は、前記メイクアップ画像の、平行移動、回転、拡大、縮小、および変形のうち少なくとも１つを含み、前記メイクアップ情報は、前記顔特徴点に対する修正前の前記メイクアップ画像の領域の前記相対位置を示す情報を含み、前記修正情報は、前記顔特徴点の配置に基づく顔座標系を用いて、修正前の前記メイクアップ画像の領域に対する修正後の前記メイクアップ画像の領域の差分を示す情報を含んでもよい。
　また、上記メイクアップ支援装置において、前記メイクアップ情報は、前記メイクアップ画像の領域に対して設定された、前記画像に設定される顔参照点への合わせ込みの対象となるメイクアップ参照点の位置、を示す情報を含み、取得された前記顔特徴点を基準として、前記画像に顔参照点を設定する参照点設定部、を更に有し、前記メイクアップ提示部は、前記メイクアップ画像の前記メイクアップ参照点の位置を、設定された顔参照点の位置に合わせ込むことにより、前記画像に対する前記メイクアップ画像の領域を決定し、前記修正情報は、前記顔座標系を用いて、修正後の前記メイクアップ画像の領域の前記メイクアップ参照点の位置の、前記顔参照点の前記デフォルト位置に対する差分を示す情報を含んでもよい。
　また、上記メイクアップ支援装置は、前記顔の映像を撮影する撮影部、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示し、前記参照点設定部は、前記修正が設定された後、前記修正情報に従って前記顔参照点の位置を設定してもよい。
　本開示のメイクアップ支援システムは、第１のメイクアップ支援装置および第２のメイクアップ支援装置を含むメイクアップ支援システムであって、前記第１のメイクアップ支援装置は、第１の顔を撮影した第１の画像に、前記第１の顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、第１のシミュレーション画像を生成する第１のメイクアップ提示部と、ユーザから、生成された前記第１のシミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有し、前記第２のメイクアップ支援装置は、記録された前記修正情報を取得する修正取得部と、取得された前記修正情報に基づいて、第２の顔を撮影した第２の画像に、修正後の前記メイクアップ画像を重畳して得られる、第２のシミュレーション画像を生成する第２のメイクアップ提示部と、を有する。
　本開示のメイクアップ支援方法は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるステップと、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録するステップと、を有する。
　本開示のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付ける処理と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する処理と、を実行させる。
　本開示は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする、メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。
符合の説明
　１００　メイクアップ支援装置
　２１０　撮影部
　２２０　画像取得部
　２３０　特徴点取得部
　２４０　参照点設定部
　２５０　メイクアップ情報格納部
　２６０　メイクアップ選択部
　２７０　メイクアップ提示部
　２８０　表示部
　２９０　メイクアップ修正部
　３００　修正情報記録部

Claims (10)

  1. 　顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して、シミュレーション画像を生成するメイクアップ提示部と、
    　ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、
    　修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正記録部と、を有する、
    　メイクアップ支援装置。
  2. 　前記画像を取得する画像取得部と、
    　取得された前記画像から、顔特徴点を取得する特徴点取得部と、
    　生成された前記シミュレーション画像を表示する表示部と、を更に有する、
    　請求項１に記載のメイクアップ支援装置。
  3. 　前記修正記録部は、
    　前記修正情報を、前記メイクアップ支援装置以外の装置のユーザが利用可能な記憶媒体に保存する、
    　請求項２に記載のメイクアップ支援装置。
  4. 　修正前の前記メイクアップ画像の領域を前記顔特徴点に対する相対位置を用いて示す、メイクアップ情報を格納するメイクアップ情報格納部、を更に有し、
    　前記修正情報は、修正前の前記メイクアップ画像の領域を示す情報と、修正後の前記メイクアップ画像の領域の修正前の前記メイクアップ画像の領域に対する差分を示す情報と、を含む、
    　請求項３に記載のメイクアップ支援装置。
  5. 　前記修正は、前記メイクアップ画像の、平行移動、回転、拡大、縮小、および変形のうち少なくとも１つを含み、
    　前記メイクアップ情報は、前記顔特徴点に対する修正前の前記メイクアップ画像の領域の前記相対位置を示す情報を含み、
    　前記修正情報は、前記顔特徴点の配置に基づく顔座標系を用いて、修正前の前記メイクアップ画像の領域に対する修正後の前記メイクアップ画像の領域の差分を示す情報を含む、
    　請求項４に記載のメイクアップ支援装置。
  6. 　前記メイクアップ情報は、前記メイクアップ画像の領域に対して設定された、前記画像に設定される顔参照点への合わせ込みの対象となるメイクアップ参照点の位置、を示す情報を含み、
    　取得された前記顔特徴点を基準として、前記画像に顔参照点を設定する参照点設定部、を更に有し、
    　前記メイクアップ提示部は、
    　前記メイクアップ画像の前記メイクアップ参照点の位置を、設定された顔参照点の位置に合わせ込むことにより、前記画像に対する前記メイクアップ画像の領域を決定し、
    　前記修正情報は、前記顔座標系を用いて、修正後の前記メイクアップ画像の領域の前記メイクアップ参照点の位置の、前記顔参照点の前記デフォルト位置に対する差分を示す情報を含む、
    　請求項５に記載のメイクアップ支援装置。
  7. 　前記顔の映像を撮影する撮影部、を更に有し、
    　前記画像取得部は、
    　前記映像を構成する画像を取得し、
    　前記表示部は、
    　前記映像に沿って、前記シミュレーション画像を順次表示し、
    　前記参照点設定部は、
    　前記修正が設定された後、前記修正情報に従って前記顔参照点の位置を設定する、
    　請求項６に記載のメイクアップ支援装置。
  8. 　第１のメイクアップ支援装置および第２のメイクアップ支援装置を含むメイクアップ支援システムであって、
    　前記第１のメイクアップ支援装置は、
    　第１の顔を撮影した第１の画像に、前記第１の顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して第１のシミュレーション画像を生成する第１のメイクアップ提示部と、ユーザから、生成された前記第１のシミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正記録部と、を有し、
    　前記第２のメイクアップ支援装置は、
    　記録された前記修正情報を取得する修正取得部と、取得された前記修正情報に基づいて、第２の顔を撮影した第２の画像に、修正後の前記メイクアップ画像を重畳して得られる、第２のシミュレーション画像を生成する第２のメイクアップ提示部と、を有する、
    　メイクアップ支援システム。
  9. 　顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、
    　ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるステップと、
    　修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録するステップと、を有する、
    　メイクアップ支援方法。
  10. 　コンピュータに、
    　顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳してシミュレーション画像を生成する処理と、
    　ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付ける処理と、
    　修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する処理と、を実行させる、
    　メイクアップ支援プログラム。
PCT/JP2014/004219 2013-08-30 2014-08-19 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム WO2015029372A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015533971A JP6375480B2 (ja) 2013-08-30 2014-08-19 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
EP14839288.9A EP3039990B1 (en) 2013-08-30 2014-08-19 Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
CN201480003129.6A CN104822292B (zh) 2013-08-30 2014-08-19 化妆辅助装置、化妆辅助系统、化妆辅助方法以及化妆辅助程序
US14/715,610 US9846803B2 (en) 2013-08-30 2015-05-19 Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-179673 2013-08-30
JP2013179673 2013-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/715,610 Continuation US9846803B2 (en) 2013-08-30 2015-05-19 Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015029372A1 true WO2015029372A1 (ja) 2015-03-05

Family

ID=52585964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004219 WO2015029372A1 (ja) 2013-08-30 2014-08-19 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム

Country Status (5)

Country Link
US (1) US9846803B2 (ja)
EP (1) EP3039990B1 (ja)
JP (1) JP6375480B2 (ja)
CN (1) CN104822292B (ja)
WO (1) WO2015029372A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125975A1 (ja) * 2016-01-22 2017-07-27 パナソニックＩｐマネジメント株式会社 メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
WO2018159231A1 (ja) * 2017-02-28 2018-09-07 パナソニックＩｐマネジメント株式会社 メイクシミュレーション装置、方法、及び、非一時的な記憶媒体
KR20190022275A (ko) * 2017-08-24 2019-03-06 칼-콤프 빅 데이터, 인크. 신체 정보 분석 장치 및 아이섀도 분석 방법
WO2021070698A1 (ja) * 2019-10-11 2021-04-15 株式会社資生堂 オートメイクアップマシン、方法、プログラム、および制御装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2953090A4 (en) 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP6288404B2 (ja) 2013-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
EP3396619A4 (en) * 2015-12-25 2019-05-08 Panasonic Intellectual Property Management Co., Ltd. MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION AND MAKE UP PART USE
JP6212533B2 (ja) * 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
TWI573100B (zh) * 2016-06-02 2017-03-01 Zong Jing Investment Inc 自動臉部化妝方法
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
TWI573093B (zh) * 2016-06-14 2017-03-01 Asustek Comp Inc 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
US10607372B2 (en) * 2016-07-08 2020-03-31 Optim Corporation Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN106780662B (zh) 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备
CN106780658B (zh) * 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
CN109508587A (zh) * 2017-09-15 2019-03-22 丽宝大数据股份有限公司 身体信息分析装置及其底妆分析方法
JP2019115653A (ja) * 2017-12-26 2019-07-18 パナソニックＩｐマネジメント株式会社 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム
WO2019136278A1 (en) * 2018-01-05 2019-07-11 L'oreal Makeup compact for utilizing client device to guide makeup application
CN108399654B (zh) 2018-02-06 2021-10-22 北京市商汤科技开发有限公司 描边特效程序文件包的生成及描边特效生成方法与装置
CN114867383A (zh) * 2019-12-26 2022-08-05 株式会社资生堂 化妆辅助装置、化妆辅助方法、化妆辅助程序以及化妆辅助系统
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
CN111586428A (zh) * 2020-04-30 2020-08-25 永康精信软件开发有限公司 具有虚拟人物上妆功能的化妆品直播系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005216131A (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2007175384A (ja) 2005-12-28 2007-07-12 Shiseido Co Ltd チークメーキャップのための顔分類方法、顔分類装置、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2007257165A (ja) 2006-03-22 2007-10-04 Kao Corp メイクアップシミュレーション方法
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2012098808A (ja) * 2010-10-29 2012-05-24 Omron Corp 画像処理装置、画像処理方法、および制御プログラム
JP2012518457A (ja) * 2009-02-23 2012-08-16 ロレアル 処理対象ゾーンへの画像の投射を含む化粧的な処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP4128680B2 (ja) * 1998-12-28 2008-07-30 花王株式会社 化粧アドバイスシステム
EP1314132B1 (en) * 2000-06-27 2010-02-17 Rami Orpaz Make-up and fashion accessory display method and system
JP3993029B2 (ja) * 2002-06-24 2007-10-17 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
EP1710746A1 (en) * 2004-01-30 2006-10-11 Digital Fashion Ltd. Makeup simulation program, makeup simulation device, and makeup simulation method
WO2006043643A1 (ja) * 2004-10-22 2006-04-27 Shiseido Co., Ltd. 唇の分類方法、化粧方法、分類マップ及び化粧用器具
EP1956548A4 (en) * 2005-12-01 2009-04-15 Shiseido Co Ltd FACIAL CLASSIFICATION PROCEDURE, FACE CLASSIFICATION DEVICE, CLASSIFICATION IMAGING, FACE CLASSIFICATION PROGRAM, RECORDING MEDIUM ON WHICH THE PROGRAM IS RECORDED
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009211513A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置及びその方法
CN101350102B (zh) * 2008-08-29 2012-10-10 北京中星微电子有限公司 一种化妆辅助方法及系统
CN102622613B (zh) * 2011-12-16 2013-11-06 彭强 一种基于双眼定位和脸型识别的发型设计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005216131A (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2007175384A (ja) 2005-12-28 2007-07-12 Shiseido Co Ltd チークメーキャップのための顔分類方法、顔分類装置、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2007257165A (ja) 2006-03-22 2007-10-04 Kao Corp メイクアップシミュレーション方法
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2012518457A (ja) * 2009-02-23 2012-08-16 ロレアル 処理対象ゾーンへの画像の投射を含む化粧的な処理方法
JP2012098808A (ja) * 2010-10-29 2012-05-24 Omron Corp 画像処理装置、画像処理方法、および制御プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125975A1 (ja) * 2016-01-22 2017-07-27 パナソニックＩｐマネジメント株式会社 メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
JPWO2017125975A1 (ja) * 2016-01-22 2018-11-15 パナソニックＩｐマネジメント株式会社 メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
US10762333B2 (en) 2016-01-22 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Makeup trend analyzing apparatus, makeup trend analyzing method, and non-transitory computer-readable recording medium storing makeup trend analyzing program
WO2018159231A1 (ja) * 2017-02-28 2018-09-07 パナソニックＩｐマネジメント株式会社 メイクシミュレーション装置、方法、及び、非一時的な記憶媒体
US11145091B2 (en) 2017-02-28 2021-10-12 Panasonic Intellectual Property Management Co., Ltd. Makeup simulation device, method, and non-transitory recording medium
KR20190022275A (ko) * 2017-08-24 2019-03-06 칼-콤프 빅 데이터, 인크. 신체 정보 분석 장치 및 아이섀도 분석 방법
KR102045214B1 (ko) * 2017-08-24 2019-11-15 칼-콤프 빅 데이터, 인크. 신체 정보 분석 장치 및 아이섀도 분석 방법
US10528798B2 (en) 2017-08-24 2020-01-07 Cal-Comp Big Data, Inc. Body information analysis apparatus and eye shadow analysis method thereof
WO2021070698A1 (ja) * 2019-10-11 2021-04-15 株式会社資生堂 オートメイクアップマシン、方法、プログラム、および制御装置
CN114502036A (zh) * 2019-10-11 2022-05-13 株式会社资生堂 自动化妆机、方法、程序以及控制装置

Also Published As

Publication number Publication date
EP3039990A1 (en) 2016-07-06
CN104822292A (zh) 2015-08-05
US9846803B2 (en) 2017-12-19
US20150254501A1 (en) 2015-09-10
CN104822292B (zh) 2019-01-04
EP3039990A4 (en) 2016-09-14
JPWO2015029372A1 (ja) 2017-03-02
EP3039990B1 (en) 2019-07-24
JP6375480B2 (ja) 2018-08-22

Similar Documents

Publication Publication Date Title
JP6375480B2 (ja) メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6435516B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6368919B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6128309B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN109690617B (zh) 用于数字化妆镜的系统和方法
JP5991536B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6008323B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6331515B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP3779570B2 (ja) 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
CN110390632B (zh) 基于妆容模板的图像处理方法、装置、存储介质及终端
CN108986016B (zh) 图像美化方法、装置及电子设备
JPH10255066A (ja) 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
KR20100047863A (ko) 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치, 메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션 프로그램이 기록된 컴퓨터 판독가능한 기록매체
BR102012033722B1 (pt) sistema e método para simulação de maquiagem em dispositivos portáteis equipados com câmera digital
US11145091B2 (en) Makeup simulation device, method, and non-transitory recording medium
JP2007213623A (ja) 仮想化粧装置及びその方法
JP6132248B2 (ja) メイクアップ支援装置
JP2016129027A (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP6287170B2 (ja) 眉生成装置、眉生成方法及びプログラム
TW201411506A (zh) 自動彩妝之資訊系統及其進行上妝方法
JP6519853B2 (ja) 画像処理装置、スタイラス、および画像処理方法
JP2016055202A (ja) メイクアップ支援装置およびメイクアップ支援方法
TW201238519A (en) A comparing method of applying cosmetics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14839288

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015533971

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014839288

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014839288

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE