WO2014132566A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム Download PDF

Info

Publication number
WO2014132566A1
WO2014132566A1 PCT/JP2014/000583 JP2014000583W WO2014132566A1 WO 2014132566 A1 WO2014132566 A1 WO 2014132566A1 JP 2014000583 W JP2014000583 W JP 2014000583W WO 2014132566 A1 WO2014132566 A1 WO 2014132566A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
skin care
physical condition
skin
information
Prior art date
Application number
PCT/JP2014/000583
Other languages
English (en)
French (fr)
Inventor
智史 山梨
理惠子 浅井
あおい 牟田
千枝 西
香織 安食
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/770,167 priority Critical patent/US10660425B2/en
Priority to EP14757240.8A priority patent/EP2962597B1/en
Priority to CN201480009126.3A priority patent/CN105101836B/zh
Publication of WO2014132566A1 publication Critical patent/WO2014132566A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation

Definitions

  • the present invention relates to a makeup support apparatus, a makeup support method, and a makeup support program that support facial makeup.
  • makeup face makeup methods
  • skin countermeasure methods hereinafter referred to as “skin care”
  • Patent Document 1 and Patent Document 2 describe a technique for selecting a makeup that matches facial features and generating and presenting a simulation image of the face when the selected makeup is applied.
  • the techniques described in Patent Literature 1 and Patent Literature 2 acquire an image obtained by photographing a face to be made up, extract facial features, and match facial features based on a predetermined selection criterion. Choose makeup. And the technique of patent document 1 and patent document 2 superimposes the image which shows the state of makeup when the selected makeup is applied to the face on the acquired image, and produces
  • Patent Document 3 discloses a technique for selecting and presenting skin care that matches the skin condition and schedule.
  • the technique described in Patent Literature 3 creates skin care information based on the user's current skin condition and action schedule, and notifies the created skin care information.
  • the conventional technique may result in the selection of inappropriate makeup / skin care. For example, since there was no eyelid under the eyes in the morning makeup, a makeup that does not specifically apply concealer to conceal this was selected, but in the evening, the eyelids under the eyes appear dark due to fatigue. is there. Therefore, there is a possibility that the conventional technology cannot properly support makeup / skin countermeasures.
  • An object of the present invention is to provide a makeup support apparatus, a makeup support method, and a makeup support program that can more appropriately support makeup / skin countermeasures.
  • the makeup assisting device of the present invention includes a physical condition acquisition unit that acquires physical condition information related to the physical condition of a person who is to perform makeup and / or skin countermeasures, and the makeup method based on the acquired physical condition information
  • a makeup / skin care selection unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and / or skin care to a user who performs the makeup and / or skin countermeasure
  • a makeup / skin care presentation unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and / or skin care to a user who performs the makeup and / or skin countermeasure
  • a makeup / skin care presentation unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and / or skin care to a user who performs the makeup and / or skin countermeasure
  • a makeup / skin care presentation unit for selecting makeup and / or skin care that is the skin countermeasure method, and
  • the makeup support method of the present invention is a step of acquiring physical condition information relating to the physical condition of a person who is to be subjected to makeup and / or skin countermeasures, and the manner of makeup based on the acquired physical condition information.
  • the makeup support program of the present invention provides a computer with a process for acquiring physical condition information relating to the physical condition of a person who is to perform makeup and / or skin countermeasures, and based on the acquired physical condition information.
  • makeup / skin countermeasures can be supported more appropriately.
  • FIG. 2 is a block diagram showing an example of the configuration of a makeup support apparatus according to Embodiment 1 of the present invention.
  • Block diagram showing an example of the configuration of a makeup support apparatus according to Embodiment 2 of the present invention The figure which shows an example of the physical condition table in Embodiment 2
  • the figure which shows an example of the makeup / skin care table in Embodiment 2 The figure which shows an example of the makeup / skin care information table in Embodiment 2
  • the figure which shows an example of the cosmetics information table in Embodiment 2 Flowchart showing an example of operation of makeup support apparatus according to Embodiment 2 FIG.
  • FIG. 6 shows an example of an image in Embodiment 2
  • positioning of the feature point of the face in Embodiment 2 The figure which shows an example of the face component information in Embodiment 2
  • the figure which shows an example of the simulation image in Embodiment 2 The figure which shows an example of the state of the face after progress in Embodiment 2.
  • Embodiment 1 of the present invention is an example of a basic aspect of the present invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a makeup support apparatus according to the present embodiment.
  • makeup support apparatus 100 includes physical condition acquisition unit 260, makeup / skin care selection unit 280, and makeup / skin care presentation unit 290.
  • the physical condition acquisition unit 260 acquires physical condition information related to the physical condition of a person (hereinafter referred to as “make-up target person”) who is a target for makeup / skin countermeasures.
  • the makeup / skin care selection unit 280 selects skin care, which is a makeup / skin countermeasure method, based on the acquired physical condition information.
  • the makeup / skin care presentation unit 290 presents the selected makeup / skin care to a user who performs makeup / skin countermeasures (for example, the makeup subject himself) to the makeup subject.
  • the makeup support apparatus 100 includes, for example, a CPU (Central Processing Unit), a storage medium such as a ROM (Read Only Memory) storing a control program, and a working memory such as a RAM (Random Access Memory), although not shown. .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • Such makeup support apparatus 100 can present the makeup / skin care selected in consideration of the physical condition of the makeup subject to the user.
  • the degree of change in the face state is greatly influenced by the physical condition of the person (see, for example, Non-Patent Document 1). Therefore, by selecting makeup / skin care in consideration of the physical condition of the makeup subject, it is possible to present makeup / skin care that is more suitable for the condition of the face after the passage of time. That is, makeup assisting apparatus 100 can select makeup / skin care in consideration of the state of the face after the passage of time, and can more appropriately support makeup / skin countermeasures.
  • Embodiment 2 of the present invention is an example of a specific aspect of the present invention. This embodiment is an example in which the present invention is applied to an apparatus including a digital camera and a display with a touch panel.
  • “Physical condition information” is information relating to a person's physical condition, and relates to at least one of sleep time, body temperature, physical activity, eyelid opening, blink frequency, period in menstrual cycle, blood pressure, and skin condition. It is assumed to be information.
  • facial parts refers to parts characterizing the impression of the face, such as eyes, eyebrows, nose, cheek bones, lips, and contours.
  • “Face part ID” is identification information of a face part.
  • a face part area refers to an area occupied by a face part in an image or real space, and includes the positions of feature points of the face part such as the corners of the eyes.
  • “Facial feature value” is a value of a predetermined parameter indicating a facial feature.
  • multivariate data consisting of multiple values such as the ratio of the face length to the face width, the ratio of the nose length to the distance between the eyes, and the ratio of the eye width to the face width
  • Makeup refers to makeup methods (types) that improve the aesthetics by correcting the impressions of facial parts such as eye shadows and lipsticks. At least the coating range is included.
  • “Skin care” refers to the method (kind) of action (skin countermeasures) to condition the skin. Such actions include, for example, care applied to the skin to improve the skin condition, and actions to improve the skin condition from the body (improve inner beauty). Examples of the former include application of basic cosmetics such as lotion or cosmetic liquid, facial massage, and the like. Examples of the latter include supplement intake, natural food intake, exercise such as yoga, adjustment of indoor environment, and the like.
  • the method of applying the basic cosmetic includes the type of basic cosmetic, the application amount per application, the application range, the application frequency, the application time zone, the application method, and the like.
  • Makeup / Skincare Information is information indicating the contents of makeup / skincare.
  • Cosmetic information is information about cosmetics for skin for applying makeup / skin care.
  • Makeup / Skincare type means “Foundation”, “Eyeshadow”, “Lipstick”, “Teak”, and other types of makeup that are distinguished at least by the positional relationship with facial parts, and “Lotion”, And types of skin care such as “beauty liquid”.
  • Makeup / Skincare ID is identification information of makeup / skincare.
  • Cosmetic ID is identification information of skin cosmetics, and is information that can specify cosmetic information.
  • “Change in facial condition” means at least one of the following strengths: dry skin, sebum secretion, sweat secretion, wrinkles, wrinkles, skin sagging, muscle looseness, muscle tension, poor color, and rough skin. Including changes.
  • Physical condition level is a value indicating the level of physical condition.
  • FIG. 2 is a block diagram showing an example of the configuration of the makeup support apparatus according to the present embodiment.
  • makeup assisting apparatus 100 includes imaging unit 210, image acquisition unit 220, sensor information acquisition unit 230, facial part acquisition unit 240, physical condition table storage unit 250, physical condition acquisition unit 260, makeup / skin care table storage unit 270. , Makeup / skin care selection unit 280, makeup / skin care presentation unit 290, and display unit 300.
  • the photographing unit 210 is a digital video camera, for example, and photographs the face image of the makeup target person. Then, the imaging unit 210 outputs the captured video to the image acquisition unit 220.
  • the video is composed of a plurality of time-series images (frame images). In the present embodiment, it is assumed that the makeup subject is a user of makeup support apparatus 100.
  • the image acquisition unit 220 sequentially acquires images constituting the video from the input video. Then, the image acquisition unit 220 outputs the acquired image to the facial part acquisition unit 240 and the makeup / skin care presentation unit 290.
  • the sensor information acquisition unit 230 acquires sensor information necessary for acquiring the user's physical condition information from various sensors (not shown). Then, the sensor information acquisition unit 230 outputs the acquired sensor information to the physical condition acquisition unit 260.
  • the acquisition source of sensor information is information input devices, such as a sleep meter, a thermometer, a physical activity meter, a digital camera, and a touch panel, for example.
  • the sensor information acquisition unit 230 performs wireless communication with a sleep meter and a thermometer (not shown) used by the user, and sleep information and a thermometer as sensor information from these devices by wireless communication. Shall be obtained.
  • the face part acquisition unit 240 acquires the face part area of the face from the input image.
  • the facial part area is acquired by, for example, matching each partial area of the image with a template image of each facial part prepared in advance (see, for example, Patent Document 4). Then, the facial part acquisition unit 240 outputs the acquired facial part identification information and information indicating the region (hereinafter referred to as “facial part information”) to the makeup / skin care selection unit 280.
  • the physical condition table storage unit 250 stores a physical condition table.
  • the physical condition table is a table describing the correspondence between a plurality of contents of sensor information and a plurality of physical condition levels.
  • FIG. 3 is a diagram showing an example of a physical condition table.
  • the physical condition table 410 describes the physical condition level 413 for each combination pattern of the sleeping time 411 and the body temperature 412.
  • a physical condition level 413 of “1” is associated with a combination of a sleep time 411 of “less than 4.5 h” and a body temperature 412 of “37.5 ° C. or higher”. This indicates that when the sleep time is less than 4.5 h and the body temperature is 37.5 ° C. or higher, it corresponds to a physical condition level of “1”.
  • the physical condition level indicates that the larger the value, the better the physical condition.
  • the makeup / skin care table storage unit 270 in FIG. 2 stores a makeup / skin care table.
  • the makeup / skin care table is a table describing makeup / skin care that is associated with each of the plurality of contents of the physical condition information and that is suitable for changes in the face state predicted when a person falls under the physical condition type.
  • the plurality of contents of the physical condition information are a plurality of physical condition levels.
  • the makeup / skin care table further associates the facial feature quantity of the face that can be acquired with the makeup appropriate for the face having the facial feature quantity.
  • principal component analysis is performed in advance on samples of facial feature quantities of an unspecified number of faces that have been previously made by a makeup engineer.
  • the principal component analysis results are grouped in advance by a known principal component stratification method based on whether or not the principal component value is 1 ⁇ or more.
  • makeup / skin care table it is assumed that makeup performed in the past for each face feature amount group is registered for each group of faces.
  • FIG. 4 is a diagram showing an example of a makeup / skin care table.
  • makeup / skin care table 420 describes makeup / skin care ID 423 for each combination of facial feature quantity group 421 and physical condition level 422.
  • a makeup / skin care ID 423 “FM1” is associated with a combination of a face feature amount group 421 “FG1” and a physical condition level 422 “1”. This indicates that the makeup / skin care indicated by the makeup / skin care ID “FM1” is appropriate when the facial feature quantity of the user's face is FG1 and the physical condition level of the user is 1.
  • the makeup indicated by the makeup / skin care ID 423 “FM1” corresponding to a lower physical condition level is lower than the makeup indicated by the makeup / skin care ID 423 “FM3”. Specify a larger amount.
  • the skin care indicated by the makeup / skin care ID 423 “FM1” corresponding to a lower physical condition level specifies the amount of the lotion applied in a larger amount.
  • makeup / skin care table 420 is periodically updated from a server on the Internet, for example, via a communication circuit (not shown) provided in makeup assisting apparatus 100.
  • the makeup / skin care table storage unit 270 in FIG. 2 stores a makeup / skin care information table and a cosmetic information table.
  • the makeup / skin care information table is a table describing makeup / skin care information of makeup / skin care indicated by makeup / skin care ID 423 described in makeup / skin care table 420 (see FIG. 4).
  • the cosmetic information table is a table describing cosmetic information of makeup / skin care indicated by makeup / skin care information described in the makeup / skin care information table.
  • FIG. 5 is a diagram showing an example of a makeup / skin care information table stored in the makeup / skin care table storage unit 270.
  • skin care is the method of application of basic cosmetics.
  • makeup / skin care information table 430 describes, for example, makeup / skin care ID 431, makeup / skin care type 432, color 433, density 434, range 435, application amount 436, and cosmetic ID 437 in association with each other. is doing.
  • the makeup / skin care ID 431 corresponds to the makeup / skin care ID 423 (see FIG. 4) of the makeup / skin care table 420.
  • the makeup / skin care type 432 is illustrated here in a simplified manner, and specifically includes “foundation”, “eye shadow”, “lipstick”, “teak”, “lotion”, and the like.
  • the color 433 is illustrated here in a simplified manner, specifically, it is an RGB value, a glossiness, and the like.
  • the density 434 is illustrated here in a simplified manner, but specifically, is the transparency and the gradation method used when the image is superimposed on the face image.
  • the range 435 is illustrated here in a simplified manner, specifically, it is a set of relative coordinates from the feature point, a set of the relative position and radius of the center point with respect to the feature point, and the like.
  • the set of the color 433, the density 434, and the range 435 includes at least information necessary for imaging. That is, in the present embodiment, makeup / skin care information on makeup includes at least information necessary for generating an image when makeup is applied to the face from the face image.
  • the coating amount 436 indicates the coating amount of the basic cosmetic.
  • the application amount 436 is illustrated here in a simplified manner, but is, for example, text information such as “normal amount” and “large”.
  • FIG. 6 is a diagram illustrating an example of a cosmetic information table stored in the makeup / skin care table storage unit 270.
  • the cosmetic information table 440 describes a cosmetic ID 441, a company ID 442, and a product number 443 in association with each other.
  • Cosmetic ID 441 corresponds to cosmetic ID 437 (see FIG. 5) in makeup / skin care information table 430.
  • the company ID 442 is the name or identifier of a company that manufactures or sells skin cosmetics.
  • Product number 443 is the product number of the cosmetic for skin.
  • makeup / skin care table 420 makeup / skin care information table 430, and cosmetic information table 440 shown in FIGS. 4 to 6 may be integrated into one table.
  • the makeup / skin care selection unit 280 in FIG. 2 acquires the facial feature amount.
  • the makeup / skin care selection unit 280 may acquire the facial feature amount from the facial part information input from the facial part acquisition unit 240, or from the image by analyzing the image acquired by the image acquisition unit 220. You may get it.
  • makeup / skin care selection unit 280 refers to makeup / skin care table 420 (see FIG. 4) and makeup / skin care information table 430 (see FIG. 5) based on the acquired facial feature quantity and the input physical condition level.
  • makeup / skin care information is selected for each facial part. That is, makeup / skin care selection unit 280 selects makeup / skin care based on the acquired facial feature amount and physical condition information.
  • makeup / skin care selection unit 280 outputs the selected makeup / skin care information to makeup / skin care presentation unit 290.
  • makeup / skin care ID 423 is registered in makeup / skin care table 420 for each group of facial feature values. Therefore, makeup / skin care selection unit 280 determines which face feature value acquired from the face belongs to which group 421 of face feature values registered in makeup / skin care table 420, and the determined face feature value. The makeup / skin care ID 423 corresponding to the group 421 is selected. This determination is performed, for example, by calculating the distance between the acquired face feature amount and the representative value (centroid) of each group.
  • makeup / skin care selection unit 280 refers to cosmetic information table 440 (see FIG. 6), acquires cosmetic information on makeup selected for each facial part, and acquires cosmetic information on the selected skin care. Then, makeup / skin care selection unit 280 outputs the acquired cosmetic information to makeup / skin care presenting unit 290 in association with the makeup / skin care information.
  • the makeup / skin care presentation unit 290 presents the selected makeup / skin care to the user who performs makeup / skin countermeasures. More specifically, makeup / skin care presentation unit 290 generates a simulation image based on the input image and makeup / skin care information, and outputs the generated simulation image to display unit 300.
  • the simulation image is an image obtained by superimposing an image obtained by applying the selected makeup on the face on the input (photographed) image.
  • image superposition is performed by, for example, a known image composition process such as an alpha ( ⁇ ) blend process.
  • the alpha value ( ⁇ ) is set to a value corresponding to the makeup density.
  • the alpha blend process is expressed by, for example, the following formulas (1) to (3).
  • r 1 , g 1 , and b 1 are RGB values of an arbitrary region of the captured image
  • r 2 , g 2 , and b 2 are RGB values of makeup.
  • R, G, and B are RGB values of the corresponding region of the simulation image.
  • R r 2 ⁇ ⁇ + r 1 ⁇ (1- ⁇ ) (1)
  • G g 2 ⁇ ⁇ + g 1 ⁇ (1 ⁇ ) (2)
  • B b 2 ⁇ ⁇ + b 1 ⁇ (1 ⁇ ) (3)
  • the order in which each makeup is applied over the face (hereinafter referred to as “application order”) is set, and the image when the makeup is applied is a shaded image having a density corresponding to the density.
  • the application sequence defines, for example, that the application of cheek should be after the application of the foundation.
  • the superimposition of the images may be performed by overcoating the images of each makeup in the order corresponding to the application order with respect to the captured image.
  • makeup / skin care presentation unit 290 generates a simulation image for each image constituting the video acquired from image acquisition unit 220 using the makeup that has been once selected, and outputs the simulation image to display unit 300 (display). ) That is, makeup / skin care presenting section 290 maintains and presents makeup once selected for one video.
  • makeup / skin care presenting section 290 further presents makeup / skin care information of the selected skin care and cosmetic information of the selected makeup / skin care. More specifically, makeup / skin care presenting section 290 superimposes or adds an image or text indicating the input cosmetic information and skin care makeup / skin care information to the simulation image.
  • the display unit 300 is a display part of a display with a touch panel, for example, and displays (presents) an input simulation image, skincare makeup / skincare information, and cosmetic information to the user of the makeup support apparatus 100.
  • the makeup support apparatus 100 includes, for example, a CPU, a storage medium such as a ROM storing a control program, and a working memory such as a RAM, although not shown. In this case, the function of each unit described above is realized by the CPU executing the control program.
  • Such makeup support apparatus 100 can present to the user the makeup / skin care selected in consideration of the physical condition of the user.
  • the degree of change in the face state is greatly influenced by the physical condition of the person (see, for example, Non-Patent Document 1). Therefore, by selecting makeup / skin care in consideration of the user's physical condition, it is possible to present makeup / skin care more suitable for the face condition after the passage of time.
  • FIG. 7 is a flowchart showing an example of the operation of makeup support apparatus 100.
  • step S1100 the sensor information acquisition unit 230 acquires the user's sleep time and body temperature as sensor information.
  • step S1200 the physical condition acquisition part 260 acquires a user's physical condition level based on the acquired sensor information.
  • step S1300 the image capturing unit 210 starts capturing a video of the user's face, and the image acquisition unit 220 starts acquiring images constituting the captured video. Further, the facial part acquisition unit starts acquiring facial parts included in the image.
  • the facial part acquisition unit 240 extracts facial feature points (facial parts) from the image 510, for example, by analyzing the image 510 (see FIG. 8). Then, the facial part acquisition unit 240 acquires an area formed by the feature points constituting the same facial part as the facial part area. Then, the facial part acquisition unit 240 generates facial part information from the acquired facial part region.
  • FIG. 8 is a diagram showing an example of an image acquired in step S1300 of FIG.
  • the image 510 includes a user's face image (hereinafter referred to as “face image”) 511.
  • face image a user's face image
  • the user is not in makeup.
  • the user takes 8 hours of sleep, has a body temperature of 36.5 degrees, and is in good physical condition.
  • FIG. 9 is a diagram showing an example of the arrangement of facial feature points extracted in step S1300 of FIG.
  • a plurality of feature points are extracted from the face image 511.
  • the first to fourth feature points 521 to 524 constitute the right eye. Therefore, the facial part acquisition unit 240 acquires the area 525 surrounded by the first to fourth feature points 521 to 524 as the right eye area.
  • FIG. 10 is a diagram showing an example of facial part information generated in step S1300 of FIG.
  • the face part information 530 describes, for example, an area 532 and a person ID 533 for each face part ID 531.
  • the face part ID 531 is identification information of face parts such as the left eye and the upper lip.
  • the area 532 is information indicating the range of the face part area in the image, and is, for example, a coordinate value list of a coordinate system set on the image.
  • the person ID 533 is person identification information. As the person ID 533, for example, a value designated by the user through an operation on a display with a touch panel or the like is set every time shooting is started.
  • makeup / skin care selection unit 280 acquires a facial feature amount.
  • the face feature amount is multivariate data for a predetermined parameter indicating the feature of the face.
  • the makeup / skin care selection unit 280 acquires the facial feature amount from any of the image 510 (see FIG. 8), the facial feature point group (see FIG. 9), and the facial part information (see FIG. 10), for example. .
  • makeup / skin care selection unit 280 selects makeup / skin care based on the acquired facial feature amount and physical condition level.
  • step S1500 makeup / skin care presenting section 290 generates a simulation image based on makeup / skin care information related to makeup, and causes display section 300 to display the simulation image.
  • makeup / skin care presenting section 290 causes display section 300 to display makeup / skin care information related to skin care and cosmetic information about makeup / skin care.
  • FIG. 11 is a diagram showing an example of a simulation image generated in step S1500 of FIG.
  • the simulation image 540 is an image in which makeup images 541 to 545 such as eyebrow, eyeshadow, eyeliner, teak, and lipstick are superimposed on the face image 511.
  • makeup images 541 to 545 such as eyebrow, eyeshadow, eyeliner, teak, and lipstick are superimposed on the face image 511.
  • an information display area 546 indicating skin care makeup / skin care information and makeup / skin care cosmetics information is added to the simulation image 540. That is, in the simulation image 540, the contents of the skin care and the cosmetic information of the skin cosmetics necessary for applying the selected makeup are displayed together.
  • the text displayed in the information display area 546 may be registered in advance in the makeup / skin care information table 430 (see FIG. 5) or the cosmetic information table 440 (see FIG. 6).
  • the text displayed in information display area 546 may be generated by makeup / skin care presentation unit 290 based on makeup / skin care information and cosmetic information.
  • the user When the user likes the makeup indicated by the displayed simulation image 540 or the presented skin care, the user obtains necessary skin cosmetics based on the displayed cosmetic information and easily performs the actual makeup. Can do.
  • step S1600 the image acquisition unit 220 determines whether video input is continued. If the video input continues (S1600: YES), the image acquisition unit 220 returns to step S1500 and moves the process to the next image. Further, the image acquisition unit 220 ends the series of processes when the input of the video is completed (S1600: NO).
  • makeup support apparatus 100 can follow the video and present the makeup to the user in association with the corresponding area. Therefore, the user can confirm the effect of makeup while changing the face direction or facial expression, and experience as if the actual makeup was reflected in the mirror. Can do.
  • the user's face state is maintained as shown in FIG. 8 even after a certain amount of time has elapsed.
  • the face state is likely to change, and when time elapses, the face state may be different from that when the makeup simulation is performed.
  • FIG. 12 is a diagram illustrating an example of a face state after a lapse of time when the user's physical condition is not good. This is the case, for example, when the user sleeps only for 4 hours.
  • makeup assisting apparatus 100 proposes makeup / skin care suitable for changes in facial condition based on physical condition based on physical condition information as described above.
  • FIG. 13 is a diagram showing an example of a simulation image presented to a user who has only slept for 4 hours.
  • the simulation image 540a is an image obtained by superimposing an image 547a showing application of a concealer for hiding wrinkles in addition to the makeup images 541 to 545 similar to those in FIG.
  • concealer cosmetic information and cosmetic information of skin cosmetics taking into consideration that the skin is more likely to dry than normal are displayed.
  • the simulation image 540a indicate the application region with a dotted line or the like, or display the application amount in text.
  • makeup support apparatus 100 presents makeup / skin care selected based on physical condition information to the user. Thereby, makeup support apparatus 100 can perform makeup / skin countermeasure support more appropriately.
  • makeup support apparatus 100 may present to the user a change in face after the passage of time estimated from the above-described physical condition level or physical condition information, together with makeup / skin care. Accordingly, the user can objectively grasp whether his / her physical condition is good or can know in advance the change of his / her face.
  • makeup support apparatus 100 selects one makeup from the facial feature amount and physical condition information, but the present invention is not limited to this.
  • makeup assisting apparatus 100 may present a plurality of makeups as options, and the selected makeup may be the target of presentation by makeup / skin care presenting unit 290.
  • makeup assisting apparatus 100 selects a plurality of makeups at makeup / skin care selection unit 280 and causes the display unit 300 to display identification information of the selected plurality of makeups. Then, makeup assisting apparatus 100 outputs makeup / skin care information of makeup selected by the user through an operation on a display with a touch panel or the like from makeup / skin care selection unit 280 to makeup / skin care presentation unit 290. In this case, it is desirable that makeup assisting apparatus 100 accepts switching of makeup to be presented from the user at an arbitrary timing. Thereby, the user can quickly determine a makeup suitable for the user's preference from among a plurality of makeups.
  • makeup support apparatus 100 may store a table in which makeup / skin care is associated for each of a plurality of types of parameters related to physical condition information, and may select makeup / skin care for each type of parameter.
  • makeup assisting apparatus 100 selects makeup using a concealer for concealing the eyelid under the eyes based only on sleep time, and selects skin care using cosmetic liquid based only on body temperature.
  • examples of the makeup / skin care selection method of the makeup support apparatus 100 include the following, including the above-described example. (1) If the body temperature is equal to or higher than the threshold, select a cosmetic product with high moisture retention that prevents drying. (2) If you are menstruating, choose hypoallergenic cosmetics. (3) Select a concealer, a makeup color that looks good in ruddy color, or a facial massage when the degree of pleasant sleep estimated from sleep time is low or the amount of activity is low. (4) When the eye fatigue estimated from the eyelid opening degree (the ratio of the vertical width to the normal state) and the blink frequency is equal to or greater than the threshold, select makeup that makes the eyes brighter or massage of the eyes.
  • makeup support apparatus 100 may perform wireless communication with other various home appliances, and acquire physical condition information in conjunction with other various home appliances. For example, makeup support apparatus 100 estimates a change in the user's physical condition from data indicating food cooked in a microwave oven or the like, and selects makeup / skin care suitable for the user's physical condition. Specifically, for example, makeup assisting apparatus 100 performs makeup / skin care selection on the premise of an increase in sebum secretion when a dish rich in fat is ingested. Specifically, for example, makeup assisting apparatus 100 selects a powder foundation instead of a liquid foundation, or selects a lotion with a lot of water without selecting an oily emulsion.
  • makeup assisting apparatus 100 may select makeup to be presented based on parameters other than facial feature values. For example, makeup assisting apparatus 100 may preferentially select makeup that is highly evaluated externally, such as evaluation of an unspecified number of users on the Internet. Further, for example, makeup assisting apparatus 100 may select makeup based on the user's age or residential area.
  • makeup support apparatus 100 may associate link information to a website where skin cosmetics can be purchased with the cosmetic information to be displayed.
  • makeup support apparatus 100 can display the corresponding website via the Internet when the user performs a decision operation on makeup, and can support makeup more effectively.
  • sales of cosmetics can be promoted to cosmetic companies.
  • makeup assisting apparatus 100 may generate and display a simulation image of a face in the middle of makeup instead of a simulation image of a face after all makeup has been performed.
  • makeup support apparatus 100 may sequentially generate and display a simulation image of a face in the middle of makeup according to the application order when the application order is set for each makeup. Thereby, makeup support apparatus 100 can present an appropriate makeup order to the user.
  • makeup assisting apparatus 100 may present the correspondence with the selected makeup area and the color and density of the selected makeup as text.
  • This text is, for example, “Apply a cheek of product number b55 from company B1 to a dark area in a range of about 4 cm in diameter centered on the highest position of both cheekbones.” Please apply the concealer of product No. 78 of company B2 to the range. " Depending on the user, it is possible to imagine a face with makeup even from text information alone. For such users, makeup can be sufficiently supported by such a presentation method.
  • makeup assisting apparatus 100 may present makeup / skin care by a method other than the display of a simulation image.
  • the makeup support apparatus 100 is connected to a printer that transfers a cosmetic for skin cosmetics to a predetermined thin film (paper-like medium).
  • a thin film easily carries the transferred cosmetic agent.
  • the cosmetic agent on the thin film is easily transferred to the skin by being pressed against the skin.
  • makeup assisting apparatus 100 sets the same shape and area as the area in the real space of the photographed face in thin film in makeup / skin care presentation unit 290, and transfers the makeup to the corresponding area to the printer.
  • the thin film may be planar or three-dimensional.
  • makeup assisting apparatus 100 can present makeup to the user in association with the corresponding areas on the thin film.
  • the user actually performs the makeup selected based on the simulation image by pressing the entire thin film against the face with the points indicating the left and right corners printed on the thin film aligned with the left and right corners of the user. be able to. That is, the user can easily and quickly make a desired makeup without performing a task of applying a cosmetic agent for each facial part.
  • makeup support apparatus 100 may access a server on the network storing the table and select makeup / skin care.
  • makeup support apparatus 100 arranges, for example, only photographing unit 210 and display unit 300 among the functional units shown in FIG. 2 on a terminal owned by the user, and arranges other device units on a server on the network.
  • a distributed system may be used.
  • the physical condition acquisition unit 260 may detect the external light and acquire the facial feature amount from the image in a state where the influence of the external light is reduced.
  • makeup to be presented includes mascara, lip gloss, and the like.
  • skin care to be presented includes facial massage methods, dietary methods, and the like.
  • makeup assisting apparatus 100 may perform wireless communication with other various home appliances and perform skin care presentation in conjunction with other various home appliances.
  • makeup support apparatus 100 cooperates with the refrigerator, and selects foods that improve the user's physical condition or facial condition from the foods in the refrigerator based on the user's physical condition information. Then, makeup support apparatus 100 presents a message prompting the user to take the selected food.
  • makeup support apparatus 100 cooperates with an air conditioner to set an environment that improves the user's physical condition or facial condition as a target environment based on the user's physical condition information. Then, makeup assisting apparatus 100 controls the operation of the air conditioner so that the room approaches the target environment.
  • makeup support apparatus 100 cooperates with an AV (Audio Video) device to select a television program that provides information that improves the user's physical condition or facial condition based on the user's physical condition. . Then, makeup assisting apparatus 100 controls the recording device so that the selected television program is displayed or recorded.
  • AV Audio Video
  • makeup assisting apparatus 100 is connected to a skin care device such as a steamer or a facial device, and makeup / skin care presentation unit 290 presents device information such as a method of using the skin care device to the user.
  • makeup / skin care presentation unit 290 may communicate with a connected device and acquire device information from the device, or may acquire only identification information from the device and respond from the Internet. Device information may be acquired.
  • the makeup support apparatus includes a physical condition acquisition unit that acquires physical condition information related to the physical condition of a person who is to perform makeup and / or skin countermeasures, and the makeup method based on the acquired physical condition information
  • a makeup / skin care selection unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and / or skin care to a user who performs the makeup and / or skin countermeasure
  • a makeup / skin care presentation unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and / or skin care to a user who performs the makeup and / or skin countermeasure
  • a makeup / skin care presentation unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and / or skin care to a user who performs the makeup and / or skin countermeasure
  • a makeup / skin care presentation unit for selecting makeup and / or skin care that is the skin countermeasure method, and presenting the selected makeup and
  • the makeup support device associates each of the plurality of contents of the physical condition information with the makeup suitable for the change in the face state of the person predicted when the person corresponds to the physical condition type.
  • a makeup / skin care table storage unit storing a makeup / skin care table describing the skin care, wherein the makeup / skin care selection unit refers to the makeup / skin care table and acquires the physical condition information
  • the makeup and / or the skin care corresponding to the content of may be selected.
  • the makeup support apparatus further includes an image acquisition unit that acquires an image obtained by photographing the person's face, and a facial part acquisition unit that acquires an area of the facial part of the face from the image,
  • the makeup / skin care selection unit selects the makeup for each facial part, and the makeup / skin care presentation unit applies the makeup to the face on the image based on the region of the facial part. It is also possible to generate a simulation image obtained by superimposing an image indicating the makeup state when the image is made, and present the generated simulation image.
  • the physical condition information is information related to at least one of sleep time, body temperature, amount of physical activity, eyelid opening, blink frequency, period in menstrual cycle, blood pressure, and skin condition. It may be.
  • the plurality of contents of the physical condition are a plurality of physical condition levels corresponding to the level of quality of the physical condition, sleep time, body temperature, physical activity amount, eyelid opening, blink frequency, Describes the correspondence relationship between the sensor information acquisition unit that acquires at least one of the time, blood pressure, and skin state in the menstrual cycle as sensor information, the plurality of contents of the sensor information, and the plurality of physical condition levels
  • a physical condition table storage unit that stores the physical condition table, and the physical condition acquisition unit may acquire the physical condition level corresponding to the acquired sensor information with reference to the physical condition table.
  • the change of the facial condition may be skin dryness, sebum secretion, sweat secretion, wrinkles, wrinkles, skin sagging, muscle looseness, muscle tension, poor color, and rough skin. May include at least one intensity change.
  • the makeup support apparatus may further include a photographing unit that captures the video of the face, and a display unit that displays the simulation image for the user, wherein the image acquisition unit configures the video
  • the makeup / skin care presentation unit sequentially generates the simulation image for each of the images constituting the video while maintaining the makeup once selected for the video. You may display on a display part.
  • the makeup / skin care table further associates the facial feature quantity that can be acquired with the makeup, and the makeup / skin care selection unit is configured to store the facial face.
  • a feature amount may be acquired, and the makeup corresponding to the acquired facial feature amount may be selected with reference to the makeup / skin care table.
  • the makeup support method of the present disclosure is a step of acquiring physical condition information relating to a physical condition of a person who is to be subjected to makeup and / or skin countermeasures, and a method of the makeup based on the acquired physical condition information. Selecting makeup and / or skin care that is a way of dealing with the skin, and presenting the selected makeup and / or skin care to a user performing the makeup and / or the skin countermeasure. May be.
  • the makeup support program includes a process for acquiring physical condition information relating to a physical condition of a person who is to perform makeup and skin countermeasures on a computer, and the makeup information based on the acquired physical condition information.
  • the program may be recorded on a computer-readable recording medium.
  • the recording medium may be a non-transitory recording medium such as a flash memory.
  • the present invention is useful as a makeup support apparatus, a makeup support method, and a makeup support program that can more appropriately support makeup / skin countermeasures.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pulmonology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

　メイクアップ／肌対策の支援をより適切に行うことができるメイクアップ支援装置を提供すること。メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する体調取得部（２６０）と、取得された体調情報に基づいて、メイクアップの仕方であるメイクおよびまたは肌対策の仕方であるスキンケアを選択するメイク／スキンケア選択部（２８０）と、メイクアップ／肌対策を行うユーザに対して、選択されたメイクおよびまたはスキンケアを提示するメイク／スキンケア提示部（２９０）とを有する。

Description

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
　本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
　近年、顔のメイクアップの仕方（以下「メイク」という）および肌対策の仕方（以下「スキンケア）という）の多様化が進んでいる。無数の選択肢の中から適切なメイクおよび肌対策を選択することは、特にメイクおよびスキンケアについての十分な知識を有さない人にとって、困難である。あらゆるメイクおよびスキンケアを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。
　そこで、顔の特徴に合うメイクを選択し、選択されたメイクが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術は、メイクアップの対象となる顔を撮影した画像を取得し、顔の特徴を抽出し、予め定められた選択基準に基づいて、顔の特徴に合うメイクを選択する。そして、特許文献１および特許文献２に記載の技術は、取得した画像に、選択したメイクを顔に適用したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成し、表示する。
　また、肌の状態およびスケジュールに合うスキンケアを選択して提示する技術が、例えば特許文献３に記載されている。特許文献３に記載の技術は、ユーザの現在の肌の状態および行動スケジュールに基づいて、スキンケア情報を作成し、作成したスキンケア情報を報知する。
　これらの従来技術によれば、より少ない時間および手間で、顔の特徴に合ったメイク、または現在の肌の状態および行動スケジュールを鑑みたスキンケアを選択し、実施することが可能となる。
特開２００１－３４６６２７号公報 特開２００７－１７５３８４号公報 特開２０１０－１９９７５６号公報 特開２００３－４４８３７号公報
須田都三男、外７名、"疲れと肌に関するアンケート"、［online］、平成２４年４月、オルニチン研究会、［平成２５年２月２７日検索］、インターネット〈URL:http://ornithine.jp/information/2012/04/post-9.html〉
　しかしながら、顔の状態は時間と共に変化するため、従来技術では、結果として、不適切なメイク／スキンケアが選択されるおそれがある。例えば、朝のメイク時には目の下の隈は無かったため、これを隠すためのコンシーラの塗布を特に行わないようなメイクが選択されたところ、夕方になって、疲労により目の下の隈が濃く現れるといった具合である。したがって、従来技術では、メイクアップ／肌対策の支援を適切に行うことができないおそれがある。
　本発明の目的は、メイクアップ／肌対策の支援をより適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。
　本発明のメイクアップ支援装置は、メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する体調取得部と、取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択するメイク／スキンケア選択部と、前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示するメイク／スキンケア提示部と、を有する。
　本発明のメイクアップ支援方法は、メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得するステップと、取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択するステップと、前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示するステップと、を有する。
　本発明のメイクアップ支援プログラムは、コンピュータに、メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する処理と、取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択する処理と、前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示する処理と、を実行させる。
　本発明によれば、メイクアップ／肌対策の支援をより適切に行うことができる。
本発明の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本発明の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における体調テーブルの一例を示す図 実施の形態２におけるメイク／スキンケアテーブルの一例を示す図 実施の形態２におけるメイク／スキンケア情報テーブルの一例を示す図 実施の形態２における化粧品情報テーブルの一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２における画像の一例を示す図 実施の形態２における顔の特徴点の配置の一例を示す図 実施の形態２における顔部品情報の一例を示す図 実施の形態２におけるシミュレーション画像の一例を示す図 実施の形態２における時間経過後の顔の状態の一例を示す図 実施の形態２におけるシミュレーション画像の他の例を示す図
　以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　本発明の実施の形態１は、本発明の基本的態様の一例である。
　図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図１において、メイクアップ支援装置１００は、体調取得部２６０、メイク／スキンケア選択部２８０、およびメイク／スキンケア提示部２９０を有する。
　体調取得部２６０は、メイクアップ／肌対策を行う対象となる人（以下「メイク対象者」という）の体調に関する、体調情報を取得する。
　メイク／スキンケア選択部２８０は、取得された体調情報に基づいて、メイクアップの仕方であるメイク／肌対策の仕方であるスキンケアを選択する。
　メイク／スキンケア提示部２９０は、メイク対象者にメイクアップ／肌対策を行うユーザ（例えば、メイク対象者自身）に対して、選択されたメイク／スキンケアを提示する。
　メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、ユーザに対して、メイク対象者の体調を考慮して選択されたメイク／スキンケアを、提示することができる。顔の状態の変化の度合いは、特に、その人の体調に大きく影響される（例えば、非特許文献１参照）。したがって、メイク対象者の体調を考慮してメイク／スキンケアを選択することにより、時間経過後の顔の状態により適したメイク／スキンケアを提示することが可能となる。すなわち、メイクアップ支援装置１００は、時間経過後の顔の状態を考慮してメイク／スキンケアを選択することができ、メイクアップ／肌対策の支援を、より適切に行うことができる。
　（実施の形態２）
　本発明の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルカメラおよびタッチパネル付きディスプレイを備えた装置に適用した例である。
　＜用語の説明＞
　まず、本実施の形態において用いられる用語について説明する。
　「体調情報」とは、人の体調に関する情報であり、睡眠時間、体温、身体活動量、瞼の開度、瞬目頻度、月経周期における時期、血圧、および肌状態のうち、少なくとも１つに関する情報であるものとする。
　「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔の印象を特徴付ける部分を指すものとする。
　「顔部品ＩＤ」とは、顔部品の識別情報である。
　「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。
　「顔特徴量」とは、顔の特徴を示す所定のパラメータの値である。ここでは、顔の幅に対する顔の長さの比、両目の間隔に対する鼻の長さの比、および、顔の幅に対する目の幅の比等の、複数の値から成る多変量データであるものとする。
　「メイク」とは、アイシャドウ及び口紅等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含む。
　「スキンケア」とは、肌の状態を整えるための行動（肌対策）の仕方（種類）を示す。かかる行動には、例えば、肌状態を改善させるために肌に施す手入れ、および、体内から肌状態を改善させる（インナービューティを向上させる）行動を含む。前者としては、例えば、化粧水または美容液等の基礎化粧品の塗布、顔のマッサージ等が挙げられる。後者としては、例えば、サプリメントの摂取、自然食品摂取、ヨガ等の運動、室内環境の調整等が挙げられる。基礎化粧品の塗布の仕方には、基礎化粧品の種類、１回当たりの塗布量、塗布範囲、塗布頻度、塗布する時間帯、塗布の仕方等が含まれる。
　「メイク／スキンケア情報」とは、メイク／スキンケアの内容を示す情報である。
　「化粧品情報」とは、メイク／スキンケアを適用するための肌用化粧品に関する情報である。
　「メイク／スキンケア種別」とは、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクの種類、および、「化粧水」、および「美容液」等のスキンケアの種類である。
　「メイク／スキンケアＩＤ」とは、メイク／スキンケアの識別情報である。
　「化粧品ＩＤ」とは、肌用化粧品の識別情報であり、化粧品情報を特定可能な情報である。
　「顔の状態の変化」とは、肌の乾燥、皮脂の分泌、汗の分泌、隈、皺、皮膚のたるみ、筋肉の緩み、筋肉の緊張、血色不良、および肌荒れのうち、少なくとも１つの強度の変化を含む。
　「体調レベル」とは、体調の良否のレベルを示す値である。
　＜メイクアップ支援装置の構成＞
　次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
　図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、センサ情報取得部２３０、顔部品取得部２４０、体調テーブル格納部２５０、体調取得部２６０、メイク／スキンケアテーブル格納部２７０、メイク／スキンケア選択部２８０、メイク／スキンケア提示部２９０、および表示部３００を有する。
　撮影部２１０は、例えばデジタルビデオカメラであり、メイク対象者の顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。なお、本実施の形態において、メイク対象者は、メイクアップ支援装置１００のユーザであるものとする。
　画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像を、顔部品取得部２４０およびメイク／スキンケア提示部２９０へ出力する。
　センサ情報取得部２３０は、ユーザの体調情報を取得するために必要なセンサ情報を、各種センサ（図示せず）から取得する。そして、センサ情報取得部２３０は、取得したセンサ情報を、体調取得部２６０へ出力する。センサ情報の取得先は、例えば、睡眠計、体温計、身体活動量計、デジタルカメラ、およびタッチパネル等の情報入力装置である。
　なお、本実施の形態において、センサ情報取得部２３０は、ユーザが使用する睡眠計および体温計（図示せず）と無線通信を行い、無線通信により、これらの機器から、センサ情報として睡眠時間および体温計を取得するものとする。
　顔部品取得部２４０は、入力された画像から、顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献４参照）。そして、顔部品取得部２４０は、取得した顔部品の識別情報および領域を示す情報（以下「顔部品情報」という）を、メイク／スキンケア選択部２８０へ出力する。
　体調テーブル格納部２５０は、体調テーブルを格納している。体調テーブルは、センサ情報の複数の内容と、複数の体調レベルと、の対応関係を記述したテーブルである。
　図３は、体調テーブルの一例を示す図である。
　図３に示すように、体調テーブル４１０は、睡眠時間４１１と体温４１２との組み合わせパターン毎に、体調レベル４１３を記述している。例えば、「４.５ｈ未満」という睡眠時間４１１と、「３７.５℃以上」という体温４１２との組み合わせに対しては、「１」という体調レベル４１３が対応付けられている。これは、睡眠時間が４.５ｈ未満であり、かつ、体温が３７.５℃以上である場合、「１」という体調レベルに相当することを示す。なお、本実施の形態において、体調レベルは、値が大きいほど体調がより良好であることを示すものとする。
　図２のメイク／スキンケアテーブル格納部２７０は、メイク／スキンケアテーブルを格納している。メイク／スキンケアテーブルは、体調情報の複数の内容のそれぞれに対応付けて、人が当該体調種別に該当する場合に予測される顔の状態の変化に適した、メイク／スキンケアを記述したテーブルである。なお、本実施の形態において、体調情報の複数の内容とは、複数の体調レベルである。また、本実施の形態において、メイク／スキンケアテーブルは、取得され得る顔の顔特徴量と、その顔特徴量を有する顔に適切なメイクと、を更に対応付けている。
　なお、本実施の形態では、予め、過去にメイクアップ技術者によってメイクが行われた不特定多数の顔の顔特徴量のサンプルに対して、主成分分析が行われているものとする。そして、主成分分析結果は、主成分値が1σ以上であるか否か等を判定基準とする公知の主成分層別法により、予めグルーピングされているものとする。そして、メイク／スキンケアテーブルには、顔特徴量のグループ毎に、そのグループにする顔に対して過去に行われたメイクが、登録されているものとする。
　図４は、メイク／スキンケアテーブルの一例を示す図である。
　図４に示すように、メイク／スキンケアテーブル４２０は、顔特徴量のグループ４２１と体調レベル４２２との組み合わせ毎に、メイク／スキンケアＩＤ４２３を記述している。例えば、「ＦＧ１」という顔特徴量のグループ４２１と、「１」という体調レベル４２２との組み合わせには、「ＦＭ１」というメイク／スキンケアＩＤ４２３が対応付けられている。これは、ユーザの顔の顔特徴量がＦＧ１であって、ユーザの体調レベルが１である場合、「ＦＭ１」というメイク／スキンケアＩＤが示すメイク／スキンケアが適切であるということを示す。
　例えば、また、「ＦＭ３」というメイク／スキンケアＩＤ４２３が示すメイクに比べて、より低い体調レベルに対応する「ＦＭ１」というメイク／スキンケアＩＤ４２３が示すメイクのほうが、隈を隠すためのコンシーラの塗布量を、より多い量で指定する。「ＦＭ３」というメイク／スキンケアＩＤ４２３が示すスキンケアに比べて、より低い体調レベルに対応する「ＦＭ１」というメイク／スキンケアＩＤ４２３が示すスキンケアのほうが、化粧水の塗布量を、より多い量で指定する。
　なお、メイク／スキンケアの流行の変化は速く、提示すべきメイク／スキンケアの変化も速い。このため、メイク／スキンケアテーブル４２０は、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新されることが望ましい。
　また、図２のメイク／スキンケアテーブル格納部２７０は、メイク／スキンケア情報テーブルおよび化粧品情報テーブルを格納している。メイク／スキンケア情報テーブルは、メイク／スキンケアテーブル４２０（図４参照）に記述されたメイク／スキンケアＩＤ４２３が示すメイク／スキンケアの、メイク／スキンケア情報を記述したテーブルである。化粧品情報テーブルは、メイク／スキンケア情報テーブルに記述されたメイク／スキンケア情報が示すメイク／スキンケアの、化粧品情報を記述したテーブルである。
　図５は、メイク／スキンケアテーブル格納部２７０が格納するメイク／スキンケア情報テーブルの一例を示す図である。ここでは、スキンケアが、基礎化粧品の塗布の仕方である場合を例示する。
　図５に示すように、メイク／スキンケア情報テーブル４３０は、例えば、メイク／スキンケアＩＤ４３１、メイク／スキンケア種別４３２、色４３３、濃度４３４、範囲４３５、塗布量４３６、および化粧品ＩＤ４３７を、対応付けて記述している。
　メイク／スキンケアＩＤ４３１は、メイク／スキンケアテーブル４２０のメイク／スキンケアＩＤ４２３（図４参照）に対応している。メイク／スキンケア種別４３２は、ここでは簡略化して図示しているが、具体的には、「ファンデーション」、「アイシャドウ」、「口紅」、「チーク」、および「化粧水」等である。色４３３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度４３４は、ここでは簡略化して図示しているが、具体的には、顔の画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲４３５は、ここでは簡略化して図示しているが、具体的には、特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。
　色４３３、濃度４３４、および範囲４３５の組は、少なくとも画像化に必要な情報を含む。すなわち、本実施の形態において、メイクについてのメイク／スキンケア情報は、少なくとも、顔の画像から、当該顔にメイクアップを施したときの画像を生成するために必要な情報を、含むものとする。
　また、塗布量４３６は、基礎化粧品の塗布量を示す。塗布量４３６は、ここでは簡略化して図示しているが、例えば、「通常量」および「多め」等のテキスト情報である。
　図６は、メイク／スキンケアテーブル格納部２７０が格納する化粧品情報テーブルの一例を示す図である。
　図６に示すように、化粧品情報テーブル４４０は、化粧品ＩＤ４４１、会社ＩＤ４４２、および品番４４３を、対応付けて記述している。
　化粧品ＩＤ４４１は、メイク／スキンケア情報テーブル４３０の化粧品ＩＤ４３７（図５参照）に対応している。会社ＩＤ４４２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番４４３は、肌用化粧品の品番である。
　なお、図４～図６に示すメイク／スキンケアテーブル４２０、メイク／スキンケア情報テーブル４３０、および化粧品情報テーブル４４０は、１つのテーブルに統合されていてもよい。
　図２のメイク／スキンケア選択部２８０は、顔特徴量を取得する。なお、メイク／スキンケア選択部２８０は、顔特徴量を、顔部品取得部２４０から入力された顔部品情報から取得してもよいし、画像取得部２２０が取得した画像を解析することにより画像から取得してもよい。そして、メイク／スキンケア選択部２８０は、取得した顔特徴量と、入力された体調レベルとに基づき、メイク／スキンケアテーブル４２０（図４参照）およびメイク／スキンケア情報テーブル４３０（図５参照）を参照して、顔部品毎に、メイク／スキンケア情報を選択する。すなわち、メイク／スキンケア選択部２８０は、取得された顔特徴量および体調情報に基づいて、メイク／スキンケアを選択する。そして、メイク／スキンケア選択部２８０は、選択したメイク／スキンケア情報を、メイク／スキンケア提示部２９０へ出力する。
　なお、上述の通り、メイク／スキンケアテーブル４２０には、顔特徴量のグループ毎に、メイク／スキンケアＩＤ４２３が登録されている。したがって、メイク／スキンケア選択部２８０は、顔から取得された顔特徴量が、メイク／スキンケアテーブル４２０に登録された顔特徴量のグループ４２１のいずれに属するかを判定し、判定された顔特徴量のグループ４２１に対応するメイク／スキンケアＩＤ４２３を選択する。この判定は、例えば、取得された顔特徴量と各グループの代表値（セントロイド）との距離を算出することにより行われる。
　また、メイク／スキンケア選択部２８０は、化粧品情報テーブル４４０（図６参照）を参照して、顔部品毎に選択したメイクの化粧品情報を取得すると共に、選択したスキンケアの化粧品情報を取得する。そして、メイク／スキンケア選択部２８０は、取得した化粧品情報を、メイク／スキンケア情報と対応付けて、メイク／スキンケア提示部２９０へ出力する。
　メイク／スキンケア提示部２９０は、メイクアップ／肌対策を行うユーザに対して、選択されたメイク／スキンケアを提示する。より具体的には、メイク／スキンケア提示部２９０は、入力された画像、メイク／スキンケア情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部３００に出力する。ここで、シミュレーション画像は、入力（撮影）された画像に、顔に対して選択されたメイクを適用したときの画像を、重畳して得られる画像である。
　なお、画像の重畳は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）～（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ２、ｇ２、ｂ２は、メイクのＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
　Ｒ ＝ ｒ２×α＋ｒ１×（１－α）　　　・・・（１）
　Ｇ ＝ ｇ２×α＋ｇ１×（１－α）　　　・・・（２）
　Ｂ ＝ ｂ２×α＋ｂ１×（１－α）　　　・・・（３）
　また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクを適用したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。
　また、メイク／スキンケア提示部２９０は、画像取得部２２０から取得した映像を構成する画像毎に、順次、一旦選択されたメイクを用いて、シミュレーション画像を生成して表示部３００に出力する（表示させる）。すなわち、メイク／スキンケア提示部２９０は、１つの映像に対して、一旦選択されたメイクを維持して提示する。
　また、メイク／スキンケア提示部２９０は、選択されたスキンケアのメイク／スキンケア情報と、選択されたメイク／スキンケアの化粧品情報とを、更に提示する。より具体的には、メイク／スキンケア提示部２９０は、上記シミュレーション画像に、入力された化粧品情報およびスキンケアのメイク／スキンケア情報を示す画像あるいはテキストを、重畳あるいは追加する。
　表示部３００は、例えば、タッチパネル付きディスプレイのディスプレイ部分であり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像、スキンケアのメイク／スキンケア情報、および化粧品情報を表示（提示）する。
　なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、ユーザに対して、ユーザの体調を考慮して選択されたメイク／スキンケアを、提示することができる。顔の状態の変化の度合いは、その人の体調に大きく影響される（例えば、非特許文献１参照）。したがって、ユーザの体調を考慮してメイク／スキンケアを選択することにより、時間経過後の顔の状態により適したメイク／スキンケアを提示することが可能となる。
　＜メイクアップ支援装置の動作＞
　次に、メイクアップ支援装置１００の動作について説明する。
　図７は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。
　まず、ステップＳ１１００において、センサ情報取得部２３０は、ユーザの睡眠時間および体温を、センサ情報として取得する。
　そして、ステップＳ１２００において、体調取得部２６０は、取得されたセンサ情報に基づいて、ユーザの体調レベルを取得する。
　そして、ステップＳ１３００において、撮影部２１０は、ユーザの顔の映像の撮影を開始し、画像取得部２２０は、撮影された映像を構成する画像の取得を開始する。また、顔部品取得部は、画像に含まれる顔の顔部品の取得を開始する。
　この際、顔部品取得部２４０は、例えば、画像５１０（図８参照）を解析することにより、画像５１０から顔の（顔部品の）特徴点を抽出する。そして、顔部品取得部２４０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、顔部品取得部２４０は、取得した顔部品の領域から、顔部品情報を生成する。
　図８は、図７のステップＳ１３００において取得される、画像の一例を示す図である。
　図８に示すように、画像５１０は、ユーザの顔の画像（以下「顔画像」という）５１１を含む。ユーザは、メイクアップをしていない状態である。
　また、ここで、ユーザは、８時間の睡眠を取り、３６.５度の体温であって、体調が良好な状態にあるものとする。
　図９は、図７のステップＳ１３００において抽出される、顔の特徴点の配置の一例を示す図である。
　図９に示すように、顔画像５１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１～第４の特徴点５２１～５２４は、右目を構成する。したがって、顔部品取得部２４０は、第１～第４の特徴点５２１～５２４により囲まれる領域５２５を、右目の領域として取得する。
　図１０は、図７のステップＳ１３００において生成される、顔部品情報の一例を示す図である。
　図１０に示すように、顔部品情報５３０は、例えば、顔部品ＩＤ５３１毎に、領域５３２および人ＩＤ５３３を記述している。顔部品ＩＤ５３１は、左目、上唇等の、顔部品の識別情報である。領域５３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ５３３は、人の識別情報である。人ＩＤ５３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
　そして、図７のステップＳ１４００において、メイク／スキンケア選択部２８０は、顔特徴量を取得する。顔特徴量は、上述の通り、顔の特徴を示す所定のパラメータについての多変量データである。メイク／スキンケア選択部２８０は、例えば、画像５１０（図８参照）、顔の特徴点群（図９参照）、および、顔部品情報（図１０参照）のいずれかから、顔特徴量を取得する。そして、メイク／スキンケア選択部２８０は、取得された顔特徴量および体調レベルに基づいて、メイク／スキンケアを選択する。
　そして、ステップＳ１５００において、メイク／スキンケア提示部２９０は、メイクに関するメイク／スキンケア情報に基づいて、シミュレーション画像を生成し、表示部３００に表示させる。この際、メイク／スキンケア提示部２９０は、スキンケアに関するメイク／スキンケア情報、および、メイク／スキンケアの化粧品情報についても、表示部３００に表示させる。
　図１１は、図７のステップＳ１５００において生成される、シミュレーション画像の一例を示す図である。
　図１１に示すように、シミュレーション画像５４０は、顔画像５１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、メイクの画像５４１～５４５を重畳した画像となっている。
　また、シミュレーション画像５４０には、スキンケアのメイク／スキンケア情報と、メイク／スキンケアの化粧品情報とを示す、情報表示エリア５４６が追加されている。すなわち、シミュレーション画像５４０には、スキンケアの内容と、選択されたメイクを適用するのに必要な肌用化粧品の化粧品情報とが、併せて表示される。
　なお、情報表示エリア５４６に表示されるテキストは、予めメイク／スキンケア情報テーブル４３０（図５参照）あるいは化粧品情報テーブル４４０（図６参照）に登録されていてもよい。あるいは、情報表示エリア５４６に表示されるテキストは、メイク／スキンケア提示部２９０が、メイク／スキンケア情報および化粧品情報に基づいて生成してもよい。
　ユーザは、表示されているシミュレーション画像５４０が示すメイク、または提示されたスキンケアを気に入った場合、表示された化粧品情報に基づいて必要な肌用化粧品を入手し、実際のメイクアップを容易に行うことができる。
　そして、ステップＳ１６００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１６００：ＹＥＳ）、ステップＳ１５００へ戻り、次の画像に処理を移す。また、画像取得部２２０は、映像の入力が終了した場合（Ｓ１６００：ＮＯ）、一連の処理を終了する。
　以上のような動作により、メイクアップ支援装置１００は、映像に追従して、メイクを対応する領域に対応付けて、ユーザに提示することができる。したがって、ユーザは、顔の向きまたは表情を変化させながら、メイクアップの効果を確認することができ、あたかも実際にメイクアップを行った状態を鏡に映して見ているかのような体験をすることができる。
　ユーザの体調が良好な状態にある場合、ある程度の時間が経過した後においても、ユーザの顔の状態は、図８に示すような良好な状態が維持される。ところが、ユーザの体調があまり良好ではない場合、顔の状態は、変化し易く、時間が経過すると、メイクシミュレーションを行ったときとは異なった状態と成り得る。
　図１２は、ユーザの体調が良好ではない場合の、時間経過後の顔の状態の一例を示す図である。これは、例えば、ユーザが、４時間しか睡眠を取っていない場合である。
　図１２に示すように、ユーザの顔５５１ａの両目の下には、濃い隈５５２ａが現れる。したがって、ユーザの体調が良好ではない場合、このような隈５５２ａを隠すようなメイクが、予め施されることが望ましい。
　そこで、本実施の形態に係るメイクアップ支援装置１００は、上述の通り、体調情報に基づいて、体調に基づく顔状態の変化に適したメイク／スキンケアを提案する。
　図１３は、４時間しか睡眠を取っていないユーザに対して提示される、シミュレーション画像の例を示す図である。
　図１３に示すように、シミュレーション画像５４０ａは、図１１と同様のメイクの画像５４１～５４５に加えて、隈を隠すためのコンシーラの塗布を示す画像５４７ａを重畳した画像となる。また、情報表示エリア５４６ａには、コンシーラの化粧品情報と、肌が通常よりも乾燥し易いことを考慮した肌用化粧品の化粧品情報とが、表示される。
　このような、顔状態の変化に適したメイク／スキンケアを提案することにより、例えば、ユーザの顔が図８に示す状態から図１２に示す状態に変化したとしても、図１１に示すような審美性に優れた外見を維持することが可能となる。
　なお、メイクシミュレーション時にコンシーラの画像のみを表示しても、コンシーラの位置および濃度は視認しにくい。このため、シミュレーション画像５４０ａは、塗布領域を点線等で示したり、塗布量をテキスト表示することが望ましい。
　＜本実施の形態の効果＞
　以上のように、本実施の形態に係るメイクアップ支援装置１００は、ユーザに対して、体調情報に基づいて選択されたメイク／スキンケアを、提示する。これにより、メイクアップ支援装置１００は、メイクアップ／肌対策の支援を、より適切に行うことができる。
　＜体調レベルの提示＞
　なお、メイクアップ支援装置１００は、メイク／スキンケアと併せて、上述の体調レベル、または体調情報から推定される時間経過後の顔の変化を、ユーザに対して提示してもよい。これにより、ユーザは、自己の体調の良し悪しを客観的に把握したり、自己の顔の変化を予め知ることができる。
　＜メイクの選択肢＞
　また、メイクアップ支援装置１００は、顔特徴量および体調情報から１つのメイクを選択したが、これに限定されない。例えば、メイクアップ支援装置１００は、複数のメイクを選択肢として提示し、選択されたメイクを、メイク／スキンケア提示部２９０による提示の対象としてもよい。
　この場合、例えば、メイクアップ支援装置１００は、メイク／スキンケア選択部２８０において、複数のメイクを選択し、選択した複数のメイクの識別情報を、表示部３００に表示させる。そして、メイクアップ支援装置１００は、タッチパネル付きディスプレイに対する操作等を介してユーザにより選択されたメイクのメイク／スキンケア情報を、メイク／スキンケア選択部２８０からメイク／スキンケア提示部２９０へと出力する。この場合、メイクアップ支援装置１００は、任意のタイミングで、提示の対象となるメイクの切り替えを、ユーザから受け付けることが望ましい。これにより、ユーザは、複数のメイクの中から、適切かつユーザの好みに合ったメイクを、迅速に判断することができる。
　＜他のメイクの選択手法＞
　また、どのような体調情報からどのようなメイク／スキンケアを選択するかについては、上述の例に限定されない。
　例えば、メイクアップ支援装置１００は、体調情報に関する複数種類のパラメータ毎に、メイク／スキンケアを対応付けたテーブルを格納しておき、パラメータの種別毎にメイク／スキンケアを選択してもよい。例えば、メイクアップ支援装置１００は、目の下の隈を隠すためのコンシーラを用いたメイクを、睡眠時間のみに基づいて選択し、美容液を用いたスキンケアを、体温のみに基づいて選択する。
　また、メイクアップ支援装置１００のメイク／スキンケアの選択手法としては、上述の例を含め、例えば、以下のものが挙げられる。
　（１）体温が閾値以上である場合、乾燥を防ぐ保湿性の高い化粧品を選択。
　（２）月経中である場合、低刺激性の化粧品を選択。
　（３）睡眠時間等から推定される快眠度が低い場合、または活動量が低い場合、コンシーラ、血色が良く見えるメイクカラー、または顔のマッサージを選択。
　（４）瞼の開度（上下幅の、通常状態に対する割合）および瞬目頻度から推定される目の疲労度が閾値以上である場合、目元が明るくなるメイク、または目元のマッサージを選択。
　また、例えば、メイクアップ支援装置１００は、他の各種家電機器と無線通信を行い、体調情報の取得を、他の各種家電機器と連動して行うようにしてもよい。例えば、メイクアップ支援装置１００は、電子レンジなどで調理された料理を示すデータから、ユーザの体調変化を推定し、ユーザの体調に適したメイク／スキンケアを選択する。具体的には、例えば、メイクアップ支援装置１００は、脂質の多い料理が摂取された場合、皮脂分泌の増加を前提としたメイク／スキンケアの選択を行う。具体的には、例えば、メイクアップ支援装置１００は、リキッドファンデーションではなくパウダーファンデーションを選択したり、油分の多い乳液を選択せずに水分が多めの化粧水を選択する。
　また、メイクアップ支援装置１００は、顔特徴量以外のパラメータに基づいて、提示の対象となるメイクを選択してもよい。例えば、メイクアップ支援装置１００は、インターネット上の不特定多数のユーザの評価等、外部での評価が高いメイクを、優先的に選択してもよい。また、例えば、メイクアップ支援装置１００は、ユーザの年齢または居住地域に基づいて、メイクを選択してもよい。
　＜化粧品情報の応用＞
　また、メイクアップ支援装置１００は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置１００は、ユーザがメイクに対する決定操作を行ったとき、インターネットを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。
　＜他の提示内容＞
　また、メイクアップ支援装置１００は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。
　また、メイクアップ支援装置１００は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」、「両目の下の幅１ｃｍの範囲に、Ｂ２社の品番７８のコンシーラを、薄目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。
　＜他の提示手法＞
　また、メイクアップ支援装置１００は、シミュレーション画像の表示以外の手法で、メイク／スキンケアの提示を行ってもよい。
　例えば、メイクアップ支援装置１００は、肌用化粧品の化粧剤を所定の薄膜（紙状媒体）に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。
　そして、メイクアップ支援装置１００は、メイク／スキンケア提示部２９０において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。
　これにより、メイクアップ支援装置１００は、メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。
　ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、所望のメイクを行うことができる。
　＜その他の構成の変形例＞
　また、上述の各種テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、メイク／スキンケアを選択すればよい。
　また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部３００のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
　また、体調取得部２６０は、外光を検出し、画像から、外光の影響を軽減した状態で、顔特徴量の取得を行うようにしてもよい。
　また、メイク／スキンケアの具体的内容は、上述の例に限定されない。例えば、提示の対象となるメイクには、マスカラの仕方、リップグロスの仕方等が含まれる。また、提示の対象となるスキンケアには、顔のマッサージの仕方、食生活の仕方等が含まれる。
　また、メイクアップ支援装置１００は、他の各種家電機器と無線通信を行い、スキンケアの提示を、他の各種家電機器と連動して行うようにしてもよい。
　例えば、メイクアップ支援装置１００は、冷蔵庫と連携し、ユーザの体調情報に基づいて、冷蔵庫にある食品の中からユーザの体調あるいは顔の状態を改善するような食品を選択する。そして、メイクアップ支援装置１００は、選択した食品の摂取を促すメッセージを、ユーザに対して提示する。
　また、例えば、メイクアップ支援装置１００は、エアコンと連携し、ユーザの体調情報に基づいて、ユーザの体調あるいは顔の状態を改善するような環境を、目標の環境として設定する。そして、メイクアップ支援装置１００は、室内が目標の環境に近づくように、エアコンの運転を制御する。
　また、例えば、メイクアップ支援装置１００は、ＡＶ（Audio Video）機器と連携し、ユーザの体調状態に基づいて、ユーザの体調あるいは顔の状態を改善するような情報を提供するテレビ番組を選択する。そして、メイクアップ支援装置１００は、選択したテレビ番組の表示あるいは録画がされるように、録画機器を制御する。
　また、例えば、メイクアップ支援装置１００は、スチーマーあるいは美顔器等のスキンケア機器と接続され、メイク／スキンケア提示部２９０において、上記スキンケア機器の使用方法等の機器情報を、ユーザに提示する。なお、この場合、メイク／スキンケア提示部２９０は、例えば、接続された機器と通信を行い、当該機器から機器情報を取得してもよいし、当該機器から識別情報のみ取得してインターネットから対応する機器情報を取得してもよい。
　本開示のメイクアップ支援装置は、メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する体調取得部と、取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択するメイク／スキンケア選択部と、前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示するメイク／スキンケア提示部と、を有する。
　なお、上記メイクアップ支援装置は、体調情報の複数の内容のそれぞれに対応付けて、前記人が当該体調種別に該当する場合に予測される前記人の顔の状態の変化に適した前記メイクおよびまたは前記スキンケアを記述した、メイク／スキンケアテーブルを格納するメイク／スキンケアテーブル格納部、を更に有し、前記メイク／スキンケア選択部は、前記メイク／スキンケアテーブルを参照して、取得された前記体調情報の内容に対応する前記メイクおよびまたは前記スキンケアを選択してもよい。
　また、上記メイクアップ支援装置は、前記人の顔を撮影した画像を取得する画像取得部と、前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、を更に有し、前記メイク／スキンケア選択部は、前記顔部品毎に、前記メイクを選択し、前記メイク／スキンケア提示部は、前記顔部品の領域に基づいて、前記画像に、前記顔に対して前記メイクを適用したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。
　また、上記メイクアップ支援装置において、前記体調情報は、睡眠時間、体温、身体活動量、瞼の開度、瞬目頻度、月経周期における時期、血圧、および肌状態のうち、少なくとも１つに関する情報であってもよい。
　また、上記メイクアップ支援装置において、前記体調の複数の内容は、体調の良否のレベルに対応する複数の体調レベルであり、睡眠時間、体温、身体活動量、瞼の開度、瞬目頻度、月経周期における時期、血圧、および肌状態のうち、少なくとも１つを、センサ情報として取得するセンサ情報取得部と、前記センサ情報の複数の内容と、前記複数の体調レベルと、の対応関係を記述した体調テーブルを格納する体調テーブル格納部と、を更に有し、前記体調取得部は、前記体調テーブルを参照して、取得された前記センサ情報に対応する前記体調レベルを取得してもよい。
　また、上記メイクアップ支援装置において、前記顔の状態の変化は、肌の乾燥、皮脂の分泌、汗の分泌、隈、皺、皮膚のたるみ、筋肉の緩み、筋肉の緊張、血色不良、および肌荒れのうち、少なくとも１つの強度の変化を含んでもよい。
　また、上記メイクアップ支援装置において、前記顔の映像を撮影する撮影部と、前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記メイク／スキンケア提示部は、前記映像に対して一旦選択された前記メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させてもよい。
　また、上記メイクアップ支援装置において、前記メイク／スキンケアテーブルは、取得され得る前記顔の顔特徴量と、前記メイクと、を更に対応付けており、前記メイク／スキンケア選択部は、前記顔の顔特徴量を取得し、前記メイク／スキンケアテーブルを参照して、取得された前記顔特徴量に対応する前記メイクを選択してもよい。
　本開示のメイクアップ支援方法は、メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得するステップと、取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択するステップと、前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示するステップと、を有してもよい。
　本開示のメイクアップ支援プログラムは、コンピュータに、メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する処理と、取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択する処理と、前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示する処理と、を実行させる。
　なお、プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。記録媒体は、フラッシュメモリなどの非一過性の記録媒体であってもよい。
　２０１３年２月２８日出願の特願２０１３－０３９１３８の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明は、メイクアップ／肌対策の支援をより適切に行うことができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。
　１００　メイクアップ支援装置
　２１０　撮影部
　２２０　画像取得部
　２３０　センサ情報取得部
　２４０　顔部品取得部
　２５０　体調テーブル格納部
　２６０　体調取得部
　２７０　メイク／スキンケアテーブル格納部
　２８０　メイク／スキンケア選択部
　２９０　メイク／スキンケア提示部
　３００　表示部
 

Claims (10)

  1. 　メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する体調取得部と、
    　取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択するメイク／スキンケア選択部と、
    　前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示するメイク／スキンケア提示部と、を有する、
    　メイクアップ支援装置。
  2. 　体調情報の複数の内容のそれぞれに対応付けて、前記人の体調が前記体調情報のいずれかに該当する場合に予測される前記人の顔の状態の変化に適した前記メイクおよびまたは前記スキンケアを記述した、メイク／スキンケアテーブルを格納するメイク／スキンケアテーブル格納部、を更に有し、
    　前記メイク／スキンケア選択部は、
    　前記メイク／スキンケアテーブルを参照して、取得された前記体調情報の内容に対応する前記メイクおよびまたは前記スキンケアを選択する、
    　請求項１に記載のメイクアップ支援装置。
  3. 　前記人の顔を撮影した画像を取得する画像取得部と、
    　前記画像から、前記顔の顔部品の領域を取得する顔部品取得部と、を更に有し、
    　前記メイク／スキンケア選択部は、
    　前記顔部品毎に、前記メイクを選択し、
    　前記メイク／スキンケア提示部は、
    　前記顔部品の領域に基づいて、前記画像に、前記顔に対して前記メイクを適用したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示する、
    　請求項２に記載のメイクアップ支援装置。
  4. 　前記体調情報は、
    　睡眠時間、体温、身体活動量、瞼の開度、瞬目頻度、月経周期における時期、血圧、および肌状態のうち、少なくとも１つに関する情報である、
    　請求項２に記載のメイクアップ支援装置。
  5. 　前記体調の複数の内容は、体調の良否のレベルに対応する複数の体調レベルであり、
    　睡眠時間、体温、身体活動量、瞼の開度、瞬目頻度、月経周期における時期、血圧、および肌状態のうち、少なくとも１つを、センサ情報として取得するセンサ情報取得部と、
    　前記センサ情報の複数の内容と、前記複数の体調レベルと、の対応関係を記述した体調テーブルを格納する体調テーブル格納部と、を更に有し、
    　前記体調取得部は、
    　前記体調テーブルを参照して、取得された前記センサ情報に対応する前記体調レベルを取得する、
    　請求項４に記載のメイクアップ支援装置。
  6. 　前記顔の状態の変化は、肌の乾燥、皮脂の分泌、汗の分泌、隈、皺、皮膚のたるみ、筋肉の緩み、筋肉の緊張、血色不良、および肌荒れのうち、少なくとも１つの強度の変化を含む、
    　請求項２に記載のメイクアップ支援装置。
  7. 　前記顔の映像を撮影する撮影部と、
    　前記ユーザに対して前記シミュレーション画像を表示する表示部と、を更に有し、
    　前記画像取得部は、
    　前記映像を構成する画像を取得し、
    　前記メイク／スキンケア提示部は、
    　前記映像に対して一旦選択された前記メイクを維持しつつ、前記映像を構成する前記画像毎に、順次、前記シミュレーション画像を生成して前記表示部に表示させる、
    　請求項３に記載のメイクアップ支援装置。
  8. 　前記メイク／スキンケアテーブルは、取得され得る前記顔の顔特徴量と、前記メイクと、を更に対応付けており、
    　前記メイク／スキンケア選択部は、
    　前記顔の顔特徴量を取得し、前記メイク／スキンケアテーブルを参照して、取得された前記顔特徴量に対応する前記メイクを選択する、
    　請求項２に記載のメイクアップ支援装置。
  9. 　メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得するステップと、
    　取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択するステップと、
    　前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示するステップと、を有する、
    　メイクアップ支援方法。
  10. 　コンピュータに、
    　メイクアップおよびまたは肌対策を行う対象となる人の体調に関する、体調情報を取得する処理と、
    　取得された前記体調情報に基づいて、前記メイクアップの仕方であるメイクおよびまたは前記肌対策の仕方であるスキンケアを選択する処理と、
    　前記メイクアップおよびまたは前記肌対策を行うユーザに対して、選択された前記メイクおよびまたは前記スキンケアを提示する処理と、を実行させる、
    　メイクアップ支援プログラム。
     
PCT/JP2014/000583 2013-02-28 2014-02-04 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム WO2014132566A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/770,167 US10660425B2 (en) 2013-02-28 2014-02-04 Makeup assistance device, makeup assistance method, and makeup assistance program
EP14757240.8A EP2962597B1 (en) 2013-02-28 2014-02-04 Makeup assistance device, makeup assistance method, and makeup assistance program
CN201480009126.3A CN105101836B (zh) 2013-02-28 2014-02-04 化妆辅助装置、化妆辅助方法以及计算机能够读取的记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-039138 2013-02-28
JP2013039138A JP6288404B2 (ja) 2013-02-28 2013-02-28 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Publications (1)

Publication Number Publication Date
WO2014132566A1 true WO2014132566A1 (ja) 2014-09-04

Family

ID=51427846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000583 WO2014132566A1 (ja) 2013-02-28 2014-02-04 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Country Status (5)

Country Link
US (1) US10660425B2 (ja)
EP (1) EP2962597B1 (ja)
JP (1) JP6288404B2 (ja)
CN (1) CN105101836B (ja)
WO (1) WO2014132566A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292413A (zh) * 2015-12-28 2018-07-17 松下知识产权经营株式会社 化妆模拟辅助装置、化妆模拟辅助方法和化妆模拟辅助程序
CN114704935A (zh) * 2022-02-18 2022-07-05 青岛海尔空调器有限总公司 用于控制空调器的方法、装置、空调器和存储介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6467706B2 (ja) * 2015-02-20 2019-02-13 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム
JP6275086B2 (ja) * 2015-07-25 2018-02-07 株式会社オプティム サーバ、データ提供方法及びサーバ用プログラム
CN105678561B (zh) * 2016-01-29 2020-04-03 京东方科技集团股份有限公司 智能梳妆台及相应的云专家系统
JP6421794B2 (ja) * 2016-08-10 2018-11-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN106108523A (zh) * 2016-08-22 2016-11-16 陈云 一种便携式智能化妆镜、化妆辅助系统及方法
US11113511B2 (en) * 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
CN110621192B (zh) * 2017-06-29 2022-08-12 松下知识产权经营株式会社 片材、图像处理装置以及图像处理方法
DE102017212176A1 (de) * 2017-07-17 2019-01-17 Henkel Ag & Co. Kgaa System und Verfahren zum Ermitteln einer Wirksamkeit einer kosmetischen Hautbehandlung
TW201911084A (zh) * 2017-08-04 2019-03-16 日商資生堂股份有限公司 資訊處理裝置、程式、及化粧品提供裝置
EP3502955A1 (en) * 2017-12-20 2019-06-26 Chanel Parfums Beauté Method and system for facial features analysis and delivery of personalized advice
JP2019115653A (ja) * 2017-12-26 2019-07-18 パナソニックＩｐマネジメント株式会社 身体外観補正支援装置、身体外観補正支援方法、およびコンピュータプログラム
US11191341B2 (en) 2018-01-11 2021-12-07 Casio Computer Co., Ltd. Notification device, notification method, and storage medium having program stored therein
CN108553083A (zh) * 2018-01-29 2018-09-21 杭州美界科技有限公司 一种语音指示下的脸部状态评估方法
CN108389185A (zh) * 2018-01-29 2018-08-10 杭州美界科技有限公司 一种脸部状态评估方法
CN108399364A (zh) * 2018-01-29 2018-08-14 杭州美界科技有限公司 一种主副摄像头设置的脸部状态评估方法
CN108363965A (zh) * 2018-01-29 2018-08-03 杭州美界科技有限公司 一种分布式的脸部状态评估方法
CN108354590A (zh) * 2018-01-29 2018-08-03 杭州美界科技有限公司 一种基于连拍模式的脸部状态评估方法
KR102081947B1 (ko) * 2018-04-24 2020-02-26 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
CN110570224A (zh) * 2018-06-06 2019-12-13 英属开曼群岛商玩美股份有限公司 执行于计算设备的系统、方法及存储媒体
CN111064766A (zh) * 2019-10-24 2020-04-24 青岛海尔科技有限公司 基于物联网操作系统的信息推送方法、装置及存储介质
CN114867383A (zh) * 2019-12-26 2022-08-05 株式会社资生堂 化妆辅助装置、化妆辅助方法、化妆辅助程序以及化妆辅助系统
KR102217252B1 (ko) * 2020-02-20 2021-02-18 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
WO2021203120A1 (en) 2020-03-31 2021-10-07 Snap Inc. Augmented reality beauty product tutorials
CN111553219A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种数据处理方法及智能设备
US20220032025A1 (en) * 2020-08-03 2022-02-03 Johnson & Johnson Consumer Inc. System and method for selective application of cosmetic composition to impart undereye brightening
US11798202B2 (en) * 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
JP7178054B2 (ja) * 2021-01-21 2022-11-25 株式会社Revo 情報提供システム
CN113674829A (zh) * 2021-07-13 2021-11-19 广东丸美生物技术股份有限公司 一种化妆配方的推荐方法及装置
CN113729626B (zh) * 2021-08-03 2023-04-14 蒋登文 一种基于图像识别的便携式皮肤质量检测装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104050A (ja) * 1999-10-06 2001-04-17 Seiko Epson Corp 画像処理を用いた化粧支援方法および化粧台ならびに画像処理を用いた化粧支援処理プログラムを記録した記録媒体
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007175384A (ja) 2005-12-28 2007-07-12 Shiseido Co Ltd チークメーキャップのための顔分類方法、顔分類装置、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2010199756A (ja) 2009-02-23 2010-09-09 Kyocera Corp 携帯電子機器及びシステム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2013039138A (ja) 2002-12-04 2013-02-28 Applied Biosystems Llc ポリヌクレオチドの多重増幅

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP2001268594A (ja) * 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
JP4385925B2 (ja) * 2004-11-02 2009-12-16 花王株式会社 画像形成方法
WO2007083600A1 (ja) * 2006-01-17 2007-07-26 Shiseido Company, Ltd. メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
EP2124185B1 (en) * 2007-02-16 2017-08-30 Kao Corporation Hair image display method and display device
US8425477B2 (en) * 2008-09-16 2013-04-23 Elc Management Llc Method and system for providing targeted and individualized delivery of cosmetic actives
JP2010073008A (ja) * 2008-09-19 2010-04-02 Nec Corp 化粧支援装置、化粧支援方法、及びプログラム
JP2010086036A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
JP4862955B1 (ja) * 2010-10-29 2012-01-25 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP5991536B2 (ja) 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6132232B2 (ja) 2013-02-01 2017-05-24 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
JP6128309B2 (ja) 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6008323B2 (ja) 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2015029371A1 (ja) 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2015029392A1 (ja) 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2015029372A1 (ja) 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6331515B2 (ja) 2014-03-13 2018-05-30 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104050A (ja) * 1999-10-06 2001-04-17 Seiko Epson Corp 画像処理を用いた化粧支援方法および化粧台ならびに画像処理を用いた化粧支援処理プログラムを記録した記録媒体
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013039138A (ja) 2002-12-04 2013-02-28 Applied Biosystems Llc ポリヌクレオチドの多重増幅
JP2007175384A (ja) 2005-12-28 2007-07-12 Shiseido Co Ltd チークメーキャップのための顔分類方法、顔分類装置、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2010199756A (ja) 2009-02-23 2010-09-09 Kyocera Corp 携帯電子機器及びシステム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMIO SUDA: "Questionnaire about fatigue and skin", April 2012, OMITHINE LABORATORY

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292413A (zh) * 2015-12-28 2018-07-17 松下知识产权经营株式会社 化妆模拟辅助装置、化妆模拟辅助方法和化妆模拟辅助程序
CN114704935A (zh) * 2022-02-18 2022-07-05 青岛海尔空调器有限总公司 用于控制空调器的方法、装置、空调器和存储介质
CN114704935B (zh) * 2022-02-18 2024-02-20 青岛海尔空调器有限总公司 用于控制空调器的方法、装置、空调器和存储介质

Also Published As

Publication number Publication date
EP2962597A1 (en) 2016-01-06
JP6288404B2 (ja) 2018-03-07
CN105101836B (zh) 2019-03-29
CN105101836A (zh) 2015-11-25
JP2014166218A (ja) 2014-09-11
US20160000209A1 (en) 2016-01-07
EP2962597A4 (en) 2016-03-16
US10660425B2 (en) 2020-05-26
EP2962597B1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
JP6288404B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2014119242A1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10413042B2 (en) Makeup support device, makeup support method, and makeup support program
JP6128309B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9812030B2 (en) Makeup application assistance device, makeup application assistance method, and makeup application assistance program
WO2015122195A1 (ja) 印象分析装置、ゲーム装置、健康管理装置、広告支援装置、印象分析システム、印象分析方法、プログラム、及びプログラム記録媒体
JP2008003724A (ja) 美容シミュレーションシステム
JP6132248B2 (ja) メイクアップ支援装置
JP2013178789A (ja) 美容シミュレーションシステム
Rudd Cosmetics consumption and use among women: Ritualized activities that construct and transform the self
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2019154923A (ja) フェイシャルエステ提供方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480009126.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14757240

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14770167

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014757240

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE