WO2015029371A1 - メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム - Google Patents

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム Download PDF

Info

Publication number
WO2015029371A1
WO2015029371A1 PCT/JP2014/004218 JP2014004218W WO2015029371A1 WO 2015029371 A1 WO2015029371 A1 WO 2015029371A1 JP 2014004218 W JP2014004218 W JP 2014004218W WO 2015029371 A1 WO2015029371 A1 WO 2015029371A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
face
image
contact
unit
Prior art date
Application number
PCT/JP2014/004218
Other languages
English (en)
French (fr)
Inventor
陽一 合田
智史 山梨
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201480003054.1A priority Critical patent/CN104797165A/zh
Priority to JP2015533970A priority patent/JP6435516B2/ja
Priority to EP14841275.2A priority patent/EP3039991A4/en
Publication of WO2015029371A1 publication Critical patent/WO2015029371A1/ja
Priority to US14/711,792 priority patent/US9594948B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to a makeup support apparatus that supports facial makeup, a makeup support method, and a makeup support program.
  • makeup face makeup methods
  • Patent Document 1 and Patent Document 2 For example, techniques for generating and presenting a simulation image of a face when makeup is applied are described in Patent Document 1 and Patent Document 2, for example.
  • the techniques described in Patent Literature 1 and Patent Literature 2 acquire an image (hereinafter referred to as “face image”) obtained by photographing a face to be makeupd (hereinafter simply referred to as “face”).
  • face image an image obtained by photographing a face to be makeupd
  • face hereinafter simply referred to as “face”.
  • the techniques described in Patent Literature 1 and Patent Literature 2 generate a simulation image by superimposing an image (hereinafter referred to as “makeup image”) indicating a state when makeup is applied to the face on the face image. And display.
  • make-up simulation generation and display of a simulation image is referred to as “make-up simulation”.
  • Patent Document 3 it is conceivable to generate a simulation image using the technique described in Patent Document 3.
  • the technique described in Patent Document 3 detects a contact area when an input tool such as a pen or a finger contacts the display screen.
  • an input tool such as a pen or a finger contacts the display screen.
  • Patent Document 1 and Patent Document 2 are combined with the technique described in Patent Document 3, it is difficult to obtain a sense that a makeup work is actually performed on the face. This is because the work feeling for the face image displayed on the display screen is significantly different from the work feeling for the actual face.
  • An object of the present disclosure is to provide a makeup support apparatus, a makeup support method, and a makeup support program that can provide a feeling that a makeup work is actually performed on a face.
  • a makeup support apparatus includes a position acquisition unit that acquires a relative position of a predetermined indicator with respect to a face, and a contact determination unit that determines whether the indicator is in contact with the face And a makeup method to be applied to a face image obtained by photographing the face, based on a contact position that is the relative position when it is determined that the indicator is in contact with the face. And a makeup determination unit for generating a simulation image obtained by superimposing a makeup image indicating a state of the makeup when the determined makeup is applied to the face image. Part.
  • the makeup support method includes a step of acquiring a relative position of a predetermined indicator with respect to a face, a step of determining whether or not the indicator is in contact with the face, and the instruction Determining a makeup method to be applied to a face image obtained by photographing the face based on a contact position that is the relative position when it is determined that a body is in contact with the face; Generating a simulation image obtained by superimposing a makeup image indicating the makeup state when the determined makeup is applied to the face image.
  • a makeup support program includes a process of acquiring a relative position of a predetermined indicator with respect to a face, and a process of determining whether or not the indicator is in contact with the face.
  • the makeup method to be applied to the face image obtained by photographing the face is determined based on the contact position that is the relative position when it is determined that the indicator is in contact with the face.
  • the comprehensive or specific mode may be realized by a recording medium such as a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the comprehensive or specific aspect may be realized by any combination of a system, a method, an integrated circuit, a computer program, or a recording medium.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a makeup support apparatus according to Embodiment 1 of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a makeup support apparatus according to Embodiment 2 of the present disclosure.
  • the figure which shows an example of the content of the makeup table in Embodiment 2 Flowchart showing an example of operation of makeup support apparatus according to Embodiment 2
  • the first embodiment of the present disclosure is an example of a basic aspect of the present invention.
  • FIG. 1 is a block diagram showing an example of the configuration of a makeup support apparatus according to the present embodiment.
  • makeup support apparatus 100 includes a position acquisition unit 230, a contact determination unit 240, a makeup determination unit 260, and a makeup presentation unit 270.
  • the position acquisition unit 230 acquires the relative position of a predetermined indicator with respect to the face.
  • the predetermined indicator is, for example, a user's fingertip.
  • the contact determination unit 240 determines whether or not the indicator is in contact with the face.
  • the makeup determining unit 260 determines a makeup method to be applied to a face image obtained by photographing a face based on a contact position that is a relative position when it is determined that the indicator is in contact with the face. To do.
  • the makeup presentation unit 270 generates a simulation image obtained by superimposing a makeup image indicating a makeup state when the determined makeup is applied to the face image.
  • makeup support apparatus 100 is not shown, for example, CPU (Central Processing) Unit), a storage medium such as a ROM (Read Only Memory) storing a control program, and a working memory such as a RAM (Random Access Memory).
  • CPU Central Processing
  • ROM Read Only Memory
  • RAM Random Access Memory
  • Such a makeup support apparatus 100 can determine makeup to be subjected to makeup simulation by bringing an indicator such as a fingertip into contact with the face. That is, according to makeup assisting apparatus 100, it is possible to obtain a feeling that makeup work is actually being performed on the face.
  • the second embodiment of the present disclosure is an example of a specific aspect of the present invention.
  • This embodiment is an example in which the present invention is applied to an apparatus including a digital video camera and a display with a touch panel.
  • the “face part” refers to a part constituting the face such as eyes, eyebrows, nose, cheek bones, lips, and contours.
  • “Face feature points” are feature points of facial parts such as eyebrows, eyebrows, eyes, and eyes on the image or in real space.
  • Makeup refers to makeup methods (types) that improve the aesthetics by correcting the impressions of facial parts such as eyebrows and eyeshadows. Includes at least the scope of application.
  • Makeup information is information indicating the contents of makeup, and at least information necessary to generate an image when makeup is applied to the face from the face image (difference from the face color). Information).
  • Makeup type is a type of makeup that is distinguished by at least a positional relationship with a facial part, such as “foundation”, “eyebrow”, “eyeshadow”, “lipstick”, and “teak”.
  • Makeup image is an image showing the state of makeup when makeup is applied to the face.
  • FIG. 2 is a block diagram showing an example of the configuration of the makeup support apparatus according to the present embodiment.
  • makeup assisting apparatus 100 includes photographing unit 210, image obtaining unit 220, position obtaining unit 230, contact determination unit 240, makeup table storage unit 250, makeup determination unit 260, makeup presentation unit 270, and A display unit 280 is included.
  • the photographing unit 210 includes a digital video camera, for example, and photographs a face image to be subjected to a makeup simulation. Then, the imaging unit 210 outputs the captured video to the image acquisition unit 220.
  • the video is composed of a plurality of time-series images (frame images). In the present embodiment, it is assumed that the face targeted for makeup simulation is the face of the user of makeup assisting apparatus 100.
  • the image acquisition unit 220 sequentially acquires images constituting the video from the input video. Then, image acquisition unit 220 outputs the acquired image (hereinafter referred to as “captured image”) to position acquisition unit 230 and makeup presentation unit 270. Note that the image acquisition unit 220 desirably performs image processing for horizontally flipping the captured image in order to give the user a sense of performing makeup while looking at the mirror.
  • the photographed image includes a face image portion (hereinafter referred to as “face image”) to be subjected to the makeup simulation.
  • the position acquisition unit 230 acquires the relative position of a predetermined indicator with respect to the face.
  • the predetermined indicator is a user's fingertip.
  • the position acquisition unit 230 first acquires the facial feature points of each facial part and the fingertip region (hereinafter referred to as “fingertip region”) in the captured image from the input captured image.
  • the acquisition of the facial feature points is performed, for example, by matching each partial region of the facial image in the captured image with a template of each facial part that is prepared in advance and the position of the facial feature point is set (for example, (See Patent Document 4).
  • the position acquisition unit 230 acquires the relative position of the fingertip with respect to the face to be photographed (hereinafter referred to as “fingertip relative position”) from the position of the acquired face feature point and the position of the fingertip area.
  • the position acquisition unit 230 receives the input captured image, identification information and position information of the acquired facial feature points (hereinafter referred to as “facial feature point information”), the acquired fingertip region and the fingertip relative position. Is output to the contact determination unit. Details of the face feature points, details of the fingertip region acquisition method, and details of the fingertip relative position will be described later.
  • the contact determination unit 240 determines whether or not the fingertip is in contact with the face (hereinafter referred to as “fingertip contact determination”). The contact determination unit 240 then outputs the input facial feature point information, the input fingertip relative position, and information indicating the determination result (hereinafter referred to as “contact determination information”) to the makeup determination unit 260. To do. Details of the fingertip contact determination method will be described later.
  • the makeup table storage unit 250 stores a makeup table in advance.
  • the makeup table shows the relative position of the fingertip when it is determined that the fingertip is in contact with the face (hereinafter referred to as “contact position”), makeup type, makeup color, makeup concentration, and makeup It is the table which matched the application range. Details of the makeup table will be described later.
  • Make-up determination unit 260 acquires the fingertip relative position when the contact determination information indicates that the fingertip is in contact with the face as the contact position. Then, makeup determination unit 260 determines makeup to be applied to the face image based on the acquired contact position.
  • makeup determination section 260 refers to the makeup table, and determines the makeup type, makeup color, makeup concentration, and makeup application range from the contact position. Then makeup determination section 260 generates makeup information indicating the determined makeup contents, and outputs the generated makeup information to makeup presentation section 270.
  • the makeup information includes at least information indicating the color, density, and region of the makeup image with respect to the face image.
  • Makeup presentation unit 270 generates an image of the determined makeup from the input makeup information.
  • the makeup presentation unit 270 generates a simulation image by superimposing the generated makeup image on the face image included in the input captured image. Then, makeup presentation unit 270 outputs the generated makeup simulation image to display unit 280.
  • makeup presentation unit 270 outputs a captured image, not a simulation image, to display unit 280 while makeup is not determined.
  • makeup presenting unit 270 holds the determined makeup relative position, makeup color, and makeup density in a series of images. Details of the makeup image superimposing method will be described later.
  • Display unit 280 includes, for example, a display portion of the above-described display with a touch panel.
  • the display unit 280 displays the simulation image based on the input image data of the simulation image. More specifically, the display unit 280 sequentially displays simulation images along the captured video.
  • the makeup support apparatus 100 includes, for example, a CPU, a storage medium such as a ROM storing a control program, and a working memory such as a RAM, although not shown. In this case, the function of each unit described above is realized by the CPU executing the control program.
  • Such makeup support apparatus 100 can determine makeup to be subjected to makeup simulation by bringing a fingertip into contact with the face.
  • FIG. 3 is a diagram illustrating an example of face feature points extracted from a face image.
  • a plurality of face feature points 412 are extracted for each face part.
  • the face feature point 412 is mainly located at the edge, acute angle portion, central portion, etc. of the face part.
  • the arrangement of the facial feature points 412 varies depending on the face.
  • each face part can be extracted from the captured image, and a face coordinate system described later can be set.
  • the position acquisition unit 230 acquires a fingertip region from the captured image using the technique described in Non-Patent Document 1, for example.
  • skin color means a skin color of a person (user or the like).
  • the skin color region means a region having the same color as the user's skin color.
  • the position acquisition unit 230 first extracts a skin color region from the photographed image. Then, the position acquisition unit 230 estimates the finger area from the edge shape of the skin color area, and estimates the fingertip area from the estimated finger area.
  • the position acquisition unit 230 sequentially scans the contour points of the skin color region, and connects the contour point of interest with each of the other two contour points separated by several elements before and after. Define two vectors.
  • the angle formed by these two vectors is within a predetermined range, and the skin color area includes a line-symmetric position with respect to a line connecting the two contour points of the contour point of interest. It is determined whether or not the condition is satisfied.
  • the position acquisition unit 230 determines that the focused contour point constitutes the edge of the fingertip when such a condition is satisfied. And the position acquisition part 230 determines a fingertip area
  • the position acquisition unit 230 acquires the center position of the fingertip region as the position of the fingertip in the captured image. Then, for example, the position acquisition unit 230 converts the acquired position of the fingertip into a coordinate value in a coordinate system (hereinafter referred to as “face coordinate system”) determined based on the face. That is, the position acquisition unit 230 maps the position of the fingertip in the captured image to the face coordinate system.
  • face coordinate system a coordinate system
  • FIG. 4 is a diagram illustrating an example of a face coordinate system.
  • the face coordinate system 421 has, for example, an axis 424 passing through the center 422 of the left eye and the center 423 of the right eye as the X axis, orthogonal to the X axis, and the center 422 of the left eye and the center 4 of the right eye.
  • 23 is a coordinate system in which an axis 425 passing through a midpoint between the two and the Y axis is a Y axis.
  • the unit length of the face coordinate system 421 is a length proportional to the distance between a plurality of face feature points, such as a length based on the distance between the center 422 of the left eye and the center 423 of the right eye. It is desirable.
  • the face coordinate system is not limited to the example shown in FIG.
  • the face coordinate system may be defined by an axis passing through the nose tip and the right eye corner and an axis passing through the nose tip and the left eye corner.
  • the contact determination unit 240 determines the fingertip contact from the face image and the fingertip region, for example, using the technique described in Non-Patent Document 2.
  • the contact determination unit 240 repeatedly acquires the color pattern of the fingertip (that is, the color pattern of the fingertip area) in the photographed image at short time intervals. Then, the contact determination unit 240 determines whether or not the color pattern of the fingertip region has changed, and determines whether or not the fingertip is in contact with the face based on the change in the color pattern. This determination may be performed, for example, by determining which of the color pattern pattern at the time of non-contact and the color pattern pattern at the time of contact, which is prepared in advance, or the change of the color pattern. You may do it based on the direction.
  • FIG. 5 is a diagram showing an example of the contents of the makeup table stored in makeup information storage section 250.
  • the makeup table 430 describes, for example, a makeup type 432, a color 433, a density 434, and a range 435 in association with the contact position range 431.
  • the contact position range 431 is a contact position range determined based on the face feature point or the face coordinate system.
  • the contact position range 431 is a range obtained by expanding a region connecting a plurality of facial feature points located on the outline of the eyebrow by a predetermined width (hereinafter referred to as “brow peripheral region”).
  • the makeup type 432 is illustrated here in a simplified manner, and specifically, “eyebrow”, “foundation”, “eyeshadow”, “lipstick”, “teak”, and the like.
  • the makeup type 432 corresponding to the contact position range 431 indicating the eyebrow peripheral region is “eyebrow”.
  • the color 433 is illustrated in a simplified manner here, but specifically, it is an RGB value, a glossiness, and the like.
  • the color 433 corresponding to the contact position range 431 indicating the eyebrow peripheral region is “dark brown”.
  • the density 434 is illustrated in a simplified manner here, but specifically, is the transparency and the gradation method when superimposed on the face image.
  • the density 434 corresponding to the above-described contact position range 431 indicating the eyebrow peripheral area is “70%”.
  • range 435 is illustrated in a simplified manner here, specifically, it is a relatively small range including the contact position.
  • a range 435 corresponding to the above-described contact position range 431 indicating the eyebrow peripheral region is “inside a circle having a diameter of 3 mm with the contact position as the center”.
  • This range 435 corresponds to the thickness of a brush or stick used in actual makeup.
  • a point-like makeup part having a diameter of 3 mm corresponds to one contact position.
  • Makeup offer display unit 270 generates a makeup image from the makeup information.
  • the makeup image is generated by, for example, combining the stippled makeup image indicated by the makeup information at each time with the makeup image generated for the same makeup type up to that point. Done.
  • makeup presenting unit 270 can expand the region to which makeup is applied along the fingertip trajectory as the fingertip moves. In other words, a process similar to the process in which the cosmetic is applied in the actual makeup work can be realized in the generation of the makeup image.
  • the makeup presenting unit 270 superimposes the makeup image on the face image by using a known image composition process such as an alpha ( ⁇ ) blend process, for example.
  • the ⁇ value in this case is set to a value corresponding to the makeup density.
  • the alpha blend process is expressed by, for example, the following formulas (1) to (3).
  • r1, g1, and b1 are RGB values of an arbitrary region of the face image.
  • R2, g2, and b2 are RGB values of an arbitrary region of the makeup image.
  • R, G, and B are RGB values of the corresponding region of the simulation image.
  • FIG. 6 is a flowchart showing an example of the operation of makeup support apparatus 100.
  • step S1100 the image capturing unit 210 starts capturing a video of the user's face, and the image acquiring unit 220 starts acquiring a captured image.
  • the position acquisition unit 230 starts acquiring facial feature points from the captured image, and the makeup presenting unit 270 starts transferring the captured image to the display unit 280 (that is, displaying the captured image on the display unit 280). To do.
  • FIG. 7 is a diagram illustrating an example of a photographed image before the fingertip contacts the face.
  • the captured image 510 includes a face image 511.
  • the user is not in makeup.
  • face feature points as shown in FIG. 3 are extracted from the photographed image 510, and face feature point information is generated.
  • step S1200 the position acquisition unit 230 determines whether or not the captured image includes a fingertip image (fingertip area). If the image of the fingertip is not included in the captured image (S1200: NO), position acquisition unit 230 advances the process to step S1300. In addition, when the image of the fingertip is included in the captured image (S1200: YES), the position acquisition unit 230 advances the processing to step S1400.
  • step S1300 the image acquisition unit 220 determines whether video input is continued. If image input continues (S1300: YES), the image acquisition unit 220 returns the process to step S1400 and moves the process to the next captured image.
  • step S1400 the position acquisition unit 230 acquires the fingertip region and the fingertip relative position.
  • FIG. 8 is a diagram illustrating an example of a simulation image when contact is started. Here, an example when the user is about to stroke the left eyebrow with the index finger is shown.
  • the position acquisition unit 230 acquires the fingertip region 521 and the fingertip relative position 522 from the face image 511.
  • the makeup presenting unit 270 also displays a marker indicating the contact position while the fingertip is in contact with the face.
  • the marker may be a ring-shaped figure 523 as shown in FIG. 8, or a dot-like figure or the like. The marker may blink.
  • the contact determination unit 240 acquires the fingertip color pattern from the face image 511, and records the acquired color pattern in the memory in the makeup support apparatus 100. As a result, the makeup support apparatus 100 accumulates time-series data of the fingertip color pattern.
  • step S1600 the contact determination unit 240 determines whether or not the fingertip is in contact with the face from the accumulated time-series data of the fingertip color pattern. If the fingertip is in contact with the face (S1600: YES), contact determination unit 240 advances the process to step S1700.
  • step S1700 makeup determination unit 260 refers to makeup table 430 (see FIG. 5), and determines a makeup type and a makeup application area from the contact position.
  • the image corresponding to the makeup determined here is, for example, a stippled makeup image as described above.
  • step S1800 makeup presenting section 270 generates a makeup image (hereinafter referred to as “image during application of makeup”) from the time when the fingertip touches the face until the next time it leaves the face. Then, makeup presentation unit 270 generates a simulation image during makeup work by superimposing the generated image being applied on the face image. Then, makeup presentation unit 270 advances the process to step S1300.
  • image during application of makeup a makeup image
  • makeup presentation unit 270 generates a simulation image during makeup work by superimposing the generated image being applied on the face image.
  • makeup presenting section 270 generates a new makeup application image by combining the newly created makeup image with the makeup application image generated continuously in the past. .
  • makeup generation unit 270 stores the color, density, and range of the image in the memory of makeup assisting apparatus 100 each time an image being applied with makeup is generated.
  • the range of the image to be stored is defined by the coordinate value of the face coordinate system, for example. That is, makeup assisting apparatus 100 stores an image being applied with makeup, including a relative position with respect to the face.
  • FIG. 9 is a diagram illustrating an example of a simulation image when the contact position moves. Here, an example in which the user is stroking the left eyebrow with the index finger is shown.
  • an image 531a in which the eyebrow of the left eyebrow is being applied is superimposed on the face image 511.
  • the image 531a is the logical sum of all the areas when the areas of the size determined for the eyebrow are arranged side by side on the trajectory of the fingertip position.
  • the eyebrow may be drawn in a shape or position different from the original eyebrows after processing such as shaving all or part of the eyebrows. Therefore, it is desirable that the makeup presentation unit 270 also performs a process of deleting the eyebrows from the face image when generating an eyebrow makeup image.
  • makeup presentation unit 270 extracts the color of the portion between the eyebrows as a skin color based on the position of the facial feature point in the face image. Then, makeup presentation unit 270 overwrites the range of a predetermined width around the eyebrow application area (image being applied) with the extracted skin color.
  • a method for erasing the eyebrows there is a method other than the above method, in which an eyebrow region is extracted, and pixels in the eyebrow region are replaced with those interpolated with pixel values of surrounding non-eyebrow regions.
  • the makeup presentation unit 270 may accept an operation of painting the eyebrows region with a skin color in order to erase the eyebrows before performing the operation of applying the eyebrow.
  • the image of the makeup type selected by the makeup determining unit 260 is combined with the image after the eyebrows are erased.
  • makeup presentation unit 270 may temporarily make the portion of the makeup image that overlaps the fingertip region a transparent color.
  • step S1900 If the fingertip is not in contact with the face (S1600: NO), the contact determination unit 240 advances the process to step S1900. The process proceeds to step S1900 before the user brings the fingertip into contact with the face or after one application operation is finished and the fingertip leaves the face.
  • step S1900 makeup presentation unit 270 determines whether one application operation is completed. This determination is performed, for example, by determining whether or not the fingertip is in contact with the face at the immediately preceding timing. If makeup application unit 270 completes one application operation (S1900: YES), it advances the process to step S2000. If makeup application unit 270 has not started or completed one application operation (S1900: NO), process proceeds to step S1300.
  • step S2000 makeup presenting section 270 generates a makeup image (hereinafter referred to as “image after applying makeup”) from when the fingertip touches the face until it next leaves the face.
  • image after applying makeup a makeup image
  • Makeup presentation unit 270 generates a simulation image by superimposing the generated image after applying makeup on the face image, and causes display unit 280 to display the simulation image. Then, makeup presentation unit 270 advances the process to step S1300.
  • the trajectory tends to be rougher than when a makeup brush or stick is run on the face surface. Further, even if the trajectory is actually a smooth trajectory, it may be erroneously detected as a rough trajectory as a result of a detection error occurring at the position of the face feature point or the contact position.
  • makeup presenting section 270 shapes the generated image after applying makeup in step S2000. More specifically, makeup presentation unit 270 smoothes the shape of the edge of the image after applying makeup, and blurs the edge portion so that the color smoothly changes in the edge portion.
  • FIG. 10 is a diagram showing an example of a simulation image when the coating operation is completed. Here, an example is shown when the user finishes stroking the left eyebrow with the index finger.
  • the simulation image 510a As shown in FIG. 10, in the simulation image 510a, the image 532a after applying the eyebrow eyebrow makeup is superimposed on the face image 511.
  • the shape of the edge of the image 532a after applying makeup is smooth. Further, the edge of the image 532a after applying the makeup is in a blurred state. That is, the simulation image 510a is an image displaying a state in which a beautiful and natural eyebrow is applied.
  • makeup generation unit 270 stores the color, density, and range of the image after applying makeup in the memory of makeup assisting apparatus 100 each time an image after applying makeup is generated.
  • the range of the image after makeup application to be stored is defined by, for example, the coordinate value of the face coordinate system. That is, makeup assisting apparatus 100 stores the image after applying makeup, including the relative position to the face.
  • makeup support apparatus 100 can apply makeup to the face image following the stroke of the fingertip.
  • makeup assisting apparatus 100 can store an image during makeup application and an image after makeup application, including a relative position with respect to the face. Therefore, makeup support apparatus 100 can continue the makeup simulation even if the position and orientation of the user's face change.
  • makeup assisting apparatus 100 can similarly implement makeup simulation for other makeup types such as eye shadow, cheek, and lip.
  • makeup support apparatus 100 can determine makeup to be subjected to makeup simulation by bringing an indicator such as a fingertip into contact with the face.
  • makeup assisting apparatus 100 can give the user the feeling of actually performing makeup work on the face.
  • the indicator used as the object of contact determination is not limited to the above-mentioned example.
  • the position acquisition unit 230 may recognize a pen tip of a touch pen or a brush tip for makeup as an indicator.
  • the position acquisition unit 230 may recognize only a specific finger such as an index finger as an indicator.
  • the method of the position of the indicator is not limited to the above example.
  • an optical signal generator such as a special marker or LED is provided at the tip of the indicator, the position of the indicator can be easily acquired from the captured image.
  • the position acquisition unit 230 may acquire the fingertip relative position from the three-dimensional position of each part of the face and the three-dimensional position of the indicator obtained by a stereo image or the like.
  • the contact determination method is not limited to the above-described example.
  • the contact determination unit 240 may perform the estimation by estimating the distance between the fingertip and the face from an image obtained by photographing the user's face from above.
  • the contact determination unit 240 may receive a predetermined operation indicating whether or not the fingertip is in contact with the face from the user, and perform the contact determination based on the operation.
  • a predetermined operation for example, a predetermined gesture such as pressing a predetermined button, raising a thumb, or the like can be adopted.
  • the contact determination unit 240 may determine the fingertip contact by utilizing the fact that the width of the finger increases due to pressure when the fingertip (for example, the tip of the index finger) is contacted (pressed). In this case, for example, the contact determination unit 240 sequentially detects the width of the fingertip from the captured image, and acquires a change in the width of the fingertip. The contact determination unit 240 may determine the fingertip contact by attaching a pressure sensor or the like to the fingertip, for example.
  • the makeup determination method is not limited to the above-described example.
  • the makeup determining unit 260 prior to contact with the face of the fingertip, the size (thickness) of the application region with respect to the makeup type, color, density, and contact position for which a makeup image is to be generated.
  • a selection may be accepted from the user.
  • makeup determination unit 260 displays a plurality of color icons simulating a cosmetic palette together with a captured image (simulation image). Then, the color and density corresponding to the color icon for which the selection operation has been performed immediately before are employed as the makeup color and density.
  • makeup determination unit 260 extracts skin color, hair color, clothing color, and the like from the photographed image, and determines makeup and color that matches the extracted color as a target for generating a makeup image. May be.
  • the makeup determining unit 260 stores a mask area having a shape determined in advance for each makeup type corresponding to the position of the facial feature point, for example, and the makeup image is within the range of the mask area. May be generated. Accordingly, it is possible to prevent generation of an improper makeup simulation image such as a lip that protrudes extremely from the lips.
  • makeup determining section 260 may adopt a shape determined in advance corresponding to the position of the facial feature point as the shape of the makeup image for each makeup type. That is, makeup determination unit 260 may display a makeup image of the entire eyebrow, for example, when one point near the eyebrows is touched. Thereby, for example, it becomes possible for a user who has little skill, such as a child, to experience the mood of makeup.
  • the makeup determining unit 260 may use one makeup image as the other for the paired makeup types on the left and right. In this case, it is desirable that the application range of the other makeup be determined based on the facial feature points.
  • makeup determination unit 260 may determine the makeup concentration based on the pressure level when the indicator is in contact with the face or based on a user operation separately performed while the indicator is in contact. Good. In this case, for example, the contact determination unit 240 acquires the level of the pressure applied to the fingertip based on the color pattern of the fingertip. Then, makeup determination unit 260 determines a higher concentration as the level of pressure applied to the fingertip is higher.
  • makeup image generation method is not limited to the above-described example.
  • makeup presentation unit 270 may display only the image after applying makeup without displaying the image being applied with makeup.
  • makeup presentation unit 270 may perform a blurring process on the boundary portion between the skin portion and the makeup range at each contact position.
  • makeup presentation unit 20 does not have to perform the smoothing process of the makeup image, particularly in this case.
  • makeup presentation unit 270 may accept an erasing operation on the makeup image.
  • the makeup presenting unit 270 is, for example, a predetermined range centered on the contact position of a specific indicator (for example, the little finger or the end of the touch pen opposite to the pen tip) in the makeup image. The image part of is deleted. Thereby, makeup assisting apparatus 100 can give the user a feeling similar to that of the wiping operation in the actual makeup operation.
  • the makeup table is not necessarily stored in the makeup support apparatus 100.
  • makeup support apparatus 100 may access a server on the network in which a makeup table is stored and select makeup.
  • makeup support apparatus 100 arranges, for example, only photographing unit 210 and display unit 280 among the functional units shown in FIG. 2 on a terminal owned by the user, and arranges other device units on a server on the network.
  • a distributed system may be used.
  • makeup assisting apparatus 100 may detect external light and acquire facial feature points from a captured image in a state where the influence of external light is reduced.
  • makeup support apparatus 100 may acquire information on cosmetics necessary for makeup from, for example, an external server and present it to the user together with the simulation image.
  • makeup support apparatus 100 may include bangs, wrinkles, wrinkles, moles, and the like in the makeup that is the target of the generation of the simulation image.
  • the makeup support apparatus of the present disclosure includes a position acquisition unit that acquires a relative position of a predetermined indicator with respect to a face, a contact determination unit that determines whether or not the indicator is in contact with the face, and the instruction Based on the contact position that is the relative position when it is determined that the body is in contact with the face, the makeup that is the makeup method applied to the face image obtained by photographing the face is determined. And a makeup determination unit for generating a simulation image obtained by superimposing a makeup image indicating a state of the makeup when the determined makeup is applied to the face image. Part.
  • the makeup determination unit may determine an area to which makeup is applied based on the contact position.
  • the makeup presenting unit may shape an area where makeup is performed for each type of makeup.
  • the position acquisition unit acquires the position of the facial feature point of the face and the position of the indicator from the face image, and acquires the position of the facial feature point and the instruction
  • the relative position may be acquired based on the position of the body.
  • the indicator is a fingertip
  • the contact determination unit determines whether the fingertip is in contact with the face based on a change in a color pattern of the fingertip. May be.
  • the makeup support apparatus described above may further include a photographing unit that photographs the face image and a display unit that displays the generated simulation image.
  • the makeup determination unit may determine the makeup type based on the contact position.
  • the makeup support apparatus described above further includes a photographing unit that captures the video of the face, and an image acquisition unit that acquires an image constituting the video, and the makeup presentation unit is determined
  • the relative position with respect to the face of the area to which the makeup is applied may be held, and the display unit may sequentially display the simulation images along the video.
  • the makeup support method of the present disclosure includes a step of acquiring a relative position of a predetermined indicator with respect to a face, a step of determining whether or not the indicator is in contact with the face, and the indicator is the face Determining a makeup method to be applied to the face image obtained by photographing the face based on the contact position that is the relative position when it is determined that the face image is touched; and On the other hand, generating a simulation image obtained by superimposing a makeup image indicating the makeup state when the determined makeup is applied.
  • the makeup support program includes a computer that acquires a relative position of a predetermined indicator with respect to a face, a process that determines whether or not the indicator is in contact with the face, and the indicator A process for determining a makeup method applied to a face image obtained by photographing the face based on a contact position that is the relative position when it is determined that the face is in contact with the face; Processing for generating a simulation image obtained by superimposing a makeup image indicating the makeup state when the determined makeup is applied to a face image.
  • the present disclosure is useful as a makeup support device, a makeup support method, and a makeup support program that can provide a feeling that a makeup work is actually performed on the face.

Abstract

メイクアップ支援装置（１００）は、顔に対する、所定の指示体の相対位置を取得する位置取得部（２３０）と、指示体が顔に接触しているか否かを判定する接触判定部（２４０）と、指示体が顔に接触していると判定されたときの相対位置である接触位置に基づいて、顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するメイクアップ決定部（２６０）と、顔画像に対して、決定されたメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部（２７０）と、を有する。

Description

メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
　本開示は、顔のメイクアップを支援するメイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
　近年、顔のメイクアップの仕方（以下、単に「メイクアップ」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクアップを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。
　そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像（以下「顔画像」という）を取得する。そして、特許文献１および特許文献２に記載の技術は、顔画像に、メイクアップを顔に適用したときの状態を示す画像（以下「メイクアップ画像」という）を重畳して、シミュレーション画像を生成し、表示する。以下、シミュレーション画像の生成および表示は、「メイクアップシミュレーション」という。
　かかる技術によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。
　ところで、ユーザは、メイクアップの結果だけでなく、メイクアップの作業についても、シミュレーションを行いたいと望む場合がある。
　そこで、例えば、特許文献３に記載の技術を用いて、シミュレーション画像を生成することが考えられる。特許文献３に記載の技術は、表示画面にペンのような入力具あるいは指が接触したとき、その接触領域を検出する。この技術を用いることにより、表示された顔画像に対してメイクアップを施す領域を指定することが可能となり、メイクアップの作業についてもシミュレーションを行うことが可能となる。
特開２００１－３４６６２７号公報 特開２００７－１７５３８４号公報 国際公開第２０１１／０４８８４０号 特開２００３－４４８３７号公報
橋本達明、片山登揚、梅本敏孝著、「ＷＥＢカメラを用いた指先検出」、Ｊｏｕｎａｌ　ｏｆ　ＪＡＣＴ、Ｖｏｌ．１７、Ｎｏ３、２０１２年、ｐｐ．１３－１６ 杉田尚基、山本豪志朗、日浦慎作著、「爪画像を用いた指先接触判定」、パターン計測シンポジウム資料、巻１２ｔｈ、２００７年、ｐｐ．１３－１８
　しかしながら、特許文献１および特許文献２に記載の技術に特許文献３に記載の技術を組み合わせたとしても、顔に対して実際にメイクアップ作業を行っているような感覚を得ることは難しい。なぜなら、表示画面に映し出された顔画像に対する作業感覚は、実際の顔に対する作業感覚と大きく異なるからである。
　本開示の目的は、顔に対して実際にメイクアップ作業を行っているような感覚を得ることができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。
　本開示の一態様に係るメイクアップ支援装置は、顔に対する、所定の指示体の相対位置を取得する位置取得部と、前記指示体が前記顔に接触しているか否かを判定する接触判定部と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するメイクアップ決定部と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、を有する。
　本開示の一態様に係るメイクアップ支援方法は、顔に対する、所定の指示体の相対位置を取得するステップと、前記指示体が前記顔に接触しているか否かを判定するステップと、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するステップと、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、を有する。
　本開示の一態様に係るメイクアップ支援プログラムは、コンピュータに、顔に対する、所定の指示体の相対位置を取得する処理と、前記指示体が前記顔に接触しているか否かを判定する処理と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定する処理と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、を実行させる。
　なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
本開示の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図 本開示の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図 実施の形態２における顔特徴点の一例を示す図 実施の形態２における顔座標系の一例を示す図 実施の形態２におけるメイクアップテーブルの内容の一例を示す図 実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート 実施の形態２における、指先が顔に接触する前の撮影画像の一例を示す図 実施の形態２における、接触が開始したときのシミュレーション画像の一例を示す図 実施の形態２における、接触位置が移動したときのシミュレーション画像の一例を示す図 実施の形態２における、塗布操作が完了したときのシミュレーション画像の一例を示す図
　以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　本開示の実施の形態１は、本発明の基本的態様の一例である。
　図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図１において、メイクアップ支援装置１００は、位置取得部２３０、接触判定部２４０、メイクアップ決定部２６０、およびメイクアップ提示部２７０を有する。
　位置取得部２３０は、顔に対する、所定の指示体の相対位置を取得する。所定の指示体とは、例えば、ユーザの指先である。
　接触判定部２４０は、指示体が顔に接触しているか否かを判定する。
　メイクアップ決定部２６０は、指示体が顔に接触していると判定されたときの相対位置である接触位置に基づいて、顔を撮影した顔画像に対して適用される、メイクアップの仕方決定する。
　メイクアップ提示部２７０は、顔画像に対して、決定されたメイクアップを適用したときのメイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する。
　メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing
Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、および
ＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、指先等の指示体を顔に接触させることにより、メイクアップシミュレーションの対象となるメイクアップを決定することができる。すなわち、メイクアップ支援装置１００によれば、顔に対して実際にメイクアップ作業を行っているような感覚を得ることができる。
　（実施の形態２）
　本開示の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルビデオカメラおよびタッチパネル付きのディスプレイを備えた装置に適用した例である。
　＜用語の説明＞
　まず、本実施の形態において用いられる用語について説明する。
　「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔を構成する部分を指すも
のとする。
　「顔特徴点」とは、画像上あるいは実空間上の、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点である。
　「メイクアップ」とは、アイブロウやアイシャドウ等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、色素の色、メイクアップの濃度、および適用の範囲を少なくとも含む。
　「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップを施したときの画像を生成するために必要な情報（顔の色との差分を示す情報）を含む。
　「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。
　「メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。
　＜メイクアップ支援装置の構成＞
　次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
　図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
　図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、位置取得部２３０、接触判定部２４０、メイクアップテーブル格納部２５０、メイクアップ決定部２６０、メイクアップ提示部２７０、および表示部２８０を有する。
　撮影部２１０は、例えばデジタルビデオカメラを含み、メイクアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置１００のユーザの顔であるものとする。
　画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像（以下「撮影画像」という）を、位置取得部２３０およびメイクアップ提示部２７０へ出力する。なお、画像取得部２２０は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分（以下「顔画像」という）を含む。
　位置取得部２３０は、顔に対する、所定の指示体の相対位置を取得する。本実施の形態において、所定の指示体は、ユーザの指先とする。
　より具体的には、位置取得部２３０は、まず、入力された撮影画像から、各顔部品の顔特徴点と、撮影画像における指先の領域（以下「指先領域」という）とを取得する。
　顔特徴点の取得は、例えば、撮影画像のうち、顔画像の各部分領域と、予め用意され、顔特徴点の位置が設定された、各顔部品のテンプレートとのマッチングにより行われ
る（例えば、特許文献４参照）。
　また、位置取得部２３０は、取得された顔特徴点の位置および指先領域の位置から、撮顔に対する指先の相対位置（以下「指先相対位置」という）を取得する。そして、位置取得部２３０は、入力された撮影画像と、取得した顔特徴点の識別情報および位置を示す情報（以下「顔特徴点の情報」という）と、取得した指先領域および指先相対位置とを、接触判定部へ出力する。顔特徴点の詳細、指先領域の取得手法の詳細、および指先相対位置の詳細については、後述する。
　接触判定部２４０は、指先が顔に接触しているか否かの判定（以下「指先接触の判定」という）を行う。そして、接触判定部２４０は、入力された顔特徴点の情報と、入力された指先相対位置と、判定結果を示す情報（以下「接触判定情報」という）とを、メイクアップ決定部２６０へ出力する。指先接触の判定の手法の詳細については、後述する。
　メイクアップテーブル格納部２５０は、メイクアップテーブルを予め格納している。メイクアップテーブルは、指先が顔に接触していると判定されたときの指先相対位置（以下「接触位置」という）と、メイクアップ種別、メイクアップの色、メイクアップの濃度、およびメイクアップの適用範囲とを対応付けたテーブルである。メイクアップテーブルの詳細については、後述する。
　メイクアップ決定部２６０は、接触判定情報が、指先が顔に接触していることを示すときの指先相対位置を、接触位置として取得する。そして、メイクアップ決定部２６０は、取得した接触位置に基づいて、顔画像に対して適用されるメイクアップを決定する。
　より具体的には、メイクアップ決定部２６０は、メイクアップテーブルを参照し、接触位置から、メイクアップ種別、メイクアップの色、メイクアップの濃度、およびメイクアップの適用範囲を決定する。そして、メイクアップ決定部２６０は、決定したメイクアップの内容を示すメイクアップ情報を生成し、生成したメイクアップ情報を、メイクアップ提示部２７０へ出力する。本実施の形態において、メイクアップ情報は、顔画像に対する、メイクアップ画像の色、濃度、および領域を示す情報とを、少なくとも含む。
　メイクアップ提示部２７０は、入力されたメイクアップ情報から、決定されたメイクアップの画像を生成する。メイクアップ提示部２７０は、入力された撮影画像に含まれる顔画像に、生成されたメイクアップ画像を重畳して、シミュレーション画像を生成する。そして、メイクアップ提示部２７０は、生成されたメイクアップのシミュレーション画像を、表示部２８０へ出力する。
　なお、メイクアップ提示部２７０は、メイクアップが決定されていない間は、シミュレーション画像ではなく、撮影画像を表示部２８０へ出力する。また、メイクアップ提示部２７０は、決定されたメイクアップ相対位置、メイクアップ色、およびメイクアップ濃度を、一連の映像において保持する。メイクアップ画像の重畳手法の詳細については、後述する。
　表示部２８０は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部２８０は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部２８０は、撮影された映像に沿って、シミュレーション画像を順次表示する。
　なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　このようなメイクアップ支援装置１００は、指先を顔に接触させることにより、メイクアップシミュレーションの対象となるメイクアップを決定することができる。
　次に、顔特徴点、指先領域の取得手法、指先相対位置、指先接触の判定の手法、およびメイクアップテーブルの詳細について、順に説明する。
　＜顔特徴点＞
　図３は、顔画像から抽出される顔特徴点の一例を示す図である。
　図３に示すように、顔画像（一部のみ図示する）４１１からは、例えば、顔部品毎に複数ずつ、顔特徴点４１２（図中、丸に十字の印で示す）が抽出される。顔特徴点４１２は、主に、顔部品のエッジ、鋭角部、中央部などに位置している。顔特徴点４１２の配置は、顔によって異なる。
　このような顔特徴点４１２を抽出することにより、撮影画像から各顔部品を抽出することが可能となり、また、後述の顔座標系を設定することが可能となる。
　＜指先領域の取得手法＞
　位置取得部２３０は、例えば、非特許文献１に記載の技術を用いて、撮影画像から、指先領域を取得する。なお、以下の説明において、「肌色」とは、人物（ユーザ等）の肌の色のことを意味するものとする。つまり肌色領域とは、ユーザの肌の色と同様の色を持つ領域を意味する。
　位置取得部２３０は、まず、撮影画像から、肌色領域を抽出する。そして、位置取得部２３０は、肌色領域のエッジの形状から、指の領域を推定し、推定した指の領域から、指先領域を推定する。
　より具体的には、位置取得部２３０は、肌色領域の輪郭点を順に走査していき、注目している輪郭点と前後数要素分だけ離れた他の２つの輪郭点のそれぞれとを結ぶ２つのベクトルを定義する。位置取得部２３０は、これら２つのベクトルが成す角が所定の範囲内であり、かつ、注目している輪郭点の上記２つの輪郭点を結ぶ線に対する線対称位置が肌色領域に含まれているという条件が満たされるか否かを判断する。
　位置取得部２３０は、かかる条件が満たされるとき、注目している輪郭点が、指先のエッジを構成すると判定する。そして、位置取得部２３０は、指先のエッジを構成すると判定された輪郭点に基づいて、指先領域を決定する。例えば、位置取得部２３０は、指先のエッジを構成すると判定された複数の点を通る円あるいは楕円に囲まれた領域を、指先領域と判断する。
　このような手法を用いることにより、指先領域を簡単に取得することが可能となる。
　＜指先相対位置＞
　位置取得部２３０は、例えば、指先領域の中心位置を、撮影画像における指先の位置として取得する。そして、位置取得部２３０は、例えば、取得した指先の位置を、顔を基準として定まる座標系（以下「顔座標系」という）における座標値に変換する。すなわち、位置取得部２３０は、撮影画像における指先の位置を、顔座標系にマップする。顔座標系における指先の位置は、つまり、指先相対位置である。
　図４は、顔座標系の一例を示す図である。
　図４に示すように、顔座標系４２１は、例えば、左目の中心４２２および右目の中心４２３を通る軸４２４をＸ軸とし、Ｘ軸に直交し、かつ、左目の中心４２２と右目の中心４
２３との間の中点を通る軸４２５をＹ軸とする座標系である。なお、顔座標系４２１の単位長さは、左目の中心４２２と右目の中心４２３との間の距離を基準とした長さ等、複数の顔特徴点の間の距離に比例した長さであることが望ましい。
　なお、顔座標系は、図４に示す例に限定されない。例えば、顔座標系は、鼻先と右目の目尻とを通る軸と、鼻先と左目の目尻とを通る軸によって定義されてもよい。
　このような指先相対位置を取得することにより、ユーザが顔のどの部分に対してメイクアップを施したいかを、判断することが可能となる。
　＜指先接触の判定の手法＞
　接触判定部２４０は、例えば、非特許文献２に記載の技術を用いて、顔画像および指先領域から、指先接触の判定を行う。
　すなわち、接触判定部２４０は、撮影画像における指先の色模様（つまり指先領域の色模様）を、短い時間間隔で繰り返し取得する。そして、接触判定部２４０は、指先領域の色模様が変化したか否かを判定し、かかる色模様の変化に基づいて、指先が顔に接触しているか否かを判定する。この判定は、例えば、予め用意された、非接触時の色模様パターンおよび接触時の色模様パターンのうち、どちらにより近似しているかを判定することによって行ってもよいし、色模様の変化の方向に基づいて行ってもよい。
　このような手法を用いることにより、指先が顔に接触しているか否かを、簡単に判定することが可能となる。
　＜メイクアップテーブル＞
　図５は、メイクアップ情報格納部２５０が格納するメイクアップテーブルの内容の一例を示す図である。
　図５に示すように、メイクアップテーブル４３０は、例えば、接触位置の範囲４３１に対応付けて、メイクアップ種別４３２、色４３３、濃度４３４、および範囲４３５を記述している。
　接触位置の範囲４３１は、顔特徴点を基準として、あるいは、顔座標系を基準として定まる、接触位置の範囲である。例えば、接触位置の範囲４３１は、眉の輪郭上に位置する複数の顔特徴点を結んだ領域を、所定の幅だけ膨張させた範囲（以下「眉周辺領域」という）である。
　メイクアップ種別４３２は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応するメイクアップ種別４３２は、「アイブロウ」である。
　色４３３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応する色４３３は、「ダークブラウン」である。
　濃度４３４は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応する濃度４３４は、「７０％」である。
　範囲４３５は、ここでは簡略化して図示しているが、具体的には、接触位置を含む比較
的小さい範囲である。例えば、上述の眉周辺領域を示す接触位置の範囲４３１に対応する範囲４３５は、「接触位置を中心とする直径３ｍｍの円の内部」である。この範囲４３５は、実際のメイクアップにおいて使用される筆やスティックの太さに相当する。なお、この場合、１つの接触位置に対して、直径３ｍｍの点描状のメイクアップの部分が対応することになる。
　このようなメイクアップテーブル４３０を用いることにより、接触位置から、ユーザがメイクアップの作業の対象としているメイクアップの種別を的確に判断することが可能となる。そして、このメイクアップ種別に対応して、適切なメイクアップの色、メイクアップの濃度、および接触位置を基準としたメイクアップの適用範囲を、決定することが可能となる。
　＜メイクアップ画像の重畳手法＞
　メイクアップ提アップ示部２７０は、メイクアップ情報から、メイクアップ画像を生成する。なお、メイクアップ画像の生成は、例えば、各時刻におけるメイクアップ情報が示す点描状のメイクアップ画像を、その時点までに同一のメイクアップ種別について生成されたメイクアップ画像に合成していくことにより、行われる。これにより、メイクアップ提示部２７０は、指先の移動にしたがって、指先の軌跡に沿ってメイクアップを適用する領域を広げていくことができる。すなわち、実際のメイクアップの作業において化粧料が適用される過程と同様の過程を、メイクアップ画像の生成において実現することができる。
　メイクアップ提示部２７０は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理を用いて、顔画像に対し、メイクアップ画像を重畳する。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）～（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、顔画像の任意の領域のＲＧＢ値である。また、ｒ２、ｇ２、ｂ２は、メイクアップ画像の任意の領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
　Ｒ ＝ ｒ２×α＋ｒ１×（１－α）　　　・・・（１）
　Ｇ ＝ ｇ２×α＋ｇ１×（１－α）　　　・・・（２）
　Ｂ ＝ ｂ２×α＋ｂ１×（１－α）　　　・・・（３）
　このような手法を用いることにより、より自然なメイクアップシミュレーション画像を得ることが可能となる。
　＜メイクアップ支援装置の動作＞
　次に、メイクアップ支援装置１００の動作について説明する。
　図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。
　まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔の映像の撮影を開始し、画像取得部２２０は、撮影画像の取得を開始する。また、位置取得部２３０は、撮影画像から顔特徴点の取得を開始し、メイクアップ提示部２７０は、撮影画像の表示部２８０への転送（つまり、表示部２８０における撮影画像の表示）を開始する。
　図７は、指先が顔に接触する前の撮影画像の一例を示す図である。
　図７に示すように、撮影画像５１０は、顔画像５１１を含む。ユーザは、メイクアップをしていない状態である。撮影画像５１０からは、例えば、図３に示すような顔特徴点が抽出されて、顔特徴点の情報が生成される。
　そして、ステップＳ１２００において、位置取得部２３０は、撮影画像に指先の画像（指先領域）が含まれているか否かを判断する。位置取得部２３０は、撮影画像に指先の画像が含まれていない場合（Ｓ１２００：ＮＯ）、処理をステップＳ１３００へ進める。また、位置取得部２３０は、撮影画像に指先の画像が含まれている場合（Ｓ１２００：ＹＥＳ）、処理をステップＳ１４００へ進める。
　ステップＳ１３００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１３００：ＹＥＳ）、処理をステップＳ１４００へ戻し、次の撮影画像に処理を移す。
　ステップＳ１４００において、位置取得部２３０は、指先領域および指先相対位置を取得する。
　図８は、接触が開始したときのシミュレーション画像の一例を示す図である。ここでは、ユーザが、人差し指で左眉を撫でようとしているときの例を示す。
　図８に示すように、ユーザが、左眉５１２のアイブロウのメイクアップシミュレーションを行うために、指先を左眉５１２の眉頭に接触させたとする。この場合、位置取得部２３０は、顔画像５１１から、指先領域５２１および指先相対位置５２２を取得する。
　なお、メイクアップ提示部２７０は、指先が顔に接触している間、その接触位置を示すマーカを、併せて表示することが望ましい。マーカは、図８に示すようなリング状の図形５２３でもよいし、点状その他の図形でもよい。また、マーカは、点滅してもよい。
　そして、図６のステップＳ１５００において、接触判定部２４０は、顔画像５１１から、指先の色模様を取得し、取得した色模様を、メイクアップ支援装置１００内のメモリに記録する。この結果、メイクアップ支援装置１００には、指先の色模様の時系列データが蓄積される。
　そして、ステップＳ１６００において、接触判定部２４０は、蓄積された指先の色模様の時系列データから、指先が顔に接触しているか否かを判定する。接触判定部２４０は、指先が顔に接触している場合（Ｓ１６００：ＹＥＳ）、処理をステップＳ１７００へ進める。
　ステップＳ１７００において、メイクアップ決定部２６０は、メイクアップテーブル４３０（図５参照）を参照し、接触位置からメイクアップ種別およびメイクアップの適用領域を決定する。ここで決定されるメイクアップに対応する画像は、上述の通り、例えば、点描状のメイクアップ画像である。
　そして、ステップＳ１８００において、メイクアップ提示部２７０は、指先が顔に接触してから次に顔から離れる前までのメイクアップ画像（以下「メイクアップ適用中の画像」という）を生成する。そして、メイクアップ提示部２７０は、生成したメイクアップ適用中の画像を顔画像に重畳して、メイクアップ作業中のシミュレーション画像を生成する。そして、メイクアップ提示部２７０は、処理をステップＳ１３００へ進める。
　ここで、メイクアップ提示部２７０は、過去に連続して生成されたメイクアップ適用中の画像に、新たに生成されたメイクアップ画像を合成して、新たなメイクアップ適用中の画像を生成する。このため、メイクアップ提示部２７０は、メイクアップ適用中の画像を生成する毎に、その画像の、色、濃度、および範囲を、メイクアップ支援装置１００のメモリに記憶する。記憶される画像の範囲は、例えば、顔座標系の座標値によって定義される。すなわち、メイクアップ支援装置１００は、顔に対する相対位置を含めて、メイクアップ適用中の画像を記憶する。
　図９は、接触位置が移動したときのシミュレーション画像の一例を示す図である。ここでは、ユーザが、人差し指で左眉を撫でているときの例を示す。
　図９に示すように、シミュレーション画像５１０ａでは、顔画像５１１に、左眉のアイブロウの適用中の画像５３１ａが重畳されている。画像５３１ａは、言い換えると、指先位置の軌跡上に、アイブロウについて定められた大きさの領域を並べて配置したときの、全ての領域の論理和である。
　なお、実際のメイクアップにおいては、眉毛の全部または一部を剃るなどの処理をした上で、元々の眉毛とは異なる形状あるいは位置でアイブロウを描くことがある。そこで、メイクアップ提示部２７０は、アイブロウのメイクアップ画像を生成する場合、顔画像から眉を消去する処理を併せて行うことが望ましい。
　この処理は、例えば、以下のようにして行われる。まず、メイクアップ提示部２７０は、顔画像のうち、顔特徴点の位置に基づいて、眉間の部分の色を肌色として抽出する。そして、メイクアップ提示部２７０は、アイブロウの適用領域（適用中画像）の周囲の所定の幅の範囲を、抽出した肌色で上書きする。なお、眉毛を消去する手法としては、上記手法以外にも、眉毛領域を抽出し、眉毛領域の画素を、周囲の非眉毛領域の画素値で補間したもので置き換えるという手法もある。
　また、メイクアップ提示部２７０は、アイブロウを塗布する操作を行う前に、眉毛を消去するために眉毛領域を肌色で塗りつぶす操作を受け付けるようにしてもよい。この場合、例えば、眉毛を消去した後の画像に、メイクアップ決定部２６０で選択されたメイクアップ種別の画像を合成する。
　また、指の画像の上にメイクアップ画像が重畳されると、不自然である。したがって、メイクアップ提示部２７０は、例えば、メイクアップ画像のうち、指先領域と重複する部分を、一時的に透明色にするようにしてもよい。
　指先が顔に接触していない場合（Ｓ１６００：ＮＯ）、接触判定部２４０は、処理をステップＳ１９００へ進める。処理がステップＳ１９００へ進むのは、ユーザが指先を顔に接触させる前、あるいは、１つの塗布操作が終わって指先が顔から離れた後である。
　ステップＳ１９００において、メイクアップ提示部２７０は、１つの塗布操作が完了したか否かを判断する。この判断は、例えば、直前のタイミングにおいて指先が顔に接触していたか否かを判断することにより行われる。メイクアップ提示部２７０は、１つの塗布操作が完了した場合（Ｓ１９００：ＹＥＳ）、処理をステップＳ２０００へ進める。また、メイクアップ提示部２７０は、１つの塗布操作が開始も完了もしていない場合（Ｓ１９００：ＮＯ）、処理をステップＳ１３００へ進める。
　ステップＳ２０００において、メイクアップ提示部２７０は、指先が顔に接触してから次に顔から離れるまでのメイクアップ画像（以下「メイクアップ適用後の画像」という）を生成する。メイクアップ提示部２７０は、生成したメイクアップ適用後の画像を顔画像に重畳して、シミュレーション画像を生成し、表示部２８０に表示させる。そして、メイクアップ提示部２７０は、処理をステップＳ１３００へ進める。
　ところで、指先で顔を撫でる場合、化粧用の筆やスティックを顔の表面で走らせる場合に比べて、軌跡が荒くなり易い。また、実際には滑らかな軌跡であったとしても、顔特徴点の位置や接触位置に検出誤差が生じた結果、荒い軌跡として誤検出される場合もある。
　そこで、メイクアップ提示部２７０は、ステップＳ２０００において、生成したメイクアップ適用後の画像を整形する。より具体的には、メイクアップ提示部２７０は、メイクアップ適用後の画像のエッジの形状を平滑化し、かつ、エッジ部分において色が滑らかに変化するように、エッジ部分をぼかす。
　図１０は、塗布操作が完了したときのシミュレーション画像の一例を示す図である。ここでは、ユーザが、人差し指で左眉を撫で終えたときの例を示す。
　図１０に示すように、シミュレーション画像５１０ａでは、顔画像５１１に、左眉のアイブロウのメイクアップ適用後の画像５３２ａが重畳されている。メイクアップ適用後の画像５３２ａのエッジの形状は、滑らかになっている。また、メイクアップ適用後の画像５３２ａのエッジは、ぼかしが入った状態となっている。すなわち、シミュレーション画像５１０ａは、美しく自然なアイブロウが施された状態を表示した画像となっている。
　なお、メイクアップ提示部２７０は、メイクアップ適用後の画像を生成する毎に、そのメイクアップ適用後の画像の、色、濃度、および範囲を、メイクアップ支援装置１００のメモリに記憶する。記憶されるメイクアップ適用後の画像の範囲は、例えば、顔座標系の座標値によって定義される。すなわち、メイクアップ支援装置１００は、顔に対する相対位置を含めて、メイクアップ適用後の画像を記憶する。
　そして、画像取得部２２０は、映像の入力が終了した場合（Ｓ１３００：ＮＯ）、一連の処理を終了する。
　このような処理により、メイクアップ支援装置１００は、指先を撫でる動作に追従して、顔画像に対してメイクアップを施していくことができる。また、メイクアップ支援装置１００は、顔に対する相対位置を含めてメイクアップ適用中の画像およびメイクアップ適用後の画像を記憶することができる。したがって、メイクアップ支援装置１００は、ユーザの顔の位置や向きが変化したとしても、メイクアップシミュレーションを継続することができる。
　なお、以上説明した動作では、左眉に対して指先を接触させた場合、つまり、左眉のアイブロウをメイクアップシミュレーションの対象とした場合について説明した。しかしながら、メイクアップ支援装置１００は、アイシャドウ、チーク、およびリップ等、他のメイクアップ種別についても、同様にメイクアップシミュレーションを実現することができる。
　＜本実施の形態の効果＞
　以上のように、本実施の形態に係るメイクアップ支援装置１００は、指先等の指示体を顔に接触させることにより、メイクアップシミュレーションの対象となるメイクアップを決定することができる。これにより、メイクアップ支援装置１００は、顔に対して実際にメイクアップ作業を行っているような感覚を、ユーザに与えることができる。
　＜他の指示体＞
　なお、接触判定の対象となる指示体は、上述の例に限定されない。例えば、位置取得部２３０は、タッチペンのペン先や、化粧用の筆先を、指示体として認識するようにしてもよい。位置取得部２３０は、人差し指等、特定の指のみを指示体として認識するようにしてもよい。
　＜他の指示体位置取得手法＞
　また、指示体の位置の手法は、上述の例に限定されない。例えば、指示体の先に特殊なマーカやＬＥＤ等の光信号発生部を設けた場合、撮影画像から容易に指示体の位置を取得することが可能となる。
　また、位置取得部２３０は、ステレオ画像等により得られる、顔の各部の３次元位置および指示体の３次元位置から、指先相対位置を取得してもよい。
　＜他の接触判定手法＞
　また、接触判定の手法は、上述の例に限定されない。例えば、接触判定部２４０は、ユーザの顔を上方から撮影した画像から、指先と顔との距離を推定することにより行ってもよい。また、接触判定部２４０は、指先が顔に接触しているか否かを示す所定の操作をユーザから受け付け、当該操作に基づいて、接触判定を行ってもよい。かかる所定の操作としては、例えば、所定のボタンの押下、親指を立てる等の所定のジェスチャ、および発声を採用することができる。
　また、接触判定部２４０は、指先（例えば、人差し指の先）が接触（押下）された際には圧力により指の幅が増加することを利用して、指先接触の判定を行ってもよい。この場合、接触判定部２４０は、例えば、撮影画像から指先の幅を逐次検出し、指先の幅の変化を取得する。また、接触判定部２４０は、例えば、指先に圧力センサ等を装着して、指先接触の判定を行ってもよい。
　＜他のメイクアップ決定手法＞
　また、メイクアップ決定の手法は、上述の例に限定されない。例えば、メイクアップ決定部２６０は、指先の顔への接触に先立って、メイクアップ画像の生成の対象となるメイクアップの種別、色、濃度、および接触位置に対する塗布領域の大きさ（太さ）に対する選択を、ユーザから受け付けてもよい。具体的には、例えば、メイクアップ決定部２６０は、化粧品パレットを模した複数の色アイコンを撮影画像（シミュレーション画像）と併せて表示する。そして、直前に選択操作が行われた色アイコンに対応する色および濃度を、メイクアップの色および濃度として採用する。あるいは、メイクアップ決定部２６０は、撮影画像から、肌色、髪の色、および服の色等を抽出し、抽出した色に合う色および濃度のメイクアップを、メイクアップ画像を生成する対象として決定してもよい。
　また、メイクアップ決定部２６０は、例えば、顔特徴点の位置に対応してメイクアップ種別毎に予め決定された形状のマスク領域を記憶しておき、このマスク領域の範囲内で、メイクアップ画像を生成するようにしてもよい。これにより、唇から極端にはみ出したリップ等、不適切なメイクアップのシミュレーション画像が生成されるのを防ぐことができる。
　また、メイクアップ決定部２６０は、メイクアップ種別毎に、顔特徴点の位置に対応して予め決定された形状を、メイクアップ画像の形状として採用するようにしてもよい。すなわち、メイクアップ決定部２６０は、例えば、眉付近の１点がタッチされた時点で、アイブロウ全体のメイクアップ画像を表示してもよい。これにより、例えば、子供等の手先があまり器用ではないユーザにも、メイクアップの気分を体験させることが可能となる。
　また、メイクアップ決定部２６０は、左右で対になっているメイクアップ種別については、片方のメイクアップ画像を、他方に援用してもよい。この場合、他方のメイクアップの適用範囲は、顔特徴点を基準として決定されることが望ましい。
　また、メイクアップ決定部２６０は、指示体が顔に接触しているときの圧力の度合い、あるいは、接触している間に別途行われるユーザ操作に基づいて、メイクアップの濃度を決定してもよい。この場合、例えば、接触判定部２４０は、指先の色模様に基づいて、指先に掛かっている圧力のレベルを取得する。そして、メイクアップ決定部２６０は、指先に掛かっている圧力のレベルが高いほど、より高い濃度を決定する。
　＜他のメイクアップ画像生成手法＞
　また、メイクアップ画像の生成手法は、上述の例に限定されない。例えば、メイクアップ提示部２７０は、メイクアップ適用中の画像を表示せずに、メイクアップ適用後の画像のみを表示するようにしてもよい。また、メイクアップ提示部２７０は、各接触位置において、肌部分とメイクアップの範囲との境界部分に対するぼかし処理を行ってもよい。また、メイクアップ提示部２０は、特にこの場合においては、メイクアップ画像の平滑化処理を行わなくてもよい。
　また、メイクアップ提示部２７０は、メイクアップ画像に対する消去操作を受け付けてもよい。この場合、メイクアップ提示部２７０は、例えば、メイクアップ画像のうち、特定の指示体（例えば、小指や、タッチペンのペン先とは反対側の端部）の接触位置を中心とする所定の範囲の画像部分を消去する。これにより、メイクアップ支援装置１００は、実際のメイクアップ作業における拭き取り作業と同様の感覚を、ユーザに与えることが可能となる。
　＜その他の構成の変形例＞
　また、メイクアップテーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、メイクアップテーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。
　また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部２８０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
　また、メイクアップ支援装置１００は、外光を検出し、撮影画像から、外光の影響を軽減した状態で、顔特徴点の取得を行うようにしてもよい。
　また、メイクアップ支援装置１００は、メイクアップに必要な化粧品の情報を、例えば外部サーバから取得し、シミュレーション画像と併せてユーザに提示してもよい。
　また、メイクアップ支援装置１００は、前髪、髭、皺、ほくろ等を、シミュレーション画像の生成の対象となるメイクアップに含めてもよい。
　本開示のメイクアップ支援装置は、顔に対する、所定の指示体の相対位置を取得する位置取得部と、前記指示体が前記顔に接触しているか否かを判定する接触判定部と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方であるメイクアップを決定するメイクアップ決定部と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、を有する。
　なお、上述のメイクアップ支援装置において、前記メイクアップ決定部は、前記接触位置に基づいて、前記メイクアップを施す領域を決定してもよい。
　また、上述のメイクアップ支援装置において、前記メイクアップ提示部は、前記メイクアップの種別毎に、前記メイクアップを施す領域を整形してもよい。
　また、上述のメイクアップ支援装置において、前記位置取得部は、前記顔画像から、前記顔の顔特徴点の位置および前記指示体の位置を取得し、取得した前記顔特徴点の位置および前記指示体の位置に基づいて、前記相対位置を取得してもよい。
　また、上述のメイクアップ支援装置において、前記指示体は、指先であり、前記接触判
定部は、前記指先の色模様の変化に基づいて、前記顔に前記指先が接触しているか否かを判定してもよい。
　また、上述のメイクアップ支援装置は、前記顔画像を撮影する撮影部と、生成された前記シミュレーション画像を表示する表示部と、を更に有してもよい。
　また、上述のメイクアップ支援装置において、前記メイクアップ決定部は、前記接触位置に基づいて、前記メイクアップの種別を決定してもよい。
　また、上述のメイクアップ支援装置は、前記顔の映像を撮影する撮影部と、前記映像を構成する画像を取得する画像取得部と、を更に有し、前記メイクアップ提示部は、決定された前記メイクアップを施す領域の前記顔に対する相対位置を保持し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示してもよい。
　本開示のメイクアップ支援方法は、顔に対する、所定の指示体の相対位置を取得するステップと、前記指示体が前記顔に接触しているか否かを判定するステップと、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するステップと、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、を有する。
　本開示のメイクアップ支援プログラムは、コンピュータに、顔に対する、所定の指示体の相対位置を取得する処理と、前記指示体が前記顔に接触しているか否かを判定する処理と、前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定する処理と、前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、を実行させる。
　本開示は、顔に対して実際にメイクアップ作業を行っているような感覚を得ることができる、メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。
　１００　メイクアップ支援装置
　２１０　撮影部
　２２０　画像取得部
　２３０　位置取得部
　２４０　接触判定部
　２５０　メイクアップテーブル格納部
　２６０　メイクアップ決定部
　２７０　メイクアップ提示部
　２８０　表示部

Claims (10)

  1. 　顔に対する、所定の指示体の相対位置を取得する位置取得部と、
    　前記指示体が前記顔に接触しているか否かを判定する接触判定部と、
    　前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定するメイクアップ決定部と、
    　前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、を有する、
    　メイクアップ支援装置。
  2. 　前記メイクアップ決定部は、
    　前記接触位置に基づいて、前記メイクアップの適用領域を決定する、
    　請求項１に記載のメイクアップ支援装置。
  3. 　前記メイクアップ提示部は、
    　前記メイクの種別毎に、前記メイクアップの適用領域を整形する、
    　請求項１に記載のメイクアップ支援装置。
  4. 　前記位置取得部は、
    　前記顔画像から、前記顔の顔特徴点の位置および前記指示体の位置を取得し、取得した前記顔特徴点の位置および前記指示体の位置に基づいて、前記相対位置を取得する、
    　請求項１に記載のメイクアップ支援装置。
  5. 　前記指示体は、指先であり、
    　前記接触判定部は、
    　前記指先の色模様の変化に基づいて、前記顔に前記指先が接触しているか否かを判定する、
    　請求項４に記載のメイクアップ支援装置。
  6. 　前記顔画像を撮影する撮影部と、
    　生成された前記シミュレーション画像を表示する表示部と、を更に有する、
    　請求項５に記載のメイクアップ支援装置。
  7. 　前記メイクアップ決定部は、
    　前記接触位置に基づいて、前記メイクアップの種別を決定する、
    　請求項１に記載のメイクアップ支援装置。
  8. 　前記顔の映像を撮影する撮影部と、
    　前記映像を構成する画像を取得する画像取得部と、を更に有し、
    　前記メイクアップ提示部は、
    　決定された前記メイクの塗布領域の前記顔に対する相対位置を保持し、
    　前記表示部は、
    　前記映像に沿って、前記シミュレーション画像を順次表示する、
    　請求項１に記載のメイクアップ支援装置。
  9. 　顔に対する、所定の指示体の相対位置を取得するステップと、
    　前記指示体が前記顔に接触しているか否かを判定するステップと、
    　前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に
    基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方決定するステップと、
    　前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、を有する、
    　メイクアップ支援方法。
  10. 　コンピュータに、
    　顔に対する、所定の指示体の相対位置を取得する処理と、
    　前記指示体が前記顔に接触しているか否かを判定する処理と、
    　前記指示体が前記顔に接触していると判定されたときの前記相対位置である接触位置に基づいて、前記顔を撮影した顔画像に対して適用される、メイクアップの仕方を決定する処理と、
    　前記顔画像に対して、決定された前記メイクアップを適用したときの前記メイクの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、を実行させる、
    　メイクアップ支援プログラム。
PCT/JP2014/004218 2013-08-30 2014-08-19 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム WO2015029371A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480003054.1A CN104797165A (zh) 2013-08-30 2014-08-19 化妆辅助装置、化妆辅助方法以及化妆辅助程序
JP2015533970A JP6435516B2 (ja) 2013-08-30 2014-08-19 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP14841275.2A EP3039991A4 (en) 2013-08-30 2014-08-19 MAKE-UP ASSISTING DEVICE, MAKE-UP ASSISTING METHOD, AND MAKE-UP ASSIST PROGRAM
US14/711,792 US9594948B2 (en) 2013-08-30 2015-05-14 Makeup supporting device, makeup supporting method, and non-transitory computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-179667 2013-08-30
JP2013179667 2013-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/711,792 Continuation US9594948B2 (en) 2013-08-30 2015-05-14 Makeup supporting device, makeup supporting method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015029371A1 true WO2015029371A1 (ja) 2015-03-05

Family

ID=52585963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004218 WO2015029371A1 (ja) 2013-08-30 2014-08-19 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Country Status (5)

Country Link
US (1) US9594948B2 (ja)
EP (1) EP3039991A4 (ja)
JP (1) JP6435516B2 (ja)
CN (1) CN104797165A (ja)
WO (1) WO2015029371A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004258A (ja) * 2015-06-10 2017-01-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2017073001A1 (ja) * 2015-10-26 2018-08-30 パナソニックＩｐマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
CN111210491A (zh) * 2019-12-31 2020-05-29 维沃移动通信有限公司 图像处理方法、电子设备和存储介质
JP2021051518A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321747B2 (en) 2013-02-01 2019-06-18 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
JP6288404B2 (ja) 2013-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372276B1 (ja) 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6249263B2 (ja) * 2015-09-08 2017-12-20 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム
EP3396619A4 (en) * 2015-12-25 2019-05-08 Panasonic Intellectual Property Management Co., Ltd. MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION AND MAKE UP PART USE
CN105678561B (zh) * 2016-01-29 2020-04-03 京东方科技集团股份有限公司 智能梳妆台及相应的云专家系统
USD835137S1 (en) * 2016-05-11 2018-12-04 Benefit Cosmetics Llc Display screen or portion thereof with animated graphical user interface
USD835136S1 (en) * 2016-05-11 2018-12-04 Benefit Cosmetics Llc Display screen or portion thereof with animated graphical user interface
USD835135S1 (en) * 2016-05-11 2018-12-04 Benefit Cosmetics Llc Display screen or portion thereof with animated graphical user interface
JP6731616B2 (ja) 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
BR112019000024A2 (pt) * 2016-07-07 2019-04-02 Koninklijke Philips N.V. método, aparelho para fornecer orientação a um usuário, mídia legível por máquina, dispositivo portátil para uso com o aparelho, e sistema
WO2018047287A1 (ja) * 2016-09-09 2018-03-15 株式会社オプティム 画像処理システム、画像処理装置、画像処理方法、及びプログラム
JP6876941B2 (ja) * 2016-10-14 2021-05-26 パナソニックＩｐマネジメント株式会社 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム
US11116303B2 (en) * 2016-12-06 2021-09-14 Koninklijke Philips N.V. Displaying a guidance indicator to a user
CN108875462A (zh) * 2017-05-16 2018-11-23 丽宝大数据股份有限公司 眉毛造型指引装置及其方法
CN108965793B (zh) * 2018-04-28 2022-01-25 耀灵人工智能(浙江)有限公司 一种自适应调节的化妆辅助方法及系统
CN109063671A (zh) * 2018-08-20 2018-12-21 三星电子（中国）研发中心 用于智能化妆的方法及装置
CN111914604A (zh) * 2019-05-10 2020-11-10 丽宝大数据股份有限公司 将头发颜色套用至眉毛的扩充实境显示方法
FR3097730B1 (fr) * 2019-06-25 2022-10-28 Oreal Procédé de détermination d’une valeur spécifique d’une donnée d’entrée à partir d’un ensemble d’éléments physiques
CN110827195B (zh) * 2019-10-31 2023-09-22 北京达佳互联信息技术有限公司 虚拟物品添加方法、装置、电子设备及存储介质
CN112991147B (zh) * 2019-12-18 2023-10-27 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111651040B (zh) * 2020-05-27 2021-11-26 华为技术有限公司 用于肌肤检测的电子设备的交互方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200774A (ja) * 1993-11-22 1995-08-04 Hitachi Ltd 画像処理方法および装置
JPH09319556A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005216131A (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2007175384A (ja) 2005-12-28 2007-07-12 Shiseido Co Ltd チークメーキャップのための顔分類方法、顔分類装置、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079158B2 (en) * 2000-08-31 2006-07-18 Beautyriot.Com, Inc. Virtual makeover system and method
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
WO2007083600A1 (ja) * 2006-01-17 2007-07-26 Shiseido Company, Ltd. メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
JP4753025B2 (ja) 2006-03-22 2011-08-17 花王株式会社 メイクアップシミュレーション方法
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US20100142755A1 (en) * 2008-11-26 2010-06-10 Perfect Shape Cosmetics, Inc. Method, System, and Computer Program Product for Providing Cosmetic Application Instructions Using Arc Lines
US20120212440A1 (en) 2009-10-19 2012-08-23 Sharp Kabushiki Kaisha Input motion analysis method and information processing device
KR101254555B1 (ko) * 2011-06-22 2013-04-19 유나 핫토리 화장조성물 분사 장치
EP2786343A4 (en) * 2011-12-04 2015-08-26 Digital Makeup Ltd DIGITAL MAKE-UP
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
EP2981935A4 (en) * 2013-04-03 2016-12-07 Nokia Technologies Oy APPARATUS AND ASSOCIATED METHODS
EP3005085A1 (en) * 2013-05-29 2016-04-13 Nokia Technologies Oy An apparatus and associated methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200774A (ja) * 1993-11-22 1995-08-04 Hitachi Ltd 画像処理方法および装置
JPH09319556A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2001346627A (ja) 2000-06-07 2001-12-18 Kao Corp 化粧アドバイスシステム
JP2003044837A (ja) 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005216131A (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2007175384A (ja) 2005-12-28 2007-07-12 Shiseido Co Ltd チークメーキャップのための顔分類方法、顔分類装置、分類見極めマップ、顔分類プログラム、及び該プログラムが記録された記録媒体
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NAOKI SUGITA ET AL.: "Tsume Gazo o Mochiita Yubisaki Sesshoku Hantei", PATTERN KEISOKU SYMPOSIUM SHIRO, DAI 12 KAI, 29 November 2007 (2007-11-29), pages 13 - 18, XP008179903 *
NAOKI SUGITA; GOSHIROU YAMAMOTO; SHINSAKU HIURA: "Fingertip contact determination using nail image", MATERIAL ON PATTERN MEASUREMENT SYMPOSIUM, vol. 12, 2007, pages 13 - 18
See also references of EP3039991A4
TATSUAKI HASHIMOTO; NORIAKI KATAYAMA; TOSHITAKA UMEMOTO: "Fingertip detection through the use of a Webcam", JOUNAL OF JACT, vol. 17, no. 3, 2012, pages 13 - 16

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004258A (ja) * 2015-06-10 2017-01-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2017073001A1 (ja) * 2015-10-26 2018-08-30 パナソニックＩｐマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
JP2021051518A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
JP7476505B2 (ja) 2019-09-24 2024-05-01 カシオ計算機株式会社 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム
CN111210491A (zh) * 2019-12-31 2020-05-29 维沃移动通信有限公司 图像处理方法、电子设备和存储介质
CN111210491B (zh) * 2019-12-31 2023-07-07 维沃移动通信有限公司 图像处理方法、电子设备和存储介质

Also Published As

Publication number Publication date
EP3039991A1 (en) 2016-07-06
EP3039991A4 (en) 2016-09-14
JP6435516B2 (ja) 2018-12-12
CN104797165A (zh) 2015-07-22
US20150248581A1 (en) 2015-09-03
JPWO2015029371A1 (ja) 2017-03-02
US9594948B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
JP6435516B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6375480B2 (ja) メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6008323B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP6368919B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN107111861B (zh) 图像处理装置、触笔以及图像处理方法
JP6331515B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
WO2021147920A1 (zh) 一种妆容处理方法、装置、电子设备及存储介质
BR102012033722A2 (pt) Sistema e método para simulação de maquiagem em dispositivos portáteis equipados com câmera digital
CN105405157B (zh) 肖像画生成装置、肖像画生成方法
KR20100047863A (ko) 메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치, 메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션 프로그램이 기록된 컴퓨터 판독가능한 기록매체
CN108932654B (zh) 一种虚拟试妆指导方法及装置
CN111783511A (zh) 美妆处理方法、装置、终端以及存储介质
US20190347832A1 (en) Makeup simulation device, method, and non-transitory recording medium
KR101719927B1 (ko) 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치
JP6132248B2 (ja) メイクアップ支援装置
CN114502036A (zh) 自动化妆机、方法、程序以及控制装置
US20230200520A1 (en) Method for self-measuring facial or corporal dimensions, notably for the manufacturing of personalized applicators
JP6485629B2 (ja) 画像処理装置および画像処理方法
CN113703577A (zh) 一种绘图方法、装置、计算机设备及存储介质
TW201411506A (zh) 自動彩妝之資訊系統及其進行上妝方法
JP6519853B2 (ja) 画像処理装置、スタイラス、および画像処理方法
US20230101374A1 (en) Augmented reality cosmetic design filters
WO2023056333A1 (en) Augmented reality cosmetic design filters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841275

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015533970

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014841275

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014841275

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE