WO2017115453A1 - メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム - Google Patents

メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム Download PDF

Info

Publication number
WO2017115453A1
WO2017115453A1 PCT/JP2016/004420 JP2016004420W WO2017115453A1 WO 2017115453 A1 WO2017115453 A1 WO 2017115453A1 JP 2016004420 W JP2016004420 W JP 2016004420W WO 2017115453 A1 WO2017115453 A1 WO 2017115453A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
image
simulation
interest
face
Prior art date
Application number
PCT/JP2016/004420
Other languages
English (en)
French (fr)
Inventor
宏毅 田岡
哲郎 佐藤
さち子 竹下
理惠子 浅井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201680069623.1A priority Critical patent/CN108292413A/zh
Priority to EP16881434.1A priority patent/EP3399493A4/en
Priority to JP2017558842A priority patent/JP6748981B2/ja
Priority to SG11201804159XA priority patent/SG11201804159XA/en
Publication of WO2017115453A1 publication Critical patent/WO2017115453A1/ja
Priority to US15/975,876 priority patent/US10559102B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Definitions

  • the present disclosure relates to a makeup simulation support apparatus, a makeup simulation support method, and a makeup simulation support program.
  • a manufacturer that manufactures and sells cosmetics as an example of products related to make-up develops its own cosmetics store (in-shop) at department stores, supermarkets, etc., and sells while talking with customers through so-called face-to-face sales Is often used.
  • face-to-face sales of cosmetics for example, a beauty staff (BA) of a cosmetics store observes the skin of the customer and performs counseling based on the observation results to select a cosmetic that seems to be optimal for the customer.
  • BA beauty staff
  • the facial feature analysis and skin color analysis of the user's face are performed from the photographed user's facial image, and the facial feature and skin color of the user's face are calculated based on the results of the facial feature analysis and skin color analysis.
  • the user's face virtually made up using the product is simulated and displayed.
  • One aspect of the present disclosure provides a makeup simulation support apparatus, a makeup simulation support method, and a makeup simulation support program that support face-to-face sales and sales without a clerk so as to efficiently lead to sales of products related to makeup. To do.
  • the makeup simulation support apparatus is: Simulation obtained by superimposing a makeup image indicating a makeup state when makeup is applied to the facial parts of the face on the facial image captured by the photographing unit that captures a facial image of the user as a facial image
  • a simulation image generation unit for generating an image
  • a simulation image output unit for outputting the generated simulation image
  • An interest level detection unit that detects the degree of interest of the user with respect to the makeup image based on the face image captured when the simulation image is output
  • An interest degree information output unit for outputting interest degree information indicating the detected degree of interest; Is provided.
  • FIG. 1 is a block diagram illustrating a functional configuration of a makeup simulation system 10 according to an embodiment of the present disclosure.
  • the makeup simulation system 10 is a face-to-face sales by a beauty staff (hereinafter referred to as “store clerk”), for example, in a cosmetic store, that is, while interacting with a customer (corresponding to “user” of the present disclosure, hereinafter referred to as “user”). It is used as a tool that supports sales forms).
  • the makeup simulation system 10 includes a customer-side terminal device 100 (tablet terminal) and a clerk-side terminal device 200 (pen tablet terminal) connected to each other via a communication line.
  • the customer-side terminal device 100 is installed vertically, for example, toward the user, and displays a simulated image of the face after makeup using the user's face.
  • the store clerk side terminal device 200 supports the face-to-face sales so as to efficiently lead to sales of products (cosmetics) related to makeup.
  • the customer terminal device 100 is not limited to a tablet terminal, and may be fixed to a counter of a cosmetic store.
  • Customer terminal device 100 (corresponding to “makeup simulation support device” of the present disclosure) includes photographing unit 110 and first display unit 120.
  • the customer terminal device 100 includes an illumination unit as an illumination unit, a strobe unit as a strobe unit, and a microphone unit as a microphone unit. Further, although not shown in the figure, the customer side terminal device 100, for example, a CPU (Central Processing Unit) as a processor, a storage medium such as a ROM (Read Only Memory) storing a control program, a work such as a RAM (Random Access Memory), etc. And a communication circuit. In this case, the function of each unit described above is realized by the CPU executing the control program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • the imaging unit 110 captures an image of the user's face as a face image.
  • the imaging unit 110 is a CMOS (Complementary Metal-Oxide Semiconductor) camera, a CCD (Charge Coupled Device) camera, or the like.
  • the imaging unit 110 outputs the captured face image to the clerk terminal device 200.
  • the first display unit 120 is a liquid crystal display or an organic EL (organic electroluminescence) display having a size capable of displaying the user's face at the same magnification, and displays a simulation image output from the customer terminal device 100.
  • FIG. 2A is a diagram showing a display example of a user screen including a simulation image 400.
  • a simulation image 400 includes a face image 410 captured by the imaging unit 110 and makeup (hereinafter referred to as “face parts”, for example, eyes and mouth) for makeup (see FIG. 2A).
  • a table image 420 capable of selecting a color of lipstick
  • Reference numeral 430 denotes a color image indicating the makeup color currently selected by the user.
  • the first display unit 120 is a touch panel monitor in which a touch panel is arranged so as to cover the screen in order to accept operations of a user and a store clerk for the customer terminal device 100.
  • the mechanism for accepting the operation of the user or the store clerk is not limited to the touch panel monitor, and an operation unit may be provided separately.
  • the store clerk side terminal device 200 includes a simulation image generation unit 210, a simulation image output unit 220, an interest degree detection unit 230, an interest degree information output unit 240, a makeup candidate information output unit 250, a second display unit 260, and facial part position information storage.
  • clerk-side terminal device 200 is not shown, for example, a CPU (Central Processing Unit) as a processor and a ROM (Read Only Memory) that stores a control program (corresponding to the “makeup simulation support program” of the present disclosure).
  • Storage medium such as RAM, working memory such as RAM (Random Access Memory), and a communication circuit.
  • the function of each unit described above is realized by the CPU executing the control program.
  • the simulation image generation unit 210 converts the facial image output from the photographing unit 110 of the customer side terminal device 100 into a facial part included in the facial image in response to a user or store clerk operation on the customer side terminal device 100.
  • a simulation image obtained by superimposing a makeup image indicating a makeup state when makeup is applied is generated.
  • the simulation image output unit 220 outputs the simulation image generated by the simulation image generation unit 210 to the first display unit 120 of the customer side terminal device 100.
  • the degree-of-interest detection unit 230 includes facial parts that the user is interested in based on the facial image captured by the imaging unit 110 when the simulation image is output by the simulation image output unit 220, and the makeup included in the simulation image. By detecting the degree of coincidence with the facial part corresponding to the image, the degree of interest of the user with respect to the makeup image is detected.
  • the degree of coincidence between the facial part in which the user is interested and the facial part corresponding to the makeup image included in the simulation image matches the type (eyes, mouth, etc.) of each facial part.
  • This means the degree related to A facial part corresponding to a makeup image included in the simulation image is a facial part that is strongly related to a makeup item (hereinafter referred to as “makeup part”, for example, lipstick, eye shadow, teak, etc.) applied to the facial image. is there.
  • makeup part for example, lipstick, eye shadow, teak, etc.
  • a mouth part is a lipstick
  • an eye shadow is a highly relevant face part.
  • a part of the face is based on the temporal relationship with the time when the face part is displayed on the simulation image or when the display is changed.
  • the degree of coincidence with the part may be determined.
  • Facial parts include eyes (left and right), eyebrows (left and right), eyelashes (left and right), mouth, lips (up and down), teeth, nose, cheeks (left and right), ears (left and right), contours, temples, hair, etc.
  • the mouth corner, the mouth, the eye, etc. may be classified in more detail, and the present invention is not limited to these.
  • the interest level detection unit 230 detects the interest level of each facial part of the face image included in the simulation image.
  • the degree-of-interest detection unit 230 detects a facial part located in the direction in which the user's line of sight is directed using a known means, and the degree of interest in the facial part increases as the accumulated time in which the line of sight is directed is longer. Is detected to be high.
  • FIG. 3 shows interest information that is temporarily generated when the interest degree detection unit 230 detects a facial part located in the direction in which the user's line of sight is directed.
  • the interest information includes the user's visit date, the facial part, Has an interest level as an item.
  • the value of the item “degree of interest” is set to “high” when the accumulated time during which the user's line of sight is directed is compared to a predetermined threshold or is relatively long.
  • “low” is set when the cumulative time during which the user's line of sight is directed is relatively short compared to a predetermined threshold.
  • the degree of interest of the user with respect to the eyes is high, but the degree of interest of the user with respect to the other facial parts such as the nose, cheeks, and lips is low. In other words, it can be inferred that the user is potentially interested in the eyes during the lipstick makeup simulation.
  • the degree of interest is not a binary determination such as “high” or “low”, but a high continuous value or a discontinuous value is set when the time is long according to the length of the accumulated time. You may make it.
  • the interest level detection unit 230 detects a facial part of the face that the user faces frontward with respect to the photographing unit 110 using a known means, and the accumulated time that faces the front with respect to the photographing unit 110. The longer it is, the higher the degree of interest in the facial part may be detected.
  • the interest level detection unit 230 may detect the degree of deformation of the facial part by the user using a known means, and may detect that the degree of interest in the facial part is higher as the degree of deformation is higher. For example, when a makeup simulation is performed on a plurality of facial parts (for example, eyes and mouth), if the degree of deformation around the mouth is high, the user is interested in the makeup simulation of the lipstick that is the makeup part of the mouth. Can be estimated.
  • the deformation of facial parts means opening / closing of eyelids, eye movements, eyelids between eyebrows, etc. for eyes, opening / closing, squeezing, raising the corner of the mouth (smile), lowering the mouth corner, lowering the lips Licking, sharpening, and the like may be included, and operations such as applying a finger to the facial part may be included. Moreover, it is not limited to these.
  • the interest level detection unit 230 uses the analysis result of the facial features of the user and associates the degree of interest with respect to each facial part of the face image included in the simulation image, thereby more accurately, such as complex (inferiority). Predict the part of the user's interest.
  • the interest level detection unit 230 detects the degree of user satisfaction with the makeup simulation (makeup image) being executed. For example, the degree-of-interest detection unit 230 is the same immediately after the simulation image is displayed (for example, within 10 seconds, after the elapse of a predetermined time or within a period during which the user's reaction is expected to appear reflexively). A user's reaction is detected, and according to the detection result, a user's satisfaction degree, more specifically, a degree of interest added to the user's evaluation (high evaluation, low evaluation) is detected. The interest level detection unit 230 records the detected user response in time series.
  • the user's reaction includes biological signals such as the angle / deformation amount of the user's facial expression parameters (line of sight / face), gesture, voice / dialogue content, blood pressure / heartbeat.
  • biological signals such as the angle / deformation amount of the user's facial expression parameters (line of sight / face), gesture, voice / dialogue content, blood pressure / heartbeat.
  • the degree-of-interest detection unit 230 detects whether or not the line of sight between the clerk and the user is in the state where the position where the clerk is sitting is known.
  • the interest level detection unit 230 detects the angle of the user's face and detects whether the user is depressed.
  • the interest level detection unit 230 detects whether or not the user thinks by placing the hand on the face as a gesture of the user.
  • the interest level information output unit 240 outputs the interest level information indicating the interest level (including the satisfaction level) detected by the interest level detection unit 230 to the second display unit 260.
  • the makeup candidate information output unit 250 outputs makeup candidate information indicating makeup candidates recommended to be applied next to the second display unit 260 based on the degree of interest detected by the interest level detection unit 230.
  • makeup candidate information output section 250 when the user's degree of interest in the makeup image included in the simulation image is high, is makeup for the facial part corresponding to the makeup image and the makeup corresponding to the makeup image. While different makeup is determined as a candidate, if the degree of interest of the user is low, makeup for a facial part different from the facial part corresponding to the makeup image is determined as a candidate.
  • makeup candidate information output unit 250 includes a subject (specified by the determination result of determination unit 300) indicating who desires the simulation image generation process, and interest level detection unit 230. Depending on the face part detected as having a high degree of interest (hereinafter, also referred to as “interested part”) and the user's satisfaction degree with respect to the running makeup simulation detected by the interest degree detecting unit 230, Make-up candidates that are recommended to be applied. Makeup candidate information output section 250 determines a makeup candidate recommended to be applied next in accordance with a makeup candidate determination table shown in FIG.
  • FIG. 4 is a diagram showing a makeup candidate determination table in the present embodiment.
  • makeup candidate information output section 250 is configured to apply makeup to a makeup portion when the subject is a user, the interested portion is a makeup portion (a facial part corresponding to a makeup image), and the degree of satisfaction is high.
  • a makeup different from the makeup is also determined as a candidate.
  • the makeup candidate information output unit 250 is similar to the makeup for the makeup portion as a makeup different from the makeup for the makeup portion when the subject is the user, the interested portion is the makeup portion, and the degree of satisfaction is high. It is desirable to determine makeup as a candidate, such as color makeup, which has less change than when the subject is a store clerk.
  • makeup candidate information output unit 250 determines a makeup different from the makeup as a candidate instead of makeup for the makeup portion when the subject is the user, the interested portion is the makeup portion, and the degree of satisfaction is low. To do.
  • makeup candidate information output unit 250 is executing if the subject is a user, the interested part is a non-makeup part (a facial part different from the facial part corresponding to the makeup image), and the satisfaction level is high.
  • the makeup for the facial part corresponding to the part of interest is determined as a candidate.
  • makeup candidate information output unit 250 when the subject is a user, the interested part is a non-makeup part, and the degree of satisfaction is low, the facial part corresponding to the part of interest instead of the makeup for the makeup part being executed
  • the makeup for is determined as a candidate.
  • makeup candidate information output unit 250 determines a makeup different from the makeup as a candidate in addition to the makeup for the makeup portion when the subject is a store clerk and the interested portion is the makeup portion and the degree of satisfaction is high. To do.
  • makeup candidate information output unit 250 determines a makeup different from the makeup as a candidate instead of makeup for the makeup portion when the subject is a store clerk, the interested portion is a makeup portion, and the degree of satisfaction is low. To do.
  • makeup candidate information output unit 250 is a facial part corresponding to the interested portion in addition to the makeup for the makeup portion being executed when the subject is a store clerk, the interested portion is a non-makeup portion, and the degree of satisfaction is high.
  • the makeup for is determined as a candidate.
  • makeup candidate information output unit 250 is a facial part corresponding to an interest portion instead of makeup for the makeup portion being executed when the subject is a store clerk, the interest portion is a non-makeup portion, and the degree of satisfaction is low.
  • the makeup for is determined as a candidate.
  • the second display unit 260 is a liquid crystal display, an organic electroluminescence (EL) display, or the like.
  • the second display unit 260 displays an interest level information image corresponding to the interest level information output from the interest level information output unit 240 and a makeup candidate information image corresponding to the makeup candidate information output from the makeup candidate information output unit 250.
  • FIG. 2B is a diagram showing a display example of a clerk screen 500 including an interest degree information image 520 and a makeup candidate information image 540.
  • an attribute information image 510 indicating user attribute information (name, age, etc.) is displayed on the clerk screen 500, and the simulation shown in FIG. 2A.
  • a simulation image 530 having the same contents as the image 400 is included.
  • the simulation image 400 and the simulation image 530 are updated and displayed in synchronization in real time.
  • the interest level information image 520 includes a face image 522 captured by the imaging unit 110 and a heat map image 524 that emphasizes a facial part that has been detected as having a high degree of interest by the interest level detection unit 230.
  • the interest level information image 520 includes information on features of facial parts (lips in the example of FIG. 2B) corresponding to the makeup image included in the simulation image 530 (trouble information such as lip thinning in the example of FIG. 2B). It is.
  • Information relating to the characteristics of the facial part is generated by the characteristics specified by the facial part specifying unit 290.
  • the interest level information image 520 includes information (3 ⁇ 2 in the example of FIG.
  • the store clerk is less satisfied with the makeup simulation being performed, and the user's part of interest moves from the makeup part (lips) to the non-make-up part (eyes). This can be easily grasped.
  • the makeup candidate information image 540 is captured by the photographing unit 110, and the makeup candidate information output unit 250 highlights a makeup candidate (makeup for eyes in the example of FIG. 2B) recommended to be applied next.
  • An image 542 is included.
  • makeup candidate information image 540 includes information indicating an expected conforming product expected to conform to the makeup recommended to be applied next (in the example of FIG. 2B, an anticipated conforming product XX ⁇ ) included.
  • makeup candidate information image 540 may include information about makeup that can solve the troubles of the trouble information included in interest level information image 520.
  • the makeup candidate information image 540 may include inventory information (for example, presence / absence of inventory, planned delivery date, whether the product is a strategic product, etc.). From the information included in the makeup candidate information image 540, the store clerk can easily grasp the makeup candidates recommended to be applied next.
  • the second display unit 260 is a touch panel monitor in which the touch panel is arranged so as to cover the screen in order to accept a store clerk's operation on the store clerk side terminal device 200.
  • the mechanism for accepting the operation of the store clerk is not limited to the touch panel monitor, and a touch pen (operation unit) is separately provided.
  • the touch pen is provided with an identification button for identifying whether the simulation image generation processing by the simulation image generation unit 210 is a user's request or a store clerk's request (guidance). For example, when the simulation image generation process by the simulation image generation unit 210 is as desired by the user, the store clerk presses an identification button provided on the touch pen.
  • the face part position information storage unit 270 stores face part position information indicating the position of the face part in the average face.
  • the face position detection unit 280 detects the position of the facial part on the user's face based on the face image captured by the photographing unit 110 of the customer terminal device 100.
  • the face part specifying unit 290 specifies a face part that is a feature of the user's face based on the face part position information stored in the face part position information storage unit 270 and the detection result of the face position detecting unit 280. For example, for facial parts, the position in the face, the positional relationship with other facial parts, the shape, size, color, etc., and numerically compared with the average value of a certain number of facial parts more than the same number, There may be a method of specifying a facial part in which a difference exceeding a predetermined threshold is detected as a characteristic facial part. However, it is not limited to these. Then, makeup candidate information output unit 250 outputs, to second display unit 260, makeup candidate information indicating makeup candidates recommended to be applied next on the facial parts identified by facial part identification unit 290. .
  • the determination unit 300 determines whether or not the simulation image generation processing by the simulation image generation unit 210 is based on the user's request according to whether or not the identification button provided on the touch pen is pressed. Note that the determination unit 300 may determine whether or not the simulation image generation processing by the simulation image generation unit 210 is based on the user's request based on the analysis result of the conversation contents between the user and the store clerk.
  • the interest degree history information recording unit 310 performs the simulation image in this makeup simulation.
  • the interest degree history information storage unit 320 stores the interest degree history information in which the facial parts corresponding to the makeup image included in the image and the interest degree detected by the interest degree detection unit 230 are associated with each other.
  • FIG. 5A is a diagram showing interest degree history information in the present embodiment.
  • the interest level history information includes the visit date, the makeup part of the facial part corresponding to the makeup image, the color of the makeup part, the degree of user satisfaction with the makeup corresponding to the makeup image, and the makeup
  • the final purchase result of cosmetics corresponding to the part is included as an item.
  • an integer value of 1 to 5 is set as the value of the item “satisfaction level”.
  • “ ⁇ ” indicating purchase or “ ⁇ ” indicating non-purchase is set.
  • the interest level history information recording unit 310 has the interest level history information in the current makeup simulation regardless of whether the determination unit 300 generates the simulation image according to the user's request. May be stored in the interest degree history information storage unit 320.
  • the degree of satisfaction with cheeks is higher than with other makeup parts “lipstick”, so the user may be following the guidance of the store clerk. I can guess.
  • the interest level information on the makeup part “lipstick” indicates that the subject “user” is more satisfied than the other subject “store clerk”. It can be inferred that there is a strong commitment, especially the preference for pink.
  • the lipstick story appears when the user visits the store from the interest level history information regarding the makeup part “lipstick”, the subject “user”, the satisfaction level “5”, and the purchase result “ ⁇ ”. We can infer that it is highly worth recommending the “pink” color.
  • the probability (user flexibility) of the user following the makeup guided by the store clerk may be analyzed for each makeup part and color, and the analysis result may be displayed on the second display unit 260. Moreover, when it was unsold last time, that may be displayed on the 2nd display part 260 with an analysis result.
  • FIG. 6 is a flowchart showing the operation of the clerk-side terminal device 200 according to the present embodiment (corresponding to the “makeup simulation support method” of the present disclosure). The process in FIG. 6 starts when a make-up simulation execution request based on the operation of the user or the store clerk on the customer terminal device 100 is generated.
  • the simulation image generation unit 210 acquires the face image output from the photographing unit 110 of the customer side terminal device 100 (step S100). Next, the simulation image generation unit 210 generates a simulation image obtained by superimposing a makeup image indicating a makeup state when makeup is applied to a facial part of the face included in the acquired face image (step) S120).
  • the simulation image output unit 220 outputs the simulation image generated by the simulation image generation unit 210 to the first display unit 120 of the customer side terminal device 100 (step S140).
  • the first display unit 120 displays the simulation image output from the customer side terminal device 100.
  • the degree-of-interest detection unit 230 is based on the face image captured by the imaging unit 110 when the simulation image is output by the simulation image output unit 220, and the degree of interest of the user with respect to the makeup image included in the simulation image. Is detected (step S160).
  • the interest level information output unit 240 outputs interest level information indicating the interest level detected by the interest level detection unit 230 to the second display unit 260 (step S180).
  • makeup candidate information output unit 250 displays makeup candidate information indicating a makeup candidate recommended to be applied next on second display unit 260 based on the degree of interest detected by interest level detection unit 230.
  • Output step S200.
  • Second display unit 260 displays interest degree information output from interest degree information output unit 240 and makeup candidate information output from makeup candidate information output unit 250.
  • the store clerk side terminal device 200 determines whether or not a make-up simulation end request based on the operation of the user or store clerk has occurred (step S220). As a result of the determination, if a makeup simulation termination request has not occurred (step S220, NO), the process returns to before step S100. On the other hand, when a makeup simulation termination request is generated (step S220, YES), the clerk-side terminal device 200 terminates the processing in FIG.
  • the clerk side terminal device 200 makesup simulation support device in the present embodiment adds a facial image to the face image captured by the imaging unit 110 that captures the face image of the user as a facial image.
  • a simulation image generation unit 210 that generates a simulation image obtained by superimposing a makeup image indicating a makeup state when makeup is applied to a facial part, and a simulation image output unit 220 that outputs the generated simulation image;
  • An interest level detection unit 230 that detects the degree of interest of the user with respect to the makeup image based on the face image captured by the imaging unit 110 when the simulation image is output, and interest level information indicating the detected level of interest
  • An interest degree information output unit 240 for output.
  • a user's (customer's) potential request for makeup for example, hidden real intentions or complex (inferiority) It is possible to provide the store clerk with information (interest degree information) that helps in providing information that the user really wants. Therefore, face-to-face sales can be supported so as to efficiently lead to sales of products (cosmetics) related to makeup.
  • the customer side terminal device 100 and the salesclerk side terminal device 200 were demonstrated as the separate body, you may integrate with one apparatus.
  • the first display unit 120 and the second display unit 260 may be one display unit, or one CPU as a processor. When there are two CPUs, the CPUs may be properly used for simulation image generation / display and analysis such as interest level detection.
  • the customer side terminal device 100 may be provided with structures other than the 2nd display part 260 among the structures with which the salesclerk side terminal device 200 is provided.
  • the customer terminal device 100 corresponds to the “makeup simulation support device” of the present disclosure.
  • makeup candidate information image 540 is based on the interest level history information stored in interest level history information storage unit 320 and the like (for the makeup candidate suitable for the facial features of the user ( For example, it may include information that emphasizes the eyes) or information indicating the past user's commitment (for example, the color is highly interested in OO).
  • FIG. 7A is a diagram showing a display example of the user screen 600 at the start of face-to-face sales. As shown in FIG. 7A, on the user screen, for example, general advertisements related to cosmetics and information on cosmetics that are likely to be of interest to the user are displayed.
  • FIG. 7B is a diagram showing a display example of the clerk screen 700 at the start of face-to-face sales.
  • the attribute information image 710 indicating the user's attribute information (name, age, the name of the store visited last time, the capacity in charge, etc.)
  • the previous simulation result image indicating the result of the previous makeup simulation 720
  • a previous interest information image 730 indicating the user's interest in the previous makeup simulation is displayed.
  • the attribute information displayed on the attribute information image 710 is desirably information searched using a face image captured by the imaging unit 110. This is because at the start of face-to-face sales, if the store clerk tries to ask the user about the customer information (name, age, etc.) from the beginning, it is bad.
  • the previous simulation result image 720 includes a face image 724 of the user who made up the makeup part (in the example of FIG. 7B, lipstick) whose purchase result was not purchased in the previous makeup simulation, and the purchase result was purchase. And a user's face image 722 made by makeup parts (blush in the example of FIG. 7B).
  • the face image 722 includes an emphasized image 726 that emphasizes makeup by makeup parts.
  • information on the reason for non-purchase in the example of FIG. 7B, lipstick has a great deal of color
  • information indicating the name of a specific product purchased ⁇ in the example of FIG. 7B). Is also included.
  • the previous interest information image 730 includes a face image 732 of the user including an emphasized image 734 that emphasizes a face part with a high degree of interest of the user, and information indicating that the degree of interest in the face part is high (in FIG. 7B). In the example, I am interested in the eyes).
  • the store clerk grasps the points to be noted in this makeup simulation before actually starting the makeup simulation so that the sales clerk screen 700 is viewed at the start of the face-to-face sales so as to efficiently connect to the sales of cosmetics. be able to.
  • a makeup simulation reflecting the previous makeup simulation result can be performed.
  • the interest level detection unit 230 detects and records a user's reaction immediately after the simulation image is displayed. Then, the interest level detection unit 230 is related to the case where a makeup simulation related to the cosmetics related to the purchase is performed and the cosmetics not related to the purchase when there are a plurality of purchase opportunities when the user visits the store in the past. The difference between the user and the execution of the make-up simulation is detected, and the user's reaction having a high correlation with the case of purchasing is extracted as a high evaluation detection standard. When the extracted high evaluation detection standard is detected even in the currently executed makeup simulation, the interest degree detection unit 230 notifies the makeup candidate information output unit 250 to that effect.
  • the user's reaction corresponding to the high evaluation detection standard (deformation of facial parts), that is, a portion that is a point of observation to the store clerk is displayed on the second display unit 260 (more specifically, included in the interest degree information image 520). Display on the face image 522 to be displayed). Note that the high evaluation detection criterion may be displayed as it is on the clerk screen.
  • the user's response that is highly correlated with the case of purchasing is correlated with the elapsed time after the simulation image is displayed, such as how many seconds later the user's line of sight matched the purchase. good.
  • the user's reaction having a high correlation with the case of purchasing may be correlated among a plurality of users having similar facial features.
  • the makeup simulation using the customer terminal device 100 may be performed at a cosmetic store that performs face-to-face sales, or may be performed at a cosmetic store where a customer decides to purchase by himself / herself. It can be done at the user's home.
  • FIG. 8 shows the system configuration in the latter two cases (sales without clerk). Unlike the case of FIG. Since there is no store clerk, there is no second display unit (store clerk screen), and the makeup simulation to be executed next is determined by the makeup candidate information output unit 250 without asking the store clerk to make a final decision, and the simulation image generating unit 210 Communicated.
  • the determination unit 300 determines whether the content of the makeup simulation to be executed next is based on the system 10 of the present embodiment or based on the customer's intention. This information is used to identify whether the subject is a “user” in the same manner as in FIG. 5 and FIG. As described above, it can be used to determine customer preferences and user flexibility.
  • the user's response to the makeup simulation is expected to differ depending on whether the makeup simulation using the customer terminal device 100 is performed at a cosmetic store or at the user's house.
  • the method of detecting the interest level of the user by the interest level detection unit 230 may be changed. Further, the interest level detection unit 230 determines whether the user's potential request (heart) is likely to appear in a facial expression (for example, at night, before going to bed, etc.). The method of detecting the degree of interest may be changed.
  • the above embodiment it is possible to display not only the user's face but also the whole body on the first display unit 120, and when clothes and hairstyles are located in the direction in which the user's line of sight is facing, this is indicated. Information to be shown may be included in the interest degree information image 520. Furthermore, in the above-described embodiment, only the makeup that virtually makes up is targeted for the simulation, but a simulation that virtually coordinates including a hairstyle, clothes, and the like may be used. The wider the scope of the simulation, the more important it is to understand the customer's interest and reaction and decide on the next action.
  • the makeup simulation is measured for each facial part, and the correlation with the purchase result for each facial part (for example, the makeup simulation has been performed for a long time, but it is not purchased. Etc.) may be recorded. Further, by extracting a time zone having a correlation with the purchase result, information may be recorded so that the user can easily (in a short time) search for a store clerk who can easily make a real intention.
  • a plurality of face images are captured for each makeup simulation, and the face image to be included in the purchase candidate presentation screen to be displayed after the makeup simulation can be selected on the store clerk side. Also good.
  • the makeup simulation system 10 has been described with respect to an example used for extracting and acquiring the user's interest (potential request) for makeup.
  • the present disclosure is not limited thereto.
  • the makeup simulation system 10 may be used for analysis of cosmetics used for makeup. More specifically, whether it is cosmetics that are expected to be purchased by any user, or if the store clerk recommends, analyze whether or not they purchased beyond expectations regardless of facial features and flexibility. May be used for
  • the makeup simulation system 10 may be used for a salesclerk's analysis.
  • the skill to attract the user's interest through make-up simulation is high or low, or the user's interest is not high, but the store clerk's communication ability makes up for the purchase to compensate for the low evaluation at the make-up simulation. It may be used to analyze whether or not it has been reached.
  • the makeup simulation support apparatus of the present disclosure Simulation obtained by superimposing a makeup image indicating a makeup state when makeup is applied to the facial parts of the face on the facial image captured by the photographing unit that captures a facial image of the user as a facial image
  • a simulation image generation unit for generating an image
  • a simulation image output unit for outputting the generated simulation image
  • An interest level detection unit that detects the degree of interest of the user with respect to the makeup image based on the face image captured when the simulation image is output
  • An interest degree information output unit for outputting interest degree information indicating the detected degree of interest; Is provided.
  • the degree-of-interest detection unit detects a degree of coincidence between a facial part in which the user is interested and a facial part corresponding to the makeup image based on a facial image captured when the simulation image is output.
  • the degree of interest of the user may be detected.
  • the degree of interest may include the degree of user satisfaction with the makeup image.
  • a makeup candidate information output unit that outputs makeup candidate information indicating makeup candidates recommended to be applied next may be provided based on the detected degree of interest.
  • the makeup candidate information output unit When the degree of interest is high, the makeup candidate information output unit outputs makeup candidate information indicating makeup for the facial part and a makeup different from the makeup corresponding to the makeup image as the candidate, while the degree of interest If it is low, makeup candidate information indicating makeup for a facial part different from the facial part as the candidate may be output.
  • a face part position information storage unit for storing face part position information indicating the position of the face part in the average face;
  • a face position detection unit that detects the position of a facial part in the user's face based on the captured face image;
  • a face part specifying unit that specifies a face part that is a feature of the user's face based on the face part position information and a detection result of the face position detecting unit;
  • the makeup candidate information output unit may output makeup candidate information indicating makeup for the identified facial part as the candidate.
  • the interest level information output unit may output the interest level information to a second display unit different from the first display unit to which the simulation image is output.
  • the degree-of-interest detection unit may detect the facial part of the face that the user faces to the front with respect to the photographing unit, and detect the degree of interest based on the detection result.
  • the degree-of-interest detection unit detects a face part positioned in a direction in which the user's line of sight is facing among the face parts of the face displayed in the simulation image, and detects the degree of interest based on the detection result. You may do it.
  • a determination unit that determines whether or not the generation process of the simulation image by the simulation image generation unit is due to the user's request; When it is determined that it is not due to the user's request, the interest level history information storing unit stores the interest level history information in which the facial part corresponding to the makeup image and the detected interest level are associated with each other.
  • a history information recording unit May be provided.
  • the determination unit determines user flexibility, which is a probability that the user follows the guidance of others based on the interest level history information and purchase results
  • the interest level information output unit may output a determination result related to the user flexibility.
  • the degree-of-interest detection unit extracts information related to deformation of a facial part based on the captured face image, and the extracted face after a predetermined time has elapsed after the simulation image is output by the simulation image output unit. Acquires correlation between information on deformation of parts and purchase result, and based on the correlation with the acquired purchase result, each of the deformation of the face part whose correlation with purchase or non-buy is a predetermined value or more is detected with high evaluation. You may extract as a reference
  • the makeup simulation support method of the present disclosure is: Simulation obtained by superimposing a makeup image indicating a makeup state when makeup is applied to the facial parts of the face on the facial image captured by an imaging unit that captures a facial image of the user as a facial image Generating an image; and Outputting the generated simulation image; Detecting a degree of interest of the user with respect to the makeup image based on a face image taken when the simulation image is displayed; Outputting interest level information indicating the detected interest level;
  • the makeup simulation support program of the present disclosure is On the computer, Simulation obtained by superimposing a makeup image indicating a makeup state when makeup is applied to the facial parts of the face on the facial image captured by an imaging unit that captures a facial image of the user as a facial image Processing to generate an image; A process of outputting the generated simulation image; A process of detecting the degree of interest of the user with respect to the makeup image based on the face image captured when the simulation image is displayed; A process of outputting interest level information indicating the detected degree of interest; Is executed.
  • the present disclosure is useful as a makeup simulation support apparatus, a makeup simulation support method, and a makeup simulation support program that support face-to-face sales so as to efficiently lead to sales of products related to makeup.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

メイクアップシミュレーション支援装置は、ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された顔画像に、顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部（２１０）と、生成されたシミュレーション画像を出力するシミュレーション画像出力部（２２０）と、シミュレーション画像が出力された際に撮像部により撮像された顔画像に基づいて、メイク画像に対するユーザーの興味度合いを検知する興味度合い検知部（２３０）と、検知された興味度合いを示す興味度合い情報を出力する興味度合い情報出力部（２４０）と、を備える。

Description

メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム
　本開示は、メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラムに関する。
　メイクアップに関係する商品の一例としての化粧品を製造・販売するメーカーは、百貨店やスーパー等において独自の化粧品販売店（インショップ）を展開し、いわゆる対面販売により顧客と対話しながら販売する販売形態をよく利用している。化粧品の対面販売では、例えば化粧品販売店の美容部員（ＢＡ）が顧客の肌等を観察すると共に、その観察結果に基づいてカウンセリングを行い、顧客に最適と思われる化粧品を選定している。
　従来、化粧品販売店では美容部員による対面販売を支援する様々なツールが利用されている。美容部員による対面販売を支援するツールの一例としては、実際に顧客の顔へメイクアップを施すことなく、コンピューター上でメイクアップ後の顧客の顔をシミュレーションする技術が提案されている（例えば、特許文献１を参照）。
　特許文献１に記載の技術では、撮影したユーザーの顔の画像からユーザーの顔の顔特徴分析および肌色分析を行い、顔特徴分析および肌色分析の結果に基づき、ユーザーの顔の顔特徴および肌色に合った商品の情報を表示するとともに、当該商品を使ってメイクアップを仮想的に施したユーザーの顔をシミュレーションして表示する。
特開２０１１－２２７３３号公報
　特許文献１に記載の技術のように対面販売を支援する様々なツールは、最終的に化粧品の販売へ繋げるために開発されている。しかしながら、対面販売を支援する様々なツールを利用したとしても、実際には、メイクアップに対する顧客の潜在的な要望、化粧に関わる悩みを引き出し、顧客が欲している情報を提供しなければ、化粧品の販売に繋げられないという問題があった。実際のところ、メイクアップに対する顧客の潜在的な要望を引き出して化粧品の販売へ効率的に繋げられるかは、美容部員の経験、能力によるところが大きい。さらに言えば、メイクアップに対する顧客の潜在的な要望を引き出すために店員が顧客に問診するという対応も考えられるが、接客中の店員には十分な時間はなく、そのような対応を行うことは困難であった。これは、化粧品を販売する際にメイクアップを仮想的に施したシミュレーションを活用する提案がされているものの、その描画結果の表示までにとどまり、顧客の本音を検知するのは店員のスキルに依存していることによる。
　また、この課題は美容部員（ＢＡ）が対面で販売するシチュエーションに限らない。化粧品の流通において、顧客が独力で判断して化粧品を購入するスタイルの店舗や、インターネット等による通信販売（以下、店員無し販売と称する）の比重が高まりつつある中で、装置・プログラムが単にメイクアップのシミュレーションを実施するだけでなく、顧客の潜在的な要望の把握を支援したり、判断する要求は高まっていくと考えられる。
　本開示の一態様は、メイクアップに関係する商品の販売へ効率的に繋がるように対面販売ならびに店員無し販売を支援するメイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラムを提供する。
　本開示に係るメイクアップシミュレーション支援装置は、
　ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部と、
　生成された前記シミュレーション画像を出力するシミュレーション画像出力部と、
　前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する興味度合い検知部と、
　検知された前記興味度合いを示す興味度合い情報を出力する興味度合い情報出力部と、
　を備える。
　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、メイクアップに関係する商品の販売へ効率的に繋がるように対面販売、ならびに店員無し販売を支援することができる。
本実施の形態における対面販売におけるメイクアップシミュレーションシステムの機能構成を示すブロック図である。 メイクアップシミュレーション時におけるユーザー画面および店員画面の表示例を示す図である。 本実施の形態における興味情報を示す図である。 本実施の形態におけるメイク候補決定テーブルを示す図である。 本実施の形態におけるユーザー情報を示す図である。 本実施の形態における店員側端末装置の動作を示すフローチャートである。 対面販売の開始時におけるユーザー画面および店員画面の表示例を示す図である。 本実施の形態における店員無し販売におけるメイクアップシミュレーションシステムの機能構成を示すブロック図である。
　以下、本実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係るメイクアップシミュレーションシステム１０の機能構成を示すブロック図である。メイクアップシミュレーションシステム１０は、例えば化粧品販売店において美容部員（以下、「店員」と称する）による対面販売、すなわち顧客（本開示の「ユーザー」に対応、以下「ユーザー」と称する）と対話しながら販売する販売形態）を支援するツールとして利用される。
　メイクアップシミュレーションシステム１０は、通信回線を介して互いに接続された顧客側端末装置１００（タブレット端末）と、店員側端末装置２００（ペンタブレット端末）とを備えて構成される。顧客側端末装置１００は、例えばユーザーに向けて縦置きで設置され、ユーザーの顔を用いてメイクアップ後の顔のシミュレーション画像を表示する。店員側端末装置２００は、顧客側端末装置１００によりシミュレーション画像が表示される際、メイクアップに関係する商品（化粧品）の販売へ効率的に繋がるように対面販売を支援する。なお、顧客側端末装置１００は、タブレット端末に限らず、化粧品販売店のカウンターに固定されていても良い。
　顧客側端末装置１００（本開示の「メイクアップシミュレーション支援装置」に対応）は、撮影部１１０および第１表示部１２０を備える。
　なお、図示しないが、顧客側端末装置１００は、照明手段としての照明部、ストロボ手段としてのストロボ部、マイク手段としてのマイク部を備える。また、顧客側端末装置１００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　撮影部１１０は、ユーザーの顔の画像を顔画像として撮像する。撮影部１１０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラやＣＣＤ（Charge Coupled Device）カメラ等である。撮影部１１０は、撮像した顔画像を店員側端末装置２００に出力する。
　第１表示部１２０は、ユーザーの顔を等倍で表示可能な大きさを有する液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等であり、顧客側端末装置１００から出力されたシミュレーション画像を表示する。図２Ａは、シミュレーション画像４００を含むユーザー画面の表示例を示す図である。図２Ａに示すように、シミュレーション画像４００は、撮影部１１０により撮像された顔画像４１０と、メイクアップ対象の部位（以下、「顔部品」と称する、例えば目、口）に対するメイク（図２Ａの例では、口紅）の色を選択可能なテーブル画像４２０とが含まれる。４３０は、ユーザーによって現在選択されているメイクの色を示す色画像である。
　第１表示部１２０は、顧客側端末装置１００に対するユーザーや店員の操作を受け付けるため、タッチパネルが画面を覆うように配置されることでタッチパネルモニターとなっている。なお、ユーザーや店員の操作を受け付ける仕組みは、タッチパネルモニターに限らず、操作部を別途設けても良い。
　店員側端末装置２００は、シミュレーション画像生成部２１０、シミュレーション画像出力部２２０、興味度合い検知部２３０、興味度合い情報出力部２４０、メイク候補情報出力部２５０、第２表示部２６０、顔部品位置情報記憶部２７０、顔位置検知部２８０、顔部品特定部２９０、判定部３００、興味度合い履歴情報記録部３１０および興味度合い履歴情報記憶部３２０を備える。
　なお、店員側端末装置２００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）、制御プログラム（本開示の「メイクアップシミュレーション支援プログラム」に対応）を格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　シミュレーション画像生成部２１０は、顧客側端末装置１００に対するユーザーや店員の操作に応じて、顧客側端末装置１００の撮影部１１０から出力された顔画像に、当該顔画像に含まれる顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する。
　シミュレーション画像出力部２２０は、シミュレーション画像生成部２１０により生成されたシミュレーション画像を顧客側端末装置１００の第１表示部１２０に出力する。
　興味度合い検知部２３０は、シミュレーション画像出力部２２０によりシミュレーション画像が出力された際に撮影部１１０により撮像された顔画像に基づいて、ユーザーが興味を有する顔部品と、当該シミュレーション画像に含まれるメイク画像に対応する顔部品との一致度合いを検知することによって、当該メイク画像に対するユーザーの興味度合いを検知する。
　ここで、ユーザーが興味を有する顔部品と、当該シミュレーション画像に含まれるメイク画像に対応する顔部品との一致度合いとは、それぞれの顔部品の種別（目、口等）が一致しているか否かに関する度合いを意味する。シミュレータション画像に含まれるメイク画像に対応する顔部品とは、顔画像に施されるメイクアイテム（以下「メイクパーツ」という、例えば、口紅、アイシャドウ、チーク等）との関連が強い顔部品である。例えば、口紅であれば口（唇）、アイシャドウであれば目が関連の強い顔部品である。また、当該シミュレーション画像に含まれるメイク画像に対応する顔部品が複数存在する場合には、顔部品をシミュレーション画像に表示する時点または表示を変更する時点との時間的関連性に基づき一部の顔部品との一致度を判定しても良い。なお、顔部品は、目（左右）、眉（左右）、まつ毛（左右）、口、唇（上下）、歯、鼻、頬（左右）、耳（左右）、輪郭、こめかみ、髪等を含み、口角、口元、目元等さらに詳細に分類されてもよく、またこれらに限定されるものではない。
　具体的には、興味度合い検知部２３０は、シミュレーション画像に含まれる顔画像の各顔部品に対する興味度合いを検知する。例えば、興味度合い検知部２３０は、公知の手段を用いて、ユーザーの視線が向いている方向に位置する顔部品を検知し、視線が向いている累積時間が長い程、当該顔部品に対する興味度合いが高いことを検知する。図３は、興味度合い検知部２３０がユーザーの視線が向いている方向に位置する顔部品を検知した際に一時的に生成する興味情報を示す、興味情報は、ユーザーの来店日、顔部品および興味度合いを項目として有する。項目「興味度合い」の値は、ユーザーの視線が向いている累積時間が所定の閾値に比較してあるいは相対的に長い場合に「高い」と設定される。一方、ユーザーの視線が向いている累積時間が所定の閾値に比較してあるいは相対的に短い場合に「低い」と設定される。図３に示す例では、目に対するユーザーの興味度合いは高い一方、それ以外の顔部品である鼻、頬および唇等に対するユーザーの興味度合いは低い。すなわち、ユーザーは、口紅のメイクアップシミュレーション実行中に、潜在的に目に興味がありそうなことが推測できる。なお、興味度合いは、「高い」「低い」のような２値的な判定ではなく、累積時間の長さに応じて、時間が長い場合により高い連続的な値または不連続な値が設定されるようにしても良い。
　なお、興味度合い検知部２３０は、公知の手段を用いて、撮影部１１０に対してユーザーが正面に向けている顔の顔部品を検知し、撮影部１１０に対して正面に向けている累積時間が長い程、当該顔部品に対する興味度合いが高いことを検知しても良い。また、興味度合い検知部２３０は、公知の手段を用いて、ユーザーによる顔部品の変形具合を検知し、その変形具合が高い程、当該顔部品に対する興味度合いが高いことを検知しても良い。例えば、複数の顔部品（例えば、目、口）に対するメイクアップシミュレーションが実行されている場合に、口周りの変形具合が高ければ、口のメイクパーツである口紅のメイクアップシミュレーションに対しユーザーが興味を持っていることが推定できる。ここで顔部品の変形とは、目の場合は瞼の開閉、視線の移動、眉間の皺、等、口の場合は、開閉、すぼめる、口角が上がる（笑顔）、口角が下がる、唇を舐める、尖らせる、等が含まれ、更に当該顔部品に指をあてるなどの動作が含まれてもよい。またこれらに限定されるものではない。
　また、興味度合い検知部２３０は、ユーザーの顔の特徴の解析結果を用い、シミュレーション画像に含まれる顔画像の各顔部品に対する興味度合いと関連付けることにより、より精度良く、コンプレックス（劣等感）等のユーザーの興味の部分を予想することができる。
　また、興味度合い検知部２３０は、実行中のメイクアップシミュレーション（メイク画像）に対するユーザーの満足度合いを検知する。例えば、興味度合い検知部２３０は、シミュレーション画像が表示された直後（例えば、１０秒以内など、ユーザーの反応が反射的に表れると予想される所定時間の経過後または期間内、以降において同じ）におけるユーザーの反応を検知し、その検知結果に応じてユーザーの満足度合い、より具体的には興味度合いにユーザーの評価（高評価、低評価）を加味したものを検知する。興味度合い検知部２３０は、検知したユーザーの反応を時系列に記録する。
　ユーザーの反応には、ユーザーの表情パラメーター（目線・顔）の角度・変形量、仕草、音声・対話内容、血圧・心拍等の生体信号が含まれる。例えば、興味度合い検知部２３０は、店員の座っている位置が把握されている状態で、店員とユーザーとの間で目線が合っているか否かを検知する。また、興味度合い検知部２３０は、ユーザーの顔の角度を検知し、ユーザーがうつむいているか否かを検知する。また、興味度合い検知部２３０は、ユーザーの仕草として、当該ユーザーが手を顔に当てて、考え込んでいるか否かを検知する。
　興味度合い情報出力部２４０は、興味度合い検知部２３０により検知された興味度合い（満足度合いを含む）を示す興味度合い情報を第２表示部２６０に出力する。
　メイク候補情報出力部２５０は、興味度合い検知部２３０により検知された興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を第２表示部２６０に出力する。本実施の形態では、メイク候補情報出力部２５０は、シミュレーション画像に含まれるメイク画像に対するユーザーの興味度合いが高い場合、当該メイク画像に対応する顔部品に対するメイクであってメイク画像に対応するメイクとは異なるメイクを候補として決定する一方、当該ユーザーの興味度合いが低い場合、当該メイク画像に対応する顔部品とは別の顔部品に対するメイクを候補として決定する。
　具体的には、メイク候補情報出力部２５０は、シミュレーション画像の生成処理が誰の希望によるものであるかを示す主体者（判定部３００の判定結果により特定される）と、興味度合い検知部２３０により興味度合いが高いことが検知された顔部品（以下、「興味部分」とも称する）と、興味度合い検知部２３０により検知された実行中のメイクアップシミュレーションに対するユーザーの満足度合いとに応じて、次に施すことが推奨されるメイクの候補を決定する。メイク候補情報出力部２５０は、図４に示すメイク候補決定テーブルに従って次に施すことが推奨されるメイクの候補を決定する。
　図４は、本実施の形態におけるメイク候補決定テーブルを示す図である。図４に示すように、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分がメイク部分（メイク画像に対応する顔部品）であり、満足度合いが高い場合、当該メイク部分に対するメイクに加えて、当該メイクとは異なるメイクも候補として決定する。なお、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分がメイク部分であり、満足度合いが高い場合、当該メイク部分に対するメイクとは異なるメイクとして、当該メイク部分に対するメイクと似た色のメイク等、主体者が店員であるときと比べて変化が少ないメイクを候補として決定することが望ましい。
　また、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分がメイク部分であり、満足度合いが低い場合、当該メイク部分に対するメイクに代えて、当該メイクとは異なるメイクを候補として決定する。
　また、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分が非メイク部分（メイク画像に対応する顔部品とは別の顔部品）であり、満足度合いが高い場合、実行中のメイク部分に対するメイクに加えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
　また、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分が非メイク部分であり、満足度合いが低い場合、実行中のメイク部分に対するメイクに代えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
　また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分がメイク部分であり、満足度合いが高い場合、当該メイク部分に対するメイクに加えて、当該メイクとは異なるメイクも候補として決定する。
　また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分がメイク部分であり、満足度合いが低い場合、当該メイク部分に対するメイクに代えて、当該メイクとは異なるメイクを候補として決定する。
　また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分が非メイク部分であり、満足度合いが高い場合、実行中のメイク部分に対するメイクに加えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
　また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分が非メイク部分であり、満足度合いが低い場合、実行中のメイク部分に対するメイクに代えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
　第２表示部２６０は、液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等である。第２表示部２６０は、興味度合い情報出力部２４０から出力された興味度合い情報に対応する興味度合い情報画像や、メイク候補情報出力部２５０から出力されたメイク候補情報に対応するメイク候補情報画像を含む店員画面を表示する。図２Ｂは、興味度合い情報画像５２０およびメイク候補情報画像５４０を含む店員画面５００の表示例を示す図である。図２Ｂに示すように、店員画面５００には、興味度合い情報画像５２０およびメイク候補情報画像５４０の他に、ユーザーの属性情報（氏名、年齢など）を示す属性情報画像５１０、図２Ａに示すシミュレーション画像４００と同様の内容であるシミュレーション画像５３０が含まれる。シミュレーション画像４００とシミュレーション画像５３０とは、リアルタイムで同期して更新表示される。
　興味度合い情報画像５２０は、撮影部１１０により撮像された顔画像５２２と、興味度合い検知部２３０により興味度合いが高いことが検知された顔部品を強調するヒートマップ画像５２４とを含む。また、興味度合い情報画像５２０は、シミュレーション画像５３０に含まれるメイク画像に対応する顔部品（図２Ｂの例では、唇）の特徴に関する情報（図２Ｂの例では、唇薄めといった悩み情報）が含まれる。顔部品の特徴に関する情報は、顔部品特定部２９０により特定された特徴によって生成される。また、興味度合い情報画像５２０は、興味度合い検知部２３０により検知された、実行中のメイクアップシミュレーションに対するユーザーの満足度合いの変化に関する情報（図２Ｂの例では、３→２）が含まれる。興味度合い情報画像５２０に含まれる情報から、店員は、実行中のメイクアップシミュレーションに対するユーザーの満足度合いが低下し、ユーザーの興味部分がメイク部分（唇）から非メイク部分（目）に移っていることを容易に把握することができる。
　メイク候補情報画像５４０は、撮影部１１０により撮像され、メイク候補情報出力部２５０により、次に施すことが推奨されるメイクの候補（図２Ｂの例では、目に対するメイク）が強調表示された顔画像５４２を含む。また、本実施の形態では、メイク候補情報画像５４０は、次に施すことが推奨されるメイクに適合することが予想される予想適合商品を示す情報（図２Ｂの例では、予想適合商品○○○）を含む。なお、メイク候補情報画像５４０は、興味度合い情報画像５２０に含まれる悩み情報の悩みを解決可能なメイクに関する情報を含んでも良い。また、メイク候補情報画像５４０は、予想適合商品の在庫情報（例えば、在庫の有無、予定納期、戦略商品であるか否か等）を含んでも良い。メイク候補情報画像５４０に含まれる情報から、店員は、次に施すことが推奨されるメイクの候補を容易に把握することができる。
　第２表示部２６０は、店員側端末装置２００に対する店員の操作を受け付けるため、タッチパネルが画面を覆うように配置されることでタッチパネルモニターとなっている。
　本実施の形態では、店員の操作を受け付ける仕組みとして、タッチパネルモニターに限らず、タッチペン（操作部）が別途設けられている。タッチペンには、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものであるか、または店員の希望（誘導）によるものであるかを識別するための識別ボタンが設けられている。例えば、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものである場合、店員は、タッチペンに設けられた識別ボタンを押下する。
　顔部品位置情報記憶部２７０は、平均的な顔における顔部品の位置等を示す顔部品位置情報を記憶する。
　顔位置検知部２８０は、顧客側端末装置１００の撮影部１１０により撮像された顔画像に基づいてユーザーの顔における顔部品の位置を検知する。
　顔部品特定部２９０は、顔部品位置情報記憶部２７０に記憶される顔部品位置情報と、顔位置検知部２８０の検知結果とに基づいて、ユーザーの顔の特徴である顔部品を特定する。例えば、顔部品について、顔面中の位置、他の顔部品との位置関係、形状、大きさ、色等により数値化し、同様に数値化した一定数以上の顔部品の平均値との比較から、所定の閾値を超える差異が検出された顔部品を、特徴のある顔部品として特定する等の手法があり得る。ただしこれらに限定はされない。そして、メイク候補情報出力部２５０は、顔部品特定部２９０により特定された顔部品に対するメイクを、次に施すことが推奨されるメイクの候補として示すメイク候補情報を第２表示部２６０に出力する。
　判定部３００は、タッチペンに設けられた識別ボタンの押下の有無に応じて、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものであるか否かを判定する。なお、判定部３００は、ユーザーと店員との対話内容の解析結果に基づいて、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものであるか否かを判定しても良い。
　興味度合い履歴情報記録部３１０は、判定部３００によりシミュレーション画像の生成処理がユーザーの希望によるものでない（すなわち店員の誘導によるものである）と判定された場合、今回のメイクアップシミュレーションにおいて、シミュレーション画像に含まれるメイク画像に対応する顔部品と、興味度合い検知部２３０により検知された興味度合いとを互いに関連付けた興味度合い履歴情報を興味度合い履歴情報記憶部３２０に記憶させる。
　図５Ａは、本実施の形態における興味度合い履歴情報を示す図である。図５Ａに示すように、興味度合い履歴情報は、来店日、メイク画像に対応する顔部品のメイクパーツ、当該メイクパーツの色、当該メイク画像に対応するメイクに対するユーザーの満足度合い、および、当該メイクパーツに対応する化粧品の最終的な購買結果を項目として含む。本実施の形態では、項目「満足度合い」の値には、１～５の何れかの整数値が設定される。また、項目「購買結果」の値には、購買を示す「○」、または、不買を示す「×」が設定される。なお、興味度合い履歴情報記録部３１０は、図５Ｂに示すように、判定部３００によりシミュレーション画像の生成処理がユーザーの希望によるものか否かに関係なく、今回のメイクアップシミュレーションにおける興味度合い履歴情報を興味度合い履歴情報記憶部３２０に記憶させても良い。
　図５Ａ，５Ｂに示すように、主体者「店員」に関する興味度合い履歴情報から、チークに関しては、他のメイクパーツ「口紅」に比べて満足度合いが高いため、ユーザーは店員の誘導に従っていることが推測できる。また、図５Ｂに示すように、メイクパーツ「口紅」に関する興味度合い履歴情報から、主体者「ユーザー」に関しては、他の主体者「店員」に比べて満足度合いが高いため、ユーザーは口紅に関しては拘りが強く、特にピンクの好みが強そうであることが推測できる。また、図５Ｂに示すように、メイクパーツ「口紅」、主体者「ユーザー」、満足度合い「５」および購買結果「×」に関する興味度合い履歴情報から、ユーザーの次回の来店時に口紅の話が出たら「ピンク」色を推奨する価値が高そうであることが推測できる。以上のように、興味度合い履歴情報を分析することによって、メイクパーツに対するユーザーの柔軟度（店員の誘導に従順か頑固か、拘り）が高いか低いかを把握することができる。また、メイクパーツの色に対するユーザーの柔軟度が高いか低いかを把握することができる。なお、メイクパーツ毎および色毎に、店員が誘導したメイクにユーザーが従った確率（ユーザー柔軟度）を分析し、その分析結果を第２表示部２６０に表示させても良い。また、前回、不買であった場合には、その旨を分析結果とともに第２表示部２６０に表示させても良い。
　図６は、本実施の形態における店員側端末装置２００の動作（本開示の「メイクアップシミュレーション支援方法」に対応）を示すフローチャートである。図６における処理は、顧客側端末装置１００に対するユーザーや店員の操作に基づくメイクアップシミュレーションの実行要求が発生することによって開始する。
　まず、シミュレーション画像生成部２１０は、顧客側端末装置１００の撮影部１１０から出力された顔画像を取得する（ステップＳ１００）。次に、シミュレーション画像生成部２１０は、取得した顔画像に含まれる顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する（ステップＳ１２０）。
　次に、シミュレーション画像出力部２２０は、シミュレーション画像生成部２１０により生成されたシミュレーション画像を顧客側端末装置１００の第１表示部１２０に出力する（ステップＳ１４０）。第１表示部１２０は、顧客側端末装置１００から出力されたシミュレーション画像を表示する。
　次に、興味度合い検知部２３０は、シミュレーション画像出力部２２０によりシミュレーション画像が出力された際に撮影部１１０により撮像された顔画像に基づいて、当該シミュレーション画像に含まれるメイク画像に対するユーザーの興味度合いを検知する（ステップＳ１６０）。
　次に、興味度合い情報出力部２４０は、興味度合い検知部２３０により検知された興味度合いを示す興味度合い情報を第２表示部２６０に出力する（ステップＳ１８０）。次に、メイク候補情報出力部２５０は、興味度合い検知部２３０により検知された前記興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を第２表示部２６０に出力する（ステップＳ２００）。第２表示部２６０は、興味度合い情報出力部２４０から出力された興味度合い情報や、メイク候補情報出力部２５０から出力されたメイク候補情報を表示する。
　最後に、店員側端末装置２００は、ユーザーや店員の操作に基づくメイクアップシミュレーションの終了要求が発生したか否かについて判定する（ステップＳ２２０）。判定の結果、メイクアップシミュレーションの終了要求が発生していない場合（ステップＳ２２０、ＮＯ）、処理はステップＳ１００の前に戻る。一方、メイクアップシミュレーションの終了要求が発生した場合（ステップＳ２２０、ＹＥＳ）、店員側端末装置２００は、図６における処理を終了する。
　以上詳しく説明したように、本実施の形態における店員側端末装置２００（メイクアップシミュレーション支援装置）は、ユーザーの顔の画像を顔画像として撮像する撮影部１１０により撮像された顔画像に、顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部２１０と、生成されたシミュレーション画像を出力するシミュレーション画像出力部２２０と、シミュレーション画像が出力された際に撮像部１１０により撮像された顔画像に基づいて、メイク画像に対するユーザーの興味度合いを検知する興味度合い検知部２３０と、検知された興味度合いを示す興味度合い情報を出力する興味度合い情報出力部２４０とを備える。
　このように構成した本実施の形態によれば、顧客側端末装置１００によりシミュレーション画像が表示される際、メイクアップに対するユーザー（顧客）の潜在的な要望、例えば隠れた本音やコンプレックス（劣等感）を引き出し、ユーザーが本当に欲している情報を提供する上で助けとなる情報（興味度合い情報）を店員に提供することができる。そのため、メイクアップに関係する商品（化粧品）の販売へ効率的に繋がるように対面販売を支援することができる。
　なお、上記実施の形態では、顧客側端末装置１００と、店員側端末装置２００とが別体化されている例について説明したが、１つの装置で一体化されていても良い。この場合、第１表示部１２０および第２表示部２６０は１つの表示部で良いし、プロセッサとしてのＣＰＵが１つであっても良い。ＣＰＵが２つの場合は、シミュレーション画像の生成・表示と、興味度合い検知等の分析とでＣＰＵを使い分けても良い。
　また、上記実施の形態において、顧客側端末装置１００は、店員側端末装置２００が備える構成のうち第２表示部２６０以外の構成を備えても良い。この場合は、顧客側端末装置１００は、本開示の「メイクアップシミュレーション支援装置」に対応する。
　また、上記実施の形態において、メイク候補情報画像５４０は、興味度合い履歴情報記憶部３２０に記憶されている興味度合い履歴情報等に基づいて、ユーザーの顔の特徴に好適なメイクの候補に関する情報（例えば、目を強調）や、過去のユーザーの拘りを示す情報（例えば、色は○○に興味が強い）を含んでも良い。
　また、上記実施の形態において、対面販売の開始時に、興味度合い履歴情報記憶部３２０に記憶されている興味度合い履歴情報に応じたユーザーの解析結果を第２表示部２６０に表示させても良い。図７Ａは、対面販売の開始時におけるユーザー画面６００の表示例を示す図である。図７Ａに示すように、ユーザー画面には、例えば化粧品に関する一般広告や、ユーザーを意識して当該ユーザーの興味が高そうな化粧品の情報が表示される。
　図７Ｂは、対面販売の開始時における店員画面７００の表示例を示す図である。図７Ｂに示すように、店員画面には、ユーザーの属性情報（氏名、年齢、前回来店した店名、担当定員など）を示す属性情報画像７１０、前回のメイクアップシミュレーションの結果を示す前回シミュレーション結果画像７２０、および前回のメイクアップシミュレーションにおけるユーザーの興味を示す前回興味情報画像７３０が表示される。
　属性情報画像７１０に表示される属性情報は、撮影部１１０により撮像された顔画像を用いて検索された情報であることが望ましい。対面販売の開始時に、最初から店員が顧客情報（氏名、年齢など）をユーザーに事細かに聞こうとすると、心証が悪いからである。
　前回シミュレーション結果画像７２０は、前回のメイクアップシミュレーションにおいて、購買結果が不買であったメイクパーツ（図７Ｂの例では、口紅）によりメイクされたユーザーの顔画像７２４と、購買結果が購買であったメイクパーツ（図７Ｂの例では、チーク）によりメイクされたユーザーの顔画像７２２とを含む。顔画像７２２には、メイクパーツによるメイクを強調する強調画像７２６が含まれる。また、前回シミュレーション結果画像７２０には、不買理由に関する情報（図７Ｂの例では、口紅は色の拘り大）や、購買された具体的な商品名を示す情報（図７Ｂの例では、○）も含まれる。
　前回興味情報画像７３０には、ユーザーの興味度合いが高かった顔部品を強調する強調画像７３４を含むユーザーの顔画像７３２、および、当該顔部品に対する興味度合いが高かった旨を示す情報（図７Ｂの例では、目元に興味あり）が含まれる。
　店員は、対面販売の開始時に店員画面７００を見ることによって、化粧品の販売へ効率的に繋がるように、今回のメイクアップシミュレーションで注意すべき点について、実際にメイクアップシミュレーションを始める前に把握することができる。特に、前回と今回とでメイクアップシミュレーションの担当店員が例えば熟練度の高い店員から経験の浅い店員に替わった場合でも、前回のメイクアップシミュレーション結果を反映したメイクアップシミュレーションを行うことができる。
　また、上記実施の形態において、シミュレーション画像が表示された直後におけるユーザーの反応と、購買結果との間の相関関係をユーザー毎に学習し、その学習結果に応じた解析結果を第２表示部２６０に表示させても良い。店員毎に、ユーザーの反応と、購買結果との間の相関関係を学習しても良い。
　具体的には、興味度合い検知部２３０は、シミュレーション画像が表示された直後におけるユーザーの反応を検知して記録しておく。そして、興味度合い検知部２３０は、ユーザーの過去の来店時に、複数の購買の機会があった場合に、購買に繋がった化粧品に関連するメイクアップシミュレーション実行時と、購買に繋がらなかった化粧品に関連するメイクアップシミュレーション実行時との間でユーザーの差異を検出し、購買に繋がった場合と相関が高いユーザーの反応を高評価検知基準として抽出する。興味度合い検知部２３０は、抽出した高評価検知基準が現在実行されているメイクアップシミュレーションでも検知された場合、メイク候補情報出力部２５０にその旨を通知する。そして、高評価検知基準に対応するユーザーの反応（顔部品の変形）、すなわち店員に観察のしどころとなる部分を第２表示部２６０に表示（より具体的には、興味度合い情報画像５２０に含まれる顔画像５２２上に点線状の枠線で表示）させる。なお、店員画面に高評価検知基準をそのまま表示させても良い。また、購買に繋がった場合と相関が高いユーザーの反応は、例えば、何秒経過後のユーザーの目線の合わせ方が購買に繋がったか等、シミュレーション画像が表示された後の経過時間で相関をとっても良い。また、購買に繋がった場合と相関が高いユーザーの反応は、似ている顔の特徴を有する複数のユーザー内で相関をとっても良い。
　上記実施の形態において、顧客側端末装置１００を用いたメイクアップシミュレーションは、対面販売を行う化粧品販売店で行われても良いし、顧客が独力で購買を決定する化粧品販売店で行われても良いし、ユーザーの自宅で行われても良い。図８は、後者２つの場合（店員無し販売）のシステム構成を示したものである。図１の場合と異なり、
　店員は存在しないため第２の表示部（店員画面）はなく、次に実行すべきメイクシミュレーションは店員に最終判断を仰ぐことなく、メイク候補情報出力部２５０で決定され、シミュレーション画像生成部２１０に伝達される。顧客の興味度合いの検知の状況を反映しつつ、例えば１５秒程度の感覚でメイクシミュレーションする内容を更新していくのが望ましいが、顧客が気になるメイクシミュレーションがあればタッチなどの顧客操作によって一旦更新を停止してもよく、更に顧客が色などのシミュレーションの内容を変更してもよい。判定部３００では、そのような次に実行されるメイクシミュレーションの内容が本実施の形態のシステム１０によるものか、顧客の意思によるものであったかを判断する。この情報は、対面販売での図５および図６で主体者が「ユーザ」か「店員」かを識別したのと同様に、主体者が「ユーザ」か否かを識別するのに活用され、上述したように顧客の好みやユーザー柔軟度の判断に用いることができる。
　また、この場合、顧客側端末装置１００を用いたメイクアップシミュレーションが化粧品販売店で行われるか、または、ユーザーの家で行われるかに応じて、メイクアップシミュレーションに対するユーザーの反応が異なることが予想されることを考慮し、興味度合い検知部２３０によるユーザーの興味度合いの検知方法を変更しても良い。また、ユーザーの潜在的な要望（本心）が表情に出やすい時間帯（例えば、夜間、就寝前など）にメイクアップシミュレーションが行われたか否かに応じて、興味度合い検知部２３０によるユーザーの興味度合いの検知方法を変更しても良い。
　また、上記実施の形態において、第１表示部１２０にユーザーの顔だけでなく全身を表示することが可能であり、ユーザーの視線が向いている方向に服や髪型が位置する場合、その旨を示す情報を興味度合い情報画像５２０に含めても良い。更には、上記実施の形態では、仮想的に化粧を行うメイクアップのみをシミュレーションの対象としたが、髪型や服装などを含めて仮想的にコーディネートするシミュレーションであってもよい。シミュレーションの対象が広いほど、顧客の興味と反応を把握し、次のアクションを決めることが、より重要になる。
　また、上記実施の形態において、顔部品毎にメイクアップシミュレーションを計測し、顔部品毎の購買結果との相関関係（例えば、長々とメイクアップシミュレーションを行っていたにも関わらず、購入されなかった等）を記録しても良い。また、購買結果との相関関係がある時間帯を抽出することにより、ユーザーが素直に（短時間で）本音を出しやすい店員を検索できるような情報を記録しても良い。
　また、メイクアップシミュレーション毎に複数の顔画像（例えば、笑顔画像、美人顔など）を撮像しておき、メイクアップシミュレーション後に表示させる購買候補提示画面に含める顔画像を店員側で選択できるようにしても良い。
　また、上記実施の形態では、メイクアップシミュレーションシステム１０は、メイクアップに対するユーザーの興味（潜在的な要望）を引き出して取得するために使用される例について説明したが、本開示はこれに限定されない。例えば、メイクアップシミュレーションシステム１０は、メイクアップに用いられる化粧品の分析のために使用されてもよい。より具体的にはどんなユーザーでも購買することが期待される化粧品であるか、店員が推奨すれば、顔の特徴、柔軟度に関係なく、期待を超えて購買したか否か、等を分析するために使用されても良い。また、メイクアップシミュレーションシステム１０は、店員の分析に使用されてもよい。より具体的にはメイクアップシミュレーションを通じてユーザーの興味を引くスキルが高いか低いか、ユーザーの興味は高くはなかったが、店員のコミュニケーション能力により、メイクアップシミュレーション時の低評価を補う形で購買に至ったか否か、等を分析するために使用されても良い。
　また、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本開示のメイクアップシミュレーション支援装置は、
　ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部と、
　生成された前記シミュレーション画像を出力するシミュレーション画像出力部と、
　前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する興味度合い検知部と、
　検知された前記興味度合いを示す興味度合い情報を出力する興味度合い情報出力部と、
　を備える。
　上記メイクアップシミュレーション支援装置において、
　前記興味度合い検知部は、前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記ユーザーが興味を有する顔部品と、前記メイク画像に対応する顔部品との一致度合いを検知することによって前記ユーザーの興味度合いを検知しても良い。
　上記メイクアップシミュレーション支援装置において、
　前記興味度合いには、前記メイク画像に対する前記ユーザーの満足度合いが含まれても良い。
　上記メイクアップシミュレーション支援装置において、
　検知された前記興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を出力するメイク候補情報出力部を備えても良い。
　上記メイクアップシミュレーション支援装置において、
　前記メイク候補情報出力部は、前記興味度合いが高い場合、前記顔部品に対するメイクであって前記メイク画像に対応するメイクとは異なるメイクを前記候補として示すメイク候補情報を出力する一方、前記興味度合いが低い場合、前記顔部品とは別の顔部品に対するメイクを前記候補として示すメイク候補情報を出力しても良い。
　上記メイクアップシミュレーション支援装置において、
　平均的な顔における顔部品の位置を示す顔部品位置情報を記憶する顔部品位置情報記憶部と、
　撮像された前記顔画像に基づいて前記ユーザーの顔における顔部品の位置を検知する顔位置検知部と、
　前記顔部品位置情報と、前記顔位置検知部の検知結果とに基づいて、前記ユーザーの顔の特徴である顔部品を特定する顔部品特定部と、
　を備え、
　前記メイク候補情報出力部は、特定された前記顔部品に対するメイクを前記候補として示すメイク候補情報を出力しても良い。
　上記メイクアップシミュレーション支援装置において、
　前記興味度合い情報出力部は、前記シミュレーション画像が出力される第１表示部とは異なる第２表示部に前記興味度合い情報を出力しても良い。
　上記メイクアップシミュレーション支援装置において、
　前記興味度合い検知部は、前記撮影部に対して前記ユーザーが正面に向けている前記顔の顔部品を検知し、その検知結果に基づいて前記興味度合いを検知しても良い。
　上記メイクアップシミュレーション支援装置において、
　前記興味度合い検知部は、前記シミュレーション画像に表示される前記顔の顔部品のうち前記ユーザーの視線が向いている方向に位置する顔部品を検知し、その検知結果に基づいて前記興味度合いを検知しても良い。
　上記メイクアップシミュレーション支援装置において、
　前記シミュレーション画像生成部による前記シミュレーション画像の生成処理が前記ユーザーの希望によるものであるか否かを判定する判定部と、
　前記ユーザーの希望によるものでないと判定された場合、前記メイク画像に対応する顔部品と、検知された前記興味度合いとを互いに関連付けた興味度合い履歴情報を興味度合い履歴情報記憶部に記憶させる興味度合い履歴情報記録部と、
　を備えても良い。
　上記メイクアップシミュレーション支援装置において、
　前記判定部は、前記興味度合い履歴情報と購買結果とに基づいて、ユーザーが他者の誘導に従う確率であるユーザー柔軟度を判定し、
　前記興味度合い情報出力部は前記ユーザー柔軟度に関する判定結果を出力しても良い。
　上記メイクアップシミュレーション支援装置において、
　前記興味度合い検知部は、前記撮像された顔画像に基づいて顔部品の変形に関する情報を抽出し、前記シミュレーション画像出力部により前記シミュレーション画像が出力された後の所定時間経過後における前記抽出した顔部品の変形に関する情報と、購買結果との相関を取得し、前記取得した購買結果との相関に基づいて、購買または不買との相関が所定値以上の前記顔部品の変形を、それぞれ高評価検知基準または低評価検知基準として抽出しても良い。
　本開示のメイクアップシミュレーション支援方法は、
　ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するステップと、
　生成された前記シミュレーション画像を出力するステップと、
　前記シミュレーション画像が表示された際に撮影された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知するステップと、
　検知された前記興味度合いを示す興味度合い情報を出力するステップと、
　を有する。
　本開示のメイクアップシミュレーション支援プログラムは、
　コンピューターに、
　ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する処理と、
　生成された前記シミュレーション画像を出力する処理と、
　前記シミュレーション画像が表示された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する処理と、
　検知された前記興味度合いを示す興味度合い情報を出力する処理と、
　を実行させる。
　本開示は、メイクアップに関係する商品の販売へ効率的に繋がるように対面販売を支援するメイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラムとして有用である。
　１０　メイクアップシミュレーションシステム
　１００　顧客側端末装置
　１１０　撮影部
　１２０　第１表示部
　２００　店員側端末装置
　２１０　シミュレーション画像生成部
　２２０　シミュレーション画像出力部
　２３０　興味度合い検知部
　２４０　興味度合い情報出力部
　２５０　メイク候補情報出力部
　２６０　第２表示部
　２７０　顔部品位置情報記憶部
　２８０　顔部品位置検出部
　２９０　顔部品特定部
　３００　判定部
　３１０　興味度合い履歴情報記録部
　３２０　興味度合い履歴情報記憶部

Claims (14)

  1. 　ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部と、
    　生成された前記シミュレーション画像を出力するシミュレーション画像出力部と、
    　前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する興味度合い検知部と、
    　検知された前記興味度合いを示す興味度合い情報を出力する興味度合い情報出力部と、
    　を備えるメイクアップシミュレーション支援装置。
  2. 　前記興味度合い検知部は、前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記ユーザーが興味を有する顔部品と、前記メイク画像に対応する顔部品との一致度合いを検知することによって前記ユーザーの興味度合いを検知する、
    　請求項１に記載のメイクアップシミュレーション支援装置。
  3. 　前記興味度合いには、前記メイク画像に対する前記ユーザーの満足度合いが含まれる、
    　請求項１または２に記載のメイクアップシミュレーション支援装置。
  4. 　検知された前記興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を出力するメイク候補情報出力部を備える、
    　請求項１～３の何れか１項に記載のメイクアップシミュレーション支援装置。
  5. 　前記メイク候補情報出力部は、前記興味度合いが高い場合、前記顔部品に対するメイクであって前記メイク画像に対応するメイクとは異なるメイクを前記候補として示すメイク候補情報を出力する一方、前記興味度合いが低い場合、前記顔部品とは別の顔部品に対するメイクを前記候補として示すメイク候補情報を出力する、
    　請求項４に記載のメイクアップシミュレーション支援装置。
  6. 　平均的な顔における顔部品の位置を示す顔部品位置情報を記憶する顔部品位置情報記憶部と、
    　撮像された前記顔画像に基づいて前記ユーザーの顔における顔部品の位置を検知する顔位置検知部と、
    　前記顔部品位置情報と、前記顔位置検知部の検知結果とに基づいて、前記ユーザーの顔の特徴である顔部品を特定する顔部品特定部と、
    　を備え、
    　前記メイク候補情報出力部は、特定された前記顔部品に対するメイクを前記候補として示すメイク候補情報を出力する、
    　請求項４に記載のメイクアップシミュレーション支援装置。
  7. 　前記興味度合い情報出力部は、前記シミュレーション画像が出力される第１表示部とは異なる第２表示部に前記興味度合い情報を出力する、
    　請求項１～６の何れか１項に記載のメイクアップシミュレーション支援装置。
  8. 　前記興味度合い検知部は、前記撮影部に対して前記ユーザーが正面に向けている前記顔の顔部品を検知し、その検知結果に基づいて前記興味度合いを検知する、
    　請求項１～７の何れか１項に記載のメイクアップシミュレーション支援装置。
  9. 　前記興味度合い検知部は、前記シミュレーション画像に表示される前記顔の顔部品のうち前記ユーザーの視線が向いている方向に位置する顔部品を検知し、その検知結果に基づいて前記興味度合いを検知する、
    　請求項１～７の何れか１項に記載のメイクアップシミュレーション支援装置。
  10. 　前記シミュレーション画像生成部による前記シミュレーション画像の生成処理が前記ユーザーの希望によるものであるか否かを判定する判定部と、
    　前記ユーザーの希望によるものでないと判定された場合、前記メイク画像に対応する顔部品と、検知された前記興味度合いとを互いに関連付けた興味度合い履歴情報を興味度合い履歴情報記憶部に記憶させる興味度合い履歴情報記録部と、
    　を備える請求項１～９の何れか１項に記載のメイクアップシミュレーション支援装置。
  11. 　前記判定部は、前記興味度合い履歴情報と購買結果とに基づいて、ユーザーが他者の誘導に従う確率であるユーザー柔軟度を判定し、
    　前記興味度合い情報出力部は前記ユーザー柔軟度に関する判定結果を出力する、
    　請求項１０に記載のメイクアップシミュレーション支援装置。
  12. 　前記興味度合い検知部は、前記撮像された顔画像に基づいて顔部品の変形に関する情報を抽出し、前記シミュレーション画像出力部により前記シミュレーション画像が出力された後の所定時間経過後における前記抽出した顔部品の変形に関する情報と、購買結果との相関を取得し、前記取得した購買結果との相関に基づいて、購買または不買との相関が所定値以上の前記顔部品の変形を、それぞれ高評価検知基準または低評価検知基準として抽出する、
    　請求項１～１０の何れか１項に記載のメイクアップシミュレーション支援装置。
  13. 　ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するステップと、
    　生成された前記シミュレーション画像を出力するステップと、
    　前記シミュレーション画像が表示された際に撮影された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知するステップと、
    　検知された前記興味度合いを示す興味度合い情報を出力するステップと、
    　を有するメイクアップシミュレーション支援方法。
  14. 　コンピューターに、
    　ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する処理と、
    　生成された前記シミュレーション画像を出力する処理と、
    　前記シミュレーション画像が表示された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する処理と、
    　検知された前記興味度合いを示す興味度合い情報を出力する処理と、
    　を実行させるメイクアップシミュレーション支援プログラム。
PCT/JP2016/004420 2015-12-28 2016-09-30 メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム WO2017115453A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201680069623.1A CN108292413A (zh) 2015-12-28 2016-09-30 化妆模拟辅助装置、化妆模拟辅助方法和化妆模拟辅助程序
EP16881434.1A EP3399493A4 (en) 2015-12-28 2016-09-30 Makeup simulation assistance device, makeup simulation assistance method, and makeup simulation assistance program
JP2017558842A JP6748981B2 (ja) 2015-12-28 2016-09-30 メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法、メイクアップシミュレーション支援プログラム、メイクアップシミュレーション支援システムおよびメイクアップシミュレーション方法
SG11201804159XA SG11201804159XA (en) 2015-12-28 2016-09-30 Makeup simulation assistance apparatus, makeup simulation assistance method, and makeup simulation assistance program
US15/975,876 US10559102B2 (en) 2015-12-28 2018-05-10 Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015256989 2015-12-28
JP2015-256989 2015-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/975,876 Continuation US10559102B2 (en) 2015-12-28 2018-05-10 Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program

Publications (1)

Publication Number Publication Date
WO2017115453A1 true WO2017115453A1 (ja) 2017-07-06

Family

ID=59227350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004420 WO2017115453A1 (ja) 2015-12-28 2016-09-30 メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム

Country Status (6)

Country Link
US (1) US10559102B2 (ja)
EP (1) EP3399493A4 (ja)
JP (1) JP6748981B2 (ja)
CN (1) CN108292413A (ja)
SG (1) SG11201804159XA (ja)
WO (1) WO2017115453A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192072A (ja) * 2018-04-27 2019-10-31 株式会社 資生堂 情報処理装置及びプログラム
KR20210101753A (ko) * 2020-02-11 2021-08-19 (주)에이알씨엔에스 가상환경 사용자 행위분석 시스템 및 이의 구동 방법
WO2021240904A1 (ja) * 2020-05-29 2021-12-02 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法及びプログラム
US11216849B2 (en) * 2019-07-22 2022-01-04 Toshiba Tec Kabushiki Kaisha Point of sale system configured to determine a degree of customer interest with respect to promotional content
WO2024034537A1 (ja) * 2022-08-10 2024-02-15 株式会社 資生堂 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113767410A (zh) * 2019-05-13 2021-12-07 松下知识产权经营株式会社 信息生成装置、信息生成方法以及计算机程序
JP2021005252A (ja) * 2019-06-26 2021-01-14 パナソニックＩｐマネジメント株式会社 コンテンツ生成システム、コンテンツ生成方法及びプログラム
US11587358B2 (en) 2020-03-26 2023-02-21 Panasonic Avionics Corporation Managing content on in-flight entertainment platforms
CN111462007B (zh) * 2020-03-31 2023-06-09 北京百度网讯科技有限公司 图像处理方法、装置、设备及计算机存储介质
CN114187649A (zh) * 2020-08-24 2022-03-15 华为技术有限公司 护肤辅助方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092023A (ja) * 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2014166218A (ja) * 2013-02-28 2014-09-11 Panasonic Corp メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014191813A (ja) * 2013-03-28 2014-10-06 Ntt Docomo Inc 化粧行為支援装置、化粧行為支援システム及び化粧行為支援方法
JP2014194617A (ja) * 2013-03-28 2014-10-09 Advanced Telecommunication Research Institute International 視線方向推定装置、視線方向推定装置および視線方向推定プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1202209B1 (en) 2000-04-21 2012-03-21 Shiseido Company Limited Makeup counseling apparatus
JP4063474B2 (ja) * 2000-04-21 2008-03-19 株式会社資生堂 メーキャップカウンセリング装置
US20090157625A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
JP2011022733A (ja) 2009-07-14 2011-02-03 Shiseido Co Ltd メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法
JP5503432B2 (ja) 2009-10-02 2014-05-28 花王株式会社 美容カウンセリングシステム
JP5863423B2 (ja) * 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10380657B2 (en) * 2015-03-04 2019-08-13 International Business Machines Corporation Rapid cognitive mobile application review
US10395300B2 (en) * 2015-12-21 2019-08-27 International Business Machines Corporation Method system and medium for personalized expert cosmetics recommendation using hyperspectral imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092023A (ja) * 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2014166218A (ja) * 2013-02-28 2014-09-11 Panasonic Corp メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014191813A (ja) * 2013-03-28 2014-10-06 Ntt Docomo Inc 化粧行為支援装置、化粧行為支援システム及び化粧行為支援方法
JP2014194617A (ja) * 2013-03-28 2014-10-09 Advanced Telecommunication Research Institute International 視線方向推定装置、視線方向推定装置および視線方向推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3399493A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192072A (ja) * 2018-04-27 2019-10-31 株式会社 資生堂 情報処理装置及びプログラム
WO2019208152A1 (ja) * 2018-04-27 2019-10-31 株式会社 資生堂 情報処理装置及びプログラム
JP7253325B2 (ja) 2018-04-27 2023-04-06 株式会社 資生堂 情報処理装置、プログラム、及び、情報処理方法
US11216849B2 (en) * 2019-07-22 2022-01-04 Toshiba Tec Kabushiki Kaisha Point of sale system configured to determine a degree of customer interest with respect to promotional content
KR20210101753A (ko) * 2020-02-11 2021-08-19 (주)에이알씨엔에스 가상환경 사용자 행위분석 시스템 및 이의 구동 방법
KR102323551B1 (ko) * 2020-02-11 2021-11-09 (주)에이알씨엔에스 가상환경 사용자 행위분석 시스템 및 이의 구동 방법
WO2021240904A1 (ja) * 2020-05-29 2021-12-02 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法及びプログラム
WO2024034537A1 (ja) * 2022-08-10 2024-02-15 株式会社 資生堂 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
US10559102B2 (en) 2020-02-11
SG11201804159XA (en) 2018-06-28
CN108292413A (zh) 2018-07-17
JP6748981B2 (ja) 2020-09-02
EP3399493A4 (en) 2018-12-05
EP3399493A1 (en) 2018-11-07
JPWO2017115453A1 (ja) 2018-10-18
US20180260983A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2017115453A1 (ja) メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム
CN109983505B (zh) 人物动向记录装置、人物动向记录方法及存储介质
US10380603B2 (en) Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
US20190026013A1 (en) Method and system for interactive cosmetic enhancements interface
US9400993B2 (en) Virtual reality system including smart objects
US20130111337A1 (en) One-click makeover
JP2006048729A (ja) 身体における表像的特徴の度合いの測定方法
WO2015122195A1 (ja) 印象分析装置、ゲーム装置、健康管理装置、広告支援装置、印象分析システム、印象分析方法、プログラム、及びプログラム記録媒体
US11178956B1 (en) System, method and mobile application for cosmetic and skin analysis
US20220383389A1 (en) System and method for generating a product recommendation in a virtual try-on session
WO2012172625A1 (ja) 美容ｓｎｓシステム及びプログラム
JP2019032778A (ja) 購買支援システム
KR20170090057A (ko) 화장품 테스트 시스템 및 방법
JPWO2018029963A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
CN112990540A (zh) 一种护肤品功效评价与预测系统及方法
JP7263825B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
TW201933234A (zh) 用以評價對於使用表情分析技術之商品的監視器的反應之資訊處理裝置、資訊處理系統及程式
KR102477231B1 (ko) 응시 대상 관심도 검출 장치 및 방법
JP7259370B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6583754B2 (ja) 情報処理装置、ミラーデバイス、プログラム
WO2019208152A1 (ja) 情報処理装置及びプログラム
CN113298593A (zh) 商品推荐及图像检测方法、装置、设备和存储介质
JP2011248854A (ja) 顔認識による化粧品テスター選択システム
WO2024034537A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7101234B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16881434

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017558842

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11201804159X

Country of ref document: SG

NENP Non-entry into the national phase

Ref country code: DE