WO2023032090A1 - 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023032090A1
WO2023032090A1 PCT/JP2021/032158 JP2021032158W WO2023032090A1 WO 2023032090 A1 WO2023032090 A1 WO 2023032090A1 JP 2021032158 W JP2021032158 W JP 2021032158W WO 2023032090 A1 WO2023032090 A1 WO 2023032090A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
hairstyle
face
image
Prior art date
Application number
PCT/JP2021/032158
Other languages
English (en)
French (fr)
Inventor
太一 奥村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023544882A priority Critical patent/JPWO2023032090A5/ja
Priority to PCT/JP2021/032158 priority patent/WO2023032090A1/ja
Publication of WO2023032090A1 publication Critical patent/WO2023032090A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present disclosure relates to an information processing device, an information processing system, an information processing method, and a non-transitory computer-readable medium.
  • Patent Literature 1 discloses a hair salon support device that selects a category from a customer's usage history of a hair salon and displays an image of a hairstyle associated with the category superimposed on the front image of the customer. .
  • the user's favorite hairstyle does not necessarily suit the user objectively, and the user may not be satisfied with the finish after the treatment. Therefore, there is a demand for proposing a hairstyle that the user prefers and that objectively looks good on the user.
  • an object of the present disclosure is to provide an information processing device, an information processing system, an information processing method, and a non-temporary computer-readable medium that can easily suggest a hairstyle that the user prefers and that objectively suits the user. is to provide
  • An information processing device includes: A facial image generated by photographing at least the face of a user and user information related to the user are acquired, and appearance features estimated based on the facial image and estimated based on the user information. a hairstyle information generating means for generating hairstyle information based on the preference characteristics; and output control means for outputting the hairstyle information to a terminal device of a store where the user desires the treatment.
  • An information processing system includes: a terminal device of a store where the user wishes to receive treatment; comprising an information processing device and The information processing device is obtaining a facial image generated by photographing at least the face of the user and user information related to the user, and obtaining appearance features estimated based on the facial image and estimated based on the user information; a hairstyle information generating means for generating hairstyle information based on the preference characteristics and and output control means for outputting the hairstyle information to the terminal device.
  • An information processing method includes: A facial image generated by photographing at least the face of a user and user information related to the user are acquired, and appearance features estimated based on the facial image and estimated based on the user information. generating hairstyle information based on the characteristics of preference, The hairstyle information is output to the terminal device of the store where the user desires the treatment.
  • a non-transitory computer-readable medium comprising: A facial image generated by photographing at least the face of a user and user information related to the user are acquired, and appearance features estimated based on the facial image and estimated based on the user information. Hairstyle information generation processing for generating hairstyle information based on preference characteristics; A program for causing a computer to execute an output control process for outputting the hairstyle information to a terminal device of a store where the user desires treatment is stored.
  • an information processing device an information processing system, an information processing method, and a non-temporary computer-readable medium that can easily suggest a hairstyle that the user prefers and that objectively suits the user.
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus according to a first embodiment
  • FIG. 4 is a flow chart showing the flow of an information processing method according to the first embodiment
  • 2 is a block diagram showing the overall configuration of an information processing system according to a second embodiment
  • FIG. 2 is a block diagram showing the configuration of a face authentication device according to a second embodiment
  • FIG. 9 is a flowchart showing the flow of face information registration processing according to the second embodiment
  • 9 is a flow chart showing the flow of face authentication processing according to the second embodiment
  • FIG. 8 is a block diagram showing the configuration of a user terminal according to the second embodiment
  • FIG. 8 is a block diagram showing the configuration of a store terminal according to the second embodiment
  • FIG. 7 is a block diagram showing the configuration of a server according to the second embodiment;
  • FIG. FIG. 11 is a diagram for explaining an example of a hairstyle pattern table according to the second embodiment;
  • FIG. FIG. 11 is a sequence diagram showing the flow of member registration processing according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a user terminal according to the second embodiment;
  • FIG. 10 is a diagram showing an example of display on a user terminal according to the second embodiment;
  • FIG. FIG. 11 is a sequence diagram showing the flow of hairstyle proposal processing according to the second embodiment;
  • FIG. 11 is a diagram showing an example of display of the store terminal according to the second embodiment;
  • FIG. 11 is a diagram showing an example of display of the store terminal according to the second embodiment;
  • FIG. 11 is a sequence diagram showing the flow of additional registration processing according to the second embodiment;
  • FIG. 11 is a diagram showing an example of display of the store terminal according to the second embodiment;
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus 10 according to the first embodiment.
  • the information processing device 10 is a computer device that proposes a hairstyle suitable for the user to the user or to the store clerk at the store where the user wishes to receive the treatment.
  • the store may be a beauty salon, and the store clerk may be a beautician.
  • the information processing device 10 is connected to a network (not shown).
  • a network may be wired or wireless.
  • a user terminal (not shown) used by a user and a store terminal (not shown), which is a terminal device installed in a store where the user wishes to receive treatment, may be connected to the network.
  • the store where "the user wishes to receive treatment" may be, for example, the store where the user has reserved the treatment or the store the user has visited for the treatment.
  • the information processing device 10 includes a hairstyle information generation section 15 and an output control section 16 .
  • the hairstyle information generation unit 15 is also called hairstyle information generation means.
  • the hairstyle information generation unit 15 acquires a user's face image.
  • a face image is an image generated by photographing at least the face of the user by the user terminal or the store terminal.
  • the hairstyle information generator 15 receives and acquires the face image from the user terminal or the store terminal via the network. Then, the hairstyle information generation unit 15 estimates the features of the appearance based on the face image.
  • Appearance features are features that appear in the appearance of the user's current face or upper body. For example, the appearance features are classified based on feature amounts related to the user's facial contour shape, face aspect ratio, facial skeleton, facial organ (eyes, nose, mouth) positions, clothes or accessories, or feature amounts thereof.
  • estimating the features of the appearance based on the facial image may be, specifically, extracting feature amounts from the facial image.
  • estimating features of appearance based on facial images specifically means extracting feature amounts from the facial images and classifying the feature amounts into categories that represent the current appearance.
  • the hairstyle information generation unit 15 also acquires user information.
  • User information is information related to a user.
  • the user information includes at least one of user attribute information, information indicating preferences regarding hairstyles, and the user's hairstyle history.
  • User attribute information includes, for example, information on the user's sex, age, marital status, and occupation.
  • the user information may also include reservation information including the date and time when the user made a reservation for a beauty salon in the past and the content of the reservation.
  • the information indicating preferences regarding hairstyles may include an image registered by the user as an ideal hairstyle, or an image of a person whom the user is interested in on a website such as a social networking service (SNS).
  • SNS social networking service
  • the appearance preference feature indicates an appearance feature amount that the user tends to like, or a category classified based on the feature amount.
  • "estimating the feature of preference based on the user information” may be, specifically, extracting the feature amount from the user information.
  • ⁇ estimating the feature of preference based on the user information'' specifically means extracting the feature amount from the user information and classifying the feature amount into categories representing the preferred appearance. It can be
  • the hairstyle information generating unit 15 generates hairstyle information based on the appearance features estimated based on the face image and the preference features estimated based on the user information.
  • the hairstyle information may be information indicating the name of the hairstyle pattern to be recommended, information for explaining the hairstyle to be recommended, or an image of the hairstyle pattern to be recommended.
  • the hairstyle pattern may include information on hair length, color, presence/absence of layers, and presence/absence of perms.
  • the hairstyle information generation unit 15 determines a hairstyle pattern based on the appearance feature and the preference feature, and creates hairstyle information based on the hairstyle pattern.
  • the output control unit 16 is also called output control means.
  • the output control unit 16 outputs the hairstyle information to the store terminal via the network.
  • the store terminal that receives the hairstyle information displays the hairstyle information or causes another terminal used by the beautician in charge to display the hairstyle information.
  • FIG. 2 is a flow chart showing the flow of the information processing method according to the first embodiment.
  • the hairstyle information generator 15 acquires a user's face image and user information (S10).
  • the hairstyle information generation unit 15 generates hairstyle information based on the appearance features estimated based on the face image and the preference features estimated based on the user information (S11).
  • the output control unit 16 outputs the generated hairstyle information to the store terminal of the store where the user desires the treatment (S12).
  • the information processing apparatus 10 considers an appearance that objectively looks good on the user, which is estimated from the face image, and an appearance that the user prefers, which is estimated from the user information. generates both subjectively and personalized hairstyle information. Accordingly, the information processing apparatus 10 can easily propose a hairstyle that is the hairstyle that the user likes and that objectively looks good on the user. Therefore, user satisfaction can be improved.
  • FIG. 3 is a block diagram showing the overall configuration of an information processing system 1000 according to the second embodiment.
  • the information processing system 1000 is a computer system for proposing a hairstyle suitable for the user to the user or to the store clerk at the store where the user desires the treatment.
  • the information processing system 1000 includes a face authentication device 100 , an information processing device (hereinafter referred to as a server) 200 , a user terminal 300 and one or more shop terminals 400 . Each device and terminal are connected to each other via a network N.
  • the network N is a wired or wireless communication line.
  • a user terminal 300 is an information terminal used by a user.
  • the store terminal 400 is an information terminal installed in a predetermined store including the store where the user wishes to receive treatment.
  • the store terminal 400 requests the server 200 to output hairstyle information for the user when the user visits the store to receive treatment.
  • the store terminal 400 accepts face authentication for the user.
  • face authentication face authentication performed for reservation confirmation or face payment may be diverted.
  • the shop terminal 400 photographs at least the face of the user to be authenticated, and sends the facial image (hereinafter also referred to as the photographed image) or facial feature information extracted from the facial image to the server. 200.
  • Face authentication is performed in the face authentication device 100 via the shop terminal 400 and the server 200 .
  • the store terminal 400 displays the hairstyle information and allows the beautician in charge or the user before the treatment to view the hairstyle information.
  • store terminal 400 there may be multiple store terminals 400 in the same store. In this case, functions may be distributed for each store terminal installed in the same store. For example, if store terminal 400-1 and store terminal 400-2 are installed in a store, store terminal 400-1 may issue an output request and store terminal 400-2 may receive hairstyle information.
  • the face authentication device 100 is a face authentication device that stores facial feature information of multiple people.
  • the face authentication device 100 registers facial feature information of the user at the time of member registration, which will be described later.
  • the face authentication device 100 has a face authentication function that, in response to a face authentication request received from the outside, compares the face image or face feature information included in the request with the face feature information of each user.
  • the face authentication device 100 acquires a face image of a user who has visited the store from the store terminal 400 via the server 200, and performs face authentication using the face image.
  • the face authentication device 100 then returns the collation result (face authentication result) to the server 200 .
  • the server 200 is an example of the information processing device 10 described above.
  • the server 200 registers a user as a member in response to a member registration request from the user terminal 300 .
  • the server 200 requests the face authentication device 100 to perform face authentication.
  • the server 200 receives the result of face authentication from the face authentication device 100 via the network N, and identifies users for whom face authentication has succeeded.
  • Server 200 determines a hairstyle pattern based on the specified user's user information and face image, and generates hairstyle information based on the hairstyle pattern.
  • Server 200 then transmits the hairstyle information to store terminal 400 via network N.
  • FIG. 4 is a block diagram showing the configuration of the face authentication device 100 according to the second embodiment.
  • the face authentication device 100 includes a face information DB (DataBase) 110 , a face detection section 120 , a feature point extraction section 130 , a registration section 140 and an authentication section 150 .
  • the face information DB 110 associates and stores a user ID 111 and face feature information 112 of the user ID.
  • the user ID 111 is information for identifying a user.
  • the facial feature information 112 is a set of feature points extracted from a facial image, and is an example of facial information.
  • the face authentication device 100 may delete the face feature information 112 in the face feature DB 110 in response to a request from the registered user of the face feature information 112 .
  • the face authentication device 100 may delete the facial feature information 112 after a certain period of time has passed since it was registered.
  • the face detection unit 120 detects a face area included in a registered image for registering face information, and supplies it to the feature point extraction unit 130 .
  • the feature point extraction unit 130 extracts feature points from the face area detected by the face detection unit 120 and supplies face feature information to the registration unit 140 . Further, the feature point extraction unit 130 extracts feature points included in the facial image received from the server 200 and supplies facial feature information to the authentication unit 150 .
  • the registration unit 140 newly issues a user ID 111 when registering facial feature information.
  • the registration unit 140 associates the issued user ID 111 with the facial feature information 112 extracted from the registered image and registers them in the facial information DB 110 .
  • the authentication unit 150 performs face authentication using the facial feature information 112 . Specifically, the authentication unit 150 collates the facial feature information extracted from the facial image with the facial feature information 112 in the facial information DB 110 . Authentication unit 150 returns to server 200 whether or not the facial feature information matches. Whether the facial feature information matches or not corresponds to the success or failure of the authentication. Note that matching of facial feature information (matching) means a case where the degree of matching is equal to or greater than a predetermined value.
  • FIG. 5 is a flowchart showing the flow of face information registration processing according to the second embodiment.
  • the face authentication device 100 acquires the registered image of the user included in the face registration request (S21). For example, the face authentication device 100 receives a face registration request via the network N from the server 200 that has received the member registration request from the user terminal 300 . Note that the face authentication device 100 may receive a face registration request directly from the user terminal 300 without being limited to this.
  • face detection section 120 detects a face area included in the registered image (S22).
  • the feature point extraction unit 130 extracts feature points from the face area detected in step S22, and supplies face feature information to the registration unit 140 (S23).
  • the registration unit 140 issues the user ID 111, associates the user ID 111 with the facial feature information 112, and registers them in the facial information DB 110 (S24).
  • the face authentication device 100 may receive the face feature information 112 from the face registration requester and register it in the face information DB 110 in association with the user ID 111 .
  • FIG. 6 is a flowchart showing the flow of face authentication processing according to the second embodiment.
  • the feature point extraction unit 130 acquires facial feature information for authentication (S31).
  • the face authentication device 100 receives a face authentication request from the server 200 via the network N, and extracts facial feature information from the face image included in the face authentication request in steps S21 to S23.
  • the face authentication device 100 may receive facial feature information from the server 200 .
  • the authentication unit 150 collates the acquired facial feature information with the facial feature information 112 of the facial information DB 110 (S32).
  • the authentication unit 150 identifies the user ID 111 of the user whose facial feature information matches (S34). . Then, the authenticating unit 150 replies to the server 200 that the face authentication was successful and the identified user ID 111 as the face authentication result (S35). If there is no matching facial feature information (No in S33), the authentication unit 150 returns a face authentication result to the server 200 to the effect that the face authentication has failed (S36).
  • FIG. 7 is a block diagram showing the configuration of the user terminal 300 according to the second embodiment.
  • User terminal 300 includes camera 310 , storage unit 320 , communication unit 330 , display unit 340 , input unit 350 , and control unit 360 .
  • the camera 310 is an image capturing device that performs image capturing under the control of the control unit 360 .
  • the storage unit 320 is a storage device that stores programs for realizing each function of the user terminal 300 .
  • a communication unit 330 is a communication interface with the network N.
  • the display unit 340 is a display device.
  • the input unit 350 is an input device that receives input from the user.
  • the display unit 340 and the input unit 350 may be configured integrally like a touch panel.
  • the control unit 360 controls hardware of the user terminal 300 .
  • the control unit 360 controls the camera 310 and captures a registered image of the user U.
  • Control unit 360 includes the registration image in the member registration request and transmits the request via network N to server 200 .
  • control unit 360 may transmit a member registration request to server 200 and directly transmit a face registration request including a registered image to face authentication device 100 via network N.
  • FIG. Note that the control unit 360 may transmit user information such as attribute information received by the input unit 350 to the server 200 via the network N at the time of member registration.
  • FIG. 8 is a block diagram showing the configuration of the store terminal 400 according to the second embodiment.
  • Store terminal 400 includes camera 410 , storage unit 420 , communication unit 430 , display unit 440 , input unit 450 , and control unit 460 .
  • the camera 410 is a photographing device that takes pictures under the control of the control unit 460 .
  • the storage unit 420 is a storage device that stores programs for realizing each function of the store terminal 400 .
  • a communication unit 430 is a communication interface with the network N.
  • FIG. Display unit 440 is a display device.
  • Input unit 450 is an input device that receives an input.
  • the display unit 440 and the input unit 450 may be configured integrally like a touch panel.
  • the control unit 460 controls hardware of the store terminal 400 .
  • the control unit 460 transmits an output request for hairstyle information to the server 200 when the user comes to the store. Specifically, first, the control unit 460 controls the camera 410 to photograph at least the face of the user. The control unit 360 includes the facial image or facial feature information in the output request and transmits the output request via the network N to the server 200 . Further, when the hairstyle information is received from the server 200 , the control unit 360 displays the hairstyle information on the display unit 440 .
  • FIG. 9 is a block diagram showing the configuration of the server 200 according to the second embodiment.
  • the server 200 includes a storage section 210 , a memory 220 , a communication section 230 and a control section 240 .
  • the storage unit 210 is a storage device such as a hard disk or flash memory.
  • Storage unit 210 stores program 211 , user DB 212 , and hairstyle pattern table 213 .
  • the program 211 is a computer program in which the processing of the information processing method according to the second embodiment is implemented.
  • the user DB 212 stores user information of users who are members. Specifically, the user DB 212 stores user information 2122 in association with the user ID 2121 . In this figure, the user information 2122 includes attribute information, information on ideal hairstyles, and hairstyle history.
  • the hairstyle pattern table 213 stores recommended hairstyle patterns in consideration of appearance features and preference features.
  • FIG. 10 is a diagram for explaining an example of the hairstyle pattern table 213 according to the second embodiment.
  • the hairstyle pattern table 213 associates appearance features, preference features, and recommended hairstyle pattern information. For example, if the characteristic of appearance is "round face and natural" and the characteristic of preference is “short and cute", the hairstyle pattern to be recommended is “short hair that looks neat around the face”. Further, for example, when the characteristic of appearance is "long face and gorgeous” and the characteristic of preference is “semi-long and elegant", the hairstyle pattern to be recommended is “medium hair with layers”.
  • the memory 220 is a volatile storage device such as a RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 240 operates.
  • the communication unit 230 is a communication interface with the network N. FIG.
  • the control unit 240 is a processor that controls each component of the server 200, that is, a control device.
  • the control unit 240 loads the program 211 from the storage unit 210 into the memory 220 and executes the program 211 .
  • the control unit 240 implements the functions of the registration unit 241 , the image acquisition unit 242 , the identification unit 243 , the hairstyle information generation unit 245 , and the output control unit 246 .
  • the registration unit 241 is also called registration means.
  • the registration section 241 transmits a face registration request to the face authentication device 100 .
  • the registration unit 241 registers the user ID in the user DB 212 .
  • the registration unit 241 registers user information in the user DB 212 in association with the user ID of the user terminal 300 .
  • the registration unit 241 when obtaining a post-treatment image of the user after treatment, the registration unit 241 obtains the user ID, and adds the post-treatment image to the user information associated with the user's user ID. At this time, the registration unit 241 may acquire the user ID through an input operation by the user or the store clerk, or may specify the user ID by controlling face authentication based on the post-treatment image.
  • controlling face authentication means transmitting a face authentication request including an image (here, a post-treatment image) or facial feature information extracted from the image to the face authentication device 100. 100 to perform face authentication. If the user ID is specified by controlling face authentication, the user or the store clerk can save the trouble of inputting the user ID.
  • the image acquisition unit 242 is also called image acquisition means.
  • the image acquisition unit 242 acquires, via the network N, a face image generated by photographing at least the face of the user visiting the store from the store terminal 400 .
  • the image acquisition unit 242 then supplies the face image to the identification unit 243 and the hairstyle information generation unit 245 .
  • the specifying unit 243 is also called specifying means.
  • the specifying unit 243 specifies the user ID of the user by controlling face authentication based on the face image. Specifically, when the image acquisition unit 242 acquires a face image, the identification unit 243 sends a face authentication request including the face image or facial feature information extracted from the face image to the face authentication device 100 via the network N. Send. The specifying unit 243 then acquires the face authentication result from the face authentication device 100 . When the face authentication is successful, the identification unit 243 extracts the user ID from the face authentication result.
  • the hairstyle information generation unit 245 is an example of the hairstyle information generation unit 15 described above.
  • the hairstyle information generation unit 245 refers to the user DB 212 and acquires the user information 2122 associated with the identified user ID 2121 . Based on the user information, the hairstyle information generation unit 245 estimates the feature of preference for appearance. In addition to acquiring the user information 2122, the hairstyle information generation unit 245 also estimates appearance features appearing in the user's current appearance based on the user's facial image.
  • the user's face image used for estimating appearance features may be a registered image pre-registered by the user, but in the second embodiment, it is a face image for face authentication. By using the face image for face authentication to estimate the features of the appearance, there is no need to photograph the user's face again.
  • the hairstyle information generation unit 245 uses the hairstyle pattern table 213 to determine the recommended hairstyle pattern based on the features of the appearance and the features of preferences.
  • the hairstyle information generation unit 245 generates hairstyle information based on the hairstyle pattern.
  • the hairstyle information generation unit 245 may generate the name of the hairstyle pattern as the hairstyle information.
  • the hairstyle information generation unit 245 may generate, as hairstyle information, a finished image showing an expected finish after treatment by applying a hairstyle pattern to the face image.
  • the face image used for the finished image may be the face image used for face authentication at the time of coming to the store, the face image of the user used for estimating the features of the user's appearance, or waiting for the treatment in front of the mirror.
  • the image may be an image of the user's face taken again when the user's face is being held.
  • a face image for face authentication is used to generate a finished image, there is no need to photograph the user's face again.
  • the hairstyle information generation unit 245 supplies the generated hairstyle information to the output control unit 246 .
  • the output control unit 246 transmits the hairstyle information to the store terminal 400 via the network N. Then, the output control unit 246 causes the display unit 440 of the store terminal 400 to display the hairstyle information.
  • FIG. 11 is a sequence diagram showing the flow of member registration processing according to the second embodiment.
  • the user terminal 300 transmits to the server 200 a member registration request including a registration image generated by photographing the user U (S500) (S501).
  • the registration unit 241 of the server 200 includes the registration image included in the received member registration request in the face registration request and transmits the face registration request to the face authentication device 100 (S502).
  • the face authentication device 100 registers face information (face feature information) of the user U based on the registration image included in the received face registration request (S503).
  • the face authentication device 100 notifies the server 200 of the issued user ID (S504).
  • the user terminal 300 transmits user information to the server 200 (S505).
  • the user information may include attribute information and ideal hairstyle information.
  • the registration unit 241 of the server 200 associates the notified user ID and user information with each other and registers them in the user DB 212 (S506).
  • FIG. 12 is a diagram showing an example of display on the user terminal 300 according to the second embodiment.
  • FIG. 12 is an example of a screen displayed on display unit 340 in S500 of FIG.
  • the display unit 340 displays a message "please register your face". Therefore, the user terminal 300 activates the camera 310 and photographs the user U.
  • FIG. The display unit 340 may display a registered image 600 generated by photography.
  • FIG. 13 is a diagram showing an example of display on the user terminal 300 according to the second embodiment.
  • FIG. 13 is an example of a screen displayed on the display unit 340 in S505 of FIG.
  • the display unit 340 displays a message "Register your ideal hairstyle". Therefore, the user U selects an image 610 showing an ideal hairstyle stored in the user terminal 300 as an image to be uploaded.
  • An image 610 to be uploaded is displayed on the display unit 340 .
  • the user terminal 300 then transfers the image 610 to the server 200 .
  • the method by which the server 200 acquires user information is not limited to transmission from the user terminal 300 .
  • the server 200 may acquire user information from a file server that manages images captured by the user terminal 300 or an SNS server that manages user accounts.
  • FIG. 14 is a sequence diagram showing the flow of hairstyle proposal processing according to the second embodiment.
  • the shop terminal 400 photographs the user who has visited the shop before the treatment (S510).
  • the store terminal 400 transmits a hairstyle information output request to the server 200 (S511).
  • This output request may include a face image generated by photography.
  • the identification unit 243 of the server 200 transmits a face authentication request for the face area of the user U in the received face image to the face authentication device 100 (S512).
  • the face authentication device 100 performs face authentication on the face area of the user U in the face image included in the received face authentication request (S513).
  • the face authentication device 100 transmits to the server 200 a face authentication result including the success of the face authentication and the user ID (S514).
  • the server 200 may notify the store terminal 400 whether or not the face authentication has succeeded.
  • the hairstyle information generation unit 245 of the server 200 that has received the face authentication result identifies user information from the user DB 212 using the user ID included in the face authentication result (S515).
  • the hairstyle information generation unit 245 of the server 200 estimates the preference feature based on the user information (S516).
  • the hairstyle information generation unit 245 of the server 200 estimates the features of the appearance based on the face image (S517).
  • the hairstyle information generation unit 245 of the server 200 determines the hairstyle pattern by specifying the hairstyle pattern associated with the appearance feature and the preference feature in the hairstyle pattern table 213 (S518).
  • the hairstyle information generating unit 245 of the server 200 generates hairstyle information such as a finished image based on the hairstyle pattern (S519). Then, the output control unit 246 of the server 200 transmits the hairstyle information to the store terminal 400 via the network N (S520). The store terminal 400 that has received the hairstyle information displays the hairstyle information on the display unit 340 (S521).
  • FIG. 15 is a diagram showing an example of the display of the store terminal 400-1 according to the second embodiment.
  • store terminal 400-1 is a store terminal installed at the reception of the store.
  • FIG. 15 shows an example of a screen displayed on display unit 440-1 of store terminal 400-1 in steps S510 to S514 of FIG.
  • store terminal 400-1 photographs user U who appears at the reception desk for face authentication.
  • face authentication is successful
  • store terminal 400-1 displays a message "Face authentication successful" on display unit 440-1.
  • Store terminal 400-1 may display face image 620 for authentication on display unit 440-1.
  • FIG. 16 is a diagram showing an example of display on the store terminal 400-2 according to the second embodiment.
  • Store terminal 400-2 is a store terminal used by store clerk C, such as a beautician in charge.
  • FIG. 16 shows an example of a screen displayed on the display section 440-2 of the shop terminal 400-2 in S521 of FIG.
  • Display unit 440-2 displays “short hair that looks neat around the face” as a hairstyle pattern recommended for user U, and displays a simulation image in which the hairstyle pattern is applied to the face image as a finished image. .
  • the store clerk C can grasp the recommended hairstyle for the user U through the store terminal 400, so that it can be used for the treatment.
  • the display unit 440-2 of the store terminal 400-2 may be installed at a position where the user U can visually recognize it. As a result, the user U can grasp the expected finish, and can receive the treatment after being convinced.
  • the server 200 considers an appearance that objectively suits the user, which is estimated from the face image, and the user's preferred appearance, which is estimated from the user information. It also generates personalized hairstyle information. Accordingly, the server 200 can easily propose a hairstyle that is a hairstyle that the user likes and that objectively looks good on the user. Therefore, user satisfaction can be improved.
  • FIG. 17 is a sequence diagram showing the flow of additional registration processing according to the second embodiment.
  • the shop terminal 400 photographs the user after the treatment (S530).
  • the store terminal 400 transmits a user information additional registration request to the server 200 (S531).
  • This additional registration request may include a post-treatment image, which is a face image generated by photography.
  • the registration unit 241 of the server 200 transmits a face authentication request for the face area of the user U in the received face image to the face authentication device 100 (S532).
  • the face authentication device 100 performs face authentication on the face area of the user U in the face image included in the received face authentication request (S533).
  • the face authentication device 100 transmits to the server 200 a face authentication result including the fact that the face authentication was successful and the user ID (S534).
  • the server 200 may notify the store terminal 400 whether or not the face authentication has succeeded.
  • the registration unit 241 of the server 200 Upon receiving the face authentication result, the registration unit 241 of the server 200 additionally registers the post-treatment image as user information in the record corresponding to the user ID included in the face authentication result in the user DB 212 (S535).
  • FIG. 18 is a diagram showing an example of display on the shop terminal 400-2 according to the second embodiment.
  • server 200 causes display unit 440-2 of shop terminal 400-2 to display post-treatment image 640 and a message "Do you want to register?"
  • Store terminal 400 - 2 transmits the information to server 200 when information indicating user U's consent is input.
  • Server 200 which has received the information indicating consent, executes the process shown in S535 of FIG.
  • the server 200 accumulates post-treatment images as user information in the user DB 212, thereby improving the accuracy of estimating the user's preference characteristics. Since the user ID is specified by facial recognition from the post-treatment image, the user or store clerk can save the trouble of inputting the user ID.
  • the hairstyle information generation unit 245 may generate a finished image by processing the post-treatment image accumulated in the user DB 212 . That is, the hairstyle information generation unit 245 may apply the recommended hairstyle pattern to any of the post-treatment images accumulated in the user DB 212 to generate the finished image. Further, when a post-treatment image showing a hairstyle similar to the hairstyle to be recommended is stored in the user DB 212, the hairstyle information generation unit 245 may process the post-treatment image to generate a finished image. The post-treatment image may be used as the finished image as it is.
  • the hardware configuration is described, but it is not limited to this.
  • the present disclosure can also implement arbitrary processing by causing a processor to execute a computer program.
  • the program includes instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • the present disclosure is not limited to the above embodiments, and can be modified as appropriate without departing from the scope.
  • the face authentication device 100 has the face authentication function, but instead of or in addition to the face authentication device 100, the server 200 may have the face authentication function.
  • Appendix 1 A facial image generated by photographing at least the face of a user and user information related to the user are acquired, and appearance features estimated based on the facial image and estimated based on the user information. a hairstyle information generating means for generating hairstyle information based on the preference characteristics; An information processing apparatus comprising output control means for outputting the hairstyle information to a terminal device of a store where the user desires treatment.
  • Appendix 2 The information processing apparatus according to appendix 1, wherein the user information includes at least one of attribute information of the user, information indicating preference for hairstyle, and hairstyle history.
  • the hairstyle information generating means is determining a hairstyle pattern based on the appearance characteristics and the preference characteristics; 3.
  • Appendix 4) a registration means for registering a user ID and user information in a user DB in association with each other; an image acquisition means for acquiring, from the terminal device, a photographed image generated by photographing a user who has visited the store; further comprising identifying means for identifying the user ID of the user by controlling face authentication based on the captured image; 4.
  • the information processing apparatus acquires user information associated with the user ID in a user DB using the user ID.
  • the information processing apparatus according to appendix 4, wherein the face image is the photographed image generated by photographing the user who has visited the store.
  • the registration means Acquiring a post-treatment image generated by photographing the user after the treatment, The information processing apparatus according to appendix 4 or 5, wherein the post-treatment image is added to user information associated with the user ID of the user.
  • the registration means adds the post-treatment image to user information associated with a user ID that is specified by controlling the face authentication based on the post-treatment image.
  • Appendix 8 a terminal device of a store where the user wishes to receive treatment; comprising an information processing device and The information processing device is obtaining a facial image generated by photographing at least the face of the user and user information related to the user, and obtaining appearance features estimated based on the facial image and estimated based on the user information; a hairstyle information generating means for generating hairstyle information based on the preference characteristics and and output control means for outputting the hairstyle information to the terminal device.
  • a facial image generated by photographing at least the face of a user and user information related to the user are acquired, and appearance features estimated based on the facial image and estimated based on the user information. generating hairstyle information based on the characteristics of preference, An information processing method for outputting the hairstyle information to a terminal device of a store where the user desires treatment.
  • a facial image generated by photographing at least the face of a user and user information related to the user are acquired, and appearance features estimated based on the facial image and estimated based on the user information.
  • Hairstyle information generation processing for generating hairstyle information based on preference characteristics
  • a non-temporary computer-readable medium storing a program for causing a computer to execute output control processing for outputting the hairstyle information to a terminal device of a store where the user desires the treatment.

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理装置（１０）は、髪型情報生成部（１５）と、出力制御部（１６）とを備える。髪型情報生成部（１５）は、ユーザの少なくとも顔を撮影して生成された顔画像と、ユーザに関連するユーザ情報とを取得する。そして髪型情報生成部（１５）は、顔画像に基づいて推定される外観の特徴と、ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する。出力制御部（１６）は、髪型情報を、ユーザが施術を希望する店舗の端末装置に出力する。これにより、ユーザ好みの髪型で、かつユーザに客観的に似合う髪型を容易に提案できる。

Description

情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
　本開示は、情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体に関する。
　美容院において、ユーザ好みの髪型と施術後の仕上がりとの相違を回避するために、ユーザが、ユーザ好みの髪型の画像を担当美容師に提示して、髪型を指定することがある。また、ユーザ好みの髪型を自動で生成し、提案する技術が開発されている。例えば、特許文献１には、顧客のヘアサロンの利用履歴からカテゴリを選択し、カテゴリに対応付けられたヘアスタイルの画像を、顧客の正対画像に重ねて表示するヘアサロン支援装置が開示されている。
特開２０１８－０１８２６３号公報
　しかし、ユーザ好みの髪型が、ユーザにとって客観的に似合うとは限らず、ユーザが施術後の仕上がりに満足できない場合がある。したがって、ユーザ好みの髪型で、かつユーザに客観的に似合う髪型を提案することが求められている。
　本開示の目的は、上述した課題に鑑み、ユーザ好みの髪型で、かつユーザに客観的に似合う髪型を容易に提案できる情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供することにある。
　本開示の一態様にかかる情報処理装置は、
　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成手段と、
　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する出力制御手段と
　を備える。
　本開示の一態様にかかる情報処理システムは、
　ユーザが施術を希望する店舗の端末装置と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　前記ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成手段と、
　前記髪型情報を、前記端末装置に出力する出力制御手段と
　を有する。
　本開示の一態様にかかる情報処理方法は、
　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成し、
　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する。
　本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成処理と、
　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する出力制御処理と
　をコンピュータに実行させるためのプログラムが格納される。
　本開示により、ユーザ好みの髪型で、かつユーザに客観的に似合う髪型を容易に提案できる情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供できる。
実施形態１にかかる情報処理装置の構成を示すブロック図である。 実施形態１にかかる情報処理方法の流れを示すフローチャートである。 実施形態２にかかる情報処理システムの全体構成を示すブロック図である。 実施形態２にかかる顔認証装置の構成を示すブロック図である。 実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。 実施形態２にかかる顔認証処理の流れを示すフローチャートである。 実施形態２にかかるユーザ端末の構成を示すブロック図である。 実施形態２にかかる店舗端末の構成を示すブロック図である。 実施形態２にかかるサーバの構成を示すブロック図である。 実施形態２にかかる髪型パターンテーブルの一例を説明するための図である。 実施形態２にかかる会員登録処理の流れを示すシーケンス図である。 実施形態２にかかるユーザ端末の表示の一例を示す図である。 実施形態２にかかるユーザ端末の表示の一例を示す図である。 実施形態２にかかる髪型提案処理の流れを示すシーケンス図である。 実施形態２にかかる店舗端末の表示の一例を示す図である。 実施形態２にかかる店舗端末の表示の一例を示す図である。 実施形態２にかかる追加登録処理の流れを示すシーケンス図である。 実施形態２にかかる店舗端末の表示の一例を示す図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
　＜実施形態１＞
　まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、ユーザ又はユーザが施術を希望する店舗の店員に、ユーザに適した髪型を提案するコンピュータ装置である。ここで、店舗は美容院であってよく、店員は美容師であってよい。
　ここで、情報処理装置１０は、ネットワーク（不図示）に接続される。ネットワークは、有線であっても無線であってもよい。またネットワークには、ユーザが使用するユーザ端末（不図示）と、ユーザが施術を希望する店舗に設置される端末装置である店舗端末（不図示）とが接続されていてよい。「ユーザが施術を希望する」店舗とは、例えばユーザが施術を予約している店舗、又は施術のためにユーザが訪問した店舗であってよい。
　情報処理装置１０は、髪型情報生成部１５と、出力制御部１６とを備える。
　髪型情報生成部１５は、髪型情報生成手段とも呼ばれる。髪型情報生成部１５は、ユーザの顔画像を取得する。顔画像は、ユーザ端末又は店舗端末がユーザの少なくとも顔を撮影することにより、生成された画像である。髪型情報生成部１５は、ユーザ端末又は店舗端末から、当該顔画像を、ネットワークを介して受信し、取得する。そして髪型情報生成部１５は、顔画像に基づいて外観の特徴を推定する。外観の特徴は、ユーザが現在有している顔又は上半身の、外観に現れている特徴である。例えば外観の特徴は、ユーザの顔輪郭形状、顔の縦横比、顔面の骨格、顔器官（目、鼻、口）の位置、服装若しくはアクセサリ、に関する特徴量、又はその特徴量に基づいて分類されるカテゴリを示す。前者の場合、「顔画像に基づいて外観の特徴を推定する」ことは、具体的には、顔画像から特徴量を抽出することであってよい。一方、後者の場合、「顔画像に基づいて外観の特徴を推定する」ことは、具体的には、顔画像から特徴量を抽出し、特徴量を、現在の外観を表すカテゴリに分類することであってよい。
　また髪型情報生成部１５は、ユーザ情報を取得する。ユーザ情報は、ユーザに関連する情報である。例えば、ユーザ情報は、ユーザの属性情報、髪型に関する嗜好性を示す情報及びユーザの髪型履歴のうち少なくとも１つを含む。ユーザの属性情報は、例えば、ユーザの性別、年齢、既婚又は未婚の別、及び職業に関する情報を含む。またユーザ情報は、ユーザが過去に美容院を予約した日時及び予約にかかる内容を含む予約情報を含んでもよい。髪型に関する嗜好性を示す情報は、理想の髪型としてユーザにより登録されている画像や、ソーシャルネットワーキングサービス（ＳＮＳ）等のウェブサイトでユーザが興味を示した人物の画像を含んでよい。そして髪型情報生成部１５は、ユーザ情報に基づいて、外観についての嗜好性の特徴を推定する。外観についての嗜好性の特徴は、ユーザが好む傾向にある外観の特徴量、又はその特徴量に基づいて分類されるカテゴリを示す。前者の場合、「ユーザ情報に基づいて嗜好性の特徴を推定する」ことは、具体的には、ユーザ情報から特徴量を抽出することであってよい。一方、後者の場合、「ユーザ情報に基づいて嗜好性の特徴を推定する」ことは、具体的には、ユーザ情報から特徴量を抽出し、特徴量を、好みの外観を表すカテゴリに分類することであってよい。
　そして髪型情報生成部１５は、顔画像に基づいて推定される外観の特徴と、ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する。髪型情報は、レコメンドする髪型パターンの名称を示す情報や、レコメンドする髪型を説明するための情報であってもよいし、レコメンドする髪型パターンのイメージであってもよい。髪型パターンは、髪の長さ、色、レイヤーの有無及びパーマの有無の情報を含んでよい。例えば髪型情報生成部１５は、外観の特徴と、嗜好性の特徴とに基づいて、髪型パターンを決定し、髪型パターンに基づいて髪型情報を生成する。
　出力制御部１６は、出力制御手段とも呼ばれる。出力制御部１６は、髪型情報を、店舗端末にネットワークを介して出力する。髪型情報を受信した店舗端末は、髪型情報を表示するか、担当の美容師が使用する別の端末に髪型情報を表示させる。
　図２は、実施形態１にかかる情報処理方法の流れを示すフローチャートである。まず、髪型情報生成部１５は、ユーザの顔画像及びユーザ情報を取得する（Ｓ１０）。次に、髪型情報生成部１５は、顔画像に基づいて推定される外観の特徴と、ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する（Ｓ１１）。次に、出力制御部１６は、生成した髪型情報を、ユーザが施術を希望する店舗の店舗端末に出力する（Ｓ１２）。
　このように実施形態１によれば、情報処理装置１０は、顔画像から推定した、ユーザに客観的に似合う外観と、ユーザ情報から推定した、ユーザの好みの外観とを考慮し、客観的にも主観的にもパーソナライズされた髪型情報を生成する。これにより情報処理装置１０は、ユーザ好みの髪型で、かつユーザに客観的に似合う髪型を容易に提案できる。したがって、ユーザの満足度を向上させることができる。
　＜実施形態２＞
　次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる情報処理システム１０００の全体構成を示すブロック図である。情報処理システム１０００は、ユーザ又はユーザが施術を希望する店舗の店員に、ユーザに適した髪型を提案するためのコンピュータシステムである。情報処理システム１０００は、顔認証装置１００と、情報処理装置（以下、サーバと呼ぶ）２００と、ユーザ端末３００と、１又は複数の店舗端末４００とを備える。各装置及び端末は、ネットワークＮを介して互いに接続されている。ネットワークＮは、有線又は無線の通信回線である。
　ユーザ端末３００は、ユーザが使用する情報端末である。
　店舗端末４００は、ユーザが施術を希望する店舗を含む、所定の店舗に設置された情報端末である。店舗端末４００は、ユーザが、施術を受けるために当該店舗に訪問した場合、ユーザのための髪型情報の出力をサーバ２００に対して要求する。このとき、店舗端末４００は、ユーザに対する顔認証を受け付ける。上記顔認証は、予約の確認又は顔決済のために行われる顔認証を流用してもよい。本実施形態２では、店舗端末４００は、認証対象であるユーザの少なくとも顔を撮影し、顔画像（以下、撮影画像と呼ぶこともある）又はその顔画像から抽出された顔特徴情報を、サーバ２００に送信する。顔認証は、店舗端末４００及びサーバ２００を介して、顔認証装置１００において行われる。
　そして店舗端末４００は、出力要求先のサーバ２００から、髪型情報を受信した場合、髪型情報を表示し、担当の美容師や施術前のユーザに閲覧させる。
　尚、同じ店舗に複数の店舗端末４００があってもよい。この場合、同じ店舗に設置される店舗端末ごとに機能を分散させてもよい。例えばある店舗に店舗端末４００－１及び店舗端末４００－２が設置されている場合、店舗端末４００－１が出力要求を行い、店舗端末４００－２が髪型情報を受信するようにしてもよい。
　顔認証装置１００は、複数の人物の顔特徴情報を記憶する顔認証装置である。顔認証装置１００は、後述する会員登録時に、ユーザの顔特徴情報を登録する。また、顔認証装置１００は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行う、顔認証機能を有する。本実施形態２では、顔認証装置１００は、店舗端末４００から、サーバ２００を介して、来店したユーザの顔を撮影した顔画像を取得し、顔画像を用いて顔認証を実行する。そして顔認証装置１００は、照合結果（顔認証結果）をサーバ２００へ返信する。
　サーバ２００は、上述した情報処理装置１０の一例である。
　まずサーバ２００は、ユーザ端末３００からの会員登録要求に応じて、ユーザの会員登録を行う。また店舗を訪問したユーザの顔画像又は顔特徴情報を、ネットワークＮを介して店舗端末４００から受信した場合、サーバ２００は、顔認証装置１００に顔認証を要求する。そしてサーバ２００は、顔認証装置１００から顔認証結果を、ネットワークＮを介して受信し、顔認証が成功したユーザを特定する。サーバ２００は、特定したユーザの、ユーザ情報と、顔画像とに基づいて、髪型パターンを決定し、髪型パターンに基づいて髪型情報を生成する。そしてサーバ２００は、髪型情報を、ネットワークＮを介して店舗端末４００に送信する。
　図４は、実施形態２にかかる顔認証装置１００の構成を示すブロック図である。顔認証装置１００は、顔情報ＤＢ（DataBase）１１０と、顔検出部１２０と、特徴点抽出部１３０と、登録部１４０と、認証部１５０とを備える。顔情報ＤＢ１１０は、ユーザＩＤ１１１と当該ユーザＩＤの顔特徴情報１１２とを対応付けて記憶する。ユーザＩＤ１１１は、ユーザを識別する情報である。顔特徴情報１１２は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。尚、顔認証装置１００は、顔特徴情報１１２の登録ユーザからの要望に応じて、顔特徴ＤＢ１１０内の顔特徴情報１１２を削除してもよい。または、顔認証装置１００は、顔特徴情報１１２の登録から一定期間経過後に削除してもよい。
　顔検出部１２０は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部１３０に供給する。特徴点抽出部１３０は、顔検出部１２０が検出した顔領域から特徴点を抽出し、登録部１４０に顔特徴情報を供給する。また、特徴点抽出部１３０は、サーバ２００から受信した顔画像に含まれる特徴点を抽出し、認証部１５０に顔特徴情報を供給する。
　登録部１４０は、顔特徴情報の登録に際して、ユーザＩＤ１１１を新規に発行する。登録部１４０は、発行したユーザＩＤ１１１と、登録画像から抽出した顔特徴情報１１２とを対応付けて顔情報ＤＢ１１０へ登録する。認証部１５０は、顔特徴情報１１２を用いた顔認証を行う。具体的には、認証部１５０は、顔画像から抽出された顔特徴情報と、顔情報ＤＢ１１０内の顔特徴情報１１２との照合を行う。認証部１５０は、顔特徴情報の一致の有無をサーバ２００に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する（一致有）とは、一致度が所定値以上である場合をいうものとする。
　図５は、実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。まず、顔認証装置１００は、顔登録要求に含まれるユーザの登録画像を取得する（Ｓ２１）。例えば、顔認証装置１００は、顔登録要求を、ユーザ端末３００から会員登録要求を受けたサーバ２００から、ネットワークＮを介して受け付ける。尚、顔認証装置１００は、これに限らず、ユーザ端末３００から直接、顔登録要求を受け付けてもよい。次に、顔検出部１２０は、登録画像に含まれる顔領域を検出する（Ｓ２２）。次に、特徴点抽出部１３０は、ステップＳ２２で検出した顔領域から特徴点を抽出し、登録部１４０に顔特徴情報を供給する（Ｓ２３）。最後に、登録部１４０は、ユーザＩＤ１１１を発行し、当該ユーザＩＤ１１１と顔特徴情報１１２とを対応付けて顔情報ＤＢ１１０に登録する（Ｓ２４）。なお、顔認証装置１００は、顔登録要求元から顔特徴情報１１２を受信し、ユーザＩＤ１１１と対応付けて顔情報ＤＢ１１０に登録してもよい。
　図６は、実施形態２にかかる顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部１３０は、認証用の顔特徴情報を取得する（Ｓ３１）。例えば、顔認証装置１００は、サーバ２００からネットワークＮを介して顔認証要求を受信し、顔認証要求に含まれる顔画像からステップＳ２１からＳ２３のように顔特徴情報を抽出する。または、顔認証装置１００は、サーバ２００から顔特徴情報を受信してもよい。次に、認証部１５０は、取得した顔特徴情報を、顔情報ＤＢ１１０の顔特徴情報１１２と照合する（Ｓ３２）。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合（Ｓ３３でＹｅｓ）、認証部１５０は、顔特徴情報が一致したユーザのユーザＩＤ１１１を特定する（Ｓ３４）。そして認証部１５０は、顔認証に成功した旨と特定したユーザＩＤ１１１とを、顔認証結果としてサーバ２００に返信する（Ｓ３５）。一致する顔特徴情報が存在しない場合（Ｓ３３でＮｏ）、認証部１５０は、顔認証に失敗した旨を、顔認証結果としてサーバ２００に返信する（Ｓ３６）。
　図７は、実施形態２にかかるユーザ端末３００の構成を示すブロック図である。ユーザ端末３００は、カメラ３１０と、記憶部３２０と、通信部３３０と、表示部３４０と、入力部３５０と、制御部３６０とを備える。
　カメラ３１０は、制御部３６０の制御に応じて撮影を行う撮影装置である。記憶部３２０は、ユーザ端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３３０は、ネットワークＮとの通信インタフェースである。表示部３４０は、表示装置である。入力部３５０は、ユーザからの入力を受け付ける入力装置である。表示部３４０及び入力部３５０は、タッチパネルのように一体的に構成されていてもよい。制御部３６０は、ユーザ端末３００が有するハードウェアの制御を行う。
　制御部３６０は、カメラ３１０を制御し、ユーザＵの登録画像を撮影する。制御部３６０は、会員登録要求に登録画像を含ませて、ネットワークＮを介してサーバ２００へ送信する。あるいは、制御部３６０は、会員登録要求をサーバ２００に送信し、登録画像を含む顔登録要求を、ネットワークＮを介して顔認証装置１００へ直接送信してもよい。尚、制御部３６０は、会員登録時に、入力部３５０で受け付けた属性情報等のユーザ情報を、ネットワークＮを介してサーバ２００に送信してよい。
　図８は、実施形態２にかかる店舗端末４００の構成を示すブロック図である。店舗端末４００は、カメラ４１０と、記憶部４２０と、通信部４３０と、表示部４４０と、入力部４５０と、制御部４６０とを備える。
　カメラ４１０は、制御部４６０の制御に応じて撮影を行う撮影装置である。記憶部４２０は、店舗端末４００の各機能を実現するためのプログラムが格納される記憶装置である。通信部４３０は、ネットワークＮとの通信インタフェースである。表示部４４０は、表示装置である。入力部４５０は、入力を受け付ける入力装置である。表示部４４０及び入力部４５０は、タッチパネルのように一体的に構成されていてもよい。制御部４６０は、店舗端末４００が有するハードウェアの制御を行う。
　制御部４６０は、ユーザが来店した場合、髪型情報の出力要求をサーバ２００に送信する。具体的には、まず制御部４６０は、カメラ４１０を制御し、ユーザの少なくとも顔を撮影する。制御部３６０は、出力要求に顔画像又は顔特徴情報を含めて、ネットワークＮを介してサーバ２００へ送信する。また制御部３６０は、髪型情報をサーバ２００から受信した場合、髪型情報を表示部４４０に表示する。
　図９は、実施形態２にかかるサーバ２００の構成を示すブロック図である。サーバ２００は、記憶部２１０と、メモリ２２０と、通信部２３０と、制御部２４０とを備える。記憶部２１０は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部２１０は、プログラム２１１と、ユーザＤＢ２１２と、髪型パターンテーブル２１３とを記憶する。プログラム２１１は、本実施形態２にかかる情報処理方法の処理が実装されたコンピュータプログラムである。
　ユーザＤＢ２１２は、会員であるユーザのユーザ情報を記憶する。具体的には、ユーザＤＢ２１２は、ユーザＩＤ２１２１に対応付けて、ユーザ情報２１２２を記憶する。本図では、ユーザ情報２１２２は、属性情報、理想の髪型に関する情報、及び髪型履歴を含んでいる。
　髪型パターンテーブル２１３は、外観の特徴及び嗜好性の特徴を考慮した場合に、レコメンドする髪型パターンを記憶する。
　図１０は、実施形態２にかかる髪型パターンテーブル２１３の一例を説明するための図である。本図に示す通り、髪型パターンテーブル２１３は、外観の特徴と、嗜好性の特徴と、レコメンドする髪型パターンの情報とを関連付けている。例えば外観の特徴が「丸顔かつナチュラル」であり、嗜好性の特徴が「ショートかつかわいい」である場合、レコメンドする髪型パターンは、「顔周りがすっきり見えるショートヘア」である。また例えば、外観の特徴が「面長かつ華やか」であり、嗜好性の特徴が「セミロングかつ上品」である場合、レコメンドする髪型パターンは、「レイヤーを入れたミディアムヘア」である。
　図９に戻り、説明を続ける。メモリ２２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部２４０の動作時に一時的に情報を保持するための記憶領域である。通信部２３０は、ネットワークＮとの通信インタフェースである。
　制御部２４０は、サーバ２００の各構成を制御するプロセッサつまり制御装置である。制御部２４０は、記憶部２１０からプログラム２１１をメモリ２２０へ読み込ませ、プログラム２１１を実行する。これにより、制御部２４０は、登録部２４１、画像取得部２４２、特定部２４３、髪型情報生成部２４５、及び出力制御部２４６の機能を実現する。
　登録部２４１は、登録手段とも呼ばれる。登録部２４１は、ユーザ端末３００から登録画像を受信した場合、顔登録要求を顔認証装置１００に送信する。そして登録部２４１は、顔認証装置１００が顔情報を登録し、ユーザＩＤを発行した場合、そのユーザＩＤをユーザＤＢ２１２に登録する。また登録部２４１は、ユーザ端末３００から会員登録要求を受信した場合、ユーザＤＢ２１２の、そのユーザ端末３００が有するユーザＩＤに対応付けて、ユーザ情報を登録する。
　また、登録部２４１は、施術後のユーザを撮影した施術後画像を取得した場合、ユーザＩＤを取得し、そして施術後画像を、ユーザのユーザＩＤに対応付けられたユーザ情報に追加する。このとき登録部２４１は、ユーザ又は店員の入力操作によりユーザＩＤを取得してよいが、施術後画像に基づいて顔認証を制御することによりユーザＩＤを特定してもよい。尚、「顔認証を制御する」ことは、画像（ここでは、施術後画像）又は画像から抽出した顔特徴情報、を含む顔認証要求を、顔認証装置１００に送信することにより、顔認証装置１００に顔認証を実行させることを示す。顔認証を制御してユーザＩＤを特定する場合は、ユーザ又は店員によるユーザＩＤの入力操作の手間が省ける。
　画像取得部２４２は、画像取得手段とも呼ばれる。画像取得部２４２は、店舗端末４００から、来店したユーザの少なくとも顔を撮影して生成された顔画像を、ネットワークＮを介して取得する。そして画像取得部２４２は、顔画像を、特定部２４３及び髪型情報生成部２４５に供給する。
　特定部２４３は、特定手段とも呼ばれる。特定部２４３は、顔画像に基づいて、顔認証を制御することにより、ユーザのユーザＩＤを特定する。具体的には、特定部２４３は、画像取得部２４２が顔画像を取得した場合、顔画像又は顔画像から抽出した顔特徴情報を含む顔認証要求を、ネットワークＮを介して顔認証装置１００に送信する。そして特定部２４３は、顔認証装置１００から、顔認証結果を取得する。顔認証に成功した場合、特定部２４３は、顔認証結果からユーザＩＤを取り出す。
　髪型情報生成部２４５は、上述した髪型情報生成部１５の一例である。髪型情報生成部２４５は、ユーザＤＢ２１２を参照し、特定したユーザＩＤ２１２１に対応付けられたユーザ情報２１２２を取得する。そして髪型情報生成部２４５は、ユーザ情報に基づいて、外観についての嗜好性の特徴を推定する。またユーザ情報２１２２を取得するだけでなく、髪型情報生成部２４５は、ユーザの顔画像に基づいて、ユーザの現在の外観に現れる、外観の特徴を推定する。外観の特徴の推定に用いるユーザの顔画像は、ユーザが事前登録した登録画像であってもよいが、実施形態２では顔認証用の顔画像である。顔認証用の顔画像を、外観の特徴の推定に流用することで、ユーザの顔を再度撮影する必要はないため、撮影の手間が省けるとともに、ユーザに心理的な負担がかかりにくい。また、ユーザの来店時の外観（服装、顔色、現在のヘアスタイル等）を考慮することができるため、ユーザのその日の雰囲気に合った髪型を、より好適に提案できる。
　そして髪型情報生成部２４５は、髪型パターンテーブル２１３を用いて、外観の特徴及び嗜好性の特徴に基づいて、レコメンドする髪型パターンを決定する。髪型情報生成部２４５は、髪型パターンに基づいて、髪型情報を生成する。例えば、髪型情報生成部２４５は、髪型パターンの名称を、髪型情報として生成してよい。また例えば髪型情報生成部２４５は、顔画像に、髪型パターンを適用させた、施術後の仕上がり予想を示す仕上がり画像を、髪型情報として生成してもよい。仕上がり画像に用いる顔画像は、来店時の顔認証で用いた顔画像であってもよいし、外観の特徴の推定に用いるユーザの顔画像であってもよいし、鏡の前で施術待ちをしているとき等に、ユーザの顔を改めて撮影した画像であってもよい。顔認証用の顔画像を、仕上がり画像の生成に流用した場合、ユーザの顔を再度撮影する必要はないため、撮影の手間が省けるとともに、ユーザに心理的な負担がかかりにくい。髪型情報生成部２４５は、生成した髪型情報を、出力制御部２４６に供給する。
　出力制御部２４６は、髪型情報を、ネットワークＮを介して店舗端末４００に送信する。そして出力制御部２４６は、店舗端末４００の表示部４４０に、髪型情報を表示させる。
　図１１は、実施形態２にかかる会員登録処理の流れを示すシーケンス図である。まずユーザ端末３００は、ユーザＵを撮影することにより（Ｓ５００）生成された登録画像を含む会員登録要求を、サーバ２００へ送信する（Ｓ５０１）。そしてサーバ２００の登録部２４１は、受信した会員登録要求に含まれる登録画像を、顔登録要求に含ませて、顔認証装置１００に送信する（Ｓ５０２）。そして、顔認証装置１００は、受信した顔登録要求に含まれる登録画像に基づいて、ユーザＵの顔情報（顔特徴情報）を登録する（Ｓ５０３）。そして、顔認証装置１００は、発行したユーザＩＤをサーバ２００に通知する（Ｓ５０４）。また、ユーザ端末３００は、ユーザ情報をサーバ２００に送信する（Ｓ５０５）。このときユーザ情報は、属性情報と、理想の髪型の情報とを含んでよい。サーバ２００の登録部２４１は、通知されたユーザＩＤ及びユーザ情報を、互いに対応付けてユーザＤＢ２１２に登録する（Ｓ５０６）。
　図１２は、実施形態２にかかるユーザ端末３００の表示の一例を示す図である。図１２は、図１１のＳ５００において表示部３４０に表示される画面の一例である。例えば、表示部３４０には、「顔登録してください」というメッセージが表示される。そこでユーザ端末３００は、カメラ３１０が起動させ、ユーザＵを撮影する。表示部３４０には、撮影により生成された登録画像６００が表示されてよい。
　図１３は、実施形態２にかかるユーザ端末３００の表示の一例を示す図である。図１３は、図１１のＳ５０５において表示部３４０に表示される画面の一例である。例えば、表示部３４０には、「理想の髪型を登録して下さい」というメッセージが表示される。そこでユーザＵは、ユーザ端末３００に記憶していた、理想の髪型を示す画像６１０をアップロードする画像として選択する。表示部３４０には、アップロードする画像６１０が表示される。そしてユーザ端末３００は、画像６１０を、サーバ２００に転送する。尚、サーバ２００がユーザ情報を取得する方法は、ユーザ端末３００からの送信に限らない。例えばサーバ２００は、ユーザ端末３００で撮影した画像を管理するファイルサーバや、ユーザのアカウントを管理するＳＮＳサーバから、ユーザ情報を取得してもよい。
　図１４は、実施形態２にかかる髪型提案処理の流れを示すシーケンス図である。まず店舗端末４００は、店舗を訪問した、施術前のユーザを撮影する（Ｓ５１０）。そして店舗端末４００は、髪型情報の出力要求をサーバ２００に送信する（Ｓ５１１）。この出力要求には、撮影により生成された顔画像が含まれていてよい。サーバ２００の特定部２４３は、受信した顔画像内のユーザＵの顔領域に対する顔認証要求を、顔認証装置１００へ送信する（Ｓ５１２）。そして、顔認証装置１００は、受信した顔認証要求に含まれる顔画像内のユーザＵの顔領域について顔認証を行う（Ｓ５１３）。ここでは、顔認証に成功したユーザＩＤがあったものとする。顔認証装置１００は、顔認証に成功した旨及びユーザＩＤを含めた顔認証結果を、サーバ２００へ送信する（Ｓ５１４）。このときサーバ２００は、顔認証が成功したか否かを、店舗端末４００に通知してよい。
　顔認証結果を受信したサーバ２００の髪型情報生成部２４５は、顔認証結果に含まれるユーザＩＤを用いて、ユーザＤＢ２１２からユーザ情報を特定する（Ｓ５１５）。次に、サーバ２００の髪型情報生成部２４５は、ユーザ情報に基づいて、嗜好性の特徴を推定する（Ｓ５１６）。次に、サーバ２００の髪型情報生成部２４５は、顔画像に基づいて、外観の特徴を推定する（Ｓ５１７）。そしてサーバ２００の髪型情報生成部２４５は、髪型パターンテーブル２１３において、外観の特徴及び嗜好性の特徴に対応付けられる髪型パターンを特定することにより、髪型パターンを決定する（Ｓ５１８）。次に、サーバ２００の髪型情報生成部２４５は、髪型パターンに基づいて髪型情報、例えば仕上がり画像を生成する（Ｓ５１９）。そしてサーバ２００の出力制御部２４６は、髪型情報を、ネットワークＮを介して店舗端末４００に送信する（Ｓ５２０）。髪型情報を受信した店舗端末４００は、髪型情報を表示部３４０に表示する（Ｓ５２１）。
　図１５は、実施形態２にかかる店舗端末４００－１の表示の一例を示す図である。例えば、店舗端末４００－１は、店舗の受付に設置されている店舗端末である。図１５は、図１４のＳ５１０～Ｓ５１４において、店舗端末４００－１の表示部４４０－１に表示される画面の一例である。まず店舗端末４００－１は、受付に現れたユーザＵを、顔認証のために撮影する。そして顔認証が成功した場合、店舗端末４００－１は表示部４４０－１に「顔認証成功」というメッセージを表示する。また店舗端末４００－１は、表示部４４０－１に、認証にかかる顔画像６２０を表示してもよい。
　図１６は、実施形態２にかかる店舗端末４００－２の表示の一例を示す図である。店舗端末４００－２は、担当の美容師等の店員Ｃが使用する店舗端末である。図１６は、図１４のＳ５２１において、店舗端末４００－２の表示部４４０－２に表示される画面の一例である。表示部４４０－２には、ユーザＵにオススメの髪型パターンとして、「顔周りがすっきり見えるショートヘア」が表示され、顔画像にその髪型パターンを適用させたシミュレーション画像が仕上がり画像として表示されている。
　これにより、店員Ｃは、ユーザＵにオススメの髪型を、店舗端末４００を通じて把握できるため、施術に活かすことができる。尚、店舗端末４００－２の表示部４４０－２は、ユーザＵが視認できる位置に設置されてもよい。これにより、ユーザＵは、仕上がり予想を把握できるため、納得した上で施術を受けることができる。
　このように実施形態２によれば、サーバ２００は、顔画像から推定した、ユーザに客観的に似合う外観と、ユーザ情報から推定した、ユーザの好みの外観とを考慮し、客観的にも主観的にもパーソナライズされた髪型情報を生成する。これによりサーバ２００は、ユーザ好みの髪型で、かつユーザに客観的に似合う髪型を容易に提案できる。したがって、ユーザの満足度を向上させることができる。
　また本実施形態２では、顔認証用の顔画像を用いて髪型の提案を行うため、本人確認だけでなく、ユーザ情報の収集及び仕上がり画像の生成をより簡易に行うことができる。
　図１７は、実施形態２にかかる追加登録処理の流れを示すシーケンス図である。まず店舗端末４００は、施術後のユーザを撮影する（Ｓ５３０）。そして店舗端末４００は、ユーザ情報の追加登録要求をサーバ２００に送信する（Ｓ５３１）。この追加登録要求には、撮影により生成された顔画像である、施術後画像が含まれていてよい。サーバ２００の登録部２４１は、受信した顔画像内のユーザＵの顔領域に対する顔認証要求を、顔認証装置１００へ送信する（Ｓ５３２）。そして、顔認証装置１００は、受信した顔認証要求に含まれる顔画像内のユーザＵの顔領域について顔認証を行う（Ｓ５３３）。ここでは、顔認証に成功したユーザＩＤがあったものとする。顔認証装置１００は、顔認証に成功した旨及びユーザＩＤを含めた顔認証結果を、サーバ２００へ送信する（Ｓ５３４）。このときサーバ２００は、顔認証が成功したか否かを、店舗端末４００に通知してよい。
　顔認証結果を受信したサーバ２００の登録部２４１は、ユーザＤＢ２１２の、顔認証結果に含まれるユーザＩＤに対応するレコードに、施術後画像を、ユーザ情報として追加登録する（Ｓ５３５）。
　尚、サーバ２００の登録部２４１は、ユーザＵの同意があった場合だけ、追加登録を実行してよい。図１８は、実施形態２にかかる店舗端末４００－２の表示の一例を示す図である。例えばサーバ２００は、店舗端末４００－２の表示部４４０－２に、施術後画像６４０と、「登録しますか？」というメッセージとを表示させる。店舗端末４００－２は、ユーザＵの同意を示す情報が入力された場合、当該情報をサーバ２００に送信する。同意を示す情報を受信したサーバ２００は、図１７のＳ５３５に示す処理を実行する。
　このようにサーバ２００が施術後画像をユーザ情報としてユーザＤＢ２１２に蓄積することにより、ユーザの嗜好性の特徴の推定精度が向上する。ユーザＩＤは施術後画像から顔認証により特定されるため、ユーザや店員がユーザＩＤを入力する手間が省ける。
　尚、髪型情報生成部２４５は、ユーザに髪型をレコメンドする場合、ユーザＤＢ２１２に蓄積された施術後画像を加工することにより仕上がり画像を生成してよい。つまり髪型情報生成部２４５は、ユーザＤＢ２１２に蓄積された施術後画像のいずれかに対して、レコメンドする髪型パターンを適用させて、仕上がり画像を生成してよい。また、髪型情報生成部２４５は、レコメンドする髪型と類似する髪型を示した施術後画像がユーザＤＢ２１２に格納されている場合、その施術後画像を加工して仕上がり画像を生成してもよいし、その施術後画像をそのまま仕上がり画像として利用してもよい。
　上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば上述の実施形態では、顔認証機能を顔認証装置１００が有していたが、顔認証装置１００に代えて又は加えて、サーバ２００が顔認証機能を有してもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成手段と、
　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する出力制御手段と
　を備える情報処理装置。
　　　（付記２）
　前記ユーザ情報は、前記ユーザの属性情報、髪型に関する嗜好性を示す情報及び髪型履歴のうち少なくとも１つを含む
　付記１に記載の情報処理装置。
　　　（付記３）
　前記髪型情報生成手段は、
　前記外観の特徴と、前記嗜好性の特徴とに基づいて、髪型パターンを決定し、
　前記顔画像に、前記髪型パターンを適用させた仕上がり予想を示す仕上がり画像を、髪型情報として生成する
　付記１又は２に記載の情報処理装置。
　　　（付記４）
　ユーザＩＤとユーザ情報とを対応付けてユーザＤＢに登録する登録手段と、
　前記端末装置から、来店したユーザを撮影して生成された撮影画像を取得する画像取得手段と、
　前記撮影画像に基づいて、顔認証を制御することにより、前記ユーザのユーザＩＤを特定する特定手段と
　をさらに備え、
　前記髪型情報生成手段は、前記ユーザＩＤを用いて、ユーザＤＢにおいて前記ユーザＩＤに対応付けられたユーザ情報を取得する
　付記１から３のいずれか一項に記載の情報処理装置。
　　　（付記５）
　前記顔画像は、来店した前記ユーザを撮影して生成された前記撮影画像である
　付記４に記載の情報処理装置。
　　　（付記６）
　前記登録手段は、
　施術後のユーザを撮影して生成された施術後画像を取得し、
　前記施術後画像を、前記ユーザの前記ユーザＩＤに対応付けられたユーザ情報に追加する
　付記４又は５に記載の情報処理装置。
　　　（付記７）
　前記登録手段は、前記施術後画像を、ユーザＩＤであって、前記施術後画像に基づいて前記顔認証を制御することにより特定したユーザＩＤ、に対応付けられたユーザ情報に追加する
　付記６に記載の情報処理装置。
　　　（付記８）
　ユーザが施術を希望する店舗の端末装置と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　前記ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成手段と、
　前記髪型情報を、前記端末装置に出力する出力制御手段と
　を有する情報処理システム。
　　　（付記９）
　前記端末装置から、来店した前記ユーザを撮影して生成された撮影画像を取得し、前記撮影画像を用いて顔認証を実行する顔認証装置をさらに備える
　付記８に記載の情報処理システム。
　　　（付記１０）
　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成し、
　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する
　情報処理方法。
　　　（付記１１）
　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成処理と、
　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する出力制御処理と
　をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
　１０　情報処理装置
　１５　髪型情報生成部
　１６　出力制御部
　１００　顔認証装置
　１１０　顔情報ＤＢ
　１１１　ユーザＩＤ
　１１２　顔特徴情報
　１２０　顔検出部
　１３０　特徴点抽出部
　１４０　登録部
　１５０　認証部
　２００　サーバ
　２１０　記憶部
　２１１　プログラム
　２１２　ユーザＤＢ
　２１２１　ユーザＩＤ
　２１２２　ユーザ情報
　２１３　髪型パターンテーブル
　２２０　メモリ
　２３０　通信部
　２４０　制御部
　２４１　登録部
　２４２　画像取得部
　２４３　特定部
　２４４　仕上がり画像生成部
　２４５　髪型情報生成部
　２４６　出力制御部
　３００　ユーザ端末
　３１０　カメラ
　３２０　記憶部
　３３０　通信部
　３４０　表示部
　３５０　入力部
　３６０　制御部
　４００　店舗端末
　４１０　カメラ
　４２０　記憶部
　４３０　通信部
　４４０　表示部
　４５０　入力部
　４６０　制御部
　１０００　情報処理システム

Claims (11)

  1. 　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成手段と、
    　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する出力制御手段と
    　を備える情報処理装置。
  2. 　前記ユーザ情報は、前記ユーザの属性情報、髪型に関する嗜好性を示す情報及び髪型履歴のうち少なくとも１つを含む
    　請求項１に記載の情報処理装置。
  3. 　前記髪型情報生成手段は、
    　前記外観の特徴と、前記嗜好性の特徴とに基づいて、髪型パターンを決定し、
    　前記顔画像に、前記髪型パターンを適用させた仕上がり予想を示す仕上がり画像を、髪型情報として生成する
    　請求項１又は２に記載の情報処理装置。
  4. 　ユーザＩＤとユーザ情報とを対応付けてユーザＤＢに登録する登録手段と、
    　前記端末装置から、来店したユーザを撮影して生成された撮影画像を取得する画像取得手段と、
    　前記撮影画像に基づいて、顔認証を制御することにより、前記ユーザのユーザＩＤを特定する特定手段と
    　をさらに備え、
    　前記髪型情報生成手段は、前記ユーザＩＤを用いて、ユーザＤＢにおいて前記ユーザＩＤに対応付けられたユーザ情報を取得する
    　請求項１から３のいずれか一項に記載の情報処理装置。
  5. 　前記顔画像は、来店した前記ユーザを撮影して生成された前記撮影画像である
    　請求項４に記載の情報処理装置。
  6. 　前記登録手段は、
    　施術後のユーザを撮影して生成された施術後画像を取得し、
    　前記施術後画像を、前記ユーザの前記ユーザＩＤに対応付けられたユーザ情報に追加する
    　請求項４又は５に記載の情報処理装置。
  7. 　前記登録手段は、前記施術後画像を、ユーザＩＤであって、前記施術後画像に基づいて前記顔認証を制御することにより特定したユーザＩＤ、に対応付けられたユーザ情報に追加する
    　請求項６に記載の情報処理装置。
  8. 　ユーザが施術を希望する店舗の端末装置と、
    　情報処理装置と
    　を備え、
    　前記情報処理装置は、
    　前記ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成手段と、
    　前記髪型情報を、前記端末装置に出力する出力制御手段と
    　を有する情報処理システム。
  9. 　前記端末装置から、来店した前記ユーザを撮影して生成された撮影画像を取得し、前記撮影画像を用いて顔認証を実行する顔認証装置をさらに備える
    　請求項８に記載の情報処理システム。
  10. 　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成し、
    　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する
    　情報処理方法。
  11. 　ユーザの少なくとも顔を撮影して生成された顔画像と、前記ユーザに関連するユーザ情報とを取得し、前記顔画像に基づいて推定される外観の特徴と、前記ユーザ情報に基づいて推定される嗜好性の特徴とに基づいて、髪型情報を生成する髪型情報生成処理と、
    　前記髪型情報を、前記ユーザが施術を希望する店舗の端末装置に出力する出力制御処理と
    　をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/032158 2021-09-01 2021-09-01 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 WO2023032090A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023544882A JPWO2023032090A5 (ja) 2021-09-01 情報処理装置、情報処理システム、情報処理方法及びプログラム
PCT/JP2021/032158 WO2023032090A1 (ja) 2021-09-01 2021-09-01 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/032158 WO2023032090A1 (ja) 2021-09-01 2021-09-01 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023032090A1 true WO2023032090A1 (ja) 2023-03-09

Family

ID=85410961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032158 WO2023032090A1 (ja) 2021-09-01 2021-09-01 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023032090A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321986A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム
JP2018018263A (ja) * 2016-07-27 2018-02-01 瑳京 奥条 ヘアサロンにおいてスタイリングを提案するための方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321986A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム
JP2018018263A (ja) * 2016-07-27 2018-02-01 瑳京 奥条 ヘアサロンにおいてスタイリングを提案するための方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EARTH HOLDINGS: ""AI STYLIST", the App Where AI (Artificial Intelligence) Proposes a "Good Hairstyle for You", Adds a Simulation Function for Trying Out Hairstyles, Extends to iOS and Android", PRESS RELEASE, VALUE PRESS, JP, 8 March 2021 (2021-03-08), JP, pages 1 - 7, XP009543954, Retrieved from the Internet <URL:https://www.value-press.com/pressrelease/238377> [retrieved on 20230427] *

Also Published As

Publication number Publication date
JPWO2023032090A1 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
US20130129210A1 (en) Recommendation system based on the recognition of a face and style, and method thereof
WO2010103735A1 (ja) 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
KR20190097815A (ko) 토탈 뷰티 스타일 추천 방법
CN107005682A (zh) 监视系统、监视方法以及程序
WO2018029963A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2022021938A (ja) 入退場管理装置、入退場管理方法、入退場管理プログラム、および入退場管理システム
JP2006277028A (ja) 身体的特徴情報を用いた利用者登録方法及び認証代行システム
KR20120092889A (ko) 피부 관리 지원 시스템 및 방법과 이를 지원하는 휴대 단말기
WO2023032090A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP6736534B2 (ja) 通信中継装置、システム、方法及びプログラム
US20230056154A1 (en) Server device, conference room management method, and program recording medium
US12008838B2 (en) Private photo sharing system, method and network
JP2020188507A (ja) 遊戯画像撮影システムおよび画像処理装置
JP7468771B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR100497741B1 (ko) 미용 고객관리 시스템 및 방법
CN112292709A (zh) 用于提供发型推荐的系统和方法
JP2020052505A (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
CN109600353A (zh) 服务器装置、服务器客户端系统及非暂时性记录介质
JP7098561B2 (ja) 配信システム、配信システムの制御方法、プログラム
KR20140123634A (ko) 사용자 맞춤형 스타일링 서비스 시스템 및 방법
JPWO2021199114A5 (ja) 推薦装置、システム、方法及びプログラム
US20190318416A1 (en) System and Method for Providing Photography
WO2023089816A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体
JP7269309B1 (ja) 情報処理装置、画像提示方法、及びプログラム
WO2023175968A1 (ja) 施設管理装置、システム及び方法、並びに、コンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21955980

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023544882

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE