JP2024043864A - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2024043864A JP2024043864A JP2022149079A JP2022149079A JP2024043864A JP 2024043864 A JP2024043864 A JP 2024043864A JP 2022149079 A JP2022149079 A JP 2022149079A JP 2022149079 A JP2022149079 A JP 2022149079A JP 2024043864 A JP2024043864 A JP 2024043864A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- information
- unit
- hair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 210000004209 hair Anatomy 0.000 claims abstract description 380
- 238000012545 processing Methods 0.000 claims abstract description 160
- 239000002131 composite material Substances 0.000 claims abstract description 117
- 230000001815 facial effect Effects 0.000 claims description 110
- 238000011156 evaluation Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 32
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 description 69
- 238000010586 diagram Methods 0.000 description 39
- 238000003384 imaging method Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 22
- 230000004048 modification Effects 0.000 description 20
- 238000012986 modification Methods 0.000 description 20
- 230000004044 response Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 210000005069 ears Anatomy 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 10
- 210000000214 mouth Anatomy 0.000 description 10
- 210000001331 nose Anatomy 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000002203 pretreatment Methods 0.000 description 8
- 239000007844 bleaching agent Substances 0.000 description 7
- 238000004061 bleaching Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000037308 hair color Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101000685663 Homo sapiens Sodium/nucleoside cotransporter 1 Proteins 0.000 description 1
- 101000821827 Homo sapiens Sodium/nucleoside cotransporter 2 Proteins 0.000 description 1
- 101000822028 Homo sapiens Solute carrier family 28 member 3 Proteins 0.000 description 1
- 102100023116 Sodium/nucleoside cotransporter 1 Human genes 0.000 description 1
- 102100021541 Sodium/nucleoside cotransporter 2 Human genes 0.000 description 1
- 102100021470 Solute carrier family 28 member 3 Human genes 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来、ユーザの顔画像とヘア画像とを合成してユーザに提示する技術が知られている。例えば、特許文献1には、ヘアスタイルやヘアの色を変更するヘアシミュレーションによる画像処理を行い、かかる画像処理の結果を表示する技術が提案されている。 Conventionally, there is known a technique for synthesizing a face image and a hair image of a user and presenting the synthesized image to the user. For example, Patent Document 1 proposes a technique for performing image processing using a hair simulation to change the hairstyle and hair color, and displaying the results of the image processing.
しかしながら、上記従来技術では、ユーザがヘアスタイルを変更しながらどのヘアスタイルが自分に似合っているかを1つ1つ確認しなければならず、ヘアスタイルの種類が多くなるほどユーザの操作が煩雑になり、ユーザの利便性を向上させる点で改善の余地がある。 However, with the above conventional technology, the user must check which hairstyle suits them best as they change hairstyles, and the more hairstyles there are, the more complicated the user's operations become, leaving room for improvement in terms of improving user convenience.
本願は、上記に鑑みてなされたものであって、ユーザの利便性を向上させることができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。 The present application has been made in view of the above, and aims to provide an information processing device, an information processing method, and an information processing program that can improve user convenience.
本願に係る情報処理装置は、特定部と、取得部と、画像処理部とを備える。特定部は、顔の特徴を示す情報と顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである学習モデルを用いて、ユーザの顔に似合うと推定されるヘアスタイルを特定する。取得部は、特定部によって特定されたヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する。画像処理部は、取得部によって取得された投稿画像とユーザの顔画像とに基づいて、特定部によって特定されたヘアスタイルの画像とユーザの顔画像とを合成した合成画像を生成する。 The information processing device according to the present application includes an identification unit, an acquisition unit, and an image processing unit. The identification unit identifies a hairstyle that is estimated to suit the user's face using a learning model that is a model that has learned the relationship between information indicating facial features and hairstyles that are evaluated to suit the face. The acquisition unit acquires posted images that include a specific hair image that is an image of the hairstyle identified by the identification unit. The image processing unit generates a composite image by combining the image of the hairstyle identified by the identification unit with the user's facial image, based on the posted images acquired by the acquisition unit and the user's facial image.
実施形態の一態様によれば、ユーザの利便性を向上させることができる。 According to one aspect of the embodiment, user convenience can be improved.
以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Below, an information processing apparatus, an information processing method, and a form for implementing an information processing program (hereinafter referred to as an "embodiment") according to the present application will be described in detail with reference to the drawings. Note that the information processing apparatus, information processing method, and information processing program according to the present application are not limited to this embodiment. Moreover, each embodiment can be combined as appropriate within the range that does not conflict with the processing contents. Further, in each of the embodiments below, the same parts are given the same reference numerals, and redundant explanations will be omitted.
〔1.情報処理の一例〕
まず、図1を用いて、実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の一例を示す図である。なお、以下では、実施形態に係る情報処理装置が、図1に示す端末装置4である場合について説明するが、かかる情報処理装置は、図1に示す情報提供装置1であってもよく、端末装置4と情報提供装置1とを組み合わせた構成であってもよい。
[1. An example of information processing]
First, an example of information processing according to the embodiment will be described with reference to Fig. 1. Fig. 1 is a diagram showing an example of information processing according to the embodiment. In the following, a case will be described in which the information processing device according to the embodiment is the
図1に示す実施形態に係る情報提供装置1は、例えば、SNS(Social Networking Service)などのサービスを提供する情報処理装置である。例えば、情報提供装置1は、投稿者によって投稿された投稿情報を受け付ける。情報提供装置1は、投稿者から受け付けた投稿情報を閲覧者となるユーザUの端末装置4に対して配信する。
The information providing device 1 according to the embodiment shown in FIG. 1 is, for example, an information processing device that provides a service such as SNS (Social Networking Service). For example, the information providing device 1 receives posted information posted by a poster. The information providing device 1 distributes the posted information received from the poster to the
投稿者は、例えば、ヘアサロン、ヘア施術者、施術対象者などであり、ユーザUを含んでいてもよい。ヘアサロンは、美容室(美容院)や理容室(理容院)などである。ヘア施術者は、ヘアサロンにおいてヘア(髪)を整える施術者であり、ヘアスタイリストとも呼ばれる。施術対象者は、ヘア施術者によってヘアの施術を受けたユーザである。 The poster is, for example, a hair salon, a hair practitioner, a treatment target, etc., and may include the user U. Hair salons include beauty salons (beauty salons) and barber shops (barber salons). A hair practitioner is a practitioner who arranges hair at a hair salon, and is also called a hair stylist. The treatment target is a user who has undergone a hair treatment by a hair treatment person.
投稿者によって投稿される投稿情報は、例えば、投稿者を撮像して得られる投稿者撮像画像である投稿画像や投稿者が投稿したテキストである投稿テキストを示す情報などを含む。投稿画像は、例えば、投稿者のヘアや顔を含む投稿者の頭部の撮像画像を含む。 The posted information posted by the poster includes, for example, a posted image, which is a poster's captured image obtained by capturing an image of the poster, and information indicating posted text, which is text posted by the poster. The posted image includes, for example, a captured image of the poster's head, including the poster's hair and face.
また、投稿テキストは、例えば、投稿画像に対する投稿者のコメントなどを含む。投稿画像に対する投稿者のコメントは、例えば、投稿画像に対する投稿者の評価を示す評価情報を含む。以下において、投稿画像に対する投稿者のコメントを投稿者コメントと記載する場合がある。 Further, the posted text includes, for example, a poster's comment on the posted image. The poster's comment on the posted image includes, for example, evaluation information indicating the poster's evaluation on the posted image. In the following, a poster's comment on a posted image may be referred to as a poster comment.
また、情報提供装置1は、投稿情報に含まれる投稿画像に対する他のユーザ(閲覧者の一例)の評価を示す評価情報や投稿情報に対する他のユーザのコメントを受け付ける。そして、情報提供装置1は、受け付けた他のユーザの評価情報や他のユーザのコメントを含む上述した投稿情報を閲覧者の装置に対して配信する。閲覧者の装置は、例えば、ユーザUの端末装置4またはその他のユーザの装置である。以下において、他のユーザのコメントを閲覧者コメントと記載する場合がある。
In addition, the information providing device 1 accepts evaluation information indicating the evaluations of other users (an example of a viewer) on the posted image included in the posted information, and comments from other users on the posted information. Then, the information providing device 1 distributes the above-mentioned posted information including the accepted evaluation information of other users and the comments of other users to the viewer's device. The viewer's device is, for example, the
投稿情報に対する評価は、例えば、肯定的な評価(例えば、「グッド」)や否定的な評価(例えば、「バッド」)などであるが、中間的な評価(例えば、「普通」)などを含んでいてもよい。また、情報提供装置1は、投稿情報が他のユーザによってタイムラインに追加された数などの情報を投稿情報に対する評価として閲覧者となるユーザUの端末装置4に対して配信することもできる。
The evaluation of the posted information may be, for example, a positive evaluation (e.g., "good") or a negative evaluation (e.g., "bad"), but may also include an intermediate evaluation (e.g., "average"). In addition, the information providing device 1 may distribute information such as the number of times the posted information has been added to the timeline by other users as an evaluation of the posted information to the
情報提供装置1は、複数種類の学習モデルの情報を端末装置4に送信する(ステップS1)。複数種類の学習モデルは、第1の学習モデル、第2の学習モデル、第3の学習モデル、および第4の学習モデルを含む。 The information providing device 1 transmits information on multiple types of learning models to the terminal device 4 (step S1). The multiple types of learning models include a first learning model, a second learning model, a third learning model, and a fourth learning model.
まず、第1の学習モデルについて説明する。第1の学習モデルは、キーワードとヘア画像との関係性を学習したモデルであり、1以上のキーワードを入力としヘア画像を出力とする学習モデルである。第1の学習モデルは、キーワードとヘア画像との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。 First, the first learning model will be described. The first learning model is a model that has learned the relationship between keywords and hair images, and is a learning model that inputs one or more keywords and outputs hair images. The first learning model is generated by machine learning using learning data that includes multiple combinations of keywords and hair images.
なお、第1の学習モデルは、1以上のキーワードを入力としヘア画像特定情報を出力とする学習モデルであってもよい。ヘア画像特定情報は、ヘア画像を特定する情報である。 The first learning model may be a learning model that inputs one or more keywords and outputs hair image identification information. The hair image identification information is information that identifies a hair image.
情報提供装置1は、例えば、投稿者コメントや投稿者テキストなどに含まれる1以上のキーワードを抽出し、かかる1以上のキーワードとコメントの対象となった投稿画像との組み合わせを複数含むデータを上述した学習用データとして生成する。 The information providing device 1 extracts, for example, one or more keywords contained in the poster's comments or the poster's text, and generates data containing multiple combinations of the one or more keywords and the posted images that were the subject of the comments as the learning data described above.
また、情報提供装置1は、投稿者コメントや投稿者テキストからキーワードを抽出できない場合、閲覧者コメントに含まれる1以上のキーワードを抽出し、かかる1以上のキーワードとコメントの対象となった投稿画像との組み合わせを複数含むデータを上述した学習用データとして生成する。 Furthermore, if the keyword cannot be extracted from the poster's comment or the poster's text, the information providing device 1 extracts one or more keywords included in the viewer's comment, and extracts the one or more keywords and the posted image that is the subject of the comment. Data including a plurality of combinations of is generated as the above-mentioned learning data.
また、情報提供装置1は、投稿者コメントまたは投稿者テキストと、閲覧者コメントとに共に含まれる1以上のキーワードを抽出し、かかる1以上のキーワードとコメントの対象となった投稿画像との組み合わせを複数含むデータを上述した学習用データとして生成することもできる。 The information providing device 1 can also extract one or more keywords included in both the poster's comments or poster's text and the viewer's comments, and generate data containing multiple combinations of the one or more keywords and the posted images that were the subject of the comments as the learning data described above.
なお、学習用データは、投稿画像毎に作業者が割り当てたキーワードと投稿画像との組み合わせを複数含むデータであってもよい。また、学習用データは、投稿情報などのコンテンツに代えて、ウェブページなどのコンテンツなどに含まれる画像であってもよく、第三者が提供する画像であってもよい。投稿情報は、投稿コンテンツの一例である。 The learning data may be data that includes multiple combinations of posted images and keywords assigned by an operator for each posted image. Furthermore, instead of content such as posted information, the learning data may be images included in content such as web pages, or images provided by a third party. Posted information is an example of posted content.
例えば、情報提供装置1は、人の顔とヘアとが含まれる画像と文章とが含まれるコンテンツをネットワーク経由で取得し、かかるコンテンツに含まれる文章からキーワードを抽出することもできる。この場合、情報提供装置1は、コンテンツに含まれる文章から抽出したキーワードとコンテンツに含まれる画像との組み合わせを複数含むデータを学習用データとして生成する。 For example, the information providing device 1 can also acquire content including text and an image including a person's face and hair via a network, and extract keywords from the text included in the content. In this case, the information providing device 1 generates data including a plurality of combinations of keywords extracted from sentences included in the content and images included in the content as learning data.
次に、第2の学習モデルについて説明する。第2の学習モデルは、顔画像と顔の特徴を示す情報との関係を学習した学習モデルであり、顔画像を含む画像を入力とし、顔の特徴を示す情報を出力とする学習モデルである。 Next, we will explain the second learning model. The second learning model is a learning model that learns the relationship between face images and information indicating facial features, and is a learning model that takes images including face images as input and outputs information indicating facial features.
第2の学習モデルは、顔画像を含む画像と顔の特徴を示す情報との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。顔の特徴を示す情報は、例えば、顔型の種類を示す情報であるが、顔における眉、目、鼻、口、および耳のうちの1以上の大きさ、形、位置などの各パーツの特徴を示す情報であってもよい。 The second learning model is generated by machine learning using learning data including a plurality of combinations of images including facial images and information indicating facial features. Information indicating facial features is, for example, information indicating the type of face shape, and information indicating the size, shape, and position of one or more of the eyebrows, eyes, nose, mouth, and ears on the face. It may also be information indicating characteristics.
また、顔の特徴を示す情報は、顔における眉、目、鼻、口、および耳の各々の位置を示す情報であってもよく、顔における眉、目、鼻、口、および耳の各々の位置および大きさを示す情報などであってもよい。 In addition, the information indicating facial features may be information indicating the positions of the eyebrows, eyes, nose, mouth, and ears on the face, or information indicating the positions and sizes of the eyebrows, eyes, nose, mouth, and ears on the face.
次に、第3の学習モデルについて説明する。第3の学習モデルは、顔の特徴を示す情報と当該顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルであり、顔の特徴を示す情報を入力とし当該顔に似合うと推定されるヘアスタイルを示す情報を出力とする学習モデルである。 Next, the third learning model will be explained. The third learning model is a model that has learned the relationship between information indicating facial features and hairstyles that have been evaluated as suitable for the face, and is estimated to be suitable for the face using the information indicating facial characteristics as input. This is a learning model whose output is information indicating the hairstyle to be used.
第3の学習モデルは、顔の特徴を示す情報と、ヘア画像と、顔の特徴を示す情報とヘア画像との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。 The third learning model is generated by machine learning using learning data that includes multiple combinations of information indicating facial features, hair images, and information indicating evaluations of combinations of information indicating facial features and hair images.
情報提供装置1は、投稿画像、閲覧者コメント、および評価情報などを各々含む複数の投稿情報を収集する。顔画像は、顔画像およびヘア画像を含み、評価情報は、閲覧者である他のユーザの投稿画像に対する評価を示す情報であるが、投稿者コメントに含まれる評価を示す情報が含まれていてもよい。 The information providing device 1 collects a plurality of pieces of posted information, each of which includes a posted image, a viewer's comments, and evaluation information. The face image includes a face image and a hair image, and the evaluation information is information indicating the evaluation of the posted image by other users who are viewers, but may also include information indicating the evaluation included in the poster's comments.
情報提供装置1は、収集した各投稿情報に含まれる顔画像で示される顔の特徴を抽出する。そして、情報提供装置1は、投稿情報の投稿画像に含まれるヘア画像と、抽出した顔の特徴を示す情報と、評価情報とを含むデータを上述した学習用データとして生成する。 The information providing device 1 extracts facial features indicated by face images included in each piece of collected post information. The information providing device 1 then generates data including a hair image included in the posted image of the post information, information indicating the extracted facial features, and evaluation information as the learning data described above.
第3の学習モデルにおいて、顔の特徴を示す情報は、例えば、顔型の種類を示す情報であるが、顔における眉、目、鼻、口、および耳のうちの1以上の大きさ、形、位置などの各パーツの特徴を示す情報であってもよい。また、顔の特徴を示す情報は、顔における眉、目、鼻、口、および耳の各々の位置を示す情報であってもよく、顔における眉、目、鼻、口、および耳の各々の位置および大きさを示す情報などであってもよい。 In the third learning model, the information indicating facial features is, for example, information indicating the type of face shape, and the size and shape of one or more of the eyebrows, eyes, nose, mouth, and ears on the face. , may be information indicating the characteristics of each part, such as its position. Further, the information indicating the facial features may be information indicating the positions of the eyebrows, eyes, nose, mouth, and ears on the face. It may also be information indicating the position and size.
次に、第4の学習モデルについて説明する。第4の学習モデルは、施術前後のヘア画像と施術内容との関係を学習した学習モデルであり、施術前後のヘア画像を入力とし、推定される施術内容を示す情報を出力とする学習モデルである。施術前後のヘア画像は、ヘア施術前のヘア画像とヘア施術後のヘア画像とを含む。 Next, the fourth learning model will be explained. The fourth learning model is a learning model that has learned the relationship between the hair images before and after the treatment and the treatment content, and is a learning model that uses the hair images before and after the treatment as input, and outputs information indicating the estimated treatment content. be. The hair images before and after the hair treatment include a hair image before the hair treatment and a hair image after the hair treatment.
施術内容は、例えば、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無などを含む。施術内容を示す情報は、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無の各々のスコアの情報を含む。 The details of the treatment include, for example, whether or not to cut, the amount of cut, whether or not to bleach, the number of times to bleach, whether or not to color, the type of color, whether or not to perm, the type of perm, whether or not to straighten the hair, etc. Information indicating the details of the treatment includes score information for each of whether or not to cut, the amount of cut, whether or not to bleach, the number of times to bleach, whether or not to color, the type of color, whether or not to perm, the type of perm, and whether or not to straighten the hair.
また、施術内容を示す情報は、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無の組み合わせ毎のスコアの情報を含んでいてもよい。 In addition, the information indicating the treatment contents may include score information for each combination of whether or not a cut was performed, the amount of cut, whether or not bleaching was performed, the number of times bleaching was performed, whether or not coloring was performed, the type of coloring, whether or not perming was performed, the type of perming, and whether or not hair straightening was performed.
第4の学習モデルは、施術前後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データを用いて、機械学習によって生成される。情報提供装置1は、例えば、ヘアサロンまたはヘアスタイリストなどの装置から、施術前後のヘア画像とその施術内容を示す情報とを含む施術情報を収集する。そして、情報提供装置1は、収集した施術情報に基づいて、施術前後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データを生成する。 The fourth learning model is generated by machine learning using learning data including a plurality of combinations of hair images before and after the treatment and information indicating the treatment details. The information providing device 1 collects treatment information including hair images before and after the treatment and information indicating the contents of the treatment from a device such as a hair salon or a hair stylist. Based on the collected treatment information, the information providing device 1 generates learning data including a plurality of combinations of hair images before and after the treatment and information indicating the treatment details.
上述した各学習モデルは、任意の種別のモデルが採用可能である。例えば、各学習モデルは、DNN(Deep Neural Network)、GBDT(Gradient Boosting Decision Tree)、SVM(Support Vector Machine)などのように、機械学習によって生成されるモデルである。DNNは、例えば、CNN(Convolutional Neural Network)やRNN(Recurrent Neural Network)である。また、RNNは、LSTM(Long short-term memory)などであってもよい。また、各学習モデルは、例えば、CNNとRNNとを組み合わせたモデルなど、複数のモデルを組み合わせることで実現されるモデルであってもよい。 Any type of model can be employed as each of the learning models described above. For example, each learning model is a model generated by machine learning, such as a DNN (Deep Neural Network), a GBDT (Gradient Boosting Decision Tree), or an SVM (Support Vector Machine). The DNN is, for example, a CNN (Convolutional Neural Network) or an RNN (Recurrent Neural Network). Further, the RNN may be an LSTM (Long short-term memory) or the like. Further, each learning model may be a model realized by combining a plurality of models, such as a model combining CNN and RNN.
つづいて、端末装置4は、情報提供装置1から送信される複数種類の学習モデルの情報を受信し、受信した複数種類の学習モデルの情報を内部の記憶部に記憶する(ステップS2)。
Next, the
端末装置4のユーザUは、ヘアサロンに対してヘア施術の予約を行う前に、どのようなヘアスタイルにするのかを検討する場合がある。ヘアスタイルの検討は、例えば、ウェブ検索で検索される情報や雑誌に掲載された情報などから行うことができる。
A user U of the
例えば、ユーザUは、キーワード検索またはウェブ検索などによって得られたヘアスタイル関連画像を端末装置4に表示させることができる。ヘアスタイル関連画像は、ヘアスタイルをユーザUが確認することができる画像であり、少なくともヘア画像と顔画像とを含む画像である。
For example, the user U can display hairstyle-related images obtained by a keyword search or a web search on the
ここで、キーワード検索について説明する。端末装置4は、複数のキーワードを表示部に表示する(ステップS3)。これらの複数のキーワードは、予め定められた複数のキーワードであるが、複数のキーワードからランダムに抽出された複数のキーワードまたは予め定められた条件を満たす複数のキーワードであってもよい。
Here, we will explain keyword search. The
予め定められた条件を満たす複数のキーワードは、例えば、ユーザUによって選択される回数が多い順に上位の所定数のキーワードである。抽出候補となるキーワードは、例えば、第1の学習モデルへの入力対象となるキーワードである。 The multiple keywords that satisfy the predetermined conditions are, for example, a predetermined number of keywords that are most frequently selected by user U. The keywords that are candidates for extraction are, for example, keywords that are to be input to the first learning model.
端末装置4は、ユーザUによって1以上のキーワードが指定された場合、ユーザUによって指定された1以上のキーワードを受け付け、かかる1以上のキーワードに対応するヘア画像を、第1の学習モデルを用いて、特定する(ステップS4)。
When one or more keywords are specified by the user U, the
ステップS4において、端末装置4は、ユーザUによって指定された1以上のキーワードを第1の学習モデルに入力して第1の学習モデルから出力される情報に基づいて、ユーザUによって指定された1以上のキーワードに対応するヘア画像を特定する。
In step S4, the
例えば、端末装置4は、第1の学習モデルがヘア画像を出力する場合、第1の学習モデルから出力されるヘア画像を、ユーザUによって指定された1以上のキーワードに対応するヘア画像として特定する。
For example, when the first learning model outputs a hair image, the
また、端末装置4は、第1の学習モデルがヘア画像特定情報を出力する場合、第1の学習モデルから出力されるヘア画像特定情報を取得し、取得したヘア画像特定情報で特定されるヘア画像を内部の記憶部または情報提供装置1から取得する。この場合も、端末装置4は、取得したヘア画像を、ユーザUによって指定された1以上のキーワードに対応するヘア画像として特定する。
In addition, when the first learning model outputs hair image specific information, the
つづいて、端末装置4は、ステップS4で特定したヘア画像と類似するヘア画像を含む画像である類似ヘア画像を複数取得し、取得した類似ヘア画像を表示部に表示する(ステップS5)。ステップS5において、端末装置4は、ステップS4で特定したヘア画像を含む類似画像検索要求を不図示の類似画像検索サーバまたは情報提供装置1に送信する。
Subsequently, the
類似画像検索サーバまたは情報提供装置1は、端末装置4からの類似画像検索要求に含まれるヘア画像に基づいて、複数の類似ヘア画像を検索し、検索で得られる1以上の類似ヘア画像を端末装置4に送信する。端末装置4は、類似画像検索要求に応じて類似画像検索サーバまたは情報提供装置1から送信される複数の類似ヘア画像を取得する。
The similar image search server or information providing device 1 searches for a plurality of similar hair images based on the hair images included in the similar image search request from the
このように、端末装置4は、ユーザUによって指定された1以上のキーワードに基づいて、複数の類似ヘア画像を表示部に表示する。これにより、ユーザUは、キーワードを指定するだけで、検討対象となるヘア画像を確認することができる。
In this way, the
なお、上述した例では、端末装置4によって提示された複数のキーワードの中からユーザUが1以上のキーワードを指定するが、ユーザUによる1以上のキーワードの指定は、かかる例に限定されない。例えば、ユーザUは、端末装置4を操作して1以上のキーワードを端末装置4に入力することで、1以上のキーワードを指定したり、音声によって1以上のキーワードを端末装置4に入力することで、1以上のキーワードを指定したりすることもできる。
In the above example, the user U designates one or more keywords from among the multiple keywords presented by the
また、ユーザUは、キーワード検索に代えてまたは加えて、ユーザUの顔の特徴からヘアスタイルの検討を行うこともでき、以下において、ユーザUの顔の特徴からのヘアスタイルの検討について説明する。 In addition, instead of or in addition to the keyword search, the user U can also consider hairstyles based on the facial features of the user U. Below, consideration of hairstyles based on the facial features of the user U will be explained. .
端末装置4は、ユーザUによって指定されたユーザ撮像画像に基づいて、ユーザUの顔の特徴を判定する(ステップS6)。ユーザ撮像画像は、ユーザUのヘアおよび顔を含む頭部の画像であって端末装置4の不図示の撮像部または不図示の装置の撮像部などによって撮像された画像であり、ユーザ画像の一例である。端末装置4は、例えば、ユーザUによる操作に基づいて、ユーザ撮像画像を取得する。
The
例えば、ユーザUは、端末装置4を操作して、ユーザUのヘアおよび顔を含む頭部を端末装置4の撮像部で撮像して、ユーザ撮像画像を端末装置4に複数取得させることができる。ユーザUは、端末装置4を操作して、端末装置4で取得された複数のユーザ撮像画像の中から所望のユーザ撮像画像を指定することができる。
For example, the user U can operate the
ステップS6において、端末装置4は、例えば、予め定められた複数種類の顔の特徴の中からユーザ撮像画像で示されるユーザUの顔の特徴を判定する。例えば、端末装置4は、上述した第2の学習モデルにユーザ撮像画像を入力し、第2の学習モデルから出力される顔の特徴を示す情報に基づいて、ユーザUの顔の特徴を判定する。
In step S6, the
また、端末装置4は、複数種類の顔の特徴の各々を示す情報を有していてもよく、この場合、端末装置4は、各種類の顔の特徴を示す情報とユーザ撮像画像で示されるユーザUの顔の特徴を示す情報とのパターンマッチング技術によって、ユーザUの顔の特徴を判定する。
The
また、端末装置4は、複数種類の顔の特徴(例えば、顔型)の各々を示す線画である顔特徴線画を表示部に表示し、これら複数種類の顔特徴線画の中からユーザUに自分の顔型に最も近い顔特徴線画を選択させることもできる。
Further, the
つづいて、端末装置4は、上述した第3の学習モデルを用いて、ステップS6で判定したユーザUの顔の特徴から、ユーザUの顔に似合うと推定されるヘアスタイルを特定する(ステップS7)。第3の学習モデルは、上述したように、顔の特徴を示す情報とその顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである。
Subsequently, the
端末装置4は、ステップS7において、ステップS6で判定したユーザUの顔の特徴を示す情報を第3の学習モデルに入力し、第3の学習モデルから出力されるヘアスタイルの情報に基づいて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。ヘアスタイルの情報は、ヘア画像であり、端末装置4は、第3の学習モデルから出力されるヘア画像を、ユーザUの顔に似合うと推定されるヘアスタイルとして特定する。
In step S7, the
つづいて、端末装置4は、ユーザUの顔画像であるユーザ顔画像とユーザUによって選択されたヘア画像とを合成した合成画像を生成し、生成した合成画像を表示部に表示する(ステップS8)。ユーザ顔画像は、例えば、上述したユーザ撮像画像またはユーザ撮像画像に含まれる画像である。
Then, the
ユーザUによって選択されたヘア画像は、例えば、ステップS8で特定されたヘアスタイルの画像またはキーワード検索によって取得された複数の類似ヘア画像のうち、ユーザUによって選択された1以上の画像である。 The hair image selected by user U is, for example, one or more images selected by user U from among the images of the hairstyle identified in step S8 or multiple similar hair images obtained by keyword search.
端末装置4は、ステップS8で特定されたヘアスタイルの画像である特定ヘア画像またはキーワード検索によって取得された複数の類似ヘア画像の中からのユーザUによる1以上のヘア画像の選択を受け付ける。また、端末装置4は、例えば、ユーザUによって閲覧された複数のウェブページなどに含まれる複数のヘア画像の中からユーザUによる1以上のヘア画像の選択を受け付けることもできる。
The
端末装置4は、ユーザUによって2以上のヘア画像が選択された場合、かかる2以上のヘア画像を合成して得られる合成ヘア画像をユーザ顔画像と合成することで合成画像を生成する。
When two or more hair images are selected by the user U, the
ユーザUによって選択されたヘア画像は、例えば、端末装置4における不図示の撮像部によって撮像された撮像画像であってもよい。かかる撮像画像は、例えば、雑誌に掲載された人物の顔およびヘアを含む写真を撮像した画像である。この場合、端末装置4は、例えば、端末装置4によって撮像された撮像画像のユーザUによって選択された撮像画像に含まれる人物の顔画像をユーザ顔画像に含まれるユーザUの顔画像に置き換えることで合成画像を生成する。
The hair image selected by the user U may be, for example, a captured image captured by an imaging unit (not shown) in the
また、雑誌に掲載された写真を撮像した撮像画像は、撮像画像に含まれる人物の顔が正面を向いていない場合がある。この場合、端末装置4は、人物の顔が正面を向く方向に撮像画像を射影変換した撮像画像に含まれる顔画像をユーザ顔画像に置き換えることで合成画像を生成する。また、端末装置4は、ユーザUによって複数の撮像画像が選択された場合、複数の撮像画像を合成して得られる合成撮像画像に含まれる顔画像をユーザ顔画像に置き換えることで合成画像を生成する。
In addition, in a captured image taken from a photo published in a magazine, the face of a person included in the captured image may not be facing forward. In this case, the
また、端末装置4は、ユーザUの操作に基づいて、複数のヘア画像の中からユーザUによって選択されるヘア画像が変更された場合、ユーザUの操作によって選択が変更されたヘア画像と合成した合成画像である変更後合成画像を生成し、生成した変更後合成画像を表示部に表示する。
Furthermore, when the hair image selected by the user U from a plurality of hair images is changed based on the user's operation, the
例えば、端末装置4は、ユーザUの第1の変更操作に基づいて、複数のヘア画像の中からユーザUによって選択されるヘア画像が変更される毎に、対応する変更後合成画像を生成し、生成した変更後合成画像を表示部に表示する。第1の変更操作は、例えば、左右方向へのスクロール操作または左右方向へのスワイプ操作である。
For example, the
また、端末装置4は、ユーザUの第2の変更操作に基づいて、合成画像に含まれるヘア画像の髪の長さおよび色のうちの少なくとも1つを変更することもできる。端末装置4は、例えば、第2の変更操作が行われる毎に、合成画像に含まれるヘア画像の髪の長さおよび色のうちの少なくとも1つを変更する。第1の変更操作は、例えば、上下方向へのスクロール操作または上下方向へのスワイプ操作である。
Further, the
また、端末装置4は、ユーザUによって選択されたヘア画像の加工を受け付けた場合、受け付けられた加工をヘア画像に施すことで加工ヘア画像を生成することもできる。ヘア画像の加工は、例えば、ヘア画像の髪の長さおよび色のうちの少なくとも1つを変更する加工である。この場合、端末装置4は、ステップS8において、ユーザ顔画像と加工ヘア画像とを合成した合成画像を生成し、生成した合成画像を表示部に表示する。
When the
つづいて、端末装置4は、上述した第4の学習モデルを用いて、ユーザUの施術前の画像とステップS8で生成した合成画像とから、施術内容を推定する(ステップS9)。ユーザUの施術前の画像は、例えば、上述したユーザ撮像画像である。ステップS9で推定される施術内容は、ステップS8で生成した合成画像で示されるヘアスタイルにするために必要な施術内容であり、以下において、推定施術内容と記載する場合がある。
Next, the
ステップS9において、端末装置4は、ユーザUの施術前の画像とステップS8で生成した合成画像とを第4の学習モデルに入力した場合に、第4の学習モデルから出力される施術内容を示す情報に基づいて、推定施術内容を判定する。
In step S9, the
また、端末装置4は、判定した推定施術内容に基づいて、推定施術内容での施術に必要な費用である施術費用を判定する(ステップS10)。例えば、端末装置4は、施術内容と施術費用との関係を示すヘアサロン毎の施術費用情報に基づいて、ヘアサロン毎の施術費用を判定することができる。端末装置4は、例えば、情報提供装置1などからヘアサロン毎の施術費用情報を取得することができる。
Furthermore, the
また、端末装置4は、ユーザUによる施術内容の指定を受け付けた場合、指定を受け付けた施術内容であるユーザ指定施術内容と推定施術内容とを比較し、比較した結果を示す比較情報を生成する(ステップS11)。比較情報には、例えば、ユーザ指定施術内容と推定施術内容との差を示す情報が含まれる。例えば、端末装置4は、推定施術内容が、ユーザ指定施術内容に加えて、ブリーチの数が1つ多い場合、ユーザ指定施術内容よりもブリーチの数が1つ増加することを示す情報を含む比較情報を生成する。
When the
つづいて、端末装置4は、ステップS9で推定した施術内容を示す情報、ステップS10で判定した施術費用の情報である施術費用情報、およびステップS11で生成した比較情報などを含む施術関連情報を表示部に表示する(ステップS12)。これにより、ユーザUは、選択したヘア画像で示されるヘアスタイルにするために必要であると推定される施術内容や施術費用などを把握することができ、端末装置4は、ユーザUの利便性を向上させることができる。
Subsequently, the
つづいて、端末装置4は、ステップS9で推定した施術内容に対するユーザUの許諾または不許諾を示す応答である許諾可否応答を受け付ける(ステップS13)。ユーザUは、ステップS9で推定された施術内容が受け入れ可能である場合、端末装置4を操作して、許諾を示す応答を行い、ステップS9で推定された施術内容が受け入れられない場合、端末装置4を操作して、不許諾を示す応答を行う。
Subsequently, the
つづいて、端末装置4は、受け付けた許諾可否応答が許諾を示す応答である場合、特定画像と施術内容情報とを含む予約要求をヘア施術者宛に出力する(ステップS14)。特定画像は、例えば、ステップS8で生成された合成画像またはユーザUによって選択されたヘア画像と、施術前のユーザUのヘア画像を含むユーザ撮像画像とを含む。施術内容情報は、ユーザUによって指定が受け付けられた施術内容を示す情報およびステップS9で推定された施術内容を示す情報のうちの少なくとも一方の情報を含む情報である。
Next, if the accepted permission/denial response is a response indicating approval, the
上述した予約要求は、例えば、情報提供装置1を介してヘア施術者の店舗装置5に出力されるが、SNSまたは不図示のメールサーバなどを介してヘア施術者の店舗装置5に出力されてもよい。ヘア施術者の店舗装置5は、端末装置4から出力される予約要求を受信し、受信した予約要求に含まれる特定画像と施術内容情報とを表示する。これにより、ヘア施術者は、予約要求に含まれる特定画像と施術内容情報とを確認することができる。
The reservation request described above is output to the hair practitioner's
ヘア施術者は、店舗装置5を操作して、予約要求に含まれる特定画像の修正や施術内容情報で示される施術内容の修正を行うことができる。この場合、店舗装置5は、修正後の特定画像である修正特定画像や修正後の施術内容を示す情報である修正施術内容情報などを含む修正情報をユーザU宛に出力する。修正情報は、例えば、情報提供装置1を介して端末装置4に出力されるが、SNSまたは不図示のメールサーバなどを介して端末装置4に出力されてもよい。
The hair practitioner can operate the
ヘア施術者は、店舗装置5を操作して、予約要求に含まれる合成画像で示されるヘアスタイルへの施術が可能かどうかのコメントを店舗装置5に入力することができる。この場合、店舗装置5は、合成画像で示されるヘアスタイルへの施術が可能かどうかのコメントである施術者コメントをユーザU宛に出力する。コメントは、例えば、情報提供装置1を介して端末装置4に出力されるが、SNSまたは不図示のメールサーバなどを介して端末装置4に出力されてもよい。
The hair practitioner can operate the
また、ヘア施術者は、予約要求に含まれる特定画像の修正や予約要求に含まれる施術内容情報で示される施術内容の修正の必要がない場合、店舗装置5を操作して、店舗装置5からユーザUに対して予約を受け付けたことを示す予約受付情報を出力させる。
In addition, if there is no need to modify the specific image included in the reservation request or the treatment content indicated by the treatment content information included in the reservation request, the hair practitioner operates the in-
端末装置4は、店舗装置5からの修正情報や施術者コメントを取得すると、取得した修正情報や施術者コメントを表示部に表示する(ステップS15)。これにより、ユーザUは、ヘア施術者による修正案やコメントを確認することができ、ヘア施術者の意思疎通を容易に行うことができる。
When the
以上のように、情報処理装置の一例である端末装置4は、ユーザUの顔画像であるユーザ顔画像とユーザUによって選択されたヘア画像とを合成した合成画像を生成し、生成した合成画像をヘア施術者宛に出力する。これにより、ユーザUは、所望のヘア画像とユーザ顔画像とを合成した合成画像をヘア施術者宛に提示することができ、ヘア施術者に対して漠然と所望のヘアスタイルを伝える場合に比べて、所望のヘアスタイルをヘア施術者に具体的に伝えることができる。したがって、端末装置4は、ユーザUの利便性を向上させることができる。
As described above,
また、情報処理装置の一例である端末装置4は、ユーザUの顔画像であるユーザ顔画像とユーザUによって選択されたヘア画像とを合成した合成画像を生成し、施術前後のヘア画像と施術内容との関係を学習した学習モデルを用いて、ユーザUの施術前の画像と合成画像とから施術内容を推定する。これにより、例えば、ユーザUは、所望のヘアスタイルにするための施術内容を把握することができ、また、所望のヘアスタイルにするための施術内容をヘア施術者に具体的に伝えることができる。したがって、端末装置4は、ユーザUの利便性を向上させることができる。
Furthermore,
また、情報処理装置の一例である端末装置4は、ユーザUによる1以上のキーワードの指定を受け付け、かかる1以上のキーワードを入力としヘア画像を出力とする学習モデルを用いて、受付部によって指定が受け付けられた1以上のキーワードからヘア画像を特定する。そして、端末装置4は、特定したヘア画像と類似するヘア画像を含む画像である類似ヘア画像を取得する。これにより、ユーザUは、キーワードを指定するだけで所望のヘアスタイルに対応するヘア画像を容易に収集することができる。したがって、端末装置4は、ユーザUの利便性を向上させることができる。
Further, the
また、情報処理装置の一例である端末装置4は、顔の特徴を示す情報と顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである学習モデルを用いて、ユーザUの顔に似合うと推定されるヘアスタイルを特定し、特定したヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する。そして、端末装置4は、取得部によって取得された投稿画像とユーザUの顔画像とに基づいて、特定部によって特定されたヘアスタイルの画像とユーザUの顔画像とを合成した合成画像を生成する。これにより、ユーザUは、ユーザUの顔に似合うと推定されるヘアスタイルを自身に適用した場合の画像を容易に取得することができる。したがって、端末装置4は、ユーザUの利便性を向上させることができる。
Furthermore,
また、上述した例では、端末装置4によって種々の処理を行う例を説明したが、上述した端末装置4の処理の一部または全部は、情報提供装置1主体の処理により行われてもよい。例えば、情報提供装置1は、API(Application Programming Interface)などのインターフェイスを介して端末装置4から入力された情報に基づいて生成した情報を端末装置4に提供し、端末装置4が情報提供装置1から提供された情報に基づいて上述した情報を表示させるものであってもよい。また、図1では、端末装置4と情報提供装置1とが別装置である場合を示したが、端末装置4と情報提供装置1とが情報処理装置として一体であってもよい。
Furthermore, in the above-described example, various processes are performed by the
以下、このような処理を行う情報提供装置1、端末装置4、および店舗装置5を含む情報処理システムの構成などについて、詳細に説明する。
Hereinafter, the configuration of the information processing system including the information providing device 1, the
〔2.情報処理システムの構成〕
図2は、実施形態に係る情報処理システムの構成の一例を示す図である。図2に示すように、実施形態に係る情報処理システム100は、情報提供装置1と、複数の端末装置4と、複数の店舗装置5とを含む。
[2. Information processing system configuration]
FIG. 2 is a diagram illustrating an example of the configuration of the information processing system according to the embodiment. As shown in FIG. 2, the
複数の端末装置4の各々は、互いに異なるユーザUによって用いられる。複数の店舗装置5の各々は、例えば、互いに異なるヘアサロンに設置され、互いに異なるヘアサロンのヘア施術者などによって用いられる。
Each of the multiple
情報提供装置1、端末装置4、および店舗装置5は、ネットワークNを介して、有線または無線により互いに通信可能に接続される。なお、図2に示す情報処理システム100には、情報提供装置1が複数含まれてもよい。ネットワークNは、例えば、LAN(Local Area Network)や、インターネットなどのWAN(Wide Area Network)である。
The information providing device 1, the
情報提供装置1は、各種の情報を提供する情報処理装置である。情報提供装置1は、SNSサイト、ウェブ検索サイト、コンテンツ配信サイトなどによるオンラインサービスを提供する。SNSサイトは、端末装置4や店舗装置5などから送信された投稿情報を受け付け、ユーザUやヘア施術者などからの要求に基づいて、端末装置4や店舗装置5に投稿情報を送信する。また、情報提供装置1は、上述したSNSサイトなどから投稿情報などの情報を取得する情報処理装置であってもよい。
The information providing device 1 is an information processing device that provides various types of information. The information providing device 1 provides online services through SNS sites, web search sites, content distribution sites, and the like. The SNS site receives posted information sent from the
また、コンテンツ配信サイトは、コンテンツ配信サービスを提供するサイトであり、動画・音楽配信サイト、地図サイト、ルート検索サイト、経路案内サイト、路線情報サイト、運行情報サイト、天気予報サイトなどを含む。また、情報提供装置1は、例えば、電子決済サイト、オンラインゲームサイト、オンラインバンキングサイト、または宿泊・チケット予約サイトなどの種々のオンラインサイトによるオンラインサービスを提供することもできる。 A content distribution site is a site that provides content distribution services, and includes video/music distribution sites, map sites, route search sites, route guidance sites, line information sites, traffic information sites, weather forecast sites, etc. The information providing device 1 can also provide online services through various online sites, such as electronic payment sites, online game sites, online banking sites, or accommodation/ticket reservation sites.
端末装置4および店舗装置5の各々は、例えば、デスクトップ型PC(Personal Computer)、ノート型PC、タブレット端末、スマートフォン、携帯電話機、またはPDA(Personal Digital Assistant)などである。なお、端末装置4および店舗装置5の各々は、上記例に限定されなくともよく、例えば、スマートウォッチまたはウェアラブルデバイス(Wearable Device)などであってもよい。
Each of the
また、各端末装置4は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)などの無線通信網や、Bluetooth(登録商標)、無線LANなどの近距離無線通信を介してネットワークNに接続し、情報提供装置1や各店舗装置5と通信することができる。
In addition, each
また、各店舗装置5は、LTE、4G、5Gなどの無線通信網や、Bluetooth、無線LANなどの近距離無線通信を介してネットワークNに接続し、情報提供装置1や各端末装置4と通信することができる。
In addition, each
〔3.情報提供装置1の構成〕
次に、図3を参照して、情報提供装置1の構成例について説明する。図3は、実施形態に係る情報提供装置1の構成例を示す図である。図3に示されるように、情報提供装置1は、通信部10と、記憶部11と、処理部12とを有する。
[3. Configuration of information providing device 1]
Next, a configuration example of the information providing device 1 will be described with reference to FIG. 3. FIG. 3 is a diagram showing a configuration example of the information providing device 1 according to the embodiment. As shown in FIG. 3, the information providing device 1 includes a communication section 10, a
〔3.1.通信部10〕
通信部10は、例えば、NIC(Network Interface Card)などによって実現される。通信部10は、有線または無線によりネットワーク網と接続され、ネットワークNを介して、端末装置4や店舗装置5などとの間で情報の送受信を行う。
3.1. Communication unit 10
The communication unit 10 is realized by, for example, a network interface card (NIC) etc. The communication unit 10 is connected to a network by wire or wirelessly, and transmits and receives information to and from the
〔3.2.記憶部11〕
記憶部11は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。記憶部11は、ユーザ情報記憶部20と、投稿情報記憶部21と、モデル情報記憶部22と、コンテンツ記憶部23とを記憶する。
[3.2. Storage unit 11]
The
〔3.2.1.ユーザ情報記憶部20〕
ユーザ情報記憶部20は、ユーザUに関する情報を記憶する。図4は、実施形態に係る情報提供装置1のユーザ情報記憶部20に記憶されるユーザ情報テーブルの一例を示す図である。
[3.2.1. User information storage unit 20]
The user information storage unit 20 stores information regarding the user U. FIG. 4 is a diagram showing an example of a user information table stored in the user information storage unit 20 of the information providing device 1 according to the embodiment.
図4に示すように、ユーザ情報記憶部20に記憶されるユーザ情報テーブルは、「ユーザID(IDentifier)」、「属性情報」、および「履歴情報」などの項目を含む。「ユーザID」は、ユーザUを識別する識別情報である。 As shown in FIG. 4, the user information table stored in the user information storage unit 20 includes items such as "User ID (IDentifier)," "Attribute information," and "History information." "User ID" is identification information that identifies user U.
「属性情報」は、「ユーザID」に対応するユーザUの属性であるユーザ属性に関する情報であり、サイコグラフィック属性の情報や、デモグラフィック属性の情報などを含む。デモグラフィック属性は、例えば、性別、年齢、居住地、および職業などであり、サイコグラフィック属性は、旅行、服、車、宗教などの興味関心対象、生活スタイル、思想や思想の傾向などである。 "Attribute information" is information about user attributes, which are attributes of user U corresponding to "user ID", and includes psychographic attribute information and demographic attribute information. Demographic attributes are, for example, gender, age, place of residence, and occupation, while psychographic attributes are interests such as travel, clothes, cars, and religion, lifestyle, thoughts, and ideological tendencies.
「履歴情報」は、「ユーザID」に対応するユーザUのサービスの利用履歴などの情報を含む履歴情報であり、例えば、ユーザUの投稿履歴情報、ユーザUの検索履歴情報、およびユーザUの閲覧履歴情報などを含む。ユーザUの投稿履歴情報は、ユーザUによってSNSサイトに投稿された投稿情報、他のユーザUの投稿情報に対するユーザUによるコメント、他のユーザUの投稿情報に対するユーザUによる評価を示す情報などが含まれる。 "History information" is history information that includes information such as user U's service usage history corresponding to the "user ID", and includes, for example, user U's posting history information, user U's search history information, and user U's Contains browsing history information, etc. User U's posting history information includes information posted by user U to SNS sites, comments by user U on posted information by other users U, information indicating user U's evaluation of posted information by other users U, etc. included.
ユーザUの検索履歴情報は、例えば、SNSサイトでの投稿情報の検索履歴の情報、各種のウェブサイトでの検索履歴の情報などである。ユーザUの閲覧履歴情報は、例えば、SNSサイトでの投稿情報のユーザUによる閲覧履歴の情報、各種のウェブサイトでの閲覧履歴の情報などの情報である。 The search history information of the user U is, for example, information on the search history of posted information on SNS sites, information on the search history on various websites, and the like. The browsing history information of the user U is, for example, information such as information on the browsing history by the user U of posted information on SNS sites, information on browsing history on various websites, and the like.
〔3.2.2.投稿情報記憶部21〕
投稿情報記憶部21は、各ユーザUによって投稿された各種の情報を記憶する。図5は、実施形態に係る情報提供装置1の投稿情報記憶部21に記憶される投稿情報テーブルの一例を示す図である。図5に示すように、投稿情報記憶部21に記憶される投稿情報テーブルは、「投稿ID」、「投稿日時」、「投稿ユーザ」、「投稿テキスト」、「投稿画像」、「評価情報」、「閲覧数」、および「コメント」などの項目を含む。
3.2.2. Posted
The posted
「投稿ID」は、投稿情報を識別する識別情報である。投稿情報は、投稿コンテンツの一例である。「投稿日時」は、「投稿ID」に対応する投稿情報の投稿日時を示す情報である。「投稿ユーザ」は、「投稿ID」に対応する投稿情報を投稿したユーザUを示す情報であり、図5に示す例では、ユーザIDである。「投稿テキスト」は、「投稿ID」に対応する投稿情報に含まれるテキストを示す情報であり、文字列で示されるが、スタンプなどが含まれてもよい。 "Posting ID" is identification information that identifies the posted information. Posting information is an example of posted content. "Posting date and time" is information that indicates the posting date and time of the posted information corresponding to the "Posting ID". "Posting user" is information that indicates the user U who posted the posted information corresponding to the "Posting ID", and in the example shown in FIG. 5, it is a user ID. "Posting text" is information that indicates the text included in the posted information corresponding to the "Posting ID", and is indicated by a character string, but may also include stamps, etc.
「投稿画像」は、「投稿ID」に対応する投稿情報に含まれる投稿画像である。「評価情報」は、「投稿ID」に対応する投稿情報に対する他のユーザUの評価を示す評価情報であるが、「投稿ID」に対応する投稿情報に対する投稿ユーザの評価を示す情報を含んでいてもよい。「閲覧数」は、「投稿ID」に対応する投稿情報が閲覧された回数を示す情報である。 A "posted image" is a posted image included in the posted information corresponding to a "post ID." "Evaluation information" is evaluation information indicating the evaluation of other users U on the posted information corresponding to a "post ID," but may also include information indicating the poster's evaluation of the posted information corresponding to a "post ID." "Number of views" is information indicating the number of times the posted information corresponding to a "post ID" has been viewed.
「コメント」は、「投稿ID」に対応する投稿情報に対する他のユーザUのコメントであり、例えば、文字列で示されるが、スタンプなどが含まれてもよい。なお、「コメント」には、「投稿ID」に対応する投稿情報に対する投稿ユーザのコメントが含まれてもよい。 A "comment" is a comment from another user U on the posted information corresponding to the "posting ID", and is indicated by, for example, a character string, but may also include stamps, etc. Note that a "comment" may also include a comment from the posting user on the posted information corresponding to the "posting ID".
図5に示す評価情報は、肯定的な評価(例えば、「グッド」)を示す情報や否定的な評価(例えば、「バッド」)を示す情報であるが、中間的な評価(例えば、「普通」)を示す情報などを含んでいてもよい。 The evaluation information shown in FIG. 5 is information indicating a positive evaluation (e.g., "good") or a negative evaluation (e.g., "bad"), but may also include information indicating an intermediate evaluation (e.g., "average").
〔3.2.3.モデル情報記憶部22〕
モデル情報記憶部22は、各種の学習モデルの情報を記憶する。図6は、実施形態に係る情報提供装置1のモデル情報記憶部22に記憶されるモデル情報テーブルの一例を示す図である。
[3.2.3. Model information storage unit 22]
The model
図6に示すように、モデル情報記憶部22に記憶されるモデル情報テーブルは、「モデルID」および「モデル情報」などの項目を含む。「モデルID」は、学習モデルを識別する識別情報である。「モデル情報」は、「モデルID」に対応する学習モデルの情報である。学習モデルの情報は、学習モデルのパラメータなどの情報であるが、かかる例に限定されず、端末装置4において学習モデルを用いるための情報であればよい。
As shown in FIG. 6, the model information table stored in the model
モデル情報テーブルに情報が含まれる学習モデルは、例えば、上述した第1の学習モデル、第2の学習モデル、第3の学習モデル、および第4の学習モデルを含む。第1の学習モデルは、キーワードとヘア画像との関係性を学習したモデルであり、1以上のキーワードを入力としヘア画像またはヘア画像特定情報を出力とする学習モデルである。 The learning models whose information is included in the model information table include, for example, the above-described first learning model, second learning model, third learning model, and fourth learning model. The first learning model is a model that has learned the relationship between keywords and hair images, and is a learning model that receives one or more keywords as input and outputs hair images or hair image specific information.
第2の学習モデルは、顔画像と顔の特徴との関係を学習した学習モデルであり、顔画像を含む画像を入力とし、顔の特徴を示す情報を出力とする学習モデルである。第3の学習モデルは、顔の特徴を示す情報と当該顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルであり、顔の特徴を示す情報を入力とし当該顔に似合うと推定されるヘアスタイルを示す情報を出力する学習モデルである。 The second learning model is a learning model that has learned the relationship between a face image and facial features, and is a learning model that takes an image including a face image as input and outputs information indicating the facial features. The third learning model is a model that has learned the relationship between information indicating facial features and hairstyles that have been evaluated as suitable for the face, and is estimated to be suitable for the face using the information indicating facial characteristics as input. This is a learning model that outputs information indicating hairstyles.
第4の学習モデルは、施術前後のヘア画像と施術内容との関係を学習した学習モデルであり、施術前後のヘア画像を入力とし、推定される施術内容を示す情報を出力とする学習モデルである。なお、モデル情報テーブルに情報が含まれる学習モデルは、上述した例に限定されない。 The fourth learning model is a learning model that has learned the relationship between the hair images before and after the treatment and the treatment content, and is a learning model that uses the hair images before and after the treatment as input, and outputs information indicating the estimated treatment content. be. Note that the learning models whose information is included in the model information table are not limited to the example described above.
上述した各学習モデルは、任意の種別のモデルが採用可能である。例えば、各学習モデルは、DNN、GBDT、SVMなどのように、機械学習によって生成されるモデルである。DNNは、例えば、CNNやRNNなどである。また、RNNは、LSTMなどであってもよい。また、各学習モデルは、例えば、CNNとRNNとを組み合わせたモデルなど、複数のモデルを組み合わせることで実現されるモデルであってもよい。 Any type of model can be employed as each of the learning models described above. For example, each learning model is a model generated by machine learning, such as DNN, GBDT, SVM, etc. The DNN is, for example, a CNN or an RNN. Further, the RNN may be an LSTM or the like. Further, each learning model may be a model realized by combining a plurality of models, such as a model combining CNN and RNN.
〔3.2.4.コンテンツ記憶部23〕
コンテンツ記憶部23は、コンテンツの情報である。図7は、実施形態に係る情報提供装置1のコンテンツ記憶部23に記憶されるコンテンツテーブルの一例を示す図である。図7に示すコンテンツテーブルは、「コンテンツID」、「コンテンツ」などの項目を含む。
[3.2.4. Content storage unit 23]
The
「コンテンツID」は、コンテンツを識別する識別子である。「コンテンツ」は、「コンテンツID」に対応付けられたコンテンツに関する情報である。具体的には、コンテンツに関する情報は、例えば、コンテンツの内容に関する情報またはコンテンツのアドレスの情報などである。 "Content ID" is an identifier that identifies content. “Content” is information regarding the content associated with “Content ID”. Specifically, the information regarding the content is, for example, information regarding the contents of the content or information about the address of the content.
図7に示す例では、コンテンツID「C1」のコンテンツは、コンテンツCNT1であり、コンテンツID「C2」のコンテンツは、コンテンツCNT2であり、コンテンツID「C3」のコンテンツは、コンテンツCNT3である。なお、コンテンツ記憶部23は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
In the example shown in FIG. 7, the content with content ID "C1" is content CNT1, the content with content ID "C2" is content CNT2, and the content with content ID "C3" is content CNT3. Note that the
〔3.3.処理部12〕
処理部12は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)などのプロセッサによって、情報提供装置1内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMなどを作業領域として実行されることにより実現される。
[3.3. Processing unit 12]
The
また、処理部12は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPGPU(General Purpose Graphic Processing Unit)などの集積回路により実現されてもよい。
Further, the
図3に示すように、処理部12は、取得部30と、学習部31と、提供部32とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、処理部12の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
As shown in FIG. 3, the
〔3.3.1.取得部30〕
取得部30は、各種情報を取得する。取得部30は、記憶部11から各種の情報を取得する。取得部30は、ユーザ情報記憶部20、投稿情報記憶部21、モデル情報記憶部22、およびコンテンツ記憶部23などから各種の情報を取得する。
[3.3.1. Acquisition unit 30
The acquisition unit 30 acquires various information. The acquisition unit 30 acquires various information from the
また、取得部30は、例えば、端末装置4、店舗装置5、または外部装置などからユーザUの情報(例えば、ユーザUの属性情報や行動履歴の情報)を取得し、取得したユーザUの情報をユーザ情報記憶部20に記憶させる。また、取得部30は、例えば、外部装置などから各種のコンテンツを取得し、取得したコンテンツをコンテンツ記憶部23に記憶させる。
Further, the acquisition unit 30 acquires information about the user U (for example, information about attributes and behavior history of the user U) from, for example, the
また、取得部30は、通信部10を介して、端末装置4または店舗装置5などの装置から投稿情報を取得する。取得部30は、取得した投稿情報を投稿情報記憶部21に記憶される投稿情報テーブルに追加する。
The acquisition unit 30 also acquires posted information from a device such as the
また、取得部30は、通信部10を介して、端末装置4から投稿情報に関する取得要求を取得する。例えば、取得部30は、取得した取得要求に関する情報を提供部32に通知する。
The acquisition unit 30 also acquires an acquisition request for posted information from the
また、取得部30は、通信部10を介して、端末装置4から予約要求などの各種の情報を取得し、取得した予約要求などの各種の情報を記憶部11に記憶させたり、取得した予約要求などの各種の情報を提供部32に通知したりする。取得部30は、通信部10を介して、店舗装置5から修正情報などの各種の情報を取得し、取得した修正情報などの各種の情報を提供部32に通知する。
The acquisition unit 30 also acquires various information such as reservation requests from the
また、取得部30は、上述した学習モデルを生成するための学習用データを取得し、取得した学習用データを学習部31に通知する。例えば、取得部30は、記憶部11に記憶されている情報を記憶部11から取得し、取得した情報を学習用データとして学習部31に通知する。
Further, the acquisition unit 30 acquires learning data for generating the above-described learning model, and notifies the
第1の学習モデル用の学習用データは、例えば、キーワードとヘア画像との組み合わせを複数含む学習用データである。また、第2の学習モデル用の学習用データは、例えば、顔画像を含む画像と顔の特徴を示す情報との組み合わせを複数含む学習用データである。 The learning data for the first learning model is, for example, learning data that includes a plurality of combinations of keywords and hair images. Further, the learning data for the second learning model is, for example, learning data including a plurality of combinations of images including face images and information indicating facial features.
第3の学習モデル用の学習用データは、例えば、顔の特徴を示す情報と、ヘア画像と、顔の特徴を示す情報とヘア画像との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データである。顔の特徴を示す情報とヘア画像との組み合わせに対する評価は、例えば、肯定的な評価を示す情報や否定的な評価を示す情報などであり、ラベルとして用いられる。第4の学習モデル用の学習用データは、例えば、施術前後のヘア画像と施術内容を示す情報との組み合わせを複数含む学習用データである。 The learning data for the third learning model is, for example, learning data that includes multiple combinations of information indicating facial features, a hair image, and information indicating an evaluation of the combination of the information indicating facial features and the hair image. The evaluation of the combination of the information indicating facial features and the hair image is, for example, information indicating a positive evaluation or information indicating a negative evaluation, and is used as a label. The learning data for the fourth learning model is, for example, learning data that includes multiple combinations of hair images before and after a treatment and information indicating the treatment details.
なお、取得部30は、記憶部11に記憶された情報に基づいて、上述した学習用データを生成することもできる。また、取得部30は、上述した以外の学習用データを取得したり生成したりすることもできる。
The acquisition unit 30 can also generate the above-mentioned learning data based on the information stored in the
〔3.3.2.学習部31〕
学習部31は、取得部30から通知された各種の学習用データを用いた機械学習によって各種の学習モデルを生成し、生成した各種の学習モデルの情報を投稿情報記憶部21に記憶させる。
3.3.2.
The
例えば、学習部31は、第1の学習モデル用の学習用データを用いて第1の学習モデルを生成し、第2の学習モデル用の学習用データを用いて第2の学習モデルを生成する。また、学習部31は、第3の学習モデル用の学習用データを用いて第3の学習モデルを生成し、第4の学習モデル用の学習用データを用いて第4の学習モデルを生成する。
For example, the
なお、学習部31は、第1の学習モデル、第2の学習モデル、第3の学習モデル、および第4の学習モデル以外の学習モデルを生成することもできる。
Note that the
〔3.3.3.提供部32〕
提供部32は、通信部10を開始、ユーザUの端末装置4やヘア施術者の店舗装置5に対し、各種のコンテンツを提供する。例えば、提供部32は、端末装置4や店舗装置5からの要求に基づき、SNSの投稿情報を含む閲覧コンテンツを生成し、かかる閲覧コンテンツを端末装置4や店舗装置5に対して通信部10およびネットワークNなどを介して提供する。
[3.3.3. Providing Department 32]
The providing unit 32 starts the communication unit 10 and provides various contents to the
また、提供部32は、取得部30から通知された各種の情報を端末装置4または店舗装置5などに通信部10およびネットワークNなどを介して提供する。例えば、提供部32は、取得部30から通知された端末装置4からの情報を店舗装置5などに通信部10およびネットワークNなどを介して提供したり、取得部30から通知された店舗装置5からの情報を端末装置4などに通信部10およびネットワークNなどを介して提供したりする。
Further, the providing unit 32 provides various information notified from the acquiring unit 30 to the
また、提供部32は、学習部31によって生成された各種の学習モデルの情報を端末装置4に通信部10およびネットワークNなどを介して提供する。例えば、提供部32は、学習部31によって生成された第1の学習モデル、第2の学習モデル、第3の学習モデル、および第4の学習モデルを端末装置4に通信部10およびネットワークNなどを介して提供する。
Further, the providing unit 32 provides information on various learning models generated by the
また、提供部32は、端末装置4で用いられるアプリケーションプログラム(以下、アプリと記載する)を端末装置4に対して通信部10およびネットワークNなどを介して提供する。かかるアプリは、例えば、端末装置4にインストールされて端末装置4における上述した処理などを実行する。例えば、かかるアプリの機能によって、端末装置4は、上述した合成画像を生成したり、上述した学習モデルを用いて各種の情報を取得したりすることができる。
The providing unit 32 also provides an application program (hereinafter, referred to as an app) used in the
〔4.端末装置4〕
図8は、実施形態に係る端末装置4の構成の一例を示す図である。図8に示すように、実施形態に係る端末装置4は、通信部40と、表示部41と、操作部42と、撮像部43と、センサ部44と、記憶部45と、処理部46とを備える。
[4. Terminal device 4]
Fig. 8 is a diagram showing an example of the configuration of the
〔4.1.通信部40〕
通信部40は、例えば、NICなどによって実現される。通信部40は、ネットワークNと有線または無線で接続され、ネットワークNを介して、情報提供装置1や店舗装置5などとの間で情報の送受信を行う。店舗装置5との通信は、例えば、情報提供装置1、SNS、または不図示のメールサーバなどを介して行われるが、これらを介さずに店舗装置5と直接通信してもよい。
4.1.
The
〔4.2.表示部41〕
表示部41は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro Luminescence)ディスプレイなどである。
[4.2.
The
〔4.3.操作部42〕
操作部42は、例えば、文字、数字、およびスペースを入力するためのキー、エンターキーおよび矢印キーなどを含むキーボード、マウス、および電源ボタンなどを含む。表示部41がタッチパネル対応ディスプレイである場合、操作部42はタッチパネルを含む。
[4.3. Operation unit 42
The operation unit 42 includes, for example, a keyboard including keys for inputting letters, numbers, and spaces, an enter key, arrow keys, and the like, a mouse, a power button, and the like. If the
〔4.4.撮像部43〕
撮像部43は、被写体を撮影する画像センサ(カメラ)である。例えば、撮像部43は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサなどである。なお、撮像部43は、内蔵カメラに限らず、端末装置4と通信可能なワイヤレスカメラや、Webカメラなどの外付けカメラであってもよい。
[4.4. Imaging unit 43]
The imaging unit 43 is an image sensor (camera) that captures an image of a subject. For example, the imaging unit 43 is a complementary metal oxide semiconductor (CMOS) image sensor or a charge-coupled device (CCD) image sensor. The imaging unit 43 is not limited to a built-in camera, and may be an external camera such as a wireless camera that can communicate with the
〔4.5.センサ部44〕
センサ部44は、位置検出部およびジャイロセンサなどを備える。位置検出部は、例えば、ユーザUの現在位置である端末装置4の位置を検出し、検出したユーザUの現在位置を示す情報を処理部46に出力する。
4.5. Sensor unit 44
The sensor unit 44 includes a position detection unit, a gyro sensor, etc. The position detection unit detects, for example, the position of the
位置検出部は、GNSS(Global Navigation Satellite System)における複数の測位衛星から送信される複数の測位信号を受信し、受信した複数の測位信号に基づいて、ユーザUの現在位置を検出する。ジャイロセンサは、端末装置4の傾きおよび回転などの姿勢を検出するセンサである。
The position detection unit receives multiple positioning signals transmitted from multiple positioning satellites in the Global Navigation Satellite System (GNSS), and detects the current position of the user U based on the multiple positioning signals received. The gyro sensor is a sensor that detects the attitude, such as the tilt and rotation, of the
〔4.6.記憶部45〕
記憶部45は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。
[4.6. Storage unit 45]
The storage unit 45 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
記憶部45には、例えば、情報提供装置1や店舗装置5などから送信されネットワークNおよび通信部40などを介して処理部46によって取得された情報、撮像部43によって撮像された画像である撮像画像、およびセンサ部44によって検出された情報である検出情報などが記憶される。例えば、記憶部45は、情報提供装置1から送信されるアプリや各種の学習モデルの情報を記憶する。
The storage unit 45 stores, for example, information transmitted from the information providing device 1, the
〔4.7.処理部46〕
処理部46は、コントローラであり、例えば、CPUまたはMPUなどによって、端末装置4内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。処理部46は、例えば、ASICまたはFPGAなどの集積回路により一部または全部が実現されてもよい。
[4.7. Processing unit 46]
The processing unit 46 is a controller, and, for example, various programs (corresponding to an example of an information processing program) stored in a storage device inside the
処理部46は、受付部50と、取得部51と、特定部52と、画像処理部53と、推定部54と、判定部55と、比較部56と、出力部57とを備える。処理部46は、例えば、OS(Operating System)上での上述のアプリの実行などによって、受付部50、取得部51、特定部52、画像処理部53、推定部54、判定部55、比較部56、および出力部57を含む機能部として機能する。
The processing section 46 includes a reception section 50 , an acquisition section 51 , a specification section 52 , an
なお、受付部50、取得部51、特定部52、画像処理部53、推定部54、判定部55、比較部56、および出力部57を含む複数の機能は、処理部46において予め組み込まれていてもよい。
Note that a plurality of functions including the reception section 50, the acquisition section 51, the identification section 52, the
〔4.7.1.受付部50〕
受付部50は、種々の要求や情報を受け付ける。受付部50は、端末装置4や店舗装置5から送信される要求や情報を受け付ける。
[4.7.1. Reception department 50]
The reception unit 50 receives various requests and information. The reception unit 50 receives requests and information transmitted from the
例えば、受付部50は、店舗装置5から送信される修正情報を受け付ける。修正情報は、ヘア施術者による修正案を示す情報である。また、受付部50は、店舗装置5から送信される予約受付情報を受け付ける。予約受付情報は、予約要求で施術内容などでの予約を受け付けたことを示す情報などを含む。
For example, the reception unit 50 receives correction information transmitted from the in-
また、受付部50は、操作部42などを用いたユーザUの各種の操作を受け付ける。例えば、受付部50は、ユーザUによるヘア画像の選択、ユーザUによるヘア画像の加工、ユーザUによる施術内容の指定、推定施術内容に対するユーザUの許諾または不許諾、ユーザUによる施術内容の指定などの種々の操作を受け付ける。 The reception unit 50 also receives various operations by the user U using the operation unit 42, etc. For example, the reception unit 50 receives various operations such as the selection of a hair image by the user U, processing of a hair image by the user U, specification of treatment details by the user U, approval or disapproval of the estimated treatment details by the user U, and specification of treatment details by the user U.
また、受付部50は、ユーザUによる撮像操作を受け付ける。受付部50は、ユーザUによる撮像操作を受け付けた場合、撮像部43を動作させて撮像部43に撮像動作を実行させる。 The reception unit 50 also receives an imaging operation by the user U. When the reception unit 50 receives an imaging operation by the user U, the reception unit 50 operates the imaging unit 43 to cause the imaging unit 43 to perform an imaging operation.
また、受付部50は、ユーザUによるヘア画像の第1変更操作やユーザUによるヘア画像の第2変更操作などを受け付ける。第1変更操作は、合成画像を生成するためのヘア画像を変更することによって合成画像を変更するための操作である。第2変更操作は、ヘア画像の髪の長さおよび色のうちの少なくとも1つを変更するための操作である。 The reception unit 50 also receives a first change operation of the hair image by the user U, a second change operation of the hair image by the user U, etc. The first change operation is an operation for changing the composite image by changing the hair image used to generate the composite image. The second change operation is an operation for changing at least one of the hair length and color of the hair image.
図9は、実施形態に係る端末装置4の受付部50の構成の一例を示す図である。図9に示すように、受付部50は、選択受付部60と、加工受付部61と、指定受付部62と、修正案受付部63と、許諾可否受付部64とを備える。
FIG. 9 is a diagram illustrating an example of the configuration of the reception unit 50 of the
選択受付部60は、ユーザUによる種々の選択を受け付ける。例えば、選択受付部60は、複数種類のヘア画像の中からユーザUによるヘア画像の選択を受け付ける。ユーザUは、操作部42への操作によってヘア画像の選択操作を行うことができ、選択受付部60は、ヘア画像の選択操作に基づいて、ヘア画像の選択を受け付ける。 The selection receiving unit 60 receives various selections by the user U. For example, the selection receiving unit 60 receives a selection of a hair image by the user U from a plurality of types of hair images. The user U can perform a hair image selection operation by operating the operation unit 42, and the selection receiving unit 60 receives the selection of the hair image based on the hair image selection operation.
ユーザUによって選択されるヘア画像は、例えば、特定部52によって特定されるヘアスタイルの画像、取得部51によって取得される複数の類似ヘア画像、および撮像部43によって撮像された撮像画像に含まれるヘア画像などのうちの1以上のヘア画像である。 The hair image selected by the user U is, for example, one or more of an image of a hairstyle identified by the identification unit 52, a plurality of similar hair images acquired by the acquisition unit 51, and a hair image included in a captured image captured by the imaging unit 43.
なお、ユーザUによって選択されるヘア画像は、上述した例に限定されない。例えば、ユーザUによって選択されるヘア画像は、ユーザUの操作によって処理部46によるヘア画像の自動選択モードが選択された場合に、処理部46によって選択されるヘア画像が含まれてもよい。 The hair image selected by the user U is not limited to the above-mentioned example. For example, the hair image selected by the user U may include a hair image selected by the processing unit 46 when an automatic hair image selection mode by the processing unit 46 is selected by an operation of the user U.
加工受付部61は、ヘア画像の加工を受け付ける。例えば、加工受付部61は、ヘア画像の髪の長さおよび色のうちの少なくとも一方の選択を受け付ける。ヘア画像の髪は、ヘア画像で示されるヘア(髪)であり、ユーザUは、操作部42への操作によってヘア画像の加工操作を行うことができ、加工受付部61は、ヘア画像の加工操作に基づいて、ヘア画像の加工を受け付ける。 The processing reception unit 61 accepts processing of hair images. For example, the processing reception unit 61 receives a selection of at least one of the length and color of the hair in the hair image. The hair in the hair image is the hair shown in the hair image, and the user U can perform a processing operation on the hair image by operating the operation unit 42, and the processing reception unit 61 can process the hair image. Hair image processing is accepted based on the operation.
指定受付部62は、ユーザUによる種々の指定を受け付ける。例えば、指定受付部62は、ユーザUによる施術内容の指定を受け付ける。ユーザUは、操作部42への操作によって施術内容の指定操作を行うことができ、指定受付部62は、施術内容の指定操作に基づいて、施術内容の指定を受け付ける。
The
また、指定受付部62は、ユーザUによる操作部42への操作に基づいて、撮像部43によって撮像された画像であってヘア画像を含む撮像画像であるユーザ撮像画像の指定を受け付ける。
Further, the
また、指定受付部62は、推定施術内容に対するユーザUの許諾または不許諾を受け付ける。ユーザUは、操作部42への操作によって推定施術内容に対する許諾操作または不許諾操作を行うことができ、指定受付部62は、許諾操作または不許諾操作に基づいて、施術内容の許諾または不許諾を受け付ける。
The
また、指定受付部62は、ユーザUによる1以上のキーワードの指定を受け付ける。例えば、指定受付部62は、複数のキーワードの中から1以上のキーワードのユーザUによる指定を受け付ける。ユーザUは、操作部42への操作によって1以上のキーワードの指定操作を行うことができ、指定受付部62は、1以上のキーワードの指定操作に基づいて、1以上のキーワードの指定を受け付ける。
The
修正案受付部63は、推定施術内容に対するヘア施術者による修正案を受け付ける。例えば、修正案受付部63は、推定施術内容に対するヘア施術者による修正案を示す情報である修正案情報を店舗装置5からヘア施術者による推定施術内容の修正案として受け付ける。
The revision proposal receiving unit 63 receives revision proposals made by the hair practitioner to the estimated treatment contents. For example, the revision proposal receiving unit 63 receives revision proposal information, which is information indicating revision proposals made by the hair practitioner to the estimated treatment contents, from the
また、修正案受付部63は、合成画像で示されるヘアスタイルに対するヘア施術者による修正案を受け付ける。例えば、修正案受付部63は、ヘア施術者による修正案を示す情報である修正案情報を店舗装置5からヘア施術者によるヘアスタイルの修正案として受け付ける。
Further, the modification proposal receiving unit 63 receives a modification proposal by a hair practitioner for the hairstyle shown in the composite image. For example, the modification proposal reception unit 63 receives modification proposal information, which is information indicating a modification proposal by a hair practitioner, from the
許諾可否受付部64は、推定部54によって推定された施術内容である推定施術内容に対するユーザUの許諾または不許諾を受け付ける。ユーザUは、操作部42への操作によって推定施術内容に対する許諾を示す許諾操作または推定施術内容に対する不許諾を示す不許諾操作を行うことができ、許諾可否受付部64は、許諾操作または不許諾操作に基づいて、推定施術内容に対するユーザUの許諾または不許諾を受け付ける。
The
〔4.7.2.取得部51〕
取得部51は、各種の情報を取得する。例えば、取得部51は、記憶部45から各種の情報を取得する。取得部51は、記憶部45に記憶された学習モデルの情報を取得する。
[4.7.2. Acquisition unit 51
The acquisition unit 51 acquires various types of information. For example, the acquisition unit 51 acquires various types of information from the storage unit 45. The acquisition unit 51 acquires information on the learning model stored in the storage unit 45.
また、取得部51は、撮像部43によって撮像された画像である撮像画像を取得し、取得した撮像画像を記憶部45に記憶させる。また、取得部51は、センサ部44によって検出された情報である検出情報を取得し、取得した検出情報を記憶部45に記憶させる。 Further, the acquisition unit 51 acquires a captured image that is an image captured by the imaging unit 43, and stores the acquired captured image in the storage unit 45. Further, the acquisition unit 51 acquires detection information that is information detected by the sensor unit 44 and causes the storage unit 45 to store the acquired detection information.
取得部51は、情報提供装置1から送信されるアプリや学習モデルの情報などをネットワークNおよび通信部40を介して取得し、取得したアプリや学習モデルの情報などを記憶部45に記憶させる。取得部51は、特定ヘア画像を各々含む複数の投稿情報を情報提供装置1から取得し、取得した複数の投稿情報を記憶部45に記憶させる。
The acquisition unit 51 acquires information on apps and learning models transmitted from the information providing device 1 via the network N and the
また、取得部51は、施術者コメントを取得し、取得したコメントを記憶部45に記憶させる。施術者コメントは、合成画像で示されるヘアスタイルへの施術が可能かどうかのヘア施術者によるコメントである。 Further, the acquisition unit 51 acquires the practitioner's comments and causes the storage unit 45 to store the acquired comments. The practitioner comment is a comment by a hair practitioner regarding whether or not the hair style shown in the composite image can be treated.
また、取得部51は、ユーザUによる操作部42への操作に応じた情報を取得する。例えば、取得部51は、ユーザUによる操作に基づいて、撮像部43によって撮像された画像であってヘア画像を含む撮像画像を記憶部45から取得する。 Further, the acquisition unit 51 acquires information according to the operation on the operation unit 42 by the user U. For example, the acquisition unit 51 acquires, from the storage unit 45, an image captured by the imaging unit 43 and including a hair image, based on an operation by the user U.
また、取得部51は、特定ヘア画像と類似するヘア画像を含む画像である類似ヘア画像を複数取得し、取得した複数の類似ヘア画像を記憶部45に記憶させる。特定ヘア画像は、特定部52によって特定されたヘアスタイルの画像である。例えば、取得部51は、特定ヘア画像を含む類似画像検索要求を不図示の検索サーバまたは情報提供装置1に送信し、類似画像検索要求に応じて検索サーバまたは情報提供装置1から送信される複数の類似ヘア画像を取得する。 The acquisition unit 51 also acquires multiple similar hair images, which are images including hair images similar to the specific hair image, and stores the multiple acquired similar hair images in the storage unit 45. The specific hair image is an image of a hairstyle identified by the identification unit 52. For example, the acquisition unit 51 transmits a similar image search request including the specific hair image to a search server or information providing device 1 (not shown), and acquires multiple similar hair images transmitted from the search server or information providing device 1 in response to the similar image search request.
また、取得部51は、例えば、特定部52によって特定されたヘアスタイルを示す情報を含む検索要求を不図示の検索サーバまたは情報提供装置1に送信し、検索要求に応じて検索サーバまたは情報提供装置1から送信される複数の特定ヘア画像を取得する。 The acquisition unit 51 also transmits a search request including information indicating the hairstyle identified by the identification unit 52 to a search server or information providing device 1 (not shown), and acquires multiple specific hair images transmitted from the search server or information providing device 1 in response to the search request.
また、取得部51は、施術内容と施術費用との関係を示すヘアサロン毎の施術費用情報を、例えば、情報提供装置1または店舗装置5などから取得する。
The acquisition unit 51 also acquires treatment cost information for each hair salon, which indicates the relationship between the treatment content and the treatment cost, from, for example, the information providing device 1 or the
〔4.7.3.特定部52〕
特定部52は、第1の学習モデルを用いて、受付部50によって指定が受け付けられた1以上のキーワードからヘア画像を特定する。第1の学習モデルは、上述したように、キーワードとヘア画像との関係性を学習したモデルであり、1以上のキーワードを入力としヘア画像またはヘア画像特定情報を出力とする。
[4.7.3. Specification part 52]
The identifying unit 52 uses the first learning model to identify a hair image from one or more keywords whose designations are accepted by the accepting unit 50. As described above, the first learning model is a model that has learned the relationship between keywords and hair images, receives one or more keywords as input, and outputs hair images or hair image specific information.
特定部52は、第1の学習モデルがヘア画像を出力する場合、第1の学習モデルから出力されるヘア画像を、ユーザUによって指定された1以上のキーワードに対応するヘア画像として特定する。 When the first learning model outputs a hair image, the identification unit 52 identifies the hair image output from the first learning model as a hair image corresponding to one or more keywords specified by the user U.
また、特定部52は、第1の学習モデルがヘア画像に代えてヘア画像特定情報を出力する場合、ユーザUによって指定された1以上のキーワードを第1の学習モデルに入力し、第1の学習モデルから出力されるヘア画像特定情報を取得する。ヘア画像特定情報は、ヘア画像を特定する情報であり、例えば、ヘア画像毎のスコアである。特定部52は、例えば、ヘア画像毎のスコアのうち最も高いスコアのヘア画像を、ユーザUによって指定された1以上のキーワードに対応するヘア画像として特定する。 Further, when the first learning model outputs hair image specific information instead of a hair image, the specifying unit 52 inputs one or more keywords specified by the user U to the first learning model, and inputs one or more keywords specified by the user U to the first learning model. Obtain hair image specific information output from the learning model. The hair image specific information is information that specifies a hair image, and is, for example, a score for each hair image. The specifying unit 52 specifies, for example, the hair image with the highest score among the scores for each hair image as the hair image corresponding to one or more keywords specified by the user U.
特定部52は、画像特定情報で特定されるヘア画像を記憶部45または情報提供装置1などから取得し、取得したヘア画像を、ユーザUによって指定された1以上のキーワードに対応するヘア画像として特定する。 The identification unit 52 acquires a hair image identified by the image identification information from the storage unit 45 or the information providing device 1, and identifies the acquired hair image as a hair image corresponding to one or more keywords specified by the user U.
また、特定部52は、第3の学習モデルを用いて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。例えば、特定部52は、ユーザUによって指定されたユーザUの顔の特徴または判定部55によって判定されたユーザUの顔の特徴から、第3の学習モデルを用いて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。
Further, the specifying unit 52 uses the third learning model to specify a hairstyle that is estimated to suit the face of the user U. For example, the specifying unit 52 uses the third learning model based on the facial features of the user U specified by the user U or the facial features of the user U determined by the determining
第3の学習モデルは、上述したように、顔の特徴を示す情報と当該顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルであり、顔の特徴を示す情報を入力とし当該顔に似合うと推定されるヘアスタイルを示す情報をと出力するモデルである。 As mentioned above, the third learning model is a model that has learned the relationship between information indicating facial features and hairstyles that have been evaluated as suitable for the face, and uses the information indicating facial features as input and This model outputs information indicating hairstyles that are estimated to suit the face.
特定部52は、ユーザUの顔の特徴を示す情報を第3の学習モデルに入力し、第3の学習モデルから出力されるヘアスタイルの情報に基づいて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。第3の学習モデルから出力されるヘアスタイルの情報は、例えば、ヘア画像毎のスコアであり、特定部52は、ヘア画像毎のスコアのうち最も高いスコアのヘア画像で示されるヘアスタイルを、ユーザUの顔に似合うと推定されるヘアスタイルとして特定する。また、第3の学習モデルから出力されるヘアスタイルの情報は、ヘア画像であってもよい。ユーザUの顔の特徴を示す情報は、例えば、ユーザUによって指定されたユーザUの顔の特徴を示す情報または判定部55によって判定されたユーザUの顔の特徴を示す情報である。
The identifying unit 52 inputs information indicating the facial features of the user U to the third learning model, and selects a hairstyle that is estimated to suit the user U's face based on the information on the hairstyle output from the third learning model. Identify the hairstyle you want. The information on the hairstyle output from the third learning model is, for example, a score for each hair image, and the specifying unit 52 selects the hairstyle indicated by the hair image with the highest score among the scores for each hair image. It is specified as a hairstyle that is estimated to suit user U's face. Further, the hairstyle information output from the third learning model may be a hair image. The information indicating the facial features of the user U is, for example, information indicating the facial features of the user U specified by the user U or information indicating the facial features of the user U determined by the determining
顔の特徴は、例えば、顔型の種類を示す情報であるが、顔における眉、目、鼻、口、および耳のうちの1以上の大きさ、形、位置などの各パーツの特徴を示す情報であってもよい。例えば、顔の特徴を示す情報は、顔における眉、目、鼻、口、および耳の各々の位置を示す情報であってもよく、顔における眉、目、鼻、口、および耳の各々の位置および大きさを示す情報などであってもよい。 Facial features are, for example, information indicating the type of face shape, but may also be information indicating the features of each part of the face, such as the size, shape, and position of one or more of the eyebrows, eyes, nose, mouth, and ears. For example, information indicating facial features may be information indicating the positions of the eyebrows, eyes, nose, mouth, and ears, or information indicating the positions and sizes of the eyebrows, eyes, nose, mouth, and ears.
〔4.7.4.画像処理部53〕
画像処理部53は、各種の画像処理を行う。例えば、画像処理部53は、ユーザUの顔画像であるユーザ顔画像とユーザUによって選択されたヘア画像とを合成した合成画像を生成する。以下において、ユーザUによって選択されたヘア画像を選択ヘア画像と記載する場合がある。
4.7.4.
The
選択ヘア画像は、選択受付部60によって選択が受け付けられたヘア画像であるが、かかる例に限定されない。例えば、選択ヘア画像は、ユーザUの操作によって処理部46によるヘア画像の自動選択モードが選択された場合に、処理部46によって選択されるヘア画像が含まれてもよい。ユーザ顔画像は、例えば、指定受付部62によって指定が受け付けられたユーザ撮像画像またはユーザ撮像画像に含まれるユーザUの顔画像である。
The selected hair image is a hair image whose selection has been accepted by the selection reception unit 60, but is not limited to this example. For example, the selected hair images may include hair images selected by the processing unit 46 when the automatic hair image selection mode by the processing unit 46 is selected by the user U's operation. The user face image is, for example, a user captured image whose designation is accepted by the
例えば、画像処理部53は、選択ヘア画像をユーザ顔画像と合成することで合成画像を生成する。画像処理部53は、ユーザ顔画像に含まれるユーザUのヘア画像を選択ヘア画像に置き換えることで、合成画像を生成する。
For example, the
画像処理部53は、例えば、ユーザ顔画像の特徴量と選択ヘア画像の特徴量とを抽出する。画像処理部53は、ユーザ顔画像の特徴量のうちユーザ顔画像に含まれるヘア画像の特徴量を選択ヘア画像の特徴量に置き換えることによって合成画像を生成する。
The
また、画像処理部53は、ユーザ顔画像に含まれるユーザUのヘア画像を削除し、ユーザUのヘア画像を削除したユーザ顔画像に選択ヘア画像を重畳することによって、合成画像を生成することもできる。
The
また、画像処理部53は、選択ヘア画像を含む画像である選択画像と、ユーザ顔画像を含む画像であるユーザ画像とを合成して合成画像を生成する場合、ユーザ画像に含まれるユーザ顔画像を選択ヘア画像に置き換えることもできる。
In addition, when generating a composite image by combining a selected image that is an image that includes a selected hair image and a user image that is an image that includes a user's face image, the
また、画像処理部53は、選択受付部60によって2以上のヘア画像が選択された場合、かかる2以上の選択ヘア画像を合成した合成ヘア画像を生成する。そして、画像処理部53は、生成した合成ヘア画像をユーザ顔画像と合成することで合成画像を生成する。
When two or more hair images are selected by the selection receiving unit 60, the
例えば、画像処理部53は、2以上の選択ヘア画像の各々の特徴量を抽出し、抽出した2以上の選択ヘア画像の特徴量を合成することによって合成ヘア画像を生成する。例えば、画像処理部53は、2以上の選択ヘア画像の特徴量を重み付け加算によって合成することで合成ヘア画像を生成するが、合成方法はかかる例に限定されない。例えば、画像処理部53は、2以上の画像を合成する学習モデルであって機械学習で生成された合成モデルを有し、かかる合成モデルに2以上の選択ヘア画像を入力することによって、合成モデルから出力される合成ヘア画像を取得することもできる。
For example, the
画像処理部53は、選択ヘア画像を含む画像である選択画像と、ユーザ顔画像を含む画像であるユーザ画像(例えば、ユーザ撮像画像)とを合成して合成画像を生成する場合、選択画像において選択画像に含まれる人物の顔画像をユーザ画像に含まれるユーザ顔画像に置き換えることもできる。
When the
例えば、選択画像が撮像部43によって撮像された撮像画像である選択撮像画像であるとする。この場合、画像処理部53は、選択撮像画像において選択撮像画像に含まれる人物の顔画像をユーザ画像に含まれるユーザ顔画像に置き換えることで合成画像を生成する。
For example, assume that the selected image is a selected captured image captured by the imaging unit 43. In this case, the
画像処理部53は、選択ヘア画像を含む画像である選択画像と、ユーザ顔画像を含む画像であるユーザ画像とを合成して合成画像を生成する場合、ユーザ画像においてユーザ画像に含まれるユーザ顔画像を選択画像に含まれる人物の顔画像に置き換えることもできる。
When generating a composite image by combining a selected image that is an image that includes a selected hair image and a user image that is an image that includes a user face image, the
例えば、選択画像が撮像部43によって撮像された撮像画像である選択撮像画像であるとする。この場合、画像処理部53は、ユーザ画像においてユーザ顔画像を選択撮像画像に含まれる人物の顔画像に置き換えることで合成画像を生成する。
For example, assume that the selected image is a selected image captured by the imaging unit 43. In this case, the
また、画像処理部53は、選択画像が複数である場合、複数の選択画像を合成して合成選択画像を生成する。例えば、画像処理部53は、特定選択画像を基準として、複数の選択画像を合成して合成選択画像を生成する。特定選択画像は、例えば、最初に選択された選択画像またはユーザUによって指定された選択画像である。
Furthermore, when there are a plurality of selected images, the
例えば、画像処理部53は、複数の選択画像の各々のヘア画像の特徴量を抽出し、抽出した複数のヘア画像の特徴量を合成することで合成ヘア画像を生成し、特定選択画像のヘア画像を合成ヘア画像に置き換えることで、合成選択画像を生成する。またば、画像処理部53は、複数の画像を合成する学習モデルであって機械学習で生成された合成モデルを有し、かかる合成モデルに複数の選択画像を入力することによって、合成モデルから出力される合成ヘア画像を取得することもできる。
For example, the
また、画像処理部53は、加工受付部61によって合成画像に含まれるヘア画像の加工が受け付けられた場合、加工受付部61によって受け付けられたヘア画像の加工を行うことで得られる加工ヘア画像を含むユーザ顔画像を生成する。
In addition, when the processing reception unit 61 receives a request to process a hair image included in the composite image, the
例えば、画像処理部53は、加工受付部61によってヘア画像の加工が受け付けられた場合、加工受付部61によって受け付けられたヘア画像の加工を行うことで得られる加工ヘア画像を生成する。そして、画像処理部53は、加工ヘア画像をユーザ顔画像と合成することで合成画像を生成する。
For example, when the processing acceptance unit 61 accepts processing of the hair image, the
画像処理部53は、例えば、ヘア画像の特徴量を抽出し、抽出した特徴量を調整することによって加工ヘア画像を生成するが、かかる例に限定されない。また、画像処理部53は、加工受付部61によって合成画像におけるヘア画像の加工が受け付けられた場合、合成画像におけるヘア画像の特徴量を抽出し、抽出した特徴量を調整することによって合成画像のヘア画像を加工することもできる。
The
また、画像処理部53は、選択画像の射影変換を行うこともできる。図10は、実施形態に係る端末装置4の画像処理部53の構成の一例を示す図である。図10に示すように、画像処理部53は、変換部65と、合成部66とを備える。変換部65は、選択画像を射影変換する。合成部66は、選択画像に含まれる人物の顔画像または変換部65によって射影変換された選択画像に含まれる人物の顔画像をユーザ顔画像に置き換えることで合成画像を生成する。
The
また、変換部65は、選択画像に代えて加えて、ユーザ画像またはユーザ顔画像を射影変換することもできる。この場合、合成部66は、選択画像に含まれる人物の顔画像または変換部65によって射影変換された選択画像に含まれる人物の顔画像を、変換部65に射影変換されたユーザ画像に含まれるユーザUの顔画像または変換部65に射影変換されたユーザ顔画像に置き換えることで合成画像を生成する。
Furthermore, in addition to replacing the selected image, the converting unit 65 can projectively transform a user image or a user face image. In this case, the synthesizing
また、合成部66は、変換部65に射影変換されたユーザ画像に含まれるユーザUの顔画像を、選択画像に含まれる人物の顔画像または変換部65によって射影変換された選択画像に含まれる人物の顔画像に置き換えることで、合成画像を生成することもできる。
The
〔4.7.5.推定部54〕
推定部54は、ユーザUの施術前の画像と合成画像とから施術内容を推定する。例えば、推定部54は、第4の学習モデルを用いて、ユーザUの施術前の画像と合成画像とから施術内容を推定する。
[4.7.5. Estimation unit 54]
The
第4の学習モデルは、施術前後のヘア画像と施術内容との関係を学習した学習モデルであり、施術前後のヘア画像を入力とし、推定される施術内容を示す情報を出力とする学習モデルである。 The fourth learning model is a learning model that learns the relationship between hair images before and after a treatment and the treatment details, and takes hair images before and after a treatment as input and outputs information indicating the estimated treatment details.
ユーザUの施術前の画像は、例えば、上述したユーザ撮像画像である。推定部54によって推定される施術内容は、上述した推定施術内容であり、画像処理部53で生成された合成画像で示されるヘアスタイルにするために必要な施術内容である。
The image of the user U before the treatment is, for example, the user-captured image described above. The treatment details estimated by the
推定部54は、ユーザUの施術前の画像と画像処理部53で生成された合成画像とを第4の学習モデルに入力した場合に、第4の学習モデルから出力される施術内容を示す情報に基づいて、推定施術内容を判定する。
The
第4の学習モデルから出力される施術内容を示す情報は、例えば、カットの有無、カットの量、ブリーチの有無、ブリーチの数、カラーの有無、カラーの種類、パーマの有無、パーマの種類、縮毛矯正の有無の各々のスコアの情報を含む。推定部54は、第4の学習モデルから出力される各スコアに基づいて、推定施術内容を判定する。
The information indicating the treatment content outputted from the fourth learning model includes, for example, the presence or absence of a cut, the amount of cut, the presence or absence of bleaching, the number of bleaching, the presence or absence of color, the type of color, the presence or absence of perm, the type of perm, Contains information on each score for whether or not hair is straightened. The
例えば、推定部54は、カットの有無のスコアが閾値以上である場合に、推定施術内容にカットを含め、カットの有無のスコアが閾値未満である場合に、推定施術内容にカットを含めない。また、推定部54は、例えば、カットの量のスコアに比例するカットの量を推定施術内容に含める。また、推定部54は、例えば、各種類のカラーのスコアのうち閾値以上のスコアのカラーを推定施術内容に含める。
For example, the
また、第4の学習モデルから施術内容を示す情報は、施術項目と施術順番とを含む施術内容を示す情報であってもよい。この場合、第4の学習モデルは、施術項目と施術順番とを各々含む複数の施術方法のスコアを出力するように形成され、スコアが最も高い施術方法で示される施術内容を推定施術内容として判定する。 Further, the information indicating the treatment contents from the fourth learning model may be information indicating the treatment contents including treatment items and treatment order. In this case, the fourth learning model is formed to output scores for multiple treatment methods, each including treatment items and treatment orders, and determines the treatment content indicated by the treatment method with the highest score as the estimated treatment content. do.
〔4.7.6.判定部55〕
判定部55は、推定部54によって判定された推定施術内容に基づいて、推定施術内容での施術に必要な費用である施術費用を判定する。
[4.7.6. Judgment unit 55]
The
例えば、判定部55は、施術内容と施術費用との関係を示すヘアサロン毎の施術費用情報を有しており、かかる施術費用情報に基づいて、ヘアサロン毎の施術費用を判定する。ヘアサロン毎の施術費用情報は、上述したように取得部51によって取得される情報であるが、かかる例に限定されない。
For example, the
また、判定部55は、例えば、ユーザ撮像画像で示されるユーザUの顔の特徴を判定する。例えば、判定部55は、上述した第2の学習モデルにユーザ撮像画像を入力し、第2の学習モデルから出力される顔の特徴を示す情報に基づいて、ユーザUの顔の特徴を判定する。
Further, the
第2の学習モデルから出力される顔の特徴を示す情報は、例えば、顔の特徴毎のスコアであり、この場合、判定部55は、顔の特徴毎のスコアのうち最も高いスコアの顔の特徴を、ユーザUの顔の特徴として判定する。
The information indicating the facial features output from the second learning model is, for example, a score for each facial feature. In this case, the
また、第2の学習モデルから出力される顔の特徴を示す情報は、各パーツ(例えば、眉、目、鼻、口、耳)の特徴毎のスコアであってもよい。この場合、判定部55は、パーツの特徴(位置、大きさ、および形の組み合わせ)毎のスコアのうち最も高いスコアの特徴を含む顔の特徴を、ユーザUの顔の特徴として判定する。
In addition, the information indicating the facial features output from the second learning model may be a score for each feature (e.g., eyebrows, eyes, nose, mouth, ears). In this case, the
また、第2の学習モデルから出力される顔の特徴を示す情報は、各パーツ(例えば、眉、目、鼻、口、耳)の大きさ、および形の各々の特徴毎のスコアであってもよい。この場合、判定部55は、パーツの大きさ、および形の各々の特徴毎のスコアのうち最も高いスコアの特徴を含む顔の特徴を、ユーザUの顔の特徴として判定する。
Furthermore, the information indicating facial features output from the second learning model is a score for each feature such as the size and shape of each part (for example, eyebrows, eyes, nose, mouth, and ears). Good too. In this case, the determining
また、判定部55は、複数種類の顔の特徴の各々を示す情報を有していてもよく、この場合、判定部55は、各種類の顔の特徴とユーザ撮像画像で示されるユーザUの顔の特徴とのパターンマッチング技術によって、ユーザUの顔の特徴を判定する。
The
また、判定部55は、複数種類の顔の特徴(例えば、顔型)の各々を示す線画である顔特徴線画を表示部に表示し、これら複数種類の顔特徴線画の中からユーザUに自分の顔型に最も近い顔特徴線画を選択させることもできる。
Further, the
〔4.7.7.比較部56〕
比較部56は、指定受付部62によって指定が受け付けられた施術内容であるユーザ指定施術内容と推定部54によって推定された施術内容である推定施術内容とを比較する。
[4.7.7.
The
比較部56は、例えば、ユーザ指定施術内容と推定施術内容とを比較し、比較した結果を示す比較情報を生成する。比較情報には、例えば、ユーザ指定施術内容と推定施術内容との差を示す情報が含まれる。
For example, the
例えば、比較部56は、推定施術内容が、ユーザ指定施術内容に加えて、ブリーチの数が1つ多い場合、ユーザ指定施術内容よりもブリーチの数が1つ増加することを示す情報を含む比較情報を生成する。
For example, if the estimated treatment content includes one more bleaching than the user-specified treatment content, the
また、比較部56は、推定施術内容やユーザ指定施術内容に施術の順番が含まれている場合において、施術の順番の一部が異なる場合、施術の順番のうち異なる順番を示す情報を含む比較情報を生成する。
In addition, when the estimated treatment content or the user-specified treatment content includes a treatment order, if part of the treatment order is different, the
〔4.7.8.出力部57〕
出力部57は、特定部52による特定結果を示す情報、画像処理部53による画像処理の結果を示す情報、推定部54による推定結果を示す情報、判定部55による判定結果を示す情報、および比較部56による比較結果を示す情報などを出力情報として出力する。
4.7.8.
The
また、出力部57は、受付部50による受付結果を示す情報、および取得部51による取得結果を示す情報などを出力情報として出力することもできる。出力部57は、例えば、出力情報を表示部41に出力することによって、出力情報を表示部41に表示させたり、出力情報を通信部40およびネットワークNなどを介してヘア施術者宛に出力したりすることができる。ヘア施術者宛の出力は、例えば、情報提供装置1、SNS、または不図示のメールサーバなどを介して行われるが、店舗装置5へのダイレクトの出力であってもよい。
The
出力部57は、ヘアサロンでのヘア施術を予約するための予約設定画面の情報を出力情報として出力する。予約設定画面は、ユーザ画像、ヘア画像、ヘアサロン、および予約対象日時などを設定するためのGUI(Graphical User Interface)画面であり、後で詳述する。
The
出力部57は、例えば、施術関連情報を含む予約要求をヘア施術者宛に送信することによって、施術関連情報を含む予約要求をヘア施術者宛に出力する。
The
施術関連情報は、例えば、施術前のユーザUのヘア画像を含むユーザ画像、画像処理部53によって生成された合成画像、指定受付部62によって指定が受け付けられた施術内容を示す情報、推定部54によって推定された施術内容を示す情報などを含む。
The treatment-related information includes, for example, a user image including a hair image of user U before the treatment, a composite image generated by the
施術関連情報は、画像処理部53によって生成された合成画像に代えてまたは加えて、選択受付部60によって選択が受け付けられたヘア画像である選択ヘア画像が含まれてもよい。
The treatment-related information may include a selected hair image, which is a hair image whose selection has been accepted by the selection reception unit 60, instead of or in addition to the composite image generated by the
また、出力部57は、ユーザUによって指定可能に複数のキーワードを出力する。例えば、出力部57は、複数のキーワードを含む出力情報を表示部41に出力することによって、複数のキーワードをユーザUによって指定可能に表示部41に表示させる。
Furthermore, the
また、出力部57は、取得部51によって取得された施術者コメントを出力する。例えば、出力部57は、取得部51によって取得された施術者コメントを表示部41に出力することによって、施術者コメントを表示部41に表示させる。
The
また、出力部57は、修正案受付部63によって受け付けられたヘア施術者による修正案を示す情報である修正案情報を出力する。修正案情報は、例えば、推定施術内容に対する修正案を示す情報や合成画像で示されるヘアスタイルに対する修正案を示す情報である。例えば、出力部57は、修正案受付部63によって受け付けられた修正案情報を表示部41に出力することによって、ヘア施術者による修正案を表示部41に表示させる。
Further, the
また、出力部57は、許諾可否受付部64によって許諾が受け付けられた場合、上述した予約要求をヘア施術者宛に出力し、許諾可否受付部64によって不許諾が受け付けられた場合、上述した予約要求をヘア施術者宛に出力しないことができる。
In addition, if the
なお、出力部57は、出力情報を表示部41に表示させる場合、例えば、出力情報をレンダリングなどすることによって表示用の情報に変換し、変換した出力情報を表示部41に出力する。また、表示部41にレンダリング機能がある場合、出力部57は、出力情報をそのまま表示部41に出力して、出力情報を表示部41に表示させる。
When the
図11は、実施形態に係る情報提供装置1の出力部57によって表示部41に表示される予約設定画面の一例を示す図である。図11に示すように、予約設定画面70は、ユーザ画像選択領域71、ヘア画像選択領域72、ヘアサロン選択領域73、および予約対象日時設定領域74を含む。
FIG. 11 is a diagram showing an example of a reservation setting screen displayed on the
予約設定画面70は、例えば、ユーザUによる操作部42への操作が特定の操作である予約設定操作である場合に、出力部57によって表示部41に表示される。なお、図11には、図示していないが、予約設定画面70には、例えば、施術内容入力領域、施術内容推定ボタン、および予約ボタンなども含まれる。
The
ユーザ画像選択領域71は、撮影開始ボタン711と、フォルダボタン712とを含む。撮影開始ボタン711は、撮像部43の撮像を行う撮像アプリケーションプログラム(以下、撮像アプリと記載する場合がある)を駆動するためのボタンである。ユーザUは、撮影開始ボタン711を操作し、撮像アプリの画面を表示部41に表示させて操作部42への操作によって撮像アプリを操作することができる。ユーザUは、撮像アプリを操作することによって、自分の顔を含む領域を撮像することができる。これにより、取得部51によってユーザ画像が取得される。
The user
フォルダボタン712は、特定のフォルダ(例えば、撮像部43の撮像画像が入れられる写真フォルダなど)を開くためのボタンである。ユーザUは、フォルダボタン712を操作して、特定のフォルダに含まれる複数の撮像画像を表示部41に表示させることができる。ユーザUは、操作部42を操作することによって、特定のフォルダに含まれる複数の撮像画像からユーザ画像を選択することができる。これにより、取得部51によってユーザ画像が取得される。
The
ヘア画像選択領域72は、キーワード設定ボタン721と、撮影開始ボタン722と、フォルダボタン723とを含む。キーワード設定ボタン721は、複数のキーワードの中から所望の1以上のキーワードをユーザUが指定するためのキーワード指定画面を表示部41に表示させるためのボタンである。
Hair
撮影開始ボタン722は、撮像アプリを駆動するためのボタンである。ユーザUは、撮影開始ボタン722を操作し、撮像アプリの画面を表示部41に表示させて操作部42への操作によって撮像アプリを操作することができる。ユーザUは、撮像アプリを操作することによって、所望のヘア画像を含む領域(例えば、ヘアカタログやファッション雑誌に掲載されているヘアモデルの画像などを含む領域)を撮像することができる。これにより、取得部51によって選択画像が取得される。
The
フォルダボタン723は、特定のフォルダ(例えば、撮像部43の撮像画像が入れられる写真フォルダなど)を開くためのボタンである。ユーザUは、フォルダボタン723を操作して、特定のフォルダに含まれる複数の撮像画像を表示部41に表示させることができる。ユーザUは、操作部42を操作することによって、特定のフォルダに含まれる複数の撮像画像から所望の選択画像を選択することができる。これにより、取得部51によって選択画像が取得される。
The
ヘアサロン選択領域73は、現在地周辺検索ボタン731と、キーワード検索ボタン732とを含む。現在地周辺検索ボタン731は、現在地周辺(例えば、現在地から予め定められた距離内の領域)に位置するヘアサロンを選択可能に表示部41に表示させるためのボタンである。ユーザUは、操作部42を操作することによって、表示部41に表示されたヘアサロンのうち所望のヘアサロンを選択することができる。
The hair
キーワード検索ボタン732は、キーワード検索を行うためのキーワード検索画面を表示部41に表示させるためのボタンである。ユーザUは、操作部42を操作することによって、キーワード検索画面で検索されて表示部41に表示されたヘアサロンのうち所望のヘアサロンを選択することができる。
The
予約対象日時設定領域74は、予約対象日時を設定するための領域である。ユーザUは、操作部42を操作することによって、ヘア施術を受けたい日時を予約対象日時設定領域74に設定することができる。
The reservation target date and
図12は、実施形態に係る情報提供装置1の出力部57によって表示部41に表示されるキーワード指定画面の一例を示す図である。図12に示すように、キーワード指定画面80は、キーワード指定ボタン群81,82,83,84と、検索ボタン85とを含む。
FIG. 12 is a diagram showing an example of a keyword specification screen displayed on the
キーワード指定ボタン群81は、髪の長さに対応するキーワードを指定するための複数のボタンを含む。図12に示すキーワード指定ボタン群81は、キーワード「ショート」を指定するためボタン、キーワード「ミディアム」を指定するためボタン、キーワード「ロング」を指定するためボタンなどを含む。
The keyword
キーワード指定ボタン群82は、髪の色に対応するキーワードを指定するための複数のボタンを含む。図12に示すキーワード指定ボタン群82は、キーワード「ブラウン」を指定するためボタン、キーワード「ベージュ」を指定するためボタン、キーワード「ピンク」を指定するためボタン、キーワード「ブラック」を指定するためボタンなどを含む。
The keyword
キーワード指定ボタン群83は、雰囲気に対応するキーワードを指定するための複数のボタンを含む。図12に示すキーワード指定ボタン群83は、キーワード「かわいい」を指定するためボタン、キーワード「クール」を指定するためボタン、キーワード「ポップ」を指定するためボタン、キーワード「ナチュラル」を指定するためボタンなどを含む。
The keyword
キーワード指定ボタン群84は、TPO(Time Place Occasion)に対応するキーワードを指定するための複数のボタンを含む。図12に示すキーワード指定ボタン群84は、キーワード「原宿」を指定するためボタン、キーワード「銀座」を指定するためボタン、キーワード「新宿」を指定するためボタン、キーワード「六本木」を指定するためボタンなどを含む。
The keyword
キーワード指定ボタン群81,82,83,84で示される複数のキーワードは、予め定められた複数のキーワードであるが、複数のキーワードからランダムに抽出された複数のキーワードまたは予め定められた条件を満たす複数のキーワードであってもよい。予め定められた条件を満たす複数のキーワードは、例えば、ユーザUによって選択される回数が多い順に上位の所定数のキーワードである。抽出候補となるキーワードは、例えば、第1の学習モデルへの入力対象となるキーワードである。
The multiple keywords indicated by the keyword
ユーザUは、キーワード指定画面80において、操作部42への操作によって、所望のキーワードに対応するボタンを操作することによって、髪の長さ、髪の色、雰囲気、TPOなどを指定することができる。そして、ユーザUは、操作部42への操作によって、検索ボタン85を選択することで、処理部46によって指定キーワードから類似ヘア画像を取得する処理が実行される。なお、キーワード指定画面80に含まれる複数のキーワードは、上述した例に限定されない。
On the
図13は、実施形態に係る情報提供装置1の処理部46によって指定キーワードから類似ヘア画像を取得する処理を説明するための図である。図13に示す例では、ユーザUによって指定されたキーワードが「ロング」、「ピンク」、「かわいい」、「原宿」である。 Figure 13 is a diagram for explaining the process of acquiring similar hair images from a specified keyword by the processing unit 46 of the information providing device 1 according to the embodiment. In the example shown in Figure 13, the keywords specified by the user U are "long", "pink", "cute", and "Harajuku".
この場合、受付部50は、ユーザUによって指定されたキーワードが「ロング」、「ピンク」、「かわいい」、「原宿」を受け付ける。特定部52は、第1の学習モデルを用いて、受付部50によって指定が受け付けられたキーワード「ロング」、キーワード「ピンク」、キーワード「かわいい」、キーワード「原宿」から、ヘア画像を特定する。 In this case, the reception unit 50 accepts keywords specified by the user U such as "long", "pink", "cute", and "Harajuku". The identification unit 52 uses the first learning model to identify hair images from the keywords “long”, keyword “pink”, keyword “cute”, and keyword “Harajuku” whose designations are accepted by the reception unit 50.
そして、取得部51は、特定ヘア画像を含む類似画像検索要求を不図示の検索サーバまたは情報提供装置1に送信し、類似画像検索要求に応じて検索サーバまたは情報提供装置1から送信される複数の類似ヘア画像を取得する。 Then, the acquisition unit 51 transmits a similar image search request including the specific hair image to a search server or information providing device 1 (not shown), and multiple images sent from the search server or information providing device 1 in response to the similar image search request. Get similar hair images.
図14は、実施形態に係る情報提供装置1の出力部57によって表示部41に表示される予約設定画面の他の例を示す図である。図14に示す予約設定画面70は、ユーザUによって選択されたユーザ画像がユーザ画像選択領域71に設定され、ユーザUによって指定された1以上のキーワードに対応する複数の類似ヘア画像がヘア画像選択領域72に設定されている。
Fig. 14 is a diagram showing another example of a reservation setting screen displayed on the
ユーザUは、操作部42を操作することによって、ヘア画像選択領域72に設定されている複数の類似ヘア画像のうち1以上の類似ヘア画像を選択画像として選択することができる。
By operating the operation unit 42, the user U can select one or more similar hair images from among the multiple similar hair images set in the hair
図15は、実施形態に係る情報提供装置1の出力部57によって表示部41に表示される予約設定画面のさらに他の例を示す図である。図15に示す予約設定画面70は、図14に示す予約設定画面70において、ユーザUが操作部42への操作によって、図14に示す複数の類似ヘア画像のうち1つの類似ヘア画像を選択した場合に、表示部41に表示される。
Fig. 15 is a diagram showing yet another example of a reservation setting screen displayed on the
受付部50は、ユーザUによる類似ヘア画像の選択を選択画像として受け付ける。画像処理部53は、受付部50によって選択が受け付けられた類似ヘア画像と、ユーザUによって選択されたユーザ画像とを合成した合成画像を生成し、生成した合成画像を図15に示すように予約設定画面70に配置する。これにより、ユーザUは、表示部41に表示された合成画像を確認することができ、選択したヘア画像で示されるヘアスタイルが似合うかどうかなどをよりリアルに確認することができる。
The reception unit 50 receives the selection of a similar hair image by the user U as a selected image. The
また、ユーザUは、操作部42への操作によって、予約設定画面70における合成画像を選択することで、合成画像を生成する選択画像を変えながら合成画像を表示部41に表示させることができる。
Further, by operating the operation unit 42 to select a composite image on the
図16は、実施形態に係る情報提供装置1の出力部57によって表示部41に表示される合成画像変更画面の一例を示す図である。図16に示す合成画像変更画面90は、長さ選択ボタン91と、色選択ボタン92と、合成画像表示領域93とを含む。
FIG. 16 is a diagram showing an example of a composite image change screen displayed on the
長さ選択ボタン91は、上下方向のスワイプ(またはスクロール)によって変更される対象を、ヘアの長さとするためのボタンである。色選択ボタン92は、上下方向のスワイプ(またはスクロール)によって変更される対象を、ヘアの色とするためのボタンである。上下方向のスワイプ(またはスクロール)は、ヘア画像の第2変更操作の一例である。
The
図16に示す例では、長さ選択ボタン91が選択されており、ユーザUは、操作部42を操作して上下方向のスワイプ(またはスクロール)を行うことで、合成画像のヘアの長さを変更することができる。画像処理部53は、受付部50によって上下方向のスワイプ(またはスクロール)が受け付けられた場合に、合成画像のヘアの長さを変更し、ヘアの長さを変更した合成画像を表示部41に表示させる。
In the example shown in FIG. 16, the
また、ユーザUは、操作部42を操作して色選択ボタン92を選択した後、操作部42を操作して上下方向のスワイプ(またはスクロール)を行うことで、合成画像のヘアの色を変更することができる。画像処理部53は、受付部50によって上下方向のスワイプが受け付けられた場合に、合成画像のヘアの色を変更し、ヘアの色を変更した合成画像を表示部41に表示させる。
Further, the user U operates the operation unit 42 to select the
また、ユーザUは、左右方向へのスワイプ(またはスクロール)によって選択画像が変更された合成画像を表示部41に表示させることができる。左右方向のスワイプ(またはスクロール)はヘア画像の第1変更操作の一例である。画像処理部53は、受付部50によって左右方向のスワイプ(またはスクロール)が受け付けられた場合に、選択画像を変更して合成画像を生成し、選択画像を変更した合成画像を表示部41に表示させる。
Furthermore, the user U can display on the display unit 41 a composite image in which the selected image has been changed by swiping (or scrolling) in the left/right direction. A swipe (or scroll) in the left/right direction is an example of the first changing operation of the hair image. When the reception unit 50 accepts a swipe (or scroll) in the left/right direction, the
予約設定画面70には、上述したように、不図示の施術内容入力領域が含まれる。ユーザUは、操作部42を操作することによって、ユーザUが指定または希望する施術内容を施術内容入力領域に入力することができる。
As described above, the
また、予約設定画面70には、上述したように、不図示の施術内容推定ボタンや予約ボタンなどが含まれる。ユーザUは、合成画像を決定し、施術内容入力領域にユーザUが指定または希望する施術内容を入力した後に、ヘアサロン選択し、予約対象日時を設定する。そして、ユーザUは、操作部42を操作して予約ボタンを選択することで、出力部57から予約要求がヘア施術者宛に送信される。これにより、予約要求がヘア施術者宛に出力される。
Further, as described above, the
受付部50は、ユーザUによる施術内容推定ボタンの選択を受け付ける。推定部54は、受付部50によって施術内容推定ボタンの選択が受け付けられた場合、予約設定画面70で示されるユーザ画像と合成画像とから施術内容を推定する。ユーザ画像は、ユーザUの施術前の画像の一例である。推定部54は、ユーザ画像と合成画像とを第4の学習モデルに入力した場合に、第4の学習モデルから出力される施術内容を示す情報に基づいて、推定施術内容を判定する。
The reception unit 50 receives selection of the treatment content estimation button by the user U. When the selection of the treatment content estimation button is accepted by the reception unit 50, the estimating
図17は、実施形態に係る情報提供装置1の推定部54によってユーザ画像と合成画像とから施術内容を推定する処理を説明するための図である。図17に示す例では、推定部54は、ユーザ画像と合成画像とから推定施術内容として、「カット、ブリーチ1回、カラーブリーチ2回、パーマ1回」が判定されている。
FIG. 17 is a diagram for explaining the process of estimating the treatment content from the user image and the composite image by the
出力部57は、受付部50によって予約ボタンの選択が受け付けられた場合、ユーザ画像、合成画像、施術内容入力領域に入力された施術内容を示す情報、推定施術内容を示す情報、および予約対象日時を示す情報などを含む予約要求をヘア施術者宛に出力する。また、受付部50によって不図示の特定ボタンの選択が受け付けられた場合、出力部57は、例えば、操作終了を示す画面を表示部41に表示させる。ユーザUによる予約ボタンの選択は、推定施術内容に対するユーザUの許諾を示す応答の一例であり、ユーザUによる特定ボタンの選択は、推定施術内容に対するユーザUの不許諾を示す応答の一例である。
When the reception unit 50 accepts the selection of the reservation button, the
また、出力部57は、ユーザUによる操作部42への操作に応じて、ユーザUの顔型をユーザUに選択させるための顔型選択画面を表示部41に出力して、顔型選択画面を表示部41に表示させることができる。
In addition, the
図18は、実施形態に係る情報提供装置1の出力部57によって表示部41に表示される顔型選択画面の一例を示す図である。図18に示すように、顔型選択画面95は、複数の顔型を含む。ユーザUは、操作部42を操作して、顔型のうちユーザUの顔型に最も近い顔型を選択することができる。
FIG. 18 is a diagram showing an example of a face type selection screen displayed on the
受付部50は、顔型選択画面95に含まれる複数の顔型のうちユーザUによる顔型の選択を受け付ける。特定部52は、ユーザUによって選択された顔型を、ユーザUによって指定されたユーザUの顔の特徴とし、かかるユーザUの顔の特徴から、第3の学習モデルを用いて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。
The reception unit 50 receives a face type selection by the user U from among multiple face types included in the face
特定部52は、ユーザUによって選択された顔型を示す情報を第3の学習モデルに入力し、第3の学習モデルから出力されるヘアスタイルの情報に基づいて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。 The identifying unit 52 inputs information indicating the face type selected by the user U into the third learning model, and determines which hairstyle suits the user U's face based on the information on the hairstyle output from the third learning model. Identify the estimated hairstyle.
〔5.処理手順〕
次に、実施形態に係る端末装置4の処理部46による情報処理の手順について説明する。図19は、実施形態に係る端末装置4の処理部46による情報処理の一例を示すフローチャートである。
[5. Processing procedure]
Next, a procedure for information processing by the processing unit 46 of the
図19に示すように、端末装置4の処理部46は、情報提供装置1から学習モデルの情報を取得したか否かを判定する(ステップS20)。処理部46は、学習モデルの情報を取得したと判定した場合(ステップS20:Yes)、取得した学習モデルの情報を記憶部45に記憶させる(ステップS21)。
As shown in FIG. 19, the processing unit 46 of the
処理部46は、ステップS21の処理が終了した場合、または学習モデルの情報を取得していないと判定した場合(ステップS20:No)、ユーザUによる予約設定操作があるか否かを判定する(ステップS22)。処理部46は、予約設定操作があると判定した場合(ステップS22:Yes)、予約処理を実行する(ステップS23)。ステップS23の予約処理は、図20に示すステップS40~S49の処理であり、後で詳述する。 When the process of step S21 is completed or when it is determined that the learning model information has not been acquired (step S20: No), the processing unit 46 determines whether there is a reservation setting operation by the user U ( Step S22). If the processing unit 46 determines that there is a reservation setting operation (step S22: Yes), it executes reservation processing (step S23). The reservation process in step S23 is the process in steps S40 to S49 shown in FIG. 20, and will be described in detail later.
処理部46は、ステップS23の処理が終了した場合、または予約設定操作がないと判定した場合(ステップS22:No)、ヘア施術者からの修正案があるか否かを判定する(ステップS24)。処理部46は、修正案があると判定した場合(ステップS24:Yes)、ヘア施術者からの修正案を表示部41に表示させる(ステップS25)。
When the processing of step S23 is completed or when it is determined that no reservation setting operation has been performed (step S22: No), the processing unit 46 determines whether or not there are any revision suggestions from the hair practitioner (step S24). When it is determined that there are any revision suggestions (step S24: Yes), the processing unit 46 causes the
処理部46は、ステップS25の処理が終了した場合、または修正案がないと判定した場合(ステップS24:No)、施術者コメントがあるか否かを判定する(ステップS26)。処理部46は、施術者コメントがあると判定した場合(ステップS26:Yes)、施術者コメントを表示部41に表示させる(ステップS27)。
When the processing of step S25 is completed or when it is determined that there is no revision proposal (step S24: No), the processing unit 46 determines whether or not there is a therapist comment (step S26). When it is determined that there is a therapist comment (step S26: Yes), the processing unit 46 causes the
処理部46は、ステップS27の処理が終了する場合、または施術者コメントがないと判定した場合(ステップS26:No)、画像合成操作があるか否かを判定する(ステップS28)。処理部46は、画像合成操作があると判定した場合(ステップS28:Yes)、合成処理を行う(ステップS29)。ステップS29の合成処理は、図20に示すステップS40~S47と同じである。 When the processing of step S27 ends or when it is determined that there is no practitioner comment (step S26: No), the processing unit 46 determines whether or not there is an image synthesis operation (step S28). When it is determined that there is an image synthesis operation (step S28: Yes), the processing unit 46 performs synthesis processing (step S29). The synthesis processing of step S29 is the same as steps S40 to S47 shown in FIG. 20.
処理部46は、ステップS29の処理が終了した場合、または画像合成操作がないと判定した場合(ステップS28:No)、動作終了タイミングになったか否かを判定する(ステップS30)。処理部46は、例えば、情報提供装置1の電源がオフにされた場合、または情報提供装置1の不図示の操作部への操作によって終了操作が行われたと判定した場合に、動作終了タイミングになったと判定する。 When the processing of step S29 is completed or when it is determined that there is no image synthesis operation (step S28: No), the processing unit 46 determines whether or not the operation end timing has arrived (step S30). For example, the processing unit 46 determines that the operation end timing has arrived when the power supply of the information providing device 1 is turned off or when it is determined that an end operation has been performed by operating an operation unit (not shown) of the information providing device 1.
処理部46は、動作終了タイミングになっていないと判定した場合(ステップS30:No)、処理をステップS20へ移行し、動作終了タイミングになったと判定した場合(ステップS30:Yes)、図19に示す処理を終了する。 If the processing unit 46 determines that the operation end time has not yet arrived (step S30: No), it transitions to step S20, and if it determines that the operation end time has arrived (step S30: Yes), it terminates the processing shown in FIG. 19.
図20は、実施形態に係る端末装置4の処理部46による予約処理の一例を示すフローチャートである。図20に示すように、処理部46は、ユーザ画像の選択を受け付け、選択を受け付けたユーザ画像を取得する(ステップS40)。
FIG. 20 is a flowchart illustrating an example of a reservation process performed by the processing unit 46 of the
つづいて、処理部46は、1以上のキーワードの指定を受け付ける(ステップS41)。処理部46は、ステップS41で指定を受け付けた1以上のキーワードからヘア画像を特定する(ステップS42)。そして、処理部46は、ステップS42で特定したヘア画像と類似する画像である類似ヘア画像を取得する(ステップS43)。 Subsequently, the processing unit 46 receives designation of one or more keywords (step S41). The processing unit 46 identifies a hair image from the one or more keywords specified in step S41 (step S42). Then, the processing unit 46 acquires a similar hair image that is an image similar to the hair image identified in step S42 (step S43).
つづいて、処理部46は、ステップS42で取得した類似ヘア画像のうち選択された類似ヘア画像とユーザ顔画像とを合成する(ステップS44)。そして、処理部46は、ステップS44で合成した合成画像を表示部41に表示させる(ステップS45)。
Subsequently, the processing unit 46 combines the similar hair image selected from among the similar hair images acquired in step S42 and the user's face image (step S44). Then, the processing unit 46 causes the
つづいて、処理部46は、変更操作があるか否かを判定する(ステップS46)。変更操作は、例えば、上述したヘア画像の第1変更操作やヘア画像の第2変更操作である。処理部46は、変更操作があると判定した場合(ステップS46:Yes)、変更操作に応じた画像処理を行って合成画像を変更し(ステップS47)、処理をステップS46に移行する。 Then, the processing unit 46 determines whether or not a change operation has been performed (step S46). The change operation is, for example, the first change operation of the hair image or the second change operation of the hair image described above. If the processing unit 46 determines that a change operation has been performed (step S46: Yes), it performs image processing according to the change operation to change the composite image (step S47), and transitions to the process at step S46.
処理部46は、変更操作がないと判定した場合(ステップS46:No)、施術前の画像と合成画像とに基づいて、施術内容を推定する(ステップS48)。処理部46は、例えば、ユーザUによって予約ボタンが選択された場合などに、変更操作がないと判定する。 When the processing unit 46 determines that no change operation has been performed (step S46: No), it estimates the treatment contents based on the pre-treatment image and the composite image (step S48). The processing unit 46 determines that no change operation has been performed when, for example, the user U selects the reservation button.
そして、処理部46は、施術前の画像と合成画像と推定施術内容と指定施術内容とを含む予約要求をヘア施術者宛に出力する(ステップS49)。指定施術内容は、ユーザUによって入力された施術内容である。処理部46は、ステップS49の処理が終了した場合、図20に示す処理を終了する。 Then, the processing unit 46 outputs a reservation request including the pre-treatment image, the composite image, the estimated treatment content, and the specified treatment content to the hair practitioner (step S49). The specified treatment content is the treatment content input by the user U. When the processing of step S49 is completed, the processing unit 46 ends the processing shown in FIG. 20.
〔6.変形例〕
上述した例では、処理部46は、左右方向へのユーザ操作によって選択画像が変更された合成画像を表示部41に表示させ、上下方向のユーザ操作によってヘアの長さまたは色などを変更した合成画像を表示部41に表示させるが、かかる例に限定されない。
6. Modifications
In the above-described example, the processing unit 46 displays on the display unit 41 a composite image in which the selected image has been changed by user operation in the left-right direction, and displays on the display unit 41 a composite image in which the hair length or color, etc. has been changed by user operation in the up-down direction, but is not limited to such an example.
例えば、処理部46は、上下方向へのユーザ操作によって選択画像が変更された合成画像を表示部41に表示させ、左右方向のユーザ操作によってヘアの長さまたは色などを変更した合成画像を表示部41に表示させることができる。
For example, the processing unit 46 causes the
また、処理部46は、斜め方向へのユーザ操作によって選択画像とヘアの長さまたは色などとが変更された合成画像を表示部41に表示させることもできる。なお、ユーザ操作は、スワイプ操作またはスクロール操作であるが、かかる例に限定されず、例えば、タップ操作やクリック操作であってもよく、ピンチイン操作やピンチアウト操作などであってもよい。
Furthermore, the processing unit 46 can also cause the
また、第3の学習モデルから出力されるヘアスタイルの情報は、ヘア画像に限定されない。例えば、第3の学習モデルから出力されるヘアスタイルの情報は、ヘア画像を特定するための情報であるヘア画像特定情報であってもよい。ヘア画像を特定するための情報は、例えば、ヘア画像の識別情報またはヘア画像を特定するためのキーワードなどである。 Furthermore, the hairstyle information output from the third learning model is not limited to hair images. For example, the hairstyle information output from the third learning model may be hair image specifying information that is information for specifying a hair image. The information for specifying the hair image is, for example, identification information of the hair image or a keyword for specifying the hair image.
この場合、第3の学習モデルは、顔の特徴を示す情報と、ヘア画像特定情報と、顔の特徴を示す情報とヘア画像特定情報との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データを用いて生成される。 In this case, the third learning model is generated using learning data that includes multiple combinations of information indicating facial features, hair image specific information, and information indicating an evaluation of the combination of the information indicating facial features and the hair image specific information.
また、第1の学習モデル、第2の学習モデル、および第3の学習モデルなどを含む各学習モデルは、ユーザU毎の学習モデルであってもよい。例えば、第1の学習モデルおよび第3の学習モデルの各々の生成に用いられるヘア画像を、ユーザUが閲覧した投稿画像に含まれるヘア画像とすることで、第1の学習モデルおよび第3の学習モデルの各々をユーザU毎に生成することができる。 In addition, each learning model, including the first learning model, the second learning model, and the third learning model, may be a learning model for each user U. For example, the hair images used to generate each of the first learning model and the third learning model can be hair images included in the posted images viewed by the user U, so that each of the first learning model and the third learning model can be generated for each user U.
また、第2の学習モデルの生成に用いられる顔画像を、ユーザUが閲覧した投稿画像に含まれるヘア画像とすることで、第2の学習モデルをユーザU毎に生成することができる。 Further, by using the facial image used to generate the second learning model as a hair image included in the posted image viewed by the user U, the second learning model can be generated for each user U.
情報提供装置1は、端末装置4と連携して、取得部51、特定部52、画像処理部53、推定部54、判定部55、比較部56、および出力部57のうちの一部または全部の機能を実行することができ、情報処理装置の一部として機能することができる。なお、以下において、上述した端末装置4と情報提供装置1の一部または全部とを含む構成を情報処理装置と記載する場合がある。
The information providing device 1 can execute some or all of the functions of the acquisition unit 51, the identification unit 52, the
〔7.ハードウェア構成〕
上述してきた実施形態に係る情報提供装置1および端末装置4の各々は、例えば図21に示すような構成のコンピュータ200によって実現される。図21は、実施形態に係る情報提供装置1および端末装置4の各々の機能を実現するコンピュータ200の一例を示すハードウェア構成図である。コンピュータ200は、CPU201、RAM202、ROM(Read Only Memory)203、HDD(Hard Disk Drive)204、通信インターフェイス(I/F)205、入出力インターフェイス(I/F)206、およびメディアインターフェイス(I/F)207を有する。
7. Hardware Configuration
Each of the information providing device 1 and the
CPU201は、ROM203またはHDD204に記憶されたプログラムに基づいて動作し、各部の制御を行う。ROM203は、コンピュータ200の起動時にCPU201によって実行されるブートプログラムや、コンピュータ200のハードウェアに依存するプログラムなどを記憶する。
The
HDD204は、CPU201によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを記憶する。通信インターフェイス205は、ネットワークN(図2参照)を介して他の機器からデータを受信してCPU201へ送り、CPU201が生成したデータを、ネットワークNを介して他の機器へ送信する。
The
CPU201は、入出力インターフェイス206を介して、ディスプレイやプリンタなどの出力装置、および、キーボードまたはマウスなどの入力装置を制御する。CPU201は、入出力インターフェイス206を介して、入力装置からデータを取得する。また、CPU201は、入出力インターフェイス206を介して生成したデータを出力装置へ出力する。
The
メディアインターフェイス207は、記録媒体208に記憶されたプログラムまたはデータを読み取り、RAM202を介してCPU201に提供する。CPU201は、かかるプログラムを、メディアインターフェイス207を介して記録媒体208からRAM202上にロードし、ロードしたプログラムを実行する。記録媒体208は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)などの光学記録媒体、MO(Magneto-Optical disk)などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
例えば、コンピュータ200が実施形態に係る情報提供装置1や端末装置4として機能する場合、コンピュータ200のCPU201は、RAM202上にロードされたプログラムを実行することにより、処理部12や処理部46の機能を実現する。また、HDD204には、記憶部11内または記憶部45内のデータが記憶される。コンピュータ200のCPU201は、これらのプログラムを記録媒体208から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
For example, when the
〔8.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[8. others〕
Furthermore, among the processes described in the above embodiments, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed manually. All or part of the process can also be performed automatically using known methods. In addition, information including the processing procedures, specific names, and various data and parameters shown in the above documents and drawings may be changed arbitrarily, unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Furthermore, each component of each device shown in the drawings is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings. In other words, the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices can be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured.
例えば、上述した情報提供装置1は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホームなどをAPIやネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。 For example, the information providing device 1 described above may be realized by multiple server computers, and depending on the function, the configuration can be flexibly changed, such as by calling an external platform using an API or network computing.
また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The above-described embodiments and variations can be combined as appropriate to the extent that they do not cause inconsistencies in the processing content.
〔9.効果〕
上述してきたように、実施形態に係る情報処理装置は、特定部52と、取得部51と、画像処理部53とを備える。特定部52は、顔の特徴を示す情報と顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである学習モデルを用いて、ユーザUの顔に似合うと推定されるヘアスタイルを特定する。取得部51は、特定部52によって特定されたヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する。画像処理部53は、取得部51によって取得された投稿画像とユーザUの顔画像とに基づいて、特定部52によって特定されたヘアスタイルの画像とユーザUの顔画像とを合成した合成画像を生成する。これにより、ユーザUは、ユーザUの顔に似合うと推定されるヘアスタイルを自身に適用した場合の画像を容易に取得することができる。したがって、情報処理装置は、ユーザUの利便性を向上させることができる。
9. Effects
As described above, the information processing device according to the embodiment includes the identification unit 52, the acquisition unit 51, and the
また、顔の特徴を示す情報は、顔型の種類を示す情報である。これにより、情報処理装置は、顔に似合うと推定されるヘアスタイルを精度よく特定することができる。 Further, the information indicating facial features is information indicating the type of face shape. Thereby, the information processing device can accurately identify a hairstyle that is estimated to suit the face.
また、情報処理装置は、画像処理部53によって生成された合成画像を出力する出力部57を備える。これにより、情報処理装置は、ユーザUの利便性を向上させることができる。
The information processing device also includes an
また、学習モデルは、顔の特徴を示す情報と、ヘア画像と、顔の特徴を示す情報とヘア画像との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データを用いた機械学習によって生成される。これにより、情報処理装置は、顔に似合うと推定されるヘアスタイルを精度よく特定することができる。 In addition, the learning model is developed by machine learning using learning data that includes multiple combinations of information indicating facial features, hair images, and information indicating evaluations of the combination of information indicating facial features and hair images. generated. Thereby, the information processing device can accurately identify a hairstyle that is estimated to suit the face.
また、学習用データは、顔画像およびヘア画像を含む投稿画像と、投稿画像に対する評価を示す評価情報とを含む投稿情報に基づいて生成される。これにより、情報処理装置は、顔に似合うと推定されるヘアスタイルを精度よく特定することができる。 The learning data is generated based on posted information including posted images that include face images and hair images, and evaluation information that indicates evaluations of the posted images. This allows the information processing device to accurately identify hairstyles that are estimated to suit the face.
また、情報処理装置は、ユーザUからのヘア画像の第1変更操作を受け付ける受付部50を備える。取得部51は、特定ヘア画像を含む投稿画像を複数取得し、画像処理部53は、複数の投稿画像の各々に対応する合成画像を生成し、出力部57は、受付部50によって第1変更操作が受け付けられる毎に出力する合成画像を変更する。これにより、情報処理装置は、ユーザUの利便性を向上させることができる。
The information processing device also includes a reception unit 50 that receives a first change operation for a hair image from user U. An acquisition unit 51 acquires a plurality of posted images including a specific hair image, an
また、受付部50は、ユーザUからのヘア画像の第2変更操作を受け付け、出力部57は、受付部50によって第2変更操作が受け付けられる毎に合成画像に含まれるヘア画像の髪の長さおよび色のうちの少なくとも1つを変更する。これにより、情報処理装置は、ユーザUの利便性を向上させることができる。
Further, the receiving unit 50 receives a second changing operation of the hair image from the user U, and the outputting
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although the embodiments of the present application have been described above in detail based on the drawings, this is just an example, and various modifications and improvements can be made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure section of the invention. It is possible to implement the invention in other forms.
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 The above-mentioned "section, module, unit" can be read as "means" or "circuit." For example, an acquisition unit can be read as an acquisition means or an acquisition circuit.
1 情報提供装置
4 端末装置
5 店舗装置
10,40 通信部
11,45 記憶部
12,46 処理部
20 ユーザ情報記憶部
21 投稿情報記憶部
22 モデル情報記憶部
23 コンテンツ記憶部
30,51 取得部
31 学習部
32 提供部
41 表示部
42 操作部
43 撮像部
44 センサ部
50 受付部
52 特定部
53 画像処理部
54 推定部
55 判定部
56 比較部
57 出力部
60 選択受付部
61 加工受付部
62 指定受付部
63 修正案受付部
64 許諾可否受付部
65 変換部
66 合成部
100 情報処理システム
1
Claims (9)
前記特定部によって特定された前記ヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する取得部と、
前記取得部によって取得された前記投稿画像と前記ユーザの顔画像とに基づいて、前記特定部によって特定された前記ヘアスタイルの画像と前記ユーザの顔画像とを合成した合成画像を生成する画像処理部と、を備える
ことを特徴とする情報処理装置。 A determination unit that determines a hairstyle that is estimated to suit the face of a user by using a learning model that is a model that has learned a relationship between information indicating facial features and hairstyles that are evaluated to suit the face;
an acquisition unit that acquires posted images including a specific hair image that is an image of the hairstyle identified by the identification unit;
and an image processing unit that generates a composite image by combining the image of the hairstyle identified by the identification unit and the facial image of the user based on the posted image and the facial image of the user acquired by the acquisition unit.
顔型の種類を示す情報である
ことを特徴とする請求項1に記載の情報処理装置。 The facial feature information includes:
The information processing device according to claim 1 , wherein the information indicates a type of face shape.
ことを特徴とする請求項1または2に記載の情報処理装置。 The information processing apparatus according to claim 1 , further comprising an output unit that outputs the composite image generated by the image processing unit.
顔の特徴を示す情報と、ヘア画像と、前記顔の特徴を示す情報と前記ヘア画像との組み合わせに対する評価を示す情報との組み合わせを複数含む学習用データを用いた機械学習によって生成される
ことを特徴とする請求項1または2に記載の情報処理装置。 The learning model is
The information processing device according to claim 1 or 2, characterized in that the information processing device is generated by machine learning using learning data including multiple combinations of information indicating facial features, a hair image, and information indicating an evaluation of the combination of the information indicating the facial features and the hair image.
顔画像およびヘア画像を含む投稿画像と、前記投稿画像に対する評価を示す評価情報とを含む投稿情報に基づいて生成される
ことを特徴とする請求項4に記載の情報処理装置。 The learning data is
The information processing device according to claim 4, wherein the information processing device is generated based on posted information including a posted image including a face image and a hair image, and evaluation information indicating an evaluation of the posted image.
前記取得部は、
前記特定ヘア画像を含む前記投稿画像を複数取得し、
前記画像処理部は、
複数の前記投稿画像の各々に対応する前記合成画像を生成し、
前記出力部は、
前記受付部によって前記第1変更操作が受け付けられる毎に出力する前記合成画像を変更する
ことを特徴とする請求項3に記載の情報処理装置。 comprising a reception unit that receives a first change operation of the hair image from the user;
The acquisition unit includes:
acquiring a plurality of posted images including the specific hair image;
The image processing unit includes:
generating the composite image corresponding to each of the plurality of posted images;
The output section is
The information processing apparatus according to claim 3, wherein the output composite image is changed every time the first change operation is accepted by the reception unit.
前記ユーザからのヘア画像の第2変更操作を受け付け、
前記出力部は、
前記受付部によって前記第2変更操作が受け付けられる毎に前記合成画像に含まれるヘア画像の髪の長さおよび色のうちの少なくとも1つを変更する
ことを特徴とする請求項6に記載の情報処理装置。 The reception department is
accepting a second hair image change operation from the user;
The output section is
The information according to claim 6, wherein at least one of the hair length and color of the hair image included in the composite image is changed each time the second change operation is accepted by the reception unit. Processing equipment.
顔の特徴を示す情報と前記顔に似合うと評価されたヘアスタイルとの関係性を学習したモデルである学習モデルを用いて、ユーザの顔に似合うと推定されるヘアスタイルを特定する特定工程と、
前記特定工程によって特定された前記ヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する取得工程と、
前記取得工程によって取得された前記投稿画像と前記ユーザの顔画像とに基づいて、前記特定工程によって特定された前記ヘアスタイルの画像と前記ユーザの顔画像とを合成した合成画像を生成する画像処理工程と、を含む
ことを特徴とする情報処理方法。 1. A computer-implemented information processing method, comprising:
A step of identifying a hairstyle that is estimated to suit the face of a user using a learning model that is a model that has learned a relationship between information indicating facial features and hairstyles that are evaluated as suiting the face;
An acquisition step of acquiring a posted image including a specific hair image which is an image of the hairstyle identified by the identification step;
an image processing step of generating a composite image by combining the image of the hairstyle identified in the identification step with the facial image of the user based on the posted image acquired in the acquisition step and the facial image of the user.
前記特定手順によって特定された前記ヘアスタイルの画像である特定ヘア画像を含む投稿画像を取得する取得手順と、
前記取得手順によって取得された前記投稿画像と前記ユーザの顔画像とに基づいて、前記特定手順によって特定された前記ヘアスタイルの画像と前記ユーザの顔画像とを合成した合成画像を生成する画像処理手順と、をコンピュータに実行させる
ことを特徴とする情報処理プログラム。 A specific procedure for identifying a hairstyle that is estimated to suit a user's face using a learning model that is a model that has learned the relationship between information indicating facial features and hairstyles that have been evaluated to suit the face; ,
an acquisition step of acquiring a posted image including a specific hair image that is an image of the hairstyle specified by the identification step;
Image processing that generates a composite image that combines the hairstyle image specified by the identification procedure and the user's face image, based on the posted image and the user's face image acquired by the acquisition procedure. An information processing program that causes a computer to execute steps.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022149079A JP2024043864A (en) | 2022-09-20 | 2022-09-20 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022149079A JP2024043864A (en) | 2022-09-20 | 2022-09-20 | Information processing device, information processing method, and information processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024043864A true JP2024043864A (en) | 2024-04-02 |
Family
ID=90480168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022149079A Pending JP2024043864A (en) | 2022-09-20 | 2022-09-20 | Information processing device, information processing method, and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024043864A (en) |
-
2022
- 2022-09-20 JP JP2022149079A patent/JP2024043864A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110178132B (en) | Method and system for automatically suggesting content in a messaging application | |
US20210097353A1 (en) | Functional image archiving | |
CN107925725B (en) | Display device and control method of the same | |
US9674485B1 (en) | System and method for image processing | |
US20150277686A1 (en) | Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format | |
US12015615B2 (en) | Apparatus and method for coordinating the matching and initial communications between individuals in a dating application | |
JP7290851B2 (en) | Information processing method, information processing device and computer program | |
CN107864681A (en) | Utilize the social network service system and method for image | |
US9197592B2 (en) | Social network service system, image display method, and computer-readable storage medium | |
US20240144290A1 (en) | Mobile device with in-person assistance | |
US20140351092A1 (en) | Methods, Systems, and Media for Marketing Beauty Products and Services | |
JP2024043864A (en) | Information processing device, information processing method, and information processing program | |
JP2024043863A (en) | Information processing apparatus, information processing method, and information processing program | |
JP2024043774A (en) | Information processing device, information processing method, and information processing program | |
JP2024043770A (en) | Information processing device, information processing method, and information processing program | |
US20210390596A1 (en) | System and method for matching customers with hair stylist based on holistic criteria | |
CN109190019A (en) | User image generation method, electronic equipment and computer storage medium | |
JP7116200B2 (en) | AR platform system, method and program | |
US20230136551A1 (en) | A computer implemented system and method for generating multiple media creations | |
KR20220050639A (en) | Method for providing nail art service and System for providing nail art service | |
JP7021316B1 (en) | Information processing programs, information processing methods and information processing equipment | |
JP7292452B1 (en) | Proposed device, proposed method, and proposed program | |
JP2024008639A (en) | Information processor, method for processing information, and information processing program | |
JP2024008627A (en) | Information processor, method for processing information, and information processing program | |
EP3926557A1 (en) | System and method for matching hair stylists with job offers based on holistic criteria |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20231026 |