JP7391166B1 - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP7391166B1 JP7391166B1 JP2022159125A JP2022159125A JP7391166B1 JP 7391166 B1 JP7391166 B1 JP 7391166B1 JP 2022159125 A JP2022159125 A JP 2022159125A JP 2022159125 A JP2022159125 A JP 2022159125A JP 7391166 B1 JP7391166 B1 JP 7391166B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- information processing
- image
- clothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 288
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000011156 evaluation Methods 0.000 claims abstract description 121
- 230000014509 gene expression Effects 0.000 claims description 131
- 238000000034 method Methods 0.000 claims description 26
- 230000037237 body shape Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 abstract description 22
- 238000013527 convolutional neural network Methods 0.000 description 43
- 239000013598 vector Substances 0.000 description 43
- 230000004044 response Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Abstract
【課題】所定の対象に似合う被服を利用者が把握する。【解決手段】本願に係る情報処理装置は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う被服を推定する推定部と、推定部により推定された被服に関する情報を利用者に提供する提供部とを有することを特徴とする。【選択図】図５[Problem] A user grasps clothing that suits a predetermined target. [Solution] An information processing device according to the present application evaluates an image of a wearer wearing clothing, based on evaluations from a plurality of evaluators indicating whether or not the clothing suits the wearer. An estimating unit that estimates clothing that looks good on a predetermined subject based on the generated distributed representation space in which the image and evaluator information indicating the evaluator are projected; The present invention is characterized by having a provision section that provides the information to users. [Selection diagram] Figure 5
Description
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来、入力された情報の分散表現を生成し、生成した分散表現同士の比較結果に基づいて、情報の関係性を判定する技術が知られている。このような技術の一例として、商品が備える特徴を表わす商品情報と、単語間の関係性を表す単語情報と、ユーザの嗜好に応じて行動の対象になった商品を表わす学習データとに基づいて、マップ空間上の位置を表わす隠れ特徴ベクトルを、ユーザおよび商品のそれぞれについて推定する技術が提供されている。 2. Description of the Related Art Conventionally, a technique is known in which a distributed representation of input information is generated and a relationship between the information is determined based on a comparison result between the generated distributed representations. As an example of such technology, information is created based on product information that represents the characteristics of the product, word information that represents the relationships between words, and learning data that represents the product that is the target of the user's actions according to the user's preferences. , a technique is provided for estimating hidden feature vectors representing positions on a map space for each of a user and a product.
しかしながら、上述した技術では、所定の対象に似合う被服を利用者が把握することができるとは限らない。 However, with the above-mentioned techniques, it is not always possible for a user to know which clothing suits a predetermined target.
例えば、上述した技術では、ユーザの隠れ特徴ベクトルと商品の隠れ特徴ベクトルとの距離が、当該商品に対するユーザの嗜好を反映した距離となるように隠れ特徴ベクトルを推定しているに過ぎず、所定の対象に似合う被服を利用者が把握することができるとは限らない。 For example, in the above-mentioned technology, the hidden feature vector is only estimated so that the distance between the user's hidden feature vector and the product's hidden feature vector is a distance that reflects the user's preference for the product; It is not always possible for the user to know which clothing suits the target person.
本願は、上記に鑑みてなされたものであって、所定の対象に似合う被服を利用者が把握することを目的とする。 The present application has been made in view of the above, and aims to help users understand clothing that suits a predetermined object.
本願に係る情報処理装置は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う被服を推定する推定部と、前記推定部により推定された被服に関する情報を利用者に提供する提供部とを有することを特徴とする。 The information processing device according to the present application generates an evaluation of an image of a wearer wearing clothing based on evaluations from a plurality of evaluators indicating whether or not the clothing suits the wearer. an estimating unit that estimates clothing that suits a predetermined subject based on a distributed expression space in which the image and evaluator information indicating the evaluator are projected; and information regarding the clothing estimated by the estimating unit to the user. and a providing unit that provides the information.
実施形態の一態様によれば、所定の対象に似合う被服を利用者が把握することができるという効果を奏する。 According to one aspect of the embodiment, an effect is achieved in that the user can grasp clothing that suits a predetermined target.
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An information processing apparatus, an information processing method, and an information processing program according to the present application (hereinafter referred to as "embodiments") will be described in detail below with reference to the drawings. Note that the information processing apparatus, information processing method, and information processing program according to the present application are not limited to this embodiment. Further, in each of the embodiments below, the same parts are given the same reference numerals, and redundant explanations will be omitted.
（実施形態）
〔１．情報処理システムの構成〕
まず、実施形態に係る情報処理システム１について説明する。図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、利用者端末１００と、評価者端末２００とが含まれる。情報処理装置１０と、利用者端末１００と、評価者端末２００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。なお、図１に示した情報処理システム１には、複数台の情報処理装置１０、複数台の利用者端末１００及び複数台の評価者端末２００が含まれてもよい。
(Embodiment)
[1. Information processing system configuration]
First, an
情報処理装置１０は、複数の被服（ファッションアイテムともいい、履物（シューズともいう）や帽子（キャップやハットなど）、装身具（アクセサリともいう）なども含む）の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者（アノテーター）から受け付け、受け付けられた評価に基づいて、当該画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成し、生成した分散表現空間を用いた情報処理を実現する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。
The
また、例えば、情報処理装置１０は、被服を提供（検索、販売等）する電子商取引サービスを提供する。また、情報処理装置１０は、被服のコーディネートを示すコンテンツ（画像、動画、記事等）の投稿を利用者から受け付け、他の利用者に提供（検索、配信等）するコーディネートサービスを提供する。
Further, for example, the
なお、情報処理装置１０は、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。また、情報処理装置１０は、利用者端末１００にインストールされた各種サービスに関するアプリケーションに表示する情報を、情報処理装置１０に配信する装置であってもよい。また、情報処理装置１０は、アプリケーションのデータそのものを配信する装置であってもよい。
Note that the
また、情報処理装置１０は、利用者端末１００に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、情報処理装置１０から配信されるアプリケーションそのものを制御情報とみなしてもよい。
Further, the
利用者端末１００は、利用者によって利用される情報処理装置である。利用者端末１００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、利用者端末１００は、情報処理装置１０や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図２に示す例では、利用者端末１００がスマートフォンである場合を示す。
The
評価者端末２００は、複数の被服の組み合わせを着用した着用者の画像に対する評価を行う評価者によって利用される情報処理装置である。評価者端末２００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、評価者端末２００は、情報処理装置１０や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図２に示す例では、評価者端末２００がスマートフォンである場合を示す。
The evaluator terminal 200 is an information processing device used by an evaluator who evaluates images of wearers wearing combinations of a plurality of clothing items. The evaluator terminal 200 is realized by, for example, a smartphone, a tablet terminal, a notebook PC, a desktop PC, a mobile phone, a PDA, or the like. Further, the evaluator terminal 200 displays information distributed by the
〔２．情報処理の一例〕
次に、図２～４を用いて、本実施形態に係る情報処理装置等により実現される情報処理の一例について説明する。
[2. An example of information processing]
Next, an example of information processing realized by the information processing apparatus and the like according to this embodiment will be described using FIGS. 2 to 4.
〔２－１．第１の情報処理について〕
以下、図２を用いて、本実施形態に係る情報処理装置等により実現される第１の情報処理について説明する。図２は、実施形態に係る情報処理の一例を示す図（１）である。なお、以下の説明では、利用者端末１００が、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者（利用者Ｕ１）により利用されるものとする。また、以下の説明では、利用者端末１００を利用者Ｕ１と同一視する場合がある。すなわち、以下では、利用者Ｕ１を利用者端末１００と読み替えることもできる。
[2-1. Regarding the first information processing]
Hereinafter, the first information processing realized by the information processing apparatus and the like according to this embodiment will be described using FIG. 2. FIG. 2 is a diagram (1) showing an example of information processing according to the embodiment. In the following description, it is assumed that the
また、以下の説明では、評価者端末２００を利用する評価者に応じて、評価者端末２００－１～２００－Ｎ（Ｎは任意の自然数）として説明する。例えば、評価者端末２００－１は、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者（評価者Ａ１）により使用される評価者端末２００である。また、以下では、評価者端末２００－１～２００－Ｎについて、特に区別なく説明する場合には、評価者端末２００と記載する。また、以下の説明では、評価者端末２００を評価者と同一視する場合がある。すなわち、以下では、評価者を評価者端末２００と読み替えることもできる。
Furthermore, in the following explanation, evaluator terminals 200-1 to 200-N (N is an arbitrary natural number) will be explained depending on the evaluator who uses the evaluator terminal 200. For example, the evaluator terminal 200-1 is the evaluator terminal 200 used by the evaluator (evaluator A1) identified by the evaluator ID "
まず、情報処理装置１０は、複数の被服の組み合わせ（コーディネート）を着用した着用者の画像に対する評価者の評価を、評価者端末２００から受け付ける（ステップＳａ１）。例えば、情報処理装置１０は、着用者のコーディネートが、着用者に似合っているか否かを示す評価を受け付ける。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１及びＰ２の組を評価者に提示し、２つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付ける。
First, the
より具体的な例を挙げると、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価、並びに、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価（すなわち、画像Ｐ１に対する「似合う」という評価と、画像Ｐ２に対する「似合わない」という評価）を、評価者Ａ１から受け付ける。なお、どちらの例においても似合っている場合に、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価と、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいし、反対にどちらの例においても似合わなかった場合に、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価と、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいものとする。以降の例では相対的に似合うと判断された場合を含めて単に似合うと表記し、同様に相対的に似合わないと判断された場合を含めて単に似合わないと表記する。また、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価、並びに、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価（すなわち、画像Ｐ１に対する「似合わない」という評価と、画像Ｐ２に対する「似合う」という評価）を、評価者Ａ２から受け付ける。同様に、情報処理装置１０は、他の評価者からも、画像Ｐ１及びＰ２の組に関する評価を受け付ける。また、情報処理装置１０は、画像Ｐ３及びＰ４の組、画像Ｐ５及びＰ６の組、画像Ｐ１及びＰ３の組、画像Ｐ２及びＰ４の組、・・・といった他の組に関する評価を評価者から受け付ける。
To give a more specific example, the
続いて、情報処理装置１０は、画像に対する評価者の評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する（ステップＳａ２）。例えば、情報処理装置１０は、ＶＳＥ（Visual-Semantic Embedding）の技術を用いて、分散表現空間を生成する。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ１を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ１を生成する。
Subsequently, the
なお、情報処理装置１０は、画像に関する各種の情報や、評価者に関する各種の情報を示す評価者情報を投影した分散表現空間を生成してもよい。ここで、図３を用いて、情報処理装置１０が生成する分散表現空間の例について説明する。図３は、実施形態に係る分散表現空間の一例を示す図である。
Note that the
例えば、画像が示すコーディネートに含まれる被服（アイテム）は、評価者が似合うと感じるか否かに寄与していることが推定される。したがって、情報処理装置１０は、画像が示すコーディネートに含まれる被服の画像をさらに投影した分散表現空間Ｆ２を生成する。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服Ｉ１の画像を投影した分散表現空間Ｆ２を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服Ｉ２の画像を投影した分散表現空間Ｆ２を生成する。
For example, it is presumed that the clothing (items) included in the coordination shown in the image contributes to whether or not the evaluator feels it looks good. Therefore, the
また、例えば、情報処理装置１０は、画像が示すコーディネートに紐付けられた情報をさらに投影した分散表現空間Ｆ３を生成する。具体的な例を挙げると、情報処理装置１０は、コーディネートの用途や、着用するシチュエーションなどを示すカテゴリをさらに投影した分散表現空間Ｆ３を生成する。より具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートのカテゴリＴ１（カジュアル）を投影した分散表現空間Ｆ３を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２のカテゴリＴ２（デート）を投影した分散表現空間Ｆ３を生成する。なお、情報処理装置１０は、画像が示すコーディネートに含まれる被服の画像をさらに投影した散表現空間を生成する場合、当該被服に紐付けられた情報をさらに投影した分散表現空間を生成してもよい。
Further, for example, the
また、例えば、情報処理装置１０は、評価者の属性情報を示す評価者情報を投影した分散表現空間Ｆ４を生成する。ここで、評価者Ａ１の属性情報が「２０代後半、東京在住」であり、評価者Ａ２の属性情報が「２０代前半、大阪在住」であるものとする。このような場合、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の属性情報よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の属性情報（例えば、属性情報Ｂ１（２０代後半、東京在住）、属性情報Ｂ２（２０代後半）及び属性情報Ｂ３（東京在住））の近くに、画像Ｐ１を投影した分散表現空間Ｆ４を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の属性情報よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の属性情報（例えば、属性情報Ｂ４（２０代前半、大阪在住）、属性情報Ｂ５（大阪在住）及び属性情報Ｂ６（２０代前半））の近くに、画像Ｐ２を投影した分散表現空間Ｆ４を生成する。
Further, for example, the
また、例えば、情報処理装置１０は、「ファッションに自信がある？」や、「好きな街は？」といったアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間Ｆ５を生成する。ここで、上記のアンケートに対し、評価者Ａ１が「ファッションに自信がない」、「渋谷が好き」と回答し、評価者Ａ２が「ファッションに自信がある」、「原宿が好き」と回答したものとする。このような場合、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の回答よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の回答（例えば、回答Ｃ１（ファッションに自信がない、渋谷が好き）、回答Ｃ２（ファッションに自信がない）及び回答Ｃ３（渋谷が好き））の近くに、画像Ｐ１を投影した分散表現空間Ｆ５を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の回答よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の回答（例えば、回答Ｃ４（ファッションに自信がある、原宿が好き）、回答Ｃ５（ファッションに自信がある）及び回答Ｃ６（原宿が好き））の近くに、画像Ｐ２を投影した分散表現空間Ｆ５を生成する。
Further, for example, the
なお、情報処理装置１０が生成する分散表現空間は、上記の例に限定されない。例えば、情報処理装置１０は、画像、コーディネートに含まれる被服の画像、コーディネートのカテゴリ、評価者の属性情報、並びに、アンケートに対する評価者の回答を投影した分散表現空間を生成してもよい。
Note that the distributed representation space generated by the
また、情報処理装置１０が生成する分散表現空間に含まれる情報は、上記のような例に限定されず、任意の情報が投影されてもよい。例えば、情報処理装置１０は、被服の提供元（例えば、ブランドや、被服を販売するショップなど）を示す情報を投影した分散表現空間を生成してもよい。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、例えば、情報処理装置１０は、着用者の身体的な情報（例えば、骨格や体格に関する特徴量）を投影した分散表現空間を生成してもよく、身体的な特徴量を抽出する際に非特許文献１（ＶｉＢＥ： Ｄｒｅｓｓｉｎｇ ｆｏｒ Ｄｉｖｅｒｓｅ Ｂｏｄｙ Ｓｈａｐｅｓ．Ｗｅｉ－Ｌｉｎ Ｈｓｉａｏ，Ｋｒｉｓｔｅｎ Ｇｒａｕｍａｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０２０， ｐｐ． １１０５９－１１０６９．）の方法を用いてもよい。
Further, the information included in the distributed representation space generated by the
また、例えば、情報処理装置１０は、評価者の各種の属性情報（例えば、職業や、身長、体重、居住地、パーソナルカラー、収入、家賃）、評価者のアンケートの項目（例えば、お気に入りの提供元や、ファッションにかける金額、ファッションの参考に見ている媒体（よく読む雑誌、よく利用するＷＥＢサービス等）、夢中になっていること（趣味等）、将来の夢、ファッションの参考にしている人（芸能人、インフルエンサー等）、なりたいイメージ、取り入れたいアイテム、好きな（憧れな）人のＳＮＳに関する情報、体型の悩み、ファッションの悩みなど）に対する回答、画像が示すコーディネートに紐付けられた情報（例えば、アイテムタイプ、提供元、利用シーン、色、季節、着用の目的、売り文句、素材、サイズ、価格帯など）を示す情報などを投影した分散表現空間を生成してもよい。
For example, the
図２に戻り説明を続ける。続いて、情報処理装置１０は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、生成した分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネート（言い換えると、利用者が高く評価すると推定されるコーディネートや、利用者も似合うと評価すると推定されるコーディネート）を推定する（ステップＳａ３）。ここで、利用者Ｕ１の属性情報が、「２０代後半」であるものとする。このような場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定する。
Returning to FIG. 2, the explanation will be continued. Subsequently, the
なお、情報処理装置１０は、分散表現空間に投影された情報と、利用者Ｕ１に関する情報とに基づいて、利用者Ｕ１に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、利用者Ｕ１の属性情報が、「２０代後半、大阪在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者Ｕ１に関する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定してもよい。
Note that the
ここで、図２の例において、情報処理装置１０が、画像Ｐ１が示すコーディネート＃１、画像Ｐ３が示すコーディネート＃３、並びに、画像Ｐ４が示すコーディネート＃４を、利用者Ｕ１に似合うコーディネートであると推定したものとする。このような場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４に関する情報を利用者端末１００に提供する（ステップＳａ４）。例えば、情報処理装置１０は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定し、優先度を高くして提供する。具体的な例を挙げると、情報処理装置１０は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、情報処理装置１０は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、コーディネートサービスにおいて提供する。このとき、情報処理装置１０は、優先度が高い情報ほど、目立つ位置や、ランキングの上位として表示されるように提供してもよい。
Here, in the example of FIG. 2, the
なお、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、利用者Ｕ１に関する情報（属性情報、身体的な情報（身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等）等）や、コーディネートに関連する情報（例えば、現在の季節や、現在の流行）などに対応するコーディネートの情報を提供してもよい。例えば、利用者Ｕ１が男性である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、男性向けのコーディネートの情報を提供する。例えば、利用者Ｕ１が男性である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、着用者が男性であるコーディネートや、コーディネートに含まれる被服が男性向けであるコーディネートの情報を提供してもよい。例えば、現在の季節が秋である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、秋や冬向けのコーディネートの情報を提供する。
Note that the
また、情報処理装置１０は、利用者Ｕ１が指定した条件に応じたコーディネートの情報を提供してもよい。例えば、利用者Ｕ１がカテゴリ「カジュアル」を条件として指定した場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、分散表現空間（例えば、分散表現空間Ｆ３）においてカテゴリＴ１からより近い位置に投影された画像が示すコーディネートの優先度を高くして提供する。
Further, the
また、情報処理装置１０は、利用者Ｕ１の被服に関する嗜好を学習したモデルを用いて、コーディネートの情報を提供してもよい。例えば、情報処理装置１０は、被服に関する情報（例えば、画像）を入力した場合に、利用者Ｕ１がその被服を嗜好する度合いが高いほど高いスコアを出力するようモデルを学習しておく。そして、情報処理装置１０は、そのモデルにコーディネート＃１、＃３及び＃４に関する情報を入力し、出力されたスコアが高い順にコーディネート＃１、＃３及び＃４の情報を利用者Ｕ１に提供する。
The
続いて、情報処理装置１０は、提供した情報に対して利用者Ｕ１が肯定的であったか否かを示すフィードバックを利用者端末１００から取得する（ステップＳａ５）。例えば、情報処理装置１０は、電子商取引サービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得する。また、情報処理装置１０は、コーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）か否かを示す情報を取得する。なお、提供した情報に対して利用者Ｕ１が肯定的であったか否かを示す情報は、電子商取引サービスやコーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４を閲覧したか否かや、電子商取引サービスやコーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を閲覧したか否かなどでもよく、上記の例に限定されない。
Subsequently, the
続いて、情報処理装置１０は、利用者Ｕ１からのフィードバックに基づいて、分散表現空間を更新する（ステップＳａ６）。例えば、利用者Ｕ１がコーディネート＃１に対して肯定的である場合（例えば、電子商取引サービスにおいてコーディネート＃１に含まれる被服を購入した場合や、コーディネートサービスにおいてコーディネート＃１に対するお気に入り登録を行った場合）、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１がコーディネート＃３に対して否定的である場合（例えば、電子商取引サービスや、コーディネートサービスにおいて提示したコーディネート＃３の情報を閲覧しなかった場合）、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ３とを所定の距離遠ざけるように更新する。なお、利用者Ｕ１からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（利用者Ｕ１）を示す評価者情報をさらに分散表現空間に投影してもよい。
Subsequently, the
以上のように、実施形態に係る情報処理装置１０は、コーディネートを示す画像に対する似合うか否かの評価と、画像に対する評価を行った評価者を示す評価者情報とを投影した分散表現空間を生成する。
As described above, the
ここで、従来、コーディネートが着用者に「似合う」か否かは人それぞれの主観によって大きく異なり、定量化が困難であった。そこで、実施形態に係る情報処理装置１０によれば、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
Here, conventionally, whether or not an outfit "suits" the wearer greatly depends on the subjectivity of each person, and has been difficult to quantify. Therefore, according to the
また、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供する。これにより、実施形態に係る情報処理装置１０は、所定の対象（利用者自身等）に似合う被服を利用者が把握することができるという効果を奏する。
Furthermore, the
〔２－２．第２の情報処理について〕
次に、図４を用いて、本実施形態に係る情報処理装置等により実現される第２の情報処理について説明する。図４は、実施形態に係る情報処理の一例を示す図（２）である。
[2-2. Regarding the second information processing]
Next, the second information processing realized by the information processing apparatus and the like according to this embodiment will be described using FIG. 4. FIG. 4 is a diagram (2) illustrating an example of information processing according to the embodiment.
まず、情報処理装置１０は、複数の被服の組み合わせ（コーディネート）を着用した着用者の画像に対する評価を、評価者端末２００から受け付ける（ステップＳｂ１）。例えば、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているっているか否かを示す評価を受け付ける。
First, the
続いて、情報処理装置１０は、画像に対する評価者の評価に基づいて、評価者や画像などの分散表現を生成するための畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））を生成する（ステップＳｂ２）。例えば、情報処理装置１０は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。具体的な例を挙げると、情報処理装置１０は、ある画像を入力した際に、その画像に対して「似合う」と評価した評価者の分散表現と類似する分散表現を出力し、その画像に対して「似合わない」と評価した評価者の分散表現と類似しない分散表現を出力するように、CNNの接続係数を修正する。
Next, the
ここで、情報処理装置１０が、各評価者による評価に基づいて、ＣＮＮの学習を繰り返し行った場合、ＣＮＮは、各評価者がどの範囲に基づいて、似合うもしくは似合わないの評価を行ったかを推定し、推定結果に応じた各評価者および画像の分散表現を生成するようになる。例えば、ＣＮＮは、画像から分散表現を生成する場合、画像を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル（以下、「領域ベクトル」と記載する場合がある。）を生成する。そして、ＣＮＮは、複数の領域ベクトルを統合することで、画像全体の特徴を示す分散表現を生成する。なお、ＣＮＮは、様々な大きさの領域や特徴について、同様の処理を繰り返し実行し、最終的な分散表現を生成する。また、画像全体を一つの領域とみなしてもよい。また、複数の領域ではなく、単一の領域に基づいて分散表現を生成してもよい。すなわち、必要であれば、画像上の部分的な領域に基づいて分散表現を生成するのではなく、画像全体を考慮した単一の特徴ベクトルを算出してもよい。また、領域の定義は使用するアプリケーションに基づいて任意に定めてもよい。例えば、Ｆｕｌｌｙ ＣＮＮを用いて特徴抽出することで得られる特徴ベクトルは、各次元が一つの画像上の領域に対応するものとして考えられるが、当該領域に対応する画像空間上のコンテンツに基づいてその領域ベクトルを使用するか否かを決めてもよい。具体的には、人体検出器などによって画像上の人物が存在する複数の領域を特定し、これらの領域ベクトルのＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇを算出することによって領域ベクトルの統合を行ってもよい。また、その他の例としても、画像上の意味的領域分割を行うことによって領域を特定してもよい。具体的には、例えば、画像上に撮像された人物が存在する画素において、どの部分がトップスまたはボトムスを含むかを特定することで、複数の意味的領域を得ることができる。これらの領域に対応する領域ベクトルを算出し、複数の領域ベクトルを固有の順番で結合（Ｃｏｎｃａｔｅｎａｔｅ処理）することで、対象の被写体の姿勢変動に比較的頑強な画像全体の特徴を示す分散表現を算出してもよい。この際、存在しない意味的領域がある場合（例えば被写体の足が撮像されていない場合にシューズの領域が存在しないなど）、当該の領域ベクトルを任意の特徴ベクトルで代用してもよく、例えば学習データ全体におけるシューズの領域ベクトルの平均ベクトルを用いてもよいし、０で埋めた特徴ベクトルを用いても良い。
Here, when the
このようなＣＮＮの学習を行う場合、情報処理装置１０は、各評価者の位置を固定し、各画像について、似合うと評価した評価者の分散表現（例えば、属性情報等を示す評価者情報に基づく分散表現）と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように、ＣＮＮの学習を行う。このような学習を行った場合、ＣＮＮは、似合うと評価した評価者の評価者情報の分散表現と比較的類似する領域ベクトルを生成し、似合わないと評価した評価者の評価者情報の分散表現と比較的類似しない領域ベクトルを生成するように、接続係数等の調整が行われることとなる。このような学習処理を繰り返し行った場合、ＣＮＮは、ある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトルを生成するようになる。
When performing such CNN learning, the
そこで、情報処理装置１０は、このような学習済みのＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示す情報、例えば、ヒートマップ等を提供する。
Therefore, the
例えば、情報処理装置１０は、電子商取引サービスや、コーディネートサービスにおいて、コーディネートを示す画像を利用者Ｕ１に提供する際、生成したＣＮＮと、利用者Ｕ１に関する情報とに基づき、当該画像の各領域が示す被服のそれぞれが利用者Ｕ１に似合う度合いを判定する（ステップＳｂ３）。ここで、図４の例において、画像Ｐ１を利用者Ｕ１に提供するものとする。このような場合、情報処理装置１０は、分散表現が、利用者Ｕ１の分散表現（例えば、属性情報等に基づく分散表現）と類似する評価者を特定する。そして、情報処理装置１０は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者Ｕ１に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者Ｕ１に似合う度合いが低いと判定する。
For example, when providing an image showing coordination to a user U1 in an electronic commerce service or a coordination service, the
なお、情報処理装置１０が上述の処理に用いるために生成するものは、ＣＮＮに限定されず、分散表現（埋め込み表現）を獲得可能であれば任意のものが生成されてよい。
Note that what is generated by the
続いて、情報処理装置１０は、画像Ｐ１をステップＳｂ３において判定した度合いに応じた態様で利用者端末１００に出力する（ステップＳｂ４）。例えば、情報処理装置１０は、画像Ｐ１の各領域が示す被服が利用者Ｕ１に似合う度合いをヒートマップで示す画像を出力する。具体的な例を挙げると、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似し、画像Ｐ１のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像Ｐ１－１を出力する。また、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のトップスを示す領域の領域ベクトルが類似し、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像Ｐ１－２を出力する。
Subsequently, the
なお、情報処理装置１０は、画像を出力する際に、各領域の被服が利用者Ｕ１に似合う度合いに応じた情報とともに画像を出力してもよい。例えば、画像Ｐ１－１を出力する場合、情報処理装置１０は、赤色で表示した領域に含まれる被服の購入を提案する情報や、青色で表示した領域に含まれる被服の着用を避けることを提案する旨の情報、赤色で表示した領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像Ｐ１－１を出力する。
Note that, when outputting the image, the
以上のように、実施形態に係る情報処理装置１０は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置１０は、利用者が、自身と類似する属性を有する評価者が、コーディネートのうちいずれの被服を似合うと評価するかを把握することができるため、着用する被服の指針を利用者が得ることができる。
As described above, the
〔３．その他の処理例〕
なお、上述した処理は一例に過ぎず、情報処理装置１０は、様々な情報を用いて様々な処理を行ってもよい。この点について、以下例示を列挙する。
[3. Other processing examples]
Note that the above-described processing is only an example, and the
〔３－１．利用者に関する情報に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１が選択したカテゴリとに基づいて、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、利用者端末１００からのコーディネートの提供要求とともに、利用者Ｕ１がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間Ｆ３において、カテゴリＴ１から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
[3-1. About estimating coordination based on information about users]
In the example of FIG. 2, the
また、情報処理装置１０は、分散表現空間と、アンケートに対する利用者Ｕ１の回答とに基づいて、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, the
なお、情報処理装置１０は、利用者Ｕ１に関する情報に基づいて、コーディネートの提案を行ってもよい。例えば、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ２及び５間の所定の位置（例えば、中間の位置）から所定の範囲内に投影された画像が示すコーディネートを、「ファッションに自信を持つために挑戦してみませんか？」といったコメントと共に提案する。すなわち、情報処理装置１０は、利用者Ｕ１の将来に関する情報に基づいて、コーディネートの提案を行ってもよい。
Note that the
〔３－２．対象者に関する情報に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１が会う相手）に関する情報とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間と、対象者の属性とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
[3-2. About estimating coordination based on information about the target person]
In the example of FIG. 2, the
また、例えば、情報処理装置１０は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, for example, the
また、情報処理装置１０は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「２０代前半、東京在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ３及びＢ６の中間の位置が、分散表現空間Ｆ４において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置１０は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, the
これにより、例えば、対象者が利用者に似合うと評価するコーディネートを推定することができるため、これから会う人の好印象を持ってもらうために何を着ればいいかを利用者が把握することができる。 This allows, for example, to estimate the coordination that the target person evaluates as looking good on the user, so the user can understand what to wear to make a good impression on the person they are about to meet. can.
なお、対象者が利用者Ｕ１に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置１０は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置１０は、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。そして、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的である場合、情報処理装置１０、分散表現空間において、対象者に対応する情報（例えば、属性情報や、アンケートに対する回答など）と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が否定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（対象者）を示す評価者情報をさらに分散表現空間に投影してもよい。
Note that when the target person provides information regarding coordination that is evaluated as being suitable for the user U1, the
また、情報処理装置１０は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、情報処理装置１０は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, the
また、情報処理装置１０は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「２０代後半」であり、対象者の属性情報が「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置１０は、推定したコーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Furthermore, the
〔３－３．対象者に似合うコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１がプレゼントを贈る相手）に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間と、対象者の属性とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報（属性情報、身体的な情報（身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等）等）や、コーディネートに関連する情報などに対応するコーディネート（例えば、対象者が女性である場合には、女性向けのコーディネート）に関する情報を利用者端末１００に提供する。
[3-3. About estimating coordination that suits the target person]
In the example of FIG. 2, the
また、例えば、情報処理装置１０は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, for example, the
また、情報処理装置１０は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「２０代前半、東京在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ３及びＢ６の中間の位置が、分散表現空間Ｆ４において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置１０は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が自身に似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, the
なお、対象者が自身に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置１０は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置１０は、提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。そして、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（対象者）を示す評価者情報をさらに分散表現空間に投影してもよい。
Note that when the target person provides information regarding coordination that he/she evaluates as suitable for him/herself, the
また、情報処理装置１０は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、情報処理装置１０は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Further, the
また、情報処理装置１０は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「２０代後半」であり、対象者の属性情報が「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置１０は、推定したコーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Furthermore, the
〔３－４．着用者及び利用者の画像に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象（利用者、対象者など）の顔の画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、顔の特徴量が、利用者Ｕ１の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
[3-4. About estimating coordination based on images of wearers and users]
In the example of FIG. 2, the
また、情報処理装置１０は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、体型（例えば、細め、太め）が利用者Ｕ１の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
Further, the
〔３－５．対象者に関する情報に基づく態様での画像の出力について〕
図４の例において、情報処理装置１０は、ＣＮＮと、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１が会う相手）に関する情報とに基づく態様で、コーディネートを示す画像を出力してもよい。例えば、画像Ｐ１を利用者Ｕ１に提供する場合、情報処理装置１０は、対象者の分散表現（例えば、属性情報等に基づく分散表現）と類似する評価者を特定する。そして、情報処理装置１０は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像Ｐ１を出力する。
[3-5. About outputting images in a manner based on information about the target person]
In the example of FIG. 4, the
なお、情報処理装置１０は、画像Ｐ１を出力する際に、各領域の被服を、対象者が利用者Ｕ１に似合うと評価する度合いに応じた情報とともに画像Ｐ１を出力してもよい。例えば、対象者が利用者Ｕ１に似合うと評価する度合いが高い領域が示す被服の購入を提案する情報や、当該度合いが低い領域に含まれる被服の着用を避けることを提案する旨の情報、当該度合いが高い領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像Ｐ１－１を出力する。
Note that, when outputting the image P1, the
〔４．情報処理装置の構成〕
次に、図５を用いて、情報処理装置１０の構成について説明する。図５は、実施形態に係る情報処理装置１０の構成例を示す図である。図５に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。
[4. Configuration of information processing device]
Next, the configuration of the
（通信部２０について）
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、利用者端末１００、評価者端末２００等との間で情報の送受信を行う。
(About the communication department 20)
The communication unit 20 is realized by, for example, a NIC (Network Interface Card). The communication unit 20 is connected to the network N by wire or wirelessly, and transmits and receives information to and from the
（記憶部３０について）
記憶部３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部３０は、評価者情報データベース３１と、利用者情報データベース３２とを有する。
(About the storage unit 30)
The storage unit 30 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 30 includes an
（評価者情報データベース３１について）
評価者情報データベース３１は、評価者に関する各種の情報を記憶する。ここで、図６を用いて、評価者情報データベース３１が記憶する情報の一例を説明する。図６は、実施形態に係る評価者情報データベース３１の一例を示す図である。図６の例において、評価者情報データベース３１は、「評価者ＩＤ」、「属性情報」、「アンケート情報」、「評価情報」といった項目を有する。
(About evaluator information database 31)
The
「評価者ＩＤ」は、評価者を識別するための識別情報を示す。「属性情報」は、評価者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する評価者の回答を示す。「評価情報」は、評価者による評価に関する情報を示し、「対象ＩＤ」、「画像情報」、「被服情報」、「着用者情報」、「評価」といった項目を有する。 “Evaluator ID” indicates identification information for identifying an evaluator. "Attribute information" indicates attribute information of the evaluator. "Questionnaire information" indicates the evaluator's responses to a predetermined questionnaire. "Evaluation information" indicates information regarding the evaluation by the evaluator, and includes items such as "object ID," "image information," "clothing information," "wearer information," and "evaluation."
「対象ＩＤ」は、評価の対象（画像）を識別するための識別情報を示す。「画像情報」は、評価の対象である画像を示す。「被服情報」は、画像が示すコーディネートに含まれる被服に関する情報を示し、例えば、被服を識別するための識別情報等が格納される。「着用者情報」は、画像が示す着用者に関する情報を示し、例えば、着用者を識別するための識別情報や、着用者の属性情報や身体的な情報などといった情報が格納される。「評価」は、画像に対する評価者の評価を示す。 “Object ID” indicates identification information for identifying an evaluation object (image). "Image information" indicates an image to be evaluated. "Clothing information" indicates information regarding clothing included in the coordination shown in the image, and stores, for example, identification information for identifying clothing. "Wearer information" indicates information regarding the wearer represented by the image, and stores information such as identification information for identifying the wearer, attribute information and physical information of the wearer. "Evaluation" indicates the evaluator's evaluation of the image.
すなわち、図６では、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者の属性情報が「属性情報＃１」、アンケート情報が「アンケート情報＃１」、対象ＩＤ「ＤＩＤ＃１」により識別される評価の対象の画像情報が「画像情報＃１」、被服情報が「被服情報＃１」、着用者情報が「着用者情報＃１」、評価が「評価＃１」である例を示す。
That is, in FIG. 6, the attribute information of the evaluator identified by the evaluator ID "
（利用者情報データベース３２について）
利用者情報データベース３２は、利用者に関する各種の情報を記憶する。ここで、図７を用いて、利用者情報データベース３２が記憶する情報の一例を説明する。図７は、実施形態に係る利用者情報データベース３２の一例を示す図である。図７の例において、利用者情報データベース３２は、「利用者ＩＤ」、「属性情報」、「アンケート情報」、「利用者画像」、「フィードバック情報」といった項目を有する。
(About the user information database 32)
The
「利用者ＩＤ」は、利用者を識別するための識別情報を示す。「属性情報」は、利用者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する利用者の回答を示す。「利用者画像」は、利用者の顔や体型を示す画像を示す。「フィードバック情報」は、利用者に提供した情報に対する利用者からのフィードバックに関する情報を示す。 "User ID" indicates identification information for identifying a user. "Attribute information" indicates user attribute information. "Questionnaire information" indicates the user's answers to a predetermined questionnaire. "User image" indicates an image showing the user's face and body shape. "Feedback information" indicates information regarding feedback from users regarding information provided to users.
すなわち、図５では、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者の属性情報が「属性情報＃１１」、アンケート情報が「アンケート情報＃１１」、利用者画像が「利用者画像＃１」、フィードバック情報が「フィードバック情報＃１」である例を示す。
That is, in FIG. 5, the attribute information of the user identified by the user ID "
（制御部４０について）
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部４０は、図６に示すように、受付部４１と、生成部４２と、推定部４３と、提供部４４と、判定部４５と、出力部４６と、取得部４７と、更新部４８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(About the control unit 40)
The control unit 40 is a controller, and various programs stored in a storage device inside the
（受付部４１について）
受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。例えば、図２の例において、受付部４１は、画像Ｐ１及びＰ２の組を評価者に提示し、２つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付け、評価者情報データベース３１に格納する。
(About the reception department 41)
The receiving
また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付けてもよい。例えば、図４の例において、受付部４１は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているっているか否かを示す評価を受け付ける。
Further, the
（生成部４２について）
生成部４２は、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。例えば、図２の例において、生成部４２は、評価者情報データベース３１を参照し、ＶＳＥの技術を用いて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。
(About the generation unit 42)
The generation unit 42 generates a distributed representation space on which images and evaluator information indicating the evaluator are projected, based on the evaluation received by the
また、生成部４２は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ１を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ１を生成する。 Furthermore, the more highly the evaluator evaluates that the combination suits the wearer, the closer the evaluator projects the image and the evaluator information in the distributed expression space, so that the evaluator The lower the evaluation is that it does not suit the wearer, the further the image and evaluator information may be projected in the distributed expression space. For example, in the example of FIG. 2, the generation unit 42 generates an evaluation indicating evaluator A1 who evaluated image P1 as “suitable” rather than evaluator information D2 indicating evaluator A2 who evaluated image P1 as “unsuitable”. A distributed representation space F1 in which the image P1 is projected is generated near the person information D1. Furthermore, the generation unit 42 generates information closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as “suitable” than the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as “not suitable”. , generates a distributed representation space F1 onto which the image P2 is projected.
また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服Ｉ１の画像を投影した分散表現空間Ｆ２を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服Ｉ２の画像を投影した分散表現空間Ｆ２を生成する。 Furthermore, the generation unit 42 may generate a distributed expression space in which information indicating clothing included in the combination is further projected based on the evaluation. For example, in the example of FIG. 2, the generation unit 42 generates an evaluation indicating evaluator A1 who evaluated image P1 as “suitable” rather than evaluator information D2 indicating evaluator A2 who evaluated image P1 as “unsuitable”. A distributed expression space F2 is generated near the person information D1, in which an image of the clothing I1 included in the coordination indicated by the image P1 is projected. Furthermore, the generation unit 42 generates information closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as “suitable” than the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as “not suitable”. , generates a distributed expression space F2 in which an image of the clothing I2 included in the coordination shown by the image P2 is projected.
また、生成部４２は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートのカテゴリＴ１（カジュアル）を投影した分散表現空間Ｆ３を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２のカテゴリＴ２（デート）を投影した分散表現空間Ｆ３を生成する。 Further, the generation unit 42 may further generate a distributed expression space on which information indicating the category to which the combination belongs is projected based on the evaluation. For example, in the example of FIG. 2, the generation unit 42 generates an evaluation indicating evaluator A1 who evaluated image P1 as “suitable” rather than evaluator information D2 indicating evaluator A2 who evaluated image P1 as “unsuitable”. A distributed expression space F3 is generated near the user information D1, in which the coordination category T1 (casual) shown in the image P1 is projected. Furthermore, the generation unit 42 generates information closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as “suitable” than the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as “not suitable”. , generates a distributed representation space F3 onto which the category T2 (date) of the image P2 is projected.
また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。 Further, the generation unit 42 may further generate a distributed expression space on which information indicating the provider who provides the clothing included in the combination is projected based on the evaluation. For example, in the example of FIG. 2, the generation unit 42 generates an evaluation indicating evaluator A1 who evaluated image P1 as “suitable” rather than evaluator information D2 indicating evaluator A2 who evaluated image P1 as “unsuitable”. A distributed expression space is generated in which information indicating the source of the clothing included in the coordination shown by the image P1 is projected near the personal information D1. Furthermore, the generation unit 42 generates information closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as “suitable” than the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as “not suitable”. , generates a distributed expression space onto which information indicating the provider of the clothing included in the coordination shown by the image P2 is projected.
また、生成部４２は、評価者の属性を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の属性情報よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の属性情報の近くに、画像Ｐ１を投影した分散表現空間Ｆ４を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の属性情報よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の属性情報の近くに、画像Ｐ２を投影した分散表現空間Ｆ４を生成する。 Further, the generation unit 42 may generate a distributed representation space onto which evaluator information indicating attributes of evaluators is projected. For example, in the example of FIG. 2, the generation unit 42 generates information closer to the attribute information of evaluator A1 who evaluated image P1 as “suitable” than the attribute information of evaluator A2 who evaluated image P1 as “unsuitable”. , generates a distributed representation space F4 onto which the image P1 is projected. Furthermore, the generation unit 42 projects the image P2 closer to the attribute information of the evaluator A2 who evaluated the image P2 as “suitable” than the attribute information of the evaluator A1 who evaluated the image P2 as “unsuitable”. A distributed representation space F4 is generated.
また、生成部４２は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の回答よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の回答の近くに、画像Ｐ１を投影した分散表現空間Ｆ５を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の回答よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の回答の近くに、画像Ｐ２を投影した分散表現空間Ｆ５を生成する。 Further, the generation unit 42 may generate a distributed representation space onto which evaluator information indicating evaluator responses to a predetermined questionnaire is projected. For example, in the example of FIG. 2, the generation unit 42 places the image closer to the answer of evaluator A1 who evaluated image P1 as “suitable” than the answer of evaluator A2 who evaluated image P1 as “does not suit”. A distributed representation space F5 is generated by projecting P1. The generation unit 42 also generates a distributed representation in which the image P2 is projected closer to the answer of the evaluator A2 who evaluated the image P2 as “suitable” than the answer of the evaluator A1 who evaluated the image P2 as “not suitable”. A space F5 is generated.
また、生成部４２は、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成してもよい。例えば、図４の例において、生成部４２は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。
Further, the generation unit 42 may generate a convolutional neural network based on the evaluation received by the
（推定部４３について）
推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。例えば、図２の例において、推定部４３は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、利用者情報データベース３２を参照し、生成された分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネートを推定する。
(About the estimation unit 43)
The
また、推定部４３は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、生成された分散表現空間に基づき、利用者Ｕ１に似合うコーディネートを推定する。
Furthermore, the estimating
また、推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、生成された分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネートを推定する。
Furthermore, the
また、推定部４３は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図２の例において、利用者Ｕ１の属性情報が、「２０代後半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、利用者Ｕ１がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間Ｆ３において、カテゴリＴ１から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１の属性情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Furthermore, the estimating
また、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者に関する情報とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定する。
Furthermore, the estimating
また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図２の例において、対象者の属性情報が、「２０代前半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Furthermore, the
また、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定する。
Furthermore, the estimating
また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定してもよい。例えば、図２の例において、対象者の属性情報が、「２０代前半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
Furthermore, the
また、推定部４３は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、顔の特徴量が、利用者Ｕ１の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
Furthermore, the estimating
また、推定部４３は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、体型が利用者Ｕ１の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
Furthermore, the estimating
また、推定部４３は、組み合わせが所定の対象に似合う度合いをさらに推定してもよい。例えば、図４の例において、推定部４３は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定する。
Furthermore, the
（提供部４４について）
提供部４４は、推定部４３により推定された組み合わせに関する組み合わせ情報を利用者に提供する。例えば、図２の例において、提供部４４は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４は、コーディネート＃１、＃３及び＃４の情報を、コーディネートサービスにおいて提供する。
(About the providing section 44)
The providing unit 44 provides the user with combination information regarding the combinations estimated by the estimating
また、提供部４４は、推定部４３により推定された組み合わせに関する情報を利用者に提供してもよい。例えば、図２の例において、提供部４４は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４は、コーディネート＃１、＃３及び＃４の情報を、コーディネートサービスにおいて提供する。
Furthermore, the providing unit 44 may provide the user with information regarding the combinations estimated by the estimating
また、提供部４４は、組み合わせを度合いに応じた態様で提供してもよい。例えば、図２の例において、提供部４４は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定し、優先度を高くして提供する。 Further, the providing unit 44 may provide the combinations in a manner depending on the degree. For example, in the example of FIG. 2, the providing unit 44 estimates that the coordination information indicated by an image closer to the attribute information B2 in the distributed expression space F4 is more likely to suit the user U1, and gives it a higher priority. provide.
ここで、図８及び９を用いて、被服の組み合わせに関する情報を利用者端末１００に提供する際の態様について説明する。まず、図８を用いて、電子商取引サービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図８は、利用者端末１００の画面の一例を示す図（１）である。
Here, the manner in which information regarding clothing combinations is provided to the
図８に示すように、提供部４４は、電子商取引サービスにおいて利用者Ｕ１が入力した検索クエリ「Ｔシャツ」若しくは「カットソー」に対応する検索結果を示す画面ＳＣ１を提供する。例えば、提供部４４は、Ｔシャツ若しくはカットソーが含まれるコーディネートを示す画像を、画像が示すコーディネートが利用者Ｕ１に似合う度合いが高い順に示す画面ＳＣ１（言い換えると、プルダウンを示す領域ＡＲ１において、利用者Ｕ１に似合う順に表示することが指定された画面ＳＣ１）を提供する。また、提供部４４は、領域ＡＲ１のプルダウンに表示される情報（すなわち、検索結果の絞り込みの条件）として、「対象者があなた（利用者Ｕ１）に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。 As shown in FIG. 8, the providing unit 44 provides a screen SC1 showing search results corresponding to the search query "T-shirt" or "cut and sew" input by the user U1 in the electronic commerce service. For example, the providing unit 44 displays images showing coordinations including T-shirts or cut-sews on a screen SC1 (in other words, in an area AR1 showing a pull-down) that displays images showing coordinations including T-shirts or cut-and-sews in descending order of the degree to which the coordinations shown in the images suit the user U1. Screens SC1) are provided that are designated to be displayed in the order that suits U1. In addition, the providing unit 44 provides information to be displayed in the pulldown of area AR1 (i.e., conditions for narrowing down search results) such as "order in which the target person evaluates that you look good on you (user U1)" and "target person Displays information such as "in the order in which people rate that it looks good on you" in a way that allows you to specify.
例えば、「対象者があなたに似合うと評価する順」が領域ＡＲ１において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順（言い換えると、対象者が利用者Ｕ１に似合うと評価する度合いが高い順）に表示する画面ＳＣ１を提供する。なお、このような場合、情報処理装置１０は、電子商取引サービスにおいて対象者を識別するための情報（言い換えると、対象者に関する情報と紐付けられた対象者ＩＤ）や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ１を提供する。
For example, when "the order in which the target person evaluates that you look good" is specified in the area AR1, the providing unit 44 selects the images projected within a predetermined range from the information regarding the target person in the distributed representation space. Images showing coordination corresponding to information related to user U1, information related to coordination, etc. are projected in the order in which they are projected closer to the information related to the target person (in other words, the target person is evaluated to look good on user U1) A screen SC1 is provided that is displayed in descending order of severity. Note that in such a case, the
また、「対象者が自身に似合うと評価する順」が領域ＡＲ１において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順（言い換えると、対象者が利用者Ｕ１に似合うと評価する度合いが高い順）に表示する画面ＳＣ１を提供する。なお、このような場合、情報処理装置１０は、電子商取引サービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ１を提供する。
Further, when the "order in which the target person evaluates that it suits him/herself" is specified in the area AR1, the providing unit 44 selects images projected within a predetermined range based on the information regarding the target person in the distributed expression space. The order in which images showing coordination corresponding to information related to the target person, information related to coordination, etc. are projected at positions closer to the information related to the target person (in other words, the degree to which the target person is evaluated to look good on user U1) A screen SC1 is provided that is displayed in descending order (in descending order). Note that in such a case, the
次に、図９を用いて、コーディネートサービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図９は、利用者端末１００の画面の一例を示す図（２）である。
Next, with reference to FIG. 9, a mode of providing information regarding clothing combinations in the coordination service will be described. FIG. 9 is a diagram (2) showing an example of the screen of the
図９に示すように、提供部４４は、コーディネートサービスにおいて利用者Ｕ１が入力した検索クエリに対応する検索結果を示す画面ＳＣ２を提供する。例えば、提供部４４は、利用者Ｕ１が入力した検索クエリに対応するコーディネートを示す画像を、画像が示すコーディネートが利用者Ｕ１に似合う度合いが高い順に示す画面ＳＣ２（言い換えると、プルダウンを示す領域ＡＲ２において、利用者Ｕ１に似合う順に表示することが指定された画面ＳＣ２）を提供する。また、提供部４４は、領域ＡＲ２のプルダウンに表示される情報として、「対象者があなた（利用者Ｕ１）に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。 As shown in FIG. 9, the providing unit 44 provides a screen SC2 showing search results corresponding to the search query input by the user U1 in the coordination service. For example, the providing unit 44 displays a screen SC2 (in other words, an area AR2 showing a pull-down) that displays images showing coordinates corresponding to the search query input by the user U1 in descending order of the degree to which the coordinates shown in the images suit the user U1. , screens SC2) are provided that are designated to be displayed in the order that suits the user U1. The providing unit 44 also provides information to be displayed in the pulldown of area AR2, such as "the order in which the target person evaluates that it suits you (user U1)", "the order in which the target person evaluates that it suits him/herself", etc. Displays information such as configurable information.
例えば、「対象者があなたに似合うと評価する順」が領域ＡＲ２において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面ＳＣ２を提供する。なお、このような場合、情報処理装置１０は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ２を提供する。
For example, when "the order in which the target person evaluates that you look good" is specified in the area AR2, the providing unit 44 selects images projected within a predetermined range based on the information regarding the target person in the distributed representation space. A screen SC2 is provided that displays images showing coordination corresponding to information related to the user U1, information related to coordination, etc. in the order in which they are projected at positions closer to the information related to the target person. Note that in such a case, the
また、「対象者が自身に似合うと評価する順」が領域ＡＲ２において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面ＳＣ２を提供する。なお、このような場合、情報処理装置１０は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ２を提供する。
Furthermore, when "the order in which the target person evaluates that they look good on him/herself" is specified in the area AR2, the providing unit 44 selects images projected within a predetermined range based on the information regarding the target person in the distributed expression space. A screen SC2 is provided that displays images showing coordination corresponding to information related to the target person, information related to coordination, etc. in the order in which they are projected at positions closer to the information related to the target person. Note that in such a case, the
なお、図８及び９において、提供部４４は、ＣＮＮが生成した領域ベクトルを用いて、各画像が示すコーディネートのうち、各評価者が似合うと判断した領域（言い換えると、コーディネートのうちポイントとなる被服）を推定し、推定した領域をヒートマップで示す画像を提供してもよい。 In addition, in FIGS. 8 and 9, the providing unit 44 uses the area vectors generated by the CNN to determine which areas of the coordination shown in each image are judged to be suitable by each evaluator (in other words, the areas that are the points of the coordination). It is also possible to provide an image showing the estimated area as a heat map.
なお、上記の例においては、特定の検索クエリに基づいて似合うと評価する順で商品などの情報を表示する例を示したが、本発明の範囲はその場合に限られない。例えば、提供部４４は、商品カテゴリに関する検索クエリが存在しない場合であっても、任意の商品カテゴリを含む商品群に対して当該の利用者に対する似合う度合いの評価を行い、推薦結果として利用者に提供しても良い。 Note that although the above example shows an example in which information such as products is displayed in the order in which they are evaluated as being suitable based on a specific search query, the scope of the present invention is not limited to that case. For example, even if there is no search query related to a product category, the providing unit 44 evaluates the suitability of a group of products including an arbitrary product category for the user, and provides the user with a recommendation result. You may provide it.
また、検索クエリ以外であっても、似合う度合いの評価結果に対して様々なフィルタや他の評価結果を組み合わせて利用者に表示することが可能である。例えば、推薦システムにおいて、利用者に対して推薦するに値するアイテムの候補およびそれらに対する推薦度合いの評価結果をあらかじめ特定しておくとする。そして、これらの推薦候補のアイテムに対して似合う度合いの評価を行い、推薦度合いおよび似合う度合いに応じて順序付けたアイテムを利用者に対して表示することができる。このようにして、似合う度合いを他の要素と複合的に組み合わせた結果を用いて利用者にアイテム（商品）やコーディネートの情報を提供することが可能である。 Furthermore, even for items other than search queries, it is possible to display to the user various filters and other evaluation results in combination with the evaluation results of the degree of suitability. For example, in a recommendation system, it is assumed that candidate items worthy of being recommended to a user and evaluation results of their recommendation degrees are specified in advance. Then, it is possible to evaluate the degree of suitability of these recommended candidate items and display the items ordered according to the degree of recommendation and the degree of suitability to the user. In this way, it is possible to provide the user with information on items (products) and coordination using the result of combining the degree of suitability with other factors in a complex manner.
（判定部４５について）
判定部４５は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。例えば、図４の例において、判定部４５は、分散表現が、利用者Ｕ１の分散表現と類似する評価者を特定する。そして、判定部４５は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者Ｕ１に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者Ｕ１に似合う度合いが低いと判定する。
(About the determination unit 45)
The determination unit 45 determines the degree to which each piece of clothing included in the region suits the user, based on the plurality of regions in the distributed representation and information regarding the user. For example, in the example of FIG. 4, the determination unit 45 identifies an evaluator whose distributed expression is similar to the distributed expression of the user U1. Then, the determination unit 45 determines that, among the regions of the image P1, the clothing indicated by the region whose region vector has a higher degree of similarity to the distributed expression of the identified evaluator has a higher degree of suitability for the user U1, It is determined that the clothing indicated by the region having a lower degree of similarity to the distributed expression of the evaluator has a lower degree of suitability for the user U1.
また、判定部４５は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定してもよい。例えば、図４の例において、判定部４５は、対象者の分散表現と類似する評価者を特定する。そして、判定部４５は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定する。 Further, the determination unit 45 may determine the degree to which the target person evaluates each piece of clothing included in the area as being suitable for the user, based on the plurality of areas in the distributed representation and the information regarding the target person. . For example, in the example of FIG. 4, the determination unit 45 identifies evaluators whose distributed expressions are similar to the target person's distributed expression. Then, the determining unit 45 determines the degree to which the subject evaluates that the clothing indicated by the region whose region vector is more similar to the identified evaluator's distributed expression among the regions of the image P1 suits the user U1. It is determined that the clothing indicated by the region having a lower degree of similarity to the distributed expression of the evaluator is determined to have a lower degree of evaluation that the target person looks good on the user U1.
（出力部４６について）
出力部４６は、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。例えば、図４の例において、出力部４６は、ＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
(About the output section 46)
The
また、出力部４６は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力してもよい。例えば、図４の例において、出力部４６は、各画像について、似合うと評価した評価者の分散表現と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように学習が行われたＣＮＮが生成する領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
Further, the
また、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力してもよい。例えば、図４の例において、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど赤色の度合いを高くし、評価者情報の分散表現と類似しない領域ほど青色の度合いを高くしたヒートマップを出力する。
Further, the
また、出力部４６は、判定部４５により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図４の例において、出力部４６は、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似し、画像Ｐ１のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像Ｐ１－１を出力する。また、出力部４６は、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のトップスを示す領域の領域ベクトルが類似し、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像Ｐ１－２を出力する。
Further, the
また、出力部４６は、判定部４５により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図４の例において、出力部４６は、画像Ｐ１の各領域のうち、領域ベクトルが、対象者の分散表現と類似する評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像Ｐ１を出力する。
Further, the
（取得部４７について）
取得部４７は、提供部４４により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。例えば、図２の例において、取得部４７は、電子商取引サービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得し、利用者情報データベース３２に格納する。また、取得部４７は、コーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）を取得する。また、取得部４７は、提供された情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。また、取得部４７は、提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。
(About the acquisition unit 47)
The acquisition unit 47 acquires feedback from the user or another user having a predetermined relationship with the user regarding the combination information provided by the providing unit 44 . For example, in the example of FIG. 2, the acquisition unit 47 determines whether the user U1 has purchased clothes included in
（更新部４８について）
更新部４８は、取得部４７により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者Ｕ１がコーディネート＃１に対して肯定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１がコーディネート＃３に対して否定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ３とを所定の距離遠ざけるように更新する。
(About the update section 48)
The updating
また、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報（例えば、属性情報や、アンケートに対する回答など）と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が否定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
Further, if the target person is positive about the user U1 who wears the coordination indicated by the provided information, the updating
また、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
Further, when the user U1 presents clothing included in the coordination indicated by the information provided to the user U1 to the target person, if the target person is positive, the updating
〔５．情報処理のフロー〕
図１０を用いて、実施形態に係る情報処理装置１０の情報処理の手順（１）について説明する。図１０は、実施形態に係る情報処理の手順の一例を示すフローチャート（１）である。
[5. Information processing flow]
The information processing procedure (1) of the
図１０に示すように、情報処理装置１０は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する（ステップＳ１０１）。評価を受け付けていない場合（ステップＳ１０１；Ｎｏ）、情報処理装置１０は、評価を受け付けるまで待機する。
As shown in FIG. 10, the
一方、評価を受け付けた場合（ステップＳ１０１；Ｙｅｓ）、情報処理装置１０は、評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成し（ステップＳ１０２）、処理を終了する。
On the other hand, when the evaluation is accepted (step S101; Yes), the
次に、図１１を用いて、実施形態に係る情報処理装置１０の情報処理の手順（２）について説明する。図１１は、実施形態に係る情報処理の手順の一例を示すフローチャート（２）である。
Next, the information processing procedure (2) of the
図１１に示すように、情報処理装置１０は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する（ステップＳ２０１）。評価を受け付けていない場合（ステップＳ２０１；Ｎｏ）、情報処理装置１０は、評価を受け付けるまで待機する。
As shown in FIG. 11, the
一方、評価を受け付けた場合（ステップＳ２０１；Ｙｅｓ）、情報処理装置１０は、評価に基づいて、畳み込みニューラルネットワークを生成する（ステップＳ２０２）。続いて、情報処理装置１０は、畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力し（ステップＳ２０３）、処理を終了する。
On the other hand, if the evaluation is accepted (step S201; Yes), the
次に、図１２を用いて、実施形態に係る情報処理装置１０の情報処理の手順（３）について説明する。図１２は、実施形態に係る情報処理の手順の一例を示すフローチャート（３）である。
Next, the information processing procedure (3) of the
図１２に示すように、情報処理装置１０は、被服の組み合わせの提供要求を受け付けたか否かを判定する（ステップＳ３０１）。提供要求を受け付けていない場合（ステップＳ３０１；Ｎｏ）、情報処理装置１０は、提供要求を受け付けるまで待機する。
As shown in FIG. 12, the
一方、提供要求を受け付けた場合（ステップＳ３０１；Ｙｅｓ）、情報処理装置１０は、評価者からの評価に基づいて生成される、複数の被服の組み合わせを着用した着用者の画像と、評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する（ステップ３２０２）。続いて、情報処理装置１０は、推定された組み合わせに関する情報を利用者に提供し（ステップＳ３０３）、処理を終了する。
On the other hand, if the request for provision is received (step S301; Yes), the
〔６．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
[6. Modified example]
The embodiments described above are merely examples, and various modifications and applications are possible.
〔６－１．評価者に対する情報の提供について〕
上述の実施形態において、情報処理装置１０は、評価者による画像に対する評価に基づいて、コーディネートに関する情報を提供してもよい。例えば、情報処理装置１０は、評価者が似合うと評価した画像に対応するコーディネートに関する情報を、電子商取引サービスや、コーディネートサービスにおいて提供する。
[6-1. Regarding provision of information to evaluators]
In the embodiment described above, the
〔６－２．対象者について〕
上述の実施形態において、対象者が、利用者が会う相手や、プレゼントを贈る相手である例を示したが、対象者はこのような例に限定されない。例えば、対象者は、ショップの店員やコーディネーターである利用者が接客する相手であってもよい。このような場合、情報処理装置１０は、分散表現空間と、利用者が接客する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネート（言い換えると、対象者が気に入るコーディネート）を推定し、推定したコーディネートに関する情報を利用者に出力する。また、情報処理装置１０は、ＣＮＮと、利用者が接客する対象者に関する情報とに基づく態様で、コーディネートを示す画像（例えば、コーディネートのうちいずれの被服を対象者が気に入るかを示す画像）を出力する。
[6-2. About the target audience]
In the above-described embodiment, an example was given in which the target person is a person the user meets or a person to whom the user gives a present, but the target person is not limited to such examples. For example, the target person may be a shop clerk or a coordinator with whom the user serves customers. In such a case, the
なお、情報処理装置１０は、ショップの店員やコーディネーターである利用者と、顧客である対象者とのマッチングを行ってもよい。例えば、情報処理装置１０は、各利用者に関する情報と、各対象者に関する情報とに基づき、各利用者及び各対象者を分散表現空間に投影した場合の位置を推定し、投影した位置から所定の範囲内に所在する利用者及び対象者に関する情報を、利用者及び対象者のそれぞれに提供する。
Note that the
〔６－３．被服のデザインに関する情報の提供について〕
上述の実施形態において、情報処理装置１０は、製造元がデザインした被服のデータに対する評価者の評価を受け付け、当該評価に基づく情報を製造元に提供してもよい。例えば、情報処理装置１０は、製造元がデザインした被服を着用した着用者を示すデータ（例えば、ＣＡＤデータ）と、当該データに対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。具体的な例を挙げると、情報処理装置１０は、データが示す被服のある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトル（データが示す被服を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル）を生成するよう学習したＣＮＮを生成する。そして、情報処理装置１０は、このような学習済みのＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域（言い換えると、襟や裾などといった被服の部位）を推定し、推定した領域を示すヒートマップを出力する。
[6-3. Regarding provision of information regarding clothing designs]
In the embodiment described above, the
より具体的な例を挙げると、情報処理装置１０は、ＣＮＮと、所定の利用者（例えば、被服の購買層）に関する情報とに基づき、当該データの各領域が示す被服の部位のそれぞれについて、利用者が似合うと評価する度合いを判定し、判定した度合いをヒートマップで示すデータを製造元に出力する。
To give a more specific example, the
これにより、情報処理装置１０は、デザイン中の被服のどの部位が、利用者に似合うと評価されるかを把握し、どの部位が似合わないと評価されるかを把握することを可能とするため、被服のデザインにおける利便性を向上させることができる。
This makes it possible for the
〔６－４．処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[6-4. Regarding processing mode]
Among the processes described in the above embodiments, all or part of the processes described as being performed automatically can be performed manually, and conversely, all of the processes described as being performed manually can be performed manually. Alternatively, some of the steps can be performed automatically using known methods. In addition, the processing procedures, specific names, and information including various data and parameters shown in the above text and drawings may be changed arbitrarily, unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each device shown in the drawings is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings. In other words, the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices can be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Furthermore, the embodiments described above can be combined as appropriate within a range that does not conflict with the processing contents.
〔６－５．評価の対象について〕
上述の実施形態において、情報処理装置１０が、被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成する例を示したが、評価の対象は被服の組み合わせに限定されず、任意のものであってもよい。例えば、情報処理装置１０は、複数の家具の組み合わせを示す画像に対する評価であって、当該組み合わせが似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、家具の組み合わせを示す画像や、画像が示す家具に関する情報（例えば、家具タイプ、ブランド、ショップ名、製造地、利用シーン、色、カテゴリ（カジュアル等）、売り文句、素材、サイズ、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が似合うと評価する家具の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが家具の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、家具の組み合わせを示す画像を出力する。
[6-5. Regarding the subject of evaluation]
In the above-described embodiment, the
また、例えば、情報処理装置１０は、複数の料理の組み合わせ（例えば、献立）を示す画像に対する評価であって、当該組み合わせが適切か否か（例えば、見た目や、味の組み合わせが適切か否か）を示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、料理の組み合わせを示す画像や、画像が示す料理に関する情報（例えば、料理名や、食材、料理のジャンル、旬の季節、味の特徴、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する料理の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが料理の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、料理の組み合わせを示す画像を出力する。
For example, the
また、例えば、情報処理装置１０は、複数の花の組み合わせ（例えば、花束）を示す画像に対する評価であって、当該組み合わせが適切か否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、花の組み合わせを示す画像や、画像が示す花に関する情報（例えば、利用シーン、個々の花の名前、色、季節、目的、カテゴリ（カジュアル等）、売り文句、産地、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する花の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが花の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、花の組み合わせを示す画像を出力する。
For example, the
〔６－６．画像について〕
上述の実施形態において、情報処理装置１０が、複数の被服の組み合わせを着用した着用者の画像に対する処理について記載したが、実施形態はこれに限定されるものではなく、１つの被服を着用した着用者の画像に対して同様の処理を行ってもよい。
[6-6. About images]
In the above-described embodiment, the
〔７．効果〕
上述してきたように、実施形態に係る情報処理装置１０は、受付部４１と、生成部４２と、推定部４３と、提供部４４と、判定部４５と、出力部４６と、取得部４７と、更新部４８とを有する。情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部４１と、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する生成部４２とを有することを特徴とする。また、情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部４１と、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成する生成部４２と、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する出力部４６とを有することを特徴とする。また、情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う被服を推定する推定部４３と、推定部４３により推定された被服に関する情報を利用者に提供する提供部４４とを有することを特徴とする。
[7. effect〕
As described above, the
また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。生成部４２は、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。また、生成部４２は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影また、生成部４２は、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成する。推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。また、推定部４３は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する。また、推定部４３は、組み合わせが所定の対象に似合う度合いをさらに推定する。提供部４４は、推定部４３により推定された組み合わせに関する組み合わせ情報を利用者に提供する。また、提供部４４は、推定部４３により推定された組み合わせに関する情報を利用者に提供する。また、提供部４４は、組み合わせを度合いに応じた態様で提供する。判定部４５は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。また、判定部４５は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定する。出力部４６は、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。また、出力部４６は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力する。また、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力する。また、出力部４６は、判定部４５により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力する。また、出力部４６は、判定部４５により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力する。取得部４７は、提供部４４により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。更新部４８は、取得部４７により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者Ｕ１がコーディネート＃１に対して肯定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。
Further, the receiving
これにより、実施形態に係る情報処理装置１０は、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供することができるため、所定の対象に似合う被服を利用者が把握することができるという効果を奏する。また、実施形態に係る情報処理装置１０は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成する。また、生成部４２は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成する。また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成する。また、生成部４２は、評価者の属性を示す評価者情報を投影した分散表現空間を生成する。また、生成部４２は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成する。
Further, in the
これにより、実施形態に係る情報処理装置１０は、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定する。また、推定部４３は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定する。
Further, in the
これにより、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供することができるため、自身に似合う被服を利用者が把握することができるという効果を奏する。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定する。また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定する。
Further, in the
これにより、実施形態に係る情報処理装置１０は、利用者に似合うと対象者が評価すると推定されるコーディネートに関する情報を提供することができるため、対象者に気に入られる被服を利用者が把握することができるという効果を奏する。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定する。また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定する。
Further, in the
これにより、実施形態に係る情報処理装置１０は、対象者が自身に似合うと評価すると推定されるコーディネートに関する情報を提供することができるため、対象者に気に入られる被服を利用者が把握することができるという効果を奏する。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定する。また、推定部４３は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定する。
Further, in the
これにより、実施形態に係る情報処理装置１０は、所定の対象の顔や体型に応じたコーディネートに関する情報を提供することができるため、所定の対象に似合う被服を利用者が精度よく把握することができるという効果を奏する。
As a result, the
〔８．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置１０は、例えば、図１３に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１０を例に挙げて説明する。図１３は、情報処理装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
[8. Hardware configuration]
Further, the
ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
CPU 1100 operates based on a program stored in ROM 1200 or
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。 The CPU 1100 controls output devices such as a display and a printer, and input devices such as a keyboard and mouse via an input/output interface 1600. CPU 1100 obtains data from an input device via input/output interface 1600. Further, CPU 1100 outputs the generated data to an output device via input/output interface 1600.
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、ＨＤＤ１４００には、情報処理装置１０の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
〔９．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
[9. others〕
Some of the embodiments of the present application have been described above in detail based on the drawings, but these are merely examples, and various modifications and variations may be made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure section of the invention. It is possible to carry out the invention in other forms with modifications.
また、上述した情報処理装置１０は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
Further, the configuration of the
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。 Further, the "unit" described in the claims can be read as "means", "circuit", etc. For example, the reception unit can be read as reception means or reception circuit.
１０ 情報処理装置
２０ 通信部
３０ 記憶部
３１ 評価者情報データベース
３２ 利用者情報データベース
４０ 制御部
４１ 受付部
４２ 生成部
４３ 推定部
４４ 提供部
４５ 判定部
４６ 出力部
４７ 取得部
４８ 更新部
１００ 利用者端末
２００ 評価者端末
10 information processing device 20 communication unit 30
Claims (12)
前記推定部により推定された被服に関する情報を利用者に提供する提供部と
を有することを特徴とする情報処理装置。 An evaluation of an image of a wearer wearing clothing, which is generated based on evaluations from multiple evaluators indicating whether or not the clothing suits the wearer. an estimation unit that estimates clothing that looks good on a predetermined target based on a distributed representation space projected with the evaluator information shown;
An information processing device comprising: a providing unit that provides a user with information regarding clothing estimated by the estimating unit.
前記分散表現空間と、前記利用者に関する情報とに基づいて、前記利用者に似合う前記被服を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
The information processing device according to claim 1, wherein the clothing that suits the user is estimated based on the distributed expression space and information regarding the user.
前記利用者の属性、前記利用者が選択した被服のカテゴリ、所定のアンケートに対する前記利用者の回答のうち少なくともいずれかに基づいて、前記利用者に似合う前記被服を推定する
ことを特徴とする請求項２に記載の情報処理装置。 The estimation unit is
A claim characterized in that the clothing that suits the user is estimated based on at least one of the user's attributes, the clothing category selected by the user, and the user's answers to a predetermined questionnaire. The information processing device according to item 2.
前記分散表現空間と、対象者に関する情報とに基づいて、当該対象者が前記利用者に似合うと評価する前記被服を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
The information processing device according to claim 1, further comprising: estimating the clothing that the target person evaluates to look good on the user based on the distributed expression space and information regarding the target person.
前記対象者の属性、所定のアンケートに対する前記対象者の回答のうち少なくともいずれかに基づいて、前記対象者が前記利用者に似合うと評価する前記被服を推定する
ことを特徴とする請求項４に記載の情報処理装置。 The estimation unit is
According to claim 4, the clothing that the target person evaluates to look good on the user is estimated based on at least one of the target person's attributes and the target person's answers to a predetermined questionnaire. The information processing device described.
前記分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う前記被服を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
The information processing device according to claim 1, wherein the clothing that suits the target person is estimated based on the distributed expression space and information regarding the target person.
前記対象者の属性、所定のアンケートに対する前記対象者の回答のうち少なくともいずれかに基づいて、前記対象者に似合う前記被服を推定する
ことを特徴とする請求項６に記載の情報処理装置。 The estimation unit is
The information processing device according to claim 6, wherein the clothing that suits the target person is estimated based on at least one of the target person's attributes and the target person's answers to a predetermined questionnaire.
前記着用者の顔を示す前記画像を投影した前記分散表現空間と、前記所定の対象の顔を示す画像とに基づいて、前記所定の対象に似合う前記被服を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
A claim characterized in that the clothing that suits the predetermined object is estimated based on the distributed expression space onto which the image showing the wearer's face is projected and the image showing the face of the predetermined object. 1. The information processing device according to 1.
前記着用者の体型を示す前記画像を投影した前記分散表現空間と、前記所定の対象の体型を示す画像とに基づいて、前記所定の対象に似合う前記被服を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
A claim characterized in that the clothing that suits the predetermined object is estimated based on the distributed representation space onto which the image showing the wearer's body shape is projected and the image showing the predetermined object's body shape. 1. The information processing device according to 1.
前記被服が前記所定の対象に似合う度合いをさらに推定し、
前記提供部は、
前記被服を前記度合いに応じた態様で提供する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
further estimating the degree to which the clothing suits the predetermined target;
The provision department is
The information processing device according to claim 1, wherein the clothing is provided in a manner according to the degree.
被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う被服を推定する推定工程と、
前記推定工程により推定された被服に関する情報を利用者に提供する提供工程と
を含むことを特徴とする情報処理方法。 An information processing method performed by a computer, the method comprising:
An evaluation of an image of a wearer wearing clothing, which is generated based on evaluations from multiple evaluators indicating whether or not the clothing suits the wearer. an estimation step of estimating clothing that suits a predetermined target based on a distributed expression space projected with evaluator information shown;
An information processing method comprising: a providing step of providing a user with information regarding clothing estimated in the estimating step.
前記推定手順により推定された被服に関する情報を利用者に提供する提供手順と
をコンピュータに実行させることを特徴とする情報処理プログラム。 An evaluation of an image of a wearer wearing clothing, which is generated based on evaluations from multiple evaluators indicating whether or not the clothing suits the wearer. an estimation procedure for estimating clothing that looks good on a predetermined target based on a distributed expression space projected with evaluator information shown;
An information processing program that causes a computer to execute a providing step of providing a user with information regarding clothing estimated by the estimation step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022159125A JP7391166B1 (en) | 2022-09-30 | 2022-09-30 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022159125A JP7391166B1 (en) | 2022-09-30 | 2022-09-30 | Information processing device, information processing method, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7391166B1 true JP7391166B1 (en) | 2023-12-04 |
| JP2024052423A JP2024052423A (en) | 2024-04-11 |
Family
ID=89023143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022159125A Active JP7391166B1 (en) | 2022-09-30 | 2022-09-30 | Information processing device, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7391166B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016502713A (en) | 2012-11-12 | 2016-01-28 | シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインＳｉｎｇａｐｏｒｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙａｎｄ Ｄｅｓｉｇｎ | Clothing matching system and method |
| JP2020181278A (en) | 2019-04-24 | 2020-11-05 | 株式会社Ｚｏｚｏテクノロジーズ | Fashion recommendation server, fashion recommendation system, fashion recommendation method, and fashion recommendation program |
| US20210232633A1 (en) | 2018-09-25 | 2021-07-29 | A9.Com, Inc. | Indexing and presenting content using latent interests |
-
2022
- 2022-09-30 JP JP2022159125A patent/JP7391166B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016502713A (en) | 2012-11-12 | 2016-01-28 | シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインＳｉｎｇａｐｏｒｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙａｎｄ Ｄｅｓｉｇｎ | Clothing matching system and method |
| US20210232633A1 (en) | 2018-09-25 | 2021-07-29 | A9.Com, Inc. | Indexing and presenting content using latent interests |
| JP2020181278A (en) | 2019-04-24 | 2020-11-05 | 株式会社Ｚｏｚｏテクノロジーズ | Fashion recommendation server, fashion recommendation system, fashion recommendation method, and fashion recommendation program |
Non-Patent Citations (4)
| Title |
|---|
| 武井 万恵 他，他者の意見を反映した洋服コーディネート推薦システム，第７１回（平成２１年）全国大会講演論文集（４），2009年03月10日，pp.503-504 |
| 池田 雅隆 他，ニューラルネットワークを用いた衣服のコーディネート提案方式の検討，第８４回（２０２２年）全国大会講演論文集（４），2022年02月17日，pp.35-36 |
| 田村 悠 他，ファッションＥＣサイトにおけるアンケートを用いたブランド推薦システム，経営の科学 オペレーションズ・リサーチ，2018年02月01日，第６３巻、第２号，pp.91-98 |
| 知見 優一 他，コーディネート検索におけるユーザ評価の提示によるファッションへの意識変化手法とその評価，第１３回データ工学と情報マネジメントに関するフォーラム （第１９回日本データベース学会年次大会） ［Ｏｎｌｉｎｅ］ ，2021年03月01日，pp.1-8 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024052423A (en) | 2024-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180308151A1 (en) | Enhancing revenue of a retailer by making a recommendation to a customer | |
| US10402917B2 (en) | Color-related social networking recommendations using affiliated colors | |
| CN106462979B (en) | Fashion preference analysis | |
| US20170039628A1 (en) | Image processing method and apparatus | |
| US10074121B2 (en) | Shopper helper | |
| US20140032359A1 (en) | System and method for providing intelligent recommendations | |
| JP6212013B2 (en) | Product recommendation device and product recommendation method | |
| JP2018018136A (en) | Electronic commercial transaction system | |
| KR20210098884A (en) | A method of providing a fashion item recommendation service using a body shape and purchase history | |
| US20160267576A1 (en) | System and Method for Controlling and Sharing Online Images of Merchandise | |
| KR102415338B1 (en) | Apparatus and method for clothing sales service based on augmented reality | |
| KR102550214B1 (en) | Artificial intelligence-based styling recommendation system for body parts and situations | |
| KR102295459B1 (en) | A method of providing a fashion item recommendation service to a user using a date | |
| KR20210031223A (en) | Method and System of recommending fashion based on vector based deep learning | |
| US20170364982A1 (en) | Systems and methods for improved apparel fit and apparel distribution | |
| CA2942696C (en) | Secondary market integration within existing data framework | |
| JP7391166B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7391165B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7459206B1 (en) | Information processing device, information processing method, and information processing program | |
| JP2018045288A (en) | Advertisement distribution program, advertisement distribution system and advertisement distribution method | |
| WO2022240420A1 (en) | Adaptable systems and methods for matching available clothing to appropriate customers based on profile data | |
| JP7241842B1 (en) | Information processing device, information processing method, and information processing program | |
| JP2015219529A (en) | Merchandise information presentation device and program | |
| KR102480884B1 (en) | Online dress room platform system | |
| NL2022937B1 (en) | Method and Apparatus for Accessing Clothing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7391166 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |