JP7553662B1 - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP7553662B1 JP7553662B1 JP2023115376A JP2023115376A JP7553662B1 JP 7553662 B1 JP7553662 B1 JP 7553662B1 JP 2023115376 A JP2023115376 A JP 2023115376A JP 2023115376 A JP2023115376 A JP 2023115376A JP 7553662 B1 JP7553662 B1 JP 7553662B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- user
- evaluator
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 402
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 200
- 239000013598 vector Substances 0.000 description 54
- 238000013527 convolutional neural network Methods 0.000 description 40
- 238000000034 method Methods 0.000 description 40
- 230000004044 response Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000037308 hair color Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000037237 body shape Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 206010029897 Obsessive thoughts Diseases 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】所定の被服に似合う身体的な特徴を利用者が把握する。【解決手段】本願に係る情報処理装置は、被服の画像に対する評価であって、当該被服が似合うか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、当該画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する推定部と、前記推定部により推定された身体的な特徴に関する情報を利用者に提供する提供部とを有することを特徴とする。【選択図】図１５[Problem] A user grasps physical features that go well with a given piece of clothing. [Solution] The information processing device according to the present application is characterized by having an estimation unit that estimates physical features that go well with a given piece of clothing based on a distributed representation space that is generated based on evaluations of an image of clothing from a plurality of evaluators indicating whether the clothing looks good on the user, and a provision unit that provides a user with information on the physical features estimated by the estimation unit, based on the distributed representation space onto which the image and physical information indicating the physical features of the subject are projected. [Selected Figure] Figure 15
Description
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来、入力された情報の分散表現を生成し、生成した分散表現同士の比較結果に基づいて、情報の関係性を判定する技術が知られている。このような技術の一例として、商品が備える特徴を表わす商品情報と、単語間の関係性を表す単語情報と、ユーザの嗜好に応じて行動の対象になった商品を表わす学習データとに基づいて、マップ空間上の位置を表わす隠れ特徴ベクトルを、ユーザおよび商品のそれぞれについて推定する技術が提供されている。 Conventionally, there is known a technique for generating distributed representations of input information and determining the relationship between information based on the results of comparing the generated distributed representations. One example of such a technique is a technique for estimating hidden feature vectors representing positions in map space for each user and product, based on product information representing the characteristics of the product, word information representing the relationships between words, and learning data representing products that have been the subject of actions based on the user's preferences.
しかしながら、上述した技術では、所定の被服に似合う身体的な特徴を利用者が把握することができるとは限らない。 However, the above-mentioned technology does not necessarily enable users to understand the physical characteristics that suit a particular outfit.
例えば、上述した技術では、ユーザの隠れ特徴ベクトルと商品の隠れ特徴ベクトルとの距離が、当該商品に対するユーザの嗜好を反映した距離となるように隠れ特徴ベクトルを推定しているに過ぎず、所定の被服に似合う身体的な特徴を利用者が把握することができるとは限らない。 For example, the above-mentioned technology merely estimates the hidden feature vector so that the distance between the user's hidden feature vector and the product's hidden feature vector reflects the user's preferences for the product, and does not necessarily enable the user to grasp the physical features that go well with a given piece of clothing.
本願は、上記に鑑みてなされたものであって、所定の被服に似合う身体的な特徴を利用者が把握することを目的とする。 This application was made in consideration of the above, and aims to enable users to understand the physical characteristics that suit a given piece of clothing.
本願に係る情報処理装置は、被服の画像に対する評価であって、当該被服が似合うか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、当該画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する推定部と、前記推定部により推定された身体的な特徴に関する情報を利用者に提供する提供部とを有することを特徴とする。 The information processing device according to the present application is characterized in that it has a distributed representation space generated based on evaluations of an image of clothing, which indicates whether the clothing looks good on the user, from a plurality of evaluators, an estimation unit that estimates physical characteristics that go well with a specific piece of clothing based on the distributed representation space onto which the image and physical information indicating the physical characteristics of the subject are projected, and a provision unit that provides a user with information on the physical characteristics estimated by the estimation unit.
実施形態の一態様によれば、所定の被服に似合う身体的な特徴を利用者が把握することができるという効果を奏する。 According to one aspect of the embodiment, the effect is that the user can understand the physical characteristics that suit a given outfit.
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Below, the information processing device, information processing method, and information processing program according to the present application will be described in detail with reference to the drawings. Note that the information processing device, information processing method, and information processing program according to the present application are not limited to these embodiments. In addition, the same components in the following embodiments will be denoted by the same reference numerals, and duplicated descriptions will be omitted.
（第１の実施形態）
〔１．情報処理システムの構成〕
まず、実施形態に係る情報処理システム１について説明する。図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、利用者端末１００と、評価者端末２００とが含まれる。情報処理装置１０と、利用者端末１００と、評価者端末２００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。なお、図１に示した情報処理システム１には、複数台の情報処理装置１０、複数台の利用者端末１００及び複数台の評価者端末２００が含まれてもよい。
First Embodiment
1. Configuration of the information processing system
First, an
情報処理装置１０は、複数の被服（ファッションアイテムともいい、履物（シューズともいう）や帽子（キャップやハットなど）、装身具（アクセサリともいう）なども含む）の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者（アノテーター）から受け付け、受け付けられた評価に基づいて、当該画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成し、生成した分散表現空間を用いた情報処理を実現する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。
The
また、例えば、情報処理装置１０は、被服を提供（検索、販売等）する電子商取引サービスを提供する。また、情報処理装置１０は、被服のコーディネートを示すコンテンツ（画像、動画、記事等）の投稿を利用者から受け付け、他の利用者に提供（検索、配信等）するコーディネートサービスを提供する。
For example, the
なお、情報処理装置１０は、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。また、情報処理装置１０は、利用者端末１００にインストールされた各種サービスに関するアプリケーションに表示する情報を、情報処理装置１０に配信する装置であってもよい。また、情報処理装置１０は、アプリケーションのデータそのものを配信する装置であってもよい。
The
また、情報処理装置１０は、利用者端末１００に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、情報処理装置１０から配信されるアプリケーションそのものを制御情報とみなしてもよい。
The
利用者端末１００は、利用者によって利用される情報処理装置である。利用者端末１００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、利用者端末１００は、情報処理装置１０や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図２に示す例では、利用者端末１００がスマートフォンである場合を示す。
The
評価者端末２００は、複数の被服の組み合わせを着用した着用者の画像に対する評価を行う評価者によって利用される情報処理装置である。評価者端末２００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、評価者端末２００は、情報処理装置１０や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図２に示す例では、評価者端末２００がスマートフォンである場合を示す。
The evaluator terminal 200 is an information processing device used by an evaluator who evaluates images of a wearer wearing a combination of multiple clothes. The evaluator terminal 200 is realized, for example, by a smartphone, a tablet terminal, a notebook PC, a desktop PC, a mobile phone, a PDA, or the like. The evaluator terminal 200 also displays information distributed by the
〔２．情報処理の一例〕
次に、図２～４を用いて、本実施形態に係る情報処理装置等により実現される情報処理の一例について説明する。
2. An example of information processing
Next, an example of information processing implemented by the information processing device according to the present embodiment will be described with reference to FIGS.
〔２－１．第１の情報処理について〕
以下、図２を用いて、本実施形態に係る情報処理装置等により実現される第１の情報処理について説明する。図２は、実施形態に係る情報処理の一例を示す図（１）である。なお、以下の説明では、利用者端末１００が、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者（利用者Ｕ１）により利用されるものとする。また、以下の説明では、利用者端末１００を利用者Ｕ１と同一視する場合がある。すなわち、以下では、利用者Ｕ１を利用者端末１００と読み替えることもできる。
[2-1. Regarding the first information processing]
The first information processing realized by the information processing device etc. according to this embodiment will be described below with reference to FIG. 2. FIG. 2 is a diagram (1) showing an example of information processing according to this embodiment. In the following description, it is assumed that the
また、以下の説明では、評価者端末２００を利用する評価者に応じて、評価者端末２００－１～２００－Ｎ（Ｎは任意の自然数）として説明する。例えば、評価者端末２００－１は、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者（評価者Ａ１）により使用される評価者端末２００である。また、以下では、評価者端末２００－１～２００－Ｎについて、特に区別なく説明する場合には、評価者端末２００と記載する。また、以下の説明では、評価者端末２００を評価者と同一視する場合がある。すなわち、以下では、評価者を評価者端末２００と読み替えることもできる。
In the following description, the evaluator terminals 200 are referred to as evaluator terminals 200-1 to 200-N (N is any natural number) depending on the evaluator using the evaluator terminal 200. For example, the evaluator terminal 200-1 is the evaluator terminal 200 used by the evaluator (evaluator A1) identified by the evaluator ID "
まず、情報処理装置１０は、複数の被服の組み合わせ（コーディネート）を着用した着用者の画像に対する評価者の評価を、評価者端末２００から受け付ける（ステップＳａ１）。例えば、情報処理装置１０は、着用者のコーディネートが、着用者に似合っているか否かを示す評価を受け付ける。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１及びＰ２の組を評価者に提示し、２つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付ける。
First, the
より具体的な例を挙げると、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価、並びに、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価（すなわち、画像Ｐ１に対する「似合う」という評価と、画像Ｐ２に対する「似合わない」という評価）を、評価者Ａ１から受け付ける。なお、どちらの例においても似合っている場合に、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価と、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいし、反対にどちらの例においても似合わなかった場合に、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価と、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいものとする。以降の例では相対的に似合うと判断された場合を含めて単に似合うと表記し、同様に相対的に似合わないと判断された場合を含めて単に似合わないと表記する。また、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価、並びに、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価（すなわち、画像Ｐ１に対する「似合わない」という評価と、画像Ｐ２に対する「似合う」という評価）を、評価者Ａ２から受け付ける。同様に、情報処理装置１０は、他の評価者からも、画像Ｐ１及びＰ２の組に関する評価を受け付ける。また、情報処理装置１０は、画像Ｐ３及びＰ４の組、画像Ｐ５及びＰ６の組、画像Ｐ１及びＰ３の組、画像Ｐ２及びＰ４の組、・・・といった他の組に関する評価を評価者から受け付ける。
To give a more specific example, the
続いて、情報処理装置１０は、画像に対する評価者の評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する（ステップＳａ２）。例えば、情報処理装置１０は、ＶＳＥ（Visual-Semantic Embedding）の技術を用いて、分散表現空間を生成する。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ１を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ１を生成する。
Then, the
なお、情報処理装置１０は、画像に関する各種の情報や、評価者に関する各種の情報を示す評価者情報を投影した分散表現空間を生成してもよい。ここで、図３を用いて、情報処理装置１０が生成する分散表現空間の例について説明する。図３は、実施形態に係る分散表現空間の一例を示す図である。
The
例えば、画像が示すコーディネートに含まれる被服（アイテム）は、評価者が似合うと感じるか否かに寄与していることが推定される。したがって、情報処理装置１０は、画像が示すコーディネートに含まれる被服の画像をさらに投影した分散表現空間Ｆ２を生成する。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服Ｉ１の画像を投影した分散表現空間Ｆ２を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服Ｉ２の画像を投影した分散表現空間Ｆ２を生成する。
For example, it is estimated that the clothes (items) included in the outfit shown in the image contribute to whether the evaluator feels that the outfit suits the user. Therefore, the
また、例えば、情報処理装置１０は、画像が示すコーディネートに紐付けられた情報をさらに投影した分散表現空間Ｆ３を生成する。具体的な例を挙げると、情報処理装置１０は、コーディネートの用途や、着用するシチュエーションなどを示すカテゴリをさらに投影した分散表現空間Ｆ３を生成する。より具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートのカテゴリＴ１（カジュアル）を投影した分散表現空間Ｆ３を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２のカテゴリＴ２（デート）を投影した分散表現空間Ｆ３を生成する。なお、情報処理装置１０は、画像が示すコーディネートに含まれる被服の画像をさらに投影した散表現空間を生成する場合、当該被服に紐付けられた情報をさらに投影した分散表現空間を生成してもよい。
For example, the
また、例えば、情報処理装置１０は、評価者の属性情報を示す評価者情報を投影した分散表現空間Ｆ４を生成する。ここで、評価者Ａ１の属性情報が「２０代後半、東京在住」であり、評価者Ａ２の属性情報が「２０代前半、大阪在住」であるものとする。このような場合、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の属性情報よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の属性情報（例えば、属性情報Ｂ１（２０代後半、東京在住）、属性情報Ｂ２（２０代後半）及び属性情報Ｂ３（東京在住））の近くに、画像Ｐ１を投影した分散表現空間Ｆ４を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の属性情報よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の属性情報（例えば、属性情報Ｂ４（２０代前半、大阪在住）、属性情報Ｂ５（大阪在住）及び属性情報Ｂ６（２０代前半））の近くに、画像Ｐ２を投影した分散表現空間Ｆ４を生成する。
Also, for example, the
また、例えば、情報処理装置１０は、「ファッションに自信がある？」や、「好きな街は？」といったアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間Ｆ５を生成する。ここで、上記のアンケートに対し、評価者Ａ１が「ファッションに自信がない」、「渋谷が好き」と回答し、評価者Ａ２が「ファッションに自信がある」、「原宿が好き」と回答したものとする。このような場合、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の回答よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の回答（例えば、回答Ｃ１（ファッションに自信がない、渋谷が好き）、回答Ｃ２（ファッションに自信がない）及び回答Ｃ３（渋谷が好き））の近くに、画像Ｐ１を投影した分散表現空間Ｆ５を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の回答よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の回答（例えば、回答Ｃ４（ファッションに自信がある、原宿が好き）、回答Ｃ５（ファッションに自信がある）及び回答Ｃ６（原宿が好き））の近くに、画像Ｐ２を投影した分散表現空間Ｆ５を生成する。
For example, the
なお、情報処理装置１０が生成する分散表現空間は、上記の例に限定されない。例えば、情報処理装置１０は、画像、コーディネートに含まれる被服の画像、コーディネートのカテゴリ、評価者の属性情報、並びに、アンケートに対する評価者の回答を投影した分散表現空間を生成してもよい。
The distributed representation space generated by the
また、情報処理装置１０が生成する分散表現空間に含まれる情報は、上記のような例に限定されず、任意の情報が投影されてもよい。例えば、情報処理装置１０は、被服の提供元（例えば、ブランドや、被服を販売するショップなど）を示す情報を投影した分散表現空間を生成してもよい。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、例えば、情報処理装置１０は、着用者の身体的な情報（例えば、骨格や体格に関する特徴量）を投影した分散表現空間を生成してもよく、身体的な特徴量を抽出する際に非特許文献１（ＶｉＢＥ： Ｄｒｅｓｓｉｎｇ ｆｏｒ Ｄｉｖｅｒｓｅ Ｂｏｄｙ Ｓｈａｐｅｓ．Ｗｅｉ－Ｌｉｎ Ｈｓｉａｏ，Ｋｒｉｓｔｅｎ Ｇｒａｕｍａｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０２０， ｐｐ． １１０５９－１１０６９．）の方法を用いてもよい。
In addition, the information included in the distributed representation space generated by the
また、例えば、情報処理装置１０は、評価者の各種の属性情報（例えば、職業や、身長、体重、居住地、パーソナルカラー、収入、家賃）、評価者のアンケートの項目（例えば、お気に入りの提供元や、ファッションにかける金額、ファッションの参考に見ている媒体（よく読む雑誌、よく利用するＷＥＢサービス等）、夢中になっていること（趣味等）、将来の夢、ファッションの参考にしている人（芸能人、インフルエンサー等）、なりたいイメージ、取り入れたいアイテム、好きな（憧れな）人のＳＮＳに関する情報、体型の悩み、ファッションの悩みなど）に対する回答、画像が示すコーディネートに紐付けられた情報（例えば、アイテムタイプ、提供元、利用シーン、色、季節、着用の目的、売り文句、素材、サイズ、価格帯など）を示す情報などを投影した分散表現空間を生成してもよい。
In addition, for example, the
図２に戻り説明を続ける。続いて、情報処理装置１０は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、生成した分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネート（言い換えると、利用者が高く評価すると推定されるコーディネートや、利用者も似合うと評価すると推定されるコーディネート）を推定する（ステップＳａ３）。ここで、利用者Ｕ１の属性情報が、「２０代後半」であるものとする。このような場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定する。
Returning to FIG. 2 for further explanation, the
なお、情報処理装置１０は、分散表現空間に投影された情報と、利用者Ｕ１に関する情報とに基づいて、利用者Ｕ１に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、利用者Ｕ１の属性情報が、「２０代後半、大阪在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者Ｕ１に関する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定してもよい。
In addition, the
ここで、図２の例において、情報処理装置１０が、画像Ｐ１が示すコーディネート＃１、画像Ｐ３が示すコーディネート＃３、並びに、画像Ｐ４が示すコーディネート＃４を、利用者Ｕ１に似合うコーディネートであると推定したものとする。このような場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４に関する情報を利用者端末１００に提供する（ステップＳａ４）。例えば、情報処理装置１０は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定し、優先度を高くして提供する。具体的な例を挙げると、情報処理装置１０は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、情報処理装置１０は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、コーディネートサービスにおいて提供する。このとき、情報処理装置１０は、優先度が高い情報ほど、目立つ位置や、ランキングの上位として表示されるように提供してもよい。
In the example of FIG. 2, the
なお、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、利用者Ｕ１に関する情報（属性情報、身体的な情報（身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等）等）や、コーディネートに関連する情報（例えば、現在の季節や、現在の流行）などに対応するコーディネートの情報を提供してもよい。例えば、利用者Ｕ１が男性である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、男性向けのコーディネートの情報を提供する。例えば、利用者Ｕ１が男性である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、着用者が男性であるコーディネートや、コーディネートに含まれる被服が男性向けであるコーディネートの情報を提供してもよい。例えば、現在の季節が秋である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、秋や冬向けのコーディネートの情報を提供する。
In addition, the
また、情報処理装置１０は、利用者Ｕ１が指定した条件に応じたコーディネートの情報を提供してもよい。例えば、利用者Ｕ１がカテゴリ「カジュアル」を条件として指定した場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、分散表現空間（例えば、分散表現空間Ｆ３）においてカテゴリＴ１からより近い位置に投影された画像が示すコーディネートの優先度を高くして提供する。
In addition, the
また、情報処理装置１０は、利用者Ｕ１の被服に関する嗜好を学習したモデルを用いて、コーディネートの情報を提供してもよい。例えば、情報処理装置１０は、被服に関する情報（例えば、画像）を入力した場合に、利用者Ｕ１がその被服を嗜好する度合いが高いほど高いスコアを出力するようモデルを学習しておく。そして、情報処理装置１０は、そのモデルにコーディネート＃１、＃３及び＃４に関する情報を入力し、出力されたスコアが高い順にコーディネート＃１、＃３及び＃４の情報を利用者Ｕ１に提供する。
In addition, the
続いて、情報処理装置１０は、提供した情報に対して利用者Ｕ１が肯定的であったか否かを示すフィードバックを利用者端末１００から取得する（ステップＳａ５）。例えば、情報処理装置１０は、電子商取引サービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得する。また、情報処理装置１０は、コーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）か否かを示す情報を取得する。なお、提供した情報に対して利用者Ｕ１が肯定的であったか否かを示す情報は、電子商取引サービスやコーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４を閲覧したか否かや、電子商取引サービスやコーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を閲覧したか否かなどでもよく、上記の例に限定されない。
Next, the
続いて、情報処理装置１０は、利用者Ｕ１からのフィードバックに基づいて、分散表現空間を更新する（ステップＳａ６）。例えば、利用者Ｕ１がコーディネート＃１に対して肯定的である場合（例えば、電子商取引サービスにおいてコーディネート＃１に含まれる被服を購入した場合や、コーディネートサービスにおいてコーディネート＃１に対するお気に入り登録を行った場合）、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１がコーディネート＃３に対して否定的である場合（例えば、電子商取引サービスや、コーディネートサービスにおいて提示したコーディネート＃３の情報を閲覧しなかった場合）、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ３とを所定の距離遠ざけるように更新する。なお、利用者Ｕ１からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（利用者Ｕ１）を示す評価者情報をさらに分散表現空間に投影してもよい。
Next, the
以上のように、実施形態に係る情報処理装置１０は、コーディネートを示す画像に対する似合うか否かの評価と、画像に対する評価を行った評価者を示す評価者情報とを投影した分散表現空間を生成する。
As described above, the
ここで、従来、コーディネートが着用者に「似合う」か否かは人それぞれの主観によって大きく異なり、定量化が困難であった。そこで、実施形態に係る情報処理装置１０によれば、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
Here, in the past, whether or not an outfit "looks good" on a wearer varied greatly depending on each person's subjective opinion, making it difficult to quantify. Therefore, with the
また、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供する。これにより、実施形態に係る情報処理装置１０は、所定の対象（利用者自身等）に似合う被服を利用者が把握することができるという効果を奏する。
The
〔２－２．第２の情報処理について〕
次に、図４を用いて、本実施形態に係る情報処理装置等により実現される第２の情報処理について説明する。図４は、実施形態に係る情報処理の一例を示す図（２）である。
[2-2. Regarding the second information processing]
Next, a second information processing executed by the information processing device according to the embodiment will be described with reference to Fig. 4. Fig. 4 is a diagram (2) showing an example of the information processing according to the embodiment.
まず、情報処理装置１０は、複数の被服の組み合わせ（コーディネート）を着用した着用者の画像に対する評価を、評価者端末２００から受け付ける（ステップＳｂ１）。例えば、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているっているか否かを示す評価を受け付ける。
First, the
続いて、情報処理装置１０は、画像に対する評価者の評価に基づいて、評価者や画像などの分散表現を生成するための畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））を生成する（ステップＳｂ２）。例えば、情報処理装置１０は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。具体的な例を挙げると、情報処理装置１０は、ある画像を入力した際に、その画像に対して「似合う」と評価した評価者の分散表現と類似する分散表現を出力し、その画像に対して「似合わない」と評価した評価者の分散表現と類似しない分散表現を出力するように、ＣＮＮの接続係数を修正する。
Then, the
ここで、情報処理装置１０が、各評価者による評価に基づいて、ＣＮＮの学習を繰り返し行った場合、ＣＮＮは、各評価者がどの範囲に基づいて、似合うもしくは似合わないの評価を行ったかを推定し、推定結果に応じた各評価者および画像の分散表現を生成するようになる。例えば、ＣＮＮは、画像から分散表現を生成する場合、画像を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル（以下、「領域ベクトル」と記載する場合がある。）を生成する。そして、ＣＮＮは、複数の領域ベクトルを統合することで、画像全体の特徴を示す分散表現を生成する。なお、ＣＮＮは、様々な大きさの領域や特徴について、同様の処理を繰り返し実行し、最終的な分散表現を生成する。また、画像全体を一つの領域とみなしてもよい。また、複数の領域ではなく、単一の領域に基づいて分散表現を生成してもよい。すなわち、必要であれば、画像上の部分的な領域に基づいて分散表現を生成するのではなく、画像全体を考慮した単一の特徴ベクトルを算出してもよい。また、領域の定義は使用するアプリケーションに基づいて任意に定めてもよい。例えば、Ｆｕｌｌｙ ＣＮＮを用いて特徴抽出することで得られる特徴ベクトルは、各次元が一つの画像上の領域に対応するものとして考えられるが、当該領域に対応する画像空間上のコンテンツに基づいてその領域ベクトルを使用するか否かを決めてもよい。具体的には、人体検出器などによって画像上の人物が存在する複数の領域を特定し、これらの領域ベクトルのＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇを算出することによって領域ベクトルの統合を行ってもよい。また、その他の例としても、画像上の意味的領域分割を行うことによって領域を特定してもよい。具体的には、例えば、画像上に撮像された人物が存在する画素において、どの部分がトップスまたはボトムスを含むかを特定することで、複数の意味的領域を得ることができる。これらの領域に対応する領域ベクトルを算出し、複数の領域ベクトルを固有の順番で結合（Ｃｏｎｃａｔｅｎａｔｅ処理）することで、対象の被写体の姿勢変動に比較的頑強な画像全体の特徴を示す分散表現を算出してもよい。この際、存在しない意味的領域がある場合（例えば被写体の足が撮像されていない場合にシューズの領域が存在しないなど）、当該の領域ベクトルを任意の特徴ベクトルで代用してもよく、例えば学習データ全体におけるシューズの領域ベクトルの平均ベクトルを用いてもよいし、０で埋めた特徴ベクトルを用いても良い。
Here, when the
このようなＣＮＮの学習を行う場合、情報処理装置１０は、各評価者の位置を固定し、各画像について、似合うと評価した評価者の分散表現（例えば、属性情報等を示す評価者情報に基づく分散表現）と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように、ＣＮＮの学習を行う。このような学習を行った場合、ＣＮＮは、似合うと評価した評価者の評価者情報の分散表現と比較的類似する領域ベクトルを生成し、似合わないと評価した評価者の評価者情報の分散表現と比較的類似しない領域ベクトルを生成するように、接続係数等の調整が行われることとなる。このような学習処理を繰り返し行った場合、ＣＮＮは、ある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトルを生成するようになる。
When such CNN training is performed, the
そこで、情報処理装置１０は、このような学習済みのＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示す情報、例えば、ヒートマップ等を提供する。
Therefore, the
例えば、情報処理装置１０は、電子商取引サービスや、コーディネートサービスにおいて、コーディネートを示す画像を利用者Ｕ１に提供する際、生成したＣＮＮと、利用者Ｕ１に関する情報とに基づき、当該画像の各領域が示す被服のそれぞれが利用者Ｕ１に似合う度合いを判定する（ステップＳｂ３）。ここで、図４の例において、画像Ｐ１を利用者Ｕ１に提供するものとする。このような場合、情報処理装置１０は、分散表現が、利用者Ｕ１の分散表現（例えば、属性情報等に基づく分散表現）と類似する評価者を特定する。そして、情報処理装置１０は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者Ｕ１に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者Ｕ１に似合う度合いが低いと判定する。
For example, when the
なお、情報処理装置１０が上述の処理に用いるために生成するものは、ＣＮＮに限定されず、分散表現（埋め込み表現）を獲得可能であれば任意のものが生成されてよい。
Note that what the
続いて、情報処理装置１０は、画像Ｐ１をステップＳｂ３において判定した度合いに応じた態様で利用者端末１００に出力する（ステップＳｂ４）。例えば、情報処理装置１０は、画像Ｐ１の各領域が示す被服が利用者Ｕ１に似合う度合いをヒートマップで示す画像を出力する。具体的な例を挙げると、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似し、画像Ｐ１のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像Ｐ１－１を出力する。また、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のトップスを示す領域の領域ベクトルが類似し、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像Ｐ１－２を出力する。
Then, the
なお、情報処理装置１０は、画像を出力する際に、各領域の被服が利用者Ｕ１に似合う度合いに応じた情報とともに画像を出力してもよい。例えば、画像Ｐ１－１を出力する場合、情報処理装置１０は、赤色で表示した領域に含まれる被服の購入を提案する情報や、青色で表示した領域に含まれる被服の着用を避けることを提案する旨の情報、赤色で表示した領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像Ｐ１－１を出力する。
When outputting an image, the
以上のように、実施形態に係る情報処理装置１０は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置１０は、利用者が、自身と類似する属性を有する評価者が、コーディネートのうちいずれの被服を似合うと評価するかを把握することができるため、着用する被服の指針を利用者が得ることができる。
As described above, the
〔３．その他の処理例〕
なお、上述した処理は一例に過ぎず、情報処理装置１０は、様々な情報を用いて様々な処理を行ってもよい。この点について、以下例示を列挙する。
[3. Other processing examples]
The above-described process is merely an example, and the
〔３－１．利用者に関する情報に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１が選択したカテゴリとに基づいて、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、利用者端末１００からのコーディネートの提供要求とともに、利用者Ｕ１がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間Ｆ３において、カテゴリＴ１から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
[3-1. Predicting outfits based on user information]
In the example of Fig. 2, the
また、情報処理装置１０は、分散表現空間と、アンケートに対する利用者Ｕ１の回答とに基づいて、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
なお、情報処理装置１０は、利用者Ｕ１に関する情報に基づいて、コーディネートの提案を行ってもよい。例えば、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ２及び５間の所定の位置（例えば、中間の位置）から所定の範囲内に投影された画像が示すコーディネートを、「ファッションに自信を持つために挑戦してみませんか？」といったコメントと共に提案する。すなわち、情報処理装置１０は、利用者Ｕ１の将来に関する情報に基づいて、コーディネートの提案を行ってもよい。
The
〔３－２．対象者に関する情報に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１が会う相手）に関する情報とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間と、対象者の属性とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
[3-2. Estimating outfit coordination based on information about the subject]
In the example of FIG. 2, the
また、例えば、情報処理装置１０は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
For example, the
また、情報処理装置１０は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「２０代前半、東京在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ３及びＢ６の中間の位置が、分散表現空間Ｆ４において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置１０は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
これにより、例えば、対象者が利用者に似合うと評価するコーディネートを推定することができるため、これから会う人の好印象を持ってもらうために何を着ればいいかを利用者が把握することができる。 This allows, for example, the system to estimate what outfits the subject will evaluate as suiting the user, allowing the user to know what to wear to make a good impression on people they will meet.
なお、対象者が利用者Ｕ１に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置１０は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置１０は、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。そして、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的である場合、情報処理装置１０、分散表現空間において、対象者に対応する情報（例えば、属性情報や、アンケートに対する回答など）と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が否定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（対象者）を示す評価者情報をさらに分散表現空間に投影してもよい。
In addition, when the subject provides information on a coordination that the user U1 evaluates as suiting the user U1, the
また、情報処理装置１０は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、情報処理装置１０は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、情報処理装置１０は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「２０代後半」であり、対象者の属性情報が「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置１０は、推定したコーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
〔３－３．対象者に似合うコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１がプレゼントを贈る相手）に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間と、対象者の属性とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報（属性情報、身体的な情報（身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等）等）や、コーディネートに関連する情報などに対応するコーディネート（例えば、対象者が女性である場合には、女性向けのコーディネート）に関する情報を利用者端末１００に提供する。
[3-3. Estimating the best outfit for the subject]
In the example of FIG. 2, the
また、例えば、情報処理装置１０は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
For example, the
また、情報処理装置１０は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「２０代前半、東京在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ３及びＢ６の中間の位置が、分散表現空間Ｆ４において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置１０は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が自身に似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
なお、対象者が自身に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置１０は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置１０は、提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。そして、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（対象者）を示す評価者情報をさらに分散表現空間に投影してもよい。
In addition, when the subject provides information on a coordination that the subject evaluates as suiting the subject, the
また、情報処理装置１０は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、情報処理装置１０は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、情報処理装置１０は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「２０代後半」であり、対象者の属性情報が「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置１０は、推定したコーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
〔３－４．着用者及び利用者の画像に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象（利用者、対象者など）の顔の画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、顔の特徴量が、利用者Ｕ１の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
3-4. Estimating outfit coordination based on images of the wearer and user
In the example of Fig. 2, the
また、情報処理装置１０は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、体型（例えば、細め、太め）が利用者Ｕ１の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
In addition, the
〔３－５．対象者に関する情報に基づく態様での画像の出力について〕
図４の例において、情報処理装置１０は、ＣＮＮと、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１が会う相手）に関する情報とに基づく態様で、コーディネートを示す画像を出力してもよい。例えば、画像Ｐ１を利用者Ｕ１に提供する場合、情報処理装置１０は、対象者の分散表現（例えば、属性情報等に基づく分散表現）と類似する評価者を特定する。そして、情報処理装置１０は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像Ｐ１を出力する。
[3-5. Output of images based on information about the subject]
In the example of FIG. 4, the
なお、情報処理装置１０は、画像Ｐ１を出力する際に、各領域の被服を、対象者が利用者Ｕ１に似合うと評価する度合いに応じた情報とともに画像Ｐ１を出力してもよい。例えば、対象者が利用者Ｕ１に似合うと評価する度合いが高い領域が示す被服の購入を提案する情報や、当該度合いが低い領域に含まれる被服の着用を避けることを提案する旨の情報、当該度合いが高い領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像Ｐ１－１を出力する。
When outputting image P1,
〔４．情報処理装置の構成〕
次に、図５を用いて、情報処理装置１０の構成について説明する。図５は、実施形態に係る情報処理装置１０の構成例を示す図である。図５に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。
4. Configuration of information processing device
Next, the configuration of the
（通信部２０について）
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、利用者端末１００、評価者端末２００等との間で情報の送受信を行う。
(Regarding communication unit 20)
The communication unit 20 is realized by, for example, a network interface card (NIC) etc. The communication unit 20 is connected to the network N by wire or wirelessly, and transmits and receives information between the
（記憶部３０について）
記憶部３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部３０は、評価者情報データベース３１と、利用者情報データベース３２とを有する。
(Regarding the storage unit 30)
The storage unit 30 is realized by, for example, a semiconductor memory element such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 30 has an
（評価者情報データベース３１について）
評価者情報データベース３１は、評価者に関する各種の情報を記憶する。ここで、図６を用いて、評価者情報データベース３１が記憶する情報の一例を説明する。図６は、実施形態に係る評価者情報データベース３１の一例を示す図である。図６の例において、評価者情報データベース３１は、「評価者ＩＤ」、「属性情報」、「アンケート情報」、「評価情報」といった項目を有する。
(Regarding the evaluator information database 31)
The
「評価者ＩＤ」は、評価者を識別するための識別情報を示す。「属性情報」は、評価者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する評価者の回答を示す。「評価情報」は、評価者による評価に関する情報を示し、「対象ＩＤ」、「画像情報」、「被服情報」、「着用者情報」、「評価」といった項目を有する。 "Evaluator ID" indicates identification information for identifying the evaluator. "Attribute information" indicates attribute information of the evaluator. "Survey information" indicates the evaluator's response to a specified questionnaire. "Evaluation information" indicates information regarding the evaluation by the evaluator, and has items such as "Subject ID," "Image information," "Clothing information," "Wearer information," and "Evaluation."
「対象ＩＤ」は、評価の対象（画像）を識別するための識別情報を示す。「画像情報」は、評価の対象である画像を示す。「被服情報」は、画像が示すコーディネートに含まれる被服に関する情報を示し、例えば、被服を識別するための識別情報等が格納される。「着用者情報」は、画像が示す着用者に関する情報を示し、例えば、着用者を識別するための識別情報や、着用者の属性情報や身体的な情報などといった情報が格納される。「評価」は、画像に対する評価者の評価を示す。 "Subject ID" indicates identification information for identifying the subject (image) of evaluation. "Image information" indicates the image that is the subject of evaluation. "Clothing information" indicates information about the clothes included in the outfit shown in the image, and for example, identification information for identifying the clothes is stored. "Wearer information" indicates information about the wearer shown in the image, and for example, identification information for identifying the wearer, attribute information and physical information of the wearer are stored. "Evaluation" indicates the evaluator's evaluation of the image.
すなわち、図６では、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者の属性情報が「属性情報＃１」、アンケート情報が「アンケート情報＃１」、対象ＩＤ「ＤＩＤ＃１」により識別される評価の対象の画像情報が「画像情報＃１」、被服情報が「被服情報＃１」、着用者情報が「着用者情報＃１」、評価が「評価＃１」である例を示す。
In other words, Figure 6 shows an example in which the attribute information of the evaluator identified by the evaluator ID "
（利用者情報データベース３２について）
利用者情報データベース３２は、利用者に関する各種の情報を記憶する。ここで、図７を用いて、利用者情報データベース３２が記憶する情報の一例を説明する。図７は、実施形態に係る利用者情報データベース３２の一例を示す図である。図７の例において、利用者情報データベース３２は、「利用者ＩＤ」、「属性情報」、「アンケート情報」、「利用者画像」、「フィードバック情報」といった項目を有する。
(Regarding the user information database 32)
The
「利用者ＩＤ」は、利用者を識別するための識別情報を示す。「属性情報」は、利用者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する利用者の回答を示す。「利用者画像」は、利用者の顔や体型を示す画像を示す。「フィードバック情報」は、利用者に提供した情報に対する利用者からのフィードバックに関する情報を示す。 "User ID" indicates identification information for identifying a user. "Attribute information" indicates the user's attribute information. "Survey information" indicates the user's response to a specific survey. "User image" indicates an image showing the user's face and body type. "Feedback information" indicates information regarding feedback from the user regarding information provided to the user.
すなわち、図７では、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者の属性情報が「属性情報＃１１」、アンケート情報が「アンケート情報＃１１」、利用者画像が「利用者画像＃１」、フィードバック情報が「フィードバック情報＃１」である例を示す。
In other words, Figure 7 shows an example in which the attribute information of a user identified by user ID "
（制御部４０について）
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部４０は、図５に示すように、受付部４１と、生成部４２と、推定部４３と、提供部４４と、判定部４５と、出力部４６と、取得部４７と、更新部４８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(Regarding the control unit 40)
The control unit 40 is a controller, and is realized, for example, by a central processing unit (CPU) or a micro processing unit (MPU) executing various programs stored in a storage device inside the
（受付部４１について）
受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。例えば、図２の例において、受付部４１は、画像Ｐ１及びＰ２の組を評価者に提示し、２つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付け、評価者情報データベース３１に格納する。
(Regarding the reception unit 41)
The receiving
また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付けてもよい。例えば、図４の例において、受付部４１は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているっているか否かを示す評価を受け付ける。
The
（生成部４２について）
生成部４２は、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。例えば、図２の例において、生成部４２は、評価者情報データベース３１を参照し、ＶＳＥの技術を用いて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。
(Regarding the generation unit 42)
The generating unit 42 generates a distributed representation space onto which the image and the evaluator information indicating the evaluator are projected, based on the evaluation received by the receiving
また、生成部４２は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ１を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ１を生成する。 The generation unit 42 may project the image and the evaluator information closer to the distributed representation space as the evaluator evaluates the combination as being suitable for the wearer, and may project the image and the evaluator information farther away in the distributed representation space as the evaluator evaluates the combination as being unsuitable for the wearer. For example, in the example of FIG. 2, the generation unit 42 generates a distributed representation space F1 in which the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generation unit 42 also generates a distributed representation space F1 in which the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服Ｉ１の画像を投影した分散表現空間Ｆ２を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服Ｉ２の画像を投影した分散表現空間Ｆ２を生成する。 The generating unit 42 may also generate a distributed representation space in which information indicating the clothes included in the combination is further projected based on the evaluation. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F2 in which an image of the clothes I1 included in the outfit shown by the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than to the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space F2 in which an image of the clothes I2 included in the outfit shown by the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than to the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートのカテゴリＴ１（カジュアル）を投影した分散表現空間Ｆ３を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２のカテゴリＴ２（デート）を投影した分散表現空間Ｆ３を生成する。 The generating unit 42 may also generate a distributed representation space in which information indicating a category to which the combination belongs is further projected based on the evaluation. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F3 in which the category T1 (casual) of the coordination indicated by the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than to the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space F3 in which the category T2 (date) of the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than to the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。 The generating unit 42 may also generate a distributed representation space in which information indicating the source of the clothes included in the combination is projected based on the evaluation. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space in which information indicating the source of the clothes included in the coordination shown by the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than to the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space in which information indicating the source of the clothes included in the coordination shown by the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than to the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価者の属性を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の属性情報よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の属性情報の近くに、画像Ｐ１を投影した分散表現空間Ｆ４を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の属性情報よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の属性情報の近くに、画像Ｐ２を投影した分散表現空間Ｆ４を生成する。 The generating unit 42 may also generate a distributed representation space in which evaluator information indicating the attributes of the evaluators is projected. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F4 in which the image P1 is projected closer to the attribute information of the evaluator A1 who evaluated the image P1 as "suitable" than to the attribute information of the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space F4 in which the image P2 is projected closer to the attribute information of the evaluator A2 who evaluated the image P2 as "suitable" than to the attribute information of the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の回答よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の回答の近くに、画像Ｐ１を投影した分散表現空間Ｆ５を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の回答よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の回答の近くに、画像Ｐ２を投影した分散表現空間Ｆ５を生成する。 The generating unit 42 may also generate a distributed representation space in which evaluator information indicating the evaluator's responses to a predetermined questionnaire is projected. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F5 in which the image P1 is projected closer to the response of the evaluator A1 who evaluated the image P1 as "suitable" than to the response of the evaluator A2 who evaluated the image P1 as "not suitable". The generating unit 42 also generates a distributed representation space F5 in which the image P2 is projected closer to the response of the evaluator A2 who evaluated the image P2 as "suitable" than to the response of the evaluator A1 who evaluated the image P2 as "not suitable".
また、生成部４２は、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成してもよい。例えば、図４の例において、生成部４２は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。
The generating unit 42 may generate a convolutional neural network based on the evaluations received by the receiving
（推定部４３について）
推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。例えば、図２の例において、推定部４３は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、利用者情報データベース３２を参照し、生成された分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネートを推定する。
(Regarding the estimation unit 43)
The
また、推定部４３は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、生成された分散表現空間に基づき、利用者Ｕ１に似合うコーディネートを推定する。
The
また、推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、生成された分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネートを推定する。
The
また、推定部４３は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図２の例において、利用者Ｕ１の属性情報が、「２０代後半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、利用者Ｕ１がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間Ｆ３において、カテゴリＴ１から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１の属性情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者に関する情報とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定する。
The
また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図２の例において、対象者の属性情報が、「２０代前半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定する。
The
また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定してもよい。例えば、図２の例において、対象者の属性情報が、「２０代前半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、推定部４３は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、顔の特徴量が、利用者Ｕ１の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
The
また、推定部４３は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、体型が利用者Ｕ１の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
The
また、推定部４３は、組み合わせが所定の対象に似合う度合いをさらに推定してもよい。例えば、図４の例において、推定部４３は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定する。
The
（提供部４４について）
提供部４４は、推定部４３により推定された組み合わせに関する組み合わせ情報を利用者に提供する。例えば、図２の例において、提供部４４は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４は、コーディネート＃１、＃３及び＃４の情報を、コーディネートサービスにおいて提供する。
(Regarding the providing unit 44)
The providing unit 44 provides the user with combination information regarding the combination estimated by the estimating
また、提供部４４は、推定部４３により推定された組み合わせに関する情報を利用者に提供してもよい。例えば、図２の例において、提供部４４は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４は、コーディネート＃１、＃３及び＃４の情報を、コーディネートサービスにおいて提供する。
The providing unit 44 may also provide information on the combinations estimated by the estimating
また、提供部４４は、組み合わせを度合いに応じた態様で提供してもよい。例えば、図２の例において、提供部４４は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定し、優先度を高くして提供する。 The providing unit 44 may also provide combinations in a manner according to the degree of suitability. For example, in the example of FIG. 2, the providing unit 44 estimates that the closer the information on the coordination shown by an image in the distributed representation space F4 is to the attribute information B2, the more suitable the information is for the user U1, and provides the information with a higher priority.
ここで、図８及び９を用いて、被服の組み合わせに関する情報を利用者端末１００に提供する際の態様について説明する。まず、図８を用いて、電子商取引サービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図８は、利用者端末１００の画面の一例を示す図（１）である。
Now, using Figures 8 and 9, we will explain how information on clothing combinations is provided to the
図８に示すように、提供部４４は、電子商取引サービスにおいて利用者Ｕ１が入力した検索クエリ「Ｔシャツ」若しくは「カットソー」に対応する検索結果を示す画面ＳＣ１を提供する。例えば、提供部４４は、Ｔシャツ若しくはカットソーが含まれるコーディネートを示す画像を、画像が示すコーディネートが利用者Ｕ１に似合う度合いが高い順に示す画面ＳＣ１（言い換えると、プルダウンを示す領域ＡＲ１において、利用者Ｕ１に似合う順に表示することが指定された画面ＳＣ１）を提供する。また、提供部４４は、領域ＡＲ１のプルダウンに表示される情報（すなわち、検索結果の絞り込みの条件）として、「対象者があなた（利用者Ｕ１）に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。 As shown in FIG. 8, the providing unit 44 provides a screen SC1 showing search results corresponding to the search query "T-shirt" or "cut and sew" entered by the user U1 in the e-commerce service. For example, the providing unit 44 provides a screen SC1 showing images of outfits including T-shirts or cut and sews in order of how well the outfits shown in the images look on the user U1 (in other words, a screen SC1 in which the order of how well the items look on the user U1 is specified in the area AR1 showing the pull-down menu). The providing unit 44 also displays information such as "the order in which the subject evaluates that the items look good on you (user U1)" or "the order in which the subject evaluates that the items look good on themselves" in a manner that allows the user to specify information to be displayed in the pull-down menu of area AR1 (i.e., conditions for narrowing down the search results).
例えば、「対象者があなたに似合うと評価する順」が領域ＡＲ１において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順（言い換えると、対象者が利用者Ｕ１に似合うと評価する度合いが高い順）に表示する画面ＳＣ１を提供する。なお、このような場合、情報処理装置１０は、電子商取引サービスにおいて対象者を識別するための情報（言い換えると、対象者に関する情報と紐付けられた対象者ＩＤ）や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ１を提供する。
For example, when "in order of how the target person evaluates that it suits you" is specified in area AR1, the providing unit 44 provides a screen SC1 that displays images showing coordinations corresponding to information about the user U1 and information related to the coordination, among images projected within a predetermined range from information about the target person in the distributed representation space, in the order of how close the images are to the target person (in other words, in order of how highly the target person evaluates that it suits user U1). Note that in such a case, the
また、「対象者が自身に似合うと評価する順」が領域ＡＲ１において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順（言い換えると、対象者が利用者Ｕ１に似合うと評価する度合いが高い順）に表示する画面ＳＣ１を提供する。なお、このような場合、情報処理装置１０は、電子商取引サービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ１を提供する。
Furthermore, when "the order in which the subject evaluates that it suits him/her" is specified in area AR1, the providing unit 44 provides a screen SC1 that displays images projected within a predetermined range from information about the subject in the distributed representation space, the images showing coordination corresponding to information about the subject or information related to the coordination, in the order in which they are projected closer to the position in the information about the subject (in other words, in order of the degree to which the subject evaluates that it suits the user U1). Note that in such a case, the
次に、図９を用いて、コーディネートサービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図９は、利用者端末１００の画面の一例を示す図（２）である。
Next, a mode of providing information on clothing combinations in a coordinated service will be described with reference to FIG. 9. FIG. 9 is a diagram (2) showing an example of a screen of the
図９に示すように、提供部４４は、コーディネートサービスにおいて利用者Ｕ１が入力した検索クエリに対応する検索結果を示す画面ＳＣ２を提供する。例えば、提供部４４は、利用者Ｕ１が入力した検索クエリに対応するコーディネートを示す画像を、画像が示すコーディネートが利用者Ｕ１に似合う度合いが高い順に示す画面ＳＣ２（言い換えると、プルダウンを示す領域ＡＲ２において、利用者Ｕ１に似合う順に表示することが指定された画面ＳＣ２）を提供する。また、提供部４４は、領域ＡＲ２のプルダウンに表示される情報として、「対象者があなた（利用者Ｕ１）に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。 As shown in FIG. 9, the providing unit 44 provides a screen SC2 showing search results corresponding to a search query entered by the user U1 in the coordination service. For example, the providing unit 44 provides a screen SC2 showing images of coordinations corresponding to the search query entered by the user U1 in order of how well the coordinations shown in the images suit the user U1 (in other words, a screen SC2 in which the order of how well the coordinations suit the user U1 is specified in the area AR2 showing the pull-down menu). The providing unit 44 also displays information such as "the order in which the subject evaluates that the coordinations suit you (user U1)" or "the order in which the subject evaluates that the coordinations suit themselves" in a manner that allows the user to specify the information to be displayed in the pull-down menu of the area AR2.
例えば、「対象者があなたに似合うと評価する順」が領域ＡＲ２において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面ＳＣ２を提供する。なお、このような場合、情報処理装置１０は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ２を提供する。
For example, if "in order of how the target person evaluates that it suits you" is specified in area AR2, the providing unit 44 provides a screen SC2 that displays, among images projected within a predetermined range from information about the target person in the distributed representation space, images showing coordination corresponding to information about the user U1 and information related to the coordination, in the order in which they were projected closer to the position from the information about the target person. Note that in such a case, the
また、「対象者が自身に似合うと評価する順」が領域ＡＲ２において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面ＳＣ２を提供する。なお、このような場合、情報処理装置１０は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ２を提供する。
Furthermore, when "the order in which the subject evaluates that it suits the subject" is specified in area AR2, the providing unit 44 provides a screen SC2 that displays, among images projected within a predetermined range from information about the subject in the distributed representation space, images showing coordination corresponding to information about the subject or information related to the coordination, in the order in which they are projected closer to the position from the information about the subject. Note that in such a case, the
なお、図８及び９において、提供部４４は、ＣＮＮが生成した領域ベクトルを用いて、各画像が示すコーディネートのうち、各評価者が似合うと判断した領域（言い換えると、コーディネートのうちポイントとなる被服）を推定し、推定した領域をヒートマップで示す画像を提供してもよい。 In addition, in Figures 8 and 9, the providing unit 44 may use the area vectors generated by the CNN to estimate the areas of the outfits shown in each image that each evaluator judges to look good (in other words, the key clothing in the outfits), and provide an image showing the estimated areas in a heat map.
なお、上記の例においては、特定の検索クエリに基づいて似合うと評価する順で商品などの情報を表示する例を示したが、本発明の範囲はその場合に限られない。例えば、提供部４４は、商品カテゴリに関する検索クエリが存在しない場合であっても、任意の商品カテゴリを含む商品群に対して当該の利用者に対する似合う度合いの評価を行い、推薦結果として利用者に提供しても良い。 In the above example, information on products and the like is displayed in order of suitability based on a specific search query, but the scope of the present invention is not limited to this case. For example, even if there is no search query related to a product category, the providing unit 44 may evaluate the degree to which a group of products including an arbitrary product category suits the user, and provide this to the user as a recommendation result.
また、検索クエリ以外であっても、似合う度合いの評価結果に対して様々なフィルタや他の評価結果を組み合わせて利用者に表示することが可能である。例えば、推薦システムにおいて、利用者に対して推薦するに値するアイテムの候補およびそれらに対する推薦度合いの評価結果をあらかじめ特定しておくとする。そして、これらの推薦候補のアイテムに対して似合う度合いの評価を行い、推薦度合いおよび似合う度合いに応じて順序付けたアイテムを利用者に対して表示することができる。このようにして、似合う度合いを他の要素と複合的に組み合わせた結果を用いて利用者にアイテム（商品）やコーディネートの情報を提供することが可能である。 In addition, even if it is not a search query, it is possible to combine the suitability evaluation results with various filters and other evaluation results and display them to the user. For example, in a recommendation system, candidate items worthy of recommendation to the user and the evaluation results of their recommendation degree are specified in advance. The suitability of these recommended candidate items can then be evaluated, and items ranked according to the recommendation degree and suitability degree can be displayed to the user. In this way, it is possible to provide the user with information on items (products) and outfits using the results of a complex combination of suitability degree with other elements.
（判定部４５について）
判定部４５は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。例えば、図４の例において、判定部４５は、分散表現が、利用者Ｕ１の分散表現と類似する評価者を特定する。そして、判定部４５は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者Ｕ１に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者Ｕ１に似合う度合いが低いと判定する。
(Regarding the determination unit 45)
The determination unit 45 determines the degree to which each of the clothes included in the regions suits the user based on the multiple regions in the distributed representation and the information on the user. For example, in the example of Fig. 4, the determination unit 45 identifies an evaluator whose distributed representation is similar to the distributed representation of the user U1. The determination unit 45 then determines that the clothes indicated by the regions of the image P1 whose region vectors are more similar to the distributed representation of the identified evaluator are more suitable for the user U1, and determines that the clothes indicated by the regions whose region vectors are less similar to the distributed representation of the evaluator are less suitable for the user U1.
また、判定部４５は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定してもよい。例えば、図４の例において、判定部４５は、対象者の分散表現と類似する評価者を特定する。そして、判定部４５は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定する。 The determination unit 45 may also determine the degree to which the subject evaluates each of the clothes included in the region as looking good on the user based on multiple regions in the distributed representation and information about the subject. For example, in the example of FIG. 4, the determination unit 45 identifies an evaluator who is similar to the distributed representation of the subject. Then, the determination unit 45 determines that the subject evaluates the clothes as looking good on the user U1 to a higher degree for an area of the image P1 whose area vector is more similar to the distributed representation of the identified evaluator, and determines that the subject evaluates the clothes as looking good on the user U1 to a lower degree for an area whose area vector is less similar to the distributed representation of the evaluator.
（出力部４６について）
出力部４６は、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。例えば、図４の例において、出力部４６は、ＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
(Regarding the output unit 46)
The
また、出力部４６は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力してもよい。例えば、図４の例において、出力部４６は、各画像について、似合うと評価した評価者の分散表現と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように学習が行われたＣＮＮが生成する領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
The
また、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力してもよい。例えば、図４の例において、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど赤色の度合いを高くし、評価者情報の分散表現と類似しない領域ほど青色の度合いを高くしたヒートマップを出力する。
The
また、出力部４６は、判定部４５により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図４の例において、出力部４６は、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似し、画像Ｐ１のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像Ｐ１－１を出力する。また、出力部４６は、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のトップスを示す領域の領域ベクトルが類似し、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像Ｐ１－２を出力する。
The
また、出力部４６は、判定部４５により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図４の例において、出力部４６は、画像Ｐ１の各領域のうち、領域ベクトルが、対象者の分散表現と類似する評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像Ｐ１を出力する。
The
（取得部４７について）
取得部４７は、提供部４４により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。例えば、図２の例において、取得部４７は、電子商取引サービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得し、利用者情報データベース３２に格納する。また、取得部４７は、コーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）を取得する。また、取得部４７は、提供された情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。また、取得部４７は、提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。
(Regarding the Acquisition Unit 47)
The acquisition unit 47 acquires feedback from the user or other users having a predetermined relationship with the user with respect to the combination information provided by the provision unit 44. For example, in the example of FIG. 2, the acquisition unit 47 acquires information (feedback) indicating whether the user U1 has purchased clothes included in the
（更新部４８について）
更新部４８は、取得部４７により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者Ｕ１がコーディネート＃１に対して肯定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１がコーディネート＃３に対して否定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ３とを所定の距離遠ざけるように更新する。
(Regarding the update unit 48)
The
また、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報（例えば、属性情報や、アンケートに対する回答など）と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が否定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
In addition, if the target person has a positive opinion of user U1 wearing the outfit indicated by the provided information, the
また、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
In addition, when user U1 presents to a target person clothing included in the coordination indicated by the information provided to user U1, if the target person is positive, the
〔５．情報処理のフロー〕
図１０を用いて、実施形態に係る情報処理装置１０の情報処理の手順（１）について説明する。図１０は、実施形態に係る情報処理の手順の一例を示すフローチャート（１）である。
5. Information Processing Flow
The information processing procedure (1) of the
図１０に示すように、情報処理装置１０は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する（ステップＳ１０１）。評価を受け付けていない場合（ステップＳ１０１；Ｎｏ）、情報処理装置１０は、評価を受け付けるまで待機する。
As shown in FIG. 10, the
一方、評価を受け付けた場合（ステップＳ１０１；Ｙｅｓ）、情報処理装置１０は、評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成し（ステップＳ１０２）、処理を終了する。
On the other hand, if an evaluation has been received (step S101; Yes), the
次に、図１１を用いて、実施形態に係る情報処理装置１０の情報処理の手順（２）について説明する。図１１は、実施形態に係る情報処理の手順の一例を示すフローチャート（２）である。
Next, the information processing procedure (2) of the
図１１に示すように、情報処理装置１０は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する（ステップＳ２０１）。評価を受け付けていない場合（ステップＳ２０１；Ｎｏ）、情報処理装置１０は、評価を受け付けるまで待機する。
As shown in FIG. 11, the
一方、評価を受け付けた場合（ステップＳ２０１；Ｙｅｓ）、情報処理装置１０は、評価に基づいて、畳み込みニューラルネットワークを生成する（ステップＳ２０２）。続いて、情報処理装置１０は、畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力し（ステップＳ２０３）、処理を終了する。
On the other hand, if an evaluation has been received (step S201; Yes), the
次に、図１２を用いて、実施形態に係る情報処理装置１０の情報処理の手順（３）について説明する。図１２は、実施形態に係る情報処理の手順の一例を示すフローチャート（３）である。
Next, the information processing procedure (3) of the
図１２に示すように、情報処理装置１０は、被服の組み合わせの提供要求を受け付けたか否かを判定する（ステップＳ３０１）。提供要求を受け付けていない場合（ステップＳ３０１；Ｎｏ）、情報処理装置１０は、提供要求を受け付けるまで待機する。
As shown in FIG. 12, the
一方、提供要求を受け付けた場合（ステップＳ３０１；Ｙｅｓ）、情報処理装置１０は、評価者からの評価に基づいて生成される、複数の被服の組み合わせを着用した着用者の画像と、評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する（ステップ３２０２）。続いて、情報処理装置１０は、推定された組み合わせに関する情報を利用者に提供し（ステップＳ３０３）、処理を終了する。
On the other hand, if a request for provision is received (step S301; Yes), the
〔６．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
6. Modifications
The above-described embodiment is merely an example, and various modifications and applications are possible.
〔６－１．評価者に対する情報の提供について〕
上述の実施形態において、情報処理装置１０は、評価者による画像に対する評価に基づいて、コーディネートに関する情報を提供してもよい。例えば、情報処理装置１０は、評価者が似合うと評価した画像に対応するコーディネートに関する情報を、電子商取引サービスや、コーディネートサービスにおいて提供する。
[6-1. Provision of information to evaluators]
In the above-described embodiment, the
〔６－２．対象者について〕
上述の実施形態において、対象者が、利用者が会う相手や、プレゼントを贈る相手である例を示したが、対象者はこのような例に限定されない。例えば、対象者は、ショップの店員やコーディネーターである利用者が接客する相手であってもよい。このような場合、情報処理装置１０は、分散表現空間と、利用者が接客する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネート（言い換えると、対象者が気に入るコーディネート）を推定し、推定したコーディネートに関する情報を利用者に出力する。また、情報処理装置１０は、ＣＮＮと、利用者が接客する対象者に関する情報とに基づく態様で、コーディネートを示す画像（例えば、コーディネートのうちいずれの被服を対象者が気に入るかを示す画像）を出力する。
[6-2. About the target people]
In the above embodiment, the target person is a person whom the user meets or a person to whom a gift is given, but the target person is not limited to such examples. For example, the target person may be a person served by the user who is a shop clerk or a coordinator. In such a case, the
なお、情報処理装置１０は、ショップの店員やコーディネーターである利用者と、顧客である対象者とのマッチングを行ってもよい。例えば、情報処理装置１０は、各利用者に関する情報と、各対象者に関する情報とに基づき、各利用者及び各対象者を分散表現空間に投影した場合の位置を推定し、投影した位置から所定の範囲内に所在する利用者及び対象者に関する情報を、利用者及び対象者のそれぞれに提供する。
The
〔６－３．被服のデザインに関する情報の提供について〕
上述の実施形態において、情報処理装置１０は、製造元がデザインした被服のデータに対する評価者の評価を受け付け、当該評価に基づく情報を製造元に提供してもよい。例えば、情報処理装置１０は、製造元がデザインした被服を着用した着用者を示すデータ（例えば、ＣＡＤデータ）と、当該データに対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。具体的な例を挙げると、情報処理装置１０は、データが示す被服のある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトル（データが示す被服を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル）を生成するよう学習したＣＮＮを生成する。そして、情報処理装置１０は、このような学習済みのＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域（言い換えると、襟や裾などといった被服の部位）を推定し、推定した領域を示すヒートマップを出力する。
[6-3. Providing information on clothing designs]
In the above embodiment, the
より具体的な例を挙げると、情報処理装置１０は、ＣＮＮと、所定の利用者（例えば、被服の購買層）に関する情報とに基づき、当該データの各領域が示す被服の部位のそれぞれについて、利用者が似合うと評価する度合いを判定し、判定した度合いをヒートマップで示すデータを製造元に出力する。
To give a more specific example, the
これにより、情報処理装置１０は、デザイン中の被服のどの部位が、利用者に似合うと評価されるかを把握し、どの部位が似合わないと評価されるかを把握することを可能とするため、被服のデザインにおける利便性を向上させることができる。
This allows the
〔６－４．処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
6-4. Processing Mode
Among the processes described in the above embodiments, all or part of the processes described as being performed automatically can be performed manually, and conversely, all or part of the processes described as being performed manually can be performed automatically by a known method. In addition, the information including the processing procedures, specific names, various data and parameters shown in the above text and drawings can be changed arbitrarily unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 In addition, each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. In other words, the specific form of distribution and integration of each device is not limited to that shown in the figure, and all or part of them can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Furthermore, the above-mentioned embodiments can be combined as appropriate to the extent that the processing content is not contradictory.
〔６－５．評価の対象について〕
上述の実施形態において、情報処理装置１０が、被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成する例を示したが、評価の対象は被服の組み合わせに限定されず、任意のものであってもよい。例えば、情報処理装置１０は、複数の家具の組み合わせを示す画像に対する評価であって、当該組み合わせが似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、家具の組み合わせを示す画像や、画像が示す家具に関する情報（例えば、家具タイプ、ブランド、ショップ名、製造地、利用シーン、色、カテゴリ（カジュアル等）、売り文句、素材、サイズ、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が似合うと評価する家具の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが家具の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、家具の組み合わせを示す画像を出力する。
[6-5. About the subject of evaluation]
In the above embodiment, the
また、例えば、情報処理装置１０は、複数の料理の組み合わせ（例えば、献立）を示す画像に対する評価であって、当該組み合わせが適切か否か（例えば、見た目や、味の組み合わせが適切か否か）を示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、料理の組み合わせを示す画像や、画像が示す料理に関する情報（例えば、料理名や、食材、料理のジャンル、旬の季節、味の特徴、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する料理の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが料理の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、料理の組み合わせを示す画像を出力する。
For example, the
また、例えば、情報処理装置１０は、複数の花の組み合わせ（例えば、花束）を示す画像に対する評価であって、当該組み合わせが適切か否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、花の組み合わせを示す画像や、画像が示す花に関する情報（例えば、利用シーン、個々の花の名前、色、季節、目的、カテゴリ（カジュアル等）、売り文句、産地、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する花の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが花の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、花の組み合わせを示す画像を出力する。
For example, the
〔６－６．画像について〕
上述の実施形態において、情報処理装置１０が、複数の被服の組み合わせを着用した着用者の画像に対する処理について記載したが、実施形態はこれに限定されるものではなく、１つの被服を着用した着用者の画像に対して同様の処理を行ってもよい。
[6-6. About Images]
In the above embodiment, the
〔６－７．利用者の自称する身体的な特徴を加味した被服の推定について〕
上述の実施形態において、情報処理装置１０は、利用者が自称する身体的な特徴を示す身体情報（利用者自称身体情報）に基づいて、利用者に似合う被服を推定してもよい。また、情報処理装置１０は、利用者の身体的な特徴を示す身体情報（利用者身体情報）と、利用者自称身体情報とに基づいて、利用者に似合う被服を推定してもよい。例えば、情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、被服が着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、画像と、着用者の身体的な特徴を示す着用者身体情報とを投影した分散表現空間に基づいて、所定の対象者に似合う被服を推定する推定部４３と、推定部４３により推定された被服に関する情報を利用者に提供する提供部４４とを有し、推定部４３は、分散表現空間と、所定の対象者の身体的な特徴を示す対象者身体情報と、所定の対象者が自称する身体的な特徴を示す対象者自称身体情報とに基づいて、所定の対象者に似合う被服を推定してもよい。また、例えば、情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、被服が着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、画像と、着用者の身体的な特徴を示す着用者身体情報と、評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象者に似合う被服を推定する推定部４３と、推定部４３により推定された被服に関する情報を利用者に提供する提供部４４とを有し、推定部４３は、分散表現空間と、所定の対象者の身体的な特徴を示す対象者身体情報と、所定の対象者が自称する身体的な特徴を示す対象者自称身体情報とに基づいて、所定の対象者に似合う前記被服を推定してもよい。また、例えば、情報処理装置１０は、被服の画像に対する評価であって、被服が自身に似合うか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、画像と、評価者の身体的な特徴を示す評価者身体情報とを投影した分散表現空間に基づいて、所定の対象者に似合う被服を推定する推定部４３と、推定部４３により推定された被服に関する情報を利用者に提供する提供部４４とを有し、推定部４３は、分散表現空間と、所定の対象者の身体的な特徴を示す対象者身体情報と、所定の対象者が自称する身体的な特徴を示す対象者自称身体情報とに基づいて、所定の対象者に似合う前記被服を推定してもよい。また、例えば、情報処理装置１０は、被服の画像に対する評価であって、被服が自身に似合うか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、画像と、評価者の身体的な特徴を示す評価者身体情報と、評価者を示す評価者情報（評価者身体情報を除く）とを投影した分散表現空間に基づいて、所定の対象者に似合う被服を推定する推定部４３と、推定部４３により推定された被服に関する情報を利用者に提供する提供部４４とを有し、推定部４３は、分散表現空間と、所定の対象者の身体的な特徴を示す対象者身体情報と、所定の対象者が自称する身体的な特徴を示す対象者自称身体情報とに基づいて、所定の対象者に似合う被服を推定してもよい。また、推定部４３は、画像と、対象者身体情報と、対象者自称身体情報との位置関係に基づいて、所定の対象者に似合う被服を推定してもよい。また、推定部４３は、画像と、対象者情報と、対象者自称身体情報とを結んだ空間の面積に基づいて、所定の対象者に似合う被服を推定してもよい。また、推定部４３は、画像と、対象者身体情報と、対象者自称身体情報と、評価者情報との位置関係に基づいて、所定の対象者に似合う被服を推定してもよい。また、推定部４３は、画像と、対象者情報と、対象者自称身体情報と、評価者情報とを結んだ空間の面積に基づいて、所定の対象者に似合う被服を推定してもよい。これにより、情報処理装置１０は、利用者が自己認識している体型を加味して、利用者に似合う被服に関する情報を、電子商取引サービスや、コーディネートサービスにおいて提供することができる。例えば、利用者の実際の体型が「やせ型」であっても、利用者の自己認識している体型が「やせ型」ではなく「やや太り目」の場合もあり得る。このような場合に、利用者の自己認識している体型に関係なく利用者の体型に似合う被服を提案すればよいとは限らない。つまり、利用者の実際の体型が「やせ型」であっても、利用者の自己認識している体型が「やや太り目」である場合には、「やせ型」の体型に似合う被服を提案すればよいとは限らない。利用者の自己認識している体型を加味することで、より利用者に合った被服を提案することができる。この際、情報処理装置１０は、利用者自称身体情報と利用者身体情報との重みを変更して（例えば、どちらかの重みを高くして）、利用者に似合う被服を推定してもよい。なお、利用者自称身体情報と利用者身体情報との重み（又は重みの比率等）はどのように設定されてもよく、利用者からのフィードバック等に応じて適宜変更されてもよい。
[6-7. Estimation of clothing based on the user's self-declared physical characteristics]
In the above embodiment, the
（第２の実施形態）
続いて、第２の実施形態について説明する。なお、第１の実施形態と同様の説明は適宜省略する。また、以下実施形態において、身体情報は、体型情報に限らず、身体的な特徴を示す情報であれば、どのような情報を含んでもよい。例えば、身体情報は、顔や頭や目や耳や鼻や口の形、肌色（例えば、イエベ・ブルべなど）、髪色（例えば、黒髪、茶髪など）、髪型、顔型、骨格の系統、手の長さ、首の太さなどに関する情報を含んでもよい。また、例えば、身体情報は、年齢、性別、身長、体重、人種、国籍などの属性に関する情報を含んでもよい。また、例えば、身体情報は、眼鏡の有無、眼鏡の形、メイクの有無、メイクの傾向などに関する付加情報を含んでもよい。また、評価者の評価は、アイテム単体（例えば、被服単体）に対する評価でもよいし、アイテムの組み合わせ（例えば、コーディネート）に対する評価であってもよい。また、評価者の評価は、アイテム単体又は組み合わせの着こなしに対する評価であってもよい。例えば、着こなしのバリエーションをコーディネートの学習の際のデータセットに含めて学習させてもよい。例えば、一つのコーディネートの中に着こなしのバリエーションのデータがある場合はそのデータを学習させてもよい。これにより、どのコーディネートのどの着こなしがクエリに近いかなどを提案することができる。
Second Embodiment
Next, a second embodiment will be described. The same description as in the first embodiment will be omitted as appropriate. In the following embodiments, the physical information is not limited to body type information, and may include any information indicating physical characteristics. For example, the physical information may include information on the shape of the face, head, eyes, ears, nose, and mouth, skin color (e.g., warm skin, cool skin, etc.), hair color (e.g., black hair, brown hair, etc.), hairstyle, face type, skeletal system, hand length, neck thickness, etc. For example, the physical information may include information on attributes such as age, sex, height, weight, race, and nationality. For example, the physical information may include additional information on the presence or absence of glasses, the shape of glasses, the presence or absence of makeup, and makeup tendencies. The evaluator's evaluation may be an evaluation of an item alone (e.g., clothing alone) or an evaluation of a combination of items (e.g., coordination). The evaluator's evaluation may be an evaluation of the wearing of an item alone or a combination. For example, a variation of the wearing may be included in a data set when learning coordination and learning it. For example, if there is data on variations in the way a single outfit is worn, the data can be trained. This makes it possible to suggest which outfits in which outfits are closest to the query.
〔７．情報処理システムの構成〕
まず、実施形態に係る情報処理システム１Ａについて説明する。図１３は、実施形態に係る情報処理システム１Ａの構成例を示す図である。図１３に示すように、情報処理システム１Ａは、情報処理装置１０Ａと、利用者端末１００と、評価者端末２００とが含まれる。情報処理装置１０Ａと、利用者端末１００と、評価者端末２００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。なお、図１３に示した情報処理システム１Ａには、複数台の情報処理装置１０Ａ、複数台の利用者端末１００及び複数台の評価者端末２００が含まれてもよい。
7. Configuration of Information Processing System
First, an
情報処理装置１０Ａは、複数の画像（画像の少なくとも一部に被服を含む画像）に対する評価であって、被服が似合うか否かを示す評価を複数の評価者から受け付け、受け付けられた評価に基づいて、画像と、対象者（被服の着用者、若しくは、評価者自身）の身体的な特徴を示す身体情報とを投影した分散表現空間を生成し、生成した分散表現空間を用いた情報処理を実現する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、例えば、評価者が画像に対してアノテーション（例えば、評価を示すアノテーション）を付与することで画像に関する評価が行われる。例えば、評価者が「似合う」を示すアノテーションを付与すると、画像の被服が対象者に似合うと評価され、「似合わない」を示すアノテーションを付与すると、画像の被服が対象者に似合わないと評価される。このため、評価者は、アノテーションの付与を行ったものと解してもよい。また、画像には、例えば、投稿者のタグ（例えば、投稿者が投稿時に入力する情報）が含まれており、投稿者のタグから着用者の身体情報が取得可能である。また、着用者や評価者の身体情報として、身体計測デバイスを用いたより詳細な身体計測値を取得してもよい。例えば、身体計測用被服や身体計測用眼鏡を着用した着用者の撮像画像に基づいて計測された身体計測値を取得してもよい。
The
また、例えば、情報処理装置１０Ａは、被服を提供する電子商取引サービスを提供する。また、情報処理装置１０Ａは、被服を示すコンテンツ（コーディネートを示すコンテンツでもよい）の投稿を利用者から受け付け、他の利用者に提供するサービス（コーディネートサービスでもよい）を提供する。
For example, the
なお、情報処理装置１０Ａは、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。また、情報処理装置１０Ａは、利用者端末１００にインストールされた各種サービスに関するアプリケーションに表示する情報を、利用者端末１００に配信する装置であってもよい。また、情報処理装置１０Ａは、アプリケーションのデータそのものを配信する装置であってもよい。
In addition, the
また、情報処理装置１０Ａは、利用者端末１００に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ等のスクリプト言語やＣＳＳ等のスタイルシート言語により記述される。なお、情報処理装置１０Ａから配信されるアプリケーションそのものを制御情報とみなしてもよい。
In addition, the
利用者端末１００は、利用者によって利用される情報処理装置である。また、利用者端末１００は、情報処理装置１０Ａや、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図１４に示す例では、利用者端末１００がスマートフォンである場合を示す。
The
評価者端末２００は、被服（複数の被服の組み合わせでもよい）を着用した着用者の画像に対する評価（被服が着用者に似合っているか否かを示す評価）を行う評価者によって利用される情報処理装置である。また、評価者端末２００は、被服（複数の被服の組み合わせでもよい）が評価者自身に似合うか否かを示す評価（例えば、被服を着用した評価者自身の姿をイメージした際に評価者自身に似合うか否かを示す評価）を行う評価者によって利用される情報処理装置である。また、評価者端末２００は、情報処理装置１０Ａや、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図１４に示す例では、評価者端末２００がスマートフォンである場合を示す。評価者は、画像に対してアノテーションを付与することで評価を行う。評価者が評価を行うと、評価者端末２００は、評価情報を送信する。そして、例えば、後述の評価者情報データベース３１Ａに格納される。
The evaluator terminal 200 is an information processing device used by an evaluator who evaluates an image of a wearer wearing clothes (or a combination of multiple clothes) (evaluation indicating whether the clothes look good on the wearer). The evaluator terminal 200 is also an information processing device used by an evaluator who evaluates whether the clothes (or a combination of multiple clothes) look good on the evaluator himself (e.g., evaluation indicating whether the clothes look good on the evaluator when imagining the evaluator himself wearing the clothes). The evaluator terminal 200 displays information distributed by the
〔８．情報処理の一例〕
次に、図１４を用いて、本実施形態に係る情報処理装置等により実現される情報処理の一例について説明する。
8. An example of information processing
Next, an example of information processing implemented by the information processing device according to the present embodiment will be described with reference to FIG.
以下、図１４を用いて、本実施形態に係る情報処理装置等により実現される第３の情報処理について説明する。図１４は、実施形態に係る情報処理の一例を示す図である。 Below, the third information processing implemented by the information processing device etc. according to this embodiment will be described with reference to FIG. 14. FIG. 14 is a diagram showing an example of the information processing according to this embodiment.
まず、情報処理装置１０Ａは、被服（コーディネートでもよい）の画像に対する評価者の評価を、評価者端末２００から受け付ける（ステップＳｃ１）。例えば、情報処理装置１０Ａは、画像の被服が、その被服の着用者に似合っているか否かを示す評価を受け付ける。具体的な例を挙げると、情報処理装置１０Ａは、「似合っている」及び「似合っていない」の組を評価者に提示し、被服が着用者に似合っているか似合っていないかを示す評価を受け付ける。なお、評価は、「丈をまくったほうがよい」、「背が高い人であれば丈をまくったほうがよい」、「背が低い人であればまくらないほうがよい」などの着こなしに関する評価であってもよい。また、評価は、他のアイテムとのコーディネートの着こなしに関する評価であってもよい。
First, the
また、情報処理装置１０Ａは、被服の着用者に似合っているか否かを示す評価に限られず、評価者自身に似合うか否かを示す評価を受け付ける。例えば、情報処理装置１０Ａは、画像に被服の着用者が含まれるか否かを判定し、着用者が含まれない場合は、被服（コーディネートでもよい）が、評価者自身に似合うか否かを示す評価を受け付ける。この場合は、情報処理装置１０Ａは、「似合う」及び「似合わない」の組を評価者に提示し、被服が評価者自身に似合うか否かを示す評価を受け付ける。例えば、評価を示すアノテーションを画像に付与することで評価を受け付ける。なお、評価は、「自身であれば丈をまくったほうがよい」、「自身であればまくらないほうがよい」などの着こなしに関する評価であってもよい。また、評価は、他のアイテムとのコーディネートの着こなしに関する評価であってもよい。
In addition, the
このように、情報処理装置１０Ａは、評価者自身に似合うか否かを示す評価を受け付けてもよい。以下、説明の便宜上、被服の着用者に似合っているか否かを示す評価を受け付ける場合を例に挙げて説明する。
In this way, the
情報処理装置１０Ａは、画像Ｐ１が示す被服（コーディネートでもよい）＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価、並びに、画像Ｐ２が示す被服＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価（すなわち、画像Ｐ１に対する「似合う」という評価と、画像Ｐ２に対する「似合わない」という評価）を、評価者Ａ１から受け付ける。なお、どちらの例においても似合っている場合は、画像Ｐ１が示す被服＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価と、画像Ｐ２が示す被服＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価とを受け付け、反対にどちらの例においても似合わなかった場合は、画像Ｐ１が示す被服＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価と、画像Ｐ２が示す被服＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価とを受け付ける。また、情報処理装置１０Ａは、画像Ｐ１が示す被服＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価、並びに、画像Ｐ２が示す被服＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価（すなわち、画像Ｐ１に対する「似合わない」という評価と、画像Ｐ２に対する「似合う」という評価）を、評価者Ａ２から受け付ける。同様に、情報処理装置１０Ａは、他の評価者からも、画像Ｐ１及びＰ２に関する評価を受け付ける。また、情報処理装置１０Ａは、画像Ｐ１及びＰ２に限られず、他の画像（画像Ｐ３やＰ４など）に関する評価を受け付けてもよい。
The
続いて、情報処理装置１０Ａは、画像に対する評価者の評価に基づいて、画像と、対象者（着用者に対する評価を行った場合は着用者が対象者であり、評価者自身に対する評価を行った場合は評価者が対象者である）の身体的な特徴を示す身体情報とを投影した分散表現空間を生成する（ステップＳｃ２）。分散表現空間には、例えば、着用者に対する評価を行った画像と着用者の身体情報との組と、評価者自身に対する評価を行った画像と評価者の身体情報との組とが含まれる。例えば、情報処理装置１０Ａは、ＶＳＥの技術を用いて、分散表現空間を生成する。具体的な例を挙げると、情報処理装置１０Ａは、評価者Ａ１が「似合わない」と評価した着用者＃２の身体情報Ｅ２よりも、評価者Ａ１が「似合う」と評価した着用者＃１の身体情報Ｅ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ６を生成する。また、情報処理装置１０Ａは、評価者Ａ２が「似合わない」と評価した着用者＃１の身体情報Ｅ１よりも、評価者Ａ２が「似合う」と評価した着用者＃２の身体情報Ｅ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ６を生成する。なお、情報処理装置１０Ａは、画像に関する各種の情報や、着用者の身体に関する各種の情報を示す身体情報を投影した分散表現空間を生成してもよい。
Next, the
続いて、情報処理装置１０Ａは、電子商取引サービスや、コーディネートサービスを介して、利用者端末１００から所定の情報の提供要求を受け付ける（ステップＳｃ３）。具体的には、情報処理装置１０Ａは、所定の被服（コーディネートでもよい）に似合う身体的な特徴に関する情報の提供要求を受け付ける。例えば、情報処理装置１０Ａは、電子商取引サービスや、コーディネートサービスなどのサービス上で利用者Ｕ１が被服を指定すると、利用者端末１００から被服の指定情報を取得し、その被服に似合う身体的な特徴に関する情報の提供要求を受け付ける。
Next, the
そして、情報処理装置１０Ａは、提供要求に応じて、生成した分散表現空間と、利用者Ｕ１が指定した被服に関する情報とに基づき、指定された被服に似合う身体的な特徴を推定する（ステップＳｃ４）。なお、情報処理装置１０Ａは、分散表現空間に投影された情報と、利用者Ｕ１が指定した被服に関する情報とに基づいて、利用者Ｕ１が指定した被服に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、指定された被服に似合う身体的な特徴を推定してもよい。
Then, in response to the provision request, the
ここで、図１４の例において、情報処理装置１０Ａは、推定した位置が、画像Ｐ１が示す被服＃１、画像Ｐ３が示す被服＃３、並びに、画像Ｐ４が示す被服＃４の位置に近いと特定したものとする。このような場合、情報処理装置１０Ａは、被服＃１、＃３及び＃４に関する情報に基づいて、指定された被服に似合う身体的な特徴に関する情報を利用者端末１００に提供する（ステップＳｃ５）。
In the example of FIG. 14, the
（利用者に提供する情報について）
ステップＳｃ５において、情報処理装置１０Ａは、利用者Ｕ１に提供する情報として、例えば、体型に関する情報に限らず、肌色、髪色、髪型、顔型、メイクなどの情報も含めて利用者Ｕ１に提供してもよい。また、情報処理装置１０Ａは、分散表現空間上で最も近いもの（例えば、各項目から一つずつ）を特定して情報を提供してもよいし、分散表現空間上で所定の範囲に含まれるもの全てを特定して情報を提供してもよい（なお、分散表現空間上で近いものから順に優劣をつけて情報を提供してもよいし、分散空間上で所定の範囲に含まれるものは全て同等として情報を提供してもよい）。また、情報処理装置１０Ａは、推定した身体的な特徴に関する情報に応じた情報を提供することで更なるサービスを行ってもよい。
(Information provided to users)
In step Sc5, the
ここで、パーソナルカラー、骨格タイプ、顔タイプなどの身体的特徴を示す指標を、以下適宜、「身体的特徴軸」とする。また、身体的特徴軸に対応する具体的な値を、以下適宜、「身体的特徴値」とする。例えば、利用者Ｕ１の「骨格タイプ」の身体的特徴軸に対応する身体的特徴値は「ストレート」であるとする。また、スナップ画像あるいはコーディネートを構成する複数のアイテムのアイテム単体画像（単一のアイテム単体画像でもよい）を、以下適宜、「コーディネート画像」とする。情報処理装置１０Ａは、利用者Ｕ１が電子商取引サービスやコーディネートサービスなどのサービス上でコーディネート画像を指定した際にコーディネート画像に似合う身体的特徴を出力するサービスを提供してもよい。この際、身体的特徴は、身体的特徴軸と身体的特徴値との組で表現されてもよい。また、身体的特徴軸は、想定される身体的特徴値の集合と表現されてもよい。
Here, indices indicating physical features such as personal color, skeletal type, and face type are hereinafter referred to as "physical feature axes" as appropriate. Specific values corresponding to the physical feature axes are hereinafter referred to as "physical feature values" as appropriate. For example, the physical feature value corresponding to the physical feature axis of user U1's "skeletal type" is "straight." A snap image or an individual item image of multiple items constituting an outfit (or an individual item image) is hereinafter referred to as a "coordinate image" as appropriate.
イメージコンサルティング理論におけるタイプ診断に基づき、パーソナルカラーを「スプリング、サマー、オータム、ウィンター」と分類し、骨格タイプを「ストレート、ウェーブ、ナチュラル」と分類し、顔タイプを「クール、クールカジュアル、フレッシュ、ソフトエレガント、エレガント、キュート、アクティブキュート、フェミニン」と分類することで身体的特徴値を設定する。なお、上述のイメージコンサルティング理論などによる「身体的特徴軸」や「身体的特徴値」の設計はあくまで一例であり、必要に応じて適宜追加又は変更されてもよい。また、髪色やメイクの系統についても、所定の情報に基づき分類することで身体的特徴値を設定する。なお、身体的特徴値は、分類に基づく場合に限られず、連続値であってもよい。また、身体的特徴軸に対応する身体的特徴値が分布として出力されてもよい。例えば、「骨格タイプ」の身体的特徴軸に対して「ストレート：７０％、ウェーブ：２０％、ナチュラル：１０％」などの情報が出力されてもよい。例えば、情報処理装置１０Ａは、分散表現空間上での画像と、身体的な特徴（各身体的特徴値）との近さに応じてこのような情報を提供してもよい。これにより、利用者はサービスの利用を通じて自身の身体的特徴に合致する商品を探すという目的に加え、どのようなファッションアイテムの組み合わせがどのような身体的特徴を有する利用者に合致するのかを学習することができる。それゆえ、利用者がより自身の身体的特徴に合致したファッションについて理解を深めることができるため、ファッションに対する苦手意識が払拭され、購買意欲の促進に貢献できると考えられ得る。また、所定のサービス上でコーディネートを閲覧している場合や、メール配信などで商品やコーディネートの推奨を行う場合などにおいても、閲覧対象や推奨対象のアイテム又はコーディネートに似合う身体的特徴などの情報が出力されてもよい。
Based on the type diagnosis in the image consulting theory, the personal color is classified as "spring, summer, autumn, winter", the bone structure type is classified as "straight, wavy, natural", and the face type is classified as "cool, cool casual, fresh, soft elegant, elegant, cute, active cute, feminine" to set the physical feature value. The design of the "physical feature axis" and "physical feature value" according to the image consulting theory and the like described above is merely an example, and may be added or changed as necessary. The physical feature value is also set by classifying the hair color and makeup style based on predetermined information. The physical feature value is not limited to being based on a classification, and may be a continuous value. The physical feature value corresponding to the physical feature axis may be output as a distribution. For example, information such as "straight: 70%, wavy: 20%, natural: 10%" may be output for the physical feature axis of "bone structure type". For example, the
（利用者が今までにないコーディネートを指定した場合の処理について）
ステップＳｃ４において、情報処理装置１０Ａは、例えば、利用者Ｕ１が今までにない（学習データにはない）コーディネートを指定した場合、そのコーディネートに似合う身体的特徴を推定してもよい。例えば、情報処理装置１０Ａは、学習データにないコーディネートに対しては、コーディネート画像を身体的特徴値が投影されたＶＳＥ空間に投影するための写像（モデル）を学習し、当該写像を用いて未知のコーディネートをＶＳＥ空間に投影し、当該コーディネート画像に対応する表現の近傍に存在する身体的特徴値を出力してもよい。この際、近傍探索を各身体的特徴軸について独立に行ってもよい。また、ＶＳＥ空間は身体的特徴軸ごとに別途構成されてもよい。その場合、情報処理装置１０Ａは、個別にコーディネート画像を投影するための写像を学習してもよい。以下、当該写像を学習するための方法を説明する。
(How to handle a situation where a user specifies a coordination that has never been seen before)
In step Sc4, for example, when the user U1 specifies a coordinated image that has never been seen before (not in the learning data), the
アノテーターが「似合う」と評価したコーディネート画像と身体的特徴値（タグ）との組がデータセットとしてあるものとする。ここで、身体的特徴値は、コーディネート画像に撮像された被写体のものであってもよい。また、身体計測デバイスを用いたより詳細な身体計測値でもよい。情報処理装置１０Ａは、身体的特徴値と身体計測値との双方を用いてコーディネート画像の投稿者本人の身体に関する埋め込みベクトルを構成してもよい。また、アノテーターはコーディネート画像の投稿者本人あるいは本人以外の第三者でもよい。
It is assumed that a dataset contains pairs of coordination images that an annotator has evaluated as "suitable" and physical feature values (tags). Here, the physical feature values may be those of the subject captured in the coordination image. They may also be more detailed body measurements taken using a body measurement device. The
また、情報処理装置１０Ａは、コーディネート画像がスナップ画像からなる場合は、スナップ画像内のファッションアイテムに対応する領域をＶＳＥ空間に埋め込む手法と同様の手法で学習してもよい。具体的には、情報処理装置１０Ａは、スナップ画像中の各アイテムに対応する画像領域を切り出し、各画像領域の画像特徴量を結合したベクトルをＶＳＥ空間に投影してもよい。
In addition, when the coordinated image is a snap image, the
また、情報処理装置１０Ａは、コーディネート画像が複数のアイテム単体画像からなる場合は、セットトランスフォーマー（Set Transformer）などを用いて各アイテム単体画像の埋め込みベクトルから単一の埋め込みベクトルを構成することによりＶＳＥ空間への埋め込みを行ってもよい。また、情報処理装置１０Ａは、各アイテム単体画像の埋め込みを結合したベクトルをＶＳＥ空間に投影してもよい。また、情報処理装置１０Ａは、複数のアイテム単体画像の特徴ベクトルの平均をとり単一の埋め込みベクトルを構成してもよい。
In addition, when a coordinated image is made up of multiple individual item images, the
（提示する身体的特徴が利用者の身体的特徴と一致しない場合の処理について）
ステップＳｃ５において、利用者Ｕ１に対して提示する身体的な特徴が、利用者Ｕ１の身体的な特徴と一致しない場合、情報処理装置１０Ａは、利用者Ｕ１が指定したアイテムの変更を提案してもよい。この際、情報処理装置１０Ａは、どのアイテムに変更したらよいかも含めて提案してもよい。情報処理装置１０Ａは、提示された情報を利用者Ｕ１が真である（正しい）と判断するか偽である（誤っている）と判断するかに応じて異なる処理を行ってもよい。なお、情報処理装置１０Ａは、真であるか偽であるかの判定を自動的に行ってもよい。情報処理装置１０Ａは、提示された情報を利用者Ｕ１が真であると判断した場合、例えば、現実的な範囲内で利用者Ｕ１の身体変容を促してもよい。例えば、情報処理装置１０Ａは、「今より痩せればシステムの評価値が改善する（指定されたアイテムに似合う身体的特徴になれる）」場合は、利用者Ｕ１に対して「運動しましょう」とフィードバックしてもよい。そして、このような場合、情報処理装置１０は、提示する身体的特徴（指定されたアイテムに似合う身体的特徴）を、情報処理装置１０が提供する所定のボディマネジメントサービス（利用者が写った撮像画像から利用者の身体的特徴を示す情報を定期的に取得し、利用者の体型管理などを支援するサービス）において、利用者が目標とする身体的特徴を示す目標身体情報として設定可能な提供態様で提示（目標として設定するための設定ボタンとともに提供）してもよい。また、情報処理装置１０Ａは、アイテムの変更の提案において、利用者Ｕ１が現状入力しているコーディネート画像のうち、例えば「トップス」のみをランダムに変更し、現在よりも評価値が高くなる（利用者の身体的特徴に似合うようになる）アイテムの組み合わせを提案してもよい。この際、ランダムに変更する試行回数はシステムの設計者が設定してもよいし、現在よりも評価値が高くなるアイテムが見つかるまで繰り返してもよい。また、情報処理装置１０Ａは、「トップス」以外でも同様の処理を実施してもよい。なお、情報処理装置１０Ａは、利用者が変更したくないと考えているであろうアイテム（例えば、最初に指定しているアイテム、何度も指定しているアイテムなど）を推定し、それ以外のアイテムでのみ同様の処理を実施するようにしてもよい。また、情報処理装置１０Ａは、ランダムに変更せず、利用者Ｕ１の身体情報を用いてＶＳＥ空間上の近傍探索を行い、アイテムの変更先を探索してもよい。例えば、情報処理装置１は、ＶＳＥ空間上で、利用者Ｕ１の身体情報の近くに位置する画像に対応するアイテムに基づいて、アイテムの変更先を決定してもよい。また、情報処理装置１０Ａは、提示された情報を利用者Ｕ１が偽であると判断した場合、例えば、利用者Ｕ１からのフィードバックを収集し、合理性がある場合はシステムを更新してもよい。例えば、情報処理装置１０Ａは、システムの出力の確信度が所定の閾値より低い場合は、利用者Ｕ１からのフィードバックを受理してＶＳＥ空間を更新してもよい。この際、情報処理装置１０Ａは、能動学習などの手法を用いて利用者Ｕ１からのフィードバックを対話的に取得してもよい。なお、確信度の算出方法はどのようなものであってもよい。また、情報処理装置１０Ａは、利用者Ｕ１の身体情報に類似する学習データの数が一定の量に満たない場合は確信度を低く算出してもよい。
(Processing when the presented physical characteristics do not match the user's physical characteristics)
In step Sc5, if the physical characteristics presented to the user U1 do not match the physical characteristics of the user U1, the
〔９．情報処理装置の構成〕
次に、図１５を用いて、情報処理装置１０Ａの構成について説明する。図１５は、実施形態に係る情報処理装置１０Ａの構成例を示す図である。図１５に示すように、情報処理装置１０Ａは、通信部２０と、記憶部３０Ａと、制御部４０Ａとを有する。なお、通信部２０は、第１の実施形態と同様のため説明を省略する。
9. Configuration of Information Processing Device
Next, the configuration of the
（記憶部３０Ａについて）
記憶部３０Ａは、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１５に示すように、記憶部３０Ａは、評価者情報データベース３１Ａと、利用者情報データベース３２Ａとを有する。
(Regarding the storage unit 30A)
The storage unit 30A is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in Fig. 15, the storage unit 30A has an
（評価者情報データベース３１Ａについて）
評価者情報データベース３１Ａは、評価者に関する各種の情報を記憶する。ここで、図１６を用いて、評価者情報データベース３１Ａが記憶する情報の一例を説明する。図１６は、実施形態に係る評価者情報データベース３１Ａの一例を示す図である。図１６の例において、評価者情報データベース３１Ａは、「評価者ＩＤ」、「評価者情報」、「アンケート情報」、「評価情報」といった項目を有する。
(Regarding the
The
「評価者ＩＤ」、「アンケート情報」及び「評価情報」は、第１の実施形態と同様のため説明を省略する。「評価者情報」は、評価者に関する情報を示し、例えば、評価者の属性情報や身体的な情報などといった情報が格納される。 The "Evaluator ID", "Survey information", and "Evaluation information" are the same as in the first embodiment, so their explanation will be omitted. "Evaluator information" indicates information about the evaluator, and stores information such as the evaluator's attribute information and physical information.
すなわち、図１６では、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者の評価者情報が「評価者情報＃１」、アンケート情報が「アンケート情報＃１」、対象ＩＤ「ＤＩＤ＃１」により識別される評価の対象の画像情報が「画像情報＃１」、被服情報が「被服情報＃１」、着用者情報が「着用者情報＃１」、評価が「評価＃１」である例を示す。
That is, FIG. 16 shows an example in which the evaluator information of the evaluator identified by the evaluator ID "
（利用者情報データベース３２Ａについて）
利用者情報データベース３２Ａは、利用者に関する各種の情報を記憶する。ここで、図１７を用いて、利用者情報データベース３２Ａが記憶する情報の一例を説明する。図１７は、実施形態に係る利用者情報データベース３２Ａの一例を示す図である。図１７の例において、利用者情報データベース３２Ａは、「利用者ＩＤ」、「利用者情報」、「アンケート情報」、「利用者画像」、「フィードバック情報」といった項目を有する。
(Regarding the
The
「利用者ＩＤ」、「アンケート情報」、「利用者画像」及び「フィードバック情報」は、第１の実施形態と同様のため説明を省略する。「利用者情報」は、利用者に関する情報を示し、例えば、利用者の属性情報や身体的な情報などといった情報が格納される。 The "user ID", "survey information", "user image" and "feedback information" are the same as in the first embodiment, so the explanation will be omitted. "User information" indicates information about the user, and stores information such as the user's attribute information and physical information.
すなわち、図１７では、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者の利用者情報が「利用者情報＃１１」、アンケート情報が「アンケート情報＃１１」、利用者画像が「利用者画像＃１」、フィードバック情報が「フィードバック情報＃１」である例を示す。
In other words, FIG. 17 shows an example in which the user information of a user identified by user ID "
（制御部４０Ａについて）
制御部４０Ａは、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１０Ａ内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０Ａは、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。実施形態に係る制御部４０Ａは、図１５に示すように、受付部４１Ａと、生成部４２Ａと、推定部４３Ａと、提供部４４Ａと、判定部４５と、出力部４６と、取得部４７Ａと、更新部４８Ａとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、判定部４５及び出力部４６は、第１の実施形態と同様のため説明を省略する。
(Regarding the control unit 40A)
The control unit 40A is a controller, and is realized, for example, by a CPU, an MPU, or the like, executing various programs stored in a storage device inside the
（受付部４１Ａについて）
受付部４１Ａは、受付部４１と同様の情報を受け付ける。また、受付部４１Ａは、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。例えば、図１４の例において、受付部４１Ａは、画像Ｐ１等を評価者に提示し、画像の被服が着用者に似合っているか否かを示す評価を画像ごとに受け付け、評価者情報データベース３１Ａに格納する。また、受付部４１Ａは、被服の画像に対する評価であって、当該被服が評価者自身に似合うか否かを示す評価を複数の評価者から受け付ける。例えば、図１４の例において、受付部４１Ａは、画像Ｐ１等を評価者に提示し、画像の被服が評価者自身に似合うか否かを示す評価を画像ごとに受け付け、評価者情報データベース３１Ａに格納する。また、受付部４１Ａは、画像ごとに着用者がいるか否かを判断し、着用者がいる場合に被服が着用者に似合っているか否かを示す評価を評価者から受け付け、着用者がいない場合に被服が評価者自身に似合うか否かを示す評価を評価者から受け付けてもよい。
(Regarding the reception unit 41A)
The reception unit 41A receives information similar to that of the
（生成部４２Ａについて）
生成部４２Ａは、生成部４２と同様の情報を生成する。また、生成部４２Ａは、受付部４１Ａにより受け付けられた評価に基づいて、画像と、対象者（評価者が着用者に対する評価を行った場合は着用者が対象者であり、評価者が自身に対する評価を行った場合は評価者が対象者である）の身体的な特徴を示す身体情報とを投影した分散表現空間を生成する。例えば、図１４の例において、生成部４２Ａは、評価者情報データベース３１Ａを参照し、ＶＳＥの技術を用いて、画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間を生成する。
(Regarding the generation unit 42A)
The generating unit 42A generates information similar to that of the generating unit 42. The generating unit 42A also generates a distributed representation space in which an image and physical information indicating the physical characteristics of a subject (when an evaluator evaluates a wearer, the wearer is the subject, and when an evaluator evaluates himself/herself, the evaluator is the subject) are projected based on the evaluation received by the receiving unit 41A. For example, in the example of FIG. 14, the generating unit 42A refers to the
また、生成部４２Ａは、評価者が、被服が着用者に似合っている（又は評価者自身に似合う）と高く評価するほど、分散表現空間において画像と、着用者（又は評価者）の身体情報とをより近い位置に投影し、評価者が、被服が着用者に似合っていない（又は評価者自身に似合わない）と低く評価するほど、分散表現空間において画像と、着用者（又は評価者）の身体情報とをより遠い位置に投影してもよい。例えば、図１４の例において、生成部４２Ａは、評価者Ａ１が「似合わない」と評価した画像Ｐ２の着用者＃２の身体情報Ｅ２よりも、評価者Ａ１が「似合う」と評価した画像Ｐ１の着用者＃１の身体情報Ｅ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ６を生成する。また、生成部４２Ａは、評価者Ａ２が「似合わない」と評価した画像Ｐ１の着用者＃１の身体情報Ｅ１よりも、評価者Ａ２が「似合う」と評価した画像Ｐ２の着用者＃２の身体情報Ｅ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ６を生成する。
In addition, the generation unit 42A may project the image and the body information of the wearer (or the evaluator) closer in the distributed representation space as the evaluator evaluates the clothing as being suitable for the wearer (or suitable for the evaluator himself/herself), and project the image and the body information of the wearer (or the evaluator) farther in the distributed representation space as the evaluator evaluates the clothing as being unsuitable for the wearer (or suitable for the evaluator himself/herself). For example, in the example of FIG. 14, the generation unit 42A generates a distributed representation space F6 in which the image P1 is projected closer to the body information E1 of the
（推定部４３Ａについて）
推定部４３Ａは、分散表現空間と、利用者が指定した被服に関する情報とに基づいて、当該利用者により指定された被服に似合う身体的な特徴を推定する。例えば、図１４の例において、推定部４３Ａは、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からの所定の情報の提供要求に応じて、生成された分散表現空間と、利用者Ｕ１が指定した被服に関する情報とに基づき、指定された被服に似合う身体的な特徴を推定する。また、推定部４３Ａは、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該着用者の身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する。また、推定部４３Ａは、被服の画像に対する評価であって、当該被服が評価者自身に似合うか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者の身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する。また、推定部４３Ａは、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価と、被服の画像に対する評価であって、当該被服が評価者自身に似合うか否かを示す当該複数の評価者からの評価とに基づいて生成される、当該画像と、対象者の身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する。
(Regarding the
The
（提供部４４Ａについて）
提供部４４Ａは、推定部４３Ａにより推定された身体的な特徴に関する情報を利用者に提供する。例えば、図１４の例において、提供部４４Ａは、指定された被服に似合う身体的な特徴に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４Ａは、指定された被服に似合う身体的な特徴に関する情報を、コーディネートサービスにおいて提供する。
(Regarding the provision unit 44A)
The providing unit 44A provides the user with information on the physical features estimated by the estimating
（取得部４７Ａについて）
取得部４７Ａは、提供部４４Ａにより提供された身体的な特徴に関する情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。例えば、図１４の例において、取得部４７Ａは、電子商取引サービスにおいて、利用者Ｕ１が被服＃１、＃３及び＃４を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得し、利用者情報データベース３２Ａに格納する。また、取得部４７Ａは、コーディネートサービスにおいて、利用者Ｕ１が被服＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）を取得する。また、例えば、取得部４７Ａは、利用者Ｕ１が指定した被服に似合う身体的特徴が利用者の身体的特徴と一致している場合、電子商取引サービスにおいて、利用者Ｕ１が指定した被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得し、利用者情報データベース３２Ａに格納してもよい。また、取得部４７Ａは、コーディネートサービスにおいて、利用者Ｕ１が指定した被服のお気に入り登録を行ったか否かを示す情報（フィードバック）を取得してもよい。また、取得部４７Ａは、提供された情報が示す被服を着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。また、取得部４７Ａは、利用者Ｕ１が指定した被服を着用した利用者Ｕ１に対し、対象者が肯定的であったか（利用者Ｕ１（の身体的特徴）に似合うと評価したか）否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得してもよい。また、取得部４７Ａは、提供した情報が示す被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。また、取得部４７Ａは、利用者Ｕ１が指定した被服に似合う身体的特徴がプレゼントしたい対象者の身体的特徴と一致している場合、対象者が肯定的であったか（対象者（の身体的特徴）に似合うと評価したか）否かを示す情報（フィードバック）を取得してもよい。
(Regarding the acquisition unit 47A)
The acquisition unit 47A acquires feedback from the user or other users having a predetermined relationship with the user with respect to the information on the physical features provided by the provision unit 44A. For example, in the example of FIG. 14, the acquisition unit 47A acquires information (feedback) indicating whether the user U1 has purchased
（更新部４８Ａについて）
更新部４８Ａは、取得部４７Ａにより取得されたフィードバックに基づいて、分散表現空間を更新する。利用者Ｕ１が被服＃１に対して肯定的である場合、更新部４８Ａは、分散表現空間Ｆ６において、身体情報Ｅ１と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１が被服＃３に対して否定的である場合、更新部４８Ａは、分散表現空間Ｆ６において、身体情報Ｅ３と画像Ｐ３とを所定の距離遠ざけるように更新する。例えば、更新部４８Ａは、利用者Ｕ１が指定した被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報を取得し、このようなフィードバックに基づいて、利用者Ｕ１の身体情報と、利用者Ｕ１が指定した被服を示す情報とを所定の距離近づけるように更新する。また、例えば、更新部４８Ａは、利用者Ｕ１が指定した被服を着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報を取得し、このようなフィードバックに基づいて、利用者Ｕ１の身体情報と、利用者Ｕ１が指定した被服を示す情報とを所定の距離近づけるように更新する。また、例えば、更新部４８Ａは、利用者Ｕ１が指定した被服のプレゼントの対象者が肯定的であったか否かを示す情報を取得し、このようなフィードバックに基づいて、対象者の身体情報と、利用者Ｕ１が指定した被服を示す情報とを所定の距離近づけるように更新する。
(Regarding the update unit 48A)
The update unit 48A updates the distributed representation space based on the feedback acquired by the acquisition unit 47A. When the user U1 is positive about the
また、提供した情報が示す被服を着用した利用者Ｕ１に対し、対象者が肯定的である場合、更新部４８Ａは、分散表現空間において、対象者に対応する情報（例えば、身体情報や、アンケートに対する回答など）と当該被服を示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示す被服を着用した利用者Ｕ１に対し、対象者が否定的である場合、更新部４８Ａは、分散表現空間において、対象者に対応する情報と当該被服を示す画像とを所定の距離遠ざけるように更新する。 In addition, if the subject has a positive opinion of user U1 wearing the clothes indicated by the provided information, the update unit 48A updates the information corresponding to the subject (e.g., physical information, responses to a questionnaire, etc.) and the image showing the clothes in the distributed representation space so as to bring them closer together by a predetermined distance. On the other hand, if the subject has a negative opinion of user U1 wearing the clothes indicated by the provided information, the update unit 48A updates the information corresponding to the subject and the image showing the clothes in the distributed representation space so as to move them apart by a predetermined distance.
また、利用者Ｕ１に提供した情報が示す被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、更新部４８Ａは、分散表現空間において、対象者に対応する情報と当該被服を示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示す被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、更新部４８Ａは、分散表現空間において、対象者に対応する情報と当該被服を示す画像とを所定の距離遠ざけるように更新する。 In addition, when user U1 presents the clothes indicated in the information provided to user U1 to a target person, if the target person is positive, the update unit 48A updates the information corresponding to the target person and the image showing the clothes to move closer to each other by a predetermined distance in the distributed representation space. On the other hand, when user U1 presents the clothes indicated in the information provided to user U1 to a target person, if the target person is negative, the update unit 48A updates the information corresponding to the target person and the image showing the clothes to move apart by a predetermined distance in the distributed representation space.
〔１０．情報処理のフロー〕
図１８を用いて、実施形態に係る情報処理装置１０Ａの情報処理の手順（４）について説明する。図１８は、実施形態に係る情報処理の手順の一例を示すフローチャート（４）である。
[10. Information Processing Flow]
The information processing procedure (4) of the
図１８に示すように、情報処理装置１０Ａは、被服の画像に対する評価を受け付けたか否かを判定する（ステップＳ４０１）。評価を受け付けていない場合（ステップＳ４０１；Ｎｏ）、情報処理装置１０Ａは、評価を受け付けるまで待機する。
As shown in FIG. 18, the
一方、評価を受け付けた場合（ステップＳ４０１；Ｙｅｓ）、情報処理装置１０Ａは、評価に基づいて、画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間を生成し（ステップＳ４０２）、処理を終了する。
On the other hand, if an evaluation has been received (step S401; Yes), the
次に、図１９を用いて、実施形態に係る情報処理装置１０Ａの情報処理の手順（５）について説明する。図１９は、実施形態に係る情報処理の手順の一例を示すフローチャート（５）である。
Next, the information processing procedure (5) of the
図１９に示すように、情報処理装置１０Ａは、所定の情報の提供要求を受け付けたか否かを判定する（ステップＳ５０１）。提供要求を受け付けていない場合（ステップＳ５０１；Ｎｏ）、情報処理装置１０Ａは、提供要求を受け付けるまで待機する。
As shown in FIG. 19, the
一方、提供要求を受け付けた場合（ステップＳ５０１；Ｙｅｓ）、情報処理装置１０Ａは、評価者からの評価に基づいて生成される、被服の画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する（ステップ５０２）。続いて、情報処理装置１０Ａは、推定された身体的な特徴に関する情報を利用者に提供し（ステップＳ５０３）、処理を終了する。
On the other hand, if a request for provision is received (step S501; Yes), the
〔１１．効果〕
上述してきたように、実施形態に係る情報処理装置１０Ａは、推定部４３Ａと、提供部４４Ａとを有する。推定部４３Ａは、被服の画像に対する評価であって、被服が似合うか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する。提供部４４Ａは、推定部４３Ａにより推定された身体的な特徴に関する情報を利用者に提供する。
11. Effects
As described above, the
これにより、実施形態に係る情報処理装置１０Ａは、被服の画像と、対象者の身体情報との近さを測れる空間を構成することにより、所定の被服に似合う身体的な特徴を推定することができる。また、実施形態に係る情報処理装置１０Ａは、生成した分散表現空間を用いて、所定の被服に似合うと推定される身体的な特徴に関する情報を提供することができるため、所定の被服に似合う身体的な特徴を利用者が把握することができるという効果を奏する。
In this way, the
また、推定部４３Ａは、被服の着用者に似合っているか否かを示す評価者からの評価に基づいて生成される分散表現空間に基づいて推定する。
The
これにより、実施形態に係る情報処理装置１０Ａは、被服が着用者に似合っているか否かを示す各評価者の主観に基づき生成される分散表現空間に基づいて、所定の被服に似合う身体的な特徴を利用者が把握することができる。
As a result, the
また、推定部４３Ａは、対象者である着用者の身体情報を投影した分散表現空間に基づいて推定する。
The
これにより、実施形態に係る情報処理装置１０Ａは、着用者の身体情報を投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を利用者が把握することができる。
As a result, the
また、推定部４３Ａは、評価者に似合うか否かを示す評価者からの評価に基づいて生成される分散表現空間に基づいて推定する。
The
これにより、実施形態に係る情報処理装置１０Ａは、被服が評価者に似合うか否かを示す各評価者の主観に基づき生成される分散表現空間に基づいて、所定の被服に似合う身体的な特徴を利用者が把握することができる。
As a result, the
また、推定部４３Ａは、対象者である評価者の身体情報を投影した分散表現空間に基づいて推定する。
The
これにより、実施形態に係る情報処理装置１０Ａは、評価者の身体情報を投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を利用者が把握することができる。
As a result, the
また、推定部４３Ａは、画像に被服の着用者が含まれる場合は、被服の着用者に似合っているか否かを示す評価者からの評価に基づいて生成される分散表現空間に基づいて推定し、画像に被服の着用者が含まれない場合は、評価者に似合うか否かを示す評価者からの評価に基づいて生成される分散表現空間に基づいて推定する。
In addition, when the image includes a person wearing the clothes, the
これにより、実施形態に係る情報処理装置１０Ａは、画像に被服の着用者が含まれるか否かに応じて対象者の身体情報を投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を利用者が把握することができる。
As a result, the
また、推定部４３Ａは、分散表現空間に基づいて、利用者が指定した被服に似合う身体的な特徴を推定する。
In addition, the
これにより、実施形態に係る情報処理装置１０Ａは、利用者が指定した被服に似合う身体的な特徴を利用者が把握することができる。
In this way, the
また、推定部４３Ａは、被服の組み合わせの画像に対する評価であって、被服の組み合わせが似合うか否かを示す複数の評価者からの評価に基づいて生成される分散表現空間であって、画像と、対象者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の組み合わせに似合う身体的な特徴を推定する。提供部４４Ａは、推定部４３Ａにより推定された身体的な特徴に関する情報を利用者に提供する。
The
これにより、実施形態に係る情報処理装置１０Ａは、コーディネート画像と、対象者の身体情報との近さを測れる空間を構成することにより、所定の被服の組み合わせに似合う身体的な特徴を推定することができる。また、実施形態に係る情報処理装置１０Ａは、生成した分散表現空間を用いて、所定の被服の組み合わせに似合うと推定される身体的な特徴に関する情報を提供することができるため、所定の被服の組み合わせに似合う身体的な特徴を利用者が把握することができるという効果を奏する。
In this way, the
また、推定部４３Ａは、被服の着こなしが異なる画像に対する評価であって、被服の着こなしが似合うか否かを示す評価者からの評価に基づいて生成される分散表現空間に基づいて、所定の被服の着こなしに似合う身体的な特徴を推定する。
The
これにより、実施形態に係る情報処理装置１０Ａは、各評価者の評価に着こなしを加味して生成される分散表現空間に基づいて、所定の被服に似合う身体的な特徴を利用者が把握することができる。
In this way, the
〔１２．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置１０Ａは、例えば、図２０に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１０Ａを例に挙げて説明する。図２０は、情報処理装置１０Ａの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
12. Hardware Configuration
The
ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The CPU 1100 operates based on a program stored in the
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。 The CPU 1100 controls output devices such as a display and a printer, and input devices such as a keyboard and a mouse, via the input/output interface 1600. The CPU 1100 acquires data from the input devices via the input/output interface 1600. The CPU 1100 also outputs data generated via the input/output interface 1600 to the output devices.
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が情報処理装置１０Ａとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部４０Ａの機能を実現する。また、ＨＤＤ１４００には、情報処理装置１０Ａの記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
〔１３．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
13. Other
Although some of the embodiments of the present application have been described in detail above with reference to the drawings, these are merely examples, and the present invention can be embodied in other forms that incorporate various modifications and improvements based on the knowledge of those skilled in the art, including the aspects described in the Disclosure of the Invention section.
また、上述した情報処理装置１０Ａは、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
In addition, the configuration of the
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。 In addition, the word "unit" in the claims can be read as "means" or "circuit." For example, the reception unit can be read as reception means or reception circuit.
１０、１０Ａ 情報処理装置
２０ 通信部
３０、３０Ａ 記憶部
３１、３１Ａ 評価者情報データベース
３２、３２Ａ 利用者情報データベース
４０、４０Ａ 制御部
４１、４１Ａ 受付部
４２、４２Ａ 生成部
４３、４３Ａ 推定部
４４、４４Ａ 提供部
４５ 判定部
４６ 出力部
４７、４７Ａ 取得部
４８、４８Ａ 更新部
１００ 利用者端末
２００ 評価者端末
10, 10A Information processing device 20 Communication unit 30,
Claims (13)
前記推定部により推定された身体的な特徴に関する情報を利用者に提供する提供部と
を有することを特徴とする情報処理装置。 an estimation unit that estimates physical features that suit a specific piece of clothing based on a distributed representation space generated based on evaluations of an image of clothing from a plurality of evaluators indicating whether the clothing suits a wearer and information on the physical features of the wearer , the distributed representation space being projected with the image and physical information indicating the physical features of the wearer;
and a providing unit that provides a user with information regarding the physical feature estimated by the estimation unit.
前記推定部により推定された身体的な特徴に関する情報を利用者に提供する提供部とa providing unit that provides a user with information about the physical characteristics estimated by the estimating unit;
を有することを特徴とする情報処理装置。13. An information processing device comprising:
被服の組合せの画像に対する評価であって、当該被服の組合せが着用者に似合うか否かを示す複数の評価者からの評価と、当該着用者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該着用者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の組合せに似合う身体的な特徴を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
A distributed representation space is generated based on evaluations of an image of a clothing combination , the evaluations being from a plurality of evaluators indicating whether the clothing combination suits a wearer , and information on the physical characteristics of the wearer , and the physical characteristics that suit a specific clothing combination are estimated based on the distributed representation space onto which the image and physical information indicating the physical characteristics of the wearer are projected.
2. The information processing apparatus according to claim 1 ,
被服の組合せの画像に対する評価であって、当該被服の組合せが評価者に似合うか否かを示す複数の評価者からの評価と、当該評価者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該評価者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の組合せに似合う身体的な特徴を推定するA distributed representation space is generated based on evaluations of an image of a clothing combination, the evaluations being from a plurality of evaluators indicating whether the clothing combination suits the evaluator, and information on the physical characteristics of the evaluator, and the physical characteristics that suit a specific clothing combination are estimated based on the distributed representation space onto which the image and physical information indicating the physical characteristics of the evaluator are projected.
ことを特徴とする請求項２に記載の情報処理装置。3. The information processing apparatus according to claim 2.
被服の着こなしが異なる画像に対する評価であって、当該被服の着こなしが着用者に似合うか否かを示す複数の評価者からの評価と、当該着用者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該着用者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の着こなしに似合う身体的な特徴を推定する
ことを特徴とする請求項１に記載の情報処理装置。 The estimation unit is
The information processing device of claim 1, further comprising : an information processing apparatus for estimating physical features that suit a specified clothing style based on a distributed representation space generated based on evaluations from a plurality of evaluators indicating whether the clothing style suits the wearer and information regarding the physical features of the wearer, the information processing apparatus being characterized in that the physical features that suit a specified clothing style are estimated based on the distributed representation space onto which the images and physical information indicating the physical features of the wearer are projected.
被服の着こなしが異なる画像に対する評価であって、当該被服の着こなしが評価者に似合うか否かを示す複数の評価者からの評価と、当該評価者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該評価者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の着こなしに似合う身体的な特徴を推定するA distributed representation space is generated based on evaluations of images showing different clothing styles from a plurality of evaluators indicating whether the clothing styles suit the evaluators and information on the physical features of the evaluators, and the distributed representation space is generated based on the evaluations of the images and physical information showing the physical features of the evaluators, and physical features that suit a specific clothing style are estimated based on the distributed representation space projected with the images and physical information showing the physical features of the evaluators.
ことを特徴とする請求項２に記載の情報処理装置。3. The information processing apparatus according to claim 2.
被服の組合せの着こなしが異なる画像に対する評価であって、当該被服の組合せの着こなしが着用者に似合うか否かを示す複数の評価者からの評価と、当該着用者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該着用者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の組合せの着こなしに似合う身体的な特徴を推定するA distributed representation space is generated based on evaluations of images showing different styles of clothing combinations, which are evaluations from a plurality of evaluators indicating whether the clothing combinations suit a wearer, and information on the physical characteristics of the wearer, and physical characteristics that suit a specific clothing combination are estimated based on the distributed representation space projected with the images and physical information indicating the physical characteristics of the wearer.
ことを特徴とする請求項１に記載の情報処理装置。2. The information processing apparatus according to claim 1,
被服の組合せの着こなしが異なる画像に対する評価であって、当該被服の組合せの着こなしが評価者に似合うか否かを示す複数の評価者からの評価と、当該評価者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該評価者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服の組合せの着こなしに似合う身体的な特徴を推定するA distributed representation space is generated based on evaluations of images showing different styles of clothing combinations, from a plurality of evaluators indicating whether the clothing combinations suit the evaluators, and information on the physical characteristics of the evaluators, and the distributed representation space is generated based on the images and physical information showing the physical characteristics of the evaluators, and physical characteristics that suit a given clothing combination are estimated based on the distributed representation space projected with the images and physical information showing the physical characteristics of the evaluators.
ことを特徴とする請求項２に記載の情報処理装置。3. The information processing apparatus according to claim 2.
前記分散表現空間に基づいて、前記利用者が指定した被服に基づき前記身体的な特徴を推定する
ことを特徴とする請求項１～８のいずれか一つに記載の情報処理装置。 The estimation unit is
The information processing apparatus according to claim 1 , further comprising: estimating the physical features based on clothing designated by the user, based on the distributed representation space.
被服の画像に対する評価であって、当該被服が着用者に似合うか否かを示す複数の評価者からの評価と、当該着用者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該着用者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する推定工程と、
前記推定工程により推定された身体的な特徴に関する情報を利用者に提供する提供工程と
を含むことを特徴とする情報処理方法。 1. A computer-implemented information processing method, comprising:
an estimation step of estimating physical features that suit a specific piece of clothing based on a distributed representation space generated based on evaluations of an image of clothing from a plurality of evaluators indicating whether the clothing suits a wearer and information on the physical features of the wearer , the distributed representation space being projected with the image and physical information indicating the physical features of the wearer;
and a providing step of providing a user with information regarding the physical characteristics estimated by the estimating step.
被服の画像に対する評価であって、当該被服が評価者に似合うか否かを示す複数の評価者からの評価と、当該評価者の身体的な特徴に関する情報とに基づいて生成される分散表現空間であって、当該画像と、当該評価者の身体的な特徴を示す身体情報とを投影した分散表現空間に基づいて、所定の被服に似合う身体的な特徴を推定する推定工程と、an estimation step of estimating physical features that suit a specific piece of clothing based on a distributed representation space generated based on evaluations of an image of clothing from a plurality of evaluators indicating whether the clothing suits the evaluator and information on the physical features of the evaluator, the distributed representation space being projected with the image and physical information indicating the physical features of the evaluator;
前記推定工程により推定された身体的な特徴に関する情報を利用者に提供する提供工程とa providing step of providing a user with information regarding the physical characteristics estimated by the estimating step;
を含むことを特徴とする情報処理方法。13. An information processing method comprising:
前記推定手順により推定された身体的な特徴に関する情報を利用者に提供する提供手順と
をコンピュータに実行させることを特徴とする情報処理プログラム。 an estimation step of estimating physical features that suit a specific piece of clothing based on a distributed representation space generated based on evaluations of an image of clothing from a plurality of evaluators indicating whether the clothing suits a wearer and information on the physical features of the wearer , the distributed representation space being projected with the image and physical information indicating the physical features of the wearer;
and a providing step of providing a user with information regarding the physical characteristics estimated by the estimation step.
前記推定手順により推定された身体的な特徴に関する情報を利用者に提供する提供手順とa provision step of providing information about the physical characteristics estimated by the estimation step to a user;
をコンピュータに実行させることを特徴とする情報処理プログラム。An information processing program characterized by causing a computer to execute the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023115376A JP7553662B1 (en) | 2023-07-13 | 2023-07-13 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023115376A JP7553662B1 (en) | 2023-07-13 | 2023-07-13 | Information processing device, information processing method, and information processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7553662B1 true JP7553662B1 (en) | 2024-09-18 |
Family
ID=92753458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023115376A Active JP7553662B1 (en) | 2023-07-13 | 2023-07-13 | Information processing device, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7553662B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210390430A1 (en) | 2020-06-12 | 2021-12-16 | Rokkcb10, Inc. | Machine Learning System and Method for Garment Recommendation |
| KR20220111592A (en) | 2021-02-02 | 2022-08-09 | 주식회사 패션에이드 | Fashion coordination style recommendation system and method by artificial intelligence |
-
2023
- 2023-07-13 JP JP2023115376A patent/JP7553662B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210390430A1 (en) | 2020-06-12 | 2021-12-16 | Rokkcb10, Inc. | Machine Learning System and Method for Garment Recommendation |
| KR20220111592A (en) | 2021-02-02 | 2022-08-09 | 주식회사 패션에이드 | Fashion coordination style recommendation system and method by artificial intelligence |
Non-Patent Citations (1)
| Title |
|---|
| Wei-Lin Hsiao et al.，ViBE: Dressing for Diverse Body Shapes，Computer Vision and Pattern Recognition [online]，2020年03月28日，Pages 11059-11069，[検索日:2024年5月15日], <URL:https://doi.org/10.48550/arXiv.1912.06697> |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guan et al. | Apparel recommendation system evolution: an empirical review | |
| US20180308151A1 (en) | Enhancing revenue of a retailer by making a recommendation to a customer | |
| Hwang et al. | Attitudes and purchase intentions for smart clothing: Examining US consumers’ functional, expressive, and aesthetic needs for solar-powered clothing | |
| Cho et al. | Conceptualization of a holistic brand image measure for fashion-related brands | |
| Sohn et al. | An exploratory study of fit and size issues with mass customized men's jackets using 3D body scan and virtual try-on technology | |
| CN106462979A (en) | Fashion preference analysis | |
| JP6212013B2 (en) | Product recommendation device and product recommendation method | |
| JP7279361B2 (en) | Clothing proposal device, clothing proposal method, and program | |
| Chung | Effect of facial makeup style recommendation on visual sensibility | |
| US20090037292A1 (en) | Intelligent shopping search system | |
| JP2018018136A (en) | Electronic commercial transaction system | |
| Jacobs et al. | Online apparel shopping behaviour of South African professional women: the role of consumers' apparel shopping scripts | |
| US20160267576A1 (en) | System and Method for Controlling and Sharing Online Images of Merchandise | |
| Apeagyei | Significance of body image among UK female fashion consumers: The cult of size zero, the skinny trend | |
| US20120062555A1 (en) | Virtual personalized fitting room | |
| KR101230034B1 (en) | System and method for manufacturing taste idenfication code, and recomendation system and method | |
| KR102506356B1 (en) | Apparatus and method for recommending of fashion coordination | |
| US20130060610A1 (en) | Methods and systems of using personalized multi-dimensional avatar (pmda) in commerce | |
| JP7553662B1 (en) | Information processing device, information processing method, and information processing program | |
| US11526925B2 (en) | System and method for fashion recommendations | |
| JP7459206B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7391165B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7391166B1 (en) | Information processing device, information processing method, and information processing program | |
| West Morris | The sex wars continue: Hung's postfeminist debate | |
| JP7241842B1 (en) | Information processing device, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240905 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7553662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |