JP7266797B2 - スタイリングデータベース管理システムおよび方法 - Google Patents

Description

特許法第３０条第２項適用 刊行物の発行日：平成３０年３月１３日 第８０回全国大会論文集、第２０１８巻、第１号、第５５７－５５８頁、一般社団法人情報処理学会

本発明は、ファッションスタイリングのデータベースを管理する技術に関する。

ファッションアイテムやその組み合わせであるコーディネートなどファッションの選択を、情報技術を用いて支援するシステムが提案されている。特許文献１には、利用者に好適なファッションコーディネートを提供する装置が開示されている。特許文献１に開示されたファッションコーディネート支援装置は、商品情報取得手段と、コーディネート情報提供手段と、利用者情報取得手段と、利用者ファッション傾向情報生成手段とを有している。

商品情報取得手段は、インターネット上の商品情報を取得する。利用者情報取得手段は、インターネット上の利用者情報を取得する。利用者ファッション傾向情報生成手段は、利用者情報取得手段により取得された利用者情報に基づき、利用者のファッション傾向を推定して利用者ファッション傾向情報を生成する。コーディネート情報提供手段は、商品情報取得手段で取得した商品情報と、利用者ファッション傾向情報生成手段で生成された利用者ファッション傾向情報とに基づき、利用者が身に着ける商品組み合わせのコーディネート情報を提供する。

商品情報はテキスト情報を含み、そのテキスト情報からテキスト解析によって商品属性の情報が生成される。商品属性は、商品の色、商品の素材、商品の柄及び商品の印象などである。その商品属性の情報を利用して、推奨するファッションコーディネートが決定される。

特開２０１５－０７２６３９号公報

特許文献１のファッションコーディネート支援装置は、商品情報取得手段で取得した商品情報と、利用者ファッション傾向情報生成手段で生成された利用者ファッション傾向情報とに基づき、利用者が身に着ける商品組み合わせのコーディネート情報を提供するものである。したがって、予め商品情報が付随されている商品の画像だけしか利用することができず、利用できる範囲が限定されていた。
本開示における１つの目的は、様々なファッションの画像データを検索可能にする術を提供することである。

本開示のひとつの態様に従うスタイリングデータベース管理システムは、学習用スタイリング画像のそれぞれに対する、互いに反対の意味を持つ第１印象語句と第２印象語句からなる印象語句対について、前記第１印象語句に該当するか、前記第２印象語句に該当するか、何れにも該当しないかという三値のラベルによる第１分類情報と、前記学習用スタイリング画像におけるアイテム領域の特徴量と、に基づく機械学習により生成された、印象語句とスタイリング画像の関係を推定するための印象語句推定モデルに基づいて、スタイリング画像に対して前記第１印象語句および前記第２印象語句について該当するか否かに関する推定処理を行う印象推定部と、前記推定処理に基づく前記スタイリング画像と印象語句との関係を示すスタイリングベース情報を記憶する記憶部と、を有する。

本開示のひとつの態様によれば、スタイリング画像に三値のラベルによるラベル付けを行ったデータに基づく学習ができるので、スタイリング画像と印象語句とを良好な精度で関連づけることができ、様々なファッションの画像データを検索可能にするデータベースを実現することができる。

本実施形態によるスタイリング推奨システムのブロック図である。 スタイリング推奨システムの全体処理のフローチャートである。 学習用スタイリング画像と三値分類情報を例示する概念図である。 学習装置のブロック図である。 モデル生成処理のフローチャートである。 印象語句推定モデルの機械学習の具体的な処理について説明するための概念図である。 推奨装置のブロック図である。 スタイリングベース生成処理のフローチャートである。 推奨処理のフローチャートである。 スタイリング画像を例示する概念図である。 スタイリングベース情報を例示する概念図である。 利用者が利用者端末の画面から印象語句を指定する様子を例示する画面表示の図である。 利用者が指定した印象語句に該当するスタイリング画像が提示された様子を例示する画面表示の図である。 利用者傾向情報を例示する概念図である。 本実施形態における学習装置および推奨装置のハードウェア構成を示す図である。

以下、本開示の実施形態について図面を参照して説明する。
図１は、本実施形態によるスタイリング推奨システムのブロック図である。スタイリング推奨システム１には学習装置１０と推奨装置２０が含まれている。

スタイリング推奨システム１は、利用者から所望の印象語句の指定を受けて、推奨スタイリングを利用者に提供するためのシステムである。印象語句とは、物事の印象を表現する単語あるいは句である。本実施形態では、印象語句は、ファッションスタイリングの印象を表現する単語または句である。
まず、スタイリング推奨システム１の動作を概説する。
図２は、スタイリング推奨システムの全体処理のフローチャートである。

学習装置１０へは、後述する機械学習に十分なだけの学習用スタイリング画像１０１と三値分類情報１０２が入力される。学習用スタイリング画像１０１はファッションスタイリングの画像データである。三値分類情報１０２はスタイリングと印象語句との対応づけに関する情報である。三値分類情報１０２は、互いに反対の意味を持つ第１印象語句と第２印象語句からなる印象語句対について、スタイリング画像が、第１印象語句に該当するか、第２印象語句に該当するか、何れにも該当しないかという三値のラベルによる分類情報である。学習用スタイリング画像１０１と三値分類情報１０２の詳細は後述する。

ステップＳ１０１にて、学習装置１０は、モデル生成処理として、学習用スタイリング画像１０１におけるアイテム領域の色および形状の特徴量と三値分類情報１０２とに基づく機械学習により、印象語句推定モデル１０３を生成し、推奨装置２０へ提供する。印象語句推定モデル１０３は、ファッションスタイリングの画像データであるスタイリング画像１０４に対して、その画像のファッションスタイリングに該当する印象語句を推定するための予測モデルである。具体例としては、印象語句推定モデル１０３は、入力されたスタイリング画像１０４が各印象語句に該当する程度を示すスコアを算出するための予測モデルである。

ステップＳ１０２にて、推奨装置２０は、スタイリングベース生成処理として、印象語句推定モデル１０３を用いて、様々なスタイリング画像１０４と印象語句との対応付け情報を生成し、利用者へ推奨するスタイリングの選択のベースとなる情報（スタイリングベース情報）として蓄積する。推奨装置２０は、例えば、印象語句推定モデル１０３を用いて、スタイリング画像１０４について各印象語句のスコアを算出し、スコアが所定の閾値を超えている印象語句を、そのスタイリング画像１０４に対応づけることにしてもよい。多数のスタイリング画像１０４と印象語句との対応付け情報が蓄積されるとスタイリング推奨システム１は利用者からの有益な利用が可能な状態となる。
推奨装置２０へは、利用者端末９２からネットワーク９１経由で接続することができる。

ステップＳ１０３にて、推奨装置２０は、推奨処理として、利用者が指定する印象語句に基づいて、その利用者に推奨するファッションスタイリングの画像を、スタイリングベース情報から抽出し、利用者に提示する。

具体的には、利用者が利用者端末９２から印象語句（指定印象語句１０８）を指定し、スタイリングの提案を依頼すると、利用者端末９２から推奨装置２０へ、当該利用者を示す指定利用者１０７と指定印象語句１０８とを含む推奨スタイリング要求を推奨装置２０に送信する。推奨スタイリング要求は、ファッションスタイリングの推奨を要求する信号である。推奨スタイリング要求には、一例として、指定印象語句１０８の情報と、利用者端末９２の利用者を示す指定利用者１０７の情報とが含まれている。

推奨スタイリング要求を受信した推奨装置２０は、対応付け情報を参照することにより、指定印象語句１０８に該当するスタイリング画像１０４を抽出し、その画像を推奨スタイリング１０９を示す情報として利用者端末９２に送信する。利用者端末９２は、受信した推奨スタイリング１０９に含まれるスタイリング画像１０４を利用者に提示する。

以上のように、本実施形態によれば、スタイリング画像に上記三値のラベルによるラベル付けを行ったデータに基づく学習ができるので、スタイリング画像１０４と印象語句とを良好な精度で関連づけることができ、様々なファッションの画像データを検索可能にするデータベースを実現できる。そのデータベースを利用した結果として、印象に基づく良好なファッションスタイリングの選択を支援することができる。

ファッションスタイリングの世界では、多くの場合、反対の意味を持つ２つの印象語句が対として用いられる。例えば、「大人っぽい」と「子供っぽい」という反対の意味を持つ印象語句がある。反対の意味を持つ印象語句対の両方を指定可能にすることは、ファッションスタイリングに関するユーザの好みあるいは意図を汲み取るのに有効である。

また、あるファッションスタイリングがある印象語句に該当するかどうかを考えるとき、反対の意味を持つ印象語句対について一緒に考えるのが人間の自然な感覚として考えやすい。例えば、あるファッションスタイリングが「大人っぽい」に該当するかということと、「子供っぽい」に該当するかということは、一緒に考えるのが人間の自然な感覚として考えやすい。これらを対として扱うことで、あるファッションスタイリングが各印象語句に該当するか否かという情報を収集しやすくなる。

その一方で、反対の意味を持つ２つの印象語句が、必ずしも２つの印象語句を合わせて全体を網羅するわけではない。つまり、あるファッションスタイリングが必ず２つの印象語句のいずれかに該当するというものではない。例えば、人間の感性としては、「大人っぽい」という印象を与えるファッションスタイリングもあれば、「子供っぽい」という印象を与えるファッションスタイリングもあれば、どちらの印象も与えないファッションスタイリングもある。またその一方で、ひとりの人が、あるファッションスタイリングを「大人っぽい」にも「子供っぽい」にも該当すると考えることはほぼない。

以上のようなファッションスタイリングと印象語句との関係性の特徴を考慮して上記三値のラベルによりラベル付けを行った分類情報を用いることは好都合であり、ファッションスタイリングに対して良好に印象語句の関連付けを可能にする。

また、ファッションにおいて印象を決める視覚的要素として色と形状とが重要である。スタイリング画像におけるアイテムの色および形状の特徴量を、印象語句との関連付けの学習に用いることで、スタイリング画像と印象語句とを良好な精度で関連づけることが可能となる。
以下、図１の各装置の構成と図２の各ステップの処理とについて説明する。

図３は、学習用スタイリング画像と三値分類情報を例示する概念図である。学習用スタイリング画像１０１と三値分類情報１０２とは互いに関連づけられている。

学習用スタイリング画像１０１は、ファッションスタイリングを表す画像であり、例えば、衣服を着用した人物の画像である。図３には一例として、コーディネートされた上下の衣服を着用した女性を撮影した写真画像が示されている。

三値分類情報１０２は、関連づけられている学習用スタイリング画像１０１について、互いに反対の意味を持つ第１印象語句と第２印象語句からなる印象語句対について、第１印象語句に該当するか、第２印象語句に該当するか、何れにも該当しないかを示す情報である。印象語句対の第１印象語句および第２印象語句は、ファッションスタイリングに好適な印象語句が予め定められている。また、ファッションスタイリングを示す印象語句は時代と共に変化するので、適宜、追加、削除、変更するものとしてもよい。

例えば、「大人っぽい」と「子供っぽい」という互いに反対の意味を持つ印象語句対があるとする。図３に例示された三値分類情報１０２には、「大人っぽい」という情報が含まれている。これは、図３に例示された学習用スタイリング画像１０１は、「大人っぽい」という印象語句に該当することを意味している。同様に、「地味」と「派手」という互いに反対の意味を持つ印象語句対があるとする。図３に例示された三値分類情報１０２には、「地味」という情報が含まれている。これは、図３に例示された学習用スタイリング画像１０１は、「地味」という印象語句に該当することを意味している。同様に、「フェミニン」と「マニッシュ」という互いに反対の意味を持つ印象語句対があるとする。図３に例示された三値分類情報１０２には、「フェミニン」という情報が含まれている。これは、図３に例示された学習用スタイリング画像１０１は、「フェミニン」という印象語句に該当することを意味している。

また、「軽い」と「重い」という互いに反対の意味を持つ印象語句対があるとする。図３に例示された三値分類情報１０２には、そのどちらの情報も含まれていない。これは図３に例示された学習用スタイリング画像１０１は、「軽い」と「重い」のいずれの印象語句にも該当しないことを意味している。同様に、「涼しげな」と「暖かな」という互いに反対の意味を持つ印象語句対があるとする。図３に例示された三値分類情報１０２には、そのどちらの情報も含まれていない。これは図３に例示された学習用スタイリング画像１０１は、「涼しげな」と「暖かな」のいずれの印象語句にも該当しないことを意味している。

図４は、学習装置のブロック図である。図５は、モデル生成処理のフローチャートである。

図４を参照すると、学習装置１０は、特徴量取得部１１、分類情報取得部１２、モデル生成部１３、および記憶部１４を有している。記憶部１４には、学習用スタイリング画像１０１および三値分類情報１０２が格納されている。

図５のステップＳ２０１にて、特徴量取得部１１は、学習用スタイリング画像１０１におけるアイテム領域の色および形状の特徴量を取得する。アイテム領域は、学習用スタイリング画像１０１におけるファッションアイテム（衣服等）の領域である。ここで衣服等には帽子、靴、アクセサリ、などが含まれてもよい。具体的には、特徴量取得部１１は、学習用スタイリング画像１０１を分析し、アイテム領域を特定し、そのアイテム領域の色および形状の特徴量を抽出する。

ステップＳ２０２にて、分類情報取得部１２は、学習用スタイリング画像１０１のそれぞれに対する、互いに反対の意味を持つ第１印象語句と第２印象語句からなる印象語句対について、第１印象語句に該当するか、第２印象語句に該当するか、何れにも該当しないかという三値のラベルによる第１分類情報（三値分類情報１０２）を取得する。学習用スタイリング画像１０１への三値分類情報１０２のラベル付け（つまり学習データ）の作成は、人間が入力することにしても良いし、ネットワーク経由でＥＣ（エレクトロニックコマース）サイトなどのウェブサイトおよび／または写真共有アプリケーションなどのＳＮＳ（ソーシャルネットワーキングサービス）から取得してもよい。

人間が学習用スタイリング画像１０１に対して三値分類情報１０２を付加する具体例として、分類情報取得部１２は、ショップ販売員、専門スタイリング、一般モニターなどの分類者が学習用スタイリング画像１０１を見て入力した上記三値のラベルを三値分類情報１０２として蓄積する。

また、ウェブサイトおよび／またはＳＮＳ（ソーシャルネットワーキングサービス）から三値分類情報１０２を取得する具体例として、分類情報取得部１２は、ウェブサイトおよび／またはＳＮＳから、ファッションスタイリングとして利用可能な画像とその画像に付随するテキストとを取得し、その画像を学習用スタイリング画像１０１とし、その画像に付随する情報から第１印象語句および第２印象語句を抽出し、その画像はその抽出された印象語句に該当するものとして三値分類情報１０２を生成する。例えば衣服を着用した人物の全身がある程度鮮明に撮影された写真画像を、ファッションスタイリングとして利用可能な画像とすることができる。
モデル生成部１３は、学習用スタイリング画像１０１を対象として三値分類情報１０２と特徴量に基づく機械学習により、印象語句推定モデルを生成する。
図６は、印象語句推定モデルの機械学習の具体的な処理について説明するための概念図である。

図５のステップＳ２０３にて、モデル生成部１３は、三値分類情報１０２における印象語句対に関する三値のラベルを、第１印象語句に該当するかそうでないか、第２印象語句に該当するかそうでないか、という印象語句毎の二値のラベルによる分類に分解した第２分類情報（二値分類情報２０１）を生成する。

更に、ステップＳ２０４にて、モデル生成部１３は、図６に示すように、学習用スタイリング画像１０１を対象として二値分類情報２０１と特徴量取得部１１が取得した特徴量２０２との関係を機械学習し、印象語句推定モデル１０３を生成する。印象語句に関する三値のラベルを上記二値のラベルに変換することにより、機械学習の中で比較的高精度が期待できる二値分類が可能となり、高精度の識別能力により、印象語句によるファッションスタイリングの良好な選択が可能となる。

更に具体的な処理例として、モデル生成部１３は、学習用スタイリング画像１０１を対象として二値分類情報２０１と特徴量２０２の関係を、図６に示すようにサポートベクタマシン（ＳＶＭ）３００にて学習し、印象語句推定モデル１０３を生成する。サポートベクタマシンの高い識別能力により、印象語句によるファッションスタイリングの良好な選択が可能となる。生成された印象語句推定モデル１０３は、図４に示したように記憶部１４に格納されるとともに、推奨装置２０に提供される。

図７は、推奨装置のブロック図である。図８は、スタイリングベース生成処理のフローチャートである。図９は、推奨処理のフローチャートである。

図７を参照すると、推奨装置２０は、印象推定部２１、印象語句拡張部２２、利用者傾向推定部２３、推奨スタイリング決定部２４、および記憶部２５を有している。記憶部２５には、学習装置１０から提供された印象語句推定モデル１０３が格納されている。

図８のステップＳ３０１にて、推奨装置２０は、様々なスタイリング画像１０４を取得し、記憶部２５に格納する。スタイリング画像１０４は、ウェブサイトおよび／またはＳＮＳなどから取得しても良いし、本スタイリング推奨システム１のために準備されたものであってもよい。

ステップＳ３０２にて、印象推定部２１は、印象語句推定モデル１０３に基づいて、各スタイリング画像１０４に対して第１印象語句および第２印象語句についてその印象語句に該当するか否かに関する推定処理を行い、推定結果に基づいて、スタイリング画像１０４と印象語句との関係を示すスタイリングベース情報１０５を記憶部２５に蓄積する。

以下、推定処理の具体例について説明する。

図１０は、スタイリング画像を例示する概念図である。スタイリング画像１０４は、ファッションスタイリングを表す画像であり、例えば、衣服を着用した人物の画像である。図１０には、コーディネートされた上下の衣服を着用した女性を撮影した複数の写真画像が示されている。印象推定部２１は、スタイリング画像１０４の特徴量を印象語句推定モデル１０３に入力して、予め定められた各印象語句についてのスコアを算出し、各印象語句のスコアが所定の閾値を超えるか否か判定する。そして、印象推定部２１は、あるスタイリング画像のある印象語句についてのスコアが閾値を超えたら、そのスタイリング画像はその印象語句に該当すると判定し、判定結果をスタイリングベース情報１０５に登録する。

図１１は、スタイリングベース情報を例示する概念図である。スタイリングベース情報１０５には、複数のスタイリング画像と、印象語句との関係が示されている。あるスタイリング画像が、ある印象語句に該当する場合、そのスタイリング画像の行とその印象語句の列とが交差するセルに“１”が登録される。あるスタイリング画像が、ある印象語句に該当しない場合、そのスタイリング画像の行とその印象語句の列とが交差するセルに“０”が登録される。例えば、スタイリング画像Ａは、印象語句“ａａａａ”および“ｃｃｃｃ”に該当し、印象語句“ｂｂｂ”、“ｄｄｄｄ”および“ｅｅｅｅｅ”に該当しないという情報が登録されている。

図９のステップＳ４０１にて、推奨スタイリング決定部２４（抽出部）は、利用者が利用者端末９２から指定した指定印象語句１０８を受け付ける。そして、ステップＳ４０２にて、推奨スタイリング決定部２４は、その指定印象語句１０８に基づいて、スタイリングベース情報１０５の中から、利用者にファッションスタイリングを推奨するためのスタイリング画像１０４を抽出する。そして、ステップＳ４０３にて、推奨スタイリング決定部２４は、抽出したスタイリング画像１０４を利用者端末９２に表示させる。

以下、利用者端末９２の利用者が印象語句を指定して推奨スタイリングの提示を受ける過程について説明する。

図１２は、利用者が利用者端末の画面から印象語句を指定する様子を例示する画面表示の図である。利用者端末９２の画面には、印象語句選択領域４０１と実行ボタン４０２が表示されている。印象語句選択領域４０１は、指定印象語句１０８を指定するための表示操作部である。

図１２の例では、印象語句選択領域４０１に複数の印象語句が表示されている。指定したい印象語句が表示された部分に利用者が手指で触れると、その部分の表示態様が変化し、その印象語句が指定印象語句として選択された状態となる。図２１では、表示態様の変化がハッチングで示されている。複数の印象語句を選択することも可能である。図１２の例では、「地味」、「フェミニン」、および「子供っぽい」という３つの印象語句が選択されている状態が例示されている。１つ以上の印象語句が選択された状態で、利用者が実行ボタン４０２に手指で触れると、利用者端末９２から推奨装置２０へ、選択された指定印象語句１０８の情報を含む推奨スタイリング要求が送信される。ここでは例えば、複数の指定印象語句１０８が指定された場合にはそれら全ての指定印象語句１０８に該当する推奨スタイリングの提示が要求されたことを意味するものとする。推奨装置２０では推奨スタイリング決定部２４が推奨スタイリング要求に含まれる指定印象語句１０８に該当するスタイリング画像を抽出し、利用者端末９２に送信する。

図１３は、利用者が指定した印象語句に該当するスタイリング画像が提示された様子を例示する画面表示の図である。図１３の例では、推奨スタイリング決定部２４は、利用者が指定した「地味」、「フェミニン」および「子供っぽい」いう印象語句と、それらの印象語句に該当するスタイリング画像４０３とを、利用者端末９２の画面に表示させている。スタイリング画像と印象語句の組合せが画面に表示されるので、利用者は、印象語句で表現され、スタイリング画像に表されたファッションスタイリングを検討することができる。

また、本実施形態では、一例として、利用者が推奨スタイリングとして提示されたスタイリング画像４０３に対する肯定的意思（好意）を示す操作を行うことが可能であるとする。スタイリング画像４０３への肯定的意思を示す操作は、例えば、スタイリング画像４０３への「いいね」ボタン（不図示）の操作、スタイリング画像４０３に関連するアイテムの購入、スタイリング画像の詳細情報の閲覧、などである。利用者がスタイリング画像４０３に好意を示す操作を行うと、当該利用者が当該スタイリング画像４０３に好意を示した旨のスタイリング肯定情報が利用者端末９２から推奨装置２０に送信される。図１３の例では、スタイリング画像４０３に利用者がそのファッションスタイリングに好意を示したことを示すマーク４０４が表示されている。

図９のステップＳ４０４にて、推奨装置２０では、利用者傾向推定部２３は、スタイリング肯定情報を受信すると、利用者によるスタイリング画像に対する肯定的意思を示す操作に基づいて、その利用者に印象語句を関連付ける。例えば、利用者は推奨スタイリング要求に含まれる指定利用者１０７の情報により識別可能である。具体例としては、利用者傾向推定部２３は、利用者が肯定的意思を示す操作を行ったスタイリング画像４０３に関連付けられた印象語句をその利用者に関連付け、利用者と印象語句との関連付けを利用者傾向情報として記録する。

図１４は、利用者傾向情報を例示する概念図である。利用者傾向情報１０６には、各利用者について、その利用者を個々に識別する利用者識別情報（ＩＤ）と、その利用者に関連付けられた印象語句（関連印象語句５０２）とが互いに関連付けて記録されている。ひとりの利用者に複数の関連印象語句５０２を関連付けることもできる。

利用者傾向情報１０６利用者へ推奨するファッションスタイリングを追加するのに利用することができる。例えば、推奨スタイリング決定部２４は、利用者傾向情報１０６を参照し、利用者に関連づけられた印象語句に基づいて、利用者にファッションスタイリングを追加で推奨するためのスタイリング画像１０４を抽出することにしてもよい。これによれば、利用者が好むファッションスタイリングを示す印象語句を利用者に関連付けることができるので、印象語句による表現で利用者の好みを推定し、好みに合うファッションスタイリングを利用者に推奨することができる。

また、本実施形態のスタイリング推奨システム１では、印象語句を指定してファッションスタイリングの推奨を得る利用者の利便性を向上するように、スタイリングベース情報１０５を拡張する機能をも備えている。

印象語句拡張部２２は、スタイリング画像１０４の画像同士の特徴の共通性および／または印象語句同士の類似性を利用し、スタイリングベース情報１０５におけるスタイリング画像１０４と印象語句との関連付けに基づいて、スタイリング画像に関連付けられる印象語句を増加させる。これにより、画像同士の特徴の共通性および／または印象語句同士の類似性を利用してスタイリング画像に、より多くの印象語句を関連づけることができるので、スタイリングベース情報の中から所望のファッションスタイリングを抽出する際に、より多くの印象語句を利用することが可能となる。

印象語句同士の類似度を算出する方法として、例えば、ウェブサイトやＳＮＳでの共起性に基づいて印象語句同士は類似度を算出することにしてもよい。共起頻度が高いほど類似度が高いとすることにすればよい。
以下、スタイリングベース情報１０５の拡張の具体例について説明する。

印象語句拡張部２２は、あるスタイリング画像（第１スタイリング画像）に関連付けられている印象語句（第３印象語句）と類似する印象語句（第４印象語句）をそのスタイリング画像（第１スタイリング画像）に関連付けることができる。ここで「類似する」とは、例えば、類似度が所定の閾値を超えていることを言うことにしてもよい。

また、印象語句拡張部２２は、あるスタイリング画像（第２スタイリング画像）に関連づけられた印象語句（第５印象語句）に類似する印象語句（第６印象語句）を、第５印象語句が関連付けられているスタイリング画像（第３スタイリング画像）に第６印象語句を関連付けることにしてもよい。

また、印象語句拡張部２２は、あるスタイリング画像（第４スタイリング画像）と共通する特徴を有するスタイリング画像（第５スタイリング画像）に、第４スタイリング画像に関連付けられている印象語句（第７印象語句）を関連付けることにしてもよい。
また、印象語句拡張部２２は、上記第５スタイリング画像に、上記第７印象語句に類似する印象語句（第８印象語句）を関連付けることにしてもよい。

また、印象語句拡張部２２は、第６スタイリング画像に肯定的意思を示す操作を行った利用者に関連付けられている印象語句に基づいて、その第６スタイリング画像に印象語句を関連付けることにしてもよい。具体的には、第６スタイリング画像に肯定的意思を示す操作を行った利用者に関連付けられている印象語句を第６スタイリング画像に関連付けてもよい。他の例として、利用者が肯定的意思を示したスタイリング画像に対する印象語句の選択を促し、選択された印象語句をそのスタイリング画像に関連付けることにしてもよい。これにより、利用者と印象語句との関連付けを利用して、スタイリング画像１０４への印象語句の関連付けを増やすことができる。

図１５は、本実施形態における学習装置および推奨装置のハードウェア構成を示す図である。本実施形態では、学習装置１０と推奨装置２０は、有線または無線あるいはそれら両方を含むＬＡＮやＷＡＮ等の通信ネットワークで相互に接続される。推奨装置２０は有線または無線あるいはそれら両方を含むインターネット等の通信ネットワークに接続される。

学習装置１０および推奨装置２０はいずれも、ハードウェアとして、プロセッサ３１、メインメモリ３２、記憶装置３３、通信装置３４、入力装置３５、および表示装置３６を有し、それらがバス３７に接続されている。

記憶装置３３は、書込みおよび読み出しが可能にデータを記憶するものである。プロセッサ３１は、記憶装置３３に記憶されたデータをメインメモリ３２に読み出し、メインメモリ３２を利用してソフトウェアプログラムの処理を実行するプロセッサである。通信装置３４は、プロセッサ３１にて処理された情報を有線または無線あるいはそれら両方を含む通信ネットワークを介して送信し、また通信ネットワークを介して受信した情報をプロセッサ３１に伝達する。受信した情報はプロセッサ３１にてソフトウェアの処理に利用される。入力装置３５は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報はプロセッサ３１にてソフトウェア処理に利用される。表示装置３６は、プロセッサ３１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。

上述した本実施形態は例示であり、発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

例えば、本実施形態では、利用者が、利用者端末９２を用いて推奨装置２０に接続し、推奨装置２０から推奨スタイリングの提供を受ける構成を例示したが、本構成に限定されることはない。他の例として、利用者が推奨装置２０を直接操作できるものとしてもよい。その場合、利用者は推奨装置２０の画面表示を見ながら推奨装置２０に対して操作入力を行うことで推奨スタイリングの要求を行い、推奨装置２０の画面上に表示される推奨スタイリングを見ることができる。

また、本実施形態では、学習装置１０と推奨装置２０が別個の装置である例を示すが、それらは一体であってもよい。あるいは、学習装置１０は印象語句推定モデル１０３を生成するときだけ存在すればよいので、推奨装置２０による推奨スタイリングの利用者への提供を行う段階では、推奨装置２０だけであってもよい。

また、本実施形態では、スタイリング画像と印象語句との関係をサポートベクタマシンにより機械学習する例を示したが、本構成に限定されることはない。他の様々なモデルをスタイリング画像と印象語句との関係の機械学習に用いることができる。

また、本実施形態では、三値分類情報を二値分類情報に変換して機械学習に用いる例を示したが、本構成に限定されることはない。他の例として、三値分類情報をそのまま機械学習に用いることにしてもよい。

また、本実施形態では、図１１に示したように、スタイリングベース情報として、あるスタイリング画像がある印象語句に該当するか否かという情報を記録する例を示したが、本構成に限定されることはない。他の例として、印象語句推定モデル１０３により算出されるスコアを、該当するか否かに替えて、スタイリングベース情報として記録することにしてもよい。その場合、推奨スタイリング決定部２４は、そのスコアに基づいて、推奨スタイリングとするスタイリング画像を抽出すればよい。例えば、複数の指定印象語句が指定された場合、それら複数の指定印象語句のスコアの平均値が所定の閾値を超えていたら推奨するスタイリング画像とすることにしてもよい。

また、本実施形態では、ファッションスタイリングを示すスタイリング画像に印象語句を関連付けて、スタイリングの推奨に利用する例を示したが、本構成に限定されることはない。画像に印象語句を関連付ける装置は、他の様々な分野で広く利用可能である。例えば、絵画に印象語句を関連付けて、印象語句による絵画の検索に利用可能とすることもできる。また、人物に印象語句を関連付けて、印象語句による人物の抽出に利用可能とすることもできる。また、印象語句を関連付ける対象は画像でなくてもよい。例えば、音楽に印象語句を関連付けて、印象語句による音楽の検索に利用可能とすることもできる。また、人物の声に印章語句関連付けて、印象語句による声あるいは人物の検索に利用可能とすることもできる。

また、本実施形態では、ファッション画像におけるアイテム領域の色と形状の特徴量を用いる例を示したが、これに限定されることはない。色と形状のいずれか一方の特徴量を用いる構成であってもよいし、色と形状の特徴だけでなく他の特徴量も用いる構成であってもよい。例えばバッグの位置やアクセサリの大きさの特徴量を利用してもよい。

１…スタイリング推奨システム、１０…学習装置、１１…特徴量取得部、１２…分類情報取得部、１３…モデル生成部、１４…記憶部、２０…推奨装置、２１…印象推定部、２２…印象語句拡張部、２３…利用者傾向推定部、２４…推奨スタイリング決定部、２５…記憶部、３１…プロセッサ、３２…メインメモリ、３３…記憶装置、３４…通信装置、３５…入力装置、３６…表示装置、３７…バス、９１…ネットワーク、９２…利用者端末、１０１…学習用スタイリング画像、１０２…三値分類情報、１０３…印象語句推定モデル、１０４…スタイリング画像、１０５…スタイリングベース情報、１０６…利用者傾向情報、１０７…指定利用者、１０８…指定印象語句、１０９…推奨スタイリング、２０１…二値分類情報、２０２…特徴量、４０１…印象語句選択領域、４０２…実行ボタン、４０３…スタイリング画像、４０４…マーク、５０２…関連印象語句

Claims (14)

1. 学習用スタイリング画像のそれぞれに対する、互いに反対の意味を持つ第１印象語句と第２印象語句からなる印象語句対について、前記第１印象語句に該当するか、前記第２印象語句に該当するか、何れにも該当しないかという三値のラベルによる第１分類情報と、前記学習用スタイリング画像におけるアイテム領域の特徴量と、に基づく機械学習により生成された、各印象語句とスタイリング画像の関係を推定するための印象語句推定モデルに基づいて、スタイリング画像に対して、前記第１印象語句に該当するか否かと、前記第２印象語句に該当するか否かと、に関する推定処理を行う印象推定部と、
   前記推定処理に基づく前記スタイリング画像と印象語句との関係を示すスタイリングベース情報を記憶する記憶部と、
   を有するスタイリングデータベース管理システム。
2. 画像同士の特徴の共通性および／または印象語句同士の類似性を利用し、前記スタイリングベース情報におけるスタイリング画像と印象語句との関連付けに基づいて、前記スタイリング画像に関連付けられる印象語句を増加させる印象語句拡張部を更に有する、
   請求項１に記載のスタイリングデータベース管理システム。
3. 前記印象語句拡張部は、第１スタイリング画像に関連付けられている第３印象語句と類似する第４印象語句を前記第１スタイリング画像に関連付ける、
   請求項２に記載のスタイリングデータベース管理システム。
4. 前記印象語句拡張部は、第２スタイリング画像に関連づけられた第５印象語句に類似する第６印象語句を、前記第５印象語句が関連付けられている第３スタイリング画像に前記第６印象語句を関連付ける、
   請求項２に記載のスタイリング推奨システム。
5. 前記印象語句拡張部は、第４スタイリング画像と共通する特徴を有する第５スタイリング画像に、前記第４スタイリング画像に関連付けられている第７印象語句を関連付ける、
   請求項２に記載のスタイリングデータベース管理システム。
6. 前記印象語句拡張部は、前記第５スタイリング画像に、前記第７印象語句に類似する第８印象語句を関連付ける、
   請求項５に記載のスタイリングデータベース管理システム。
7. 指定された印象語句に基づいて、前記スタイリングベース情報の中から所望のスタイリング画像を抽出する抽出部を更に有する、
   請求項１に記載のスタイリングデータベース管理システム。
8. 利用者によるスタイリング画像に対する肯定的意思を示す操作に基づいて前記利用者に印象語句を関連付ける利用者傾向推定部を更に有し、
   前記抽出部は、更に、前記利用者に関連づけられた印象語句に基づいて、前記利用者にファッションスタイリングを推奨するためのスタイリング画像を抽出する、
   請求項７に記載のスタイリングデータベース管理システム。
9. 第６スタイリング画像に肯定的意思を示す操作を行った利用者に関連付けられている印象語句に基づいて、前記第６スタイリング画像に印象語句を関連付ける印象語句拡張部を更に有する、
   請求項８に記載のスタイリングデータベース管理システム。
10. 前記抽出部は、前記抽出したスタイリング画像と、当該スタイリング画像の抽出に用いた前記印象語句とを画面に表示する、
    請求項７に記載のスタイリングデータベース管理システム。
11. 学習用スタイリング画像のそれぞれに対する、前記第１印象語句に該当するか、前記第２印象語句に該当するか、何れにも該当しないかという三値のラベルによる前記第１分類情報を取得する分類情報取得部と、
    前記学習用スタイリング画像におけるアイテム領域の特徴量を取得する特徴量取得部と、
    前記学習用スタイリング画像を対象として前記第１分類情報と前記特徴量に基づく機械学習により、印象語句とスタイリング画像の関係を推定するための印象語句推定モデルを生成するモデル生成部と、
    を更に有する請求項１に記載のスタイリングデータベース管理システム。
12. 前記モデル生成部は、前記第１分類情報における前記印象語句対に関する三値のラベルを、前記第１印象語句に該当するかそうでないか、前記第２印象語句に該当するかそうでないか、という印象語句毎の二値のラベルによる分類に分解した第２分類情報を生成し、前記学習用スタイリング画像を対象として前記第２分類情報と前記特徴量の関係を機械学習し、前記印象語句推定モデルを生成する、
    請求項１１に記載のスタイリングデータベース管理システム。
13. 前記モデル生成部は、前記学習用スタイリング画像を対象として前記第２分類情報と前記特徴量の関係をサポートベクタマシンにて学習し、前記印象語句推定モデルを生成する、
    請求項１２に記載のスタイリングデータベース管理システム。
14. コンピュータが、
    学習用スタイリング画像のそれぞれに対する、反対の意味を持つ第１印象語句と第２印象語句からなる印象語句対について、前記第１印象語句に該当するか、前記第２印象語句に該当するか、何れにも該当しないかという三値のラベルによる第１分類情報と、前記学習用スタイリング画像におけるアイテム領域の特徴量を取得する特徴量取得部と、に基づく機械学習により生成された、各印象語句とスタイリング画像の関係を推定するための印象語句推定モデルに基づいて、スタイリング画像に対して、前記第１印象語句に該当するか否かと、前記第２印象語句に該当するか否かと、を判定し、
    前記スタイリング画像と、該スタイリング画像が該当する印象語句とを関連付けたスタイリングベース情報を記憶する、
    スタイリングデータベース管理方法。

Images