JP7388649B1 - 服装提案装置、服装提案方法、服装提案プログラム - Google Patents

Abstract

【課題】ユーザに似合う服装を提案することができる服装提案装置を提供することを目的とする。【解決手段】 服装提案装置は、人物の顔画像と、当該顔画像の人物に似合う１以上の服装の種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶部と、対象のユーザの顔画像の入力を受け付ける受付部と、受付部が受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定部と、特定部が特定した種別情報を出力する出力部と、を備える。【選択図】図２

Description

本発明は、ユーザの顔画像に基づいてユーザに似合う服装を提案することができる服装提案装置、服装提案方法及び服装提案プログラムに関する。

従来、ユーザは自身の衣服を自身の好み等に応じて自分に似合うと思う服装を購入して使用する。しかしながら、ユーザが自身で選んだ服装が当該ユーザに必ずしも似合っているとは言えない場合がある。そこで、特許文献１には、服飾商品と顔特徴を示す顔特徴ＩＤとを組み合わせた顔－商品データベースを利用して、入力された顔画像の顔の特徴量のユーザに似合うファッションアドバイス情報を提供するファッションアドバイジングシステムが開示されている。また、特許文献２にも同様に、商品と顔タイプとを対応付けた情報を利用して、カメラにより撮像された顔画像の顔タイプを特定して、当該顔の利用者に似合う衣類を特定する情報処理システムを開示している。

特開２００８－１０８２８７号公報 特開２０２２－１７３１３７号公報

しかしながら、上記特許文献１や特許文献２では、ユーザの顔特徴と衣服とを一意に対応付けるため、特許文献１や特許文献２によりユーザに似合うとして特定される衣服はいつでも同じものが提示されることになるので、提案する衣服に多様性に欠けるという問題がある。

本発明は上記問題に鑑みてなされたものであり、多様性に富んだユーザに似合う服装を提案することができる服装提案装置を提供することを目的とする。

本発明の一実施態様に係る服装提案装置は、人物の顔画像と、当該顔画像の人物に似合う１以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶部と、対象のユーザの顔画像の入力を受け付ける受付部と、受付部が受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定部と、を備える。

また、上記服装提案装置において、記憶部は、さらに、衣服と、種別情報と、を対応付けた対応情報を記憶し、特定部が特定した種別情報と対応情報と、に基づいて、ユーザに似合う衣服を提案する提案部と、提案部が提案する衣服の情報を出力する出力部と、を備えることとしてもよい。

また、上記服装提案装置において、受付部は、更に、ユーザの全身像を示す全身画像を複数受け付け、全身画像に基づいて、提案部が提案する衣服をユーザがまとった状態を示す着装画像を生成する生成部を備え、出力部は、提案部が提案する衣服の情報として、着装画像を出力することとしてもよい。

また、上記服装提案装置において、生成部は、ユーザを美化する美化処理を行った着装画像を生成することとしてもよい。

また、上記服装提案装置において、服装提案装置は、更に、ユーザの嗜好を示す嗜好情報を取得する取得部を備え、提案部は、種別情報と対応情報と、に基づいて特定される衣服のうち、ユーザの嗜好にあう衣服を提案することとしてもよい。

また、上記服装提案装置において、記憶部は、衣服を販売する販売店の情報を記憶し、ユーザから提案部により提案された衣服に対する所定の入力を受け付ける入力部と、出力部は、所定の入力を受け付けた場合に、衣服に対応する販売店の情報を出力することとしてもよい。

また、上記服装提案装置において、種別情報を出力する出力部を備えることとしてもよい。

また、上記服装提案装置において、特定部は、ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、出力部は、特定部が特定した種別情報と度合いに基づくヒートマップを出力することとしてもよい。

また、本発明の一実施態様に係る服装提案方法は、コンピュータが、人物の顔画像と、当該顔画像の人物に似合う１以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶ステップと、対象のユーザの顔画像の入力を受け付ける受付ステップと、受付ステップが受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定ステップと、特定ステップが特定した種別情報を出力する出力ステップと、を実行する。

また、本発明の一実施態様に係る服装提案プログラムは、コンピュータに、人物の顔画像と、当該顔画像の人物に似合う１以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶機能と、対象のユーザの顔画像の入力を受け付ける受付機能と、受付機能が受け付けた顔画像と、学習済みモデルと、を用いて、ユーザに似合う服装の種別情報を特定する特定機能と、特定機能が特定した種別情報を出力する出力機能と、を実現させる。

本開示に係る服装提案装置は、まず、ユーザに似合う服装の種別を特定することができる。したがって、服装提案装置は、一例として、その種別に基づいて多様性に富んだユーザに似合う服装の種別を提案したり、ユーザに似合う衣服を提案したりすることができる。

服装提案システムのシステム構成例を示すシステム図である。 服装提案装置の構成例を示すブロック図である。 服装の種別のマップ例を示す図である。 （ａ）入力される顔画像の例である。（ｂ）入力される全身像の例である。 ユーザに似合う服装の識別情報を示したヒートマップの例である。 ユーザに似合う衣服を着装させた状態の出力例である。 ユーザに似合う服装の識別情報を出力する際の処理例を示す第１のフローチャートである。 ユーザに似合う衣服を着装させた状態を出力する際の処理例を示す第２のフローチャートである。

以下、本発明に係る服装提案装置、服装提案方法、服装提案プログラムについて、図面を参照しながら、詳細に説明する。

＜実施の形態＞
以下、図面を参照しながら、本発明に係る服装提案装置について詳細に説明する。

図１は、服装提案装置を含む通信システムの構成例を示すシステム図である。服装提案装置１００は、ネットワーク４０を介して、外部の装置、例えば、ユーザの情報処理端末２００と通信可能に接続されている。

図１に示すように、ユーザは自身の情報処理端末２００を利用して服装提案装置１００にアクセスする。ユーザは自身の情報処理端末２００から、服装提案装置１００に対して、自身の顔画像及び全身画像の撮像写真を送信する。服装提案装置１００は、受け付けた顔画像に基づいて、ユーザに似合う服装の種別を特定し、特定した種別に沿う衣服を特定する。そして、服装提案装置１００は、情報処理端末２００に、特定したユーザに似合う服装の種別を示す種別情報またはユーザに似合う衣服をまとった状態の着装写真、あるいはその両方を送信する。これにより、ユーザは、自身に似合う服装の種別や衣服を認識することができる。

なお、服装提案装置１００は、特定した服装の種別に沿う衣服を販売する店舗３０の情報あるいはホームページ、あるいは、ＥＣサイトのＵＲＬを情報処理端末２００に送信してよく、これを受けて情報処理端末２００は、店舗３０のサイト情報にアクセスして衣服を購入してもよい。

また、ネットワーク４０は、各種の機器との間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。具体的には、ネットワークは、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、第６世代（６Ｇ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）、イーサネット（登録商標）などである。また、ネットワークは、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥースローエナジー（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、光回線、衛星通信網など、どのようなネットワークであってもよい。また、ネットワークは、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。

以下、服装提案装置１００について詳細に説明する。

＜構成＞
図２は、服装提案装置１００の構成例を示すブロック図である。服装提案装置１００は、ユーザの顔画像の入力を受け付けて、顔画像が示す顔形のユーザに似合う服装の種別を特定し、その情報をユーザに提供することができる情報処理装置（コンピュータシステム）である。また、服装提案装置１００は、特定した種別に合致する服装の情報を提供する情報処理装置であってもよく、当該服装の情報は衣服だけの写真であってもよいが、本実施形態においては、ユーザが当該衣服を着装した状態の画像を衣服の情報として提供する。服装提案装置１００は、複数のユーザの情報処理端末からのアクセスを受けて情報を提供するサーバ装置として実現されてよいが、ＰＣやタブレット端末などによって実現されてもよい。

図２に示すように、服装提案装置１００は、通信部１１０と、入力部１２０と、出力部１３０と、記憶部１４０と、制御部１５０と、を備える。

通信部１１０は、ネットワーク４０を介して、ユーザの情報処理端末２００と通信する通信インターフェースである。通信部１１０は、受信した情報を制御部１５０に伝達する。また、通信部１１０は、制御部１５０からの指示にしたがって、指定された情報を指定された宛先に送信する。通信部１１０は、例えば、ユーザの情報処理端末２００から送信されたユーザの顔画像と全身画像とを受信し、制御部１５０に伝達する。また、通信部１１０は、例えば、制御部１５０からの指示にしたがって、ユーザに似合う服装の種別を示す情報やユーザに似合う衣服の情報をユーザの情報処理端末２００に送信する。

入力部１２０は、服装提案装置１００のユーザ（例えば、オペレータ等）からの入力を受け付けて、受け付けた入力内容を制御部１５０に伝達する。入力部１２０は、服装提案装置１００のキーボードやマウスなどによって実現されてよく、フラッシュメモリ等の接続ポートにより実現されてもよい。入力部１２０は、一例として、接続されたフラッシュメモリに記憶されているユーザの顔画像と全身画像と、を制御部１５０に伝達することとしてよい。

出力部１３０は、制御部１５０からの指示にしたがって、指定された情報を出力する。出力部１３０による出力は、例えば、服装提案装置１００に接続されているモニタによる文字や画像による出力、服装提案装置１００に接続されているスピーカによる音声による出力、通信部１１０を介して通信による外部の装置への出力などにより実現される。出力部１３０は、一例として、ユーザに似合う服装の種別を示すヒートマップを通信部１１０を介して、ユーザの情報処理端末２００に送信してもよいし、ユーザに似合う衣服を着装した状態の合成写真をユーザの情報処理端末２００に送信してもよい。

記憶部１４０は、服装提案装置１００が動作上必要とする各種プログラム及びデータを記憶する。記憶部１４０は、一例として、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどにより実現されてよいが、これらに限定するものではない。記憶部１４０は、ユーザに似合う服装の種別を特定してヒートマップを生成するためのプログラムや、ユーザに似合う服装を提案するためのプログラムを記憶していてよい。また、記憶部１４０は、ユーザに似合う服装の種別を特定するために用いる学習済みモデル１４１を記憶していてよく、各種の服装の種別に対応する実際の衣服を示す衣服情報１４２を対応情報として記憶していてよい。なお、記憶部１４０は、服装提案装置１００がアクセス可能なネットワーク４０上のクラウドストレージにより実現されてもよい。

学習済みモデル１４１は、ユーザの顔画像に基づいて、ユーザに似合うデザインの種別を特定するためであって、本実施の形態においてはユーザに似合う服装の種別を特定するための学習モデルであり、ユーザの正面を撮像した顔画像を入力として、予め定められた服装の種別それぞれに対して似合う度合いを出力するモデルである。学習済みモデル１４１は、様々なユーザの顔画像それぞれに対して似合う服装の種別を示す情報を対応付けた情報を教師データとして学習した学習モデルであってよい。また、あるいは、学習済みモデル１４１は、様々なユーザの顔画像それぞれに対して予め定められた服装の種別それぞれが似合う度合いを示す情報を対応付けた情報を教師データとして学習した学習モデルであってもよい。学習済みモデル１４１は、服装の種別について、ユーザに似合う複数の種別を出力するものであることが望ましく、似合う度合いが高いものから所定数の種別情報を出力するものであってもよいし、種別全てについての似合う度合いを出力するものであってもよい。なお、学習済みモデル１４１は、所謂、機械学習、深層学習により生成されるモデルであってよく、公知のニューラルネットワーク、サポートベクタマシン、ナイーブベイズなどにより実現されてよいが、これらに限定するものではない。

衣服情報１４２は、衣服の種別を示す種別情報と、衣服を示す情報と、が対応付けられた情報であり、種別情報に基づいて、当該種別情報が示す衣服の種別に対応する衣服を特定可能な情報である。衣服情報１４２は、衣服を示す情報として、衣服の写真や名称を記憶していてよく、当該衣服を着装したモデル画像を記憶していてもよい。また、各衣服に対して、複数の種別情報が対応付けられてもよい。

制御部１５０は、服装提案装置１００の各部を制御する機能を有するプロセッサである。制御部１５０は、記憶部１４０に記憶される各種データを利用し、各種プログラムを実行することで、服装提案装置１００として果たすべき機能を果たす。

制御部１５０は、受付部１５１と、特定部１５２、提案部１５３、生成部１５４として機能する。

受付部１５１は、服装の種別あるいは衣服を提案する対象のユーザの顔画像の入力を受け付ける。また、受付部１５１は、当該ユーザの全身画像の入力を受け付ける。受付部１５１は、当該顔画像や全身画像を、通信部１１０や入力部１２０から受け付ける。受付部１５１は、受け付けた顔画像を特定部１５２に伝達する。また、受付部１５１は、受け付けた全身画像を提案部１５３及び生成部１５４に伝達する。受付部１５１は、一例として、図４（ａ）、（ｂ）に示すような顔画像４００及び全身画像４１０を受け付ける。なお、全身画像４１０は、なるべくユーザの全身が写っていることが望ましいが、図４（ｂ）に示すように、一部（例えば、足元）が欠けていてもよい。また、全身画像は異なる角度から撮像された複数枚があることが望ましく、ポーズの異なる画像もあるとなおよい。

特定部１５２は、受付部１５１から伝達された顔画像に基づいて、ユーザに似合う服装の種別を特定する。特定部１５２は、伝達された顔画像を、学習済みモデル１４１に入力して、顔画像のユーザに似合う服装の種別を特定する。特定部１５２は、学習済みモデル１４１が特定したユーザに似合う服装の種別を示す種別情報を生成する。種別情報は、服装の種別を示す文字列や各種別情報に適合する度合い（数値）を示す情報であってもよいが、本実施形態においては、種別情報を特定可能なヒートマップとして、出力部１３０に出力させる。即ち、特定部１５２は、種別情報として、服装の種別を示す情報が分布するマップ上において、どの種別が似合うのかを示すヒートマップを生成し、出力部１３０に出力させる（通信部１１０を介して情報処理端末２００に送信させる）こととしてよい。

ここで、服装の種別を示す種別情報のマップ３００について説明する。図３は、本実施形態に係る服装提案装置１００により、ユーザに対して似合うと提案する服装の種別を示すマップであり、本実施形態においては服装の種別として、「キュートアイドル系」、「クリアスポーティ系」、「ソフトカジュアル平穏系」、「カジュアル人気者系」、「フェミニン癒し系」、「スポーティ体育会系」、「ダイナミック大胆系」、「エスニック民族系」、「ワイルド戦士系」、「トラディショナル探偵系」、「クラシックアンティーク系」、「ダンディアニキ系」、「ロマンティックファンタジー系」、「ナチュラルオーガニック系」、「ノーブル皇族系」、「ソフトモダンクール系」、「ゴージャスセレブ系」、「ハードモダン宇宙系」、「エレガントゴージャス華族系」、「ソフトエレガント妖精系」、「エレガントパリジェンヌ系」、「フォーマル学者系」の２２種を規定しており、マップ３００上において図示のように配置されている。図３に示すマップ３００は、フェミニン－マスキュリンを縦軸に、スタティック－ダイナミックを横軸にしたマップである。図３のマップ３００において上に行くほど女性的な服装の種別、下に行くほど弾性的な服装の種別となる。また、マップ３００において右に行くほど落ち着いた印象の服装となり、左に行くほど、活動的、行動的な服装の種別となる。したがって、マップ３００においては、左上の方が、客観的に親近感の湧きやすい服装種別となり、右上の方が、洗練間のある服装種別となり、左下の方が、力動感のある服装種別となり、右下の方が、信頼感のある服装種別となり、中央寄りになると自然感のある印象を与える服装種別となる。

そして、当該マップ３００に対して、特定部１５２は、ユーザに似合うと特定された服装種別がより強い色合いや目立つ色合いとなるように、一例として、図５に示すようなヒートマップ５００を生成し、出力部１３０に出力させてよい。図５に示すヒートマップ５００の例では、ハッチング３１０、３２０に示されるように、ユーザは、「ソフトモダンクール系」や「エレガントゴージャス華族系」に強い適性がある（ユーザに似合う）ことが示されている。また、当該ユーザは、「ノーブル皇族系」、「ナチュラルオーガニック系」、「ゴージャスセレブ系」、「フォーマル学者系」も、「ソフトモダンクール系」や「エレガントゴージャス華族系」と比べると似合う度合いは落ちるものの、ユーザに似合う服装の種別として特定されていることがわかる。このように、特定部１５２は、ユーザの顔画像に基づいて、ユーザに似合う服装の種別を特定することができ、その情報を出力することができる。したがって、特定部１５２は、ユーザに似合う服装の種別として、複数の種別情報を特定することができるので、ユーザに多様性に富んだ服装提案をすることができる。

特定部１５２は、特定した服装種別を提案部１５３に伝達する。

提案部１５３は、特定部１５２が特定した服装種別に対応する衣服を、衣服情報１４２を参照して、特定する。そして、提案部１５３は、特定した衣服の情報を、出力部１３０に出力する（通信部１１０を介してユーザの情報処理端末２００に送信する）ように指示する。これにより、ユーザは、自身の似合う衣服について認識することができる。また、提案部１５３がユーザに提案する衣服の情報は、生成部１５４により生成された当該衣服をユーザが着装した状態の着装画像であってもよい。

生成部１５４は、提案部１５３が特定した衣服と、受付部１５１から受け付けた全身画像とに基づいて、ユーザが、提案部１５３が特定した衣服を着装した、着装画像を生成し、提案部１５３に伝達する。生成部１５４は、一例として、衣服情報１４２に記憶されている衣服を着装したモデル画像と、受け付けた全身画像とで、ポーズの似ている対を特定し、特定したモデル画像に、ユーザの顔画像を合成しつつ、自然な印象になるように加工を施して、着装画像を生成する。

また、生成部１５４は、当該加工として、ユーザを美化する美化処理を行うものであってよく、ユーザの見栄えが良くなるように各種の加工を施してもよい。ここでいう加工とは、ユーザに似合うメイクを施したり、ユーザの肌のホワイトニングであったり、しわ取りであったり、多少のスリム化、スマート化であったり、ユーザに似合う小物の追加であったり、目を二重にしたり、まつげを長くしたりなどの加工であってよい。これらの画像の加工については、既存の各種アルゴリズム（例えば、写真アプリ）を利用することができる。図６は、図４（ａ）、（ｂ）に示すユーザの画像に基づいて、提案部１５３により特定された衣服をユーザに着装させた状態の着装画像の一例であって、美化処理を施した例を示している。

生成部１５４は、生成したユーザが似合う衣服を着装した状態の着装画像を、提案部１５３に伝達する。

以上が、服装提案装置１００の構成例である。なお、ユーザの情報処理端末２００は一般的なスマートフォンや携帯電話、ノートＰＣ、タブレット端末と同様であるので、その詳細な説明は省略する。

＜動作＞
ここから、服装提案装置１００の動作例を説明する。図７は、服装提案装置１００によるユーザに対してユーザが似合う服装の種別情報の出力を行う動作例を示す第１のフローチャートである。

図７に示すように、服装提案装置１００の制御部１５０の受付部１５１は、ユーザの顔画像の入力を受け付ける（ステップＳ７０１）。受付部１５１は、受け付けた顔画像を特定部１５２に伝達する。

特定部１５２は、受付部１５１からユーザの顔画像を伝達されると、当該顔画像に基づいて、ユーザに似合う服装の種別を特定する。即ち、特定部１５２は、伝達された顔画像を学習済みモデル１４１に入力する。そして、特定部１５２は、学習済みモデル１４１から出力された服装の種別情報に対して似合う度合いを示す情報に基づいて、ユーザに似合う服装の種別を特定する。即ち、服装の種別情報に対して似合う度合いが高い種別を特定する（ステップＳ７０２）。

特定部１５２は、特定した種別に基づいて、ユーザに似合う服装の種別を示すヒートマップ（一例として、図５参照）を作成する（ステップＳ７０３）。

そして、提案部１５３は、作成したヒートマップを、ユーザに似合う服装の種別を示す種別情報として、出力部１３０に出力させる。出力部１３０は、指定された種別情報（ヒートマップ）を、通信部１１０を介して、情報処理端末２００に送信し（ステップＳ７０４）、処理を終了する。

図７に示す処理により、服装提案装置１００は、ユーザに対して、ユーザに似合う服装の種別を提示することができる。したがって、ユーザは自身に似合う服装の種別を認識することができ、例えば、今後の衣服の購入の参考にすることができる。なお、特定部１５２は、ヒートマップではなく、特定した服装の種別を示す文字列を出力することとしてもよい。

図８は、服装提案装置１００によるユーザに対してユーザが似合う衣服の情報を出力する動作例を示す第２のフローチャートである。なお、図８において、ステップＳ７０１、Ｓ７０２の処理は、図７に示した同じ符号の処理と同様である。

図８に示すように、服装提案装置１００の制御部１５０の受付部１５１は、ユーザの顔画像の入力を受け付ける（ステップＳ７０１）。受付部１５１は、受け付けた顔画像を特定部１５２に伝達する。

特定部１５２は、受付部１５１からユーザの顔画像を伝達されると、当該顔画像に基づいて、ユーザに似合う服装の種別を特定する。即ち、特定部１５２は、伝達された顔画像を学習済みモデル１４１に入力する。そして、特定部１５２は、学習済みモデル１４１から出力された服装の種別情報に対して似合う度合いを示す情報に基づいて、ユーザに似合う服装の種別を特定する。即ち、服装の種別情報に対して似合う度合いが高い種別を特定する（ステップＳ７０２）。特定部１５２は、特定した服装の種別情報を提案部１５３に伝達する。

提案部１５３は、特定部１５２から伝達された種別情報に基づいて、ユーザに似合う衣服を特定する（ステップＳ８０３）。即ち、提案部１５３は、伝達された種別情報が対応付けられている衣服を、衣服情報１４２を参照して特定する。提案部１５３は、衣服情報１４２から複数の衣服を特定してもよく、最も似合うと想定される１つだけを特定してもよい。また、複数を提案する場合に、似合う度合いが高いものから順に所定数を特定するようにしてもよい。ここでいう似合う度合いは、一例として、ユーザに似合う服装の種別情報が複数あって、衣服に対して複数の種別情報が対応付けられている場合に、そのマッチング数が多いものが似合う度合いが高いとしてもよい。提案部１５３は、特定した衣服の情報を生成部１５４に伝達する。

受付部１５１は、ユーザの全身画像の入力を受け付ける（ステップＳ８０４）。受付部１５１は受け付けた全身画像を生成部１５４に伝達する。

生成部１５４は、伝達された全身画像と、提案部１５３が特定した衣服の情報と、に基づいて、ユーザが当該衣服を着装した状態を示す着装画像を生成する（ステップＳ８０５）。このとき、生成部１５４は、ユーザを美化する美化処理を施した着装画像を生成してもよい。生成部１５４は、生成した着装画像を提案部１５３に伝達する。

そして、提案部１５３は、生成部１５４から伝達された着装画像を出力するよう、出力部１３０に指示する。そして、出力部１３０は、伝達された着装画像を、通信部１１０を介して、ユーザの情報処理端末２００に送信し（ステップＳ８０６）、処理を終了する。

これにより、服装提案装置１００は、ユーザに似合う衣服を着たときにどのような雰囲気になるのかをユーザに示すことができる。したがって、ユーザに当該衣服の購買意欲を向上させることができる。なお、図８において、顔画像の入力と全身画像の入力を受け付けるタイミング（ステップＳ７０１とステップＳ８０４）を別にしているが、これは、同時であってもよい。

＜まとめ＞
本実施形態に係る服装提案装置１００によれば、ユーザに似合う衣服の種別情報を出力することができる。衣服そのものではなく衣服の種別を示す情報を提供することで、ユーザに似合う服装に多様性を持たせることができる。また、ユーザに似合う衣服そのものを提案することもでき、ユーザに当該衣服を着装した状態の着装画像を提供することで、ユーザの購買意欲を向上させることができる。また、当該着装画像に対して美化処理を施すことで、ユーザの購買意欲を更に向上させることもできる。

＜補足＞
上記実施の形態に係る服装提案装置１００は、上記実施の形態に示した態様に限定するものではない。以下、各種変形例について説明する。

（１） 上記実施の形態においては、服装提案装置１００は、ユーザの顔に基づいて、ユーザに似合う服装の種別を特定し、その種別に応じた衣服を提案する例を説明した。しかしながら、当然にユーザにも好みがあり、提案する衣服がユーザの好みにあうかどうかは別である。そこで、服装提案装置１００は、さらに、ユーザに似合い、かつ、ユーザの嗜好にも合致し得る衣服を提案するように構成されてもよい。

そのために服装提案装置１００の制御部１５０は、ユーザの嗜好を示す嗜好情報を取得する取得部を備えてもよい。取得部は、一例として、入力部１２０を介して、服装提案装置１００のオペレータ等により対象のユーザの嗜好を示す情報が入力されたことにより取得してもよいし、ユーザの情報処理端末から通信部１１０を介してユーザ自身により入力された嗜好情報を通信により取得してもよいし、ユーザの許可がある場合にユーザのＥＣサイト等における購買履歴を参照して、ユーザの嗜好情報を特定してもよいし、ユーザのブログ等がある場合には当該ブログに対する書き込み等を形態素解析等を利用して解析することでユーザの嗜好を解析して取得するようにしてもよい。

嗜好情報は、基本的に、ユーザの衣服に対する嗜好を示す情報であってよく、一例として、色の好みであったり、衣服の素材に対する好みであったり、衣服の形状に対する好みであったり、衣服の種別（例えば、スカートを好むのか、パンツを好むのかなど）の好みであったりしてよい。また、嗜好情報は、好みの衣服全体に対する雰囲気を示す（表現する）情報（例えば、フォーマル、カジュアル、フェミニン、キュート、スタイリッシュ、ダンディ等）であってもよい。

衣服情報１４２に登録される各衣服は、それぞれメタデータとして、当該衣服の特徴を示す情報が対応付けられる。当該メタデータは、衣服の色であったり、種別であったり、形状特徴を示す情報であったり、雰囲気を示す情報であったりしてよい。

そして、提案部１５３は、ユーザの顔に基づいて特定された衣服の中から、更に、ユーザの嗜好情報に合致する衣服、即ち、ユーザの嗜好情報のうち少なくとも１つに対応するメタデータを有する衣服を提案することとしてよい。このとき、提案部１５３は、ユーザの嗜好情報に合致するメタデータを多く有する衣服の優先度を高くし、その衣服をまとったユーザの合成画像を優先的に表示するように出力部１３０に指示してもよい。また、提案部１５３は、ユーザの好みに合わずとも、ユーザに似合う度合いが高いと判定した衣服については、例えば、「ユーザ様の好みからは外れるかもしれませんが、こちらのような服装も似合われるかと思います。」などと説明して、その衣服を提示してもよい。

このように、服装提案装置１００は、ユーザに似合うだけでなく、更に、ユーザに似合った上で、ユーザの好みにも合致しそうな服装を提案することができるので、ユーザの衣服の購買意欲を更に高めることができる。

（２） 上記実施の形態においては、服装提案装置１００は、ユーザに服装の種別を示す種別情報の出力、ユーザに似合う衣服をまとった状態の画像の出力を行う例を示した。しかし、服装提案装置１００は、更に、ユーザにその衣服を購入することができる店舗の紹介であったり、ＥＣサイトの情報を提供したりしてもよい。

これを実現するために、衣服情報１４２には、各衣服について、当該衣服を販売している店舗（店舗名や連絡先、所在など）の情報や、当該衣服を販売しているＥＣサイトのＵＲＬの情報なども含まれてよい。

そして、服装提案装置１００は、例えば、ユーザに似合う衣服をまとった状態の画像に対して、ユーザから所定の入力（例えば、衣服に対するタッチ入力など）があった場合に、ユーザにより入力される住所情報から近いその衣服を販売している店舗の場所等の情報を出力してもよい。また、服装提案装置１００は、店舗の場所などの情報に代えて、衣服を販売しているＥＣサイトのＵＲＬを表示したり、あるいは、直接ＵＲＬのＥＣサイトにアクセスしたりするように、構成してもよい。

こうすることで、ユーザが服装提案装置１００に提示された衣服を気に入った場合に、ユーザにすぐにその衣服を購入することができる環境を提示することができ、ユーザに対して利便性の高い服装提案装置１００を提供することができる。

（３） 上記実施の形態においては、服装提案装置１００は、ユーザに似合う衣服を提案する例を示した。しかし、服装提案装置１００は、当該衣服以外のものを提案する提案装置として構成されてもよい。上記実施の形態においては、種別情報をユーザに似合う服装の種別を規定するものとして説明したが、種別情報は、ユーザに似合うデザインの種別を規定する情報であるとも言うことができ、ユーザに関連するデザインを提案することに流量することができる。上記実施の形態に示した種別情報は、ユーザに似合う雰囲気を規定しているともいえ、ユーザに関連するものを提案することに流用することができる。

一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合う色を提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、色を示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応する色を提案部が特定する。そして、提案部は特定した色を示す情報をユーザに似合う色として出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う色を提案する装置となり、ユーザは、提案された色に基づいて、服を買ったり、車を買ったりなど何かを購入する際の参考にすることができる。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うメイクを提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、メイクを示す情報とを対応付けた対応情報を用いて、特定部１５２により特定される種別情報に対応するメイクを提案部が特定する。そして、提案部は特定したメイクを示す情報をユーザに似合う色として出力部１３０に出力させることとしてよい。
したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うメイクを提案する装置となり、ユーザは、当該メイクが施された顔画像を見て、今後のメイクの参考にすることができる。また、この時、提案装置は、ユーザに似合うメイクをすることができるサロンであって、ユーザが通いやすいサロンを提案したりしてもよい。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うヘアスタイルを提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、ヘアスタイルを示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応するヘアスタイルを提案部が特定する。そして、提案部は特定したヘアスタイルを示す情報をユーザに似合うヘアスタイルとして出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うヘアスタイルを提案する装置となり、当該ヘアスタイルになっているユーザの画像を見てユーザは今後のヘアスタイルの参考にすることができる。また、この時、提案装置は、ユーザに似合うヘアスタイルをすることができるヘアサロンであって、ユーザが通いやすいヘアサロンを提案したりしてもよい。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うネイルを提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、ネイルを示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応するネイルを提案部が特定する。そして、提案部は特定したネイルを示す情報をユーザに似合うネイルとして出力部１３０に出力させることとしてよい。学習済みモデル１４１は、ユーザの顔画像と、当該ユーザに似合うネイルを学習したモデルであってもよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うネイルを提案する装置となり、今後のネイルの参考にすることができる。また、この時、提案装置は、ユーザに似合うネイルを施すことができるネイルサロンであって、ユーザが通いやすいネイルサロンを提案したりしてもよい。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合う宝飾品（指輪やイヤリング、ピアス、ネックレス、カフス等）や小物（時計、タイ、ヘアバンド、バンダナ、靴、帽子など）を提案する装置であってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、宝飾品（あるいは小物）を示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応する宝飾品（あるいは小物）を提案部が特定する。そして、提案部は特定した宝飾品を示す情報をユーザに似合う宝飾品（あるいは小物）として出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う宝飾品や小物を提案する装置となり、今後の宝飾品や小物の購入の参考にすることができる。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うインテリアを提案する装置であってもよい。インテリアは、一例として、少なくとも荷電や家具、家屋等の内装品（例えば、壁紙や使用する木材やタイル等）のいずれかが含まれてよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、インテリアを示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応するインテリアを提案部が特定する。そして、提案部は特定したインテリアを示す情報をユーザに似合うインテリアとして出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うインテリアを提案する装置となり、今後のインテリアの購入の参考にすることができる。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合う不動産を提案する装置であってもよい。不動産は、一例として、家やアパート、マンション、店舗などであってよく、ビルや何らかの施設であってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、不動産を示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応する不動産を提案部が特定する。そして、提案部は特定した不動産を示す情報をユーザに似合う不動産として出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う不動産を提案する装置となり、今後の不動産の購入の参考にすることができる。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに似合うサービスを提案する装置であってもよい。サービスとしては一例として、旅行会社の旅行プランであってもよい。具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、サービス内容を示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応するサービス内容を提案部が特定する。そして、提案部は特定したサービス内容を示す情報をユーザに似合うサービスとして出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合うサービス内容を提案する装置となり、今後のサービス内容の購入の参考にすることができる。

また、他の一例として、提案装置は、ユーザの顔画像に基づいてユーザに合う人物を提案する装置であってもよい。上述したように、種別情報は、ユーザに合う雰囲気を示すものであってよく、人物同士の場合、相性の良い雰囲気を有する人物も提案し得る。そこで、具体的には、提案装置は、対応情報として、衣服情報１４２に代えて、種別情報と、人物を示す情報とを対応付けた情報を用いて、特定部１５２により特定される種別情報に対応する人物を提案部が特定する。そして、提案部は特定した人物を示す情報をユーザに似合う人物として出力部１３０に出力させることとしてよい。したがって、この場合に提案装置は、ユーザの顔画像を受け付けてユーザに似合う人物を提案する装置となる。なお、ここでいう人物とは、例えば、学習塾の教師であったり、習い事の指導者であったり、メイクアップアーティストであったり、ネイリストであったり、何らかのデザイナーであったりしてもよいし、結婚相手であったりしてもよい。

このように対応情報として、種別情報が示す各種別に対応する提案対象を対応付けた対応情報を変更するだけで、提案装置は、ユーザに似合う様々な提案をすることができる。また、対応情報を変更するだけなので、システムの構築の労力を抑制することができる。

（４）上記実施の形態においては、対応情報としての衣服情報１４２には、実際の衣服が登録され、その中から、ユーザに似合う衣服が服装提案装置１００により提案する例を説明したが、服装提案装置１００が提案する衣服は提案部が生成した仮想のものであってもよい。具体的には、種別情報が示す各種別ごとに、似合う衣服を対応付けた情報を教師データとして、学習した学習モデルを用意する。そして、当該学習モデルに対して、特定部により特定される種別情報を入力することで、ユーザに似合う衣服を自動生成し、自動生成した衣服をユーザが着装した着装画像を生成して、出力してもよい。これにより、例えば、ユーザは、オーダーメイドの衣服のデザインを取得することができ、例えば、オーダーメイドによる衣服の製作を請け負う店舗等に衣服の製作を依頼することができてもよく、提案装置がその案内をしてもよい。

なお、ここで、学習モデルは、ユーザに似合う服装を示す種別情報のヒートマップに対して、似合う衣服を対応付けた教師データを学習した学習モデルであってもよく、この場合に入力するのはヒートマップを入力することになる。このように提案装置は、自身で創作した衣服を提案することとしてもよい。

（５） 上記実施の形態においては、受付部１５１は、ユーザの顔画像と、全身画像と、を受け付ける例を示している。しかし、これは、ユーザの顔が正面から写っている画像であれば、全身画像のみを受け付けることとしてもよい。この場合、特定部１５２は、全身画像からユーザの顔画像部分をトリミングして、これを顔画像として、学習済みモデル１４１に入力して、ユーザに似合う服装の種別を特定するようにしてもよい。

（６） 上記実施の形態に示した衣服情報１４２は、適宜更新されてよく、例えば、新作が発表されるごとに更新されてよく、その場合に、新作の衣服の写真情報と、当該衣服の種別の情報とが衣服情報１４２に登録されてよい。当該登録は、服装提案装置１００のオペレータによってされてもよいし、衣服を販売する店舗の店員やデザイナー等が服装提案装置１００にアクセスして登録するように構成されてもよい。こうすることで、服装提案装置１００は、常に最新の衣服を含めた提案をすることができるので、服装提案装置１００を利用するユーザを飽きさせることがない服装提案を実現することができる。

また、衣服情報１４２は、例えば、衣服のターゲットに応じて、複数に分割されてもよい。例えば、季節ごと（春用、春夏用、夏用、秋用、冬用、オールシーズンなど）に分けられてもよいし、対象年齢（チャイルド、アダルト、シニアなど）に分けられてもよい。換言すれば、各種の衣服情報１４２が設けられて記憶部１４０に記憶されてよい。このように構成することで、服装提案装置１００は、提案する服装に季節感を出したり、ユーザにより適切な服装の提案をしたりすることができる。当該構成を実現するには、服装提案装置１００は、ユーザからは顔画像や全身画像だけでなく、ユーザの属性情報（年齢、性別など）や、入力があった日の日時情報に基づいて、いずれの衣服情報を使用するかを特定するように構成されてよい。また、いずれの衣服情報を使用するかは、ユーザにより選択されてもよい。

（７） 服装提案装置１００は、服装提案装置１００自身で特定したユーザに似合う服装の種別と、その際に入力されたユーザの顔画像との対を、新たな教師データとして、再学習を行って、学習済みモデル１４１を更新する再学習部を備えてもよい。

（８） 上記実施の形態においては、ユーザが情報処理端末２００から服装提案装置１００にアクセスして、服装提案装置１００からユーザ自身に似合う服装の種別や衣服を提案する例を示したが、服装提案装置１００が実現した機能は、情報処理端末２００によって実行される服装提案アプリ（アプリケーション）等によって実現されてもよい。当該服装提案アプリは、情報処理端末２００単体で動作するスタンドアローン型で実現されてもよいし、服装提案アプリを介して服装提案装置１００のようなサーバ装置と通信を行って連動するネットワーク型で実現されてもよい。

（９） 服装提案装置１００の各機能部をソフトウェアにより実現する場合、服装提案装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種情報がコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。すなわち、本発明に係る服装提案装置１００は、ＣＰＵがＲＡＭ上にロードされたプログラムを実行することにより、上述した各構成部として機能する。上記記録媒体としては、「一時的でない有形の媒体」、例えば、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれた情報信号の形態でも実現され得る。

なお、上記プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Swift、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装されてよい。さらに、特許請求の範囲における「部（section、module、unit）」との記載は、「手段」や「回路」に読み替えてもよい。例えば、通信部は、通信手段や通信回路に読み替えることができる。

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、服装提案装置１００に提供されてもよい。

（１０） 上記実施の形態に示した各処理は、上記実施の形態に示した効果と同等の効果を実現できれば、適宜、その処理順序や処理タイミングを変更可能である。

（１１） 上記実施の形態に示した構成及び上記変形例に示した構成は、ユーザに似合うものを提案するという目的を実現するにあたり、適宜組み合わせることとしてよい。

１００ 服装提案装置
１１０ 通信部
１２０ 入力部
１３０ 出力部
１４０ 記憶部
１４１ 学習済みモデル
１４２ 衣服情報
１５０ 制御部
１５１ 受付部
１５２ 特定部
１５３ 提案部
１５４ 生成部

Claims (8)

1. 人物の顔画像と、当該顔画像の人物に似合う１以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶部と、
   対象のユーザの顔画像の入力を受け付ける受付部と、
   前記受付部が受け付けた顔画像と、前記学習済みモデルと、を用いて、前記ユーザに似合う服装の種別情報を特定する特定部と、
   前記種別情報を出力する出力部と、を備え、
   前記特定部は、前記ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、
   前記出力部は、前記特定部が特定した種別情報と度合いに基づくヒートマップを出力する
   服装提案装置。
2. 前記記憶部は、さらに、衣服と、前記種別情報と、を対応付けた対応情報を記憶し、
   前記特定部が特定した種別情報と前記対応情報と、に基づいて、前記ユーザに似合う衣服を提案する提案部と、
   前記提案部が提案する衣服の情報を出力する出力部と、を備える
   ことを特徴とする請求項１に記載の服装提案装置。
3. 前記受付部は、更に、前記ユーザの全身像を示す全身画像を複数受け付け、
   前記全身画像に基づいて、前記提案部が提案する衣服を前記ユーザがまとった状態を示す着装画像を生成する生成部を備え、
   前記出力部は、前記提案部が提案する衣服の情報として、前記着装画像を出力する
   ことを特徴とする請求項２に記載の服装提案装置。
4. 前記生成部は、前記ユーザを美化する美化処理を行った着装画像を生成する
   ことを特徴とする請求項３に記載の服装提案装置。
5. 前記服装提案装置は、更に、
   前記ユーザの嗜好を示す嗜好情報を取得する取得部を備え、
   前記提案部は、前記種別情報と前記対応情報と、に基づいて特定される衣服のうち、前記ユーザの嗜好にあう衣服を提案する
   ことを特徴とする請求項２に記載の服装提案装置。
6. 前記記憶部は、前記衣服を販売する販売店の情報を記憶し、
   前記ユーザから前記提案部により提案された衣服に対する所定の入力を受け付ける入力部と、
   前記出力部は、前記所定の入力を受け付けた場合に、前記衣服に対応する前記販売店の情報を出力する
   ことを特徴とする請求項２～５のいずれか一項に記載の服装提案装置。
7. コンピュータが、
   人物の顔画像と、当該顔画像の人物に似合う１以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶ステップと、
   対象のユーザの顔画像の入力を受け付ける受付ステップと、
   前記受付ステップが受け付けた顔画像と、前記学習済みモデルと、を用いて、前記ユーザに似合う服装の種別情報を特定する特定ステップと、
   前記種別情報を出力する出力ステップと、を実行し、
   前記特定ステップは、前記ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、
   前記出力ステップは、前記特定ステップが特定した種別情報と度合いに基づくヒートマップを出力する
   服装提案方法。
8. コンピュータに、
   人物の顔画像と、当該顔画像の人物に似合う１以上のデザインの種別を示す種別情報と、の対応関係を学習した学習済みモデルを記憶する記憶機能と、
   対象のユーザの顔画像の入力を受け付ける受付機能と、
   前記受付機能が受け付けた顔画像と、前記学習済みモデルと、を用いて、前記ユーザに似合う服装の種別情報を特定する特定機能と、
   前記種別情報を出力する出力機能と、を実現させ、
   前記特定機能は、前記ユーザに似合う服装の種別情報を複数特定するとともに各種別情報に対する似合う度合いを特定し、
   前記出力機能は、前記特定機能が特定した種別情報と度合いに基づくヒートマップを出力する
   服装提案プログラム。

Images