JP7358881B2 - アバター生成装置、移動体端末、服飾マッチングシステム、アバター生成方法およびプログラム - Google Patents

Description

本発明は、アバター生成装置、移動体端末、服飾マッチングシステム、アバター生成方法およびプログラムに関する。

オンラインでのコミュニケーションにおいて、ユーザを特定するために利用されるアバターを、ユーザ自身の撮像画像等から生成する方法が知られている（特許文献１、２参照）。

国際公開第２０１２／１７０３５４号 特開２０１６－１３６３２４号公報

しかしながら、ユーザの外見に似せたアバターは、ユーザを特定される可能性があるため、個人情報保護の観点から問題があった。一方で、ユーザの外見とかけ離れたアバターは、オンラインゲーム等のアプリケーションで用いる場合には問題ないが、服飾品を試着させたアバターを参考にして服飾品を購入するような遠隔ショッピング等の場合にはユーザが適切にショッピングできない問題がある。

本発明は、上記に鑑みてなされたものであって、服飾品の似合い度合いはアバターとユーザ本人とで変わらないが、アバターからユーザ本人を特定することは難しい、アバターを生成できるアバター生成装置、移動体端末、服飾マッチングシステム、アバター生成方法およびプログラムを提供することを目的とする。

上記の目的を達成するため、本発明の一態様のアバター生成装置は、第一ユーザの全身を撮像した全身撮像画像から顔の部分を抽出して顔画像を生成する顔画像取得部と、前記顔画像が予め分類された複数の顔タイプのいずれかの顔タイプであるかを判定する顔タイプ判定部と、所定条件に基づく所定数の人物の顔画像を平均した平均顔画像を設定する変形ポリシー設定部と、前記顔画像と前記平均顔画像とを所定の比率で重み付けをして合成して変形顔画像を生成する顔変形部と、前記変形顔画像を前記全身撮像画像に合成して、服飾品を撮像した服飾合成画像と合成可能なアバター画像を生成する全身画像合成部と、を備える。

上記の目的を達成するため、本発明の一態様の移動体端末は、アバター生成装置と、前記アバター画像または前記全身撮像画像と、第一ユーザとは別の場所にいる第二ユーザによって推薦される服飾画像とを合成する合成服飾合成装置と、を備える。

上記の目的を達成するため、本発明の一態様の服飾マッチングシステムは、移動体端末でありかつ前記第一ユーザが操作する第一移動体端末と、移動体端末でありかつ前記第二ユーザが操作し、前記第一移動体端末と通信可能である第二移動体端末と、を含み、第一移動体端末は、前記アバター生成装置によって生成したアバター画像を前記第二移動体端末へ送信し、前記第二移動体端末から受信した前記服飾画像を前記全身撮像画像に合成させ、第二移動体端末は、前記第一移動体端末から受信したアバター画像に前記服飾画像を合成させ、前記服飾画像を前記第一移動体端末へ送信する。

上記の目的を達成するため、本発明の一態様のアバター生成方法は、第一ユーザの全身を撮像した全身撮像画像から顔の部分を抽出して顔画像を生成する顔画像取得ステップと、前記顔画像が予め分類された複数の顔タイプのいずれかの顔タイプであるかを判定する顔タイプ判定ステップと、所定条件に基づく所定数の人物の顔画像を平均した平均顔画像を設定する変形ポリシー設定ステップと、前記顔画像と前記平均顔画像とを所定の比率で重み付けをして合成して変形顔画像を生成する顔変形ステップと、前記変形顔画像を前記全身撮像画像に合成して、服飾品を撮像した服飾合成画像と合成可能なアバター画像を生成する全身画像合成ステップと、を含む。

上記の目的を達成するため、本発明の一態様のプログラムは、第一ユーザの全身を撮像した全身撮像画像から顔の部分を抽出して顔画像を生成する顔画像取得ステップと、前記顔画像からが予め分類された複数の顔タイプのいずれかの顔タイプであるかを判定する顔タイプ判定ステップと、所定条件に基づく所定数の人物の顔画像を平均した平均顔画像を設定する変形ポリシー設定ステップと、前記顔画像と前記平均顔画像とを所定の比率で重み付けをして合成して変形顔画像を生成する顔変形ステップと、前記変形顔画像を前記全身撮像画像に合成して、服飾品を撮像した服飾合成画像と合成可能なアバター画像を生成する全身画像合成ステップと、をアバター生成装置として動作するコンピュータに実行させる。

本発明によれば、服飾品の似合い度合いはアバターとユーザ本人とで変わらないが、アバターからユーザ本人を特定することは難しい、アバターを生成できる。

図１は、実施形態に係る服飾マッチングシステムの一例を示すブロック図である。 図２は、実施形態に係る移動体端末の構成の一例を示すブロック図である。 図３は、実施形態に係る服飾マッチングシステムのシーケンスの一例を示す説明図である。 図４は、第一実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図５は、第一実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図６は、第二実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図７は、第二実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図８は、第三実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図９は、第三実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図１０は、第四実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図１１は、第四実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図１２は、第四実施形態に係る顔パーツ変形設定部の処理の一例を示すフローチャートである。 図１３は、第四実施形態に係る顔パーツ変形部の処理の一例を示すフローチャートである。 図１４は、第四実施形態に係る顔パーツ変形部の処理の別の一例を示すフローチャートである。 図１５は、第四実施形態に係る顔パーツ変形部の処理のさらに別の一例を示すフローチャートである。 図１６は、第五実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図１７は、第五実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図１８は、第五実施形態に係る顔パーツ変形調整部を操作する操作画面の一例を示す図である。 図１９は、第六実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図２０は、第六実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図２１は、第六実施形態に係る顔パーツ置換処理の一例を示すフローチャートである。 図２２は、第六実施形態に係る顔パーツ置換処理の別の一例を示すフローチャートである。 図２３は、第七実施形態に係るアバター生成装置の構成の一例を示すブロック図である。 図２４は、第七実施形態に係るアバター生成装置の処理の一例を示すフローチャートである。 図２５は、第七実施形態に係る顔パーツ置換処理の一例を示すフローチャートである。 図２６は、第四実施形態の変形例に係るアバター生成装置の構成の一例を示すブロック図である。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。

（実施形態）
まず、図１を用いて、本発明の第一実施形態から第七実施形態に係る服飾マッチングシステム１の共通の構成について説明する。図１は、実施形態に係る服飾マッチングシステム１の一例を示すブロック図である。服飾マッチングシステム１は、遠隔ショッピング等において、服飾品の購入を希望する消費者が自身の希望条件に基づいた服飾品の推薦を受けることができるシステムである。服飾マッチングシステム１は、場所Ｘにいるユーザｘが利用する移動体端末１００Ｘと、場所Ｘとは別の場所Ｙにいるユーザｙが利用する移動体端末１００Ｙと、から構成される。

ユーザｘは、服飾品を購入したい人物である。ユーザｘは、服飾品の推薦をユーザｙに依頼している。ユーザｙは、一般的な店員よりも依頼者の容姿や趣味等にあった服飾品を効率的に推薦する人物である。ユーザｙは、例えば、ショップ店員等ではなく、ショップを訪問するカリスマバイヤーやフリマアプリ等で服飾品を販売して、何らかのインセンティブを得たい人物である。ユーザｙは、ユーザｘの個人情報を、メールアドレスやＳＮＳのアカウント程度の連絡をとるために必要な最低限しか所有していないものとする。

移動体端末１００Ｘおよび移動体端末１００Ｙは、同様の機能を有し、アバター生成用アプリケーションを含む服飾マッチング用アプリケーションが搭載されたスマートフォン等の端末である。移動体端末１００Ｘおよび移動体端末１００Ｙは、互いにインターネットまたは携帯電話回線等の通信ネットワークを介して通信可能である。通信ネットワークは、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等である。以下の説明において、移動体端末１００Ｘ、１００Ｙをそれぞれ区別する必要がない場合には、移動体端末１００と記載される。

次に、図２を用いて、本発明の第一実施形態から第七実施形態に係る移動体端末１００の共通の構成について説明する。図２は、実施形態に係る移動体端末１００の構成の一例を示すブロック図である。移動体端末１００は、撮像部１０１と、距離測定部１０２と、操作部１０３と、記憶部１０４と、表示部１０５と、通信部１０６と、制御装置１１０と、服飾合成装置１２０と、アバター生成装置１０、２０、３０、４０、５０、６０、７０と、を備える。

撮像部１０１は、移動体端末１００に搭載されるカメラであり、移動体端末１００の周囲の任意の範囲を撮像する。撮像部１０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の映像素子を含む。撮像部１０１は、撮像者による操作部１０３の操作に応じて撮像画像を撮像する。撮像画像は、例えば、ＲＧＢ画像、ＹＵＶ画像、またはＪＰＥＧ画像等である。撮像画像は、動画から切り出した画像であってもよい。移動体端末１００Ｘの撮像部１０１は、例えば、ユーザｘの全身を、少なくとも正面を含む１つ以上の方向から撮像する。移動体端末１００Ｙの撮像部１０１は、例えば、ユーザｙが選択した服飾品を、少なくとも正面を含む１つ以上の方向から撮像する。撮像部１０１は、撮像画像を表す画像情報を制御装置１１０の撮像情報取得部１１１へ出力する。

距離測定部１０２は、移動体端末１００から撮像部１０１による撮像対象までの距離を測定する。距離測定部１０２によって測定される距離情報は、撮像対象の３次元座標を含む。距離測定部１０２は、例えば、撮像部１０１のカメラが有するレーザーオートフォーカス機能を利用したものであってもよい。移動体端末１００Ｘの距離測定部１０２は、例えば、ユーザｘの全身までの、少なくとも正面を含む１つ以上の方向からの距離を測定する。移動体端末１００Ｙの距離測定部１０２は、例えば、ユーザｙが選択した服飾品までの、少なくとも正面を含む１つ以上の方向からの距離を測定する。距離測定部１０２は、距離情報を制御装置１１０の距離情報取得部１１２へ出力する。

操作部１０３は、移動体端末１００に対する様々な操作を受け付けるインターフェースである。操作部１０３は、例えば、物理的なスイッチや、表示部１０５に設けられたタッチパネルで実現することができる。操作部１０３は、例えば、撮像部１０１に撮像させる操作を受け付け可能である。操作部１０３は、例えば、撮像部１０１が撮像した撮像画像、通信部１０６が受信したアバター画像または服飾撮像画像、アバター生成装置１０、２０、３０、４０、５０、６０、７０によるアバター生成画面、服飾合成装置１２０による服飾合成画像の生成画面等を表示部１０５に表示させる操作を受け付け可能である。操作部１０３は、例えば、アバター画像または服飾撮像画像を通信部１０６に送信させる操作を受け付け可能である。操作部１０３は、アバター生成装置１０、２０、３０、４０、５０、６０、７０にアバターを生成させるための各種設定情報を入力する操作を受け付け可能である。操作部１０３は、服飾合成装置１２０に服飾合成画像を生成させるための各種設定情報を入力する操作を受け付け可能である。操作部１０３は、受け付けた操作に応じた操作信号を操作情報取得部１１３へ出力する。

記憶部１０４は、各種情報を記憶する。記憶部１０４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の不揮発性または揮発性の半導体メモリ等の記憶媒体を有する。記憶部１０４は、制御装置１１０が実行する各種の制御プログラム、各種の制御処理に用いられるデータ、および制御装置１１０が取得した各種保存用データが記憶される。記憶部１０４は、例えば、撮像部１０１が撮像した全身撮像画像および距離測定部１０２が測定した全身距離情報を記憶する。記憶部１０４は、例えば、操作部１０３から入力されたアバター生成装置１０、２０、３０、４０、５０、６０、７０にアバターを生成させるための各種設定情報を記憶する。記憶部１０４は、例えば、アバター生成装置１０、２０、３０、４０、５０、６０、７０が生成したアバター画像およびアバター距離情報を記憶する。記憶部１０４は、例えば、通信部１０６が受信したアバター画像およびアバター距離情報を記憶する。記憶部１０４は、例えば、撮像部１０１が撮像した服飾撮像画像および距離測定部１０２が測定した服飾距離情報を記憶する。記憶部１０４は、例えば、服飾合成装置１２０が生成した服飾合成アバター画像および服飾合成アバター距離情報を記憶する。記憶部１０４は、例えば、通信部１０６が受信した服飾撮像画像および服飾距離情報を記憶する。記憶部１０４は、例えば、服飾合成装置１２０が生成した服飾合成画像および服飾合成距離情報を記憶する。記憶部１０４は、制御装置１１０の記憶制御部１１４から出力された制御信号に基づいて、各種情報を記憶する。

表示部１０５は、種々の画像、映像および文字等の情報を表示する。表示部１０５は、液晶素子または有機ＥＬ（Organic Electro-Luminescence）素子による表示パネルを含む。表示部１０５がタッチパネルを含む場合、表示部１０５は、表示パネル上のユーザｘ、ｙの指等の指示体の位置を検知するためのタッチセンサを有する。表示部１０５は、例えば、撮像部１０１が撮像した撮像画像を表示する。表示部１０５は、例えば、通信部１０６が受信したアバター画像または服飾撮像画像を表示する。表示部１０５は、例えば、アバター生成装置１０、２０、３０、４０、５０、６０、７０によるアバター生成画面を表示する。表示部１０５は、例えば、服飾合成装置１２０による服飾合成画像の生成画面を表示する。表示部１０５は、制御装置１１０の表示制御部１１５から出力された表示情報に基づいて、各種情報を表示する。

通信部１０６は、通信ユニットである。移動体端末１００Ｘの通信部１０６と移動体端末１００Ｙの通信部１０６とは、通信ネットワークを介して互いに通信を行う。移動体端末１００Ｘの通信部１０６は、例えば、アバター生成装置１０、２０、３０、４０、５０、６０、７０が生成したアバター画像およびアバター距離情報を移動体端末１００Ｙへ送信する。移動体端末１００Ｙの通信部１０６は、例えば、アバター画像およびアバター距離情報を移動体端末１００Ｘから受信する。移動体端末１００Ｙの通信部１０６は、例えば、撮像部１０１によって撮像した服飾撮像画像および距離測定部１０２が測定した服飾距離情報を移動体端末１００Ｘへ送信する。移動体端末１００Ｘの通信部１０６は、例えば、服飾撮像画像および服飾距離情報を移動体端末１００Ｙから受信する。通信部１０６は、制御装置１１０の通信制御部１１６から出力された制御信号に基づいて、各種通信を実行する。

制御装置１１０は、例えば、ＣＰＵ（Central Processing Unit）等で構成された演算処理装置（制御装置）である。制御装置１１０は、記憶部１０４に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置１１０には図示しない内部メモリ等が含まれる。内部メモリは、制御装置１１０の各部を実現させるためのプログラムが記憶されている。この場合、制御装置１１０は、内部メモリ等に記憶されているプログラムを展開して実行することで、各部の機能を実現する。また、内部メモリは、制御装置１１０におけるデータの一時記憶等にも用いられる。制御装置１１０は、バス１１９によって接続された、撮像情報取得部１１１と、距離情報取得部１１２と、操作情報取得部１１３と、記憶制御部１１４と、表示制御部１１５と、通信制御部１１６と、情報入力部１１７と、情報取得部１１８と、を含む。

撮像情報取得部１１１は、撮像部１０１が撮像した各種の撮像画像を表す画像情報を取得する。撮像情報取得部１１１は、例えば、撮像部１０１がユーザｘの全身を撮像した撮像画像を取得する。撮像情報取得部１１１は、例えば、撮像部１０１が服飾品を撮像した撮像画像を取得する。撮像情報取得部１１１は、撮像部１０１から取得した画像情報を、記憶制御部１１４へ出力する。

距離情報取得部１１２は、距離測定部１０２が測定した各種の撮像対象との距離を示す距離情報を取得する。距離情報取得部１１２は、撮像部１０１が撮像したユーザｘの全身の正面からの距離情報を取得する。距離情報取得部１１２は、撮像部１０１が撮像した服飾品の正面からの距離情報を取得する。距離情報取得部１１２は、距離測定部１０２から取得した距離情報を、記憶制御部１１４へ出力する。

操作情報取得部１１３は、操作部１０３がユーザｘ、ｙ等から受け付けた操作に関する操作信号を取得する。操作情報取得部１１３は、例えば、撮像部１０１による撮像操作を示す撮像操作信号、各種表示情報の表示操作を示す表示操作信号、各種通信情報の送信操作を示す送信操作信号、各種設定情報の入力操作を示す入力操作信号等を取得する。操作情報取得部１１３は、受け付けた操作信号に応じた制御信号を、撮像情報取得部１１１、距離情報取得部１１２、表示制御部１１５、通信制御部１１６または情報入力部１１７へ出力する。この場合、撮像情報取得部１１１、距離情報取得部１１２、表示制御部１１５、通信制御部１１６および情報入力部１１７は、制御信号に従って動作を実行する。

記憶制御部１１４は、制御装置１１０が取得した各種情報を、記憶部１０４に記憶させる。各種情報は、全身撮像画像および全身距離情報、アバターを生成させるための各種設定情報、アバター画像およびアバター距離情報、服飾撮像画像および服飾距離情報、服飾合成アバター画像および服飾合成アバター距離情報、服飾撮像画像および服飾距離情報、服飾合成画像および服飾合成距離情報等である。

表示制御部１１５は、種々の画像、映像および文字等の情報を表示部１０５に表示させる。表示制御部１１５は、表示部１０５に表示情報信号を出力することで、表示部１０５に各種情報を表示させる。表示制御部１１５は、例えば、撮像部１０１が撮像した撮像画像、アバター画像または服飾撮像画像、アバター生成画面または服飾合成画像の生成画面等の表示情報信号を出力する。

通信制御部１１６は、通信部１０６における通信を制御する。通信制御部１１６は、記憶制御部１１４から出力された通信情報を取得する。通信制御部１１６は、取得した通信情報を、通信部１０６へ出力する。通信制御部１１６は、通信部１０６が受信した各種情報を、記憶制御部１１４へ出力する。通信制御部は、例えば、アバター画像およびアバター距離情報、服飾撮像画像および服飾距離情報を、記憶制御部１１４から取得する。通信制御部は、例えば、アバター画像およびアバター距離情報、服飾撮像画像および服飾距離情報を、通信部１０６へ出力する。

情報入力部１１７は、操作部１０３から入力された各種の設定情報および記憶部１０４に保存される各種の設定情報を、アバター生成装置１０、２０、３０、４０、５０、６０、７０、または服飾合成装置１２０に入力する。各種の設定情報は、例えば、ユーザｘの全身撮像画像および全身距離情報、年齢、性別、購入したい服飾品類を着用することが推奨される季節、場所、または表情等の状況、嗜好、お気に入り顔、平均顔画像、有名人の顔画像、置換用のアバター顔パーツ画像、アバター顔画像、服飾撮像画像および服飾距離情報等の情報である。移動体端末１００Ｘの情報入力部１１７は、アバターを生成するための各種情報を、アバター生成装置１０、２０、３０、４０、５０、６０、７０に入力する。移動体端末１００Ｙの情報入力部１１７は、服飾合成アバター画像を生成するための各種情報を、服飾合成装置１２０に入力する。移動体端末１００Ｘの情報入力部１１７は、服飾合成画像を生成するための各種情報を、服飾合成装置１２０に入力する。

情報取得部１１８は、アバター生成装置１０、２０、３０、４０、５０、６０、７０、または服飾合成装置１２０から各種の生成情報を取得する。移動体端末１００Ｘの情報取得部１１８は、アバター生成装置１０、２０、３０、４０、５０、６０、７０が生成したまたは生成中のアバターに関する情報を取得する。移動体端末１００Ｙの情報取得部１１８は、服飾合成装置１２０が生成した服飾合成アバター画像および服飾合成アバター距離情報を取得する。移動体端末１００Ｘの情報取得部１１８は、服飾合成装置１２０が生成した服飾合成画像および服飾合成距離情報を取得する。情報取得部１１８は、取得した各種生成情報を記憶制御部１１４へ出力する。

服飾合成装置１２０は、情報入力部１１７から取得した各種の設定情報に基づいて、アバター画像または全身撮像画像と服飾画像とを合成した合成画像を生成する。移動体端末１００Ｙの服飾合成装置１２０は、移動体端末１００Ｘのアバター生成装置１０、２０、３０、４０、５０、６０、７０が生成したアバター画像と、移動体端末１００Ｙの撮像部１０１が撮像した服飾画像とを合成した服飾合成アバター画像を生成する。移動体端末１００Ｘの服飾合成装置１２０は、移動体端末１００Ｘの撮像部１０１が撮像したユーザｘの全身撮像画像と、移動体端末１００Ｙの撮像部１０１が撮像した服飾画像とを合成した服飾合成画像を生成する。

アバター生成装置１０、２０、３０、４０、５０、６０、７０は、情報入力部１１７から取得した各種の設定情報に基づいて、アバターを生成する。各実施形態のアバター生成装置１０、２０、３０、４０、５０、６０、７０の構成については、後述にて詳細に説明する。

図３を用いて、実施形態に係る服飾マッチングシステム１のシーケンスについて説明する。図３は、実施形態に係る服飾マッチングシステム１のシーケンスの一例を示す説明図である。ここで、移動体端末１００Ｘの記憶部１０４には、アバターを生成するための各種設定情報が予め保存されているものとする。服飾マッチングシステム１は、移動体端末１００Ｘが、ユーザｘによる操作部１０３への所定の開始操作を受け付けることによって、図３に示すステップＳＴ１０１に移行して処理を開始する。

移動体端末１００Ｘのアバター生成装置１０、２０、３０、４０、５０、６０、７０は、情報入力部１１７からアバターを生成するための各種の設定情報を取得する（ステップＳＴ１０１）。移動体端末１００Ｘは、アバター生成装置１０、２０、３０、４０、５０、６０、７０に、各種の設定情報に基づいてアバターを生成させる（ステップＳＴ１０２）。各実施形態のアバター生成装置１０、２０、３０、４０、５０、６０、７０の生成方法については、後述にて詳細に説明する。移動体端末１００Ｘを操作するユーザｘは、生成されたアバターのアバター画像およびアバター距離情報を含むアバターデータＤａを、移動体端末１００Ｙへ送信させる（ステップＳＴ１０３）。

移動体端末１００Ｙが移動体端末１００ＸからアバターデータＤａを受信した後、ユーザｙは、移動体端末１００Ｙの撮像部１０１によって、アバターに着用させる服飾品を撮像する。移動体端末１００Ｙは、服飾画像および服飾距離情報を取得する（ステップＳＴ１０４）。移動体端末１００Ｙは、服飾合成装置１２０に、アバター距離情報および服飾距離情報に基づいてアバター画像と服飾画像とを合成して、服飾合成アバター画像を生成させる（ステップＳＴ１０５）。移動体端末１００Ｙは、服飾合成アバター画像および服飾合成アバター距離情報に基づいて、服飾合成アバター画像を３次元にモデリングし、表示部１０５に立体的に表示させる（ステップＳＴ１０６）。ユーザｙは、表示部１０５に表示された服飾品を着用したアバターを確認して、服飾品が似合っているかを判断する。ユーザｙは、似合っていると判断した場合、判断結果、服飾画像および服飾距離情報を含む服飾データＤｄを、移動体端末１００Ｘへ送信させる（ステップＳＴ１０７）。なお、ユーザｙは、似合っていないと判断した場合、ステップＳＴ１０４からステップＳＴ１０６までを繰り返し実行する。

移動体端末１００Ｘが移動体端末１００Ｙから服飾データＤｄを受信した後、ユーザｘは、移動体端末１００Ｘの服飾合成装置１２０に、全身距離情報および服飾距離情報に基づいて全身撮像画像と服飾画像とを合成して、服飾合成画像を生成させる（ステップＳＴ１０８）。移動体端末１００Ｘは、服飾合成画像および服飾合成距離情報に基づいて、服飾合成画像を３次元にモデリングし、表示部１０５に立体的に表示させる（ステップＳＴ１０９）。これにより、ユーザｘは、ユーザｙが推薦した服飾品を自身が着用している画像で確認することができる。

（第一実施形態）
図４および図５を用いて、第一実施形態に係るアバター生成装置１０について説明する。第一実施形態に係るアバター生成装置１０は、撮像したユーザｘ自身の撮像画像と予め記憶部１０４に記憶されている所定数の顔画像とを平均した平均顔画像を利用したアバターを生成する。図４は、第一実施形態に係るアバター生成装置１０の構成の一例を示すブロック図である。アバター生成装置１０は、顔画像取得部１１と、顔タイプ判定部１２と、変形ポリシー設定部１３と、顔変形部１４と、全身画像合成部１５と、を含む。

顔画像取得部１１は、制御装置１１０の記憶制御部１１４を介して記憶部１０４に保存されたユーザｘの全身撮像画像および全身距離情報を含む設定情報を取得する。記憶部１０４から取得する設定情報は、さらに、少なくとも、ユーザｘの年齢および性別の情報を含む。記憶部１０４から取得する設定情報は、購入したい服飾品類を着用することが推奨される季節、場所、または表情等の状況等を含んでもよい。以下の説明において、記憶部１０４から取得した全身撮像画像および全身距離情報は、正面から撮像した撮像画像およびユーザｘの全身の正面からの距離情報とする。顔画像取得部１１は、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成する。顔画像取得部１１は、設定情報、生成した顔画像および顔距離情報を顔タイプ判定部１２へ出力する。

顔タイプ判定部１２は、顔画像取得部１１から、設定情報、顔画像および顔距離情報を取得する。顔タイプ判定部１２は、顔画像および顔距離情報に基づいて、ユーザｘの顔タイプＴｉを判定する。顔タイプ判定部１２は、学習用画像データセットを用いて予め機械学習された推論器を有する。

顔タイプＴｉは、所定の判定基準に基づいて、顔と顔の各部分を示す顔パーツとのそれぞれの大きさ、位置および形状を評価することによって判定される。表１は、顔タイプＴｉを説明する表である。表１に示すように、顔タイプＴｉは、顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７、Ｔ８の８つのタイプに分類される（日本顔タイプ診断協会）。バランス項目の子供顔タイプは、例えば、輪郭が丸顔または横長、顔パーツが輪郭に対して下方寄り等の特徴を有するタイプである。バランス項目の大人顔タイプは、例えば、輪郭が面長、顔パーツが輪郭に対して上方寄り等の特徴を有するタイプである。形状項目の曲線タイプは、輪郭に骨を感じない、目が丸い、鼻筋がなく肉感がある、頬骨が高い等の特徴を有するタイプである。形状項目の直線タイプは、輪郭に骨を感じる、目が細い、鼻筋が通っている、頬骨が低い等の特徴を有するタイプである。顔パーツは、目および鼻を少なくとも含む。

表２は、顔タイプ判定のうち、子供顔タイプか大人顔タイプかの判定に用いられる第一判定基準における各判定番号Ｎｉに対応する判定項目および判定内容の一覧である。各顔パーツは、判定番号Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７の各判定項目について所定の基準でＡ判定またはＢ判定で判定される。ここで、所定の判定基準とは、各判定項目の判定内容に記載された判定基準である。例えば、判定番号Ｎ２の判定項目の所定の判定基準は、顎の長さが標準以下であるか否かである。

表３は、顔タイプ判定のうち、顔および顔パーツの形状に関する第二判定基準における各判定番号Ｎｉに対応する判定項目および判定内容の一覧である。各顔パーツは、判定番号Ｎ８、Ｎ９、Ｎ１０、Ｎ１１、Ｎ１２、Ｎ１３、Ｎ１４、Ｎ１５の各判定項目について所定の基準によりＣ判定またはＤ判定で判定される。

表４は、顔タイプＴｉの分類方法を説明する表である。表４に示すように、顔タイプＴｉは、表２に示す第一判定基準における各判定番号Ｎｉに対応する判定項目のＡ判定の数と、表３に示す第二判定基準における各判定番号Ｎｉに対応する判定項目のＣ判定の数と、目の大きさと、に応じて分類される。

顔タイプ判定部１２は、取得した顔画像について、判定番号Ｎ１からＮ７の各判定項目をＡ判定またはＢ判定に判定する。顔タイプ判定部１２は、取得した顔画像について、判定番号Ｎ８からＮ１５の各判定項目をＣ判定またはＤ判定に判定する。顔タイプ判定部１２は、判定番号Ｎ１、Ｎ２、Ｎ３、Ｎ６、Ｎ７の各判定項目について、正面から撮像した正面画像を用いて判定する。顔タイプ判定部１２は、判定番号Ｎ４の判定項目について、真横から撮像した真横画像を用いて判定する。顔タイプ判定部１２は、判定番号Ｎ５の判定項目について、真上から撮像した真上画像を用いて判定する。顔タイプ判定部１２における判定番号Ｎ１からＮ１５までの各判定項目の判定は、予め判定項目毎の判定基準に基づいて二者択一で判定されるように機械学習された推論器を用いて行う。学習用画像データセットとして、各判定項目について正解がラベリングされた教師データ画像を、例えば、顔タイプＴｉ毎に１００枚程度用意する。推論器の学習方法は、例えば、ディープラーニング等の機械学習である。判定番号Ｎ１のように特徴量を定量化することが容易でないものを判定するため、教師データ画像を用意すれば判定が可能であるディープラーニング等の機械学習を用いることが好ましい。本発明は、実施形態に限定されず、例えば、全ての判定項目について二者択一のための閾値を設定し、閾値以上であるか否かを判定基準として判定してもよい。

顔タイプ判定部１２は、Ａ判定、Ｂ判定、Ｃ判定およびＤ判定の各判定結果の数をカウントし、Ａ判定の数とＣ判定の数と目の大きさとに基づいて表４に従って顔タイプＴｉを判定する。例えば、ユーザｘの顔画像について、Ａ判定の数が６かつＣ判定の数が４である場合、ユーザｘは、顔タイプＴ３である。顔タイプ判定部１２は、設定情報と、判定した顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを、変形ポリシー設定部１３へ出力する。顔タイプ判定部１２における判定番号Ｎ１からＮ１５までの各判定項目の判定は、予め判定項目毎の判定基準に基づいて二者択一で判定される推論器を用いて行われるとしたが、これに限定されない。例えば、正解となる顔タイプＴｉをラベリングした画像データを、顔タイプＴｉ毎に１００枚程度ずつ準備して学習用データセットとする。この学習用データセットを用いて推論器に機械学習させ、顔画像から直接顔タイプを判定するようにしてもよい。この場合、各判定項目の判定は学習用データセットの生成時に行えばよい。

変形ポリシー設定部１３は、顔タイプ判定部１２から、設定情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを取得する。変形ポリシー設定部１３は、顔タイプＴｉ、顔タイプＴｉの判定に用いた判定項目毎の判定結果、および設定情報に基づいて、変形ポリシーを設定する。変形ポリシーは、記憶部１０４に保存される各グループの平均顔画像のうち、いずれのグループの平均顔画像をアバター生成に利用するかの方針情報である。各グループは、年齢、性別、および顔タイプＴｉ等に基づいて分類される。例えば、ユーザｘが２０代女性であり、かつ顔タイプＴ３である場合、変形ポリシー設定部１３は、変形ポリシーとして、２０代女性の顔タイプＴ３のグループの平均顔画像を利用することを設定する。変形ポリシー設定部１３は、設定情報および設定した変形ポリシーを顔変形部１４へ出力する。

顔変形部１４は、変形ポリシー設定部１３から、変形ポリシーおよび設定情報を取得する。顔変形部１４は、変形ポリシーに従って、制御装置１１０の記憶制御部１１４を介して記憶部１０４に保存された所望のグループの平均顔画像を取得する。記憶部１０４には、年齢、性別、および顔タイプＴｉ等に基づいて分類されたグループ毎の平均顔画像のデータベースが保存される。データベースは、通信ネットワークを介して定期的に更新可能である。グループ毎の平均顔画像は、各々所定数の顔画像を平均した顔画像である。変形ポリシーと各グループの分類とは、人種、住んでいる地域、画像を撮影した季節、画像を撮影した場所、または表情等の状況等による分類を含んでもよい。平均顔画像には、撮像対象までの距離および撮像対象の３次元座標を含む平均顔距離情報が紐付けられているものとする。顔変形部１４は、変形ポリシーに基づいて、ユーザｘの顔画像および顔距離情報を変形して、変形顔画像および変形顔距離情報を生成する。顔変形部１４は、変形ポリシーに基づいて、ユーザｘの顔画像を含むユーザｘが属するグループの平均顔画像を生成し、変形顔画像とする。より詳しくは、顔変形部１４は、ユーザｘの顔画像と平均顔画像とを所定の比率で重み付けをして合成して、変形顔画像を生成する。ユーザｘの顔画像対平均顔画像の所定の比率は、一例として１対１０とするが、これに限らず、例えば０対１でもよい。平均顔画像の重みを大きくすれば、ユーザｘ本人とは特定し難くなり、平均顔画像の重みを小さくすれば、ユーザｘ本人と特定し易くなる。例えば、ユーザｘとユーザｙの取引回数が少ない場合には平均顔画像の重みを大きくし、ユーザｘとユーザｙの取引回数が多くなるほど平均顔画像の重みを小さくするようにしてもよい。このようにすることで、ユーザｘとユーザｙの信頼度に応じてユーザｘ本人と特定し易くなる程度を調整することができる。顔変形部１４は、変形ポリシーに基づいて、ユーザｘの顔距離情報を含むユーザｘが属するグループの平均顔距離情報を生成し、変形顔距離情報とする。より詳しくは、顔変形部１４は、ユーザｘの顔距離情報と平均顔距離情報とを所定の比率で重み付けをして合成して、変形顔距離情報を生成する。この際、顔変形部１４は、平均顔画像の大きさが顔画像の顔の大きさに合うように平均顔画像の大きさを調整（以降、スケーリングともいう）する。顔変形部１４は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部１５へ出力する。なお、顔画像の顔の大きさに合うように平均顔画像の顔の大きさを調整してもよいし、平均顔画像の顔の大きさに合うように顔画像の顔の大きさを調整してもよい。

全身画像合成部１５は、顔変形部１４から、設定情報、変形顔画像および変形顔距離情報を取得する。全身画像合成部１５は、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成する。全身画像合成部１５は、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成する。全身画像合成部１５は、設定情報、アバター画像およびアバター距離情報を制御装置１１０の情報取得部１１８へ出力する。

図５は、第一実施形態に係るアバター生成装置１０の処理の一例を示すフローチャートである。アバター生成装置１０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図５に示すステップＳＴ１１に移行して処理を開始する。

アバター生成装置１０は、撮像画像から顔画像を取得する（ステップＳＴ１１）。より具体的には、アバター生成装置１０は、まず、顔画像取得部１１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置１０は、次に、顔画像取得部１１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置１０は、ステップＳＴ１２に移行する。

アバター生成装置１０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ１２）。より具体的には、アバター生成装置１０は、まず、顔タイプ判定部１２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置１０は、次に、顔タイプ判定部１２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置１０は、ステップＳＴ１３に移行する。

アバター生成装置１０は、変形ポリシーを設定する（ステップＳＴ１３）。より具体的には、アバター生成装置１０は、変形ポリシー設定部１３に、顔タイプＴｉ、顔タイプＴｉの判定に用いた判定項目毎の判定結果、および設定情報に基づいて、変形ポリシーを設定される。変形ポリシーは、年齢、性別、顔タイプＴｉ等によって区分された所定のグループの平均顔画像のうち、いずれのグループの平均顔画像をアバター生成に利用するかの方針情報である。アバター生成装置１０は、ステップＳＴ１４に移行する。

アバター生成装置１０は、ユーザｘの顔画像を含む複数の顔画像を平均して平均顔画像を変形顔画像として生成する（ステップＳＴ１４）。より具体的には、アバター生成装置１０は、まず、顔変形部１４に、変形ポリシーに基づいて、アバター生成に利用するグループの平均顔画像をデータベースから取得させる。アバター生成装置１０は、次に、顔変形部１４に、ユーザｘの顔画像を含むユーザｘが属するグループの平均顔画像を生成し、変形顔画像とさせる。また、アバター生成装置１０は、顔変形部１４に、ユーザｘの顔距離情報を含むユーザｘが属するグループの平均顔距離情報を生成し、変形顔距離情報とさせる。アバター生成装置１０は、ステップＳＴ１５に移行する。

アバター生成装置１０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ１５）。より具体的には、アバター生成装置１０は、全身画像合成部１５に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置１０は、全身画像合成部１５に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置１０は、図５に示すフローチャートの処理を終了する。

以上のように、第一実施形態のアバター生成装置１０は、ユーザｘの顔タイプＴｉに対して、アバター画像の顔タイプが変わらないように、顔と顔の各部分を示す顔パーツとのそれぞれの大きさ、位置および形状を変更することができる。これにより、ユーザｘに似ているがユーザｘ本人とは特定が難しいアバターを生成することができる。顔タイプが同一であれば、似合う衣服、髪型、装飾品等の服飾品は、同じであると想定できる。

第一実施形態のアバター生成装置１０で生成したアバター画像を使用した服飾マッチングシステム１は、遠隔ショッピング等において、ユーザｘが仮想的に服飾品を試着する際に、ユーザｘと同一の顔タイプの平均顔画像を有するアバターに服飾品を試着させることができる。これにより、ユーザｙにユーザｘの個人情報を特定させることなく、ユーザｘに似合う服飾品を推薦してもらうことが可能である。また、ユーザｘの個人情報、特に顔画像をユーザｙに必要以上に知られることなく、ユーザｘに似合うがユーザｘ自身では選ばないであろう未知の服飾品を、ユーザｙに推薦してもらうことができる。

さらに、ユーザｘと同一の顔タイプの顔画像を収集する際に、人種、住んでいる地域、画像を撮影した季節、画像を撮影した場所、または表情等の状況等の情報を取得することによって、購入したい服飾品類を着用することが推奨される季節、場所または状況に合う服飾品を高精度に推奨してもらうことができる。また、ユーザｘの顔画像の表情に応じて、ユーザｘに似合う服飾品を推奨してもらうことができる。

一方で、ユーザｘは、ユーザｙに推薦された服飾品の服飾画像を、ユーザｘ自身の全身撮像画像に合成することによって、自分と特定できるアバターに服飾品を試着させることができる。すなわち、ユーザｘは、ユーザｙが推薦した服飾品を自身が着用している画像で確認することができる。もちろんユーザｘは、ユーザｙが推薦した服飾品を自身のアバターが着用している画像を確認することもできる。

（第一実施形態の変形例）
第一実施形態では、顔画像の顔全体を平均顔に変形させたが、ユーザｘの顔画像を元に、平均顔画像の所定の顔パーツのみを利用して、所定の顔パーツのみ変形させてもよい。ここで、変形させる所定の顔パーツは、変形ポリシーに含まれるとする。表５は、変形させる顔パーツの候補を説明する表である。表５に示すように、変形対象の顔パーツは、目、口、鼻、顔の形状、耳である。優先度は、顔パーツが変更された場合に印象度が変わりやすい顔パーツほど高い。優先度は数が小さいほど高い。変形ポリシー設定部１３は、例えば、顔パーツの候補から、優先度上位２つの顔パーツである目および口を変形させる顔パーツとして設定する。変形させる顔パーツは、１つでもよいし、目および口以外の組み合わせでもよく、３つ以上のパーツを任意に組み合わせてもよい。すなわち、変形させる顔パーツは、１以上であればよく、全てのパーツを組み合わせてもよい。

顔変形部１４は、変形ポリシーに基づいて平均顔画像を取得し、ユーザｘの顔画像の顔パーツを、平均顔画像の顔パーツに置換し、変形顔画像を生成する。この際、顔変形部１４は、平均顔画像の大きさが顔画像の顔の大きさに合うようにスケーリングしてから、顔パーツを置換する。

以上のように、第一実施形態の変形例のアバター生成装置１０は、顔パーツ毎に変更するかしないかを選択できる。そのため、ユーザｘの特徴が一部完全に残るアバターを生成することも可能である。変形例では、優先度の高い顔パーツを自動的に選択したが、ユーザｘによってどの顔パーツを変形させるか選択してもよい。ユーザｘの特徴に基づいて顔パーツの優先度を動的に変化させて設定してもよく、優先度は所定値に限らない。例えば、顔パーツの優先度を、ユーザｘの顔パーツと平均顔画像の顔パーツと相関度が小さいものほど優先度が高くなるように設定してもよい。ここで、相関度はユーザｘの顔パーツと平均顔画像の顔パーツの画素値の絶対平均差分和で計算される。このように、平均顔画像と差が大きい顔パーツから優先して変形することで、変形する顔パーツの数が少ない場合でも、ユーザｘに似ているがユーザｘ本人とは特定が難しいアバターを生成することができる。

（第二実施形態）
図６および図７を用いて、第二実施形態に係るアバター生成装置２０について説明する。第二実施形態に係るアバター生成装置２０は、ユーザｘと嗜好が類似する所定数の人物の顔画像を平均した平均顔画像を利用したアバターを生成する。なお、同一人物の顔画像を複数枚用いて平均した平均顔画像を利用してもよい。図６は、第二実施形態に係るアバター生成装置２０の構成の一例を示すブロック図である。アバター生成装置２０は、顔画像取得部２１と、顔タイプ判定部２２と、類似嗜好顔画像収集部２３と、変形ポリシー設定部２４と、顔変形部２５と、全身画像合成部２６と、を含む。なお、顔画像取得部２１および全身画像合成部２６の構成および動作は、第一実施形態の全身画像合成部１５の構成および動作と同様であるため、説明を省略する。また、顔タイプ判定部２２の構成および動作は、判定結果等を変形ポリシー設定部１３の代わりに類似嗜好顔画像収集部２３へ出力することを除いて、第一実施形態の顔タイプ判定部１２の構成および動作と同様であるため、説明を省略する。

類似嗜好顔画像収集部２３は、顔タイプ判定部２２から、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを取得する。類似嗜好顔画像収集部２３は、制御装置１１０の記憶制御部１１４を介して記憶部１０４に保存されたユーザｘの嗜好情報を取得する。嗜好情報は、服飾品およびインテリア等の好み、の購買履歴、閲覧履歴または投稿履歴等を含む。嗜好情報は、顔画像取得部２１が取得する設定情報に予め含まれていてもよいし、制御装置１１０の操作情報取得部１１３を介してユーザｘに操作部１０３から入力させてもよいし、ショッピングサイトのデータベース、ＷＥＢ、ＳＮＳ等の閲覧履歴等から取得してもよい。類似嗜好顔画像収集部２３は、取得したユーザｘの嗜好情報から、例えば、所定期間の購買履歴を抽出する。類似嗜好顔画像収集部２３は、ユーザｘと嗜好が類似する所定数の人物の顔画像である類似嗜好顔画像を収集する。類似嗜好顔画像には、撮像対象までの距離および撮像対象の３次元座標を含む類似嗜好顔距離情報が紐付けられているものとする。嗜好が類似する人物は、例えば、ユーザｘの購入履歴と所定数以上が一致するまたは類似する購買履歴を有する人物である。すなわち、ユーザｘの購入履歴との相関度が高い人物を嗜好が類似する人物とする。顔画像の収集は、例えば、ショッピングサイトのデータベース、ＷＥＢ、ＳＮＳ等から行われる。所定期間の購買履歴および購買履歴の一致数は、ショッピングサイト、ＷＥＢ、ＳＮＳ等の閲覧履歴等から取得できるものとする。類似嗜好顔画像収集部２３は、設定情報と、顔画像および顔距離情報と、収集した類似嗜好顔画像および類似嗜好顔距離情報とを、変形ポリシー設定部２４へ出力する。

変形ポリシー設定部２４は、類似嗜好顔画像収集部２３から、設定情報と、顔画像および顔距離情報と、収集した類似嗜好顔画像および類似嗜好顔距離情報とを取得する。変形ポリシー設定部２４は、変形ポリシーとして、ユーザｘの顔画像および収集した類似嗜好顔画像の平均画像をアバター生成に利用することを設定する。変形ポリシー設定部２４は、設定情報と、顔画像および顔距離情報と、類似嗜好顔画像および類似嗜好顔距離情報と、設定した変形ポリシーとを、顔変形部２５へ出力する。

顔変形部２５は、変形ポリシー設定部２４から、設定情報と、顔画像および顔距離情報と、類似嗜好顔画像および類似嗜好顔距離情報と、変形ポリシーとを取得する。顔変形部２５は、変形ポリシーに基づいて、変形顔画像および変形顔距離情報を生成する。顔変形部２５は、変形ポリシーに基づいて、ユーザｘの顔画像および収集した複数の類似嗜好顔画像を平均して平均顔画像を生成し、変形顔画像とする。顔変形部２５は、変形ポリシーに基づいて、ユーザｘの顔距離情報および収集した複数の類似嗜好顔距離情報を平均して平均顔距離情報を生成し、変形顔距離情報とする。顔変形部２５は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部２６へ出力する。

図７は、第二実施形態に係るアバター生成装置２０の処理の一例を示すフローチャートである。アバター生成装置２０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図７に示すステップＳＴ２１に移行して処理を開始する。

アバター生成装置２０は、撮像画像から顔画像を取得する（ステップＳＴ２１）。より具体的には、アバター生成装置２０は、まず、顔画像取得部２１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置２０は、次に、顔画像取得部２１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置２０は、ステップＳＴ２２に移行する。

アバター生成装置２０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ２２）。より具体的には、アバター生成装置２０は、まず、顔タイプ判定部２２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置２０は、次に、顔タイプ判定部２２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置２０は、ステップＳＴ２３に移行する。

アバター生成装置２０は、購買履歴、閲覧履歴および投稿履歴等に基づいて、嗜好が類似する人物の顔画像である類似嗜好顔画像を収集する（ステップＳＴ２１）。より具体的には、アバター生成装置２０は、まず、類似嗜好顔画像収集部２３に、ユーザｘの嗜好情報を取得させる。嗜好情報は、服飾品およびインテリア等の購買履歴、閲覧履歴または投稿履歴等の相関度を含む。アバター生成装置２０は、次に、類似嗜好顔画像収集部２３に、取得した嗜好情報から、例えば、所定期間の購買履歴を抽出させる。アバター生成装置２０は、次に、類似嗜好顔画像収集部２３に、ユーザｘと嗜好が類似する人物の顔画像である類似嗜好顔画像および類似嗜好顔距離情報を収集させる。嗜好が類似する人物は、例えば、ユーザｘの購入履歴と所定数一致する購買履歴を有する人物である。アバター生成装置２０は、ステップＳＴ２４に移行する。

アバター生成装置２０は、変形ポリシーを設定する（ステップＳＴ２４）。より具体的には、アバター生成装置２０は、変形ポリシー設定部２４に、変形ポリシーとして、ユーザｘの顔画像および収集した類似嗜好顔画像の平均画像をアバター生成に利用することを設定させる。アバター生成装置２０は、ステップＳＴ２５に移行する。

アバター生成装置２０は、顔画像および複数の類似嗜好顔画像を平均して平均顔画像を変形顔画像として生成する（ステップＳＴ２５）。より具体的には、アバター生成装置２０は、顔変形部２５に、顔画像および収集した複数の類似嗜好顔画像を平均して、ユーザｘとユーザｘに嗜好が類似する複数の人物との平均顔画像を生成し、変形顔画像とさせる。また、アバター生成装置２０は、顔変形部２５に、顔距離情報および収集した複数の類似嗜好顔距離情報を平均して、ユーザｘとユーザｘに嗜好が類似する複数の人物との平均顔距離情報を生成し、変形顔距離情報とさせる。アバター生成装置２０は、ステップＳＴ２６に移行する。

アバター生成装置２０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ２６）。より具体的には、アバター生成装置２０は、まず、全身画像合成部２６に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置２０は、次に、全身画像合成部２６に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置２０は、全身画像合成部２６に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置２０は、図７に示すフローチャートの処理を終了する。

以上のように、第二実施形態のアバター生成装置２０は、ユーザｘおよびユーザｘと類似する傾向の服飾品またはインテリアの購買履歴等を有する所定数の人物の平均顔画像のアバター画像を生成する。一般的に、人は自分に似合う服飾品を購買することから、類似する傾向の購買履歴を有する複数の人物から生成した平均顔は、その購買履歴にある衣服が似合うことが想定できる。

第二実施形態のアバター生成装置２０で生成したアバター画像を使用した服飾マッチングシステム１は、遠隔ショッピング等において、ユーザｘが仮想的に服飾品を試着する際に、ユーザｘおよびユーザｘと嗜好が類似する平均顔画像を有するアバターに服飾品を試着させることができる。これにより、ユーザｙにユーザｘの個人情報を特定させることなく、ユーザｘに似合う服飾品を推薦してもらうことが可能である。

第二実施形態では購買履歴の相関度を利用したが、例えば、投稿履歴の相関度を利用する場合、類似嗜好顔画像収集部２３は、所定期間の投稿履歴または投稿履歴が一致するまたは類似する数を、ショッピングサイト等からではなく、ＳＮＳ等にアップロードされた写真画像から服飾品等を抽出することによって取得してもよい。類似嗜好顔画像収集部２３は、ＳＮＳ等にアップロードされた文章から衣服に関連するキーワードを抽出することによって取得してもよい。

（第三実施形態）
図８および図９を用いて、第三実施形態に係るアバター生成装置３０について説明する。第三実施形態に係るアバター生成装置２０は、好きな有名人等のユーザｘの所定数のお気に入り顔の顔画像を平均した平均顔画像を利用したアバターを生成する。ここで、好きな有名人等は、有名人等の顔、ファッション、性格、話術、音楽や絵画、映像等の芸術作品、ライフスタイル等、種々の観点から好きな場合が挙げられるが、ここでは顔またはファッションの観点から好きな有名人等であることが好ましく、特に顔が好きな有名人等であることがより好ましい。図８は、第三実施形態に係るアバター生成装置３０の構成の一例を示すブロック図である。アバター生成装置３０は、顔画像取得部３１と、顔タイプ判定部３２と、お気に入り顔画像収集部３３と、変形ポリシー設定部３４と、顔変形部３５と、全身画像合成部３６と、を含む。なお、顔画像取得部３１および全身画像合成部３６の構成および動作は、第一実施形態の顔画像取得部１１および全身画像合成部１５の構成および動作と同様であるため、説明を省略する。また、顔変形部３５の構成および動作は、第二実施形態の顔変形部２５の構成および動作と同様であるため、説明を省略する。また、顔タイプ判定部３２の構成および動作は、判定結果等を変形ポリシー設定部１３の代わりにお気に入り顔画像収集部３３へ出力することを除いて、第一実施形態の顔タイプ判定部１２の構成および動作と同様であるため、説明を省略する。

お気に入り顔画像収集部３３は、顔タイプ判定部３２から、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを取得する。お気に入り顔画像収集部３３は、制御装置１１０の記憶制御部１１４を介して記憶部１０４に保存されたユーザｘのお気に入り顔を有する有名人情報を取得する。有名人情報は、顔画像取得部３１が取得する設定情報に予め含まれていてもよいし、制御装置１１０の操作情報取得部１１３を介してユーザｘに操作部１０３から入力させてもよい。有名人情報は、所定数の有名人の情報を含む。有名人は、例えば、モデル、芸能人、スポーツ選手、政治家または文芸家等である。お気に入り顔画像収集部３３は、取得した所定数の有名人の顔画像であるお気に入り顔顔画像を、ＷＥＢまたはＳＮＳ等から収集する。お気に入り顔画像には、撮像対象までの距離および撮像対象の３次元座標を含むお気に入り顔距離情報が紐付けられているものとする。お気に入り顔画像収集部３３は、設定情報と、顔画像および顔距離情報と、収集したお気に入り顔画像およびお気に入り顔距離情報とを、変形ポリシー設定部３４へ出力する。

変形ポリシー設定部３４は、お気に入り顔画像収集部３３から、設定情報と、顔画像および顔距離情報と、収集したお気に入り顔画像およびお気に入り顔距離情報とを取得する。変形ポリシー設定部３４は、変形ポリシーとして、ユーザｘの顔画像および収集したお気に入り顔画像の平均画像をアバター生成に利用することを設定する。変形ポリシー設定部３４は、設定情報と、顔画像および顔距離情報と、お気に入り顔画像およびお気に入り顔距離情報と、設定した変形ポリシーとを、顔変形部３５へ出力する。

顔変形部３５は、変形ポリシー設定部３４から、設定情報と、顔画像および顔距離情報と、お気に入り顔画像およびお気に入り顔距離情報と、変形ポリシーとを取得する。顔変形部３５は、変形ポリシーに基づいて、変形顔画像および変形顔距離情報を生成する。顔変形部３５は、変形ポリシーに基づいて、ユーザｘの顔画像および収集した複数のお気に入り顔画像を平均して平均顔画像を生成し、変形顔画像とする。顔変形部３５は、変形ポリシーに基づいて、ユーザｘの顔距離情報および収集した複数のお気に入り顔距離情報を平均して平均顔距離情報を生成し、変形顔距離情報とする。顔変形部３５は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部３６へ出力する。

図９は、第三実施形態に係るアバター生成装置３０の処理の一例を示すフローチャートである。アバター生成装置３０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図９に示すステップＳＴ３１に移行して処理を開始する。

アバター生成装置３０は、撮像画像から顔画像を取得する（ステップＳＴ３１）。より具体的には、アバター生成装置３０は、まず、顔画像取得部３１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置３０は、次に、顔画像取得部３１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置３０は、ステップＳＴ３２に移行する。

アバター生成装置３０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ３２）。より具体的には、アバター生成装置３０は、まず、顔タイプ判定部３２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置３０は、次に、顔タイプ判定部３２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置３０は、ステップＳＴ３３に移行する。

アバター生成装置３０は、お気に入り顔の有名人の顔画像であるお気に入り顔画像を収集する（ステップＳＴ３３）。より具体的には、アバター生成装置３０は、まず、お気に入り顔画像収集部３３に、ユーザｘのお気に入り顔の有名人情報を取得させる。有名人情報は、所定数の有名人の情報を含む。アバター生成装置３０は、次に、お気に入り顔画像収集部３３に、取得した所定数の有名人の顔画像であるお気に入り顔画像およびお気に入り顔距離情報を、ＷＥＢまたはＳＮＳ等から収集させる。アバター生成装置３０は、ステップＳＴ３４に移行する。

アバター生成装置３０は、変形ポリシーを設定する（ステップＳＴ３４）。より具体的には、アバター生成装置３０は、変形ポリシー設定部３４に、変形ポリシーとして、ユーザｘの顔画像および収集したお気に入り顔画像の平均画像をアバター生成に利用することを設定させる。アバター生成装置３０は、ステップＳＴ３５に移行する。

アバター生成装置３０は、顔画像および複数のお気に入り顔画像を平均して平均顔画像を変形顔画像として生成する（ステップＳＴ３５）。より具体的には、アバター生成装置３０は、顔変形部３５に、顔画像および収集した複数のお気に入り顔画像を平均して、ユーザｘとお気に入り顔の複数の有名人との平均顔画像を生成し、変形顔画像とさせる。また、アバター生成装置３０は、顔変形部３５に、顔距離情報および収集した複数のお気に入り顔距離情報を平均して、ユーザｘとお気に入り顔の複数の有名人との平均顔距離情報を生成し、変形顔距離情報とさせる。アバター生成装置３０は、ステップＳＴ３６に移行する。

アバター生成装置３０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ３６）。より具体的には、アバター生成装置３０は、まず、全身画像合成部３６に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置３０は、次に、全身画像合成部３６に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置３０は、全身画像合成部３６に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置３０は、図９に示すフローチャートの処理を終了する。

以上のように、第三実施形態のアバター生成装置３０は、ユーザｘおよびユーザｘのお気に入り顔を有する有名人の平均顔画像のアバター画像を生成する。一般的に人は好きな有名人のようになりたいという願望を有していることから、好きな有名人から生成した平均顔画像は、ユーザｘの着てみたい服飾品が似合うことが想定できる。

第三実施形態のアバター生成装置３０で生成したアバター画像を使用した服飾マッチングシステム１は、遠隔ショッピング等において、ユーザｘが仮想的に服飾品を試着する際に、ユーザｘおよびユーザｘのお気に入り顔を有する有名人の平均顔画像を有するアバターに服飾品を試着させることができる。これにより、ユーザｙにユーザｘの個人情報を特定させることなく、ユーザｘに似合う服飾品を推薦してもらうことが可能である。

（第四実施形態）
図１０乃至図１５を用いて、第四実施形態に係るアバター生成装置４０について説明する。第四実施形態に係るアバター生成装置４０は、ユーザｘ自身の撮像画像を元に、所定の変形方法で選択対象の顔パーツを自動的に変形したアバターを生成する。図１０は、第四実施形態に係るアバター生成装置４０の構成の一例を示すブロック図である。アバター生成装置４０は、顔画像取得部４１と、顔タイプ判定部４２と、顔パーツ変形設定部４３と、顔パーツ変形部４４と、全身画像合成部４５と、を含む。なお、顔画像取得部４１の構成および動作は、第一実施形態の顔画像取得部１１の構成および動作と同様であるため、説明を省略する。また、顔タイプ判定部４２の構成および動作は、判定結果等を変形ポリシー設定部１３の代わりに顔パーツ変形設定部４３へ出力することを除いて、第一実施形態の顔タイプ判定部１２の構成および動作と同様であるため、説明を省略する。また、全身画像合成部４５の構成および動作は、変形顔画像および変形距離情報等を顔変形部１４の代わりに顔パーツ変形部４４から取得することを除いて、第一実施形態の全身画像合成部１５の構成および動作と同様であるため、説明を省略する。

顔パーツ変形設定部４３は、顔タイプ判定部４２から、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを取得する。顔パーツ変形設定部４３は、顔タイプＴｉに基づいて、顔画像から顔タイプＴｉの判定結果に影響を与えない顔パーツを変形対象の顔パーツとして設定する。変形対象の顔パーツは、判定番号Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７に対応して分類される。顔パーツ変形設定部４３は、変形対象の顔パーツが含まれる顔パーツリストを生成する。顔パーツ変形設定部４３は、ユーザｘの顔タイプＴｉおよび変形対象の顔パーツの判定結果に基づいて、変形方法を設定する。変形方法は、変形対象の顔パーツに対応する上限値Ｖｍａｘおよび下限値Ｖｍｉｎを含む変形許容範囲を含む。顔パーツ変形設定部４３は、設定情報、顔画像、顔距離情報、生成した顔パーツリストおよび変形方法を顔パーツ変形部４４へ出力する。

顔パーツ変形部４４は、顔パーツ変形設定部４３から、設定情報、顔画像、顔距離情報、生成した顔パーツリストおよび変形方法を取得する。顔パーツ変形部４４は、変形方法に基づいて、変形設定値を設定する。変形設定値は、各顔パーツに対応する判定番号Ｎｉ毎に設定される。変形設定値は、判定項目毎に設定された所定の２箇所の比率の値である。所定の２箇所は、後述の表７に示される。顔パーツ変形部４４は、顔画像から顔パーツリストに登録されている変形対象の顔パーツ画像を抽出する。顔パーツ変形部４４は、設定された変形方法および変形設定値に基づいて変形対象の顔パーツ画像を変形した変形顔パーツ画像を生成する。顔パーツ変形部４４は、顔距離情報から顔パーツリストに登録されている変形対象の顔パーツ距離情報を抽出する。顔パーツ変形部４４は、設定された変形方法および変形設定値に基づいて変形対象の顔パーツ距離情報を変形した変形顔パーツ距離情報を生成する。顔パーツ変形部４４は、変形顔パーツ画像を顔画像に合成して変形顔画像を生成する。顔パーツ変形部４４は、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成する。顔パーツ変形部４４は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部４５へ出力する。

図１１は、第四実施形態に係るアバター生成装置４０の処理の一例を示すフローチャートである。アバター生成装置４０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図１１に示すステップＳＴ４１に移行して処理を開始する。

アバター生成装置４０は、撮像画像から顔画像を取得する（ステップＳＴ４１）。より具体的には、アバター生成装置４０は、まず、顔画像取得部４１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置４０は、次に、顔画像取得部４１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置４０は、ステップＳＴ４２に移行する。

アバター生成装置４０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ４２）。より具体的には、アバター生成装置４０は、まず、顔タイプ判定部４２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置４０は、次に、顔タイプ判定部４２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置４０は、ステップＳＴ４３に移行する。

アバター生成装置４０は、変形対象の顔パーツおよび変形方法を設定する（ステップＳＴ４３）。より具体的には、アバター生成装置４０は、まず、顔パーツ変形設定部４３に、顔タイプＴｉに基づいて、顔画像から顔タイプＴｉの判定結果に影響を与えない顔パーツを変形対象の顔パーツとして設定させる。アバター生成装置４０は、次に、顔パーツ変形設定部４３に、変形対象の顔パーツが含まれる顔パーツリストを生成させる。アバター生成装置４０は、次に、顔パーツ変形設定部４３に、ユーザｘの顔タイプＴｉおよび変形対象の顔パーツの判定結果に基づいて、変形方法を設定させる。アバター生成装置４０は、ステップＳＴ４４に移行する。

アバター生成装置４０は、設定された変形方法に基づいて、変形対象の顔パーツを変形して変形顔画像を生成する（ステップＳＴ４４）。より具体的には、アバター生成装置４０は、まず、顔パーツ変形部４４に、変形方法に基づいて、変形設定値を設定させる。アバター生成装置４０は、次に、顔パーツ変形部４４に、顔画像から顔パーツリストに登録されている変形対象の顔パーツ画像を抽出させる。また、アバター生成装置４０は、顔パーツ変形部４４に、設定された変形方法および変形設定値に基づいて変形対象の顔パーツ画像を変形した変形顔パーツ画像を生成させる。アバター生成装置４０は、次に、顔パーツ変形部４４に、顔距離情報から顔パーツリストに登録されている変形対象の顔パーツ距離情報を抽出させる。また、アバター生成装置４０は、顔パーツ変形部４４に、設定された変形方法および変形設定値に基づいて変形対象の顔パーツ距離情報を変形した変形顔パーツ距離情報を生成させる。アバター生成装置４０は、次に、顔パーツ変形部４４に、変形顔パーツ画像を顔画像に合成して変形顔画像を生成させる。また、アバター生成装置４０は、顔パーツ変形部４４に、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成させる。アバター生成装置４０は、ステップＳＴ４５に移行する。

アバター生成装置４０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ４５）。より具体的には、アバター生成装置４０は、全身画像合成部４５に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置４０は、全身画像合成部４５に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置４０は、図１１に示すフローチャートの処理を終了する。

変形対象の顔パーツの変形方法の設定について、詳細に説明する。顔パーツリストは、１つ以上の変形対象の顔パーツを含む。表６は、顔タイプＴｉに対応した顔パーツリストに含まれる変形対象の顔パーツの制限の一例を示す表である。表６に示す一例において、全ての顔タイプＴｉで判定番号Ｎ５に対応する顔パーツである顔の立体感は、変形対象から除いている。また、表６に示す一例において、顔タイプＴ２、Ｔ６で判定番号Ｎ６に対応する顔パーツである目の大きさは、変形対象から除いている。

表７は、判定番号Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７に対応する変形対象の顔パーツ毎の比率の、Ａ判定とされる閾値、上限値および下限値を示す表である。ユーザｘの顔パーツに対応する判定番号Ｎｉ毎の判定結果は、比率によって示される判定値Ｖが閾値以下であるとＡ判定となり、判定値Ｖが閾値より大きいとＢ判定となる。表７に示す上限値および下限値は、Ａ判定となる値およびＢ判定となる値を合わせた変形許容範囲を示す。すなわち、表７に示す上限値は、Ｂ判定となる範囲の上限値である。表７に示す下限値は、Ａ判定となる範囲の下限値である。Ｂ判定となる範囲の下限値は、第四実施形態では閾値と同じであるが、本発明では閾値より大きくてもよい。Ａ判定となる範囲の上限値は、第四実施形態では閾値と同じであるが、本発明では閾値より小さくてもよい。

図１２は、第四実施形態に係る顔パーツ変形設定部４３の処理の一例を示すフローチャートである。顔パーツ変形設定部４３は、例えば、図１１のステップＳＴ４３に示す顔タイプ判定部４２の処理が終了したことによって、図１２に示すステップＳＴ２０１に移行して処理を開始する。より詳しくは、顔タイプ判定部４２の処理は、例えば、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを、顔パーツ変形設定部４３へ出力することによって終了する。

顔パーツ変形設定部４３は、顔タイプ判定部４２が判定したユーザｘの顔タイプＴｉを取得する（ステップＳＴ２０１）。第四実施形態において、顔タイプＴｉは、表１に示す顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７、Ｔ８のいずれかである。顔パーツ変形設定部４３は、ステップＳＴ２０２に移行する。

顔パーツ変形設定部４３は、取得した顔タイプＴｉに基づいて、変形対象の顔パーツを設定する（ステップＳＴ２０２）。第四実施形態において、変形対象の顔パーツは、表２に示す判定番号Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７に対応して分類される。変形対象の顔パーツは、表６に示すように設定される。顔パーツ変形設定部４３は、ステップＳＴ２０３に移行する。

顔パーツ変形設定部４３は、変形対象の顔パーツに対応する判定番号Ｎｉ毎に判定結果を取得する（ステップＳＴ２０３）。変形対象の顔パーツの判定結果は、表２に示すように、Ａ判定またはＢ判定である。顔パーツ変形設定部４３は、ステップＳＴ２０４に移行する。

顔パーツ変形設定部４３は、ステップＳＴ２０１で取得した顔タイプＴｉが、顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれかであるか否かを判定する（ステップＳＴ２０４）。顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４は、すなわち、Ａ判定の数が多い顔タイプＴｉである。顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれかである場合（ステップＳＴ２０４；Ｙｅｓ）、顔パーツ変形設定部４３は、ステップＳＴ２０５に移行する。顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれでもない場合（ステップＳＴ２０４；Ｎｏ）、顔パーツ変形設定部４３は、ステップＳＴ２０６に移行する。

顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれかである場合（ステップＳＴ２０４；Ｙｅｓ）、顔パーツ変形設定部４３は、ステップＳＴ２０３で取得した変形対象の顔パーツの判定結果がＡ判定か否かを判定する（ステップＳＴ２０５）。変形対象の顔パーツの判定結果がＡ判定である場合（ステップＳＴ２０５；Ｙｅｓ）、顔パーツ変形設定部４３は、ステップＳＴ２０７に移行する。変形対象の顔パーツの判定結果がＡ判定でない場合（ステップＳＴ２０５；Ｎｏ）、顔パーツ変形設定部４３は、ステップＳＴ２０８に移行する。

顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれでもない場合（ステップＳＴ２０４；Ｎｏ）、顔パーツ変形設定部４３は、ステップＳＴ２０３で取得した変形対象の顔パーツの判定結果がＡ判定か否かを判定する（ステップＳＴ２０６）。変形対象の顔パーツの判定結果がＡ判定である場合（ステップＳＴ２０６；Ｙｅｓ）、顔パーツ変形設定部４３は、ステップＳＴ２０８に移行する。変形対象の顔パーツの判定結果がＡ判定でない場合（ステップＳＴ２０６；Ｎｏ）、顔パーツ変形設定部４３は、ステップＳＴ２０９に移行する。

顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれかである場合（ステップＳＴ２０４；Ｙｅｓ）、かつ変形対象の顔パーツの判定結果がＡ判定である場合（ステップＳＴ２０５；Ｙｅｓ）、顔パーツ変形設定部４３は、変形対象の顔パーツの変形許容範囲を、Ａ判定となる範囲に設定する（ステップＳＴ２０７）。すなわち、顔パーツ変形設定部４３は、Ａ判定となる顔パーツの数が変わらないか増えるように変形許容範囲を設定する。顔パーツ変形設定部４３は、図１２に示すフローチャートの処理を終了する。

顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれかである場合（ステップＳＴ２０４；Ｙｅｓ）、かつ変形対象の顔パーツの判定結果がＡ判定でない場合（ステップＳＴ２０５；Ｎｏ）、顔パーツ変形設定部４３は、変形対象の顔パーツの変形許容範囲を、Ａ判定またはＢ判定となる範囲に設定する（ステップＳＴ２０８）。すなわち、顔パーツ変形設定部４３は、Ｂ判定となる顔パーツの数が変わらないか減るように変形許容範囲を設定する。また、顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれでもない場合（ステップＳＴ２０４；Ｎｏ）、かつ変形対象の顔パーツの判定結果がＡ判定である場合（ステップＳＴ２０６；Ｙｅｓ）、顔パーツ変形設定部４３は、変形対象の顔パーツの変形許容範囲を、Ａ判定またはＢ判定となる範囲に設定する（ステップＳＴ２０８）。すなわち、顔パーツ変形設定部４３は、Ａ判定となる顔パーツの数が変わらないか減るように変形許容範囲を設定する。顔パーツ変形設定部４３は、図１２に示すフローチャートの処理を終了する。

顔タイプＴｉが顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４のいずれでもない場合（ステップＳＴ２０４；Ｎｏ）、かつ変形対象の顔パーツの判定結果がＡ判定でない場合（ステップＳＴ２０６；Ｎｏ）、顔パーツ変形設定部４３は、変形対象の顔パーツの変形許容範囲を、Ｂ判定となる範囲に設定する（ステップＳＴ２０９）。すなわち、顔パーツ変形設定部４３は、Ｂ判定となる顔パーツの数が変わらないか増えるように変形許容範囲を設定する。顔パーツ変形設定部４３は、図１２に示すフローチャートの処理を終了する。

図１３は、第四実施形態に係る顔パーツ変形部４４の処理の一例を示すフローチャートである。顔パーツ変形部４４は、例えば、図１１のステップＳＴ４４に示す顔パーツ変形設定部４３の処理が終了したことによって、図１３に示すステップＳＴ２５１に移行して処理を開始する。より詳しくは、顔パーツ変形設定部４３の処理は、設定情報、顔画像、顔距離情報、顔パーツリストおよび変形方法を、顔パーツ変形部４４へ出力することによって終了する。

顔パーツ変形部４４は、取得した顔パーツリストに基づいて、処理対象の顔パーツに対応する判定番号Ｎｉを取得する（ステップＳＴ２５１）。顔パーツ変形部４４は、ステップＳＴ２５２に移行する。

顔パーツ変形部４４は、判定番号Ｎｉに対応する判定値Ｖを取得する（ステップＳＴ２５２）。判定値Ｖは、表７の判定項目に示す各々の比率の値である。顔パーツ変形部４４は、ステップＳＴ２５３に移行する。

顔パーツ変形部４４は、判定番号Ｎｉに対応する判定結果を取得する（ステップＳＴ２５３）。変形対象の顔パーツの判定結果は、表７に示すように、Ａ判定またはＢ判定である。顔パーツ変形部４４は、ステップＳＴ２５４に移行する。

顔パーツ変形部４４は、図１２に示すフローチャートによって設定された変形許容範囲に基づいて、判定番号Ｎｉおよび判定結果に対応する上限値Ｖｍａｘを取得する（ステップＳＴ２５４）。例えば、変形許容範囲がＡ判定となる範囲に設定された場合、上限値Ｖｍａｘは、Ａ判定となる範囲の上限値である。例えば、変形許容範囲がＢ判定となる範囲に設定された場合、上限値Ｖｍａｘは、表７に示す上限値である。顔パーツ変形部４４は、ステップＳＴ２５５に移行する。

顔パーツ変形部４４は、図１２に示すフローチャートによって設定された変形許容範囲に基づいて、判定番号Ｎｉおよび判定結果に対応する下限値Ｖｍｉｎを取得する（ステップＳＴ２５５）。例えば、変形許容範囲がＡ判定となる範囲に設定された場合、上限値Ｖｍａｘは、表７に示す下限値である。例えば、変形許容範囲がＢ判定となる範囲に設定された場合、上限値Ｖｍａｘは、Ｂ判定となる範囲の下限値である。顔パーツ変形部４４は、ステップＳＴ２５６に移行する。

顔パーツ変形部４４は、ステップＳＴ２５４で取得した上限値ＶｍａｘからステップＳＴ２５５で取得した下限値Ｖｍｉｎを減算した値をさらに２で除算した値が判定値Ｖ以下か否かを判定する（ステップＳＴ２５６）。より具体的には、（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）／２≦判定値Ｖが成立するか否かを判定する。（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）／２の値が判定値Ｖ以下である場合（ステップＳＴ２５６；Ｙｅｓ）、顔パーツ変形部４４は、ステップＳＴ２５７に移行する。（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）／２の値が判定値Ｖより大きい場合（ステップＳＴ２５６；Ｎｏ）、顔パーツ変形部４４は、ステップＳＴ２５８に移行する。

（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）／２の値が判定値Ｖ以下である場合（ステップＳＴ２５６；Ｙｅｓ）、顔パーツ変形部４４は、変形設定値を下限値Ｖｍｉｎに設定する（ステップＳＴ２５７）。すなわち、判定値Ｖが、上限値Ｖｍａｘより下限値Ｖｍｉｎに近い値である場合、顔パーツ変形部４４は、変形設定値を下限値Ｖｍｉｎに設定する。顔パーツ変形部４４は、ステップＳＴ２５９に移行する。

（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）／２の値が判定値Ｖより大きい場合（ステップＳＴ２５６；Ｎｏ）、顔パーツ変形部４４は、変形設定値を上限値Ｖｍａｘに設定する（ステップＳＴ２５８）。すなわち、判定値Ｖが、下限値Ｖｍｉｎより上限値Ｖｍａｘに近い値である場合、顔パーツ変形部４４は、変形設定値を上限値Ｖｍａｘに設定する。顔パーツ変形部４４は、ステップＳＴ２５９に移行する。

顔パーツ変形部４４は、判定番号Ｎｉに対応する変形設定値を保存する（ステップＳＴ２５９）。顔パーツ変形部４４は、図１３に示すフローチャートの処理を終了する。ステップＳＴ２５２からステップＳＴ２５９までは、判定番号Ｎｉ毎に実行し、全ての判定番号Ｎｉに対応する変形設定値を設定するまで繰り返し実行してもよい。

以上のように、第四実施形態のアバター生成装置４０において、図１３に示す一例では、顔パーツに対応する判定番号Ｎｉ毎に、変形許容範囲で変形量を最大化する。ユーザｘの顔画像に対して変形量を大きくすることにより、アバター画像によるユーザｘの個人情報等の秘匿性を向上させることができる。

図１４は、第四実施形態に係る顔パーツ変形部４４の処理の別の一例を示すフローチャートである。顔パーツ変形部４４は、例えば、図１１のステップＳＴ４４に示す顔パーツ変形設定部４３の処理が終了したことによって、図１４に示すステップＳＴ３０１に移行して処理を開始する。より詳しくは、顔パーツ変形設定部４３の処理は、設定情報、顔画像、顔距離情報、生成した顔パーツリストおよび変形方法を、顔パーツ変形部４４へ出力することによって終了する。

顔パーツ変形部４４は、乱数値Ｒを取得する（ステップＳＴ３０１）。乱数値Ｒは、例えば、現在時刻に基づいて乱数パターンが初期化される等、実行タイミングによるランダム性が保証された値である。乱数値Ｒは、０以上かつ１以下の範囲で設定される。顔パーツ変形部４４は、ステップＳＴ３０２に移行する。

図１４に示すステップＳＴ３０２からステップＳＴ３０３までの処理は、図１３に示すステップＳＴ２５１からステップＳＴ２５２までの処理と同様の処理であるため、説明を省略する。顔パーツ変形部４４は、ステップＳＴ３０４に移行する。図１４に示すステップＳＴ３０４からステップＳＴ３０５までの処理は、図１３に示すステップＳＴ２５４からステップＳＴ２５５までの処理と同様の処理であるため、説明を省略する。顔パーツ変形部４４は、ステップＳＴ３０６に移行する。

顔パーツ変形部４４は、乱数値Ｒ、上限値Ｖｍａｘおよび下限値Ｖｍｉｎに基づいて、変形設定値を算出する（ステップＳＴ３０６）。より具体的には、変形設定値＝乱数値Ｒ×（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）＋下限値Ｖｍｉｎに示す式を演算する。これにより、変形設定値は、上限値Ｖｍａｘと下限値Ｖｍｉｎとの値に設定される。顔パーツ変形部４４は、ステップＳＴ３０７に移行する。

顔パーツ変形部４４は、判定番号Ｎｉに対応する変形設定値を保存する（ステップＳＴ３０７）。顔パーツ変形部４４は、図１４に示すフローチャートの処理を終了する。ステップＳＴ３０３からステップＳＴ３０７までは、判定番号Ｎｉ毎に実行し、全ての判定番号Ｎｉに対応する変形設定値を設定するまで繰り返し実行してもよい。ステップＳＴ３０１は、ステップＳＴ３０６より前であればいつ実行してもよく、判定番号Ｎｉ毎に設定してもよい。

以上のように、第四実施形態のアバター生成装置４０において、図１４に示す別の一例では、顔パーツに対応する判定番号Ｎｉ毎に、変形許容範囲でランダムに変形設定値を設定する。ユーザｘの顔画像に対して顔パーツ毎に変形量を変化させることにより、アバター画像によるユーザｘの個人情報等の秘匿性を向上させることができる。また、実行タイミングによって変形設定値が変化するため、複数のパターンのアバター画像を生成することができる。

図１５は、第四実施形態に係る顔パーツ変形部４４の処理のさらに別の一例を示すフローチャートである。顔パーツ変形部４４は、例えば、図１１のステップＳＴ４４に示す顔パーツ変形設定部４３の処理が終了したことによって、図１５に示すステップＳＴ３５１に移行して処理を開始する。より詳しくは、顔パーツ変形設定部４３の処理は、設定情報、顔画像、顔距離情報、生成した顔パーツリストおよび変形方法を、顔パーツ変形部４４へ出力することによって終了する。

顔パーツ変形部４４は、増減割合値Ｐを取得する（ステップＳＴ３５１）。より具体的には、顔パーツ変形部４４は、制御装置１１０の記憶制御部１１４を介して、記憶部１０４に予め保存された増減割合値Ｐを取得する。増減割合値Ｐは、－１．０以上かつ１．０以下で予め設定される定数値である。顔パーツ変形部４４は、ステップＳＴ３５２に移行する。

図１５に示すステップＳＴ３５２からステップＳＴ３５６までの処理は、図１３に示すステップＳＴ２５１からステップＳＴ２５５までの処理と同様の処理であるため、説明を省略する。顔パーツ変形部４４は、ステップＳＴ３５７に移行する。

顔パーツ変形部４４は、判定値Ｖ、増減割合値Ｐ、上限値Ｖｍａｘおよび下限値Ｖｍｉｎに基づいて、変形設定値を算出する（ステップＳＴ３５７）。より具体的には、変形設定値＝判定値Ｖ＋増減割合値Ｐ×（上限値Ｖｍａｘ－下限値Ｖｍｉｎ）に表す式を演算する。顔パーツ変形部４４は、ステップＳＴ３５８に移行する。

顔パーツ変形部４４は、ステップＳＴ３５７で算出した変形設定値が下限値Ｖｍｉｎ以下か否かを判定する（ステップＳＴ３５８）。変形設定値が下限値Ｖｍｉｎ以下である場合（ステップＳＴ３５８；Ｙｅｓ）、顔パーツ変形部４４は、ステップＳＴ３５９に移行する。変形設定値が下限値Ｖｍｉｎより大きい場合（ステップＳＴ３５８；Ｎｏ）、顔パーツ変形部４４は、ステップＳＴ３６０に移行する。

変形設定値が下限値Ｖｍｉｎ以下である場合（ステップＳＴ３５８；Ｙｅｓ）、顔パーツ変形部４４は、変形設定値を下限値Ｖｍｉｎに再設定する（ステップＳＴ３５９）。顔パーツ変形部４４は、ステップＳＴ３６２に移行する。

変形設定値が下限値Ｖｍｉｎより大きい場合（ステップＳＴ３５８；Ｎｏ）、顔パーツ変形部４４は、ステップＳＴ３５７で算出した変形設定値が上限値Ｖｍａｘ以上か否かを判定する（ステップＳＴ３６０）。変形設定値が上限値Ｖｍａｘ以上である場合（ステップＳＴ３６０；Ｙｅｓ）、顔パーツ変形部４４は、ステップＳＴ３６１に移行する。変形設定値が上限値Ｖｍａｘより小さい場合（ステップＳＴ３６０；Ｎｏ）、顔パーツ変形部４４は、ステップＳＴ３６２に移行する。

変形設定値が上限値Ｖｍａｘ以上である場合（ステップＳＴ３６０；Ｙｅｓ）、顔パーツ変形部４４は、変形設定値を上限値Ｖｍａｘに再設定する（ステップＳＴ３６１）。顔パーツ変形部４４は、ステップＳＴ３６２に移行する。変形設定値が下限値Ｖｍｉｎより大きく上限値Ｖｍａｘより小さい場合、変形設定値は、ステップＳＴ３５７で算出された値のままである。

顔パーツ変形部４４は、判定番号Ｎｉに対応する変形設定値を保存する（ステップＳＴ３６２）。顔パーツ変形部４４は、図１５に示すフローチャートの処理を終了する。ステップＳＴ３５３からステップＳＴ３６２までは、判定番号Ｎｉ毎に実行し、全ての判定番号Ｎｉに対応する変形設定値を設定するまで繰り返し実行してもよい。

以上のように、第四実施形態のアバター生成装置４０において、図１５に示すさらに別の一例では、顔パーツに対応する判定番号Ｎｉ毎の判定値Ｖのバランスに基づいて、全ての顔パーツを所定の増減割合値Ｐで増減させて変形設定値を設定する。全ての顔パーツに対して同一の増減割合値Ｐで変形量を変化させることにより、顔のバランスが維持されるので、ユーザｘに似たアバター画像を生成することができる。また、増減割合値Ｐを変化させることによって変形設定値が変化するため、複数のパターンのアバター画像を生成することができる。

図１３乃至図１５に示す例において、顔パーツ変形部４４は、判定番号Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７に対応する顔パーツの変形設定値を設定したが、判定番号Ｎ８、Ｎ９、Ｎ１０、Ｎ１１、Ｎ１２、Ｎ１３、Ｎ１４、Ｎ１５に対応する顔パーツについても同様に設定する。顔パーツ変形部４４は、変形設定値に基づいて、変形対象の顔パーツ画像を変形した変形顔パーツ画像と、変形対象の顔パーツ距離情報を変形した変形顔パーツ距離情報とを生成する。顔パーツ変形部４４は、変形顔パーツ画像を顔画像に合成して変形顔画像を生成する。顔パーツ変形部４４は、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成する。顔パーツ変形部４４は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部４５へ出力する。

（第五実施形態）
図１６乃至１８を用いて、第五実施形態に係るアバター生成装置５０について説明する。第五実施形態に係るアバター生成装置５０は、ユーザｘ自身の撮像画像を元に、所定の変形方法で変形対象の顔パーツを、ユーザｘの操作によって入力された変形設定値に基づいて変形したアバターを生成する。図１６は、第五実施形態に係るアバター生成装置５０の構成の一例を示すブロック図である。アバター生成装置５０は、顔画像取得部５１と、顔タイプ判定部５２と、顔パーツ変形設定部５３と、顔パーツ変形調整部５４と、全身画像合成部５５と、を含む。なお、顔画像取得部５１および顔タイプ判定部５２の構成および動作は、第四実施形態の顔画像取得部４１および顔タイプ判定部４２の構成および動作と同様であるため、説明を省略する。また、顔パーツ変形設定部５３の構成および動作は、顔パーツリストおよび変形方法等を顔パーツ変形部４４の代わりに顔パーツ変形調整部５４へ出力することを除いて、第四実施形態の顔パーツ変形設定部４３の構成および動作と同様であるため、説明を省略する。また、全身画像合成部５５の構成および動作は、変形顔画像および変形距離情報等を顔パーツ変形部４４の代わりに顔パーツ変形調整部５４から取得することを除いて、第四実施形態の全身画像合成部４５の構成および動作と同様であるため、説明を省略する。

顔パーツ変形調整部５４は、顔パーツ変形設定部５３から、設定情報、顔画像、顔距離情報、生成した顔パーツリストおよび変形方法を取得する。顔パーツ変形調整部５４は、顔画像から顔パーツリストに登録されている変形対象の顔パーツ画像を抽出する。顔パーツ変形調整部５４は、設定された変形方法およびユーザｘの操作によって入力された変形設定値に基づいて、変形対象の顔パーツ画像を変形した変形顔パーツ画像を生成する。顔パーツ変形調整部５４は、顔距離情報から顔パーツリストに登録されている変形対象の顔パーツ距離情報を抽出する。顔パーツ変形調整部５４は、設定された変形方法およびユーザｘの操作によって入力された顔パーツの変形設定値に基づいて、変形対象の顔パーツ距離情報を変形した変形顔パーツ距離情報を生成する。顔パーツ変形調整部５４は、変形顔パーツ画像を顔画像に合成して変形顔画像を生成する。顔パーツ変形調整部５４は、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成する。顔パーツ変形調整部５４は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部５５へ出力する。

図１７は、第五実施形態に係るアバター生成装置５０の処理の一例を示すフローチャートである。アバター生成装置５０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図１７に示すステップＳＴ５１に移行して処理を開始する。

アバター生成装置５０は、撮像画像から顔画像を取得する（ステップＳＴ５１）。より具体的には、アバター生成装置５０は、まず、顔画像取得部５１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置５０は、次に、顔画像取得部５１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置５０は、ステップＳＴ５２に移行する。

アバター生成装置５０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ５２）。より具体的には、アバター生成装置５０は、まず、顔タイプ判定部５２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置５０は、次に、顔タイプ判定部５２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置５０は、ステップＳＴ５３に移行する。

アバター生成装置５０は、変形対象の顔パーツおよび変形方法を設定する（ステップＳＴ５３）。より具体的には、アバター生成装置５０は、まず、顔パーツ変形設定部５３に、顔タイプＴｉに基づいて、顔画像から顔タイプＴｉの判定結果に影響を与えない顔パーツを変形対象の顔パーツとして設定させる。アバター生成装置５０は、次に、顔パーツ変形設定部５３に、変形対象の顔パーツが含まれる顔パーツリストを生成させる。アバター生成装置５０は、次に、顔パーツ変形設定部５３に、ユーザｘの顔タイプＴｉおよび変形対象の顔パーツの判定結果に基づいて、変形方法を設定させる。アバター生成装置５０は、ステップＳＴ５４に移行する。

アバター生成装置５０は、設定された変形方法に基づく範囲で入力された変形設定値によって変形対象の顔パーツを変形して変形顔画像を生成する（ステップＳＴ５４）。より具体的には、アバター生成装置５０は、まず、顔パーツ変形調整部５４に、顔画像から顔パーツリストに登録されている変形対象の顔パーツ画像を抽出させる。また、アバター生成装置５０は、顔パーツ変形調整部５４に、顔距離情報から顔パーツリストに登録されている変形対象の顔パーツ距離情報を抽出させる。アバター生成装置５０は、次に、顔パーツ変形調整部５４に、設定された変形方法およびユーザｘの操作によって入力された変形設定値に基づいて、変形対象の顔パーツ画像を変形した変形顔パーツ画像を生成させる。また、アバター生成装置５０は、顔パーツ変形調整部５４に、設定された変形方法およびユーザｘの操作によって入力された顔パーツの変形設定値に基づいて、変形対象の顔パーツ距離情報を変形した変形顔パーツ距離情報を生成させる。アバター生成装置５０は、次に、顔パーツ変形調整部５４に、変形顔パーツ画像を顔画像に合成して変形顔画像を生成させる。また、アバター生成装置５０は、顔パーツ変形調整部５４に、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成させる。アバター生成装置５０は、ステップＳＴ５５に移行する。

アバター生成装置５０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ５５）。より具体的には、アバター生成装置５０は、全身画像合成部５５に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置５０は、全身画像合成部５５に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置５０は、図１７に示すフローチャートの処理を終了する。

図１８は、第五実施形態に係る顔パーツ変形調整部５４を操作する操作画面の一例を示す図である。操作画面は、ユーザｘの移動体端末１００Ｘの表示部１０５に表示されるアプリウィンドウ１５０上に表示される。アプリウィンドウ１５０は、アバター画像表示領域１６０と、パラメータ表示領域１７０と、決定ボタン１８０と、を含む。アバター画像表示領域１６０には、ユーザｘの顔画像、またはユーザｘの操作によって変形した変形顔画像が表示される。

パラメータ表示領域１７０は、顔パーツ毎に、項目名表示領域１７１と、パラメータバー１７２と、上限値表示領域１７３と、下限値表示領域１７４と、調整つまみ１７５と、プラスボタン１７６と、マイナスボタン１７７と、変形設定値表示領域１７８と、を含む。項目名表示領域１７１には、顔パーツに対応する判定番号Ｎｉの判定項目名が表示される。パラメータバー１７２は、第五実施形態において、横長の長方形状である。パラメータバー１７２上には、長方形状の長手方向に沿ってスライド操作可能な調整つまみ１７５が表示される。上限値表示領域１７３には、顔パーツ毎に顔パーツ変形設定部５３が設定した上限値Ｖｍａｘが表示される。下限値表示領域１７４には、顔パーツ毎に顔パーツ変形設定部５３が設定した下限値Ｖｍｉｎが表示される。

調整つまみ１７５は、顔パーツ毎にパラメータバー１７２上を長手方向に沿ってスライド可能である。調整つまみ１７５は、パラメータバー１７２上の位置に対応して変形設定値を調整する。例えば、調整つまみ１７５は、左端部にある場合に変形設定値が下限値Ｖｍｉｎとなり、右端部にある場合に変形設定値が上限値Ｖｍａｘとなるように調整する。
プラスボタン１７６は、制御装置１１０の操作情報取得部１１３を介して所定操作を受け付けることによって、顔パーツ毎に調整つまみ１７５を操作画面の右方向に所定量移動させる。マイナスボタン１７７は、制御装置１１０の操作情報取得部１１３を介して所定操作を受け付けることによって、顔パーツ毎に調整つまみ１７５を操作画面の左方向に所定量移動させる。変形設定値表示領域１７８には、顔パーツ毎に調整つまみ１７５の位置に対応した変形設定値が表示される。

顔パーツ変形調整部５４は、変形対象ではない顔パーツのパラメータバー１７２、調整つまみ１７５、プラスボタン１７６およびマイナスボタン１７７は、ユーザｘによって調整できないようする。顔パーツ変形調整部５４は、例えば、図１７に示すように、操作画面において、変形対象ではない顔パーツのパラメータバー１７２、調整つまみ１７５、プラスボタン１７６およびマイナスボタン１７７を変形不可表示領域１７９として、グレーアウト表示させてもよい。

以上のように、第五実施形態のアバター生成装置５０は、顔タイプ判定によって変形対象となった顔パーツについて予め定められた顔パーツ毎の比率、上限値および下限値を用いて、ユーザｘに変形許容範囲内での変形を受け付ける入力方法を提供する。これにより、ユーザｘの顔画像を元に、所定の変形方法で変形対象の顔パーツを、ユーザｘの手動操作によって入力された変形設定値に基づいて変形したアバター画像を生成することができる。これにより、変形対象の顔のパーツの変形をユーザｘ自身が行うことで納得性の高いアバター画像を生成できる。

（第六実施形態）
図１９乃至２２を用いて、第六実施形態に係るアバター生成装置６０について説明する。第六実施形態に係るアバター生成装置６０は、ユーザｘ自身の撮像画像を元に、顔パーツ毎に別のアバターの顔パーツと置換したアバターを生成する。図１９は、第六実施形態に係るアバター生成装置６０の構成の一例を示すブロック図である。アバター生成装置６０は、顔画像取得部６１と、顔タイプ判定部６２と、顔パーツ取得部６３と、顔パーツ置換部６４と、全身画像合成部６５と、を含む。なお、顔画像取得部６１の構成および動作は、第一実施形態の顔画像取得部１１の構成および動作と同様であるため、説明を省略する。また、顔タイプ判定部６２の構成および動作は、判定結果等を変形ポリシー設定部１３の代わりに顔パーツ取得部６３へ出力することを除いて、第一実施形態の顔タイプ判定部１２の構成および動作と同様であるため、説明を省略する。また、全身画像合成部６５の構成および動作は、変形顔画像および変形距離情報等を顔変形部１４の代わりに顔パーツ置換部６４から取得することを除いて、第一実施形態の全身画像合成部１５の構成および動作と同様であるため、説明を省略する。

顔パーツ取得部６３は、顔タイプ判定部６２から、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを取得する。顔パーツ取得部６３は、置換する顔パーツの分類を選択するようユーザｘに報知する報知情報、および選択肢情報等を、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。顔パーツ取得部６３は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された分類の置換用のアバター顔パーツ画像をランダムに複数取得する。アバター顔パーツ画像には、撮像対象までの距離および撮像対象の３次元座標を含むアバター顔パーツ距離情報が紐付けられているものとする。記憶部１０４には、顔パーツ毎の置換用のアバター顔パーツ画像のデータベースが保存される。

データベースには、顔パーツ毎の置換用のアバター顔画像およびアバター顔距離情報が保存されている。データベースに保存されているアバター顔画像には、顔タイプＴｉの判定結果が設定されている。データベースに保存されているアバター顔画像には、判定番号Ｎｉごとに判定結果が設定されている。データベースに保存されているアバター顔画像は、個人が特定できないように、顔パーツ毎に分割した状態で保存されている。顔パーツの分類項目は、例えば、顔の形、眉毛、目、鼻、口を含む。顔の形は、判定番号Ｎ１、Ｎ２、Ｎ５、Ｎ８、Ｎ９に対応する。眉毛は、判定番号Ｎ１３に対応する。目は、判定番号Ｎ３、Ｎ６、Ｎ１０、Ｎ１１、Ｎ１２に対応する。鼻は、判定番号Ｎ４、Ｎ７，Ｎ１４に対応する。口は、判定番号Ｎ１５に対応する。データベースは、通信ネットワークを介して定期的に更新可能である。顔パーツ取得部６３は、顔画像と、取得したアバター顔パーツ画像の選択肢情報とを、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。

顔パーツ置換部６４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、顔画像の顔パーツ画像を、置換用のアバター顔パーツ画像に置換して変形顔パーツ画像を生成する。顔パーツ置換部６４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、顔距離情報の顔パーツ距離情報を、置換用のアバター顔パーツ距離情報に置換して変形顔パーツ距離情報を生成する。置き換える置換用のアバター顔パーツ画像は、ユーザｘによって選択される。顔パーツ置換部６４は、表示部１０５に置換作業中の顔画像を表示させながら、ユーザｘの入力による置換操作を受け付ける。顔パーツ置換部６４は、変形顔パーツ画像を顔画像に合成して変形顔画像を生成する。顔パーツ置換部６４は、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成する。顔パーツ置換部６４は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部６５へ出力する。なお、顔パーツ取得部６３および顔パーツ置換部６４において生成される変形顔画像の顔タイプＴｉは、ユーザｘの顔画像の顔タイプＴｉと変わらないように制限されるものとする。

図２０は、第六実施形態に係るアバター生成装置６０の処理の一例を示すフローチャートである。アバター生成装置６０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図２０に示すステップＳＴ６１に移行して処理を開始する。

アバター生成装置６０は、撮像画像から顔画像を取得する（ステップＳＴ６１）。より具体的には、アバター生成装置６０は、まず、顔画像取得部６１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置６０は、次に、顔画像取得部６１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置６０は、ステップＳＴ６２に移行する。

アバター生成装置６０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ６２）。より具体的には、アバター生成装置６０は、まず、顔タイプ判定部６２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置６０は、次に、顔タイプ判定部６２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置６０は、ステップＳＴ６３に移行する。

アバター生成装置６０は、選択された顔パーツの分類のアバター顔パーツ画像を取得する（ステップＳＴ６３）。より具体的には、アバター生成装置６０は、まず、顔パーツ取得部６３に、制御装置１１０の操作情報取得部１１３を介して、置換する顔パーツの分類を選択するユーザｘによる操作部１０３への入力操作を受け付けさせる。顔パーツ取得部６３は、置換する顔パーツの分類を選択するに報知する報知情報、および選択肢情報等を、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。アバター生成装置６０は、次に、顔パーツ取得部６３に、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された分類の置換用のアバター顔パーツ画像をランダムに複数取得させる。アバター生成装置６０は、ステップＳＴ６４に移行する。

アバター生成装置６０は、選択されたアバター顔パーツ画像に置換する（ステップＳＴ６４）。より具体的には、アバター生成装置６０は、まず、顔パーツ置換部６４に、制御装置１１０の操作情報取得部１１３を介して、置換するアバター顔パーツ画像を選択するユーザｘによる操作部１０３への入力操作を受け付けさせる。アバター生成装置６０は、次に、顔パーツ置換部６４に、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、顔画像の顔パーツ画像を、置換用のアバター顔パーツ画像に置換して変形顔パーツ画像を生成させる。また、アバター生成装置６０は、顔パーツ置換部６４に、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、顔距離情報の顔パーツ距離情報を、置換用のアバター顔パーツ距離情報に置換して変形顔パーツ距離情報を生成させる。アバター生成装置６０は、次に、顔パーツ置換部６４に、変形顔パーツ画像を顔画像に合成して変形顔画像を生成させる。また、アバター生成装置６０は、顔パーツ置換部６４に、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成させる。アバター生成装置６０は、ステップＳＴ６５に移行する。

アバター生成装置６０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ６５）。より具体的には、アバター生成装置６０は、全身画像合成部６５に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置６０は、全身画像合成部６５に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置６０は、図２０に示すフローチャートの処理を終了する。

図２１は、第六実施形態に係る顔パーツ置換処理の一例を示すフローチャートである。顔パーツ置換処理において、図２１に示すステップＳＴ４０１からステップＳＴ４０４までの処理は、顔パーツ取得部６３によって実行される。顔パーツ置換処理において、図２１に示すステップＳＴ４０５からステップＳＴ４１１までの処理は、顔パーツ置換部６４によって実行される。顔パーツ取得部６３は、例えば、図１９のステップＳＴ６２に示す顔タイプ判定部６２の処理が終了したことによって、図２１に示すステップＳＴ４０１に移行して処理を開始する。より詳しくは、顔タイプ判定部６２の処理は、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを、顔パーツ取得部６３へ出力することによって終了する。

顔パーツ取得部６３は、制御装置１１０の表示制御部１１５を介して、表示部１０５にユーザｘの顔画像を表示させる（ステップＳＴ４０１）。顔パーツ取得部６３は、ステップＳＴ４０２に移行する。

顔パーツ取得部６３は、顔タイプ判定部６２が判定したユーザｘの顔タイプＴｉを取得する（ステップＳＴ４０２）。第六実施形態において、顔タイプＴｉは、表１に示す顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７、Ｔ８のいずれかである。顔パーツ取得部６３は、ステップＳＴ４０３に移行する。

顔パーツ取得部６３は、置換する顔パーツの分類を選択するようユーザｘに報知する報知情報、および選択肢情報等を、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。顔パーツ取得部６３は、置換する顔パーツの分類が選択されたか否かを判定する（ステップＳＴ４０３）。より具体的には、顔パーツ取得部６３は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から、置換する顔パーツの分類を選択する操作を受け付けたか否かを判定する。置換する顔パーツの分類が選択されていない場合（ステップＳＴ４０３；Ｎｏ）、顔パーツ取得部６３は、置換する顔パーツの分類が選択されるまで、所定の周期毎にステップＳＴ４０３を繰り返し実行する。置換する顔パーツの分類が選択された場合（ステップＳＴ４０３；Ｙｅｓ）、顔パーツ取得部６３は、ステップＳＴ４０４に移行する。

顔パーツ取得部６３は、制御装置１１０の記憶制御部１１４を介して記憶部１０４から、ステップＳＴ４０３で選択された顔パーツの分類のアバター顔パーツ画像をランダムに複数取得する。顔パーツ取得部６３は、制御装置１１０の表示制御部１１５を介して、表示部１０５に取得した複数のアバター顔パーツ画像を表示させる（ステップＳＴ４０４）。表示部１０５には、顔画像と複数のアバター顔パーツ画像とが表示されている。アバター生成装置６０は、ステップＳＴ４０５に移行する。

顔パーツ置換部６４は、表示部１０５に置換作業中の顔画像を表示させながら、ユーザｘの入力による置換操作を受け付ける。置き換える置換用のアバター顔パーツ画像は、ユーザｘによって選択される。顔パーツ置換部６４は、置換するアバター顔パーツ画像が選択されたか否かを判定する（ステップＳＴ４０５）。より具体的には、顔パーツ置換部６４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から、置換するアバター顔パーツ画像を選択する操作を受け付けたか否かを判定する。置換するアバター顔パーツ画像が選択されていない場合（ステップＳＴ４０５；Ｎｏ）、顔パーツ置換部６４は、所定の周期毎にステップＳＴ４０５を繰り返し実行する。置換するアバター顔パーツ画像が選択された場合（ステップＳＴ４０５；Ｙｅｓ）、顔パーツ置換部６４は、ステップＳＴ４０６に移行する。

顔パーツ置換部６４は、顔画像の顔パーツ画像を、置換用のアバター顔パーツ画像に置換して変形顔画像を生成する。顔パーツ置換部６４は、顔距離情報の顔パーツ距離情報を、置換用のアバター顔パーツ距離情報に置換して変形顔距離情報を生成する。顔パーツ置換部６４は、制御装置１１０の表示制御部１１５を介して表示部１０５に、顔パーツ画像をアバター顔パーツ画像に置換した変形顔画像を表示させる（ステップＳＴ４０６）。なお、ステップＳＴ４０５およびステップＳＴ４０６は、置換させる顔パーツ全てに対してアバター顔パーツ画像が置換されるまで繰り返し実行してもよいし、ステップＳＴ４０５のみを繰り返し、ステップＳＴ４０６で置換させる顔パーツ全てをアバター顔パーツ画像にまとめて置換してもよい。これらの場合、ステップＳＴ４０３に戻り、顔パーツ分類の選択からステップＳＴ４０６におけるアバター顔パーツ画像への置換までを繰り返してもよい。顔パーツ置換部６４は、ステップＳＴ４０７に移行する。

顔パーツ置換部６４は、置換後の変形顔画像について、顔タイプを判定する（ステップＳＴ４０７）。より具体的には、顔パーツ置換部６４は、変形顔画像および変形顔距離情報を顔タイプ判定部６２へ出力する。顔タイプ判定部６２は、取得した変形顔画像および変形顔距離情報に基づいて、置換後の変形顔画像について、顔タイプを判定する。顔タイプ判定部６２は、判定結果を顔パーツ置換部６４へ出力する。変形顔画像の顔タイプの判定方法は、ユーザｘの顔画像の顔タイプＴｉの判定方法と同様であるため、説明を省略する。顔パーツ置換部６４は、ステップＳＴ４０８に移行する。

顔パーツ置換部６４は、置換後の変形顔画像から判定された顔タイプが、ユーザｘの顔画像から判定された顔タイプＴｉと同じか否かを判定する（ステップＳＴ４０８）。変形顔画像の顔タイプが、ユーザｘの顔タイプＴｉと同じである場合（ステップＳＴ４０８；Ｙｅｓ）、顔パーツ置換部６４は、ステップＳＴ４０９に移行する。変形顔画像の顔タイプが、ユーザｘの顔タイプＴｉと同じでない場合（ステップＳＴ４０８；Ｎｏ）、顔パーツ置換部６４は、ステップＳＴ４１０に移行する。

顔パーツ置換部６４は、制御装置１１０の表示制御部１１５を介して、表示部１０５に確定ボタンを表示させる（ステップＳＴ４０９）。確定ボタンは、ユーザｘが操作部１０３に所定操作を行うことによって、置換後の変形顔画像をアバター画像に用いることを確定させるための操作信号を制御装置１１０の操作情報取得部１１３に出力させる。顔パーツ置換部６４は、ステップＳＴ４１１に移行する。

顔パーツ置換部６４は、制御装置１１０の表示制御部１１５を介して、表示部１０５に文字、記号または色等によって表される所定の警告情報を表示させる（ステップＳＴ４１０）。アバター生成装置６０は、ステップＳＴ４０３に移行する。

顔パーツ置換部６４は、変形顔画像をアバター画像に用いることを確定させるか否かを判定する（ステップＳＴ４１１）。より具体的には、顔パーツ置換部６４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から、置換後の変形顔画像をアバター画像に用いることを確定させる操作を受け付けたか否かを判定する。変形顔画像をアバター画像に用いることを確定させない場合（ステップＳＴ４１１；Ｎｏ）、アバター生成装置６０は、ステップＳＴ４０３に移行する。変形顔画像をアバター画像に用いることを確定させる場合（ステップＳＴ４１１；Ｙｅｓ）、顔パーツ置換部６４は、図２１に示すフローチャートの処理を終了する。

以上のように、第六実施形態のアバター生成装置６０は、ユーザｘの顔画像を元に、ユーザｘの任意の選択によって、顔パーツ毎に別のアバターの顔パーツと置換したアバター画像を生成することができる。これにより、変形対象の顔のパーツの変形をユーザｘ自身が行うことで納得性の高いアバター画像を生成できる。この際、図２１に示す一例では、置換後の変形顔画像の顔タイプがユーザｘの顔タイプＴｉと同じか否かを確認することによって、ユーザｘに似たアバター画像を生成することができる。

図２２は、第六実施形態に係る顔パーツ置換処理の別の一例を示すフローチャートである。顔パーツ置換処理において、図２２に示すステップＳＴ４５１からステップＳＴ４５４までの処理は、顔パーツ取得部６３によって実行される。顔パーツ置換処理において、図２２に示すステップＳＴ４５５からステップＳＴ４５６までの処理は、顔パーツ置換部６４によって実行される。顔パーツ取得部６３は、例えば、図１９のステップＳＴ６２に示す顔タイプ判定部６２の処理が終了したことによって、図２２に示すステップＳＴ４５１に移行して処理を開始する。より詳しくは、顔タイプ判定部６２の処理は、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを、顔パーツ取得部６３へ出力することによって終了する。

図２２に示すステップＳＴ４５１からステップＳＴ４５３までの処理は、図２１に示すステップＳＴ４０１およびステップＳＴ４０３までの処理と同様の処理であるため、説明を省略する。顔パーツ取得部６３は、ステップＳＴ４５４に移行する。

顔パーツ取得部６３は、制御装置１１０の記憶制御部１１４を介して記憶部１０４から、ステップＳＴ４５３で選択された顔パーツの分類のアバター顔パーツ画像をランダムに複数取得する。顔パーツ取得部６３が取得するアバター顔パーツは、選択された顔パーツに対応する判定項目の判定結果がユーザｘと同じ判定結果であるものとする。例えば、選択された顔パーツが「目」である場合、判定番号Ｎ３、Ｎ６、Ｎ１０、Ｎ１１、Ｎ１２の判定結果がユーザｘの判定結果と同じアバター顔パーツ画像のみが取得される。顔パーツ取得部６３は、制御装置１１０の表示制御部１１５を介して、表示部１０５に取得した複数のアバター顔パーツ画像を表示させる（ステップＳＴ４５４）。表示部１０５には、顔画像と複数のアバター顔パーツ画像とが表示されている。アバター生成装置６０は、ステップＳＴ４５５に移行する。

図２２に示すステップＳＴ４５５の処理は、図２１に示すステップＳＴ４０５の処理と同様の処理であるため、説明を省略する。顔パーツ置換部６４は、ステップＳＴ４５６に移行する。

顔パーツ置換部６４は、顔画像の顔パーツ画像を、置換用のアバター顔パーツ画像に置換して変形顔画像を生成する。顔パーツ置換部６４は、顔距離情報の顔パーツ距離情報を、置換用のアバター顔パーツ距離情報に置換して変形顔距離情報する。顔パーツ置換部６４は、制御装置１１０の表示制御部１１５を介して表示部１０５に、顔パーツ画像をアバター顔パーツ画像に置換した変形顔画像を表示させる（ステップＳＴ４５６）。なお、ステップＳＴ４５５およびステップＳＴ４５６は、置換させる顔パーツ全てに対してアバター顔パーツ画像が置換されるまで繰り返し実行してもよいし、ステップＳＴ４５５のみを繰り返し、ステップＳＴ４５６で置換させる顔パーツ全てをアバター顔パーツ画像にまとめて置換してもよい。これらの場合、ステップＳＴ４５３に戻り、顔パーツ分類の選択からステップＳＴ４５６におけるアバター顔パーツ画像への置換までを繰り返してもよい。顔パーツ置換部６４は、図２２に示すフローチャートの処理を終了する。

以上のように、第六実施形態のアバター生成装置６０において、図２２に示す一例では、置換用のアバター顔パーツ画像を、対応するユーザｘの顔パーツの判定結果と同一のものに限定した上で、変形対象の顔のパーツの変形をユーザｘ自身が行う。これにより、ユーザｘに似てかつ納得性の高いアバター画像を生成できる。

（第七実施形態）
図２３および２５を用いて、第七実施形態に係るアバター生成装置７０について説明する。第七実施形態に係るアバター生成装置７０は、ユーザｘ自身の撮像画像を元に、顔パーツ毎に有名人のアバターの顔パーツと置換したアバターを生成する。図２３は、第七実施形態に係るアバター生成装置７０の構成の一例を示すブロック図である。アバター生成装置７０は、顔画像取得部７１と、顔タイプ判定部７２と、アバター取得部７３と、顔パーツ置換部７４と、全身画像合成部７５と、を含む。なお、顔画像取得部７１および全身画像合成部７５の構成および動作は、第六実施形態の顔画像取得部６１および全身画像合成部６５の構成および動作と同様であるため、説明を省略する。また、顔タイプ判定部７２の構成および動作は、判定結果等を顔パーツ取得部６３の代わりにアバター取得部７３へ出力することを除いて、第六実施形態の顔タイプ判定部６２の構成および動作と同様であるため、説明を省略する。

アバター取得部７３は、顔タイプ判定部７２から、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを取得する。アバター取得部７３は、置換する顔パーツを有する有名人のアバター顔画像を選択するようユーザｘに報知する報知情報、および選択肢情報等を、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。アバター取得部７３は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された置換用のアバター顔画像を取得する。アバター顔画像には、撮像対象までの距離および撮像対象の３次元座標を含むアバター顔距離情報が紐付けられているものとする。記憶部１０４には、置換用のアバター顔画像のデータベースが保存される。

データベースには、有名人のアバター顔画像およびアバター顔距離情報が保存されている。データベースに保存されているアバター顔画像には、顔タイプＴｉの判定結果が設定されている。データベースに保存されているアバター顔画像には、判定番号Ｎｉごとに判定結果が設定されている。データベースに保存されているアバター顔画像は、顔パーツ毎に分割可能な状態で保存されている。データベースは、通信ネットワークを介して定期的に更新可能である。アバター取得部７３は、顔画像と、取得したアバター顔画像の選択肢情報とを、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。

顔パーツ置換部７４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された顔パーツについて、顔画像の顔パーツ画像を有名人のアバター顔パーツ画像に置換して変形顔パーツ画像を生成する。顔パーツ置換部７４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された顔パーツについて、顔距離情報の顔パーツ距離情報を有名人のアバター顔パーツ距離情報に置換して変形顔パーツ距離情報を生成する。顔画像とアバター顔画像とで置き換える顔パーツは、ユーザｘによって選択される。顔パーツ置換部７４は、表示部１０５に置換作業中の顔画像を表示させながら、ユーザｘの入力による置換操作を受け付ける。顔パーツ置換部７４は、変形顔パーツ画像を顔画像に合成して変形顔画像を生成する。顔パーツ置換部７４は、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成する。顔パーツ置換部７４は、設定情報、生成した変形顔画像および変形顔距離情報を全身画像合成部７５へ出力する。なお、アバター取得部７３および顔パーツ置換部７４において生成される変形顔画像の顔タイプＴｉは、ユーザｘの顔画像の顔タイプＴｉと変わらないように制限されるものとする。

図２４は、第七実施形態に係るアバター生成装置７０の処理の一例を示すフローチャートである。アバター生成装置７０は、制御装置１１０の操作情報取得部１１３を介して操作部１０３が所定の開始操作を受け付けたことによって、図２４に示すステップＳＴ７１に移行して処理を開始する。

アバター生成装置７０は、撮像画像から顔画像を取得する（ステップＳＴ７１）。より具体的には、アバター生成装置７０は、まず、顔画像取得部７１に、撮像部１０１が撮像したユーザｘの全身撮像画像および全身距離情報を取得させる。アバター生成装置７０は、次に、顔画像取得部７１に、全身撮像画像および全身距離情報からそれぞれ顔の部分を抽出して、ユーザｘの顔画像および顔距離情報を生成させる。アバター生成装置７０は、ステップＳＴ７２に移行する。

アバター生成装置７０は、顔画像から顔タイプＴｉを判定する（ステップＳＴ７２）。より具体的には、アバター生成装置７０は、まず、顔タイプ判定部７２に、顔画像および顔距離情報に基づいて、判定番号Ｎｉに対応する判定項目毎にＡ判定、Ｂ判定、Ｃ判定またはＤ判定のいずれかに判定させる。アバター生成装置７０は、次に、顔タイプ判定部７２に、判定項目毎の判定結果に基づいて、顔タイプＴｉを判定させる。アバター生成装置７０は、ステップＳＴ７３に移行する。

アバター生成装置７０は、選択されたアバター顔画像を取得する（ステップＳＴ７３）。より具体的には、アバター生成装置７０は、まず、アバター取得部７３に、制御装置１１０の操作情報取得部１１３を介して、置換する顔パーツを有する有名人のアバター顔画像を選択するユーザｘによる操作部１０３への入力操作を受け付けさせる。アバター取得部７３は、置換する顔パーツを有する有名人のアバター顔画像を選択するようユーザｘに報知する報知情報、および選択肢情報等を、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。アバター生成装置７０は、次に、アバター取得部７３に、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された置換用のアバター顔画像を取得させる。アバター生成装置７０は、ステップＳＴ７４に移行する。

アバター生成装置７０は、選択された顔パーツについて、顔画像の顔パーツ画像をアバター顔画像のアバター顔パーツ画像に置換する（ステップＳＴ７４）。より具体的には、アバター生成装置７０は、まず、顔パーツ置換部７４に、制御装置１１０の操作情報取得部１１３を介して、置換する顔パーツを選択するユーザｘによる操作部１０３への入力操作を受け付けさせる。アバター生成装置７０は、次に、顔パーツ置換部７４に、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された顔パーツについて、顔画像の顔パーツ画像を有名人のアバター顔パーツ画像に置換して変形顔パーツ画像を生成させる。また、アバター生成装置７０は、顔パーツ置換部７４に、制御装置１１０の操作情報取得部１１３を介して操作部１０３から受け付けた入力情報に基づいて、選択された顔パーツについて、顔距離情報の顔パーツ距離情報を有名人のアバター顔パーツ距離情報に置換して変形顔パーツ距離情報を生成させる。アバター生成装置７０は、次に、顔パーツ置換部７４に、変形顔パーツ画像を顔画像に合成して変形顔画像を生成させる。また、アバター生成装置７０は、顔パーツ置換部７４に、変形顔パーツ距離情報を顔距離情報に合成して変形顔距離情報を生成させる。アバター生成装置７０は、ステップＳＴ７５に移行する。

アバター生成装置７０は、撮像画像に変形顔画像を合成してアバター画像を生成する（ステップＳＴ７５）。より具体的には、アバター生成装置７０は、全身画像合成部７５に、変形顔画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成させる。また、アバター生成装置７０は、全身画像合成部７５に、変形顔距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成させる。アバター生成装置７０は、図２４に示すフローチャートの処理を終了する。

図２５は、第七実施形態に係る顔パーツ置換処理の一例を示すフローチャートである。顔パーツ置換処理において、図２５に示すステップＳＴ５０１からステップＳＴ５０４までの処理は、アバター取得部７３によって実行される。顔パーツ置換処理において、図２２に示すステップＳＴ５０５からステップＳＴ５１１までの処理は、顔パーツ置換部７４によって実行される。アバター取得部７３は、例えば、図２４のステップＳＴ７２に示す顔タイプ判定部７２の処理が終了したことによって、図２５に示すステップＳＴ５０１に移行して処理を開始する。より詳しくは、顔タイプ判定部７２の処理は、設定情報と、顔画像および顔距離情報と、顔タイプＴｉと、顔タイプＴｉの判定に用いた判定項目毎の判定結果とを、アバター取得部７３へ出力することによって終了する。

アバター取得部７３は、制御装置１１０の表示制御部１１５を介して、表示部１０５にユーザｘの顔画像を表示させる（ステップＳＴ５０１）。アバター取得部７３は、ステップＳＴ５０２に移行する。

アバター取得部７３は、顔タイプ判定部６２が判定したユーザｘの顔タイプＴｉを取得する（ステップＳＴ５０２）。第六実施形態において、顔タイプＴｉは、表１に示す顔タイプＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７、Ｔ８のいずれかである。アバター取得部７３は、ステップＳＴ５０３に移行する。

アバター取得部７３は、置換する顔パーツを有する有名人のアバター顔画像を選択するようユーザｘに報知する報知情報、および選択肢情報等を、制御装置１１０の表示制御部１１５を介して表示部１０５に表示させる。アバター取得部７３は、置換する顔パーツを有する有名人のアバター顔画像が選択されたか否かを判定する（ステップＳＴ５０３）。より具体的には、アバター取得部７３は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から、置換する顔パーツを有する有名人のアバター顔画像を選択する操作を受け付けたか否かを判定する。置換する顔パーツを有する有名人のアバター顔画像が選択されていない場合（ステップＳＴ５０３；Ｎｏ）、アバター取得部７３は、置換する顔パーツを有する有名人のアバター顔画像が選択されるまで、所定の周期毎にステップＳＴ５０３を繰り返し実行する。置換する顔パーツを有する有名人のアバター顔画像が選択された場合（ステップＳＴ５０３；Ｙｅｓ）、アバター取得部７３は、ステップＳＴ５０４に移行する。

アバター取得部７３は、制御装置１１０の表示制御部１１５を介して、表示部１０５に選択されたアバター顔画像を表示させる（ステップＳＴ５０４）。表示部１０５には、顔画像と選択されたアバター顔画像とが表示されている。アバター生成装置７０は、ステップＳＴ５０５に移行する。

顔パーツ置換部７４は、表示部１０５に置換作業中の顔画像を表示させながら、ユーザｘの入力による置換操作を受け付ける。顔画像とアバター顔画像とで置き換える顔パーツは、ユーザｘによって選択される。顔パーツ置換部７４は、置換する顔パーツが選択されたか否かを判定する（ステップＳＴ５０５）。より具体的には、顔パーツ置換部７４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から、置換する顔パーツを選択する操作を受け付けたか否かを判定する。置換する顔パーツが選択されていない場合（ステップＳＴ５０５；Ｎｏ）、顔パーツ置換部７４は、所定の周期毎にステップＳＴ５０５を繰り返し実行する。置換する顔パーツが選択された場合（ステップＳＴ５０５；Ｙｅｓ）、顔パーツ置換部７４は、ステップＳＴ５０６に移行する。

顔パーツ置換部７４は、選択された顔パーツについて、顔画像の顔パーツ画像を、アバター顔画像のアバター顔パーツ画像に置換して変形顔画像を生成する。顔パーツ置換部７４は、選択された顔パーツについて、顔距離情報の顔パーツ距離情報を、アバター顔画像のアバター顔パーツ距離情報に置換して変形顔距離情報を生成する。顔パーツ置換部７４は、制御装置１１０の表示制御部１１５を介して表示部１０５に、顔パーツ画像をアバター顔パーツ画像に置換した変形顔画像を表示させる（ステップＳＴ５０６）。なお、ステップＳＴ５０５およびステップＳＴ５０６は、置換させる顔パーツ全てに対してアバター顔パーツ画像が置換されるまで繰り返し実行してもよいし、ステップＳＴ５０５のみを繰り返し、ステップＳＴ５０６で置換させる顔パーツ全てをアバター顔パーツ画像にまとめて置換してもよい。顔パーツ置換部７４は、ステップＳＴ５０７に移行する。

顔パーツ置換部７４は、置換後の変形顔画像について、顔タイプを判定する（ステップＳＴ５０７）。より具体的には、顔パーツ置換部７４は、変形顔画像および変形顔距離情報を顔タイプ判定部７２へ出力する。顔タイプ判定部７２は、取得した変形顔画像および変形顔距離情報に基づいて、置換後の変形顔画像について、顔タイプを判定する。顔タイプ判定部７２は、判定結果を顔パーツ置換部７４へ出力する。変形顔画像の顔タイプの判定方法は、ユーザｘの顔画像の顔タイプＴｉの判定方法と同様であるため、説明を省略する。顔パーツ置換部７４は、ステップＳＴ５０８に移行する。

顔パーツ置換部７４は、置換後の変形顔画像から判定された顔タイプが、ユーザｘの顔画像から判定された顔タイプＴｉと同じか否かを判定する（ステップＳＴ５０８）。変形顔画像の顔タイプが、ユーザｘの顔タイプＴｉと同じである場合（ステップＳＴ５０８；Ｙｅｓ）、顔パーツ置換部７４は、ステップＳＴ５０９に移行する。変形顔画像の顔タイプが、ユーザｘの顔タイプＴｉと同じでない場合（ステップＳＴ５０８；Ｎｏ）、顔パーツ置換部７４は、ステップＳＴ５１０に移行する。

顔パーツ置換部７４は、制御装置１１０の表示制御部１１５を介して、表示部１０５に確定ボタンを表示させる（ステップＳＴ５０９）。確定ボタンは、ユーザｘが操作部１０３に所定操作を行うことによって、置換後の変形顔画像をアバター画像に用いることを確定させるための操作信号を制御装置１１０の操作情報取得部１１３に出力させる。顔パーツ置換部７４は、ステップＳＴ５１１に移行する。

顔パーツ置換部７４は、制御装置１１０の表示制御部１１５を介して、表示部１０５に文字、記号または色等によって表される所定の警告情報を表示させる（ステップＳＴ５１０）。アバター生成装置６０は、ステップＳＴ５０３に移行する。

顔パーツ置換部７４は、変形顔画像をアバター画像に用いることを確定させるか否かを判定する（ステップＳＴ５１１）。より具体的には、顔パーツ置換部７４は、制御装置１１０の操作情報取得部１１３を介して操作部１０３から、置換後の変形顔画像をアバター画像に用いることを確定させる操作を受け付けたか否かを判定する。変形顔画像をアバター画像に用いることを確定させない場合（ステップＳＴ５１１；Ｎｏ）、アバター生成装置６０は、ステップＳＴ５０３に移行する。変形顔画像をアバター画像に用いることを確定させる場合（ステップＳＴ５１１；Ｙｅｓ）、顔パーツ置換部７４は、図２５に示すフローチャートの処理を終了する。

以上のように、第七実施形態のアバター生成装置７０は、ユーザｘの顔画像を元に、ユーザｘの任意の選択によって、顔パーツ毎に別のアバターの顔パーツと置換したアバター画像を生成することができる。これにより、変形対象の顔のパーツの変形をユーザｘ自身が行うことで納得性の高いアバター画像を生成できる。この際、図２５に示す一例では、置換後の変形顔画像の顔タイプがユーザｘの顔タイプＴｉと同じか否かを確認することによって、ユーザｘに似たアバター画像を生成することができる。

（第四実施形態の変形例）
図２６を用いて、第四実施形態の変形例に係るアバター生成装置４０Ａについて説明する。変形例に係るアバター生成装置４０Ａは、ユーザｘ自身の撮像画像を元に、所定の変形方法で選択対象の顔パーツおよび身体パーツを自動的に変形したアバターを生成する。図２６は、第四実施形態の変形例に係るアバター生成装置４０Ａの構成の一例を示すブロック図である。アバター生成装置４０Ａは、第四実施形態のアバター生成装置４０と比較して、身体画像取得部４６と、骨格タイプ判定部４７と、身体パーツ変形設定部４８と、身体パーツ変形部４９と、をさらに含む点で相違する。また、アバター生成装置４０Ａは、第四実施形態のアバター生成装置４０と比較して、全身画像合成部４５の代わりに、全身画像合成部４５Ａを含む点で相違する。

身体画像取得部４６は、制御装置１１０の記憶制御部１１４を介して記憶部１０４に保存されたユーザｘの全身撮像画像および全身距離情報を含む設定情報を取得する。以下の説明において、記憶部１０４から取得した全身撮像画像および全身距離情報は、正面から撮像した撮像画像およびユーザｘの全身の正面からの距離情報とする。身体画像取得部４６は、全身撮像画像および全身距離情報からそれぞれ身体の部分を抽出して、ユーザｘの身体画像および身体距離情報を生成する。身体画像取得部４６は、設定情報、生成した身体画像および身体距離情報を骨格タイプ判定部４７へ出力する。

骨格タイプ判定部４７は、身体画像取得部４６から、設定情報、身体画像および身体距離情報を取得する。骨格タイプ判定部４７は、身体画像および身体距離情報に基づいて、ユーザｘの骨格タイプを判定する。骨格タイプは、身体と身体の各部分を示す身体パーツとのそれぞれの大きさ、位置および形状を評価することによって判定される。骨格タイプ判定部４７は、学習用画像データセットとしての複数枚の教師データ画像と、教師データ画像を予め学習した推論器とを有する。教師データ画像は、例えば、骨格タイプ毎に１００枚用意される。推論器の学習方法は、例えば、ディープラーニング等の機械学習である。

身体パーツ変形設定部４８は、骨格タイプ判定部４７から、設定情報と、身体画像および身体距離情報と、骨格タイプと、骨格タイプの判定に用いた判定項目毎の判定結果とを取得する。身体パーツ変形設定部４８は、骨格タイプに基づいて、身体画像から骨格タイプの判定結果に影響を与えない身体パーツを変形対象の身体パーツとして設定する。身体パーツ変形設定部４８は、変形対象の身体パーツが含まれる身体パーツリストを生成する。身体パーツ変形設定部４８は、ユーザｘの骨格タイプおよび変形対象の身体パーツの判定結果に基づいて、変形方法を設定する。変形方法は、変形対象の身体パーツに対応する上限値および下限値を含む変形許容範囲を含む。身体パーツ変形設定部４８は、設定情報、身体画像、身体距離情報、生成した身体パーツリストおよび変形方法を身体パーツ変形部４９へ出力する。

身体パーツ変形部４９は、身体パーツ変形設定部４８から、設定情報、身体画像、身体距離情報、生成した身体パーツリストおよび変形方法を取得する。身体パーツ変形部４９は、身体画像から身体パーツリストに登録されている変形対象の身体パーツ画像を抽出する。身体パーツ変形部４９は、設定された変形方法に基づいて変形対象の身体パーツ画像を変形した変形身体パーツ画像を生成する。身体パーツ変形部４９は、身体距離情報から身体パーツリストに登録されている変形対象の身体パーツ距離情報を抽出する。身体パーツ変形部４９は、設定された変形方法に基づいて変形対象の身体パーツ距離情報を変形した変形身体パーツ距離情報を生成する。身体パーツ変形部４９は、変形身体パーツ画像を身体画像に合成して変形身体画像を生成する。身体パーツ変形部４９は、変形身体パーツ距離情報を身体距離情報に合成して変形身体距離情報を生成する。身体パーツ変形部４９は、設定情報、生成した変形身体画像および変形身体距離情報を全身画像合成部４５Ａへ出力する。

全身画像合成部４５Ａは、顔パーツ変形部４４から、設定情報、変形顔画像および変形顔距離情報を取得する。全身画像合成部４５Ａは、身体パーツ変形部４９から、設定情報、変形身体画像および変形身体距離情報を取得する。全身画像合成部４５Ａは、変形顔画像および変形身体画像を全身撮像画像に合成して変形全身画像であるアバター画像を生成する。全身画像合成部４５Ａは、変形顔距離情報および変形身体距離情報を全身距離情報に合成して変形全身距離情報であるアバター距離情報を生成する。全身画像合成部４５Ａは、設定情報、アバター画像およびアバター距離情報を制御装置１１０の情報取得部１１８へ出力する。

以上のように、第四実施形態の変形例のアバター生成装置４０Ａは、顔画像のみならず身体画像も変形したアバター画像を生成することができる。身体画像も変形させることにより、さらにアバター画像によるユーザｘの個人情報等の秘匿性を向上させることができる。上記では、身体画像も変形したアバター画像を生成する構成例を、第四実施形態の変形例として説明したが、他の実施形態に身体画像も変形したアバター画像を適用してもよい。

なお、本発明は、上記各実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。例えば、顔タイプは、上記各実施形態では、顔と顔の各部分を示す顔パーツとのそれぞれの大きさ、位置および形状に基づいて８つのタイプに分類されるが、本発明では、これに限定されない。顔タイプは、例えば、肌の色または目の色等に基づいて分類されてもよい。

図示したアバター生成装置１０、２０、３０、４０、５０、６０、７０、移動体端末１００および服飾マッチングシステム１の構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、アバター生成装置１０、２０、３０、４０、５０、６０、７０、移動体端末１００および服飾マッチングシステム１の具体的形態は、図示のものに限られず、処理負担や使用状況等に応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

アバター生成装置１０、２０、３０、４０、５０、６０、７０および移動体端末１００の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

１ 服飾マッチングシステム
１０、２０、３０、４０、４０Ａ、５０、６０、７０ アバター生成装置
１１、２１、３１、４１、５１、６１、７１ 顔画像取得部
１２、２２、３２、４２、５２、６２、７２ 顔タイプ判定部
１３、２４、３４ 変形ポリシー設定部
１４、２５、３５ 顔変形部
１５、２６、３６、４５、４５Ａ、５５、６５、７５ 全身画像合成部
２３ 類似嗜好顔画像収集部
３３ お気に入り顔画像収集部
４３、５３ 顔パーツ変形設定部
４４ 顔パーツ変形部
４６ 身体画像取得部
４７ 骨格タイプ判定部
４８ 身体パーツ変形設定部
４９ 身体パーツ変形部
５４ 顔パーツ変形調整部
６３ 顔パーツ取得部
６４、７４ 顔パーツ置換部
７３ アバター取得部
１００、１００Ｘ、１００Ｙ 移動体端末
１２０ 服飾合成装置
１５０ アプリウィンドウ
１６０ アバター画像表示領域
１７０ パラメータ表示領域
１７１ 項目名表示領域
１７２ パラメータバー
１７３ 上限値表示領域
１７４ 下限値表示領域
１７５ 調整つまみ
１７６ プラスボタン
１７７ マイナスボタン
１７８ 変形設定値表示領域
１７９ 変形不可表示領域
１８０ 決定ボタン
ｘ、ｙ ユーザ
Ｘ、Ｙ 場所
Ｄａ アバターデータ
Ｄｄ 服飾データ

Claims (12)

1. 第一ユーザの全身を撮像した全身撮像画像から顔の部分を抽出して顔画像を生成する顔画像取得部と、
   前記顔画像が予め分類された複数の顔タイプのいずれかの顔タイプであるかを判定する顔タイプ判定部と、
   所定条件に基づく所定数の人物の顔画像を平均した平均顔画像を設定する変形ポリシー設定部と、
   前記顔画像と前記平均顔画像とを所定の比率で重み付けをして合成して変形顔画像を生成する顔変形部と、
   前記変形顔画像を前記全身撮像画像に合成して、服飾品を撮像した服飾合成画像と合成可能なアバター画像を生成する全身画像合成部と、
   を備えるアバター生成装置。
2. 前記変形ポリシー設定部は、前記第一ユーザの年齢、性別、前記服飾品を使用する季節、前記服飾品を使用する場所、および前記服飾品を使用する状況の少なくともいずれかに基づいて、所定の平均顔画像を設定する、
   請求項１に記載のアバター生成装置。
3. 前記顔タイプ判定部は、前記顔画像から所定の判定項目毎に設定された顔パーツを所定の判定基準に基づいて判定し、前記所定の判定項目毎の判定結果に基づいて前記顔タイプを判定し、
   前記変形ポリシー設定部は、前記判定項目毎の判定結果に基づいて、所定の平均顔画像を設定する、
   請求項１または２に記載のアバター生成装置。
4. 前記顔変形部は、前記平均顔画像から所定の判定項目毎に顔パーツを抽出し、前記顔画像の前記所定の判定項目毎の顔パーツを、前記所定の判定項目毎に抽出した顔パーツで置換して前記変形顔画像を生成する、
   請求項１から３のいずれか１項に記載のアバター生成装置。
5. 前記所定条件は、前記第一ユーザの顔タイプと同一の顔タイプであることを含む、
   請求項１から４のいずれか１項に記載のアバター生成装置。
6. 前記第一ユーザと服飾品の嗜好が類似する所定数の人物の顔画像である類似嗜好顔画像を収集する類似嗜好顔画像収集部を備え、
   前記所定条件は、前記第一ユーザと服飾品の嗜好が類似することを含む、
   請求項１から４のいずれか１項に記載のアバター生成装置。
7. 前記第一ユーザのお気に入り顔を有する所定数の有名人の顔画像であるお気に入り顔画像を収集するお気に入り顔画像収集部を備え、
   前記所定条件は、前記第一ユーザのお気に入り顔を有することを含む、
   請求項１から４のいずれか１項に記載のアバター生成装置。
8. 前記顔画像取得部は、前記全身撮像画像の撮像対象までの距離および撮像対象の３次元座標を含む全身距離情報から顔の部分を抽出して顔距離情報を生成し、
   前記顔変形部は、前記顔距離情報と、前記平均顔画像の撮像対象までの距離および撮像対象の３次元座標を含む顔距離情報を平均した平均顔距離情報とを、前記比率で重み付けをして合成して変形顔距離情報を生成し、
   前記全身画像合成部は、前記変形顔距離情報を前記全身距離情報に合成して、前記アバター画像を３次元モデリングするためのアバター距離情報を生成する、
   請求項１から７のいずれか１項に記載のアバター生成装置。
9. 請求項１から８のいずれか１項に記載のアバター生成装置と、
   前記アバター画像または前記全身撮像画像と、第一ユーザとは別の場所にいる第二ユーザによって推薦される服飾画像とを合成する合成服飾合成装置と、
   を備える移動体端末。
10. 請求項９に記載の移動体端末でありかつ前記第一ユーザが操作する第一移動体端末と、
    請求項９に記載の移動体端末でありかつ前記第二ユーザが操作し、前記第一移動体端末と通信可能である第二移動体端末と、
    を含み、
    第一移動体端末は、前記アバター生成装置によって生成したアバター画像を前記第二移動体端末へ送信し、前記第二移動体端末から受信した前記服飾画像を前記全身撮像画像に合成させ、
    第二移動体端末は、前記第一移動体端末から受信したアバター画像に前記服飾画像を合成させ、前記服飾画像を前記第一移動体端末へ送信する、
    服飾マッチングシステム。
11. 第一ユーザの全身を撮像した全身撮像画像から顔の部分を抽出して顔画像を生成する顔画像取得ステップと、
    前記顔画像が予め分類された複数の顔タイプのいずれかの顔タイプであるかを判定する顔タイプ判定ステップと、
    所定条件に基づく所定数の人物の顔画像を平均した平均顔画像を設定する変形ポリシー設定ステップと、
    前記顔画像と前記平均顔画像とを所定の比率で重み付けをして合成して変形顔画像を生成する顔変形ステップと、
    前記変形顔画像を前記全身撮像画像に合成して、服飾品を撮像した服飾合成画像と合成可能なアバター画像を生成する全身画像合成ステップと、
    を含むアバター生成方法。
12. アバター生成装置として動作するコンピュータに、
    第一ユーザの全身を撮像した全身撮像画像から顔の部分を抽出して顔画像を生成する顔画像取得ステップと、
    前記顔画像が予め分類された複数の顔タイプのいずれかの顔タイプであるかを判定する顔タイプ判定ステップと、
    所定条件に基づく所定数の人物の顔画像を平均した平均顔画像を設定する変形ポリシー設定ステップと、
    前記顔画像と前記平均顔画像とを所定の比率で重み付けをして合成して変形顔画像を生成する顔変形ステップと、
    前記変形顔画像を前記全身撮像画像に合成して、服飾品を撮像した服飾合成画像と合成可能なアバター画像を生成する全身画像合成ステップと、
    を実行させるプログラム。

Images