JP7378743B2 - 情報処理システム、情報処理方法およびプログラム - Google Patents

Description

特許法第３０条第２項適用 ２０２１年９月５日 株式会社ＰＲ ＴＩＭＥＳが、ウェブサイト＜ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００７．００００４６３８０．ｈｔｍｌ＞にて、林純司が発明した顔診断サービス「Ｗｈｏ ＡＩ」について公開した。

本発明は、情報処理システム、情報処理方法およびプログラムに関する。

利用者に提示するための各種の情報を特定する技術が従来から提案されている。特許文献１には、利用者の顔画像に応じて事前に分類された複数の顔印象タイプのうちの何れかを利用者に応じた顔印象タイプとして特定する技術が開示されている。そして、特定した顔印象タイプに応じて各種の情報が利用者に提示される。具体的には、利用者の正面から撮像された顔画像が顔印象タイプの特定に利用される。

特許第６６０４６４４号

すなわち、特許文献１の技術では、顔印象タイプの特定に利用者の顔画像から確認できる外見の特徴しか加味されない。しかし、実際には、顔画像からでは確認できない外見の特徴も存在し得る。したがって、利用者に応じた顔印象タイプを高精度に特定できないという問題がある。以上の事情を考慮して、本発明では、利用者の外見に関する特徴を表すタイプを高精度に特定することを目的とする。

上記の課題を解決するため、本発明に係る情報処理システムは、利用者の画像を含む第１情報から、外見の特徴を表す複数の第１タイプのうち前記利用者に応じた第１タイプを特定する第１処理部と、前記利用者の外見の特徴を表す第２情報に応じた関連情報を取得する第２処理部と、前記第１処理部が特定した第１タイプと前記第２処理部が取得した関連情報との組み合わせに応じて、外見の特徴を表す複数の第３タイプのうち前記利用者に応じた第３タイプを特定する第３処理部とを具備する。

第１実施形態に係る情報処理システムの構成を例示するブロック図である。 利用者の端末装置の構成を例示するブロック図である。 第２情報を模式的に示す模式図である。 情報処理システムの制御装置の機能的な構成を例示するブロック図である。 第１タイプおよび第２タイプと顔タイプとの関係を登録するテーブルの模式図である。 端末装置の表示装置が表示する画像の一例である。 情報処理システムおよび端末装置の動作の手順を例示するフローチャートである。 第１解析部の処理を例示するフローチャートである。 第２実施形態に係る情報処理システムの制御装置の機能的な構成を例示するブロック図である。 第２実施形態に係る利用者の身体を含む画像の一例である。 情報処理システムの記憶装置に記憶されるテーブルの模式図である。 第２実施形態の変形例に係る身体の各部分の輪郭を示す模式図である。 第３実施形態に係る情報処理システムの記憶装置に記憶されるテーブルの模式図である。 第４実施形態に係る情報処理システムの記憶装置に記憶されるテーブルの模式図である。 第４実施形態の変形例に係る情報処理システムの記憶装置に記憶されるテーブルの模式図である。 複数の商品の各々について顔タイプ毎に特定された販売数を模式的に示す図である。 第５実施形態に係る端末装置の表示装置が表示する画像の一例である。 第６実施系形態に係る第１タイプと外見問診との関係を模式的に示す図である。 第６実施系形態に係る第１タイプと外見問診の回答との組み合わせを示す図である。 第６実施形態に係る情報処理システムおよび端末装置の動作の手順を例示するフローチャートである。 第７実施系形態に係る願望問診と回答となる選択肢とを模式的に示す図である。 第７実施系形態に係る顔タイプと願望問診と回答との組み合わせを示す図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る情報処理システム１００の構成を例示するブロック図である。情報処理システム１００は、利用者Ｕの外見の特徴を表すタイプ（第１実施形態では後述する顔タイプ）を特定するためのコンピュータシステムである。第１実施形態の情報処理システム１００は、さらに、利用者Ｕに提示する商品に関する情報（以下「商品情報」という）Ｐを当該タイプから特定する。第１実施形態では、衣類を商品として例示する。例えば、各種の商品（衣類）を販売するＥＣ（electronic commerce）サイトを閲覧している利用者Ｕに対して商品情報Ｐが提示される。

情報処理システム１００で特定された商品情報Ｐは、利用者Ｕの端末装置２００に送信される。端末装置２００は、例えば携帯電話機、スマートフォン、タブレット端末、またはパーソナルコンピュータ等の可搬型の情報端末である。情報処理システム１００と端末装置２００とは、例えば移動体通信網またはインターネット等の通信網３００を介して相互に通信可能である。

ここで、顔の外見（すなわち顔の造形）の特徴は、利用者Ｕの印象に影響する。顔の外見の特徴は、利用者Ｕの顔の外見から確認できる特徴であり、例えば、顔の輪郭（形状）、各パーツ（例えば目、鼻、口、眉毛など）の配置・形状・比率、および、顔の立体感・肉感などである。例えば、顔の外見の特徴に応じて、「かわいい」、「活発」、「クール」または「女性らしい」というような相異なる印象が与えられる。例えば、輪郭が丸型であり、目の位置が低く、立体感があまりない場合には、「かわいい」という印象が与えられる。一方で、輪郭が面長であり、目の位置が高く、立体感がある場合には、「クール」という印象が与えられる。

そして、顔の外見の特徴が与える印象は、利用者Ｕに似合う商品（衣類）に影響する。そこで、第１実施形態では、顔の外見の特徴を表すタイプ（以下「顔タイプ」という）Ｈaに応じて商品情報Ｐを特定する構成を例示する。顔タイプＨaは、顔の外見の特徴を総合的に加味して分類されたタイプであり、利用者Ｕの顔の外見が与える印象（例えばかわいい、クールなど）を示す情報であるとも換言できる。

具体的には、利用者Ｕの画像を含む情報（以下「第１情報」という）Ｄ1と、第１情報Ｄ1とは異なる情報であり、利用者Ｕの外見の特徴を表す情報（以下「第２情報」という）Ｄ2とを利用して、顔タイプＨaが特定される。

第１実施形態の第１情報Ｄ1は、利用者Ｕの顔の正面を含む画像（以下「正面画像」）である。第１実施形態の第２情報Ｄ2は、利用者Ｕの外見の特徴に関する問診（以下「外見問診」）に対する回答である。第１実施形態の外見問診は、顔の側面（すなわち横顔）に関する外見の特徴についての問診である。

第１情報Ｄ1と第２情報Ｄ2とは、利用者Ｕの端末装置２００から情報処理システム１００に送信される。そして、情報処理システム１００は、第１情報Ｄ1および第２情報Ｄ2から利用者Ｕの顔タイプＨaを特定し、当該顔タイプＨaに応じた商品情報Ｐを特定する。
＜端末装置２００＞
図２は、利用者Ｕの端末装置２００の構成を例示するブロック図である。図２に例示される通り、端末装置２００は、制御装置２１と記憶装置２２と通信装置２３と表示装置２４と撮像装置２５とを具備する。

制御装置２１（コンピュータの例示）は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、端末装置２００の各要素を統括的に制御する。

記憶装置２２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶する。なお、端末装置２００に対して着脱可能な可搬型の記録媒体、または情報処理システム１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置２２として利用してもよい。記憶装置２２には、後述する顔タイプテーブルＴ1と商品テーブルＴ2とが記憶される。

通信装置２３は、制御装置２１による制御のもとで、通信網３００を介して端末装置２００と通信する通信機器である。各種の情報が情報処理システム１００との間で送受信される。第１実施形態の通信装置２３は、第１情報Ｄ1（正面画像）および第２情報Ｄ2（外見問診に対する回答）を情報処理システム１００に送信し、情報処理システム１００から商品情報Ｐを受信する。

撮像装置２５（例えばカメラ）は、各種の画像を撮像するための機器である。具体的には、情報処理システム１００が利用者Ｕの顔タイプＨaを特定するために使用される正面画像を撮像する。例えば、ＥＣサイトを閲覧する利用者Ｕが自身の顔タイプＨaを特定することを指示した場合、端末装置２００においてウェブブラウザ上で撮像装置２５が起動される。利用者Ｕによる撮像の指示を端末装置２００が受け付けると、撮像装置２５により正面画像が撮像される。そして、撮像装置２５により撮像された正面画像が第１情報Ｄ1として情報処理システム１００に送信される。なお、事前に利用者Ｕにより撮像され、記憶装置２２に記憶された正面画像を第１情報Ｄ1として情報処理システム１００に送信してもよい。

表示装置２４（例えば液晶表示パネル）は、制御装置２１から指示された各種の画像を表示する。第１実施形態の表示装置２４は、例えば、ＥＣサイトを閲覧する利用者Ｕが自身の顔タイプＨaを特定することを指示した場合、外見問診を表す画像と、当該外見問診に対する回答の候補となる複数の選択肢を表す画像とを含む画像（以下「特徴画像」という）表示する。なお、特徴画像は、例えば、情報処理システム１００から送信される。なお、顔タイプＨaの特定に利用する外見問診の個数は任意である。

図３は、顔タイプＨaの特定に利用される複数の外見問診と回答の候補とを模式的に示す模式図である。第１実施形態の外見問診は、例えば、「鼻の高さ」を問う内容の外見問診１、「額の丸み」問う内容の外見問診２、および、「頬の高さ」を問う内容の外見問診３といった顔の側面（横顔）から確認できると特徴に関する内容である。各外見問診について回答の候補となる複数の選択肢は、例えば、「はい」「いいえ」などである。ただし、外見問診の内容と回答の候補とは図３の例示には限定されない。

利用者Ｕは、表示装置２４に表示された特徴画像を確認して、外見問診に対する複数の選択肢の何れかを選択することで回答を入力する。なお、回答の入力には、端末装置２００の操作装置（例えばタッチパネル）が利用される。そして、端末装置２００は、外見問診に対する回答を第２情報Ｄ2として、第１情報Ｄ1（正面画像）とともに、情報処理システム１００に送信する。
＜情報処理システム１００＞
図１に例示される通り、情報処理システム１００は、制御装置１１と記憶装置１３と通信装置１５とを具備する。なお、情報処理システム１００は、単体の装置で実現されるほか、相互に別体で構成された複数の装置でも実現される。

通信装置１５は、制御装置１１による制御のもとで、通信網３００を介して端末装置２００と通信する通信機器である。各種の情報が端末装置２００との間で送受信される。第１実施形態の通信装置１５は、利用者Ｕの端末装置２００から送信された第１情報Ｄ1および第２情報Ｄ2を受信し、情報処理システム１００が特定した商品情報Ｐを端末装置２００に送信する。

制御装置１１（コンピュータの例示）は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、情報処理システム１００の各要素を統括的に制御する。

記憶装置１３は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、情報処理システム１００に対して着脱可能な可搬型の記録媒体、または情報処理システム１００が通信網３００を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１３として利用してもよい。

図４は、制御装置１１の機能的な構成を例示するブロック図である。図４に例示される通り、第１実施形態の制御装置１１は、商品情報Ｐを特定するための複数の機能（受信制御部１１１，送信制御部１１３，第１解析部１１５，商品特定部１１７）として機能する。なお、複数の装置の集合で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路（例えば信号処理回路）で実現してもよい。

受信制御部１１１は、端末装置２００から送信された各種の情報を通信装置１５により受信する。具体的には、受信制御部１１１は、端末装置２００から送信された第１情報Ｄ1および第２情報Ｄ2を通信装置１５により受信する。受信制御部１１１が取得した第１情報Ｄ1および第２情報Ｄ2は、記憶装置１３に記憶される。ただし、以下に説明する商品情報Ｐの特定が終了した後も第１情報Ｄ1および第２情報Ｄ2を記憶装置１３において記憶することは必須ではない。

送信制御部１１３は、各種の情報を通信装置１５により端末装置２００に送信する。具体的には、送信制御部１１３は、情報処理システム１００が特定した商品情報Ｐを通信装置１５により端末装置２００に送信する。

第１解析部１１５は、受信制御部１１１が受信した第１情報Ｄ1および第２情報Ｄ2から利用者Ｕの顔タイプＨaを特定する。具体的には、相異なる複数の顔タイプＨa（Ｈa1，Ｈa2，Ｈa3，…）の何れかが利用者Ｕの顔タイプＨaとして特定される。複数の顔タイプＨaは、利用者Ｕの顔タイプＨaの候補であるとも換言できる。上述した通り、各顔タイプＨaは、顔の外見の特徴が与える印象を分類した区分である。すなわち、複数の顔タイプＨa（Ｈa1，Ｈa2，Ｈa3，…）の各々は、相異なる印象（例えば「かわいい」,「クール」，「活発」…）に対応する。

具体的には、第１解析部１１５は、第１処理部５１と第２処理部５２と第３処理部５３とを含む。

第１処理部５１は、第１情報Ｄ1（正面画像）から、顔の正面に関する外見の特徴を表した複数の第１タイプＶ1のうち利用者に応じた第１タイプＶ1を特定する。各第１タイプＶ1は、顔の正面から把握できる外見の特徴（例えば、輪郭の正面形状、各パーツの配置・正面形状・比率など）を総合的に踏まえて分類したタイプである。

ここで、顔の正面から把握できる外見の特徴に応じて、例えば、大人っぽい印象を受ける場合や子供っぽいという印象を受ける場合がある。例えば、輪郭が丸型であり目の位置が低めである場合には、子供っぽいという印象を受け、輪郭が面長であり目の位置が高めである場合には、大人っぽいという印象を受ける。複数の第１タイプＶ1は、顔の正面から把握できる外見の特徴から受ける印象を区分した分類であるとも換言できる。

図５には、利用者Ｕの第１タイプＶ1の候補となる複数の第１タイプＶ1が模式的に図示されている。第１実施形態では、４個の第１タイプＶ1（Ｖ11-Ｖ14）のうちの何れかが利用者Ｕの第１タイプＶ1として特定される場合を例示する。ただし、利用者Ｕの第１タイプＶ1の候補となる第１タイプＶ1の個数は任意である。

第１実施形態の第１処理部５１は、学習済モデルに第１情報Ｄ1（正面画像）を入力した結果に応じて利用者Ｕの第１タイプＶ1を特定する。

学習済モデルは、統計的推定モデル（例えばニューラルネットワーク）であり、入力Ａに応じた出力Ｂを特定する。具体的には、学習済モデルは、入力Ａから出力Ｂを特定する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。学習済モデルの複数の係数は、入力Ａと出力Ｂとを対応させた複数の教師データを利用した事前の機械学習（深層学習）により最適化されている。すなわち、学習済モデルは、入力Ａと出力Ｂとの間の関係を学習した統計的推定モデルである。学習済モデルは、機械学習に使用した複数の教師データに潜在する傾向（入力Ａと出力Ｂとの間の関係）のもとで入力Ａに対して統計的に妥当な出力Ｂを特定する。

第１実施形態では、入力Ａは第１情報Ｄ1（正面画像）であり、出力Ｂは複数の第１タイプＶ1のうちの何れかである。なお、実際には、複数の第１タイプＶ1の各々について、当該第１タイプＶ1に該当する尤度が特定され、最も尤度が高い第１タイプＶ1が利用者Ｕの第１タイプＶ1として特定され得る。尤度は、０以上かつ１以下の範囲内の数値に設定され、複数の第１タイプＶ1わたる尤度の合計値は所定値（典型的には１）となる。例えば、利用者の第１情報Ｄ1と当該利用者に対応する第１タイプＶ1（正解ラベル）とを対応させた教師データを利用した機械学習により学習済モデルが生成される。

具体的には、第１解析部１１５は、学習済モデルに第１情報Ｄ1を入力した結果（第１実施形態では複数の第１タイプＶ1の何れか）を利用者Ｕの第１タイプＶ1として特定する。

第２処理部５２は、第２情報Ｄ2に応じた関連情報を取得する。関連情報は、第２情報Ｄ2そのもの、および、第２情報Ｄ2から特定した情報の少なくとも一方を含む。第１実施形態では、第２情報Ｄ2から特定した情報（後述する第２タイプＶ2）を関連情報として例示する。

第１実施形態の第２処理部５２は、第２情報Ｄ2（外見問診に対する回答）から、顔の側面に関する外見の特徴を表した複数の第２タイプＶ2のうち利用者Ｕに応じた第２タイプＶ2を特定する。すなわち、第１実施形態の第２処理部５２は、第２タイプＶ2を関連情報として特定（取得）する。各第２タイプＶ2は、顔の側面から把握できる外見の特徴（例えば、鼻の高さ、額の丸み、頬の高さなど）を総合的に加味して区分けした分類である。

ここで、顔の側面から把握できる外見の特徴に応じて、例えば、立体的であるという印象を受ける場合や平面的であるという印象を受ける場合がある。例えば、鼻が高く、額にも丸みがある場合には、立体的であるという印象を受け、鼻が低く、額にも丸みがない場合には、平面的であるという印象を受ける。複数の第２タイプＶ2は、顔の側面から把握できる外見の特徴から受ける印象を区分した分類であるとも換言できる。

図５には、利用者Ｕの第２タイプＶ2の候補となる複数の第２タイプＶ2が模式的に図示されている。第１実施形態では、４個の第２タイプＶ2（Ｖ21-Ｖ24）のうちの何れかが利用者Ｕの第２タイプＶ2として特定される場合を例示する。ただし、利用者Ｕの第２タイプＶ2の候補となる第２タイプＶ2の個数は任意である。

第１実施形態の第２処理部５２は、複数の外見問診に対する回答に応じて第２タイプＶ2を特定する。例えば、第２処理部５２は、複数の外見問診において、回答が「はい」（または「いいえ」）である個数に応じて第２タイプＶ2を特定する。以上の構成では、各第２タイプＶ2について回答「はい」の個数の数値範囲が事前に設定される。例えば、第２タイプＶ21：０個～３個，第２タイプＶ22：４個～７個，第２タイプＶ23：８個～１２個，第２タイプＶ23：９個以上、というように回答「はい」の個数の数値範囲が設定される。

また、第２処理部５２は、各外見問診の回答を点数化（例えば「はい」は３点、「いいえ」は０点など）して複数の外見問診にわたる合計値に応じて第２タイプＶ2を特定してもよい。以上の構成では、各第２タイプＶ2について合計値の数値範囲が事前に設定される。例えば、第２タイプＶ21：０点～５点，第２タイプＶ22：６点～１０点，…というように合計値の数値範囲が設定される。なお、各外見問診の回答について設定される点数は、外見問診毎に相違させてもよい。例えば、図３の外見問診１の回答「はい」には３点を設定し、外見問診２の回答「はい」には５点を設定する。

ただし、第２処理部５２が第２情報Ｄ2から第２タイプＶ2を特定する構成は、以上の例示には限定されない。例えば、第２情報Ｄ2（入力）と第２タイプＶ2（出力）との関係を学習した学習済モデルに利用者Ｕの第２情報Ｄ2を入力した結果に応じて、利用者Ｕの第２タイプＶ2を特定してもよい。

第３処理部５３は、第１処理部５１が特定した第１タイプＶ1と第２処理部５２が取得した関連情報との組み合わせに応じて、利用者Ｕの顔タイプＨa（「第３タイプ」の例示）を特定する。第１実施形態の関連情報は、上述した通り、第２タイプＶ2である。

図５には、第１タイプＶ1（Ｖ11-Ｖ14）と第２タイプＶ2（Ｖ21-Ｖ24）との組み合わせ毎に、複数の顔タイプＨa（Ｈa1-Ｈa8）のうちの何れかを登録する顔タイプテーブルＴ1（データテーブル）の模式図が示されている。図５では、８個の顔タイプＨa（Ｈa1-Ｈa8）の何れかが利用者Ｕの顔タイプＨaとして特定される場合を例示する。ただし、利用者Ｕの顔タイプＨaの候補となる顔タイプＨaの個数は任意である。

なお、相異なる２以上の組み合わせについて同一の顔タイプＨaを対応付けてもよい。例えば、図５では、第１タイプＶ1「Ｖ14」と第２タイプＶ2「Ｖ21」との組み合わせと、第１タイプＶ1「Ｖ12」と第２タイプＶ2「Ｖ22」との組み合わせとには、同一の顔タイプ「Ｈa1」が対応付けられる。

具体的には、第３処理部５３は、第１処理部５１が特定した第１タイプＶ1と第２処理部５２が特定した第２タイプＶ2との組み合わせに応じて、複数の顔タイプＨa（Ｈa1-Ｈa8）のうち利用者Ｕに応じた顔タイプＨaを特定する。顔タイプテーブルＴ1において登録される複数（図５では１６通り）の組合せのうち、第１処理部５１が特定した第１タイプＶ1と第２処理部５２が特定した第２タイプＶ2との組み合わせについて登録される顔タイプＨaが利用者の顔タイプＨaとして特定される。

例えば、図５の例示では、利用者Ｕの第１タイプＶ1として「Ｖ12」が特定され、利用者Ｕの第２タイプＶ2として「Ｖ23」が特定された場合には、顔タイプＨaとして「Ｈa3」が特定される。

以上の通り、利用者Ｕの顔の正面に関する外見の特徴と、利用者Ｕの顔の側面に関する特徴との双方を加味した顔タイプＨaが特定される。

第１タイプＶ1および第２タイプＶ2の組合せにより特定される顔タイプＨaは、顔の正面および顔の側面を含む外見の特徴を表すタイプであるとも換言できる。複数の顔タイプＨaは、顔の正面から把握できる外見の特徴（顔の正面から受ける印象）と、顔の側面から把握できる外見の特徴（顔の側面から受ける印象）とを総合的に加味して区分けした分類である。

以上の処理により、利用者Ｕの顔タイプＨaが特定される。なお、第１解析部１１５が特定した顔タイプＨaは、利用者Ｕ（例えば利用者Ｕを示す識別番号）と対応づけて記憶装置１３に記憶してもよい。

商品特定部１１７は、第１解析部１１５が特定した顔タイプＨaに応じて、利用者Ｕに提示する商品情報Ｐを特定する。第１実施形態の商品情報Ｐは、当該商品情報Ｐに対応する商品を購入可能なＷｅｂページの所在（例えばＵＲＬ）を表す情報である。なお、商品情報Ｐは、以上の例示に限定されない。例えば、単に商品を紹介するＷｅｂページの所在、または、商品情報Ｐに対応する商品を使用したコーディネートを紹介するＷｅｂページの所在等の各種の商品に関する情報が商品情報Ｐとして例示される。また、商品特定部１１７が特定する商品情報Ｐの種類は複数であってもよい。

第１実施形態では、利用者Ｕにレコメンド（お勧め）する商品（以下「第１商品」という）に関する商品情報Ｐを特定する。第１商品は、典型的には、利用者Ｕの顔タイプＨaから似合うと推定される商品である。

第１実施形態では、記憶装置１３に記憶された商品テーブルＴ2を利用して第１商品を特定する。図１に例示される通り、商品テーブルＴ2は、複数の商品の各々について、当該商品に対応する顔タイプＨaが登録されたデータテーブルである。

具体的には、商品の特徴（例えばシルエットや柄の有無）から、当該商品に似合うとされる顔タイプＨaが対応づけられる。例えば、フリルやレースがあり花柄などが付してある衣類が似合う顔タイプＨa（例えば「かわいい」）や、シンプルで無地の衣類が似合う顔タイプＨa（例えば「クール」）がある。なお、実際には、商品テーブルＴ2には、顔タイプＨa以外にも商品に関する各種の情報（例えば種別、値段、在庫の有無など）が対応づけられる。また、１つの商品について登録される顔タイプＨaは複数であってもよい。

商品テーブルＴ2において、各商品について登録する顔タイプＨaを特定する方法は任意である。例えば、ＥＣサイトの担当者が商品を確認して顔タイプＨaを特定してもよいし、商品に関する情報（例えば商品の画像や商品の特徴量等）と顔タイプＨaとの関係を学習した学習済モデルに商品に関する情報を入力した結果に応じて顔タイプＨa特定してもよい。

第１実施形態の商品特定部１１７は、複数の商品から第１商品を特定し、当該第１商品に関する商品情報Ｐを特定する。具体的には、商品特定部１１７は、商品テーブルＴ2に登録された複数の商品のうち第１解析部１１５が特定した顔タイプＨaが対応付けられた商品を第１商品として商品情報Ｐを特定する。すなわち、利用者Ｕの顔タイプＨaに似合うと推測される商品に関する商品情報Ｐが特定される。

なお、商品特定部１１７が顔タイプＨaから商品情報Ｐを特定する方法は、任意である。例えば、商品テーブルＴ2において事前に各商品について商品情報Ｐを登録する。そして、商品特定部１１７は、商品テーブルＴ2から第１解析部１１５が特定した顔タイプＨaに対応する商品の商品情報Ｐを特定（取得）してもよい。

例えば、図１の例示では、利用者Ｕの顔タイプＨaとして顔タイプＨa1が特定された場合には、商品２の商品情報Ｐが特定される。なお、利用者Ｕの顔タイプＨaとして顔タイプＨa3が特定された場合には、商品１の商品情報Ｐと商品３の商品情報Ｐとが特定される。すなわち、商品特定部１１７が複数の商品情報Ｐを特定することも想定される。

送信制御部１１３は、商品特定部１１７が特定した商品情報Ｐを通信装置１５により端末装置２００に送信する。なお、送信制御部１１３が送信する情報は、商品情報Ｐに限定されない。送信制御部１１３は、商品情報Ｐに加えて、他の各種の情報を送信してもよい。例えば、送信制御部１１３は、商品情報Ｐとともに、第１解析部１１５が特定した顔タイプＨaと当該顔タイプＨaの特徴とを示す情報、または、第１タイプＶ1や第２タイプＶ2を示す情報を端末装置２００に送信してもよい。

図６は、商品情報Ｐが送信された端末装置２００の表示装置２４が表示する画像の一例である。第１実施形態の表示装置２４は、端末装置２００に送信された商品情報Ｐを表す画像（以下「商品画像」という）Ｋを表示する。商品画像Ｋは、例えば、商品情報Ｐ（ＵＲＬ）のリンクがつけられた画像（例えば商品を含む画像）である。なお、図６に例示される通り、商品画像Ｋとともに、商品画像Ｋ以外の画像（例えば利用者Ｕの顔タイプＨaやその特徴など）を表示してもよい。なお、商品画像Ｋは以上の例示に限定されない。

図７は、情報処理システム１００および端末装置２００の動作の手順を例示するフローチャートである。例えば、端末装置２００の利用者Ｕからの顔タイプＨaの特定の開始の指示を契機として図７の処理が開始される。

端末装置２００の制御装置２１は、利用者Ｕの第１情報Ｄ1（正面画像）および第２情報Ｄ2（外見問診に対する回答）を通信装置２３により情報処理システム１００に送信する（ＳA1）。情報処理システム１００の受信制御部１１１は、端末装置２００から送信された第１情報Ｄ1および第２情報Ｄ2を通信装置１５により受信する（ＳA2）。

第１解析部１１５は、受信制御部１１１が受信した第１情報Ｄ1および第２情報Ｄ2から利用者Ｕの顔タイプＨaを特定する（ＳA3）。

図８は、第１解析部１１５が利用者Ｕの顔タイプＨaを特定する処理ＳA3をフローチャートである。第１処理部５１は、第１情報Ｄ1から、複数の第１タイプＶ1のうち利用者Ｕに応じた第１タイプＶ1を特定する（ＳA31）。第２処理部５２は、第２情報Ｄ2から、複数の第２タイプＶ2のうち利用者Ｕに応じた第２タイプＶ2を特定する（ＳA32）。なお、ステップＳA31とステップＳA32との処理の順番は逆でもよい。

第３処理部５３は、第１処理部５１が特定した第１タイプＶ1と第２処理部５２が特定した第２タイプＶ2との組み合わせに応じて、複数の顔タイプＨaのうち利用者Ｕに応じた顔タイプＨaを特定する（ＳA33）。

商品特定部１１７は、第１解析部１１５が特定した顔タイプＨaから商品情報Ｐを特定する（ＳA4）。第１実施形態では、利用者Ｕにレコメンドする第１商品に関する商品情報Ｐが特定される。具体的には、第１解析部１１５は、商品テーブルＴ2に登録された複数の商品のうち第１解析部１１５が特定した顔タイプＨa（すなわち利用者Ｕの顔タイプＨa）に対応付けられた商品を第１商品として商品情報Ｐを特定する。

送信制御部１１３は、商品特定部１１７が特定した商品情報Ｐを通信装置１５により端末装置２００に送信する（ＳA5）。端末装置２００の制御装置２１は、情報処理システム１００から送信された商品情報Ｐを通信装置２３により受信する（ＳA6）。制御装置２１は、商品情報Ｐを表す商品画像Ｋを表示装置２４に表示させる（ＳA7）。したがって、利用者Ｕの顔タイプＨaから似合うと推定される第１商品が利用者Ｕに提示（レコメンド）される。ひいては、利用者Ｕの購買意欲を向上させることが可能である。

ここで、例えば、利用者Ｕの顔タイプＨaの特定に顔の正面を含む画像のみが利用される構成では、顔の正面に関する外見の特徴しか加味されず、高精度に利用者Ｕの顔タイプＨaを特定できないという問題がある。

それに対して、第１実施形態の構成によれば、第１情報Ｄ1から特定した第１タイプＶ1と、第２情報Ｄ2から特定した第２タイプＶ2との組み合わせに応じて利用者Ｕの顔タイプＨaが特定される。したがって、利用者Ｕの顔の正面に関する外見の特徴と、利用者の顔の側面の外見に関する特徴との双方とを加味して、高精度に顔タイプＨaを特定することが可能である。ひいては、利用者Ｕに適切な商品情報Ｐ（顔タイプＨaから似合うと推定される第１商品の商品情報Ｐ）を提示することができる。

特に、第１タイプＶ1と第２タイプＶ2との組み合わせに応じて顔タイプＨaが特定されるから、利用者Ｕの顔の正面に関する外見の特徴と、利用者Ｕの顔の側面の外見に関する特徴とが適切に反映された顔タイプＨaが特定される。

第１実施形態では、学習済モデルに第１情報Ｄ1（正面画像）を入力した結果に応じて第１タイプＶ1が特定されるから、所定の規則に従って利用者Ｕの第１タイプＶ1を特定する構成を比較して、機械学習に利用された複数の教師データから特定される傾向のもとで、未知の第１情報Ｄ1に対して統計的に妥当な第１タイプＶ1を特定できるという利点がある。なお、本発明には、所定の規則に従って顔タイプＨaを特定する構成も包含される。所定の規則に従って第１タイプＶ1を特定する構成とは、例えば第１情報Ｄ1から特定された特徴量と事前に用意された各顔タイプＨaの特徴量とを比較した結果により利用者Ｕの第１タイプＶ1を特定する構成である。
＜第１実施形態の変形例＞
以上に例示した第１実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。
（１）第１実施形態では、第１情報Ｄ1が正面画像である構成を例示したが、第１情報Ｄ1は以上の例示に限定されない。例えば、第１情報Ｄ1は正面画像以外の情報（例えば利用者Ｕの正面に関する外見の特徴についての問診に対する回答）を含んでもよい。すなわち、第１情報Ｄ1には複数の種類の情報が含まれ得る。
（２）第１実施形態では、第２情報Ｄ2が外見問診である構成を例示したが、第２情報Ｄ2は以上の例示に限定されない。例えば、第２情報Ｄ2は外見問診以外の情報であってもよい。例えば、利用者Ｕの横顔を含む画像（以下「横画像」という）を第２情報Ｄ2としてもよい。以上の構成では、第２処理部５２は、例えば、学習済モデルに第２情報Ｄ2（横画像）を入力した結果に応じて利用者Ｕの第２タイプＶ2を特定する。ただし、第２処理部５２が横画像から第２タイプＶ2を特定する方法は以上の例示には限定されない。なお、第２情報Ｄ2が複数の種類の情報を含んでもよい。

ただし、横画像は利用者Ｕ自身では撮像しにくく、適切に横顔が撮像されない横画像を第２情報Ｄ2として使用すると、利用者Ｕの横顔に関する外見の特徴を適切に反映した第２タイプＶ2が特定できない場合もある。したがって、利用者Ｕの横顔に関する外見の特徴を適切に反映した第２タイプＶ2を特定するという観点からは、第２情報Ｄ2が外見問診である構成がより好適である。
（３）第１実施形態では、顔タイプＨaを特定する構成を例示したが、利用者Ｕの顔以外の外見の特徴を表すタイプを特定してもよい。例えば、利用者Ｕの顔および身体（顔から下の部分）を含む全身のタイプを特定する構成や、身体のタイプを特定する構成も採用される。以上の構成においても、第１情報Ｄ1から利用者Ｕの第１タイプＶ1を特定し、第２情報Ｄ2から利用者Ｕの第２タイプＶ2を特定する。第１情報Ｄ1は、利用者Ｕの全身（または身体）の正面に関する外見の特徴を表す情報であり、第２情報Ｄ2は、利用者Ｕの全身（または身体）の側面に関する外見の特徴を表す情報である。さらには、利用者Ｕの上半身や下半身の外見の特徴を表すタイプを特定してもよい。

以上の説明から理解される通り、第１情報Ｄ1は、正面に関する外見の特徴を表す情報として包括的に表現され、第２情報Ｄ2は、側面に関する外見の特徴を表す情報として包括的に表現される。また、第１タイプＶ1と第２タイプＶ2との組み合わせに応じて特定されるタイプは、正面および側面を含む外見の特徴を表す「第３タイプ」として包括的に表現される。
（４）第１情報Ｄ1から第１タイプＶ1を特定する構成は、第１実施形態の例示には限定されない。例えば、第１タイプＶ1を特定する場合には、第１情報Ｄ1（正面画像）から特徴量（例えばパーツや部位の正面形状・サイズ・位置・比率など）を抽出し、当該特徴量から第１タイプＶ1を特定してもよい。複数の第１タイプＶ1の各々について特徴量が事前に登録される。そして、各第１タイプＶ1の特徴量と、正面画像から抽出された特徴量とを比較した結果（例えば類似度）に応じて、利用者Ｕの第１タイプＶ1が特定される。正面画像からの特徴量の抽出には、公知の任意の画像解析技術や学習済モデルが利用される。
（５）第１商品は第１実施形態の以上には限定されない。例えば、第１解析部１１５が特定した顔タイプＨaと同様の顔タイプＨaの利用者が過去に購入した商品のうち高評価をした商品を第１商品として利用者Ｕに提示する構成や、第１解析部１１５が特定した顔タイプＨaと同様の顔タイプＨaの利用者が過去に閲覧した商品を第１商品として利用者Ｕに提示する構成も採用される。
（６）第１実施形態において、第１情報Ｄ1と第２情報Ｄ2とを学習済モデル（例えばニューラルネットワーク）に入力した結果に応じて、複数の顔タイプＨaのうちの利用者Ｕに応じた顔タイプＨaを第１解析部１１５
が特定する構成（以下「構成Ａ」という）も採用される。学習済モデルは、第１情報Ｄ1および第２情報Ｄ2を入力として、複数の顔タイプＨaのうちの何れかを出力する。利用者の第１情報Ｄ1および第２情報Ｄ2と当該利用者に対応する顔タイプＨa（正解ラベル）とを対応させた教師データを利用した機械学習により学習済モデルが生成される。

構成Ａにおいては、複数の顔タイプＨaの各々について利用者Ｕが該当する可能性を表す指標（例えば顔タイプＨa1:９５％，顔タイプＨa2:３０％，顔タイプＨa3:４５％など）を算出してもよい。そして、各タイプについて算出した指標を利用者Ｕに提示してもよい。以上の構成では、商品特定部１１７は、最も該当する可能性が高い顔タイプＨaの商品情報Ｐのみを特定してもよいし、降順で上位数番目までの各顔タイプＨaについて商品情報Ｐを特定してもよい。以上の構成においては、学習済モデルは、複数の顔タイプＨaの各々について利用者Ｕが該当する可能性を表す指標を出力する。

構成Ａによれば、第１実施形態と同様に、利用者Ｕの正面および側面に関する外見の特徴を加味して、統計的に妥当な顔タイプＨaを高精度に特定できるという利点がある。
（７）第１実施形態において商品情報Ｐを特定する構成は必須ではない。例えば、商品情報Ｐを利用者Ｕに提示せずに、第１情報Ｄ1と第２情報Ｄ2とから特定した顔タイプＨaを利用者に提示してもよい。
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

利用者Ｕの身体の外見（すなわち体型）の特徴は、顔の外見の特徴と同様に、利用者Ｕに似合う衣類に影響する。身体の外見の特徴は、利用者Ｕの身体における外見から確認できる特徴であり、例えば、身体のライン・立体感、身体の各部分（首部，胸部，腹部,腰部，腕部，脚部など）の位置・大きさ・比率などである。なお、身体とは、利用者Ｕの全身のうち首から下の部分をいう。

以上の事情を考慮して、第２実施形態では、身体に関する外見の特徴を表すタイプ（以下「身体タイプ」という）Ｈbに応じて商品情報Ｐを特定する構成を例示する。事前に用意された複数の身体タイプＨb（Ｈb1，Ｈb2，Ｈb3，…）の何れかが利用者Ｕの身体タイプＨbとして特定される。

複数の身体タイプＨb（Ｈb1，Ｈb2，Ｈb3，…）の各々は、例えば、全体的にメリハリがあり、腰部および胸部の位置が高い身体タイプＨb1、身体が薄く、上半身に対して下半身に大きめである身体タイプＨb2、手足が長く、肉感を感じさせない身体タイプＨb3などである。以上の通り、各身体タイプＨbは、身体の外見の特徴を総合的に加味して区分された分類である。ただし、身体タイプＨbの具体的な分類は以上の例示に限定されない。
図９は、第２実施形態に係る情報処理システム１００の制御装置１１の機能的な構成を例示するブロック図である。図９に例示される通り、第１解析部１１５に代えて、第２解析部１１６を具備する。

第２解析部１１６は、利用者Ｕの身体に関する外見の特徴を表す情報（以下「第３情報Ｄ3」という）から、複数の身体タイプＨbのうちの何れかを利用者Ｕの身体タイプＨbとして特定する。第２実施形態の第３情報Ｄ3は、利用者Ｕの身体を含む画像である。

具体的には、第３情報Ｄ3は、図１０に例示される通り、利用者Ｕの身体の正面を含む身体画像Ｇ1（すなわち利用者Ｕを正面から撮像した身体画像）と、利用者Ｕの身体の側面を含む身体画像Ｇ2（すなわち利用者Ｕを側面から撮像した身体画像）とを含む。第３情報Ｄ3（身体画像Ｇ1，身体画像Ｇ2）は、端末装置２００から情報処理装置に送信される。

第２実施形態の情報処理システム１００は、第１実施形態と同様に、制御装置１１と記憶装置１３と通信装置１５とを具備する。なお、記憶装置１３に記憶される商品テーブルＴ2には、各商品の各々について、当該商品に対応する身体タイプＨb（当該商品が似合うと推定される身体タイプＨb）が登録される。また、第２実施形態の記憶装置１３は、商品テーブルＴ2と、輪郭テーブルＴ3（データテーブル）とを記憶する。輪郭テーブルＴ3については後述する。

受信制御部１１１は、端末装置２００から通信装置１５により身体画像Ｇ（Ｇb1，Ｇb2）を受信する。第１解析部１１５は、端末装置２００から送信された身体画像Ｇ（Ｇb1，Ｇb2）から利用者Ｕの身体タイプＨbを特定する。

第１に、第１解析部１１５は、身体画像Ｇから利用者Ｕの身体における輪郭（すなわちシルエット）を抽出する図１０に例示される通り、身体画像Ｇ1および身体画像Ｇ2の各々について輪郭Ｘが抽出される。すなわち、身体の正面における輪郭Ｘ1と身体の側面における輪郭Ｘ2とが抽出される。なお、輪郭Ｘ（Ｘ1，Ｘ2）の抽出には、公知の任意の画像解析技術が適宜に利用される。

図１１は、複数の身体タイプＨb（Ｈb1，Ｈb2，Ｈb3）の各々に、当該身体タイプＨbに対応する輪郭Ｙ（Ｙ1，Ｙ2）が登録された輪郭テーブルＴ3の模式図である。図１１に例示される通り、各身体タイプＨbには、身体の正面における輪郭Ｙ1と身体の側面における輪郭Ｙ2とが対応付けられる。輪郭Ｙ（Ｙ1，Ｙ2）には、当該輪郭Ｙに対応する身体タイプＨbの特徴が反映されている。

第２に、第１解析部１１５は、複数の輪郭Ｙ（Ｙ1，Ｙ2）のうち抽出した輪郭Ｘ（Ｘ1，Ｘ2）に対応するタイプを、利用者Ｕの身体タイプＨbとして特定する。第２実施形態では、複数の身体タイプＨbのうち輪郭Ｘに最も類似する輪郭Ｙに対応する身体タイプＨbが利用者Ｕの身体タイプＨbとして特定される。

具体的には、第１解析部１１５は、複数の身体タイプＨbの各々について、輪郭テーブルＴ3に登録された輪郭Ｙ（Ｙ1，Ｙ2）と身体画像Ｇから抽出した輪郭Ｘ（Ｘ1，Ｘ2）との類似度を特定する。例えば、身体タイプＨb毎に、輪郭Ｘ1と輪郭Ｙ1との間の類似度と、輪郭Ｘ1と輪郭Ｙ2との間の類似度とが算定される。そして、輪郭Ｘ1と輪郭Ｙ1との間の類似度と、輪郭Ｘ1と輪郭Ｙ2との間の類似度との双方を加味した値（例えば平均値や合計値）を、輪郭Ｘと輪郭Ｙとの類似度として特定する。なお、類似度の算定には、公知の任意の画像解析技術（例えばパターン認識）が任意に採用され得る。

各身体タイプＨbについて特定された類似度が最も高い身体タイプＨb（図１１の例示では身体タイプＨb2）が利用者Ｕの身体タイプＨbとして特定される。以上の通り、利用者Ｕの身体の正面および側面の双方における身体的な特徴（シルエット）を加味して、高精度に身体タイプＨbを特定することが可能である。なお、図１０および図１１では、身体（首部から下の部分）の輪郭Ｘと輪郭Ｙと比較する構成を例示したが、頭部も含む全身の輪郭Ｘと輪郭Ｙとを比較してもよい。

商品特定部１１７は、第１実施形態と同様に、利用者Ｕの身体タイプＨbから、利用者Ｕにレコメンドする第１商品（利用者Ｕの身体タイプＨbから似合うと推定される商品）に関する商品情報Ｐを特定する。送信制御部１１３は、第１実施形態と同様に、商品情報Ｐを通信装置１５により端末装置２００に送信する。

端末装置２００（制御装置２１）は、第１実施形態と同様に、情報処理システム１００から送信された商品情報Ｐを表す商品画像Ｋを表示装置２４に表示させる。したがって、利用者Ｕの身体タイプＨbから似合うと推定される第１商品に関する商品情報Ｐが利用者Ｕに提示される。

第２実施形態では、利用者Ｕの身体の外見に関する特徴を、利用者Ｕの身体の正面および側面に関する外見の特徴を加味して、利用者Ｕの身体タイプＨbを高精度に特定できるという利点がある。

なお、第２実施形態では、身体画像Ｇ1と身体画像Ｇ2との双方を利用して身体タイプＨbを特定したが、身体画像Ｇ1および身体画像Ｇ2の何れか一方のみを身体タイプＨbの特定に利用してもよい。また、正面および側面以外（例えば背面）を含む身体画像Ｇを身体タイプＨbの特定に利用してもよい。
＜第２実施形態の変形例＞
以上に例示した第２実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。
（１）身体タイプＨbを特定する場合には、図１２に例示される通り、利用者Ｕの身体における複数の部分（例えば首部、胸部、腹部、脚部など）の各々について、輪郭Ｚｎ（ｎは２以上の整数）を抽出してもよい。以上の構成では、複数の身体タイプＨbの各々について、事前に用意された身体の複数の部分毎の輪郭と抽出した輪郭Ｚｎとの間における類似度が算出される。すなわち、身体タイプＨb毎に複数の部分にそれぞれ対応する複数の輪郭が事前に登録される。そして、利用者Ｕの身体の各輪郭Ｚｎにおける類似度を総合的に加味して、身体タイプＨbを特定してもよい。

また、利用者Ｕの身体の部分毎に当該部分の特徴を表すタイプ（例えば利用者Ｕの上半身はタイプＡで下半身はタイプＢなど）を特定してもよい。以上の構成では、身体の部分毎に商品情報Ｐを特定してもよいし、部分毎のタイプを全て加味して商品情報Ｐを特定してもよい。
（２）身体タイプＨbを特定する方法は、第２実施形態の例示には限定されない。例えば、学習済モデルに身体画像Ｇを入力した結果に応じて利用者Ｕの身体タイプＨbを特定してもよい。第２実施形態の学習済モデルは、身体画像Ｇ（Ｇb1，Ｇb2）と身体タイプＨbとの間の関係を学習した学習済モデルである。利用者Ｕと当該利用者Ｕに対応する身体タイプＨb（正解ラベル）とを対応させた教師データを利用した機械学習により学習済モデルが特定される。

また、利用者Ｕの身体画像Ｇから抽出した輪郭以外の情報を加味して、身体タイプＨbを特定してもよい。例えば、身体の各部位（例えば胸部，ウエスト，臀部）の位置や、部位を横からみたときの厚さ、または、部位間における比率等の各種の情報が身体タイプＨbの特定に利用される。
（３）第３情報Ｄ3は、身体画像Ｇに限定されない。例えば、身体画像Ｇ以外の情報を加味してもよい。例えば、利用者Ｕの身体に関する外見の特徴を問う問診に対する回答を第３情報Ｄ3として含んでもよい。
＜第３実施形態＞
第３実施形態では、顔タイプＨaと身体タイプＨbとの双方に応じて、利用者Ｕにレコメンドする第１商品に関する商品情報Ｐを特定する。

端末装置２００は、情報処理システム１００に第１情報Ｄ1（正面画像）と第２情報Ｄ2（外見問診に対する回答）と第３情報Ｄ3（身体画像Ｇ）とを送信する。情報処理システム１００の制御装置１１は、第１実施形態で例示した第１解析部１１５と、第２実施形態で例示した第２解析部１１６との双方を具備する。

第１解析部１１５が顔タイプＨaを特定する処理は、第１実施形態と同様であり、第２解析部１１６（「第４処理部」の例示）が身体タイプＨb（「第４タイプ」の例示）を特定する処理は、第２実施形態と同様である。
様である。

第３実施形態の商品特定部１１７は、顔タイプＨaおよび身体タイプＨbに応じて第１商品に関する商品情報Ｐを特定する。図１３は、第３実施形態に係る商品テーブルＴ2の模式図である。第３実施形態の商品テーブルＴ2には、複数の商品の各々について、当該商品に似合うと推定される顔タイプＨaと身体タイプＨbとの双方が登録される。

商品特定部１１７は、商品テーブルＴ2に登録された複数の商品のうち、第１解析部１１５が特定した顔タイプＨaと身体タイプＨbとの双方が対応付けられた商品を第１商品として商品情報Ｐを特定する。例えば、図１３の例示では、顔タイプＨaが「顔タイプＨa3」と特定され、身体タイプＨbが「身体タイプＨb1」と特定された場合には、「商品３」を第１商品として商品情報Ｐが特定される。

商品特定部１１７が特定した商品情報Ｐは、利用者Ｕの端末装置２００に送信される。端末装置２００の表示装置２４は、情報処理システム１００から送信された商品情報Ｐを表す商品画像Ｋを表示する。すなわち、顔タイプＨaと身体タイプＨbの双方を加味して利用者Ｕに似合うと推測される第１商品の商品情報Ｐが利用者Ｕに提示される。第３実施形態においても第１実施形態および第２実施形態と同様の効果が実現される。
＜第４実施形態＞
第１実施形態では、商品テーブルＴ2に登録された複数の商品のうち利用者Ｕの顔タイプＨaが対応付けられた商品を第１商品として例示したが、第４実施形態では、利用者Ｕの顔タイプＨaと同様の顔タイプＨaが特定された他の利用者が過去に購入した商品（以下「購入商品」という）を第１商品として例示する。

情報処理システム１００の記憶装置１３は、利用者テーブルＴ4（データテーブル）を記憶する。図１４は、利用者テーブルＴ4の模式図である。利用者テーブルＴ4は、ＥＣサイトの利用者毎に顔タイプＨaおよび購入商品が登録される。なお、実際には、利用者について複数の購入商品が登録され得る。

情報処理システム１００の第１解析部１１５は、第１実施形態と同様に、第１情報Ｄ1および第２情報Ｄ2から顔タイプＨaを特定する。商品特定部１１７は、第１解析部１１５が特定した顔タイプＨaに応じて第１商品に関する商品情報Ｐを特定する。

具体的には、商品特定部１１７は、利用者テーブルＴ4に登録された複数の利用者のうち第１解析部１１５が特定した顔タイプＨaが対応付けられた利用者の購入商品を第１商品として商品情報Ｐを特定する。すなわち、第１解析部１１５が特定した顔タイプＨaと同様の顔タイプＨaが特定された他の利用者の購入商品の商品情報Ｐが特定される。図１４の例示では、利用者Ｕの顔タイプＨaが「顔タイプＨa2」と特定された場合には、利用者４の購入商品である「商品１」の商品情報Ｐが特定される。

第１実施形態と同様に、情報処理システム１００が特定した商品情報Ｐは端末装置２００に送信され、端末装置２００は商品情報Ｐを表す商品画像Ｋを表示する。したがって、同じ顔タイプＨaである他の利用者の購入商品を利用者Ｕにレコメンドすることができる。

なお、第４実施形態の構成は、第１実施形態－第３実施形態の何れにも適用される。例えば、第３実施形態に第４実施形態の構成を適用する場合には、利用者テーブルＴ4には、利用者毎に、当該利用者の顔タイプＨaおよび身体タイプＨbと購入商品とが登録される。
＜第４実施形態の変形例＞
以上に例示した第４実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。
（１）第４実施形態において、商品特定部１１７は、購入商品毎に当該購入商品を購入した利用者Ｕの顔タイプＨaが登録された販売テーブルＴ5（データテーブル）を利用して商品情報Ｐを特定してもよい。図１５は、販売テーブルＴ5の模式図である。販売テーブルＴ5では、ＥＣサイトで商品が購入される度（すなわち販売された度）に当該商品が登録されるから、例えば同一の商品を相異なる利用者Ｕが購入した場合には、同じ商品が重複して登録される。

販売テーブルＴ5を集計することで、複数の商品（ＥＣサイトで取り扱う複数の商品）の各々について、顔タイプＨa毎に当該商品を販売した個数（販売数）が特定できる。図１６は、複数の商品の各々について、顔タイプＨa毎に特定された販売数を模式的に示す図である。

商品特定部１１７は、複数の商品の各々について顔タイプＨa毎に特定された販売数に応じて商品情報Ｐを特定する。例えば、商品特定部１１７は、複数の商品のうち、第１解析部１１５が特定した顔タイプＨaについて特定された販売数が所定の閾値を上回る商品を第１商品として商品情報Ｐを特定する。また、商品特定部１１７は、複数の商品のうち、第１解析部１１５が特定した顔タイプＨaについて特定された販売数が多い順番で所定の順番目（例えば上位３番目）までの商品を第１商品として商品情報Ｐを特定してもよい。

以上の説明から理解される通り、商品特定部１１７は、複数の商品の各々について顔タイプＨa毎に特定された販売数と、第１解析部１１５が特定した顔タイプＨaとに応じて、商品情報Ｐを特定する。以上の構成によれば、利用者Ｕと同様の顔タイプＨaが特定された他の利用者が購入した商品の販売数に応じて、利用者Ｕに適切な商品情報Ｐを特定できるという利点がある。なお、以上の構成では、第１解析部１１５が顔タイプＨaを特定する方法は、前述の各形態の例示には限定されない。
＜第５実施形態＞
ここで、利用者Ｕの顔タイプＨaによっては似合う商品が存在する一方で、当然に似合わない商品も存在する。そして、利用者Ｕは自身に似合わない商品の購入は避けたいと考え得る。以上の事情を考慮して、第５実施形態では、利用者Ｕの顔タイプＨaから似合わないと推定される商品（以下「第２商品」という）を敢えて提示する。第２商品は、利用者Ｕにレコメンドしない商品であるとも換言できる。

第５実施形態の商品テーブルＴ2において、各商品に、似合うと推定される顔タイプＨaとともに、似合わないと推定される顔タイプＨaも登録される。似合わない推定される顔タイプＨaを特定する方法は任意である。例えば、ＥＣサイトの担当者が商品を確認して似合わないと推定される顔タイプＨaを特定してもよいし、商品の特徴と顔タイプＨaとの関係を学習した学習済モデルに商品（例えば商品の画像や特徴量等）を入力した結果に応じて似合わないと推定される顔タイプＨa特定してもよい。

第５実施形態の第１解析部１１５は、第１実施形態と同様に、第１情報Ｄ1および第２情報Ｄ2から顔タイプＨaを特定する。第１に、商品特定部１１７は、第１実施形態と同様に、第１解析部１１５が特定した顔タイプＨaに応じて、利用者Ｕにレコメンドする第１商品に関する商品情報Ｐ（以下「第１商品情報」という）を特定する。

具体的には、商品特定部１１７は、商品テーブルＴ2を利用して第１商品情報を特定する。商品テーブルＴ2に登録された複数の商品のうち、第１解析部１１５が特定した顔タイプＨaが似合うと推定される顔タイプＨaとして登録された商品を第１商品として第１商品情報を特定する。

第２に、商品特定部１１７は、第１解析部１１５が特定した顔タイプＨaに応じて、利用者Ｕにレコメンドしない第２商品に関する商品情報Ｐ（以下「第２商品情報」という）を特定する。

具体的には、商品特定部１１７は、商品テーブルＴ2を利用して第２商品情報を特定する。商品テーブルＴ2に登録された複数の商品のうち、第１解析部１１５が特定した顔タイプＨaが似合わないと推定される顔タイプＨaとして登録された商品を第２商品として第２商品情報を特定する。

送信制御部１１３は、商品特定部１１７が特定した第１商品情報および第２商品情報を通信装置１５により端末装置２００に送信する。

第５実施形態の端末装置２００の通信装置２３は、情報処理システム１００から送信された第１商品情報および第２商品情報を受信する。そして、図９に例示される通り、端末装置２００の表示装置２４は、第１商品情報を表す商品画像Ｋ1とともに（すなわち商品画像Ｋ1と同一のＷｅｂページ内に）、第２商品情報を表す商品画像Ｋ2を表示する。

なお、商品画像Ｋ1とともに商品画像Ｋ2を表示することは本発明において必須ではない。例えば、商品画像Ｋ1と商品画像Ｋ2とを相異なるＷｅｂページに表示させてもよい。

第５実施形態では、利用者Ｕにレコメンドする第１商品（利用者Ｕの顔タイプＨaから似合うと推定される商品）に加えて、利用者Ｕにレコメンドしない第２商品（利用者Ｕの顔タイプＨaから似合わないと推定される商品）が提示される。したがって、利用者Ｕは、自身の外見から似合うと推測される商品だけでなく、似合わないと推測される商品を把握することが可能になる。ひいては、自身に似合わないと推測される商品の購入を避けることができるという利点がある。

なお、第５実施形態の構成は、第１実施形態－第４実施形態の何れにも適用される。
＜第５実施形態の変形例＞
以上に例示した第５実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。
（１）第５実施形態において、第２商品情報と特定する方法は以上の例示に限定されない。例えば、商品テーブルＴ2において、第１解析部１１５が特定した顔タイプＨa以外の顔タイプＨaが対応付けられた商品を第２商品として第２商品情報として特定してもよい。

また、商品テーブルＴ2において、第１解析部１１５が特定した顔タイプＨaと特徴が相違する顔タイプＨaが対応付けられた商品を第２商品として第２商品情報として特定してもよい。以上の構成では、例えば、複数の顔タイプＨaの各々について、当該顔タイプＨaと特徴が最も相違する顔タイプＨaについて事前に記憶装置１３に記憶する。

さらには、図１５の販売テーブルＴ5を利用して第２商品情報を特定してもよい。商品特定部１１７は、複数の商品の各々について顔タイプＨa毎に特定された販売数に応じて第２商品情報を特定する。例えば、商品特定部１１７は、複数の商品のうち、第１解析部１１５が特定した顔タイプＨaについて特定された販売数が所定の閾値を下回る商品を第２商品として第２商品情報を特定する。また、商品特定部１１７は、複数の商品のうち、第１解析部１１５が特定した顔タイプＨaについて特定された販売数が昇順で所定の順番目までの商品（例えば下位２番目までの商品）を第２商品として第２商品情報を特定してもよい。

第２商品は以上の例示には限定されない。例えば、第１解析部１１５が特定した顔タイプＨaと同様の顔タイプＨaの利用者Ｕが過去の購入した商品のうち低評価をした商品を第２商品としてもよい。
＜第６実施形態＞
第１解析部１１５は、第１実施形態と同様に、第１処理部５１と第２処理部５２と第３処理部５３とを具備する。

第１処理部５１は、第１実施形態と同様に、顔の正面画像を含む第１情報Ｄ1から利用者Ｕに応じた第１タイプＶ1を特定する。第６実施形態の第１タイプＶ1は、利用者Ｕに提示する候補となる複数の顔タイプＨaを大きく分類したタイプである。言い換えれば、顔タイプＨaは、第１タイプを細分化した小分類である。

以下の説明では、利用者Ｕの顔タイプＨaの候補となる１６個の顔タイプＨa（Ｈa1～Ｈa16）が存在し、当該１６個の顔タイプＨaを４個毎に大きく分類した４つの第１タイプＶ1（Ｖ11～Ｖ14）が存在する場合を例示する。

第１タイプＶ1は、顔の正面から把握できる外見の特徴（例えば、輪郭の正面形状、各パーツの配置・正面形状・比率など）を総合的に踏まえて、当該特徴から受ける印象を分類したタイプである。第１タイプＶ1は、例えば、Ｖ11「ガーリー系」、Ｖ12「フェミニン系」、Ｖ13「カジュアル系」、および、Ｖ14「ハンサム系」などである。

例えば、顔が曲線的（例えば、輪郭が丸みを帯びている、鼻筋がない、目が円い）であり、かつ、幼い印象がある（例えば、おでこが広い、目が離れている）場合には、Ｖ11「ガーリー系」が特定される。一方で、顔が曲線的であるが、大人っぽい印象を受ける（例えば、おでこが狭い、両目の間隔が狭い）場合には、Ｖ12「フェミニン系」が特定される。また、顔が直線的（例えば、輪郭が骨ばっている、鼻筋が通っている、目が切れ長）であるが、幼い印象を受ける場合には、Ｖ13「カジュアル系」と特定される。一方で、顔が直線的であり、かつ、大人っぽい印象を受ける場合には、Ｖ14「ハンサム系」と特定される。ただし、利用者Ｕについて候補となる第１タイプＶ1の個数は任意である。

上述した通り、第１タイプＶ1毎に対応する複数（４個）の相異なる顔タイプＨaが存在する。各第１タイプＶ1に対応する４個の顔タイプＨaは、当該第１タイプＶ1が示す利用者Ｕの印象をさらに詳細に分類したタイプである。例えば、Ｖ11「ガーリー系」については、「ガーリー系」の中でも明るい印象が強い顔タイプＨa1、柔らかい印象が強い顔タイプＨa2、かわいらしい印象が強い顔タイプＨa3、および、凛とした印象が強い顔タイプＨa4といった４個の相異なる顔タイプＨaが対応する。各第１タイプＶ1に対応する４個の顔タイプＨaは、例えば、顔の各パーツの大きさ・形状・位置や輪郭といった顔の特徴を相対的に比較して分類したタイプとも換言できる。

第２処理部５２は、第１実施形態と同様に、第２情報Ｄ2に応じた関連情報を取得する。ただし、第１実施形態では、関連情報として第２タイプＶ2を例示したが、第６実施形態では、第２情報Ｄ2そのものを関連情報として例示する。

第２情報Ｄ2は、第１実施形態と同様に、外見問診に対する回答である。第６実施形態の第２情報Ｄ2は、複数（Ｎ個）の外見問診についてそれぞれ対応する複数（Ｎ個）の回答を含む。

第２実施形態の外見問診では、外見の特徴についての各種の問診が含まれる。例えば、顔に関する外見の特徴を自身が具体的に判断する問診（例えば、目の形状・大きさ、鼻の高さ、輪郭のタイプなど、顔のバランス）、顔に関する外見の特徴から自身が感じる印象についての問診（例えば、きれい系orかわいい系、子供顔or大人顔、男顔or女顔）、顔に関する外見から他人に言われる印象についての問診（例えば、きれいorかわいい）などが外見問診として例示される。

図１８は、第６実施形態において、利用者Ｕに提示される複数の外見問診Ｑの模式図である。第６実施形態では、第１処理部５１が特定した第１タイプＶ1毎にＮ（図１８ではＮ＝３の場合を例示）個の外見問診Ｑが提示される場合を例示する。そして、第１タイプＶ1毎に提示されるＮ個の外見問診Ｑの組み合わせは異なる。第１処理部５１が特定した第１タイプＶ1に応じて、Ｎ個の外見問診Ｑの組み合わせが特定される。

具体的には、第１処理部５１が特定した第１タイプＶ1に応じて、事前に準備された複数（Ｋ個：ＫはＮより大きい整数）の外見問診ＱからＮ個の外見問診Ｑが特定される。図１８に例示される通り、各第１タイプＶ1について事前にＮ個の外見問診Ｑの組み合わせが設定される。各第１タイプＶ1には、当該第１タイプＶ1が表す利用者の印象をさらに細分化させるための（すなわち顔タイプＨaを特定するための）Ｎ個の外見問診Ｑが設定される。そして、第１処理部５１が特定した第１タイプＶ1に対応するＮ個の外見問診Ｑの組み合わせが特定される。

なお、所定の第１タイプＶ1と他の第１タイプＶ1との間において、Ｎ個の外見問診Ｑの一部または全部が重複してもよい。また、各第１タイプＶ1において特定される外見問診Ｑの個数が相違してもよい。

図１８に例示される通り、各外見問診Ｑには、当該外見問診Ｑに対する回答の候補となる複数の選択肢Ａが用意される。選択肢Ａの個数は任意である。例えば、外見問診Ｑ1が「目の大きさは？」である場合には、選択肢Ａ11「大きい」、選択肢Ａ12「小さい」、および、選択肢Ａ13「普通」が用意される。

第３処理部５３は、第１処理部５１が利用者Ｕについて特定した第１タイプＶ1と、第２処理部５２が取得した関連情報（複数の外見問診Ｑにそれぞれ対応する複数の回答）との組み合わせに応じて、複数の第３タイプのうち利用者Ｕに応じた顔タイプＨaを特定する。

顔タイプＨaの特定には、図１９に例示されるテーブルＴ6が利用される。テーブルＴ6は、複数の第１タイプＶ1の各々について、当該第１タイプＶ1と複数の外見問診Ｑのそれぞれについての回答との組み合わせ（以下「特定組合せ」という）を登録したデータテーブルである。４つの第１タイプＶ1の各々について、３個の外見問診Ｑのそれぞれについて回答Ａの候補である３個の選択肢が準備されている場合には、１０８（＝４×２７）個の特定組合せがある。各特定組合せについて、複数の顔タイプＨaのうちの何れかが対応付けられる。なお、各第１タイプＶ1における特定組合せ（２７個）については、共通する顔タイプＨaが対応付けられる場合もある。

図２０は、第６実施形態に係る情報処理システム１００および端末装置２００の動作の手順を例示するフローチャートである。図７と同様に、例えば、端末装置２００の利用者Ｕからの顔タイプＨaの特定の開始の指示を契機として図２０の処理が開始される。

端末装置２００の制御装置２１は、利用者Ｕの第１情報Ｄ1（正面画像）を通信装置２３により情報処理システム１００に送信する（ＳB1）。情報処理システム１００の受信制御部１１１は、端末装置２００から送信された第１情報Ｄ1を通信装置１５により受信する（ＳB2）。

第１処理部５１は、第１情報Ｄ1から利用者Ｕの第１タイプＶ1を特定する（ＳB3）。制御装置１１は、第１処理部５１が特定した第１タイプＶ1に応じて外見問診Ｑを特定する（ＳB4）。第６実施形態では、第１処理部５１が特定した第１タイプＶ1に応じて、事前に用意されたＫ個の外見問診ＱからＮ個の外見問診Ｑの組み合わせが特定される。送信制御部１１３は、特定したＮ個の外見問診Ｑと、当該各外見問診Ｑに対する回答Ａとなる複数の選択肢とを端末装置２００に送信する（ＳB5）。具体的には、Ｎ個の外見問診Ｑの各々について、外見問診Ｑを表す画像と、当該外見問診Ｑの回答Ａの候補となる複数の選択肢とを表す画像とを含む特徴画像が端末装置２００に送信される。

端末装置２００は、特定したＮ個の外見問診Ｑと、当該各外見問診Ｑに対する回答Ａとなる複数の選択肢とを受信する（ＳB6）。端末装置２００の表示装置２４は、特徴画像を表示する。利用者Ｕは、各外見問診Ｑについて回答Ａを選択する。端末装置２００の制御装置２１は、各外見問診Ｑの回答Ａを第２情報Ｄ2として通信装置２３により情報処理システム１００に送信する（ＳB7）。すなわち、第２情報Ｄ2は、Ｎ個の外見問診Ｑのそれぞれに対するＮ個の回答Ａを含む。

情報処理システム１００の第２処理部５２は、端末装置２００から送信された第２情報Ｄ2を通信装置１５により受信する（ＳB8）。すなわち、第２処理部５２は、第２情報Ｄ2を取得する。

第３処理部５３は、第１処理部５１が特定した第１タイプＶ1と、第２特定部５２が特定した第２情報Ｄ2（複数の回答Ａ）との組み合わせに応じて、利用者Ｕの顔タイプＨaを特定する（ＳB9）。具体的には、図１９のテーブルＴ6において、第１処理部５１が特定した第１タイプＶ1と、第２特定部５２が取得した第２情報Ｄ2とに対応付けられた顔タイプＨaが利用者Ｕの顔タイプＨaとして特定される。利用者の顔タイプＨaを特定した後におけるステップＳA4～ＳA7の処理は、図７と同様である。なお、ステップＳB9の処理は、第２情報Ｄ2に含まれる複数の回答Ａの組み合わせに応じて、第１処理部５１が特定した第１タイプＶ1に分類される２以上（第６実施形態では４個）の顔タイプＨaのうち利用者Ｕの顔タイプＨaを特定する処理であるとも換言できる。

ここで、正面画像から特定した第１タイプのみで顔タイプＨaを特定する構成（以下「比較例」という）では、正面画像から正確には把握できない外見の特徴が顔タイプＨaの特定に加味されないという問題がある。

それに対して、第６実施形態では、正面画像から正確には把握できない外見の特徴に関する問診を外見問診Ｑとして設定することが可能である。そして、第１タイプＶ1と外見問診Ｑに対する回答Ａとの組み合わせに応じて顔タイプＨaが特定される。すなわち、外見問診Ｑの回答Ａも加味して顔タイプＨaを特定することが可能である。したがって、第６実施形態では、比較例と比較して、利用者の顔タイプＨaを高精度に特定することができる。なお、正面画像から正確には把握できない外見の特徴に関する問診には、例えば、例えば自身が他者との比較で感じる主観的な印象や他者が利用者に感じる客観的な印象に関する問診や、横顔の特徴（例えば鼻の高さなど）に関する問診などがある。

また、第６実施形態では、第１処理部５１が特定した第１タイプＶ1に応じて、Ｋ個の外見問診ＱからＮ個の外見問診Ｑが特定される。例えば、第１処理部５１が特定した第１タイプＶ1に関わらず、共通のＮ個の外見問診Ｑが特定される構成では、相異なる特徴を表す第１タイプＶ1毎に適切なＮ個の外見問診Ｑが設定できない可能性がある。

それに対して、第６実施形態では、相異なる特徴を表す第１タイプＶ1毎に適切なＮ個の外見問診Ｑが設定できる。例えば、Ｖ11「ガーリー系」を細分化するにあたって目の大きさを重要視する場合には、目の大きさに関する外見問診Ｑを利用者に提示することができる。ひいては、利用者Ｕに適切な顔タイプＨaが特定できるという利点がある。ただし、第１処理部５１が特定した第１タイプＶ1に関わらず、共通の複数の外見問診Ｑが特定される構成も本発明には包含される。

第６実施形態の構成において、第３処理部５３が特定した顔タイプＨaとともに、第１処理部５１が特定した第１タイプＶ1を利用者Ｕに提示（端末装置２００に送信）してもよい。また、複数の第１タイプＶ1のうち利用者Ｕが該当する可能性が高い２個以上の第１タイプＶ1を利用者Ｕに提示してもよい。表示装置２４は、例えば、該当する可能性が最も高い第１タイプＶ11「ガーリー系（７８％）」と、次に該当する可能性が高い第１タイプＶ14「ハンサム系（１４％）」とを表示する。なお、可能性（％）については、学習済モデルにおいて各第１タイプＶ1について特定される尤度に応じて設定される。

なお、第６実施形態の構成は、身体タイプを特定する場合にも適用し得る。また、第６実施形態では、複数（３個）の外見問診Ｑを提示する構成を例示したが、提示する外見問診の個数は１個でもよい。
＜第７実施形態＞
第７実施系形態では、利用者Ｕについて第３処理部５３が特定した顔タイプＨa（以下「第１顔タイプＨa」と表記する）に加えて、利用者Ｕが所望する顔タイプＨa（以下「第２顔タイプＨa」と表記する）を特定する。第１顔タイプＨaと第２顔タイプＨaとは異なる顔タイプＨaである。すなわち、第２顔タイプＨaは、複数の顔タイプＨaのうち第３処理部５３が特定した顔タイプＨaとは異なる顔タイプＨaである。第１顔タイプＨaが現状の利用者Ｕの外見の特徴を反映した顔タイプＨaであるのに対して、第２顔タイプＨaは利用者Ｕが憧れる外見の特徴を表す顔タイプＨaである。

第７実施系形態の制御装置１１は、図４に例示する要素（１１１，１１３，１１５，１１７）に加えて、特定部を具備する。

特定部は、第２顔タイプＨaを特定する。具体的には、特定部は、利用者Ｕが所望（願望）する外見の特徴に関する問診（以下「願望問診」という）に対する回答と、第１顔タイプＨaとに応じて、複数の顔タイプＨaから第２顔タイプＨaを特定する。

願望問診は、例えば他者からみられて嬉しい印象に関する問診（若々しいor大人っぽい）、言われて嬉しい印象に関する問診（かっこいいor可愛い）、憧れる芸能人に関する問診（芸能人名○○or芸能人名××）などが該当する。図２１には、２つの願望問診Ｊ（Ｊ1，Ｊ2）のそれぞれについて、当該願望問診Ｊに対する回答Ｂの候補となる複数（３つ）の選択肢が用意された場合を例示する。

特徴画像と同様に、複数の願望問診Ｊの各々について、当該願望問診Ｊを表す画像と当該願望問診Ｊに対する回答Ｂの候補となる複数の選択肢を表す画像とを含む画像（以下「願望画像」という）が
端末装置２００に送信される。

端末装置２００の表示装置２４は、願望画像を表示する。利用者Ｕが各願望問診Ｊについて回答Ｂを選択すると、当該回答Ｂが情報処理システム１００に送信される。

情報処理システム１００の特定部は、端末装置２００から送信された複数の願望問診Ｊにそれぞれ対する複数の回答Ｂと、第１顔タイプＨaとの組み合わせに応じて、複数の顔タイプＨaから第２顔タイプＨaを特定する。

第２顔タイプＨaの特定には、図２２のテーブルＴ7が利用される。テーブルＴ7は、各顔タイプＨa（第１顔タイプＨaの候補となる顔タイプＨa）について、複数の願望問診Ｊのそれぞれについて選択される回答Ｂの組み合わせを登録したデータテーブルである。そして、各回答Ｂの組み合わせ毎に、第２顔タイプＨaとして特定される顔タイプＨaが対応付けられる。

特定部は、テーブルＴ7において、第１顔タイプＨaとして特定された顔タイプＨaと願望問診Ｊに対する回答Ｂの組み合わせとに対応付けられた顔タイプＨaを、利用者Ｕの第２顔タイプＨaとして特定する。したがって、第１顔タイプＨaに自身が所望する外見の特徴を加味した第２顔タイプＨaが特定される。

さらに、第２顔タイプＨaが利用者Ｕの顔タイプＨaとして合致しているかの度合い（以下「マッチ度」という）を特定して、利用者Ｕに提示してもよい。マッチ度は、例えば、第１顔タイプＨaが表す特徴と第２顔タイプＨaが表す特徴との類似度を加味して特定される。顔タイプＨaの特徴とは、例えば、顔が曲線的であるか直線的であるか、幼い印象であるか大人っぽい印象であるか、顔のパーツの大きさ・形状・位置などの各種の特徴である。第１顔タイプＨaが表す特徴と第２顔タイプＨaが表す特徴との類似度が高い場合（すなわち共通する特徴が多い場合）には、マッチ度が高く特定され、当該類似度が低い場合（すなわち共通する特徴が少ない場合）にはマッチ度は低く特定される。

端末装置２００の表示装置２４は、第１顔タイプＨaに加えて第２顔タイプＨaも表示する。なお、情報処理システム１００が願望画像を端末装置２００に送信するタイミングは、任意である。例えば、第６実施形態の構成では、特徴画像とともに願望画像が端末装置２００に送信され、端末装置１００から第２情報Ｄ2とともに願望情報が情報処理システム１００に送信される。

第７実施形態において、利用者Ｕの顔タイプＨaを特定する方法は、第１タイプＶ1と関連情報との組み合わせに応じて特定される方法には限定されない。例えば、第３処理部５３は、複数の顔タイプＨaのうち利用者の外見に関する特徴を表す情報（例えば第１情報Ｄ1または第２情報Ｄ2の何れか一方）に応じて利用者の顔タイプＨaを特定してもよい。

なお、第７実施形態の構成は、身体タイプを特定する場合にも適用し得る。
＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。
（１）前述の各形態において、商品情報Ｐの特定には、顔タイプＨaおよび身体タイプＨb以外に各種の情報を加味してもよい。例えば、利用者Ｕの年齢、衣類に関する好み、または、衣類のサイズなどの情報が加味される。また、例えば、利用者Ｕに似合うと推測される色彩のタイプ（いわゆるパーソナルカラー）を特定し、当該タイプを加味して商品情報Ｐを特定してもよい。利用者Ｕに似合うと推測される色彩のタイプは、例えば、利用者の正面画像（第１情報Ｄ1）から特定される。身体タイプＨbの特定についても同様に身体タイプＨb以外の各種の情報が加味される。
（２）前述の各形態では、衣類を商品として商品情報Ｐを特定したが、商品の例示は衣類に限定されない。例えば、眼鏡、アクセサリーまたは靴等の各種の商品に関する商品情報Ｐを特定してもよい。なお、商品は、利用者Ｕが着用する商品には限定されない。
（３）前述の各形態において、情報処理システム１００は、商品情報Ｐを送信せずに、第１解析部１１５が特定した結果（顔タイプＨaや身体タイプＨb）を表す情報を端末装置２００に送信してもよい。すなわち、商品情報Ｐを送信しない構成も採用され得る。
（４）前述の各形態において、商品特定部１１７は、利用者Ｕが指定した条件（例えば商品の種類、サイズ、色、または価格帯等）のもとで商品情報Ｐを特定してもよい。例えば、商品特定部１１７は、利用者Ｕが事前に指定した条件に合致する（または近似する）商品であり、第１解析部１１５が特定した顔タイプＨaに応じた商品に関する商品情報Ｐを特定する。
（５）ＥＣサイト上で販売する複数の商品から利用者が所望する商品の絞り込みに顔タイプＨa（または身体タイプＨb）を利用してもよい。具体的には、利用者Ｕは、複数の顔タイプＨaのうちの何れか（典型的には自身について特定された顔タイプＨa）を選択すると、当該選択した顔タイプＨaに対応する商品の商品情報Ｐが表示装置２４に表示される。
（６）前述の各形態において、特定の利用者（以下「特定利用者」という）については、商品特定部１１７が特定した顔タイプＨa（身体タイプＨb）を記憶装置１３に記憶する構成が好適である。特定利用者は、例えばＥＣサイトを運営する会社の実店舗のスタッフや当該会社と提携して宣伝を行うインフルエンサーなどである。以上の構成では、例えば、利用者Ｕについて特定された顔タイプＨaと同じ顔タイプＨaが登録された特定利用者に関する各種の情報（例えば特定利用者のコーディネート）を利用者Ｕに提示してもよい。また、特定利用者と当該特定利用者の顔タイプＨaと当該特定利用者に関する各種の情報とを対応付けて端末装置２００において表示してもよい。
（７）前述の各形態において、情報処理システム１００が特定した顔タイプＨa（身体タイプＨb）を利用者Ｕの端末装置１００で表示をしたが、情報処理システム１００において顔タイプＨa（身体タイプＨb）を表示してもよい。例えば、実店舗において設置される電子看板（例えばデジタルサイネージ）や情報端末（例えばタブレット）等において、顔タイプＨa（身体タイプＨb）を特定するための各種情報（Ｄ1～Ｄ3）の入力を受け付け、顔タイプＨa（身体タイプＨb）の特定および表示を行ってもよい。以上の構成においては、電子看板や情報端末が情報処理システム１００として機能する。
（８）前述の各形態において、店舗における利用者Ｕの行動を示す情報（以下「行動情報」という）を、利用者Ｕにおいて特定された顔タイプＨa（身体タイプＨb）に対応付けて登録する登録部を情報処理システム１００が具備してもよい。情報処理システム１００の記憶装置１３は、行動情報と顔タイプＨa（身体タイプＨb）とを対応付けたデータテーブル（行動テーブル）を記憶する。登録部は、行動テーブルに行動情報と顔タイプＨa（身体タイプＨb）とを登録する。

店舗には、実店舗とＷｅｂサイトにおけるネットショップとの双方が包含される。以下、所定のブランドＭにおける実店舗とＷｅｂサイトとを想定する。当該Ｗｅｂサイトのサービスの一部として、前述の各形態における顔タイプＨa（身体タイプＨb）の特定が可能である。

実店舗においては、例えば、実店舗内に設置された情報処理システム１００において利用者Ｕが顔タイプＨa（身体タイプＨb）を特定する。例えば、利用者Ｕの行動について実店舗内のカメラで追跡する。実店舗の場合には、例えば、実際に購入した商品、実店舗内に所在した時間、実店舗内での位置（移動の軌跡）、および、試着をした商品、手に取った商品など利用者Ｕの行動に関する各種の情報が行動情報として例示される。例えば、情報処理システム１００は、カメラで記録された内容から行動情報を生成する。

また、利用者ＵがブランドＭについての会員登録をしている場合には、会員登録の情報（会員情報）を利用して行動情報と顔タイプＨaとを対応付けて登録してもよい。例えば、利用者Ｕが実店舗に訪問する以前にブランドＭのＷｅｂサイトから会員登録および顔タイプＨa（会員情報と紐づけて登録済）の特定を既に行っている場合には、実店舗における行動情報を、会員情報を利用して行動テーブルに登録してもよい。例えば、商品購入時における会員情報（例えばブランドＭのアプリケーションにおける会員証）の提示により、購入した商品（行動情報）と顔タイプＨaとを行動テーブルに記録することも可能である。

一方で、Ｗｅｂサイトにおいては、実際に購入した商品、Ｗｅｂサイト内で閲覧したページ（商品）、および、Ｗｅｂサイトに所在した時間などの各種の情報が行動情報として例示される。既に利用者ＵがブランドＭについての会員登録および顔タイプＨaの特定をしている場合には、当該会員情報を利用して顔タイプＨaと行動情報とが対応付けられる。会員情報をせずに顔タイプＨaの特定のみを行っている場合には、当該顔タイプＨaに行動情報が対応付けられる。

なお、行動情報を生成する装置は、情報処理システム１００であってもよいし、別個の装置であってもよい。また、行動テーブルを記憶する装置は、情報処理システム１００（顔タイプＨaを特定する装置）とは別個の装置であってもよい。

以上の構成においては、顔タイプＨa（身体タイプＨb）を特定する方法は、前述の各形態の例示には限定されない。すなわち、外見の特徴を表す複数の第３タイプのうち利用者について特定された第３タイプと、店舗における当該利用者の行動を示す情報とを対応付けて登録する情報収集システムの発明としても観念できる。
（８）第６実施形態の構成は、外見の特徴を表す複数の第３タイプのうち利用者に応じた第３タイプ（顔タイプＨaまたは身体タイプＨb）を特定する方法であって、利用者の画像を含む第１情報から、複数の第３タイプを分類した２以上の第１タイプのうち前記利用者に応じた第１タイプを特定する第１処理部と、前記利用者の外見の特徴を表す第２情報に応じた関連情報を取得する第２処理部と、前記第１処理部が特定した前記第１タイプに分類される２以上の第３タイプのうち、前記関連情報に応じて前記利用者に応じた第３タイプを特定する第３処理部とを具備する情報処理システムの発明としても包含される。そして、関連情報は、複数（Ｎ個）の外見問診にそれぞれ対する複数（Ｎ個）の回答を含む第２情報であり、第３処理部は、当該複数の回答の組み合わせに応じて第３タイプを特定する構成が好ましい。
（９）前述の各形態において、情報処理システム１００はサーバー装置である構成を例示したが、利用者Ｕの端末装置２００に情報処理システム１００の機能を搭載してもよい。また、情報処理システム１００の機能の一部を端末装置２００に搭載してもよい。例えば、第１解析部１１５を端末装置２００に搭載する構成なども想定される。以上の構成では、端末装置２００は、第１情報Ｄ1および第２情報Ｄ2を情報処理システム１００に送信する代わりに、特定した顔タイプＨaを情報処理システム１００に送信する。以上の説明から理解される通り、情報処理システム１００は、単独の装置であっても複数の装置から構成されるコンピュータシステムであってもよい。
（１０）前述の形態に係る情報処理システム１００は、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。

また、本発明は、利用者を含む画像から、外見の特徴を表す複数のタイプのうち利用者Ｕに応じたタイプを特定し、特定したタイプに応じて利用者Ｕに提示する商品に関する商品情報Ｐを特定するコンピュータにより実現される情報処理方法としても特定される。

１１ ：制御装置
１３ ：記憶装置
１５ ：通信装置
２１ ：制御装置
２２ ：記憶装置
２３ ：通信装置
２４ ：表示装置
２５ ：撮像装置
１００ ：情報処理システム
１１１ ：受信制御部
１１３ ：送信制御部
１１５ ：第１解析部
１１６ ：第２解析部
１１７ ：商品特定部
５１ ：第１処理部
５２ ：第２処理部
５３ ：第３処理部
２００ ：端末装置
３００ ：通信網
１００ ：情報処理システム
Ｄ1 ：第１情報
Ｄ2 ：第２情報
Ｄ3 ：第３情報
Ｈa ：顔タイプ
Ｈb ：身体タイプ
Ｋ ：商品画像
Ｍ ：学習済モデル
Ｐ ：商品情報
Ｕ ：利用者

Claims (25)

1. 利用者の画像を含む第１情報から、外見の特徴を表す複数の第１タイプのうち前記利用者に応じた第１タイプを特定する第１処理部と、
   前記利用者の外見の特徴を表す第２情報に応じた関連情報を取得する第２処理部と、
   前記第１処理部が特定した第１タイプと前記第２処理部が取得した関連情報との組み合わせに応じて、外見の特徴を表す複数の第３タイプのうち前記利用者に応じた第３タイプを特定する第３処理部と
   を具備する情報処理システム。
2. 前記第２情報は、前記利用者の外見の特徴に関する問診に対する回答を含み、
   前記関連情報は、前記第２情報そのものである
   請求項１の情報処理システム。
3. 前記問診は、前記第１処理部が特定した第１タイプに応じて複数の問診から特定される
   請求項２の情報処理システム。
4. 前記複数の第３タイプの各々は、前記複数の第１タイプの各々を細分化した小分類である
   請求項１の情報処理システム。
5. 前記利用者が所望する外見の特徴に関する問診に対する回答と、前記第３処理部が特定した第３タイプとに応じて、前記複数の第３タイプのうち前記第３処理部が特定した第３
   タイプとは異なる第３タイプを特定する特定部を具備する
   請求項１の情報処理システム。
6. 前記関連情報は、利用者の外見の特徴を表す複数の第２タイプのうち前記利用者に応じた第２タイプである
   請求項１の情報処理システム。
7. 前記画像は、前記利用者の正面を含む画像であり、
   前記第２情報は、前記利用者の側面に関する外見の特徴を表す情報である
   請求項６の情報処理システム。
8. 前記正面は、顔の正面であり、
   前記側面は、顔の側面である
   請求項７の情報処理システム。
9. 前記第２情報は、前記利用者の側面を含む画像を含む
   請求項７の情報処理システム。
10. 前記第２情報は、前記利用者の側面に関する外見の特徴についての問診に対する回答を含む
    請求項７の情報処理システム。
11. 前記第１処理部は、前記第１情報を学習済モデルに入力した結果に応じて、前記利用者に応じた第１タイプを特定する
    請求項１の情報処理システム。
12. 前記第３処理部が特定した第３タイプに応じて、前記利用者に提示する商品に関する商品情報を特定する商品特定部を具備する
    請求項１の情報処理システム。
13. 前記商品特定部は、前記第３処理部が特定した第３タイプに応じて、前記利用者にレコメンドする第１商品に関する商品情報を特定する
    請求項１２の情報処理システム。
14. 前記第１商品は、前記第３処理部が特定した第３タイプと同様の第３タイプが特定された他の利用者が過去に購入した商品である
    請求項１３の情報処理システム。
15. 前記第１商品は、前記複数の第３タイプの何れかがそれぞれ対応付けられた複数の商品のうち、前記第３処理部が特定した第３タイプが対応付けられた商品である
    請求項１３の情報処理システム。
16. 前記利用者の身体を含む画像を含む情報から、身体に関する外見の特徴を表す複数の第４タイプのうち前記利用者に応じた第４タイプを特定する第４処理部を具備し、
    前記第３処理部が特定した第３タイプと、前記第４処理部が特定した第４タイプとに応じて、前記利用者に提示する商品に関する商品情報を特定する商品特定部を具備する
    請求項７の情報処理システム。
17. 前記商品は、衣類である
    請求項１２の情報処理システム。
18. 前記第３処理部が前記利用者について特定した第３タイプと、店舗における前記利用者の行動を示す行動情報とを対応付けて登録する登録部を具備する
    請求項１の情報処理システム。
19. 利用者の画像を含む第１情報から、外見の特徴を表す複数の第１タイプのうち前記利用者に応じた第１タイプを特定する第１処理部と、
    前記利用者の外見の特徴を表す第２情報に応じた関連情報を取得する第２処理部と、
    前記第１処理部が特定した第１タイプと前記第２処理部が取得した関連情報との組み合わせに応じて、外見の特徴を表す複数の第３タイプのうち前記利用者に応じた第３タイプを特定する第３処理部と、
    前記第３処理部が特定した第３タイプに応じて、前記利用者にレコメンドしない第２商品に関する商品情報を特定する商品特定部とを具備する
    情報処理システム。
20. 前記商品特定部は、前記第３処理部が特定した第３タイプに応じて、前記利用者に提示する商品に関する商品情報を特定し、
    前記利用者にレコメンドしない第２商品に関する商品情報は、前記利用者の端末装置の表示装置において、前記利用者にレコメンドする第１商品に関する商品情報とともに表示される
    請求項１９の情報処理システム。
21. 利用者の画像を含む第１情報と、前記利用者の外見の特徴を表す第２情報とを学習済モデルに入力することで、外見の特徴を表す複数のタイプのうち前記利用者に応じたタイプを特定する第１解析部を具備し、
    前記学習済モデルは、人物の画像を含む第１情報および前記人物の外見の特徴を表す第２情報と、前記人物の外見の特徴を表すタイプとの関係を学習したモデルである
    情報処理システム。
22. コンピュータが実行する方法であって、
    利用者の画像を含む第１情報から、外見の特徴を表す複数の第１タイプのうち前記利用者に応じた第１タイプを特定し、
    前記利用者の外見の特徴を表す第２情報に応じた関連情報を取得し、
    前記特定された第１タイプと前記取得された関連情報との組み合わせに応じて、外見の特徴を表す複数の第３タイプのうち前記利用者に応じた第３タイプを特定する
    情報処理方法。
23. 利用者の画像を含む第１情報から、外見の特徴を表す複数の第１タイプのうち前記利用者に応じた第１タイプを特定する第１処理部、
    前記利用者の外見の特徴を表す第２情報に応じた関連情報を取得する第２処理部、および、
    前記第１処理部が特定した第１タイプと前記第２処理部が取得した関連情報との組み合わせに応じて、外見の特徴を表す複数の第３タイプのうち前記利用者に応じた第３タイプを特定する第３処理部
    としてコンピュータを機能させるプログラム。
24. コンピュータが実行する方法であって、
    利用者の画像を含む第１情報と、前記利用者の外見の特徴を表す第２情報とを学習済モデルに入力することで、外見の特徴を表す複数のタイプのうち前記利用者に応じたタイプを特定し、
    前記学習済モデルは、人物の画像を含む第１情報および前記人物の外見の特徴を表す第２情報と、前記人物の外見の特徴を表すタイプとの関係を学習したモデルである
    情報処理方法。
25. 利用者の画像を含む第１情報と、前記利用者の外見の特徴を表す第２情報とを学習済モデルに入力することで、外見の特徴を表す複数のタイプのうち前記利用者に応じたタイプを特定する第１解析部としてコンピュータを機能させ、
    前記学習済モデルは、人物の画像を含む第１情報および前記人物の外見の特徴を表す第２情報と、前記人物の外見の特徴を表すタイプとの関係を学習したモデルである
    プログラム。

Images