JP6986676B2 - 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ - Google Patents

Description

本開示は、ユーザが所持する化粧品と類似の化粧品を検索してユーザに提示する化粧品提示システム、化粧品提示方法、及び化粧品提示サーバに関する。

近年、店頭に設置された専用端末や、スマートフォン等の個人所有のユーザ端末のアプリケーションにおいて、化粧品メーカが提供する化粧品をユーザが選択し、この選択された化粧品を用いてユーザの顔に仮想的に化粧（メイクアップ）を施した画像処理後の画像を提示する事が知られている。このように、人の顔を撮影した画像に対し画像処理により仮想的な化粧（メイクアップ）を施すバーチャルメイクアップに関する技術が知られている（例えば、特許文献１参照）。

特許文献１に記載の技術は、３原色の顔画像から抽出した唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、塗り替えようとする目標口紅色と代表的な色の画素の平均値との塗り替え偏差を算出する。更に、唇領域の各画素の色相、彩度、明度に塗り替え偏差を加算して新たな画素の色相、彩度、明度を算出し、３原色の表示用に用いる画素に変換する。これにより、人の目の特性に近い色相、彩度、明度の形態で口紅の色を塗り替えた顔画像が得られる。

特開２０００−１１１４５号公報

ユーザは、例えば店頭の専用端末やスマートフォン等のユーザ端末のアプリケーションの中で、化粧品の写真を見ながらどれを購入しようか検討するが、その一方で、自分が所持している化粧品又はその化粧品と同類（類似）の化粧品（以下、「類似化粧品」と称する場合がある）を使いたい場合がある。しかし、特許文献１では、ユーザが所持している化粧品（言い換えると、そのユーザの肌によく似合っていて、そのユーザ自身が気に入っている化粧品）又は類似化粧品を探し出す事は考慮されていない。

上述した店頭の専用端末やユーザ端末のアプリケーションでは、例えばユーザの手持ちの化粧品がデータベース上に登録されていない事もあり、この場合にはユーザの欲しい化粧品を探し出す事ができず、ユーザにとって使い勝手が良くないという問題がある。また一般的に、化粧品の購入においては、実際には塗ってみないとその化粧品の発色がユーザ自身の想定した色通りであるかどうかが分からないという問題もある。

本開示は、上述した従来の事情に鑑みて案出され、ユーザが所持している化粧品と類似する１つ以上の類似化粧品を抽出し、１つ以上の類似化粧品の抽出結果をユーザ端末に提示し、ユーザの化粧品の選択時の利便性を向上できる化粧品提示システム、化粧品提示方法、及び化粧品提示サーバを提供する事を目的とする。

本開示は、表示部を有する端末とサーバとが通信可能に接続され、前記端末は、ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像とをそれぞれ撮像する撮像部と、前記ユーザが行った化粧の種別又は領域の指定を受け付ける指示部と、撮像された前記第１画像及び前記第２画像と、指定された前記化粧の種別又は領域とを対応付けて前記サーバに送信する第１通信部と、を有し、前記サーバは、複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースと、前記第１通信部から送信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定する推定部と、前記化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出する抽出部と、前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信する第２通信部と、を有し、前記端末は、前記第２通信部から送信された少なくとも１つの前記類似化粧品の情報を前記表示部に表示する、化粧品提示システムを提供する。

また、本開示は、表示部を有する端末とサーバとが通信可能に接続された化粧品提示システムにおける化粧品提示方法であって、前記端末は、ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像とをそれぞれ撮像し、前記ユーザが行った化粧の種別又は領域の指定を受け付けし、撮像された前記第１画像及び前記第２画像と、指定された前記化粧の種別又は領域とを対応付けて前記サーバに送信し、前記サーバは、前記端末から送信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定し、複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースとから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出し、前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの類似化粧品に関する情報を前記端末に送信し、前記端末は、前記サーバから送信された前記前記少なくとも１つの類似化粧品の情報を前記表示部に表示する、化粧品提示方法を提供する。

また、本開示は、表示部を有する端末と通信可能に接続された化粧品提示サーバであって、複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースと、前記端末から送信された、ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像と前記ユーザが行った化粧の種別又は領域とを受信する通信部と、受信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定する推定部と、前記化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出する抽出部と、を有し、前記通信部は、前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信して前記端末の前記表示部に表示させる、化粧品提示サーバを提供する。

また、本開示は、化粧品を提示する処理を、表示部を有する端末との間で通信可能に接続された化粧品提示サーバによって実行する化粧品提示方法であって、前記処理は、前記端末から送信された、ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像と前記ユーザが行った化粧の種別又は領域とを受信するステップと、受信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定するステップと、複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出するステップと、前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信して前記端末の前記表示部に表示させるステップと、を有する、化粧品提示方法を提供する。

本開示によれば、ユーザが所持している化粧品と類似する１つ以上の類似化粧品を抽出し、１つ以上の類似化粧品の抽出結果をユーザ端末に提示でき、ユーザの化粧品の選択時の利便性を向上できる。

本実施の形態の化粧品提示システムのシステム構成の一例を示すブロック図 本実施の形態のユーザ端末のハードウェア構成の一例を示すブロック図 本実施の形態の化粧品検索サーバのハードウェア構成の一例を示すブロック図 本実施の形態の化粧品検索サーバのプロセッサ内におけるソフトウェア機能の詳細な構成の一例を示すブロック図 本実施の形態のユーザ端末と化粧品検索サーバとの間の類似化粧品の検索に関する動作手順の第１例を詳細に説明するシーケンス図 本実施の形態のユーザ端末と化粧品検索サーバとの間の類似化粧品の検索に関する動作手順の第２例を詳細に説明するシーケンス図 本実施の形態のユーザ端末に表示される初期画面を示す図 本実施の形態のユーザ端末に表示されるパーツ領域選択画面を示す図 本実施の形態のユーザ端末に表示される検索結果リスト画面を示す図 本実施の形態のユーザ端末に表示される検索結果リスト画面を示す図

以下、適宜図面を参照しながら、本発明に係る化粧品提示システム、化粧品提示方法及び化粧品提示サーバを具体的に開示した実施の形態（以下、「本実施の形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

本実施の形態の化粧品提示システム１００のシステム構成について、図１を参照して説明する。図１は、本実施の形態の化粧品提示システム１００のシステム構成の一例を示すブロック図である。以下の説明において、化粧品提示システム１００の利用者を、単に「ユーザ」といい、女性のユーザを例示して説明する。

図１に示す化粧品提示システム１００は、ユーザが所持する端末の一例としてのユーザ端末１０と、サーバ又は化粧品提示サーバの一例としての化粧品検索サーバ５０と、化粧品データベース（ＤＢ：Database）６０と、化粧品購入サーバ７０と、購入履歴データベース（ＤＢ）８０とを含む構成である。以下、化粧品データベースを「化粧品ＤＢ」と記載し、購入履歴データベースを「購入履歴ＤＢ」と記載する。化粧品ＤＢ６０と化粧品検索サーバ５０とはネットワークＮＷ１を介して通信可能に接続されてもよいし、化粧品ＤＢ６０が化粧品検索サーバ５０内に設けられてもよい。購入履歴ＤＢ８０と化粧品購入サーバ７０とはネットワークＮＷ２を介して通信可能に接続されてもよいし、購入履歴ＤＢ８０が化粧品購入サーバ７０内に設けられてもよい。

ネットワークＮＷ１，ＮＷ２は、有線を用いて構成されるネットワークであり、例えばＬＡＮ（Local Area Network）通信ネットワークである。また、ネットワークＮＷ１，ＮＷ２は、無線を用いて構成されるネットワークでもよく、化粧品ＤＢ６０と化粧品検索サーバ５０との間、並びに購入履歴ＤＢ８０と化粧品購入サーバ７０との間の無線通信が可能であれば、その無線通信方式は問わない。

ユーザ端末１０は、ユーザが携帯可能に所持する無線通信可能な端末であり、例えば携帯電話機、スマートフォン又はタブレット端末である。なお、ユーザ端末１０には電話機能を有さなくても構わない。ユーザ端末１０は、化粧品検索サーバ５０並びに化粧品購入サーバ７０とは無線通信可能に接続されている。

本実施の形態の化粧品提示システム１００の動作概要は次のとおりである。

ユーザ端末１０は、ユーザが化粧を行う前の顔画像（第１画像の一例、以下、「素肌顔画像」という）とユーザの手持ちの化粧品（つまり、ユーザの肌によく似合っていて、そのユーザ自身が気に入っている化粧品の事。以下同様。）を用いて実際に化粧を行った後の顔画像（第２画像の一例、以下、「化粧顔画像」という）を撮像して取得する。ユーザ端末１０は、少なくとも素肌顔画像及び化粧後顔画像を含む化粧品検索依頼を化粧品検索サーバ５０に送信する。ユーザ端末１０は、化粧品検索依頼に応じて化粧品検索サーバ５０が化粧品ＤＢ６０を参照して検索した結果として、化粧品検索サーバ５０から送信された検索結果リストを受信して表示する。ユーザ端末１０は、検索結果リストの中にユーザが気になる化粧品があった場合には、その化粧品を用いたバーチャルメイクアップ（ＶＭＵ：Virtual Makeup）の処理依頼（以下、「ＶＭＵ処理依頼」という）を化粧品検索サーバ５０に送信する。ユーザ端末１０は、ＶＭＵ処理依頼に応じて化粧品検索サーバ５０が素肌顔画像に対してバーチャルメイクアップ処理した結果として、化粧品検索サーバ５０から送信されたバーチャルメイクアップ処理後の顔画像（以下、「ＶＭＵ顔画像」という）を受信して表示する。

また、ユーザ端末１０は、ユーザがディスプレイ１５に表示された検索結果リスト並びにＶＭＵ顔画像を見た結果として購入したい化粧品を見つけた場合には、ユーザの購入操作に従って、その購入対象となる化粧品の購入申請を化粧品購入サーバ７０に送信する。これにより、ユーザは、化粧品検索サーバ５０により抽出された、自分の手持ちの化粧品と同類（類似）する化粧品をユーザ端末１０のディスプレイ１５上で確認できたり、必要に応じて購入したりできる。

化粧品検索サーバ５０は、ユーザ端末１０から送信された化粧品検索依頼データを受信すると、化粧品検索依頼に含まれる素肌顔画像及び化粧顔画像に基づいて、ユーザが化粧に用いた化粧品（例えばユーザの手持ちの化粧品）の化粧色を推定する。化粧色の推定方法については後述する。化粧品検索サーバ５０は、推定した化粧色に関する情報と化粧品ＤＢ６０とに基づいて、推定した化粧色を有する１つ以上の類似化粧品を検索（抽出）し、検索結果（抽出結果）を検索結果リストとしてユーザ端末１０に送信する。また、化粧品検索サーバ５０は、ユーザ端末１０から送信されたＶＭＵ処理依頼を受信すると、ＶＭＵ処理依頼に含まれる化粧品に関する情報に基づいて、ユーザの素肌顔画像に対しバーチャルメイクアップ処理を施し、その結果（つまり、ＶＭＵ顔画像）をユーザ端末１０に送信する。

化粧品ＤＢ６０は、複数の化粧品に関する情報を登録して保持する。化粧品に関する情報は、例えば化粧品のメーカ名、化粧品の名称、化粧品の色（つまり、塗られたときに肌に対して合成される色）、化粧品の種別（例えば、ファンデーション（Ｆｏｕｎｄａｔｉｏｎ）、リップ（Ｌｉｐ）、チーク（Ｃｈｅｅｋ）、アイシャドー（Ｅｙｅｓｈａｄｏｗ）、マスカラ（Ｍａｓｃａｒａ）。以下同様。）、化粧品の値段（例えば、販売価格の基準となるメーカ希望小売価格）であるが、これらに限定されない事は言うまでもない。

化粧品購入サーバ７０は、ユーザ端末１０から送信された化粧品の購入申請を受信すると、その購入申請の対象となる化粧品の購入に関する各種の手続（例えば、決済手続）を処理し、その処理結果を購入履歴ＤＢに書き込んで登録する。

購入履歴ＤＢ８０は、化粧品購入サーバ７０により購入に関する各種の手続が完了した化粧品の購入履歴を登録して保持する。購入履歴は、例えば購入対象となった化粧品の識別番号、ユーザ端末１０の識別番号、購入者の氏名や住所であるが、これらに限定されない事は言うまでもない。

図２は、本実施の形態のユーザ端末１０のハードウェア構成の一例を示すブロック図である。図２に示すユーザ端末１０は、カメラ部１１と、プロセッサ１２と、メモリ１３と、操作入力部１４と、ディスプレイ１５と、通信部１６とを含む構成である。操作入力部１４とディスプレイ１５とにより、ユーザの操作（例えば、タッチ、タップ）を検知可能なタッチパネルＴＰが構成されてもよい。図２に示すユーザ端末１０は、電話機能を有してもよいし、有さなくてもよい。例えばユーザ端末１０が電話機能を有する場合、電話機能に関する構成の図示が省略されている。

撮像部の一例としてのカメラ部１１は、例えばレンズとイメージセンサと信号処理部とを用いて構成される。レンズは、ユーザ端末１０から入射した光をイメージセンサにおいて撮像可能に結像させる。イメージセンサは、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成される。イメージセンサは、レンズを介して結像された光を光電変換することにより撮像し、撮像により得られた光学像の電気信号を信号処理部に出力する。信号処理部は、イメージセンサの出力（つまり、光学像の電気信号）を用いて既存の画像処理を施すことにより、所定の形式（例えばH.264）を満たす映像を構成するＲＧＢ画像又はＹＵＶ画像を生成する。カメラ部１１は、上述したレンズ、イメージセンサ及び信号処理部を用いて、ユーザの素肌顔画像とユーザの化粧顔画像とを撮像して取得し、ユーザの素肌顔画像とユーザの化粧顔画像とをプロセッサ１２に出力する。

プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。プロセッサ１２は、ユーザ端末１０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

プロセッサ１２は、ユーザの素肌顔画像及び化粧顔画像と、後述する素肌顔画像中の素肌領域及び化粧顔画像中の化粧領域に関する情報と、検索パラメータ（後述参照）とを含む化粧品検索依頼データを生成して通信部１６に出力する。なお、プロセッサ１２は、ユーザの素肌顔画像及び化粧顔画像がディスプレイ１５に表示された画面において、ユーザが実際に化粧を行った化粧品の種別が操作入力部１４を介して選択された場合には、ユーザが実際に化粧を行った領域（つまり、化粧領域）を特定し、この特定した化粧領域情報を上述した検索依頼データに含めて生成してもよい。

プロセッサ１２は、ディスプレイ１５に表示された検索結果リストの中でいずれかの類似化粧品が選択された場合に、選択された類似化粧品に関する情報とその類似化粧品を用いたバーチャルメイクアップの処理要求とを有するデータ（以下、「ＶＭＵ処理依頼要求データ」という）を生成して通信部１６に出力する。

メモリ１３は、プロセッサ１２の動作（処理）時のワークメモリとして動作するＲＡＭ（Random Access Memory）と、プロセッサ１２を動作させるためのプログラム及びデータ（例えば各種のアプリケーション）を記憶するＲＯＭ（Read Only Memory）とを含む。また、メモリ１３は、ユーザ端末１０の電源がオフされた場合でも、例えばプロセッサ１２により生成されたデータを記憶、保持するための半導体メモリ（例えばフラッシュメモリ）を含む。

指示部の一例としての操作入力部１４は、ディスプレイ１５に表示された各種の画面上に対するユーザの操作（例えばタッチ、タップ）を受け付ける。操作入力部１４は、ユーザの操作に応じて、例えばユーザが自分の顔に対して行った化粧の種別又は化粧の領域に関する情報の指定を受け付けし、その化粧の種別又は化粧の領域に関する情報をプロセッサ１２に出力する。

表示部の一例としてのディスプレイ１５は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、ユーザの操作に応じて、ユーザ端末１０において実行可能にインストールされている各種のアプリケーションの画面を表示する。

第１通信部の一例としての通信部１６は、化粧品検索サーバ５０又は化粧品購入サーバ７０との間で所定の無線通信方式（無線ＬＡＮ、例えばＷｉｆｉ（登録商標））を用いた情報やデータの送受信を行う。

図３は、本実施の形態の化粧品検索サーバ５０のハードウェア構成の一例を示すブロック図である。図３に示す化粧品検索サーバ５０は、データ蓄積部５１と、プロセッサ５２と、メモリ５３と、化粧品ＤＢインタフェース５５と、通信部５６とを含む構成である。

データ蓄積部５１は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を用いて構成され、プロセッサ５２の処理結果となる各種のデータを蓄積する。

プロセッサ５２は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。プロセッサ５２は、プロセッサ５２の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。プロセッサ５２の動作（処理）の詳細については、図４を参照して後述する。

メモリ５３は、プロセッサ５２の動作（処理）時のワークメモリとして動作するＲＡＭと、プロセッサ５２を動作させるためのプログラム及びデータ（例えばユーザ端末１０からの要求に応じた化粧品の検索処理や、ユーザ端末１０からの要求に応じたバーチャルメイクアップ処理を実行可能なアプリケーション）を記憶するＲＯＭとを含む。

化粧品ＤＢインタフェース５５は、化粧品検索サーバ５０と化粧品ＤＢ６０との間の通信用のインタフェースであり、プロセッサ５２からの情報又はデータを化粧品ＤＢ６０に渡して問い合わせしたり、化粧品ＤＢ６０からの応答結果の情報又はデータをプロセッサ５２に渡したりする。

第２通信部の一例としての通信部５６は、化粧品ＤＢ６０との間で所定の通信方式（例えば有線のＬＡＮ通信方式、又は無線の無線ＬＡＮ通信方式）を用いた情報やデータの送受信を行う。また、通信部５６は、ユーザ端末１０との間で所定の無線通信方式（無線ＬＡＮ、例えばＷｉｆｉ（登録商標））を用いた情報やデータの送受信を行う。

図４は、本実施の形態の化粧品検索サーバ５０のプロセッサ５２内におけるソフトウェア機能の詳細な構成の一例を示すブロック図である。プロセッサ５２は、領域特定部５２１と、化粧色推定部５２２と、化粧色検索部５２３と、化粧合成部５２４とを有する。領域特定部５２１、化粧色推定部５２２、化粧色検索部５２３、及び化粧合成部５２４の各処理をそれぞれ実行可能なプログラム及びデータがメモリ５３に予め記憶される。プロセッサ５２がこれらのプログラム及びデータをメモリ５３から読み出して実行する事で、領域特定部５２１、化粧色推定部５２２、化粧色検索部５２３、及び化粧合成部５２４がプロセッサ５２内において構成され、各部の動作（処理）がプロセッサ５２とメモリ５３との協働によって実行される。

領域特定部５２１は、ユーザ端末１０から送信された化粧品検索依頼データを取得する。化粧品検索依頼データは、例えば素肌顔画像及び化粧顔画像の各データと、化粧品の種別又は化粧の領域に関する情報（例えば、ユーザが実際に化粧を行った時に用いた化粧品（つまり、ユーザの手持ちの化粧品）の種別に関する情報、又はユーザが実際に化粧を行った領域に関する情報。以下同様。）とを有する。

領域特定部５２１は、これらの取得した情報やデータを用いて、ユーザが実際に化粧を行った領域（つまり、化粧領域）を特定し、それぞれの画像において特定した化粧領域の画像を切り出す。領域特定部５２１は、この切り出しにより得られた画像（つまり、素肌顔画像の化粧領域となる画像（以下、「素肌領域画像」という）と、化粧顔画像の化粧領域となる画像（以下、「化粧領域画像」という））とを化粧色推定部５２２に出力する。また、領域特定部５２１は、特定された化粧領域に関する情報（つまり、化粧領域情報）を化粧合成部５２４に出力する。

領域特定部５２１は、例えば化粧品の種別に関する情報（例えばリップ）と素肌顔画像と化粧顔画像との差分とを基に、ユーザの顔画像の中でユーザによって実際に化粧が行われた領域（つまり、化粧領域）を特定する。但し、領域特定部５２１における化粧領域の特定方法は上述した素肌顔画像と化粧顔画像との差分を用いる方法に限定されない事は言うまでもない。なお、領域特定部５２１は、ファンデーションの化粧領域を顔全体と特定し、リップの化粧領域を唇と特定し、チークの化粧領域を頬と特定し、アイシャドーの化粧領域を目の上下の一部の領域と特定し、更に、マスカラの化粧領域を目の上下の睫毛と特定する。

なお、領域特定部５２１は、ユーザ端末１０から送信された検索依頼データに化粧領域情報が含まれている場合には、素肌顔画像及び化粧顔画像の各データにおける化粧領域の特定処理を省略し、素肌顔画像中及び化粧顔画像中のそれぞれの化粧領域情報に対応する素肌領域画像及び化粧領域画像を切り出して化粧色推定部５２２に出力してもよい。

推定部の一例としての化粧色推定部５２２は、領域特定部５２１から出力された素肌領域画像及び化粧領域画像と、ユーザ端末１０から送信された化粧品検索依頼データに含まれる、化粧品の種別に関する情報とを取得する。化粧色推定部５２２は、素肌領域画像及び化粧領域画像と化粧品の種別に関する情報とに基づいて、ユーザが化粧に用いた化粧品（例えばユーザの手持ちの化粧品）の化粧色Ｂを推定する。化粧色推定部５２２は、推定した化粧色Ｂを化粧色検索部５２３に出力する。

ここで、化粧色推定部５２２における化粧色Ｂの推定方法について説明する。

化粧色推定部５２２は、例えばユーザが手持ちの化粧品を用いて化粧を行ったときにユーザの素肌に塗られる色（つまり、化粧品の発色）を、ユーザにより化粧されるパーツ（つまり、化粧対象となる部位）毎に予め決定されている色のブレンド率αを用いて、数式（１）に従って推定（算出）する。数式（１）において、Ｂは化粧色（つまり、ユーザが手持ちの化粧品を用いて化粧を行ったときにユーザの素肌に塗られる色、言い換えると、化粧品を塗ったときに合成される色）を示し、Ａは元の肌の色（つまり、化粧前の素肌の化粧領域内の色）を示し、Ｃは化粧後の色（つまり、化粧後の化粧領域内の色）を示す。αはブレンド率であって、例えばリップの場合にはα＝０．９、チークの場合にはα＝０．６７となり、化粧品の種別によって異なる値となる。但し、αの値は一例である。

つまり、化粧色推定部５２２は、ユーザの肌の色（より具体的には、ユーザが手持ちの化粧品を用いて実際に化粧を行った化粧前後の画像（具体的には、素肌領域画像及び化粧領域画像））と化粧品の種別とを考慮して、ユーザの手持ちの化粧品の発色（つまり、化粧色Ｂ）を具体的に推定する事ができる。

抽出部の一例としての化粧色検索部５２３は、化粧色推定部５２２により推定された化粧色Ｂに関する情報とユーザ端末１０から送信された化粧品検索依頼データに含まれる検索パラメータとを基に化粧品ＤＢ６０を参照し、化粧色Ｂと同一又は類似の１つ以上の類似化粧品を検索する。化粧色検索部５２３は、その検索結果を検索結果リストとして抽出して化粧合成部５２４及び通信部５６にそれぞれ出力する。ここで、類似化粧品とは、化粧色Ｂと同一の色又は類似の（つまり、良く似た）色を有する化粧品の事を示す。なお、類似の（つまり、良く似た）色とは、例えばＨＳＬ色空間における色（Ｈ）と化粧色Ｂとの距離が所定の閾値（既定値）未満となる色とする。なお、化粧色検索部５２３は、ユーザ端末１０から送信された検索依頼データに検索パラメータが含まれない場合には、化粧色推定部５２２により推定された化粧色Ｂに関する情報を基に化粧品ＤＢ６０を参照し、化粧色Ｂと同一又は類似の類似化粧品を検索する。

ここで、検索パラメータは、ユーザが化粧色Ｂと同一の色の化粧品を要求する場合に限らず、必要に応じて、化粧色Ｂに近い色、化粧色Ｂよりも明度が大きい色又は小さい色、化粧色Ｂよりも彩度が大きい色又は小さい色も化粧品検索サーバ５０の検索対象として含めるために、ユーザ端末１０により指定されるパラメータである。検索パラメータは、例えばＨＳＬ色空間（なお、ＣＩＥＬＣＨ色空間、ＨＳＶ色空間、ＬＡＢ色空間でも可。以下同様。）における色（Ｈ）と化粧色Ｂとの距離が近いもの、化粧色Ｂより明度（Ｌ）が大きいもの又は小さいもの、及び、化粧色Ｂより彩度が大きいもの又は小さいものが該当する。

化粧合成部５２４は、ユーザ端末１０から送信された化粧品検索依頼データに含まれる素肌顔画像及び化粧顔画像と、領域特定部５２１により特定された化粧領域に関する情報と、化粧色検索部５２３により抽出された１つ以上の類似化粧品の化粧色に関する情報（つまり、検索結果リスト）と、ユーザ端末１０から送信されたＶＭＵ処理依頼要求データに含まれる選択類似化粧品に関する情報とを取得する。選択類似化粧品とは、例えば１つ以上の類似化粧品に関する情報を含む検索結果リストデータがユーザ端末１０において表示された後、ユーザの操作によって選択されたいずれか１つの類似化粧品である。画像処理部の一例としての化粧合成部５２４は、選択類似化粧品を用いて、素肌顔画像の化粧領域に対しバーチャルメイクアップ処理を施したＶＭＵ顔画像を生成する。化粧合成部５２４は、この生成したＶＭＵ顔画像と素顔顔画像とを対応付けて左右対称的に繋げた左右対称顔画像のデータ（以下、「ＶＭＵ処理データ」という）を生成して通信部５６に出力する。

次に、本実施の形態の化粧品提示システム１００の動作手順の第１例について、図５、図７〜図９を参照して説明する。図５は、本実施の形態のユーザ端末１０と化粧品検索サーバ５０との間の類似化粧品の検索に関する動作手順の第１例を詳細に説明するシーケンス図である。図７は、本実施の形態のユーザ端末１０に表示される初期画面ＧＭ１を示す図である。図８は、本実施の形態のユーザ端末１０に表示されるパーツ領域選択画面ＧＭ２を示す図である。図９は、本実施の形態のユーザ端末１０に表示される検索結果リスト画面ＧＭ３を示す図である。

図５の説明の前提として、ユーザ端末１０には、図７に示す初期画面ＧＭ１が表示されている。図７〜図９に示す各種の表示画面は、例えば本実施の形態の化粧品提示システム１００において利用可能な化粧品提示アプリケーションにおいて表示される画面である。化粧品提示アプリケーションは、ユーザ端末１０において予め実行可能にインストールされている。図７に示す初期画面ＧＭ１は、ユーザの操作によって化粧品提示アプリケーションが起動されると、ユーザ端末１０のディスプレイ１５に表示される。

図７に示す初期画面ＧＭ１は、顔画像表示領域ＦＣ１と、メニューボタン表示領域ＭＵ１と、検索結果リスト表示領域ＲＳＴ１とを有する。

顔画像表示領域ＦＣ１には、ユーザの顔画像が表示されたり、後述するカメラ撮影ボタンＢＴ１及び静止画像ボタンＢＴ２が表示されたりする。

メニューボタン表示領域ＭＵ１には、画像取り込みボタンＢＴ３と、化粧選択領域ＡＲ１と、検索ボタンＢＴ４と、オプション領域ＢＲ１とが表示される。

画像取り込みボタンＢＴは、その押下により、カメラ撮影ボタンＢＴ１及び静止画像ボタンＢＴ２を顔画像表示領域ＦＣ１に表示するためのボタンである。

化粧選択領域ＡＲ１には、ユーザが顔に化粧を行った領域又はユーザが顔に化粧を行った化粧品の種別を指定するための複数の候補（例えば、ファンデーション、リップ、チーク、アイシャドー、マスカラ）が表示される。また、化粧選択領域ＡＲ１には、素肌顔画像ＮＦ１が表示される実化粧無エリアと化粧顔画像ＲＭＵ１が表示される実化粧有エリアとを左右反転して表示させるためのボタンも表示される。

検索ボタンＢＴ４は、ユーザが手持ちの化粧品を用いて化粧した時にその化粧品と同一又は類似の化粧品（つまり、類似化粧品）の検索要求を化粧品検索サーバ５０に対して行うためのボタンである。

オプション領域ＢＲ１は、ユーザの希望に応じて、類似化粧品の検索時のオプションとなる項目（具体的には、化粧品の色の明るさ（明度）及び鮮やかさ（彩度））を指定するためのスライドバーを表示する。明るさ、鮮やかさは、化粧品検索サーバ５０が推定した化粧色Ｂ（数式（１）参照）を中心としたスライドバーに対し、ユーザの操作（例えばドラッグ操作）によってプラスマイナスの調整が可能である。

検索結果リスト表示領域ＲＳＴ１には、化粧品検索サーバ５０から送信された類似化粧品の検索結果リストデータが表示される（図９参照）。

図５において、ユーザ端末１０は、例えば初期画面ＧＭ１の画像取り込みボタンＢＴ３を押下するユーザの操作を検知すると、顔画像表示領域ＦＣ１にカメラ撮影ボタンＢＴ１及び静止画像ボタンＢＴ２を表示する。ユーザ端末１０は、カメラ撮影ボタンＢＴ１を押下するユーザの操作を検知すると、カメラアプリケーションを起動する。ユーザ端末１０は、カメラアプリケーションにおいて、ユーザが化粧を行う前の顔画像（素肌顔画像）と、ユーザの手持ちの化粧品（つまり、ユーザの肌によく似合っていて、そのユーザ自身が気に入っている化粧品）を用いて実際に化粧を行った後の顔画像（化粧顔画像）とをそれぞれ撮像して取得する（Ｓ１）。

なおステップＳ１において、ユーザ端末１０は、カメラ撮影ボタンＢＴ１の代わりに、静止画像ボタンＢＴ２を押下するユーザの操作を検知すると、メモリ１３内に記憶、保持されている静止画像のデータを読み出し、上述した素肌顔画像及び化粧顔画像のうち少なくとも１つをユーザに選択させてもよい（Ｓ１）。

ユーザ端末１０は、ステップＳ１において素肌顔画像及び化粧顔画像を取得すると、例えば素肌顔画像のフレームの左半分のサイズ分の画像と化粧顔画像のフレームの右半分のサイズ分の画像とを左右対称的に繋げた左右対称顔画像を、初期画面ＧＭ１の顔画像表示領域ＦＣ１に表示する。ユーザ端末１０は、素肌顔画像のフレームの左半分のサイズ分の画像と化粧顔画像のフレームの右半分のサイズ分の画像とを左右対称的に繋げた左右対称顔画像を顔画像表示領域ＦＣ１に表示すると、図７の初期画面ＧＭ１から図８のパーツ領域選択画面ＧＭ２に表示切替する。図８に示すパーツ領域選択画面ＧＭ２において、実化粧無エリアには素肌顔画像ＮＦ１のフレームの左半分（１／２）のサイズ分の画像が表示され、実化粧有エリアには化粧顔画像ＲＭＵ１のフレームの右半分（１／２）のサイズ分の画像が表示される。

ステップＳ１の後、ユーザ端末１０は、図８に示すパーツ領域選択画面ＧＭ２において、素肌顔画像及び化粧顔画像の中でユーザが化粧を行った領域の指定を受け付ける（Ｓ２）。ここでは、例えばユーザがチークを塗るという化粧を行った場合、実化粧無エリアの素肌顔画像ＮＦ１中の頬部分ＣＫ１と、実化粧有エリアの化粧顔画像ＲＭＵ１中の頬部分ＣＫ２とがユーザの操作によって指定されたとする。ユーザ端末１０は、ステップＳ２の指定により、頬部分ＣＫ１の位置を示す情報（例えば素肌顔画像中の座標）と頬部分ＣＫ２の位置を示す情報（例えば化粧顔画像中の座標）とを取得する。なお、頬部分ＣＫ１の位置を示す情報（例えば素肌顔画像中の座標）と頬部分ＣＫ２の位置を示す情報（例えば化粧顔画像中の座標）とは、化粧品検索サーバ５０において特定されても構わない。

また、ユーザ端末１０は、例えば図８に示すパーツ領域選択画面ＧＭ２において、ユーザが実際に行った化粧の化粧品の種別（例えばチーク）を選択し、更に、ユーザの操作により、素肌顔画像ＮＦ１及び化粧顔画像ＲＭＵ１の中でどのエリアを化粧品検索サーバ５０の処理に使用するかを、ディスプレイ１５において直接指定しても構わない。これにより、ユーザ端末１０は、ユーザが例えばアイシャドーの化粧時に目頭部分と目尻部分とで重ね塗りをする等の多少複雑な化粧又はユーザ独特の化粧を行う場合に、ユーザが化粧を行った領域（化粧領域）に関する情報を正確に取得でき、化粧品検索サーバ５０における化粧色Ｂの推定精度を向上できる。

また、ユーザ端末１０は、図８に示すパーツ領域選択画面ＧＭ２において、オプション領域ＢＲ１の明度及び彩度のうち少なくとも１つのスライドバーの調整により指定された場合には、指定された明度及び彩度のうち少なくとも１つに関する情報を検索パラメータとして取得する（Ｓ３）。なお、ユーザによりオプション領域ＢＲ１の明度も彩度も指定されない場合には、ステップＳ３の処理は省略される。

ユーザ端末１０は、ステップＳ１で取得した素肌顔画像及び化粧顔画像と、ステップＳ２で取得した化粧領域（つまり、ユーザが化粧を行った素肌顔画像中の該当領域、ユーザが化粧を行った化粧顔画像中の該当領域）に関する情報と、必要に応じてステップＳ３で取得した検索オプションに関する情報と、化粧品検索サーバ５０への検索要求とを含む化粧品検索依頼データを生成する。化粧品検索依頼データとは、ユーザが手持ちの化粧品を用いて化粧を行ったとき、その化粧品の発色と同一又は類似の発色を有する化粧品があるかどうかの検索依頼を化粧品検索サーバ５０に要求するためのデータであり、以下同様である。ユーザ端末１０は、化粧品検索依頼データを化粧品検索サーバ５０に送信する（Ｓ４）。

化粧品検索サーバ５０は、ステップＳ４においてユーザ端末１０から送信された化粧品検索依頼データを受信する。化粧品検索サーバ５０は、化粧品依頼検索データに含まれる素肌顔画像及び化粧顔画像と化粧領域に関する情報とを基に、ユーザが化粧を行った部分の素肌領域画像及び化粧領域画像をそれぞれ切り出して取得する（Ｔ１）。

化粧品検索サーバ５０は、ステップＴ１において取得された素肌領域画像及び化粧領域画像と、ユーザ端末１０から送信された化粧品検索依頼データに含まれる、化粧品の種別に関する情報とに基づいて、ユーザが化粧に用いた化粧品（例えばユーザの手持ちの化粧品）の化粧色Ｂを推定する（Ｔ２）。

化粧品検索サーバ５０は、ステップＴ２において推定された化粧色Ｂに関する情報とユーザ端末１０から送信された化粧品検索依頼データに含まれる検索パラメータとを基に化粧品ＤＢ６０を参照し、化粧色Ｂと同一又は類似の１つ以上の類似化粧品を検索する（Ｔ３）。

化粧品検索サーバ５０は、ステップＴ３の検索により抽出された検索結果（つまり、１つ以上の類似化粧品に関する情報）を検索結果リストデータとして抽出する。化粧品検索サーバ５０は、例えば類似化粧品毎に、類似化粧品の名称、類似化粧品のメーカ名を、その類似化粧品の色を背景色とした所定サイズのアイコンに印字して生成した類似化粧品アイコンを、１つ以上の類似化粧品に関する情報として生成する（Ｔ４）。

化粧品検索サーバ５０は、ステップＴ４において生成した検索結果リストデータをユーザ端末１０に返信する（Ｔ５）。

ユーザ端末１０は、化粧品検索サーバ５０から返信された検索結果リストデータを受信し、検索結果リストデータを検索結果リスト表示領域ＲＳＴ１に表示した検索結果リスト画面ＧＭ３をディスプレイ１５に表示する（Ｓ５、図９参照）。図９の検索結果リスト画面ＧＭ３の検索結果リスト表示領域ＲＳＴ１には、複数（例えば６個）の類似化粧品毎の類似化粧品アイコンＬＰ１，ＬＰ２，ＬＰ３，ＬＰ４，ＬＰ５，ＬＰ６が表示されている。類似化粧品アイコンＬＰ６は一部しか図示されていないが、ユーザ端末１０は、ユーザの操作により、左右方向にスクロールして表示する事が可能である。

類似化粧品アイコンＬＰ１は、類似化粧品のメーカ名「ｘｘｘ」、類似化粧品の名称「ｙｙｙ０」のリップの色を背景色として有し、ユーザのお気に入りに登録された化粧品である事を示す星形のマーカにチェックＭＫ１が入っている。ユーザのお気に入りに登録された化粧品のリストは、お気に入りエリアＡＲ２にその化粧品のメーカ名及び名称が対応付けて示される。更に、ユーザ端末１０は、ユーザの操作により、お気に入りエリアＡＲ２に示されている化粧品のいずれかが選択されて購入ボタンが押下された事を検知すると、選択された化粧品の購入申請を生成して化粧品購入サーバ７０に送信可能である。これにより、ユーザは、お気に入りエリアＡＲ２に登録された化粧品の中で気に入った化粧品があれば、いつでも化粧品購入サーバ７０を介して購入できる。

また、ユーザ端末１０は、お気に入りエリアＡＲ２中のいずれかの化粧品がユーザの操作により選択された場合に、その選択された化粧品を用いたバーチャルメイクアップの処理依頼（後述するＶＭＵ処理依頼要求データ）を生成して化粧品検索サーバ５０に送っても良い。これにより、ユーザ端末１０は、ユーザがお気に入りエリアＡＲ２に登録している化粧品を用いたＶＭＵ顔画像をユーザの簡単な操作にディスプレイ１５に表示可能となる。

類似化粧品アイコンＬＰ２は、類似化粧品のメーカ名「ｘｘｘ」、類似化粧品の名称「ｙｙｙ１」のリップの色を背景色として有する。

類似化粧品アイコンＬＰ３は、類似化粧品のメーカ名「ｘｘｘ」、類似化粧品の名称「ｙｙｙ２」のリップの色を背景色として有する。

類似化粧品アイコンＬＰ４は、類似化粧品のメーカ名「ｘｘｘ」、類似化粧品の名称「ｙｙｙ３」のリップの色を背景色として有する。

類似化粧品アイコンＬＰ５は、類似化粧品のメーカ名「ｘｘｘ」、類似化粧品の名称「ｙｙｙ４」のリップの色を背景色として有する。

類似化粧品アイコンＬＰ６は、類似化粧品のメーカ名「ｘｘｘ」、類似化粧品の名称「ｙｙｙ５」のリップの色を背景色として有する。

なお、ユーザ端末１０は、化粧品検索サーバ５０から返信された検索結果リストデータを受信した時に、検索結果リスト画面の別例として、図１０に示す検索結果リスト画面ＧＭ４をディスプレイ１５に表示してもよい。図１０は、本実施の形態のユーザ端末１０に表示される検索結果リスト画面ＧＭ４を示す図である。

図１０の検索結果リスト画面ＧＭ４では、図７の初期画面ＧＭ１，図８のパーツ領域選択画面ＧＭ２，図９の検索結果リスト画面ＧＭ３とは異なり、検索結果リスト表示領域ＲＳＴ１を除く他の領域に、素肌顔画像ＮＦ１のフレームの左半分のサイズ分の画像と化粧顔画像ＲＭＵ１のフレームの右半分のサイズ分の画像とを左右対称的に繋げた左右対称顔画像と類似化粧品毎の類似化粧品アイコンとが１対１で対応して、類似化粧品の抽出数Ｎ（１以上の整数）個分表示されている。また図１０では、ユーザのお気に入りに登録された化粧品である事を示す星形のマーカが左右対称顔画像上に重畳して示されている。図１０では、図９と同様に類似化粧品（メーカ名：ｘｘｘ、名称：ｙｙｙ０）のマーカに対し、チェックＭＫ１が付与されている。

図９の検索結果リスト画面ＧＭ３又は図１０の検索結果リスト画面ＧＭ４がユーザ端末１０のディスプレイ１５に表示されている時に、ユーザの操作により、いずれかの類似化粧品が選択されたとする（Ｓ６）。ユーザ端末１０は、選択された類似化粧品を用いたＶＭＵ処理依頼要求データを生成して化粧品検索サーバ５０に送信する（Ｓ７）。

化粧品検索サーバ５０は、ユーザ端末１０から送信されたＶＭＵ処理依頼要求データを受信すると、ステップＴ１において切り出した素肌領域画像に対し、ＶＭＵ処理依頼要求データに含まれる類似化粧品に関する情報により特定される化粧品の色（化粧色）を用いてバーチャルメイクアップ処理を施す（Ｔ６）。化粧品検索サーバ５０は、バーチャルメイクアップ処理後のＶＭＵ顔画像を含むＶＭＵ処理データをユーザ端末１０に返信する（Ｔ７）。

ユーザ端末１０は、化粧品検索サーバ５０から送信されたＶＭＵ処理データを受信すると、ディスプレイ１５に表示中の検索結果リスト画面ＧＭ３又は検索結果リスト画面ＧＭ４の少なくとも１つのユーザの素肌顔画像を、ＶＭＵ処理データに含まれるＶＭＵ顔画像に切り替えて表示する（Ｓ８）。なお、ステップＳ８以降の処理は、ユーザ端末１０において選択される類似化粧品の数に応じて、ユーザ端末１０のステップＳ６→ステップＳ７→化粧品検索サーバ５０のステップＴ６→ステップＴ７→ユーザ端末１０のステップＳ８の計５つの処理を１セットとして同様に繰り返される。

図６は、本実施の形態のユーザ端末１０と化粧品検索サーバ５０との間の類似化粧品の検索に関する動作手順の第２例を詳細に説明するシーケンス図である。図６の説明において、図５に示した処理と同一の処理については同一のステップ番号を付与し、説明を簡略化又は省略する。

図６において、ステップＳ１の後、ユーザ端末１０は、図８に示すパーツ領域選択画面ＧＭ２において、ユーザが実際に化粧を行った化粧品の種別（例えばリップ）の指定を受け付ける（Ｓ２Ａ）。

ユーザ端末１０は、ステップＳ１で取得した素肌顔画像及び化粧顔画像と、ステップＳ２Ａで取得した化粧品の種別に関する情報（例えば、リップ）と、必要に応じてステップＳ３で取得した検索オプションに関する情報と、化粧品検索サーバ５０への検索要求とを含む化粧品検索依頼データを生成する。ユーザ端末１０は、化粧品検索依頼データを化粧品検索サーバ５０に送信する（Ｓ４）。

化粧品検索サーバ５０は、ステップＳ４においてユーザ端末１０から送信された化粧品検索依頼データを受信する。化粧品検索サーバ５０は、化粧品依頼検索データに含まれる素肌顔画像及び化粧顔画像と化粧品の種別に関する情報（例えば、リップ）とを基に、素肌顔画像及び化粧顔画像の中でユーザが化粧を行った部分を特定する（Ｔ１Ａ）。更に、化粧品検索サーバ５０は、ユーザが化粧を行った部分の特定結果に基づいて、素肌顔画像及び化粧顔画像から素肌領域画像及び化粧領域画像をそれぞれ切り出して取得する（Ｔ１Ａ）。ステップＴ１Ａ以降の処理は図５と同一であるため、説明を省略する。

以上により、本実施の形態の化粧品提示システム１００では、ユーザ端末１０は、ユーザの化粧前の顔画像を示す素肌顔画像（第１画像の一例）とユーザの化粧後の顔画像を示す化粧顔画像（第２画像の一例）とをそれぞれ撮像し、ユーザが行った化粧の種別又は領域に関する情報を取得する。ユーザ端末１０は、撮像された素肌顔画像及び化粧顔画像と、指定された化粧の種別又は領域に関する情報とを対応付けて化粧品検索サーバ５０に送信する。化粧品検索サーバ５０は、ユーザ端末１０から送信された素肌顔画像及び化粧顔画像とユーザが行った化粧の種別又は領域に関する情報とを基に、ユーザが行った化粧の化粧色Ｂを推定する。化粧品検索サーバ５０は、推定した化粧色Ｂに関する情報と化粧品データベース６０とを基に、推定された化粧色Ｂを有する少なくとも１つの類似化粧品を検索して抽出し、抽出された少なくとも１つの類似化粧品に関する情報を検索結果リストデータとしてユーザ端末１０に返送する。ユーザ端末１０は、化粧品検索サーバ５０から送信された少なくとも１つの類似化粧品に関する情報をディスプレイ１５に表示する。

これにより、化粧品検索サーバ５０は、ユーザが所持している化粧品（つまり、ユーザの肌によく似合っていて、そのユーザ自身が気に入っている化粧品）と類似する１つ以上の類似化粧品を抽出できて、１つ以上の類似化粧品の抽出結果をユーザ端末１０に提示できる。従って、化粧品提示システム１００によれば、ユーザが所持している化粧品と同様の化粧品を欲しいと考えている場合に、そのユーザの肌色や化粧時の発色に適合した化粧品を効率的に探索かつ選択する事ができ、ユーザの化粧品の探索時や選択時の利便性を向上できる。元々、化粧品はカタログ等で化粧時の発色（つまり、化粧品の色）を確認できるが、ユーザは実際には塗ってみないとその化粧時の発色が化粧品自体の色と同一であるかどうかを正確には分からない。本実施の形態によれば、化粧品検索サーバ５０は、ユーザの素肌（化粧前）の素肌顔画像と化粧後の化粧顔画像とを基に、ユーザの手持ちの化粧品で実際に化粧した時の色（化粧色Ｂ）を推定した上で、その化粧色Ｂと同一又は類似する類似化粧品を抽出できるので、ユーザの希望に適った１つの類似化粧品を化粧品メーカ（言い換えると、ブランド）に関係なく探索する事ができ、ユーザの化粧品の選択時の利便性を向上できる。

また、ユーザ端末１０は、ディスプレイ１５に表示された類似化粧品のいずれか１つの選択に応じて、選択された１つの類似化粧品を用いたバーチャルメイクアップの処理要求を化粧品検索サーバ５０に送信する。化粧品検索サーバ５０は、選択された１つの類似化粧品を用いて、ユーザの素肌顔画像にバーチャルメイクアップを施す。化粧品検索サーバ５０は、バーチャルメイクアップが施されたＶＭＵ顔画像（第１処理画像の一例）を含むＶＭＵ処理データをユーザ端末１０に送信する。ユーザ端末１０は、化粧品検索サーバ５０から送信されたＶＭＵ処理データに含まれるＶＭＵ顔画像をディスプレイ１５に表示する。これにより、ユーザは、ユーザ端末１０のディスプレイ１５に表示された１つ以上の検索結果リスト（つまり、類似化粧品）の中で自分が気になった類似化粧品を選択するという簡単な操作により、自分の素肌顔画像がその選択された類似化粧品で仮想的に化粧した時の画像を確認でき、ユーザのその類似化粧品の購入意欲を掻き立てる事が可能となる。

また、ユーザ端末１０は、ユーザが行った化粧の化粧品の化粧色の明度又は彩度の情報を、化粧の種別又は領域に関する情報と化粧品検索依頼データに含めて化粧品検索サーバ５０に送信する。化粧品検索サーバ５０は、推定された化粧色Ｂに関する情報と化粧品データベース６０と化粧色の明度又は彩度の情報とを基に、推定された化粧色Ｂと同一又は類似する少なくとも１つの類似化粧品を抽出する。これにより、ユーザは、自分が化粧時に使用した化粧品の発色を基準として、明るさ、明度のいずれか又はその両方の調整を含めた化粧時の仕上がりのバランスを考慮した類似化粧品を、化粧品検索サーバ５０に簡単に検索依頼できる。また、ユーザは、化粧品検索サーバ５０からの検索結果リストデータをディスプレイ１５上で、自分が化粧時に使用した化粧品の発色を基準として、明るさ、明度のいずれか又はその両方の調整を含めた化粧時の仕上がりのバランスを考慮した類似化粧品のリストの中から気になる化粧品を選択できるので、購入したいと考えるユーザの化粧品の選択時の幅（つまり、購入対象となり得る化粧品の候補の数）を増大できる。

また、ユーザ端末１０は、化粧品検索サーバ５０から送信された少なくとも１つの類似化粧品に関する情報をディスプレイ１５に表示する検索結果リスト画面ＧＭ３に、素肌顔画像ＮＦ１のフレームの左半分又は右半分のサイズの画像と化粧顔画像ＲＭＵ１のフレームの右半分又は左半分のサイズの画像とを繋げた左右対称顔画像を表示する（図９参照）。これにより、ユーザは、素肌顔画像ＮＦ１と化粧顔画像ＲＭＵ１とが左右対称的にディスプレイ１５に表示されるので、素肌顔画像ＮＦ１と化粧顔画像ＲＭＵ１とを見比べながら、例えば化粧を施した部位における化粧時の発色や艶の良さ等を分かり易く比較できる。

また、化粧品検索サーバ５０は、推定された化粧色Ｂと同一の又は類似する複数の類似化粧品を抽出し、複数の類似化粧品に関する情報をユーザ端末１０に送信する。ユーザ端末１０は、１つの左右対称顔画像と複数の類似化粧品に関する情報とを対応付けてディスプレイ１５に表示する（図９参照）。これにより、ユーザは、素肌顔画像ＮＦ１と化粧顔画像ＲＭＵ１とが左右対称的にディスプレイ１５に表示され、かつ複数の類似化粧品の検索結果が同じディスプレイ１５に表示されるので、素肌顔画像ＮＦ１と化粧顔画像ＲＭＵ１と複数の類似化粧品とを見比べながら、どの類似化粧品が実際の化粧時の発色と似ているかを分かり易く判断できる。

また、化粧品検索サーバ５０は、推定された化粧色Ｂと同一の又は類似する複数の類似化粧品を抽出し、複数の類似化粧品に関する情報をユーザ端末１０に送信する。ユーザ端末１０は、化粧品検索サーバ５０により抽出された類似化粧品の数をＮ（Ｎ：２以上の整数）とした場合に、Ｎ個の左右対称顔画像のそれぞれに、異なる類似化粧品に関する情報を重畳してディスプレイ１５に表示する（図１０参照）。これにより、ユーザは、複数ある中の１つ１つの類似化粧品を用いてバーチャルメイクアップが施されたＶＭＵ顔画像と化粧顔画像とが左右対称的に繋げられた画像を同一のディスプレイ１５に表示された検索結果リスト画面ＧＭ４の中で見比べて対比できるので、自分の気になる類似化粧品を効率的に選択する事ができる。

また、ユーザ端末１０は、類似化粧品の化粧色を背景色とした所定サイズのアイコン（例えば類似化粧品アイコンＬＰ１，ＬＰ２，ＬＰ３，ＬＰ４，ＬＰ５，ＬＰ６）を、類似化粧品に関する情報としてディスプレイ１５に表示する。これにより、ユーザは、化粧品検索サーバ５０により抽出された１つ以上の類似化粧品の色を類似化粧品アイコンの背景色によって簡単かつ分かり易く確認でき、ユーザの化粧品の選択時の利便性を向上できる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述実施形態における各構成要素を任意に組み合わせてもよい。

上述した本実施の形態では、ユーザの操作によってユーザ端末１０においていずれかの類似化粧品が選択された場合に、その類似化粧品を用いてユーザの素肌顔画像に対しバーチャルメイクアップ処理を施したのは化粧品検索サーバ５０であった。但し、ユーザ端末１０自身が、ユーザの操作によっていずれかの類似化粧品が選択された場合に、その類似化粧品を用いてユーザの素肌顔画像に対しバーチャルメイクアップ処理を施し、そのバーチャルメイクアップ処理後の顔画像をディスプレイ１５に表示してもよい。これにより、ユーザは、ユーザ端末１０と化粧品検索サーバ５０との間の通信環境が劣悪な場合でも、ユーザ端末１０に対するいずれかの類似化粧品の選択によって、迅速にバーチャルメイクアップ処理後の画像を確認でき、ユーザの使い勝手がより向上する。

本開示は、ユーザが所持している化粧品と類似する１つ以上の類似化粧品を抽出し、１つ以上の類似化粧品の抽出結果をユーザ端末に提示し、ユーザの化粧品の選択時の利便性を向上できる化粧品提示システム、化粧品提示方法、及び化粧品提示サーバとして有用である。

１０ ユーザ端末
１１ カメラ部（撮像部）
１２、５２ プロセッサ
１３、５３ メモリ
１４ 操作入力部（指示部）
１５ ディスプレイ（表示部）
１６、５６ 通信部
５０ 化粧品検索サーバ
５１ データ蓄積部
５５ 化粧品ＤＢインタフェース
６０ 化粧品データベース（化粧品ＤＢ）
７０ 化粧品購入サーバ
８０ 購入履歴データベース（購入履歴ＤＢ）
１００ 化粧品提示システム
５２１ 領域特定部
５２２ 化粧色推定部
５２３ 化粧色検索部
５２４ 化粧合成部
ＧＭ１ 初期画面
ＧＭ２ パーツ領域選択画面
ＧＭ３、ＧＭ４ 検索結果リスト画面
ＴＰ タッチパネル

Claims (11)

1. 表示部を有する端末とサーバとが通信可能に接続され、
   前記端末は、
   ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像とをそれぞれ撮像する撮像部と、
   前記ユーザが行った化粧の種別又は領域の指定を受け付ける指示部と、
   撮像された前記第１画像及び前記第２画像と、指定された前記化粧の種別又は領域とを対応付けて前記サーバに送信する第１通信部と、を有し、
   前記サーバは、
   複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースと、
   前記第１通信部から送信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定する推定部と、
   前記化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出する抽出部と、
   前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信する第２通信部と、を有し、
   前記端末は、
   前記第２通信部から送信された少なくとも１つの前記類似化粧品の情報を前記表示部に表示する、
   化粧品提示システム。
2. 前記端末は、前記類似化粧品の選択に応じて、選択された前記類似化粧品を用いたバーチャルメイクアップの処理要求を前記サーバに送信し、
   前記サーバは、選択された前記類似化粧品を用いて前記第１画像にバーチャルメイクアップを施す画像処理部を更に有し、前記バーチャルメイクアップが施された第１処理画像を前記端末に送信し、
   前記端末は、前記サーバから送信された前記第１処理画像を前記表示部に表示する、
   請求項１に記載の化粧品提示システム。
3. 前記端末は、前記ユーザによる明度又は彩度の調整情報を前記サーバに送信し、
   前記サーバは、前記化粧品データベースから、推定された前記化粧色を前記調整情報で調整した色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出する、
   請求項１又は２に記載の化粧品提示システム。
4. 前記端末は、前記サーバから送信された少なくとも１つの前記類似化粧品の情報を前記表示部に表示する画面に、前記第１画像のフレームの左半分又は右半分のサイズの画像と前記第２画像のフレームの右半分又は左半分のサイズの画像とを繋げた左右対称顔画像を表示する、
   請求項１に記載の化粧品提示システム。
5. 前記サーバは、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する複数の類似化粧品を抽出し、前記複数の類似化粧品の情報を前記端末に送信し、
   前記端末は、１つの前記左右対称顔画像と前記複数の類似化粧品の情報とを対応付けて前記表示部に表示する、
   請求項４に記載の化粧品提示システム。
6. 前記サーバは、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する複数の類似化粧品を抽出し、前記複数の類似化粧品の情報を前記端末に送信し、
   前記端末は、前記サーバにより抽出された前記類似化粧品の数をＮ（Ｎ：２以上の整数）とした場合に、Ｎ個の前記左右対称顔画像に、それぞれの前記左右対称顔画像に対応した前記類似化粧品の情報を重畳して前記表示部に表示する、
   請求項４に記載の化粧品提示システム。
7. 前記端末は、前記類似化粧品の色を背景色とした所定サイズのアイコンを、前記類似化粧品の情報として前記表示部に表示する、
   請求項１〜６のうちいずれか一項に記載の化粧品提示システム。
8. 前記化粧の種別は、ファンデーション、リップ、チーク、アイシャドー、マスカラ、を含む、
   請求項１〜７のうちいずれか一項に記載の化粧品提示システム。
9. 表示部を有する端末とサーバとが通信可能に接続された化粧品提示システムにおける化粧品提示方法であって、
   前記端末は、
   ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像とをそれぞれ撮像し、
   前記ユーザが行った化粧の種別又は領域の指定を受け付けし、
   撮像された前記第１画像及び前記第２画像と、指定された前記化粧の種別又は領域とを対応付けて前記サーバに送信し、
   前記サーバは、
   前記端末から送信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定し、
   複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出し、
   前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信し、
   前記端末は、
   前記サーバから送信された少なくとも１つの前記類似化粧品の情報を前記表示部に表示する、
   化粧品提示方法。
10. 表示部を有する端末と通信可能に接続された化粧品提示サーバであって、
    複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースと、
    前記端末から送信された、ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像と前記ユーザが行った化粧の種別又は領域とを受信する通信部と、
    受信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定する推定部と、
    前記化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色を有する化粧品を類似化粧品として少なくとも１つ抽出する抽出部と、を有し、
    前記通信部は、前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信して前記端末の前記表示部に表示させる、
    化粧品提示サーバ。
11. 化粧品を提示する処理を、表示部を有する端末との間で通信可能に接続された化粧品提示サーバによって実行する化粧品提示方法であって、
    前記処理は、
    前記端末から送信された、ユーザの化粧前の顔画像を示す第１画像と前記ユーザの化粧後の顔画像を示す第２画像と前記ユーザが行った化粧の種別又は領域とを受信するステップと、
    受信された前記化粧の種別又は領域に対応する前記第１画像の領域と前記第２画像の領域とを比較して、前記ユーザが行った化粧の化粧色を推定するステップと、
    複数の化粧品の色と、化粧品の名称、種別、および、値段の少なくとも１つと、を含む化粧品情報を格納する化粧品データベースから、推定された前記化粧色と色空間で同一の又は色空間で距離が所定値未満の色有する化粧品を類似化粧品として少なくとも１つ抽出するステップと、
    前記化粧品の名称、色、種別、および、値段の少なくとも１つを含む、抽出された少なくとも１つの前記類似化粧品の情報を前記端末に送信して前記端末の前記表示部に表示させるステップと、を有する、
    化粧品提示方法。

Images