JP6275086B2 - サーバ、データ提供方法及びサーバ用プログラム - Google Patents

Description

本発明は、顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバ、データ提供方法及びサーバ用プログラムに関する。

近年、化粧品の研究開発又は店頭でのメイクアドバイスのために、被験者の顔画像に仮想的に化粧を施した状態を画面に表示するシミュレーション装置が知られている。

このようなシミュレーション装置において、被験者の顔画像を撮影し、撮影した顔画像に化粧品を塗布した状態の画像を合成することが行われている（特許文献１参照）。

特開２００９−５３９８１号公報

特許文献１では、撮影した顔画像の特徴点を抽出し、この特徴点に対応する標準塗布形状の二次元に投影した特徴点を、抽出した特徴点と比較し、塗布形状の二次元に投影した特徴点と、被験者の特徴点とが一致するように、標準塗布形状を変形し、被験者の顔画像と合成することにより、仮想的に被験者が所望する化粧品を塗布した状態を生成することを可能としている。

しかしながら、このような構成では、特徴点の抽出、標準塗布形状の形成、標準塗布形状の変形といった複雑な処理が要求されるため、処理に必要な時間が増加してしまうおそれがあった。

そこで、本発明は、これらの課題に鑑み、短時間で化粧後の顧客の肌画像を抽出可能なサーバ、データ提供方法及びサーバ用プログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバであって、
予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベースと、
前記顧客端末からカメラ撮影された肌画像データを受信する肌画像データ受信手段と、
前記オペレータ端末からオペレータが選択した化粧品データを受信する化粧品データ受信手段と、
前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出する化粧後肌画像抽出手段と、
抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力する出力手段と、
を備えることを特徴とするサーバを提供する。

第１の特徴に係る発明によれば、顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバは、予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベースを備え、前記顧客端末からカメラ撮影された肌画像データを受信し、前記オペレータ端末からオペレータが選択した化粧品データを受信し、前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出し、抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力する。

ここで、第１の特徴に係る発明は、サーバのカテゴリであるが、データ提供方法又はサーバ用プログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記顧客端末から、顧客の顔面がカメラ撮影された顔面撮影データを受信する顔面撮影データ受信手段と、
抽出した前記化粧後肌画像データを、前記顔面撮影データに合成するデータ合成手段と、
合成した前記顔面撮影データを、前記顧客端末に送信する顔面撮影データ送信手段と、
を備えることを特徴とする第１の特徴に係る発明であるサーバを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるサーバは、前記顧客端末から、顧客の顔面がカメラ撮影された顔面撮影データを受信し、抽出した前記化粧後肌画像データを、前記顔面撮影データに合成し、合成した前記顔面撮影データを、前記顧客端末に送信する。

第３の特徴に係る発明は、前記顧客端末から、顧客の顔面の一部分をカメラ撮影された部分顔面撮影データを受信する部分顔面撮影データ受信手段と、
抽出した前記化粧後肌画像データを、前記部分顔面撮影データに合成するデータ合成手段と、
合成した前記部分顔面撮影データを、前記顧客端末に送信する部分顔面撮影データ送信手段と、
を備えることを特徴とする第１又は第２の特徴に係る発明であるサーバを提供する。

第３の特徴に係る発明によれば、第１又は第２の特徴に係る発明であるサーバは、
前記顧客端末から、顧客の顔面の一部分をカメラ撮影された部分顔面撮影データを受信し、抽出した前記化粧後肌画像データを、前記部分顔面撮影データに合成し、合成した前記部分顔面撮影データを、前記顧客端末に送信する。

第４の特徴に係る発明は、顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバが実行するデータ提供方法であって、
予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベースと、
前記顧客端末からカメラ撮影された肌画像データを受信するステップと、
前記オペレータ端末からオペレータが選択した化粧品データを受信するステップと、
前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出するステップと、
抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力するステップと、
を備えることを特徴とするデータ提供方法を提供する。

第５の特徴に係る発明は、顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバに、
予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベース、
前記顧客端末からカメラ撮影された肌画像データを受信するステップ、
前記オペレータ端末からオペレータが選択した化粧品データを受信するステップ、
前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出するステップ、
抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力するステップ、
を実行させるためのコンピュータ読み取り可能なサーバ用プログラムを提供する。

本発明によれば、短時間で化粧後の顧客の肌画像を抽出可能なサーバ、データ提供方法及びサーバ用プログラムを提供することが可能となる。

図１は、データ提供システム１の概念を示す概念図である。 図２は、データ提供システム１の全体構成図である。 図３は、サーバ１０、顧客端末１００、オペレータ端末２００の機能ブロック図である。 図４は、サーバ１０、顧客端末１００、オペレータ端末２００が実行するデータ提供処理を示すフローチャートである。 図５は、サーバ１０が作成する肌画像データデータベースを示す図である。 図６は、顧客端末１００が表示する顔面撮影画像を示す図である。 図７は、顧客端末１００が表示する部分顔面撮影画像を示す図である。 図８は、顧客端末１００が表示する部分顔面撮影画像を示す図である。 図９は、顧客端末１００が表示する部分顔面撮影画像を示す図である。 図１０は、オペレータ端末２００が表示する肌画像データ及び化粧品データを示す図である。 図１１は、顧客端末１００が表示する顔面撮影画像、化粧後肌画像及びオペレータ画像を示す図である。 図１２は、顧客端末１００が表示する部分顔面撮影画像、化粧後肌画像及びオペレータ画像を示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［データ提供システム１のシステム構成］
図１は、本発明の好適な実施形態であるデータ提供システム１の概要を説明するための図である。データ提供システム１は、サーバ１０、顧客端末１００及びオペレータ端末２００から構成される。

サーバ１０は、顧客が使用する顧客端末１００と、顧客に指示を行うオペレータ端末２００と、通信可能に接続される。サーバ１０は、予め、顧客の肌画像データと、化粧品の種類を示す化粧品データと、肌画像データの顧客が、この化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベースを有する。サーバ１０は、顧客端末１００からカメラ撮影された肌画像データを受信する。サーバ１０は、オペレータ端末１００からオペレータが選択した化粧品データを受信する。サーバ１０は、肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出する。

また、サーバ１０は、顧客端末１００から、顧客の顔面がカメラ撮影された顔面撮影データを受信する。サーバ１０は、抽出した化粧後肌画像データを、顔面撮影データに合成する。サーバ１０は、合成した顔面撮影データを、顧客端末１００に送信する。

また、サーバ１０は、顧客端末１００から、顧客の顔面の一部分をカメラ撮影された部分顔面撮影データを受信する。サーバ１０は、抽出した化粧後肌画像データを、部分顔面撮影データに合成する。サーバ１０は、合成した部分顔面撮影データを、顧客端末１００に送信する。

顧客端末１００及びオペレータ端末２００は、サーバ１０と通信可能に接続される。

サーバ１０は、予め顧客の化粧前の肌画像を示す化粧前肌画像データと、化粧品の種類を示す化粧品データと、肌画像データの顧客がこの化粧品データが示す化粧品を使用した後の化粧後肌画像データとを対応付けた肌画像データデータベースを作成する（ステップＳ０１）。サーバ１０は、化粧前肌画像データと、化粧品データと、化粧後肌画像データとを、インターネット等の公衆回線網５を介して取得し、肌画像データデータベースを作成する。なお、サーバ１０は、顧客端末１００又は他の端末が有する撮影装置により顧客の顔面を撮影した画像データを化粧前肌画像データとして取得し、実際にこの顧客が使用した化粧品を示す化粧品データを取得し、化粧後の顧客の顔面を撮影した画像データを化粧後肌画像データとして取得し、其々を対応付けて肌画像データデータベースとして作成しても良い。

顧客端末１００は、顧客の顔面をカメラで撮影し、撮影した顔面の画像を顔面撮影データとしてサーバ１０に送信する（ステップＳ０２）。顧客端末１００のカメラが撮影する顔面の画像とは、顧客の顔全体又は頬、額、口元、鼻等の一部分である。

サーバ１０は、受信した顔面撮影データを画像認識し、肌画像データを抽出する。サーバ１０は、受信した顔面撮影データが、顔全体の画像データである場合、各部位の特徴点を抽出し、各々の肌画像データを抽出する。また、サーバ１０は、受信した顔面撮影データが、顔の一部分の画像データである場合、該当部位の特徴点を抽出し、この部位の肌画像データを抽出する。

サーバ１０は、抽出した肌画像データに類似した化粧前肌画像データを、肌画像データデータベースを検索することにより抽出し、オペレータ端末２００に送信する（ステップＳ０３）。ステップＳ０３において、サーバ１０は、受信した肌画像データを画像認識することにより、この肌画像データに存在する複数の特徴点と、肌画像データデータベースに記憶された化粧前肌画像データに存在する複数の特徴点とを比較し、この肌画像データに類似する化粧前肌画像データを抽出する。なお、サーバ１０は、他の方法により、受信した肌画像データに類似した化粧前肌画像データを抽出しても良い。

オペレータ端末２００は、受信した化粧前肌画像データに基づいて、自身に肌画像を表示するとともに、この肌画像に塗布する化粧品を選択し、選択した化粧品を示す化粧品データをサーバ１０に送信する（ステップＳ０４）。

サーバ１０は、オペレータ端末２００が送信した化粧品データを受信する。サーバ１０は、顧客端末１００から受信した肌画像データと、オペレータ端末２００から受信した化粧品データとに基づいて、肌画像データデータベースを検索することにより、受信した化粧品データに対応する化粧後肌画像データを抽出する。

サーバ１０は、抽出した化粧後肌画像データを、顧客端末１００から受信した顔面撮影データに合成し、合成顔面撮影データを生成する。サーバ１０は、顔面撮影データが顔全体である場合、化粧後肌画像データを該当部位又は化粧品データが示す塗布箇所の部位に合成する。また、サーバ１０は、顔面撮影データが顔の一部分である場合、化粧後肌画像データをこの部位に合成する。

サーバ１０は、合成顔面撮影データを顧客端末１００に送信する（ステップＳ０５）。

顧客端末１００は、サーバ１０が送信した合成顔面撮影データを受信し、自身に表示する。以上が、データ提供システム１の概要である。

［データ提供システム１のシステム構成］
図２は、本発明の好適な実施形態であるデータ提供システム１のシステム構成図である。データ提供システム１は、サーバ１０、顧客端末１００、オペレータ端末２００、公衆回線網５（インターネット網や第３世代、第４世代通信網等）から構成される。

サーバ１０は、後述の機能を備え、顧客端末１００及びオペレータ端末２００とデータ通信が可能なサーバ装置である。サーバ１０は、顧客の化粧前の肌画像を示す肌画像データと、化粧品の種類を示す化粧品データと、この化粧品データが示す化粧品を使用した後の肌画像を示す化粧後肌画像データと、を対応付けて記憶した肌画像データデータベースを有する。サーバ１０は、顧客端末１００からカメラ撮影された肌画像データを受信する。サーバ１０は、オペレータ端末２００からオペレータが選択した化粧品データを受信する。サーバ１０は、肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出する。

また、サーバ１０は、顧客端末１００から、顧客の顔面がカメラ撮影された顔面撮影データを受信する。サーバ１０は、抽出した化粧後肌画像データを、顔面撮影データに合成する。サーバ１０は、合成した顔面撮影データを、顧客端末１００に送信する。

また、サーバ１０は、顧客端末１００から、顧客の顔面の一部分をカメラ撮影された部分顔面撮影データを受信する。抽出した化粧後肌画像データを、部分顔面撮影データに合成する。合成した部分顔面撮影データを、顧客端末に送信する。

顧客端末１００は、後述の機能を備え、データ通信を行うことが可能であり、携帯して移動しながら利用される家庭用又は業務用の電化製品である。顧客端末１００は、例えば、携帯電話、携帯情報端末に加え、スマートフォン、ノートＰＣ、タブレット端末、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の情報家電であって良い。なお、顧客端末１００は、店舗や施設等に設置される固定端末であっても良い。

オペレータ端末２００は、後述の機能を備え、データ通信を行うことが可能であり、携帯して移動しながら利用される家庭用又は業務用の電化製品や据え置き型の電化製品である。オペレータ端末２００は、例えば、携帯電話、携帯情報端末に加え、スマートフォン、ノートＰＣ、タブレット端末、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ、デスクトップＰＣ等の情報家電であって良い。また、オペレータ端末は、店舗や施設等に設置される固定端末であっても良い。

［各機能の説明］
図３は、サーバ１０、顧客端末１００及びオペレータ端末２００の機能ブロック図と各機能の関係を示す図である。

サーバ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は、第３世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える（有線によるＬＡＮ接続であってもよい）。

また、サーバ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部１３には、後述する肌画像データデータベースが含まれる。

また、サーバ１０は、合成部１４として、画像データの画像認識を実現するデバイスや、複数の画像データを一の画像データに合成するデバイスを備える。

サーバ１０において、制御部１１が所定のプログラムを読み込むことで、通信部１２と協働して、データベース作成モジュール２０、顔面撮影データ受信モジュール２１、肌画像データ送信モジュール２２、化粧品データ受信モジュール２３、合成データ送信モジュール２４、オペレータ画像送受信モジュール２５を実現する。また、サーバ１０において、制御部１１が所定のプログラムを読み込むことで、記憶部１３と協働して、データベース記憶モジュール３０を実現する。また、サーバ１０において、制御部１１が所定のプログラムを読み込むことで、合成部１４と協働して、データ抽出モジュール４０、データ合成モジュール４１を実現する。

顧客端末１００は、サーバ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスや、有線ケーブルによる接続を可能とするデバイスを備える。

また、顧客端末１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部と、顧客からの入力を受け付けるタッチパネルやキーボード、マウスに加え、顧客の顔面の全体又は一部を撮影するカメラ等のデバイスや、ＧＰＳといった位置情報を取得可能なデバイスを備える。

顧客端末１００において、制御部１１０が所定のプログラムを読み込むことで、通信部１２０と協働して、顔面撮影データ送信モジュール１５０、合成データ受信モジュール１５１、オペレータ画像データ受信モジュール１５２を実現する。また、顧客端末１００において、制御部１１０が所定のプログラムを読み込むことで、入出力部１３０と協働して、撮影モジュール１６０、表示モジュール１６１を実現する。

オペレータ端末２００は、顧客端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスや、有線ケーブルによる接続を可能とするデバイスを備える。

また、オペレータ端末２００は、入出力部２３０として、制御部２１０で制御したデータや画像を出力表示する表示部と、オペレータからの入力を受け付けるタッチパネルやきボード、マウスに加え、オペレータの顔面を撮影するカメラ等のデバイスや、ＧＰＳといった位置情報を取得可能なデバイスを備える。

オペレータ端末２００において、制御部２１０が所定のプログラムを読み込むことで、通信部２２０と協働して、肌画像データ受信モジュール２５０、化粧品データ送信モジュール２５1、オペレータ画像データ送信モジュール２５２を実現する。また、オペレータ端末２００において、制御部２１０が所定のプログラムを読み込むことで、入出力部２３０と協働して、表示モジュール２６０、撮影モジュール２６１を実現する。

［データ提供処理］
図４は、サーバ１０、顧客端末１００及びオペレータ端末２００が実行するデータ提供処理のフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、サーバ１０のデータベース作成モジュール２０は、予め顧客の化粧前の肌画像を示す化粧前肌画像データと、化粧品の種類を示す化粧品データと、化粧前肌画像データの顧客が、この化粧品データが示す化粧品を使用した後の肌画像を示す化粧後肌画像データと、を対応付けた肌画像データデータベースを作成する（ステップＳ１０）。データベース作成モジュール２０は、複数の化粧前肌画像データと、化粧品データと、化粧後肌画像データとを取得し、其々に対応付けて肌画像データデータベースを作成する。

ステップＳ１０において、サーバ１０のデータベース作成モジュール２０は、化粧前肌画像データと、化粧品データと、化粧後肌画像データと、をインターネット等の公衆回線網５を介して取得し、肌画像データデータベースを作成する。また、データベース作成モジュール２０が取得する化粧前肌画像データは、顔の全体又は目元、口元、頬、額、鼻等の一部分の画像データであっても良い。なお、データベース作成モジュール２０は、予め、顧客端末１００又はオペレータ端末２００が有するカメラ等の撮影装置により顧客の顔面を撮影し、撮影した画像データを化粧前肌画像データとして取得し、実際にこの顧客が使用した化粧品を示す化粧品データを取得し、化粧後の顧客の顔面を撮影した画像データを化粧後肌画像データとして取得し、其々を対応付けて肌画像データデータベースとして作成しても良い。

サーバ１０のデータベース記憶モジュール３０は、データベース作成モジュール２０が作成した肌画像データデータベースを、図５に示す肌画像データデータベースとして記憶する（ステップＳ１１）。

［肌画像データデータベース］
図５は、サーバ１０のデータベース記憶モジュール３０が記憶する肌画像データデータベースを示す図である。データベース記憶モジュール３０は、上述した化粧前肌画像データと、化粧品データと、化粧後肌画像データとを対応付けて記憶する。図５において、データベース記憶モジュール３０は、化粧前肌画像データとして肌画像Ａを、化粧品データとして化粧品データ１１１１を、化粧後肌画像データとして、化粧後肌画像ａを其々対応付けて記憶する。また、データベース記憶モジュール３０は、化粧前肌画像データとして肌画像Ｂを、化粧品データとして化粧品データ１１１２を、化粧後肌画像データとして、化粧後肌画像ｂを其々対応付けて記憶する。また、データベース記憶モジュール３０は、化粧前肌画像データとして肌画像Ｃを、化粧品データとして化粧品データ１１１３を、化粧後肌画像データとして、化粧後肌画像ｃを其々対応付けて記憶する。また、データベース記憶モジュール３０は、他の化粧前肌画像データと、化粧品データと、化粧後肌画像データとを対応付けて記憶する。データベース記憶モジュール３０が記憶する化粧前肌画像データとは、顧客の顔の全体又は一部分の肌画像を示すデータである。また、データベース記憶モジュール３０が記憶する化粧品データとは、使用する化粧品を示すデータである。データベース記憶モジュール３０が記憶する化粧品データとは、例えば、ファンデーション、眉墨、頬紅、口紅、グロス、アイライン、アイシャドー、マスカラ等を示すデータである。データベース記憶モジュール３０が記憶する化粧後肌画像データとは、化粧品データが示す化粧品を塗布した状態の顔の全体又は一部分の肌画像を示すデータである。

次に、顧客端末１００の撮影モジュール１６０は、顧客の顔面を撮影する操作入力を受け付けたか否かを判断する（ステップＳ１２）。ステップＳ１２において、撮影モジュール１６０は、顧客の顔面の一部分又は全体を撮影する。撮影モジュール１６０が撮影する顧客の顔面の一部分とは、例えば、目、鼻、口、頬、額である。ステップＳ１２において、撮影モジュール１６０は、操作入力を受け付けていないと判断した場合（ステップＳ１２ ＮＯ）、操作入力が行われるまで本処理を繰り返す。

一方、ステップＳ１２において、顧客端末１００の撮影モジュール１６０は、顧客の顔面を撮影する操作入力を受け付けたと判断した場合（ステップＳ１２ ＹＥＳ）、顧客の顔の画像を撮影する（ステップＳ１３）。

顧客端末１００の表示モジュール１６１は、図６〜９で示す通り、撮影した顧客の顔面撮影画像と、送信アイコンと、修正アイコンを表示する（ステップＳ１４）。

顧客端末１００の撮影モジュール１６０が撮影し、顧客端末１００の表示モジュール１６１が表示する顧客の顔面撮影画像について図６〜図９に基づいて説明する。

図６は、顧客端末１００の撮影モジュール１６０が、顧客の顔面の全体を撮影した場合を示す図である。このとき、表示モジュール１６１は、撮影した顧客の顔面の全体を顔面撮影画像４１０として表示する。また、表示モジュール１６１は、修正アイコン４４０及び送信アイコン４００を表示する。顧客端末１００の顔面撮影データ送信モジュール１５１は、表示モジュール１６１が送信アイコン４００への操作入力を受け付けることにより、撮影した顔面撮影画像を示す顔面撮影データをサーバ１０に送信する。また、撮影モジュール１６０は、表示モジュール１６１が修正アイコン４４０への操作入力を受け付けることにより、再度顧客の顔面を撮影する。

図７は、顧客端末１００の撮影モジュール１６０が、顧客の顔面の一部分を撮影した場合を示す図である。本実施形態において、撮影モジュール１６０は、顧客の額を撮影している。この時、表示モジュール１６１は、撮影した顧客の顔面の一部分を部分顔面撮影画像４１１として表示する。また、表示モジュール１６１は、送信アイコン４００及び修正アイコン４４０を表示する。顧客端末１００の顔面撮影データ送信モジュール１５１は、表示モジュール１６１が送信アイコン４００への操作入力を受け付けることにより、撮影した部分顔面撮影画像を示す部分顔面撮影データをサーバ１０に送信する。また、撮影モジュール１６０は、表示モジュール１６１が修正アイコン４４０への操作入力を受け付けることにより、再度顧客の顔面を撮影する。

図８は、顧客端末１００の撮影モジュール１６０が、顧客の顔面の一部分を撮影した場合を示す図である。本実施形態において、撮影モジュール１６０は、頬及び鼻を撮影している。この時、表示モジュール１６１は、撮影した顧客の顔面の一部分を部分顔面撮影画像４１２として表示する。また、表示モジュール１６１は、送信アイコン４００及び修正アイコン４４０を表示する。顧客端末１００の顔面撮影データ送信モジュール１５１は、表示モジュール１６１が送信アイコン４００への操作入力を受け付けることにより、撮影した部分顔面撮影画像を示す部分顔面撮影データをサーバ１０に送信する。また、撮影モジュール１６０は、表示モジュール１６１が修正アイコン４４０への操作入力を受け付けることにより、再度顧客の顔面を撮影する。

図９は、顧客端末１００の撮影モジュール１６０が、顧客の顔面の一部分を撮影した場合を示す図である。本実施形態において、撮影モジュール１６０は、口を撮影している。この時、表示モジュール１６１は、撮影した顧客の顔面の一部分を部分顔面撮影画像４１３として表示する。また、表示モジュール１６１は、送信アイコン４００及び修正アイコン４４０を表示する。顧客端末１００の顔面撮影データ送信モジュール１５１は、表示モジュール１６１が送信アイコン４００への操作入力を受け付けることにより、撮影した部分顔面撮影画像である部分顔面撮影データをサーバ１０に送信する。また、撮影モジュール１６０は、表示モジュール１６１が修正アイコン４４０への操作入力を受け付けることにより、再度顧客の顔面を撮影する。

顧客端末１００の表示モジュール１６１は、修正アイコン４４０への操作入力を受け付けたか否かを判断する（ステップＳ１５）。ステップＳ１５において、表示モジュール１６１は、修正アイコン４４０への操作入力を受け付けたと判断した場合（ステップＳ１５ ＹＥＳ）、再度顧客の顔面撮影画像を撮影する。

一方、ステップＳ１５において、顧客端末１００の表示モジュール１６１は、修正アイコン４４０への操作入力を受け付けていないと判断した場合（ステップＳ１５ ＮＯ）、送信アイコン４００への操作入力を受け付けたか否かを判断する（ステップＳ１６）。ステップＳ１６において、表示モジュール１６１は、送信アイコン４００への操作入力を受け付けていないと判断した場合（ステップＳ１６ ＮＯ）、上述したステップＳ１５の処理を実行する。

一方、ステップＳ１６において、顧客端末１００の表示モジュール１１は、送信アイコン４００への操作入力を受け付けたと判断した場合（ステップＳ１６ ＹＥＳ）、顧客端末１００の顔面撮影データ送信モジュール１５０は、撮影モジュール１６０が撮影した顔面撮影画像を、顔面撮影データとしてサーバ１０に送信する（ステップＳ１７）。

サーバ１０の顔面撮影データ受信モジュール２１は、顧客端末１００が送信した顔面撮影データを受信する。サーバ１０のデータ抽出モジュール４０は、受信した顔面撮影データを画像認識し、この顔面撮影データにおける肌画像データを抽出する（ステップＳ１８）。顔面撮影データ受信モジュール２１が受信した顔面撮影データが顧客の顔全体である場合、データ抽出モジュール４０は、受信した顔面撮影データにおいて、特徴点を抽出し、顔面撮影データにおける特定箇所、例えば、目、口、鼻、頬、額を特定し、各部位の肌画像データを抽出する。一方、顔面撮影データ受信モジュール２１が受信した顔面撮影データが顧客の顔の一部分である場合、データ抽出モジュール４０は、受信した顔面撮影データにおいて、特徴点を抽出し、この顔面撮影データが示す部位を特定し、この部位の肌画像データを抽出する。

サーバ１０のデータ抽出モジュール４０は、受信した顔面撮影データにおける肌画像データに類似した化粧前肌画像データを、肌画像データデータベースを検索することにより抽出する（ステップＳ１９）。ステップＳ１９において、データ抽出モジュール４０は、ステップＳ１８において抽出した肌画像データを画像認識し、この肌画像データの特徴点に類似した特徴点を有する化粧前肌画像データを、肌画像データデータベースから検索し、化粧前肌画像データを抽出する。なお、データ抽出モジュール４０は、他の方法により、肌画像データに類似した化粧前肌画像データを抽出しても良い。

サーバ１０の肌画像データ送信モジュール２２は、データ抽出モジュール４０が肌画像データデータベースから抽出した化粧前肌画像データを、オペレータ端末２００に送信する（ステップＳ２０）。

オペレータ端末２００の肌画像データ受信モジュール２５０は、サーバ１０が送信した肌画像データを受信する。オペレータ端末２００の表示モジュール２６０は、受信した肌画像データに基づいて、図１０に示すように、肌画像４２０と化粧品データウインドウ４５０を表示する（ステップＳ２１）。ステップＳ２１において、表示モジュール２６０は、化粧品データウインドウ４５０に、肌画像４２０に塗布する化粧品を示す化粧品データ１１１１〜１１２０を表示する。表示モジュール２６０が表示する化粧品データ１１１１〜１１２０は、肌画像データデータベースが記憶する化粧品データである。なお、表示モジュール２６０が表示する化粧品データの数は、本実施形態の数に限られるものではなく、この数よりも多くとも少なくとも良い。なお、ステップＳ２１において、表示モジュール２６０は、顔全体の肌画像ではなく、顔の一部分の肌画像を表示しても良い。この場合、該当部位の肌画像のみが表示される。

オペレータ端末２００の表示モジュール２６０は、オペレータからの化粧品データの選択入力の有無を判断する（ステップＳ２２）。ステップＳ２２において、表示モジュール２６０は、オペレータからの化粧品データの選択入力が行われていないと判断した場合（ステップＳ２２ ＮＯ）、選択入力を受け付けるまで本処理を繰り返す。

一方、ステップＳ２２において、オペレータ端末２００の表示モジュール２６０は、オペレータからの化粧品データの選択入力が行われたと判断した場合（ステップＳ２２ ＹＥＳ）、オペレータ端末２００の化粧品データ送信モジュール２５１は、選択された化粧品データをサーバ１０に送信する（ステップＳ２３）。なお、表示モジュール２６０は、複数の化粧品データの選択入力を受け付け、化粧品データ送信モジュール２５１は、この複数の化粧品データをサーバ１０に送信しても良い。

オペレータ端末２００のオペレータ画像データ送信モジュール２５２は、オペレータ端末２００の撮影モジュール２６１が撮影したオペレータの画像や、予め登録されたオペレータの画像を示すオペレータ画像データをサーバ１０に送信する（ステップＳ２４）。

サーバ１０の化粧品データ受信モジュール２３は、オペレータ端末２００が送信した化粧品データを受信する。サーバ１０のデータ抽出モジュール４０は、顧客端末１００から受信した顔面撮影データから抽出した肌画像データと、オペレータ端末２００から受信した化粧品データとに基づいて、肌画像データデータベースを検索することにより、受信した化粧品データに対応する化粧後肌画像データを抽出する（ステップＳ２５）。ステップＳ２５において、データ抽出モジュール４０は、顔面撮影データから抽出した肌画像データに類似する化粧前画像データと、化粧品データとに対応付けられた化粧後肌画像データを検索する。

サーバ１０のデータ合成モジュール４１は、抽出した化粧後肌画像データを、顧客端末１００から受信した顔面撮影データから抽出した肌画像データに合成し、この顧客における合成顔面撮影データを生成する（ステップＳ２６）。ステップＳ２６において、データ合成モジュール４１は、顔面撮影データが顔全体である場合、化粧後肌画像データを、該当部位又は化粧品データが示す塗布箇所の該当部位に合成する。また、ステップＳ２６において、データ合成モジュール４１は、顔面撮影データが顔の一部分である場合、化粧後肌画像データを、この一部分に合成する。また、データ合成モジュール４１は、顔面撮影データが顔の一部分である場合、同一の顧客が送信した複数の顔の一部分の部分顔面撮影データを一の顔面撮影データとして合成し、この合成した一の顔面撮影データに、化粧後肌画像データを合成しても良い。

サーバ１０の合成データ送信モジュール２４は、ステップＳ２６においてデータ合成モジュール４１が生成した合成顔面撮影データを、顧客端末１００に送信する（ステップＳ２７）。

サーバ１０のオペレータ画像データ送受信モジュール２５は、オペレータ端末２００が送信したオペレータ画像データを受信し、このオペレータ画像データを顧客端末１００に送信する（ステップＳ２８）。

顧客端末１００の合成データ受信モジュール１５１は、サーバ１０が送信した合成顔面撮影データを受信する。また、顧客端末１００のオペレータ画像データ受信モジュール１５２は、サーバ１０が送信したオペレータ画像データを受信する。顧客端末１００の表示モジュール１６０は、撮影した顔面撮影画像と、受信した合成顔面撮影データに基づいた合成顔面撮影画像と、オペレータ画像データに基づいたオペレータ画像を表示する（ステップＳ２９）。

ステップＳ２９において、顧客端末１００の表示モジュール１６０が表示する画面について、図１１及び図１２に基づいて説明する。

図１１は、顧客端末１００の撮影モジュール２６１が、顧客の顔の全体を撮影した場合における、顧客端末１００の表示モジュール２６０が表示する顔面撮影画像と、合成顔面撮影画像と、オペレータ画像とを示す図である。表示モジュール２６０は、顔面撮影画像４１０と、合成顔面撮影画像５００と、オペレータ画像５１０を表示する。図１１において、合成顔面撮影画像５００は、化粧品６００，６１０が塗布された状態を示す。表示モジュール２６０は、この化粧品６００，６１０が塗布された場所の近傍、例えば、この部位に重なる位置、この部位の周囲の位置に使用した化粧品を示す化粧品データ表示ウインドウ６２０を表示する。なお、表示モジュール２６０は、化粧品データ表示ウインドウ６２０を、他の位置に表示しても良い。例えば、オペレータ画像５１０に吹き出しとして、使用している化粧品データや塗布部位を示す内容をして表示しても良いし、何も表示がされていない位置に、使用している化粧品データや塗布部位を示す内容を表示しても良い。また、顧客が対象の塗布部位を選択操作した場合に、使用している化粧品データを示す内容を表示しても良い。また、表示モジュール２６０は、他の方法により使用している化粧品データや塗布部位を示す内容を表示しても良い。また、本実施形態では、表示モジュール２６０は、二つの化粧品データを示しているが、表示する化粧品データは、１つでも良いし、３つあるいはそれ以上の数であっても良い。また、表示モジュール２６０は、化粧品を塗布する位置の入力を顧客から受け付け、受け付けた位置の化粧品データ及び化粧後肌画像データを表示しても良い。

図１２は、顧客端末１００の撮影モジュール２６１が、顧客の顔の一部分を撮影した場合における、顧客端末１００の表示モジュール２６０が表示する部分顔面撮影画像と、合成部分顔面撮影画像と、オペレータ画像とを示す図である。表示モジュール２６０は、部分顔面撮影画像４１１と、合成部分顔面撮影画像７００と、オペレータ画像５１０を表示する。図１２にいて、合成部分顔面撮影画像は、１か所において、化粧品８００が塗布された状態を示す。表示モジュール２６０は、この化粧品８００が塗布された場所の近傍、例えば、この部位に重なる位置、この部位の周囲の位置に使用した化粧品を示す化粧品データ表示ウインドウ６２０を表示する。なお、表示モジュール２６０は、化粧品データ表示ウインドウ６２０を、他の位置に表示しても良い。例えば、オペレータ画像５１０に吹き出しとして、使用している化粧品データや塗布部位を示す内容をして表示しても良いし、何も表示がされていない位置に、使用している化粧品データや塗布部位を示す内容を表示しても良い。また、顧客が対象の塗布部位を選択操作した場合に、使用している化粧品データを示す内容を表示しても良い。また、表示モジュール２６０は、他の方法により使用している化粧品データや塗布部位を示す内容を表示しても良い。また、本実施形態では、表示モジュール２６０は、１つの化粧品データを示しているが、表示する化粧品データは、２つでも良いし、それ以上の数であっても良い。また、表示モジュール２６０は、化粧品を塗布する位置の入力を顧客から受け付け、受け付けた位置の化粧品データ及び化粧後肌画像データを表示しても良い。

以上が、データ提供処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０ サーバ、１００ 顧客端末、２００ オペレータ端末

Claims (5)

1. 顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバであって、
   予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベースと、
   前記顧客端末からカメラ撮影された肌画像データを受信する肌画像データ受信手段と、
   前記オペレータ端末からオペレータが選択した化粧品データを受信する化粧品データ受信手段と、
   前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出する化粧後肌画像抽出手段と、
   抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力する出力手段と、
   を備えることを特徴とするサーバ。
2. 請求項１に記載のサーバであって、
   前記顧客端末から、顧客の顔面がカメラ撮影された顔面撮影データを受信する顔面撮影データ受信手段と、
   抽出した前記化粧後肌画像データを、前記顔面撮影データに合成するデータ合成手段と、
   合成した前記顔面撮影データを、前記顧客端末に送信する顔面撮影データ送信手段と、
   を備えることを特徴とするサーバ。
3. 請求項１又は２に記載のサーバであって、
   前記顧客端末から、顧客の顔面の一部分をカメラ撮影された部分顔面撮影データを受信する部分顔面撮影データ受信手段と、
   抽出した前記化粧後肌画像データを、前記部分顔面撮影データに合成するデータ合成手段と、
   合成した前記部分顔面撮影データを、前記顧客端末に送信する部分顔面撮影データ送信手段と、
   を備えることを特徴とするサーバ。
4. 顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバが実行するデータ提供方法であって、
   予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベースと、
   前記顧客端末からカメラ撮影された肌画像データを受信するステップと、
   前記オペレータ端末からオペレータが選択した化粧品データを受信するステップと、
   前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出するステップと、
   抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力するステップと、
   を備えることを特徴とするデータ提供方法。
5. 顧客が使用する顧客端末と、顧客に指示を行うオペレータ端末と、通信可能に接続されたサーバに、
   予め、前記顧客の肌画像データと、化粧品の種類を示す化粧品データと、前記肌画像データの顧客が、当該化粧品データが示す化粧品を使用した後の化粧後肌画像データと、が対応付けられて記憶された肌画像データデータベース、
   前記顧客端末からカメラ撮影された肌画像データを受信するステップ、
   前記オペレータ端末からオペレータが選択した化粧品データを受信するステップ、
   前記肌画像データデータベースを検索することにより、受信した肌画像データと化粧品データとに基づいて、受信した化粧品データに対応する化粧後肌画像データを抽出するステップ、
   抽出した前記化粧後肌画像データに使用された化粧品データや塗布部位を示す内容を前記顧客端末に出力するとともに、当該化粧品データを当該塗布部位の近傍に表示させるように当該顧客端末に出力するステップ、
   を実行させるためのコンピュータ読み取り可能なサーバ用プログラム。