JP7153280B2 - メイクアップシミュレーションシステム、メイクアップシミュレーション方法及びプログラム - Google Patents

Description

本発明は、メイクアップシミュレーションシステム、メイクアップシミュレーション方法及びプログラムに関する。

近年、顔の画像に対して仮想的に化粧を施すバーチャルメイクアップの技術が開発されている。例えば、特開２０１８－６３６８１号公報（特許文献１）には、カメラによって撮像された顔画像に対して、化粧品毎に異なる特有の質感を仮想的に与えるバーチャルメイクアップ装置が開示されている。このバーチャルメイクアップ装置は、顔画像から抽出された対象部位画像に、ユーザに指定されたアイテム（例えば口紅等の化粧品）に対応する色を塗布し、対象部位画像の一部に、アイテム毎に異なる質感成分を付与する。バーチャルメイクアップ装置は、色が塗布された対象部位画像と、対象部位画像の一部に質感成分が付与された画像と、顔画像のうちバーチャルメイクアップの対象部位画像とを用いて、顔画像にアイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する。

また、特許第６３９６８９０号公報（特許文献２）には、原画像に対して画像処理を行うことで、原画像に現された対象体の一部の部位に、メイクアップ塗材が塗布された状態を示すメイクアップ画像を生成する画像処理装置が開示されている。画像処理装置は、メイクアップ塗材の見本色を代表色とした色レンジをもつ複数の画素から構成される塗材塗布レイヤを生成し、原画像に合成する。塗材塗布レイヤの画素の値は、原画像の画素であって、位置的に対応するものの画素の値を塗材塗布レイヤの色レンジにマッピングすることで得られる。

特開２０１８－６３６８１号公報 特許第６３９６８９０号公報

上記従来のバーチャルメイクアップ装置では、ユーザがカメラで自身を撮影して得られた画像に対して、タブレット端末等を用いてバーチャルメイクアップを施す。画像に写る顔の質感は、その場の環境光によって変化する。そのため、適切な質感を付与するためには、写真に写る顔に対して、その時の環境光に応じた質感の分布を演算した上で質感を付与する必要がある。そのため、処理が複雑になる。また、環境光に応じた質感分布を正確に演算できない場合もある。

そこで、本発明は、処理の複雑化を避けつつ、適切な光沢及び陰影を表現できるメイクアップシミュレーションシステム、メイクアップシミュレーション方法及びプログラムを提供することを目的とする。

本発明の実施形態におけるメイクアップシミュレーションシステムは、ユーザの操作に基づいて、予め記録されたメイク対象の顔が含まれる写真データを決定し、ディスプレイに表示させる写真データ決定部と、前記ユーザの操作に基づいて決定された前記写真データに予め対応付けて記録され、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値であって、前記写真データに固有の光沢及び陰影を示す値を含む光沢陰影データを取得する光沢陰影データ取得部と、前記ユーザから、コスメ及びツールの選択、及び前記表示された写真データの顔に対するメイク位置の指定を含むメイク操作を受け付けるメイク受付部と、前記ユーザが選択したコスメ及びツールと、前記メイク操作で指定された位置に基づいてストローク画像を生成し、前記写真データに重ねて描画する描画部とを備える。前記描画部は、前記ストローク画像に対応する位置の前記写真データが示す顔の色、及び、前記選択されたコスメに加えて、前記光沢陰影データで示される、前記ストローク画像に対応する位置における光沢及び陰影を示す値を用いて、前記写真データに重ねて描画される前記ストローク画像の色を決定する。

上記メイクアップシミュレーションシステムでは、メイクアップの対象として、予め記録された写真データがユーザの操作により決定される。写真データに固有の光沢陰影データが、写真データに予め対応付けて記録されている。写真データとともに、光沢陰影データが取得される。これにより、予め準備された写真データに対するユーザのメイク操作を受け付けることができる。また、描画時には、ユーザから指定されたコスメ及びツール及びメイク操作に加えて、写真データに固有の予め準備された光沢陰影データを用いてストローク画像の色を決定できる。光沢陰影データを予め準備する構成としたため、写真データに合わせて適切な光沢及び陰影の値の設定が可能になる。そのため、予め準備された写真データに固有の光沢陰影データを用いることで、その写真データの顔の光沢及び陰影を適切に表現した光沢陰影データを得ることができる。さらに、描画時に、顔の光沢及び陰影を決定するための演算が不要になるため、処理の複雑化を避けることができる。すなわち、処理の複雑化を避けつつ、適切な光沢及び陰影を表現できる。

ここで、光沢は、顔の表面が光って見える質感であり、ハイライトと称する場合もある。陰影は顔の表面が影って見える質感であり、シャドウと称する場合もある。光沢及び陰影を示す値は、例えば、１つの値で光沢及び陰影の両方を示すものであってもよいし、光沢を示す値及び陰影を示す値を含むものであってもよい。光沢を示す値の例として、描画する色を白に近づける度合いを示す値が挙げられる。陰影を示す値の例として、描画する色を黒に近づける度合いを示す値が挙げられる。

光沢陰影データは、写真データの顔の各位置に対する光沢及び陰影を示す値を含む。例えば、光沢陰影データは、写真データの各画素の光沢及び陰影を示す値を含んでもよいし、複数の画素で構成される領域ごとの光沢及び陰影を示す値を含んでもよい。

前記光沢陰影データは、前記顔の部位ごとに設定された部位調整情報をさらに含んでもよい。前記描画部は、前記部位調整情報をさらに用いて、前記ストローク画像の色を決定してもよい。これにより、描画時に光沢及び陰影を部位ごとに調整する演算が不要になる。また、部位ごとに調整された光沢及び陰影の値を用いてストローク画像の色を決定できる。そのため、処理の複雑化を避けつつ、より適切な光沢及び陰影を表現できる。

顔の部位は、メイク（すなわち化粧）の種類に応じて分けられる顔の部分である。部位の例として、これらに限定されないが、額、眉、眉周辺、まつげ、頬、鼻周辺、鼻筋、口周辺、唇等が挙げられる。

前記光沢陰影データは、前記ユーザが選択可能なコスメに対して設定されたコスメ調整情報をさらに含んでもよい。記描画部は、前記コスメ調整情報をさらに用いて、前記ストローク画像の色を決定してもよい。これにより、描画時に光沢及び陰影をコスメごとに調整する演算が不要になる。また、コスメごとに調整された光沢及び陰影の値を用いてストローク画像の色を決定できる。そのため、処理の複雑化を避けつつ、より適切な光沢及び陰影を表現できる。

コスメは、メイクに用いる化粧品の種類である。コスメは、口紅、アイシャドウ、ファンデーション等、化粧品の大まかな種類を示すものであってもよいし、さらに化粧品の品番や色等、細かい種類まで特定するものであってもよい。

上記メイクシミュレーション装置は、前記予め記録された写真データに対して、管理者ユーザの操作に基づいて、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値を決定し、前記光沢陰影データとして前記写真データに対応付けて記録する事前設定部をさらに備えてもよい。これにより、予め、管理者ユーザが、写真データの顔に適した光沢及び陰影を設定することができる。そのため、より適切な光沢及び陰影を表現できるようになる。

前記事前設定部は、顔の部位ごとに、前記光沢及び陰影の調整の度合いを、前記管理者ユーザから受け付け、部位ごとの前記光沢及び陰影の調整の度合いを示す部位調整情報を、前記光沢陰影データに含めてもよい。これにより、管理者ユーザは、顔の部位ごとの光沢及び陰影の調整を容易に行うことができる。

前記事前設定部は、前記ユーザが選択可能なコスメごとに、前記光沢及び陰影の調整の度合いを、前記管理者ユーザから受け付け、コスメごとの前記光沢及び陰影の調整の度合いを示すコスメ調整情報を、前記光沢陰影データに含めてもよい。これにより、管理者ユーザは、コスメごとの光沢及び陰影の調整を容易に行うことができる。

上記メイクアップシミュレーションシステムは、前記ストローク画像を含む前記写真データを表示し、評価者ユーザから、前記ストローク画像で表されるメイクの評価を受け付ける評価部をさらに備えてもよい。これにより、ユーザのメイク操作により作成されたストローク画像を含む写真データを、評価ユーザが評価することができる。

本発明の実施形態におけるメイクアップシミュレーション方法は、コンピュータが、ユーザの操作に基づいて、予め記録されたメイク対象の顔が含まれる写真データを決定し、ディスプレイに表示させる写真データ決定工程と、前記コンピュータが、前記ユーザの操作に基づいて決定された前記写真データに予め対応付けて記録され、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値であって、前記写真データに固有の光沢及び陰影を示す値を含む光沢陰影データを取得する光沢陰影データ取得工程と、前記コンピュータが、前記ユーザから、コスメ及びツールの選択、及び前記表示された写真データの顔に対するメイク位置の指定を含むメイク操作を受け付けるメイク受付工程と、前記コンピュータが、前記ユーザが選択したコスメ及びツールと、前記メイク操作で指定された位置に基づいてストローク画像を生成し、前記写真データに重ねて描画する描画工程と有する。前記描画工程において、前記コンピュータは、前記ストローク画像に対応する位置の前記写真データが示す顔の色、及び、前記選択されたコスメに加えて、前記光沢陰影データで示される、前記ストローク画像に対応する位置における光沢及び陰影を示す値を用いて、前記写真データに重ねて描画される前記ストローク画像の色を決定する。

本発明の実施形態におけるプログラムは、ユーザの操作に基づいて、予め記録されたメイク対象の顔が含まれる写真データを決定し、ディスプレイに表示させる写真データ決定処理と、前記ユーザの操作に基づいて決定された前記写真データに予め対応付けて記録され、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値であって、前記写真データに固有の光沢及び陰影を示す値を含む光沢陰影データを取得する光沢陰影データ取得処理と、前記ユーザから、コスメ及びツールの選択、及び前記表示された写真データの顔に対するメイク位置の指定を含むメイク操作を受け付けるメイク受付処理と、前記ユーザが選択したコスメ及びツールと、前記メイク操作で指定された位置に基づいてストローク画像を生成し、前記写真データに重ねて描画する描画処理とを、コンピュータに実行させる。前記描画処理は、前記ストローク画像に対応する位置の前記写真データが示す顔の色、及び、前記選択されたコスメに加えて、前記光沢陰影データで示される、前記ストローク画像に対応する位置における光沢及び陰影を示す値を用いて、前記写真データに重ねて描画される前記ストローク画像の色を決定する処理を含む。

本発明によれば、処理の複雑化を避けつつ、適切な光沢及び陰影を表現できるメイクアップシミュレーションが可能になる。

本実施形態におけるメイクアップシミュレーションシステムの構成例を示す機能ブロック図 図１に示すメイクアップシミュレーションシステム１を、複数のコンピュータで構成した場合の例を示す図 写真データの一例を示す図 図３に示す写真データに対して設定されるマスクデータの例を示す図 図３に示す写真データに対して設定された光沢の値を示す画像の例を示す図 図３に示す写真データに対して設定された陰影の値を示す画像の例を示す図 事前設定部２の動作例を示すフローチャート 部位ごとの調整度合い及びコスメごとの調整度合いを示すデータの例を示す図 図２に示すユーザ端末２１の動作例を示すフローチャート 図９に示すフローにおけるユーザ端末２１の画面遷移の例を示す図 ユーザが、メイク操作を行う様子の一例を示す図 （ａ）は、光沢陰影の効果が反映される前のストローク画像の例を示し、（ｂ）は、光沢陰影データによる光沢陰影の効果が適用されたストローク画像の例を示す。 図１２に示すストローク画像を含むメイクレイヤ合成が、図３に示す写真データに合成された画像の例 評価部７の動作例を示すフローチャート 図１４に示すフローにおける画面遷移の例を示す図

［実施形態］
以下、実施形態について図面を参照しつつ説明する。図中同一及び相当する構成については同一の符号を付し、同じ説明を繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化又は模式化して示されたり、一部の構成部材が省略されたりしている。

（システム構成例）
図１は、本実施形態におけるメイクアップシミュレーションシステムの構成例を示す機能ブロック図である。図１に示すメイクアップシミュレーションシステム１は、一例として、ユーザに、バーチャルメイクアップによるメイクアップ技術のトレーニングの場を提供するものである。メイクアップシミュレーションシステム１は、トレーニングのための写真データ及び光沢陰影データを予め準備し、これらを用いて、ユーザの操作に応じたバーチャルメイクアップを実行する。

メイクアップシミュレーションシステム１は、事前設定部２、写真データ決定部３、光沢陰影データ取得部４、メイク受付部５、描画部６、及び評価部７を備える。これらの機能部は、１以上のコンピュータが、所定のプログラムを実行することにより実現される。メイクアップシミュレーションシステム１は、記録部１０にアクセス可能である。

図２は、図１に示すメイクアップシミュレーションシステム１を、複数のコンピュータで構成した場合の例を示す図である。図２に示す例では、写真データ決定部３、光沢陰影データ取得部４、メイク受付部５、及び描画部６は、ユーザ端末２１に実装される。事前設定部２は、管理者ユーザ端末２２に実装される。評価部７は、評価者ユーザ端末２３に実装される。ユーザ端末２１、管理者ユーザ端末２２、及び評価者ユーザ端末２３は、ネットワークＮを介してサーバ２４の記録部１０にアクセス可能である。上記の各機能部は、ユーザ端末２１、管理者ユーザ端末２２、及び評価者ユーザ端末２３の各々に処理を実行するためのアプリケーションプログラムをインストールすることで実装できる。このようなアプリケーションプログラムも、本発明の実施形態に含まれる。

なお、メイクアップシミュレーションシステム１の構成は図２に示す例に限れられない。例えば、事前設定部２、写真データ決定部３、光沢陰影データ取得部４、メイク受付部５、描画部６、及び評価部７の少なくとも一部の処理は、サーバ２４で実行されてもよい。また、事前設定部２及び評価部７を省略し、ユーザ端末２１にメイクアップシミュレーションシステム１が構成されてもよい。

再び、図１を参照して、各機能部について説明する。記録部１０には、予め、メイク対象の顔が含まれる写真データが記録される。例えば、メイク対象のモデルの顔の写真データが予め記録される。図３は、写真データの一例を示す図である。

事前設定部２は、記録された写真データに対して、管理者ユーザの操作に基づいて、写真データに含まれる顔の各位置の光沢及び陰影を示す値を決定し、光沢陰影データとして写真データに対応付けて記録する。事前設定部２は、管理者ユーザから、対象とする写真データの指定を受け付ける。事前設定部２は、例えば、指定された写真データに対して画像処理を実行して、画像の各位置の光沢及び陰影を示す値を自動的に決定してもよい。また、事前設定部２は、写真データを表示し、管理者ユーザから写真データの顔の各位置の光沢及び陰影を示す値に決定するための指示入力を受け付けてもよい。このように、事前設定部２は、管理者ユーザが、写真データに対する光沢及び陰影を示す値を設定するためのユーザインタフェースを提供することができる。これにより、画像処理によって自動で光沢及び陰影を示す値を決定する場合に比べて、より写真データに含まれる顔に合った光沢及び陰影を示す値を決定することができる。

事前設定部２は、例えば、管理者ユーザから、写真データにおける対象とする位置の指定と、その位置における光沢及び陰影を示す値の指定を受け付ける。位置の指定は、画素の指定であってもよいし、複数画素の領域の指定、例えば、顔の部位の指定であってもよい。光沢及び陰影を示す値の指定は、値そのものの指定であってもよいし、値を決定又は調整するための情報の入力であってもよい。例えば、自動的に生成された各画素の光沢及び陰影を示す値に対する補正の指定を、管理者ユーザから受け付けることができる。

事前設定部２は、管理者ユーザからの指定に基づいて決定した光沢及び陰影の値を画像化して表示して、さらに指定を受け付けてもよい。これにより、管理者ユーザは、光沢及び陰影の状態を確認しながら、適切な値を設定することができる。図５は、図３に示す写真データに対して設定された光沢の値を示す画像の例を示す図である。図６は、図３に示す写真データに対して設定された陰影の値を示す画像の例を示す図である。これらの例では、光沢及び陰影を示す値が画像の濃淡で示されている。例えば、光沢の値、及び陰影の値は、０～１００のように階調値であってもよい。なお、図５及び図６に示す例では、光沢の値と、陰影の値が、それぞれ、独立して設定されているが、光沢及び陰影の値を１つの値で設定されてもよい。一例として、光沢の値は、光沢の度合いが大きいほど白に近い色を示す値とすることができる。同様に、陰影の値は、陰影の度合いを大きいほど黒に近い値とすることができる。このように、光沢陰影データは、写真データに対して固有の光沢及び陰影を示す値を含む。異なる写真データには、異なる光沢陰影データが生成される。

事前設定部２は、顔の部位ごとに、光沢及び陰影の調整の度合いを、管理者ユーザから受け付け、部位ごとの光沢及び陰影の調整の度合いを示す部位調整情報を、光沢陰影データに含めてもよい。発明者らは、光沢及び陰影の値を、顔の部位ごとに調整することで、適切な光沢及び陰影を設定できることを見出した。例えば、化粧を施すことによる光沢及び陰影の変化は、額、鼻筋、鼻周辺、唇、口周辺、頬、眉、眉周辺、等の部位によって微妙に異なる。部位ごとに光沢及び陰影の調整を受け付けることで、部位に応じた適切な光沢及び陰影を設定することができる。

事前設定部２は、管理者ユーザから受け付け、特定のコスメについての光沢及び陰影の調整の度合いを受け付けてもよい。事前設定部２は、コスメについての光沢及び陰影の調整の度合いを示すコスメ調整情報を、光沢陰影データに含めることができる。化粧を施すことによる光沢及び陰影の変化は、化粧の種類（例えば、口紅、アイシャドウ、ファンデーション、マスカラ等）によって微妙に異なる。コスメごとに光沢及び陰影の調整を受け付けることで、コスメに応じた適切な光沢及び陰影の調整情報を設定することができる。

事前設定部２は、記録された写真データに対して、管理者ユーザの操作に基づいて、写真データにおけるマスク領域を決定し、マスクデータとして写真データに対応付けて記録してもよい。マスク領域は、メイクアップできない領域、例えば、背景、目、髪等の領域に設定される。図４は、図３に示す写真データに対して設定されるマスクデータの例を示す図である。

管理者ユーザから、マスク領域の指定を受け付けることができる。事前設定部２は、例えば、写真データを画像処理して自動的に決定したマスク領域に対する補正の指定を管理者ユーザから受け付けてもよい。これにより、より正確にマスク領域を設定できる。また、マスク領域におけるマスクの度合いの指定を、管理者ユーザから受け付け、指定に基づいて、マスク領域の各位置におけるマスク度合いを示す値を決定することもできる。

図１を参照し、写真データ決定部３は、ユーザの操作に基づいて、記録部１０に予め記録された写真データを決定する。写真データ決定部３は、ユーザから、バーチャルメイクアップに用いる写真データの指定を受け付ける。写真データ決定部３は、記録部１０に記録された複数の写真データを選択可能な態様でユーザに対して表示してもよい。これにより、ユーザは、例えば、選択可能な写真データから対象とするものを選択することができる。写真データ決定部３は、ユーザの指定に基づき決定した写真データを、ユーザ端末２１のディスプレイに表示させる。

また、写真データ決定部３は、例えば、トレーニング属性の指定を受け付け、指定されたトレーニング属性に関連する写真データをユーザに対して選択可能な態様で表示することができる。トレーニング属性は、メイクアップのトレーニングの内容に関する情報であり、例えば、課題、目標、目的、科目、レベル、検定、試験、等を示す情報である。記録部１０において、写真データは、トレーニング属性に対応付けて記録されてもよい。写真データ決定部３は、ユーザから指定されたトレーニング属性に対応する写真データを抽出し、選択を受け付けることができる。例えば、ユーザがある課題を指定した場合に、その課題に対応付けられた複数の写真データが選択可能な態様で表示されてもよい。

また、写真データ決定部３でユーザから指定されたトレーニング属性に応じて、メイク受付部５がユーザから受け付けるコスメ及びツールの選択、又は、前記表示された写真データの顔に対するメイク位置の指定の範囲が決定されてもよい。これにより、トレーニングの目的又は目標に応じたメイク操作の受付が可能になる。例えば、トレーニングとしてユーザが指定した課題に応じて、選択可能なコスメ及びツールの少なくとも１つを変えることで、課題に応じたメイク操作の受付が可能になる。

光沢陰影データ取得部４は、写真データ決定部３で決定された写真データに予め対応付けて記録された光沢陰影データを取得する。なお、光沢陰影データは、上記のように、事前設定部２により写真データに対応付けられて記録部１０に記録されている。光沢陰影データ取得部４は、記録部１０から、対応する光沢陰影データを読み出し、描画部６が参照可能な状態にする。写真データは、写真データに固有の光沢陰影データと対応付けられて記録される。この対応付けの態様は、特に限定されないが、例えば、データの格納場所、パス、ファイル名、又は、ポインタその他アクセス情報により、両者を対応づけることができる。

メイク受付部５は、ユーザから、コスメ及びツールの選択、及びメイク操作を受け付ける。メイク受付部５は、ユーザ端末２１のユーザインタフェースを介して、ユーザからのコスメ及びツールの選択及びメイク操作を受け付ける。メイク受付部５は、コスメ及びツールを選択可能な態様で表示する。選択可能なコスメ及びツールは、予め記録部１０に記録される。また、メイク受付部５は、メイク操作として、写真データ決定部３で決定され、ディスプレイに表示された写真データの顔に対するメイク位置の指定を受け付ける。

描画部６は、ユーザが選択したコスメ及びツールと、メイク操作で指定された位置に基づいてストローク画像を生成し、写真データに重ねて描画する。メイク操作で指定された位置に対するストローク画像の範囲は、ユーザが選択したコスメ及びツールに応じて決定される。写真データに重ねて描画するストローク画像の色は、ストローク画像に対応する位置の写真データが示す顔の色、及び、選択されたコスメ、及び光沢陰影データが示す対応する位置における光沢及び陰影を示す値に基づいて決定される。例えば、描画部６は、コスメ、ツール及び写真データの顔の色に応じて決まるストローク画像の各画素の階調値を、光沢陰影データが示す各画素の光沢及び陰影を示す値を用いて補正する。

このように、予め写真データに対応付けて記録された光沢陰影データを用いて、ストローク画像の色を決定することで、描画部６が、複雑な処理をしなくても、適切な光沢及び陰影を表現するストローク画像の色を決定することができる。例えば、描画時に、写真データにおける画素の分布を基づいて、各画素の光沢及び陰影の度合いを演算する等といった処理を実行しなくても、適切な光沢及び陰影を付与できる。

光沢陰影データは、顔の部位ごとに設定された部位調整情報をさらに含んでもよい。この場合、描画部６は、部位調整情報をさらに用いて、ストローク画像の色を決定する。部位調整情報は、部位ごとに調整された光沢及び陰影を示す値を提供する。部位調整情報のデータ形式は、特に限定されないが、例えば、テーブル、マップ、配列等の部位ごとの光沢及び陰影を示す値の集合であってもよいし、数式、関数その他、部位ごとに調整された値を返すプログラムであってもよい。

光沢陰影データは、コスメに対して設定されたコスメ調整情報をさらに含んでもよい。この場合、描画部６は、コスメ調整情報をさらに用いて、ストローク画像の色を決定する。コスメ調整情報は、コスメごとに調整された光沢及び陰影を示す値を提供する。コスメ調整情報のデータ形式は、特に限定されないが、例えば、テーブル、マップ、配列等のコスメごとの光沢及び陰影を示す値の集合であってもよいし、数式、関数その他、コスメごとに調整された値を返すプログラムであってもよい。

描画部６で生成されたストローク画像は、写真データに対応付けられて記録部１０に記録される。ストローク画像が対応付けられた写真データは、メイク済み写真データとなる。例えば、ユーザ操作に基づく複数のストローク画像を含むメイクレイヤデータが、写真データと対応付けて記録される。メイクレイヤデータと、写真画像を合成することで、バーチャルメイクアップを施した顔の写真データが得られる。

評価部７は、評価者ユーザ端末２３のディスプレイに、ストローク画像を含む写真データを表示し、評価者ユーザから、ストローク画像で表されるメイクの評価を受け付ける。評価部７は、評価者ユーザから、評価対象のメイク済み写真データの指定を受け付ける。評価部７は、指定されたメイク済み写真データを記録部１０から取得し、ディスプレイに表示する。この時、ストローク画像が合成された写真データが表示される。評価部７は、評価者ユーザから受け付けた評価を示すデータを、メイク済み写真データに対応付けて、記録部１０に記録する。評価を示すデータは、メイク済み写真データに対してバーチャルメイクアップを行ったユーザのユーザ端末からアクセス可能であってもよい。

評価部７は、表示したメイク済み写真データに対する添削操作を評価者ユーザから受け付けてもよい。添削操作は、例えば、既存のストローク画像に対する修正操作であってもよいし、新たなストローク画像の追加であってもよい。ストローク画像に対する修正操作は、例えば、ストローク画像の基になったコスメ又はブラシの変更、或いは、ストローク画像の位置の変更等が含まれてもよい。

（事前設定部の動作例）
図７は、事前設定部２の動作例を示すフローチャートである。図７に示す例では、事前設定部２は、マスクデータを作成する（Ｓ１）。事前設定部２は、写真データに対して顔認識処理を実行し、顔以外の領域、目の領域、及び、髪の領域を特定し、これらをマスク領域に決定する。マスク領域の各位置には、マスク度合いを示す値が設定されてもよい。例えば、マスク領域の縁に近い領域では、マスク度合いを低く設定することができる。また、事前設定部２は、管理者ユーザから、マスク領域及びマスク度合いの指定を受け付け、指定に基づいて、マスク領域及びマスク度合いを決定してもよい。例えば、図３に示す写真データに対して、図４に示すようなマスク領域が設定される。

事前設定部２は、光沢データを作成する（Ｓ２）。事前設定部２は、例えば、写真データの顔の領域における画素値に基づき、各画素の光沢の度合いを示す値を自動的に計算する。例えば、各画素の明るさを示す明度を計算し、明度に基づいて、各画素の光沢の度合いを示す値を決定することができる。例えば、図３に示す写真データに対して、図５に示すような光沢の度合いを示す値が設定される。

事前設定部２は、陰影データを作成する（Ｓ３）。事前設定部２は、例えば、写真データの顔の領域における画素値に基づき、各画素の陰影の度合いを示す値を自動的に計算する。例えば、各画素の明るさを示す明度を計算し、明度に基づいて、各画素の陰影の度合いを示す値を決定することができる。例えば、図３に示す写真データに対して、図６に示すような光沢の度合いを示す値が設定される。

事前設定部２は、管理者ユーザ操作に基づいて、部位ごとに光沢陰影データを調整する（Ｓ４）。Ｓ４では、まず、管理者ユーザから部位の選択を受け付ける。例えば、事前設定部２は、図４に示す各位置の光沢の度合いを表す画像を表示し、画像における部位を管理者ユーザが選択できるようにする。部位が選択されると、事前設定部２は、選択された部位に対する調整度合いの入力を受け付ける。例えば、部位ごとの光沢度合いを調整するためのスライダ等が表示される。スライダは、光沢と陰影のそれぞれについて表示されてもよい。これにより、光沢の部位ごとの調整と、陰影の部位ごとの調整をそれぞれ独立して受け付けることができる。管理者ユーザは、部位ごとに表示されるスライドを操作して、調整度合いを指定することができる。管理者ユーザが調整を決定する操作をすると、調整度合いを示すパラメータが、光沢陰影データに含められて、記録部１０に記録される。

事前設定部２は、管理者ユーザ操作に基づいて、コスメごとに光沢陰影データを調整する（Ｓ５）。Ｓ５では、まず、管理者ユーザからコスメ選択を受け付ける。例えば、事前設定部２は、記録部１０に記録されたユーザが選択可能なコスメを、表示して、コスメの選択を受け付ける。コスメが選択されると、事前設定部２は、選択されたコスメに対する調整度合いの入力を受け付ける。例えば、コスメとの光沢度合いを調整するためのスライダ等が表示される。スライダは、光沢と陰影のそれぞれについて表示されてもよい。これにより、光沢のコスメごとの調整と、陰影のコスメごとの調整をそれぞれ独立して受け付けることができる。管理者ユーザは、コスメごとに表示されるスライドを操作して、調整度合いを指定することができる。管理者ユーザが調整を決定する操作をすると、調整度合いを示すパラメータが、光沢陰影データに含められて、記録部１０に記録される。

なお、事前設定部２は、写真データの任意の位置における光沢及び陰影を示す値の調整を、管理者ユーザから受け付けてもよい。すなわち、事前設定部２は、位置の指定と、その位置における光沢及び陰影の調整の指定を、管理者ユーザから受け付けてもよい。例えば、図５又は図６に示す画像において、管理者ユーザが選択した領域について、光沢又は陰影の調整を受け付けてもよい。

図８は、部位ごとの調整度合い及びコスメごとの調整度合いを示すデータの例を示す図である。図８のテーブルＴ１は、部位ごとの光沢及び陰影の値のそれぞれの調整度合いを示す値を記録している。テーブルＴ２は、コスメごとの光沢及び陰影の値のそれぞれの調整度合いを示す値を記録している。このように、部位ごとの調整値及びコスメ毎の調整値をそれぞれ独立して記録してもよい。テーブルＴ３は、変形例である。テーブルＴ３に示す例では、部位及びコスメの組み合わせに対して光沢及び陰影の調整値が定義されている。

図７を参照し、事前設定部２は、ブラシデータを設定する（Ｓ６）。ブラシデータは、ユーザから受け付けたメイク操作の軌跡に対して、どのような範囲でストローク画像を描画するかを示すデータである。すなわち、ブラシデータは、メイク操作で入力された軌跡と描画するストローク画像との関係を示す。Ｓ６において、事前設定部２は、管理者ユーザから、コスメ及びツールの組み合わせの指定を受け付ける。事前設定部２は、指定されたコスメ及びツールの組み合わせに対するブラシデータの選択をさらに、受け付ける。管理者ユーザは、コスメ及びツールの組み合わせについて、ブラシデータを設定することができる。ブラシデータは、記録部１０に記録される。

（ユーザ端末の動作例）
図９は図２に示すユーザ端末２１の動作例を示すフローチャートである。図１０は、図９に示すフローにおけるユーザ端末２１の画面遷移の例を示す図である。図９に示す例では、写真データ決定部３が、写真データを決定する（Ｓ１１）。写真データ決定部３は、ユーザ端末２１に、写真データの候補を選択可能な状態で表示する。図１０の画面Ｇ１では、モデルＡ～Ｃの４人の写真のアイコンＡ１が選択可能に表示される。ユーザは、アイコンＡ１を選択することで、バーチャルメイクアップの対象となる写真データを指定する。

なお、写真データ決定部３は、Ｓ１１において、ユーザから、トレーニング属性の指定を受け付けてもよい。例えば、ユーザが、トレーニング属性として、課題「フェミニンメイク」を選択すると、課題に沿って画面遷移が進行する。例えば、課題「フェミニンメイク」に対応して、メイク受付部５がユーザから受け付ける部位、コスメ及び色の少なくとも１つの選択の幅が調整されてもよい。この場合、予め、記録部１０に、トレーニング属性と、選択の幅との対応を示すデータが記録されてもよい。このデータに基づいて、ユーザが指定したトレーニング属性に応じた選択の幅を決定することができる。

図９のＳ１２において、光沢陰影データ取得部４は、光沢陰影データを記録部１０から取得する。Ｓ１３において、メイク受付部５は、ユーザから、コスメ及びツールの選択を受け付ける。図１０に示す例では、メイク受付部５は、コスメの選択に先立って、部位の選択を受け付ける。画面Ｇ２では、部位を示すアイコンＡ２が選択可能な状態で表示される。ユーザは、アイコンＡ２を選択することで、部位を選択できる。なお、アイコンの代わりに、写真データの顔の各部位の部分を選択できるようにしてもよい。画面Ｇ３では、コスメのアイコンＡ３が選択可能な状態で表示される。ここでは、画面Ｇ２で選択された部位に対してメイクを行うためのコスメのアイコンＡ３が表示される。

図９のＳ１４においてメイク受付部５は、Ｓ１３で選択されたコスメの化粧に用いるツールの選択を受け付ける。図１０の画面Ｇ４では、ツールのアイコンＡ４が選択可能な状態で表示される。画面Ｇ４では、前の画面Ｇ３で選択されたコスメに用いることができるツールのアイコンＡ４が表示される。また、画面Ｇ４では、前の画面Ｇ３で選択されたコスメの色を選択するためのアイコンＡ５が表示される。なお、色の選択は、画面Ｇ３で受け付けてもよい。

図９のＳ１５において、メイク受付部５は、メイク操作を受け付ける。メイク操作は、ユーザ端末２１の画面に表示された写真データの顔の領域内の位置の指定を含む。図１１は、ユーザが、メイク操作を行う様子の一例を示す図である。ユーザは、ペン等の入力デバイスで、ディスプレイに表示された顔の領域を指定することで、メイクアップをしたい位置を指定することができる。ユーザが指定した位置は、軌跡データとしてメイク受付部５に取り込まれる。

図９のＳ１６において、描画部６は、Ｓ１３及びＳ１４でユーザが選択したコスメ及びツールと、Ｓ１５のメイク操作でユーザが指定した位置に基づいて、ストローク画像を生成し、写真データに重ねて描画する。本例では、描画部６は、ユーザが選択したコスメ及びツールに応じたブラシを決定する。描画部６は、ユーザがメイク操作で指定した位置の軌跡に対してブラシで決定される範囲のストローク画像を生成する。ストローク画像の色は、画面Ｇ４で選択されたコスメの色に基づき決定される。すなわち、描画部６は、ユーザに選択されたコスメ及びツールによりブラシを決定し、軌跡に対するストローク画像の形状を決定する。例えば、予め記録部１０に記録した、ブラシと、コスメ及びツールとの対応関係を示すデータに基づいて、ユーザの選択したコスメ及びツールに応じたブラシを決定することができる。ストローク画像の色は、ユーザに選択された色により決定される。このように、ユーザのコスメ及びツールの選択に基づき決定されたブラシと、選択された色の組み合わせに応じたストローク画像が生成される。

描画部６は、Ｓ１２で取得した光沢陰影データを、ストローク画像の色に光沢及び陰影の効果を適用する。具体例として、下記の４つの値を用いることにより、ストローク画像の各位置（例えば各画素）の色を決定することができる。これにより、光沢陰影の効果が適用されたストローク画像が得られる。
・ストローク画像の色（ユーザにより選択された色に基づく色）の値
・光沢陰影データが示す光沢及び陰影を示す値
・部位ごとの光沢陰影の調整値
・コスメごとの光沢陰影の調整値

上記の光沢陰影データの値、部位ごとの調整値、及びコスメ事の調整値は、Ｓ１１において、ユーザの操作に基づいて写真データを決定した時には、すでに決まっている値である。このように、写真データ決定時にすでに決められている光沢陰影データ及びその調整情報を用いて、ストローク画像に、光沢及び陰影の効果が適用される。これにより、処理の複雑化を避けつつ、適切な光沢及び陰影を表現することが可能になる。

例えば、ストローク画像の各画素について、ストローク画像の色の値に対して、部位ごと調整値及びコスメごとの調整値で調整された光沢及び陰影を示す値を用いて所定の演算を施すことで、光沢陰影の効果が適用された画素の色を決定することができる。所定の演算としては、例えば、乗算であってもよいし、加算であってもよい。ここで、乗算は、画素値がＲＧＢの値で表される場合、（ストローク画像の画素値×光沢陰影を示す値／２５５）の演算とすることができる。加算は、（ストローク画像の画素値＋光沢陰影を示す値）の演算とすることができる。ストローク画像の各位置の色の計算は、上記例に限定されない。乗算及び加算以外の演算が採用されてもよい。また、演算に用いられる画素値は、ＲＧＢの他、明度、彩度及び色合いを示す値その他の階調値で表されてもよい。

図１２（ａ）は、光沢陰影の効果が反映される前のストローク画像の例を示し、図１２（ｂ）は、光沢陰影データによる光沢陰影の効果が適用されたストローク画像の例を示す。このように、光沢陰影データで予め設定された適切な光沢及び陰影の効果がストローク画像に適用される。

描画部６は、メイクレイヤに最新のストローク画像を合成することで、メイクレイヤを更新する。この合成は、例えば、主に、加算によって実行することができる。描画部６は、さらに、メイクレイヤをマスクデータでマスクする。描画部６は、写真データの画像にメイクレイヤを合成し、合成した結果を画面に表示する。例えば、写真データの各位置（各画素）の値に対して、メイクレイヤの対応する位置の値を用いて所定の演算を施すことで合成画像が得られる。この合成の演算は、例えば、主に乗算によって実行することができる。図１３は、図１２に示すストローク画像を含むメイクレイヤ合成が、図３に示す写真データに合成された画像の例を示す。

このように、予め写真データに対応して準備された光沢陰影データを用いて、光沢及び陰影の値をストローク画像に適用することで、簡単な処理で、適切な光沢及び陰影の効果を付与すること可能になる。

（評価部の動作例）
図１４は、評価部７の動作例を示すフローチャートである。図１５は、図１４に示すフローにおける画面遷移の例を示す図である。図１４に示す例では、評価部７は、評価対象の写真データを決定する（Ｓ２１）。評価部７は、評価者ユーザ端末２３のディスプレイに評価対象の写真データの選択を受け付ける画面を表示する。図１５の画面Ｇ５では、評価対象者であるユーザＡ６の一覧が表示される。各ユーザについて、ユーザが作成したメイク済み写真データのアイコンＡ７が表示されてもよい。評価者ユーザが、アイコンＡ７を指定すると、評価部７は、記録部１０から、指定されたメイク済み写真データを取得して、評価者ユーザ端末２３のディスプレイに表示する。

図１５の画面Ｇ６は、メイク済み写真データが表示される画面例である。写真データは、メイクレイヤが重ねて描画された状態で表示される。メイクレイヤには、ユーザのメイク操作に基づくストローク画像が含まれる。画面Ｇ６には、写真データの他、写真データに写るモデルを示す情報、課題等のトレーニング属性を示す情報等が表示されてもよい。

図１４のＳ２２において、評価部７は、評価者ユーザから、評価の入力を受け付ける。評価の入力形態は、特に限定されないが、例えば、点数の入力、コメントテキストの入力等である。

Ｓ２３において、評価部７は、評価者ユーザから、添削操作を受け付ける。添削操作は、評価者ユーザによる写真データにおける位置の指定、及び指定された位置に対する添削内容の指定を含む。評価部７は、指定された位置にあるストローク画像に対する変更操作を受け付けることができる。或いは、評価部７は、指定された位置に基づくストローク画像を追加することができる。評価者の添削操作により変更又は生成されるストローク画像は、ユーザのストローク画像のメイクレイヤとは異なるメイクレイヤに追加されてもよい。これにより、ユーザのメイク操作によるメイクの状態と、評価者ユーザの添削操作によるメイクの状態を切り替えて表示することが可能になる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限られない。

１：メイクアップシミュレーションシステム、２：事前設定部２、３：写真データ決定部、４：光沢陰影データ取得部、５：メイク受付部、６：描画部、７：評価部

Claims (9)

1. ユーザの操作に基づいて、予め記録されたメイク対象の顔が含まれる写真データを決定し、ディスプレイに表示させる写真データ決定部と、
   前記ユーザの操作に基づいて決定された前記写真データに予め対応付けて記録され、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値であって、前記写真データに固有の光沢及び陰影を示す値を含む光沢陰影データを取得する光沢陰影データ取得部と、
   前記ユーザから、コスメ及びツールの選択、及び前記表示された写真データの顔に対するメイク位置の指定を含むメイク操作を受け付けるメイク受付部と、
   前記ユーザが選択したコスメ及びツールと、前記メイク操作で指定された位置に基づいてストローク画像を生成し、前記写真データに重ねて描画する描画部とを備え、
   前記描画部は、前記ストローク画像に対応する位置の前記写真データが示す顔の色、及び、前記選択されたコスメに加えて、前記光沢陰影データで示される、前記ストローク画像に対応する位置における光沢及び陰影を示す値を用いて、前記写真データに重ねて描画される前記ストローク画像の色を決定する、メイクアップシミュレーションシステム。
2. 前記光沢陰影データは、前記顔の部位ごとに設定された部位調整情報をさらに含み、
   前記描画部は、前記部位調整情報をさらに用いて、前記ストローク画像の色を決定する、請求項１に記載のメイクアップシミュレーションシステム。
3. 前記光沢陰影データは、前記ユーザが選択可能なコスメに対して設定されたコスメ調整情報をさらに含み、
   前記描画部は、前記コスメ調整情報をさらに用いて、前記ストローク画像の色を決定する、請求項１又は２に記載のメイクアップシミュレーションシステム。
4. 前記予め記録された写真データに対して、管理者ユーザの操作に基づいて、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値を決定し、前記光沢陰影データとして前記写真データに対応付けて記録する事前設定部をさらに備える、請求項１～３のいずれか１項に記載のメイクアップシミュレーションシステム。
5. 前記事前設定部は、顔の部位ごとに、前記光沢及び陰影の調整の度合いを、前記管理者ユーザから受け付け、部位ごとの前記光沢及び陰影の調整の度合いを示す部位調整情報を、前記光沢陰影データに含める、請求項４に記載のメイクアップシミュレーションシステム。
6. 前記事前設定部は、前記ユーザが選択可能なコスメごとに、前記光沢及び陰影の調整の度合いを、前記管理者ユーザから受け付け、コスメごとの前記光沢及び陰影の調整の度合いを示すコスメ調整情報を、前記光沢陰影データに含める、請求項４又は５に記載のメイクアップシミュレーションシステム。
7. 前記ストローク画像を含む前記写真データを表示し、評価者ユーザから、前記ストローク画像で表されるメイクの評価を受け付ける評価部をさらに備える、請求項１～６のいずれか１項に記載のメイクアップシミュレーションシステム。
8. コンピュータが、ユーザの操作に基づいて、予め記録されたメイク対象の顔が含まれる写真データを決定し、ディスプレイに表示させる写真データ決定工程と、
   前記コンピュータが、前記ユーザの操作に基づいて決定された前記写真データに予め対応付けて記録され、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値であって、前記写真データに固有の光沢及び陰影を示す値を含む光沢陰影データを取得する光沢陰影データ取得工程と、
   前記コンピュータが、前記ユーザから、コスメ及びツールの選択、及び前記表示された写真データの顔に対するメイク位置の指定を含むメイク操作を受け付けるメイク受付工程と、
   前記コンピュータが、前記ユーザが選択したコスメ及びツールと、前記メイク操作で指定された位置に基づいてストローク画像を生成し、前記写真データに重ねて描画する描画工程と有し、
   前記描画工程において、前記コンピュータは、前記ストローク画像に対応する位置の前記写真データが示す顔の色、及び、前記選択されたコスメに加えて、前記光沢陰影データで示される、前記ストローク画像に対応する位置における光沢及び陰影を示す値を用いて、前記写真データに重ねて描画される前記ストローク画像の色を決定する、メイクアップシミュレーション方法。
9. ユーザの操作に基づいて、予め記録されたメイク対象の顔が含まれる写真データを決定し、ディスプレイに表示させる写真データ決定処理と、
   前記ユーザの操作に基づいて決定された前記写真データに予め対応付けて記録され、前記写真データに含まれる顔の各位置の光沢及び陰影を示す値であって、前記写真データに固有の光沢及び陰影を示す値を含む光沢陰影データを取得する光沢陰影データ取得処理と、
   前記ユーザから、コスメ及びツールの選択、及び前記表示された写真データの顔に対するメイク位置の指定を含むメイク操作を受け付けるメイク受付処理と、
   前記ユーザが選択したコスメ及びツールと、前記メイク操作で指定された位置に基づいてストローク画像を生成し、前記写真データに重ねて描画する描画処理とを、コンピュータに実行させ、
   前記描画処理は、前記ストローク画像に対応する位置の前記写真データが示す顔の色、及び、前記選択されたコスメに加えて、前記光沢陰影データで示される、前記ストローク画像に対応する位置における光沢及び陰影を示す値を用いて、前記写真データに重ねて描画される前記ストローク画像の色を決定する処理を含む、プログラム。

Images