JP4404650B2 - 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム - Google Patents

Description

本発明は、顔画像を含むシミュレーション対象画像に対して仮想的に化粧を施す化粧シミュレーション技術に関するものである。

従来より、ペンタブレット等の入力装置と、市販のレタッチ画像処理ソフトウェア（例えば、アドビ社のフォトショップ等）がインストールされた市販のコンピュータとを用いて、ユーザからの描画指令を基に、ブラシで化粧を塗布するような描画処理を行い、顔の静止画像に対して仮想的に化粧を施す手法が知られている。

また、顔の動画像の各フレームに対し、口及び目の位置を検出し、検出した位置を基に、口紅、チーク等の化粧を施す領域を特定し、指定した領域に色を付すことにより、顔の動画像に対してリアルタイムに化粧シミュレーションを行なう技術が知られている（特許文献１）。
特開２００３−４４８３７号公報

しかしながら、上記静止画像に対して仮想的に化粧を施す手法では、作成されたシミュレーション画像は、単に顔画像上に領域が指定されて化粧の塗布領域（化粧要素画像）が定められているにすぎず、かかる画像を、同一人物で表情の異なる画像に適用する、あるいは、他人の画像に適用するというようなことはなされていなかった。

また、特許文献１の発明は、化粧要素画像を数式で定義し、顔の表情の変化に応じて、数式のパラメータを調整し、シミュレーション画像を得るものであるが、かかるパラメータの調整には数学及びプログラム等の専門的な知識が要求される。そのため、専門的な知識を有さない多少絵心のあるユーザが、簡略化された操作によりシミュレーション画像を得ることは困難であるという問題があった。また、化粧要素画像が自由曲線から構成される場合、パラメータの調整は非常に複雑となり、数学及びプログラミングの知識を有する熟練者であっても、パラメータの調整には、多大な労力がかかるという問題があった。さらに、化粧画像が数式で定義されているため、演算に時間多大なる時間がかかるという問題があった。さらに、化粧要素画像を数式で近似するという方式であるため、実際に化粧を塗布したような高品質な画像を得ることが困難であった。

本発明は、上記課題を解決するためになされたものであり、専門的な知識を有する者でなくとも、簡略化された操作により高品質かつ高速にシミュレーション画像を得ることができる化粧シミュレーションに関する技術を提供することを目的とする。

本発明にかかる化粧シミュレーション装置は、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段とを備え、前記第１の画像作成手段は、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、前記画像合成手段は、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする。

また、前記第２の画像作成手段は、各レイヤー画像の色成分及び前記シミュレーション対象画像の各々をＲＧＢ表色系からＨＳＶ表色系に変換し、変換された両色を式（Ａ）〜式（Ｃ）を用いて合成し、合成した画像をＨＳＶ表色系からＲＧＢ表色系に変換し、得られた画像を、前記第２の画像とすることが好ましい。
Ｈ_r＝Ｈ_c ・・・式（Ａ）
Ｓ_r＝０．８×Ｓ_f＋０．２×Ｓ_c ・・・式（Ｂ）
Ｖ_r＝０．８×Ｖ_f＋０．２×Ｖ_c ・・・式（Ｃ）
但し、Ｈ_c、Ｓ_c、Ｖ_cはレイヤー画像の色成分のＨＳＶ値を示し、Ｓ_f、Ｖ_fはシミュレーション対象画像の各画素のＨＳＶ値を示し、Ｈ_r、Ｓ_r、Ｖ_rは第２の合成対象画像の各画素のＨＳＶ値を示している。

また、顔の輪郭内部にメッシュが設定された初期メッシュを記憶する初期メッシュ記憶手段をさらに備え、前記初期メッシュの各頂点は、顔部品の輪郭上に位置する特徴頂点と、その他の浮動点とから構成され、前記メッシュ設定手段は、前記シミュレーション対象画像及び前記基準画像の各々から、前記顔部品の輪郭を抽出し、前記特徴頂点を、抽出した顔部品の輪郭上に移動させるとともに、前記初期メッシュの各頂点間の距離が保持されるように、前記浮動点を移動させ、前記シミュレーション対象画像及び前記基準画像の各々に、メッシュを設定することが好ましい。

また、前記画像変形手段は、前記初期メッシュの各頂点を、画像面と直交する高さ成分が付与された３次元データとし、前記浮動点には、一定の値の高さ成分を付与し、前記特徴頂点は、前記画像面上に位置させ、前記各頂点に対し、式（Ｄ）及び式（Ｅ）で示す演算を所定回数適用することにより前記浮動点を移動させることが好ましい。

但し、Ｐ_iベクトルは、メッシュの頂点の座標を示し、Ｐ_jベクトルは、Ｐ_iベクトルに隣接するメッシュの頂点の座標を示し、Ｐ_i´ベクトルは演算が施されたＰ_iベクトルを示し、Ｐ_j´ベクトルは演算が施されたＰ_jベクトルを示し、ｌ_ijはＰ_iベクトル及びＰ_jベクトルを結ぶ線分の長さを示し、λは定数値を示している。

また、前記シミュレーション対象画像は、動画像中の各フレーム画像であることが好ましい。

本発明にかかる化粧シミュレーション方法は、コンピュータが、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得ステップと、コンピュータが、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成ステップと、コンピュータが、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得ステップと、コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定ステップと、コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形ステップと、コンピュータが、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成ステップと、コンピュータが、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成ステップとを備え、前記第１の画像作成ステップは、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、前記画像合成ステップは、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする。

本発明にかかる化粧シミュレーションプログラムは、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段としてコンピュータを機能させ、前記第１の画像作成手段は、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、前記画像合成手段は、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする。

請求項１記載の発明によれば、ペンタブレット等の操作装置を用いて顔の静止画像上に化粧要素画像が描画された基準画像と、シミュレーション対象画像とが取得され、基準画像を構成する各レイヤー画像の透明度を基に、第１の画像が作成され、基準画像の顔領域及びシミュレーション対象画像の顔領域の各々に対してメッシュが設定され、両メッシュの各頂点の差分を基に、第１の画像中の化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第２の画像が作成され、第１の画像を基に、第２の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第１の画像及びシミュレーション対象画像が合成される。

したがって、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。

また、請求項１記載の発明によれば、透明度レイヤー画像の各画素の透明度が正規化されているため、画像合成手段は、レイヤー画像の順序が入れ替わっても、同一の画像を生成することができる。

請求項２記載の発明によれば、シミュレーション対象画像の明度・彩度をある程度維持したまま、化粧要素画像の色相を変更することができるため、化粧要素画像をシミュレーション対象画像上に自然な状態で表すことができる。

請求項３記載の発明によれば、初期メッシュの頂点同士の位置関係がバランスよく保持された状態で、基準画像及びシミュレーション対象画像にメッシュを設定することができる。

請求項４記載の発明によれば、初期メッシュの各頂点間の距離を保持しつつ、メッシュを構成するポリゴンの重なりの発生を防止することができる。

請求項５記載の発明によれば、動画像に対して化粧シミュレーションを実行することができる。

請求項６記載の発明によれば、ペンタブレット等の操作装置を用いて顔の静止画像上に化粧要素画像が描画された基準画像と、基準画像及びシミュレーション対象画像とが取得され、基準画像を構成する各レイヤー画像の透明度を基に、第１の画像が作成され、基準画像の顔領域及びシミュレーション対象の顔領域の各々に対してメッシュが設定され、両メッシュの各頂点の差分を基に、第１の画像中の化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第２の画像が作成され、第１の画像を基に、第２の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第１の画像及びシミュレーション対象画像が合成される。

したがって、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。

請求項７記載の発明によれば、ペンタブレット等の操作装置を用いて顔の静止画像上に化粧要素画像が描画された基準画像と、基準画像及びシミュレーション対象画像とが取得され、基準画像を構成する各レイヤー画像の透明度を基に、第１の画像が作成され、基準画像の顔領域及びシミュレーション対象画像の顔領域の各々に対してメッシュが設定され、両メッシュの各頂点の差分を基に、第１の画像中の化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第２の画像が作成され、第１の画像を基に、第２の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第１の画像及びシミュレーション対象画像が合成される。

したがって、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。

以下、本発明の一実施の形態による化粧シミュレーション装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による化粧シミュレーション装置のハードウェア構成を示すブロック図である。

図１に示す化粧シミュレーション装置は、通常のコンピュータ等から構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６及び記録媒体駆動装置７を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータが入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。

入力装置１は、キーボード、マウス及びペンタブレット等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。

ＲＯＭ２は、ＢＩＯＳ（Basic Input/Output System）等のシステムプログラム等を記憶する。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。

外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Operating System）及び後述する化粧シミュレーションプログラム等を記憶する。

表示装置６は、液晶表示装置、ＣＲＴ（陰極線管）等から構成され、ＣＰＵ３の制御の下、種々の画像を表示する。

記録媒体駆動装置７は、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。本実施形態では、化粧シミュレーションプログラムを記録する、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体８を、記録媒体駆動装置７に装填し、インストールすることにより、化粧シミュレーションプログラムを外部記憶装置５に格納している。

なお、インターネット上に接続されたＷＥＢサーバに化粧シミュレーションプログラムを記憶させておき、ＷＥＢサーバからその化粧シミュレーションプログラムをダウンロードすることにより、コンピュータに化粧シミュレーションプログラムをインストールしてもよい。さらに、コンピュータに顔の動画像を取得させ、ＷＥＢサーバに送信し、ＷＥＢサーバ上で化粧シミュレーションの処理を実行し、その処理結果をパーソナルコンピュータに送信するというように、ＷＥＢサーバとコンピュータとで化粧シミュレーションプログラムを分散して実行させてもよい。

動画カメラ１０は、入出力インターフェイス（Ｉ／Ｆ）９を介してバスラインに接続され、例えばＣＣＤエリアセンサにより、種々の動画像を所定のフレームレートで取得し、コンピュータに出力する。

静止画カメラ１１は、入出Ｉ／Ｆ９を介してバスラインに接続され、例えばＣＣＤエリアセンサにより、種々の静止画像を取得し、コンピュータに出力する。

本化粧シミュレーション装置は、ユーザによって予め作成されたメイクパターン画像を基に、動画像に対して化粧シミュレーションを実行する化粧シミュレーションモードと、上記メイクパターン画像を作成するメイクパターン作成モードとを備えている。まず、化粧シミュレーションモードについて説明する。

（化粧シミュレーションモード）
図２は、本化粧シミュレーション装置の化粧シミュレーションモードの機能を示すブロック図を示している。メイクパターン画像記憶部１０１は、外部記憶装置５から構成され、メイクパターン作成モードにおいて作成された１又は複数種類のメイクパターン画像を記憶している。

メイクパターン画像は、Ｎ（Ｎは正の整数）階層からなるレイヤー画像と、顔が表示された背景画像とから構成されている。背景画像は、人間を静止画カメラ１１で撮影することで取得された画像である。レイヤー画像には、１種類の化粧要素画像が含まれる。ここで、化粧要素画像とは、口紅、チーク、アイシャドウ等、各化粧要素の形状及び色等が表された画像を示す。化粧要素画像は、入力装置１を操作することにより、ユーザによって仮想的に描画された画像である。メイクパターン作成モードでは、１種類の化粧要素画像が作成される毎に１つのレイヤー画像が作成されるため、レイヤー画像には１種類の化粧要素画像が含まれる。また、メイクパターン作成モードでは、１種類の化粧要素画像に対して、１色の色が設定される。

レイヤー画像は、Ｒ（赤），Ｇ（緑），Ｂ（青）値からなる色成分と、背景画像に対する各画素の透明度が示された透明度成分とから構成されている。１種類の化粧要素画像は、１色から構成されているため、１枚のレイヤー画像の色成分は、全画素において同じＲ，Ｇ，Ｂ値を有している。すなわち、１枚のレイヤー画像の色成分は、１種類のＲ，Ｇ，Ｂ値により表される。

透明度は、背景画像に対するレイヤー画像の表示の混合率を示すものである。最大値１では、レイヤー画像のみが表示され背景画像は表示されない。また、最小値０では、レイヤー画像が表示されず、背景画像のみが表示される。すなわち、ｉ（１≦ｉ≦ｎ）番目のレイヤー画像のある画素の透明度をａ_iとするとき、背景画像の透明度は、１−ａ_iとなる。なお、透明度は、ユーザによる化粧要素画像の描画時のペンタブレットの軌跡や筆圧等に応じて設定される。

背景画像は、Ｒ，Ｇ，Ｂ値からなる色成分から構成されている。背景画像は、画素毎に色が異なるため、背景画像の色成分は、レイヤー画像とは異なり、画素毎に異なるＲ，Ｇ，Ｂ値を有している。背景画像自身は、透明度を有さないが、レイヤー画像の透明度によって、背景画像の透明度が規定される。

操作部１０２は、入力装置１から構成され、ユーザが種々の操作指令を入力するために用いられる。

初期設定部１０３は、ＣＰＵ３から構成され、操作部１０２を介して入力されたユーザからの操作指令を基に、メイクパターン画像記憶部１０１に記憶された複数種類のメイクパターン画像の中から、化粧シミュレーションに使用する１種類のメイクパターン画像を決定し、当該メイクパターン画像を使用メイクパターン画像として、使用メイクパターン画像記憶部１０４に記憶させる。また、使用メイクパターン画像のうち、いずれか１又は複数のレイヤー画像を削除する指令が行なわれた場合、使用メイクパターン画像から当該レイヤー画像を削除し、使用メイクパターン画像を更新する。また、使用メイクパターン画像のうち、いずれか１又は複数枚のレイヤー画像に対し、色の指定が行なわれた場合、当該レイヤー画像の色成分の値を指定された色の値に変更し、使用メイクパターン画像を更新する。以下、使用化粧パターン画像は、ｎ（ｎ≦Ｎ）枚のレイヤー画像からなるものとする。

使用メイクパターン画像記憶部１０４は、ＲＡＭ４から構成され、使用メイクパターン画像を記憶する。

透明度レイヤー画像作成部１０５は、ＣＰＵ３から構成され、各レイヤー画像の透明度成分を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。レイヤー画像は、画素毎に異なる透明度を有しているため、透明度レイヤー画像は、透明度によって濃淡表示された化粧要素画像を含む画像となる。

色レイヤー作成部１０６は、ＣＰＵ３から構成され、各レイヤー画像に設定された色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。各レイヤー画像の色成分は、１種類のＲ，Ｇ，Ｂ値から構成されるため、各色レイヤーは、１種類のＲ，Ｇ，Ｂ値から構成される。すなわち、色レイヤーは、Ｒ，Ｇ，Ｂ値からなるデータである。

透明度正規化部１０７は、ＣＰＵ３から構成され、透明度レイヤー画像作成部１０５によって作成された透明度レイヤー画像の各画素に対して、式（１）の演算を施すことにより各画素を正規化し、正規化透明度レイヤー画像を作成する。また、透明度正規化部１０７は、背景画像の各画素に対して、式（２）の演算を施すことにより、背景画像の透明度を正規化する。

但し、α_iはｉ階層目の透明度レイヤー画像の各画素の透明度を示し、β_iは正規化された透明度レイヤー画像の各画素の透明度を示し、γは正規化された背景画像の各画素の透明度を示し、式（１）及び式（２）の分母は１からｎ階層目までの透明度レイヤー画像の透明度の和を示している。

正規化透明度画像レイヤー記憶部１０８は、ＲＡＭ４から構成され、透明度正規化部１０７によって作成された正規化透明度レイヤー画像及び背景画像の透明度を記憶する。

色変換処理部１０９は、ＣＰＵ３から構成され、フレーム画像抽出部１１２によって動画像から抽出された１枚のフレーム画像の各画素のＲ，Ｇ，Ｂ値と、色レイヤーのＲ，Ｇ，Ｂ値とをＨＳＶ表色系に変換した後、式（３）〜式（５）に示す色変換処理を実行し、得られた画像をさらにＲ，Ｇ，Ｂ表色系に変換することにより、色変換レイヤー画像を作成する。なお、ＨＳＶ表色系は、各画素が色相（Ｈ）、彩度（Ｓ）及び強度（Ｖ）の成分で表される表色系である。
Ｈ_r＝Ｈ_c ・・・式（３）
Ｓ_r＝０．８×Ｓ_f＋０．２×Ｓ_c ・・・式（４）
Ｖ_r＝０．８×Ｖ_f＋０．２×Ｖ_c ・・・式（５）
但し、Ｈ_c、Ｓ_c、Ｖ_cは色レイヤーのＨ，Ｓ，Ｖ値を示し、Ｓ_f、Ｖ_fはフレーム画像１画素のＨ，Ｓ，Ｖ値を示し、Ｈ_r、Ｓ_r、Ｖ_rは色変換処理後の各画素のＨＳＶ値を示している。なお、色レイヤーはｎ階層からなるため、作成される色変換レイヤー画像はｎ階層からなる。

色変換レイヤー画像記憶部１１０は、ＲＡＭ４から構成され、色変換処理部１０９によって作成されたｎ階層からなる色変換レイヤー画像を記憶する。

動画像取得部１１１は、動画カメラ１０から構成され、人間の顔の動画像を取得する。被写体となる人間は、化粧シミュレーションが適用される人間であり、使用メイクパターン画像のモデルとなる人間と同一人であってもよいし、別人であってもよい。

フレーム画像抽出部１１２は、動画像取得部１１１によって取得された動画像から１枚のフレーム画像を順次抽出する。

特徴量抽出部１１３は、ＣＰＵ３から構成され、使用メイクパターン画像記憶部１０４に記憶された使用メイクパターン画像から、顔の特徴量を抽出する。なお、特徴量とは、目、眉頭、目頭、目尻、鼻及び口等の特徴点と、顔、眉、目及び口の輪郭を表す特徴エッジと、肌、髪、背景の各領域を示す特徴クラスタ画像とが含まれる。これら特徴点、特徴エッジ及び特徴クラスタの抽出手法は、本出願人が出願した特開２００３−４４８３７号公報に開示されているため、説明を省略する。

特徴量抽出部１１４は、ＣＰＵ３から構成され、特徴量抽出部１１３と同様にして、フレーム画像抽出部１１２によって抽出されたフレーム画像の特徴量を抽出する。

初期メッシュ記憶部１１５は、外部記憶装置５から構成され、人間の顔の輪郭内部にメッシュを設定する際に用いられる初期メッシュを記憶する。この初期メッシュは、ある人間の顔画像に基づいて予め作成されたものであり、一部のメッシュの頂点が、当該人間の顔、眉、目及び口の各輪郭を示す特徴エッジ上に位置するように、顔の輪郭内部にメッシュの各頂点が設定されている。本実施形態では、メッシュを三角形のポリゴンで構成しているが、これに限定されず、四角形、五角形等のポリゴンを用いても良い。以下、初期メッシュにおいて、特徴量に一致するように設定されたメッシュの頂点を「特徴頂点」と称し、特徴頂点以外のメッシュの頂点を「浮動点」と称する。本実施形態では、初期メッシュは、シェアウェアであるメタセコイアを用いて作成した。

メッシュ設定部１１６は、ＣＰＵ３から構成され、初期メッシュの特徴頂点を、使用メイクパターン粧画像から抽出された特徴エッジ上の対応する位置（移動対象位置）に移動させた後、初期メッシュの各頂点間の距離を一定に保ち（長さ制約）、かつ、メッシュを構成するポリゴンの重なりが生じないという制約条件を満たすように、上記特徴頂点の移動量に応じて、浮動点を移動させ、使用メイクパターン粧画像の顔の輪郭内部にメッシュを設定する。このメッシュの頂点の移動の詳細については後述する。

メッシュ設定部１１７は、ＣＰＵ３から構成され、初期メッシュ記憶部１１５に記憶された初期メッシュを、メッシュ設定部１１６と同一の手法により変形させ、フレーム画像中の顔の輪郭内部にメッシュを設定する。

座標計算部１１８は、ＣＰＵ３から構成され、フレーム画像に設定されたメッシュの各頂点と、使用メイクパターン画像に設定されたメッシュの各頂点とにおいて、対応する頂点同士の位置の差分から各頂点の差分ベクトルを算出し、座標変換テーブルを作成する。座標変換テーブルは、例えば、メッシュに含まれる全ての頂点と、各頂点の差分ベクトルとを対応づけて記憶している。

座標変換テーブル記憶部１１９は、ＲＡＭ４から構成され、座標計算部１１８によって作成された座標変換テーブルを記憶する。

化粧要素画像変形部１２０は、ＣＰＵ３から構成され、使用メイクパターン画像に設定されたメッシュを正規化透明度レイヤー画像に張り、座標変換テーブルを参照することにより、正規化透明度レイヤー画像に張られたメッシュの各頂点を、フレーム画像に設定された対応するメッシュの頂点の位置に移動させて正規化透明度レイヤー画像に張られたメッシュを変形させ、その変形量に応じて、メッシュを構成する各ポリゴン内の画像を変形させ、正規化透明度レイヤー画像中の化粧要素画像を変形させる。

画像合成部１２１は、ＣＰＵ３から構成され、化粧要素画像変形部１２０によって変形された化粧要素画像を含む正規化透明度レイヤー画像の各画素の透明度（上記β_i）を色変換レイヤー画像の各画素のα値とし、背景画像の正規化された各画素の透明度（上記γ）をフレーム画像のα値とし、αブレンディングにより、フレーム画像と、色変換レイヤー画像とを合成する。αブレンディングは、式（６）によって示される。

但し、Ｃ_rベクトルは、合成後のＲ，Ｇ，Ｂ値を示し、Ｃ_fベクトルはフレーム画像の各画素のＲ，Ｇ，Ｂ値を示し、Ｃ_iベクトルは色変換レイヤー画像の各画素のＲ，Ｇ，Ｂ値を示している。また、β_iは式（１）で表され、γは式（２）で表される。

表示部１２２は、表示装置６から構成され、画像合成部１２１によって合成された画像、すなわち、仮想的に化粧が施された顔の動画像を表示する。

なお、本実施形態では、透明度レイヤー画像作成部１０５及び透明度正規化部１０７及び正規化透明度レイヤー画像記憶部１０８が第１の画像作成手段に相当し、色レイヤー作成部１０６、色変換処理部１０９及び色変換レイヤー画像記憶部１１０が第２の画像作成手段に相当し、使用メイクパターン画像が基準画像に相当し、動画像がシミュレーション対象画像に相当し、特徴量抽出部１１３、特徴量抽出部１１４、初期メッシュ記憶部１１５、メッシュ設定部１１６及び初期メッシュ設定部１１７が、メッシュ設定手段に相当し、座標計算部１１８、座標変換テーブル記憶部１１９及び化粧要素画像変形部１２０がメッシュ変形手段に相当し、画像合成部１２１が画像合成手段に相当する。

次に、図３及び図４に示すフローチャートにしたがって、本化粧シミュレーション装置の動作について説明する。

まず、ステップＳ１において、初期設定部１０３は、ユーザによって選択された１種類のメイクパターン画像を使用メイクパターン画像として決定し、使用メイクパターン画像記憶部１０４に記憶させる。この場合、初期設定部１０３により、メイクパターン画像記憶部１０１に記憶されているメイクパターン画像の一覧画像が、表示部１２２に表示される。そして、ユーザによって、一覧画像の中からクリックされたメイクパターン画像が使用メイクパターン画像として決定される。

さらに、ユーザにより、使用メイクパターン画像のうち、いずれかのメイクパターン画像を化粧シミュレーションに使用しない指令がされると、当該レイヤー画像を使用メイクパターン画像から削除し、使用メイクパターン画像を更新する。このとき、更新された使用メイクパターン画像は、表示部１２２に表示される。また、化粧シミュレーションに使用するレイヤー画像のうち、いずれかのレイヤー画像に対する色の指定が行なわれた場合、当該レイヤー画像の色成分の値を指定された色の値に変更し、使用メイクパターン画像を更新する。このとき、更新された使用メイクパターン画像は、表示部１２２に表示される。ある化粧要素画像に対する色の変更は、まず、ユーザにより、表示部１２２に表示された使用メイクパターン画像のうち、色の変更を希望する化粧要素画像をクリックさせて選択させる。そして、表示部１２２に表示された複数の色からなるカラーパレットの中から、いずれかの色がクリックされると、当該色が化粧要素画像の色として設定され、化粧要素画像の色が変更される。

ステップＳ２において、透明度レイヤー画像作成部１０５は、使用メイクパターン画像記憶部１０４から使用メイクパターン画像を読み出し、使用メイクパターン画像を構成するレイヤー画像の透明度成分から透明度レイヤー画像を作成する。

ステップＳ３において、色レイヤー作成部１０６は、使用メイクパターン画像記憶部１０４から使用メイクパターン画像を読み出し、使用メイクパターン画像を構成するレイヤー画像の色成分から色レイヤーを作成する。

ステップＳ４において、透明度レイヤー画像作成部１０５は、透明度レイヤー画像を式（１）を用いて正規化し正規化透明度レイヤー画像を作成するとともに、式（２）を用いて背景画像の透明度を正規化する。図５は、式（１）及び式（２）を説明するための図である。図５では、１〜ｎ番目のレイヤーに対応するグラフが示されており、各グラフは、透明度レイヤー画像の透明度と、対応する階層の背景画像の透明度との関係が示されている。例えば、レイヤー１のグラフにおいて右側の領域Ｒ１には、１階層目の透明度レイヤー画像の透明度が示され、左側の領域Ｒ２には、１階層目の背景画像の透明度が示されている。

各グラフの右側に示された数式は、１からｎ階層目までの透明度レイヤー画像の透明度α₁〜α_nの和に対する、各透明度レイヤー画像の透明度α_iの比率を示している。この比率を透明度α_iにかけあわせると上記式（１）が得られる。

また、グラフの右側に示された比率を背景画像の透明度１−α_iにかけあわせ、全レイヤーについての総和をとると、上記式（２）が得られる。そして、β_i及びγは、Σβ_i＋γ＝１の関係を有している。正規化する理由については後述する。但し、Σβ_i＝β₁＋β₂＋・・・＋β_nである。

図３に示すステップＳ５において、特徴量抽出部１１３は、使用メイクパターン画像から特徴量を抽出する。図６は、使用メイクパターン画像から抽出される特徴量を示した図である。図６に示すように、化粧要素画像ＭＥ１〜ＭＥ４が表示された使用メイクパターン画像から顔、眉、目及び口の輪郭を示す特徴エッジＥ１〜Ｅ４と、○で示す目頭、眉尻等の特徴点ＴＰと、髪、肌、背景の各領域を示す特徴クラスタＨＣ、ＳＣ、ＢＣとが抽出されていることが分かる。なお、特徴エッジＥ１〜Ｅ４としては、顔、眉、目及び口の輪郭に限定されず、他の顔部品、例えば鼻等の輪郭を特徴エッジとしてもよいし、上記４種類の特徴エッジＥ１〜Ｅ４のうち、いずれかの特徴エッジを省いてもよい。図６では、目に関しては、目の上側のエッジの頂点、目の下側の輪郭の頂点、目頭、目尻及び目の瞳の中心が特徴点ＴＰとして抽出されている。また、眉に関しては、眉頭及び眉尻が特徴点ＴＰとして抽出されている。また、口に関しては、唇の外周上の、上唇と下唇との２つのつなぎ目が特徴点ＴＰとされている。また、鼻に関しては、両鼻の穴の間が特徴点ＴＰとされている。また、顔の輪郭に関しては、目付近の点、下あごの頂点、頬の付近の顔の輪郭の傾きが大きく変化する点が特徴点ＴＰとされている。ただし、これらの特徴点ＴＰは、一例であって、いずれかの特徴点ＴＰを省略してもよいし、新たに特徴点ＴＰを追加してもよく、図６の○で示す点に限定されない。

図３に示すステップＳ６において、メッシュ設定部１１７は、初期メッシュを変形させることにより、使用メイクパターン画像の顔の輪郭内部にメッシュを設定する。図７は、初期メッシュの一例を示した図である。図７に示すように初期メッシュは、一部の頂点が、顔、眉、目及び口の輪郭を示す特徴エッジＥ１´、Ｅ２´、Ｅ３´、Ｅ４´及び特徴点ＴＰ上に位置していることが分かる。これらの頂点を初期メッシュの特徴頂点と称する。そして、メッシュ設定部１１６は、この初期メッシュを図６に示す使用メイクパターン画像に重ね、初期メッシュの特徴頂点を、使用メイクパターン画像の対応する移動対象位置に移動させる。具体的には、初期メッシュの特徴点上の特徴頂点は、使用メイクパターン画像の対応する特徴点上に移動させる。また、特徴エッジ上であって、特徴点以外の初期メッシュの特徴頂点は、使用メイクパターン画像の対応する特徴エッジ上において、各点の内分比が一致するように移動させる。

次に、メッシュ設定部１１６は、初期メッシュの各頂点に一定の高さ成分（Ｚ成分）を与えて３次元データとし、各頂点に対して式（７）及び式（８）の演算を繰り返し適用することにより、各浮動点を移動させる。これにより、使用メイクパターン画像に対して、上述した長さ制約を満たし、かつ、メッシュを構成するポリゴンの重なりが生じないようなメッシュが設定されることとなる。

ただし、Ｐ_iベクトルは、メッシュの頂点の座標を示し、Ｐ_jベクトルは、Ｐ_iベクトルに隣接するメッシュの頂点の座標を示し、Ｐ_i´ベクトルは演算が施されたＰ_iベクトルを示し、Ｐ_j´ベクトルは演算が施されたＰ_jベクトルを示し、ｌ_ijは初期メッシュにおけるＰ_iベクトル及びＰ_jベクトルを結ぶ線分の長さを示し、λは定数値を示している。

図８は、初期メッシュの特徴頂点を使用メイクパターン画像の対応する移動対象位置に移動させ、浮動点に一定の高さ成分を付与した直後の使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。各浮動点は、（ｂ）に示すように、Ｚ方向に一定の距離ずらされていることが分かる。また、各特徴頂点は、ＸＹ平面上に位置していることが分かる。そして、メッシュ設定部１１６は、各頂点に対し式（７）及び式（８）の演算を順次適用していく。

図９は、図８に示す各頂点に対し、式（７）及び式（８）の演算を１回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。図９（ｂ）に示すように各浮動点は、図８（ｂ）の場合に比べ、Ｚ成分の値が少し小さくなっていること分かる。また、図９（ａ）に示すように各浮動点は、図８（ｂ）の場合に比べ、メッシュを構成するポリゴンの重なりが多少改善されていることが分かる。

図１０〜図１４は、図８に示す各浮動点に対し、式（７）及び式（８）の演算をそれぞれ５回、１０回、２０回、３０回、６０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、図１０〜図１４のいずれにおいても（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。図１０（ｂ）〜図１４（ｂ）に示すように、各頂点に対して式（７）及び式（８）の演算を適用する回数を増加させると、各浮動点の高さ成分の値が全体的に低くなっていき、図１４（ｂ）に示す式（５）の演算を６０回適用したときのメッシュに至っては、各浮動点の高さ成分がほぼ０になっていることが分かる。また、これに伴い、図１０（ａ）〜図１４（ａ）に示すように、式（７）及び式（８）の演算を適用する回数が増大するにつれてメッシュを構成するポリゴンの重なりが解消されていることが分かる。

高さを導入せずとも画像平面状において、長さ制約を満たすように、初期メッシュを変形させれば、ある程度、変形前のメッシュの頂点同士の位置関係をバランスよく保持した状態で顔の輪郭内部にメッシュを設定することも可能である。

しかしながら、高さを導入しない画像平面状において長さ制約のみを加味して、初期メッシュを変形させた場合、メッシュを構成するポリゴンの重なりが生じる可能性が高くなる。かかるポリゴンの重なりは、初期メッシュ全体のサイズよりも小さな顔の輪郭に初期メッシュを適用した場合に発生する。これは、実際の布を本来の大きさより小さく縮め、床に押し付けた場合に生じる皺に例えることができる。

図１５は、メッシュを構成するポリゴンの重なりが生じている画像に対して、化粧要素画像を合成したときの一例を示す画面図である。図１５の場合、口紅の輪郭Ｋ１が不自然な形状となっており、唇からはみ出た口紅Ｋ２が表示されていることが分かる。このようにメッシュを構成するポリゴンの重なりが生じると、顔の画像に対して化粧要素画像を違和感なく自然な状態で合成することができなくなる。

そこで、メッシュ設定部１１６は、各頂点に高さ成分を与え、式（７）及び式（８）を用いて３次元的に浮動点の位置を算出することにより、使用メイクパターン画像に対し、メッシュが重なって設定されることを防止している。

図１６は、図６に示す使用メイクパターン画像の顔の輪郭内部に設定されたメッシュを示した図である。図１６に示すように、メッシュを構成するポリゴンの重なりが発生することなく、顔の輪郭（特徴エッジＥ１）内部にバランスよくメッシュが設定されていることが分かる。また、特徴エッジＥ１〜Ｅ４上のメッシュの頂点が位置していることが分かる。

図３に示すステップＳ７において、動画像取得部１１１は、人間の顔の動画像を取得する。ステップＳ８において、フレーム画像抽出部１１２は、動画像取得部１１１によって取得された動画像から１枚のフレーム画像を抽出する。図４に示すステップＳ９において、特徴量抽出部１１４は、フレーム画像から特徴量を抽出する。この場合、図６に示す使用メイクパターン画像から抽出された特徴量Ｅ１〜Ｅ４、ＴＰ、ＨＣ、ＢＣ、ＳＣと同じような特徴量がフレーム画像から抽出される。なお、フレーム画像抽出部１１２は、動画像を構成する各フレーム画像を順次抽出してもよいし、所定のコマ間隔でフレーム画像を順次抽出していってもよい。

ステップＳ１０において、メッシュ設定部１１６は、ステップＳ６で示した手法と同じ手法で初期メッシュを変形させることにより特徴量が抽出されたフレーム画像にメッシュを設定する。

図１７は、フレーム画像の顔の輪郭内部に設定されたメッシュを示した図である。図１７に示すフレーム画像は、図６に示す使用メイクパターン画像に対して多少顔の表情が変化していることが分かる。そして、このように顔の表情が変化した場合でも、メッシュを構成するポリゴンの重なりが生じないように顔の輪郭内部にバランス良くメッシュが設定されていることが分かる。また、特徴エッジＥ１〜Ｅ４上にメッシュの頂点が位置していることが分かる。

ステップＳ１１において、座標計算部１１８は、使用メイクパターン画像に設定されたメッシュ及びフレーム画像に設定されたメッシュの対応する頂点同士の位置の差分を算出し、座標変換テーブルを作成し、座標変換テーブル記憶部１１９に記憶させる。この座標変換テーブルはフレーム画像毎に更新される。

ステップＳ１２において、化粧要素画像変形部１２０は、座標変換テーブルを参照し、正規化透明度レイヤー画像中の化粧要素画像を変形させる。図１８は、化粧要素画像が、化粧要素画像変形部１２０によって変形される様子を示した図であり、（ａ）は変形前を示し、（ｂ）は変形後を示している。図１８（ａ）に示す化粧要素画像Ｇ１が描画されたメッシュを構成するポリゴンＰＲ１が、（ｂ）に示すポリゴンＰＲ２に変形したとすると、化粧要素画像変形部１２０は、メッシュを構成するポリゴンＰＲ１の変形量に応じて、ポリゴンＰＲ１内に描画された化粧要素画像Ｇ１をポリゴンＰＲ２上に写し、化粧要素画像Ｇ１を化粧要素画像Ｇ２に変形させる。

図４に示すステップＳ１３において、色変換処理部１０９は、ステップＳ８で抽出されたフレーム画像と、色レイヤー作成部１０６によって作成された色レイヤーとに対し、式（３）〜式（５）に示す色変換処理を施し、ｎ階層の色変換レイヤー画像を作成し、色変換レイヤー画像記憶部１１０に記憶させる。

ステップＳ１４において、画像合成部１２１は、ステップＳ８で抽出されたフレーム画像と、色合成部により作成された色変換レイヤー画像とを式（６）を用いて合成する。

次に、透明度正規化部１０７が透明度α_i及び透明度１−α_iを正規化する理由について説明する。式（９）〜式（１１）は、αブレンディングの一般的な数式を示している。

但し、Ｃｒベクトルは合成後の各画素のＲ，Ｇ，Ｂ値を示し、Ｃ_fベクトルは背景画像の各画素のＲ，Ｇ，Ｂ値を示し、Ｃ_iベクトルはｉ階層目のレイヤー画像の各画素のＲ，Ｇ，Ｂ値を示している。また、式（９）は、１枚のレイヤー画像を背景画像に合成する場合を示し、式（１０）は２枚のレイヤー画像を背景画像に合成する場合を示し、式（１１）はｎ枚のレイヤー画像を背景画像に合成する場合を示している。式（１１）に示すようにレイヤーの順番を入れ替えると、式（１１）の第２項が入れ替えに応じて異なる値となってしまうため、Ｃ_rベクトルの値がレイヤーの順番に依存してしまう。そこで、本化粧シミュレーション装置は、レイヤーの順序を入れ替えても、同一のＣ_rベクトルの値を得るために、透明度レイヤー画像の各画素の透明度α_i及び背景画像の各画素の透明度１−α_iを式（１）及び式（２）を用いて正規化してβ_i及びγとし、β_iをαブレンディングにおけるレイヤー画像のα値とし、γをαブレンディングにおける背景画像のα値として用いることにより、Ｃ_rベクトルの値がレイヤーの順番に依存することを防止している。

ステップＳ１５において、表示部１２２は、合成された画像を表示する。図１９は、画像合成部１２１による合成の結果、得られた画像を示している。図１９に示すように、図６に示す使用メイクパターン画像に含まれる化粧要素画像ＭＥ１〜ＭＥ４が、図１７に示すフレーム画像に適合するように変形され、フレーム画像上に違和感のない自然な状態で表示されていることが分かる。

なお、図６及び図１７に示す化粧要素画像ＭＥ１〜ＭＥ４は、一例にすぎず、他の化粧要素画像を含んでも良いし、いずれかの化粧要素画像を省略してもよい。

図４に示すステップＳ１６において、フレーム画像抽出部１１２は、全てのフレーム画像の抽出が終了したか否かを判定し、全てのフレーム画像の抽出が終了している場合（ステップＳ１６でＹＥＳ）、処理を終了する。一方、ステップＳ１６において、全てのフレーム画像の抽出が終了していない場合（ステップＳ１６でＮＯ）、ステップＳ１７に進み、次のフレーム画像を抽出し、ステップＳ９に戻る。

（メイクパターン作成モード）
次に、メイクパターン作成モードについて説明する。図２０は、メイクパターン作成モードにおける化粧シミュレーション装置の機能を示すブロック図である。

静止画像取得部２０１は、静止画カメラ１１から構成され、メイクパターン画像のモデルとなる人間の顔の静止画像を取得する。

操作部２０２は、入力装置１から構成され、ユーザからの種々の操作指令を入力するために用いられる。

レイヤー画像作成部２０３は、ユーザにより顔の静止画像上に１種類の化粧要素画像が描画される毎にその化粧要素画像を含む１枚のレイヤー画像を作成する。レイヤー画像は、上述したように、Ｒ，Ｇ，Ｂ値からなる色成分と各画素の透明度を示す透明度成分とから構成される。透明度は、静止画像を背景画像としたときの各レイヤー画像の背景画像に対する透明度を示す。

透明度レイヤー画像作成部２０４は、透明度レイヤー画像作成部１０５と同様に、レイヤー画像の透明度成分を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。

色レイヤー作成部２０５は、色レイヤー作成部１０６と同様に、レイヤー画像の色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。

透明度正規化部２０６は、透明度正規化部１０７と同様に、透明度レイヤー画像の各画素に対し、上記式（１）の演算を施し、正規化透明度レイヤー画像を作成するとともに、背景画像である顔の静止画像の各画素に対し式（２）の演算を施し、背景画像の各画素の透明度を正規化する。

正規化透明度レイヤー画像記憶部２０７は、ＲＡＭ４から構成され、正規化透明度レイヤー画像及び正規化された背景画像の各画素の透明度を記憶する。

色変換処理部２０８は、色変換処理部１０９と同様に、色レイヤーのＲ，Ｇ，Ｂ値及び静止画像の各画素のＲ，Ｇ，Ｂ値をそれぞれＨＳＶ表色系に変換した後、上記式（３）〜式（５）に示す色変換処理を実行し、得られた画像をさらに、Ｒ，Ｇ，Ｂ表色系に変換することにより、レイヤー画像の各階層に対応する色変換レイヤー画像作成する。

色変換レイヤー画像記憶部２０９は、ＲＡＭ４から構成され、色変換処理部２０８によって作成された色変換レイヤー画像を記憶する。

画像合成部２１０は、画像合成部１２１と同様に、正規化透明度レイヤー画像の各画素の透明度を色変換レイヤー画像の各画素のα値とし、背景画像の各画素の透明度を顔の静止画像のα値とし、色変換レイヤー画像と顔の静止画像とをαブレンディングによって合成する。

表示部２１１は、表示装置６から構成され、画像合成部２１０によって合成された画像を表示する。

メイクパターン画像作成部２１２は、レイヤー画像作成部２０３によって作成されたレイヤー画像と静止画像取得部２０１によって取得された静止画像とを、メイクパターン画像として、メイクパターン画像記憶部１０１に記憶させる。

次に、メイクパターン作成モードにおける化粧シミュレーション装置の動作について、図２１に示すフローチャートを用いて説明する。まず、ステップＳ１０１において、静止画像取得部２０１は、メイクパターン画像のモデルとなる人間の顔の静止画像を取得する。この場合、例えば、図６に示すような人間の顔の静止画像が取得される。

ステップＳ１０２において、レイヤー画像作成部２０３は、操作部２０２を介して、ユーザによる化粧要素画像の描画入力を受け付け、ステップＳ１０３において、１種類の化粧要素画像の描画入力を受け付ける毎に、各化粧要素画像を含むレイヤー画像を作成する。

この場合、レイヤー画像作成部２０３は、静止画像取得部２０１によって取得された顔の静止画像を表示部２１１に表示させ、表示された静止画像上に化粧要素画像をペンタブレットを用いて描画させることにより、化粧要素画像の描画入力を受け付ける。描画された化粧要素画像は、表示部２１１に表示される。また、１種類の化粧要素画像の入力が終了したか否かの判断はユーザの指示によって行なわれる。

この段階において、表示部２１１には、透明度成分と、単色の色成分とによって表された化粧要素画像が、静止画像上に単に重ねて合わせて表示されているだけの画像が表示されており、化粧要素画像が人の顔に対して、違和感のある不自然な状態で表示されている。

ステップＳ１０４において、ユーザによりステップＳ１０３で作成されたレイヤー画像を静止画像に合成する指示が入力されると（ステップＳ１０４でＹＥＳ）、ステップＳ１０６に進む。一方、ステップＳ１０４において、レイヤー画像を静止画像に合成する指示が入力されない場合は（ステップＳ１０４でＮＯ）、ステップＳ１０５に進む。

ステップＳ１０５において、ユーザによりメイクパターン作成モードの終了の指示がされた場合（ステップＳ１０５でＹＥＳ）、処理を終了する。一方、ステップＳ１０５において、ユーザによりメイクパターン作成モードの終了の指示がされなかった場合（ステップＳ１０５でＮＯ）、ステップＳ１０２に戻る。

ステップＳ１０６において、透明度レイヤー画像作成部２０４は、レイヤー画像の透明度成分を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。ステップＳ１０７において、色レイヤー作成部２０５は、レイヤー画像の色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。

ステップＳ１０８において、透明度正規化部２０６は、透明度レイヤー画像の各画素の透明度を正規化し、正規化透明度レイヤー画像を作成し、正規化透明度レイヤー画像記憶部２０７に記憶させるとともに、静止画像の各画素の透明度を正規化し、正規化透明度レイヤー画像記憶部２０７に記憶させる。

ステップＳ１０９において、色変換処理部２０８は、色レイヤーと静止画像とを基に、レイヤー画像の各階層に対応する色変換レイヤー画像を作成し、色変換レイヤー画像記憶部２０９に記憶させる。

ステップＳ１１０において、画像合成部２１０は、静止画像と、色変換レイヤー画像とをαブレンディングにより合成させる。ステップＳ１１１において、表示部２１１は、画像合成部２１０によって合成された画像を表示する。この場合、ステップＳ１０２の段階で、静止画像上に違和感なく不自然な状態で表示されていた化粧要素画像が違和感のない自然な状態で静止画像上に表示されることとなる。

ステップＳ１１２において、ユーザによりメイクパターン画像の作成指示がされると（ステップＳ１１２でＹＥＳ）、ステップＳ１１３に進み、メイクパターン画像作成部２１２は、レイヤー画像作成部２０３によって作成されたレイヤー画像と静止画像取得部２０１によって取得された静止画像とを合成してメイクパターン画像を作成し、メイクパターン画像記憶部１０１に記憶させ、メイクパターン作成モードを終了する。

一方、ステップＳ１１２において、ユーザによりメイクパターン画像の作成指示がされない場合（ステップＳ１１３でＮＯ）、ステップＳ１０２に戻る。

このように、本化粧シミュレーション装置によれば、ペンタブレット等を操作することによりユーザにより予め作成されたメイクパターン画像に含まれる化粧要素画像をフレーム画像に適合するように変形させ、フレーム画像上に表示させているため、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。

さらに、透明度レイヤー画像の各画素の透明度及び背景画像の各画素の透明度を正規化しているため、レイヤーの順序に依存しないαブレンディングが可能となる。さらに、初期メッシュの長さ制約を満たし、かつ、メッシュを構成するポリゴンの重なりが生じないように、メイクパターン画像及びフレーム画像の顔の輪郭内部にメッシュを設定しているため、化粧要素画像をフレーム画像上により違和感なく自然な状態で表示することができる。色変換レイヤー画像をαブレンディングの背景画像として用いているため、フレーム画像または静止画像に対してより違和感なく自然な状態で化粧要素画像を表示することができる。

なお、本発明は、以下の態様を採用してもよい。

（１）上記実施の形態では、化粧シミュレーションプログラムをコンピュータにインストールすることにより、コンピュータを化粧シミュレーション装置として機能させていたが、これに限定されず、専用のハードウェア回路を用いて、化粧シミュレーション装置を構成してもよい。

（２）上記実施の形態では、レイヤー画像は、１種類の化粧要素画像を含むものとしたが、これに限定されず、色成分が一致する複数の化粧要素画像を１枚のレイヤー画像中に含ませても良い。

（３）上記実施の形態では、静止画像を静止画カメラ１１で取得していたが、これに限定されず、動画カメラにより撮影された動画像の１枚のフレーム画像を静止画像として取得してもよい。これにより、静止画カメラ１１が不要となる。

（４）上記実施の形態では、化粧シミュレーションモードは、顔画像を含む背景画像とレイヤー画像とからなるメイクパターン画像を基に、化粧シミュレーションを実行していたが、これに限定されず、メイクパターン作成モードにおいて、透明度正規化部２０６で作成された正規化透明度レイヤー画像と、色変換処理部２０８で作成された色変換レイヤー画像と、顔画像を含む背景画像とからなる画像をメイクパターン画像として、化粧シミュレーションを実行してもよい。この場合、予め、色変換レイヤー画像と、正規化透明度レイヤー画像とが作成されているため、透明度レイヤー画像作成部１０５、透明度正規化部１０７、色レイヤー作成部１０６及び色変換処理部１０９は不要となる。ただし、メイクパターン画像記憶部１０１及び使用メイクパターン画像記憶部１０４の使用メモリの節約という観点からは、顔画像を含む背景画像と、レイヤー画像とをメイクパターン画像とすることが好ましい。

本発明の一実施の形態による化粧シミュレーション装置のハードウェア構成を示すブロック図である。 本化粧シミュレーション装置の化粧シミュレーションモードの機能を示すブロック図を示している。 本化粧シミュレーション装置の動作を示すフローチャートである。 本化粧シミュレーション装置の動作を示すフローチャートである。 式（１）及び式（２）を説明するための図である。 使用メイクパターン画像から抽出される特徴量を示した図である。 初期メッシュの一例を示した図である。 初期メッシュの特徴頂点を使用メイクパターン画像の対応する移動対象位置に移動させ、浮動点に一定の高さ成分を付与した直後の使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 図８に示す各頂点に対し、式（７）及び式（８）の演算を１回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 図８に示す各頂点に対し、式（７）及び式（８）の演算を５回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 図８に示す各頂点に対し、式（７）及び式（８）の演算を１０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 図８に示す各頂点に対し、式（７）及び式（８）の演算を２０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 図８に示す各頂点に対し、式（７）及び式（８）の演算を３０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 図８に示す各頂点に対し、式（７）及び式（８）の演算を３０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。 メッシュを構成するポリゴンの重なりが生じている画像に対して、化粧要素画像を合成したときの一例を示す画面図である。 図６に示す使用メイクパターン画像の顔の輪郭内部に設定されたメッシュを示した図である。 フレーム画像の顔の輪郭内部に設定されたメッシュを示した図である。 化粧要素画像が、変形される様子を示した図であり、（ａ）は変形前を示し、（ｂ）は変形後を示している。 画像合成部による合成の結果、得られた画像を示している。 メイクパターン作成モードにおける化粧シミュレーション装置の機能を示すブロック図である。 メイクパターン作成モードにおける化粧シミュレーション装置の動作を示すフローチャートである。

符号の説明

１０１ メイクパターン画像記憶部
１０２ 操作部
１０３ 初期設定部
１０４ 使用メイクパターン画像記憶部
１０５ 透明度レイヤー画像作成部
１０６ 色レイヤー作成部
１０７ 透明度正規化部
１０８ 正規化透明度画像レイヤー記憶部
１０９ 色変換処理部
１１０ 色変換レイヤー画像記憶部
１１１ 動画像取得部
１１２ フレーム画像抽出部
１１３ 特徴量抽出部
１１４ 特徴量抽出部
１１５ 初期メッシュ記憶部
１１６ メッシュ設定部
１１７ メッシュ設定部
１１８ 座標計算部
１１９ 座標変換テーブル記憶部
１２０ 化粧要素画像変形部
１２１ 画像合成部
１２２ 表示部
２０１ 静止画像取得部
２０２ 操作部
２０３ レイヤー画像作成部
２０４ 透明度レイヤー画像作成部
２０５ 色レイヤー作成部
２０６ 透明度正規化部
２０７ 正規化透明度レイヤー画像記憶部
２０８ 色変換処理部
２０９ 色変換レイヤー画像記憶部
２１０ 画像合成部
２１１ 表示部
２１２ メイクパターン画像作成部

Claims (7)

1. 操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、
   前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、
   シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、
   前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、
   前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、
   前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、
   前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段とを備え、
   前記第１の画像作成手段は、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、
   前記画像合成手段は、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする化粧シミュレーション装置。
2. 前記第２の画像作成手段は、各レイヤー画像の色成分及び前記シミュレーション対象画像の各々をＲＧＢ表色系からＨＳＶ表色系に変換し、変換された両色を式（Ａ）〜式（Ｃ）に示す色変換処理を実行し、得られた画像をＨＳＶ表色系からＲＧＢ表色系に変換し、前記第２の画像を作成することを特徴とする請求項１記載の化粧シミュレーション装置。
   Ｈ_ｒ＝Ｈ_ｃ ・・・式（Ａ）
   Ｓ_ｒ＝０．８×Ｓ_ｆ＋０．２×Ｓ_ｃ ・・・式（Ｂ）
   Ｖ_ｒ＝０．８×Ｖ_ｆ＋０．２×Ｖ_ｃ ・・・式（Ｃ）
   但し、Ｈ_ｃ、Ｓ_ｃ、Ｖ_ｃはレイヤー画像の色成分のＨＳＶ値を示し、Ｓ_ｆ、Ｖ_ｆはシミュレーション対象画像の各画素のＨＳＶ値を示し、Ｈ_ｒ、Ｓ_ｒ、Ｖ_ｒは第２の合成対象画像の各画素のＨＳＶ値を示している。
3. 顔の輪郭内部にメッシュが設定された初期メッシュを記憶する初期メッシュ記憶手段をさらに備え、
   前記初期メッシュの各頂点は、顔部品の輪郭上に位置する特徴頂点と、その他の浮動点とから構成され、
   前記メッシュ設定手段は、前記シミュレーション対象画像及び前記基準画像の各々から、前記顔部品の輪郭を抽出し、前記特徴頂点を、抽出した顔部品の輪郭上に移動させるとともに、前記初期メッシュの各頂点間の距離が保持されるように、前記浮動点を移動させ、前記シミュレーション対象画像及び前記基準画像の各々に、メッシュを設定することを特徴とする請求項１又は２記載の化粧シミュレーション装置。
4. 前記画像変形手段は、前記初期メッシュの各頂点を、画像面と直交する高さ成分が付与された３次元データとし、前記浮動点には、一定の値の高さ成分を付与し、前記特徴頂点は、前記画像面上に位置させ、前記各頂点に対し、式（Ｄ）及び式（Ｅ）で示す演算を所定回数適用することにより前記浮動点を移動させることを特徴とする請求項３記載の化粧シミュレーション装置。
   

   

   但し、Ｐ_ｉベクトルは、メッシュの頂点の座標を示し、Ｐ_ｊベクトルは、Ｐ_ｉベクトルに隣接するメッシュの頂点の座標を示し、Ｐ_ｉ´ベクトルは演算が施されたＰ_ｉベクトルを示し、Ｐ_ｊ´ベクトルは演算が施されたＰ_ｊベクトルを示し、ｌ_ｉｊはＰ_ｉベクトル及びＰ_ｊベクトルを結ぶ線分の長さを示し、λは定数値を示している。
5. 前記シミュレーション対象画像は、動画像中の各フレーム画像であることを特徴とする請求項１〜４のいずれかに記載の化粧シミュレーション装置。
6. コンピュータが、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得ステップと、
   コンピュータが、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成ステップと、
   コンピュータが、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得ステップと、
   コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定ステップと、
   コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形ステップと、
   コンピュータが、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成ステップと、
   コンピュータが、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成ステップとを備え、
   前記第１の画像作成ステップは、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、
   前記画像合成ステップは、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする化粧シミュレーション方法。
7. 操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、
   前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、
   シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、
   前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、
   前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、
   前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、
   前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段としてコンピュータを機能させ、
   前記第１の画像作成手段は、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、
   前記画像合成手段は、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする化粧シミュレーションプログラム。
   

Images