WO2005073909A1

WO2005073909A1 - 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法

Info

Publication number: WO2005073909A1
Application number: PCT/JP2004/016125
Authority: WO
Inventors: Shoji Tanaka; Takao Furukawa; Tomotaka Ogino
Original assignee: Digital Fashion Ltd.
Priority date: 2004-01-30
Filing date: 2004-10-29
Publication date: 2005-08-11
Also published as: EP1710746A1; US20070019882A1

Abstract

　専門的な知識を有する者でなくとも、簡便な操作により高品質かつ高速にシミュレーション画像を得ることができる化粧シミュレーションに関する技術を提供することを目的とする。　使用基準画像に含まれるｎ枚のレイヤー画像を基に、各画素の透明度が正規化されたｎ枚の正規化透明度レイヤー画像を作成する第１の画像作成部２０と、レイヤー画像の色成分を用いてフレーム画像に対して色変換処理を施してｎ枚の色変換レイヤー画像を作成する第２の画像作成部３０と、フレーム画像及びメイクパターン画像中の各々の顔領域にメッシュを設定するメッシュ設定部５０と、両画像に設定されたメッシュの頂点の差分を算出し、この差分を基に、正規化透明度レイヤー画像中の化粧要素画像を、フレーム画像の顔領域に適合するように変形させる画像変形部６０と、色変換レイヤー画像及び各フレーム画像をアルファブレンディングにより合成する合成部７０とを備える。

Description

明細書

化粧シミュレーションプログラム、化粧シミュレーション装置、及びィ匕粧シミユレ一シヨン方法

技術分野

[0001] 本発明は、人物の顔に対して仮想的に化粧を施すィ匕粧シミュレーション技術に関する。

背景技術

[0002] 従来より、ペンタブレット等の入力装置と、市販のレタッチ画像処理ソフトウェア（例えば、アドビ社のフォトショップ等）がインストールされた市販のコンピュータとを用いて、ユーザからの描画指令を基に、ブラシで化粧を塗布するような描画処理を行い、顔の静止画像に対して仮想的に化粧を施す手法が知られている。

[0003] また、顔の動画像の各フレームに対し、口及び目の位置を検出し、検出した位置を基に、口紅、チーク等の化粧を施す領域を指定し、指定した領域に色を付すことにより、顔の動画像に対してリアルタイムに化粧シミュレーションを行なう技術が知られている（特許文献 1)。

特許文献 1：特開 2003-44837号公報

発明の開示

[0004] しカゝしながら、上記静止画像に対して仮想的に化粧を施す手法では、作成されたシミュレーション画像は、単に顔画像上に領域が指定されて化粧の塗布領域 (化粧要素画像）が定められているにすぎず、力かる画像を、同一人物で表情の異なる画像に適用する、あるいは、他人の画像に適用するというようなことはなされていなかつた。

[0005] また、特許文献 1に記載の発明は、化粧要素画像を数式で定義し、顔の表情の変化に応じて、数式のパラメータを調整し、シミュレーション画像を得るものである力か力るパラメータの調整には数学及びプログラム等の専門的な知識が要求される。そのため、専門的な知識を有さない多少絵心のあるユーザが、簡略化された操作によりシミュレーシヨン画像を得ることは困難であるという問題があった。また、化粧要素画像が自由曲線力構成される場合、パラメータの調整は非常に複雑となり、数学及びプログラミングの知識を有する熟練者であっても、パラメータの調整には、多大な労力力 Sかかるという問題があった。さらに、化粧画像が数式で定義されているため、演算に多大なる時間が力かるという問題があった。さらに、化粧要素画像を数式で近似するという方式であるため、実際に化粧を塗布したような高品質な画像を得ることが困難であった。

[0006] 本発明は、上記課題を解決するためになされたものであり、専門的な知識を有する者でなくとも、簡便な操作により高品質かつ高速にシミュレーション画像を得ることができる化粧シミュレーションに関する技術を提供することを目的とする。

[0007] 本発明による化粧シミュレーションプログラムは、 n (nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いてコンピュータに化粧シミュレ一シヨンを実行させる化粧シミュレーションプログラムであって、前記基準画像は操作装置を介して入力されたユーザ力の描画指令に基づいて予め作成されたものであり、前記 n枚のレイヤー画像は、各々同一色力もなる少なくとも 1つの化粧要素画像を含み、前記 n枚のレイヤー画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成する第 1の画像作成手段、シミュレーション対象となる人物の顔を含むシミュレ一シヨン対象画像を取得する対象画像取得手段、前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するメッシュ設定手段、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーシヨン対象画像に含まれるの顔領域に適合するように変形させる変形手段、前記シミュレーシヨン対象画像に対して前記 n枚のレイヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレイヤー画像の各々に対応する n枚の第 2 の画像を作成する第 2の画像作成手段、前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記 n枚の第 2の画像とを合成する合成手段としてコンピュータを機能させることを特徴とするものである。

[0008] 本発明による化粧シミュレーションプログラムによれば、 n枚のレイヤー画像と 1枚の顔画像とから構成される基準画像に対して、基準画像を構成する各レイヤー画像の透明度を基に、 n枚の第 1の画像が作成され、基準画像及びシミュレーション対象画像の各々の顔領域に対してメッシュが設定される。そして、基準画像の顔の領域内に設定されたメッシュと、シミュレーション対象画像の顔の領域内に設定されたメッシュとの対応する頂点同士の位置の差分が算出され、この差分を基に、 n枚の第 1の画像の各々に含まれる化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。

[0009] そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第 2の画像が作成され、第 1の画像を基に、第 2の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第 2の画像及びシミュレーション対象画像が合成される。

[0010] ここで、基準画像は、ある人物の顔画像に対し、フォトショップ (登録商標）等の画像作成ソフトウェア及びペンタブレット等の操作装置を用いた簡便な作業により作成された画像である。そして、基準画像を基に、シミュレーション対象画像に化粧が施され、高品質な化粧シミュレーション画像が生成される。従って、ユーザは、簡便な操作により高品質な化粧シミュレーション画像を高速に得ることができる。

[0011] また、基準画像は n枚のレイヤー画像カゝら構成されているため、仮想的に化粧が施されたシミュレーション対象画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更すると、うような変更を容易に行なうことができる。

図面の簡単な説明

[0012] [図 1]本発明の実施の形態による化粧シミュレーション装置のハードウェア構成を示すブロック図である。

[図 2]化粧シミュレーション装置の機能ブロック図を示している。

[図 3]化粧シミュレーション装置の動作を示すフローチャートである。

[図 4]化粧シミュレーション装置の動作を示すフローチャートである。

[図 5]式（1)及び式 (2)を説明するための図である。圆 6]特徴点の抽出処理を説明する図面である。

[図 7]初期メッシュの一例を示した図である。

圆 8]メッシュの浮動頂点に対して一定の高さ成分を付与した直後において、使用基準画像に設定されたメッシュを示した図面であり、（a)は Z方向視のメッシュを示し、 (b )は斜め方向視のメッシュを示している。

圆 9]メッシュの各頂点に対し、式 (7)及び式 (8)の演算を 1回適用したときの使用基準画像に設定されたメッシュを示した図であり、（a)は Z方向視のメッシュを示し、 (b) は斜め方向視のメッシュを示している。

[図 10]メッシュの各頂点に対し、式（7)及び式 (8)の演算を 5回適用したときの使用基準画像に設定されたメッシュを示した図面であり、（a)は Z方向視のメッシュを示し、 (b )は斜め方向視のメッシュを示している。

[図 11]メッシュの各頂点に対し、式（7)及び式 (8)の演算を 10回適用したときの使用基準画像に設定されたメッシュを示した図面であり、 (_a)は Z方向視のメッシュを示し、 (b)は斜め方向視のメッシュを示している。

[図 12]メッシュの各頂点に対し、式（7)及び式 (8)の演算を 20回適用したときの使用基準画像に設定されたメッシュを示した図面であり、 (_a)は Z方向視のメッシュを示し、 (b)は斜め方向視のメッシュを示している。

[図 13]メッシュの各頂点に対し、式（7)及び式 (8)の演算を 30回適用したときの使用基準画像に設定されたメッシュを示した図面であり、 (_a)は Z方向視のメッシュを示し、 (b)は斜め方向視のメッシュを示している。

[図 14]メッシュの各頂点に対し、式（7)及び式 (8)の演算を 60回適用したときの使用基準画像に設定されたメッシュを示した図面であり、 (_a)は Z方向視のメッシュを示し、 (b)は斜め方向視のメッシュを示している。

[図 15]ポリゴンに重なりが生じている画像に対して、化粧要素画像を合成したときの一例を示す画面図である。

圆 16]使用基準画像の顔領域に設定されたメッシュを示した図である。

[図 17]フレーム画像の顔領域に設定されたメッシュを示した図面である。

圆 18]化粧要素画像が変形される様子を示した図面であり、（a)は変形前を示し、 (b )は変形後を示している。

[図 19]合成部により合成された画像の一例を示した図面である。

[図 20]基準位置検出部の詳細な構成を示すブロック図である。

[図 21]基準位置検出部の動作を示すフローチャートである。

[図 22]モフォロジ処理された画像を示した図面である。

[図 23]左及び右眼相関値フィルタを示した図面であり、 (a)は左眼相関値フィルタを、 (b)は右眼相関値フィルタを示している。

[図 24]グローバルパターン画像と左及び右眼ローカルパターン画像とを示した図面であり、（a)はグローバルパターン画像を示し、（b)は左及び右眼ローカルパターン画像を示している。

[図 25]顔画像の一例を示した図面であり、（a)は顔が傾いていない場合、（b)は顔が傾ヽて、る場合を示して、る。

[図 26]左及び右眼相関値画像の一例を示した図面であり、 (a)は左眼相関値画像を示し、（b)は右眼相関値画像を示している。

[図 27]移動部によって移動された左及び右眼相関値画像を示す図面であり、 (a)は左眼相関値画像を示し、 (b)は右眼相関値画像を示している。

[図 28]最大値フィルタによる処理結果を示す図面であり、 (a)は最大値フィルタによるフィルタ処理が施された左眼相関値画像を示し、 (b)は最大値フィルタによるフィルタ処理が施された右眼相関値画像を示して!/ヽる。

[図 29]顔中心評価画像を示した図面である。

[図 30]顔中心評価画像によるフィルタ処理が施された合成画像を示した図面である。

[図 31]基準画像作成モードにおける化粧シミュレーション装置の機能ブロック図である。

[図 32]基準画像作成モードにおける化粧シミュレーション装置の動作を示すフローチヤートである。

発明を実施するための最良の形態

以下、本発明の実施の形態による化粧シミュレーション装置について図面を参照しながら説明する。図 1は、本発明の実施の形態による化粧シミュレーション装置のハ一ドウエア構成を示すブロック図である。

[0014] 図 1に示すィ匕粧シミュレーション装置は、通常のコンピュータ等力構成され、入力装置 1、 ROM (リードオンリメモリ） 2、 CPU (中央演算処理装置） 3、 RAM (ランダムアクセスメモリ) 4、外部記憶装置 5、表示装置 6、記録媒体駆動装置 7、入出力インタ一フェイス (IZF) 9を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータが入出力され、 CPU3の制御の下、種々の処理が実行される。

[0015] 入力装置 1は、キーボード、マウス及びペンタブレット等力構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。

[0016] ROM2は、 BIOS (Basic

Input/Output System)等のシステムプログラム等を記憶する。 RAM4は、 CPU3の作業領域等として用いられる。

[0017] 外部記憶装置 5は、ハードディスクドライブ等力構成され、所定の OS (Operating System)及び後述する化粧シミュレーションプログラム等を記憶する。

[0018] 表示装置 6は、液晶表示装置、 CRT (陰極線管）等から構成され、 CPU3の制御の下、種々の画像を表示する。

[0019] 記録媒体駆動装置 7は、 CD— ROMドライブ、フレキシブルディスクドライブ等から構成される。本実施形態では、化粧シミュレーションプログラムを記録する、 CD-RO M、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体 8を、記録媒体駆動装置 7に装填し、インストールすることにより、化粧シミュレーションプログラムを外部記憶装置 5に格納して、る。

[0020] なお、インターネット上に接続された WEBサーバに化粧シミュレーションプログラムを記憶させておき、 WEBサーバ力もその化粧シミュレーションプログラムをダウンロードすることにより、コンピュータに化粧シミュレーションプログラムをインストールしてもよい。また、コンピュータに顔の動画像を取得させ、 WEBサーバに送信し、 WEBサーバ上でィ匕粧シミュレーションの処理を実行し、その処理結果をパーソナルコンビユータに送信するというように、 WEBサーバとコンピュータとで化粧シミュレーションプログラムを分散して実行させてもょ、。

[0021] 動画カメラ 10aは、入出力インターフェイス (I/F) 9を介してバスラインに接続され、例えば CCDエリアセンサにより、種々の動画像を所定のフレームレートで取得し、コンピュータに出力する。

[0022] 静止画カメラ 11aは、入出 IZF9を介してバスラインに接続され、例えば CCDエリアセンサにより、種々の静止画像を取得し、コンピュータに出力する。

[0023] 本ィ匕粧シミュレーション装置は、ユーザによって予め作成された基準画像を基に、動画像に対して化粧シミュレーションを実行する化粧シミュレーションモードと、上記基準画像を作成する基準画像作成モードとを備えている。まず、化粧シミュレーションモードにつ、て説明する。

[0024] (化粧シミュレーションモード）

図 2は、化粧シミュレーションモードにおける化粧シミュレーション装置の機能ブロック図を示している。本ィ匕粧シミュレーション装置は、基準画像取得部 10、第 1の画像作成部 20、第 2の画像作成部 30、対象画像取得部 40、メッシュ設定部 50、画像変形部 60、合成部 70、及び表示部 80を備えている。これらの機能は、 CPU3が化粧シミュレーションプログラムを実行する等して実現される。

[0025] 基準画像取得部 10は、基準画像記憶部 11、操作部 12、初期設定部 13、及び使用基準画像記憶部 14を備えている。基準画像記憶部 11は、外部記憶装置 5から構成され、基準画像作成モードにお!、て作成された 1又は複数種類の基準画像を記憶している。

[0026] 基準画像は、 N (Nは正の整数)枚のレイヤー画像と、 1枚の顔画像とから構成されている。顔画像は、ある人物を静止画カメラ 11aで撮影することで取得された画像である。各レイヤー画像には、 1種類の化粧要素画像が含まれる。ここで、化粧要素画像とは、口紅、チーク、アイシャドウ等、各化粧要素の形状及び色等を示す画像である。

[0027] 化粧要素画像は、入力装置 1を操作することにより、フォトショップ (登録商標)等の描画ソフトを用いてユーザにより描画された画像である。基準画像作成モードでは、 1 種類の化粧要素画像が作成される毎に 1つのレイヤー画像が作成されるため、レイヤー画像には 1種類の化粧要素画像が含まれる。本実施の形態では、 1種類の化粧要素画像に対して、 1個の色が設定されるものとする。 [0028] レイヤー画像の各画素は、 R (赤）， G (緑) , B (青)値からなる色成分と、透明度とから構成されている。 1種類の化粧要素画像は、 1色力も構成されているため、 1枚のレィャ一画像の色成分は、全画素において同じ R, G, B値を有している。すなわち、 1 枚のレイヤー画像の色成分は、 1種類の R, G, B値により表される。

[0029] 透明度は、顔画像に対するレイヤー画像の混合率を示すものである。透明度が最大値（100%)を示す場合、レイヤー画像のみが表示され顔画像は表示されない。一方、透明度が最小値 (0%)を示す場合、レイヤー画像は表示されず、顔画像のみが表示される。

[0030] 具体的には、 i(l≤i≤n)番目のレイヤー画像のある画素の透明度を aとすると、顔画像の対応する画素の透明度は、 1 aとなる。なお、透明度は、化粧要素画像の描画時のペンタブレットの軌跡や筆圧等に応じて設定される。

[0031] 顔画像は、 R, G, B値力なる色成分力構成されている。顔画像の各画素の色成分は、レイヤー画像とは異なり、画素毎に異なる R, G, B値を有している。なお、顔画像自体には、透明度が設定されてないが、 n枚のレイヤー画像の透明度によって、顔画像の透明度が規定される。

[0032] 操作部 12は、入力装置 1から構成され、ユーザが種々の操作指令を入力するために用いられる。

[0033] 初期設定部 13は、操作部 12を介して入力されたユーザからの操作指令を基に、基準画像記憶部 11に記憶された複数種類の基準画像の中から、化粧シミュレーションに使用する 1種類の基準画像を設定する。設定された基準画像は使用基準画像として、使用基準画像記憶部 14に記憶される。

[0034] また、使用基準画像のうち、いずれか 1又は複数のレイヤー画像を削除する指令が行なわれた場合、使用基準画像から当該レイヤー画像が削除され、使用基準画像が更新される。また、使用基準画像のうち、いずれかのレイヤー画像に対し、色の指定が行なわれた場合、当該レイヤー画像の色成分の値が、指定された色の値に変更される。以下、使用基準画像は、 n (n≤N)枚のレイヤー画像力もなるものとする。使用基準画像記憶部 14は、 RAM4から構成され、使用基準画像を記憶する。

[0035] 第 1の画像作成部 20は、透明度レイヤー画像作成部 21、透明度正規化部 22、及び正規ィ匕透明度レイヤー画像記憶部 23を備えてヽる。透明度レイヤー画像作成部 21は、レイヤー画像を構成する各画素の透明度により、 n枚のレイヤー画像の各々に対応する n枚の透明度レイヤー画像を作成する。レイヤー画像は、画素毎に異なる透明度を有しているため、透明度レイヤー画像は、透明度によって化粧要素画像が濃淡表示された画像と考えることができる。

[0036] 透明度正規ィ匕部 22は、透明度レイヤー画像作成部 21によって作成された透明度レイヤー画像の各画素に対して、式（1)の演算を施すことにより各画素を正規ィ匕し、正規化透明度レイヤー画像を作成する。また、透明度正規ィ匕部 22は、顔画像の各画素に対して、式 (2)の演算を施すことにより、顔画像の透明度を正規化する。

[0037] [数 1]

…式 (1)

J=i n

^ tt i Cl- Ot i)

y = ^—n · · ·式 (2) j=l

但し、 a iは第 i階層の透明度レイヤー画像の各画素の透明度を示す。は正規ィ匕された透明度レイヤー画像の各画素の透明度を示す。 yは正規化された顔画像の各画素の透明度を示す。式（1)及び式（2)の分母は 1から n階層目までのある画素における透明度レイヤー画像の透明度の和を示す。

[0038] 正規化透明度レイヤー画像記憶部 23は、 RAM4から構成され、透明度正規化部 2 2によって作成された正規化透明度レイヤー画像と顔画像の透明度とを記憶する。

[0039] 第 2の画像作成部 30は、色レイヤー作成部 31、色変換処理部 32、及び色変換レィヤー画像記憶部 33を備えている。色レイヤー作成部 31は、レイヤー画像に設定された色成分を基に、 n枚のレイヤー画像の各々に対応する n個の色レイヤーを作成する。レイヤー画像の色成分は、 1種類の R, G, B値力も構成されるため、色レイヤ一は、 1種類の R, G, B値から構成されるデータである。

[0040] 色変換処理部 32は、フレーム画像抽出部 42によって抽出された 1枚のフレーム画像を構成する各画素の R, G, B値を HSV表色系に変換すると共に、 n個の色レイヤ一の各々の R, G, B値を HSV表色系に変換した後、式（3)—式（5)に示す色変換処理を実行し、得られた画像をさらに R, G, B表色系に変換することにより、 n枚の色変換レイヤー画像を作成する。なお、 HSV表色系は、各画素が色相（H)、彩度（S) 及び強度 (V)の成分で表される表色系である。

H =H …式（3)

S =0. 8 X S +0. 2 X S …式（4)

V =0. 8 XV +0. 2 XV …式（5)

但し、 H、 S、 Vは色レイヤーの H, S, V値を示し、 S、 Vはフレーム画像のある画 c c c f f

素の H, S, V値を示し、 H、 S、 Vは色変換処理後の各画素の HSV値を示している。色変換レイヤー画像記憶部 33は、 RAM4から構成され、色変換処理部 32によつて作成された n枚の色変換レイヤー画像を記憶する。

[0041] 対象画像取得部 40は、動画像取得部 41、及びフレーム画像抽出部 42を備える。

動画像取得部 41は、動画カメラ 10aから構成され、人間の顔の動画像を取得する。被写体となる人間は、化粧シミュレーションが適用される人間であり、使用基準画像のモデルとなる人間と同一人であってもよいし、別人であってもよい。フレーム画像抽出部 42は、動画像取得部 41によって取得された動画像から 1枚のフレーム画像を順次抽出する。

[0042] メッシュ設定部 50は、頂点抽出部 51, 52、初期メッシュ記憶部 53、及び頂点移動部 54, 55を備えている。頂点抽出部 51は、基準位置検出部 511及び特徴点抽出部 512を備える。

[0043] 基準位置検出部 511は、使用基準画像に含まれる顔画像の顔領域の眉間を基準位置として検出する。特徴点抽出部 512は、基準位置検出部 511により検出された基準位置を用いて、使用基準画像から特徴点を抽出する。なお、特徴点は、瞳、眉頭、目頭、目尻、鼻頭、並びに上唇及び下唇の付け根等の予め定められた顔の特徴的な箇所を示す点である。 [0044] 頂点抽出部 52は、基準位置検出部 521及び特徴点抽出部 522を備える。基準位置検出部 521は、フレーム画像抽出部 42によって抽出されたフレーム画像の顔領域の眉間を基準位置として検出する。特徴点抽出部 522は、特徴点抽出部 512と同一の手法により、基準位置検出部 521により検出された基準位置を用いて、フレーム画像から特徴点を抽出する。

[0045] 初期メッシュ記憶部 53は、人間の顔領域に設定されるメッシュの原型である初期メッシュを記憶する。この初期メッシュは、ある人間の顔画像に基づいて予め作成されたものであり、一部のメッシュの頂点が、前記特徴点に位置するように、顔領域にメッシュの各頂点が設定されている。以下、初期メッシュの各頂点のうち、特徴点に位置する頂点を「特徴頂点」と称し、特徴頂点以外のメッシュの頂点を「浮動頂点」と称する。また、本実施形態では、メッシュを構成するポリゴンとしては、三角形のポリゴンを用いたが、これに限定されず、四角形、五角形等のポリゴンを用いても良い。なお、初期メッシュは、シェアウェアであるメタセコイアを用、て作成されたものを用いる。

[0046] 頂点移動部 54は、初期メッシュの特徴頂点を、使用基準画像から抽出された対応する特徴点に移動させた後、初期メッシュの各頂点間の距離を一定に保ち (長さ制約）、かつ、メッシュを構成するポリゴンの重なりが生じないという制約条件を満たすように、特徴頂点の移動量に応じて浮動頂点を移動させ、使用基準画像の顔画像の顔領域にメッシュを設定する。このメッシュの各頂点の移動の詳細については後述する。

[0047] 頂点移動部 55は、頂点移動部 54と同一の手法により、フレーム画像の顔領域にメッシュを設定する。

[0048] 画像変形部 60は、座標計算部 61、座標変換テーブル記憶部 62、及び化粧要素画像変形部 63を備える。座標計算部 61は、フレーム画像の顔領域に設定されたメッシュと、使用基準画像の顔画像の顔領域に設定されたメッシュとの対応する頂点同士の位置の差分から各頂点の差分ベクトルを算出し、メッシュの各頂点と、各頂点の差分ベクトルとが関連づけられた座標変換テーブル作成する。

[0049] 座標変換テーブル記憶部 62は、 RAM4から構成され、座標計算部 61によって作成された座標変換テーブルを記憶する。 [0050] 化粧要素画像変形部 63は、使用基準画像に設定されたメッシュを n枚の正規化透明度レイヤー画像の各々に対して設定し、設定したメッシュの各頂点を、座標変換テ一ブルに記載された差分ベクトル分移動させて、 n枚の正規ィ匕透明度レイヤー画像内の化粧要素画像を変形させる。

[0051] 合成部 70は、化粧要素画像変形部 63によって変形された化粧要素画像を含む n 枚の正規ィ匕透明度レイヤー画像の各画素の透明度（上記 β )を色変換レイヤー画像の各画素のアルファ値とし、顔画像の正規化された各画素の透明度（上記 γ )をフレーム画像の各画素のアルファ値とし、アルファブレンデイングにより、フレーム画像と、 η枚の色変換レイヤー画像とを合成する。なお、アルファブレンデイングは、式 (6)によって示される。

[0052] [数 2]

C_F = y C_f + ∑j3i Q …式 (6)

i=l

但し、 Cベクトルは、合成後の R, G, B値を示す。 Cベクトルはフレーム画像の各画素の R, G, B値を示す。 Cベクトルは色変換レイヤー画像の各画素の R, G, B値を示す。また、 βは式（1)で表され、 γは式（2)で表される。

[0053] 表示部 80は、表示装置 6から構成され、合成部 70によって合成された画像、すなわち、仮想的に化粧が施された顔の動画像を表示する。

[0054] なお、本実施の形態では、第 1の画像作成部 20が第 1の画像作成手段に相当し、第 2の画像作成部 30が第 2の画像作成手段に相当し、フレーム画像抽出部 42が対象画像取得手段に相当し、メッシュ設定部 50がメッシュ設定手段に相当し、画像変形部 60が画像変形手段に相当し、合成部 70が合成手段に相当し、使用基準画像が基準画像に相当する。

[0055] (化粧シミュレーション装置の動作）

次に、図 3及び図 4に示すフローチャートにしたがって、本ィ匕粧シミュレーション装置の動作について説明する。

[0056] まず、ステップ S1において、初期設定部 13は、ユーザによって選択された 1種類の基準画像を使用基準画像として決定し、使用基準画像記憶部 14に記憶させる。この場合、初期設定部 13により、基準画像記憶部 11に記憶されている基準画像の一覧画像が、表示部 80に表示される。そして、ユーザによって、一覧画像の中からクリックされた基準画像が使用基準画像として決定される。

[0057] さらに、ユーザにより、使用基準画像を構成する n枚のレイヤー画像のうちいずれかのレイヤー画像をィ匕粧シミュレーションに使用しない操作指令がユーザにより行われると、初期設定部 13は、当該レイヤー画像を使用基準画像力削除し、使用基準画像を更新する。このとき、更新された使用基準画像は、表示部 80に表示される。

[0058] また、化粧シミュレーションに使用する n枚のレイヤー画像のうち、いずれかのレイヤ一画像に対する色を指定する操作指令がユーザにより行なわれた場合、当該レイヤ一画像の色成分の値を指定された色の値に変更し、使用基準画像を更新する。このとき、更新された使用基準画像は、表示部 80に表示される。

[0059] また、ユーザは、表示部 80に表示された使用基準画像に含まれる化粧要素画像をクリックした後、表示部 80に表示された色を指定するためのカラーパレットの中から、所望の色をクリックすることによりィ匕粧要素画像の色を変更する。

[0060] ステップ S2において、透明度レイヤー画像作成部 21は、使用基準画像記憶部 14 カゝら使用基準画像を読み出し、読み出した使用基準画像に含まれる n枚のレイヤー画像の各々に対応する n枚の透明度レイヤー画像を作成する。

[0061] ステップ S3において、色レイヤー作成部 31は、使用基準画像記憶部 14から使用基準画像を読み出し、読み出した使用基準画像に含まれる n枚のレイヤー画像の各々に対応する n個の色レイヤーを作成する。

[0062] ステップ S4において、透明度レイヤー画像作成部 21は、 n枚の透明度レイヤー画像の各々に対して式（1)を適用し、各透明度レイヤー画像を構成する各画素の透明度を正規化し、 n枚の正規化透明度レイヤー画像を作成すると共に、式 (2)を用いて基準画像に含まれる顔画像を構成する各画素の透明度を正規化する。

[0063] 図 5は、式（1)及び式（2)を説明するための図である。図 5では、レイヤー 1一 nの各々に対応する帯グラフが示されており、各帯グラフは、第 i階層の透明度レイヤー画像の透明度 a iと、第 i階層の顔画像の透明度（Ι—a i)との関係が示されている。例えば、レイヤー 1の帯グラフにおいて右側の領域 R1には、第 1階層の透明度レイヤー画像の透明度が示され、左側の領域 R2には、第 1階層の顔画像の透明度が示されている。

[0064] 各帯グラフの右側に示された数式は、第 1階層力第 n階層までの透明度レイヤー画像の透明度 a - a の和に対する、各透明度レイヤー画像の透明度 αの比率を示している。この比率を透明度 αにかけあわせると上記式（1)が得られる。

[0065] また、各帯グラフの右側に示された各透明度レイヤー画像の透明度 ex iの比率を顔画像の透明度 1— αに乗じ、 1から ηまでの総和をとると上記式（2)が得られる。なお、 j8及び γは、∑ j8 + γ = 1の関係を有している。但し、∑ j8 = j8 + β β である。なお、正規化する理由については後述する。

[0066] 図 3に示すステップ S5において、基準位置検出部 511は、使用基準画像に含まれる顔画像から眉間を検出する。この処理の詳細については後述する。図 6は、特徴点の抽出処理を説明する図面である。なお、図 6において、 ME1— ΜΕ4は化粧要素画像を示している。この場合、図 6に示すように、顔画像から眉間 RPが検出される。

[0067] 図 3に示すステップ S6において、特徴点抽出部 522は、特開 2003— 44837号公報に記載の手法を用いて使用基準画像に含まれる顔画像から、人物の背景を示す背景領域、人物の髪を示す髪領域、及び人物の顔を示す顔領域を抽出する。この場合、図 6に示すように、背景領域 BC、髪領域 HC、及び顔領域 FCが抽出される。

[0068] 図 3に示すステップ S7において、特徴点抽出部 522は、使用基準画像に含まれる顔画像から抽出した顔領域に対してエッジ抽出処理を実行し、抽出したエッジと先に検出した眉間 RPとの関係力も顔、及び眼等の顔部品の輪郭を特定する。この場合、図 6に示すように、顔の輪郭 El、眉の輪郭 E2、眼の輪郭 E3、及び口の輪郭 E4が特定される。

[0069] 図 3に示すステップ S8において、特徴点抽出部 512は、特定した顔、眉、眼、及び口の輪郭 E1— E4から特徴点を検出する。この場合、図 6に示すように、顔の輪郭 E1 においては、傾きの変曲点を検出することにより 8個の特徴点 P11— P18が検出される。なお、特徴点を総称して呼ぶ場合、特徴点 TPと表す。また、眉の輪郭 E2においては、端部を検出することにより眉尻及び眉頭の位置が特徴点 P21及び P22として検出される。さらに、眼の輪郭 E3においては、端部を検出することにより目尻及び目頭の位置が特徴点 P31及び P32として検出される。さらに、口の輪郭 E4においては、端部を検出することにより上唇と下唇の付け根が特徴点 P41、 P42として検出される。

[0070] なお、検出する顔部品の輪郭としては、顔、眉、眼、及び口の輪郭 E1— E4に限定されず、他の顔部品、例えば鼻等の輪郭を特定してもよいし、上記 4種類の顔部品のうちいずれかの顔部品の輪郭を省いてもよい。また、特徴点も図 6で示したものに限定されず、他の特徴点を検出しても良いし、図示した特徴点のうち、一部の特徴点を省略してちょい。

[0071] 図 3に示すステップ S9において、頂点移動部 54は、初期メッシュの特徴頂点を使用基準画像の対応する特徴点に移動させる。図 7は、初期メッシュの一例を示した図である。図 7に示すように初期メッシュは、複数の三角形のポリゴン力も構成されている。初期メッシュの各頂点は、特徴頂点 TP'及び浮動頂点 FP'から構成されている。

[0072] 特徴頂点 TP'は、顔、眉、目及び口の輪郭 E1 '— E4'上に位置する。顔の輪郭 E1 ，上には、 8個の特徴頂点 P11 '— P18'が設定されている。眉の輪郭 E2'上には特徴頂点 P21 '及び P22'が設定され、それぞれ眉尻及び眉頭の位置に設定されている。眼の輪郭 E3'上には特徴頂点 P31 '及び P32'が設定され、それぞれ目尻及び目頭の位置に設定されて、る。口の輪郭 E4'上には特徴頂点 P41 '及び P42'が設定され、それぞれ上唇と下唇の付け根の位置に設定されている。

[0073] 頂点移動部 54は、この初期メッシュを図 6に示す使用基準画像に重ね、初期メッシュの特徴頂点 TP'を、使用基準画像の対応する特徴点 TPに移動させる。次に、頂点移動部 54は、初期メッシュの浮動頂点 FP'に一定の高さ成分 (Z成分)を与えて 3 次元データとし、浮動頂点 FP'に対して式（7)及び式 (8)の演算を繰り返し適用することにより、浮動頂点 FP'を移動させる。これにより、使用基準画像に対して、上述した長さ制約を満たし、かつ、メッシュを構成するポリゴンの重なりが生じないようなメッシュが設定されることとなる。

[0074] [数 3] ？ Γ Ρ - Χ ( I Pi-Pj I - )(ρ厂 Pj) · · ·式）

^= ρ] + λ ( I Ρ_γ I - iij)(Pi-Pj) · · ·式 (8)

ただし、 P.ベクトルは、メッシュの頂点の座標を示す。 Pベクトルは、 Pベクトルに隣接するメッシュの頂点の座標を示す。 P 'ベクトルは演算が施された 1^ベクトルを示す。ベクトルは演算が施された Pベクトルを示す。 1は初期メッシュにおける Pベタト j j i] i ル及び Pベクトルを結ぶ線分の長さを示す。 λは定数値を示す。

[0075] 図 8は、初期メッシュの特徴頂点 TP'を使用基準画像の対応する移動対象位置に移動させ、浮動頂点 FP'に一定の高さ成分を付与した直後の使用基準画像に設定されたメッシュを示した図であり、（a)は Z方向視のメッシュを示し、（b)は斜め方向視のメッシュを示している。各浮動頂点 FP'は、（b)に示すように、 Z方向に一定の距離ずらされていることが分かる。また、各特徴頂点は、 XY平面上に位置していることが分かる。そして、メッシュ設定部 50は、各頂点に対し式（7)及び式 (8)の演算を順次適用していく。

[0076] 図 9は、図 8に示す各頂点に対し、式（7)及び式 (8)の演算を 1回適用したときの使用基準画像に設定されたメッシュを示した図であり、 (_a)は Z方向視のメッシュを示し、 (b)は斜め方向視のメッシュを示している。図 9 (b)に示すように各浮動頂点 FP'は、図 8 (b)の場合に比べ、 Z成分の値が少し小さくなつていること分かる。また、図 9 (a) に示すように各浮動頂点 FP'は、図 8 (b)の場合に比べ、メッシュを構成するポリゴンの重なりが多少改善されていることが分かる。

[0077] 図 10—図 14は、図 8に示す各浮動頂点 FP'に対し、式（7)及び式 (8)の演算をそれぞれ 5回、 10回、 20回、 30回、 60回適用したときの使用基準画像に設定されたメッシュを示した図であり、図 10—図 14のいずれにおいても（a)は Z方向視のメッシュを示し、（b)は斜め方向視のメッシュを示している。図 10 (b)—図 14 (b)に示すように、各頂点に対して式 (7)及び式 (8)の演算を適用する回数を増加させると、各浮動頂点 FP'の高さ成分の値が全体的に低くなつていき、図 14 (b)に示す式（5)の演算を 6 0回適用したときのメッシュに至っては、各浮動頂点 FP'の高さ成分がほぼ 0になっていることが分かる。また、これに伴い、図 10 (a)—図 14 (a)に示すように、式（7)及び式 (8)の演算を適用する回数が増大するにつれてメッシュを構成するポリゴンの重なりが解消されていることが分かる。

[0078] 高さを導入せずとも画像平面状において、長さ制約を満たすように、初期メッシュを変形させれば、ある程度、変形前のメッシュの頂点同士の位置関係をバランスよく保持した状態で顔領域にメッシュを設定することも可能である。

[0079] し力しながら、高さを導入しない画像平面上において長さ制約のみをカ卩味して、初期メッシュを変形させた場合、メッシュを構成するポリゴンの重なりが生じる可能性が高くなる。かかるポリゴンの重なりは、初期メッシュのサイズよりも顔領域のサイズが小さい場合に発生する。これは、実際の布を本来の大きさより小さく縮め、床に押し付けた場合に生じる皺に例えることができる。

[0080] 図 15は、メッシュを構成するポリゴンの重なりが生じている画像に対して、化粧要素画像を合成したときの一例を示す画面図である。図 15の場合、口紅の輪郭 K1が口の輪郭に沿った形状となっておらず、また、唇から口紅 K2がはみ出ていることが分かる。このようにメッシュを構成するポリゴンに重なりが生じると、顔の画像に対して化粧要素画像が不自然に合成されてしまう。

[0081] そこで、頂点移動部 54は、各頂点に高さ成分を与え、式（7)及び式 (8)を用いて 3 次元的に浮動頂点の位置を算出することにより、使用基準画像に対し、メッシュが重なって設定されることを防止して、る。

[0082] 図 16は、使用基準画像の顔領域に設定されたメッシュを示した図である。図 16に示すように、メッシュを構成するポリゴンの重なりが発生することなぐ顔領域にバランスよくメッシュが設定されていることが分かる。また、顔、眉、眼、及び口の輪郭 E1— E 4上にメッシュの頂点が位置していることが分かる。

[0083] 図 3に示すステップ S10において、動画像取得部 41は、人物の顔の動画像を取得する。ステップ S 11において、フレーム画像抽出部 42は、動画像取得部 41によって取得された動画像から 1枚のフレーム画像を抽出する。なお、フレーム画像抽出部 4 2は、フレーム画像を 1枚ずつ抽出してもよいし、所定のコマ間隔で間引いて抽出してもよい。 [0084] 図 4に示すステップ S12において、基準位置検出部 521は、ステップ S5と同様にして、フレーム画像力も眉間を検出する。図 17は、フレーム画像の顔領域に設定されたメッシュを示した図面である。図 17に示すフレーム画像は、図 6に示す使用基準画像に対して顔の向きが変化していることが分かる。この場合、図 17に示すように、眉間 RPが検出される。

[0085] ステップ S13において、特徴点抽出部 522は、ステップ S6と同様にして、フレーム画像の顔領域に背景領域 BC、髪領域 HC、及び顔領域 FCを抽出する。ステップ S1 4において、特徴点抽出部 522は、ステップ S7と同様にして、フレーム画像の顔領域にエッジ抽出処理を実行し、顔、眉、眼、及び口の輪郭 E1— E4を特定する（図 17参照)。

[0086] ステップ S15において、特徴点抽出部 522は、ステップ S8と同様にして、特定した顔、眉、眼、及び口の輪郭 E1— E4力も特徴点 TP (図 17で省略)を抽出する。

[0087] ステップ S16において、頂点移動部 54は、ステップ S9と同様、初期メッシュの特徴頂点 TP，をフレーム画像の特徴点 TPに移動させる。この場合、図 17に示すように、使用基準画像に対して顔の向きが変化した場合でも、ポリゴンの重なりが生じないように顔領域にバランス良くメッシュが設定されていることが分力る。

[0088] ステップ S17において、座標計算部 61は、使用基準画像に設定されたメッシュ及びフレーム画像に設定されたメッシュの対応する頂点同士の位置の差分を算出し、座標変換テーブルを作成し、座標変換テーブル記憶部 62に記憶させる。この座標変換テーブルはフレーム画像毎に更新される。

[0089] ステップ S18にお、て、化粧要素画像変形部 63は、座標変換テーブルを参照し、正規化透明度レイヤー画像に含まれる化粧要素画像を変形させる。図 18は、化粧要素画像が変形される様子を示した図面であり、（a)は変形前を示し、（b)は変形後を示している。図 18 (a)に示すように、化粧要素画像 G1が描画されたポリゴン PR1が、 (b)に示すように、ポリゴン PR2に変形され、それに伴って、化粧要素画像 G1が化粧要素画像 G2に変形される。

[0090] 図 4に示すステップ S19において、色変換処理部 32は、ステップ S11で抽出されたフレーム画像と、色レイヤー作成部 31によって作成された色レイヤーとに対し、式（3 )一式（5)に示す色変換処理を施し、 n枚の色変換レイヤー画像を作成する。作成された n枚の色変換レイヤー画像は、色変換レイヤー画像記憶部 33に記憶される。

[0091] ステップ S20において、合成部 70は、フレーム画像と、色変換処理部 32により作成された色変換レイヤー画像とを式 (6)を用いて合成する。

[0092] 次に、透明度正規ィ匕部 22が透明度 α及び透明度 1 αを正規化する理由について説明する。式 (9)一式（11)は、アルファブレンデイングの一般的な数式を示している。

[0093] [数 4]

C_r =(l- « i)C_f + 1 1 …式 (9)

=(1—ひ i) (l— a ₂)C_f + ひ ι (1—

(トひ …式 (11)

但し、 Crベクトルは合成後の各画素の R, G, B値を示す。 Cベクトルは使用基準画 f

像に含まれる顔画像の各画素の R, G, B値を示す。 Cベクトルは第 i (i= l一 n)階層の色変換レイヤー画像の各画素の R, G, B値を示す。また、式（9)は、 1枚の色変換レイヤー画像を顔画像に合成する場合を示し、式（10)は 2枚の色変換レイヤー画像を顔画像に合成する場合を示し、式（11)は n枚の色変換レイヤー画像を顔画像に合成する場合を示している。式（11)に示すように色変換レイヤーの順番を入れ替えると、式（11)の第 2項が入れ替えに応じて異なる値となってしまうため、 Cベクトルの値が色変換レイヤーの順番に依存してしまう。

[0094] そこで、本ィ匕粧シミュレーション装置は、色変換レイヤー画像の順序が入れ替えられても、 Cベクトルの値が同一となるように、正規化透明度レイヤー画像の各画素の透明度 α及び顔画像の各画素の透明度 1 αを式（1)及び式（2)を用いて正規ィ匕して β及び γとする。そして、 βを色変換レイヤー画像のアルファ値とし、 γを顔画像のアルファ値とし、 Cベクトルの値がレイヤーの順番に依存することを防止している

[0095] ステップ S21において、表示部 80は、合成部 70により合成された画像を表示する。

図 19は、合成部 70により合成された画像の一例を示した図面である。図 19に示すように、図 6に示すィ匕粧要素画像 ME1— ME4が、顔の変化に適合するように変形され、フレーム画像上に違和感なく表示されていることが分かる。なお、図 6及び図 17に示す化粧要素画像 ME1— ME4は、一例にすぎず、他の化粧要素画像を含んでも良いし、いずれかの化粧要素画像を省略してもよい。

[0096] 図 4に示すステップ S22において、フレーム画像抽出部 42は、全フレーム画像の抽出が終了した力否かを判定し、全フレーム画像の抽出が終了している場合 (ステップ S22で YES)、処理が終了される。一方、ステップ S22において、全フレーム画像の抽出が終了して、な、場合 (ステップ S 22で NO)、次のフレーム画像を抽出し (ステップ S23)、処理がステップ S12に戻される。

[0097] このように、本ィ匕粧シミュレーション装置によれば、ペンタブレット等を操作することによりユーザにより予め作成された基準画像に含まれる化粧要素画像をフレーム画像に適合するように変形させ、フレーム画像上に表示させているため、ユーザは、ぺンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、基準画像力も一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更すると、うような設定を容易に行なうことができる。

[0098] さらに、透明度レイヤー画像の各画素の透明度及び顔画像の各画素の透明度を正規化して、るため、レイヤーの順序に依存しな、アルファブレンデイングが可能となる。さらに、初期メッシュの長さ制約を満たし、かつ、メッシュを構成するポリゴンの重なりが生じないように、基準画像及びフレーム画像の顔領域にメッシュが設定されているため、化粧要素画像をフレーム画像上により違和感なく自然な状態で表示することがでさる。

[0099] (基準位置検出部の詳細な構成）次に、基準位置検出部 511, 521の詳細な構成について説明する。図 20は、基準位置検出部 511, 521の詳細な構成を示すブロック図である。以下、基準位置検出部 511, 521は同一であるため、基準位置検出部 511のみ説明する。基準位置検出部 511は、モフォロジ処理部 101、解像度低下処理部 102、相関値画像生成部 103 、移動部 104、重畳部 105、検出部 106を備えている。

[0100] モフォロジ処理部 101は、フレーム画像に対し最大値フィルタによるフィルタ処理を施した後、最小値フィルタによるフィルタ処理を施し、得られた画像から対応するフレーム画像を差し引き、モフォロジ画像を生成する。ここで、最小値フィルタを用いたフィルタ処理は、注目画素と、注目画素を取り巻く 8個の近傍画素とにおいて、最小の輝度を注目画素の輝度として採用する処理である。

[0101] 解像度低下処理部 102は、モフォロジ画像を所定行所定列の画素力もなるブロックに区画し、各ブロックの画素データの平均値、中央値等の代表値を、各ブロックの輝度とする解像度低下処理を施し、モフォロジ画像の解像度を低下させる。

[0102] 相関値画像生成部 103は、解像度が低下されたモフォロジ画像に対し、左眼相関値フィルタを用いたフィルタ処理を施し、左眼ローカルパターン画像との相関を示す左眼相関値画像を生成する共に、解像度を低下する処理が施されたモフォロジ画像に対し、右眼相関値フィルタを用いたフィルタ処理を施し、右眼ローカルパターン画像との相関を示す右眼相関値画像を生成する。

[0103] 移動部 104は、左眼相関値画像において左眼を示す領域と、右眼相関値画像にお！、て右眼を示す領域とが眉間に移動されるように、左眼相関値画像と右眼相関値画像とを所定方向に所定距離移動させる。

[0104] 重畳部 105は、移動部 104によって移動された右眼相関値画像と、左眼相関値画像とに対して、最大値フィルタを用いたフィルタ処理を実行した後、対応する画素の相関値を乗算することにより、右眼相関値画像と左眼相関値画像とを重畳し、 1枚の合成画像とする。また、重畳部 105は、合成画像に対して顔中心評価画像を乗算する。

[0105] 検出部 106は、合成画像において、輝度が所定の値より高い領域を検出し、当該領域の中心の座標を眉間として検出する。 [0106] (基準位置検出部の動作）

次に、図 21に示すフローチャートを用いて、基準位置検出部 511の動作について説明する。なお、基準位置検出部 521は、処理対象がフレーム画像である以外は、基準位置検出部 511と同一の処理を行うものであるため、基準位置検出部 521の説明は省略する。

ステップ S201において、モフォロジ処理部 101は、顔画像に対してモフォロジ処理を施す。この場合、図 22に示すように、眼の輪郭、鼻筋、眉毛、唇等の顔の特徴部分を示す画像が顔画像から抽出される。なお、図 22において、黒い部分は輝度が高いことを示し、白い部分は輝度が低いことを示している。また、図 22は白黒の 2値で表示されているが、実際には、濃淡画像である。

[0107] ステップ S202において、解像度低下処理部 102は、モフォロジ画像に対して解像度低下処理を施す。これにより、モフォロジ画像の解像度は、顔画像の解像度が縦 X横 = 360 X 240であるのに対して、縦 X横 = 30 X 20とされる。なお、このサイズは、 1画素が瞳 1個分の大きさになることを想定して！/、る。

[0108] ステップ S203において、相関値画像生成部 103は、解像度が低下された相関値画像に対し、左及び右眼相関値フィルタを用いたフィルタ処理を施し左眼相関値画像及び右眼相関値画像を生成する。図 23は左及び右眼相関値フィルタを示した図面であり、（a)は左眼相関値フィルタを、（b)は右眼相関値フィルタを示している。 (a) 及び (b)を比較すれば分力るように、左及び右眼相関値フィルタは線対称の関係にある。また、左及び右眼相関値フィルタにおいて Pが注目画素である。

[0109] 相関値画像生成部 103は、解像度低下処理が施されたモフォロジ画像の各画素を注目画素とし、左及び右眼相関値フィルタを用いて、 Max (P, Q) X 5— (A+B + C + D + E) · · ·式（1)の演算を行い、各注目画素の相関値を求めることにより、左及び右眼相関値画像を生成する。このフィルタは、周囲に対して輝度が高い領域を検出するフィルタである。

[0110] 図 24は、グローバルパターン画像と左及び右眼ローカルパターン画像とを示した図面であり、（a)はグローバルパターン画像を示し、（b)は左及び右眼ローカルパターン画像を示して、る。グローバルパターン画像 GP及び左及び右眼ローカルパターン画像 RP1, RP2において、ハッチングが施された四角形からなる領域 Ml, M2は、それぞれ左眼の瞳及び右眼の瞳に対応している。また、グローバルパターン画像 G Pに示す Oは、グロ一ノレパターン画像の中心を示し、眉間に対応している。また、左及び右眼ローカルパターン画像 RP1, RP2に示す Ol, 02は、左及び右眼の瞳の中心に対応している。

[0111] 図 25は、顔画像の一例を示した図面であり、 (a)は顔が傾いていない場合、 (b)は顔が傾!、て、る場合を示して！/、る。

[0112] ここで、グローバルパターン画像 GPを基準画像とし、パターンマッチングにより、 (a ) , (b)に示す顔画像から両眼を含む領域 R1を検出し、検出した領域 R1を基に、眉間を検出する処理を考える。 (a)に示すように、顔が傾いていない場合は、領域 R1を抽出することができるため、領域 R1から眉間を検出することができる。しかし、（b)に示すように、顔が傾いている場合は、領域 R1を検出することは困難であるため、眉間を検出することはできない。そこで、本画像処理装置は、グローバルパターン画像 GP を左及び右眼ローカルパターン画像 RP1, RP2〖こ分け、両画像を個別に検出することにより、顔が傾、て、るフレーム画像に対しても眉間を検出することを可能としてヽる。

[0113] なお、式（1)において MAX (P, Q)の式に Qが含まれているため、顔が傾いている場合における瞳の検出精度がさらに高められている。

[0114] 図 26は左及び右眼相関値画像の一例を示した図面であり、（a)は左眼相関値画像を示し、（b)は右眼相関値画像を示している。（a)及び (b)において、色の濃さにより相関値が示され、色が濃いほど相関値が高い。（a)に示すように左眼相関値画像では、左眼に対応する領域 R3の相関値が高く算出されていることが分かる。また、 (b )に示すように右眼相関値画像では、右眼に対応する領域 R4の相関値が高く算出されていることが分かる。

[0115] 図 21に示すステップ S204において、移動部 104は、左眼相関値画像の各画素の座標に、図 24で示す差分ベクトル D1を加えることにより、左眼相関値画像を差分べタトル D1分、移動させると共に、右眼相関値画像の各画素の座標に図 24で示す差分ベクトル D2を加えることにより、右眼相関値画像を差分ベクトル D2分移動させる。なお、差分ベクトル Dlは、グローバルパターン画像 GPの中心 Oと、領域 Mlの中心 Olを始点とし、グローバルパターン画像 GPの中心 Oを終点とするベクトルであり、また、差分ベクトル D2は、領域 M2の中心 02を始点とし、グローバルパターン画像 GP の中心 Oを終点とするベクトルである。ここで、差分ベクトル Dl, D2は、グローバルパターン画像 GPに対する左及び右眼ローカルパターン画像 RP1, RP2の相対的な位置関係によって決定することができるため、差分ベクトル Dl, D2は予め記憶装置に記憶されている。

[0116] 図 27は、移動部 104によって移動された左及び右眼相関値画像を示す図面であり、（a)は左眼相関値画像を示し、（b)は右眼相関値画像を示している。（a)に示すように、左眼を示す領域 R3が眉間に相当する位置に移動されていることが分かる。また、（b)に示すように、右眼を示す領域 R4が眉間に相当する位置に移動されていることが分かる。

[0117] 図 21に示すステップ S205において、重畳部 105は、差分ベクトル D1移動された左眼相関値画像と差分ベクトル D2移動された右眼相関値画像とに対して最大値フィルタによるフィルタ処理を施す。図 28は最大値フィルタによる処理結果を示す図面であり、（a)は最大値フィルタによるフィルタ処理を施された左眼相関値画像を示し、 (b )は最大値フィルタによるフィルタ処理が施された右眼相関値画像を示している。図 2 8 (a) , (b)に示すように、図 27 (a)、（b)において、左及び右眼を示す領域 R3, R4 の範囲が大きくなり領域 R5, R6とされ、左及び右眼を示す領域 R3, R4がより確実に重なるようにされて！、ることが分かる。

[0118] 図 21に示すステップ S206において、重畳部 105は、左及び右相関値画像の対応する画素の相関値を乗算して両画像を重畳し、 1枚の合成画像を生成し、この合成画像に対し顔中心評価画像を乗算し (ステップ S207)、合成画像中の眉間に相当する位置付近の相関値をより高くする処理を行う。これにより、左及び右眼を示す画像以外の画像との相関値の差が顕著に表れることとなる。

[0119] 図 29は、顔中心評価画像を示した図面である。図 29に示すように、顔中心評価画像は、長軸が縦方向に平行に設定された楕円状の画像であり、色が濃くなるにつれて輝度が高くなつている。この楕円は、顔の形を想定しており、眉間に相当する位置の輝度が最大であり、周囲から眉間に相当する位置に向かうにつれて輝度が高くなつている。図 30は、顔中心評価画像によるフィルタ処理が施された合成画像を示した図面である。図 30に示すように、左及び右眼に対応する画像以外の画像が除去されていることが分かる。

[0120] ステップ S208において、検出部 106は、顔中心評価画像によるフィルタ処理が施された合成画像において、相関値が所定の値よりも高い領域が存在するカゝ否かを判定し、所定の値よりも大きい領域が存在する場合 (ステップ S208で YES)、検出した領域の中心の位置を眉間として検出する (ステップ S209)。一方、相関値が所定の値よりも大きな領域を検出することができな力つた場合 (ステップ S 208で NO)、眉間は検出できな力つたとして、処理が終了される。なお、検出部 106は、相関値が高い領域を複数検出した場合、眉間は含まれていないとする、或いは輝度の平均値が最大の領域の中心を眉間とする。

[0121] このように、基準位置検出部 512, 522によれば、左及び右相関値フィルタによるフィルタ処理により左及び右眼ローカルパターン画像 RP1, RP2に対する相関を示す左及び右相関値画像が生成されている。これにより、グローバルパターン画像 GP全体との相関を示す画像を生成する場合に比べて、顔画像が回転、拡大、縮小等の変形を起こして、る場合であっても、高、相関を示す相関値画像を得ることができる。そして、両画像が差分ベクトル Dl, D2移動され、最大値フィルタによるフィルタ処理が施され、重畳されている。これにより、顔画像が上記変形を起こしている場合であつても、眉間に相当する位置において高い相関を示す合成画像を得ることができる。そのため、眉間を高速、かつ、高精度に検出することができる。

[0122] (基準画像作成モード）

次に、基準画像作成モードについて説明する。図 31は、基準画像作成モードにおける化粧シミュレーション装置の機能ブロック図である。基準画像作成モードにおける化粧シミュレーション装置は、基準画像記憶部 11、静止画像取得部 301、操作部 30 2、レイヤー画像作成部 303、透明度レイヤー画像作成部 304、色レイヤー作成部 3 05、透明度正規化部 306、正規化透明度レイヤー画像記憶部 307、色変換処理部 308、色変換レイヤー画像記憶部 309、合成部 310、表示部 311、及び基準画像作成成部部 331122をを備備ええてていいるる。。

[0123] 静静止止画画像像取取得得部部 330011はは、、静静止止画画カカメメララ 1111aaかからら構構成成さされれ、、基基準準画画像像ののモモデデルルととななるる人人間間のの顔顔のの静静止止画画像像をを取取得得すするる。。操操作作部部 330022はは、、入入力力装装置置 11かからら構構成成さされれ、、ユユーーザザかかららのの種種々々のの操操作作指指令令をを入入力力すするるたためめにに用用いいらられれるる。。

[0124] レレイイヤヤーー画画像像作作成成部部 330033はは、、ユユーーザザにによよりり顔顔のの静静止止画画像像上上にに 11種種類類のの化化粧粧要要素素画画像像がが描描画画さされれるる毎毎ににそそのの化化粧粧要要素素画画像像をを含含むむ 11枚枚ののレレイイヤヤーー画画像像をを作作成成すするる。。レレイイヤヤーー画画像像はは、、上上述述ししたたよよううにに、、 RR,, GG,, BB値値力力ももななるる色色成成分分とと各各画画素素のの透透明明度度ととかからら構構成成さされれるる。。透透明明度度はは、、レレイイヤヤーー画画像像のの静静止止画画像像にに対対すするる透透明明度度をを示示すす。。

[0125] 透透明明度度レレイイヤヤーー画画像像作作成成部部 330044はは、、図図 22にに示示すす透透明明度度レレイイヤヤーー画画像像作作成成部部 2211とと同同様様にに、、レレイイヤヤーー画画像像のの透透明明度度をを基基にに、、レレイイヤヤーー画画像像のの各各階階層層にに対対応応すするる透透明明度度レレイイヤヤーー画画像像をを作作成成すするる。。色色レレイイヤヤーー作作成成部部 330055はは、、色色レレイイヤヤーー作作成成部部 3311とと同同様様にに、、レレィィヤヤーー画画像像のの色色成成分分をを基基にに、、レレイイヤヤーー画画像像のの各各階階層層にに対対応応すするる色色レレイイヤヤーーをを作作成成すするる。。

[0126] 透透明明度度正正規規ィィ匕匕部部 330066はは、、図図 22にに示示すす透透明明度度正正規規化化部部 2222とと同同様様にに、、透透明明度度レレイイヤヤーー画画像像のの各各画画素素にに対対しし、、上上記記式式（（11))のの演演算算をを施施しし、、正正規規化化透透明明度度レレイイヤヤーー画画像像をを作作成成すするるととととももにに、、静静止止画画像像のの各各画画素素にに対対しし式式（（22))のの演演算算をを施施しし、、静静止止画画像像のの各各画画素素のの透透明明度度をを正正規規化化すするる。。

[0127] 正正規規ィィ匕匕透透明明度度レレイイヤヤーー画画像像記記憶憶部部 330077はは、、 RRAAMM44かからら構構成成さされれ、、正正規規化化透透明明度度レレィィヤヤーー画画像像及及びび正正規規化化さされれたた顔顔画画像像のの各各画画素素のの透透明明度度をを記記憶憶すするる。。色色変変換換処処理理部部 330088はは、、色色変変換換処処理理部部 3322とと同同様様にに、、色色レレイイヤヤーーのの RR,, GG,, BB値値及及びび静静止止画画像像のの各各画画素素のの RR,, GG,, BB値値ををそそれれぞぞれれ HHSSVV表表色色系系にに変変換換ししたた後後、、上上記記式式（（33))——式式（（55))にに示示すす色色変変換換処処理理をを実実行行しし、、得得らられれたた画画像像ををささららにに、、 RR,, GG,, BB表表色色系系にに変変換換すするるここととにによよりり、、レレイイヤヤーー画画像像のの各各階階層層にに対対応応すするる色色変変換換レレイイヤヤーー画画像像作作成成すするる。。

[0128] 色色変変換換レレイイヤヤーー画画像像記記憶憶部部 330099はは、、 RRAAMM44かからら構構成成さされれ、、色色変変換換処処理理部部 330088にによよつつてて作作成成さされれたた色色変変換換レレイイヤヤーー画画像像をを記記憶憶すするる。。

[0129] 合合成成部部 331100はは、、図図 22にに示示すす合合成成部部 7700とと同同様様にに、、正正規規化化透透明明度度レレイイヤヤーー画画像像のの各各画画素素のの透透明明度度をを色色変変換換レレイイヤヤーー画画像像のの各各画画素素ののアアルルフファァ値値ととしし、、色色変変換換レレイイヤヤーー画画像像 * [0130] 表示部 311は、表示装置 6から構成され、合成部 310によって合成された画像を表示する。基準画像作成部 312は、レイヤー画像作成部 303によって作成されたレイヤー画像と静止画像取得部 301によって取得された静止画像とを、基準画像として、基準画像記憶部 11に記憶させる。

[0131] 次に、基準画像作成モードにおける化粧シミュレーション装置の動作について、図 32に示すフローチャートを用いて説明する。まず、ステップ S301において、静止画像取得部 301は、基準画像のモデルとなる人間の顔の静止画像を取得する。この場合、例えば、図 6に示すような人間の顔の静止画像が取得される。

[0132] ステップ S302において、レイヤー画像作成部 303は、操作部 302を介して、ユーザによる化粧要素画像の描画入力を受け付け、ステップ S303において、 1種類の化粧要素画像の描画入力を受け付ける毎に、各化粧要素画像を含むレイヤー画像を作成する。

[0133] この場合、レイヤー画像作成部 303は、静止画像取得部 301によって取得された静止画像を表示部 311に表示させ、表示された静止画像上に化粧要素画像をペンタブレット等を用いて描画された化粧要素画を受け付ける。受け付けられた化粧要素画像は、表示部 311に表示される。また、 1種類の化粧要素画像の入力が終了したか否かの判断はユーザの指示によって行なわれる。

[0134] この段階において、表示部 311には、透明度と、単色の色成分とによって表された化粧要素画像が、静止画像上に単に重ねて合わされた画像が表示されており、化粧要素画像が違和感のある不自然な状態で表示されて!、る。

[0135] ステップ S304において、ユーザによりステップ S303で作成されたレイヤー画像を静止画像に合成する指示が入力されると (ステップ S304で YES)、処理がステップ S

306に進められる。一方、ステップ S304において、レイヤー画像を静止画像に合成する指示が入力されない場合は（ステップ S304で NO)、処理がステップ S305に進められる。

[0136] ステップ S305において、ユーザにより基準作成モードの終了の指示がされた場合

(ステップ S305で YES)、処理が終了される。一方、ステップ S305において、ユーザにより基準作成モードの終了の指示がされな力つた場合 (ステップ S305で NO)、処理がステップ S302に戻される。

[0137] ステップ S306において、透明度レイヤー画像作成部 304は、レイヤー画像の透明度を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。ステップ S307において、色レイヤー作成部 305は、レイヤー画像の色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。

[0138] ステップ S308において、透明度正規ィ匕部 306は、透明度レイヤー画像の各画素の透明度を正規ィ匕し、正規化透明度レイヤー画像を作成し、正規化透明度レイヤー画像記憶部 307に記憶させるとともに、静止画像の各画素の透明度を正規ィ匕し、正規ィ匕透明度レイヤー画像記憶部 307に記憶させる。

[0139] ステップ S309において、色変換処理部 308は、色レイヤーと静止画像とを基に、レィヤー画像の各階層に対応する色変換レイヤー画像を作成し、色変換レイヤー画像記憶部 309に記憶させる。

[0140] ステップ S310において、合成部 310は、静止画像と、色変換レイヤー画像とをアルファブレンデイングにより合成させる。ステップ S311において、表示部 311は、合成部 310によって合成された画像を表示する。この場合、ステップ S302の段階で、静止画像上に違和感なく不自然な状態で表示されて!、た化粧要素画像が違和感のない自然な状態で静止画像上に表示されることとなる。

[0141] ステップ S312において、ユーザにより基準画像の作成指示がされると (ステップ S3 12で YES)、ステップ S313に進み、基準画像作成部 312は、レイヤー画像作成部 3 03によって作成されたレイヤー画像と静止画像取得部 301によって取得された静止画像とを合成して基準画像を作成し、基準画像記憶部 11に記憶させ、基準画像作成モードを終了させる。

[0142] 一方、ステップ S312において、ユーザにより基準画像の作成指示がされない場合

(ステップ S312で NO)、処理がステップ S302に戻される。

[0143] なお、本発明は、以下の態様を採用してもよい。

[0144] (1)上記実施の形態では、ィ匕粧シミュレーションプログラムをコンピュータにインストールすることにより、コンピュータをィ匕粧シミュレーション装置として機能させていたが、これに限定されず、専用のハードウェア回路を用いて、化粧シミュレーション装置を構成してちょい。

[0145] (2)上記実施の形態では、レイヤー画像は、 1種類の化粧要素画像を含むものとしたが、これに限定されず、色成分が一致する複数の化粧要素画像を含ませても良い

[0146] (3)上記実施の形態では、静止画像を静止画カメラ 1 laで取得してヽたが、これに限定されず、動画カメラにより撮影された動画像の 1枚のフレーム画像を静止画像として取得してもよい。これにより、静止画カメラ 11aが不要となる。

[0147] (まとめ）

( 1) n (nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いてコンピュータに化粧シミュレーションを実行させる化粧シミュレーションプログラムであって、前記基準画像は操作装置を介して入力されたユーザ力の描画指令に基づいて予め作成されたものであり、前記 n枚のレイヤー画像は、各々同一色からなる少なくとも 1つの化粧要素画像を含み、前記 n枚のレイヤー画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成する第 1の画像作成手段、シミュレーション対象となる人物の顔を含むシミュレーション対象画像を取得する対象画像取得手段、前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するメッシュ設定手段、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーション対象画像に含まれるの顔領域に適合するように変形させる変形手段、前記シミュレーション対象画像に対して前記 n枚のレイヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレイヤー画像の各々に対応する n枚の第 2の画像を作成する第 2の画像作成手段、前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記 n枚の第 2の画像とを合成する合成手段としてコンピュータを機能させることを特徴とする。 [0148] この構成によれば、ユーザは、簡便な操作により高品質な化粧が仮想的に施された化粧シミュレーション画像を高速に得ることができる。また、仮想的に化粧が施されたシミュレーション対象画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更すると、うような変更を容易に行なうことができる。

[0149] (2)また、前記第 1の画像作成手段は、前記レイヤー画像に設定された各画素の透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規ィ匕し、得られた画像を前記第 1の画像とし、前記合成手段は、アルフアブレンデイングにより、前記シミュレーション対象画像及び前記 2の画像を合成することが好ましい。

[0150] この構成によれば、透明度レイヤー画像の各画素の透明度が正規ィ匕されているため、合成手段は、レイヤー画像の順序が入れ替わっても、同一の画像を生成することができる。

[0151] (3)前記第 2の画像作成手段は、各レイヤー画像の色成分及び前記シミュレーション対象画像の各々の色成分を RGB表色系から HSV表色系に変換し、変換した両色成分に対して式 (A)—式 (C)に示す色変換処理を実行し、得られた画像を HSV表色系から RGB表色系に変換し、前記第 2の画像を作成することが好まヽ。

H =H …式（A)

S =0. 8 X S +0. 2 X S …式（B)

V =0. 8 XV +0. 2 XV …式）

但し、 H、 S、 Vはレイヤー画像の色成分の HSV値を示し、 S、 Vはシミュレーショ c c c f f

ン対象画像の各画素の HSV値を示し、 H、 S、 Vは第 2の画像の各画素の HSV値を示している。

[0152] この構成によれば、シミュレーション対象画像の明度'彩度をある程度維持したまま、化粧要素画像の色相を変更することができるため、化粧要素画像をシミュレーション対象画像上に自然な状態で表すことができる。

[0153] (4) 前記メッシュ設定手段は、顔の特徴的な位置に設定された特徴頂点と、その他の浮動頂点とから各頂点が構成される初期メッシュを記憶する初期メッシュ記憶手段と、前記シミュレーション対象画像及び前記基準画像の各々に含まれる顔領域から所定の基準位置を検出する基準位置検出手段と、前記基準位置検出手段により検出された基準位置を基に、前記シミュレーション対象画像及び前記基準画像の各々から前記特徴頂点に対応する特徴点を抽出する特徴点抽出手段と、前記特徴頂点を、前記特徴点抽出手段により抽出された対応する特徴点に移動させると共に、前記浮動頂点を、当該初期メッシュの各頂点間の距離が保持されるように移動させる頂点移動手段とを備えることが好まし、。

[0154] この構成によれば、初期メッシュの頂点同士の位置関係がバランスよく保持された状態で、基準画像及びシミュレーション対象画像にメッシュを設定することができる。 (5)前記特徴点移動手段は、前記初期メッシュの各頂点を、画像面と直交する高さ成分が付与された 3次元データとし、前記浮動頂点には、一定の高さ成分を付与し、前記特徴頂点は、前記画像面上に位置させ、前記各頂点に対し、式 (D)及び式 (E) で示す演算を所定回数適用することにより前記浮動頂点を移動させることが好ましい

[0155] [数 5]

P = Pi - λ ( I Pi-Pj I lij)(Pi Pj) · · ·式 (D) = +え（ I PpPj I - lij)(Pi-Pj) · · ·式 (E)

但し、 Piベクトルは、メッシュの頂点の座標を示し、 Pjベクトルは、ベクトルに隣接するメッシュの頂点の座標を示し、 p 'ベクトルは演算が施された pベクトルを示し、 P 'ベクトルは演算が施された pベクトルを示し、 1は pベクトル及び pベクトルを結ぶ線 j

分の長さを示し、 λは定数値を示している。

[0156] この構成によれば、初期メッシュの各頂点間の距離を保持しつつ、メッシュを構成するポリゴンの重なりの発生を防止することができる。

[0157] (6)前記基準位置検出手段は、左右の眼及び眉間を含む領域力なる眼領域画像を構成する左眼断片画像及び右眼断片画像を用いて、前記基準画像及び前記シミュレーシヨン対象画像の各々の眉間を前記基準位置として検出するものであり、左眼断片画像と顔との相関を示す左眼相関値画像を生成すると共に、右眼断片画像と顔との相関を示す右眼相関値画像を生成する相関値画像生成手段と、前記眼領域画像に対する左眼断片画像及び右眼断片画像の相対的な位置関係を基に、前記左眼相関値画像内の高い相関を示す領域と前記右眼相関値画像内の高い相関を示す領域とが眉間で重なるように、左眼及び右眼相関値画像を移動させる相関値画像移動手段と、前記相関値画像移動手段により移動された左眼及び右眼相関値画像を重畳する相関値画像重畳手段と、前記相関値画像重畳手段により重畳された左眼及び右眼相関値画像において、所定の値より相関値が高い領域を検出することにより、眉間を検出する眉間検出手段とを備えることが好ましい。

[0158] この構成によれば、眼領域画像を構成する左眼断片画像と顔画像との相関を示す左眼相関値画像が生成されると共に、右眼断片画像と顔画像との相関を示す右眼相関値画像が生成される。ここで、眼領域画像を用いるのではなぐ眼領域画像の断片画像である左眼及び右眼断片画像を用いて左眼及び右眼相関値画像が生成されているため、顔領域が眼領域画像に対して回転、拡大等の変形を起こしている場合、左眼及び右眼相関値画像は、眼領域画像と顔画像との相関値画像に比べて高い相関を示す画像となる。

[0159] そして、左眼及び右眼相関値画像の各々の高い相関を示す領域が眉間で重なるように移動され、左眼及び右眼相関値画像が重畳される。そして、重畳された両相関値画像において、所定の値よりも相関値が高い領域が検出され、眉間が検出されている。

[0160] ここで、左眼及び右眼断片画像の各々が、左眼及び右眼を検出している場合、両相関値画像は高、相関を示すため、相関値の高、領域が重なるように各相関値画像を移動させて重畳すると、重畳された画像は更に高い相関を示すこととなる。

[0161] 一方、左眼及び右眼断片画像の各々が、左眼及び右眼を検出していない場合、左眼或いは右眼相関値画像は高、相関を示さな、ため、左眼及び右眼相関値画像を重畳した画像は高、相関を示さな、こととなる。

[0162] そのため、左眼及び右眼相関値画像を重畳することで得られた画像力も高い相関を示す領域を検出すれば、眉間を検出することが可能となる。したがって、眼領域画像に対して、顔画像が拡大、縮小、回転等されていても、高精度に眉間を検出することができる。さらに、特開 2003— 216931号公報記載の発明のように 2度に亘つて相関を算出するというような複雑な処理が行なわれていないため、眉間を高速に検出することがでさる。

[0163] (7)前記相関値画像生成手段は、前記顔画像に対してモフォロジ処理を施し、前記左眼及び右眼相関値画像を生成することが好ましい。

[0164] この構成によれば、周囲に対して輝度が低い画像を強調させるモフォロジ処理が顔画像に対して施され、左眼及び右眼の画像が強調され、モフォロジ処理が施された顔画像力ゝら左眼及び右眼相関値画像が生成されているため、左眼及び右眼断片画像と顔画像との相関をより正確に示す相関値画像を得ることができる。

[0165] (8)前記相関値画像生成手段は、前記モフォロジ処理を施した画像に対し、更に解像度を低下させる処理を施し、前記相関値画像を生成することが好まし、。

[0166] この構成によれば、モフォロジ処理が施された顔画像に対し、更に解像度を低下させる処理が施されているため、左眼及び右眼相関値画像を高速に生成することができるとともに、後の処理を簡略ィ匕することができる。

[0167] (9)前記相関値画像重畳手段は、前記相関値画像移動手段により移動された左眼及び右眼相関値画像の対応する画素データを乗算することにより両相関値画像を重畳することが好ましい。

[0168] この構成によれば、左眼及び右眼相関値画像の対応する画素データが乗算され、左眼及び右眼相関値画像が重畳されて、るため、相関の高、領域と相関の低、領域との差をより顕著に示す左眼及び右眼相関値画像を得ることができ、検出精度を高めることができる。

[0169] (10)前記相関値画像重畳手段は、前記相関値画像移動手段により移動された左眼及び右眼相関値画像に対し、高い相関を示す領域を拡大する処理を施し、前記左眼及び右眼相関値画像を重畳することが好ましい。

[0170] この構成によれば、左眼及び右眼相関値画像に対して高い相関を示す領域を拡大する処理が施され、両相関値画像が重畳されているため、左眼及び右眼断片画像が小さく設定されている場合や、眼領域画像に対して右眼及び左眼が大きく変形している場合であっても、高い相関を示す領域をより精度よく重畳させることができる [0171] (11)前記相関値画像重畳手段は、前記相関値画像移動手段により移動された前記左眼及び右眼相関値画像に対し、高い相関を示す領域の相関値を更に高くする処理を行なうことが好まし、。

[0172] この構成によれば、眉間付近の相関値を高くする処理が行なわれるため、左眼及び右眼に対する領域と他の領域との相関値の差が顕著となり、眉間をより正確に検出することができる。

[0173] (12)前記シミュレーション対象画像は、動画像中の各フレーム画像であることが好ましい。

[0174] この構成によれば、動画像に対して化粧シミュレーションを実行することができる。

[0175] (13)本発明による化粧シミュレーション装置は、 n(nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いて化粧シミュレーションを実行する化粧シミュレーション装置であって、前記基準画像は操作装置を介して入力されたユーザ力の描画指令に基づいて予め作成されたものであり、前記 n枚のレイヤー画像は、各々同一色力なる少なくとも 1つの化粧要素画像を含み、前記 n枚のレイヤ一画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n 枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成する第 1の画像作成手段と、シミュレーション対象となる人物の顔を含むシミュレーション対象画像を取得する対象画像取得手段と、前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するメッシュ設定手段と、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーション対象画像に含まれるの顔領域に適合するように変形させる変形手段と、前記シミュレーション対象画像に対して前記 n枚のレイヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレイヤー画像の各々に対応する n枚の第 2の画像を作成する第 2の画像作成手段と、前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記 n枚の第 2の画像とを合成する合成手段とを備えることを特徴とする。

[0176] この構成によれば、ユーザは、簡便な操作により高品質な化粧が仮想的に施された化粧シミュレーション画像を高速に得ることができる。また、仮想的に化粧が施されたシミュレーション対象画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更すると、うような変更を容易に行なうことができる。

[0177] (14)本発明に力かる化粧シミュレーション方法は、 n (nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いてコンピュータに化粧シミュレーシヨンを実行させる化粧シミュレーション方法であって、前記基準画像は操作装置を介して入力されたユーザ力の描画指令に基づいて予め作成されたものであり、前記 n枚のレイヤー画像は、各々同一色カゝらなる少なくとも 1つの化粧要素画像を含み、前記コンピュータは、第 1の画像作成手段、対象画像取得手段、メッシュ設定手段、変形手段、第 2の画像作成手段、及び合成手段を備え、前記第 1の画像作成手段力前記 n枚のレイヤー画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成するステップと、前記対象画像取得手段が、シミュレーション対象となる人物の顔を含むシミュレーション対象画像を取得するステップと、メッシュ設定手段が、前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するステップと、前記変形手段が、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーション対象画像に含まれるの顔領域に適合するように変形させるステップと、前記第 2の画像作成手段が、前記シミュレーション対象画像に対して前記 n枚のレイヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレイヤー画像の各々に対応する n枚の第 2の画像を作成するステップと、前記合成手段が、前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記 n枚の第 2の画像とを合成するステツプとを備えることを特徴とする。

この構成によれば、ユーザは、簡便な操作により高品質な化粧が仮想的に施された化粧シミュレーション画像を高速に得ることができる。また、仮想的に化粧が施されたシミュレーション対象画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更すると、うような変更を容易に行なうことができる。

Claims

請求の範囲

[1] n (nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いてコンピュータに化粧シミュレーションを実行させる化粧シミュレーションプログラムであって、

前記基準画像は操作装置を介して入力されたユーザ力の描画指令に基づいて予め作成されたものであり、

前記 n枚のレイヤー画像は、各々同一色力もなる少なくとも 1つの化粧要素画像を含み、

前記 n枚のレイヤー画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成する第 1の画像作成手段、

シミュレーション対象となる人物の顔を含むシミュレーション対象画像を取得する対象画像取得手段、

前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するメッシュ設定手段、

前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーション対象画像に含まれるの顔領域に適合するように変形させる変形手段、

前記シミュレーション対象画像に対して前記 n枚のレイヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレイヤー画像の各々に対応する n枚の第 2の画像を作成する第 2の画像作成手段、

前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記 n枚の第 2の画像とを合成する合成手段としてコンピュータを機能させることを特徴とする化粧シミュレーションプログラム。

[2] 前記第 1の画像作成手段は、前記レイヤー画像に設定された各画素の透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第 1の画像とし、

前記合成手段は、アルファブレンデイングにより、前記シミュレーション対象画像及び前記 2の画像を合成することを特徴とする請求項 1記載の化粧シミュレーションプログラム。

[3] 前記第 2の画像作成手段は、各レイヤー画像の色成分及び前記シミュレーション対象画像の各々の色成分を RGB表色系力 HSV表色系に変換し、変換した両色成分に対して式 (A)—式 (C)に示す色変換処理を実行し、得られた画像を HSV表色系から RGB表色系に変換し、前記第 2の画像を作成することを特徴とする請求項 2 記載の化粧シミュレーションプログラム。

H =H …式（A)

S =0. 8 X S +0. 2 X S …式（B)

V =0. 8 XV +0. 2 XV …式）

[4] 前記メッシュ設定手段は、

顔の特徴的な位置に設定された特徴頂点と、その他の浮動頂点とから各頂点が構成される初期メッシュを記憶する初期メッシュ記憶手段と、

前記シミュレーション対象画像及び前記基準画像の各々に含まれる顔領域から所定の基準位置を検出する基準位置検出手段と、

前記基準位置検出手段により検出された基準位置を基に、前記シミュレーション対象画像及び前記基準画像の各々から前記特徴頂点に対応する特徴点を抽出する特徴点抽出手段と、

前記特徴頂点を、前記特徴点抽出手段により抽出された対応する特徴点に移動させると共に、前記浮動頂点を、当該初期メッシュの各頂点間の距離が保持されるように移動させる頂点移動手段とを備えることを特徴とする請求項 1一 3のいずれかに記載の化粧シミュレーションプログラム。

[5] 前記頂点移動手段は、前記初期メッシュの各頂点を、画像面と直交する高さ成分が付与された 3次元データとし、前記浮動頂点には、一定の高さ成分を付与し、前記特徴頂点は、前記画像面上に位置させ、前記各頂点に対し、式 (D)及び式 (E)で示す演算を所定回数適用することにより前記浮動頂点を移動させることを特徴とする請求項 4記載の化粧シミュレーションプログラム。

[数 1]

？ r Pi ~ ^λ ( I Pi-Pj I― iij) Pi-Pj) · · ·式 (D) ？ ρ^ + λ ( I PpPj I - iij)(Pi-Pj) · · ·式 (E)

但し、 Pベクトルは、メッシュの頂点の座標を示し、 Pベクトルは、 Pベクトルに隣接するメッシュの頂点の座標を示し、 P 'ベクトルは演算が施された Pベクトルを示し、 P 'ベクトルは演算が施された Pベクトルを示し、 1は Pベクトル及び Pベクトルを結ぶ線分の長さを示し、 λは定数値を示している。

前記基準位置検出手段は、

左右の眼及び眉間を含む領域カゝらなる眼領域画像を構成する左眼断片画像及び右眼断片画像を用いて、前記基準画像及び前記シミュレーション対象画像の各々の眉間を前記基準位置として検出するものであり、

左眼断片画像と顔との相関を示す左眼相関値画像を生成すると共に、右眼断片画像と顔との相関を示す右眼相関値画像を生成する相関値画像生成手段と、前記眼領域画像に対する左眼断片画像及び右眼断片画像の相対的な位置関係を基に、前記左眼相関値画像内の高い相関を示す領域と前記右眼相関値画像内の高ヽ相関を示す領域とが眉間で重なるように、左眼及び右眼相関値画像を移動させる相関値画像移動手段と、

前記相関値画像移動手段により移動された左眼及び右眼相関値画像を重畳する相関値画像重畳手段と、

前記相関値画像重畳手段により重畳された左眼及び右眼相関値画像において、所定の値より相関値が高い領域を検出することにより、眉間を検出する眉間検出手段とを備えることを特徴とする請求項 4記載の化粧シミュレーションプログラム。 [7] 前記相関値画像生成手段は、前記顔画像に対してモフォロジ処理を施し、前記左眼及び右眼相関値画像を生成することを特徴とする請求項 6記載の化粧シミュレ一シヨンプログラム。

[8] 前記相関値画像生成手段は、前記モフォロジ処理を施した画像に対し、更に解像度を低下させる処理を施し、前記相関値画像を生成することを特徴とする請求項 7記載の化粧シミュレーションプログラム。

[9] 前記相関値画像重畳手段は、前記相関値画像移動手段により移動された左眼及び右眼相関値画像の対応する画素データを乗算することにより両相関値画像を重畳することを特徴とする請求項 6記載の化粧シミュレーションプログラム。

[10] 前記相関値画像重畳手段は、前記相関値画像移動手段により移動された左眼及び右眼相関値画像に対し、高い相関を示す領域を拡大する処理を施し、前記左眼及び右眼相関値画像を重畳することを特徴とする請求項 9記載の化粧シミュレーションプログラム。

[11] 前記相関値画像重畳手段は、前記相関値画像移動手段により移動された前記左眼及び右眼相関値画像に対し、高い相関を示す領域の相関値を更に高くする処理を行なうことを特徴とする請求項 10記載の化粧シミュレーションプログラム。

[12] 前記シミュレーション対象画像は、動画像中の各フレーム画像であることを特徴とする請求項 1記載の化粧シミュレーションプログラム。

[13] n(nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いて化粧シミュレーションを実行する化粧シミュレーション装置であって、

前記 n枚のレイヤー画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成する第 1の画像作成手段と、

シミュレーション対象となる人物の顔を含むシミュレーション対象画像を取得する対象画像取得手段と、

前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するメッシュ設定手段と、

前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーション対象画像に含まれるの顔領域に適合するように変形させる変形手段と、

前記シミュレーション対象画像に対して前記 n枚のレイヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレイヤー画像の各々に対応する n枚の第 2の画像を作成する第 2の画像作成手段と、

前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記 n枚の第 2の画像とを合成する合成手段とを備えることを特徴とする化粧シミュレーション装置。

n (nは正の整数)枚のレイヤー画像と 1枚の顔画像とから構成される基準画像を用いてコンピュータに化粧シミュレーションを実行させる化粧シミュレーション方法であつて、

前記コンピュータは、第 1の画像作成手段、対象画像取得手段、メッシュ設定手段、変形手段、第 2の画像作成手段、及び合成手段を備え、

前記第 1の画像作成手段が、前記 n枚のレイヤー画像の各々に対し、各レイヤー画像の各画素に設定された透明度を基に、前記 n枚のレイヤー画像の各々に対応する n枚の第 1の画像を作成するステップと、

前記対象画像取得手段が、シミュレーション対象となる人物の顔を含むシミュレ一シヨン対象画像を取得するステップと、前記メッシュ設定手段が、前記基準画像に含まれる顔領域にメッシュを設定すると共に、前記シミュレーション対象画像に含まれる顔領域にメッシュを設定するステップと、

前記変形手段が、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記 n枚の第 1の画像の各々に含まれる化粧要素画像を、前記シミュレーション対象画像に含まれるの顔領域に適合するように変形させるステップと、

前記第 2の画像作成手段力前記シミュレーション対象画像に対して前記 n枚のレィヤー画像の色成分を用いた所定の色変換処理を実行することにより、前記 n枚のレィヤー画像の各々に対応する n枚の第 2の画像を作成するステップと、

前記合成手段が、前記 n枚の第 1の画像を基に、前記 n枚の第 2の画像及び前記シミュレーシヨン対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーシヨン対象画像と前記 n枚の第 2の画像とを合成するステップとを備えることを特徴とする化粧シミュレーション方法。