JP4435809B2 - 仮想化粧装置及びその方法 - Google Patents

Description

本発明は、主として人物の顔画像に対してメイクアップ等の変形を施した画像をディスプレイ等の表示装置に表示するか、あるいは、ネットワークを通じて送信する仮想化粧装置及びその方法に関する。

口紅やアイシャドウ等の化粧品、あるいはメガネやカラーコンタクトレンズ等は実際に自分がつけた時にどのように見えるかを知りたいという顧客の要求がある。しかしながらこれらの実際に肌等に装着するものは装着自体が面倒であったり、衛生上の問題があったり、異なる商品間の比較が困難であったり、といった問題がある。そこでこれらの商品を実際に装着することなく、装着した状態をバーチャルに画像中で体験できるものは非常に有用である。

これまで画像を用いて化粧、髪型、メガネ、カラーコンタクトレンズ等の装着をシミュレートする装置やソフトウエアは静止画を用いた簡易的なものは存在する（例えば、特許文献１）。しかしながら、動画像でユーザの動きに応じて動かすことができなかったため、実際の装着感を得ることができない。また、仮想画像の生成の元となる顔画像中の特徴点や特徴領域の検出がロバストでないため、照明の変化や動き、個人差に十分対応できていない。

特徴点の検出を行い、それに対して予め決められた画像を重ねることにより変装画像を表示するものとしては、特許文献２の手法があるが、実画像のシミュレーションという意味では満足できるものではない。

また、今日ブロードバンドの普及により、個人間においてもテレビ電話等の顔を見ることができるコミュニケーションツールが普通に使われるようになりつつある。その際に自分の顔や姿を自宅でいるそのままの状態で出て行ってしまうことが問題となると予想される。もちろん、アバタ等を用いることで顔を出さない方法もあるが、それでは臨場感が失われてしまい、折角のブロードバンドの意味がなくなってしまう。しかし、テレビ電話に出るためにわざわざ外出時のような化粧をするのは面倒であるといった問題点がある。
特開２０００−２８５２２２公報 特開２０００−３２２５８８公報

本発明は上記の問題を解決するために、リアルタイムで画像の入力表示を行い、特徴点等の検出をロバストに行うことで、ユーザが自然に装着感を得られる仮想化粧装置及びその方法を提供することを目的とする。

本発明の一側面は、仮想化粧装置に係り、人物の顔の少なくとも一部分が映った動画像を入力する画像入力部と、入力された動画像の各画像において前記人物の顔の特徴点又は特徴領域を検出する特徴検出部と、各画像に映っている前記人物の顔の大きさ、顔の位置、及び、顔の大きさの変化率に応じた顔画像の拡大率を求める顔大きさ・位置情報管理部と、検出された特徴点又は特徴領域から各画像中で加工を行う領域を求め、この領域の画素情報を加工するとともに、前記位置を中心に前記拡大率に従って画像を拡大する画像加工部と、加工された画像を表示する画像表示部と、を備える。

本発明によれば、リアルタイムで画像の入力表示を行い、特徴点等の検出をロバストに行うことで、ユーザが自然に装着感を得られる仮想化粧装置及びその方法を提供することができる。

以下に本発明を詳細に説明する。

（第１の実施形態）本発明に関わる第１の実施形態の仮想化粧装置１００について、図１から図４に基づいて述べる。

なお、本明細書において、「化粧」とは、いわゆる化粧品等をつけて顔をよそおい飾ること、美しく見えるように、表面を磨いたり飾ったりすることに限らず、顔の表面にタトゥーを付けたり、ペインティングを施したりして、化粧前の顔に対し、化粧後の顔の一部、または、全部の色等が異なる状態をいう。

（１）仮想化粧装置１００の構成
図１は本実施形態の構成を表す図であり、図２は、仮想化粧装置１００の概観図例である。

仮想化粧装置１００は、パーソナルコンピュータ（以下、ＰＣという）にビデオカメラを接続し、ＣＲＴもしくは液晶ディスプレイに画像を表示する例である。

具体的には人物の瞳領域に対してカラーコンタクトレンズを擬似的につけた画像を表示するものである。

画像入力部１０１は、ビデオカメラであり、動画像を入力する。

特徴検出部１０２では、入力された画像から瞳位置及び虹彩領域の輪郭を抽出する。

データ記憶部１０３では、化粧のアイテムの一つであるカラーコンタクトレンズの種類毎に色、テクスチャー、透明度、サイズ等の化粧データと、顔の特徴点、特徴領域、または、その両方と前記アイテムの位置関係を示す位置関係データを記憶している。

加工方式決定部１０５では、記憶されたカラーコンタクトレンズの種類を選択することができるインターフェースを提供する。

画像加工部１０４においては、選択されたカラーコンタクトレンズのデータに基づき、画像中の対象者の瞳虹彩部分にカラーコンタクトレンズを装着した状態に加工する。

表示部１０６では、ＣＲＴもしくは液晶ディスプレイに加工された画像を表示する。

各構成部１０１〜１０６について以下で詳細に述べる。なお、特徴検出部１０２、データ記憶部１０３、画像加工部１０４、加工方式決定部１０５の各機能は、ＰＣに記録されているプログラムによって実現される。

（２）画像入力部１０１
画像入力部１０１では、ビデオカメラから対象となる人物の顔を含む動画像を入力する。

例えば、一般的なＵＳＢカメラやデジタルビデオ等、または特別な画像入力デバイスを介して入力する方法もある。

入力された動画像は特徴検出部１０２に逐次送られる。

（３）特徴検出部１０２
特徴検出部１０２では、入力された画像から特徴点、領域を検出する。

本実施形態の場合では、図３に示すような瞳の虹彩領域の輪郭を検出する。瞳虹彩領域の輪郭検出方式を以下で述べる。

具体的には、文献１（福井、山口：“形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論（Ｄ−II）ｖｏｌ．Ｊ８０−Ｄ−II，ｎｏ．９，ｐｐ．２１７０−２１７７，Ａｕｇ．１９９７）で示す方法で瞳位置を検出する。

その後、その位置を初期値としてさらに輪郭を検出する。最初に顔領域部分の検出を行ってもよい。

瞳輪郭抽出する方法としては、輪郭が円形で近似できる場合においては、文献２（湯浅 他：「パターンとエッジの統合エネルギー最小化に基づく高精度瞳検出」，信学技報，ＰＲＭＵ２０００−３４，ＰＰ．７９−８４，Ｊｕｎ．２０００）が利用できる。

先に検出した瞳の中心位置と半径を初期値として、位置と半径を変化させたときのパターン類似度によるパターンエネルギーと円形分離度フィルタの大きさによるエッジエネルギーの組合せによる値が最小になるような位置と半径を求めることで、より精度の高い輪郭を求める方法である。

その際、移動部分空間と名づけられた正しい輪郭からずれた位置や半径を基準として切り出したパターンによる部分空間を最小化の際の指標として用いることで、初期値が正解から離れている場合にも対応でき、収束時間を短くすることができる。

先に示した文献２では輪郭が円形の場合であったが、この方式は輪郭形状が任意であってもよい。

例えば、楕円や輪郭上の複数個のサンプル点の組からなるスプライン曲線等でもよい。

楕円の場合には、位置のパラメータ２＋形状パラメータ３の５パラメータで表される。

また、スプライン曲線の場合には、任意の形状を表現可能な個数のサンプル点数で表現される。

但し、任意の形状の場合にはパラメータ数が多くなりすぎて、収束が難しい、あるいは例えできたとしても非常に時間がかかって現実的ではない場合が考えられる。

その場合には、ある基準点（例えば瞳の中心）を元に、基準の大きさ（例えば瞳の平均半径、本実施形態の場合には、先に瞳位置を求めた際の分離度フィルタの半径が使用可能である）からのずれを、予め収集した多数の実画像における輪郭形状についてデータを取得しておき、それらのデータを主成分分析することで、パラメータの次元を減らすことが可能である。

また、パターンの正規化方法としては位置と形状を元にアフィン変換等で画像を変形させる方法の他に、輪郭に沿って画像を切り出したパターンを用いることができる。

（４）データ記憶部１０３
データ記憶部１０３においては各選択可能なカラーコンタクトレンズに対して必要な情報を保持する。情報はアイテムに必要な特徴点、特徴領域、または、その特徴点と特徴領域との両方に対する塗布領域の基準位置、サイズ、形状の相対的な位置関係よりなる位置関係データを含む。

本実施形態においては、特徴点は瞳の虹彩領域の中心であり、特徴領域は虹彩領域である。

カラーコンタクトレンズの中心点と瞳の中心との距離は０とする。

また、レンズデータに対してデータ中の基準点と特徴点及び特徴領域を元に算出される基準点とそれに対応するレンズデータの基準点が情報として記録されている。

さらに、データ記憶部１０３は、基準点に対応する化粧データ（色のデータ、テクスチャのデータ、透明度のデータ）が同時に記録されている。

（５）加工方式決定部１０５
加工方式決定部１０５では、予め入力されてデータ記憶部１０３で記録されているデータの組を選択する。

本実施形態では、化粧のアイテムであるカラーコンタクトレンズの種類を選択する。選択を促すダイアログの例を図４に示す。

選択画面では可能なカラーコンタクトレンズを示す画像や、色、文字列等を表示する。

（６）画像加工部１０４
画像加工部１０４では、検出された特徴領域と選択された位置関係データ、化粧データに基づいて画像の加工を行う。

本実施形態では、瞳の虹彩領域に選択されたカラーコンタクトレンズの画像を重ねて表示することにする。

カラーコンタクトレンズの化粧データは、第１にレンズ半径と中心からの距離に対応した色と透明度を持つ場合と、第２にレンズの形状及び色やテクスチャー情報を２次元の画像データとして保持する場合が考えられる。

本実施形態では第１の場合について述べる。

まず、検出された瞳の中心を位置関係データに基づいてレンズの中心に対応させ、虹彩輪郭上の各点をレンズの虹彩対応点に対応させ、アフィン変換で対応半径を算出する。

次に、各虹彩内の画素について算出された半径に対応する色や透明度に応じて各画素の値を変更する。例えば、色及び透明度が中心からの距離ｒの関数としてそれぞれＣ（ｒ）、α（ｒ）で表される場合には、元の画素値がＩｏｒｇ (r) とすると、変更された画素値Ｉ（ｒ）は以下の式で表される。

このように透明度を考慮して２つの輝度を重ねあわせる方式をαブレンディングという。

（７）画像表示部１０６
画像表示部１０６では、画像加工部１０４で作成された画像をディスプレイ等に表示する。

（第２の実施形態）本発明に関わる第２の実施形態の仮想化粧装置５００について、図５から図８に基づいて説明する。

（１）仮想化粧装置５００の構成
本実施形態の仮想化粧装置５００は、ＰＣにビデオカメラを接続し、加工した画像をネットワークで送信し、通信相手のディスプレイに画像を表示する例である。

具体的には人物の顔領域に対して口紅等のメイクアップを施した画像を表示するものである。

図５は本実施形態の構成を表す図である。

画像入力部５０１は、ビデオカメラであり、２Ｄの動画像を入力する。

特徴検出部５０２では、入力された画像から必要とされる特徴点及び特徴領域を検出する。本実施形態では、瞳位置、鼻孔位置、唇領域とする。

データ記憶部５０３では、対象とするメイクアップのアイテム及び種類毎に色、テクスチャー、透明度、サイズ等の情報を記憶しておく。

加工方式決定部５０５では、記憶されたメイクアップアイテム及び種類、濃さ、グラデーションのパラメータ等を選択することができるインターフェースを提供する。

画像加工部５０４においては、選択されたメイクアップのデータに基づき、画像中の対象者における各メイクアップアイテムの対象領域にメイクアップデータを塗布した状態に加工する。

表示画像送信部５０６では、加工された画像を送信すると共に、その加工された画像を表示する。

各構成部について以下で詳細に述べる。なお、特徴検出部５０２、データ記憶部５０３、画像加工部５０４、加工方式決定部５０５、表示画像送信部５０６の各機能は、ＰＣに記録されているプログラムによって実現される。

（２）画像入力部５０１
画像入力部５０１では、カメラからの人物の顔が撮影された画像を入力する。

この部分は第１の実施形態と同様である。

（３）特徴検出部５０２
特徴検出部５０２では最初に瞳位置、虹彩半径、鼻孔位置、口端位置を検出する。それらの検出は第１の実施形態と同様である。

それらの特徴点位置、特徴量から以下の塗布領域及び塗布方法を決定する。

データ記憶部５０３には、各メイクアップのアイテム固有の、色、サイズ等の情報の他に、各メイクアップアイテムの種類（アイシャドウ、チーク等）に対応する、必要な特徴点／領域、及びそれらの特徴点／領域からのメイクアップアイテム塗布位置／領域までの相対座標／距離を与える定数値もしくは関数が記録されている。

本実施形態においては、チークでは必要な特徴点／領域は両瞳中心位置及び鼻孔位置であり、これらの特徴点からチーク塗布領域（楕円で表現される）の中心座標と長径／短径／回転角を算出する関数が記録される。

（３−１）アイシャドウ塗布
アイシャドウ塗布の例を示す。

アイシャドウ領域は図６に示すように検出された瞳位置及び虹彩半径を元に算出された領域（斜線部分）について塗布を行う。この領域は、上側は眉で下側はまぶたの下端で規定され、左右においても眉もしくはまぶたの存在領域に規定される。但し、この存在範囲の抽出はそれほど厳密でなくてよい。

なぜなら、これらのアイシャドウの塗布は通常、塗布されない領域に対してぼかしを入れるため、塗布領域の端部においては、多少位置がずれても表示上はあまり問題にならないためである。

さらに、塗布領域においては、その塗布領域内での元画像の輝度や色の情報を利用して塗布を行うか行わないかを決めることが可能である。例えば、ある一定以上輝度の低いところには塗らないとすればまつげの上等に誤って塗布してしまうことを防ぐことができる。もちろん、直接塗布領域を詳細に抽出しても差し支えない。

（３−２）チーク塗布
次に、チーク塗布の例を示す。

チーク領域は図７に示すように、瞳の位置及び虹彩半径及び鼻孔位置を元に算出された領域について塗布を行う。チークの場合もアイシャドウの場合と同様に、ぼかしを入れたり、元画像の輝度や色の情報によって塗り分けたりすることが可能である。

画素値を決める方法としては、例えば図の中心が（ｘ０，ｙ０）の短径、長径がそれぞれａ，ｂで表される楕円を基準として、中心からの距離をそれらで正規化した距離ｒを（ｘ，ｙ）の点について（２）式で表されるように規定する。

このｒを（１）式に当てはめたものを利用する。但し、この場合、Ｃ（ｒ）を（３）式で表されるものとする。

（３−３）口紅塗布
次に、口紅塗布の例を示す。

口紅領域は図８に示すように、口端位置、あるいはそれに加えて鼻孔や瞳位置等の情報を元に、唇の輪郭を抽出し、その輪郭の内部を基本的には塗布する。

但し、その領域内には口を開いた場合には歯や歯茎等が含まれてしまう可能性があるため、内側の輪郭についても抽出するか、もしくは他の輝度や色情報を用いてそれらの領域を無視する必要がある。

唇の輪郭を抽出するには例えば口端の２点を元に、予め取得した一般的な唇輪郭の多数のデータを主成分分析して得られた主成分輪郭を元に初期値を生成し、生成された初期値から輪郭を抽出する。この方式は特願平１０−０６５４３８で開示されている方式である。また、同様に内側の輪郭も抽出し、内側輪郭と外側輪郭の間に対して処理を行ってもよい。

（３−４）その他
加工すべきアイテムは前記の特徴に限らない。例えば特徴としては、肌領域、眉領域、まぶた輪郭等が使用可能である。顔領域を決定すれば、その部分にファンデーションを塗ることが可能である。

また、塗布領域の決定はこれら６個の特徴点位置のみによらなくてもよいし、すべてを使う必要もない。得られた特徴量から必要なもののみを使用してもよいし、入手可能な得られる特徴量の任意の組合せが利用可能である。

さらに、画像を入力して特徴点抽出部５０２において特徴点を抽出した後に、アイシャドウの塗布、チーク塗布、口紅の塗布を順番に行ってメークアップを完了しても良い。

（４）表示画像送信部５０６
表示画像送信部５０６はネットワークを通じて作成された画像を送信し、相手方のディスプレイ上に送信された画像を表示する。

（第３の実施形態）本発明に関わる第３の実施形態の仮想化粧装置９００について、図９から図１２に基づいて説明する。

（１）仮想化粧装置９００の構成
本実施形態の仮想化粧装置９００は、ペインティングやタトゥー等を施したと同等の画像を表示し、ユーザが表示されたいくつかのアイテムや色、形状、位置等のパラメータを選択し、選択された画像と同等の効果が実世界で実現できる型紙や具材を作成したり、予め対応する型紙や具材を準備しておき、ユーザの選択に合わせて提供したりする仮想化粧装置９００に関するものである。

本実施形態の構成図を図９に示す。

加工具材配布部９０７以外の構成は、第１の実施形態と同様である。

但し、特徴検出部９０２においては、ペインティングを施すために、顔の向きの情報が不可欠であるため、顔向き検出を導入する。

（２）顔向き検出方法
顔の向きは目鼻等の特徴点の位置関係から簡易的に求めることもできるし、顔領域のパターンを使って求めることも可能である。ペインティングを施した画像の例を図１０に示す。

文献としては、例えば、特徴点を利用した手法として特開２００１−３３５６６６、パターンを利用した手法として特開２００１−３３５６６３、文献３（山田、中島、福井「因子分解法と部分空間法による顔向き推定」信学技法ＰＲＭＵ２００１−１９４，２００１）があげられる。

ここでは特開２００１−３３５６６６で提案された特徴点の位置座標から顔の向きを計算する方法について簡単に説明する。

まず、顔の映っている画像（互いに異なる顔向きの画像が三フレーム以上）から、目鼻口端等の特徴点（四点以上）を検出する。

その特徴点位置座標から、因子分解法（Ｔｏｍａｓｉ，Ｃ．ａｎｄ Ｔ．Ｋａｎａｄｅ：Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＳ−９１−１７２，ＣＭＵ（１９９１）；Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，９：２，１３７−１５４（１９９２））を用いて特徴点の３次元座標を求める。

この特徴点の３次元座標を要素にもつ行列を形状行列Ｓとして保持しておく。

向きを求めたい顔の映っている画像が入力されたら、その画像から特徴点を検出し、その特徴点の２次元座標を要素にもつ計測行列Ｗｎｅｗに形状行列Ｓの一般化逆行列を掛ければ、顔の向きを表す運動行列Ｍｎｅｗが求まり、ロールピッチヨー等の回転角がわかる。運動行列Ｍｎｅｗを計算する様子を図１１に示す。なお、図１１では、形状行列Ｓの一般化逆行列をＳの上に＋をつけた記号で表示ししている。

この図では、カメラを固定して顔を動かす様子を相対的に、顔を固定してカメラ向きが変化するとみなしている。特徴点座標は特徴検出部９０２で検出されたものを利用すればよく、向き自体は行列の掛け算を一度するだけで求まるため、非常に高速な手法であり、フレーム毎に独立に計算できるため誤差が蓄積することもない。

このようにして求まる回転角等を元に、ペインティングアイテムにアフィン変形を施し顔画像にマッピングすれば、顔向きに合致した自然なペインティング画像が得られる。

（３）加工具材配布部９０７
加工具材配布部９０７では図１０のような画像を実世界で実現するための具材を配布する。

具材としては、図１２に示すような型紙を生成する。

型紙にはペイントを行う部分には穴が開いていて、簡単に塗りつぶしを行うことができる。

また、型紙には図中×で表すような基準点を設定することで誰でも簡単に位置あわせができる。

また、型紙は１枚である必要はなく、必要に応じて複数枚生成することで、複雑な形状や、何色も色が存在する場合にも対応可能である。

（第４の実施形態）
本発明に関わる第４の実施形態の仮想化粧装置９００について、図１３から図１４に基づいて説明する。

本実施形態では、デジタルメイクを行う際の照明環境を考慮した例について述べる。処理の流れを図１３に示す。

照明環境の記述法は、光源の位置、方向、色、強度等を指定でき、一般のＣＧで取り扱われているような点光源、面光源を複数用意することで、複雑な光源のシミュレートや、屋外での太陽光等をシミュレートする。

顔の各部分での反射率はＢＲＤＦ（双方向反射関数）等の関数を用いて記述しておき、記述された照明環境に基づいて各画素の輝度値を計算し、表示を行う。

次に、カメラにて実際の人物の顔を撮影する際の照明環境を取得し、照明環境をコントロールする方法について述べる。図１３のようなフローチャートを用いて行う。

まず、顔の３次元モデルを、複数のカメラによる取得、もしくは、単一のカメラにてＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ技術の手法を用いて作成する。

また、文献４（牧「Ｇｅｏｔｅｎｓｉｔｙ拘束による３次元形状獲得−複数光源への対応−」電子情報通信学会 パターン認識・メディア理解研究会研究報告、ＰＲＭＵ９９−１２７，１９９９）等の方法を用いてもよい。

作成した３次元モデルに対して、３次元モデルを構成する複数の面情報について、各面の法線方向等を求めておき、各面についての反射の様子から、光源を推定するために必要な情報を得る。

光源の推定方法は、文献５（西野、池内、張「疎な画像列からの光源状況と反射特性の解析」、文化財のデジタル保存自動化手法開発プロジェクト平成１３年度成果報告書、ｐｐ．８６−５０１）のように、各面での鏡面反射の情報を用いて、複数の点光源方向を求めるものや、文献６（佐藤いまり、佐藤洋一、池内克史、“物体の陰影に基づく光源環境の推定、”情報処理学会論文誌：コンピュータビジョンとイメージメディア「Ｐｈｙｓｉｃｓ−ｂａｓｅｄ ＶｉｓｉｏｎとＣＧの接点」特集号，Ｖｏｌ．４１，Ｎｏ．ＳＩＧ １０（ＣＶＩＭ １），ｐｐ．３１−４０，Ｄｅｃｅｍｂｅｒ ２０００．）のように影の情報をもちいた光源位置の推定法でもよい。

図１４（ａ）のように、ある環境で撮影した顔に対して、図１４（ｂ）のように別の環境での照明条件での画像を作成する場合を考える。

推定した光源の情報を用いて、それらの光源の方向、数、強度等を抑制することによって、３次元モデルに対しての照明環境を変化させ、様々な環境における画像を生成する。

また、３次元モデルを陽に用いない方法も考えられる。図１４（ａ）における撮影時の照明条件を考慮して、影、鏡面反射等の特徴的な部分を取り除いた画像を作成する。そして、図１４（ｂ）の別の環境での照明条件を考慮し、影、鏡面反射等を画像に付加することで、別の照明条件での画像を得る。

また、合成したい、これらの照明環境については、予めいくつかの照明パターンを用意しておいてもよい。例として、「屋内（自宅）」「屋内（レストラン）」「屋外（晴れ）」「屋外（くもり）」等、環境、場所、時間等に応じた照明環境を作成し、合成してもよい。

以上のように撮影した環境と違った照明環境の画像を作成することにより、あたかも別の場所で撮影したかのような顔画像を仮想的に作成することができる。

（第５の実施形態）以下、図面を参照して本発明の第５の実施形態の仮想化粧装置について説明する。

人は化粧をする時に、鏡で自分の顔を見ながら行うことが多い。人は化粧をする時、顔を鏡に近づけたり、あるいは、手鏡等、鏡を動かせる場合は鏡を顔に近づけたりして、顔の見たい部分を拡大して見ようとする。

本実施形態の仮想化粧装置は、カメラで撮影した利用者の顔の画像から検出した複数の特徴点から特定の領域（例えば瞼、唇）を決定し、その領域に対してメイクアップを行う。さらには、顔の動きを検知して当該領域を基準に顔を拡大表示する。

尚、以下の説明では瞼にアイシャドウを擬似的に塗布する場合を例に説明を行う。

図２０は本実施形態の仮想化粧装置を実現するためのパーソナルコンピュータ（ＰＣ）の構成の一例を説明する図である。

このＰＣは、プロセッサ２００１と、メモリ２００２と、磁気ディスクドライブ２００３と、光ディスクドライブ２００４とを備える。

更に、ＣＲＴやＬＣＤ等の表示装置２００８とのインターフェース部に相当する画像出力部２００５と、キーボードやマウス等の入力装置２００９とのインターフェース部に相当する入力受付部２００６と、外部装置２０１０とのインターフェース部に相当する出入力部２００７とを備える。

出入力部２００７としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４等のインターフェースがある。

本実施形態の仮想化粧装置では、画像を入力するためのビデオカメラは外部装置２０１０に相当する。

磁気ディスクドライブ２００３には、入力された画像に対してメイクアップ等の画像処理を行うプログラムが格納されている。プログラムを実行する際に磁気ディスクドライブ２００３からメモリ２００２に読み込まれ、プロセッサ２００１においてプログラムが実行される。

ビデオカメラで撮像された動画像は出入力部２００７を経由してメモリ２００２にフレーム単位で順次記憶される。プロセッサ２００１は記憶された各フレームに対して画像処理を行うとともに、利用者が本装置を操作するためのＧＵＩの生成も行う。プロセッサ２００１は処理した画像及び生成したＧＵＩを画像出力部２００５を経由して表示装置２００８に出力する。表示装置２００８は画像及びＧＵＩを表示する。

図２１は、本実施形態の仮想化粧装置の機能ブロックを説明する図である。

本装置は、動画像を入力するビデオカメラである画像入力部２１０１と、入力された画像から人物の顔の特徴点及び特徴領域を検出する特徴検出部２１０２と、化粧データ及び位置関係データを記憶するデータ記憶部２１０３を備える。

化粧データとは、化粧のアイテムの一つであるアイシャドウの種類毎の色、テクスチャー、透明度のデータである。位置関係データとは、顔の特徴点及び特徴領域とアイシャドウの塗布領域との位置関係を示すデータである。

さらに、利用者が予めデータ記憶部２１０３に記憶させてあるアイシャドウの種類を選択するためのＧＵＩを提供する加工方式決定部２１０５と、瞼の部分に選択されたアイシャドウの色を重ねて擬似的に塗布した画像を生成する画像加工部２１０４と、加工された画像を表示するＬＣＤやＣＲＴ等の表示装置である表示部２１０６と、顔の大きさ・位置・傾きを推定し、推定に基づいて表示部２００５を制御して拡大表示させる大きさ・位置情報管理部２１０７を備える。

以下、各部について説明する。

（画像入力部２１０１）画像入力部２００１は、ビデオカメラから対象となる人物の顔が映っている動画像を入力する。ビデオカメラとしては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続のカメラや、デジタルビデオカメラ等の一般的なカメラを用いればよい。入力された動画像は、特徴検出部２１０２に逐次出力される。

（特徴検出部２１０２）特徴検出部２１０２は、入力された画像から顔の特徴領域を検出する。例えば、瞼にアイシャドウを塗る場合は、図３に示した瞳の虹彩領域の輪郭３０１を検出する。

瞳の虹彩領域輪郭検出は第１の実施形態と同様に文献１に示す手法で行う。検出処理の流れは、特徴点を検出して、特徴点周辺の画素情報を部分空間法により照合していくというものである。以下、概要を図２２に基づいて説明する。

（Ｓ２２０１ 分離度マップ生成）
入力画像全体の各画素毎に図２３（Ａ）に示す円形分離度フィルターの出力値を求め、分離度マップを生成する。分離度とは２つの領域の間の画素情報の分離度を表す指標である。本実施形態では、領域２３０１と領域２３０２との間の分離度を次式を用いて求める。

尚、入力画像全体について分離度マップを求めるのではなく、例えばテンプレートマッチングや背景差分法等の画像中における顔の領域を特定する前処理を行った上で分離度マップを求めても良い。

（Ｓ２２０２ 特徴点候補抽出）
生成した分離度マップにおいて分離度が局所最大値になる点を特徴点候補とする。

局所最大値を求める前に分離度マップに対して適宜平滑化等の処理を行っておくと、ノイズの影響を抑制できるので良い。

（Ｓ２２０３ パターン類似度算出）
各特徴点候補の近傍から、分離度フィルタの半径ｒに応じた局所正規化画像を取得する。正規化は半径に応じたアフィン変換で行う。正規化画像と予め瞳周辺の画像から作成しておいた辞書（左の瞳、右の瞳）との類似度を部分空間法により算出する。

（Ｓ２２０４ 特徴点統合）
各特徴点候補の位置、分離度フィルタの半径、類似度の値に基づいて、正しい瞳の位置を検出する。

左の瞳及び右の瞳それぞれについて、Ｓ２２０３パターン類似度算出で求めた類似度の高い順に所定数の特徴点候補若しくは類似度が所定の閾値の以上となる特徴点候補を抽出する。抽出された左右の瞳の特徴点候補を組み合わせて左右の瞳候補を生成する。

生成した左右の瞳候補を予め想定した条件と照合して、条件に合致しないものを候補から除外する。条件とは、例えば左右の瞳の間隔（異常に狭い・広い場合は条件外）や、左右の瞳を結ぶ線分の方向（画像中で垂直方向に伸びるような場合は条件外）等である。

残った左右の瞳候補のうち、左右それぞれの瞳の類似度の和がもっとも高い組み合わせを左右の瞳とする。

（Ｓ２２０５ 詳細検出）
瞳の輪郭をさらに正確に求め、瞳の正確な位置を求める。このステップでは文献６（Yuasa et al. "Precise Pupil Contour Detection Based on Minimizing the Energy of Pattern and Edge", Proc.IAPR Workshop on Machine Vision Applications, pp. 232-235, Dec. 2002）の手法を利用する。以下では、この手法の概要を説明する。

Ｓ２２０４特徴点統合で得られた瞳位置とその瞳を検出する際に用いた分離度フィルタの半径とを利用して、瞳の輪郭を円形状と仮定して初期形状を作成する。作成した初期形状は楕円パラメータで表現しておく。

例えば中心座標が（ｘ₀，ｙ₀）で半径がｒならば、楕円パラメータは、長短径をａ，ｂ、回転角をθとして、（ｘ，ｙ，ａ，ｂ，θ）＝（ｘ₀，ｙ₀，ｒ，ｒ，０）と表すことができる。ｘ、ｙは中心位置、ａ、ｂは楕円の長径、短径、θは目の傾きである。

まず、これらの楕円パラメータを初期値として、ガイドパターンを用いて楕円パラメータを大まかに求める。図２４はガイドパターンについて説明する図である。

ここで用いるガイドパターンは、基準となる瞳周辺の画像（正解パターン）に対して、瞳の半径、瞳の中心位置等のパラメータを様々に変えた画像を生成して主成分分析により作成した辞書である。ここでは楕円パラメータ等を様々に変えて作成した図２５に示す１１種類の辞書を用いる。尚、正解パターンは利用者自身のものでなくても良い。

辞書との照合は部分空間法により行う。複数の辞書の中から最も類似度が高いものを求める。求めた辞書を作成した時のパラメータが、入力した瞳の画像に関するパラメータに近いと推定される。

ガイドパターンを利用して推定した楕円パラメータと入力画像とを用いて、楕円パラメータの値を変えながらエッジエネルギーとパターンエネルギーとを算出する。

エッジエネルギーとは、当該楕円パラメータを持つ楕円形状の分離度フィルタ（図２３（Ｂ））を用いて求めた分離度の値の符号を負にしたものである。分離殿値は値の計算には、前述の数４を用いる。

パターンエネルギーとは、当該楕円パラメータを基準にして瞳近傍の縮小画像と、予め準備した正解画像及び楕円パラメータから作成した辞書との類似度の値の符号を負にしたものである。辞書との類似度は、部分空間法を用いて求める。

このステップでは、楕円パラメータを変化させて上述の二つのエネルギーの和が局所的に最小となる時の楕円パラメータの組を求めることにより、正確な瞳の輪郭を求める。

以上のステップにより正確な瞳の輪郭が求まる。瞳の位置は、輪郭の中心として求めることができる。

（大きさ・位置情報管理部２１０７）大きさ・位置情報管理部２１０７では、特徴検出部２１０２で求めた瞳の位置、瞳の輪郭半径（楕円パラメータ）から、現在の顔の大きさ、位置、傾きを推定する。そして、顔の大きさの変化率から顔を表示する際の拡大率を求める。

顔の大きさ及び傾きは、例えば両瞳を結ぶ線分の長さや傾きから推定する。さらに、左右の瞳の輪郭半径の比率からは顔の回転（首を中心とした回転）を推定する。

推定した情報をもとにして、利用者が注目している領域を中心に拡大表示するように、拡大の中心位置と拡大率とを画像加工部２１０４に通知する。顔において仮想的に化粧を行っている部位（目、頬、唇等）のうち、画像の中心位置に最も近い位置にあると推定された部分を含む領域を、利用者が注目している領域とする。

拡大の際に、例えば、顔全体が大きくなりつつある場合は、実際の顔の大きさの変化率を上回る拡大率で拡大するように通知する。このようにすることで、カメラに接近しすぎることを防ぐことができる。図２８は拡大表示の一例を説明する図である。最初は顔全体が表示されていても、顔の大きさの変化率から利用者の接近を検出し、利用者が接近しすぎる前に、例えば目を拡大表示させている。

人物がカメラに接近し過ぎた状態になると顔全体を撮影することが困難になる。結果として顔の向きや大きさを推定することが困難になる。

このような場合は、画面中で注目領域を追跡する。追跡には前述したガイドパターンを応用する。

前述したガイドパターンは正解パターンから位置及び瞳半径がズレた状態のパターンであるので、これを用いれば現在の位置及び形状におけるパターンがどの「ズレ方」であるかを推定できる。すなわち、前のフレームにおける「ズレ方」と今のフレームにおける「ズレ方」との違いから、追跡対象となる領域がどのように運動しているかを推定することができる。

例えば左右に位置がずれていれば左右の方向の運動していることが分かる。大きさが大きくなっていれば近づいていることがわかる。さらに変形具合から３次元的な運動の推定も可能である。

図２９は、人物の顔位置がカメラに対して画面内で時間ｄｔの間にｘ方向に−ｄｘ移動した場合の例を説明する図である。時刻ｔ０における領域２９０１と同じ位置にある、時刻ｔ０＋ｄｔにおける領域は、領域２９０２である。ところが、顔が移動したため、領域２９０２と同じ（最も類似する）パターンを持つ、時刻ｔ０における領域は、領域２９０３になる。

よって、時刻ｔ０において、ガイドパターンを用いて領域２９０１のパターンの正解パターンからの「ズレ」を調べておく。そして、時刻ｔ０＋ｄｔにおいて、ガイドパターンを用いて領域２９０２のパターンの正解パターンからの「ズレ」を調べる。両時刻における「ズレ」の差から移動量を推測することができる。

（画像加工部２１０４）画像加工部２１０４においては、特徴検出部２１０２において検出された瞳の位置を利用して画像の加工を行なう。また、大きさ・位置情報管理部２１０７から通知された拡大率及び拡大の中心位置に基づいて画像を拡大する加工を行う。

以下の説明では、図２６を参照して、右眼の瞼にアイシャドウを仮想的に塗布した画像作成する場合を例に説明する。

アイシャドウを仮想的に塗布する手法の概略は次のようになる。瞳の検出された領域、両瞳の位置関係、事前知識として得られる瞳の大きさと目頭及び目尻位置等の関係から、大まかな瞼領域として図２６における矩形領域２６０１を推定する。矩形領域２６０１内の輝度情報から、瞼に相当する領域、すなわち本領域中で眉や瞳でなない部分、を決定する。瞼の領域に対して、アイシャドウを塗布する加工を施す。

矩形領域２６０１は以下のように決定する。

矩形領域２６０１の下底が、特徴検出部２１０２で検出した瞳の中心２６０２を通るように設定する。矩形領域２６０１の左右の辺は目頭２６０４や目尻２６０３の位置を検出して求めることもできるが、本実施形態では瞳の中心２６０２から目尻寄りに瞳の半径の例えば２．５倍の位置を矩形領域左下端部２６０５と仮定し、瞳の中心２６０２から目頭寄りに瞳の半径の例えば３倍の位置を右下端部２６０６と仮定する。左下端部２６０５を通り先ほど設定した下底と垂直に交わる線と右下端部３６０６を通り下底と垂直に交わる線とを左右の辺とする。

矩形領域の上底は、下底から瞳の半径の例えば４倍の距離だけ上方に設定する。左右の辺との交点を、左上端部２６０８、右上端部２６０９とする。

アイシャドウの塗布領域２６１０の決定方法について述べる。

まずはじめに、矩形領域２６０１全体において、アイシャドウの塗布領域２６１０とその他の領域間の輝度を分ける閾値を決定する。

矩形領域２６０１における輝度分布は図２７のようなヒストグラムとして表わすことができる。矩形領域２６０１に含まれる領域は輝度の大きさによって大別して３つの領域に分割される。もっとも輝度の低い領域２７０１は主に虹彩（瞳）内部、まつ毛、眉毛等であり、もっとも輝度の高い領域２７０３は白目領域であり、残った中間の領域２７０２が瞼、すなわちアイシャドウを塗布すべき領域となる。

矩形領域２６０１の輝度分布のヒストグラムに判別分析法を適用して、輝度を３分割する閾値Ｔｈ１及びＴｈ２を決定する（Ｔｈ１＜Ｔｈ２とする）。判別分析法は、判別基準としてクラス間分散σ_B ²が最大になるような閾値を決定する方法である。分割による分離度を表わす指標としては、次式で表わされるものを用いることができる。ここではこの値が極大となる時の閾値をＴｈ１およびＴｈ２とする。

次に、矩形領域２６０１を上下に２等分する線分２６１１を設定する。線分２６１１上の各点から上下方向にそれぞれ塗布領域２６１０の探索を行う（図中、中抜きの矢印で表わされた方向）。

探索は次の手順で行なう。上半分については眉との境界が問題であるから、先に求めた２つの閾値のうち低い方、すなわち閾値Ｔｈ１を使用する。線分２６１１上の各点から上方向に移動し、その輝度値がＴｈ１より高ければさらに上へ移動する。輝度値がＴｈ１より低ければ眉領域に達したと判断して探索をやめる。

本処理を各点について行なうと、塗布領域２６１０の上側境界が求まることになる。

下半分についても同様である。下半分には輝度の高い部分である白目が存在するので、輝度値が閾値Ｔｈ２を超えないことを条件とする。また、虹彩領域に入ることも妥当でないので、輝度値が閾値Ｔｈ１より大きいことも条件とする。

さらに、目頭２６０３と目尻２６０４の位置を検出するために、白目のラインと矩形領域２６０１の下底との交点を求める。矩形領域２６０１の右下端部２６０６から左に向かって輝度値を調べる。輝度値が閾値Ｔｈ２を超える点を目頭２６０４とする。同様に矩形領域２６０１の左下端部２６０５から右に向かって輝度値を調べる。輝度値が閾値Ｔｈ２を超える点を目尻２６０３とする。

矩形領域２６０１の左の辺と線分２６１１との交点２６１２を求める。矩形領域２６１０のうち交点２６１２と目尻２６０３とを結ぶ線分より下にある領域は塗布領域２６１０には含めない。同様に、矩形領域２６０１の右の辺と線分２６１１との交点２６１３を求める。矩形領域２６１０のうち交点２６１３と目頭２６０４とを結ぶ線分より下にある領域は塗布領域２６１０には含めない。

このようにして、塗布領域２６１０を求めることができる。画像にノイズがある場合、境界線が不連続になることが考えられる。そこで、あらかじめ矩形領域２６０１内の輝度を平滑化するか、求められた境界を平滑化するか、或いは、隣接する境界点間に拘束条件を設ける等の処理でそのような状態を避けると良い。

本実施形態では、メディアンフィルタを用いて平滑化する。

上述のようにして設定した塗布領域２６１０に対してアイシャドウを仮想的に塗布する加工を施す。第１の実施形態と同様にαブレンディングを用いて加工する。本実施形態では次式を用いる。

上式の（ｘ，ｙ）は瞳の中心２６０２からの相対的な位置である。Ｄ１は瞳の半径の３倍で、Ｄ２は瞳の半径の４倍の値とする。

尚、顔が傾いている場合は、人物の顔向きを検出し、それに従って前述の矩形領域２６０１をアフィン変換等で変換して処理を行い、最後に逆変換すればよい。

（データ記憶部２１０３、加工方式決定部２１０５、表示部２１０６）データ記憶部２１０３、加工方式決定部２１０５及び表示部２１０６は第１の実施形態と同様である。

（第５の実施形態の効果）以上に説明したように、本実施形態の仮想化粧装置ならば、利用者がカメラに近づいたのを検出し、利用者が見ようとしていると推定される部位を拡大表示させることができる。

（第６の実施形態）本実施形態の仮想化粧装置は、カメラで複数の人物の顔が撮像された場合に、各々の人物に対して異なる加工を行えるようにしたものである。以下、第５の実施形態と異なる部分を中心に説明する。

図３０は本実施形態の仮想化粧装置の構成を説明する図である。本装置は、動画像を入力するビデオカメラである画像入力部２１０１と、入力された画像から人物の顔の特徴点及び特徴領域を検出する特徴検出部２１０２と、入力された画像中から人物の顔に相当する領域を検出する顔領域検出部３００１と、検出された顔画像情報から顔認識用の辞書を生成して記憶しておく顔辞書生成記憶部３００２と、化粧データ及び位置関係データを記憶するデータ記憶部２１０３を備える。

化粧データとは、化粧のアイテムの一つであるアイシャドウの種類毎の色、テクスチャー、透明度のデータである。位置関係データとは、顔の特徴点及び特徴領域とアイシャドウの塗布領域との位置関係を示すデータである。

さらに、利用者が予めデータ記憶部２１０３に記憶させてあるアイシャドウの種類を選択するためのＧＵＩを提供する加工方式決定部２１０５と、瞼の部分に選択されたアイシャドウの色を重ねて擬似的に塗布した画像を生成する画像加工部２１０４と、加工された画像を表示するＬＣＤやＣＲＴ等の表示装置である表示部２１０６と、顔の大きさ・位置・傾きを推定し、推定に基づいて表示部２００５を制御して拡大表示させる大きさ・位置情報管理部２１０７を備える。

本装置では、入力された画像から顔領域検出部３００１が顔の領域を検出する。検出された顔の領域と特徴検出部２１０２で得られる情報とを用いて、大きさ・位置情報管理部２１０７は人物の顔が画像中のどの位置にどの大きさで何個あるかを推定する。

そして、時間的・空間的に連続した位置にある顔については同一人物と推定し、大きさ・位置の情報に識別子を割り当てて記憶する。画像加工部２１０４は識別子を利用して人物毎に異なる加工を行うとともに、行った加工の内容を識別子とともにデータ記憶部２１０３に記憶させておく。

大きさ・位置情報管理部２１０７は、一定数以上同一人物の画像が得られた場合、顔領域検出部３００１に対して顔認識を行うように通知を行い、識別子と顔の位置とを出力する。

顔領域検出部３００１は通知を受けて、顔辞書生成記憶部３００２に、識別子と顔辞書の生成を行うのに必要な顔領域の画素情報を出力する。また、顔領域検出部３００１は顔認識を行って識別子による人物特定を行う。

本実施形態では、顔認識は文献７（山口他、「動画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、１９９７）で提案されている相互部分空間法を利用する。そのため、顔辞書の生成は、顔領域の画素情報から特徴ベクトルを求め、特徴ベクトルを主成分分析した結果の上位の固有ベクトルで張られる部分空間を求めることに対応する。

顔領域検出部３００１における顔認識では、顔辞書生成と同様にして入力画像の顔領域から特徴ベクトル若しくは部分空間を求め、顔辞書生成期億部３００２に記憶されている顔辞書との類似度を算出する。

顔認識を行うことによって、画像中に複数人の顔が同時に映っていても正確に人物を識別して各個人に対して加工を行うことができる。

尚、人物が一度画像から消えてから再び画像中に出現した場合等でも、顔領域検出部３００１で顔辞書と照合を行えば同一人物かを識別することができる。そして、顔辞書に登録された人であれば、以前に割り当てられた識別子を用いてデータ記憶部２１０３に格納された加工情報を検索し、以前に行った加工を再現することが可能である。従って、本実施形態ならば、追跡中に一度見失っても再び追跡が可能となる。

（変形例）
（１）変形例１
第２の実施形態において、このように化粧等の変形を施した場合、受信する側において、送信側の人物の顔が変わりすぎて、送信側人物を特定できなくなるといった問題が起こる可能性がある。

そこで、受信側のセキュリティを保つために、化粧等の変形を施す前の画像で顔による個人認証を行い、その結果を同時に送信する。そうすることで、確かに送信側人物がその人であるとわかるので、受信側人物が安心して会話できる。化粧等の変形を施す前の画像で認識するので、認識率が低下したりしない。もちろん顔認識以外の方法で個人認証を行っても差し支えない。顔認識による個人認証には、特開平９−２５１５３４で開示されている方法を利用する。

（２）変形例２
第２の実施形態において、個々のユーザ特有の３Ｄモデル、動きのモデル装着、塗布の嗜好性、色や具材の選択等をユーザパラメータと呼ぶ。こういったユーザパラメータをユーザ毎に保存することもできる。ログインユーザ情報もしくはカメラからの画像を利用した個人認証、もしくはその他の指紋やパスワード等による個人認証によってこれらのユーザパラメータを呼び出すことができる。

（３）変形例３
メイクアップデータ保持やメイクアップアイテムの付加を行うのはサーバであってもよいし、自分または相手のローカルの装置でもかまわない。

また、互いに通信を行う場合にあっては、その間に仲介するサーバがあってもなくてもよい。

さらに、表示部１０６、９０６においても、通信を行う例においては自分の表示装置及び送信される側の表示装置のいずれかもしくは双方に元の画像及び加工済み画像の双方もしくはいずれかをどのような組合せで表示を行っても差し支えない。

なお、通常は加工済みデータのみを表示するのが望ましい。

（４）変形例４
第１の実施形態においては、カラーコンタクトレンズ装着のシミュレーションをする場合について述べたが、メイクアップアイテムはカラーコンタクトレンズに限らない。

第２の実施形態で述べた一般的なメイクアップアイテムのいずれでも実施可能である。

また、第２の実施形態においてカラーコンタクトレンズを装着してもよい。

第３、４の実施形態についても同様である。

さらに、それ以外にも頭髪やアクセサリ等であってもよい。

（５）変形例５
第１〜４の実施形態において１台のカメラから２Ｄ動画像を入力する例について述べたが、カメラは一台に限る必要はない。

すなわち、複数のカメラを用いて一般的なステレオ手法により、３Ｄのデータを取得してもよい。その場合には２Ｄによって得られた場合よりもより多くの特徴が得られる可能性がある。

例えば、チークを塗布する際に、頬骨の出ている位置等を基準位置として使用することができる。

さらに、３Ｄデータは複数台のカメラでなく、一台であっても、モーションステレオを用いれば取得可能であり、そのようなデータを利用してもよい。

なお、カメラ以外のデバイスによって３Ｄデータを取得しても差し支えない。

（６）変形例６
第１、２の実施形態では顔領域の特徴のみを用いたが、第３の実施形態のように顔の向きを検出し、その向きの変化を加工方式に加味してもよい。

例えば、顔向きに応じて塗布位置をアフィン変換することにより、変化させるといったことが考えれる。この変換は単純なアフィン変換のみならず、予め一般的な顔の形状モデルを準備しておき、顔向きが何度の時に塗布位置や範囲がどのように変化するかを予め計算しておいたり、その場で計算したりしてもよい。

また、顔の形状モデルは１つだけでなく、複数個準備しておき、ユーザの形状に合ったものを選択してもよい。

このように、ユーザまたは一般的な３次元形状モデルが何らかの方法で得られる場合には、２次元画像に対して加工を施した加工済画像をそれらの形状モデルにテクスチャとしてマッピングを行なうことで、良好な３次元表示が得られることになる。

（７）変形例７
第１〜４の実施形態においては、ＰＣを使用する例について述べたが、画像入力装置と画像表示装置を備えていれば、上記処理を行う部分はＰＣである必要はない。

例えば、半導体チップやそれらの組み合わせたボード等の処理ハードウエア、組み込みコンピュータ、ゲーム機等でも差し支えない。

（８）変形例８
第１〜４の実施形態においては、リアルタイムで入力画像に対して即時に表示を行う例について述べたが、これもその用途に限られるものではなく、画像を予め取得しておいて随時処理や表示を行ったり、処理結果を記憶メディアに保存したりしても差し支えない。

（９）変形例９
第１〜４の実施形態については、予めメイクアップアイテムに対するデータセットが用意されている例について述べたが、これについても必ずしもはじめから用意されている必要はなく、ユーザが自由に実際のデータを入力できるシステムであってもよい。

例えば、口紅の例について述べる。

ユーザは、画像入力装置であるカメラで口紅を塗る前の画像と塗った後の画像の双方を同じ条件で撮影し、それらの双方から特徴（すなわち、この場合においては唇の輪郭）の抽出を行い、唇領域における画像特徴、すなわち、色やテクスチャーの差を抽出し、それらのデータを所定の方式によって加工することにより、メイクアップデータを作成する。

加工の方法としては、以下の方法が考えられる。

まず、抽出された唇領域の色、例えばＲＧＢそれぞれの平均値を口紅塗布前後で算出し、それらの差をメイクアップデータとする。

また、元から存在せず、ユーザが入力する場合でもなく、予めインターネットやＣＤ−ＲＯＭ等のメディアを介してメイクアップアイテムやそのデータを配布してもよい。

さらに、先に述べたメイクアップアイテムデータの入力装置はユーザの端末には必ずしも必要ではなく、これらの配布サイトに対してのみその機能があってよい。

（１０）変形例１０
第１〜４の実施形態において、メイクアップデータの持ち方は、背景のない状態で元となる具材をカメラで撮像した画像、元となる具材を対象物に対して装着もしくは塗布した状態、及び、装着もしくは塗布する以前の状態における対象物の画像をカメラで撮像し、その差分情報を記録したものでもよい。また、それらの撮像を異なる対象物に対して行った情報の平均値もしくはなんらかの統計操作を施したもの等がある。

また、それらの撮像は同じ対象物の異なる大きさや向きに対して行い、それらを大きさや向きのパラメータで正規化を行うかもしくはそれらのパラメータに対して分類して保持するとさらによい。

さらに、それ以外にもデータは撮影条件等にかかわらず同じ画像を一部そのまま貼り付けたり、部分的にパールやグロスによるつや等の効果を与えたりすることもできる。

例えば、付けひげ等は前者の例である。

（１１）変形例１１
第１〜４の実施形態においては、メガネをかけていない場合について述べたが、最終的な状態としてメガネをかけた状態でもかまわない場合には問題がないが、最終状態としてメガネをはずした状態にしたい場合には、メガネの領域を検出してメガネを取り除いた画像を作成してもよい。

（１２）変形例１２
第３の実施形態において、表示部９０６で表示された画像と同等のものを実世界において作成する具材をメイクアップデータから作成する例を述べたが、これについては第１、２の実施形態において、カラーコンタクトレンズや化粧具材を実施に作成してもよいし、具材ではなく、その補助となる型紙のようなものを作成あるいは、予め準備しておいても差し支えない。

（１３）変形例１３
第１〜４の実施形態において、顔特徴等の検出に失敗した場合には、そのフレームの画像を表示せず、検出されている以前のフレームの画像にそのフレームにおいて検出された特徴により加工を施した画像を表示することもできる。

こうすることで、特徴の検出に失敗した場合でも、不自然にならない表示が可能である。

（１４）変形例１４
第１〜４の実施形態において、表示は一画面のみの場合について述べたが、これは２つ以上の画像を含んでも差し支えない。

例えば、図１５のように時刻の異なる画像を並べて表示したり、図１６のように方向の異なる画像を並べて表示したり、図１７のように異なる具材によって加工された画像を並べて表示したりしてもかまわない。

また、その場合、具材は同じ具材でかつ、色のみ違うパターンを表示すればより選択の際にユーザの補助として有効である。

さらに、図１８のように、画像中の一部のみを拡大して表示する機能があればより好ましい。

（１５）変形例１５
第１〜４の実施形態において、画像の加工をαブレンディングによって行う例をあげたが、他の方法でも差し支えない。

例えば、当該範囲の色情報のうち色相のみを入れ替えるといった方法も考えられる。

（１６）変形例１６
第１〜４の実施形態において、２Ｄの画像を表示する例について述べたが、これには限らない。

例えば、３Ｄデータを作成した場合には、これを３Ｄのビューアで表示してもよい。

（１７）変形例１７
第１、３、４の実施形態において、表示部１０６、９０６はディスプレイ等の装置に表示する場合について述べたが、例えばユーザの顔にプロジェクタ等で直接照射してもかまわない。

（１８）変形例１８
メイクは、例えば、チークを頬の筋肉の流れに沿って塗布したり、眉墨を眉近辺の骨格に沿って目尻の位置の延長まで塗布したりする等、個人の顔の形状に合わせて行われると自然な仕上がりになる。

従って、入力画像を元に作成された顔の３次元形状を見てメイクアップアーティスト等がその形状に合ったメイクを施すことができれば、個人の形状に合ったより自然なメイクを提案できる。そのような場合に３Ｄエディタが有効である。

また、予め用意されているメイクアイテムの中から選択されたものが自動的にメイクが塗布されるのではなく、自由にメイクやペインティングを創作したい場合にも、３Ｄエディタが有効である。

３Ｄエディタとしては、例えば図１９に示すような、３次元形状データを読み込み、その形状を３Ｄ表示する表示部１０６と、色パレットや、ブラシ、ペンシル、パフ、消しゴム等のメイクツールパレットや、ぼかし効果、つや効果、テクスチャ等の効果ツールパレット等をもつ。メイクツールや効果ツール等を使って、データから読み込まれた３Ｄオブジェクトの上にメイクやペインティング等を好きな形や色で書き込み、作成した書き込みオブジェクトは、オブジェクト毎に或いはグルーピングされたオブジェクトをまとめてメイクアイテムとして保存しておくこともできる。

メイクエディタは、メイクを施される対象者本人が使ってもよいし、メイクアップアーティスト等が使っても良い。

また、メイクを専門に学ぶためのツールとしても利用できる。

従って、自分の好きなメイクを編み出すために顔画像を撮影しエディタを使うこともあれば、顔画像を撮影しエディタを使ってメイクを施した画像あるいはデータを専門家に送信し、コメントや修正を加えて送り返すこともあれば、顔画像を撮影しメイクを施さずに顔画像を送信し、送信された顔画像を受信側が受け取り、受信側でエディタを使って３Ｄオブジェクトにメイクを施し、メイクを施した画像や３Ｄデータを送り返すこともある。

ここでいう「メイク」は、通常のメイクに限ったものではなく、舞台用メイク（例えば、宝塚メイク、動物メイク、歌舞伎メイク等）やペインティングを含んでもかまわない。この舞台用メイクでは、俳優の顔を予め撮影しておき、メイクアップアーティストが舞台に合わせたメイクを編み出すために利用することもできる。ペインティングも自分の好みのデザインを作ることができる。

以上、３次元メイクエディタについて述べたが、画像に直接書き込むことのできる２次元エディタでもかまわない。このようなエディタ機能により、自由にメイクアイテムを作成、編集できる。

実際にメイクを物理的に施す際、メイクを初めてする者にとってはメイクの仕方が全くわからないためメイクの仕方を知りたいという要求や、初心者でなくてもプロのテクニックを知りたいという要求等がある。このような要求に応え、メイクを物理的に施すための支援ツールとして、ファンデーション、眉墨、チーク等の塗り方を順に表示する機能をメイクエディタに組み込むこともできる。

表示は２次元でも３次元でもかまわないし、必ずしもメイクエディタに組み込まれている必要はなく、支援ツールが独立していてもよい。このような支援ツールは、子供等を対象に歌舞伎メイク等がどのように施されるかを見せる等、後世に無形文化を伝えていくためのツールとしても利用できる。

（１９）変形例１９
第１、３の実施形態では、メイクアップ等の変形の結果はディスプレイ等の表示装置に表示していたが、直接ユーザの顔等にメイクアップ等の結果を反映してもかまわない。

これは、装置が機械的に行ってもよいし、人間が行ってもよい。例えば、ブラシ等を用いてユーザの顔にペインティングを施すといったことが考えられる。

（２０）変形例２０
第１、３の実施形態において、加工方式決定部１０５，５０５はブラシやタブレット等の入力装置を用いて、ユーザの顔や模型の顔やディスプレイ上の顔等に直接塗布してもよい。

例えば、ユーザの顔にブラシを用いて塗る場合は、ユーザにブラシ用のセンサをつけた面を装着する等して塗る場所を判別するといったことが考えられる。

（２１）変形例２１
第２の実施形態において、表示部５０６がネットワークを経由して接続されている例を示したが、加工方式決定部５０５もネットワークを経由して一つまたは複数存在してもよい。

例えば、離れた場所にいるメイクアップアーティスト等がユーザをメイクアップしたり、ユーザのメイクアップを修正したり、アドバイスを与えるといったことが考えられる。

また、ネットワークの相手側の加工方式決定部５０５を操作するのは人間だけでなく、計算機等によって操作されてもよい。

さらに、ネットワークの相手側を操作するのは複数でもよい。その場合は、操作するのは人間だけでなく計算機も組み合わせてもよく、それぞれが同時に操作をしてもかまわない。

（２２）変形例２２
仮想化粧装置において仮想的に施された化粧についてユーザが興味を持った場合、そのような化粧を実際に行うための方法や必要となる製品についての情報を入手したいという欲求が生じることが考えられる。

本変形例においては上述のユーザ欲求を満足するための方法として、仮想メイクを実際に行いたいと考えるユーザをサポートする機能について詳述する。

ユーザが施された化粧を実際にそのまま自分の顔に行いたいと考えた場合、まず必要な化粧用製品の情報を入手する必要がある。そこで予め施されるメイクの種類毎にそれぞれ必要とされる化粧用製品のリストを用意しておき、ユーザがそのリストを画面上で閲覧できるようにしておく。

このリストは化粧用製品のメーカ、販売価格、含有成分等の情報を含んでおり、ユーザがその製品を購入しようとする際に重要な参考情報となる。閲覧するタイミングとしては、ユーザが自分で製品リスト表示ボタンを押す「自発的閲覧」や、ユーザが同じ化粧を一定時間表示させているとシステムが自動的に製品リストを表示する「自動表示」等が考えられる。

ユーザが実際にリストの中から選んだ製品を購入する方法として、ユーザが直接販売店に足を運ぶこと無くネット上で購入処理を行う方法が考えられる。この方法はいわゆる「ネット通販」と呼ばれるものと類似した購入システムであり、ユーザは欲しい製品をリストから選択し、購入ボタンを押せば自動的にその情報が契約している販売店へ送信され、製品が送られてくるシステムである。

（２３）変形例２３
第２の実施形態において、通信を相互で行っている場合、相手画像からメイクアップデータを抽出し、そのデータに基づいてメイクアップシミュレーションを行ってもよい。

（２４）変形例２４
第１〜４の実施形態において、メイクアップデータの組み合わせは通信を行う場合には通信の相手によって予め準備しておいてもよい。

また、その組み合わせは有名人に似せたもの等を予め準備しておいてもよい。

メイクアップデータを作成する場合に雑誌等の写真をスキャナで取り込み、その画像からメイクアップデータを抽出し、同じメイクを再現する機能があってもよい。

また、選択されたメイクアップデータの組み合わせに基づいて必要なアイテムのリスト出力してもよい。

また、メイクアップのイメージやパラメータを選択する際に、画面中に表示されたダイアログをマウスで選択する例については述べたが、これらの選択は音声を用いても差し支えない。

その場合には、仮想化粧装置にマイク等の音声を取り込むデバイスから音声を取り込み、音声認識装置により取り込まれた音声で表されたコマンドを実行する。例えば、「もっとシャープに」等とイメージを伝えたり、「もう少し下に」等と位置を指定したり、「もっと赤く」「アイシャドウはブルーに」等さまざまな指定が可能となる。ユーザはいちいち手を動かさないでいいので、非常に使い勝手がよくなる。

また、メイクアップデータやその組み合わせは予め定められたメイクアップランゲージとして保存することも可能である。この言語はたとえば口元や目元と言った部位毎あるいは口紅やアイシャドウといったアイテム毎に指定し、それぞれに位置や形状、色や質感をパラメータとして指定する。それらの組み合わせによって顔全体のメイクアップ方式を定めることができる。それらのデータは一般的なデータとして定めることもできるし、メイクアップアイテムを製造するメーカ毎に個々に定めてもよい。一度決められればメイクアップを言語で再現できるため、たとえば通信する際にデータを削減できるし、だれでも同じメイクが再現できる。

（２５）変形例２５
第５の実施形態では、注目領域を瞳領域として説明したが、これに限らない。

例えば、利用者が指定した場所を注目領域としても良いし、画像の中心を固定して注目領域としても良い。また、特開平１１−１７５２４６号公報において提案されている注視位置の検出手法を用いて、利用者の注視位置を注目領域としても良い。

また、第５の実施形態において瞳の追跡の際にガイドパターンを用いる例を挙げた。顔が動かなくても瞳だけが動くため、拡大する領域が必要以上に揺れ動く可能性がある。この問題を防ぐためには、例えば、ガイドパターン生成の際に目頭及び目尻に対する瞳の相対位置を予め保持しておき追跡時に比較すると良い。

（２６）変形例２６
図３１（Ａ）及び図３１（Ｂ）は、第５の実施形態の仮想化粧装置における、画像入力部２１０１および表示部２１０６の一例を説明する図である。本変形例では、画像入力部２１０１であるカメラ３１０１と、表示部２１０６であるディスプレイ３１０２とが一体になっており、かつ、利用者が手で持つための持ち手３１０３が付いている。

図３１（Ａ）は利用者がカメラ３１０１から離れた状態で、ディスプレイ３１０２に顔全体が映っている場合である。図３１（Ｂ）は利用者がカメラ３１０１に目を近づけた状態で、ディスプレイ３１０２には目の周辺が表示されている。

画像入力部２１０１および表示部２１０６を、このような一体構造にすると、利用者は実際に手鏡を使用しているような感覚で使用することができるので良い。

その他の部分（例えば特徴検出部２１０２、画像加工部２１０４等）との通信は、ケーブルを介して行っても良いし、無線を用いてもよい。

尚、本変形例は、カメラ付ＰＤＡ、カメラ付携帯電話、カメラ付タブレット型ＰＣ等の、カメラ付携帯端末を用いて実現しても良い。

第１の実施形態の構成図である。 第１の実施形態の外観図である。 瞳虹彩領域の検出例の図である。 選択ダイアログの例の図である。 第２の実施形態の構成図である。 アイシャドウ塗布領域の例の図である。 チーク塗布領域の例の図である。 口紅塗布領域の例の図である。 第３の実施形態の構成図である。 ペインティングを施した例の図である。 運動行列を計算する様子である。 加工具材の例の図である。 第４の実施形態の処理の流れである。 別環境の照明条件での画像を作成する例の図である。 変形例１４における複数画像表示の例におけるその１の図である。 変形例１４における複数画像表示の例におけるその２の図である。 変形例１４における複数画像表示の例におけるその３の図である。 変形例１４における拡大画像表示の例の図である。 変形例１８における３Ｄエディタの例の図である。 第５の実施形態でプログラムを動作させるコンピュータの例。 第５の実施形態の構成図である。 第５の実施形態の特徴検出部の処理の流れを説明する図。 （Ａ）瞳虹彩領域の検出例。（Ｂ）瞳虹彩領域の検出例。 ガイドパターン用の正規化画像の例。 ガイドパターンのパラメータ例。 アイシャドウ塗布領域の例。 輝度ヒストグラムによる閾値決定の説明図。 第５の実施形態の表示例。 注目領域の追跡手法の説明図。 第６の実施形態の構成図。 （Ａ）変形例２６において顔全体を表示させた図。（Ｂ）変形例２６において目の周辺を拡大表示させた図。

符号の説明

１００ 仮想化粧装置
１０１ 画像入力部
１０２ 特徴検出部
１０３ データ記憶部
１０４ 画像加工部
１０５ 加工方式決定部
１０６ 表示部
２００１ プロセッサ
２００２ メモリ
２００３ 磁気ディスクドライブ
２００４ 光ディスクドライブ
２００５ 画像出力部
２００６ 入力受付部
２００７ 出入力部
２００８ 表示装置
２００９ 入力装置
２０１０ 外部装置
２１０１ 画像入力部
２１０２ 特徴検出部
２１０３ データ記憶部
２１０４ 画像加工部
２１０５ 加工方式決定部
２１０６ 表示部
２１０７ 大きさ・位置情報管理部
３００１ 顔領域検出部
３００２ 顔辞書生成部

Claims (3)

1. 人物の顔の少なくとも一部分が映った動画像を入力する画像入力部と、
   入力された動画像の各画像において前記人物の顔の特徴点又は特徴領域を検出する特徴検出部と、
   各画像に映っている前記人物の顔の大きさ、顔の位置、及び、顔の大きさの変化率に応じた顔画像の拡大率を求める顔大きさ・位置情報管理部と、
   検出された特徴点又は特徴領域から各画像中で加工を行う領域を求め、この領域の画素情報を加工するとともに、前記位置を中心に前記拡大率に従って画像を拡大する画像加工部と、
   加工された画像を表示する画像表示部と、
   を備える仮想化粧装置。
2. 前記顔大きさ・位置情報管理部は、前記人物の顔のうち、前記人物が注目している注目領域を推定し、
   前記画像加工部は、前記注目領域を中心に前記拡大率に従って各画像を拡大する、
   請求項１記載の仮想化粧装置。
3. 人物の顔の少なくとも一部分が映った動画像を入力する画像入力部と、
   入力された動画像の各画像中に存在する人物の顔領域を検出する顔領域検出部と、
   検出された顔領域を用いて人物を識別する顔識別部と、
   識別された人物毎に、検出された顔領域中の特徴点又は特徴領域を検出する特徴検出部と、
   識別された人物毎に、求めた特徴点又は特徴領域から顔領域中で加工を行う領域を求め、この領域の画素情報を加工する画像加工部と、
   加工された画像を表示する画像表示部と、
   識別された人物毎の顔の大きさ、顔の位置、及び、顔の大きさの変化率に応じた顔画像の拡大率を求める顔大きさ・位置情報管理部と、
   を備え、
   前記画像加工部は、前記顔の位置を中心に求めた拡大率に従って顔領域を拡大する、
   ことを特徴とする仮想化粧装置。

Images