次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。図1は本発明によるメイクアップシミュレーション装置の第一実施例の外観図である。メイクアップシミュレーション装置1は、カメラ2,操作パネル4,プリンタ5,照明6及びモニタ7を含む構成である。
カメラ2は、メイクアップシミュレーション装置1の前方に立ったユーザを撮影して動画像を出力する。操作パネル4は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。プリンタ5は、モニタに表示される画像(例えばメイクアップ後のイメージ画像等)及び情報(例えばイメージ画像のようにメイクアップする為の商品情報等)を印刷する。照明6は、例えばメイクアップシミュレーションが開始されたあとで調光を行う。
図2はメイクアップシミュレーション装置の第一実施例の断面図である。メイクアップシミュレーション装置1は、カメラ2,操作パネル4,プリンタ5,モニタ7,制御部8を含む構成である。
カメラ2は、撮影した動画像を制御部8に出力する。操作パネル4は、制御部8から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部8に出力する。プリンタ5は、制御部8から出力された画像及び情報を印刷する。モニタ7は制御部8から出力された動画像(メイン画像)を表示する。制御部8は、カメラ2から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してモニタ7に出力する。
図1及び図2のメイクアップシミュレーション装置1は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置1は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
メイクアップシミュレーション装置1はカメラ2から出力された動画像等を制御部8で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ7に表示する。メイクアップシミュレーション装置1は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ7に表示できる。
また、図3は本発明によるメイクアップシミュレーション装置の第二実施例の外観図である。なお、図1と同一部分については同一符号を付している。
図3のメイクアップシミュレーション装置1は、操作パネル4,プリンタ5,照明6及び透明板9を含む構成である。透明板9は、メイクアップシミュレーション装置1の外側からの光を透過すると共に、メイクアップシミュレーション装置1の内側からの光を透過する。
図4はメイクアップシミュレーション装置の第二実施例の断面図である。なお、図2と同一部分については同一符号を付している。図4のメイクアップシミュレーション装置1は、カメラ2,ハーフミラー3,操作パネル4,プリンタ5,モニタ7,制御部8及び透明板9を含む構成である。
ハーフミラー(半透明鏡)3は当たった光を反射させると共に、当たった光の一部を透過させる。カメラ2はハーフミラー3,透明板9を介してメイクアップシミュレーション装置1の前方に立ったユーザを撮影可能な位置に設置されている。カメラ2は、ユーザの目線の高さに設置される。カメラ2は、ハーフミラー3,透明板9を介してメイクアップシミュレーション装置1の前方に立ったユーザを撮影して動画像を出力する。
モニタ7はハーフミラー3,透明板9を介してメイクアップシミュレーション装置1の前方に立ったユーザが見ることのできる位置に設置されている。モニタ7から出力された光はハーフミラー3により反射し、透明板9を介してメイクアップシミュレーション装置1の外側に出力される。したがって、ユーザはモニタ7に表示されている動画像をメイクアップシミュレーション装置1の外側から見ることができる。
図3及び図4のメイクアップシミュレーション装置1は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置1は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
メイクアップシミュレーション装置1はカメラ2を目線の高さに設置している為、第一実施例のカメラ2の位置に設置するよりも、メイクアップシミュレーション装置1の前方に立ったユーザの顔を自然に撮影できる。
メイクアップシミュレーション装置1はカメラ2から出力された動画像等を制御部8で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ7に表示する。メイクアップシミュレーション装置1は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ7に表示できる。
また、図5は、本発明によるメイクアップシミュレーション装置の第三実施例の外観図である。なお、前図と同一部分については同一符号を付している。図5のメイクアップシミュレーション装置1は、カメラ2,ハーフミラー3,操作パネル4,プリンタ5及び照明6を含む構成である。
ハーフミラー3は、明るい方からの光の一部(例えば50%)を透過すると共に、明るい方からの光の残り(例えば50%)を手前に反射する。暗い方に光が無いため、ハーフミラー3は暗い方からの光の透過も反射もしない。
照明6はメイクアップシミュレーションが開始されたあと、ハーフミラー3のモニタ7側が明るくなるように調光する。したがって、モニタ7の表示方向側に設けられたハーフミラー3は、メイクアップシミュレーションが開始される前、ユーザ側(メイクアップシミュレーション装置1の外側)からの光を反射して鏡として機能する。
ハーフミラー3はメイクアップシミュレーションが開始された後、モニタ7側(メイクアップシミュレーション装置1の内側)からの光を透過してガラスとして機能する。したがって、ユーザはハーフミラー3を通してモニタ7に表示されている動画像を見ることができる。
図6はメイクアップシミュレーション装置の第三実施例の断面図である。図6のメイクアップシミュレーション装置1は、カメラ2,ハーフミラー3,操作パネル4,プリンタ5,モニタ7,制御部8を含む構成である。なお、前図と同一部分については同一符号を付している。モニタ7に表示された動画像はガラスとして機能しているハーフミラー3を透過する。ユーザは、モニタ7に表示されている動画像をメイクアップシミュレーション装置1の外側から見ることができる。
図5及び図6のメイクアップシミュレーション装置1は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置1は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
メイクアップシミュレーション装置1はカメラ2から出力された動画像等を制御部8で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ7に表示する。メイクアップシミュレーション装置1は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をモニタ7に表示できる。
また、図7は本発明によるメイクアップシミュレーション装置の第四実施例の外観図である。図8はメイクアップシミュレーション装置の第四実施例の断面図である。なお、前図と同一部分については同一符号を付している。メイクアップシミュレーション装置1はカメラ2,プリンタ5,照明6,タッチパネルモニタ15を含む構成である。
図7及び図8のメイクアップシミュレーション装置1は、操作パネル4及びモニタ7の替わりにタッチパネルモニタ15を含む構成である点で、図1及び図2のメイクアップシミュレーション装置1と異なっている。タッチパネルモニタ15は、操作パネル4及びモニタ7として機能する。
タッチパネルモニタ15は、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を出力する。タッチパネルモニタ15は、制御部8から出力された操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御部8に出力する。タッチパネルモニタ15は制御部8から出力された動画像(メイン画像)を表示する。制御部8はカメラ2から出力された動画像を受信し、その動画像を後述するように画像処理することにより、動画像に含まれるユーザの顔にメイクアップを施してタッチパネルモニタ15に出力する。
図7及び図8のメイクアップシミュレーション装置1は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置1は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
メイクアップシミュレーション装置1はカメラ2から出力された動画像等を制御部8で画像処理し、動画像に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるタッチパネルモニタ15に表示する。メイクアップシミュレーション装置1は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ15に表示できる。
第四実施例のメイクアップシミュレーション装置1は、例えばユーザが使って試すテスター用の商品(以下、テスター品という)を陳列する陳列ケースを、図9及び図10のように備えるようにしてセルフ販売用の筐体として利用することもできる。図9は、本発明によるメイクアップシミュレーション装置の第五実施例の外観図である。図10は、メイクアップシミュレーション装置の第五実施例の断面図である。なお、前図と同一部分については同一符号を付している。
メイクアップシミュレーション装置1は、カメラ2,プリンタ5,照明6,タッチパネルモニタ15,陳列ケース16及びICタグリーダライタ17を含む構成である。図9及び図10のメイクアップシミュレーション装置1は、陳列ケース16及びICタグリーダライタ17を含む構成である点で、図7及び図8のメイクアップシミュレーション装置1と異なっている。
陳列ケース16は、複数のテスター品を陳列するものである。なお、テスター品にはIC(RFID)タグが添付されている。テスター品に添付されたICタグにはテスター品を識別可能な識別情報が格納されている。ユーザが陳列ケース16からテスター品を取り出してICタグリーダライタ17に近づけることで、ICタグリーダライタ17はICタグからテスター品の識別情報を読み取る。
ICタグリーダライタ17はICタグから読み取ったテスター品の識別情報を制御部8に送信する。制御部8はカメラ2から出力された動画像を受信し、その動画像を後述するように画像処理することにより、ICタグから読み取った識別情報に対応するテスター品を用いて、動画像に含まれるユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ15に出力する。
なお、テスター品と識別情報とを対応付ける対応表はメイクアップシミュレーション装置1に備えておいてもよいし、メイクアップシミュレーション装置1からネットワーク経由で取得可能な他の装置に備えておいてもよい。
また、図9及び図10のメイクアップシミュレーション装置1ではテスター品の識別にICタグを利用する例を示したが、バーコード,二次元コード,ラベル等を利用するようにしてもよい。さらに、図9及び図10のメイクアップシミュレーション装置1は取り出したテスター品が分かるような仕組み(例えば光センサなどのセンサを利用した位置認識など)を陳列ケース16に設けておき、陳列ケース16から制御部8に通知するようにしてもよい。
図9及び図10のメイクアップシミュレーション装置1は鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。即ちメイクアップシミュレーション装置1は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
メイクアップシミュレーション装置1はカメラ2から出力された動画像等を制御部8で画像処理し、動画像に含まれるユーザの顔に、ユーザが陳列ケース16から選択したテスター品を用いてメイクアップを施したイメージ画像を、デジタルの鏡であるタッチパネルモニタ15に表示する。メイクアップシミュレーション装置1は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像をタッチパネルモニタ15に表示できる。ユーザが陳列ケース16から選択したテスター品のログを取ることで、メイクアップシミュレーション装置1はユーザの嗜好等のデータを取得できる。
なお、例えばテスター品だけでなく、商品を陳列するための棚を備えたメイクアップシミュレーション装置1であれば、タッチパネルモニタ15に表示される商品を棚に陳列しておくことにより、セルフ販売用の筐体として効果的に利用できる。
以下、第一実施例のメイクアップシミュレーション装置1を例に説明する。図11はメイクアップシミュレーション装置の一実施例のハードウェア構成図である。なお、図1及び図2と同一部分については同一符号を付している。
図11のメイクアップシミュレーション装置1は、それぞれバスBで相互に接続されているカメラ2,操作パネル4,プリンタ5,モニタ7,演算処理装置10,メモリ装置11,ドライブ装置12および補助記憶装置13で構成される。なお、図11の演算処理装置10,メモリ装置11,ドライブ装置12および補助記憶装置13は、図2の制御部8を構成する。
本発明のメイクアップシミュレーションプログラムは、メイクアップシミュレーション装置1を制御する各種プログラムの少なくとも一部である。メイクアップシミュレーションプログラムは例えば記録媒体14の配布などによって提供される。
なお、メイクアップシミュレーションプログラムを記録した記録媒体14は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
また、メイクアップシミュレーションプログラムを記録した記録媒体14がドライブ装置12にセットされると、メイクアップシミュレーションプログラムは記録媒体14からドライブ装置12を介して補助記憶装置13にインストールされる。補助記憶装置13はインストールされたメイクアップシミュレーションプログラムを格納すると共に、必要なファイル,データ等を格納する。メモリ装置11は、起動時に補助記憶装置13からメイクアップシミュレーションプログラムを読み出して格納する。そして、演算処理装置10はメモリ装置11に格納されたメイクアップシミュレーションプログラムに従って、後述するような各種処理を実現している。
図12はメイクアップシミュレーション装置が行なう処理の概略を表した一実施例のフローチャートである。図13はモニタに表示されるメイン画面及び操作パネルに表示される操作画面の一例のイメージ図である。図13の画面イメージ100〜111はモニタ7に表示されるメイン画面のものである。画面イメージ200〜210は操作パネル4に表示される操作画面のものである。
制御部8は、カメラ2が撮影した動画像を継続して受信している。このとき、制御部8はモニタ7に画面イメージ100を表示し、操作パネル4に画面イメージ200を表示している。画面イメージ100及び200はスクリーンセーバーを表示している例を表している。
ステップS1に進み、制御部8は受信している動画像にユーザの顔が含まれているか否かを継続して判定している。制御部8は動画像にユーザの顔が含まれていることを認識するまでステップS1の処理を繰り返し行う(S1においてNO)。
動画像にユーザの顔が含まれていることを認識すると(S1においてYES)、制御部8はステップS2に進み、メイクアップシミュレーションを行なう為のメイクアップシミュレーションプログラムを含むソフトを起動する。このとき、制御部8はモニタ7に画面イメージ101を表示し、操作パネル4に画面イメージ201を表示する。
画面イメージ101はカメラ2でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ201は、横に移動する歓迎のコメントを表示している例を表している。
ステップS3に進み、制御部8はステップS2で起動したソフトに基づいてメイクアップシミュレーションを開始する。このとき、制御部8はモニタ7に画面イメージ102を表示し、操作パネル4に画面イメージ202を表示する。画面イメージ102は、カメラ2でユーザの顔を撮影した動画像に、魔法の鏡的な演出を施して表示している例を表している。画面イメージ202は、画面イメージ201と同様、横に移動する歓迎のコメントを表示している例を表している。
ステップS4に進み、制御部8はメイクアップシミュレーションを後述するように実行する。このとき、制御部8はモニタ7に画面イメージ103〜106を順次表示し、操作パネル4に画面イメージ203〜206を表示する。
画面イメージ103〜106は、メイクアップシミュレーションにより4つのメイクアップパターン(イメージ)が施されたユーザの顔を表示している例を表している。画面イメージ203〜206は、そのときモニタ7に表示されている画面イメージ103〜106のメイクアップパターンの内容(例えば名称等)を表示している例を表している。所定時間が経過するか、又はユーザが操作パネル4にタッチするまで、制御部8はモニタ7に画面イメージ103〜106を順次表示し、操作パネル4に画面イメージ203〜206を表示する。
所定時間が経過するか、又はユーザが操作パネル4にタッチすると、制御部8はステップS5に進み、モニタ7に画面イメージ107を表示し、操作パネル4に画面イメージ207を表示する。画面イメージ107は、画面イメージ101と同様、カメラ2でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ207は、4つのメイクアップパターン(イメージ)から1つのイメージを選択可能なイメージ選択画面を表示している例を表している。ユーザは、操作パネル4を操作することで、イメージ選択画面から1つのイメージを選択することができる。
ステップS6に進み、制御部8はイメージ選択画面から1つのイメージが選択されるまでステップS6の処理を繰り返し行う(S6においてNO)。ユーザがイメージ選択画面から1つのイメージを選択すると、操作パネル4はユーザからの操作を受け付けて操作情報を制御部8に出力する。
ユーザがイメージ選択画面から1つのイメージを選択したと判定すると(S6においてYES)、制御部8はステップS7に進み、選択されたイメージのイメージ画面をモニタ7及び操作パネル4に表示する。このとき、制御部8はモニタ7に画面イメージ108を表示し、操作パネル4に画面イメージ208を表示する。
画面イメージ108は、イメージ選択画面から選択された1つのイメージに基づき、異なるカラーパターンが施されたメイクアップ後のユーザの顔のイメージ画像と、イメージ画像のようにメイクアップする為の商品情報とを順次表示している例を表している。画面イメージ208は、イメージ選択画面から選択された1つのイメージの内容と、そのときモニタ7に表示されている画面イメージ108のイメージ画像のようにメイクアップする為の商品情報とを表示している例を表している。
なお、ユーザは操作パネル4を操作することによりプリントアウトを指示することもできる。ユーザからのプリントアウト指示を受け付けると、制御部8は画面イメージ109をモニタ7に表示し、画面イメージ209を操作パネル4に表示する。画面イメージ109は、プリントアウトするイメージ画像を表示している例を表している。画面イメージ209は、プリントアウト中のコメントを表示している例を表している。制御部8はプリンタ5を制御してモニタ7に表示されているイメージ画像をプリントアウトする。
また、ユーザは操作パネル4を操作することにより、メイクアップ前及び後のイメージ画像から成る比較画面の表示およびプリントアウトを指示することもできる。ユーザからの比較画面の表示指示を受け付けると、制御部8は画面イメージ110をモニタ7に表示する。画面イメージ110は、メイクアップ前及び後のイメージ画像から成る比較画面を表示している例を表している。比較画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部8はプリンタ5を制御してモニタ7に表示されている比較画面をプリントアウトする。
ユーザによるメイクアップシミュレーションが終了すると、制御部8はモニタ7及び操作パネル4にスクリーンセーバーである画面イメージ111及び210を表示して、処理を終了する。
なお、図12及び図13の例ではメイクアップシミュレーションにより4つのイメージを表示しているが、4つ以外のイメージを表示するものであってもよい。また、メイクアップシミュレーション装置1はカメラ2から出力された動画像に含まれるユーザの顔にメイクアップを施す例を示しているが、予め撮影した動画像を動画ファイルとして補助記憶装置13等に記憶しておき、その動画ファイルに含まれるユーザの顔にメイクアップを施すものであってもよい。
メイクアップシミュレーション装置1はカメラ2から出力された動画像をメイクアップシミュレーション以外に利用することもできる。図14はメイクアップシミュレーション装置が行なうメイクアップシミュレーション以外の処理を表すイメージ図である。
画面イメージ300は、カメラ2で撮影したユーザの顔の動画像を表示している例を表している。メイクアップシミュレーション装置1は動画像に含まれているユーザの顔を認識し、ユーザの顔の静止画301を切り出す。
メイクアップシミュレーション装置1は、顔立ち分析ロジックおよび肌分析ロジックにより静止画301の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ302をモニタ7に表示できる。なお、顔立ち分析ロジックおよび肌分析ロジックにより静止画301の顔立ち診断および肌色診断を行なう処理は、例えば特開2001−346627号公報に記載されている公知技術である。
また、メイクアップシミュレーション装置1は画面イメージ303のようなコース選択画面303をモニタ7に表示して、各コース(例えばトレンド、ベーシック、フリー)をユーザに選択させることもできる。メイクアップシミュレーション装置1は、ユーザにより選択されたコースに基づく画面イメージ304〜309をモニタ7に表示して、シミュレーション及びアドバイスを行なう。
画面イメージ304〜306は、各コースのシミュレーション画面を表示している例を表している。画面イメージ307〜309は、各コースのアドバイス画面を表示している例を表している。
例えばベーシックコースとは、顔立ち診断および肌色診断の結果に基づいて、最適なメイクアップテクニックをシミュレーション及びアドバイスするものである。また、トレンドコースとは最新のトレンドメイクアップのシミュレーション及びアドバイスするものである。また、フリーメイクアップコースとは目元,口元,ほお,眉,個々のパーツに対応したアイテムのシミュレーション及びアドバイスするものである。
シミュレーション画面又はアドバイス画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御部8はプリンタ5を制御してモニタ7に表示されているシミュレーション画面又はアドバイス画面をプリントアウトすることもできる。
次に、上記のようなメイクアップシミュレーション装置1を実現する為のメイクアップシミュレーションシステムの詳細について説明する。図15は、本発明によるメイクアップシミュレーションシステムの一実施例のシステム構成図である。
図15のメイクアップシミュレーションシステム20は、アナログカメラ21,USBキャプチャデバイス22,動画ファイル23,メイクアップカメラ24,静止画システム25,動画ファイル26,共有メモリ27,シミュレータメインアプリ28及びインターフェースアプリ29を含む構成である。
アナログカメラ21は撮影した例えばNTSC方式の動画像をUSBキャプチャデバイス22経由で出力する。USBキャプチャデバイス22から出力された動画像は、例えばAPI(application programming interface)の一例としてのDirectX31を利用してシミュレータメインアプリ28に入力される。また、動画ファイル23もDirectX31を利用してシミュレータメインアプリ28に入力される。
メイクアップカメラ24は撮影した動画像をシリアルインターフェースの一例としてのIEEE1394経由で出力する。メイクアップカメラ24から出力された動画像は専用API32を利用してシミュレータメインアプリ28に入力される。シミュレータメインアプリ28は専用API32を利用して入力された動画像から動画像用解像度の原画像と静止画用解像度の静止画像とを得る。
シミュレータメインアプリ28はDirectX31を利用して入力された動画像及び動画ファイル23と、専用API32を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、原画像に対してトリミング及び縮小処理を行う。
シミュレータメインアプリ28は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ28は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部33は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント34を、FFT(高速フーリエ変換)により得る。
メイクアップ処理部35は、トラッキングポイント34に基づき、メイクアップ前画像に含まれるユーザの顔に、ファンデーション,眉,シャドウ,口紅,チークから成るメイクアップを施してメイクアップ後画像を得る。メイクアップ処理部35は、ファンデーション処理部36,眉処理部37,シャドウ処理部38,口紅処理部39,チーク処理部40を含む構成である。
なお、メイクアップ処理部35はメイクアップ後画像のようにメイクアップする為の商品情報41をメイクアップ後画像に含ませることができる。動画サーバ42は、メイクアップ前画像およびメイクアップ後画像を共有メモリ27に書き込むと共に、メイクアップ前画像およびメイクアップ後画像を動画ファイル26として出力することもできる。
インターフェースアプリ29は、ActiveXコントローラ50及びActiveXビュアー51を利用する、動画コントロールオブジェクト52,動画表示オブジェクト53及びその他のコントローラ54を含む構成である。なお、インターフェースアプリ29とシミュレータメインアプリ28とはActiveX&Socketによる連携を図っている。
インターフェースアプリ29はActiveXビュアー51を利用して、供給メモリ27に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ7に表示することができる。
シミュレータメインアプリ28は、専用API32を利用して入力された動画像から得られた静止画用解像度の静止画像に対してトリミング及び縮小処理を行う。シミュレータメインアプリ28は静止画用解像度の静止画像に対してトリミングを行なう。さらに、シミュレータメインアプリ28は静止画用解像度の静止画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部43は、顔認識処理用画像からユーザの顔を認識する為の後述するようなトラッキングポイント44を得る。
シミュレータメインアプリ28はトラッキングポイント44に基づき、トリミングを行った動画像に含まれるユーザの顔から詳細部位を抽出し、その詳細部位から顔立ち診断および肌色診断に用いるタイプ、肌色等の追加情報を得て、トラッキングポイント44に追加情報を付加したトラッキングポイント45と、専用API32を利用して入力された動画像から得られた静止画用解像度の静止画像とを静止画システム25に出力する。
静止画システム25は、トラッキングポイント45を使用し、前述した顔立ち分析ロジックおよび肌分析ロジックにより静止画301の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ302をモニタ7に表示できる。その他、静止画システム25は画面イメージ303〜309をモニタ7に表示することもできる。
図16は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ400はメイクアップ前画像を表示した例を表している。画面イメージ401は顔認識処理用画像から得たトラッキングポイント34をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ402はトラッキングポイント34に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。
以下、シミュレータメインアプリ28が行なう処理のうち、顔認識処理,メイクアップ処理の詳細について図面を参照しつつ順番に説明していく。なお、本実施例では、メイクアップ処理の一例として、ファンデーション処理,眉処理,シャドウ処理,口紅処理及びチーク処理から成るメイクアップ処理を説明するが、他の組み合わせであってもよい。
(顔認識処理)
図17はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図18はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ28の顔認識処理部33は、図17のようなイメージ画像からユーザの顔を認識する為の図18のような45点のトラッキングポイント34を得る。図18のトラッキングポイント34は一例であって、制御部8の処理能力やモニタ7の精細度に応じて調整してもよい。
このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント34を得ることにより、メイクアップ処理部35はトラッキングポイント34と関連付けてメイクアップの施し方や色を図19のようなメイクアップ処理パラメータファイルに設定しておくことができる。
図19はメイクアップ処理パラメータファイルの一例の構成図である。図19のメイクアップ処理パラメータファイルは、目元,口元,チーク等ごとにトラッキングポイント34と関連付けてメイクアップの施し方や色が設定されているものである。
メイクアップ処理パラメータファイルはメイクアップパターン(イメージ)毎に設定されている。図19のメイクアップ処理パラメータファイルは、クラスエレガンスの例を表している。なお、上記した4つのメイクアップパターン(イメージ)は一例であって、他のメイクアップパターン(イメージ)であってもよい。
(口紅処理)
シミュレータメインアプリ28に含まれる口紅処理部39は図20に示すように唇8点及び鼻3点のトラッキングポイント34を参照し、口紅処理を行う。図20は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
図21は口紅処理を示す一例のフローチャートである。口紅処理は大別するとステップS10の前準備処理とステップS20の色塗り処理とで構成される。前準備処理は、ステップS11の切出し&回転処理,ステップS12の輪郭抽出用画像の作成処理,ステップS13の輪郭抽出処理,ステップS14のスプライン曲線生成処理,ステップS15の回転戻し処理,ステップS16の色塗りマップ生成処理とで構成される。色塗り処理は、ステップS21の色塗りマップに基づく色塗り処理,ステップS22のデバック&デザイン用描画処理とで構成される。
ステップS11の切出し&回転処理に進み、口紅処理部39は、顔認識処理用画像からユーザの顔の唇を含む部分画像500を切り出し、その部分画像500を処理用の姿勢に回転させて部分画像501を得る。
ステップS12の輪郭抽出用画像の作成処理に進み、口紅処理部39は部分画像501から輪郭抽出用画像を作成する。ステップS13の輪郭抽出処理に進み、口紅処理部39は輪郭抽出用画像から唇の輪郭を部分画像502に示すようにポイントで抽出する。
図22は輪郭抽出処理を表す一例のイメージ図である。輪郭抽出用画像600は唇8点及び鼻3点のトラッキングポイントが重ねて表示されている。口紅処理部39は、唇8点及び鼻3点のトラッキングポイントを元に再探索して輪郭抽出用画像601のポイントを抽出する。
図23は輪郭抽出用画像600の唇8点及び鼻3点のトラッキングポイントと、唇8点及び鼻3点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像601のポイントとの比較画面である。なお、上記再探索が不調な場合は輪郭抽出用画像600の唇8点及び鼻3点のトラッキングポイントから算出した図24のようなデフォルトポイントを採用する。
図24は唇8点及び鼻3点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。口紅処理部39は鼻の3点のトラッキングポイントを参照し、上唇5点に対してデフォルトポイントを求める。
ステップS14のスプライン曲線生成処理に進み、口紅処理部39は輪郭抽出用画像601のポイント又は図24のようなデフォルトポイントを2次スプラインで補間し、図25に示すような輪郭を完成させる。図25は、ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。部分画像503のように唇の輪郭が完成すると、口紅処理部39はステップS15に進み、ステップS11の切出し&回転処理で行った回転を元に戻す回転戻し処理を行なう。
ステップS16の色塗りマップ生成処理に進み、口紅処理部39は部分画像700の明度および彩度から色塗りの強さを決める色塗りマップを生成する。図26は色塗りマップ生成処理を表した一例のイメージ図である。具体的に、口紅処理部39は明度および彩度から色塗りの強さを表すグレースケール画像701を生成する。口紅処理部39は、ステップS14のスプライン曲線生成処理で完成させた唇の輪郭で囲まれた部分画像702のみを色塗りマップ504としてグレースケール画像701から切り出す。
ステップS21の色塗りマップに基づく色塗り処理に進み、口紅処理部39はステップS16の色塗りマップ生成処理で生成した色塗りマップ504と、図19のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行なう。
図27は色塗りマップに基づく色塗り処理を表した一例のイメージ図である。口紅処理部39は図19のようなメイクアップ処理パラメータファイル801に設定されているメイクアップの施し方や指定色と、ステップS16の色塗りマップ生成処理で生成した色塗りマップ802とに基づいて、メイクアップ前画像803に対して着色を行い、メイクアップ後画像804を得る。
そして、ステップS22のデバック&デザイン用描画処理に進み、口紅処理部39はデバック&デザイン用描画の処理を行ったあと、口紅処理を終了する。
(シャドウ処理)
シミュレータメインアプリ28に含まれるシャドウ処理部38は図28に示すように左右別に目3点及び眉1点のトラッキングポイント34を参照し、シャドウ処理を行う。図28はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
図29はシャドウ処理を示す一例のフローチャートである。シャドウ処理は大別するとステップS30の前準備処理とステップS40の色塗り処理とで構成される。前準備処理は、ステップS31の基本輪郭の生成処理で構成される。
色塗り処理は、色塗りパターン分繰り返し行なう、ステップS41の色塗り輪郭の生成処理,ステップS42の色塗り中心の生成処理,ステップS43の色塗りマップの生成処理,ステップS44の色塗りマップに基づく色塗り処理,ステップS45のデバック&デザイン用描画処理とで構成される。
ステップS31の基本輪郭の生成処理に進み、シャドウ処理部38は、顔認識処理用画像からユーザの顔の目の形状を部分画像900のように得る。図30は、基本輪郭の生成処理を表す一例のイメージ図である。
シャドウ処理部38は色塗り輪郭の基本となる輪郭を生成するため、部分画像1001に示すように、目の中心から上下方向を探索して目の輪郭(上辺境界&下辺境界)を2点認識する。シャドウ処理部38は、認識した目の輪郭2点,目尻及び目頭の4点に、スプライン補間で生成した4点を追加して、計8点によるポリゴンを部分画像1002のように生成する。
ステップS41の色塗り輪郭の生成処理に進み、シャドウ処理部38は色塗り輪郭を部分画像901のように生成する。図31は色塗り輪郭の生成処理を表す一例のイメージ図である。シャドウ処理部38は色塗り輪郭を生成するため、部分画像1101に示すように、目尻及び目頭を基準に色塗り輪郭を生成する。なお、輪郭の拡張、頂点のシフト等についてはGUIでパラメータ指定するようにしてもよい。
ステップS42の色塗り中心の生成処理に進み、シャドウ処理部38は色塗り中心位置を部分画像902の「●」ように生成する。ステップS43の色塗りマップの生成処理に進み、シャドウ処理部38は部分画像903のように、色塗りの強さを決める色塗りマップを生成する。
具体的に、色塗りマップ生成処理は色塗り中心からポリゴンの辺までの距離に対応して塗りの強さを決定する。例えばシャドウ処理部38は辺に近いほど塗りの強さを弱めるように色塗りマップを決定する。なお、色塗りマップ生成処理は色塗り輪郭から基本輪郭を除いた部分を対象としている。
シャドウ処理部38は生成した色塗りマップに対し、図32に示すように、ぼかし処理を掛けることで更に滑らかなグラデーションを生成する。図32は、ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
ステップS44の色塗りマップに基づく色塗り処理に進み、シャドウ処理部38はステップS43の色塗りマップの生成処理で生成した色塗りマップ903と、図19のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
そして、ステップS45のデバック&デザイン用描画処理に進み、シャドウ処理部38はデバック&デザイン用描画の処理を行ったあと、シャドウ処理を終了する。なお、シャドウ処理部38はステップS41〜S45の処理を色塗りパターン分だけ繰り返し行なうことで、多色塗りを実現することもできる。
(チーク処理)
シミュレータメインアプリ28に含まれるチーク処理部40は図33に示すように目尻&口角(左右別)、眼間&鼻中心(スタビライズ用)のトラッキングポイント34を参照して、チーク処理を行う。図33はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
図34はチーク処理を示す一例のフローチャートである。チーク処理は、ステップS50の色塗り輪郭の生成処理,ステップS51の色塗り処理,ステップS52のデバック&デザイン用描画処理とで構成される。
ステップS50の色塗り輪郭の生成処理に進み、チーク処理部40は色塗り輪郭を生成するため、目尻及び口角を基準に色塗り輪郭として輪郭ポリゴンを生成する。図35は色塗り輪郭を表した一例のイメージ図である。なお、輪郭ポリゴンの点数,大きさ,形状または位置等はGUIでパラメータ指定するようにしてもよい。
ステップS51の色塗り処理に進み、チーク処理部40は色塗り中心から輪郭ポリゴンの辺までの距離に対応して塗りの強さを決定する。なお、塗りの強さの決定に処理コストが掛かりすぎる場合は、解像度(GUIでパラメータ指定)を落として(モザイク状に間引きして)塗りの強さを決定してもよい。チーク処理部40は決定した塗りの強さと、図19のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
そして、ステップS52のデバック&デザイン用描画処理に進み、チーク処理部40はデバック&デザイン用描画の処理を行ったあと、チーク処理を終了する。
(眉処理)
シミュレータメインアプリ28に含まれる眉処理部37は図36に示すように左右別に目尻,目中心および眉2点のトラッキングポイント34を参照し、眉処理を行う。図36は眉処理により参照されるトラッキングポイントを示すイメージ図である。
図37は眉処理を示す一例のフローチャートである。眉処理は大別するとステップS60の眉輪郭抽出処理,ステップS70の元眉領域の消去処理,ステップS80の眉形状の変形処理,ステップS90の変形眉の貼付け処理で構成される。
元眉領域の消去処理は、ステップS71の領域の膨張処理,ステップS72の眉の消去処理で構成される。眉形状の変形処理は、ステップS81の変形指定に対応した指示曲線の作成処理,ステップS82の変形眉の生成処理で構成される。
ステップS60の眉輪郭抽出処理に進み、眉処理部37は顔認識処理用画像からユーザの顔の眉の形状を部分画像2001のように得る。図38は、眉輪郭抽出処理を表す一例のイメージ図である。眉処理部37は眉の輪郭を抽出するため、部分画像2101に示すように、眉尻(実際には眉の中心付近)を中心に左右に眉を探索する。眉処理部37は部分画像2102に示すように、探索結果から眉の輪郭形状を認識する。
ステップS71の領域の膨張処理に進み、眉処理部37は認識した眉の輪郭形状を表す領域を膨張させる。ステップS72の眉の消去処理に進み、眉処理部37は膨張させた領域を付近の肌色を使って塗りつぶすことで眉を消去する。また、眉処理部37は膨張させた領域の境界部分に、なじませる処理を施す。
ステップS81の変形指定に対応した指示曲線の作成処理に進み、眉処理部37は認識した眉の輪郭形状を表す領域(スケルトン)を指定に従って変形させる。図39は変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
眉処理部37は、部分画像2201に示すように、認識した眉の輪郭形状を表す領域を横方向の軸線と縦方向の複数のタンザクから成るスケルトン2202に置き換え、軸線の形状とタンザクの高さを変えることで、例えばスケルトン2203のように変形処理を施すことができる。
ステップS82の変形眉の生成処理に進み、眉処理部37はスケルトン2203から変形眉を生成する。ステップS90の変形眉の貼付け処理に進み、眉処理部37は変形眉をメイクアップ前画像に対して貼付けて、メイクアップ後画像を得る。
(ファンデーション処理)
シミュレータメインアプリ28に含まれるファンデーション処理部36は図40に示すように左右別に目尻,目頭および眉1点、眼間および鼻中心のトラッキングポイント34を参照し、ファンデーション処理を行う。図40はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
図41はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップS101の輪郭の生成処理,ステップS102の対象画像へのぼかし処理,ステップS103の画像の貼り付け処理で構成される。なお、ステップS101〜S103の処理は対象エリア分、繰り返し行われる。
ステップS101の輪郭の生成処理に進み、ファンデーション処理部36は図42のイメージ画像に示すように、額,鼻,頬(左右)の3種類(4箇所)の輪郭を生成する。図42は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ,位置等はGUIでパラメータ指定するようにしてもよい。
ステップS102の対象画像へのぼかし処理に進み、ファンデーション処理部36は生成した輪郭に対応する対象画像へのぼかし処理を図43のように行なう。図43は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部36は肌の細かい荒れ等を平滑化することができる。
ステップS103の画像の貼り付け処理に進み、ファンデーション処理部36は、ぼかし処理後の対象画像をメイクアップ前画像の額,鼻,頬(左右)の3種類(4箇所)の輪郭に貼り付け、メイクアップ後画像を得る。
実施例2では、口紅処理,シャドウ処理,チーク処理,眉処理,ファンデーション処理の他の例について説明していく。
(口紅処理)
シミュレータメインアプリ28に含まれる口紅処理部39は以下のようにトラッキングポイント34を参照し、口紅処理を行う。
図44及び図45は、口紅処理(リップペン描画処理)の一実施例のフローチャートである。図45において、先ず、ステップS301で口を囲む矩形領域の顔画像を取得すると共に、口の輪郭データを取得する。この口の輪郭データは、トラッキングポイント(特徴点)34によって得られたものである。
次のステップS302ではユーザが選択したメイクアップパターンに応じて曲線描画区間と直線描画区間とを設定する。図46は、口を囲む矩形領域の顔画像の一例のイメージ図である。
この図では、口(上唇)の上端M2,M4、口の左右端M1,M5、口(下唇)の下端M6、それぞれの特徴点(トラッキングポイント)の他に、口(下唇)の下縁における左端M1から口幅(M1,M5間距離)の1/3の距離にある点M7と、口(下唇)の下縁における右端M5から口幅(M1,M5間距離)の1/3の距離にある点M8とを示している。
選択されたメイクアップパターンがフレッシュの場合、口紅処理部39は区間M1〜M2、区間M4〜M5それぞれを曲線で描画し、区間M2〜M3、区間M3〜M4それぞれを直線で描画する。これによって、図47(A)の描画イメージに示すように、上唇に丸みを持たせるリップペン描画が行われ、下唇についてはリップペン描画を行われない。
選択されたメイクアップパターンがスイートの場合、口紅処理部39は、区間M1〜M2、区間M4〜M5、区間M1〜M6〜M5それぞれを曲線で描画し、区間M2〜M3、区間M3〜M4それぞれを直線で描画する。これによって、図47(B)の描画イメージに示すように、上唇及び下唇に丸みを持たせるリップペン描画が行われる。
選択されたメイクアップパターンがキュートの場合、口紅処理部39は、区間M1〜M7、区間M7〜M8、区間M8〜M5それぞれを直線で描画する。これによって、図47(C)の描画イメージに示すように、下唇を直線的にするリップペン描画が行われ、上唇についてはリップペン描画を行われない。
選択されたメイクアップパターンがクールの場合、口紅処理部39は区間M2〜M4を曲線で描画し、区間M1〜M2、区間M4〜M5、区間M1〜M7、区間M7〜M8、区間M8〜M5それぞれを直線で描画する。これによって、図47(D)の描画イメージに示すように、上唇及び下唇を直線的にするリップペン描画が行われる。
次のステップS303のループ処理で口紅処理部39は、x座標値を0(口の左端M1位置)から画素単位で最大値(口の右端M5位置)まで順次増加させる。なお、x座標は図46に示す口を囲む矩形領域において右側に増加し、y座標は上側に増加するものとする。このループ内のステップS304で口紅処理部39は曲線描画区間か否かを判別し、曲線描画区間でなければ、ステップS303に戻りx座標値を増加させる。
曲線描画区間であれば、ステップS305に進み、口紅処理部39は図48に示すオフセット曲線をx座標値で参照して、当該x座標に対するオフセット値を求める。この図48に示すオフセットは上唇の上縁を上に(鼻側に)持ち上げて口を大きく見せるために用いられ、下唇の下縁についてはオフセット値=0とされている。
次に、口紅処理部39はステップS306のループ処理を行う。ここでは、口紅処理部39が、y座標値を、口の輪郭データのy座標+オフセット値−βから口の輪郭データのy座標+オフセット値+βまで、画素単位で順次増加させて、以下の処理を行う。このβは、リップペンのペン幅の1/2(例えば数mmに相当)である。
ステップS306のループ内のステップS307では、口紅処理部39が当該xy座標に対応する画素のRGB値から所定の演算式を用いて彩度(S),色相(H),明度(V)それぞれを算出する。
そして、ステップS308で、口紅処理部39が口の輪郭データのy座標と当該y座標との差(最大でオフセット値+β)に基づいて、リップペンの色のHSV値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップS307で得た当該xy座標に対応する画素のHSV値に加算する。
この後、口紅処理部39はステップS309で上記当該xy座標に対応する画素のHSV値をRGB値に変換し、ステップS310でこのRGB値を用いて当該xy座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
なお、このステップS306は図47(A)の描画イメージでは曲線描画区間が上唇の上縁だけであるため1回しか実行されないが、図47(B)の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため2回実行される。下唇の下縁を描画する際には図48のオフセット値は負の値として取り扱う。ステップS303のループ処理を終了すると、口紅処理部39はステップS311に進んで各直線描画区間の直線の関数を求める。次のステップS312のループ処理で口紅処理部39はx座標値を0(口の左端M1位置)から画素単位で最大値(口の右端M5位置)まで順次増加させる。
このループ内のステップS313で口紅処理部39は直線描画区間か否かを判別し、直線描画区間でなければ、ステップS312に戻りx座標値を増加させる。直線描画区間であれば、ステップS314に進み、口紅処理部39は直線の関数を用いて、当該x座標に対応する直線のy座標Y(L)を求める。
次に、口紅処理部39はステップS315のループ処理を行う。ここでは口紅処理部39がy座標値を、Y(L)−βからY(L)+βまで、画素単位で順次増加させて、以下の処理を行う。このβはリップペンのペン幅の1/2(例えば数mmに相当)である。
ステップS315のループ内のステップS316では、口紅処理部39が当該xy座標に対応する画素のRGB値から所定の演算式を用いて彩度(S),色相(H),明度(V)それぞれを算出する。そして、ステップS317で、口紅処理部39はY(L)と当該y座標との差(最大でβ)に基づいて、リップペンの色のHSV値を上記差に比例して薄くなるように補正してグラデュエーションをつけた後、ステップS316で得た当該xy座標に対応する画素のHSV値に加算する。
この後、口紅処理部39はステップS318で上記当該xy座標に対応する画素のHSV値をRGB値に変換し、ステップS319でこのRGB値を用いて当該xy座標に対応する画素を上書きして更新することによりリップペンの描画を行う。
なお、このステップS315は図47(C)の描画イメージでは曲線描画区間が上唇の上縁だけであるため1回しか実行されないが、図47(D)の描画イメージでは曲線描画区間が上唇の上縁と下唇の下縁とがあるため2回実行される。ステップS312のループ処理を終了すると、口紅処理部39は口紅処理を終了する。
このように、口紅処理部39は複数のメイクアップパターンから所望のタイプが選択されると、選択されたメイクアップパターンに応じてリップペンで描画(色塗り処理)する形状を設定し、設定された形状でリップペンによる描画を行うため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて口の輪郭近傍をリップペンで描画して表示することができる。
また、口紅処理部39は口の輪郭からの縦方向距離が大なるほどリップペンの色を薄くするグラデュエーションをつけるため、描画したリップペンの色が顔画像の肌色となじんで違和感のないリップペンの色を表示できる。
シミュレータメインアプリ28に含まれる口紅処理部39はトラッキングポイント34から以下のようなポイントを算出し、そのポイントを参照して実施例1又は2の口紅処理を行うようにしてもよい。
唇の形態的特徴を把握するために予め設定した複数のポイントの位置は、トラッキングポイント34から算出できる。図49は唇の形態的特徴を把握するために予め設定した複数のポイントの位置を表した一例のイメージ図である。図49は以下の14ポイントを表している。
図49に示す14ポイントは、鼻の両側の位置(2ポイント)、鼻孔の中心位置(2ポイント)、上唇の山の位置(2ポイント)、上唇の谷の位置、唇の中心位置、口角の位置(2ポイント)、下唇の下端中心位置、あごの中心位置、あごの両側位置(2ポイント)の14ポイントである。尚、このポイントの位置と数は特に限定されるものではなく、唇の形態的特徴を把握することが出来、且、化粧情報を作成するのに好適であれば、位置や数は適宜変更することが出来る。
口紅処理部39は、14ポイントの位置により分析された平面的な特徴を次の5項目について判定し、対象者の唇全体のバランスを把握する。口紅処理部39は把握された対象者の唇全体のバランスを、基準とする最適なバランスと対比してその差異を測定し、基準と相違する部分を修正する。なお、基準とする唇のバランスは、美しいと評価される唇のプロポーションに依拠している。
唇の形態のバランスを判定する5項目は、口角の位置、上唇の位置、下唇の位置、上唇の山の位置、上唇の山と谷の角度である。最適なバランスにおける5項目の基準は、口角の位置は黒目の内側を下に下ろした位置、上唇の位置は鼻下から唇の中心位置までの距離の1/3の位置、下唇の位置はあごの中心位置から唇の中心位置までの距離の1/3の位置、上唇の山の位置は鼻孔の中心を下ろした位置、上唇の山と谷の角度は山から谷に向かって10度下げる角度を基準とする。
かかる最適な唇の基準バランスに従って、口紅処理部39は化粧対象唇のバランスを対比して両者の相違を把握し、対象唇を基準バランスに修正する。ここでは修正の手法を説明する。先ず、口紅処理部39は唇の中心から水平線を引き、口角の位置が水平線より上にあるか下にあるかを測定する。口角の位置が水平線より上にある場合、口紅処理部39は修正を特に行わない。下にある場合、唇に締まりがなく、だらしなく見えるので、口紅処理部39は2mmを限度として口角の位置を上方に修正する様に、補正化粧を施す。
なお、調整限度を2mmとする理由は、調整の結果が不自然となるのを回避するためである。例えば、美容コンサルタントが店頭等で顧客に唇のメーキャップについてアドバイスを行い、標準の唇に近づけるメーキャップ法を提案する場合は、約2mm程度の範囲内で変化させているのが通常である。このように、修正範囲が2mmを越えると、修正の幅が大きくなり過ぎて、化粧が不自然となるため好ましくない。尚、当初の口角のポイント位置がずれている場合、最適バランスのポイントもずれてしまうので、口角のポイントをマニュアルで調整する。この修正の範囲2mmは、他の部分についても同様とする。
次に、口紅処理部39は上唇の山と谷の形状を修正する。口紅処理部39は上唇の山の位置を鼻下から唇の中心位置までの距離の1/3の位置と鼻孔の中心から下ろした位置の基準に基づいて割り出して位置を設定し、該割り出された位置に上唇の山が来るように化粧のポイントを画面上に設定する。
次に、口紅処理部39は上唇の谷の位置を山から谷に向かって10度下げる角度を基準に基づいて設定する。この角度は、例えば10〜15度の範囲とするが、例えば10度を予め設定しておく。しかしながら、この角度は10度に限定されるものでなく、10〜15度の範囲に任意に設定可能である。
次に、口紅処理部39は唇の中心線からあごの中心位置までの距離の1/3の位置に下唇の位置を設定し、更に下あごのラインを中心位置とその両側の3点のポイント位置を円弧で連結して描き、該下あごの円弧形状と相似形に下唇のラインを描く。この下あごのラインの描写は、コンピュータの画面上において基本のフォルムを下あごのラインに倣って変形させることにより、自動的に描くことが可能である。
このようにして、口紅処理部39は、対象者の唇全体のバランスについて、5項目の基準に基づいて最適なバランスと対比してその差異を把握し、最適なバランスに修正するためのラインを求めることができる。
(シャドウ処理)
シミュレータメインアプリ28に含まれるシャドウ処理部38は以下のようにトラッキングポイント34を参照し、シャドウ処理を行う。なお、シャドウ処理は、アイライン検索処理,アイライン描画処理,アイシャドウ塗布処理の順番に実行される。
図50は、アイライン検索処理の一実施例のフローチャートである。同図中、先ず、ステップS401で目及び眉を囲む矩形領域の顔画像を取得し、ステップS402で2値画像を保持する領域をメモリ装置11等に確保する。次のステップS403のループ処理で閾値THを最低値から所定値の増分で最大値まで順次増加させ、ループ内のステップS404で閾値THを用いて目及び眉を囲む矩形領域の顔画像の2値化を行う。このように閾値THを可変して2値化を行うのは、アイラインを正確に検出するためである。
次のステップS405では2値化で得たエッジ画像について、メディアンフィルタ処理を行ってノイズを除去する。これはまつげ等で発生するノイズを除去するために行っている。そして、ステップS406でエッジ画像について、目幅方向(矩形領域におけるy方向)に連続して延在する複数のエッジ画素、即ち輪郭線形成画素があるか否かを判別する。上記輪郭線形成画素がなければ閾値THを所定値の増分だけ増加させてステップS404に戻る。上記輪郭線形成画素があればステップS407に進む。
ステップS407では、上記の2値画像から輪郭線を抽出する。次に、シャドウ処理部38は、ステップS408で抽出した輪郭線における不連続の箇所を直線補間(または曲線補間)し、更にステップS409で補間後の輪郭線についてメディアンフィルタ処理を行ってノイズを除去し、この処理を終了する。
図51はアイライン描画処理の一実施例のフローチャートである。この処理は、目頭EL4,ER4と目尻EL1,ER1を結ぶ上瞼の輪郭線から上側(眉側)の上瞼の領域について行われる。
同図中、先ず、ステップS410でアイライン描画パターンを設定する。このアイライン描画パターンは、メイクアップパターンとしてクールが選択された場合、図52に示すように、上瞼の目頭から目尻までの幅のアイラインであり、斜線を付した領域Iaでx方向目尻側にアイラインのぼかしを行うアイライン描画パターンが設定される。
また、メイクアップパターンとしてフレッシュが選択された場合には、図53に示すように、上瞼の中央(目頭と目尻との中間点)から目尻までの幅のアイラインであり、斜線を付した領域Ibでx方向目尻側にアイラインのぼかしを行うアイライン描画パターンが設定される。
また、メイクアップパターンとしてスイートが選択された場合には、図54に示すように、上瞼の目頭から目尻までの幅のアイラインであり、アイラインのぼかしを行わないアイライン描画パターンが設定される。
更に、メイクアップパターンとしてキュートが選択された場合には、図55に示すように、上瞼の目頭から目尻までの幅のアイラインであり、斜線を付した領域Idでy方向眉側にアイラインのぼかしを行うアイライン描画パターンが設定される。
上記のメイクアップパターンに対応したアイライン描画パターンは、アイラインの選択ボックスにタッチしない場合のデフォルト値であり、アイラインの選択ボックスにタッチしたとき表示される4つのアイライン描画パターンから所望のパターンを選択することも可能である。
次に、ステップS411のループ処理でx座標値を0(目頭位置)から画素単位で最大値(目尻位置)まで順次増加させる。このループ内で各x座標値毎にステップS412のループ処理を行う。ここでは、y座標値を0(輪郭線のy座標)から画素単位で最大値(目の高さ幅:上瞼と下瞼の最大離間距離)まで順次増加させて、以下の処理を行う。
ステップS413では、上記のx座標及びy座標で指示される画素の明度を計算し、ステップS414で、この画素の明度がアイラインの明度と同一か否かを判別する。ここで同一でない場合は、y座標値を増加させてステップS413に戻る。
この画素の明度がアイラインの明度と同一の場合には、ステップS415に進み、この画素の明度を現在の明度より所定値だけ低下させる。これによって、輪郭線上の画素の明度が低下して濃くなり、結果的にアイラインを目立たせることができる。この後、ステップS416でx座標及びy座標から、図52の領域Iaであるか(スイートの場合)または図53の領域Ibであるか(クールの場合)を判別し、上記の領域Ia,Ibの場合にはステップS417でx方向目尻側にアイラインのぼかしを行う。
更に、ステップS418でx座標及びy座標から、図55の領域Idであるか(フレッシュの場合)を判別し、上記の領域Idの場合にはステップS419でy方向眉側にアイラインのぼかしを行う。この後、上記のステップS411,S412のループ処理が終了すると、シャドウ処理部38はアイライン検索処理を終了する。
図56はアイシャドウ塗布処理の一実施例のフローチャートである。同図中、先ず、ステップS430でアイシャドウ塗布領域を設定する。ここでは、図57に示す、上瞼の輪郭線から眉の輪郭線までのy方向の最大距離Ymaxを求め、最大塗布サイズMy=Ymax/αを求める。なお、メイクアップパターンがスイートまたはキュートの場合はα=2であり、クールの場合はα=3、フレッシュの場合はα=6である。
更に、図58(A),(B)に示す曲線を用いて、メイクアップパターン毎にアイシャドウ塗布領域の上限(眉側)を求める。この際に、上記の最大塗布サイズMyを使用する。ここで、スイートまたはクールまたはキュートの場合は図58(A)に示す目頭から目尻に至る曲線を用い、フレッシュの場合は図58(B)に示す目頭より所定長だけ離れた上瞼の輪郭線上の一点から目尻に至る曲線を用いる。また、アイシャドウ塗布領域の下限は上瞼の輪郭線とする。
また、ステップS431で開始点の移動軌跡を設定し、ステップS432でアイシャドウ塗布の開始点における塗布サイズを設定する。図59は、図58(A)に対応するアイシャドウ塗布領域を示しているが、アイシャドウ塗布領域の下限(上瞼の輪郭線)の略中央位置P0をアイシャドウ塗布の開始点とする。また、開始点を中心としアイシャドウ塗布領域の上限に接する円の半径を塗布サイズとし、更に、アイシャドウ塗布領域の下限に重ねて示す矢印A1及びA2を開始点の移動軌跡としている。
次に、ステップS433でユーザの肌色データと選択されたアイシャドウの色から所定の演算式を用いて開始点におけるアイシャドウの濃度を演算し、得られたアイシャドウの色を開始点に塗布する。そして、ステップS434で開始点を中心とし、塗布サイズを半径とする円内で、開始点に塗布されたアイシャドウの色の濃度を開始点からの距離に比例して薄くする(ぼかす)エアブラシ処理を行い、これにより得られた各画素位置の濃度のアイシャドウの色を、その位置の画素の肌色に加算することによりアイシャドウを肌に重ねた各画素の色を求め、これで各画素の色を更新する。
なお、上記のエアブラシ処理では、アイシャドウ塗布領域における塗布サイズを半径とする円内のみが処理対象であり、アイシャドウ塗布領域の下限より下の半円部分では処理がなされない。また、エアブラシ処理における中心からの距離と濃度との関係は、メイクアップパターンがキュート又はフレッシュの場合は図60(A)に示すように中心からの距離に比例して濃度が薄くなる特性を用い、スイート又はクールの場合は図60(B)に示すように中心からの距離が小さいときに濃度の薄くなる度合いが大きく、中心からの距離が大きいときに濃度の薄くなる度合いが小さい特性を用いる。
この後、ステップS435では、矢印A1,A2で示す開始点の移動軌跡に従って、開始点を所定距離だけ移動する。なお、開始点は、位置P0から矢印A1方向に所定距離だけ移動することを繰り返して、移動した開始点がアイシャドウ塗布の領域外となると、位置P0に戻って矢印A2方向に所定距離だけ移動する。この移動距離は例えば塗布サイズの数10パーセントである。
更に、ステップS436で新たな塗布サイズを計算する。新たな塗布サイズは、開始点が位置P0から矢印A1,A2方向に移動するにつれて、数パーセントから数10パーセントの割合で減少する。
次にステップS437でアイシャドウ塗布の終点か否かを判別し、終点でない場合は上記のステップS433からS436を繰り返し、終点であればシャドウ処理部38はアイシャドウ塗布処理を終了する。アイシャドウ塗布の終点の判定は、開始点が矢印A2方向に移動してアイシャドウ塗布の領域外となったときアイシャドウ塗布の終点とする。
このように、複数のメイクアップパターンから所望のタイプを選択すると、選択されたメイクアップパターンに応じて顔画像の目元部分におけるアイシャドウを塗布する領域を設定し、アイシャドウを塗布する領域の顔画像の色に、アイシャドウの色を重ねることによりアイシャドウを塗布する為、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の目元部分にアイシャドウを塗布して表示できる。
また、目の輪郭を検出して検出された目の輪郭及びその近傍を、選択されたメイクアップパターンに応じて描画するため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の目元部分にアイラインを描画して表示することができる。
また、アイシャドウを塗布する領域内の塗布の開始点から離間するほどアイシャドウの濃度を低下させてぼかしているため、塗布したアイシャドウが顔画像の肌色となじんで違和感のないアイシャドウを表示でき、アイシャドウを塗布する領域内で塗布の開始点を順次移動させるため、顔画像におけるアイシャドウを塗布する領域の形状に拘わらず、塗布したアイシャドウが顔画像の肌色となじんで違和感のないアイシャドウを表示できる。
シミュレータメインアプリ28に含まれるシャドウ処理部38は分類され把握された被化粧対象者の目の形態を、標準バランスの目の形態と対比して、標準バランスの目の形態に近づけて、目を大きく見せるとともに均整を整えて魅力的に見せるアイメーキャップを行うようにしてもよい。
目の形態特徴は、眼裂の形状を示すフレーム軸、目の凹凸形状を示すフォルム軸、目の角度形態を示す角度軸及び標準バランスの目の形態の4つの要素を指標として、分類することができる。フレーム形態は、まつげの生え際を目安とする上下まぶたによってできる眼裂の輪郭形状である。フレーム軸は眼裂の上下径と左右径の比率に従って軸上に配列したものである。フレーム軸は例えば垂直軸として設けられる。後述する標準バランスの目の形態はフレーム軸の中央に配置される。フレーム軸の一方、すなわち上側には、眼裂の上下径と左右径の比率を1:3とする標準バランスの目よりも、上下径が長く、左右径が短い目の形態を配置される。軸の他方、すなわち下側には、上下径が短く、左右径が長い目の形態を配置される。
また、目の凹凸形状をしめすフォルム形態は、例えば瞼溝と上下まぶたの隆起の凹凸形状によって把握する。フォルム軸は前記フレーム軸と直交する水平方向の軸として構成される。フォルム軸の中心には標準バランスの目の形態が配置される。フォルム軸の一方、すなわち左側には、標準バランスの目の形態よりも、上まぶたの隆起が平面的(一重や奥二重に一般的なまぶたの肉付きのよい隆起形状)で、下まぶたの肉付きは薄く、眼球の曲面は目立たたない目の形態が配置される。軸の他方、すなわち右側には、上まぶたの隆起が立体的(二重や三重に一般的に見られる彫りの深い状態。眉弓骨との眼窩の境界に窪みがあり、眼球の隆起が顕著に見られる)で、下まぶたは、眼球の顕著な曲面が現れ、又は眼窩脂肪のふくらみにより立体的である目の形態が配置される。
また、目の角度形態は、目頭を通る水平線と、目頭と目尻を結ぶ対角線のなす角度とするものである。標準バランスの目の角度形態は、9度より大きく11度より小さい角度であり、最も好ましくは10度の角度である。シャドウ処理部38は、この標準バランスの目の角度形態を基準として、角度が9度より大きく11度より小さければ標準、9度以下であれば目尻下降、11度以上であれば目尻上昇と判断する。目の角度形態の上下を示す角度軸は、前記フレーム軸、フォルム軸を平面に投影したとき、二つの軸で区切られる4つの象限内に個別に存在するように表現される。
標準バランスの目の形態の特徴は図61に示すように、a.眼裂の上下径(虹彩の中心を通る垂線)と左右径の比率が1:3のフレーム形態を有し、b.顔を側面から見たときの上下まぶたの形状には顕著な凹凸がなく、眉弓骨(眉の生えている部分の下にあるやや隆起した骨)から、ほお骨にかけての曲線がなだらかであるフォルム形態を有し、c.目頭を通る水平線と、目頭と目尻を結ぶ直線がなす角度が10度であり、d.瞼溝は二重と奥二重の中間的形状を示し、目頭側の溝は狭く、目尻側の溝は目頭側より広く、e.眼裂の上下径の幅と眼裂の上縁から眉までの幅が、1対1のバランスのフォルム形態を有している。図61は標準バランスの目の形態を示す正面図である。
(チーク処理)
シミュレータメインアプリ28に含まれるチーク処理部40は以下のようにトラッキングポイント34を参照し、チーク処理を行う。
図62は頬紅塗布処理(チーク処理)の一実施例のフローチャートである。同図中、先ず、ステップS501で頬紅塗布の領域及び開始点を設定し、ステップS502で開始点の移動軌跡を設定し、ステップS503で頬紅塗布の開始点における塗布サイズを設定する。上記のステップS501〜503は、ユーザが選択したメイクアップパターンによって処理が異なる。
メイクアップパターンがスイートの場合、図63に示すように、顔領域内で、目尻EL1,ER1の特徴点のy座標をy1とし、鼻の左右端N1,N3の特徴点のy座標をy2とし、口の左右端M1,M5の特徴点のy座標をy3とし、目頭EL4,ER4の特徴点のx座標をx1とし、目尻EL1,ER1の特徴点のx座標をx3としたとき、y座標が(y1+y2)/2から(y2+y3)/2までの範囲で、かつ、x座標がx1からx3間での範囲を頬紅塗布の領域とし、この領域の略中心の位置P0を頬紅塗布の開始点とする。また、この領域の縦幅の1/2を塗布サイズとし、更に矢印A1及びA2を開始点の移動軌跡として設定する。
メイクアップパターンがクールの場合、図64に示すように、顔領域内で、目尻EL1,ER1の特徴点のy座標をy1とし、口の左右端M1,M5の特徴点のy座標をy3とし、瞳PL,PRの特徴点のx座標をx2とし、目尻EL1,ER1の特徴点のx座標をx2とし、目尻EL1,ER1と同一y座標の顔の輪郭上の特徴点F6,F7のx座標をx4としたとき、点(x2,y3)と点(x4,y1)とを結ぶ直線と、y=y3の直線と、顔の輪郭で囲まれる範囲を頬紅塗布の領域とし、この領域内の位置P0を頬紅塗布の開始点とする。また、位置P0を中心として頬紅塗布領域に内接する円の半径を塗布サイズと設定し、矢印A1及びA2を開始点の移動軌跡として設定する。
メイクアップパターンがキュートの場合、図65に示すように、顔領域内で、目尻EL1,ER1の特徴点のy座標をy1とし、鼻の左右端N1,N3の特徴点のy座標をy2とし、口の左右端M1,M5の特徴点のy座標をy3とし、瞳PL,PRの特徴点のx座標をx2とし、目尻EL1,ER1の特徴点のx座標をx2とし、目尻EL1,ER1と同一y座標の顔の輪郭上の特徴点F6,F7のx座標をx4とし、口の左右端M1,M5と同一y座標の顔の輪郭上の特徴点F10,F11のx座標をx5としたとき、点(x2,y2)と点(x4,y1)とを結ぶ直線と、点(x2,y2)と点(x5,y3)とを結ぶ直線と、顔の輪郭で囲まれる範囲を頬紅塗布の領域とし、この領域内の位置P0を頬紅塗布の開始点とする。また、位置P0を中心として頬紅塗布領域に内接する円の半径を塗布サイズと設定し、矢印A1及びA2を開始点の移動軌跡として設定する。
メイクアップパターンがフレッシュの場合、図66に示すように、顔領域内で、目尻EL1,ER1の特徴点のy座標をy1とし、口の左右端M1,M5の特徴点のy座標をy3とし、目頭EL4,ER4の特徴点のx座標をx1としたとき、y座標がy3から(y1+y3)/2までの範囲で、かつ、x座標がx1から顔の輪郭までの範囲を頬紅塗布の領域とし、この領域内の位置P0を頬紅塗布の開始点とする。また、この領域の縦幅の1/2を塗布サイズと設定し、矢印A1及びA2を開始点の移動軌跡として設定する。
次に、頬紅の塗布を実行する。ここでは、先ず、ステップS504でユーザの肌色データと選択された頬紅の色から所定の演算式を用いて開始点における頬紅の濃度を演算し、得られた頬紅の色を開始点に塗布する。そして、ステップS505で開始点を中心とし、塗布サイズを半径とする円内で、開始点に塗布された頬紅の色の濃度を開始点からの距離に比例して薄くする(ぼかす)エアブラシ処理を行い、これにより得られた各画素位置の濃度の頬紅の色を、その位置の画素の肌色に加算することにより頬紅を肌に重ねた各画素の色を求め、これで各画素の色を更新する。図67に上記のエアブラシ処理における、中心からの距離と濃度との関係を示す。
この後、ステップS506では、矢印A1,A2で示す開始点の移動軌跡に従って、開始点を所定距離だけ移動する。なお、開始点は、位置P0から矢印A1方向に所定距離だけ移動することを繰り返して、移動した開始点が頬紅塗布の領域外となると、位置P0に戻って矢印A2方向に所定距離だけ移動する。この移動距離は例えば塗布サイズの数10パーセントである。更に、ステップS507で新たな塗布サイズを計算する。メイクアップパターンがスイートまたはフレッシュの場合、新たな塗布サイズは前回と同一であるが、メイクアップパターンがクールまたはキュートの場合は、開始点が位置P0から矢印A1,A2方向に移動するにつれて、新たな塗布サイズは数パーセントから数10パーセントの割合で減少する。
次にステップS508で頬紅塗布の終点か否かを判別し、終点でない場合は上記のステップS504からS507を繰り返し、終点であれば頬紅塗布処理を終了する。頬紅塗布の終点の判定は、開始点が矢印A2方向に移動して頬紅塗布の領域外となったとき頬紅塗布の終点とする。
このように、複数のメイクアップパターンから所望のタイプを選択すると、選択されたメイクアップパターンに応じて顔画像における頬紅を塗布する領域を設定し、頬紅を塗布する領域の顔画像の色に、頬紅の色を重ねることにより頬紅を塗布するため、所望のタイプを選択するだけで、選択したメイクアップパターンに応じて顔画像の頬部分に頬紅を塗布して表示することができる。
また、頬紅を塗布する領域内の塗布の開始点から離間するほど頬紅の濃度を低下させてぼかしている為、塗布した頬紅が顔画像の肌色となじんで違和感のない頬紅を表示でき、更に、頬紅を塗布する領域内で塗布の開始点を順次移動させるため、顔画像における頬紅を塗布する領域の形状に拘わらず、塗布した頬紅が顔画像の肌色となじんで違和感のない頬紅を表示できる。
シミュレータメインアプリ28に含まれるシャドウ処理部38は分類され把握された被化粧対象者のほおの形態的特徴に応じたチークメーキャップを行うようにしてもよい。一般にチークメーキャップは、演出するイメージによって施す方法が異なる。そこで、本発明では、「血色の演出」に絞って検討を行った。
なお、血色に着目した理由は以下の3点に基づくものである。まず1つ目は、血色というのは健康な状態である場合、本来は誰でもが持っている要素であるため、個々に持つ本来の健康的な美しさを自然に引き出すことに通じると考えたからである。
また、血色が良好であるほおの例としては、例えば乳児のほおが自明な例であるが「血色が良く好ましい」と感じられる例では、血色は目、鼻、口、耳を結ぶエリア内に現れる。そこで、血色に着目した理由の2つ目は、目、鼻、口、耳をガイドラインとして、全ての人に共通した法則で、チークメーキャップを施す位置を導出せるのではないかと考えたからである。更に、血色に着目した理由の3つ目は、血色の演出は多くの人がチークを使用する目的としており、かつ、美しいと感じるほおの要素であるため、多くの人の要望に合致するからである。
また、チークを使用する目的について、普段チークメーキャップを行う20代と30代の女性68名を対象としてアンケートを行った。その結果、「血色をよく見せるため」が最も多く選択された。また、美しいと思うほおについて、普段チークメーキャップを行う20代女性40名を対象としてアンケートを行った結果、回答の多い順に、「はりがある」、「ほどよくふっくら」、「血色が良い」であった。
また、一般に化粧をする際は、化粧下地やファンデーション等を用い、素肌の色むらを整える。この際、素肌では自然にあった血色がほとんど消されてしまう。したがって、チークメーキャップで血色を加えることは、本来持っている血色の要素を取り戻すという自然な演出方法であるといえる。
美容技術者が施すチークメーキャップは、一般の人が自分自身で施すものよりも美しい仕上がりとなる。これは、美容技術者は経験則と専門知識によって個々の顔の特徴をとらえ、各々に似合って美しい仕上がりとなる方法を身につけているからだと考えられる。そこで、美容技術者のチークメーキャップの施し方を分析し、法則性を抽出することを試みた。
まず、ほおの特徴が異なるモデル10名の顔写真を使用し、美容技術者27名に「自然な血色をチークメーキャップで表現するとしたら、どの辺りを中心にどこまでぼかしますか?」というアンケートを実施した。また、チークメーキャップを施す位置の中心と範囲は、各顔を印刷した紙に直接、書き込みをしてもらった。
図68は被化粧対象者のほおの形態的特徴に応じたチークメーキャップの一例を説明する為のイメージ図である。図68では、あるモデル(モデルA)に対して、チークメーキャップの中心を導く線を表している。
まず、血色を表現するチークメーキャップの中心の位置は、目、鼻、口、耳を結ぶエリアの中心付近である。更に、その箇所を顔の特定し易い要素を基準として導くことを検討した結果、図68に示すように鼻先からアリキュラ(耳の前の口を開けると窪む箇所)を線2500で結び、目の中心から引いた水平線2501が顔の輪郭と交わる点から口角に線2502を引くと、両者の交点が美容技術者の回答と一致することがわかった。
次に、チークメーキャップをぼかす範囲について説明する。メーキャップをぼかす範囲は、目、鼻、口、耳を結ぶエリアの中にある。更に、この範囲は先程のチークメーキャップを施す中心を導く線を利用して描かれる平行四辺形の中に入る。
具体的には、まずチークメーキャップの中心を導く際に引いた目の中心を通る水平線2501が顔の輪郭と交わる点から鼻先に引いた線(第1の線)2503を平行に口角まで下ろした線(第2の線)2504を設ける。更に、口角から上に向かって垂直線(第3の線)2505を引き、その垂直線2505を目の中心を通る水平線2501が顔の輪郭と交わるところまで平行に移動させた線(第4の線)2506を設ける。図68では、これらの線2503〜2506により、平行四辺形を構成することができる。また、美容技術者が書き込んだチークメーキャップをぼかす範囲は、この平行四辺形の中に収まっていることがわかる。
上述により、全ての顔に対して共通の方法でチークを施す起点の位置と、ぼかす範囲の目安を顔のスペースを決める三大要素である目・口・鼻により導出することが可能となった。なお、以下の説明において、チークメーキャップを施す起点の位置を「ベストポイント」と呼ぶこととする。
つまり、血色演出チークメーキャップの起点は、鼻先からアリキュラを結んだ線と、目の中心から引いた水平線と顔の輪郭と交わる点から口角に引いた線の交点である。また、ぼかしの範囲はベストポイントをガイドラインとして描いた平行四辺形である。具体的には、目の中心を通る水平線と顔の輪郭との交点から鼻先に線を引き、次にその線を平行に口角まで下ろす。更に、口角から上に向かって垂直な線を引き、その垂直線を目の中心を通る水平線と交わる地点まで平行に移動したときにできる平行四辺形である。
このように、チークを施す起点のベストポイントとぼかしの範囲は、どのタイプにも共通の方法で導出することができることがわかった。
美容技術者の経験則からは、ほおの特徴を考慮してチークメーキャップの形を操作することがその人に似合って美しい仕上がりとなるという予測があった。実際に、導かれたチークを施す起点及びぼかす範囲の条件を満たしても、似合わない仕上がりとなることがある。
そこで、ほおの形態的特徴によって調整の方向を考慮し、チークメーキャップの形もその方向性に合わせて変えるという仮説を立てた。すなわち、ほおが短い人は長く見えるように、長い人は短く見えるようにする、また、骨格感の目立つ人はふっくらと、肉付き感の目立つ人はすっきりと見えるように調整する。
ここで、上述の仮説を検証するためアンケートを行った。アンケートでは、ほおの形態的特徴の異なるモデル4名に対して、2種類のチークメーキャップを施した。チークメーキャップの一つは、ベストポイントとぼかしの範囲の目安の法則を使い、更にほおの特徴に合わせてぼかしの形を変えて入れた「OKチーク」である。もう一方は、ぼかしの形を考慮せずに入れた「NGチーク」である。この2種類について、「OK」と「NG」の情報は隠しておき、一般女性(20代女性40名)に評価をしてもらった。
具体的には、各写真を1枚ずつ見てもらい、それぞれのチークメーキャップの仕上がりについて両極5段階尺度で評価してもらった。また、評価項目は、「自然な−不自然な」、「合っている−合っていない」等であった。4名のモデルに対する40名の評価の平均値を算出し検討した。
評価について統計的な検定を行ったところ、「OKチーク」は、「NGチーク」よりも、自然な仕上がりでほおの立体感が整いほおの肉付きがややふっくらと見えることがわかった。この結果は、上述した美しいほおの要素である「ハリがあり、ほどよくふっくら」にも合致する。また、このチークメーキャップをすることで、顔全体のバランスまでもが整って見えることがわかった。つまり、上述した「OKチーク」により、ほおが立体的に見え、ほどよくふっくらとした肌のハリを感じることができ、本来その人が持っている自然で健康的な血色の美しさを取り戻すことができる。また、血色演出は、個々の美しさを自然に引き出しながら、バランスを調整することができる。上述のアンケートで各モデルに施したチークメーキャップの形は、ほおの長さと骨格・肉付きの見え方を調整する考えに基づいたものである。
図68は、ほおの形態的特徴別のチークメーキャップの形状と範囲を表している。図68において、標準顔に対応するチーク形状は、目安となる平行四辺形に内接する内接楕円2507となる。
ここで、図68の内接楕円2507は、長軸Aをぼかしの目安の平行四辺形の縦の辺の中点2508−1,2508−2を結ぶ直線とし、短軸Bを長軸Aの中点2509と直交し、平行四辺形の上下の辺に接する直線とする。更に、各軸A,Bのそれぞれの半分の長さをa,bとするとき、内接楕円は、(x2/a2)+(y2/b2)=1で表すことができる。また、平均顔の場合、a:b=1:0.55±0.02の関係となる。
なお、チークメーキャップのぼかし方法については、基本的には実際には起点がもっとも濃く、ぼかしの形の境界に向かって淡くなり、境界部分のぼかしは肌に自然に溶け込むように塗布する。
(眉処理)
シミュレータメインアプリ28に含まれる眉処理部37は実施例1におけるステップS80の眉形状の変形処理を以下の美容理論に基づいて行うことで、あらゆるユーザの顔にあった美しい眉に変形できる。
一般的に、形の良い眉というのは、次の要素からなることが知られている。1.眉頭は目頭の真上から始まる。2.眉尻は小鼻と目尻を結んだ延長線上にある。3.眉山は眉頭から2/3の位置にある。このような眉が形の良い眉と言われている。更に、詳細に図69に基づいてこれらの要素を説明する。
図69は理想的な眉の形を説明する説明図である。図69では目頭3001から垂直に立ち上がる目頭線3002上に眉頭3003があり、小鼻3004から目尻3005に向かって傾斜する小鼻眉尻線3006上に眉尻3007があり、眉頭3003と眉尻3007とを結ぶ眉基線3008の眉頭3003から眉尻3007に向かう約2/3の位置(目尻側の白目の端部とほぼ一致する)の垂直な眉山線3009上には、眉山3010が存在している。
このような眉が形の良い眉であるが、最近の我々の研究から、形の良い眉をいろいろなユーザに描いても全体的に似合わないケースが多く、更に他の要素が関係していることが判明した。そして、その新たな要素を加味することにより、一人一人の顔立ちにあった美しい眉に変形することが可能になった。
その要素は、4.顔全体における眉の眉山3010の位置と、5.眉頭3003から眉山3010を形成する角度とで、これらの新たな要素を追加することで、バランスのとれた美しい眉に変形できる。
ここでは、眉頭3003、眉山3010などの部位の名称を使用していくが、眉処理部37は前述したトラッキングポイント34のうち、眉頭3003に対応する特徴点(BR1)、眉山3010に対応する特徴点(BR2)を利用する。
次に、顔とのバランスがとれた美しい眉の位置について説明する。顔とのバランスがとれた眉については、4.顔全体における眉の眉山3010の位置と、5.眉頭3003から眉山3010を形成する角度とが重要である。これらの点について、図70に基づき説明を行う。図67は眉の位置の状態を説明する説明図である。
図70の(A)、(B)、(C)は、顔全体に対して眉の占める位置を表している。図70の(A)、(B)、(C)に書かれている実線で示される仮想の横線イは、顔を正面から見た場合の顔の最大幅を示す線で、通常は下瞼に接する線になる。縦線ロは、顔の最大幅を示す前記横線イを顎の下部から垂直に立てた場合の仮想の線である。横線イと縦線ロとは顔のほぼ中心で直角に交差し、これらの横線イと縦線ロの端をa、b、c、dからなる4つの点線で表した辺で囲んで仮想の正方形を形成している。
ここで図70の(A)の眉の位置を見ると、眉の眉山3010が前述した仮想の正方形の辺aに接しており、顔全体で見ると美しい位置に眉があり、バランスがとれていることが判る。また、図70の(B)では、仮想の正方形の辺aから眉の眉山3010が下方に離れて存在していて、顔全体から見ると中心に目、鼻、眉が纏まってしまい、顔が短く見え、バランスがとれていない。また、図70の(C)では、仮想の正方形辺aから眉の眉山3010が飛び出てしまい、顔全体から見ると顔が長く見え、全体的なバランスが良くない。
一般的に、顔全体が丸い人は、図70の(B)のように辺aの下方に眉山3010が位置しやすく、顔全体が長い人は図70の(C)のように辺aの上方に眉山3010が飛び出てしまう傾向にあり、眉の描き方によってこれらの顔の傾向を増長してしまうケースが散見される。
ここで図70の(A)の状態を詳細に観察すると、眉頭3003から眉山3010を形成する角度は、眉頭3003から眉尻3007を結ぶ眉基線3008に対して約10度であり、眉山3010は辺aに接している。また、図70の(B)では、眉頭3003から眉山3010を形成する角度は、眉頭3003から眉尻3007を結ぶ眉基線3008に対して約5度であり、眉山3010は辺aから下方に離れて存在している。
また、図70の(C)では、眉頭3003から眉山3010を形成する角度は、眉頭3003から眉尻3007を結ぶ眉基線3008に対して約20度であり、眉山3010は辺aから眉山3010が飛び出ている。図70の(B)又は(C)のような状態の眉をできるだけ図70の(A)の状態に近づくように眉を描くことによって顔とのバランスがとれた美しい眉になることが判る。
この眉の描き方の手順について、図69と図70に基づき更に詳細に説明する。まず、被施術者の顔正面の最大横幅(通常は下瞼を通る直線になる)を測定し、その横幅からなる仮想の横線イを顔の下瞼に沿って作成する。続いて、横線イと同一の長さを顎の最下点から立設させて仮想の縦線ロを作り、顔の正面で横線イと縦線ロを直交させ、横線イと縦線ロのそれぞれの端部を通る仮想の辺a、b、c、dで仮想の正方形を形成する。こうして作られた辺aと被施術者の眉山3010の位置を比較し、眉山3010が正方形の辺aに一致するか、辺aより高い位置にあるか、低い位置にあるかを判定する。
図70の(A)のように眉山3010が辺aに一致する場合、眉の角度が眉基線3008に対して10度になる場合が多いので、眉頭3003から眉山3010までの目安線を設定する。目安線は、アイブローで眉頭3003と眉山3010の2点をポイントで示しても、薄い線を引いても良い。また、目安線は眉の下側に設定しても、眉の中心、眉の上側に設定してもよい。これらのいずれの場合でも、眉山3010は眉山線3009上にあり、眉山3010の上縁は辺aと接するように眉を描いていく。眉は目安線に沿って一定の幅で眉山3010まで描かれるが、眉山3010から眉尻3007までは、被施術者の好みに応じて自由な曲線を作り、眉を完成させる。
次に、図70の(B)のように、眉山3010が辺aに対して低い位置にくる場合は、眉山3010の位置を辺aになるべく近づけるように眉を描いていく。この場合に、図70の(B)の眉頭3003から眉山3010の角度は5度と低いので、眉山3010を辺aに近づけるために、15度の角度の描写部を有する眉スケールを用いて、眉頭3003から眉山3010までの目安線を設定する。しかしながら、目安線の角度があまり大きくなりすぎ、被施術者の元々ある眉山3010の位置より大きくずれてしまうような場合には、被施術者が違和感を感じる場合が多いので、元の眉山3010の位置から最大2mmの範囲で眉山線3009上方に新しい眉山3010を設定するのが好ましい。眉を剃った状態で全く新しい眉を描く場合は、このような制限を設けなくとも良い。目安線をアイブローで軽く描き、その後、目安線に沿って眉頭3003から眉山3010まで描き上げ、眉尻3007を描いて理想的な眉を完成させる。眉を剃っていない場合は、もともとある眉の上から前述したように眉を描き上げ、はみ出た部分については、眉を剃って整えることができる。
また、図70の(C)のように、眉山3010が辺aに対して高い位置にくる場合は、眉山3010の位置を辺aになるべく戻すように眉を描いていく。図70の(C)の場合の眉頭3003から眉山3010の角度は20度と高いので、8度の角度で眉頭3003から眉山3010までの目安線を設定する。この場合においても、被施術者の元々ある眉山3010の位置より大きくずれてしまうような場合には、被施術者が違和感を感じる場合が多いので、元の眉山3010の位置から最大2mmの範囲で眉山線3009下方に新しい眉山3010を設定するのが好ましい。前述した方法と同様に眉を描いていくと顔全体とのバランスがとれた美しい眉ができあがる。
眉頭3003と眉山3010を結ぶ眉の描き方で顔のイメージを調整できる。例えば、眉を太く描いた場合は「大人っぽく」、眉を細く描いた場合は「かわいらしく」、眉を直線的に描いた場合は「すっきり」、眉を曲線的に描いた場合は「やさしい」などの選択を被施術者の要望に応じて、使い分けることができる。
このように、シミュレータメインアプリ28に含まれる眉処理部37は実施例1におけるステップS80の眉形状の変形処理を上記の美容理論に基づいて行うことで、あらゆるユーザの顔にあった美しい眉に変形できる。
(ファンデーション処理)
シミュレーションアプリ28に含まれるファンデーション処理部36は前処理として以下のような処理を行うこともできる。
ファンデーション処理の前処理としての肌色評価処理手順について説明する。図71は、前処理としての肌色評価処理手順の一例を示すフローチャートである。
図71に示す肌色評価処理は、まずカメラ等の撮像手段により撮影された顔を含む評価対象画像を入力し(S601)、入力した顔画像を予め設定された分割手法により所定数に分割する(S602)。なお、S601により得られる画像は、例えば、全体が均一に照明された顔をデジタルカメラ等の撮影装置で撮影された画像を用いることができる。
具体的には、顔画像を同一条件で取り込むための照明ボックスを使用し、照明ボックス内で顔面を均一に照明するために、照明ボックスの前面に複数のハロゲン電球を配置し、TVカメラにより顔面を撮影し、撮影した顔画像を取得する。なお、本発明において用いられる画像ついては、特にこれに制限されるものではなく、例えば蛍光灯等の一般的な照明環境で撮影された画像を用いることもできる。
次に、所定の領域毎に分割した画像から肌色分布を生成し(S603)、また予め蓄積されている各種データ等を用いて、例えば比較用肌色分布を生成する(S604)。また、S603の処理で得られた個人の肌色分布と、S604の処理で得られた比較用肌色分布とを用いて肌色等を比較して(S605)、肌色分布プロファイルによる評価を行う(S606)。また、S606の処理により得られた評価結果からユーザ等に表示する画面等を生成し(S607)、生成した画面(評価結果内容等)を出力する(S608)。
ここで、肌色評価を継続するか否かを判断し(S609)、肌色評価を継続する場合(S609において、YES)、S602の処理に戻り、例えば前回とは異なる分割手法による分割を行い、後述する処理を行う。S609の処理において、肌色評価を継続しない場合(S609において、NO)、処理を終了する。次に、上述した肌色評価処理の詳細について説明する。
<顔分割処理:S602>
次に、上述した顔分割処理について具体的に説明する。顔分割処理は、入力される顔を含むデジタル画像に対して所定の分割を行う。図72は、特徴点と分割された領域の一例を示す図である。図72では、一例として顔全体を93個の領域に分割し、分割した各領域の平均肌色を求め、93個の肌色データにより顔肌色の分布を表現し、その分布等から肌色評価を行う。
従来手法の長所である一定の部位に対し、多くのデータを取得することで、例えばその部位の日本人女性(なお、外国人(他人種)でもよく、また男性でもよい。)の分布範囲や平均値を算出でき、その結果個人の肌色データをこれらの指標と比較することで評価することができる。また、例えば同一人物による化粧料の使用前後の肌色比較や他人との二者間での肌色の比較等も可能となる。
ここで、図72に示す分割手法は、一例として109個の特徴点を有している。また、図72に示す分割領域は、一例として3個又は4個の特徴点により構成された3角形又は4角形の形状を有する93個の領域(例えば、図72において番号1〜93で示された領域)である。
また、図73は、上述した図72に対応した109個の特徴点の顔内の位置関係の一例を示す図である。また、図74は、上述した図72に対応する各領域を構成する特徴点の組合せの一例を示す図である。なお、図73に示されている各特徴点の「No.」、「名称」、図74に示されている各領域の「領域No.」、「構成点」の名称は、上述した図72に示された内容に対応している。
ここで、分割内容を設定する際には、顔分割処理は、例えば図73に示す特徴点のうち、最初にNo.1〜37の特徴点(例えば、図72において「●」で示された点)を第1特徴点として設定する。なお、この37個の特徴点は、例えば全顔領域のうち、額部分に5点、左右目付近に10点、鼻に7点、口に9点、目より下のフェースラインに6点設けることが好ましい。
次に、顔分割処理は、上述した37の特徴点(第1特徴点)を基準として、例えば図73に示すNo.38〜109の特徴点(例えば、図72において「△」で示された点)を第2特徴点として設定する。
例えば、図73に示すように、No.1〜37の予め定義される特徴点1〜37と、その特徴点のうち少なくとも2つの特徴点間を通る複数の直線の交点により求まる点38〜49と、2点間の線分を所定の比率で内分する点50〜57,67〜109と、2つの特徴点間を通る直線上にあり、ある特定の点と同一の縦座標又は横座標を持つ点58〜66等により、合計109点が得られる。
また、第1及び第2特徴点(109点)のうち、図74に示すように少なくとも3個を構成点として囲まれる領域に分割する。なお、領域を構成する点の数は、図74に示すように3点又は4点でもよく、また5点以上でもよい。
ここで、図72に示す各領域(領域No.1〜93)は、多くの肌色を観察した経験を元に生理学的に意味のある分割になるよう設定されている。つまり、図72に示すような設定を行うことにより、色むらが起こり易い部分は領域が狭くなるように分割し、そうでない部分は領域が広くなるように分割している。
具体的には、図72〜74に示す分割例において、例えば額の部分は分割される領域を広く設定し、目の回りや口元、頬等は領域を狭く設定している。このように、設定される分割領域は、肌色を評価する上で重要な部分(領域)について、その領域を狭く設定することで、より詳細に高精度な評価を行うことができる。
なお、分割領域は、その領域がそれぞれどのような肌色が出易いかを予め過去のデータ等により判断し、その色の度合い等を基準に集約(グループ分け)することができる。これにより、そのグループ毎に容易に評価することができる。
ここで、上述した図72〜74の例では、予め定義される特徴点を37個(No.1〜37)としているが、これに限定されるものではなく、例えば少なくとも25個の特徴点(第1特徴点)を設定することで、同様の分割を行うことができる。
<顔の分割と顔肌色分布図の生成>
次に、分割した顔について顔肌色分布の生成について具体的に説明する。なお、顔全体を均一に照明する照明装置とデジタルカメラを用いた撮影装置は、例えば、「舛田他、画像解析を用いたしみ・そばかす定量化システムの開発、粧技誌、V28、N2、1994.」等を用いて取得した顔画像に対して肌色分布図を生成する例について説明するが、本発明において用いられる撮影されたデジタル画像の撮影方法については、特にこれに制限されるものではない。
所定の位置にセットされた被験者を撮影し、上述したように顔分割処理により例えば37個の第1特徴点を指定することで、合計109個の特徴点を算出することができる。また、顔分割処理は、109個の特徴点から上述した図74に示すような設定により93個の領域に分割する。なお、この肌色分布は、領域毎に領域毎に、L*a*b*表色系におけるL*,a*,b*、Cab*、hab、XYZ表色系における三刺激値X、Y、Z、RGBの各値、色相H、明度V、彩度C、メラニン量、及びヘモグロビン量のうち、少なくとも1つを用いて平均値により生成される。なお、この場合には、例えば、L*a*b*表色系、XYZ表色系、及び色相H,明度V,彩度Cの3要素を採用して画像を生成する。
全領域の外部及び領域内でも肌色ではない部分は評価対象外となるため、例えば肌色から大きく離れたシアン色等のある特定の色で着色されている。更に、皮膚の細かい情報が消えて顔肌色の分布が把握し易くなっており、例えばモデルAの「目まわりの肌色が濃い」という特徴がわかる。なお、肌色評価処理において、撮影された顔の周辺部は照明の均一性が低いことがあるため、肌色分布評価処理では、周辺部のデータを除外することができる。
また、同様の手法で「平均顔」を領域に分割し、得られたモデルAの93個の肌色により各領域を着色すると、モデルの顔形状情報を除外した純粋な色情報を把握することができる。
上述した処理を行うことで、分割した領域を基準に評価することができるため、人物の顔形状情報が除外でき、顔形状が異なる人同士の肌色分布の比較を容易に行うことができる。したがって、この特徴を活かして、例えばモデルAの顔肌色分布を同年代の平均値と比較を行って評価することもできる。
<比較用の顔肌色分布の生成例:S604>
次に、肌色分布評価処理における比較用の顔肌色分布の生成例について説明する。年代毎の平均肌色分布として、対応する年代の人物が撮影されている顔画像を領域分解し、その後、例えばL*a*b*表色系におけるL*,a*,b*、Cab*、hab、XYZ表色系における三刺激値X、Y、Z、RGBの各値、色相H、明度V、彩度C、メラニン量、及びヘモグロビン量のうち、少なくとも1つを用いて平均値による肌色分布を求め、年代毎に平均値を算出することで平均肌色分布を求める。
なお、求めた20代から60代までの各年代日本人女性の平均肌色分布のデータを用いて平均顔の各領域を着色する。このように、直色して表示することで、年代毎の平均肌色分布を生成することができ、このデータと比較することで、評価対象画像の高精度な肌色評価を行うことができる。
<肌色分布の比較>
次に、肌色分布の比較例について具体的に説明する。肌色分布評価処理は、差分を取ることによる肌色分布の比較を行う。顔画像を所定の各領域に分割することで顔肌色分布が把握でき、また平均顔等の標準的な顔にその色を置き換えることで、顔の形状を除外した色情報のみのわかり易い表現が可能となる。あるカテゴリー(年齢別、職業別、性別)に属する人々の平均値データや、タレント等の理想的な人のデータ、個人の過去のデータ、他人のデータ等の二者間の差分値の取得が可能となるため、化粧品販売時のカウンセリング等に役立たせることができる。
<肌色分布の集約(グルーピング)と肌色分布プロファイル生成例>
ここで、本実施形態において、肌色分布評価処理は、肌色の領域において、色の傾向が類似する領域を、過去のデータ等を主成分分析し、主成分を求めることで集約(グループ分け)することができる。これにより、そのグループ毎に容易に評価することができる。図75は、各グループの色の特徴と、各グループを構成する領域番号の一例を示す図である。なお、75に示す領域を構成する特徴点は、上述した図72〜74に対応している。
図75に示す例では、部位(1)ほお下、(2)ほお正面、(3)まぶた・くま部位、(4)額、(5)鼻まわり、(6)口まわりがグループ分けされている。また、色の特徴として、「(1)ほお下」は高明度であり、「(2)ほお正面」は赤みよりでやや高明度であり、「(3)まぶた・くま部位」は黄みよりでやや低明度であり、「(4)額」は黄みよりでやや高明度であり、「(5)鼻まわり」は赤みよりでやや低明度であり、「(6)口まわり」は赤みよりで低明度である。
ここで、一例として20〜67歳の59名における唇の4領域を除いた有効57個の領域について色相Hの主成分分析を実施した結果、6個の主成分で57個のデータの90.1%が説明可能であるとわかった。
そこで、上述した主成分を基に57個の領域を上述した(1)ほお下、(2)ほお正面、(3)まぶた・くま部位、(4)額、(5)鼻まわり、(6)口まわりの6種に分類する。また、その主成分得点のバランス(肌色プロファイル)で肌色分布を評価することもできる。
次に、ファンデーション処理の前処理としての顔分類処理手順について説明する。ここでは、立体感を調整し、美しさを演出する方法を抽出するため、どのような立体感が美しいと評価されるのかについて検討を行った。検討に際しては、(a)素顔、(b)肌の色むらを自然に整えた素顔風ベースメーク、(c)顔全体が平均顔のバランスに見えるよう立体感を調整した卵型ベースメークの各顔を用いる。
ここでは、上述した(a)〜(c)の3タイプのベースメークを、顔の特徴の異なる6名のモデルに施し、それらを撮影した顔写真を用い、20代女性20名を対象としてアンケートを実施した。
顔の見え方に関する8項目(ひたいの見え方、ひたいの立体感、鼻筋のとおり具合、ほおの肉付き、ほおの長さ、フェースライン、あごの出具合、目鼻立ちのバランス)と、顔全体の立体感、美しさ、好ましさの全体的な印象に関する3項目(顔全体の立体感、美しさ、好ましさ)で評価を行った。また、顔の見え方については、適度かどうかも合わせて回答してもらった。
その結果、ベースメークを施すことで、目鼻立ちのバランスが整って見え、立体的に見えることがわかった。美しさ、好ましさの評価も高まった。その評価は、卵型ベースメークで最も高かった。卵型ベースに立体感を調整すると、素顔や素顔風ベースよりも顔の評価を高めることが明らかとなった。更に、卵型ベースメークについて詳細な分析を行ったところ、平均顔の輪郭形状と相似の楕円が眉尻を通る顔の内側に浮かび上がるようにベースメークが施されたことがわかった。
<標準バランスの顔による検討>
一般的な美人顔の条件として、卵型のフェースラインと黄金バランスがある。その黄金バランスでは、例えば目の位置は全頭高の約1/2、髪の生え際からあご先までのうち、生え際から1/3の位置に眉頭が、生え際から2/3の位置に小鼻が位置する。
ここで、従来の画像合成技術等により複数名の顔写真の寸法情報と色彩情報を平均化することで作成される「平均顔」のバランスは、この黄金バランスの値に近づくことが知られている。また、平均顔の作成には、10人分を用いれば、異なる10人分の顔写真から作成したものとほぼ印象が変わらないことが示されている(例えば、西谷美和他、「平均顔の特徴を探る」、日本心理学会第63回大会発表論文集、1999年8月発行等)。女性40名分の顔写真を用いて作成した「平均顔」は、上述した黄金バランスを満たす。後述では、この黄金バランスを標準バランスとする。
また、「平均顔」から(肌色の情報を除去し)奥行きと骨格肉付き感の情報を除去した顔写真を参照すると、奥行きと骨格肉付き感とは、顔の印象に大きく影響を与えることがわかる。また、平均顔について上述した画像解析(モノクロ化ポスタリゼーション処理)を施したところ、フェースラインの内側にも、フェースラインと相似形の卵型が抽出できることがわかった。
ここで、図76は、平均顔の画像(又は立体感)解析結果の一例を示す図である。図76に示すように、顔のフェースラインに対応する外側のフェースライン(アウターフェースライン)4000の内側にもアウターフェースライン4000を相似縮小させたフェースライン(インナーフェースライン)4001が存在することがわかった。このことからも、顔の内側の立体感を卵型に見せることは、新たな美しさの演出法の一つであることが示された。
<立体感の調整−ベストオーバル調整法−>
次に、フェースラインの内側の立体感、すなわちインナーフェースラインを卵型に整える美容法を作成するため、調整仮説を立てた。ここで、平均顔で得られるアウターフェースラインとインナーフェースラインの形状を「ベストオーバル」と定義する。アウターフェースラインは、横幅対縦幅比がほぼ1:1.4の卵型形状(標準アウターフェースライン)である。「平均顔」のインナーフェースラインは、この標準アウターフェースラインと相似し、所定比率で縮小させた形状であり、横幅対縦幅比もほぼ1:1.4である。
アウターフェースライン4000は、上述したように「顔の横幅:縦幅比=1:1.4」の関係で示される形状である。なお、アウターフェースラインバランスは、顔全体スペース調整の方向性を見極めるポイントとなる。また、インナーフェースライン4001を個々の顔に当て嵌める場合には、図76に示すように、まず個々の顔の左右のほお骨の横幅を1とする。次に、その横幅を基準に縦幅がほぼ1.4の標準インナーフェースライン4001、すなわちベストオーバルを描き、各顔の眉尻(小鼻の横から目尻を通る延長線上を目安)に接するように位置付ける。なお、インナーフェースラインバランスは、骨格・肉付きによる立体感とスペースの調整ゾーンとなる。
また、アウターフェースライン4000とインナーフェースライン4001の間は、自然な奥行き感をつけるゾーン(図76の斜線部分)4002とした。また、このゾーン4002は、奥行きを出すと同時にアウターフェースライン4000とインナーフェースライン4001の形を整えて見せる奥行きの調整ゾーンである。
前述したファンデーション処理の前処理は、ベースメーキャップの為に利用することができる。
以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。なお、特許請求の範囲に記載した撮影手段はカメラ2に相当し、制御手段は制御部8に相当し、表示手段はモニタ7に相当し、顔認識処理手段は顔認識処理部33に相当し、メイクアップ処理手段はメイクアップ処理部35に相当し、操作手段は操作パネル4に相当し、ハーフミラー手段はハーフミラー3に相当し、印刷手段はプリンタ5に相当する。
また、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
本発明のメイクアップシミュレーション装置1はリアルタイムシミュレーションである為、静止画によるものや従来のメイクアップシミュレーション装置1と異なり、瞬時に顔のトラッキングポイントを認識し、そのトラッキングポイントをもとにシミュレーションを行うことができるので、これまでできなかった以下のことも可能にしている。
本発明のメイクアップシミュレーション装置1はリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置1は、これまでのように正面顔だけでなく、横顔からのシミュレーション等も可能なため、頬紅等のシミュレーション効果やテクニックの確認が容易である。
本発明のメイクアップシミュレーション装置1は、リアルタイムなシミュレーションになったことで、これまでの平面的な表現から、顔を立体としてとらえた分析や、立体感や質感の表現も可能になった。
また、本発明のメイクアップシミュレーション装置1は、同時に何人もの顔認識が可能であるため、同時に何人ものリアルタイムなシミュレーションが可能である。本発明のメイクアップシミュレーション装置1は顔認識機能が優れていることから、個々の顔立ちにあわせて、あるいは男性、女性を自動的に分類し、顔立ちや分類にあわせたメイクアップが可能である。例えば本発明のメイクアップシミュレーション装置1は、カップルで同時に、それぞれのメイクアップシミュレーションが可能である。