JP5227212B2 - 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム - Google Patents

Description

本発明は、肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラムに係り、特にユーザの顔の肌色を測定する肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラムに関する。

従来、ユーザの顔の肌色に合わせたファンデーションの効果検証のため、化粧品販売店等では機器によりユーザの顔の肌色の測定が行われている。ユーザの顔の肌色の測定は例えば機器をユーザの顔に接触又は近づけて行う方法（例えば特許文献１参照）やユーザの顔を撮影してユーザの顔の画像から求める方法（例えば特許文献２参照）が一般に知られている。

特開２００８−２８６６４９号公報 特開２００５−３４３５５号公報

店頭では、店頭で撮影した画像を利用して、肌のカウンセリングやメーキャップシミュレーション等が行われている。しかしながら、撮影したユーザの顔の画像から求める方法によるユーザの顔の肌色の測定は、化粧品販売店等における蛍光灯等の光源（環境光）の影響を避けられず、ユーザの顔の肌色を正確に測定できなかった。なお、特許文献２に記載されている技術は偏光板を透過することにより偏光面が整えられた光源の光を利用するものであって、環境光の問題を解消するものではない。

本発明は、上記の点に鑑みなされたもので、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定することができる肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラムを提供することを目的とする。

上記した課題を解決するため、本発明は、ユーザの顔の肌色を測定する肌色測定装置であって、環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影すると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影する撮影手段と、前記撮影手段のシャッタ動作に連動して発光するストロボ手段と、前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示する表示手段とを有する。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本発明によれば、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定することができる。

本発明による肌色測定装置の第１実施例の外観図である。 本発明による肌色測定装置の第２実施例の外観図である。 本発明による肌色測定装置の第３実施例の外観図である。 本発明による肌色測定装置の第４実施例の外観図である。 本発明による肌色測定装置の一実施例のハードウェア構成図である。 本発明による肌色測定装置の他の実施例のハードウェア構成図である。 肌色測定装置の処理手順を表した一例の処理ブロック図である。 肌色測定装置の処理手順を表した一例のフローチャートである。 ストロボ光のみに影響を受けた一例の肌色測定用画像である。 環境光及びストロボ光に影響を受けた一例の表示用画像である。 肌色計測エリアを表す一例の表示用画像である。 肌色分類マップの一例のイメージ図である。 メイクアップシミュレーション装置が行う処理の概略を表した一実施例のフローチャートである。 モニタに表示される画面の一例の遷移図である。 メイクアップシミュレーション装置の処理手順を表した一例の処理ブロック図である。 シミュレータメインアプリが行なう処理を表す画面イメージ図である。 メイクアップ前画像に含まれるユーザの顔のイメージ画像に、トラッキングポイントを表した一例のイメージ図である。 メイクアップ処理パラメータファイルの一例の構成図である。 ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。 ファンデーション処理を示す一例のフローチャートである。 輪郭を表した一例のイメージ画像である。 ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。なお、本実施例の肌色測定装置及びメイクアップシミュレーション装置は外観及びユーザの顔の肌色を測定する処理について同様である。ここでは、肌色測定装置を中心に説明するが、メイクアップシミュレーション装置も同様である。

図１は本発明による肌色測定装置の第１実施例の外観図である。図１（Ａ）は肌色測定装置１の正面図である。図１（Ｂ）は肌色測定装置１の平面図である。図１（Ｃ）は肌色測定装置１の側面図である。

肌色測定装置１は、本体部１０，アーム部１１，土台部１２を有する。肌色測定装置１は本体部１０がアーム部１１によって可動可能に土台部１２へ取り付けられている。本体部１０は、表示手段としてのモニタ１３，撮影手段としてのカメラ１４，照明手段としての照明１５，ストロボ手段としてのストロボ１６を有する。なお、肌色測定装置１は内蔵されたコンピュータ（図示せず）を有している。

モニタ１３は液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等である。カメラ１４はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラやＣＣＤ（Charge Coupled Device）カメラ等である。なお、カメラ１４は偏光フィルタ（図示せず）を介して撮影が可能な仕組みを有している。照明１５は冷陰極管や発光ダイオード（ＬＥＤ）等である。

モニタ１３，カメラ１４，照明１５，ストロボ１６は後述のようにコンピュータにより制御される。なお、ストロボ１６はユーザの顔の肌色を測定する主な測定部位である頬の部分へ効果的にストロボ光を当てる位置に設置される。ユーザや化粧品販売員等の操作を受け付ける為、モニタ１３はタッチパネルモニタとなっている。タッチパネルモニタからユーザによる操作を受け付け、モニタ１３は操作情報をコンピュータへ出力する。ユーザや化粧品販売員等の操作を受け付ける仕組みはタッチパネルモニタに限らず、操作部を別途設けてもよい。

図２は本発明による肌色測定装置の第２実施例の外観図である。なお、図２の外観図は平面図及び側面図が図１の外観図と同様であるため、平面図及び側面図の図示を省略している。図２は肌色測定装置１の正面図である。図２の肌色測定装置１は、照明１５を有していない点で図１の肌色測定装置１と異なっている。

図２の肌色測定装置１は、モニタ１３が自発光の可能な例えば有機ＥＬディスプレイである。図２の肌色測定装置１はモニタ１３の両端部分１３ａを発光させることで、両端部分１３ａが図１の照明１５の役割を果たす。図２の肌色測定装置１のその他の構成は図１の肌色測定装置１と同様であるため、説明を省略する。

図３は本発明による肌色測定装置の第３実施例の外観図である。図３は肌色測定装置１の正面図である。図３の肌色測定装置１は、本体部１０の形状が横長となり、２枚のモニタ１３Ａ及び１３Ｂが並ぶように配置され、その２枚のモニタ１３Ａ及び１３Ｂの間にカメラ１４が配置されている点で図１の肌色測定装置１と異なっている。

図３の肌色測定装置１は、カメラ１４がＣＣＤカメラ等である。カメラ１４は超小型カメラのＣＭＯＳカメラ等であってもよい。図３の肌色測定装置１は、カメラ１４の位置をモニタ１３Ａ及び１３Ｂの間に配置することにより、図１の肌色測定装置１と比較して、撮影したユーザの顔の画像における目線が自然になる。なお、図３の肌色測定装置１のその他の構成は図１の肌色測定装置１と同様であるため、説明を省略する。

図４は本発明による肌色測定装置の第４実施例の外観図である。図４は肌色測定装置１の正面図である。図４の肌色測定装置１は、本体部１０の形状が横長となり、２枚のモニタ１３Ａ及び１３Ｂが並ぶように配置され、その２枚のモニタ１３Ａ及び１３Ｂの間にカメラ１４が配置され、照明１５を有していない点で図１の肌色測定装置１と異なる。

図４の肌色測定装置１は、モニタ１３Ａ及び１３Ｂが、自発光の可能な例えば有機ＥＬディスプレイである。図４の肌色測定装置１はモニタ１３Ａ及び１３Ｂの両端部分１３ａ及び１３ｂを発光させることで、両端部分１３ａ及び１３ｂが図１の照明１５の役割を果たす。また、図４の肌色測定装置１は、カメラ１４が超小型カメラのＣＭＯＳカメラ等である。

図４の肌色測定装置１は、カメラ１４の位置をモニタ１３Ａ及び１３Ｂの間に配置することにより、図１の肌色測定装置１と比較して、撮影したユーザの顔の画像における目線が自然になる。なお、図４の肌色測定装置１のその他の構成は図１の肌色測定装置１と同様であるため、説明を省略する。

図５は本発明による肌色測定装置の一実施例のハードウェア構成図である。図５に示すハードウェア構成図は図１の肌色測定装置１の例を表している。なお、図１と同一部分については同一符号を付している。

図５の肌色測定装置１は、それぞれバスＢ等で相互に接続されたモニタ１３，カメラ１４，照明１５，ストロボ１６，タッチパネルモニタ２１，メモリカードＩ／Ｆ２２，主記憶装置２４，演算処理装置２５を有する。図５のメモリカードＩ／Ｆ２２，メモリカード２３，主記憶装置２４，演算処理装置２５は、前述のコンピュータである。メモリカード２３はメモリカードＩ／Ｆ２２を介してバスＢに接続される。

メモリカード２３は、通電しなくても記憶が消えないフラッシュメモリと、外部との入出力を受け持つコントローラ回路とを有する。また、メモリカード２３は例えばＡＴＡ規格に準拠しており、演算処理装置２５からハードディスク等の補助記憶装置と同じように見えるものとする。メモリカード２３は例えばメモリカードの規格の一つであるコンパクトフラッシュ（Compact Flash）（登録商標）を利用できる。

肌色測定装置１を制御する肌色測定プログラムは肌色測定装置１を制御する各種プログラムの少なくとも一部である。肌色測定プログラムは例えばメモリカード２３の配布などによって提供される。肌色測定装置１はメモリカード２３を脱着可能であるため、メモリカード２３を取り替えることでバージョンアップやシステム変更に対応できる。

肌色測定プログラムを記録したメモリカード２３がメモリカードＩ／Ｆに接続されたあとで電源が投入されると、肌色測定装置１はメモリカード２３から肌色測定プログラムを読み出して主記憶装置２４に格納する。そして、肌色測定装置１は主記憶装置２４に格納された肌色測定プログラムに従って、演算処理装置２５に後述のような各種処理を実現させている。モニタ１３，カメラ１４，照明１５，ストロボ１６，タッチパネルモニタ２１は後述のような演算処理装置２５による各種処理によって制御される。

図６は本発明による肌色測定装置の他の実施例のハードウェア構成図である。図６に示すハードウェア構成図は図２の肌色測定装置１の例を表している。なお、図２と同一部分については同一符号を付している。図６の肌色測定装置１は、照明１５を有していない点で図５の肌色測定装置１と異なる。図６の肌色測定装置１はモニタ１３の両端部分を発光させることで、両端部分が図１の照明１５の役割を果たす為である。図６の肌色測定装置１のその他の構成は図５の肌色測定装置１と同様であるため、説明を省略する。

なお、図３及び図４の肌色測定装置１のハードウェア構成図は、図５及び図６のハードウェア構成図と、２枚のモニタ１３Ａ及び１３Ｂを有する点で異なるが、その他の構成について同様であるため、説明を省略する。

（肌色測定装置）
次に、肌色測定装置１の処理手順について説明する。図７は、肌色測定装置の処理手順を表した一例の処理ブロック図である。図８は、肌色測定装置の処理手順を表した一例のフローチャートである。

図７に示した肌色測定装置１は、コンピュータ３０で肌色測定プログラムを実行することにより実現されている専用ＡＰＩ３１，縮小部３４，トリミング部３５，顔認識処理部３８，トラッキングポイントＤＢ３９，詳細部位抽出部４０，トリミング部４１，肌色分析部４３，肌色分類マップ４４，トラッキングポイントＤＢ４５及び表示制御部４６を有する。

例えばタッチパネルモニタからユーザの顔の肌色測定開始の操作を受け付けると、専用ＡＰＩ（application programming interface）３１はステップＳ１に進み、静止画撮影処理を行う。ステップＳ１の静止画撮影処理では、専用ＡＰＩ３１が、カメラ１４及びストロボ１６を制御し、肌色測定用画像３２と、表示用画像３３とを撮影する。

具体的に、専用ＡＰＩ３１はカメラ１４のシャッタを切るときにストロボ１６が発光するように制御する。また、専用ＡＰＩ３１は肌色測定用画像３２を撮影するとき、カメラ１４のシャッタ速度を、環境光の影響を除去できるシャッタ速度（例えば１０００分の１秒）とする。

カメラ１４のシャッタ速度が例えば１０００分の１秒など、十分に速い場合、撮影された肌色測定用画像３２は環境光の影響が除去され、ストロボ光のみに影響を受けたものとなる。図９はストロボ光のみに影響を受けた一例の肌色測定用画像である。

専用ＡＰＩ３１は表示用画像３３を撮影するとき、カメラ１４のシャッタ速度を、環境光の影響を受けるシャッタ速度（例えば３００分の１秒）とする。カメラ１４のシャッタ速度が例えば３００分の１秒など、遅い場合、撮影された表示用画像３３は環境光及びストロボ光に影響を受けたものとなる。図１０は環境光及びストロボ光に影響を受けた一例の表示用画像である。

このように、ストロボ光の影響を受けた肌色測定用画像３２及び表示用画像３３はストロボ光の色味，照度のばらつきが少ないというメリットを受けることができる。カメラ１４の設定は、ストロボ光の色味，照度のばらつきが少ないというから固定化できる。例えばカメラ１４の設定は、ストロボ撮影時にグレーカードにてホワイトバランスがとれた状態で固定化する。また、カメラ１４の設定における明るさは、アイリス，ゲイン値を肌色付近の画素が飽和しない程度で固定化する。

ステップＳ２に進み、縮小部３４は表示用画像３３に対して縮小処理を行い、縮小画像３６を得る。顔認識処理部３８は、縮小画像３６からユーザの顔を認識するための後述するようなトラッキングポイントをＦＦＴ（高速フーリエ変換）により得て、トラッキングポイントＤＢ３９に格納する。また、顔認識処理部３８は認識したユーザの顔のトラッキングポイントから図１１に示す肌色計測エリア５０を設定する。

図１１は肌色計測エリアを表す一例の表示用画像である。なお、肌色計測エリア５０は外部設定ファイルにより変更が可能とする。例えば肌色計測エリア５０は外部設定ファイルにより、トラブルあるいは影の部分を除く顔の肌色部分全体とすることもできる。特にほほの部分の肌色が安定しているため、図１１の肌色計測エリア５０は基準として使用することができる。顔認識処理部３８は、設定した肌色計測エリア５０の情報を、トラッキングポイントＤＢ３９に格納したトラッキングポイントに付加する。

トリミング部３５は表示用画像３３に対してトリミング処理を行い、表示用画像３７を得る。詳細部位抽出部４０はトラッキングポイントＤＢ３９に格納したトラッキングポイントに基づき、トリミングを行った表示用画像３７に含まれるユーザの顔の画像から詳細部位を抽出し、その詳細部位から顔立ち診断に用いるタイプ等の追加情報を得る。

詳細部位抽出部４０はトラッキングポイントＤＢ３９に格納したトラッキングポイントに追加情報を付加した新たなトラッキングポイントをトラッキングポイントＤＢ４５に格納する。

ステップＳ３に進み、トリミング部４１は肌色測定用画像３２に対してトリミング処理を行い、肌色測定用画像４２を得る。肌色分析部４３はトラッキングポイントＤＢ４５に格納されたトラッキングポイント及び肌色計測エリア５０を得る。

肌色分析部４３はトラッキングポイント及び肌色計測エリア５０に基づき、肌色測定用画像４２の肌色計測エリア（例えば、ほほの部分）５０の画像を使ってヒストグラムを作成する。また、肌色分析部４３は作成したヒストグラムに基づき、頻度の高い色から全体のｎ％分の画素の平均値を計算する。なお、肌色の分類にはＨＳＶ色空間（ＨＳＶ値）を利用する。

ステップＳ４に進み、肌色分析部４３は肌色分類マップＤＢ４４から図１２に示す肌色分類マップを得る。図１２は肌色分類マップの一例のイメージ図である。肌色分類マップは「標準」，「明るめ」，「暗め」，「黄み」，「赤み」の代表ＨＳＶ値をモニターテストにより作成したものである。

肌色分析部４３は肌色分類マップの代表ＨＳＶ値と、ステップＳ３の肌色計算処理により求めたＨＳＶ値の位置関係を求め、図１２の肌色分類マップにプロットすることで肌色を分類する。

ステップＳ５に進み、表示制御部４６は、表示用画像３７，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分類結果の情報と、表示用画像３７とをモニタ１３に表示させる。

なお、表示制御部４６は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分類結果の情報と、顔立ち診断結果の情報と、表示用画像３７とをモニタ１３に表示させてもよい。

このように、肌色測定装置１は環境光の影響を除去してユーザの顔の画像を容易に撮影することができ、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定できる。

（メイクアップシミュレーション装置）
前述した肌色測定装置１の肌色測定機能は、後述のメイクアップシミュレーション装置に利用できる。そこで、以下では肌色測定装置１の肌色測定機能を利用するメイクアップシミュレーション装置について説明する。

本発明によるメイクアップシミュレーション装置は、鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。また、本発明によるメイクアップシミュレーション装置は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。

メイクアップシミュレーション装置は、撮影した動画像をコンピュータで画像処理することで、動画像に含まれるユーザの顔の画像にメイクアップを施して、デジタルの鏡であるモニタ１３に表示する。なお、メイクアップシミュレーション装置は、商品情報や美容情報もモニタ１３に表示できる。

次に、メイクアップシミュレーション装置の処理手順について説明する。図１３はメイクアップシミュレーション装置が行う処理の概略を表した一実施例のフローチャートである。図１４は、モニタに表示される画面の一例の遷移図である。

例えばタッチパネルモニタからユーザの顔の肌色測定開始の操作を受け付けると、メイクアップシミュレーション装置はステップＳ１１の顔画像取り込み処理を行う。ステップＳ１１の顔画像取り込み処理は図８のステップＳ１と同様である。顔画像取り込み処理により肌色測定用画像と、表示用画像とを撮影したあと、メイクアップシミュレーション装置はモニタ１３に例えば表示用画像を含む画面イメージ６１を表示する。

また、メイクアップシミュレーション装置はステップＳ１２に進み、図８のステップＳ２〜Ｓ５に相当する素肌色分析処理を行う。メイクアップシミュレーション装置は素肌色分析処理により、ユーザの顔の肌色を「標準」，「明るめ」，「暗め」，「黄み」，「赤み」に分類する。メイクアップシミュレーション装置は、肌色分類結果の情報と表示用画面とを含む画面イメージ６２をモニタ１３に表示する。

ステップＳ１３に進み、メイクアップシミュレーション装置はステップＳ１２の肌色分類結果の情報から、お勧めＦＤ（ファンデーション）を提案する為のお勧めＦＤ提案処理を行う。お勧めＦＤ提案処理は、ステップＳ１２の素肌色分析処理により分類するユーザの顔の色ごとに、ＦＤ商品情報を関連付けてデータベース（ＤＢ）化しておくことで実現することができる。即ち、メイクアップシミュレーション装置はステップＳ１２の肌色分類結果の情報に基づき、分類されたユーザの顔の色に関連付けられたＦＤ商品情報をＤＢから取得することで、お勧めＦＤ商品情報と表示用画面とを含む画面イメージ６３をモニタ１３に表示する。

ステップＳ１４に進み、メイクアップシミュレーション装置は肌色測定用画像を用いて立体感分析処理を行う。なお、立体感分析処理は公知の技術を利用できる。メイクアップシミュレーション装置は立体感分析結果と表示用画面とを含む画面イメージ６４をモニタ１３に表示する。

ステップＳ１５に進み、メイクアップシミュレーション装置はファンデーション，プレメーキャップ，フェースカラーの何れの商品効果シミュレーションを行わせるかを選択するための画面イメージ６４をモニタ１３に表示する。画面イメージ６５は、例えばユーザの顔の動画像と、ファンデーション，プレメーキャップ，フェースカラーの何れの商品効果シミュレーションを行わせるかを選択するボタン等の仕掛けとを含む。

例えばタッチパネルモニタからファンデーションの商品効果シミュレーションを選択するボタンが選択されると、ステップＳ１６に進み、メイクアップシミュレーション装置はファンデーションシミュレーション処理を行う。ファンデーションシミュレーション処理は動画像に含まれるユーザの顔にファンデーションのメイクアップを施して、モニタ１３に画面イメージ６６を表示するものである。なお、ファンデーションシミュレーション処理は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。

例えばタッチパネルモニタからプレメーキャップの商品効果シミュレーションを選択するボタンが選択されると、ステップＳ１７に進み、メイクアップシミュレーション装置はプレメーキャップシミュレーション処理を行う。プレメーキャップシミュレーション処理は動画像に含まれるユーザの顔にプレメーキャップを施して、モニタ１３に画面イメージ６７を表示するものである。なお、プレメーキャップシミュレーション処理は、公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。

また、例えばタッチパネルモニタからフェースカラーの商品効果シミュレーションを選択するボタンが選択されると、ステップＳ１８に進み、メイクアップシミュレーション装置はフェースカラーシミュレーション処理を行う。フェースカラーシミュレーション処理は動画像に含まれるユーザの顔にフェースカラーのメイクアップを施して、モニタ１３に画面イメージ６８を表示するものである。なお、フェースカラーシミュレーション処理は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。

図１５は、メイクアップシミュレーション装置の処理手順を表した一例の処理ブロック図である。図１５のメイクアップシミュレーション装置１００は、図７に示した肌色測定装置１の構成を一部に有している。

図１５に示すメイクアップシミュレーション装置１００は、アナログカメラ１５１，ＵＳＢキャプチャデバイス１５２，動画ファイル１５３，メイクアップカメラ１５４，ストロボ１５５，静止画システム１５６，共有メモリ１５７，シミュレータメインアプリ１５８，インターフェースアプリ１５９及び動画ファイル１６０を有する。メイクアップカメラ１５４は、図７のカメラ１４に対応する。ストロボ１５５は、図７のストロボ１６に対応する。

アナログカメラ１５１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス１５２経由で出力する。ＵＳＢキャプチャデバイス１５２から出力された動画像は例えばＡＰＩの一例としてのＤｉｒｅｃｔＸ１６１を利用してシミュレータメインアプリ１５８に入力される。動画ファイル１５３もＤｉｒｅｃｔＸ１６１を利用してシミュレータメインアプリ１５８に入力される。

メイクアップカメラ１５４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ１５４から出力された動画像は専用ＡＰＩ３１を利用してシミュレータメインアプリ１５８に入力される。シミュレータメインアプリ１５８は専用ＡＰＩ３１を利用して入力された動画像から動画像用解像度の原画像を得ると共に、前述の肌色測定用画像３２と、表示用画像３３とを得る。

シミュレータメインアプリ１５８はＤｉｒｅｃｔＸ１６１を利用して入力された動画像及び動画ファイル１５３と、専用ＡＰＩ３１を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、トリミング及び縮小処理を行う。

シミュレータメインアプリ１５８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ１５８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部１６３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント１６４を、ＦＦＴにより得る。

メイクアップ処理部１６５は、トラッキングポイント１６４に基づき、メイクアップ前画像に含まれるユーザの顔の画像に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。なお、メイクアップ処理部１６５は、ファンデーション処理部１６６，眉処理部１６７，シャドウ処理部１６８，口紅処理部１６９，チーク処理部１７０を有する。

メイクアップ処理部１６５は、メイクアップ後画像のようにメイクアップする為の商品情報１７１をメイクアップ後画像に含ませることができる。動画サーバ１７２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ１５７に書き込む。動画サーバ１７２は、メイクアップ前画像およびメイクアップ後画像を動画ファイル１６０として出力することもできる。

インターフェースアプリ１５９は、ＡｃｔｉｖｅＸコントローラ１８０及びＡｃｔｉｖｅＸビュアー１８１を利用している、動画コントロールオブジェクト１８２，動画表示オブジェクト１８３及びその他のコントローラ１８４を有する。なお、インターフェースアプリ１５９とシミュレータメインアプリ１５８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。

インターフェースアプリ１５９はＡｃｔｉｖｅＸビュアー１８１を利用して、供給メモリ１５７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ１３に表示することができる。

また、シミュレータメインアプリ１５８は、タッチパネルモニタからユーザの顔の肌色測定開始の操作を受け付けると、専用ＡＰＩ３１を利用して静止画撮影処理を行う。静止画撮影処理では、専用ＡＰＩ３１が、メイクアップカメラ１５４及びストロボ１５５を制御し、肌色測定用画像３２と、表示用画像３３とを撮影する。

なお、肌色測定用画像３２と、表示用画像３３とを撮影したあとのユーザの顔の肌色を測定する処理は図７と同様であるため、説明を省略する。なお、シミュレータメインアプリ１５８は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報を、静止画システム１５６に出力する。

静止画システム１５６は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分類結果の情報と、顔立ち診断結果の情報と、表示用画像３７とをモニタ１３に表示させる。

図１６は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント１６４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント１６４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。

以下では、シミュレータメインアプリ１５８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ説明する。なお、ファンデーション処理，眉処理，シャドウ処理，口紅処理，チーク処理等のメイクアップ処理は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。そこで、本実施例ではメイクアップ処理の一例としてファンデーション処理を例に説明する。

（顔認識処理）
図１７はメイクアップ前画像に含まれるユーザの顔のイメージ画像に、トラッキングポイントを表した一例のイメージ図である。シミュレータメインアプリ１５８の顔認識処理部１６３は、ユーザの顔のイメージ画像からユーザの顔を認識する為の４５点のトラッキングポイント１６４を得る。図１７のトラッキングポイント１６４は一例であって、メイクアップシミュレーション装置１００の処理能力やモニタ１３の精細度に応じて調整してもよい。

このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント１６４を得ることにより、メイクアップ処理部１６５はトラッキングポイント１６４と関連付けてメイクアップの施し方や色を図１８のようなメイクアップ処理パラメータファイルに設定しておくことができる。

図１８は、メイクアップ処理パラメータファイルの一例の構成図である。図１８のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント
１６４と関連付けてメイクアップの施し方や色が設定されているものである。なお、メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されるものである。

（ファンデーション処理）
シミュレータメインアプリ１５８に含まれるファンデーション処理部１６６は図１９に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント１６４を参照し、ファンデーション処理を行う。図１９はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。

図２０はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。

ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部１６６は図２１のイメージ画像に示す、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図２１は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。

ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部１６６は生成した輪郭に対応する対象画像へのぼかし処理を図２２のように行なう。図２２は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部１６６は肌の細かい荒れ等を平滑化することができる。

ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部１６６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。

以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。このように、メイクアップシミュレーション装置１００は撮影した動画像に含まれるユーザの顔の画像にメイクアップを施して、デジタルの鏡であるモニタ１３に表示することができると共に、環境光の影響を除去してユーザの顔の画像を容易に撮影することができ、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定できる。

なお、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ 肌色測定装置
１０ 本体部
１１ アーム部
１２ 土台部
１３，１３Ａ，１３Ｂ モニタ
１３ａ，１３ｂ 両端部分
１４ カメラ
１５ 照明
１６ ストロボ
２１ タッチパネルモニタ
２２ メモリカードＩ／Ｆ
２３ メモリカード
２４ 主記憶装置
２５ 演算処理装置
３０ コンピュータ
３１ 専用ＡＰＩ
３４ 縮小部
３５，４１ トリミング部
３８ 顔認識処理部
３９，４５ トラッキングポイントＤＢ
４０ 詳細部位抽出部
４３ 肌色分析部
４４ 肌色分類マップ
４６ 表示制御部
１００ メイクアップシミュレーション装置

Claims (8)

1. ユーザの顔の肌色を測定する肌色測定装置であって、
   環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影すると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影する撮影手段と、
   前記撮影手段のシャッタ動作に連動して発光するストロボ手段と、
   前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
   前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示する表示手段と
   を有する肌色測定装置。
2. 前記撮影手段は、偏光フィルタを介して前記肌色測定用画像を撮影することを特徴とする請求項１記載の肌色測定装置。
3. ユーザの顔を照らす冷陰極管又は発光ダイオードを含む照明手段を更に有することを特徴とする請求項１記載の肌色測定装置。
4. 前記表示手段は有機ＥＬ（organic electroluminescence）ディスプレイを含み、前記表示手段は前記有機ＥＬディスプレイの一部を、ユーザの顔を照らす照明手段として機能させることを特徴とする請求項１記載の肌色測定装置。
5. 前記表示手段は二つのディスプレイが並べられて配置され、前記撮影手段は前記二つのディスプレイの間に配置される請求項１記載の肌色測定装置。
6. 撮影手段と、ストロボ手段と、表示手段と、コンピュータとを有し、ユーザの顔の肌色を測定する肌色測定装置を、
   前記コンピュータが、前記撮影手段に、環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影させると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影させる撮影制御手段と、
   前記コンピュータが、前記ストロボ手段に、前記撮影手段のシャッタ動作に連動して発光させるストロボ制御手段と、
   前記コンピュータが、前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
   前記コンピュータが、前記表示手段に、前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示させる表示制御手段と
   して機能させるための肌色測定プログラム。
7. ユーザの顔の肌色を測定する肌色測定機能を有するメイクアップシミュレーション装置であって、
   環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影すると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影する撮影手段と、
   前記撮影手段のシャッタ動作に連動して発光するストロボ手段と、
   前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
   前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示する表示手段と、
   前記撮影手段が撮影した前記表示用画像に含まれるユーザの顔の画像をトラッキングポイントに基づき認識し、前記表示用画像に含まれるユーザの顔の画像にメイクアップ処理を施して前記表示手段に表示させるメイクアップ処理手段と
   を有するメイクアップシミュレーション装置。
8. 撮影手段と、ストロボ手段と、表示手段と、コンピュータとを有し、ユーザの顔の肌色を測定する肌色測定機能を有するメイクアップシミュレーション装置を、
   前記コンピュータが、前記撮影手段に、環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影させると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影させる撮影制御手段と、
   前記コンピュータが、前記ストロボ手段に、前記撮影手段のシャッタ動作に連動して発光させるストロボ制御手段と、
   前記コンピュータが、前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
   前記コンピュータが、前記表示手段に、前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示させる表示制御手段と、
   前記コンピュータが、前記撮影手段が撮影した前記表示用画像に含まれるユーザの顔の画像をトラッキングポイントに基づき認識し、前記表示用画像に含まれるユーザの顔の画像にメイクアップ処理を施して、前記表示手段に表示させるメイクアップ処理手段と
   して機能させるためのメイクアップシミュレーションプログラム。