JP3600497B2 - 化粧アドバイスシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は化粧方法および化粧品選択のためのアドバイスに利用する。本発明は化粧品販売店の店頭に配置し販売員を援助する装置に利用する。
【０００２】
【従来の技術】
店頭における化粧品の販売には、従来より、販売員が客の要望を聞き、化粧方法および化粧品を選択し、対象者の顔に実際に化粧を施す実演販売が広く行われている。実演販売は顧客の顔に直接化粧を施すので、顧客に化粧の効果を理解させるのに有効な手段であるが、仕上がりが顧客の要望に沿わない場合はやり直す必要がある。
【０００３】
【発明が解決しようとする課題】
顧客に化粧を施したり化粧をやり直したりせず、効率良く販売するため、顧客の顔の画像を表示装置に表示させ、コンピュータによる画像処理技術を用いて、化粧のシミュレーションを行う方法が特開平１０−２１２９０号公報に開示されている。そこでは、顧客の顔の画像を表示装置に表示し、その肌の色を変化させることで擬似的に化粧を施したときと同じ状態を作り出す。
【０００４】
しかし、この方法で画面上の顔の画像に化粧を施すと、実際に化粧を施すときと比較して違和感が生じることは否めない。
【０００５】
また、この方法では、販売員が顧客の要望を聞き、化粧を施すので、販売員と顧客との感覚の相異により、顧客の希望するのとは異なる化粧を販売員が施す場合もある。
【０００６】
このような問題を解決するために、本願出願人は、特願平１０−３７３９７５号（以下、先願という）により、化粧を施したモデルの顔の画像を撮影し、この顔の画像から前記モデルの化粧前の顔部分の情報を除去した画像を化粧データとして抽出することにより化粧データを作成し、この化粧データを異なる特徴を有する顔のタイプ別にそれぞれ分類してメモリに蓄積しておき、これらの化粧データの中から顧客の顔の画像に適合するような化粧データを選択するとともに、さらに、この化粧データを顧客の顔に合わせて変形させて対象者の化粧後の顔を合成する化粧アドバイスシステムを提案した。
【０００７】
この化粧アドバイスシステムによって、顧客の顔に実際に化粧を施すことなく、顧客が化粧を施した場合の顔をイメージすることができるようになった。しかし、当該化粧アドバイスシステムによっても、なお、実際の化粧後の顔と画面上の化粧後の顔との違和感は拭い去れないという評価がある。
【０００８】
本発明は、的確に化粧の仕上がり具合を把握することができる化粧アドバイスシステムを提供することを目的とする。本発明は、きわめて実際に近い仕上がり具合の化粧後の顔の画像を得ることができる化粧アドバイスシステムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、化粧を施したモデルの顔を単に撮影して化粧データを得る先願を改良したものであり、化粧後の顔の表面光成分と内部光成分とをそれぞれ抽出し、これから化粧後の顔に塗布された物質の内部で反射された反射光に相当する内部光化粧データおよび化粧後の顔に塗布された物質の表面で反射された反射光に相当する反射光化粧データを得ることを特徴とする。
【００１０】
ここで、表面光とは反射光のうち物質の表面で反射する成分をいい、入射光の偏光方向が保存される。表面光は主に艶や光沢を表す。内部光とは反射光のうち物質の内部に入り込んだ後に出てくる成分をいい、物質内部で複数回散乱した後に外に出てくるために入射光の偏光が保存されない。内部光は主に色味を表す。表面光と内部光とを分離して抽出するためには、それぞれの偏光の相違を利用できる。
【００１１】
すなわち、本発明の第一の観点は化粧アドバイスシステムであって、本発明の特徴とするところは、対象者である顧客の顔を撮影するカメラ装置と、このカメラ装置により撮影された対象者の顔に仮想的に化粧を施す手段により化粧が施された顔の画像を表示する表示装置とを備え、化粧による顔の変化を表す化粧データの画像が複数蓄積され、前記仮想的に化粧を施す手段は、前記複数の化粧データの画像のいずれかを選択して前記対象者の顔の画像に適合するように変形させて対象者の顔の画像と合成する手段を備え、前記化粧データは、前記表面光化粧データと前記内部光化粧データとからなるところにある。
【００１２】
本発明の第二の観点は化粧顔合成方法であって、本発明の特徴とするところは、化粧を施したモデルの顔の画像を撮影し、この顔画像から化粧前の顔の情報が除去された化粧データとして、物質の表面で反射された反射光に相当する表面光化粧データと物質の内部で反射された反射光に相当する内部光化粧データとに分離された化粧データを抽出し、対象者の化粧前の画像を撮影し、この対象者の化粧前の顔の画像に、前記表面光化粧データおよび前記内部光化粧データを合成することにより対象者の化粧前の顔の画像を合成表示するところにある。
【００１３】
本発明の第三の観点は化粧データ作成方法であって、本発明の特徴とするところは、化粧を施したモデルの顔の画像を撮影し、この画像から前記モデルの化粧前の顔の情報が除去された化粧データとして、光の偏光に基づいて化粧後の顔に塗布された物質の表面で反射された反射光に相当する表面光化粧データと化粧後の顔に塗布された物質の内部で反射された反射光に相当する内部光化粧データとに分けたデータを作成するところにある。
【００１４】
【発明の実施の形態】
本発明実施例の化粧アドバイスシステムの構成を図１を参照して説明する。図１は本発明実施例の化粧アドバイスシステムの要部ブロック構成図である。
【００１５】
化粧アドバイスシステムは、カメラ装置１と、対象者の顔の画像等を表示する表示装置２とを備える。化粧による顔の変化を表す化粧データの画像がメモリ４に複数蓄積してある。制御部３は、メモリ４に蓄積された複数の化粧データの画像のいずれかを選択して前記対象者の顔の画像に適合するように変形させて対象者の顔の画像と合成する。前記化粧データは、化粧後の顔に塗布されたファンデーションなどの物質の表面で反射された反射光に相当する表面光化粧データと化粧後の顔に塗布されたファンデーションなどの物質の内部で反射された反射光に相当する内部光化粧データとからなる。
【００１６】
本発明実施例の化粧アドバイスシステムの動作を図１ないし図４を参照して説明する。化粧アドバイスシステムでは、カメラ装置１により対象者の化粧されていない顔の画像を撮影し、この対象者の化粧前の顔の画像に、メモリ４に蓄積されている化粧データを合成し、対象者の化粧後の顔の画像を合成表示する。このとき用いる化粧データは、化粧を施したモデルの塗布前後の顔を偏光板を用いて撮影し、表面光画像と内部光画像とを計算で求め、塗布前後の内部光画像から内部光化粧データを抽出し、塗布後の表面光画像から表面光化粧データを抽出することで求める。
【００１７】
以下詳述する。図２に示すように、偏光板１０を透過することにより偏光面が整えられた光が化粧膜の表面を通過し、内部で散乱を複数回繰り返した後に外に出てくる場合には、偏光板１０で整えられた光は内部反射することにより、様々な偏光を有する光すなわち、内部光となって外に出ていく。
【００１８】
また、図３に示すように、偏光板１０を透過することにより偏光面が整えられた光が化粧膜の表面で反射した場合には、偏光板１０で整えられた偏光方向は保存される。図３の例では、偏光板１０により縦方向の偏光に整えられた光が表面反射することにより、再び縦方向の偏光を有する光すなわち、表面光となって反射される。
【００１９】
これら内部光および表面光の画像からそのモデルの化粧を施す前の顔の画像の情報を除くことによって内部光化粧データおよび表面光化粧データを得る。
【００２０】
具体的手法としては、図２に示すように、偏光板１１および１２を透過した光をカメラ装置１によりそれぞれ撮影する。偏光板１１を透過して撮影された画像を画像ａとする。偏光板１２を透過して撮影された画像を画像ｂとする。ここで、表面光画像を得たいときには、画素毎に、
画像ａ−画像ｂ
の演算を行って画像合成を行う。すなわち、偏光板１０は縦方向の偏光面を有するが、化粧膜の内部に入ってから散乱を繰り返した後に再び外に出た内部光は、その偏光が乱れるので、様々な偏光面の光を含み、縦方向の偏光板１１を通過するのは内部光全体の半分である。表面光は、反射後も入射前の偏光面が保存されるので、図３に示すように、全て縦方向の偏光板１１を通過する。したがって、縦方向の偏光面を有する光には、表面光全部と内部光の半分が含まれる。つまり、画像ａには、表面光全部および内部光の半分が含まれる。
【００２１】
次に横方向の偏光に着目すると、内部光は様々な偏光面の光を含み、横方向の偏光板１２を通過するのは内部光全体の半分である。表面光は反射前の偏光面が保存されるので、横方向の偏光は含まず、横方向の偏光板１２は通過できない。したがって、横方向の偏光面を有する光には、内部光の半分のみが含まれる。つまり、画像ｂには、内部光の半分が含まれる。したがって、画像ａから画像ｂの要素を差し引くことにより、表面光画像を得ることができる。
【００２２】
また、内部光画像を得たいときには、
２×画像ｂ
として画像合成を行う。すなわち、画像ｂには、内部光の要素しか含まれていないので、画像ｂとしてとらえられる光はそのまま全て内部光画像となる。しかし、内部光の約半分は、偏光板１２によって遮光されるので、遮光分を補う目的で、画像ｂの光量を２倍にする。偏光板の特性（通すべき偏光の吸収、遮るべき偏光の漏れ）は別途補正しておく。
【００２３】
化粧データの作成手法としては、
（化粧データ：内部光）＝（モデルの化粧後の顔：内部光）−［Ａ×（モデルの化粧前の顔：内部光）］
（化粧データ：表面光）＝（モデルの化粧後の顔：表面光）
により得ることができる。すなわち、モデルの化粧後の顔の内部光の画像からモデルの化粧前の顔の内部光の画像を差し引くことにより、内部光の化粧データを得ることができる。また、モデルの化粧後の顔の表面光の画像は、そのまま表面光の化粧データとなる。
【００２４】
また、化粧膜の透過率Ａは、図４に示すように定義される。図４は、横軸（ｘ）に素肌の［Ｒ、Ｇ、Ｂ］測色値をとり、縦軸（ｙ）に化粧肌の［Ｒ、Ｇ、Ｂ］測色値をとる。また、破線はｘ＝ｙとしたときの値であり、実線は、化粧の膜厚がある一定値という条件の下で素肌の測色値と化粧肌の測色値をプロットしたものである。なお、破線と実線との交点は、化粧膜塗布前後で肌の色が変っていないことを示す点であり、化粧膜そのものの色である。化粧の膜厚によって実線の傾きは変わるが、この点は必ず通る。この交点の化粧肌の［Ｒ、Ｇ、Ｂ］測色値を一点鎖線で示すと、ｑは破線と実線との差分であり、ｐは一点鎖線と実線との差分である。このとき、
透過率Ａ＝ｐ／（ｑ＋ｐ）
と定義する。ここで、［Ｒ、Ｇ、Ｂ］測色値とは、測色したスペクトルを、光の三原色に分解したときの（赤、緑、青）成分の値である。測色値と画素値との間に、
（画素値）＝（補正係数）×（測色値）
を仮定することで、測色値から画素値に容易に拡張できる。ただし（補正係数）とは、光源の位置と明るさ・物質の形によって定まる物質表面の各位置の関数である。
【００２５】
得られた表面光画像および内部光画像を用いて化粧後の顔の合成を行う。化粧後の顔の合成手法は、
［Ａ×（対象者の化粧前の顔：通常光）＋（化粧データ：内部光）］＋［（１−Ａ）×（化粧データ：表面光）］
によって実現することができる。すなわち、通常光により撮影された対象者の化粧前の顔の画像に化粧膜の透過率Ａを乗じる。これに内部光による化粧データを合成する。さらに、表面光による化粧データに（１−Ａ）を乗じた画像を合成する。これにより、対象者の化粧前の顔の画像に、内部光および表面光を合成した化粧後の顔の画像を得ることができる。このとき、対象者は化粧前の顔の画像を一回だけ撮影することですむ。
【００２６】
対象者に対して表面光画像と内部光画像とを抽出すれば、より良い近似が得られるが、対象者を二種類の偏光で撮影することが必要で、装置が大掛かりになり、作業も煩雑になるために本発明の目的にそぐわない。対象者に対して表面光と内部光を抽出することが可能な条件下では、上式のかわりに下式を使うことでより良い近似が得られる。
［Ａ×（対象者の化粧前の顔：内部光）＋（化粧データ：内部光）］＋（化粧データ：表面光）
次に、本化粧アドバイスシステムによる化粧アドバイスの手順を説明する。
【００２７】
ステップ１（対象者撮影）：対象者の化粧前の顔を通常光で照らし、カメラ装置１によって撮影する。このとき、正しく撮影されたことの確認のため、撮影した顔画像を表示装置２に表示する。
【００２８】
ステップ２（眉合成）：対象者の化粧前の顔の画像から眉を消し、その代わりに、メモリ４に蓄積してある複数の化粧眉の画像の中から所望の化粧眉の画像を選択して対象者の化粧前の顔の画像に合成する。このとき必要ならば化粧眉の画像の変形を行う。
【００２９】
ステップ３（ファンデーション合成）：以下説明する手法により対象者の化粧前の顔の画像に前記表面光および前記内部光を合成し、対象者の顔にファンデーションを施した化粧後の顔を合成する。
【００３０】
すなわち、メモリ４に蓄積されている複数の化粧データから対象者が希望する色、艶および形状その他の諸条件を満足する化粧データを選択する。この化粧データは、例えば、色白用、色黒用などのタイプ別に分類されている。さらに、対象者の顔のワイヤーフレームを作成し、このワイヤーフレームに基づいて選択した化粧データに変形を加えて対象者の化粧前の顔と合成（画素毎に加算）する。ここで用いる化粧データは前記表面光および前記内部光による化粧データである。合成結果はファンデーションの領域のみなので、他の領域は化粧前の画像を用いて一枚の画像とする。
【００３１】
このとき、一般に、鼻近傍は個人差が大きく構造が複雑なため、合成することが困難であることから、鼻近傍は対象者の化粧前の画像を用い、他の部分との境界にぼかしを入れる。ぼかしを入れるには、あらかじめ鼻近傍をぼかすためのマスク画像を用意しておき、合成結果を化粧前画像と重ね合わせるときに対応するマスク画像の画素値に応じて混合の比率を変えるマスク処理と呼ばれる手法により行う。
【００３２】
ステップ４（口紅合成）：対象者の唇の形に合わせ、メモリ４に蓄積された複数の口紅塗布領域輪郭データとその色を選択して合成する。このとき必要ならば口紅塗布領域の変形を行う。
【００３３】
ステップ５（表示確認）：眉、ファンデーション、口紅を合成した画像を表示装置２に表示することにより、対象者の希望に沿っているか確認する。希望と異なるときはステップ２に戻り、新たな選択を行い合成して再表示する。こうして対象者の希望に合わせた化粧アドバイスを行うことができる。
【００３４】
ステップ６（提案書作成）：ステップ１〜５により得られた合成画像、そのメークアップを施す際に必要となる化粧品および化粧道具の種類、化粧手順、その他必要な事項を記載した提案書を作成する。
【００３５】
このようにして、本実施例の化粧アドバイスシステムを用いることにより、対象者の顔に実際にメークアップを施すことなく、対象者の希望に沿ったメークアップの合成画像を作成し、その合成画像をもとにして化粧品および化粧道具を選択して対象者に提示することができる。特に、表面光および反射光による化粧データを用いることにより、実際のメークアップ仕上がり状態にほぼ近い合成画像を対象者に提示することができる。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、的確に化粧の仕上がり具合を把握することができる。また、本発明の化粧アドバイスシステムを用いることにより店頭にて効率良く化粧品の販売を行うことができる。さらに、本発明の化粧アドバイスシステムによれば、実際の仕上がり具合と画面上の仕上がり具合との違和感を軽減させることができる。
【図面の簡単な説明】
【図１】本発明実施例の化粧アドバイスシステムの要部ブロック構成図。
【図２】内部光の抽出を説明する図。
【図３】表面光の抽出を説明する図。
【図４】透過率の定義を説明する図。
【符号の説明】
１ カメラ装置
２ 表示装置
３ 制御部
４ メモリ
１０、１１、１２ 偏光板

Claims (3)

1. 対象者の顔を撮影するカメラ装置と、このカメラ装置により撮影された対象者の顔に仮想的に化粧を施す手段により化粧が施された顔の画像を表示する表示装置とを備え、
   化粧による顔の変化を表す化粧データが複数蓄積され、
   前記仮想的に化粧を施す手段は、前記複数の化粧データのいずれかを選択して前記対象者の顔の画像に適合するように変形させて対象者の顔の画像と合成する手段を備え、
   前記化粧データは、偏光板を通過した光が化粧後の顔に塗布された物質の表面で前記偏光板の偏光方向が保存されて反射された反射光である表面光化粧データと、化粧後の顔に塗布された物質の内部で反射され前記偏光板の偏光方向が保存されない反射光に相当する内部光化粧データとからなる
   ことを特徴とする化粧アドバイスシステム。
2. 第一の偏光板を介して化粧後の顔の表面に光を照射する手段と、前記第一の偏光板と同一の偏光方向である第二の偏光板を通過する反射光を測定し内部反射光成分を除いた表面光化粧データを生成する手段と、前記第一の偏光板と直交する偏光方向である第三の偏光板を通過する反射光を測定し内部光化粧データを生成する手段とを備えた請求項１記載の化粧アドバイスシステム。
3. 第一の偏光板を通過した光を化粧を施したモデルに当て、前記第一の偏光板と同じ偏光方向の第二の偏光板を通過した反射光の画像と、前記第一の偏光板と直交する偏光方向の第三の偏光板を通過した反射光の画像とを撮影する手段と、
   この撮影された画像から前記モデルの化粧前の顔の情報が除去された化粧データとして、光の偏光に基づいて化粧後の顔に塗布された物質の表面で反射された反射光に相当する表面光化粧データと、化粧後の顔に塗布された物質の内部で反射された反射光に相当する内部光化粧データとを抽出する手段とを備えた
   化粧データ作成装置。

Images