JP3857157B2

JP3857157B2 - 化粧シミュレーション装置および方法

Info

Publication number: JP3857157B2
Application number: JP2002049942A
Authority: JP
Inventors: 伸俊小島; 秀一赤崎
Original assignee: Kao Corp
Current assignee: Kao Corp
Priority date: 2002-02-26
Filing date: 2002-02-26
Publication date: 2006-12-13
Anticipated expiration: 2022-02-26
Also published as: JP2003256812A

Description

【０００１】
【発明の属する技術分野】
本発明は、顧客の顔画像を撮影して所望の化粧を施した画像を生成する化粧シミュレーション装置に利用する。本発明は、化粧品販売店などの店頭において、顧客に化粧方法や化粧品選択などのアドバイスを与えるサービスに利用する。
【０００２】
【従来の技術】
出願人は被験者の顔画像を撮影し、この撮影した顔画像に仮想的な化粧を施すシミュレーションを行ってその結果を出力し、化粧のアドバイスを行う化粧アドバイスシステムを、特開２０００−１９４８３５号公報、特開２００１−２３８７２７号公報として提案している。
【０００３】
前者の特開２０００−１９４８３５号の提案は、化粧を施したモデルの顔の画像を撮影し、この顔の画像から前記モデルの化粧前の顔の部分の情報を除去した画像を化粧データとして抽出することにより化粧データを作成し、この化粧データを異なる特徴を有する顔のタイプ別にそれぞれ分類してメモリに蓄積しておき、これらの化粧データの中から顧客の顔の画像に適合するような化粧データを選択するとともに、この化粧データを顧客の顔に合わせて変形させて、顧客の撮影された顔画像と合成し、顧客の化粧後の画像を生成するものである。
【０００４】
また後者の特開２００１−２３８７２７号の提案は、化粧データとして、化粧後の顔の表面反射光成分と内部反射光成分とをそれぞれ偏光を用いて分離して抽出し、被験者の化粧前の顔画像に抽出された内部反射光による化粧データと表面反射光による化粧データとを合成することで、より自然な化粧シミュレーションを行うとするものであった。
【０００５】
【発明が解決しようとする課題】
最近、雲母チタンに代表されるパール光沢顔料を用いたファンデーション等のメイクアップ化粧料によって、塗布部の色相感覚を変化させることが行われているが、光沢の部分については表面反射光と内部反射光とを分離するだけでは必ずしも十分なシミュレーションができなかった。
【０００６】
これは、顔の光沢は、顔の３次元形状に依存するもので、３次元形状が変化すると光沢の強さも色合いも変化してしまうためである。つまり、被験者の顔の３次元形状により光沢は左右されるものであるから、モデルの化粧データを用いて表面反射光成分と内部反射光成分とを考慮したシミュレーションを行っても十分でない。
【０００７】
さらに、被験者の顔の３次元形状を微細に計測して、その上で３次元画像について処理を行うことは画像処理の負荷が大き過ぎ、また被験者の顔の精細な３次元形状を計測することも容易ではないため、実用的ではない。
【０００８】
本発明はこのような問題を解決するもので、被験者の化粧を行った後の自然な艶（光沢）を再現できるシミュレーション装置および方法を提供することを目的とする。また、本発明は、偏光を用いて被験者の顔の表面反射光成分と内部反射光成分とを分離した被験者の顔画像を抽出し、自然な質感をもった被験者の化粧後の顔画像を提供できる装置および方法を提供することを目的とする。また、再現された化粧後の画像に基づいて適切な化粧品のアドバイスを可能とする化粧シミュレーション装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の第一の観点は、化粧シミュレーション装置にかかるもので、被験者の顔を撮影するカメラ装置と、前記被験者の顔の表面で反射された反射光成分からなる表面顔画像データと内部で反射された反射光成分からなる内部顔画像データとを分離して抽出する手段と、前記抽出された前記表面顔画像データに色または強度の変化を与える表面光修正手段と、前記内部顔画像データと前記表面光修正手段で変化が与えられた表面顔画像データとを合成する手段と、顔画像を表示する表示装置とを含むことを特徴とする。
【００１０】
本発明の第二の観点は、化粧シミュレーション方法にかかるもので、被験者の顔を撮影し、表面から反射された反射光成分からなる表面顔画像データと内部から反射された反射光成分からなる内部顔画像データとに分離して抽出し、抽出された前記表面顔画像データの色または光強度を変更し、この変更後の表面顔画像データと前記内部顔画像データとを合成して化粧後の被験者の顔画像を出力することを特徴とする。
【００１１】
本発明においては、まず被験者の顔を撮影して、その画像から表面反射光成分の表面顔画像データと内部反射光成分の内部顔画像データとを分離抽出する。
【００１２】
ここで、表面反射光とは反射光のうち物質の表面で反射する成分をいい、入射光の偏光方向が保存される。この表面反射光は主に艶や光沢を表す。内部反射光とは反射光のうち物質の内部に入り込んだ後に出てくる成分をいい、物質内部で複数回散乱した後に外へ出てくるために入射光の偏光が保存されない。内部反射光は主に色味を表す。表面反射光と内部反射光とを分離して抽出するためには、それぞれの偏光の相違を利用できる。
【００１３】
内部顔画像データについては、被験者の内部顔画像データに化粧を施す処理を行って、色情報としての化粧後の化粧顔画像を生成することができる。例えば、あらかじめ蓄積されたモデルの化粧データを被験者の顔画像に合わせて変形して合成する。一方、表面顔画像データは、その光強度または色を変化させる。この変化させた被験者の表面顔画像データと、化粧データ処理がされた被験者の内部顔画像データとを合成して化粧後の被験者の顔画像を生成する。
【００１４】
これにより、顔の表面の艶あるいは光沢に自然な感じをもたせた化粧後の顔画像を生成でき、被験者に対する化粧アドバイスも的確なものになる。
【００１５】
被験者の顔画像から表面顔画像データと内部顔画像データとを分離するには、一方向に偏光した撮影光を被験者に照射し、偏光方向が保存された（同一の偏光方向）光は、表面反射光と内部反射光とが混ざったものとし、偏光方法が保存しない光は内部反射光であるとして、表面反射光の顔画像データと内部反射光の顔画像データとを抽出する。
【００１６】
表面反射光の顔画像データの色は赤から青まで任意に選択することが可能である。選択された色に対応する化粧品については、どの色についてどのような配分の化粧品が適合するかをアドバイザが経験的に知っているから、合成された化粧後の被験者の顔画像に合わせた化粧品を勧めることができる。
【００１７】
なお、化粧を施した顔の変化を表す化粧データが複数蓄積され、前記仮想的に化粧を施す手段は、被験者の前記内部顔画像データに前記蓄積された化粧データのいずれかを選択して前記被験者の内部顔画像データと合成する手段を含むことができる。
【００１８】
また、前記抽出する手段は、被験者に一方向に偏光した光を入射光とし、入射光の偏光方向が保存された反射光と偏光方向が保存されていない反射光とを検出して、表面反射光成分と内部反射光成分とを分離することがよい。
【００１９】
なお、本発明は、カメラ装置と表示装置とが接続された情報処理装置にインストールすることにより、この情報処理装置をこの撮影された被験者の顔画像データに仮想的に化粧を施す手段として機能させるプログラムによっても実現できる。このプログラムは、記録媒体あるいは通信回線を介して提供することができる。
【００２０】
【発明の実施の形態】
本発明実施例として、化粧品のアドバイスシステムとして利用される化粧シミュレーション装置の構成を図１を参照して説明する。図１は、本発明実施例の化粧シミュレーション装置の要部ブロック図である。
【００２１】
本実施例の化粧シミュレーション装置は、被験者を撮影するカメラ装置１と、被験者の顔の画像等を表示する表示装置２とを備える。化粧による顔の変化を表す化粧データの画像がメモリ４に複数蓄積してある。制御部３は、メモリ４に蓄積された複数の化粧データの画像のいずれかを選択して前記被験者の顔の画像に適合するように変形し、被験者の画像と合成して仮想的な化粧が施された顔画像を生成するシミュレーション処理を行う。また、カメラ装置１で撮影した被験者の顔画像を、肌の表面で反射された反射光成分からなる表面顔画像データと内部で反射された反射光成分からなる内部顔画像データとに分離して抽出する。
【００２２】
本発明実施例の化粧シミュレーション装置の動作を図１ないし４を参照してさらに説明する。本実施例の化粧シミュレーション装置では、カメラ装置１により被験者の化粧されていない顔の画像を撮影し、この顔画像を、皮膚の表面で反射された反射光成分と皮膚の内部で反射された反射光成分とに分離して、顔画像のデータを表面顔画像データと内部顔画像データとして抽出する。そして、抽出された内部顔画像データに、メモリ４に蓄積されている化粧データのいずれかを選択して合成し、被験者の化粧後の内部顔画像データを生成する。また、表面顔画像データについては、その表面反射光成分の色あるいは強度を所望のものに変更する処理を行ったのち、化粧後の内部顔画像データと合成し、被験者の化粧後の顔画像として表示装置２に表示する。
【００２３】
以下図２を参照して詳細に説明する。
【００２４】
まず、被験者の化粧前の顔画像を撮影して内部顔画像データ（Ａ−１）と表面顔画像データ（Ｅ−２）とを生成する。このとき、内部顔画像データとして、肌の内部から反射された肌の色などのデータ（Ａ−１）とともにワイヤーフレーム（Ａ−２）を作成する。ワイヤーフレームは、顔画像上に配置された複数の特徴点を線で連結することによって得られる画像で、顔の特に構造的な特徴を線と点で表している。表面顔画像データ（Ｅ−２）の生成については後述する。
【００２５】
メモリ４には、複数のタイプの顔のモデルについて化粧を施した化粧データ画像の化粧データが蓄積されている。この化粧データ画像は、モデルの顔の特徴を表した化粧データ画像のワイヤーフレーム（Ｂ−２）と化粧後のモデルの顔画像から化粧前のモデルの顔画像を除いた化粧データである化粧データ画像(Ｂ−１）とからなる。化粧データ画像はいわばファンデーションのデータである。これらの化粧データは、複数のタイプのモデルについて分類されて蓄積されており、被験者にあわせて選択する。
【００２６】
選択された化粧データ画像（Ｂ−１）のワイヤーフレーム（Ｂ−２）を被験者の化粧前の内部顔画像データのワイヤーフレーム（Ａ−２）を参考にして被験者の化粧前の内部顔画像に適合するように変形する（Ｃ−２）。変形された化粧データ画像のワイヤーフレームにしたがって化粧データ画像（Ｃ−１）を作成する。この作成された化粧データ画像と撮影された被験者の内部化粧前画像とを合成し（＋）、被験者の内部化粧画像を生成する（Ｄ）。
【００２７】
被験者の内部顔画像データに化粧を施す処理とは別に、撮影した被験者の顔画像データから抽出した表面顔画像データに艶色のシミュレーション処理を行う。この処理は、被験者の顔画像データから、皮膚の内部で散乱された内部反射光成分を除いた肌の表面だけのデータである表面顔画像データを抽出して、その表面顔画像データに、表面の光沢を表す表面反射光の色相あるいはその強度を変更する処理を行うものである。この処理は、被験者の顔の三次元構造によって左右される光沢や表面の色を調整するもので、これにより、より自然な化粧シミュレーション処理結果を得ることができる。
【００２８】
被験者の表面顔画像データのみを抽出するには、偏光を利用する。具体的には、図３に示すように、受光側の偏光板１１および１２を透過した光をカメラ装置１によりそれぞれ撮影する。偏光板１１を透過して撮影された画像を画像ａとする。偏光板１２を透過して撮影された画像を画像ｂとする。ここで、表面顔画像データを得たいときには、画素ごとに、画像ａ−画像ｂの演算を行って画像合成を行う。図２においては、化粧前の（内部＋表面）画像（Ｅ−１）から化粧前内部画像（Ａ−１）を除く処理（−）である。
【００２９】
この原理を説明する。入射側の偏光板１０は、縦方向の偏光面を有するが、肌の内部に入ってから散乱を繰り返した後に再び外に出た内部反射光は、その偏光が乱れるので、様々な偏光面の光を含み、縦方向の偏光板１１を通過するのは内部反射光全体の半分である。表面反射光は、反射後も入射前の偏光面が保存されているので、図４に示すように、全て縦方向の偏光板１１を通過する。したがって、縦方向の偏光面を有する光には、表面反射光の全部と内部反射光の半分が含まれる。つまり、画像ａには表面反射光と内部反射光の半分とが含まれる。
【００３０】
次に反射光における横方向の偏光に着目すると、内部反射光は、様々な偏光面を含み、横方向の偏光板１２を通過するのは、内部反射光全体の半分になる。表面反射光は反射前の偏光面が保存されるため、横方向の偏光を含まず、横方向の偏光板１２を通過する成分はない。したがって、横方向の偏光面を有する光には、内部反射光の半分のみが含まれる。つまり、画像ｂは内部反射光の半分が含まれる。したがって、画像ａから画像ｂの要素を差し引くことにより、表面顔画像データを得ることができる。
【００３１】
また、内部顔画像データを得たいときは、２×画像ｂとして画像合成を行う。すなわち、画像ｂには、内部反射光の要素しか含まれていないので、画像ｂとしてとらえられる光はすべて内部顔画像データとなる。しかし、内部反射光の約半分は、偏光板１２によって遮光されるので、遮光分を補う目的で、画像ｂの光量を２倍にする。実際には、偏光板の特性（透過すべき偏光の吸収、遮るべき偏光の漏れなど）によって補正が行われる。なお別途、肌の透過率や、被験者の撮影する顔画像が化粧後の場合にはファンデーションによる透過率などに基づき、内部反射光の透過率については、係数補正を施して、内部画像データと表面画像データとがより精度よく抽出できるようにする。これは、ファンデーションの重ね塗りを行うのが普通なので、化粧シミュレーションは、被験者の素顔ができるだけではないようにするためである。
【００３２】
抽出された表面顔画像データについては、表面反射光の色または強度（明るさ）を変更する処理を行う（図２の艶色シミュレーション処理）。これは、装置の操作者（美容アドバイザ）が行ってよく、被験者の撮影画像を表示しながら、色相あるいは明るさを変更して、被験者の状態に近い光沢感になるように調整する。被験者の表面反射光の色の変更は、シミュレーション装置の操作端を操作することでＲＧＢの配分割合を変更して色相を変更する。この被験者の顔画像データについての表面反射光の色相あるいは明るさの変更処理を行うことにより、より自然な光沢感を出すことができる。
【００３３】
この艶色シミュレーション処理における明るさ変更処理および色相変更処理について説明する。
【００３４】
明るさ変更処理では、表面顔画像（Ｅ−２）のＲＧＢ成分のすべてに同じ定数を乗算し、その強度を変更させた画像を作成する。例えば
Ｏ_R(x,y)＝ａ×Ｉ_R(x,y)
Ｏ_G(x,y)＝ａ×Ｉ_G(x,y)
Ｏ_B(x,y)＝ａ×Ｉ_B(x,y)
すなわち、変更後の表面反射光画像＝定数×変更前の表面光画像
で表される。
【００３５】
また、色相の変更処理は、化粧前表面画像（Ｅ−２）のＲＧＢ成分に所望の色に応じてＲＧＢごとに別々の配分割合（定数）を乗算し、色相を変更させた画像を生成する。例えば
Ｏ_R(x,y)＝ａ_R×Ｉ_R(x,y)
Ｏ_G(x,y)＝ａ_G×Ｉ_G(x,y)
Ｏ_B(x,y)＝ａ_B×Ｉ_B(x,y)
すなわち、（変更後の表面反射光画像）＝（分配割合）×（変更前の表面光画像）で表される。
【００３６】
具体的には、例えば赤みの艶を作成する場合は、ａ_R＝1．2、ａ_G＝1．0、ａ_B＝0．8、青みの艶を作成する場合には、ａ_R＝0．8、ａ_G＝1．0、ａ_B＝1．2、の定数を用いる。
【００３７】
また、実際の着色パール光沢顔料の艶色シミュレーションを行う場合には、黒の人工皮革や黒いドール等に塗布し、その画像の艶部分のＲＧＢの値を配分割合として、ａ_R、ａ_G、ａ_Bを算出してもよい。発明者らは、上記ａ_R＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ａ_G＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、ａ_B＝Ｂ／（Ｒ＋Ｇ＋Ｂ）とする算出方法で実施した結果良好な結果を得ている。
【００３８】
こうして、色あるいは明るさが変更された表面顔画像データ（Ｅ−３）と、化粧データが施された内部化粧顔データ（Ｄ）とを合成し（＋）、被験者の化粧後の顔画像として出力する。
【００３９】
ファンデーションの重ね塗りのシミュレーションを行う場合には、このような処理を複数回行うことになり、化粧後の被験者の内部顔画像データと表面顔画像データとを分離抽出し、表面顔画像データについては、艶色シミュレーション処理を施し、重ね塗りする化粧データと合成することで、化粧後の顔画像を生成する。
【００４０】
そして、本発明実施例では、表面反射光についてＲＧＢの配分処理を変更して色相を変更するので、アドバイザは、表示装置２に表示された被験者の顔画像の色合いに応じて対応する色合いの化粧品をアドバイスする。このような変更された色合いを出すファンデーションとして、反射光成分が既知の化粧品データとその配合比による色合いのデータは既知であるので、そのデータを参照して、表示される化粧後のＲＧＢの配分割合に応じた化粧品をすすめることができる。
【００４１】
化粧後の色相感覚を変化させることができる化粧品の配合成分として上述のパール光沢顔料がある。パール光沢顔料の配合割合は、色変換用配合割合をあらかじめ計測しておき、表示される化粧後のＲＧＢの配合割合を実現するパール剤の配合比を求めておく。例えば化粧後のＲＧＢの配合割合（ａ_R, ａ_G,ａ_B）_afterを実現する配合比ｂ_(i)を次の連立方程式から求めればよい。
ａ_R(after)＝Σ｛b_(i)・ａ_R(i)｝＝ｂ₍₁₎・ａ_R(1)＋b₍₂₎・ａ_R(2)＋ｂ₍₃₎・ａ_R(3)
ａ_G(after)＝Σ｛b_(i)・ａ_G(i)｝＝ｂ₍₁₎・ａ_G(1)＋b₍₂₎・ａ_G(2)＋ｂ₍₃₎・ａ_G(3)
ａ_B(after)＝Σ｛b_(i)・ａ_B(i)｝＝ｂ₍₁₎・ａ_B(1)＋b₍₂₎・ａ_B(2)＋ｂ₍₃₎・ａ_B(3)
【００４２】
なお、本実施例の化粧シミュレーション装置は、カメラ装置１と表示装置２とが接続された汎用の情報処理装置に、化粧シミュレーションを実行するプログラムをインストールすることで、当該情報処理装置を実施例の制御部３、メモリ４として機能させることができる。このプログラムは、プログラムを記録した記録媒体あるいは通信回線を介して提供することができる。
【００４３】
【発明の効果】
以上、説明したように、本発明によれば、被験者の顔画像の光沢についてもシミュレーションを行うことで、自然な光沢感のある化粧後の顔画像を生成することができ、被験者に対する化粧アドバイスに資することができる。
【図面の簡単な説明】
【図１】本発明実施例の化粧シミュレーション装置の要部ブロック構成図。
【図２】本発明実施例の表面顔画像データと内部顔画像データとを処理して合成する手順を説明する図。
【図３】内部反射光の抽出を説明する図。
【図４】表面反射光の抽出を説明する図。
【符号の説明】
１カメラ装置
２表示装置
３制御部
４メモリ
１０、１１、１２偏光板

Claims

被験者の顔を撮影するカメラ装置と、
前記被験者の顔の表面で反射された反射光成分からなる表面顔画像データと内部で反射された反射光成分からなる内部顔画像データとを分離して抽出する手段と、
前記抽出された前記表面顔画像データを色相成分と強度成分とに分けて、それぞれの成分に変化を与える表面光修正手段と、
前記内部顔画像データと前記表面光修正手段で変化が与えられた表面顔画像データとを合成する手段と、
顔画像を表示する表示装置と
を備えたことを特徴とする化粧シミュレーション装置。
被験者の前記内部顔画像データに仮想的に化粧を施す手段を含む請求項１記載の化粧シミュレーション装置。
化粧を施した顔の変化を表す化粧データが複数蓄積され、前記仮想的に化粧を施す手段は、被験者の前記内部顔画像データに前記蓄積された化粧データのいずれかを選択して前記被験者の内部顔画像データと合成する手段を含む請求項２記載の化粧シミュレーション装置。
前記表面光修正手段は、色相成分については、ＲＧＢ成分毎に別々の配分割合を乗算して変更し、強度成分については、ＲＧＢ成分すべてに同じ定数を乗算して変更を行う手段を含む請求項１記載の化粧シミュレーション装置。
被験者の顔を撮影し、表面から反射された反射光成分からなる表面顔画像データと内部から反射された反射光成分からなる内部顔画像データとに分離して抽出し、
抽出された前記表面顔画像データを色相成分と強度成分とに分けて、それぞれの成分を変更し、
この変更後の表面顔画像データと内部顔画像データとを合成して化粧後の被験者の顔画像を出力する化粧シミュレーション方法。
前記表面画像データのそれぞれの成分の変更は、色相成分については、ＲＧＢ成分毎に別々の配分割合を乗算して変更し、強度成分については、ＲＧＢ成分すべてに同じ定数を乗算して変更を行う請求項５記載の化粧シミュレーション方法。