JP4692786B2 - 肌のテクスチャの解析方法 - Google Patents

Description

本発明は、肌のテクスチャの解析方法、及びその解析方法を用いた肌のシミュレーション画像の形成方法とそのためのシステムに関する。

人の肌色は、メラニンの含量とヘモグロビンの含量によって左右されることが知られている。例えば、褐色の肌はメラニン含量が多く、白い肌はヘモグロビン含量が少ない。血色のよい肌はヘモグロビン、特に、酸素分圧の高いヘモグロビン含量が多く、血色の悪い肌はヘモグロビン含量が少ない。また、シミやニキビの見え方には、局所的なメラニン含量やヘモグロビン含量が影響している。

肌色に寄与するメラニン成分とヘモグロビン成分の計測方法としては、皮膚の反射光の分光画像データとして、偏光を用いて皮膚の内部反射光成分を検出し、その内部反射光成分に対して成分分析を行い、肌色におけるメラニン成分量とヘモグロビン成分量を求める方法が提案されている（特許文献１参照）。

一方、コンピュータグラフィック技術の進展に伴い、皮膚の層構造やそれに基づく反射特性等を考慮し、画像上に人肌を、従前よりも自然なテクスチャで再現することが可能となってきている。

しかしながら、実際の肌に見られるシミやニキビ等の肌の空間的分布の再現は手作業で行われているのが実情である。即ち、肌のシミュレーション画像の形成において、肌のメラニン含量やヘモグロビン含量の情報に応じて、肌色を全体として褐色にする、あるいは明るくする等の色の調整は、コンピュータを用いた画像処理により自動的に行うことができるが、シミ等は、手作業で画像上に分布させなくてはならない。

特開２００２−２０００５０号公報

そこで、本発明は、より自然な印象を与えるテクスチャの肌の画像を形成するために有用な肌の画像の解析方法、及びより自然な印象を与えるテクスチャを有する肌のシミュレーション画像の形成方法とそのために用いるシステムを提供することを目的とする。

本発明者は、偏光を用いて形成した肌の内部反射光画像に対して独立成分分析を行うことにより、メラニン、ヘモグロビン等の肌の色素成分の分離画像を形成し、この色素成分画像に画像ピラミッド法を適用することにより空間周波数の異なる複数階層の画像を得、各階層の画像ごとに画素強度のヒストグラムを得ると、このヒストグラムの分布が肌のテクスチャの有効なパラメータとなること、さらに、特定の目標肌についてこのヒストグラムを得ておき、被験者の画像のヒストグラムを目標肌のヒストグラムにマッチングさせ、各階層の画像を再合成することにより、被験者の画像のテクスチャを、全体として色ずれを生じさせることなく、目標肌のテクスチャに近づけたシミュレーション画像を形成できることを見出した。

即ち、本発明は、偏光を用いて肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、
該空間周波数の異なる複数の画像毎に画素強度のヒストグラムを得る肌のテクスチャの解析方法を提供する。

また、本発明は、上述の解析方法を用いた肌のシミュレーション画像の形成方法として、
偏光を用いて被験者の肌の内部反射光画像を形成し、
該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数階層の画像を形成し、
該空間周波数の異なる画像について画素強度のヒストグラムを得、
該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する方法を提供する。

さらに、本発明は、このシミュレーション画像を形成するシステムとして、偏光を用いて肌の内部反射光画像を形成することのできる画像形成手段、
内部反射光画像の色を独立成分分析することにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、該色素成分画像に画像ピラミッド法を適用することにより、空間周波数の異なる複数の画像を形成し、該空間周波数の異なる画像について画素強度のヒストグラムを得、該ヒストグラムを、同様の方法で取得した特定の肌のヒストグラムに対してマッチングさせ、被験者の肌画像の再合成を行い、被験者の画像において肌のテクスチャを前記特定の肌のテクスチャに近づけたシミュレーション画像を形成する演算手段、及び
該シミュレーション画像を表示するディスプレイを備えた肌のシミュレーション画像の形成システムを提供する。

本発明によれば、より自然なテクスチャの肌の画像を形成するために有用な画像の解析方法が提供され、また、色ズレを生じさせることなく、より自然なテクスチャを有する肌のシミュレーション画像を形成することが可能となる。したがって、例えば、シミを大きく、濃く、あるいは小さく、薄くしたり、色ムラのパターンを自然に変化させることが可能となる。

肌のシミュレーション画像の形成方法の工程図である。 肌のシミュレーション画像の形成システムの模式図である。 独立成分分析の説明図である。 ヒストグラムの説明図である。 ヒストグラムのマッチングの説明図である。 実施例で形成した５０代女性と２０代女性と再合成画像のヒストグラムである。 ５０代の女性と２０代の女性のそれぞれの内部反射光画像と５階層の再合成画像である。

以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。

図１は、本発明の肌のシミュレーション画像の形成方法の一態様の工程図であり、図２はそのシミュレーション画像を形成する本発明の一態様のシステムの模式図である。図１には、本発明の肌のテクスチャの解析方法が含まれ、図２は当該肌のテクスチャの解析に用いられるシステムでもある。

このシステムは、被験者Ｐを照明する光源１、被験者Ｐの画像を撮影するデジタルカメラ４、光源１とデジタルカメラ４の前面にそれぞれ着脱自在に設けられた偏光板２、３、後述する種々の演算機能を備えたパーソナルコンピュータ５、パーソナルコンピュータ５に接続され、被験者Ｐの肌の通常画像、内部反射光画像、表面反射光画像、シミュレーション画像等を切り替え、あるいは同時に表示することのできるディスプレイ６、及びプリンタ７を備えている。

このシステムにおいて、シミュレーション画像の形成は、まず、被験者Ｐの顔画像の内部反射光画像を、偏光板２、３とデジタルカメラ４を用いて形成する。ここに、内部反射光画像は、デジタルカメラ４の前面の偏光板３を、光源１の前面の偏光板２に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより形成する。この場合、陰影をできる限りキャンセルした内部反射光画像を得るため、光源１は、被験者Ｐの顔をその全周囲方向から照明するように複数（例えば、上下左右４方向から）配置することが好ましい。

なお、内部反射光画像とあわせて、表面反射光画像を得ておけば、シミュレーションにより得られる内部反射光画像と該表面反射光画像とを再合成することにより、より自然なシミュレーション画像を取得することができる。ここに、表面反射光画像は、デジタルカメラ４の前面の偏光板３を、光源１の前面の偏光板２と偏光方向が同じになるように装着して得た画像と、偏光板３を偏光板２と偏光方向が直交するように装着して得た画像との差分から形成することが好ましい。なお、陰影を強調した表面反射光画像を得るため、光源１としては、被験者Ｐの顔を一方向から（例えば、顔の上方のみから）照明するものが好ましい。

また、参考用に、偏光板２、３を用いることなく撮影を行い、通常画像をも得ておくことが好ましい。

次に、パーソナルコンピュータ５に組み込まれた演算手段により、内部反射光画像に対して独立成分分析を行い、肌色を構成するメラニン成分とヘモグロビン成分の成分画像を抽出する。

ここで、独立成分分析とは、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的に信号が発せられ、それらが混合したものが画像信号になっていると考え、画像信号から各層の信号を分離抽出する分析方法である。

より具体的には、画像信号のＲＧＢについて、−log(Ｒ)、−log(Ｒ)、−log(Ｂ)をそれぞれｘ軸、ｙ軸、ｚ軸に割当て、肌色をそこに色空間マッピングすると図３（ａ）に示すように、ほぼ平面状に分布することから、肌色には２成分が寄与していることがわかる。この独立的な２成分の信号強度を、それぞれメラニン量あるいはヘモグロビン量に対応するものと考え、図３（ｂ）に示すように、肌色は、メラニンの成分ベクトル（−log(Ｂ)に近い方）とヘモグロビンの成分ベクトル（−log(Ｇ)に近い方）の合成ベクトルであると考える。そこで、個々の被験者の内部反射光画像の信号から、メラニン量を表す信号あるいはヘモグロビン量を表す信号を抽出し、メラニン成分量の分布画像とヘモグロビン成分量の分布画像を出力する。

このような解析処理と画像処理の詳細はVol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、Adobe Photoshop）を搭載することにより行うことができる。

次に、内部反射光画像から抽出した各色素成分画像に対し、画像ピラミッド法を適用することにより、空間周波数の異なる複数の階層の画像を形成する（D.J.Heeger, J.R.Bergen, COMPUTER GRAPHICS PROCEEDINGS,p229-238(1995))。

画像ピラミッド法は、サブバンド変換の一種で、高解像度から低解像度までの解像度の異なる複数のサブバンドの集合に画像を分解し、それぞれのサブバンドを他のサブバンドと独立的に処理し、あるいは分解したサブバンドを再合成する手法である。画像ピラミッドには、ガウシアンピラミッド、ラプラシアンピラミッド、スティーラブルピラミッド等、その基底関数によって様々な種類があるが、本発明においては、シミ等の肌の色素分布に方向性がないと考えられるため、等方的な周波数情報を保持するラプラシアンピラミッドを用いることが好ましい。

画像ピラミッド法により得られた複数階層の画像は、テクスチャ構造の識別に関する空間周波数情報を保持している。そこで、本発明においては、被験者の色素成分画像の複数階層の画像のヒストグラム（画素強度を横軸とし、任意の画素強度区間について、その区間に該当する画素数を総画素数で割った確率を縦軸にとったもの）の分布を、肌のテクスチャの評価パラメータとして用いる。例えば、メラニン成分画像に画像ピラミッド法を適用して得られるヒストグラムの分布が、図４（ａ）に示すように広がっている場合は、同図（ｂ）に示すように狭まっている場合に比して、色ムラが大きいことを意味し、また、同図（ｃ）に示すように、ヒストグラムのピークが画素強度の大きい方にシフトしている場合は、同図（ｄ）に示すように、ヒストグラムのピークが画素強度の小さい方にシフトしている場合に比して、画像中のメラニン色素成分の色が淡いことを意味する。

このようなヒストグラムは、画像ピラミッド法により得た各階層の画像について得るが、その場合の階層数は、少なすぎると解析の精度が不十分であり、多すぎると計算時間が長くなるため、３〜７とすることが好ましい。

また、本発明においては、画像ピラミッドの各階層の画像について、このヒストグラムを、特定のテクスチャの目標画像のヒストグラムとマッチング（近似化処理）させ、各階層の画像を再合成する。これにより、被験者の画像に色ずれを生じさせることなく、テクスチャだけを、目標画像のテクスチャに近づけたシミュレーション画像を形成することが可能となる。

より具体的には、ヒストグラムのマッチングは、まず、被験者の画像のヒストグラムの確率を累積した累積分布関数（画素強度ｖｓ確率）と、特定のテクスチャの目標画像の逆累積分布関数（確率ｖｓ画素強度）を求め、これらを用いて被験者の画像の画素値を目標画像の画素値で置き換えるという処理を全ての画素で繰り返すことによって行う。例えば、図５（ａ）に示すように、被験者の画像の累積分布関数と、同図（ｂ）に示すように、目標画像の累積分布関数と、同図（ｃ）に示すように目標画像の逆累積分布関数を求める。そして、同図（ａ）から被験者の画像の画素強度３０の画素は、その累積分布関数から確率０．３２であると算出し、次に逆累積分布関数により、確率０．３２の画素強度２０を算出し、被験者の画像の画素値と置き換える。このような処理を全ての画素で行う。

本発明のシミュレーション画像の形成方法において、画像ピラミッド法の適用及びそれに続くヒストグラムのマッチングは、少なくとも、メラニン色素の成分画像とヘモグロビン色素の成分画像の双方について行うことが好ましい。

ヒストグラムのマッチング後、各階層の画像を低階層から順次に１階層上の画像に加えていくことにより再合成し、再合成メラニン画像と再合成ヘモグロビン画像をそれぞれ取得し、次にこれらを合成することにより、内部反射光画像のシミュレーション画像を得ることができる。さらに、こうして得られた内部反射光画像のシミュレーション画像と前述の被験者の表面反射光画像とを再合成することにより、偏光を用いないで撮った通常の画像に対して、テクスチャを目標画像に近づけたより自然なシミュレーション画像を得ることができる。

以上のようなシミュレーション画像の形成において、マッチング（近似化処理）の対象とする目標画像は、特定の人物のものであってもよいし、複数人の平均顔画像を仮想モデルとして用いてもよい。また、予め、種々の画像について、テクスチャの主観的評価（若々しい張りがある、シミが少ない、滑らか等）とそのヒストグラムとを対応させたデータベースを構築しておき、被験者が望む主観的評価を明示すると、データーベースを用いて、その主観的評価に対応したテクスチャの画像が選択されるようにしてもよい。

本発明の肌のテクスチャの解析方法は、例えば、日焼けの程度、あるいは日焼けした肌の元の肌への戻り具合、シミに対する美白化粧料の効果、ファンデーションの塗布による肌のテクスチャの変化等の評価に用いることができる。また、本発明の肌のシミュレーション画像の形成方法は、画像に色ずれを生じさせることなく、皮膚のテクスチャの変化を見るために有用なものとなる。例えば、シミの多い中年の肌からシミ以外の部分の色味を変えることなく、シミを少なく、小さくあるいはシミの色を薄くした、滑らかな張りのある若者のシミュレーション画像を形成できる。

実施例１
５０代と２０代の女性をそれぞれ被験者とし、偏光を用いてそれぞれの肌の内部反射光画像を求め、この画像に独立成分分析をすることにより、メラニン成分画像とヘモグロビン成分画像を求め、さらにこれらについてそれぞれラプラシアンピラミッド法を適用することにより５階層の画像を求め、各階層についてヒストグラムを求めた。そして５０代の女性の各階層のヒストグラムを、２０代の女性の対応する階層のヒストグラムとマッチングさせ、マッチング後の各階層のヒストグラムを用いて５０代の女性のメラニン成分画像とヘモグロビン成分画像をそれぞれ再合成し、さらにこれらを合成した。図６に、メラニン成分画像について、５０代の女性の５階層のヒストグラムと、２０代の女性の５階層のヒストグラムと、マッチングを行った５階層の画像のヒストグラムを示す。

ラプラシアンピラミッド法によって５階層の画像を形成することに代えて２階層の画像を形成した以外は上述の手法を繰り返し、合成画像を得た。

５０代の女性と２０代の女性のそれぞれの当初の内部反射光画像、５階層の画像の再合成により得た合成画像、２階層の画像の再合成により得た合成画像について、肌の自然さとシミの目立ち方を目視観察した。結果を表１に示す。また、５０代の女性と２０代の女性のそれぞれの当初の内部反射光画像と５階層の再合成画像を用いた合成画像を図７に示す。

表１及び図７から、５階層の再合成画像も２階層の再合成画像も、自然なテクスチャを有し、色ズレもなかったことから、本発明によれは、自然なテクスチャの肌画像を形成できることがわかる。さらに、５階層の再合成画像は２階層の再合成画像よりもシミが少なく、２０代の女性の当初の画像と同様のテクスチャとなっていたことから、５階層の再合成画像は、５０代の女性の画像からシミを目立たなくしたシミュレーション画像となることがわかる。

１ 光源
２、３ 偏光板
４ デジタルカメラ
５ パーソナルコンピュータ
６ ディスプレイ
７ プリンタ
Ｐ 被験者

Claims (2)

1. 偏光を用いて肌の内部反射光画像を形成し、
   該内部反射光画像に対して独立成分分析をすることにより、肌色を構成する少なくとも一つの色素成分の成分画像を抽出し、
   該成分画像に画像ピラミッド法を適用することにより、該成分画像を空間周波数の異なる複数階層の画像に分解し、
   各階層の画像毎に画素強度のヒストグラムを得る肌のテクスチャの解析方法。
2. 色素成分が、メラニン成分又はヘモグロビン成分である請求項１記載の解析方法。