JP4098542B2 - 肌色測定装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、皮膚、特に顔の肌色の観測を行う技術に関する。本発明は、顧客の肌色を観測して顧客の肌の状態を診断し、その診断結果を出力するとともに、この診断結果に基づいて化粧を行ったときの結果を出力したり、どのような化粧を行ったらよいかのアドバイスを行う装置に関する。
【０００２】
【従来の技術】
人の肌色がメラニンの含量とヘモグロビンの含量とによって左右されることが知られている。褐色の肌はメラニン含量が多く、白い肌はヘモグロビン含量が少ない。また血色のよい肌はヘモグロビン、特に酸素分圧の高いヘモグロビン含量が多く、血色の悪い肌はヘモグロビン含量が少なく、肌色が血液の循環の度合いにより違ってくることが知られている。
【０００３】
出願人は、このようなメラニン含量とヘモグロビン含量とを測定する方法として、所定の波長の光を肌（皮膚）にあて、その反射光を検出する方法を提案している（特開平１０−１２７５８５号公報）。この公報提案の方法は、異なる３つ以上の波長を肌に当ててその反射光を検出し、波長ごとに異なるメラニン、ヘモグロビンによる吸光係数によって、肌のメラニン含量に基づく特性、ヘモグロビン含量および酸素飽和度に基づく特性を求めて、肌の状態を診断しようとするものであった。
【０００４】
出願人はさらに研究を重ね、皮膚の表面で反射した表面反射光成分と、皮膚の内部で反射した内部反射光成分とに分けて顔画像データを採取し、この内部反射光成分から肌の色素成分として、メラニン成分、ヘモグロビン成分などを求める発明を出願した（特願２０００−４０１７９１、本出願時に未公開）。
【０００５】
【発明が解決しようとする課題】
この出願人提案の先願は、皮膚を、表皮側の層にメラニン、真皮側の層にヘモグロビンを含むとした層状モデルとし、各成分が独立でLambert-Beerの法則に基づくとして、皮膚からの内部反射光成分を独立成分分析または主成分分析などを行うことにより、メラニン成分、ヘモグロビン成分とその相対係数とを求め、被験者の肌色を得るものである。
【０００６】
この先願の発明では、皮膚の平面部分に対しては精度よく成分分離を行って、肌色を構成する各成分を求めることができた。しかし、人の顔のように起伏がある対象であれば、照明に伴う陰影を伴うため、陰影により暗くなったのか、色素成分が増加して黒くなったのかを判別することが難しくなる問題があった。
【０００７】
このため、顔全体のように起伏のある画像に対して、より精度よく色素成分を抽出して比較することが望ましいし、また照明むらがある様な場合の陰影の影響を取り除く必要がある。また、色素成分の変化をシミュレートする際には、顔の三次元情報や照明光の分布を得るために、複雑な測定やあるいは煩雑な画像処理を必要とする問題があった。
【０００８】
本発明はこのような問題を解決するもので、照明むらや起伏による陰影の影響を取り除いて、正確に肌色を抽出できる肌色測定装置および方法を提供することを目的とする。また、これら起伏や照明むらなどによる陰影の影響を取り除いて肌色の色素成分を抽出して、その変化を評価することができる装置および方法を提供することを目的とする。また、被験者の顔画像に対して化粧などを施してシミュレーションを行う場合においても、精度よく肌色を再現できる装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
皮膚を、表皮側の層にメラニン、真皮側の層にヘモグロビンを含むとした層状モデルとし、各成分が独立でLambert-Beerの法則に基づくとして、独立成分分析または主成分分析を行うことにより、メラニン成分、ヘモグロビン成分とその相対係数を算出できる。
【００１０】
皮膚の内部で反射され分光された肌色の色濃度ベクトルについて考えると、
Ｃ＝ｑ(1)・Ｃ(1)＋ｑ(2)・Ｃ(2)＋Ｃ(3) （１）
ここで、
Ｃ：ある座標（l,m)における色濃度ベクトル
Ｃ(1)、Ｃ(2)：第１成分、第２成分色素の色濃度ベクトル
ｑ(1)、ｑ(2)：第１成分、第２成分色素の相対係数
Ｃ(3)：皮膚構造や他の色素によって発生する定常ベクトル
で表すことができる。
【００１１】
これをＲＧＢの色信号についてそれぞれＲ、Ｇ、Ｂの色ベクトルをｒ、ｇ、ｂとするとき、ある点の画素の色ベクトルＣは
Ｃ＝［-logｒ、-logｇ、-logｂ］
となる。ここで、独立成分分析、主成分分析または因子分析を行い、色成分ベクトルとその相対係数を算出し、それぞれＣ(1)、Ｃ(2)、ｑ(1)、ｑ(2)を求めて、被験者の肌色におけるメラニン含量、ヘモグロビン含量を得ることができ、それにより、被験者の肌を評価することが可能である。
【００１２】
ここで上記（１）式は、平坦な部分に対して成立するものであり、顔のように起伏があり、陰影が発生する物体が対象である場合には、照明による照度変化が平坦な基準面に対してＴ倍量発生した場合、ある座標（l,m)における色成分Ｃは、照明の色方向（照明の色単位ベクトルＬ）に対数表現でＴだけ移動し、色成分Ｃ′となる。
すなわち、
Ｃ′＝Ｃ＋（log T)・Ｌ （２）
となり、逆にＣは、
Ｃ＝Ｃ′−（log T)・Ｌ （２）′
で表される。（２）′式から、照度変化後の色座標Ｃ′は、照度変化なしの肌色分布面、すなわち、均一な照明下で撮影した肌の平面部の肌色分布面の対応する色成分Ｃを照明の色方向にlogTだけ移動させた点に位置する。したがって、照明の変動を除去するには、撮影して得られた肌色の色成分Ｃ′を照明の色方向（単位ベクトルＬ）に沿って移動させ、肌の平面部の肌色分布面に射影した点とすればよい。この照度単位ベクトルＬを求めるには、ホワイトバランスをとったときや白色板などで照明の色をとるので、そのときに照度単位ベクトルＬを求めればよい。ホワイトバランスをとった場合にはＲＧＢ空間では、ベクトルＬは、（１／√３，１／√３，１／√３）方向となる。このベクトル方向からと肌色分布面との交点を求めれば容易に陰影による影響を除去した色素成分を得ることができる。このようにして、起伏あるいは照明むらなどによる陰影の影響を除去して肌色を再現することができる。
【００１３】
すなわち、本発明の第一の観点は、肌色測定装置であって、本願の発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める処理手段と、 この求められた色素成分を出力する手段とを含み、前記処理手段は、均一に照明された皮膚の平面部分を用いて肌の色素成分濃度の二次元平面を求め、この二次元平面を基準にして皮膚の色素成分値を補正する手段を含むところにある。
【００１４】
ここで、前記補正する手段は、前記平面部分以外の色素成分濃度を照度が示すベクトル方向に前記平面部分で求めた前記二次元平面に射影した値に補正する手段を含むことがよい。
【００１５】
また、本発明の第二の観点は肌色測定方法に関するもので、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出し、内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める肌色測定方法において、均一に照明した皮膚の平面部分を用いて色素成分濃度空間における肌色の二次元平面を求め、他の部分の肌色色素成分を照度の変化が示す色素成分濃度空間のベクトルが前記平面部分で求めた肌色の二次元平面に射影した値に補正することろにある。
【００１６】
また、本発明の第三の観点は、肌色診断装置であって、光源からの光が皮膚によって反射した反射光の分光データを偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、被験者の顔画像を撮影する撮影手段を備え、前記撮影手段は、被験者の肌で反射した反射光成分の分光データを検出する手段と、偏光を用いて被験者の肌の表面で反射した表面反射光成分と内部で散乱して反射した内部反射光成分に分けて撮影する手段とを含み、前記内部反射光成分の分光データに基づいて被験者の肌のメラニン成分とヘモグロビン成分とを求める手段と、この抽出した被験者のメラニン成分量とヘモグロビン成分量との関係から被験者の肌の状態を評価して出力する評価手段とを含む肌色診断装置において、前記メラニン成分とヘモグロビン成分とを求める手段は、前記内部反射光成分の分光データを色素濃度成分空間において、均一に照明された皮膚の平面部分で測定した色素成分濃度空間の二次元平面を基準にして他の部分の色素成分濃度を前記二次元平面に投影した値に補正する手段を含むことを特徴とする。
【００１７】
前記補正する手段は、前記平面部分以外の色素成分濃度を照度が示すベクトル方向に前記平面部分で求めた前記二次元平面に射影した値に補正する手段を含むことがよい。
【００１８】
また、本発明の第四の観点は、顔画像処理装置であって、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて、被験者の顔画像データとして検出する撮影手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、肌色に対する被験者の希望を入力する手段と、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の顔画像を処理する画像処理手段と、画像処理手段から出力された顔画像を表示する表示手段とを備えた顔画像処理装置において、前記処理手段は、均一に照明された皮膚の平面部分を用いて肌の色素成分濃度の二次元平面を求め、この二次元平面を基準にして皮膚の色素成分値を補正する手段を含むことを特徴とする。
【００１９】
ここで、前記補正する手段は、前記平面部分以外の色素成分濃度を照度が示すベクトル方向に前記平面部分で求めた前記二次元平面に射影した値に補正する手段を含むことがよい。
【００２０】
なお、色素成分としては、メラニン成分、ヘモグロビン成分以外にビルビリン成分およびカロチン成分からなる群から選択されてもよい。
【００２１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【００２２】
（第一実施例）
図１は、本発明一実施例の肌色測定装置のブロック構成図である。図２は、色素空間としてＲＧＢ空間で表したときの肌色分布を説明する図であり、図２（ａ）は均一な照明下での平坦な皮膚の肌色分布面を示すものであり、図２（ｂ）は、陰影によるＲＧＢ空間での肌色分布面の膨れ上がりを説明する図である。
【００２３】
この第一実施例は、肌色測定装置であって、図１に示すように、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で散乱して反射した内部反射光成分とにわけて検出する反射光検出手段としての偏光板５０、５１、５２およびカメラ装置１および内部光検出部２と、内部反射光成分から、被験者の肌色を構成するメラニン成分またはヘモグロビン成分を求める処理手段としての分析部３とを備え、この求められたメラニン成分またはヘモグロビン成分を出力する肌色測定装置１０である。
【００２４】
ここにおいて、本発明は、分析部３に、照明むらや顔の起伏による陰影の影響を除去するための補正部３２を備えたことを特徴とする。
【００２５】
この補正部３２による除去の動作を図２に基づいて説明する。
【００２６】
肌の平坦部分に均一に照明された肌画像のＲＧＢ値を対数値に変換した色素色三次元空間であるＲＧＢ空間（-logｒ、-logｇ、-logｂ）にプロットすると、肌色は図２（ａ）に示すようにほぼ二次元平面にプロットされる。これをここでは肌色分布面という。
【００２７】
しかし、照明むらや顔の起伏による陰影が発現している部分をこのＲＧＢ空間にプロットした際には、照明光量に応じて照明色方向に定数倍されて立体的に膨らんでくる（図２（ｂ））。この照明色方向は無彩色色票により判定できるため、図２(b）における立体的な膨らみを照明方向に圧縮（照明光量を補正して一定量に規格化する）し、肌色分布面上に換算した値にして、照明強度よる分布の膨れ上がりを補正することができる。
【００２８】
すなわち、照度変化（明暗の強度変化）の値の色座標は肌色分布面上の対応する色成分が照明の色方向に移動した位置に移動することになる。ここで、照明による変動による補正は照明強度方向ベクトル-log(c_i(x,y))方向に移動させて肌色分布面との交点（射影点）を求め、この交点の値を色座標の値とすればよい。
【００２９】
この肌色分布面への射影点の求め方は、肌色分布面とＣ′を通る照明の色単位ベクトル（Ｌ）の直線との交点を求める一般的な手法によって求めることができる。通常、カメラで画像撮影を行うときは、ホワイトバランスをとり、あるいは白色板等で照明の色を撮影するため、照明の色単位ベクトルは容易に決定され、肌色二次平面への射影点は容易に求めることができる。ホワイトバランスをとった場合には、照明の色単位ベクトルＬは、ＲＧＢ空間では、（１／√３，１／√３，１／√３）方向となる。
【００３０】
このようにして、肌色分布面に射影した値に色素成分の座標値を補正し、この補正されたＲＧＢ空間での色素ベクトルについて独立成分分析方法、主成分分離方法等でメラニン成分、ヘモグロビン成分とその相対係数を求めて出力する。
【００３１】
（第二実施例）
本発明の第二実施例を図３を参照して説明する。第二実施例は、肌色診断装置であり、肌色診断装置２０は、平均値データベース１１と評価部１２とから構成される。図１の肌色測定装置１０の分析部３から出力され、陰影の影響を取り除いたメラニン成分量およびヘモグロビン成分量が入力される。ここで、メラニン成分量が多ければ色黒であり、また、ヘモグロビン成分量が少なければ肌に赤みが少ないということができる。これにより、評価部１２は、被験者の肌色をメラニン成分量およびヘモグロビン成分量との平均値との差から評価することができる。これらの平均値は平均値データベース１１に蓄積しておく。
【００３２】
肌色測定装置での補正により、顔の起伏、照明のむらなどから生ずる肌色の測定の精度が向上するため、メラニン成分量およびヘモグロビン成分量に基づく肌の診断をより正確に行うことができる。
【００３３】
（第三実施例）
本発明第三実施例の顔画像処理装置について説明する。図４に示す顔画像処理装置３０は、変化状態データベース２１と変化シミュレーション部２２と表示部２３とから構成される。変化シミュレーション部２２には、被験者の素顔画像と、肌色測定装置１０の分析部の補正部３２によって陰影の影響を除外して補正された肌の色素成分から求められたメラニン成分量およびヘモグロビン成分量と、肌色に対する被験者の希望とが入力される。
【００３４】
顔画像の印象データベースは、被験者の所望する肌を表現する言葉とそれに対応する画像処理の方向とを規定するための情報が記録されたデータベースであり、被験者からの「きれいな」「澄んだ」「生き生きした」「健康的な」等の肌の印象に対する希望に応じて、オペレータは、メラニン成分およびヘモグロビンの成分変化比率を変化させることにより、画像表示されるシミュレーション結果の肌色の印象を変えることができる。
【００３５】
変化シミュレーション部２２では、変化状態データベース２１の生体変化データベースを参照し、生体変化情報を得る。この生体変化情報は、規定された画像処理の方向に適合するタイプの基礎化粧品を所定期間使用した場合に発生するメラニン成分量およびヘモグロビン成分量の変化の情報であり、所定期間とは、例えば１ケ月、２ケ月、３ケ月といった期間である。
【００３６】
このような生体変化データベースに基づき、どの基礎化粧品を使うと生体変化がどの程度なされるかをシミュレーションにて画像表示し、希望に合致するか否かを画面をみながら対話的に判断して決定する。
【００３７】
メイクアップ効果データベースは、様々な化粧品を用いてメイクアップを施した場合のメイクアップ効果についての情報が記録されているデータベースであり、変化状態データベースの一部として任意に追加される。必要に応じて、このメイクアップ効果データベースを参照し、所定期間基礎化粧品を使用した後のメラニン成分量およびヘモグロビン成分量の増減に応じて変化した肌色に、さらにメイクアップを施した場合のメイクアップ効果情報を得て、基礎化粧による肌事態の色の変化では未だ不足している肌色の見かけ上の補正を行う。
【００３８】
変化シミュレーション部２２は、シミュレーション結果を表示部２３に表示する。オペレータは、被験者との対話により、希望との差異を分析する。表示されたシミュレーション結果が被験者の希望どおりであれば、シミュレーションに用いた基礎化粧品を被験者に適した基礎化粧品として決定する。シミュレーション結果が被験者の希望と異なれば、使用基礎化粧品データを変更して再度変更シミュレーションを実行する。このようにして、被験者の希望に沿う基礎化粧品が決定される。
【００３９】
本実施例では、顔画像処理装置３０に入力されるメラニン成分量およびヘモグロビン成分量は、第一実施例の肌色測定装置で顔の起伏や照明のむらに対する補正を行ってからメラニン成分量およびヘモグロビン成分量を算出したものであるため、被験者の肌色をより正確に再現することができ、化粧による変化シミュレーションをより被験者の希望に沿った形で行うことが可能である。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、顔の起伏や照明むらなどによる陰影の影響を除去して、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる。また、陰影の影響を除去した測定結果にもとづいて、被験者の肌色の診断を行う診断装置および所望の化粧をした後の顔画像を表示することができるメイクアップシステムを実現することができる。また、測定に基づいて顧客に対してアドバイスを与えることができるアドバイスシステムを実現することができる。
【図面の簡単な説明】
【図１】本発明第一実施例の肌色測定装置のブロック構成図。
【図２】陰影による肌色のＲＧＢ空間へのプロットを説明する図。
【図３】本発明第二実施例の肌色診断装置のブロック構成図。
【図４】本発明第三実施例の顔画像処理装置のブロック構成図。
【符号の説明】
１ カメラ装置
２ 内部光検出部
３ 分析部
１０ 肌色測定装置
１１ 平均値データベース
１２ 評価部
２０ 肌色診断装置
２１ 変化状態データベース
２２ 変化シミュレーション部
２３ 表示部
３０ 顔画像処理装置
３２ 補正部
５０、５１、５２ 偏光板

Claims (3)

1. 光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、
   内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める処理手段と、
   この求められた色素成分を出力する手段と
   を含み、
   前記処理手段は、均一に照明された被験者の皮膚の平面部分を用いて測定した肌の色素成分空間の肌色分布面を求め、求めた肌色分布面に対して照度が示すベクトル方向に射影した肌色分布面上の値に被験者の皮膚の色素成分値を補正する手段を含む
   肌色測定装置。
2. 光源からの光が皮膚によって反射した反射光の分光データを偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、
   被験者の顔画像を撮影する撮影手段を備え、
   前記撮影手段は、被験者の肌で反射した反射光成分の分光データを検出する手段と、偏光を用いて被験者の肌の表面で反射した表面反射光成分と内部で散乱して反射した内部反射光成分に分けて撮影する手段とを含み、
   前記内部反射光成分の分光データに基づいて被験者の肌のメラニン成分とヘモグロビン成分とを求める手段と、
   この抽出した被験者のメラニン成分量とヘモグロビン成分量との関係から被験者の肌の状態を評価して出力する評価手段とを含む肌色診断装置であって、
   前記メラニン成分とヘモグロビン成分とを求める手段は、前記内部反射光成分の分光データを色素成分空間において、均一に照明された被験者の皮膚の平面部分で測定した色素成分空間の肌色分布面を求め、求めた肌色分布面に対して照度が示すベクトル方向に射影した値に被験者の皮膚の色素成分値を補正する手段を含む
   肌色診断装置。
3. 光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて、被験者の顔画像データとして検出する撮影手段と、
   内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、
   肌色に対する被験者の希望を入力する手段と、
   基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、
   入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の顔画像を処理する画像処理手段と、
   画像処理手段から出力された顔画像を表示する表示手段と
   を備えた顔画像処理装置であって、
   前記処理手段は、均一に照明された被験者の顔の平面部分を用いて測定した肌の色素成分空間の肌色分布面を求め、求めた肌色分布面に対して照度が示すベクトル方向に射影した値に被験者の皮膚の色素成分値を補正する手段を含む
   顔画像処理装置。

Images