JP3877959B2

JP3877959B2 - Skin color measuring device and skin image processing device

Info

Publication number: JP3877959B2
Application number: JP2000401791A
Authority: JP
Inventors: 伸俊小島; 孝英南; 徳道津村; 啓次植月; 洋一三宅
Original assignee: Kao Corp
Current assignee: Kao Corp
Priority date: 2000-12-28
Filing date: 2000-12-28
Publication date: 2007-02-07
Anticipated expiration: 2020-12-28
Also published as: JP2002200050A

Description

【０００１】
【発明の属する技術分野】
本発明は、皮膚、特に顔の肌色の観測を行う技術に関する。本発明は、顧客の肌色を観測して顧客の肌の状態を診断し、その診断結果を出力するとともに、この診断結果に基づいて基礎化粧を行ったときの結果を出力したりどのような基礎化粧を行ったらよいかのアドバイスを行う装置に関する。
【０００２】
【従来の技術】
人の肌色が主としてメラニンの成分量とヘモグロビンの成分量とによって左右されることが知られている。褐色の肌はメラニン成分量が多く、白い肌はヘモグロビン成分量が少ない。また血色のよい肌はヘモグロビン、特に酸素分圧の高いヘモグロビン成分量が多く、血色の悪い肌はヘモグロビン成分量が少なく、肌色が血液の循環の度合いにより違ってくることが知られている。
【０００３】
出願人は、このようなメラニン成分量とヘモグロビン成分量とを測定する方法として、所定の波長の光を肌（皮膚）にあて、その反射光を検出する方法を提案している（特開平１０−１２７５８５号公報）。この公報提案の方法は、異なる３つ以上の波長を肌に当ててその反射光を検出し、波長ごとに異なるメラニン、ヘモグロビンによる吸光係数によって肌のメラニン成分量に基づく特性、ヘモグロビン成分量および酸素飽和度に基づく特性を求めて、肌の状態を診断しようとするものである。
【０００４】
【発明が解決しようとする課題】
この出願人提案の技術は、まず、３つの異なる波長を照射してそれぞれの波長領域で反射光の強度を検出する必要がある。特に、それぞれの波長の光源を準備する必要があり、装置構成が膨大なものとなる。また、この提案では表面反射光成分をノイズとして扱うように測定系を構成するとの記載はあるが、具体的にどのようにして表面反射光を取り除き、内部散乱反射光を検出するかの提案はない。
【０００５】
また、津村らのグループは、肌をメラニンとヘモグロビンとが層状に分布し、その２成分が相互に独立してLambert−Beerの法則に基づいているというモデルにより、顔画像を独立成分分析によって解析し、色素成分を算出する方法を提案している（「肌画像の独立成分分析に基づく顔色の変化予測」1997年日本光学会講演予稿集30aE02および「肌の色素成分に基づく顔色合成とその評価」カラーフォーラムＪＡＰＡＮ２０００第５〜８頁)。
【０００６】
しかし、この提案でも、肌の表面で反射される表面反射光は、皮膚の表皮および真皮に含まれるメラニンおよびヘモグロビンによる肌色を表すものではないので、単に撮影した顔画像を処理するだけでは、表面反射光の影響を受けて正確なメラニンおよびヘモグロビンの成分を計測することができない問題がある。
【０００７】
また、この画像処理によって処理された顔画像のメラニン成分量、ヘモグロビン成分量に基づいて基礎化粧を行ったり、あるいはどのような化粧顔にするのか等のアドバイスを行うことについては何ら言及がない。
【０００８】
本発明は、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる肌色測定装置を提供することを目的とする。また、測定に基づいて被験者の肌色の診断を行う肌色診断装置および所望の化粧をした後の顔画像を表示することができる顔画像処理装置を提供することを目的とする。また、測定に基づいて顧客に対して化粧アドバイスを与えることができるアドバイスシステムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
皮膚を表皮側の層にメラニン、真皮側の層にヘモグロビンを含むとした層状モデルとし、各成分が独立でLambert−Beerの法則に基づくとして、独立成分分析または主成分分析などを行うことにより、メラニン成分、ヘモグロビン成分とその相対係数（量）を算出できる。独立成分分析は、互いに独立な情報源からの信号が混合した信号を解析して、元の独立な信号を分離して抽出する手法であり、生体のような種々の情報源からの信号を分析するのに用いられている。また、主成分分析は、測定されたデータの相互関連を分析していくつかの主成分への要約、あるいは主成分に合成する分析方法をいう。
【００１０】
分光された肌色の色成分ベクトルについて考えると、
Ｃ＝ｑ(1)・Ｃ(1)＋ｑ(2)・Ｃ(2)＋Ｃ(3)
ここで、
Ｃ：ある座標（l,m)における色成分ベクトル
Ｃ(1)、Ｃ(2)：第１成分、第２成分色素の色成分ベクトル
ｑ(1)、ｑ(2)：第１成分、第２成分色素の相対係数
Ｃ(3)：皮膚構造や他の色素によって発生する定常ベクトル
で表すことができる。
【００１１】
これをＲＧＢの色信号についてそれぞれＲ、Ｇ、Ｂの色ベクトルをｒ、ｇ、ｂとするとき、ある点の画素の色ベクトルＣは
Ｃ＝［-logｒ、-logｇ、-logｂ］
となる。ここで、独立成分分析、主成分分析または因子分析を行い、色成分ベクトルとその相対係数を算出し、それぞれＣ(1)、Ｃ(2)、ｑ(1)、ｑ(2)を求めて、被験者の肌色におけるメラニン成分量、ヘモグロビン成分量を得ることができ、それにより、被験者の肌を評価することが可能である。なお、検出する色信号の数を増加させれば、それに応じて、上記Ｃ(3)から第３成分（およびより高次の成分）の色素の色成分ベクトルおよび相対係数を抽出することができる。
【００１２】
ここで、肌の表面で反射する表面反射光成分は、肌表面の凹凸に起因するもので、上述のメラニン成分とヘモグロビン成分とを分離する分析ではノイズとなってしまう。これは、表面反射光は色濃度表現系では加法的に扱うことができないためである。
【００１３】
本発明は、ノイズ成分となる表面反射光成分を偏光を用いて除去している。
【００１４】
皮膚の表面で反射する表面反射光は、入射光の偏光面が維持された状態で反射する。これに対して皮膚の内部で散乱した内部反射光は様々な偏光面の光を含む。
【００１５】
ここで、入射光を偏光板により、縦方向の偏光面の光として入射したとすると、皮膚の表面反射光はこの入射された縦方向の偏光面を維持して反射する。一方皮膚の内部反射光は、様々な偏光面の光を含んで反射する。このため、反射光を縦方向の偏光のみを通過させる偏光板を通過させると、表面反射光と内部反射光とを含んだ反射光を検出できる。一方、横方向の偏光のみを通過させる偏光板を通過させると、入射光と同じ偏光面の光を遮るので、内部反射光のみを検出できる。これにより、入射光と反射光とをそれぞれ偏光板を通過させて反射光を検出することにより、皮膚の表面で反射される表面反射光を除外することができる。
【００１６】
偏光を利用して表面反射光を除外した内部反射光によるメラニン、ヘモグロビン成分の抽出は、次のようになる。
【００１７】
偏光を利用して表面反射光を除外したＲ、Ｇ、Ｂの各色の強度ベクトルをそれぞれＲ、Ｇ、Ｂの色ベクトルをｒ′、ｇ′、ｂ′とするとき、ある点の画素の色成分ベクトルＣは
Ｃ＝［-logｒ′、-logｇ′、-logｂ′］
で表され、これを独立成分分析、主成分分析または因子分析を行うことにより、内部反射光のみによる、メラニン成分、ヘモグロビン成分とその相対係数を算出することができる。
【００１８】
なお、表面反射光の除去は、偏光板を用いた方法の他に、拡散光照明によって表面反射光を除去することが可能であるが、皮膚のような起伏の大きい凹凸があるような場合は、より簡便で安定的に表面反射光を除外できる偏光板を用いる方法が実用的である。
【００１９】
このように表面反射光を除外することで、被験者の肌のメラニン成分量、ヘモグロビン成分量を精度よく検出できる。本発明の手法は必要に応じてメラニン成分およびヘモグロビン成分以外の他の色素成分、例えばビルビリン成分およびカロチン成分にも適用される。肌色を構成する色素成分はそれぞれ特徴的な吸収スペクトルを示すことが公知であり、所望の色素成分に対応する波長において反射光を検出することで、その成分量と相対係数とを求めることができる。これに基づいて被験者の肌の評価診断、化粧シミュレーションおよびアドバイスを行う。
【００２０】
上記の方法により少なくともメラニン成分量、ヘモグロビン成分量とその相対係数が求められるので、検出された肌色に対するメラニン成分量、ヘモグロビン成分量の寄与分から肌色の評価、診断を行うことができる。例えば、被験者を撮影した顔画像からメラニン成分量、ヘモグロビン成分量を求め、データベースにある平均的な値と比較することで、色白の肌か、色黒の肌であるかを判定できる。また、ヘモグロビン成分量は、その分光特性から、酸素分圧が高いヘモグロビンが多いのか（動脈血型）、酸素分圧が低いヘモグロビンが多いのか（静脈型）がわかるので、健康診断としても利用できる。また、肌色が黒っぽい場合も、メラニン成分量が多いのか、あるいは酸素分圧が低いヘモグロビン成分量が多いのかを判定して、日焼け等によるメラニン成分量が多いのか、疲れによる色黒に見えるのか等の判定ができる。
【００２１】
また、求められた被験者のメラニン成分量とヘモグロビン成分量に基づいて化粧アドバイスを与えることができる。
【００２２】
被験者の肌色測定によりメラニン成分量、ヘモグロビン成分量が求められる。これとは別に被験者に対する問診により、被験者の希望を聞く。この問診は、例えば、より白い色、より褐色の色などどのような肌色になりたいかを聞くものである。ところで、どのような基礎化粧品を使用すれば、どのような肌色となるかのデータがデータベースとして構築されている。このデータは、どの基礎化粧品を皮膚に塗布するとどのように肌色におけるメラニン成分量とヘモグロビン成分量とが変化するかというデータ、あるいは経時変化として、この基礎化粧品を使うと１月後、２月後、３月後にはどのように肌色が変化するかのデータなどであり、画像処理装置は、このようなデータと被験者の希望および被験者の測定データとに基づいて、変化する肌色を予測として表示する。また、測定した被験者の肌色の情報に基づいて他のどのような基礎化粧品を用いたらよいかのアドバイスができる。
【００２３】
すなわち、本発明の第一の観点は、肌色測定装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める処理手段と、この求められた色素成分を出力する手段とを備えたところにある。
【００２４】
例えば、前記色素成分は、メラニン成分、ヘモグロビン成分、ビルビリン成分およびカロチン成分からなる群から選択される。
【００２５】
本発明の第二の観点は、肌色診断装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、この求められたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段とを備えたところにある。
【００２６】
前記評価手段が、被験者から求められたメラニン成分およびヘモグロビン成分を既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価することが望ましい。既存のデータは被験者と同年代の集団についての平均測定値が望ましいが、同一被験者の過去の測定値であってもよい。
【００２７】
本発明の第三の観点は、顔画像処理装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて、被験者の顔画像データとして検出する撮影手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、肌色に対する被験者の希望を入力する手段と、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段と、画像処理手段から出力された顔画像を表示する表示手段とを備えたところにある。
【００２８】
入力された被験者の希望に沿って前記データベースから選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する手段をさらに備えることが望ましい。
【００２９】
なお、基礎化粧とは、肌自体の色を変える美白剤、血行促進剤等の成分を含む乳液、化粧水等による化粧のことをいう。これに対し、ファンデーション等を用いて見かけ上の肌色を変える化粧をメイクアップという。
【００３０】
【発明の実施の形態】
本発明実施例の肌色測定装置および肌色診断装置ならびに顔画像処理装置を図１ないし図５を参照して説明する。図１は本発明第一実施例の肌色測定装置のブロック構成図である。図２は本発明第一実施例の肌色測定装置における内部光の検出を説明するための図である。図３は本発明第一実施例の肌色測定装置における表面光の検出を説明するための図である。図４は本発明第二実施例の肌色診断装置のブロック構成図である。図５は本発明第三実施例の顔画像処理装置のブロック構成図である。
【００３１】
本発明第一実施例は、肌色測定装置であって、図１に示すように、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で散乱して反射した内部反射光成分とに分けて検出する反射光検出手段としての偏光板５０、５１、５２およびカメラ装置１および内部光検出部２と、内部反射光成分から、被験者の肌色を構成するメラニン成分またはヘモグロビン成分を求める処理手段としての分析部３とを備え、この求められたメラニン成分またはヘモグロビン成分を出力する肌色測定装置１０である。
【００３２】
本発明第二実施例は、肌色診断装置であって、図４に示すように、第一実施例の肌色測定装置１０から出力されたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段としての評価部１２を備えた肌色診断装置２０である。評価部１２が、被験者から求められたメラニン成分およびヘモグロビン成分を平均値データベース１１に記録された既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価する。
【００３３】
本発明第三実施例は、顔画像処理装置であって、図５に示すように、第一実施例の肌色測定装置１０を用いて被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求め、肌色に対する被験者の希望を入力し、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースである変化状態データベース２１と、入力された被験者の希望に沿って変化状態データベース２１から選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段としての変化シミュレーション部２２と、変化シミュレーション部２２から出力された顔画像を表示する表示手段としての表示部２３とを備えた顔画像処理装置３０である。入力された被験者の希望に沿って変化状態データベース２１から選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する。
【００３４】
以下では、本発明実施例をさらに詳細に説明する。
【００３５】
（第一実施例）
本発明第一実施例を図１ないし図３を参照して説明する。本発明第一実施例の肌色測定装置１０は、測定の妨げとなっていたメラニン成分量およびヘモグロビン成分量の測定におけるノイズ成分となる肌の表面光成分を除去し、内部光成分による測定を行なうことができるため、正確な値を得ることができる。
【００３６】
すなわち、図２に示すように、偏光板５０を透過することにより偏光面が整えられた光が肌の表面を通過し、内部で散乱を複数回繰り返した後に外に出てくる場合には、偏光板５０で整えられた光は内部反射することにより、様々な偏光を有する光すなわち、内部光となって外に出ていく。
【００３７】
また、図３に示すように、偏光板５０を透過することにより偏光面が整えられた光が肌の表面で反射した場合には、偏光板５０で整えられた偏光方向は保存される。図３の例では、偏光板５０により縦方向の偏光に整えられた光が表面反射することにより、再び縦方向の偏光を有する光すなわち、表面光となって反射される。
【００３８】
このように偏光により表面光と内部光とを区別できる性質を利用して、図２に示すように、偏光板５１および５２を透過した光をカメラ装置１によりそれぞれ撮影する。偏光板５１を透過して撮影された画像を画像ａとする。偏光板５２を透過して撮影された画像を画像ｂとする。ここで、内部光画像を得たいときには、
２×画像ｂ
として画像合成を行う。すなわち、画像ｂには、内部光の要素しか含まれていないので、画像ｂとしてとらえられる光はそのまま全て内部光画像となる。しかし、内部光の約半分は、偏光板５２によって遮光されるので、遮光分を補う目的で、画像ｂの光量を２倍にする。
【００３９】
このようにしてノイズ成分となる肌の表面反射成分を除去した内部光成分に対し、分析部３では、前述したメラニン成分量およびヘモグロビン成分量の分析を行なうことにより、これらの正確な値を得ることができる。
【００４０】
（第二実施例）
本発明第二実施例の肌色診断装置について説明する。図４に示す肌色診断装置２０は、平均値データベース１１と評価部１２とから構成される。肌色測定装置１０の分析部３から出力されたメラニン成分量およびヘモグロビン成分量に着目し、メラニン成分量が多ければ色黒であり、また、ヘモグロビン成分量が少なければ、肌に赤みが少ないということができる。これにより、評価部１２は、被験者の肌色をメラニン成分量およびヘモグロビン成分量の平均値との差から評価することができる。この平均値は平均値データベース１１に蓄積しておく。
【００４１】
例えば、目の下のクマが、単にメラニンが多いだけなのか、疲れて酸素分圧が低いヘモグロビンが多いのか（静脈血型）、あるいは打撲のためか、単なる陰影にすぎないのか等を画像解析により判定することができる。これにより、肌の健康診断を行なうこともできる。メラニン成分量およびヘモグロビン成分量に基づく肌色診断の具体例を表１に示す。
【００４２】
【表１】

【００４３】
（第三実施例）
本発明第三実施例の顔画像処理装置について説明する。図５に示す顔画像処理装置３０は、変化状態データベース２１と変化シミュレーション部２２と表示部２３とから構成される。変化シミュレーション部２２には、被験者の素顔画像と、肌色測定装置１０の分析部３により出力されたメラニン成分量およびヘモグロビン成分量と、肌色に対する被験者の希望とが入力される。
【００４４】
顔画像の印象データベースは、表２に示すように、被験者のなりたい希望の肌を言葉とそれに対応する画像処理の方向とを既定するための情報が記録されたデータベースであり、被験者からの「きれいな」「澄んだ」「生き生きした」「健康的な」等の肌の印象に対する希望に応じて、オペレータは、メラニン成分およびヘモグロビン成分の変化比率を変えることにより、画像表示されるシミュレーション結果の肌色の印象を変えることができる。以下に変化比率の具体例を示す。
【００４５】
【表２】

【００４６】
変化シミュレーション部２２では、変化状態データベース２１の生体変化データベースを参照し、生体変化情報を得る。この生体変化情報は、規定された画像処理の方向に適合するタイプの基礎化粧品を所定期間使用した場合に発生するメラニン成分量およびヘモグロビン成分量の変化の情報であり、所定期間とは、例えば、１ヶ月、２ヶ月、３ヶ月といった期間である。ここで、表３に生体変化データベースの具体例を示す。各成分画像の所定領域の平均値濃度の変化比率（基準は０ヶ月）を示している。
【００４７】
【表３】

【００４８】
このような生体変化データベースに基づき、どの基礎化粧品を使うと生体変化がどの程度なされるかをシミュレーションにて画像表示し、希望に合致するか否かを画面を見ながら対話的に判断して決定する。
【００４９】
メイクアップ効果データベースは、様々な化粧品を用いてメイクアップを施した場合のメイクアップ効果についての情報が記録されているデータベースであり、変化状態データベースの一部として任意に追加される。必要に応じて、このメイクアップ効果データベースを参照し、所定期間基礎化粧品を使用した後のメラニン成分量およびヘモグロビン成分量の増減に応じて変化した肌色に、さらにメイクアップを施した場合のメイクアップ効果情報を得て、基礎化粧による肌自体の色の変化では未だ不足している肌色の見かけ上の補正を行う。
【００５０】
変化シミュレーション部２２は、シミュレーション結果を表示部２３に表示する。オペレータは、被験者との対話により、希望との差異を分析する。表示されたシミュレーション結果が被験者の希望どおりであれば、シミュレーションに用いた基礎化粧品を被験者に適した基礎化粧品として決定する。シミュレーション結果が被験者の希望とは異なれば、使用基礎化粧品データを変更して再度変化シミュレーションを実行する。このようにして、被験者の希望に沿う基礎化粧品が決定される。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる。また、測定に基づいて被験者の肌色の診断を行う診断装置および所望の化粧をした後の顔画像を表示することができるメイクアップシステムを実現することができる。また、測定に基づいて顧客に対してアドバイスを与えることができるアドバイズシステムを実現することができる。
【図面の簡単な説明】
【図１】本発明第一実施例の肌色測定装置のブロック構成図。
【図２】本発明第一実施例の肌色測定装置における内部光の検出を説明するための図。
【図３】本発明第一実施例の肌色測定装置における表面光の検出を説明するための図。
【図４】本発明第二実施例の肌色診断装置のブロック構成図。
【図５】本発明第三実施例の顔画像処理装置のブロック構成図。
【符号の説明】
１カメラ装置
２内部光検出部
３分析部
１０肌色測定装置
１１平均値データベース
１２評価部
２０肌色診断装置
２１変化状態データベース
２２変化シミュレーション部
２３表示部
３０顔画像処理装置
５０、５１、５２偏光板[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for observing skin color, particularly skin color. The present invention diagnoses a customer's skin condition by observing the customer's skin color, outputs the diagnosis result, and outputs the result when basic makeup is performed based on the diagnosis result. The present invention relates to a device for giving advice on whether to apply makeup.
[0002]
[Prior art]
It is known that human skin color is mainly influenced by the amount of melanin and the amount of hemoglobin. Brown skin has a large amount of melanin, and white skin has a small amount of hemoglobin. Further, it is known that skin with good blood color has a large amount of hemoglobin, particularly hemoglobin component with high oxygen partial pressure, and skin with poor blood color has a small amount of hemoglobin component, and the skin color varies depending on the degree of blood circulation.
[0003]
The applicant has proposed a method for detecting the reflected light by applying light of a predetermined wavelength to the skin (skin) as a method for measuring the melanin component amount and the hemoglobin component amount (Japanese Patent Laid-Open No. Hei 10). -127585). In this proposed method, the reflected light is detected by applying three or more different wavelengths to the skin, and the characteristics based on the amount of melanin component of the skin by the absorption coefficient of melanin and hemoglobin that differ for each wavelength, the amount of hemoglobin component and oxygen It seeks to diagnose the skin condition by obtaining characteristics based on the degree of saturation.
[0004]
[Problems to be solved by the invention]
In the technique proposed by the applicant, first, it is necessary to irradiate three different wavelengths and detect the intensity of reflected light in each wavelength region. In particular, it is necessary to prepare light sources of respective wavelengths, and the apparatus configuration becomes enormous. In addition, in this proposal, there is a description that the measurement system is configured to treat the surface reflected light component as noise, but there is a proposal on how to remove the surface reflected light and detect the internally scattered reflected light. Absent.
[0005]
In addition, Tsumura et al.'S group analyzed the facial image by independent component analysis based on a model in which melanin and hemoglobin are distributed in layers and the two components are based on Lambert-Beer's law independently of each other. And proposed a method for calculating pigment components ("Predicting facial color changes based on independent component analysis of skin images" 1997 Optical Society Proc. 30aE02 and "Facial color synthesis based on skin pigment components and its evaluation""Color Forum JAPAN 2000, pp. 5-8).
[0006]
However, even in this proposal, the surface reflected light reflected from the skin surface does not represent the skin color due to melanin and hemoglobin contained in the epidermis and dermis of the skin. There is a problem that accurate melanin and hemoglobin components cannot be measured under the influence of reflected light.
[0007]
Further, there is no mention of performing basic makeup based on the melanin component amount and hemoglobin component amount of the face image processed by this image processing, or giving advice on what kind of makeup face to make.
[0008]
An object of this invention is to provide the skin color measuring apparatus which can perform highly accurate measurement of pigment components, such as a melanin component and a hemoglobin component which contribute to skin color. It is another object of the present invention to provide a skin color diagnostic apparatus for diagnosing the skin color of a subject based on measurement and a face image processing apparatus capable of displaying a face image after a desired makeup. It is another object of the present invention to provide an advice system that can give makeup advice to customers based on measurements.
[0009]
[Means for Solving the Problems]
By making the skin into a layered model that includes melanin in the epidermis layer and hemoglobin in the dermis layer, each component is independently based on Lambert-Beer's law, by performing independent component analysis or principal component analysis, etc. A melanin component, a hemoglobin component, and its relative coefficient (amount) can be calculated. Independent component analysis is a technique that analyzes signals mixed with signals from independent information sources and separates and extracts the original independent signals, and analyzes signals from various information sources such as living organisms. It is used to do. Principal component analysis is an analysis method in which the correlation between measured data is analyzed and summarized into several principal components or synthesized into principal components.
[0010]
Considering the discolored skin color component vector,
C = q (1) · C (1) + q (2) · C (2) + C (3)
here,
C: color component vectors C (1) and C (2) at a certain coordinate (l, m): first component, color component vectors q (1) and q (2) of the second component dye: first component, first component Relative coefficient C (3) of the two-component dye: can be expressed by a steady vector generated by the skin structure or other dye.
[0011]
When the R, G, and B color vectors for the RGB color signals are r, g, and b, respectively, the color vector C of the pixel at a certain point is C = [-logr, -logg, -logb]
It becomes. Here, independent component analysis, principal component analysis, or factor analysis is performed to calculate the color component vector and its relative coefficient, and obtain C (1), C (2), q (1), and q (2), respectively. The amount of melanin component and the amount of hemoglobin component in the skin color of the subject can be obtained, and thereby the skin of the subject can be evaluated. If the number of color signals to be detected is increased, the color component vector and relative coefficient of the third component (and higher order component) pigment can be extracted from C (3) accordingly. .
[0012]
Here, the surface-reflected light component reflected on the skin surface is caused by unevenness on the skin surface, and becomes noise in the analysis for separating the melanin component and the hemoglobin component described above. This is because the surface reflected light cannot be treated additively in the color density expression system.
[0013]
In the present invention, a surface reflected light component that becomes a noise component is removed using polarized light.
[0014]
The surface-reflected light reflected from the surface of the skin is reflected with the polarization plane of the incident light maintained. On the other hand, the internally reflected light scattered inside the skin includes light of various polarization planes.
[0015]
Here, assuming that incident light is incident on the polarizing plate as light having a longitudinal polarization plane, the reflected light on the surface of the skin is reflected while maintaining the incident longitudinal polarization plane. On the other hand, the internally reflected light of the skin is reflected including light of various polarization planes. For this reason, when the reflected light is allowed to pass through a polarizing plate that passes only polarized light in the vertical direction, reflected light including surface reflected light and internally reflected light can be detected. On the other hand, when the light passes through a polarizing plate that allows only polarized light in the horizontal direction to pass through, the light having the same polarization plane as the incident light is blocked, so that only the internally reflected light can be detected. Thereby, the surface reflected light reflected on the surface of the skin can be excluded by allowing the incident light and the reflected light to pass through the polarizing plates and detecting the reflected light.
[0016]
Extraction of melanin and hemoglobin components by internally reflected light excluding surface reflected light using polarized light is as follows.
[0017]
When the intensity vectors of the R, G, and B colors excluding the surface reflected light using polarized light are R, G, and B color vectors are r ′, g ′, and b ′, respectively, the color of the pixel at a certain point The component vector C is C = [-logr ', -logg', -logb ']
By performing independent component analysis, principal component analysis, or factor analysis, it is possible to calculate a melanin component, a hemoglobin component, and their relative coefficients based on only internal reflection light.
[0018]
In addition to the method using a polarizing plate, the surface reflected light can be removed by diffused light illumination. However, when there is a rough surface such as skin, It is practical to use a polarizing plate that can more easily and stably exclude surface reflected light.
[0019]
By excluding the surface reflected light in this way, the amount of melanin component and the amount of hemoglobin component of the subject's skin can be detected with high accuracy. The method of the present invention is also applied to other pigment components other than the melanin component and the hemoglobin component, for example, a bilbilin component and a carotene component as necessary. It is known that each pigment component constituting the skin color shows a characteristic absorption spectrum, and by detecting reflected light at a wavelength corresponding to a desired pigment component, the component amount and relative coefficient can be obtained. . Based on this, evaluation skin diagnosis, makeup simulation and advice are performed.
[0020]
Since at least the amount of melanin component, the amount of hemoglobin component, and the relative coefficient thereof are obtained by the above method, skin color can be evaluated and diagnosed from the contribution of the amount of melanin component and the amount of hemoglobin component to the detected skin color. For example, by calculating the amount of melanin component and the amount of hemoglobin component from a face image obtained by photographing the subject and comparing it with an average value in the database, it can be determined whether the skin is light or dark skin. Further, the amount of hemoglobin component can be used as a health check since it can be known from the spectral characteristics whether there is a lot of hemoglobin with a high oxygen partial pressure (arterial blood type) or a lot of hemoglobin with a low oxygen partial pressure (venous type). Also, even if the skin color is dark, it is judged whether the amount of melanin component is large or the amount of hemoglobin component with low oxygen partial pressure is large, whether the amount of melanin component due to sunburn etc. is large, whether it looks dark due to fatigue, etc. Can be determined.
[0021]
Further, makeup advice can be given based on the determined amount of melanin component and hemoglobin component of the subject.
[0022]
The amount of melanin component and the amount of hemoglobin component are determined by measuring the skin color of the subject. Separately from this, the subject's wishes are asked by interviewing the subject. This inquiry asks what skin color you want to have, such as a whiter color or a brown color. By the way, data on what kind of basic cosmetic is used and what kind of skin color is constructed as a database. This data is based on data on how the basic cosmetics change the amount of melanin and hemoglobin components in the skin color when applied to the skin. Data on how the skin color changes after 3 months, etc., and the image processing apparatus displays the changed skin color as a prediction based on such data, the subject's wishes and the subject's measurement data . Also, advice on what other basic cosmetics should be used can be made based on the measured skin color information of the subject.
[0023]
That is, the first aspect of the present invention is a skin color measuring apparatus, and the feature of the present invention is that the spectral data of the reflected light reflected from the skin by the light from the light source is converted to the skin using polarized light. At least one pigment component constituting the subject's skin color is obtained from the reflected light detecting means for detecting separately the surface reflected light component reflected on the surface and the internally reflected light component reflected inside the skin, and the internal reflected light component. A processing means and a means for outputting the obtained pigment component are provided.
[0024]
For example, the pigment component is selected from the group consisting of a melanin component, a hemoglobin component, a bilbilin component, and a carotene component.
[0025]
According to a second aspect of the present invention, there is provided a skin color diagnostic apparatus. The feature of the present invention is that the spectral data of the reflected light reflected from the skin by the light from the light source is applied to the surface of the skin using polarized light. Reflected light detecting means for detecting separately the reflected surface reflected light component and the internally reflected light component reflected inside the skin, and processing means for determining the melanin component and hemoglobin component constituting the skin color of the subject from the internally reflected light component And evaluation means for evaluating the skin condition of the subject from the obtained relationship between the melanin component and the hemoglobin component and outputting an evaluation result.
[0026]
It is desirable that the evaluation means compares the melanin component and the hemoglobin component obtained from the subject with existing data and evaluates the skin condition of the subject based on the comparison result. The existing data is preferably an average measurement value for a group of the same age as the subject, but may be a past measurement value of the same subject.
[0027]
According to a third aspect of the present invention, there is provided a face image processing apparatus. The feature of the present invention is that the spectral data of the reflected light reflected from the skin by the light from the light source is converted into the surface of the skin using polarized light. The surface reflection light component reflected at the surface and the internal reflection light component reflected inside the skin, and the photographing means for detecting the face image data of the subject, the melanin component constituting the skin color of the subject from the internal reflection light component, and Processing means for obtaining the hemoglobin component, means for inputting the subject's desire for skin color, a database storing data on changes in the melanin component and hemoglobin component when applying basic makeup, and in accordance with the inputted subject's desire And image processing means for processing the face image data of the subject based on the data selected from the database, and the face output from the image processing means It is in place and display means for displaying an image.
[0028]
It is desirable to further comprise means for outputting basic cosmetic data for performing basic makeup corresponding to the data selected from the database in accordance with the input test subject's wishes.
[0029]
The basic makeup refers to makeup using a milky lotion, a lotion, or the like containing components such as a whitening agent that changes the color of the skin itself, a blood circulation promoter, and the like. On the other hand, makeup that changes the apparent skin color using a foundation or the like is called makeup.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
A skin color measuring device, a skin color diagnostic device, and a face image processing device according to an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram of the skin color measuring apparatus according to the first embodiment of the present invention. FIG. 2 is a view for explaining detection of internal light in the skin color measuring apparatus according to the first embodiment of the present invention. FIG. 3 is a view for explaining detection of surface light in the skin color measuring apparatus according to the first embodiment of the present invention. FIG. 4 is a block diagram of the skin color diagnostic apparatus according to the second embodiment of the present invention. FIG. 5 is a block diagram of the face image processing apparatus according to the third embodiment of the present invention.
[0031]
The first embodiment of the present invention is a skin color measuring apparatus, and as shown in FIG. 1, a surface of light reflected from the light source and reflected from the skin using polarized light. Polarizing plates 50, 51, and 52 as the reflected light detecting means for detecting separately the reflected light component and the internally reflected light component scattered and reflected inside the skin, the camera device 1 and the internal light detection unit 2, and internal reflection The skin color measuring apparatus 10 includes an analysis unit 3 as a processing unit that obtains a melanin component or a hemoglobin component that constitutes a subject's skin color from a light component, and outputs the obtained melanin component or hemoglobin component.
[0032]
The second embodiment of the present invention is a skin color diagnostic apparatus, and as shown in FIG. 4, the skin condition of the subject is evaluated from the relationship between the melanin component and the hemoglobin component output from the skin color measuring apparatus 10 of the first embodiment. The skin color diagnosis apparatus 20 includes an evaluation unit 12 as an evaluation unit that outputs an evaluation result. The evaluation unit 12 compares the melanin component and the hemoglobin component obtained from the subject with the existing data recorded in the average value database 11, and evaluates the skin condition of the subject based on the comparison result.
[0033]
The third embodiment of the present invention is a face image processing apparatus, and as shown in FIG. 5, the skin color measuring apparatus 10 of the first embodiment is used to obtain the melanin component and hemoglobin component constituting the skin color of the subject, and the skin color The change state database 21 is a database in which data relating to changes in the melanin component and the hemoglobin component when basic makeup is applied is input, and the change state database 21 in accordance with the input subject's request Based on the data selected from the above, a change simulation unit 22 as an image processing unit that processes the face image data of the subject, and a display unit 23 as a display unit that displays the face image output from the change simulation unit 22 A face image processing apparatus 30 is provided. Data of basic cosmetics for performing basic makeup corresponding to the data selected from the change state database 21 in accordance with the input test subject's desire is output.
[0034]
In the following, embodiments of the present invention will be described in more detail.
[0035]
(First Example)
A first embodiment of the present invention will be described with reference to FIGS. The skin color measuring apparatus 10 according to the first embodiment of the present invention removes the surface light component of the skin, which is a noise component in the measurement of the amount of melanin component and the amount of hemoglobin component, which has hindered the measurement, and performs measurement using the internal light component. Therefore, an accurate value can be obtained.
[0036]
That is, as shown in FIG. 2, when the light whose polarization plane is adjusted by passing through the polarizing plate 50 passes through the surface of the skin and repeats scattering inside and out several times, The light arranged by the polarizing plate 50 is internally reflected to be emitted as light having various polarizations, that is, internal light.
[0037]
As shown in FIG. 3, when the light whose polarization plane is adjusted by being transmitted through the polarizing plate 50 is reflected on the skin surface, the polarization direction adjusted by the polarizing plate 50 is preserved. In the example of FIG. 3, light that has been adjusted to polarization in the vertical direction by the polarizing plate 50 is reflected on the surface, and is reflected again as light having vertical polarization, that is, surface light.
[0038]
In this way, using the property that the surface light and the internal light can be distinguished by polarized light, the light transmitted through the polarizing plates 51 and 52 is photographed by the camera device 1 as shown in FIG. An image taken through the polarizing plate 51 is taken as an image a. An image taken through the polarizing plate 52 is taken as an image b. Here, when you want to get an internal light image,
2 x image b
As shown in FIG. That is, since the image b includes only the internal light element, all the light captured as the image b becomes the internal light image as it is. However, since about half of the internal light is shielded by the polarizing plate 52, the light quantity of the image b is doubled for the purpose of compensating for the light shielding.
[0039]
The analysis unit 3 analyzes the melanin component amount and the hemoglobin component amount described above with respect to the internal light component from which the skin surface reflection component, which is a noise component, is removed in this manner, thereby obtaining these accurate values. be able to.
[0040]
(Second embodiment)
A skin color diagnostic apparatus according to the second embodiment of the present invention will be described. A skin color diagnostic apparatus 20 shown in FIG. 4 includes an average value database 11 and an evaluation unit 12. Focusing on the amount of melanin component and hemoglobin component output from the analysis unit 3 of the skin color measuring apparatus 10, the amount of melanin component is dark, and if the amount of hemoglobin component is small, the skin is less reddish Can do. Thereby, the evaluation part 12 can evaluate a test subject's skin color from the difference with the average value of a melanin component amount and a hemoglobin component amount. This average value is stored in the average value database 11.
[0041]
For example, image analysis determines whether the bear under the eyes is simply melanin, whether it is tired and has a lot of hemoglobin with low oxygen partial pressure (venous blood type), or for bruises or just a shadow be able to. Thereby, the health check of skin can also be performed. Specific examples of skin color diagnosis based on the amount of melanin component and the amount of hemoglobin component are shown in Table 1.
[0042]
[Table 1]

[0043]
(Third embodiment)
A face image processing apparatus according to a third embodiment of the present invention will be described. The face image processing apparatus 30 shown in FIG. 5 includes a change state database 21, a change simulation unit 22, and a display unit 23. The change simulation unit 22 is input with the subject's face image, the melanin component amount and the hemoglobin component amount output by the analysis unit 3 of the skin color measuring apparatus 10, and the subject's desire for the skin color.
[0044]
As shown in Table 2, the facial image impression database is a database in which information for defining the desired skin desired by the subject and words and the corresponding image processing direction is recorded. As desired for the skin impression such as “clear”, “lively”, and “healthy”, the operator can change the change rate of the melanin component and the hemoglobin component to change the skin color of the simulation result displayed on the image. You can change the impression. Specific examples of the change ratio are shown below.
[0045]
[Table 2]

[0046]
The change simulation unit 22 refers to the biological change database of the change state database 21 and obtains biological change information. This biological change information is information on changes in the amount of melanin component and hemoglobin component that occurs when a basic cosmetic of a type that conforms to the prescribed direction of image processing is used for a predetermined period, and the predetermined period is, for example, The period is 1 month, 2 months, 3 months. Here, Table 3 shows specific examples of the biological change database. The change ratio of the average value density in a predetermined area of each component image (reference is 0 month) is shown.
[0047]
[Table 3]

[0048]
Based on such a biotransformation database, which basic cosmetics will be used and how much the biotransformation will be displayed in a simulation image, it is determined by interactively judging whether or not it matches the hope by looking at the screen To do.
[0049]
The makeup effect database is a database in which information on makeup effects when makeup is applied using various cosmetics is recorded, and is arbitrarily added as a part of the change state database. If necessary, refer to this makeup effect database, and make-up when makeup is further applied to the skin color that has changed according to the increase or decrease in the amount of melanin and hemoglobin after using basic cosmetics for a predetermined period The effect information is obtained, and the apparent correction of the skin color that is still insufficient due to the change in the color of the skin itself by basic makeup is performed.
[0050]
The change simulation unit 22 displays the simulation result on the display unit 23. The operator analyzes the difference from the hope by dialogue with the subject. If the displayed simulation result is as desired by the subject, the basic cosmetic used in the simulation is determined as a basic cosmetic suitable for the subject. If the simulation result is different from that of the subject, the basic cosmetic data to be used is changed and the change simulation is executed again. In this way, basic cosmetics that meet the desires of the subject are determined.
[0051]
【The invention's effect】
As described above, according to the present invention, highly accurate measurement of pigment components such as melanin components and hemoglobin components contributing to skin color can be performed. In addition, it is possible to realize a diagnostic device for diagnosing the skin color of a subject based on the measurement and a makeup system capable of displaying a face image after a desired makeup. Further, it is possible to realize an advisory system that can give advice to customers based on the measurement.
[Brief description of the drawings]
FIG. 1 is a block diagram of a skin color measuring apparatus according to a first embodiment of the present invention.
FIG. 2 is a view for explaining detection of internal light in the skin color measuring apparatus according to the first embodiment of the present invention.
FIG. 3 is a view for explaining detection of surface light in the skin color measuring apparatus according to the first embodiment of the present invention.
FIG. 4 is a block diagram of a skin color diagnostic apparatus according to a second embodiment of the present invention.
FIG. 5 is a block diagram of a face image processing apparatus according to a third embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Camera apparatus 2 Internal light detection part 3 Analysis part 10 Skin color measuring apparatus 11 Average value database 12 Evaluation part 20 Skin color diagnostic apparatus 21 Change state database 22 Change simulation part 23 Display part 30 Face image processing apparatus 50, 51, 52 Polarizing plate

Claims

Photographing means for photographing the skin of the subject as image data;
Reflected light detecting a skin image data of the subject which is the taken using polarized light from the light source is separated into the internal reflection light component reflected by the internal surface reflection light component and the skin reflected from the surface of the skin of the subject Means,
Skin color measuring device and a processing means for determining the melanin component and hemoglobin components constituting the skin color of the subject's skin from and its relative coefficients color component vector of the internal reflection light component.

Evaluating means for comparing the melanin component and the hemoglobin component obtained from the subject with a database of average values of the melanin component and the hemoglobin component of the skin, and evaluating the skin condition of the subject based on the comparison result and outputting an evaluation result The skin color measuring device according to claim 1.

Photographing means for photographing the skin of the subject as image data;
Reflected light detection means for separating the photographed subject skin image data using polarized light into a surface reflected light component in which light from a light source is reflected on the surface of the subject's skin and an internal reflected light component reflected in the skin. When,
Processing means for determining the melanin component and hemoglobin components constituting the skin color of the skin of a subject from and its relative coefficients color component vector of the internal reflection light component,
Means for inputting the subject's wishes for skin color;
A database storing data on changes in melanin and hemoglobin components when applying basic makeup;
Based on the data selected from the database in accordance with the input of the subject's wish, image processing means for performing a change process of the ratio of the melanin component and the hemoglobin component constituting the skin color in the subject's skin image data;
A skin image processing apparatus comprising: display means for displaying a skin image output from the image processing means.

The skin image processing apparatus according to claim 3, further comprising means for displaying a result of a change in skin color when applying basic makeup in accordance with an input subject's desire for a predetermined period .

The skin image processing apparatus according to claim 3 or 4 , further comprising means for outputting basic cosmetic data for performing basic makeup corresponding to the data selected from the database in accordance with the input of the subject.