JP5469859B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

カメラ等で撮像した被験者の肌の画像を取り込んでその撮像画像を解析し、被験者の肌状態を診断する肌診断システムが存在する。この肌診断システムは、例えば化粧品売り場の店頭に導入され、この肌診断結果は、肌の状態に適した化粧品をアドバイスするなどの化粧カウンセリングにおいて用いられる。

肌診断システムにおける撮像画像の解析手法も種々提案されている。例えばキメや毛穴の微細な形状を高精度に画像抽出する技術が提案されている（特許文献１参照）。

特開２００６−３０５１８４号公報

しかしながら一般的な肌診断システムでは、例えば抽出されたキメや毛穴の画像が表示されたり、皮溝の鮮明さや皮丘の細やかさなどを表す数値が表示される。従ってその画像や数値の見方を熟知していない人（例えば、顧客、化粧品売り場の店員であっても経験が少ない店員）は、その診断結果から、肌状態の程度（即ち見た目の善し悪し）を適切に判断することができない。

本発明は、このような状況に鑑みてなされたものであり、肌診断の測定の結果に基づいて、肌の状態の程度を容易に把握することができるようにするものである。

本発明の一側面の画像処理装置は、被験者の肌を撮影した診断対象画像より上記被験者の肌の状態を解析する画像処理装置において、肌の状態を表す診断項目の状態がその良好度の度合いに応じた２個以上の群に分類された教師画像について、群毎に、上記診断項目の状態がその群に分類された教師画像の所定の特徴量に基づいて算出された線形判別分析の基準を保持する保持手段と、被験者の肌を撮像した結果得られた診断対象画像から上記所定の特徴量を検出する検出手段と、上記線形判別分析の基準と上記診断対象画像の上記所定の特徴量による線形判別分析に基づいて、上記診断項目の状態を上記群のいずれかに分類する分類手段と、上記分類手段による分類結果を出力する出力手段とを有し、上記診断項目は、（a）キメ、（b）毛穴、（c）色ムラの少なくとも一つであり、上記特徴量は、（a）キメに対しては、上記診断対象画像から得られたエッジ画像の輝度平均値、上記エッジ画像の輝度歪度、キメ領域の数、（b）毛穴に対しては、上記診断対象画像から得られた毛穴領域の面積平均値、毛穴領域の面積比、被験者の年齢、（c）色ムラに対しては、上記診断対象画像のＬ*ａ*ｂ*画像を構成するＬ*値の平均値、Ｌ*値の偏差、ａ*値の平均値、被験者の年齢、であることを特徴とする。

分類手段は、事前確率による重み付けを行って、上記診断対象画像の分類を行うことができる。

キメを肌の状態を表す診断項目とした場合の検出手段は、診断対象画像としてのRGB画像を輝度画像に変換し、上記輝度画像を小領域に分割し、各小領域の輝度平均と分散を補正し、補正後の輝度画像にガウシアンフィルタでぼかし処理を行った後エッジ検出処理を行い、その結果得られたエッジ画像から平均及び歪度を計算し、補正後の輝度画像にガウシアンフィルタでぼかし処理を行った後画像の二値化処理を行い、その結果得られた二値化後画像からキメ領域数を計算することを特徴とする。

本発明の一側面のプログラムは、被験者の肌を撮影した診断対象画像より被験者の肌の状態を解析する画像処理をコンピュータに実行させるプログラムであって、肌の状態を表す診断項目の状態がその良好度の度合いに応じた２個以上の群に分類された教師画像について、群毎に、上記診断項目の状態がその群に分類された教師画像の所定の特徴量に基づいて算出された線形判別分析の基準を入力する入力ステップと、被験者の肌を撮像した結果得られた診断対象画像から上記所定の特徴量を検出する検出ステップと、上記線形判別分析の基準と上記診断対象画像の上記所定の特徴量による線形判別分析に基づいて、上記診断項目の状態を上記群のいずれかに分類する分類ステップと、上記分類手段による分類結果を出力する出力ステップとを含み上記診断項目は、（a）キメ、（b）毛穴、（c）色ムラの少なくとも一つであり、上記特徴量は、（a）キメに対しては、上記診断対象画像から得られたエッジ画像の輝度平均値、上記エッジ画像の輝度歪度、キメ領域の数、（b）毛穴に対しては、上記診断対象画像から得られた毛穴領域の面積平均値、毛穴領域の面積比、被験者の年齢、（c）色ムラに対しては、上記診断対象画像のＬ*ａ*ｂ*画像を構成するＬ*値の平均値、Ｌ*値の偏差、ａ*値の平均値、被験者の年齢、であることを特徴とする。

本発明によれば、肌診断の測定の結果に基づいて、肌の状態の程度を容易に把握することができる。

［肌診断システムの構成］
図１は、本発明を適用した肌診断システムの構成例を示す図である。

肌状態測定装置１１は、被験者としての顧客又はカウンセラーとしての化粧品売り場の店員など（以下、個々に区別する必要がない場合、単に、ユーザと称する）が片手で把持し易い形態を有し、個体撮像素子（例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor））からなる撮像部を有している。例えば被験者が肌状態測定装置１１を持って、肌状態測定装置１１の所定の部分（例えば顔の頬部分）に当てて所定の操作を行うことにより、その部分が撮像され、その結果得られた撮像画像が取り込まれる。

肌状態測定装置１１は、例えば有線で、ユーザ端末１２と接続されており、取り込んだ撮像画像をユーザ端末１２に送信する。

ユーザ端末１２は、例えばパーソナルコンピュータであり、肌状態測定装置１１から送信されてきた被験者の皮膚部分の撮像画像（以下、診断対象画像Ｐinと称する）に基づいて、所定の肌状診断処理を実行する。この肌診断処理の詳細は後述するが、例えば、肌の状態を表す所定の診断項目（この例の場合、キメ、毛穴、色ムラ）の状態がその良好度の度合いに応じた２個以上の群（この例の場合、ランク１からランク５までの５個のランク）に分類された教師画像について、ランク毎に、診断項目の状態がそのランクに分類された教師画像の所定の特徴量に基づく線形判別分析の基準と、診断対象画像Ｐinから検出されたその所定の特徴量による線形判別分析に基づいて、診断対象画像Ｐinにおける診断項目の状態が所定のランクに分類され、その分類結果が出力される。

［ユーザ端末１２の構成］
図２は、ユーザ端末１２の構成例を示すブロック図である。このユーザ端末１２において、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、及びＲＡＭ（Random Access Memory）２３は、バス２４により相互に接続されている。

バス２４には、さらに、入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７、ハードディスクや不揮発性のメモリなどよりなる記憶部２８、肌状態測定装置１１との通信を実現する通信部２９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１を駆動するドライブ３０が接続されている。

以上のように構成されるユーザ端末１２では、ＣＰＵ２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５及びバス２４を介して、ＲＡＭ２３にロードして実行することにより、所定の処理（例えば、肌診断処理）が行われる。

なおＣＰＵ２１が実行するプログラムは、例えば、リムーバブルメディア３１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１をドライブ３０に装着することにより、入出力インタフェース２５を介して、記憶部２８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２９で受信し、記憶部２８にインストールすることができる。その他、プログラムは、ＲＯＭ２２や記憶部２８に、予めインストールしておくことができる。

［肌診断処理を実行するための機能的構成］
図３は、ユーザ端末１２において肌診断処理を実行するための機能的構成例を示すブロック図である。

画像入力部５１は、肌状態測定装置１１からユーザ端末１２へ供給された診断対象画像Ｐin（即ち被験者の皮膚部分の撮像画像）を入力し、前処理部５３に供給する。

情報入力部５２は、ユーザの入力部２６に対する操作により設定された被験者に関する個人情報（この例の場合、少なくとも年齢を含む情報）（以下、被験者情報と称する）を入力し、入力した被験者情報を、毛穴分類部５８及び色ムラ分類部５９のそれぞれに供給する。

前処理部５３は、診断対象画像ＰinからＲ（Ｒｅｄ）成分、Ｇ（Ｇｒｅｅｎ）成分、Ｂ（Ｂｌｕｅ）成分の画像を抽出するとともに、それらの成分に基づいて、例えば下記の式に基づいて輝度画像（以下、輝度画像Ｐgと称する）に変換する。
輝度値Ｙ＝0.299R+0.587G+0.114B

図４の左側には診断対象画像Ｐinの例が示され、図４の右側には輝度画像Ｐgの例が示されている。

キメ特定特徴量検出部５４は、前処理部５３から供給された輝度画像Ｐgから、キメを特定するための特徴量（以下、キメ特定特徴量Ｆaと称する）を構成する特徴量を検出し、キメ分類部５７に供給する。この例の場合、以下に説明するように、エッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及び皮丘であると想定される領域（以下、キメ領域Ｇaと称する）の数が算出される。

初めに輝度画像Ｐgが、画像中央と周辺の輝度のむらを補正するために、幅４×縦３の矩形領域に分割（例えば、１２分割され）、それぞれの領域にて以下の処理が行われる。

即ち矩形領域の輝度平均値gmeanと標準偏差gstdが求められる。次に矩形領域内の輝度平均値gmeanが１２８になるようにシフトされるとともに（即ちエッジの強度が強調されるとともに）、画素値の分布gmin〜gmaxの範囲が０〜２５５に拡大される（即ち輝度レベルが広がるように分散が変換される）。具体的には矩形領域内の各画素値ｘが、下記の式に基づいて画素値ｘ'に変換され、そしてさらに画素値ｘ''に変換される。なおgmin＝128-2.4×gstd，gmax＝128+1.6×gstdとする。
ｘ'=ｘ-gmean+128
ｘ''=(ｘ'-gmin)×255.0/(gmax-gmin)

図５の上から第１段目（最上段）には、このように輝度レベルが広がるように変換された輝度画像Ｐgの例が示されている。

このように輝度画像Ｐgが変換されると、変換された輝度画像Ｐgに、σ=4ピクセル相当のガウシアンフィルタがかけられてぼかし処理が行われるとともに（即ちノイズが除去されるとともに）、エッジ検出処理が行われてエッジ画像Ｐeが生成される。エッジ画像Ｐeの各ピクセルの値は、水平、垂直エッジの二乗和の平方根である。

図５の上から第２段目には、ガウシアンフィルタがかけられた輝度画像Ｐgの例が示されている。また図５の上から第３段目には、エッジ処理が施されることにより生成されたエッジ画像Ｐeの例が示されている。なおこの段には、エッジ処理で用いられる水平エッジ検出ためのフィルタとそれによりフィルタリングされた画像、及び垂直エッジ検出のためのフィルタとそれによりフィルタリングされた画像の例も示されている。

次に、図５の上から第４段目（最下段）に示すように、エッジ画像Ｐeの中央３００×３００の領域より、式（１）に従って輝度平均値及び輝度歪度が算出される。式（１）中、Sdは式（２）に従って算出され、式（２）中、分散（VAR）は式（３）に従って算出される。式（１）及び式（３）中、Iは画素値のレベル（0〜255）を示し、P(I)はレベルIの画素数の割合を示し、Σは全画素レベルについての和を示す。

なおここで中央の領域を用いるのは、肌状態測定装置１１の撮像部（即ちカメラ）には、通常、中央より周辺が暗くなる特性があることから、明るい部分を利用するためである。

このようにしてエッジ画像Ｐeの輝度平均値及びその輝度歪度が求められる。エッジ画像Ｐeでは、皮溝がはっきりしている部分が明るくなるので、エッジ画像Ｐeの輝度平均値及び輝度歪度により、キメの視認のしやすさとそのばらつきを評価することができる。

次に以下のようにしてキメ領域Ｇaの数が算出される。

即ち元の輝度画像Ｐgに対して、σ=1ピクセルのガウシアンフィルタがかけられ、判別分析法により二値化される。図６の左側には、このガウシアンフィルタがかけられた輝度画像Ｐgの例が示され、図６の右側には、二値化画像の例が示されている。なおここでの二値化処理では、判別分析の閾値＝１４９とされ、画素値ｘ＜１４９であるとき０に、ｘ＞＝１４９であるとき１に二値化される。この閾値は、画像に応じて最適な値に適宜変更することができる。

そして次にサイズ１の最小値フィルタが適用されるとともに、ラベリング処理が施される。その結果得られた領域のうち、幅１５ピクセル未満かつ縦１５ピクセル未満の領域が削除される。残った領域がキメ領域Ｇaとされその数が算出される。キメ領域Ｇaの数は、いわゆるキメの細かさに対応するので、キメ領域Ｇa数により、キメの細かさを評価することができる。

このようにして、エッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇaの数が算出される。

図３に戻り毛穴特定特徴量検出部５５は、前処理部５３から供給された輝度画像Ｐgから、毛穴状態を示す特徴量（以下、毛穴特定特徴量Ｆbと称する）を構成する特徴量を検出し、毛穴分類部５８に供給する。この例の場合、以下に説明するように、毛穴であると想定される領域（以下、毛穴領域Ｇbと称する）の面積平均値及び面積比が算出される。

即ち初めに輝度画像Ｐgの中央４００×３００の領域が幅４×縦３の矩形領域に分割され、それぞれの領域にてイコライズ（平均化）処理が行われる。ここでイコライズ処理を行うのは、毛穴部分を強調するためである。

イコライズ処理された輝度画像Ｐgの輝度値が反転処理されるとともに、σ=1ピクセルのガウシアンフィルタがかけられる。そして二値化処理がなされ、サイズ３の最小値フィルタが適用され、ラベリング処理が施される。その結果得られた領域のうち、幅１５ピクセル未満かつ縦１５ピクセル未満の領域は削除され、残った領域を毛穴領域Ｇbとしてその面積の平均値及び面積比が算出される。なお面積比は、外接矩形の面積と領域面積の比で「真円度」を表している。毛穴領域Ｇbの面積平均値及び面積比により、毛穴の大きさ及び形を評価することができる。

図７の左側には、イコライズ処理された輝度画像Ｐgの例が示されている。図７の右側には、毛穴領域Ｇbを含む画像の例が示されている。

色ムラ特定特徴量検出部５６は、色ムラ状態を示す特徴量（以下、色ムラ特定特徴量Ｆcと称する）を構成する特徴量を検出し、色ムラ分類部５９に供給する。この例の場合、以下に説明するように、輝度平均値、輝度偏差、及びａ*値の平均値が算出される。

即ち初めにＲＧＢ画像がＬ*ａ*ｂ*表色系に変換される。そしてＬ*値の中央４００×３００の領域についてその平均値及び偏差が算出される。そしてａ*値の中央４００×３００の領域について、ａ*値の平均値が算出される。Ｌ*値は、明るさに対応することから、Ｌ*値の平均値及び偏差は、輝度平均値及び輝度偏差に相当し、それらにより明るさの平均やばらつきを評価することができる。ａ*値は、肌色の赤みの強さを示すことから、ａ*値の平均値により、赤みの平均を評価することができる。

図８の左側には、Ｌ*値の画像の例が示され、図８の右側には、ａ*値の画像の例が示されている。

キメ分類部５７は、キメ特定特徴量検出部５４からのキメ特定特徴量Ｆaを構成する特徴量として検出されたエッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇa数、並びに分類判別分析基準保持部６０に保持されているキメ状態を分類するための線形判別分析に用いる基準（以下、キメ分類判別分析基準Ｚaと称する）に基づいて、診断対象画像Ｐinにおけるキメの状態を、所定のランク（この例の場合、１〜５のいずれかのランク）に分類する。

毛穴分類部５８は、毛穴特定特徴量検出部５５からの毛穴特定特徴量Ｆbを構成する特徴量として検出された毛穴領域Ｇbの面積平均値及び面積比、情報入力部５２から供給された被験者の年齢、並びに分類判別分析基準保持部６０に保持されている毛穴状態を分類するための線形判別分析に用いる基準（以下、毛穴分類判別分析基準Ｚbと称する）に基づいて、診断対象画像Ｐinにおける毛穴の状態を所定のランクに分類する。なお毛穴特定特徴量Ｆbは、毛穴特定特徴量検出部５５で検出された毛穴領域Ｇbの面積平均値及び面積比、並びに情報入力部５２から供給された被験者の年齢より構成される。

色ムラ分類部５９は、色ムラ特定特徴量検出部５６からの色ムラ特定特徴量を構成する特徴量として検出された輝度平均値、輝度偏差値、ａ*値の平均値、及び情報入力部５２から供給された被験者の年齢、並びに分類判別分析基準保持部６０に保持されている色ムラの状態を分類するための線形判別分析に用いる基準（以下、色ムラ分類判別分析基準Ｚcと称する）に基づいて、診断対象画像Ｐinにおける色ムラの状態を所定のランクに分類する。なお色ムラ特定特徴量Ｆcは、色ムラ特定特徴量検出部５６で検出された輝度平均値、輝度偏差値、及びａ*値の平均値、並びに情報入力部５２から供給された被験者の年齢より構成される。

分類判別分析基準保持部６０は、キメ分類判別分析基準Ｚa、毛穴分類判別分析基準Ｚb、及び色ムラ分類判別分析基準Ｚc（以下、個々に区別する必要がない場合、単に、分類判別分析基準Ｚと称する）を保持しており、適宜、必要な分類判別分析基準Ｚをキメ分類部５７、毛穴分類部５８、及び色ムラ分類部５９に供給する。

診断情報生成部６１は、キメ分類部５７によるキメの状態の分類結果、毛穴分類部５８による毛穴の状態の分類結果、及び色ムラ分類部５９による色ムラの状態の分類結果を、それぞれ提示する画面（以下、診断結果画面Ｗ1と称する）を生成し、それを、表示制御部６２を制御して、出力部２７に表示させる。

図９は、診断結果画面Ｗ1の表示例を示す図である。この画面Ｗ1のエリアＷ11には診断対象画像Ｐinが表示され、エリアＷ12には鏡面反射を偏光フィルタで除いた診断対象画像が表示されている。またエリアＷ11の下側には、キメの状態の分類結果（即ち分類されたランク）及び毛穴の状態の分類結果（即ち分類されたランク）が示されている。またエリアＷ12の下側に、色ムラの状態の分類結果（即ち分類されたランク）が示されている。なおこの例では、分類されたランクは、そのランクを示す数値（以下、適宜指数と称する）が、黒塗りの星印の数で示されている。即ち図９の例では、キメの状態は、ランク５（指数５）、毛穴の状態は、ランク５（指数５）、及び色ムラの状態は、ランク３（指数３）にそれぞれ分類されている。

なおこの例の場合、黒塗りの星の数が多い程（指数の値が大きい程）、よい状態を表している。即ち「キメ指数」の黒塗りの星の数が多ければ、キメが細かいことを意味し、逆に少なければキメが荒いことを意味する。また「毛穴指数」の黒塗りの星の数が多ければ、毛穴が目立たないことを意味し、逆に少なければ毛穴が目立つことを意味する。また「色ムラ指数」の黒塗りの星の数が多ければ、色ムラの少ないことを意味し、逆に少なければ色ムラが多いことを意味する。

このように診断結果画面Ｗ1では、診断項目の状態について、その状態の善し悪しを示すランク（換言すれば、良好度の度合い）が明示される。この例の場合、５段階で示される。従って被験者はこの診断結果画面Ｗ1を参照すれば、被験者の各診断項目の状態の善し悪しを容易に把握することができる。

［分類判別分析基準Ｚ］
分類判別分析基準保持部６０に保持されている分類判別分析基準Ｚについて説明する。分類判別分析基準Ｚには、固有ベクトルＶと及び特定特徴量基準μが含まれている。

特定特徴量基準μは、式（４）で求められる。式（４）中のｘ(k)(p)の平均値は、専門家の目視によって診断項目の状態が所定のランクに分類された教師画像について、ランク毎に、診断項目の状態がそのランクに分類された教師画像から検出された特定特徴量毎の平均値である。添字ｋはランクを示し、添字ｐは、特定特徴量の種類を示す。上付け文字ｔは、行列の転置を意味する。

図１０の最上段には、キメ分類判別分析基準Ｚaに含まれる特定特徴量基準μaが示されている。このμ1，μ2，μ3，μ4，μ5は、ランク毎に、キメの状態がそのランクに分類された教師画像から得られたエッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、又は皮丘であると想定されるキメ領域Ｇaの数のそれぞれの平均値（図１０中、エッジ画像輝度平均、エッジ画像輝度歪度、キメ領域数）である。

図１１の最上段には、毛穴分類判別分析基準Ｚbに含まれる特定特徴量基準μbが示されている。このμ1，μ2，μ3，μ4，μ5は、ランク毎に、毛穴の状態がそのランクに分類された教師画像から得られた毛穴領域Ｇbの面積平均値、毛穴領域Ｇbの面積比、及び被験者の年齢のぞれぞれの平均値（図１１中、面積平均、面積比、年齢）である。

図１２の最上段には、色ムラ分類判別分析基準Ｚcに含まれる特定特徴量基準μcが示されている。このμ1，μ2，μ3，μ4，μ5は、ランク毎に、色ムラの状態がそのランクに分類された教師画像から得られたＬ*ａ*ｂ画像を構成するＬ*値の平均値、Ｌ*値の偏差、ａ*値の平均値、及び被験者の年齢のぞれぞれの平均値（図１２中、輝度平均、輝度偏差、ａ*平均、年齢）である。

一方固有ベクトルＶは、Ｗ-1Ｂの固有ベクトル行例であり、Ｗは式（５）により求められ、Ｂは式（６）により求められる。式（５）中Σjは、各グループ（ランク）の共分散行列である。また式（６）中、μの平均は、式（７）に示すように、πにより重み付けされている。なお、式（５）、式（６）、及び式（７）におけるπは、教師画像の全サンプル数に対して各ランクに属するサンプル数の出現頻度を表す確率である。

図１０、図１１、及び図１２の中段には、キメ分類判別分析基準Ｚa、毛穴分類判別分析基準Ｚb、及び色ムラ分類判別分析基準Ｚcに含まれる固有ベクトルＶa，Ｖb，Ｖcの例が示されている。なおπは、図１０、図１１、及び図１２に最下段に示すように、ランク毎に設けられており、固有ベクトルＶ及び特定特徴量基準μとともに分類判別分析基準保持部６０に保持されている。

分類判別分析基準Ｚには、このような特定特徴量基準μと固有ベクトルＶが含まれている。

［分類判別分析基準Ｚの生成方法］
分類判別分析基準Ｚの生成方法について説明する。図１３は、分類判別分析基準Ｚを生成する生成装置１００の構成例が示されている。分類判別分析基準Ｚの生成方法においては、初めに、例えば、百数十人の被写体の頬部分を撮像した撮像画像が教師画像として用意され、例えば経験のある化粧品カウンセラー（即ち、専門家）により、目視で、各診断項目の状態について分類してもらう。即ち専門家の目視による判断により、例えばある教師画像について、キメの状態はランク５、毛穴の状態はランク４、そして色ムラの状態はランク５というような分類が行われる。このように目視による分類がなされた教師画像が生成装置１００に供給される。

画像入力部１０１は、生成装置１００に供給された目視による分類がなされた教師画像を入力し、前処理部１０２に供給する。前処理部１０２は、図３の前処理部５３と同様にして、供給された教師画像のそれぞれからＲ成分、Ｇ成分、Ｂ成分の画像を抽出するとともに、それらの成分に基づいて、輝度画像Ｐgを生成する。

キメ特定特徴量検出部１０３は、ランク毎に、キメの状態がそのランクに分類された教師画像のそれぞれから、図３のキメ特定特徴量検出部５４と同様にして、エッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇaの数を算出する。キメ分類判別分析基準生成部１０４は、キメ特定特徴量検出部１０３により検出された特徴量それぞれについて平均値（即ち特定特徴量基準μa）を求めるとともに（式（４））、固有ベクトルＶaを求める（式（５）〜式（７））。キメ分類判別分析基準生成部１０４で求められた特定特徴量基準μa及び固有ベクトルＶa（図１０）は、図３の分類判別分析基準保持部６０に供給されて保持される。

毛穴特定特徴量検出部１０５は、ランク毎に、毛穴の状態がそのランクに分類された教師画像のそれぞれから、図３の毛穴特定特徴量検出部５５と同様にして、毛穴領域Ｇbの面積平均値、及び毛穴領域Ｇbの面積比を算出する。毛穴分類判別分析基準生成部１０６は、毛穴特定特徴量検出部１０５により検出された特徴量それぞれの平均値及び別途供給された被験者の年齢の平均値（即ち特定特徴量基準μb）を求めるとともに、固有ベクトルＶbを求める。毛穴分類判別分析基準生成部１０６で求められた特定特徴量基準μb及び固有ベクトルＶb（図１１）は、分類判別分析基準保持部６０に供給されて保持される。

また色ムラ特定特徴量検出部１０７は、ランク毎に、色ムラの状態がそのランクに分類された教師画像のそれぞれから、図３の色ムラ特定特徴量検出部５６と同様にして、Ｌ*ａ*ｂ画像を構成するＬ*値の平均値、Ｌ*値の偏差、及びａ*値を算出する。色ムラ分類判別分析基準生成部１０８は、色ムラ特定特徴量検出部１０７により検出された特徴量それらの平均値及び別途供給された被験者の年齢の平均値（即ち特定特徴量基準μc）を求めるとともに、固有ベクトルＶcを求める。色ムラ分類判別分析基準生成部１０８で求められた特定特徴量基準μc及び固有ベクトルＶc（図１２）は、分類判別分析基準保持部６０に供給されて保持される。

なお生成装置１００は、例えば、図２に示したような構成を有する、ユーザ端末１２とは別個の装置とすることもできるし、この機能を、ユーザ端末１２に組み込ませることもできる。

［分類方法］
次に、上述した分類判別分析基準Ｚに基づくユーザ端末１２のキメ分類部５７、毛穴分類部５８、及び色ムラ分類部５９における分類方法について説明する。図１４は、ここでの分類方法の概念を示す図である。

即ち診断対象画像Ｐinから検出された「キメ特定特徴量Ｆa」（即ちエッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇa数）と、「１〜５のランク毎のキメ分類判別分析基準Ｚa」（即ち図１０に示した特定特徴量基準μaのランク毎のμと固有ベクトルＶa）による線形判別分析に基づいて、各ランクのスコアが算出される。そしてそのランク毎のスコアに基づいてキメの状態のランクが決定される。

同様に、診断対象画像Ｐinから検出された「毛穴特定特徴量Ｆb」（即ち毛穴領域Ｇbの面積平均値とその面積比、及び年齢）と、「１〜５のランク毎の毛穴分類判別分析基準Ｚb」（即ち図１１に示した特定特徴量基準μbのランク毎のμと固有ベクトルＶb）による線形判別分析に基づいて、各ランクのスコアが算出され、そのスコアに基づいて毛穴の状態が分類されるランクが決定される。また診断対象画像Ｐinから検出された「色ムラ特定特徴量Ｆc」（即ち輝度平均値と輝度偏差、ａ*値の平均値、及び年齢）と、「１〜５のランク毎の色ムラ分類判別分析基準Ｚc」（即ち図１２に示した特定特徴量基準μcのランク毎のμと固有ベクトルＶc）による線形判別分析に基づいて、各ランクのスコアが算出され、そのスコアに基づいて色ムラの状態のランクが決定される。

具体的には、線形判別分析の式（８）を演算することによって各ランクのスコアが算出される。式（８）中、Ｄ2が、ランクのスコアである。式（８）中、Ｖ、μ、及びπは、分類判別分析基準保持部６０に保持されている固有ベクトル、特定特徴量基準、重みである。なおπは、式（８）においては、各ランクの全体に対する出現頻度を表す事前確率であり、各ランクへの分類の頻度を調整するための重みを意味する。また式（８）中、ｘは、診断対象画像Ｐinから検出された特定特徴量Ｆである。

即ち例えばキメ分類部５７は、診断対象画像Ｐinから検出された「キメ特定特徴量Ｆa」（即ちエッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、キメ領域Ｇaの数）」と、ランク１のキメ分類判別分析基準Ｚaとしての特定特徴量基準μaのμ1（エッジ画像輝度平均＝45.44、エッジ画像輝度歪度＝0.994，キメ領域数＝74.8）及び固有ベクトルＶa、並びにπ＝０．１０に基づいて式（８）を演算して、ランク１のスコアを算出する。またキメ分類部５７は、診断対象画像Ｐinから検出されたキメ特定特徴量Ｆaと、ランク２のキメ分類判別分析基準Ｚaとしての特定特徴量基準μaのμ2（エッジ画像輝度平均＝50.42，エッジ画像輝度歪度＝0.859，キメ領域数＝75.4）及び固有ベクトルＶa、並びにπ＝０．１５に基づいて式（８）を演算して、ランク２のスコアを算出する。またキメ分類部５７は、同様にして、ランク３〜ランク５についてのスコアを算出する。

式（９）は、例えば、診断対象画像Ｐinのキメ特定特徴量Ｆaが、エッジ画像Ｐeの輝度平均値＝58.4、エッジ画像Ｐeの輝度歪度＝0.653、及びキメ領域Ｇa数＝123である場合の、ランク１についてのスコアの演算例を示している。いまの場合、「ランク１」は、このように、「28.0」となる。なお「ランク２」、「ランク３」、「ランク４」、及び「ランク５」のスコアは、それぞれ、「15.91」、「8.18」、「5.67」、「3.64」となる。

式（８）によれば、算出されたスコアは、診断対象画像Ｐinから検出された特定特徴量Ｆと、ランク１のキメ分類判別分析基準Ｚとの距離を表していることから、値が最も小さかったランク５に、診断対象画像Ｐinのキメの状態は分類される。なお、この例では式（８）の結果を用いて分類を行ったが、他にマハラノビスの汎距離などを用いて分類を行ってもよい。

毛穴分類部５８及び色ムラ分類部５９も、同様に、診断対象画像Ｐinから検出された特定特徴量Ｆと、ランク１からランク５の分類判別分析基準Ｚとしての特定特徴量基準μ及び固有ベクトルＶa、重みπに基づいて式（８）を演算し、各ランクのスコアを算出する。そして最も小さいスコアが得られたランクに、毛穴の状態又は色ムラの状態が分類される。

このように、各診断項目についての分類判別分析基準Ｚとしての特定特徴量基準μ及び固有ベクトルＶは、専門家の目視により各ランクに分類された教師画像のランク毎の特定特徴量に基づいて求められるので、その診断対象画像Ｐinから検出された特定特徴量と分類判別分析基準Ｚによる線形判別分析に基づく分類は、専門家によるランク分けに対応していると言える。即ちこのように、診断項目について、専門家の目視による場合と同等の分類を行い、その分類結果として、診断項目の状態を例えば５段階で提示するようにしたので（図９）、その分類結果を参照することで、被験者は診断項目の状態の程度を容易に把握することができる。

［肌診断処理による分類結果の確認］
図１５には、１６２枚のサンプル画像についての、診断項目毎の、専門家の目視による分類結果と上述した肌診断処理による分類結果がまとめられている。具体的には、診断項目（キメ、毛穴、色ムラ）毎に、専門家の目視による分類でのランク毎のサンプル画像の数が、肌診断処理による分類でのランク毎に示されている。例えば最上段に示される「キメの状態」において、目視によりランク１に分類されたサンプル画像のうち、肌診断処理による分類でランク１に分類されたサンプル画像が１１個で、ランク２に分類されたサンプル画像が８個で、ランク３に分類されたサンプル画像が９個で、そしてランク４及びランク５に分類されたサンプル画像がそれぞれ０個であることが示されている。

図１５の結果では、「キメの状態」ついては、４４％のサンプル画像において目視による分類結果と肌診断処理による分類結果が一致している。また９１％のサンプル画像において分類結果の差が１ランク以内となっている。中段に示される「毛穴の状態」については、５２％のサンプル画像において目視による分類結果と肌診断処理による分類結果が一致している。また９５％のサンプル画像において分類結果の差が１ランク以内となっている。最下段に示される「色ムラの状態」については、５６％のサンプル画像において目視による分類結果と肌診断処理による分類結果が一致している。また９２％のサンプル画像において分類結果の差が１ランク以内となっている。

このように、肌診断処理による分類結果は、専門家の目視と同等であることが認められる。

［特定特徴量の選定］
なお以上においては、キメ特定特徴量Ｆaを、エッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇa数とし、毛穴特定特徴量Ｆbを、毛穴領域Ｇbの面積平均値とその面積比、及び年齢とし、そして色ムラ特定特徴量Ｆcを、輝度平均値と輝度偏差、ａ*値の平均値、及び年齢としたが、これらの特徴量については、専門家の目視による分類結果と強い相関が認められている。

図１６は、各診断項目における、専門家の目視による分類結果と、各種特徴量との相関関係を、特徴量毎に示す図である。この場合、サンプル画像を１７０枚とする調査（以下、第１回目の調査と称する）と、サンプル画像を１６２枚とする調査（以下、第２回目の調査と称する）が行われている。具体的には、それぞれの調査において、サンプル画像について専門家の目視による分類を行い、分類されたランクの番号とそのサンプル画像（例えば、ランク毎約１０個のサンプル画像）の所定の特徴量との相関比が求められている。図１６中の白抜きの棒状の矩形が、第１回目の調査による相関比を示し、図１６中の黒色の棒状矩形が、第２回目の調査による相関比を示している。ここで相関比は、各指数が示すランクの所定の特徴量の平均の分散を、全サンプル画像のその所定の特徴量の分散で除算したものである。

この調査によれば、最上段に示される「キメの状態」については、第１回目及び第２回目の調査においても、エッジ画像Ｐeの輝度平均値（図中、エッジ平均）、エッジ画像Ｐeの輝度歪度（図中、エッジ歪度）、及びエッジ画像Ｐeの尖度（図中、エッジ尖度）との相関比が高い。これらは皮溝の見えやすさに関わる特徴量であると推測される。また、皮丘の見え方に関わると思われるキメ領域Ｇa数やその領域面積については、第１回目の調査では相関が高いものの第２回目の調査では低くなっている。これは第１回目と第２回目のカメラ特性、撮影条件の違いにより、第２回目の画像では、例えば皮溝が薄い画像やピンぼけ画像などが多くなり、皮丘がキメ領域Ｇaとして検出できないケースが多かったためと考えられる。

中段に示される「毛穴の状態」については、毛穴領域Ｇbの面積平均値（図中、面積平均）及び面積偏差（図中、面積偏差）との相関比が高い。毛穴領域Ｇb数（図中、毛穴領域数）については低い値となっているが、これは毛穴領域Ｇbの検出において目視では毛穴とされないような小さい領域も含めて評価しているためと考えられる。

最下段に示される「色ムラの状態」については、輝度の平均（図中、輝度平均）、輝度の偏差（図中、輝度偏差）、ａ*値の平均値（図中、ａ*平均）との相関比が高い。また年齢との相関比も高くなっている。

このような理由により、エッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇa数を、キメ特定特徴量Ｆaとし、毛穴領域Ｇbの面積平均値とその面積比、及び年齢を、毛穴特定特徴量Ｆbとし、そして輝度画像Ｐgの輝度平均値と輝度偏差、ａ*値の平均値、及び年齢を、色ムラ特定特徴量Ｆcとしたものである。

なお「毛穴の状態」について、毛穴領域Ｇbの面積偏差（図中、面積偏差）の相関比は高いが、面積偏差と面積平均値の相関が高いため（相関係数0.9以上）、指数計算の情報としては平均と重複すると考え、毛穴領域Ｇbの面積偏差は毛穴特定特徴量Ｆbとされていない。

なお尖度（KURT）は、式（１０）に従って算出され、コントラスト(CNT)は、式（１１）に従って算出され、エネルギ(EGY)は、式（１２）に従って算出され、エントロピ(EPY)は、式（１３）に従って算出される。式（１０）〜（１３）中、Iは画素値のレベル（0〜255）を示し、P(I)はレベルIの画素数の割合を示し、Σは全画素レベルについての和を示す。また式（１０）中、AVEは式（１）に従って算出され、Sdは式（２）に従って算出される。

図１７は、先の第１回目及び第２回目の調査結果における診断項目毎の各特定特徴量（ランク毎のサンプル画像の各特定特徴量の平均値）をランク毎にプロットした図である。図１７からも特定特徴量と専門家の目視による分類に一定の相関があることがわかる。

なお以上においては、エッジ画像Ｐeの輝度平均値、エッジ画像Ｐeの輝度歪度、及びキメ領域Ｇa数を、キメ特定特徴量Ｆaとし、毛穴領域Ｇbの面積平均値とその面積比、及び年齢を、毛穴特定特徴量Ｆbとし、そして輝度画像Ｐgの輝度平均値と輝度偏差、ａ*値の平均値、及び年齢を、色ムラ特定特徴量Ｆcとしたが、これらの特徴量は、一例であり、他の特徴量を特定特徴量とすることもできるし、これらの特定特徴量の一部を特定特徴量とすることもできる。

本発明を適用した肌診断システムの構成例を示す図である。 図１のユーザ端末の構成例を示す図である。 肌診断処理を図１のユーザ端末において実行するための機能的構成例を示すブロック図である。 診断対象画像の処理例を示す図である。 診断対象画像の処理例を示す他の図である。 診断対象画像の処理例を示す他の図である。 診断対象画像の処理例を示す他の図である。 診断対象画像の処理例を示す他の図である。 診断結果画面の例を示す図である。 キメ分類判別分析基準Ｚaの例を示す図である。 毛穴分類判別分析基準Ｚbの例を示す図である。 色ムラ分類判別分析基準Ｚcの例を示す図である。 分類判別分析基準Ｚを生成する生成装置の構成例を示すブロック図である。 肌診断処理における分類方法の概念を示す図である。 目視による分類結果と肌診断処理による分類結果を示す図である。 特定特徴量の選択について説明する図である。 特定特徴量と目視による分類結果との相関を示す図である。

符号の説明

１１ 肌状態測定装置， １２ ユーザ端末， ２１ ＣＰＵ， ２２ ＲＯＭ， ２３ ＲＡＭ， ２４ バス， ２５ 入出力インタフェース， ２６ 入力部， ２７ 出力部， ２８ 記憶部， ２９ 通信部， ３０ ドライブ， ３１ リムーバブルメディア， ５１ 画像入力部， ５２ 情報入力部， ５３ 前処理部， ５４ キメ特定特徴量検出部， ５５ 毛穴特定特徴量検出部， ５６ 色ムラ特定特徴量検出部， ５７ キメ分類部， ５８ 毛穴分類部， ５９ 色ムラ分類部， ６０ 分類判別分析基準保持部， ６１ 診断情報生成部， ６２ 表示制御部， １０１ 画像入力部， １０２ 前処理部， １０３ キメ特定特徴量検出部， １０４ キメ分類判別分析基準生成部， １０５ 毛穴特定特徴量検出部， １０６ 毛穴分類判別分析基準生成部， １０７ 色ムラ特定特徴量検出部， １０８ 色ムラ分類判別分析基準生成部

Claims (4)

1. 被験者の肌を撮影した診断対象画像より上記被験者の肌の状態を解析する画像処理装置において、
   肌の状態を表す診断項目の状態がその良好度の度合いに応じた２個以上の群に分類された教師画像について、群毎に、上記診断項目の状態がその群に分類された教師画像の所定の特徴量に基づいて算出された線形判別分析の基準を保持する保持手段と、
   被験者の肌を撮像した結果得られた診断対象画像から上記所定の特徴量を検出する検出手段と、
   上記線形判別分析の基準と上記診断対象画像の上記所定の特徴量による線形判別分析に基づいて、上記診断項目の状態を上記群のいずれかに分類する分類手段と、
   上記分類手段による分類結果を出力する出力手段と
   を有し、
   上記診断項目は、
   （a）キメ、
   （b）毛穴、
   （c）色ムラ
   の少なくとも一つであり、
   上記特徴量は、
   （a）キメに対しては、上記診断対象画像から得られたエッジ画像の輝度平均値、上記エッジ画像の輝度歪度、キメ領域の数、
   （b）毛穴に対しては、上記診断対象画像から得られた毛穴領域の面積平均値、毛穴領域の面積比、被験者の年齢、
   （c）色ムラに対しては、上記診断対象画像のＬ*ａ*ｂ*画像を構成するＬ*値の平均値、Ｌ*値の偏差、ａ*値の平均値、被験者の年齢、
   である
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記分類手段は、事前確率による重み付けを行って、上記診断対象画像の分類を行う
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   キメを肌の状態を表す診断項目とした場合の前記検出手段は、
   前記診断対象画像としてのRGB画像を輝度画像に変換し、
   上記輝度画像を小領域に分割し、各小領域の輝度平均と分散を補正し、
   補正後の輝度画像にガウシアンフィルタでぼかし処理を行った後エッジ検出処理を行い、その結果得られたエッジ画像から平均及び歪度を計算し、
   補正後の輝度画像にガウシアンフィルタでぼかし処理を行った後画像の二値化処理を行い、その結果得られた二値化後画像からキメ領域数を計算する
   ことを特徴とする画像処理装置。
4. 被験者の肌を撮影した診断対象画像より被験者の肌の状態を解析する画像処理をコンピュータに実行させるプログラムであって、
   肌の状態を表す診断項目の状態がその良好度の度合いに応じた２個以上の群に分類された教師画像について、群毎に、上記診断項目の状態がその群に分類された教師画像の所定の特徴量に基づいて算出された線形判別分析の基準を入力する入力ステップと、
   被験者の肌を撮像した結果得られた診断対象画像から上記所定の特徴量を検出する検出ステップと、
   上記線形判別分析の基準と上記診断対象画像の上記所定の特徴量による線形判別分析に基づいて、上記診断項目の状態を上記群のいずれかに分類する分類ステップと、
   上記分類手段による分類結果を出力する出力ステップと
   を含み、
   上記診断項目は、
   （a）キメ、
   （b）毛穴、
   （c）色ムラ
   の少なくとも一つであり、
   上記特徴量は、
   （a）キメに対しては、上記診断対象画像から得られたエッジ画像の輝度平均値、上記エッジ画像の輝度歪度、キメ領域の数、
   （b）毛穴に対しては、上記診断対象画像から得られた毛穴領域の面積平均値、毛穴領域の面積比、被験者の年齢、
   （c）色ムラに対しては、上記診断対象画像のＬ*ａ*ｂ*画像を構成するＬ*値の平均値、Ｌ*値の偏差、ａ*値の平均値、被験者の年齢、
   である
   ことを特徴とするプログラム。