JP6977744B2 - 皮膚の色素成分の濃度画像の形成方法 - Google Patents

Description

本発明は、皮膚の内部反射光画像から皮膚に含まれる色素成分の濃度画像又は陰影の濃度画像を形成する方法及び装置に関する。

皮膚の色がメラニン含量とヘモグロビン含量の影響を受けることが知られている。例えば、褐色の皮膚はメラニン含量が多く、白っぽい皮膚はメラニン含量が少ない。血色のよい皮膚はヘモグロビン含量が多く、血色の悪い皮膚はヘモグロビン含量が少ない。シミではメラニンが局所的に増加しており、紅斑ではヘモグロビンが局所的に増加している。

本出願人は、被験者の皮膚を撮影するにあたり、偏光板を使用して皮膚の表面で反射された光をカットし、皮膚の内部で反射された光を使用することで内部反射光画像を形成し、内部反射光画像に対して独立成分分析を行い、メラニンの濃度画像とヘモグロビンの濃度画像を形成するにあたり、照明ムラや顔の起伏に起因する陰影の影響を補正する方法を提案している（特許文献１）。

即ち、内部反射光画像におけるある点ＰのＲ，Ｇ，Ｂの色ベクトルをｒ，ｇ，ｂとし、各色ベクトルをそれぞれ直交座標のｘ軸、ｙ軸、ｚ軸に割り当て、皮膚の平坦部分の肌色の画素値を色空間ｒ，ｇ，ｂにマッピングすると、図６（ａ）に示すように、肌色分布面はほぼ平面状になる。この肌色分布面は、メラニンベクトルとヘモグロビンベクトルの合成ベクトルであると考えられる。

しかしながら、照明ムラや顔の起伏による陰影が発現している部分で肌色の画素値を同様に色空間にマッピングすると、肌色分布面は照明光量のバラツキに応じて照明色方向に変動し、同図（ｂ）に示すように立体的に膨らむ。この照明色方向は無彩色色票により判定できる。そこで、特許文献１に記載の方法では、この膨らみ分を補正した色ベクトルについて独立成分分析を行い、メラニンベクトルとヘモグロビンベクトルを求め、メラニンの成分量やヘモグロビンの成分量を求める。

ここで、独立成分分析は、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的にLambert−Beerの法則に基づいて色素成分の信号が発せられ、それらが混合したものが画像信号になっているとして、画像信号から各層の色素成分の信号を分離抽出する方法である（「肌画像の独立成分分析に基づく顔色の変化予測」1997年日本光学会講演予稿集30aE02および「肌の色素成分に基づく顔色合成とその評価」カラーフォーラムＪＡＰＡＮ２０００第５〜８頁)。

特許４０９８５４２号公報

しかしながら、特許文献１に記載の方法では、陰影ムラのない領域の内部反射光画像を形成し、その内部反射光画像から陰影一定の面を導出する際に、統計的に精度よく求めるためには広い皮膚画像領域を用いる必要がある一方で、画像内の陰影ムラを最小化するためには領域を狭くする必要があった。これら２つの要求は相反しているため、適切に領域を設定することは難しく、陰影ムラを除去した面を精度よく推定することが難しかった。そのため、内部反射光画像からメラニンの濃度画像とヘモグロビンの濃度画像を差し引いて陰影の濃度画像を形成すると、その陰影の濃度画像にはメラニンの濃度画像のパターンやヘモグロビンの濃度画像のパターンがノイズとなって現れる。即ち、ムラが無いはずのi陰影画像にムラが現れるという問題が生じる。

さらに、特許文献１に記載の方法では、独立成分分析にかける皮膚の内部反射光画像としていずれの画像を使用するかによって算出されるメラニンベクトルやヘモグロビンベクトルが大きくばらつき、算出される色素成分量が合理的な範囲に収まらない場合（例えば、色素成分ベクトルの正負の符号が揃わない等）があった。そのため、算出される色素成分ベクトルが合理的な範囲に収まるように、皮膚画像の選び方や色素ベクトルの算出後の微調整に熟練と試行錯誤が必要であった。

これに対し、本発明は、独立成分分析等により算出される色素成分ベクトルを用いて色色成分の濃度画像を形成し、又は陰影成分ベクトルを用いて陰影の濃度画像を形成するにあたり、各色素成分ベクトル同士又は各色素成分ベクトルと陰影成分ベクトルとを簡便な方法で確実に分離できるようにすることを課題とする。

本発明者は、皮膚の内部反射光画像の色ベクトル（ｒ,ｇ,ｂ）から色素成分ベクトルを算出する上で、各色素成分ベクトルを最適化する方向を変えながら逐次最適化することで、複数の色素成分ベクトルを同時に求めることに起因する推定精度の悪化を避けられること、より具体的には、陰影ベクトルに対して色素成分ベクトルがなす角度を変えることにより、陰影ベクトルにおける色素成分ベクトルの混入の割合を下げられ、また同様に、或る色素成分ベクトルに対して他の色素成分ベクトルがなす角度を変えることにより、或る色素成分ベクトルにおける他の色素成分ベクトルの混入の割合を下げられること、この場合、陰影ムラのない領域の内部反射光画像を必要としないこと、を想到し、本発明を完成させた。

即ち、本発明は、皮膚の内部反射光画像の画素値を、少なくとも１つの色素成分ベクトルと陰影ベクトルの線形和で表す場合の色素成分ベクトルを用いて色素成分の濃度画像を形成し、又は陰影ベクトルを用いて陰影の濃度画像を形成する画像形成方法であって、色素成分ベクトルと陰影ベクトルを次の(i)、(ii)及び(iii)
(i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することが抑制されるように、陰影ベクトルに対し色素成分ベクトルがなす角度を動かす
(ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することが抑制されるように、或る色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かす
(iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することが抑制されるように、色素成分ベクトルに対し陰影ベクトルがなす角度を動かす
の少なくとも１つによって最適化する画像形成方法を提供する。

また、本発明は、皮膚の内部反射光画像の画像データの取得手段、
皮膚の内部反射光画像の画素値を、少なくとも１つの色素成分ベクトルと陰影ベクトルの線形和で表す場合の色素成分ベクトルを用いて色素成分の濃度画像を形成し、又は陰影ベクトルを用いて陰影の濃度画像を形成する演算装置を備えた画像形成装置であって、演算装置が、色素成分ベクトルと陰影ベクトルを次の(i)、(ii)及び(iii)
(i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することが抑制されるように、陰影ベクトルに対し色素成分ベクトルがなす角度を動かす
(ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することが抑制されるように、或る色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かす
(iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することが抑制されるように、色素成分ベクトルに対し陰影ベクトルがなす角度を動かす
の少なくとも１つによって最適化する画像形成装置を提供する。

本発明によれば、皮膚の内部反射光画像の色ベクトルを斜交座標をなす色素成分ベクトルと陰影ベクトルの線形和で表わし、(i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することが抑制されるように陰影ベクトルに対し色素成分ベクトルがなす角度を動かす、(ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することが抑制されるように、或る色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かす、(iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することが抑制されるように、色素成分ベクトルに対し陰影ベクトルがなす角度を動かす、という(i)(ii)(iii)の調整方法の少なくとも１つを順次又は繰り返し行うという手順を踏むだけで色素成分ベクトルと陰影ベクトルを順次最適化できるので、試行錯誤や熟練を必要とすることなく、迅速かつ容易に色素成分ベクトルと陰影ベクトルを分離することができる。

したがって、陰影の濃度画像中に、色素成分の濃度画像のパターンが混入したり、或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入したりすることを確実に抑制することができる。

図１は、画素値（Ｒ,Ｇ,Ｂ）の点Ｐの色ベクトルを直交座標の色ベクトルｒ,ｇ,ｂと、斜交座標のメラニンベクトルｍ,ヘモグロビンベクトルｈ,陰影ベクトルｌで表した図である。 図２Ａは、陰影ベクトルに対するメラニンベクトルの調整方法の説明図である。 図２Ｂは、陰影ベクトルに対するヘモグロビンベクトルの調整方法の説明図である。 図２Ｃは、ヘモグロビンベクトルに対するメラニンベクトルの調整方法の説明図である。 図２Ｄは、メラニンベクトルに対するヘモグロビンベクトルの調整方法の説明図である。 図３は、陰影ベクトルを極方向とし、メラニンベクトルを緯度方向に動かすことで陰影ベクトルとの成す角を調整し、メラニンベクトルを経度方向に動かすことでヘモグロビンベクトルとの成す角を調整する方法の説明図である。 図４は、本発明による濃度画像と独立成分分析による、メラニン、ヘモグロビン及び陰影の濃度画像を対比したものである。 図５Ａは、本発明の調整(ia)によりメラニン、ヘモグロビン及び陰影の濃度画像に現れる効果を示したものである。 図５Ｂは、本発明の調整(iia)によりメラニン、ヘモグロビン及び陰影の濃度画像に現れる効果を示したものである。 図５Ｃは、本発明の調整(ib)によりメラニン、ヘモグロビン及び陰影の濃度画像に現れる効果を示したものである。 図５Ｄは、本発明の調整(iib)によりメラニン、ヘモグロビン及び陰影の濃度画像に現れる効果を示したものである。 図６は、皮膚の肌色の画素値を色ベクトルｒ,ｇ,ｂで表した図である。

以下、図面を参照しつつ本発明を詳細に説明する。なお、各図中、同一符号は同一または同等の要素を表している。

［概要］
一般に、画素値（Ｒ,Ｇ,Ｂ）に対して、直交座標の色ベクトルｒ,ｇ,ｂを（-log(Ｒ)，-log(Ｇ)，-log(Ｂ)）で定義すると、皮膚の内部反射光画像内の点Ｐの色ベクトルとして、メラニンベクトルｍ、ヘモグロビンベクトルｈ、陰影ベクトルｌと、点Ｐの画素値から次式でメラニン濃度画像における画素値Ｍ、ヘモグロビン濃度画像における画素値Ｈ、陰影濃度画像における画素値Ｌを導出できることが知られている。

図１は上述の関係を表したもので、点Ｐの画素値（-log(Ｒ),-log(Ｇ),-log(Ｂ)）を直交座標の色ベクトルｒ,ｂ,ｇで表すと共に、斜交座標のメラニンベクトルｍ,ヘモグロビンベクトルｈ,陰影ベクトルｌで表している。

しかしながら、独立成分分析、主成分分析等を用いた場合、メラニンベクトルｍ,ヘモグロビンベクトルｈ,陰影ベクトルｌを充分な精度で求めることが難しく、前述のように陰影の濃度画像にメラニンの濃度画像のパターンやヘモグロビンの濃度画像のパターンがノイズとなって現れてしまうことがあった。

これに対し、本発明では、皮膚の内部反射光画像から、独立成分分析、主成分分析等の公知の方法で求められた色素成分ベクトルと、陰影ベクトルとを、次の(i)、(ii)及び(iii)の少なくとも１つの調整を行うことにより最適化する。なお、陰影ベクトルは独立成分分析や主成分分析によらず、｛(1,1,1)/√3｝に固定してもよい。
(i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することが抑制されるように、陰影ベクトルに対し色素成分ベクトルがなす角度を動かす
(ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することが抑制されるように、或る色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かす
(iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することが抑制されるように、色素成分ベクトルに対し陰影ベクトルがなす角度を動かす

このような調整を行うことにより、陰影の濃度画像中に色素成分の濃度画像のパターンが混入したり、或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入したりすることを確実に抑制することができる。

ここで、皮膚に含まれる色素成分には、メラニン、ヘモグロビン、カロテン等があるため、色素成分ベクトルとしては、メラニンベクトル、ヘモグロビンベクトル、カロテンベクトル等をあげることができる。更にメラニンには吸収スペクトルの異なるユーメラニン、フェオメラニンが、同様にヘモグロビンには酸素化ヘモグロビン、脱酸素化ヘモグロビンが存在し、色素成分ベクトルとしてそれらの各ベクトルをあげることもできる。酸素化ヘモグロビン、脱酸素化ヘモグロビンに分けることで、血流状態をより詳細に評価することができる。ＲＧＢ画像を使う場合は色素成分ベクトルを２つにすることが好ましく、通常はメラニンベクトルｍとヘモグロビンベクトルｈを考えれば良い。

［内部反射光画像］
皮膚の内部反射光画像は、照明用光源とデジタルカメラを用いて皮膚のカラー画像を撮る際に、照明用光源とデジタルカメラのぞれぞれの前面に偏光板を設け、これらの偏光方向を直交させて皮膚の表面反射光をカットし、皮膚の内部反射光だけで画像を形成することで得ることができる。

デジタルカメラとしては一般的なＲＧＢカメラを使用することができる。マルチスペクトルカメラ、ハイパースペクトルカメラ等を使用してもよく、色彩計等の一点計測の測色器を使用してもよい。一点計測による測定結果は、１画素からなる内部反射光画像の画素値とみなすことができ、計測点を複数箇所とすることによりＲＧＢカメラ等を使用した場合と同様に画像の最適化を行うことができる。

内部反射光画像としては、上述の(i)、(ii)の調整でメラニンベクトルを動かすときに、メラニンベクトルの調整精度を高めるため、メラニン量の変動幅が大きい画像、即ち、メラニン量が多い部分と少ない部分を含む画像を使用することが好ましい。例えば、メラニン量が多いシミと、メラニン量が少ないシミの周囲部分を含む内部反射光画像を使用する。一方、メラニンベクトルを動かすときに他の色素成分の変動幅は小さいことが、メラニンベクトルの調整精度を高めるために好ましい。内部反射光画像を、シミとその周囲を含む広い領域の画像とすると、その領域内でヘモグロビンベクトルの変動幅も大きくなることが懸念される。そこで、メラニンベクトルを調整するときに使用する内部反射光画像は、例えば顔全体の内部反射光画像から、或るシミとその周囲を切り抜いた画像とすることが好ましい。

同様に、上述の(i)、(ii)の調整でヘモグロビンベクトルを動かすときにはヘモグロビンベクトルの調整精度を高めるため、ヘモグロビン量の変動幅は大きいが他の色素成分量の変動幅は小さい内部反射光画像を使用することが好ましい。そこで、ヘモグロビンベクトルを動かすときに使用する内部反射光画像は、例えば顔全体の内部反射光画像から、或る紅斑または発赤とその周囲を切り抜いた画像とすることが好ましい。

［色素成分ベクトルと陰影ベクトルの取得］
上述の(i)、(ii)、(iii)の調整を行う前の色素成分ベクトルと陰影ベクトルのそれぞれの初期ベクトルは、独立成分分析、主成分分析等の公知の手法で得ることができる。
(i)、(ii)、(iii)の調整は次のように行う。

［(i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することを抑制する調整］
この調整は、陰影ベクトルに対し色素成分ベクトルがなす角度を動かすことにより陰影の濃度画像と色素成分の濃度画像のパターンをできる限り分離する調整である。陰影の濃度画像と色素成分の濃度画像の相関係数の二乗が最小化するように色素成分ベクトルを動かし、又は双方の「画素値の平均値との差」の差の二乗和が最小化するように色素成分ベクトルを動かせばよい。

例えば、色素成分ベクトルとしてメラニンベクトルｍとヘモグロビンベクトルｈを考えるとき、(ia)陰影の濃度画像にメラニンの濃度画像のパターンが混入しないようにするため、陰影ベクトルｌに対してメラニンベクトルｍを動かす調整、又は(ib)陰影の濃度画像にヘモグロビンの濃度画像のパターンが混入しないようにするため、陰影ベクトルｌに対してヘモグロビンベクトルｈを動かす調整を行う。

[(ia)の調整]
(ia)の調整では、図２Ａに示すように陰影ベクトルｌとメラニンベクトルｍがなす平面上でメラニンベクトルｍを動かし、陰影の濃度画像に対するメラニンの濃度画像のパターンの混ざり方を変化させ、陰影の濃度画像とメラニンの濃度画像の画素値の相関係数の二乗和が最小化するメラニンベクトルｍの方向、又は双方の「濃度画像の画素値の平均値との差」の差の二乗和が最小化するメラニンベクトルｍの方向を見出す。

このようにメラニンベクトルｍを動かすことにより、メラニンベクトルｍとヘモグロビンベクトルｈとの角度が変わっても良い。図２Ａからわかるように、陰影ベクトルｌとメラニンベクトルｍがなす平面上でメラニンベクトルｍを動かすとき、陰影ベクトルｌとメラニンベクトルｍがなす平面の向きは変わらないため、ヘモグロビンの濃度画像Ｈは定数倍でしか変化せず、ヘモグロビンの濃度画像におけるパターンは変わらない。したがって、ヘモグロビンの濃度画像に影響を与えることなく、陰影ベクトルに対するメラニンベクトルｍの最適化をすることができる。

このことは、ヘモグロビン濃度Ｈが前述の次式で表されることによっても理解される。

即ち、陰影ベクトルｌとメラニンベクトルｍがなす平面上でメラニンベクトルｍを動かしても、メラニンベクトルｍと陰影ベクトルｌの外積ベクトル
（メラニンベクトルｍ×陰影ベクトルｌ）
は方向が変わらず、定数倍となるだけである。また、ベクトルｐは、画素値のベクトルで一定である。したがって、ヘモグロビン濃度Ｈはメラニンベクトルｍを上述のように動かしても定数倍で変化するだけとなり、ヘモグロビンの濃度画像における画像パターンは変わらない。

一方でメラニンベクトルｍをこのように動かしたときには、陰影の濃度画像におけるヘモグロビンの濃度画像の混入パターンは変わらない。これに対しては、次のステップ以降で陰影の濃度画像にヘモグロビンの濃度画像のパターンが混入しないように(ib)の調整を行えばよい。

[(ib)の調整]
(ib)の調整では、図２Ｂに示すように陰影ベクトルｌとヘモグロビンベクトルｈがなす平面上でヘモグロビンベクトルｈを動かし、陰影の濃度画像に対するヘモグロビンの濃度画像のパターンの混ざり方を変化させ、陰影の濃度画像とヘモグロビンの濃度画像の画素値の相関係数の二乗和が最小化するヘモグロビンベクトルｈの方向、又は双方の「濃度画像の画素値の平均値との差」の二乗和が最小化するヘモグロビンベクトルｈの方向を見出す。

このようにヘモグロビンベクトルｈを動かすことにより、メラニンベクトルｍとヘモグロビンベクトルｈとの角度が変わっても良い。図２Ｂからわかるように、陰影ベクトルｌとヘモグロビンベクトルｈがなす平面上でヘモグロビンベクトルｈを動かすとき、陰影ベクトルｌとヘモグロビンベクトルｈがなす平面の向きは変わらないため、メラニンの濃度画像Ｍは定数倍でしか変化せず、メラニンの濃度画像におけるパターンは変わらない。したがって、メラニンの濃度画像のパターンに影響を与えることなく、陰影ベクトルに対するヘモグロビンベクトルｈの最適化をすることができる。

［(ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することを抑制する調整］
この調整は、ある色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かすことにより或る色素成分の濃度画像と他の色素成分の濃度画像をできる限り分離する調整である。この調整も上述の(i)の調整と同様に双方の濃度画像の画素値の相関係数の二乗が最小化するように、あるいは双方の「濃度画像の画素値の平均値との差」の差の二乗和が最小化するように調整する。

例えば、色素成分ベクトルとしてメラニンベクトルｍとヘモグロビンベクトルｈを考えるとき、(iia)ヘモグロビンの濃度画像にメラニンの濃度画像のパターンが混入しないように、ヘモグロビンベクトルｈに対してメラニンベクトルｍを動かす調整、又は(iib)メラニンの濃度画像にヘモグロビンの濃度画像のパターンが混入しないように、メラニンベクトルｍに対してヘモグロビンベクトルｈを動かす調整を行う。

［(iia)の調整］
(iia)の調整では、(i)に準じて図２Ｃに示すように、ヘモグロビンベクトルｈとメラニンベクトルｍとがなす平面上でメラニンベクトルｍを動かし、(iib)の調整では、(i)に準じて図２Ｄに示すように、ヘモグロビンベクトルｈとメラニンベクトルｍとがなす平面上でヘモグロビンベクトルｈを動かす。

一方、この(iia)の調整では、図３に示すように、陰影ベクトルｌを極方向とし、メラニンベクトルｍを経度方向に動かすことにより、ヘモグロビンベクトルｈに対してメラニンベクトルｍがなす角度を変えても良い。メラニンベクトルｍを経度方向に動かすとき、（メラニンベクトルｍ×陰影ベクトルｌ）とヘモグロビンベクトルｈとが成す角が変わり、（メラニンベクトルｍ×ヘモグロビンベクトルｈ）と陰影ベクトルｌとが成す角も若干変わる。したがって、陰影の濃度画像も若干変化し、改善させることもできる。なお、この場合にメラニンベクトルｍを緯度方向に動かすことによりヘモグロビンベクトルｈに対してメラニンベクトルｍがなす角度を変えると前述の(ia)の調整と同様にメラニンベクトルｍを動かすことになる。このとき、（メラニンベクトルｍ×陰影ベクトルｌ）とヘモグロビンベクトルとが成す角は変わらないので、ヘモグロビンの濃度画像の改善には寄与しない。

［(iib)の調整］
(iib)の調整では、同様に、陰影ベクトルｌを極方向とし、ヘモグロビンベクトルｈを経度方向に動かすことにより、メラニンベクトルｍに対してヘモグロビンベクトルｈがなす角度を変えても良い。これによっても、(iia)と同様に、陰影ベクトルも若干改善することができる。

なお、(i)の調整を、図３に示したように陰影ベクトルｌを極方向として行うとき、メラニンベクトルｍ又はヘモグロビンベクトルｈを緯度方向動かすことになる。このようにメラニンベクトルｍやヘモグロビンベクトルｈを緯度方向又は経度方向に動かすことで、計算を簡略化することができ、また、動かす方向が、直交する緯度方向と経度方向になるので安定かつ速やかに収束させることができる。

［(iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することを抑制する調整］
この調整は、或る色素成分ベクトルと陰影ベクトルとの相関係数の二乗が最小化されるように、あるいは双方の「濃度画像の画素値の平均値との差」の差の二乗和が最小化するように行う。

例えば、(iiia)メラニンの濃度画像に陰影の濃度画像のパターンが混入しないように、メラニンベクトルｍに対して陰影ベクトルｌを動かす調整、又は(iiib)ヘモグロビンの濃度画像に陰影の濃度画像のパターンが混入しないように、ヘモグロビンベクトルｈに対して陰影ベクトルｌを動かす調整を行う。これらの調整は上記(i)の調整に準じて行うことができる。

なお、内部反射光画像に対して正しく照度補正をすると陰影ベクトルｌを動かす(iii)の調整は省略することができる。この照度補正は、例えば皮膚画像を撮影する際にホワイトチャートを画角内に入れておき、その領域のＲＧＢの画素値が互いに等しくなるようにＲＧＢごと画像全体に係数をかけることにより行うことができる。

上述した(ia)、(ib)、(iia)、(iib)、(iiia)、(iiib)の調整は、初期ベクトルの質と必要とする色素成分または陰影の濃度画像に応じていずれか一種を行っても良く、適宜複数種を選択し、順次ステップを踏んで行っても良く、さらに一種または複数種を繰り返し行っても良い。ベクトルごとに最適化を行う点からは、(ia)、(iia)、(ib)、(iib)の順番で調整していくことが好ましい。また、(iii)の調整は光源の色の推定に相当することから、より正確に画像を改善する点からは、(iii)の調整に代えて正しく照度補正を行ったうえで(i)、(ii)の調整を行うことが好ましい。

なお、上述のようにして色成分ベクトルと陰影ベクトルを最適化した後に形成する色成分の濃度画像や陰影の濃度画像は、一般にグレースケールだが、視認性を上げるために疑似カラーを用いても良く、例えば色素成分を対応する色で表し、濃度が高くなるに従ってその色を濃く表示してもよい。

［本発明の画像形成方法の活用場面］
本発明の方法により色素成分ベクトルと陰影ベクトルを最適化していくと、色素成分の濃度画像や陰影の濃度画像を精確に得ることができる。したがって、例えば、色ムラのある皮膚に対し、本発明の方法でメラニン濃度画像を形成し、適宜閾値を設定して二値化することにより色ムラ領域を抽出し、その面積や画像濃度をその他の領域（即ち、正常な皮膚領域）と対比することにより、色ムラの程度を計測することができる。

紅斑のある皮膚に対し、本発明の方法でヘモグロビン濃度画像を形成し、そこから紅斑領域を抽出し、その面積や画像濃度を非紅斑領域（即ち、正常な皮膚領域）と対比することにより、紅斑の程度を計測することもできる。

皮膚画像から本発明の方法により精確に色素成分画像を形成し、色素成分画像を得ておくことにより、各色素について当該被験者の皮膚における平均的な色素量を求めることができ、当該被験者の色素沈着量の評価や血流状態の評価をすることも可能となる。

また、一般に、色素成分画像に加工を加え、それを逆変換により皮膚画像を合成することで、色素成分画像の変化に応じて皮膚がどのように見えるかをシミュレーションすることが行われているが、この場合に、色素成分画像として、本発明の方法により精確に得た色素成分画像を使用すると、シミュレーション画像において、誤差に起因するアーティファクトを確実に抑制することができる。

さらに、動画像を静止画像の連続としてとらえ、各静止画像ごとに評価することで、色素成分の動態を正確に評価することができる。

なお、或る皮膚画像から色素成分ベクトルと陰影ベクトルを得、それを上述の方法で最適化して得られる色素成分ベクトルと陰影ベクトルは、光源、カメラの機種が同じでそれらと被写体との位置関係も同じ場合にも使用することができる。一方、光源、カメラのうち少なくともいずれかの機種が変わった場合には、初期ベクトルの取得から算出し直すことが好ましい。

本発明の画像形成方法は、上述した内部反射画像の画像データの取得手段と、色素成分ベクトルと陰影ベクトルの調整を行う計算機能を演算装置に組み込むことにより実施することができる。より具体的には、例えば、パーソナルコンピュータに、ＩｍａｇｅＪ等の画像解析ソフトと、ＭＡＴＬＡＢ等の数値計算ソフトを搭載し、色素成分ベクトルと陰影ベクトルの調整を行う。本発明は、かかる機能を備えた画像形成装置を包含する。

顔の正面から内部反射光画像を撮り、得られた内部反射光画像に対して独立成分分析を行うことによりメラニンベクトル、ヘモグロビンベクトル及び陰影ベクトルを求めた。このメラニンベクトル、ヘモグロビンベクトル、陰影ベクトルの初期ベクトルを用いて、メラニンの濃度画像、ヘモグロビンの濃度画像、陰影の濃度画像を形成した。

また、初期ベクトルを本発明の方法で調整し、調整後のメラニンベクトル、ヘモグロビンベクトル、陰影ベクトルを用いてメラニンの濃度画像、ヘモグロビンの濃度画像、陰影の濃度画像を形成した。ただし、陰影の濃度画像をそのまま表示すると明暗が逆転してわかりにくいため、本実施例では陰影の濃度画像として、符号を反転させ、対数の関係を指数の関係にしたものを表示した。

撮影装置、撮影方法、独立成分分析による初期ベクトルの求め方、初期ベクトルの調整方法の詳細は以下の通りである。
また、メラニンベクトル、ヘモグロビンベクトル、陰影ベクトルについて、初期ベクトルと本発明の方法による調整後のベクトルとの対比及びこれらから得られるメラニンの濃度画像、ヘモグロビンの濃度画像、陰影の濃度画像を以下に示す。

（撮影装置）
以下に説明する撮影装置を使用した。
光源として直管型蛍光灯を矩形に配置し、被験者の顔を固定するためのアゴ台に正対させた。蛍光灯は、各辺に３本並ぶように、合計１２本を配置した。アゴ台と光源の中心の延長線上に撮影用のカメラを配置した。光源とアゴ台の距離を７０ｃｍ、アゴ台とカメラの距離を１００ｃｍとした。画像の補正に用いるため、アゴ台下部にはホワイトチャートを貼り付けた。光源とアゴ台の間及びアゴ台とカメラの間にはそれぞれ偏光板を、偏光の向きが互いに直交するように配した。外光を遮蔽するために装置全体を板で覆い、内側には暗幕を取り付けた。

（撮影方法）
被験者の頬を軽く圧迫し、局所的に赤くなった状態（発赤）を作り、その状態を撮影装置で撮影した。撮影した画像データを演算装置に取り込み、画素値が撮影装置のＣＣＤへの入射光量に比例する画像に変換し、さらにホワイトバランスを取り、照度補正を行った。

照度補正後の画像から赤くなった部分を切り取り、紅斑テスト画像とした。紅斑テスト用画像は１０画像用意した。
また、照度補正後の画像からシミのある部分を切り取り、メラニンテスト画像とした。メラニンテスト画像は１０画像用意した。

（独立成分分析による初期ベクトルの求め方）
独立成分分析により初期ベクトルを精度よく求めるためには、画像中のメラニン含量の変動幅とヘモグロビン含量の変動幅がある程度必要であるため、紅斑画像よりも一回り大きく切り取った画像をテスト画像とした。テスト画像は１０画像用意した。また、テスト画像に近接した、できるだけ平坦な場所をベクトル面算出用画像とし、ベクトル面算出用画像を主成分分析し、第１主成分と第２主成分がなす面を求めた。この面上でテスト画像の独立成分分析を行い、メラニンベクトル及びヘモグロビンベクトルの初期ベクトル（調整前のベクトル）を求めた。陰影ベクトルは、｛(1,1,1)/√3｝に固定した。

（初期ベクトルの調整方法）
メラニンベクトル及びヘモグロビンベクトルの初期ベクトルを本発明の方法で調整し、最適化した。この場合、前述の(ia)陰影ベクトルｌに対してメラニンベクトルｍを動かす調整、(iia)ヘモグロビンベクトルｈに対してメラニンベクトルｍを動かす調整、(ib)陰影ベクトルｌに対してヘモグロビンベクトルｈを動かす調整、(iib)メラニンベクトルｍに対してヘモグロビンベクトルｈを動かす調整を、この順番で１回、又は５回繰り返した。なお、(iia)では、陰影ベクトルを極方向とし、メラニンベクトルｍを経度方向に動かし、(iib)では、陰影ベクトルを極方向とし、ヘモグロビンベクトルｈを経度方向に動かした。

（初期ベクトルと調整後のベクトルの対比）
各１０個のメラニン及び紅斑テスト画像のそれぞれからメラニンベクトルｍ（ｒ，ｇ，ｂ）、ヘモグロビンベクトルｈ（ｒ，ｇ，ｂ）を、独立成分分析により求めた場合（初期ベクトル）と、それらを本発明方法により調整した場合（調整ベクトル）とのばらつき（標準偏差ＳＤ）とベクトル値（平均値）を表１に示す。

表１から、独立成分分析による初期ベクトルはばらつきが大きいことがわかる。
また、独立成分分析による分析では、ベクトル値の符号がそろわない場合があり、ｒｇｂの大小関係が適切でない場合もあった。即ち、必要に応じて向きを反転させて各成分を正値にした後、メラニンベクトルでは、ｒ＜ｇ＜ｂとなり、ヘモグロビンベクトルでは、ｒ＜ｇ＞ｂとなるはずであるが、このような大小関係にならない場合があった。独立成分分析では、このような適切でないベクトルが算出された画像が１０画像中５画像あった。上記表１では、適切でないベクトルが算出された画像を除いた場合のばらつき（ＳＤ）とベクトル値を示した。
これに対し、本発明による調整ベクトルには、１０画像中の全てにおいて負値はなく、ｒｇｂの大小関係も適切であった。

（陰影の濃度画像への色素の映り込み）
本発明により調整したメラニンベクトル、ヘモグロビンベクトル、陰影ベクトルを用いて形成したメラニンの濃度画像、ヘモグロビンの濃度画像、陰影の濃度画像と、独立成分分析によるこれらの初期ベクトルを用いて形成したメラニンの濃度画像、ヘモグロビンの濃度画像、陰影の濃度画像を示す。

図４から、初期ベクトルを用いた陰影の濃度画像にはヘモグロビンの濃度画像のパターンが映り込んでいること、これに対し、本発明による調整ベクトルを用いた場合には、このような映り込みはないことがわかる。

（ベクトルの調整ごとの改善効果）
メラニンベクトルとヘモグロビンベクトルの初期ベクトルを、独立成分分析により得られた初期ベクトルに対して意図的にずらした、表２に示す条件１，条件２、条件３のベクトルとし、本発明の調整(ia)を条件１に対して、(ib)を条件１に対して、(iia)を条件２に対して、(iib)を条件３に対してそれぞれ適用した上で、それぞれの場合について適用前後のベクトルからメラニンの濃度画像、ヘモグロビンの濃度画像、陰影の濃度画像を形成した。結果を図５Ａ、図５Ｂ、図５Ｃ、図５Ｄに示す。

図５Ａから、調整(ia)（陰影ベクトルに対してメラニンベクトルを調整）により、陰影の濃度画像において、メラニンの濃度画像のパターンの写り込みが解消されていることがわかる。

図５Ｂから、調整(iia)（ヘモグロビンベクトルに対してメラニンベクトルを調整）により、ヘモグロビンの濃度画像において、メラニンの濃度画像のパターンの写り込みが低減していることがわかる。また、陰影の濃度画像における映り込みも若干低減していることがわかる。

図５Ｃから、調整(ib)（陰影ベクトルに対してヘモグロビンベクトルを調整）により、陰影の濃度画像において、ヘモグロビンの濃度画像のパターンの写り込みが解消されていることがわかる。

図５Ｄから、調整(iib)（メラニンベクトルに対してヘモグロビンベクトルを調整）により、メラニンの濃度画像において、ヘモグロビンの濃度画像のパターンの写り込みが低減していることがわかる。また、陰影の濃度画像における映り込みも若干低減していることがわかる。

Claims (9)

1. 皮膚の内部反射光画像の画素値を、少なくとも１つの色素成分ベクトルと陰影ベクトルの線形和で表す場合の色素成分ベクトルを用いて色素成分の濃度画像を形成し、又は陰影ベクトルを用いて陰影の濃度画像を形成する画像形成方法であって、色素成分ベクトルと陰影ベクトルを次の(i)、(ii)及び(iii)の少なくとも１つによって最適化する画像形成方法。
   (i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することが抑制されるように、陰影ベクトルに対し色素成分ベクトルがなす角度を動かす
   (ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することが抑制されるように、或る色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かす
   (iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することが抑制されるように、色素成分ベクトルに対し陰影ベクトルがなす角度を動かす
2. 最適化する前の色素成分ベクトルと陰影ベクトルの内少なくとも一つを、独立成分分析又は主成分分析により求める請求項１記載の画像形成方法。
3. (i)において、陰影の濃度画像と色素成分の濃度画像の画素値の相関係数の二乗が最小化されるように色素成分ベクトルを動かし、
   (ii)において、或る色素成分の濃度画像と他の色素成分の濃度画像の画素値の相関係数の二乗が最小化されるように他の色素成分ベクトルを動かし、又は
   (iii)において、或る色素成分の濃度画像と陰影の濃度画像の画素値の相関係数の二乗が最小化されるように、陰影ベクトルを動かす請求項１又は２記載の画像形成方法。
4. 画素値がＲ,Ｇ,Ｂであり、色素成分ベクトルがメラニンベクトルとヘモグロビンベクトルである場合に、
   直交座標で（-log(Ｒ)，-log(Ｇ)，-log(Ｂ)）と表される色ベクトルを、
   斜交座標をなすメラニンベクトルｍ，ヘモグロビンベクトルｈ，陰影ベクトルｌを用いて次式
   （-log(Ｒ)，-log(Ｇ)，-log(Ｂ)）＝Ｍ・ｍ＋Ｈ・ｈ＋Ｌ・ｌ
   （式中、Ｍはメラニンの濃度画像における画素値、Ｈはヘモグロビンの濃度画像における画素値、Ｌは陰影の濃度画像における画素値である）
   で表し、
   (i)において、
   (ia)陰影ベクトルｌに対しメラニンベクトルｍがなす角度を、メラニンベクトルｍと陰影ベクトルｌとが成す面上で動かし、もしくは
   (ib)陰影ベクトルｌに対しヘモグロビンベクトルｈがなす角度を、ヘモグロビンベクトルｈと陰影ベクトルｌとが成す面上で動かし、又は
   (ii)において、
   (iia)陰影ベクトルｌを極方向とし、メラニンベクトルｍを経度方向に動かすことにより、ヘモグロビンベクトルｈに対してメラニンベクトルｍが成す角度を動かし、もしくは
   (iib)陰影ベクトルｌを極方向とし、ヘモグロビンベクトルｈを経度方向に動かすことにより、メラニンベクトルｍに対してヘモグロビンベクトルｈが成す角度を動かす請求項１〜３のいずれかに記載の画像形成方法。
5. (ia)、(ib)、(iia)及び(iib)を１回ずつ又は繰り返し行う請求項４記載の画像形成方法。
6. 色素成分ベクトルを動かす場合に、内部反射光画像として、当該色素成分の濃度変動が大きい画像を使用する請求項１〜５のいずれかに記載の画像形成方法。
7. 請求項４〜６のいずれかに記載の方法でメラニン濃度画像を形成し、メラニン濃度画像から色ムラ領域を抽出し、正常領域と色ムラ領域の面積又は画像濃度に基づいて色ムラの程度を計測する色ムラの計測方法。
8. 皮膚の内部反射光画像の画像データの取得手段、
   皮膚の内部反射光画像の色ベクトルを、少なくとも１つの色素成分ベクトルと陰影ベクトルの線形和で表す場合の色素成分ベクトルを用いて色素成分の濃度画像を形成し、又は陰影ベクトルを用いて陰影の濃度画像を形成する演算装置を備えた画像形成装置であって、演算装置が、色素成分ベクトルと陰影ベクトルを次の(i)、(ii)及び(iii)の少なくとも１つによって最適化する画像形成装置。
   (i)陰影の濃度画像に色素成分の濃度画像のパターンが混入することが抑制されるように、陰影ベクトルに対し色素成分ベクトルがなす角度を動かす
   (ii)或る色素成分の濃度画像に他の色素成分の濃度画像のパターンが混入することが抑制されるように、或る色素成分ベクトルに対し他の色素成分ベクトルがなす角度を動かす
   (iii)色素成分の濃度画像に陰影の濃度画像のパターンが混入することが抑制されるように、色素成分ベクトルに対し陰影ベクトルがなす角度を動かす
9. 皮膚の内部反射光画像の画像データが、画素値をＲＧＢで表したものであり、色素成分ベクトルがメラニンベクトルとヘモグロビンベクトルである場合に、演算装置が、
   直交座標で（-log(Ｒ)，-log(Ｇ)，-log(Ｂ)）と表される色ベクトルを、
   斜交座標をなすメラニンベクトルｍ，ヘモグロビンベクトルｈ，陰影ベクトルｌにより次式
   （-log(Ｒ)，-log(Ｇ)，-log(Ｂ)）＝Ｍ・ｍ＋Ｈ・ｈ＋Ｌ・ｌ
   （式中、Ｍはメラニンの濃度画像における画素値、Ｈはヘモグロビンの濃度画像における画素値、Ｌは陰影の濃度画像における画素値である）
   で表し、
   (i)において、
   (ia)陰影ベクトルｌに対しメラニンベクトルｍがなす角度を、メラニンベクトルｍと陰影ベクトルｌとが成す面上で動かし、もしくは
   (ib)陰影ベクトルｌに対しヘモグロビンベクトルｈがなす角度を、ヘモグロビンベクトルｈと陰影ベクトルｌとが成す面上で動かし、又は
   (ii)において、
   (iia)陰影ベクトルｌを極方向とし、メラニンベクトルｍを経度方向に動かすことにより、ヘモグロビンベクトルｈに対してメラニンベクトルｍを成す角度を動かし、もしくは
   (iib)陰影ベクトルｌを極方向とし、ヘモグロビンベクトルｈを経度方向に動かすことにより、メラニンベクトルｍに対してヘモグロビンベクトルｈが成す角度を動かす請求項８記載の画像形成装置。

Images