JP5794889B2 - シミ種別分類装置の作動方法、シミ種別分類装置およびシミ種別分類プログラム - Google Patents

Description

この発明は、シミ種別分類装置の作動方法、シミ種別分類装置およびシミ種別分類プログラムに関する。

シミ（色素班）は、メラニン色素が皮膚に沈着することにより生じるもので、形態特徴や色特徴、角質層の状態などの違いから一般に６〜７種類に分類される。医療用レーザー治療や化粧品の分野では、シミの種別に応じた治療や、化粧品を提供するために、被験者のシミを正確に分類することが試みられている。
例えば、特許文献１に提案されたシミの分類方法では、異なる波長の紫外線を皮膚に照射して紫外線カメラで撮影することにより、波長ごとにシミのコントラストの異なる画像が得られ、このコントラストの違いに基づいてシミの分類が行われている。

特開２００８−２３７２４３号公報

しかしながら、紫外線の波長ごとに異なるシミのコントラストを評価するだけではシミを高精度に分類することは困難である。

この発明は、このような従来の問題点を解消するためになされたもので、シミを種別に高精度に分類することができるシミ種別分類装置の作動方法、シミ種別分類装置およびシミ種別分類プログラムを提供することを目的とする。

この発明に係るシミ種別分類装置の作動方法は、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、色空間変換画像に含まれるシミを検出し、検出されたシミについて、形態特徴量および色特徴量を算出し、算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類し、形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むものである。
また、この発明に係るシミ種別分類装置の作動方法は、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、色空間変換画像に含まれるシミを検出し、検出されたシミについて、形態特徴量および色特徴量を算出し、算出された形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類し、色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むものである。

ここで、色分布を示す色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、分割評価値の平均値および標準偏差を算出することで求めることができる。また、色分布を示す色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求めることもできる。
また、シミの分類は、分類木、ランダムフォレスト、バギングまたはＡｄａｂｏｏｓｔを用いた機械学習法により行われるのが好ましい。

この発明に係るシミ種別分類装置は、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成する色空間変換部と、色空間変換画像に含まれるシミを検出するシミ検出部と、シミ検出部により検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、特徴量算出部により算出された形態特徴量および色特徴量に基づいて、機械学習法によりシミを種別に分類するシミ分類部とを備え、形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むものである。
また、この発明に係るシミ種別分類装置は、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成する色空間変換部と、色空間変換画像に含まれるシミを検出するシミ検出部と、シミ検出部により検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、特徴量算出部により算出された形態特徴量および色特徴量に基づいて、機械学習法によりシミを種別に分類するシミ分類部とを備え、色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むものである。

この発明に係るシミ種別分類プログラムは、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成するステップと、色空間変換画像に含まれるシミを検出するステップと、検出されたシミについて、形態特徴量および色特徴量を算出するステップと、算出された前記形態特徴量および色特徴量に基づいて、機械学習法によりシミを種別に分類するステップとを備え、形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むコンピュータに実行させるためのものである。
また、この発明に係るシミ種別分類プログラムは、被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成するステップと、色空間変換画像に含まれるシミを検出するステップと、検出されたシミについて、形態特徴量および色特徴量を算出するステップと、算出された形態特徴量および色特徴量に基づいて、機械学習法によりシミを種別に分類するステップとを備え、色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むコンピュータに実行させるためのものである。

この発明によれば、被験者の皮膚を撮影して得られた画像からシミを検出すると共に検出されたシミの形態特徴量および色特徴量に基づいて機械学習法によりシミを分類するので、シミを高精度に分類することが可能となる。

この発明の一実施の形態に係るシミ分類方法を行うシミ分類装置の構成を示すブロック図である。 形態特徴量と色特徴量に対するシミの分類を模式的に示す図である。 形態特徴量の算出方法を模式的に示す図である。 色特徴量の算出方法を模式的に示す図である。

以下、この発明の実施の形態を添付図面に基づいて説明する。
図１に、この発明の一実施の形態に係るシミ分類方法を行うシミ分類装置の構成を示す。シミ分類装置は、カメラ１を備え、このカメラ１に色空間変換部２、シミ検出部３、特徴量算出部４、シミ分類部５および分類結果出力部６が順次接続されている。
カメラ１は、被験者の皮膚を撮影するものであり、例えば被験者の顔Ｆに対して正面に配置することで顔Ｆに発生したシミを撮影することができる。なお、カメラ１は、被験者の皮膚を安全に撮影できる可視光カメラを用いるのが好ましいが、紫外線カメラまたは赤外線カメラを用いて撮影することもできる。

色空間変換部２は、カメラ１に接続され、カメラ１で撮影された撮影画像の色空間を変換した色空間変換画像を生成する。色空間変換画像は、例えばＬ^＊ａ^＊ｂ^＊色空間、ＬＣＨ色空間、またはＹＣＣ色空間などに変換した画像を用いることができる。シミ検出部３は、色空間変換部２で生成された色空間変換画像に含まれるシミの検出を行う。例えば、色空間変換画像を２値化処理することでシミの検出を行うことができる。
特徴量算出部４は、シミ検出部３により検出されたシミについて、形態特徴量および色特徴量をそれぞれ算出する。シミ分類部５は、特徴量算出部４により算出された形態特徴量および色特徴量に基づいて、機械学習法により統計的にシミの分類を行う。機械学習法としては、分類木、ランダムフォレスト、バンギングまたはＡｄａｂｏｏｓｔなどを用いることができる。
分類結果出力部６は、モニタまたはプリンタなどから構成され、シミ分類部５により分類された被験者のシミの種別を出力する。

特徴量算出部４により算出されるシミの形態特徴量および色特徴量について説明する。
シミは、図２に示すように、シミの大きさおよび円形度を含む形態特徴量と、シミの明るさおよび色分布を含む色特徴量とから、肝班、日光黒子、脂漏性角化症、雀卵班、ホクロなどの６〜７種類に分類される。
具体的には、肝班は、色が薄い褐色（赤味よりも青味が強い）で且つ色分布が均一であり、目元輪郭付近に発生するもので、形状が扇形または楕円など多様で且つ４ｃｍ〜５ｃｍの大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭といった特徴を有する。また、日光黒子は、色が薄い褐色から濃い褐色まで幅広く且つ色分布がほぼ均一であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径２ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが明瞭であるといった特徴を有する。脂漏性角化症は、色が褐色から濃い褐色で且つ色分布は中心部が濃く、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径５ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。雀卵班は、色が薄い褐色（青味が強い）で且つ色分布が均一であり、顔全体に点在または多数分布して発生するもので、楕円から真円に近い形状を有すると共に直径が数ｍｍ程度の大きさを有し、輪郭形状がいびつで且つ輪郭コントラストが不明瞭から明瞭なものまで幅広いといった特徴を有する。ホクロは、色が濃い茶褐色から黒色であり、顔全体に発生するもので、楕円から真円に近い形状を有すると共に直径２ｍｍ〜１０ｍｍ程度の大きさを有し、輪郭形状が比較的滑らかで且つ輪郭コントラストが明瞭であるといった特徴を有する。

このようなシミの特徴に基づいて、シミの種別に応じた形態特徴量と色特徴量を、図２に示すように予め設定することができる。形態特徴量としては、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の軸比率、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むことができ、色特徴量としては、例えばシミの明るさおよび色分布をそれぞれ示す特徴量を含むことができる。
特徴量算出部４は、被験者のシミを撮影して得られた画像情報に基づいて、上記のようなシミの形態特徴量と色特徴量の算出を行う。また、シミ分類部５では、シミの種別に応じて設定された形態特徴量と色特徴量に基づいて機械学習法が予め設計されており、特徴量算出部４で算出された形態特徴量と色特徴量を機械学習法により統計的に処理することで、被験者のシミが分類される。

次に、シミ分類装置により行われるシミ分類方法について説明する。
まず、図１に示すように、被験者の顔Ｆが正面からカメラ１により撮影され、その撮影画像データがカメラ１から色空間変換部２に出力される。色空間変換部２は、図３に示すように、撮影画像をＬ^＊ａ^＊ｂ^＊色空間などに変換した色空間変換画像を生成する。生成された色空間変換画像は色空間変換部２からシミ検出部３に出力され、シミ検出部３によりシミＳの検出が行われる。シミ検出部３は、例えば色空間変換画像を２値化処理した２値化画像を生成し、この２値化画像から所定の閾値を有するものをシミＳとして検出することができる。

このようにして検出されたシミＳを含む２値化画像はシミ検出部３から特徴量算出部４に出力され、特徴量算出部４により形態特徴量と色特徴量の算出が行われる。
形態特徴量としては、図３に示すように、２値化画像に含まれるシミＳについて、例えば重心位置座標、近似楕円の主軸長、近似楕円の短軸長、近似楕円の主軸長と短軸長の比率、近似円の半径、周囲長および円形度がそれぞれ算出される。ここで、重心座標位置は、シミの頂点座標を（Ｘｉ，Ｙｉ）（ただし、ｉ＝１，２・・・ｎ）とすると、下記式（１）で表すことができる。
（（１／ｎ）ΣＸｉ，（１／ｎ）ΣＹｉ） ・・・ （１）
また、近似楕円の主軸長と短軸長との軸比率は、軸比率＝主軸長／短軸長×１００で表すことができる。さらに、円形度は、円形度＝（４π×面積）／周囲長^２で表すことができる。

また、特徴量算出部４は、シミＳの明るさおよびシミＳの重心位置から外側に向けて広がる色分布を色特徴量として算出する。色分布を示す色特徴量は、例えば図４に示すように、シミＳの重心位置から外側に向けて複数のマスクで画像処理することにより算出することができる。
すなわち、撮影画像から生成された色空間変換画像について、色成分毎に分解した色分解画像をそれぞれ生成すると共に２値化画像を生成する。色分解画像としては、例えばＬ^＊成分、ａ^＊成分、ｂ^＊成分、Ｃ^＊成分およびＨｕｅ成分に色空間変換画像をそれぞれ分解した画像を生成して用いることができる。ここで、Ｌ^＊成分は明度、ａ^＊成分は赤と緑に対応した補色成分、ｂ^＊成分は黄色と青に対応した補色成分、Ｃ^＊成分は彩度、Ｈｕｅ成分は色相をそれぞれ示している。一方、色空間変換画像から生成された２値化画像は、異なる倍率で縮小されることで倍率の異なる複数の縮小画像が生成される。縮小画像としては、例えば８０％、６０％、４０％および２０％に２値化画像をそれぞれ縮小した画像を生成して用いることができる。続いて、シミＳの重心位置を同心として４つの縮小画像と縮小していない２値化画像をそれぞれ重ねることで、シミＳの重心位置から外側に向けて５つの領域Ｄ１〜Ｄ５に分割された分割画像が生成される。そして、５つの分割領域Ｄ１〜Ｄ５にそれぞれ対応するマスク２〜６を作成すると共にシミＳの外側領域に対応するマスク１を作成する。

このようにして作成されたマスク１〜６は、Ｌ^＊成分画像、ａ^＊成分画像、ｂ^＊成分画像、Ｃ^＊成分画像およびＨｕｅ成分画像の５つの色分解画像にそれぞれ乗算されてマスク処理されることにより、それぞれのマスク領域において色成分毎に分割評価値が算出される。そして、マスク２〜６の各領域毎に分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることができる。また、マスク２〜６の各領域毎に算出された分割評価値の平均値を用いて、マスク２〜６の領域（シミ全体）にわたる分割評価値の平均値および標準偏差を算出することで色分布を示す色特徴量を求めることもできる。さらに、シミＳの重心位置を含むマスク６の領域における分割評価値の平均値と、マスク６以外のマスク１〜５の各領域における分割評価値の平均値とのそれぞれの比率を算出することで色分布を示す色特徴量を求めることもできる。
なお、色分布を示す色特徴量は、シミＳの色分布に対して指標となるものであればよく、上記以外にも分割評価値を用いて算出したものを用いることができる。
このように、撮影画像から検出されたシミＳについて、大きさおよび円形度を含む形態特徴量並びに明るさおよび色分布を含む色特徴量をそれぞれ詳細に算出することができる。

続いて、算出されたシミＳの形態特徴量と色特徴量は、特徴量算出部４からシミ分類部５に出力され、シミ分類部５により機械学習法を用いてシミＳの分類が行われる。
例えば、分類木によりシミＳを分類する場合には、円形度、ａ^＊成分画像における分割評価値の標準偏差、近似楕円の軸比率、およびＬ^＊成分画像における分割評価値の平均値が、シミの種別に応じて予め設定された形態特徴量と色特徴量に基づいて順次判定される。例えば、シミＳの円形度が０．５５未満で且つａ^＊成分画像における分割評価値の標準偏差が１．３以上であれば日光黒子に分類され、シミＳの円形度が０．５５以上で且つａ^＊成分画像における分割評価値の標準偏差が２．３５以上であればホクロに分類される。
シミＳが種別毎に分類された分類結果は、シミ分類部５から分類結果出力部６に出力され、分類結果出力部６により分類結果が表示される。

本実施の形態によれば、シミを分類する際の指標として一般的に用いられる形態特徴量と色特徴量をそれぞれ詳細に算出すると共に、この形態特徴量と色特徴量に基づいて機械学習法により統計的にシミＳの種別を判断するため、シミＳを高精度に分類することができる。また、被験者の皮膚を撮影するカメラ１として可視光カメラを用いることができるので、安全にシミの分類を行うことができる。

なお、上記のようなシミの分類は、入力手段、ＣＰＵ、メモリ、出力部などから構成されるコンピュータをシミ分類プログラムにより機能させることで実行することができる。すなわち、シミ分類プログラムがコンピュータを機能させることにより、入力手段が被験者の皮膚を撮影した撮影画像を取得し、取得された撮影画像に基づいて、ＣＰＵが色空間変換部２、シミ検出部３、特徴量算出部４、およびシミ分類部５を実行させ、シミ分類部５により分類されたシミの分類結果が出力部を構成する分類結果出力部６から出力される。

また、上記の実施の形態では、カメラ１で撮影された撮影画像の色空間を色空間変換部２がＬ^＊ａ^＊ｂ^＊色空間に変換したが、これに限るものではなく、特徴量算出部４によるシミＳの特徴量の算出およびシミ分類部５によるシミＳの分類に適した色空間に変換することができる。
また、上記の実施の形態では、シミ検出部１によるシミＳの検出は色空間変換画像を２値化処理することで行われたが、シミＳを検出できればこれに限るものではなく、例えばテンプレートマッチングなどの画像認識技術を用いることができる。
また、上記の実施の形態では、特徴量算出部４によるシミＳの色分布を示す色特徴量は、シミＳの重心位置から外側に向けて広がる色分布を算出したが、シミＳの色分布を詳細に算出できればこれに限るものではなく、例えばシミＳの最も色の濃い位置を中心としてそこから外側に向けて広がる色分布を算出することもできる。

次に、シミ分類装置を用いて実際にシミを分類した実施例について説明する。
この実施例は、被験者３０名の皮膚を撮影した撮影画像からシミ部分を切り出して得られた各種類６０枚のシミ画像を用いて、シミの形態特徴量と色特徴量をそれぞれ求め、求められた形態特徴量と色特徴量に基づいて種類の異なる機械学習法によりシミの分類を行ったものである。機械学習法には、分類木、ランダムフォレスト、バギングおよびＡｄａｂｏｏｓｔを用いた。
その結果、表１に示すように、シミ分類の正解率は、全ての機械学習法において８０％以上を示すと共にその平均値は９０％以上となり、高精度にシミを分類できることが分かった。特に、ランダムフォレストを用いた場合には、全ての種類のシミにおいて、シミ分類の正解率が９０％以上を示し、ランダムフォレストがシミの分類に適していることが示唆された。

１ カメラ、２ 色空間変換部、３ シミ検出部、４ 特徴量算出部、５ シミ分類部、６ 分類結果出力部、Ｆ 被験者の顔。

Claims (9)

1. 被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、
   前記色空間変換画像に含まれるシミを検出し、
   検出されたシミについて、形態特徴量および色特徴量を算出し、
   算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類し、
   前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むシミ種別分類装置の作動方法。
2. 被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成し、
   前記色空間変換画像に含まれるシミを検出し、
   検出されたシミについて、形態特徴量および色特徴量を算出し、
   算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類し、
   前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むシミ種別分類装置の作動方法。
3. 色分布を示す前記色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、前記シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、前記分割評価値の平均値および標準偏差を算出することで求められる請求項２に記載のシミ種別分類装置の作動方法。
4. 色分布を示す前記色特徴量は、検出されたシミのシミ画像をシミの重心位置から外側に向けて複数の領域に分割して作成した複数のマスクと、前記シミ画像を色成分毎に分解して作成した複数の色分解画像とをそれぞれ乗算することにより色成分毎の分割評価値を算出し、シミの重心を含むマスク領域の前記分割評価値とそれ以外のマスク領域の前記分割評価値とのそれぞれの比率から求められる請求項２または３に記載のシミ種別分類装置の作動方法。
5. シミの分類は、分類木、ランダムフォレスト、バギングまたはＡｄａｂｏｏｓｔを用いた前記機械学習法により行われる請求項１〜４のいずれか一項に記載のシミ種別分類装置の作動方法。
6. 被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成する色空間変換部と、
   前記色空間変換画像に含まれるシミを検出するシミ検出部と、
   前記シミ検出部により検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、
   前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類するシミ分類部とを備え、
   前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むシミ種別分類装置。
7. 被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成する色空間変換部と、
   前記色空間変換画像に含まれるシミを検出するシミ検出部と、
   前記シミ検出部により検出されたシミについて、形態特徴量および色特徴量を算出する特徴量算出部と、
   前記特徴量算出部により算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類するシミ分類部とを備え、
   前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むシミ種別分類装置。
8. 被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成するステップと、
   前記色空間変換画像に含まれるシミを検出するステップと、
   検出されたシミについて、形態特徴量および色特徴量を算出するステップと、
   算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類するステップとを備え、
   前記形態特徴量は、検出されたシミについて、重心位置座標、近似楕円の主軸、近似楕円の短軸、近似円の半径、周囲長および円形度をそれぞれ示す特徴量を含むコンピュータに実行させるためのシミ種別分類プログラム。
9. 被験者の皮膚を撮影して得られた画像の色空間を変換した色空間変換画像を生成するステップと、
   前記色空間変換画像に含まれるシミを検出するステップと、
   検出されたシミについて、形態特徴量および色特徴量を算出するステップと、
   算出された前記形態特徴量および前記色特徴量に基づいて、機械学習法によりシミを種別に分類するステップとを備え、
   前記色特徴量は、検出されたシミについて、シミの明るさおよびシミの重心位置から外側に向けて広がる色分布をそれぞれ示す特徴量を含むコンピュータに実行させるためのシミ種別分類プログラム。