JP7188514B2 - 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム - Google Patents

Description

本発明は、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムに関する。

皮膚病変の診断として視診は必ず行われ、多くの情報を得ることができる。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。

しかしながら、非疾患領域の肌色部分の色合いや明るさが異なると、医師が目視による所見を得るときに、異なる点にのみ注目してしまい、疾患領域の違いを把握することが困難になる。

このため、例えば、非特許文献１に記載されているように色補正、あるいは特許文献１に記載されているように明るさ補正が行われるが、前者の場合、補正のための色情報計測の際、疾患領域である中央部も計測しているためロバスト性が低く、かつ、灰色仮説で色補正を行っているため補正後の肌部分が青白く不自然になる問題がある。また、後者の場合、光源条件と露出条件の双方に由来する肌色領域の明るさの過不足を補正するが、用途に応じた固有の特徴的処理が含まれておらず、したがって、精度の高い診断は困難であった。

ＩＭＰＲＯＶＩＮＧ ＤＥＲＭＯＳＣＯＰＹ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＵＳＩＮＧ ＣＯＬＯＲ ＣＯＮＳＴＡＮＣＹ（ｈｔｔｐ：／／ｖｉｓｌａｂ．ｉｓｒ．ｉｓｔ．ｕｔｌ．ｐｔ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０１２／１２／１４－ＩＣＩＰａ．ｐｄｆ）＜２０１６年５月５日閲覧＞ 特開２００６－３２５０１５号公報

本発明は上記した課題を解決するためになされたものであり、疾患領域の違いを把握することを容易にして精度の高い診断支援を行う、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することを目的とする。

上記した課題を解決するために本発明の第１の態様は、対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置における画像処理方法であって、前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部について肌色をベースとした色合いを測定し、前記色合いに基づいて所定の色空間のパラメータにおける各色成分のゲイン係数を設定する設定ステップと、前記設定ステップにて設定されたゲイン係数を前記ダーモスコピー画像の各画素値に乗算する第１の乗算ステップと、を含むことを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。

本発明によれば、疾患領域の違いを把握することを容易にして精度の高い診断支援を行う、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することができる。

本発明の実施の形態に係る診断支援装置の構成を示すブロック図である。 第１実施形態の処理部の構成を示すブロック図である。 第１実施形態の色補正処理動作を示すフローチャートである。 第１実施形態の色情報計測領域を説明するため引用した図である。 第２実施形態の処理部の構成を示すブロック図である。 第２実施形態の輝度補正処理動作を示すフローチャートである。 第２実施形態の輝度情報計測領域を説明するために引用した図である。 第２実施形態により生成される輝度ヒストグラムの一例を示す図である。 第２実施形態のゲイン設定処理を説明するために引用した図である。 第２実施形態のゲインクリップ処理を説明するために引用した図である。 第２実施形態による輝度補正前後の画像の一例を示す図である。 第３実施形態に係る診断支援装置の構成を示すブロック図である。 第３実施形態のアンサンブル識別器（ニューラルネットワーク）の構成を示すブロック図である。 第３実施形態に係る診断支援装置の基本動作を示すフローチャートである。 図１４のフローチャートを補完的に説明する図である。 第３実施形態のアンサンブル識別器の基本動作を示すフローチャートである。 第３実施形態の機械学習識別器生成処理の流れを示すフローチャートである。 第３実施形態の被検画像（未知の画像識別）識別処理の流れを示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。

（実施形態の構成）
図１は、本実施形態に係る診断支援装置１の構成を示すブロック図である。図１に示すように、本実施形態に係る診断支援装置１には、ダーモスコープ付撮影装置２０が接続されている。

ダーモスコープ付撮影装置２０は、診断支援装置１の装置本体１０からの指示により撮影を行い、撮影画像であるダーモスコピー画像を画像記憶部１３に格納するとともに、表示装置４０上に表示する。また、撮影画像は、装置本体１０により画像処理が施されて画像記憶部１３に格納すると共に表示装置４０上に表示される。

入力装置３０は、ダーモスコピー画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０は、マウス等により構成されている。

装置本体１０は、撮影画像取得部１１と、処理部１２と、画像記憶部１３と、を含む。

撮影画像取得部１１は、ダーモスコープ付撮影装置２０により撮影された撮影画像を取り込んで処理部１２へ出力する。処理部１２は、画像補正を行う際、ダーモスコピー画像（撮影画像）のうち疾患の確率が高い中央部（被検領域ともいう。以下同じ。）を除いた周辺部（周辺領域ともいう。以下同じ。）を測定領域に設定する。このため、処理部１２は、画像補正手段１２０を有する。

画像補正手段１２０は、画像補正として、色合いを補正するための色補正を行うか、輝度補正を行う。画像補正手段１２０は、色補正を行う場合、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。一方、輝度補正を行う場合、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。なお、本実施形態では色空間としてＲＧＢ色空間を取り上げて説明するが、本実施形態の適用にあたっては、そのほかにも、例えばＹＵＶ色空間やＨＳＶ色空間であってもよい。

画像記憶部１３は、ダーモスコープ付撮影装置２０により撮影される患部のダーモスコピー画像を記憶する他に、後述するプログラムの実行途中で生成される画像他、各種データを記憶する。画像記憶部１３には、半導体、磁気、光等のうち、いずれかの記憶素子が実装されている。

以下、画像補正手段１２０が、画像補正として色補正を行う場合を第１実施形態とし、画像補正として輝度補正を行う場合を第２実施形態として以下に説明を行う。

（第１実施形態の構成）
図２に示すように第１実施形態の処理部１２は、色補正処理手段１２１を含む。色補正処理手段１２１は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段１２１は、中央部を前記撮影画像の中心円とし、中心円を除いた測定領域内で各ＲＧＢについて対応画素のＬｐノルムを求め、ｅ_Ｒ、ｅ_Ｇ及びｅ_ＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅ_ｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、ＲＧＢのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。

色補正処理手段１２１は、測定領域において全面が血液色であるような肌色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定してもよい。

（第１実施形態の動作）
以下、図３のフローチャートを参照しながら第１実施形態に係る処理部１２（色補正処理手段１２１）の色補正処理動作について詳細に説明する。

医師が入力装置３０を操作することによる指示の下、まず、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が補正の対象となる撮影後のダーモスコピー画像を取り込み（ステップＳ３０１）、処理部１２へ出力する。

これを受け処理部１２は色情報計測領域を設定する（ステップＳ３０２）。具体的に、画像補正手段１２０が、画像の色合いを取得するため、例えば、図４に示すように、その取得領域を画像中心円の領域外（中央部を除く周辺部）に設定する。これは、画像の色合いを肌の色をベースに判断し、多種多様に色変異する画像中央部の疾患領域を避けるためである。

次に、色補正処理手段１２１は、色情報計測領域内の各色について、以下に示す演算式（１）（２）（３）にしたがい色ノルム和計算を行う（ステップＳ３０３）。

すなわち、色補正処理手段１２１は、ステップＳ３０２で設定した色情報計測領域内のＲＧＢ各画素について、対応する画素のＬｐノルム（但し、ｐ＝６で計算）を求め、また、ｅ_Ｒ，ｅ_Ｇ，ｅ_ＢのＬ２ノルムが１となるように（演算式３）、係数ｋで正規化する。なお、演算式（１）における積分∫は、全ての領域に対して積算を行うことを意味する。

次に、色補正処理手段１２１は、以下の演算式（４）（５）にしたがい、色補正ゲイン（Ｉ^ｔ _Ｒ，Ｉ^ｔ _Ｇ，Ｉ^ｔ _Ｂ）の算出を行う（ステップＳ３０４）。

すなわち、色補正処理手段１２１は、ｅ_Ｃに３＾（１／２）を乗算してこれを逆数にし（演算式４）、色再現行列にしたがう色ゲインの設定を行う（演算式５）。

なお、元画像がほぼＲを示す場合、Ｒゲイン（Ｉ^ｔ _Ｒ）を下げ過ぎてしまうため、色補正処理手段１２１は、Ｒゲインの設定最低値よりも下がらないようリミッターを設定する必要がある（ステップＳ３０５）。

次に、色補正処理手段１２１は、補正ターゲットに対するゲインバランス調整を行う（ステップＳ３０６）。すなわち、通常のホワイトバランス補正では、灰色仮説で全体のバランスを取るが、補正対象のダーモスコピー画像の場合は、肌の色が支配的であり、このため灰色仮説で調整すれば青緑色に変色するため、以下の演算式（６）（７）（８）にしたがい、変換ターゲットを設定する。すなわち、変換ターゲットの色合いを特定の肌色を想定して設定する。

すなわち、色補正処理手段１２１は、例えば、変換ターゲットによる色合いの違いを濃淡で示すために、ＲＧＢノルム合計比が１．０：０．９：１．０になるようにゲイン係数の調整を実行する。例えば、補正対象のダーモスコピー全画像の色合いについて、ＲＧＢのノルム合計比を１．０：１．０：１．０として変換ターゲット画像の色合いを示したり、ステップＳ３０６で実行されるように、ＲＧＢのノルム合計比を１．０：０．９：１．０としてゲイン調整して変換ターゲット画像の色合いを示したりすることができる。

続いて、色補正処理手段１２１は、ステップＳ３０６で求めたＲＧＢのゲイン係数をＲＧＢ各画素に乗算することにより元画像であるダーモスコピー画像の色補正処理を行い（ステップＳ３０７）、一連の色補正処理を終了する。

（第１実施形態の効果）
第１実施形態に係る診断支援装置１によれば、処理部１２（色補正処理手段１２１）が、補正対象のダーモスコピー画像に対して色合いを補正（色補正）する際に、色情報計測領域を疾患領域である確率が高い、中央部を除く周辺部に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッターを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、画像は１画像ずつ表示させて見比べるようにしてもよい（以下同じ。）

なお、本実施形態に係る診断支援装置１によれば、ＲＧＢ色空間を持つ撮影画像を補正の対象として説明したが、ＲＧＢ色空間に限らず、輝度信号Ｙと、２つの色差信号Ｕ，Ｖを使って表現されるＹＵＶ色空間、又は色相Ｈ、彩度Ｓ及び明度Ｖを使って表現されるＨＳＶ色空間などを持つ撮影画像を補正の対象としても同様に色補正が可能である。ＹＵＶ色空間のときには、各画素Ｙ，Ｕ，Ｖに同一の補正ゲイン値を乗算し、ＨＳＶ色空間のときには、画素Ｓ，Ｖに同一の補正ゲイン値を乗算（画素Ｈは、そのまま）すればよく、色空間に応じて少なくとも２つの画素に同一の補正ゲイン値を乗算する。

（第２実施形態の構成）
次に、第２実施形態について説明する。図５に示すように、第２実施形態の処理部１２は、輝度補正処理手段１２２を含む。輝度補正処理手段１２２は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。

このとき、輝度補正処理手段１２２は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で輝度値ごとに画素数をカウントして輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の輝度ヒストグラムのピーク値を求め、輝度補正のターゲット値を設定して補正前のピーク値がターゲット値となるように補正ゲインを設定し、求められた補正ゲイン値をＲＧＢそれぞれに乗算して輝度補正を行う。

輝度補正処理手段１２２は、輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、上端値を超えないように補正ゲインをクリップし、補正ゲイン値を最終的なものとしてもよい。

（第２実施形態の動作）
以下、図６のフローチャートを参照しながら第２実施形態に係る処理部１２（輝度補正処理手段１２２）の色補正処理動作について詳細に説明する。

医師が入力装置３０を操作することによる指示の下、まず、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が補正の対象となる撮影後のダーモスコピー画像を取り込み（ステップＳ７０１）、処理部１２へ出力する。

これを受け処理部１２は、輝度補正処理手段１２２が輝度情報計測領域の設定を行う（ステップＳ７０２）。輝度補正処理手段１２２は、例えば、図７に示すように、画像の輝度情報取得のために取得領域を画像中心円領域外（中央部を除く周辺部）に設定する。この措置は、画像の明るさを肌の色をベースに判断し、多種多様に変異する画像中央部の疾患領域を避けるためである。

次に、輝度補正処理手段１２２は、領域内における輝度ヒストグラムを生成する（ステップＳ７０３）。すなわち、輝度補正処理手段１２２は、ステップＳ７０２で設定した領域内で、輝度信号Ｙ（０～２５５）について、輝度値ごとに画素数をカウントすることにより、例えば、図８に示すヒストグラムを作成する。

続いて、輝度補正処理手段１２２は、ヒストグラムのピーク値を安定的に取得するために、隣接する輝度値との加算平均を行いＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）による輝度方向のヒストグラム平滑化処理を実行する（ステップＳ７０４）。次に、輝度補正処理手段１２２は、ヒストグラムの高輝度側のピーク値を検出する（ステップＳ７０５）。例えば、図８に示す輝度ヒストグラムによれば、Ｘ＝１４６がピーク値として得られる。

続いて、輝度補正処理手段１２２は、そのピーク値を輝度補正のターゲット値に変換するゲイン値算出処理を実行する（ステップＳ７０６）。ここでは、図９に矢印Ａで示すように、輝度補正のターゲット値を１９０に設定し、補正前のピーク値１４６が１９０になるように、１９０／１４６の補正ゲインを設定する。

次に、輝度補正処理手段１２２は、補正ゲインを上げ過ぎて、一部領域が白飛びすることを防ぐためにヒストグラムの上端値を求める。ここでは、ヒストグラムを高輝度側から積算して０．７％以上になる輝度の上端値を求める（ステップＳ７０７）。そして、求めた上端値が２３０を超える場合、図１０に矢印Ｂで示すように、その値を超えないように補正ゲインをクリップする（ステップＳ７０８）。

最後に、輝度補正処理手段１２２は、ステップＳ７０８で求めた最終的な補正ゲイン値をＲＧＢのそれぞれに乗算することにより、色相を変えることなく輝度補正を行い（ステップＳ７０９）、一連の輝度補正処理を終了する。図１１に、輝度補正前後における画像と各ヒストグラムの一例が示されている。

（第２実施形態の効果）
上記した第２実施形態に係る診断支援装置１によれば、補正対象のダーモスコピー画像に対して輝度補正を行う際に、処理部１２（輝度補正処理手段１２２）が、輝度計測領域を疾患領域の確率が高い中央部を除いた周辺部に設定し、その領域に対して輝度ヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、Ｒ，Ｇ，Ｂそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、輝度ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。

本実施形態に係る診断支援装置１によれば、肌色領域の判定を、補正の対象であるダーモスコピー画像に合わせ、空間的な条件付けとヒストグラムのピーク値の条件付けとを行い輝度補正を実行することにより、その結果に用途に応じた固有の特徴的処理が含まれ、したがって、撮影光源やメラニン濃度の個人差の影響を取り除くことができ、かつ、画像分類前処理や画像提示に利用することが可能となる。画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。

なお、本実施形態に係る画像処理方法は、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法である。そして、その方法は、前記撮影画像の画像処理を行うステップ（Ａ）を備え、前記画像処理を行うステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする。

ここで、ステップ（Ａ）は、例えば、図３に示す第１実施形態のステップＳ３０１～Ｓ３０７の手順、図６に示す第２実施形態のステップＳ７０１～Ｓ７０９の手順をいう。

また、本実施形態に係る画像処理方法において、前記画像処理を行うステップ（Ａ）が、前記中央部を前記撮影画像の中心円とするステップ（Ａ１）と、前記中心円を除いた前記測定領域内で各ＲＧＢについて対応画素のＬｐノルムを求め、ｅ_Ｒ、ｅ_Ｇ及びｅ_ＢのＬ２ノルムが１となるように係数ｋで正規化するステップ（Ａ２）と、ｅ_ｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行うステップ（Ａ３）と、ＲＧＢのゲイン係数を各画素に乗算し、元画像の色補正処理を行うステップ（Ａ４）と、を備えてもよい。

ここで、ステップ（Ａ１）は図３に示す第１実施形態のステップＳ３０２、ステップ（Ａ２）は図３に示す第１実施形態のステップＳ３０３、ステップ（Ａ３）は図３に示す第１実施形態のステップＳ３０４、ステップ（Ａ４）はステップＳ３０７、のそれぞれのステップをいう。

また、本実施形態に係る画像処理方法において、前記画像処理を行うステップ（Ａ）が、前記中央部を前記撮影画像の中心円とするステップ（Ａ１１）と、前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成するステップ（Ａ１２）と、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求めるステップ（Ａ１３）と、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定するステップ（Ａ１４）と、求められた前記補正ゲイン値をＲＧＢそれぞれに乗算して輝度補正を行うステップ（Ａ１５）と、を備えてもよい。

ここで、ステップ（Ａ１１）は図６に示す第２実施形態のステップＳ７０１，Ｓ７０２、ステップ（Ａ１２）は図６に示す第２実施形態のステップＳ７０３、ステップ（Ａ１３）は図６に示す第２実施形態のステップＳ７０４，Ｓ７０５、ステップ（Ａ１４）は、図６に示す第２実施形態のステップＳ７０６、ステップ（Ａ１５）は図６に示す第２実施形態のステップＳ７０７～Ｓ７０９、のそれぞれのステップをいう。

本実施形態に係る画像処理方法によれば、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。

なお、本実施形態に係る方法はプログラムによってコンピュータに実行させることができ、当該プログラムは、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法のプログラムである。そしてそのプログラムは、コンピュータ（装置本体１０）に、上記した本実施形態に係る画像処理方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。

当該プログラムによれば、装置本体１０（処理部１２）が、上記した当該プログラムを読み出し実行することにより、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、当該プログラムは、装置本体１０内の図示省略したプログラムメモリに記憶される。

（第３実施形態の構成）
次に、第３実施形態について説明する。第３実施形態は、第１実施形態の色補正処理（正規化）及び／又は第２実施形態の輝度補正処理（正規化）を行ったダーモスコピー画像をニューラルネットワークから構成される識別器に入力し、機械学習の結果を用いて、未知の調査対象の疾患を推論するものである。その際、ダーモスコピー画像の肌色部の色及び／又は輝度を正規化後、正規化のターゲット値を減算してからニューラルネットワークに入力する。

図１２は、本発明の第３実施形態に係る診断装置１００Ａの構成を示すブロック図である。図１２に示すように、本発明の第３実施態に係る診断装置１００Ａには、ダーモスコープ付き撮影装置２０ａが接続されている。

ダーモスコープ付き撮影装置２０ａは、診断装置１００Ａからの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１３ａに格納すると共に、表示装置４０ａ上に表示する。また、撮影画像は、診断装置本体１０ａ（処理部１０ａ，アンサンブル識別器１４ａ）により画像処理が施されて画像記憶部１３ａに保存されると共に表示装置４０ａ上に表示される。

入力装置３０ａは、ダーモスコープ画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０ａ、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０ａは、マウス等により構成されている。

学習用皮膚画像記憶部１０３は、学習用に付された疾患の識別名称と既知の皮膚画像データを関連付けて記録される皮膚画像データベースである。

診断装置本体１０ａは、処理部１２ａと、アンサンブル識別器１４ａと、取得部１１ａとを含む。

処理部１２ａは、画像記憶部１３ａに記憶された撮影画像（原画像データ）に画像補正処理を施した変換画像データを生成してアンサンブル識別器１４ａに出力する。ここで、画像補正処理とは、原画像データの色補正処理（正規化）又は輝度補正処理（正規化）である。なお、これら変換画像データを回転し、あるいは反転させた回転反転画像を含んでもよい。

このため、処理部１２ａの画像補正手段１２０は、色補正処理手段１２１と、輝度補正処理手段１２２と、減算処理手段１２３を含む。

色補正処理手段１２１は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。輝度補正処理手段１２２は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。色補正処理手段１２１は、第１実施形態で説明したもの、輝度補正処理手段１２２は、第２実施形態で説明したものであるので、詳細は省略する。

減算処理手段１２３は、色補正処理（正規化）及び／又は輝度補正処理（正規化）されたダーモスコピー画像の画素値から、アンサンブル識別器１４ａ（ニューラルネットワーク）に入力する前に、正規化のターゲット値を減算する。肌色部に係るターゲット値は、例えば（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）とする。これにより、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調するような前処理が行うことができる。すなわち、平均画像を減算した場合には必ずしも肌色近辺の値が中心にならないのに対し、肌色部に係るターゲット値を減算することにより、肌色近辺の値を中心として、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調できる。

正規化のターゲット値が減算されたダーモスコピー画像は、アンサンブル識別器１４ａに入力される。アンサンブル識別器１４ａは、処理部１２ａによって前処理された診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別する。このアンサンブル識別器１４ａは、対象に係る原画像データ、原画像データから変換された（第１の変換画像データ）及び同じく（第２の変換画像データ）のうち少なくとも２つを含む複数の皮膚画像データに対応するように、少なくとも２つの単位識別器１４１（ＣＮＮ１），１４２（ＣＮＮ２）……と、単位識別器１４１，１４２によって各別に得られた識別値を統合し、最終判定値を得る判定手段１４３と、を含む。

単位識別器１４１，１４２……は、疾患に係る複数の既知の皮膚画像データに基づいて学習する畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を有し、処理部１２ａによって生成される変換画像データを、この畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。

なお、単位識別器１４１，１４２……は、例えば、診断装置１００Ａが製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。

図１３に、畳み込みニューラルネットワーク（ＣＮＮ）の代表的構成を示す。図１３によれば、畳み込みニューラルネットワークは、学習段階では複数の既知の皮膚画像データ（変換画像データ）が、被検段階では複数の未知の皮膚画像データ（変換画像データ）が入力される入力層１１１ａと、畳み込み層とプーリング層から構成されたセットを複数有し、複数の既知の皮膚画像データ又は複数の未知の皮膚画像データから特徴を抽出する中間層１１１ｂと、抽出された特徴に基づき診断対象の分類ごとに識別値を出力する出力層１１１ｃと、を備える。

上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニットａを介して行われる。各処理ユニットａの入出力は、入力画像から抽出される複数の特徴である特徴マップｂで示される複数の二次元画像である。この場合、入力画像も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニットａとして多段接続され、特徴量ベクトルを算出する。この特徴量ベクトルに対し、後述する判定手段１１３で識別処理が行われ、出力クラスを得る構成になっている。

判定手段１１３は、抽出された特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層１１１ａ、中間層１１１ｂ、出力層１１１ｃで構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。ここでは、各単位識別器に１１１，１１２よって各別に得られた識別値を、例えば、平均することにより統合し、最終判定値を得る。

畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等に詳細に記載されている。畳み込みニューラルネットワーク（ＣＮＮ）は、脳の神経回路網を模したニューラルネットワークを多層にして学習するディープラーニング（ディープニューラルネットワーク；Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一種であり、画像解析に好適に用いることができる。なお、ディープラーニングの他の手法を採用したり、他の手法と組み合わせたりすることも可能である。

なお、取得部１２ａは、複数の未知の皮膚画像データを取得可能であって、構造明瞭、部位強調等の画像変換のために前処理部１０ａへ出力する。

（第３実施形態の動作）
以下、図１４から図１８のフローチャートを参照しながら第３実施形態に係る処理部１２ａ、アンサンブル識別器１４ａの動作について詳細に説明する。

図１４に示すように、まず、所望の撮影後のダーモスコピー画像を入力し、このダーモスコピー画像について、第１実施形態に係る色補正処理（正規化）及び／又は第２実施形態に係る輝度補正処理（正規化）を行う（ステップ（Ａ））。この色及び／又は輝度補正処理（正規化）は、図１５に示すように、正規化のターゲット値を例えば、（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）とする。この正規化により、肌色部（非疾患領域）は、青みがかった撮影画像から肌色に近い画像に補正される。なお、ステップ（Ａ）の詳細は、色補正処理については図３で示したステップＳ３０１からステップＳ３０７、輝度補正処理については図６で示したステップＳ７０１からステップＳ７０９のとおりである。

図１４に戻り、正規化を行った画像の各画素に対して、肌色に係るターゲット値（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）を減算する（ステップ（Ｂ））。この減算により、前述したとおり、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調するような前処理を行うことができる。

減算した画像を用いて、ニューラルネットワークから構成されるアンサンブル識別器１４ａに入力し、学習もしくは推測を行う（ステップ（Ｃ））。識別器における学習及び推測の詳細については、項をあらためて説明する。なお、ステップ（Ｃ）は、ステップ（Ｂ）の前であっても行うことができ、ターゲット値を減算する前に、正規化を行った画像の各画素をアンサンブル識別器１４ａに入力し、学習もしくは推測を行ってもよい。

（第３実施形態の動作）
以下、図１６から図１８のフローチャートを参照しながら、本発明の第３実施形態に係る診断装置１００Ａの動作について詳細に説明する。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。

図１６において（適宜、図１３併せて参照）、診断装置本体１０の取得部１１ａは、まず、診断対象に係わる複数の未知の皮膚画像データを学習用皮膚画像として取得する（ステップＳ１０：学習画像収集）。具体的に、未知の皮膚画像データの収集にあたり、医師が患者の疾患部分のダーモスコピー撮影を行なうことにより、取得部１１ａが、その撮影操作により複数の未知の皮膚画像データを取り込み、処理部１２ａへ出力する。

このとき、処理部１２ａは、症例の疾患名を、収集した学習用皮膚画像データに関連付けて学習用皮膚画像記憶部１０３に登録する。そして、処理部１２ａは、学習用皮膚画像を必要数収集したか否かを判定し、必要枚数収集するまで上記の手順を繰り返し実行し、学習用皮膚画像記憶部１０３上に皮膚画像データベースを構築する。

取得部１１ａがステップＳ１０で未知の皮膚画像データ収集処理を実行後、処理部１２ａは、未知の皮膚画像データに対して構造明瞭、部位強調等の画像変換処理を実行し、更に、９０度回転等のデータ増量処理を施してアンサンブル識別器１４ａへ出力する。アンサンブル識別器１４ａは、単位識別器１４１，１４２……が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより、入力画像である学習用皮膚画像の特徴を抽出する（ステップＳ２０：機械学習器生成処理）。

具体的に、単位識別器１４１，１４２……は、入力画像に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップｂを得、その後、特徴マップｂに対してプーリングを行ない、ｍ－１の特徴マップｂの小領域から値を出力してｍの特徴マップに変換する識別器生成処理を実行する。

次に、判定手段１４３は、単位識別器１４１，１４２……で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層１１１ｃの各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像について識別処理を実行する（ステップＳ３０：被検画像識別）。

図１７は、本発明の第３実施形態に係る診断装置１００Ａの機械学習識別器生成処理の手順（図１６のステップＳ２０）を示すフローチャートである。まず、処理部１２ａが、学習用皮膚画像に対して、色補正（正規化）及び／又は輝度補正（正規化）のための画像補正処理を実行する（ステップＳ２１）。各変換画像を９０ｘＮ回転と反転の組み合わせで８倍に増量処理を実行し、結果をアンサンブル識別器１４ａに引き渡す（ステップＳ２２）。

これを受けてアンサンブル識別器１４ａは、増量された各画像の学習済みＣＮＮ値を変換画像毎に平均して４０９６次元の特徴ベクトルを得る（ステップＳ２３）。アンサンブル識別器１４ａは、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする（ステップＳ２４）。そして、ステップＳ２１からＳ２４の処理を繰り返し実行して必要種類の識別器生成後（ステップＳ２５“ＹＥＳ”）、連結された特徴ベクトルを用い、そのベクトルを入力とする線形ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ
Ｍａｃｈｉｎｅ）学習を行ない、機械学習識別器生成処理を終了する（ステップＳ２６）。

図１８は、本発明の第３実施形態に係る診断装置１００Ａの被検画像の識別処理の手順（図１６のステップＳ３０）を示すフローチャートである。図１８によれば、まず、処理部１２ａは、取得部１１ａが取得した未知の皮膚画像データに対して、色補正（正規化）及び／又は輝度補正（正規化）のための画像補正処理を実行する（ステップＳ３１）。処理部１２ａは、更に、各変換画像を９０ｘＮ回転と反転の組み合わせで８倍に増量処理を実行し、結果をアンサンブル識別器１４ａに引き渡す。

アンサンブル識別器１４ａは、増量された各画像の学習済みＣＮＮ値を変換画像毎に平均して４０９６次元の特徴ベクトルを得、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする（ステップＳ３２）。そして、アンサンブル識別器１４ａは、ステッップＳ３１とＳ３２の処理を繰り返し実行して必要種類の識別器生成後（ステップＳ３３“ＹＥＳ”）、判定手段１１３が、全ての識別値を平均貸して最終判定値を得、例えば、表示装置４０ａに表示する（ステップＳ３４）。

すなわち、ステップＳ３１～Ｓ３３までの処理は、画像変換の対象となる入力画像が学習用皮膚画像から被検画像（未知の画像）に変更されただけであり、必要種類の識別器生成後、学習済みの線形ＳＶＭ識別器の出力値により識別結果を得る。

（第３実施形態の効果）
上記した第３実施形態に係る診断支援装置１によれば、ダーモスコピー画像の肌色部（非疾患領域）の色・輝度を正規化し、その正規化値を前処理として減算することにより、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調するような前処理が行うことができる。換言すると、中央部と肌色部（非疾患領域）との効果的なエッジ抽出を行うことができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。具体的には、上記実施形態は皮膚における病変を対象として説明したが、本発明は皮膚以外にも、例えば、眼底や子宮などの臓器における病変にも適用が可能である。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［請求項１］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ（Ａ）を備え、
前記ステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
［請求項２］
前記ステップ（Ａ）において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項１に記載の方法。
［請求項３］
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項２に記載の方法。
［請求項４］
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のＬｐノルムを求め、ｅ_Ｒ、ｅ_Ｇ及びｅ_ＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅ_ｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項１から３のいずれか１項に記載の方法。
［請求項５］
前記前記ステップ（Ａ）において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項１から４のいずれか１項に記載の方法。
［請求項６］
前記前記ステップ（Ａ）において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも２つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項１に記載の方法。
［請求項７］
前記ステップ（Ａ）において、 前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項１又は６に記載の方法。
［請求項８］
前記ステップ（Ａ）において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項６又は７に記載の方法。
［請求項９］
前記色空間が、ＲＧＢ色空間、ＹＵＶ色空間及びＨＳＶ色空間を含み、ＲＧＢ色空間の場合には画素Ｒ，Ｇ，Ｂについて、ＹＵＶ色空間の場合には画素Ｙ，Ｕ，Ｖについて、ＨＳＶ色空間の場合には画素Ｓ，Ｖについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項６から８のいずれか１項に記載の方法。
［請求項１０］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
［請求項１１］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
［請求項１２］
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ（Ｃ）を備えることを特徴とする請求項２、１０又は１１に記載の方法。
［請求項１３］
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
［請求項１４］
コンピュータに請求項１から１２のいずれか１項に記載の画像処理方法を実行させるプログラム。

１００Ａ…診断支援装置、１０，１０ａ…装置本体、１１，１１ａ…撮影画像取得部、１２，１２ａ…処理部、１３，１３ａ…画像記憶部、１４ａ…識別器、１４１，１４２…単位識別器、１４３…判定手段、２０，２０ａ…ダーモスコープ付撮影装置、３０，３０ａ…入力装置、４０，４０ａ…表示装置、１０３…学習用皮膚画像記憶部、１２０…画像補正手段、１２１…色補正処理手段、１２２…輝度補正処理手段、１１１ａ…入力層（識別器の）、１１１ｂ…中間層（識別器の）、１１１ｃ…出力層（識別器の）、ａ…処理ユニット（識別器の）、ｂ…特徴マップ（識別器の）

Claims (12)

1. 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置における画像処理方法であって、
   前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部について肌色をベースとした色合いを測定し、前記色合いに基づいて所定の色空間のパラメータにおける各色成分のゲイン係数を設定する設定ステップと、
   前記設定ステップにて設定されたゲイン係数を前記ダーモスコピー画像の各画素値に乗算する第１の乗算ステップと、
   を含むことを特徴とする画像処理方法。
2. 前記第１の乗算ステップにて乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算ステップと、
   前記減算ステップにて減算したダーモスコピー画像を識別器に入力する入力ステップと、
   を含むことを特徴とする請求項１に記載の画像処理方法。
3. 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置における画像処理方法であって、
   前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部の輝度ヒストグラムのピーク値に基づいて補正ゲイン値を取得する取得ステップと、
   前記取得ステップにて取得された補正ゲイン値を前記ダーモスコピー画像の各画素値に乗算する第２の乗算ステップと、
   を含むことを特徴とする画像処理方法。
4. 前記第２の乗算ステップにより乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算ステップと、
   前記減算ステップにて減算したダーモスコピー画像を識別器に入力する入力ステップと、
   を含むことを特徴とする請求項３に記載の画像処理方法。
5. 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置であって、
   前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部について肌色をベースとした色合いを測定し、前記色合いに基づいて所定の色空間のパラメータにおける各色成分のゲイン係数を設定する設定手段と、
   前記設定手段によって設定されたゲイン係数を前記ダーモスコピー画像の各画素値に乗算する第１の乗算手段と、
   を備えることを特徴とする診断支援装置。
6. 前記第１の乗算手段によって乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算手段と、
   前記減算手段によって減算したダーモスコピー画像を識別器に入力する入力手段と、
   を備えることを特徴とする請求項５に記載の診断支援装置。
7. 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置であって、
   前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部の輝度ヒストグラムのピーク値に基づいて補正ゲイン値を取得する取得手段と、
   前記取得手段によって取得された補正ゲイン値を前記ダーモスコピー画像の各画素値に乗算する第２の乗算手段と、
   を備えることを特徴とする診断支援装置。
8. 前記第２の乗算手段によって乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算手段と、
   前記減算手段によって減算したダーモスコピー画像を識別器に入力する入力手段と、
   を備えることを特徴とする請求項７に記載の診断支援装置。
9. 前記疾患の識別名称と、皮膚画像を関連付けて登録する皮膚画像登録手段を更に備え、
   前記識別器は、前記入力されたダーモスコピー画像と前記皮膚画像とに基づいて、前記対象が疾患であるか否かを識別する、
   ことを特徴とする請求項５乃至８の何れかに記載の診断支援装置。
10. 前記識別器は、前記減算されたダーモスコピー画像から得られる特徴量ベクトルに基づいて、前記対象が疾患であるか否かを識別する、
    ことを特徴とする請求項９に記載の診断支援装置。
11. 前記識別器は、ニューラルネットワークである、
    ことを特徴とする請求項１０に記載の診断支援装置。
12. コンピュータに請求項１乃至４の何れかに記載の画像処理方法を実行させるプログラム。

Images