JP6471559B2 - 診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラム - Google Patents

Description

本発明は、診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラムに関する。

近年、高齢化やオゾン層破壊によってメラノーマ（悪性黒色腫）などの皮膚疾患の増加が問題となっている。肉眼や通常のルーペを用いて観察を行っても、メラノーマと良性の色素細胞母斑や血豆などとの鑑別は困難であり、メラノーマの早期発見及び早期治療を行うことが難しかった。

皮膚に向かう光のほとんどは、皮膚表面によって反射され、又は、皮膚に吸収される。このため、肉眼や通常のルーペを用いる場合、目から受領される情報は、ほとんどが皮膚表面についての情報であり、皮膚内部については十分な情報が得られなかった。つまり、メラノーマと良性の色素細胞母斑との鑑別の困難性は、メラノーマと良性の色素細胞母斑とは皮膚内部における色素分布や色合いが異なるにもかかわらず、肉眼や通常のルーペを用いても、皮膚内部における情報を十分に観察できないことに起因していた。

そこで、このような診断には、皮膚が部分的に透光性であることを利用することで、皮膚内部の色素分布や色合いを観察できるダーモスコープが活用されている。ダーモスコープは、発光ダイオードなどにより標的部に光を照射するとともに、皮膚内部を覆う皮膚表面からの反射光を低減し、かつ、標的部を１０倍から３０倍に拡大して観察することで、非侵襲的に皮膚内部の炎症、色、色素沈着、毛嚢及び血管などを視覚化できる。

皮膚表面からの反射光を低減する方法としては、ジェルや偏光フィルタを用いる方法が知られている。ジェルを用いる場合、皮膚表面にジェルを塗布することによって、皮膚表面にある角層の凹凸の影響をなくして光の乱反射を抑制するものである。

これに対して、偏光フィルタを用いる場合、光源から皮膚に向かう光は、まず第１の偏光フィルタによって直線偏光とされる。この光の一部は、皮膚で反射される。皮膚表面からの反射光は、入射光と同じ面を通るように反射される鏡面反射成分を多く含むが、皮膚内部からの反射光は入射角に対して反射角が変化する。第１の偏光フィルタと比較して偏光方向が９０°ずれた第２の偏光フィルタを皮膚からレンズへの反射光の経路上に位置づけることで、この鏡面反射成分を除去し、皮膚内部からの反射光の少なくとも一部を透過することで、皮膚内部をレンズによって視覚化した交差偏光像を得ることができる。

また、皮膚表面の像と皮膚内部の像の比較や重ね合わせなどのために、皮膚表面と皮膚内部との両方を観察又は撮像したい場合がある、このため、皮膚表面を観察又は撮像できる状態と皮膚内部を観察又は撮像できる状態に相互に切り替えられるダーモスコープが所望されていた。

例えば、特許文献１には、このような要求に応えるために、ダイオードと、ダイオードからの光を偏光する上部偏光フィルタ及び下部偏光フィルタと、観察偏光フィルタを介して標的部を拡大して視認できる光学レンズと、を有するダーモスコープが開示されている。上部偏光フィルタは、上部偏光フィルタの偏光軸方向が、観察偏光フィルタの偏光軸方向に対して９０°ずれていることで、上部偏光フィルタを通った光を用いると、皮膚内部を視覚化した交差偏光像を提供できるものである。これに対して、下部偏光フィルタは、下部偏光フィルタの偏光軸方向が観察偏光フィルタの偏光軸方向に対して平行となることで、下部偏光フィルタを通った光を用いると、皮膚表面のトポグラフィーと性質が強調された平行偏光像を提供できるものである。なお、上部偏光フィルタと下部偏光フィルタには所定のダイオードに対応する位置にそれぞれ開口が設けられており、発光するダイオードをスイッチで切り替えることで、交差偏光像と平行偏光像とを切り替えられるように構成されている。

米国特許第７，００６，２２３号明細書

上記したダーモスコープにより撮影された皮膚画像を画像処理して行われる診断は、ジェルが塗布され、又は偏光フィルタを使用して撮影され、取り込まれた偏光処理を施した画像である。この場合、偏光処理を施すことにより皮膚表面の表面反射を抑制でき、皮膚内部の構造が明瞭になる利点はあるが、同時に皮膚表面の平滑性の情報が失われ、結果、皮膚疾患の判断情報が失われてしまう問題があった。

本発明は上記した課題を解決するためになされたものであり、皮膚表面の平滑性を捕捉でき、より精度の高い診断を可能にした、診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラムを提供することを目的とする。

上記した課題を解決するために本発明の一態様は、
皮膚画像を用いて皮膚の疾患を診断するための診断装置であって、
偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する取得部と、
前記取得された偏光処理を行わずに撮影された第１の皮膚画像データから疾患部分の平滑度を算出する平滑度算出部と、
疾患の識別名称と、既知の皮膚画像データを関連付けて記録している皮膚画像データベースを用いて予め学習に付され、前記平滑度算出部で算出した前記第１の皮膚画像データからの平滑度と、前記第２の皮膚画像データからの判別値とを合わせて最終判別値を求め、該最終判別値に基づいて診断されるべき疾患を識別する識別器と、を有することを特徴とする診断装置である。
本発明の他の特徴は、本明細書及び添付図面の記載により、明らかにする。

本発明によれば、皮膚表面の平滑性を捕捉できより精度の高い診断を可能にした、診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラムを提供することができる。

本発明の実施形態に係る診断装置の構成を示すブロック図である。 図１の識別器の動作概念図である。 本発明の実施形態に係る診断装置の基本動作を示すフローチャートである。 図３の学習画像収集処理の詳細手順を示すフローチャートである。 本実施形態の識別器生成処理の詳細手順を示すフローチャートである。 本実施形態における未知の画像の識別処理の詳細手順を示すフローチャートである。 変形例の識別器生成処理の詳細手順を示すフローチャートである。 図７の平滑度算出処理の詳細手順を示すフローチャートである。 変形例における未知の画像の識別処理の詳細手順を示すフローチャートである。 変形例の切り抜き前の前景と切り抜き後の前景を示す図である。 ダーモスコープにより皮膚患部を観察する場合の光学的な原理を説明するために引用した図である。 ジェル塗布が無い場合とジェル塗布がある場合に撮影され取り込まれた「イボ」と「ほくろ」の画像の一例を示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。

（実施形態の構成）
図１は、本実施形態に係る診断装置１００の構成を示すブロック図である。図１に示すように、本実施形態に係る診断装置１００には、ダーモスコープ付き撮影装置（取得部）１１０が接続されている。ダーモスコープ付き撮影装置１１０は、診断装置１００（処理部１０）からの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１０２に格納するとともに表示装置１２０上に表示する。また、撮影画像は、処理部１０により画像処理が施されて画像記憶部１０２に保存されると共に表示装置１２０上に表示される。入力装置１３０は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置１２０、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタにより構成され、入力装置１３０は、マウス等により構成されている。

皮膚画像データベース１０３は、処理部１０により、既知の皮膚画像データとして、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データとが、学習用に付された疾患の識別名称と関連付けて記録されるデータベースである。

処理部１０は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を有し、第１の学習用皮膚画像データと第２の学習用皮膚画像データを畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。識別器は、診断されるべき疾患について、未知の皮膚画像データとして、偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを多チャンネル化により統合した第３の皮膚画像データを学習済みの畳み込みニューラルネットワークへ入力することにより学習処理を経て診断すべき疾患を識別する。なお、識別器は、例えば診断装置１００が製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。

このため、処理部１０は、処理部１０がコンピュータにて実行するプログラムの機能をブロック展開して示したように、前処理部１１と、特徴抽出部１２と、識別部１３とを含む。前処理部１１は、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データとを、学習用に付された疾患の識別名称と関連付けて皮膚画像データベース１０３に記録する機能を持つ。また、前処理部１１は、第１の学習用皮膚画像データと第２の学習用皮膚画像データを、多チャンネル化により統合された第３の学習用皮膚画像データとして畳み込みニューラルネットワークへ入力する機能も合わせ持つ。

特徴抽出部１２と識別部１３は、中間層で畳み込みとプーリングの処理を繰り返し行う畳み込みニューラルネットワークを構成する機能ブロックである。図２に、畳み込みニューラルネットワークの代表的構成を示す。図２によれば、畳み込みニューラルネットワークは、第３の学習用皮膚画像データ又は第３の皮膚画像データが入力される入力層（入力画像１０１）と、畳み込み層とプーリング層とから構成されるセット（処理ユニット１２ｂ）を複数有し、第３の学習用皮膚画像データ又は第３の皮膚画像データから特徴（特徴マップ１２ａ）を抽出する中間層（第１層，第２層）と、中間層で抽出された特徴に基づき診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備える。

特徴抽出部１２は、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより入力画像１０１である第３の学習用皮膚画像データ又は第３の皮膚画像データの特徴を抽出する。具体的に、特徴抽出部１２は、入力画像１０１に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップ１２ａを得、その後、特徴マップ１２ａに対してプーリングを行う。プーリングとは、ｍ−１の特徴マップ１２ａの小領域から値を出力してｍの特徴マップに変換する処理であり、識別部１３に入力する特徴次元削減機能を持つ。

上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニット１２ｂを介して接行われる。各処理ユニット１２ｂの入出力は、入力画像１０１から抽出される複数の特徴である特徴マップ１２ａで示される複数の二次元画像である。この場合、入力画像１０１も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニット１２ｂとして多段接続され、特徴量ベクトルを算出する。この特徴量ベクトルに対して識別部１３で識別処理が行われ、出力クラスを得る構成になっている。

識別部１３は、特徴抽出部１２で抽出した特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層、中間層、出力層で構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。

畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等に詳細に記載されている。

なお、第１の学習用皮膚画像データと第２の学習用皮膚画像データは畳み込みニューラルネットワークへ各別に入力されてもよい。この場合、識別器として機能する処理部１０は、診断されるべき疾患について、偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データが学習済みの畳み込みニューラルネットワークへ各別に入力されることにより、診断されるべき疾患を第１の皮膚画像データ及び第２の皮膚画像データの予備的識別を統合して識別する。

畳み込みニューラルネットワークは、第１の学習用皮膚画像データ及び第２の学習用皮膚画像データ、又は第１の皮膚画像データ及び第２の皮膚画像データが入力される入力層と、畳み込み層とプーリング層から構成されたセットを複数有し、第１の学習用皮膚画像データ及び第２の学習用皮膚画像データ、又は第１の皮膚画像データ及び第２の皮膚画像データから特徴を抽出する中間層と、抽出された特徴に基づき診断されるべき疾患の分類ごとに第１の学習用皮膚画像データ及び第２の学習用皮膚画像データ、又は第１の皮膚画像データ及び第２の皮膚画像データの予備的識別値を統合して識別値を出力する出力層と、を備える。

なお、上記した第１の学習用皮膚画像データ及び第２の学習用皮膚画像データは、それぞれ、ダーモスコープを用いて、ジェル又は偏光フィルタなしで撮影された第１の学習用ダーモスコピー画像データ及びジェル又は偏光フィルタありで撮影された第２の学習用ダーモスコピー画像データである。また、第１の皮膚画像データ及び前記第２の皮膚画像データは、それぞれ、ダーモスコープを用いて、ジェル又は偏光フィルタなしで撮影された第１のダーモスコピー画像データ及びジェル又は偏光フィルタありで撮影された第２のダーモスコピー画像データであってもよい。

ここで、ダーモスコープにより撮影されるダーモスコピー画像について図１１を参照しながら簡単に説明する。図１１（ａ）に、医師が接触型のダーモスコープを用いて患者の腕の皮膚患部を診断している様子を示してある。図１１（ｂ）は、肉眼で観察する場合の皮膚の断面図、図１１（ｃ）はジェルを塗布して撮影する場合の皮膚の断面図である。

まず、ダーモスコープの使用例、およびジェルを用いる場合の光学的な原理及び皮膚への一般的な押し当て方について説明する。図１１（ａ）に示すように、医師は、ダーモスコープ２１０を患者（被検査者）の皮膚の表面２１１に押し当て、ダーモスコープ２１０によって拡大した画像２１２で皮膚患部２１３を観察する。観察される皮膚患部２１３としては、例えば、色素細胞母斑、悪性黒色腫、脂漏性角化症、基底細胞癌、血管病変及びボーエン病などが挙げられる。

図１１（ｂ）に示すように、皮膚の表面２１１（角層２１５）は凹凸に形成されており、この角層２１５では、光の乱反射が起きる。このため、肉眼や通常のルーペによる観察では、角層２１５よりも深いところを観察することは難しい。一方、図１１（ｃ）に示すように、ジェル２１６を皮膚の表面２１１に塗布すると、角層２１５の凹凸の影響がなくなり光の乱反射が抑制される。このようなジェル２１６を介してダーモスコープ２１０を皮膚の表面２１１に押し当てることにより、角層２１５よりも深いところにある皮膚患部２１３を拡大レンズで拡大して観察することができる。図１２（ａ）、（ｂ）に、ジェル塗布が無い場合と、ジェル塗布がある場合に撮影され取り込まれた「イボ」と「ほくろ」のそれぞれの画像の一例が示されている。

以下の説明では、上記したジェル又は偏光フィルタを使用して撮影され取り込まれるダーモスコピー診断画像を「偏光処理を行って撮影され取り込まれる学習用皮膚画像（第１の学習用皮膚画像）」とし、ジェル又は偏光フィルタを用いずに撮影され取り込まれるダーモスコピー診断画像を「偏光処理を行わずに撮影された学習用皮膚画像（第２の学習用皮膚画像）」と称して説明を行う。

（実施形態の動作）
以下、図３以降のフローチャートを参照しながら、図１，図２に示す本実施形態に係る診断装置１００の動作について詳細に説明する。

処理部１０は、まず、前処理部１１が、偏光処理を行わずに撮影された学習用皮膚画像データ（第１の学習用皮膚画像データ）と、偏光処理を行って撮影された学習用皮膚画像データ（第２の学習用皮膚画像データ）とを収集し、多チャンネル化により統合された学習用皮膚画像データ（第３の学習用皮膚画像データ）を特徴抽出部１２へ出力する（ステップＳ１０：学習画像収集処理）。このとき、前処理部１１は、第１の学習用皮膚画像データと第２の学習用皮膚画像データとを、各別に特徴抽出部１２へ出力してもよい。

図４に、ステップＳ１０の学習画像収集処理の詳細手順が示されている。この学習画像収集にあたり、医師は、図１０（ａ）に示すように、疾患部分をジェルが塗布されていない状態でダーモスコピー撮影を行なう。次に、疾患部分周辺にジェルを塗布した状態で表面反射を抑えたダーモスコピー撮影を行う。この撮影操作を経て前処理部１１は、偏光処理を行わずに撮影された学習用皮膚画像データと、偏光処理を行って撮影された学習用皮膚画像データとを取り込む（ステップＳ１１）。続いて、前処理部１１は、症例の疾患名を、収集した学習用皮膚画像データに関連付けて皮膚画像データベース１０３へ登録する（ステップＳ１２）。

次に、前処理部１１は、学習用皮膚画像を必要数収集したか否かを判定し（ステップＳ１３）、必要枚数収集するまで（ステップＳ１３“ＹＥＳ”）、ステップＳ１１とＳ１２の手順を繰り返し実行し、皮膚画像データベース１０３を構築する。

説明を図３に戻す。前処理部１１がステップＳ１０で学習画像収集処理を実行後、特徴抽出部１２が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより入力画像１０１である第３の診断用皮膚画像又は第３の皮膚画像データの特徴を抽出する。具体的に、特徴抽出部１２は、入力画像１０１に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップ１２ａを得、その後、特徴マップ１２ａに対してプーリングを行ない、ｍ−１の特徴マップ１２ａの小領域から値を出力してｍの特徴マップに変換する識別器生成処理を実行する（ステップＳ２０）。

次に、識別部１３は、特徴抽出部１２で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像について識別処理を実行する（ステップＳ３０）。

以下の説明では、偏光処理を行わずに撮影された学習用皮膚画像データと、偏光処理を行って撮影された学習用皮膚画像データが、多チャンネル化により統合された学習用皮膚画像データとして畳み込みニューラルネットワークへ入力され、機械学習され未知の画像を識別する場合を説明する。偏光処理を行わずに撮影された学習用皮膚画像データと、偏光処理を行って撮影された学習用皮膚画像データが畳み込みニューラルネットワークへ各別に入力され、偏光処理を行わずに撮影された学習用皮膚画像データを用いて疾患部分の平滑度を数値化し、スコア（判別値）を統合して未知の画像を識別する場合については、変形例として別に説明する。

図５は、本実施形態の識別器生成処理Ａの手順（図３のステップＳ２０）を示すフローチャートである。図５によれば、処理部１０は、まず、前処理部１１が、皮膚画像データベース１０３から学習画像データを取り出し、偏光処理を行なって撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの学習用皮膚画像データと、偏光処理を行わずに撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの学習用皮膚画像データを、６チャンネルの１入力画像に統合して特徴抽出部１２へ引き渡す（ステップＳ２１ａ）。なお、チャンネル数は任意で、かつ、表色系は、Ｒ，Ｇ，Ｂに限らずＣＩＥ Ｌａｂ他の色空間で代替してもよい。

前処理部１１から６チャンネルの１入力画像を取得した特徴抽出部１１２は、畳み込みニューラルネットワークを用いて学習する（ステップＳ２２ａ）。特徴抽出部１２は、畳み込み演算とプーリングとを繰り返すことにより、６チャンネルの１入力画像の特徴を抽出する。具体的に、特徴抽出部１２は、６チャンネルの１入力画像に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップを得、その特徴マップ１２ａに対してプーリングを行う。

この畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニット（図２の１２ｂ）を介して接行われる。各処理ユニットの入出力は、入力から抽出される複数の特徴である特徴マップで示される複数の二次元画像である。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニット１２ｂとして多段接続され、特徴量ベクトルを算出する。畳み込み層とプーリンの最終層は、各ノードが、それぞれ疾患（クラス）の確率に対応する構成とする。

図６は、本実施形態の未知の画像の識別処理Ａの手順（図３のステップＳ３０）を示すフローチャートである。図６によれば、処理部１０は、まず、前処理部１１が、偏光処理を行なって撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの皮膚画像データと、偏光処理を行わずに撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの皮膚画像データを取得し（ステップＳ３１ａ）、これらを６チャンネルの１入力画像に統合して識別部１３へ引き渡す（ステップ３２ａ）。ここで得られる皮膚画像データは、識別を行う対象の疾患部を撮影したものである。

識別部１３は、更に、特徴抽出部１２で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられることは上記したとおりであり、識別時は、特徴量を順次伝搬して出力層の各ユニットの出力を各クラスの事後確率として判別値を得る（ステップＳ３３ａ）、そして、その判別値に基づき入力画像の分類結果を表示装置１２０に表示する（ステップＳ３４ａ）。

上述した本実施形態によれば、表面の状態が分かりやすい偏光処理がなされていないダーモスコピー画像と、皮膚内部の状態がわかりやすい偏光処理がなされたダーモスコピー画像とを用い、これらダーモスコピー画像を多チャンネル化して畳み込みニューラルネットワークへ入力して学習を行なうことで、症例の分類を高精度に行うことができる。例えば、図１２（ａ）に示すように、主に表皮で発生する疾患の「イボ」と、図１２（ｂ）に示すように、主に真皮で発生する疾患の「ほくろ」とでは、皮膚表面の平滑度が大きく異なることがある。このため、偏光処理がなされていないダーモスコピー画像を用いて表面の平滑度情報を得ることにより、より高精度な症例識別を行うことが可能になる。

なお、本実施形態では、偏光処理がなされていない未知の画像として、患部にジェルが塗布されていない状態で撮影された未知の画像の替わりに、偏光フィルタが無い状態で撮影された未知の画像としてもよく、また、フラッシュ強度、方向を変えて撮影した画像としてもよい。また、前処理部１１でこれら未知の画像を多チャンネル化する替わりに、個別画像でそれぞれニューラルネットワークを作成し、それぞれの出力を平均化する構成にしてもよい。更に、識別部１３は、判別値加点式で、「ほくろ」判別値に加点する方式としたが、例えば、「イボ」のスコアを減点する方式で代替してもよい。

（変形例）
次に、変形例について説明する。変形例において、図３に示した基本動作フローチャートにおける学習画像収集処理（ステップＳ１０）は、本実施形態と同様であるため重複を回避する意味で説明を省略する。ここでは、本実施形態との差異にのみ注目して説明を行う。図７は、変形例の識別器生成処理Ｂの手順（図３のステップＳ２０）を示すフローチャートである。

本実施形態では、偏光処理を行なって撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの学習用皮膚画像データと、偏光処理を行わずに撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの学習用皮膚画像データを、６チャンネルの１入力画像に統合し、その後は機械学習により処理したが、以下に説明する変形例では、偏光処理を行わずに撮影され取り込まれた学習用皮膚画像データにより期待される効果をモデル化した識別器生成を行う。具体的に、処理部１０（識別器）は、偏光処理を行わずに撮影され取り込まれた学習用皮膚画像データから疾患部分の平滑度を求め、従来のスコア（判別値）に加算する構成とした。

図７によれば、特徴抽出部１２は、まず、前処理部１１により出力される偏光処理を行わずに撮影され取り込まれた学習用皮膚画像データから平滑度を算出する（ステップＳ２１ｂ）。平滑度の算出方法は、図８にその詳細手順が示されている。図８によれば、特徴抽出部１２は、偏光処理を行わずに撮影され取り込まれた学習用皮膚画像データから疾患部の前景部を抽出する（ステップＳ２１ｂ−１）。続いて、特徴抽出部１２は、グラフカット等により疾患部位を切り出す。切り抜き前の前景と切り抜き後の前景を図１０（ａ）、（ｂ）にそれぞれ示す。そして、特徴抽出部１２は、その疾患部位についてＲＧＢ画像から輝度画像に変換する（ステップＳ２１ｂ−２）。

続いて、特徴抽出部１２は、前景部内を更にそのヒストグラムの上位５％で二直化する処理を実行する（ステップＳ２１ｂ−３）。すなわち、特徴抽出部１２は、疾患部位の輝度画像のヒストグラムを算出し、高輝度側の５％となる値を前景とし、それ以外を背景とする。そして、前景側（高輝度側）の画素分散値を求め、それを前景面積で割り、その逆数を平滑度として算出する（ステップＳ２１ｂ−４）。

上記した前景内の高輝度画素の分散により、表面がざらついているか、平滑なのかを判断することができる。表面がざらついている場合は、高輝度画素が一様に前景全体に分散していて、表面が平滑な場合は、高輝度画素が局在していることが推測される。そこで、前景高輝度画素の平面内の分散（σ ｗｈｉｔｅ＿ｐｉｘ）を計算し、前景面積（Ｓｔｏｒｅ）で割る正規化を行なった値をざらつき度とし、更に、このざらつき度の逆数をとることにより平滑度Ｈとする。

Ｈ＝（σ ｗｈｉｔｅ＿ｐｉｘ／Ｓｔｏｒｅ）＾（−１）
但し、σ ｗｈｉｔｅ＿ｐｉｘは前景内の上位５％の平面内分散、Ｓｔｏｒｅは前景面積である。

説明を図７に戻す。特徴抽出部１２は、ステップＳ２１ｂで平滑度を算出後、偏光処理を行い撮影し取り込まれた学習用皮膚画像のみで畳み込みニューラルネットワークによる識別器生成を行う（ステップＳ２２ｂ）。特徴抽出部１２は、畳み込みニューラルネットワークスコアである「ほくろ」判別値に加算する平滑加算係数を学習し（ステップＳ２３ｂ）、次に、従来の「ほくろ」判別値であるＰ従来（ほくろ）に対して、平滑度スコアを所定の割合で加算するモデルを考え、このモデルの平滑加算係数を求める。この係数は、学習画像の弁別性を最大にする値に設定する。

図９は、変形例の未知の画像の識別処理Ｂの手順（図３のステップＳ３０）を示すフローチャートである。図９によれば、処理部１０は、まず、前処理部１１が、偏光処理を行なって撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの皮膚画像データと、偏光処理を行わずに撮影され取り込まれた、例えば、Ｒ，Ｇ，Ｂの３チャンネルの皮膚画像データを、個別に識別部１３へ引き渡す（ステップＳ３１ｂ）。ここで得られる皮膚画像データは、識別を行う対象の疾患部を撮影したものである。

続いて、識別部１３は、前処理部１１により出力される偏光処理を行わずに撮影され取り込まれた識別を行う皮膚画像データから平滑度を算出する（ステップＳ３２ｂ）。平滑度の算出方法は、図８にその詳細手順が示されており、重複を回避する意味でここでの説明は省略する。そして、偏光処理を行い撮影し取り込まれた学習用皮膚画像のみで学習済み畳み込みニューラルネットワークによる識別器生成を行い、判別値を得る（ステップＳ３３ｂ）。

識別部１３は、更に、ステップＳ３２ｂで算出した平滑度を以下の演算式で得られる畳み込みニューラルネットワークの「ほくろ」判別値に加算して最終判別値を得る（ステップＳ３４ｂ）。そしてその判別値に基づき入力画像の分類結果を表示装置１２０に表示する（ステップＳ３５ｂ）。
Ｐ（イボ）＝Ｐ従来（イボ）
Ｐ（ホクロ）＝Ｐ従来（ほくろ）＋ｋ＊Ｈ
但し、ｋは平滑加算係数であり、Ｈは平滑度である。

上述した変形例によれば、偏光処理を行わずに撮影された学習用皮膚画像データと、偏光処理を行って撮影された学習用皮膚画像データが畳み込みニューラルネットワークへ各別に入力され、偏光処理を行わずに撮影された学習用皮膚画像データを用いて疾患部分の平滑度を数値化し、スコアを統合して未知の画像を識別することにより、より高精度な症例識別を行うことが可能になる。

（実施形態の効果）
以上説明のように本実施形態に係る診断装置１００によれば、処理部１０（識別器）が、畳み込みニューラルネットワークを有し、第１の学習用皮膚画像データ（ジェル又は偏光フィルタなしで撮影された学習用ダーモスコピー画像）と第２の学習用皮膚画像データ（ジェル又は偏光フィルタありで撮影された学習用ダーモスコピー画像）が畳み込みニューラルネットワークへ入力されることにより学習を行い、診断されるべき疾患の識別が可能なように生成されることで、従来、ジェル又は偏光フィルタありで撮影された第２の学習用皮膚画像のみで診断を行っていた場合に比べて皮膚表面の平滑性を捕捉することができ、より精度の高い診断を可能にする。

また、本実施形態に係る診断装置１００によれば、（１）偏光処理を行わずに撮影され取り込まれたた学習用皮膚画像データと、偏光処理を行って撮影され取り込まれた学習用皮膚画像データが、多チャンネル化により統合された学習用皮膚画像データとして畳み込みニューラルネットワークへ入力され、機械学習され未知の画像を識別する場合、あるいは、（２）偏光処理を行わずに撮影された学習用皮膚画像データと、偏光処理を行って撮影された学習用皮膚画像データが畳み込みニューラルネットワークへ各別に入力され、偏光処理を行わずに撮影された学習用皮膚画像データを用いて疾患部の平滑度を数値化し、スコア（判別値）を統合して未知の画像を識別する場合、のいずれの場合においても入力画像の高精度な分類が可能になり、診断精度の向上がはかれる。

最後に、以上では、本実施形態（変形例を含む）として、診断装置、その画像処理方法及びプログラムを説明したが、各要素をそれぞれの手段とする画像処理システムとして構築してもよい、例えば、個々の手段をネットワークで接続し、医療現場には患者の疾患に係る未知の皮膚画像データを取得する手段を端末として配置し、その皮膚画像データをもとに診断されるべき疾患を識別する手段を専門機関が有するサーバに配置するようにしてもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

〔付記〕
［請求項１］
皮膚画像を用いて皮膚の疾患を診断するための診断装置であって、
疾患の識別名称と、既知の皮膚画像データを関連付けて記録している皮膚画像データベースと、
偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する取得部と、
前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記皮膚画像データベースに記憶されている前記既知の皮膚画像データを参照して、前記疾患の識別名称を検索し、前記診断されるべき疾患を識別する識別器と、
を備えることを特徴とする診断装置。
［請求項２］
前記識別器は、前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データから統合された第３の皮膚画像データを生成し、前記第３の皮膚画像データが入力されることにより、前記診断されるべき疾患を識別することを特徴とする請求項１に記載の診断装置。
［請求項３］
前記識別器は、前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データが各別に入力され、各別の結果が統合されることにより、前記診断されるべき疾患を識別することを特徴とする請求項１に記載の診断装置。
［請求項４］
前記第１の皮膚画像データ及び前記第２の皮膚画像データが、それぞれ、ダーモスコープを用いて、ジェル又は偏光フィルタなしで撮影された第１のダーモスコピー画像データ及びジェル又は偏光フィルタありで撮影された第２のダーモスコピー画像データであることを特徴とする請求項１から３のいずれか１項に記載の診断装置。
［請求項５］
前記既知の皮膚画像データが、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データを含み、
前記識別器は、前記記録された前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記疾患の識別名称と対照し、前記診断されるべき疾患を識別可能なように予め学習に付されていることを特徴とする請求項１から４のいずれか１項に記載の診断装置。
［請求項６］
前記識別器は、前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データから統合された第３の学習用皮膚画像データを生成し、前記第３の学習用皮膚画像データが入力されることにより、前記識別されるべき疾患を識別可能なように予め学習に付されていることを特徴とする請求項５に記載の診断装置。
［請求項７］
前記識別器は、前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データが各別に入力され、各別の結果が統合されることにより、前記識別されるべき疾患を識別可能なように予め学習に付されていることを特徴とする請求項５に記載の診断装置。
［請求項８］
前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データが、それぞれ、ダーモスコープを用いて、ジェル又は偏光フィルタなしで撮影された第１の学習用ダーモスコピー画像データ及びジェル又は偏光フィルタありで撮影された第２の学習用ダーモスコピー画像データであることを特徴とする請求項５から７のいずれか１項に記載の診断装置。
［請求項９］
前記識別器は、畳み込みニューラルネットワークを有し、
前記畳み込みニューラルネットワークが、
前記未知の皮膚画像データ又は前記既知の皮膚画像データが入力される入力層と、
畳み込み層とプーリング層から構成されたセットを複数有し、前記未知の皮膚画像データ又は前記既知の皮膚画像データから特徴を抽出する中間層と、
抽出された前記特徴に基づき前記診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項１から８のいずれか１項に記載の診断装置。
［請求項１０］
前記識別器は、畳み込みニューラルネットワークを有し、
前記畳み込みニューラルネットワークが、
前記未知の皮膚画像データとして、前記第１の皮膚画像データ及び前記第２の皮膚画像データから多チャンネル化により統合された前記第３の皮膚画像データが入力される入力層と、
畳み込み層とプーリング層から構成されたセットを複数有し、前記第３の皮膚画像データから特徴を抽出する中間層と、
抽出された前記特徴に基づき前記診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項２から８のいずれか１項に記載の診断装置。
［請求項１１］
前記識別器は、畳み込みニューラルネットワークを有し、
前記畳み込みニューラルネットワークが、
前記既知の皮膚画像データとして、前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データから多チャンネル化により統合された前記第３の学習用皮膚画像データが入力される入力層と、
畳み込み層とプーリング層から構成されたセットを複数有し、前記第３の学習用皮膚画像データから特徴を抽出する中間層と、
抽出された前記特徴に基づき前記診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項６から８のいずれか１項に記載の診断装置。
［請求項１２］
収集された既知の皮膚画像データと、疾患の識別名称を関連付けて記録した皮膚画像データベースを備え、皮膚画像を用いて皮膚の疾患を診断するための診断装置における画像処理方法であって、
偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得するステップと、
前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記皮膚画像データベースに記憶されている前記既知の皮膚画像データを参照して、前記疾患の識別名称を検索し、前記診断されるべき疾患を識別するステップと、を備えることを特徴とする画像処理方法。
［請求項１３］
皮膚画像を用いて皮膚の疾患を診断するための診断装置における画像処理システムであって、
既知の皮膚画像データとして、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データを収集する手段と、
前記第１の学習用皮膚画像データと前記第２の学習用皮膚画像データを疾患の識別名称と関連付けて皮膚画像データベースに記録する手段と、
前記記録された前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記疾患の識別名称と対照し、前記診断されるべき疾患を識別可能なように学習する手段と、
偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する手段と、
前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記皮膚画像データベースに記憶されている前記既知の皮膚画像データを参照して、前記疾患の識別名称を検索し、前記診断されるべき疾患を識別する手段と、を備えることを特徴とする画像処理システム。
［請求項１４］
収集された既知の皮膚画像データと、疾患の識別名称を関連付けて記録した皮膚画像データベースを備え、皮膚画像を用いて皮膚の疾患を診断するための診断装置における画像処理のプログラムであって、
コンピュータに、
偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する機能と、
前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記皮膚画像データベースに記憶されている前記既知の皮膚画像データを参照して、前記疾患の識別名称を検索し、前記診断されるべき疾患を識別する機能と、を実行させることを特徴とするプログラム。

１０…処理部（識別器）、１１…前処理部、１２…特徴抽出部、１３…識別部、１００…診断装置、１０２…画像記憶部、１０３…皮膚画像データベース、１１０…ダーモスコープ付き撮影装置（取得部）、１２０…表示装置、１３０…入力装置

Claims (16)

1. 皮膚画像を用いて皮膚の疾患を診断するための診断装置であって、
   偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する取得部と、
   前記取得された偏光処理を行わずに撮影された第１の皮膚画像データから疾患部分の平滑度を算出する平滑度算出部と、
   疾患の識別名称と、既知の皮膚画像データを関連付けて記録している皮膚画像データベースを用いて予め学習に付され、前記平滑度算出部で算出した前記第１の皮膚画像データからの平滑度と、前記第２の皮膚画像データからの判別値とを合わせて最終判別値を求め、該最終判別値に基づいて診断されるべき疾患を識別する識別器と、を有することを特徴とする診断装置。
2. 前記識別器は、前記取得された前記第１の皮膚画像データ及び前記第２の皮膚画像データから統合された第３の皮膚画像データを生成し、前記第３の皮膚画像データが入力されることにより、前記診断されるべき疾患を識別することを特徴とする請求項１に記載の診断装置。
3. 前記皮膚画像データベースは、既知の皮膚画像データとして、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データとが、疾患の識別名称と関連付けて記録されることを特徴とする請求項１に記載の診断装置。
4. 前記第１の皮膚画像データ及び前記第２の皮膚画像データが、それぞれ、ダーモスコープを用いて、ジェル又は偏光フィルタなしで撮影された第１のダーモスコピー画像データ及びジェル又は偏光フィルタありで撮影された第２のダーモスコピー画像データであることを特徴とする請求項１から３いずれかに記載の診断装置。
5. 前記既知の皮膚画像データが、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データを含み、
   前記識別器は、前記記録された前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記疾患の識別名称と関連付けて、前記診断されるべき疾患を識別可能なように予め学習に付されていることを特徴とする請求項１から４のいずれか１項に記載の診断装置。
6. 前記識別器は、前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データから統合された第３の学習用皮膚画像データを生成し、前記第３の学習用皮膚画像データが入力されることにより、前記識別されるべき疾患を識別可能なように予め学習に付されていることを特徴とする請求項２を引用する請求項５に記載の診断装置。
7. 前記識別器は、前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データが各別に入力され、各別の結果が統合されることにより、前記識別されるべき疾患を識別可能なように予め学習に付されていることを特徴とする請求項２を引用する請求項５に記載の診断装置。
8. 前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データが、それぞれ、ダーモスコープを用いて、ジェル又は偏光フィルタなしで撮影された第１の学習用ダーモスコピー画像データ及びジェル又は偏光フィルタありで撮影された第２の学習用ダーモスコピー画像データであることを特徴とする請求項５から７のいずれか１項に記載の診断装置。
9. 前記識別器は、畳み込みニューラルネットワークを有し、
   前記畳み込みニューラルネットワークが、
   前記未知の皮膚画像データ又は前記既知の皮膚画像データが入力される入力層と、
   畳み込み層とプーリング層から構成されたセットを複数有し、前記未知の皮膚画像データ又は前記既知の皮膚画像データから特徴を抽出する中間層と、
   抽出された前記特徴に基づき前記診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項１から８のいずれか１項に記載の診断装置。
10. 前記識別器は、畳み込みニューラルネットワークを有し、
    前記畳み込みニューラルネットワークが、
    前記未知の皮膚画像データとして、前記第１の皮膚画像データ及び前記第２の皮膚画像データから多チャンネル化により統合された前記第３の皮膚画像データが入力される入力層と、
    畳み込み層とプーリング層から構成されたセットを複数有し、前記第３の皮膚画像データから特徴を抽出する中間層と、
    抽出された前記特徴に基づき前記診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項２に記載の診断装置。
11. 前記識別器は、畳み込みニューラルネットワークを有し、
    前記畳み込みニューラルネットワークが、
    前記既知の皮膚画像データとして、前記第１の学習用皮膚画像データ及び前記第２の学習用皮膚画像データから多チャンネル化により統合された前記第３の学習用皮膚画像データが入力される入力層と、
    畳み込み層とプーリング層から構成されたセットを複数有し、前記第３の学習用皮膚画像データから特徴を抽出する中間層と、
    抽出された前記特徴に基づき前記診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備えることを特徴とする請求項６に記載の診断装置。
12. 前記平滑度算出部は、疾患部位の輝度画像のヒストグラムを算出し、高輝度側の所定割合の値の画素分散値を求め、それを前記高輝度側の所定割合の画素面積で割り、その逆数を平滑度として算出することを特徴とする請求項１に記載の診断装置。
13. 疾患の識別名称と、既知の皮膚画像データを関連付けて記録している皮膚画像データベースで予め学習に付された識別器を備え、皮膚画像を用いて皮膚の疾患を診断するための診断装置における画像処理方法であって、
    前記診断装置のコンピュータが、
    偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得するステップと、
    前記取得された前記偏光処理を行わずに撮影された第１の皮膚画像データから疾患部分の平滑度を算出するステップと、
    前記算出した前記第１の皮膚画像データからの平滑度と、前記第２の皮膚画像データからの判別値とを合わせて最終判別値を求めるステップと、
    を実行し、前記識別器が前記最終判別値に基づいて診断されるべき疾患を識別することを特徴とする画像処理方法。
14. 前記平滑度を算出するステップは、
    疾患部位の輝度画像のヒストグラムを算出し、高輝度側の所定割合の値の画素分散値を求め、それを前記高輝度側の所定割合の画素面積で割り、その逆数を平滑度として算出するステップを備えることを特徴とする請求項１３に記載の画像処理方法。
15. 疾患の識別名称と、既知の皮膚画像データを関連付けて記録している皮膚画像データベースで予め学習に付された識別器を備え、皮膚画像を用いて皮膚の疾患を診断するための診断装置における画像処理システムであって、
    前記識別器に、偏光処理を行わずに撮影された第１の学習用皮膚画像データと、偏光処理を行って撮影された第２の学習用皮膚画像データの特徴を抽出し、この抽出された特徴を基に前記疾患の識別名称と対照し、前記診断されるべき疾患を識別可能なように学習を付する手段と、
    偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する手段と、
    前記取得された偏光処理を行わずに撮影された第１の皮膚画像データから疾患部分の平滑度を算出する平滑度算出部と、を備え、
    前記識別器は、前記平滑度算出部で算出した前記第１の皮膚画像データからの平滑度と、前記第２の皮膚画像データからの判別値とを合わせて最終判別値を求め、該最終判別値に基づいて診断されるべき疾患を識別することを特徴とする画像処理システム。
16. 疾患の識別名称と、既知の皮膚画像データを関連付けて記録している皮膚画像データベースで予め学習に付された識別器を備え、皮膚画像を用いて皮膚の疾患を診断するための診断装置における画像処理のプログラムであって、
    コンピュータに、
    偏光処理を行わずに撮影された第１の皮膚画像データと、偏光処理を行って撮影された第２の皮膚画像データを含む未知の皮膚画像データを取得する機能と、
    前記取得された前記偏光処理を行わずに撮影された第１の皮膚画像データから疾患部分の平滑度を算出する機能と、
    前記識別器により前記算出した前記第１の皮膚画像データからの平滑度と、前記第２の皮膚画像データからの判別値とを合わせて最終判別値を求め、該最終判別値に基づいて診断されるべき疾患を識別する機能と、
    を実行させることを特徴とするプログラム。

Images