JP6503733B2 - 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム - Google Patents

Description

本発明は、診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラムに関する。

皮膚病変の診断として視診は必ず行われ、多くの情報を得ることが出来る。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。

ダーモスコープとは、ＬＥＤランプやハロゲンランプ等で病変部を明るく照らし、エコージェルや偏光フィルタなどにより反射光の無い状態にし、１０倍程度に拡大して観察する非侵襲性の診察器具である。この器具を用いた観察法をダーモスコピーと呼んでいる。ダーモスコピー診断については、インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｔｗｍｕ．ａｃ．ｊｐ／ＤＮＨ／ｄｅｐａｒｔｍｅｎｔ／ｄｅｒｍａｔｏｌｏｇｙ／ｄｅｒｍｏｓｃｏｐｙ．ｈｔｍｌ）＜平成２６年９月１日閲覧＞に詳細に記載されている。ダーモスコピー診断によれば、角質による乱反射がなくなることにより、表皮内から真皮浅層までの色素分布が良く見えてくる。

例えば、特許文献１に、上記したダーモスコープで撮影された皮膚画像に対して、色調、テクスチャ、非対称度、円度等の値を用いて診断を行う色素沈着部位の遠隔診断システムの技術が開示されている。それは、ダーモスコープを付けたカメラ付き携帯電話を用い、ダーモスコープを通して、メラノーマの心配がある良性色素性母斑などがある皮膚を撮影する。そして、携帯電話のネットワーク接続機能を用いてインターネットに接続し、撮影した皮膚画像を遠隔診断支援装置に送信して診断を依頼するものである。皮膚画像を受信した遠隔診断支援装置は、メラノーマ診断プログラムを用い、皮膚画像から、それがメラノーマであるか否か、あるいはメラノーマであった場合にどの病期のメラノーマであるかを診断し、その結果を医師に返信する。

特開２００５−１９２９４４号

ところで、ダーモスコープで撮影された画像は、ダーモスコープの仕様にしたがい所定の画像形式で保存される。そして、保存されたダーモスコープ画像を読み出すことにより表示装置に表示し、あるいはダーモスコープ画像を処理するが、処理にあたり、ＪＰＥＧのような非可逆圧縮を行っている保存形式によっては詳細な色情報が失われることがある。閲覧する場合には比較的大きな影響はないが、微小な色情報の変化を手掛かりにして病変の診断を行う場合には、失われた色情報が処理結果の本質に大きく影響することがある。

本発明は上記した課題を解決するためになされたものであり、入力画像に最適な方法で診断対象部位を強調して表示することにより、医師の診断を容易にするとともに診断精度の向上をはかる、診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラムを提供することを目的とする。

上記した課題を解決するために、本発明の態様に係る診断支援装置は、患部の撮影画像を用いて病変を診断するための診断支援装置であって、前記撮影画像を記憶する画像記憶部と、前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、前記処理部が、前記撮影画像を輝度成分と色情報成分に分離する分離手段と、診断の対象の部位を抽出する抽出手段と、を備え、前記抽出手段が、前記撮影画像を色品質に基づき区分する区分手段と、部位候補を前記輝度成分により抽出する第１の抽出手段、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出手段の少なくとも１つを含み、前記区分手段の区分に応じて前記第１の抽出手段及び前記第２の抽出手段を選択的に適用することを特徴とする。
本発明の他の態様は、本明細書、及び添付図面の記載により、明らかにする。

本発明によれば、入力画像に最適な方法で診断対象部位を強調して表示することにより、医師の診断を容易にするとともに診断精度の向上をはかる、診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラムを提供することができる。

本発明の実施の形態に係る診断支援装置の構成を示すブロック図である。 本発明の実施の形態に係る診断支援装置の基本処理動作を示すフローチャートである。 図２の撮影画像の血管抽出処理動作を示すフローチャートである。 図３の色品質に応じて血管抽出Ｅ処理のタイプを設定する処理動作を示すフローチャートである。 図４の血管抽出Ｅ処理タイプＩの処理動作を示すフローチャートである。 図３の血管らしさを尤度Ａとして抽出する処理動作の一例を示すフローチャートである。 図３の血管らしさを尤度Ａとして抽出する処理動作の他の例を示すフローチャートである。 図４の血管抽出Ｅ処理タイプＩＩの処理動作を示すフローチャートである。 図８の血管らしさを示す尤度から血管抽出Ｅを行う処理動作を示すフローチャートである。 本発明の実施の形態に係る診断支援装置の表示画面構成の一例を示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。

（実施形態の構成）
図１は、本実施形態に係る診断支援装置１００の構成を示すブロック図である。図１に示すように、本実施形態に係る診断支援装置１００には、ダーモスコープ付き撮影装置１１０が接続されている。ダーモスコープ付き撮影装置１１０は、診断支援装置１００（処理部１０１）からの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１０２に格納するとともに表示装置１２０上に表示する。また、撮影画像は、処理部１０１により強調処理が施されて画像記憶部１０２に保存されると共に表示装置１２０上に表示される。入力装置１３０は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。

なお、表示装置１２０、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタにより構成され、入力装置１３０は、マウス等により構成されている。

処理部１０１は、画像記憶部１０２に記憶された撮影画像を処理するもので、図１に示すように、分離手段１０１ａと、抽出手段１０１ｂと、生成手段１０１ｃと、を含む。

分離手段１０１ａは、撮影画像を輝度成分と色情報成分に分離する手段として機能する。

抽出手段１０１ｂは、診断の対象の部位を抽出する手段として機能し、撮影画像を色品質に基づき区分手段により区分するとともに、部位候補を輝度成分により抽出する第１の抽出手段、及び部位らしさを輝度成分と色情報成分とから構成される色空間により抽出する第２の抽出手段の少なくとも１つを含み、当該区分に応じて第１の抽出手段１０１ｂ−１及び第２の抽出手段１０１ｂ−２を選択的に適用する。

ここで、区分については、次のように行う。すなわち、区分手段は、撮影画像が非圧縮画像または色情報を間引いていない画像のときには第１区分とし、撮影画像が圧縮画像または色情報を間引いているときには第２区分とする。詳しくは実施形態の動作の中で後述するとおりであるが、第１区分は撮影画像の色品質が高いときに、第２区分は撮影画像の色品質が低いときに対応する。

抽出手段１０１ｂは、色品質によっては（低品質）、第１の抽出手段１０１ｂ−１が輝度成分を用いて第１のモルフォロジー処理により部位候補を抽出するとともに、第２の抽出手段１０１ｂ−２が色空間を用いて部位らしさを抽出し、抽出手段１０１ｂが抽出された部位候補と部位らしさを統合して部位抽出画像を生成してもよい。

抽出手段１０１ｂは、色品質（高品質）によっては、第２の抽出手段１０１ｂ−２が色空間を用いて部位らしさを抽出し、抽出手段１０１ｂが抽出された部位らしさを用いて第２のモルフォロジー処理により部位抽出画像を生成してもよい。

ここで、第１のモルフォロジー処理とは、抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、クロージング処理が施された輝度成分に対する平滑フィルタ処理、及び平滑フィルタ処理が施された輝度成分から撮影画像の輝度成分を減算する減算処理を含む。また、第２のモルフォロジー処理とし、抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、オープニング処理が施された部位らしさに対する平滑フィルタ処理、及び平滑フィルタ処理が施された部位らしさを抽出された部位らしさから減算する処理を含む。

上記した分離手段１０１ａ、抽出手段１０１ｂ（第１の抽出手段１０１ｂ−１，第２の抽出手段１０１ｂ−２）は、いずれも、処理部１０１が有する本実施形態に係るプログラムを逐次読み出し実行することにより、それぞれが持つ上記した機能を実現する。

（実施形態の動作）
以下、図１に示す本実施形態に係る診断支援装置１００の動作について、図２以降を参照しながら詳細に説明する。

図２に、本実施形態に係る診断支援装置１００の基本処理動作の流れが示されている。図２によれば、処理部１０１は、まず、ダーモスコープ付き撮影装置１１０で撮影された、例えば、皮膚病変部位等、患部の撮影画像を取得する（ステップＳ１１）。そして、ダーモスコープ付き撮影装置１１０の仕様に応じた形式で取得した撮影画像を画像記憶部１０２の所定の領域に格納するとともに、表示装置１２０に表示する（ステップＳ１２）。

撮影画像を、多くのデジタルカメラで採用されているＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で保存するものとする。ＪＰＥＧ形式は、人間の眼の特性を利用して非可逆圧縮を行なうもので、圧縮する場合に色情報の解像度（色解像度）を指定することが出来る。多くのデジタルカメラでは、サンプリングファクタ４：２：２が用いられている。これは、輝度情報に対して色情報を半分に間引くことを意味する。また、サンプリングファクタ４：４：４を指定することもでき、この場合、輝度情報の解像度（輝度解像度）と色情報の解像度（色解像度）が同じであることを意味する。

ここで、色品質について説明する。例えばＲＡＷデータ（ＲＡＷ ｉｍａｇｅ ｆｏｒｍａｔ）やＢＭＰデータ（Ｂｉｔ ＭａＰ ｉｍａｇｅ ｆｏｒｍａｔ）のように情報の損失が無い画像は色品質が高く、ＪＰＥＧデータのように非可逆圧縮を採用して情報の損失がある画像は色品質が低いとみなす。

ＪＰＥＧデータは上述したように、色解像度の間引きと、色周波数成分の一部切り捨てを行っている。従って、色品質とは画素数や色処理の性能に依存するものではなく、２０００万画素で撮影した画像が１００万画素で撮影した画像よりも色品質が高いことを意味しない。１００万画素で撮影した画像において、ＲＡＷデータの方がＪＰＥＧデータより色品質が高いとみなす。従って、色品質とは画質や色解像度とは異なる概念のものである。同程度のスペックのカメラで撮影した画像であれば、当然にＲＡＷデータの方がＪＰＥＧデータよりも色品質は高く、且つ画質も良くなる。

ただし、ＪＰＥＧデータでもサンプリングファクタが４：４：４であれば、色解像度を間引いていないので、色品質は高いとみなす。下記の実施の形態の説明では、サンプリングファクタが４：４：４のＪＰＥＧデータを例にとって説明しており、従って画像の色解像度が高いほど色品質は高いとみなすものとする。これに対し、サンプリングファクタが４：２：２のＪＰＥＧデータは色品質が低いとみなすものとする。

本実施形態に係る診断支援装置１００は、画像の色解像度に応じて血管抽出法を示すタイプを設定し（ステップＳ１３）、設定したタイプに応じた血管抽出処理を行なうものとする。すなわち、処理部１０１は、タイプＩが設定されると（ステップＳ１４“タイプＩ”）、血管抽出法Ｉによる血管抽出処理を実行し（ステップＳ１５）、タイプＩＩが設定されると（ステップＳ１４“タイプＩＩ”）、血管抽出法ＩＩによる血管抽出Ｅ処理を実行する（ステップＳ１６）。そして、その処理結果を先に表示した撮影画像とともに表示装置１２０に並べて表示し、診断を医師に委ねる（ステップＳ１７）。

図１０に表示装置１２０に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像表示領域１２１が、右に、強調画像表示領域１２２が割り当てられており、それぞれの領域に、撮影画像、血管の強調画像が表示されている。医師が、入力装置１３０を用い、表示装置１２０の画面右下に割り当てられている「撮影開始」ボタン１２３をクリックすることにより、ダーモスコープ付き撮影装置１１０による患部の撮影が開始される。そして処理部１０１による血管抽出処理により、表示装置１２０の撮影画像表示領域１２１に撮影画像が、強調画像表示領域１２２に、撮影画像のうち抽出された血管が強調された強調画像が並んで表示される。なお、複数の処理画像（後述するタイプＩによる血管抽出結果、タイプＩＩによる血管抽出結果）を並べて表示してもよい。

図３に、画像の色解像度に応じたタイプ設定処理（ステップＳ１３）の詳細手順が示されている。ここでは、ダーモスコープ付き撮影装置１１０で保存された形式が、ＪＰＥＧ形式であって（ステップＳ１３１“ＹＥＳ”）、かつそのサンプリングファクタが４：４：４であった場合（ステップＳ１３２“ＹＥＳ”）、タイプＩＩの血管抽出を設定し（ステップＳ１３３）、それ以外は（ステップＳ１３１“ＮＯ”，Ｓ１３２“ＮＯ”）、タイプＩの血管抽出Ｅ処理を設定するものとする（ステップＳ１３４）。

つまり、色情報の品質（色品質）が低い場合、タイプＩの血管抽出Ｅ処理を、色情報の品質（色品質）が高い場合、タイプＩＩの血管抽出Ｅ処理を選択する。なお、ここでは、ＪＰＥＧ細線形式のサンプリングファクタによりタイプを判別することとしたが、例えば、色解像度と輝度解像度が同等であっても、ＲＡＷ画像等の非圧縮画像かＪＰＥＧ圧縮画像化でタイプを判別してもよい。この場合、ＲＡＷ画像は色品質が高く、ＪＰＥＧ画像は色品質が低いことになる。なお、単板式の撮像素子を使用した場合に色品質が低く、３板式の撮像素子を使用した場合に色品質が高いとしてもよい。また、利用者が色品質を判断することにより手動で設定してもよい。

なお、後述するタイプＩの血管抽出Ｅ処理による画像変換は、撮影画像上で僅かに認識できる血管でもきれいに抽出が可能であるという長所があり、気泡や毛などのノイズを拾いやすいという短所がある。また、タイプＩＩの血管抽出Ｅ処理による画像変換は、気泡や毛などのノイズは拾い難く、色品質が血管抽出の品質に強く影響するので、色品質が良ければより正確に血管抽出ができるという長所がある。逆に、色品質が不足すると、撮影画像で僅かに見える血管が抽出できないという短所がある。この実施の形態は、撮影画像の色品質の区分に応じてこれらの長所を生かそうとするものである。

タイプＩの血管抽出方法について、図４を用いて説明する。図４によれば、処理部１０１は、まず、分離手段１０１ａが、ＲＧＢ色空間の撮影画像を、Ｌａｂ色空間（正確には、ＣＩＥ １９７６ Ｌ＊ａ＊ｂ色空間）に変換する（ステップＳ１５１）。Ｌａｂ色空間の詳細は、インターネットＵＲＬ（ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌａｂ％Ｅ８％８９％Ｂ２％Ｅ７％Ａ９％ＢＡ％Ｅ９％９６％９３）＜平成２６年９月１日＞に記載されている。

次に、処理部１０１は、抽出手段１０１ｂが、診断の対象として選択された部位を抽出する。具体的に、第１の抽出手段１０１ｂ−１が、選択された部位の候補（血管候補）をＬａｂ色空間において分離された輝度成分から抽出する。このため、第１の抽出手段１０１ｂ−１は、分離手段１０１ａによって色空間変換されたＬａｂ色空間で輝度に相当するＬ画像を用い、モルフォロジー処理Ａ（第１のモルフォロジー処理）により血管候補画像ＢＨを得る（ステップＳ１５２）。ここで、モルフォロジー処理とは、構造化要素を入力画像に適用し、同じサイズの出力画像としての血管候補画像ＢＨを生成するもので、出力画像の各値は、入力画像内の対応する画素と近傍画素との比較に基づいている。

最も基本的なモルフォロジー処理は、膨張と収縮である。膨張は入力画像内のオブジェクトの境界に画素を付加し、収縮は、境界の画素を除去する。オブジェクトに付加し、あるいは削除する画素の数は、画像処理に使用される構造化要素のサイズと形状によって異なる。

ここでは、モルフォロジー処理Ａを実行し、診断の対象として選択された部位（血管候補）を輝度成分から抽出する方法について説明する。ボトムハット処理については、図５にその詳細手順が示されている。

図５によれば、第１の抽出手段１０１ｂ−１は、Ｌ画像に膨張処理を行い、処理後の輝度画像Ｌ１を得る（ステップＳ１５２ａ）。膨張処理の詳細は、インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏ．ｊｐ／ｊｐ／ｈｅｌｐ／ｉｍａｇｅｓ／ｍｏｒｐｈｏｌｏｇｙ−ｆｕｎｄａｍｅｎｔａｌｓ−ｄｉｌａｔｉｏｎ−ａｎｄ−ｅｒｏｓｉｏｎ．ｈｔｍｌ）＜平成２６年９月１日閲覧＞に記載されている。

次に、第１の抽出手段１０１ｂ−１は、膨張処理後の輝度画像Ｌ１に対して収縮処理を行い、収縮処理後の輝度画像Ｌ２を得る（ステップＳ１５２ｂ）。続いて、第１の抽出手段１０１ｂ−１は、収縮処理後の輝度画像Ｌ２に対して輝度を滑らかにする平滑フィルタ処理を施し、平滑化された輝度画像Ｌ３を得る（ステップＳ１５２ｃ）。ここでは、ガウシアンフィルタにより平滑化が施される。

ガウシアンフィルタによる平滑化は以下の演算式で表現される。
ｆ（ｘ，ｙ）＝（１／（２πσ^２））ｅｘｐ（−（ｘ^２＋ｙ^２）／（２σ^２））

ガウシアンフィルタでは、ガウス分布による重み付けが上記所定レートとして利用される。上記した演算式中のσの大きさにより平滑度を制御でき、所定の値を設定することにより実現される。なお、平滑フィルタは、ガウシアンフィルタに限定されず、メディアンフィルタ、平均フィルタ等を用いてもよい。平滑処理後の輝度画像Ｌ３からＬ画像を減算して（ＢＨ＝Ｌ２−Ｌ）ボトムハット処理後の血管候補画像ＢＨを得る（ステッフＳ１５２ｄ）。

ここで、膨張処理について補足する。例えば、半径５ドットの構造化要素を考える。膨張処理とは、注目画素の構造化要素の範囲内での最大値をその注目画像の値とする処理を全画素について行うことをいう。すなわち、出力される注目画素値は、入力画素近傍の中で全ての画素の最大値である。一方、縮小処理は、注目画素の構造化要素の範囲内での最小値をその注目画素の値とする。すなわち、注目画素値は、入力画素近傍の中で全ての画素の最小値である。なお、構造化要素は円としたが、例えば、矩形でもよい。但し、円にしたほうが平滑フィルタの平滑度を小さくできる。

説明を図４に戻す。次に、処理部１０１は、第２の抽出手段１０１ｂ−２が、選択された部位のそれらしさ（血管らしさ）を輝度成分と色情報成分とから構成される色空間により抽出する。このため、第２の抽出手段１０１ｂ−２は、血管らしさを尤度Ａとして計算する（ステップＳ１５３）。尤度Ａの求め方は図６にその一例が示されている。

図６によれば、処理部１０１は、第２の抽出手段１０１ｂ−２が、Ｌａｂ色空間の赤系の色相方向に応じた色情報成分であるａ軸の値、及び青系の色相方向に応じた色情報成分であるｂ軸の値を用いて抽出する（ステップＳ１５３ａ）。第２の抽出手段１０１ｂ−２は、Ｌａｂ色空間のａ軸，ｂ軸の値から以下の計算を行うことによってＬＨ１を生成する（ステップＳ１５３ｂ）。

ａｄ＝（ａ−ｃａ）＊ｃｏｓ（ｒ）＋ｂ＊ｓｉｎ（ｒ）＋ｃａ
ｂｄ＝−（ａ−ｃａ）＊ｓｉｎ（ｒ）＋ｂ＊ｃｏｓ（ｒ）
ＬＨ１＝ｅｘｐ（−（（ａｄ＊ａｄ）／ｓａ／ｓａ＋（ｂｄ＊ｂｄ）
／ｓｂ／ｓｂ））

ここで、ａｄ，ｂｄは、（ｃａ，０）を中心に、反時計回りにａｂ平面をrラジアンだけ回転させたものとなる。また、ｒの値として、０．３〜０．８ラジアン程度を設定する。ｃａは、０〜５０の間で設定する。ｓａ，ｓｂは、それぞれa軸方向の感度の逆数、b軸方向の感度の逆数となる。ここでは、ｓａ＞ｓｂとして設定する。

次に、第２の抽出手段１０１ｂ−２は、得られたＬＨ１に輝度Ｌで制限をかける。輝度Ｌが閾値ＴＨ１以上であれば０にしたものをＬＨ２とし（ステップＳ１５３ｃ）、輝度Ｌが閾値ＴＨ２以下のものをＬＨ３とする（ステップＳ１５３ｄ）。ここでは、閾値ＴＨ１は６０から１００の間で、閾値ＴＨ２は０から４０の間で設定するものとする。ここで求めたＬＨ３を、血管らしさを示す尤度Ａとする（ステップＳ１５３ｅ）。

説明を図４に戻す。第２の抽出手段１０１ｂ−２は、上記した手順にしたがい血管らしさを尤度Ａとして抽出した後（ステップＳ１５３）、ボトムハット処理後の血管候補画像ＢＨと、血管らしさを示す尤度Ａの各要素を乗算し、係数Ｎで除算する（ステップＳ１５４）。さらに、１でクリッピング処理を行なうことで強調された血管抽出Ｅを生成する（ステップＳ１５５）。

上記した例によれば、血管抽出Ｅは、０〜１までの値を持つ多値画像であるものの、ポトムハット処理を経ているため、抽出された血管の境界は急峻になっている。さらに急峻な境界を得たい場合は、所望の閾値で２値化をしてもよい。

上述したように、第２の抽出手段１０１ｂ−２は、色空間の赤系の色相方向と、青系の色相方向で構成される平面座標を、赤系の色相方向軸の特定の点を中心に反時計まわりに所定角回転させ、特定の値域で輝度成分に制限をかけることにより、選択された部位の血管らしさを示す尤度Ａを算出する。そして、算出された尤度Ａを、輝度成分の画像にボトムハット処理を施して得られる輝度画像に乗算して選択された部位を強調する。

血管らしさを尤度Ａとして抽出する変形例について、図７のフローチャートを参照して説明する。抽出手段は、Ｌａｂ色空間の赤系の色相方向であるａ軸の値を取得し（ステップＳ１５３ｘ）、Ｓを例えば８０とし（ステップＳ１５３ｙ）、血管らしさＡの値を、０〜８０の範囲で制限を与えて正規化（Ａ←ｍａｘ（ｍｉｎ（ａ，Ｓ），０）／Ｓ）を行い、０から１の値範囲に設定している（ステップＳ１５３ｚ）。ここでは、０から８０の値で制限を与えたが、この値は一例であり、この値に制限されない。

次に、タイプＩＩによる血管抽出方法、すなわち、色情報から直接血管を抽出する方法について、図８，図９のフローチャートを参照しながら説明する。以降の説明では、色情報から血管尤度画像を生成し、改良されたトップハット処理（以下、モルフォロジー処理Ｂという）によって血管を抽出する。なお、血管尤度画像は、尤度の高い方が画像の値が大きい。

図４に示すモルフォロジー処理Ａは、ソース画像に対して膨張処理を施した後に縮小処理を行なっている。膨張、収縮を同じ回数分繰り返して行う処理はクロージング処理と呼ばれている。つまり、本実施形態に係る診断支援装置１００は、クロージング処理した画像に平滑フィルタ処理を施し、ソース画像から減算（ブラックハット処理）している。ここで、ソース画像は輝度画像Ｌであり、血管での画像の値は比較的小さくなっている。このように、画像中の値が小さい形状を抽出する場合に図４に示すモルフォロジー処理Ａが用いられる。

以下に、モルフォロジー処理Ｂによる血管抽出Ｅ処理について説明する。図８に示すように、処理部１０１は、まず、分離手段１０１ａが、ＲＧＢ色空間の撮影画像を、Ｌａｂ色空間変換する（ステップＳ１６１）。次に、処理部１０１は、第２の抽出手段１０１ｂ−２が、選択された部位のそれらしさ（血管らしさ）をＬａｂ色空間において分離された色情報成分により抽出する。このため、第２の抽出手段１０１ｂ−２は、血管らしさを尤度Ａとして計算する（ステップＳ１６２）。血管尤度画像Ａの求め方は図６、図７を使用して説明した通りである。なお、色情報成分により得られた血管尤度画像Ａが規定値よりも大きい又は小さい輝度情報成分を有するものについては、除去するようにしてもよい。これは、適正な撮影条件で撮影された血管の輝度を見た場合、非常に高い輝度値を持つことや、非常に低い輝度値をもつことはめったにないが、条件を外れた場合の結果を排除するためのもので、上述したように上限は６０〜１００の間、下限は０〜４０の間で設定し、特に上限は８０で、下限は２０で設定するのが好ましい。

続いて、第２の抽出手段１０１ｂ−２は、血管らしさを示す血管尤度画像Ａから血管抽出Ｅ画像を取得する（ステップＳ１６３）。血管尤度画像Ａから血管抽出Ｅ画像を取得する手順は図９に示されている。

図９によれば、第２の抽出手段１０１ｂ−２は、まず、血管尤度画像Ａを適切な構造化要素により収縮処理を行なって収縮処理後の血管尤度画像Ａ１を取得する（ステップＳ１６３ａ）。次に、収縮処理後の血管尤度画像Ａ１を膨張処理して膨張処理後の血管尤度画像Ａ２を得る（ステップＳ１６３ｂ）。第２の抽出手段１０１ｂ−２は、更にこの膨張処理後の血管尤度画像Ａ２に平滑フィルタ処理（ガウシアンフィルタ）を施し、平滑処理後の血管尤度画像Ａ３を得る（ステップＳ１６３ｃ）。最後に、血管尤度画像Ａから平滑処理後の血管尤度画像Ａ３を差し引いて血管抽出Ｅを得る（ステップＳ１６３ｄ）。

上記したように、ソース画像（血管尤度画像Ａ）に対して収縮処理を行ない、続いて膨張処理を行なったものを、オープニング処理という。第２の抽出手段１０１ｂ−２は、オープニング処理した画像に対して平滑フィルタ処理を施し、ソース画像からオープニングした画像を差し引いて（トップハット処理）、ソース画像中の血管形状を抽出している。ここで、ソース画像は血管尤度画像になっているため、血管らしいところでは画像の値が大きくなっている。

説明を図８に戻す。第２の抽出手段１０１ｂ−２は、血管尤度画像Ａから血管抽出Ｅ画像を取得した後、血管抽出Ｅ画像に適切な係数Ｋを乗算し（ステップＳ１６４）、１でクリッピング処理を行なうことで強調された血管抽出Ｅを生成する（ステップＳ１６５）。

（実施形態の効果）
以上説明のように本実施形態に係る診断支援装置１００によれば、処理部１０１は、抽出手段１０１ｂが、撮影画像を色品質に基づき区分するとともに、撮影画像の色品質が低い場合に部位候補を輝度成分により抽出する第１の抽出手段１０１ｂ−１、及び撮影画像の色品質が高い場合に部位らしさを色情報成分により抽出する第２の抽出手段１０１ｂ−２を含み、区分に応じて第１の抽出手段１０１ｂ−１及び第２の抽出手段１０１ｂ−２を選択的に適用することで、撮影画像の色品質に基づき最適な方法で部位候補を抽出することができ、これを表示装置１２０に表示することにより医師の診断を支援することができる。

すなわち、撮影画像の色品質により、血管抽出のアルゴリズムを選択するインタフェースを提供することができ、このことにより、医師の診断を容易にするとともに診断精度の向上をはかることができる。具体的に、撮影画像の色品質が低い場合、輝度情報から血管候補を抽出するとともに色情報から血管尤度を取得して両者から血管抽出を行なう。一方、撮影画像の色品質が高い場合、色情報から血管尤度を取得し、血管尤度から血管を抽出するか色情報から得られた血管尤度に対して、規定値より大きな輝度成分をもつもの、更には規定値より少ない輝度を持つ成分を除去した血管尤度画像から血管を抽出する。したがって、撮影画像の品質に応じて最適な方法で血管を強調することができ医師の診断を支援することができる。

なお、色品質の判定は、例えば、ＪＰＥＧ保存形式のサンプリングファクタ、使用する撮像装素子の種類（単板式か３板式）、或いは、圧縮画像の有無（非可逆圧縮か可逆圧縮か）を用いる。また、ユーザーがマニュアルで指定することも可能である。

以上、各実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態及び実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

［付記］
［請求項１］
患部の撮影画像を用いて病変を診断するための診断支援装置であって、
前記撮影画像を記憶する画像記憶部と、
前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
前記処理部が、
前記撮影画像を輝度成分と色情報成分に分離する分離手段と、
診断の対象の部位を抽出する抽出手段と、を備え、
前記抽出手段が、
前記撮影画像を色品質に基づき区分する区分手段と、
部位候補を前記輝度成分により抽出する第１の抽出手段、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出手段の少なくとも１つを含み、
前記区分手段の区分に応じて前記第１の抽出手段及び前記第２の抽出手段を選択的に適用することを特徴とする診断支援装置。
［請求項２］
前記区分手段は、前記撮影画像が非圧縮画像または色情報を間引いていない画像のとき第１区分とし、前期撮影画像が圧縮画像または色情報を間引いているとき第２区分とすることを特徴とする請求項１に記載の診断支援装置。
［請求項３］
前記区分手段は、前記撮影画像の色品質が高いとき第１区分とし、前期撮影画像の色品質が低いとき第２区分とすることを特徴とする請求項１に記載の診断支援装置。
［請求項４]
前記第１区分において、
前記第１の抽出手段が前記輝度成分を用いて第１のモルフォロジー処理により前記部位候補を抽出するとともに、前記第２の抽出手段が前記色空間を用いて前記部位らしさを抽出し、
前記抽出手段が前記抽出された部位候補と部位らしさを統合して部位抽出画像を生成することを特徴とする請求項２又は３に記載の診断支援装置。
［請求項５］
前記第１のモルフォロジー処理が、前記抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、前記クロージング処理が施された前記輝度成分に対する前記平滑フィルタ処理、及び前記平滑フィルタ処理が施された前記輝度成分から前記撮影画像の前記輝度成分を減算する減算処理を含むことを特徴とする請求項４に記載の診断支援装置。
［請求項６］
前記第２区分において、
前記第２の抽出手段が前記色情報成分を用いて前記部位らしさを抽出し、
前記抽出手段が前記抽出された部位らしさを用いて第２のモルフォロジー処理により部位抽出画像を生成することを特徴とする請求項２又は３に記載の診断支援装置。
［請求項７］
前記第２のモルフォロジー処理が、前記抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、前記オープニング処理が施された部位らしさに対する前記平滑フィルタ処理、及び前記平滑フィルタ処理が施された部位らしさを前記抽出された部位らしさから減算する処理を含むことを特徴とする請求項６に記載の診断支援装置。
［請求項８］
前記第２のモルフォロジー処理が、前記抽出された部位らしさに対し、規定値より大きな輝度成分をもつもの、または規定値より少ない輝度成分を持つものを除去した部位らしさから部位抽出画像を生成することを特徴とする請求項６に記載の診断支援装置。
［請求項９］
患部の撮影画像を用いて病変を診断する診断支援装置における画像処理方法であって、
記憶された前記撮影画像を輝度成分と色情報成分に分離するステップ（Ａ）と、
前記撮影画像を色品質に基づき区分するステップ（Ｂ）と、
診断の対象の部位を前記輝度成分又は前記色情報成分により抽出するステップ（Ｃ）と、を備え、
前記区分ステップ（Ｂ）において前記色品質が高いと区分されたとき、
前記抽出ステップ（Ｃ）が、部位候補を前記色情報成分により抽出する第１の抽出ステップを実行し、
前記区分するステップ（Ｂ）において前記色品質が低いと区分されたとき、
前記抽出ステップ（Ｃ）が、部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出ステップを実行することを特徴とする画像処理方法。
［請求項１０］
患部の撮影画像を用いて病変を診断する診断支援装置における画像処理のプログラムであって、
コンピュータに、
記憶された前記撮影画像を輝度成分と色情報成分に分離する分離機能と、
前記撮影画像を色品質に基づき区分する区分機能と、
診断の対象の部位を前記輝度成分又は前記色情報成分により抽出する抽出機能と、を実行させ、
前記区分機能において前記色品質が高いと区分されたとき、
前記抽出機能が、部位候補を前記色情報成分により抽出する第１の抽出機能を実行し、
前記区分機能において前記色品質が低いと区分されたとき、
前記抽出機能が、部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出機能を実行することを特徴とするプログラム。

１００…診断支援装置、１０１…処理部、１０１ａ…分離手段、１０１ｂ…抽出手段（１０１ｂ−１…第１の抽出手段、１０１ｂ−２…第２の抽出手段）、１１０…ダーモスコープ付き撮影装置、１２０…表示装置、１２１…撮影画像表示領域、１２２…強調画像表示領域、１３０…入力装置

Claims (10)

1. 患部の撮影画像を用いて病変を診断するための診断支援装置であって、
   前記撮影画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
   前記処理部が、
   前記撮影画像を輝度成分と色情報成分に分離する分離手段と、
   診断の対象の部位を抽出する抽出手段と、を備え、
   前記抽出手段が、
   前記撮影画像を色品質に基づき区分する区分手段と、
   部位候補を前記輝度成分により抽出する第１の抽出手段、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出手段の少なくとも１つを含み、
   前記区分手段の区分に応じて前記第１の抽出手段及び前記第２の抽出手段を選択的に適用することを特徴とする診断支援装置。
2. 前記区分手段は、前記撮影画像が非圧縮画像または色情報を間引いていない画像のとき第２区分とし、前記撮影画像が圧縮画像または色情報を間引いているとき第１区分とすることを特徴とする請求項１に記載の診断支援装置。
3. 前記区分手段は、前記撮影画像の色品質が高いとき第２区分とし、前記撮影画像の色品質が低いとき第１区分とすることを特徴とする請求項１に記載の診断支援装置。
4. 患部の撮影画像を用いて病変を診断するための診断支援装置であって、
   前記撮影画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
   前記処理部が、
   前記撮影画像を輝度成分と色情報成分に分離する分離手段と、
   診断の対象の部位を抽出する抽出手段と、を備え、
   前記抽出手段が、
   前記撮影画像を色品質に基づき区分する区分手段と、
   部位候補を前記輝度成分により抽出する第１の抽出手段、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出手段とを備え、
   前記区分手段は、前記撮影画像の色品質が高いとき第２区分とし、前記撮影画像の色品質が低いとき第１区分とする前記第１区分において、
   前記第１の抽出手段が前記輝度成分を用いて第１のモルフォロジー処理により前記部位候補を抽出するとともに、前記第２の抽出手段が前記色空間を用いて前記部位らしさを抽出し、
   前記抽出手段が前記抽出された部位候補と部位らしさを統合して部位抽出画像を生成することを特徴とする診断支援装置。
5. 前記第１のモルフォロジー処理が、前記抽出された輝度成分に対し膨張処理と収縮処理をこの順に繰り返すクロージング処理、前記クロージング処理が施された前記輝度成分に対する平滑フィルタ処理、及び前記平滑フィルタ処理が施された前記輝度成分から前記撮影画像の前記輝度成分を減算する減算処理を含むことを特徴とする請求項４に記載の診断支援装置。
6. 患部の撮影画像を用いて病変を診断するための診断支援装置であって、
   前記撮影画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え、
   前記処理部が、
   前記撮影画像を輝度成分と色情報成分に分離する分離手段と、
   診断の対象の部位を抽出する抽出手段と、を備え、
   前記抽出手段が、
   前記撮影画像を色品質に基づき区分する区分手段と、
   部位候補を前記輝度成分により抽出する第１の抽出手段、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出手段とを備え、
   前記区分手段は、前記撮影画像の色品質が高いとき第２区分とし、前記撮影画像の色品質が低いとき第１区分とする前記第２区分において、
   前記第２の抽出手段が前記色情報成分を用いて前記部位らしさを抽出し、
   前記抽出手段が前記抽出された部位らしさを用いて第２のモルフォロジー処理により部位抽出画像を生成することを特徴とする診断支援装置。
7. 前記第２のモルフォロジー処理が、前記抽出された部位らしさに対し収縮処理と膨張処理をこの順に繰り返すオープニング処理、前記オープニング処理が施された部位らしさに対する平滑フィルタ処理、及び前記平滑フィルタ処理が施された部位らしさを前記抽出された部位らしさから減算する処理を含むことを特徴とする請求項６に記載の診断支援装置。
8. 前記第２のモルフォロジー処理が、前記抽出された部位らしさに対し、規定値より大きな輝度成分をもつもの、または規定値より少ない輝度成分を持つものを除去した部位らしさから部位抽出画像を生成することを特徴とする請求項６に記載の診断支援装置。
9. 患部の撮影画像を用いて病変を診断するための診断支援装置であって、
   前記撮影画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された前記撮影画像を処理する処理部と、を備え患部の撮影画像を用いて病変を診断する診断支援装置における画像処理方法であって、
   前記処理部が、
   前記撮影画像を輝度成分と色情報成分に分離する分離工程と、
   診断の対象の部位を抽出する抽出工程と、を実行し、
   前記抽出工程が、
   前記撮影画像を色品質に基づき区分する区分工程と、
   部位候補を前記輝度成分により抽出する第１の抽出工程、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出工程の少なくとも１つを含み、
   前記区分工程の区分に応じて前記第１の抽出工程及び前記第２の抽出工程を選択的に実行することを特徴とする画像処理方法。
10. 患部の撮影画像を用いて病変を診断する診断支援装置における画像処理のプログラムであって、
    コンピュータに、
    前記撮影画像を輝度成分と色情報成分に分離する分離機能と、
    診断の対象の部位を抽出する抽出機能と、を実行させ、
    前記抽出機能が、
    前記撮影画像を色品質に基づき区分する区分機能と、
    部位候補を前記輝度成分により抽出する第１の抽出機能、及び部位らしさを前記輝度成分と前記色情報成分とから構成される色空間により抽出する第２の抽出機能の少なくとも１つを含み、
    前記区分機能の区分に応じて前記第１の抽出機能及び前記第２の抽出機能を選択的に適用させることを特徴とするプログラム。

Images