JPWO2012147505A1 - 医用画像処理装置 - Google Patents

Abstract

医用画像処理装置は、医療機器により撮像された医用画像を入力する画像入力部と、医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造における濃度変化のサイズと、粘膜表面構造の走行している方向と、に対応した複数のフィルタと、複数のフィルタを用いて、粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリング部と、フィルタ出力から粘膜表面構造の特徴量を選択する特微量選択部と、選択された特微量が粘膜表面構造の特徴を含むか否かを判定する判定部と、を備える。

Description

本発明は医用画像に対する画像処理により血管の構造等の粘膜模様を抽出する医用画像処理装置及び医用画像処理方法に関する。

従来から、画像、例えば眼底透視画像や内視鏡画像のような医用画像から対象形状を抽出する技術においては、物体の光の吸収によって生じる色調差（濃度差とも言う）を用いた閾値による二値化処理や、以下のようなフィルタリングが行われる。

フィルタリングとしては、対象のエッジを抽出するエッジ抽出フィルタ、デジタルフィルタ、例えば対象の周波数特性を利用したローパスフィルタ（Low-Pass Filter：LPF）や対象が有する幅情報などによって設計されたバンドパスフィルタ（Band-Pass Filter：BPF）などにより対象形状を抽出する手法が利用されている。

例えば第１の従来例としての日本国特開平９−６２８３６号公報においては、医用画像に平滑化処理を施して得た平滑化画像と、医用画像との差分画像を求めて、エッジ領域を抽出する。所定の閾値よりもエッジの度合いが大きいエッジ領域に対しては、エッジ強調を施さないで、所定の閾値よりもエッジの度合いが大きくないエッジ領域に対しては、エッジ強調を施して、過強調を防止して見やすい画像を生成する。

また、第２の従来例としての日本国特開２００７−３２５６５６号公報には、生体を撮像した近赤外画像において、相対的に周辺画素よりも輝度値が小さい画素である暗画素を抽出し、当該暗画素を示す暗画素画像データを作成した後、２次元のマスクパターンを用いて画素が連続している暗画素である連続暗領域を抽出し、該連続暗領域を示す連続暗領域画像データを作成する。

そして、連続暗領域画像データに対して血管が存在する画素からなる特定領域を抽出し、当該特定領域を示す特定領域画像データを作成する。

しかし上記第１の従来例の手法では、例えば内視鏡画像における血管を抽出しようとした場合、血管と血管以外の領域との色調差が不明瞭である画像や、深さの違いによる濃淡の異なる血管が存在する画像、画像全域において生体の曲面などの理由で光量が均一に当たらず背景の明るさが変化した画像に対しては、精度の良い抽出結果を得ることができない。

上記のような画像に対して第１の従来例の手法により、平滑化処理し、エッジによる抽出処理を行うと、画像内の位置や色調の違いによってばらつきが生じ、所望とする対象形状としての血管の形状だけでなく、対象形状でない部分も抽出してしまうなど、精度の良い抽出結果を得ることができない。

第２の従来例は、画素の連続性を示す２次元のマスクパターンを用いることにより、血管が走行する形状を抽出し易くするが、例えば血管は種々に屈曲したり蛇行したりするため、抽出する精度を向上できない。

このため、種々に分岐や蛇行した形状で走行したり、管径（幅）が変化する血管のような複雑な形状を有する粘膜表面構造の場合においても適用でき、精度良くその構造を抽出することができる医用画像処理装置が望まれる。

本発明は上述した点に鑑みてなされたもので、分岐や蛇行したり、管径が変化する複雑な形状を有する場合においても適用でき、精度良くその構造を抽出することができる医用画像処理装置及び医用画像処理方法を提供することを目的とする。

本発明の一態様の医用画像処理装置は、医療機器により撮像された医用画像を入力する画像入力部と、前記医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造に応じて設定され、前記粘膜表面構造の横断面に対する濃度変化を検出するために用意される互いに異なる複数の横断面に対する濃度変化のサイズと、前記粘膜表面構造の表面的に走行している方向を検出するために用意される互いに異なる複数のフィルタと、前記複数のフィルタを用いて、前記注目画素を含む前記局所領域に対して前記粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリング部と、前記フィルタリング部による演算により、ある画素における複数のフィルタ出力のうち該画素に最も反応したフィルタから前記粘膜表面構造の特徴量を選択する特微量選択部と、選択された前記特微量に対して該特徴量が前記粘膜表面構造の特徴を含むか否かを判定する判定部と、を備え、前記複数のフィルタは、Ｎを１以上、Ｍを２以上の整数として、前記複数の横断面に対する濃度変化のサイズに対応して用意されるＮ個のフィルタを、前記横断面に対する濃度変化の方向と直交する方向に対応して用意されるＭ個の方向にそれぞれ配置したＮ×Ｍ個からなる。

本発明の一態様の医用画像処理方法は、医療機器により撮像された医用画像を入力する画像入力ステップと、前記医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造に応じて設定され、前記粘膜表面構造の横断面に対する濃度変化を検出するために用意される互いに異なる複数の横断面に対する濃度変化のサイズと、前記粘膜表面構造の表面的に走行している方向を検出するために用意される互いに異なる複数の方向と、に対応した複数のフィルタを用いて、前記注目画素を含む前記局所領域に対して前記粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリングステップと、前記フィルタリングステップによる演算により、ある画素における複数のフィルタ出力のうち該画素に最も反応したフィルタから前記粘膜表面構造の特徴量を選択する特微量選択ステップと、選択された前記特微量に対して該特徴量が前記粘膜表面構造の特徴を含むか否かを判定する判定ステップと、を備え、
前記複数のフィルタは、Ｎを１以上、Ｍを２以上の整数として、前記複数の横断面に対する濃度変化のサイズに対応して用意されるＮ個のフィルタを、前記横断面に対する濃度変化の方向と直交する方向に対応して用意されるＭ個の方向にそれぞれ配置したＮ×Ｍ個からなる。

図１は本発明の第１の実施形態に係る内視鏡システムの構成を示す図。 図２は画像処理装置を構成するＣＰＵによる機能的構成を示すブロック図。 図３は画像処理装置による処理内容を示すフローチャート。 図４は血管を含む生体粘膜の内視鏡画像を示す図。 図５は内視鏡画像中における抽出対象の血管を含む周辺領域を模式的に示す説明図。 図６は血管の横断面形状を示す図。 図７は血管の横断面形状に対応した１次元フィルタの輪郭を示す図。 図８は複数の１次元フィルタを用いたフィルタリング処理を示すフローチャート。 図９は複数の１次元フィルタの形状を示す図。 図１０は特徴量の抽出及び血管の特徴量であるか否かの判定内容を示すフローチャート。 図１１は処理画像を入力画像と共に表示する表示例を示す図。 図１２は本発明の第２の実施形態におけるフィルタ記憶部が格納する情報を示す図。 図１３は第２の実施形態における処理内容を示すフローチャート。 図１４は本発明の第３の実施形態における処理内容を示すフローチャート。 図１５は図１４における判定の処理内容を示すフローチャート。 図１６は図１４における判定の処理内容を示すフローチャート。 図１７は図１５及び図１６の補正の処理内容を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１に示す本発明の第１の実施形態の内視鏡システム１は、医療機器としての内視鏡装置２と、この内視鏡装置２により得られた医療画像としての内視鏡画像に対して画像処理を行うパーソナルコンピュータにより構成される医用画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示するモニタ４とから構成される。

内視鏡装置２は、体腔内に挿入され、体内を撮像する体内撮像装置を形成する内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される画像信号が入力されることにより、撮像素子で撮像した画像を内視鏡画像として表示するモニタ９とを有する。

内視鏡６は、体腔内に挿入される挿入部１１とこの挿入部１１の後端に設けられた操作部１２とを有する。また挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。

このライトガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により伝送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、検査、又は診断対象の生体組織を照明する。なお、光源装置７は、通常観察用の白色の照明光、又は白色をカバーする赤（Ｒ）、緑（Ｇ）、青（Ｂ）の面順次照明光をライトガイド１３に供給する。

なお、光源装置７として、狭帯域の照明光をライトガイド１３に供給し、検査対象の生体組織を狭帯域光で照明する構成にしても良い。

照明窓に隣接する観察窓には対物レンズ１５が取り付けられており、この対物レンズ１５の結像位置には固体撮像素子しての例えば電荷結合素子（ＣＣＤと略記）１６が配置されている。対物レンズ１５とＣＣＤ１６とにより撮像を行う撮像部１７が形成される。このＣＣＤ１６の撮像面に結像された光学像は、このＣＣＤ１６により光電変換される。

このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からのＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の画像処理回路により信号処理され、表示装置に表示する画像信号に変換される。この画像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この画像信号は、画像処理装置３にも入力される。

この画像処理装置３は、内視鏡装置２により生成された医用画像としての内視鏡画像を入力する画像入力手段としての画像入力部２１と、この画像入力部２１から入力された内視鏡画像に対応する画像信号のデジタル化された画像信号に対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。なお、画像入力部２１を内視鏡装置２側に設けた構成にしても良い。

また、この画像処理装置３は、画像入力部２１から入力される入力画像の画像信号、処理途中、処理終了の画像信号等を記憶する画像記憶部２４と、ＣＰＵ２２により画像処理する場合に用いられる複数の１次元フィルタ等の情報を処理情報として記憶する処理情報記憶部２５と、ＣＰＵ２２により処理された画像信号及び処理情報等を記憶装置インタフェース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像等を表示するための表示処理を行う表示処理部２８と、術者等のユーザが画像処理のパラメータ等の入力、選択、指示操作を行うキーボードなどからなる入力操作部２９とを有する。

上記のように処理情報記憶部２５は、ＣＰＵ２２により画像処理する場合に用いられる複数の１次元フィルタの情報を記憶（格納）するフィルタ記憶部３９を備える。

このフィルタ記憶部３９には、複数の１次元フィルタが予め格納されており、画像処理装置３を使用する術者等の使用者は、入力操作部２９から、医用画像における診断対象の生体組織に含まれる血管の対象形状に応じて、その対象形状、又はその特徴量を抽出し易くする１次元フィルタを選択して実際の画像処理に利用する入力操作を行うことができる。

なお、本実施形態においては複数の１次元フィルタを用いるが、後述するように本発明は複数の１次元フィルタの場合に限定されるものでなく、複数の１次元フィルタないしはそれに準じたフィルタを含む複数のフィルタを用いても良い。

上記表示処理部２８により生成された画像信号は、モニタ４に出力され、このモニタ４の表示面には画像処理された処理画像等が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、処理情報記憶部２５、記憶装置インタフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。

一般的に、正常な組織と病変組織の場合とでは内視鏡画像中の血管の走行の様子を含む形状が異なる場合が多い。このため、術者が生体粘膜表面の内視鏡画像から、正常な組織であるか、病変した病変組織であるかを診断する場合、内視鏡画像中の血管の走行の様子を含む形状を、診断する場合の指標、又は拠り所とする場合がある。従って、内視鏡画像中における血管の走行の様子を含む形状を、より視認し易いように抽出して表示ができるように画像処理すると、術者による診断を有効に支援することができる。

本実施形態は、粘膜表面構造における血管のように複雑な形状を有する（抽出しようと望む）抽出対象物を演算量が少ない画像処理により精度良く抽出し、視認し易く表示する等ができるように支援することを主要な目的とする。

なお、以下の説明においては、医用画像としての内視鏡画像から血管を抽出対象として抽出する場合を説明するが、血管以外の生体の粘膜表面構造に適用しても良い。
本実施形態では、例えば図２に示すようにＣＰＵ２２は、画像入力部２１を経て入力される医用画像としての画像信号に対してノイズ抑制、逆ガンマ補正等の前処理を行う前処理部３１の機能を有する。

なお、前処理部３１は、後述するようにノイズを抑制する処理を行うノイズ抑制部３１ａ、逆ガンマ補正を行う逆ガンマ補正部３１ｂ、光量の影響を低減するために２つの色信号の比の画像信号を算出する色信号比算出部３１ｃを含む。

また、このＣＰＵ２２は、前処理された画像信号に対して、上記フィルタ記憶部３９に格納された複数のフィルタとしての複数の１次元フィルタを用いて、抽出しようと望む対象形状の特徴量を抽出するための演算を行うフィルタリング手段としてのフィルタリング処理部（又はフィルタリング演算部）３２の機能を有する。

また、このＣＰＵ２２は、フィルタリング処理部３２によるある画素における複数のフィルタ出力のうち該画素に最も反応したフィルタ、具体的には最大値を（広義には絶対値が最大値）を出力（生成）する１次元フィルタを求め、この１次元フィルタに対応した注目画素を、抽出しようと望む対象形状の特徴量として選択（又は抽出）する（特徴量選択手段としての）特徴量選択部３３の機能を有する。

この特徴量選択部３３は、フィルタリング処理部３２の出力値から最大値を探索する最大値探索部３３ａを有する。そして、上記のように最大値を出力する１次元フィルタに対応した注目画素を対象形状の特徴量、つまり血管の特徴量を有する血管特徴量として抽出する。

また、この最大値探索部３３ａは、最大値を出力する１次元フィルタの幅と方向の情報から、注目画素での血管の幅（又は幅候補）を推定する幅推定部３３ｂと、注目画素での血管の表面的に走行している方向としての走行方向（又は走行方向候補）を推定する走行方向推定部３３ｃの機能を有する。また、このＣＰＵ２２は、特徴量抽出部３３により抽出された特徴量が、対象形状の特徴を含むか否かを判定するための判定基準に合致するか否かを判定する判定手段としての判定部３４の機能を有する。

この判定部３４は、抽出された血管特徴量に対して、血管の特徴を含むか否かを判定するための判定基準として用意した閾値を用いて判定する。また、このＣＰＵ２２は、他の実施形態において説明するため点線で示すように、判定部３４等により判定された血管画素（又は血管画素が複数となる場合における血管候補画素）、非血管画素（又は非血管画素を補正する場合における非血管画素候補画素）を補正する補正部３５の機能を有する。

なお、補正部３５は、推定された幅を補正する幅補正部３５ａ、推定された走行方向を補正する走行方向補正部３５ｂを有する。この他、後述するようにＣＰＵ２２は、注目画素を含む局所領域における複数画素による統計量を算出する統計量算出部３６、算出された統計量を用いて特徴量を補正する補正部３６ａを備える。

なお、ＣＰＵ２２を用いること無く、ハードウェアによって、前処理部３１、フィルタリング処理部３２、特徴量選択部３３、判定部３４、補正部３５、統計量算出部３６をそれぞれ、またはその一部を形成しても良い。また、図１に示すように分離した構成に限らず、１つの処理機能が他の機能を含む組み合わせなどにしても良い。

本実施形態における画像処理装置３は、医療機器により撮像された医用画像を入力する画像入力手段としての画像入力部２１と、前記医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造に応じて設定され、前記粘膜表面構造の横断面に対する濃度変化を検出するために用意される互いに異なる複数の横断面のサイズと、前記粘膜表面構造の表面的に走行している方向を検出するために用意される互いに異なる複数の方向と、に対応した複数のフィルタと、前記複数のフィルタを用いて、前記注目画素を含む前記局所領域に対して前記粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリング手段としてのフィルタリング処理部３２と、前記フィルタリング手段による演算により、ある画像における複数のフィルタ出力のうち該画素に最も反応したフィルタから前記粘膜表面構造の特徴量を選択する特微量選択手段としての特徴量選択部３３と、選択された前記特微量に対して該特徴量が前記粘膜表面構造の特徴を含むか否かを判定する判定手段としての判定部３４と、を備え、前記複数のフィルタは、Ｎを１以上，Ｍを２以上の整数として、前記複数の横断面に対する濃度変化のサイズに対応して用意されるＮ個のフィルタを、前記横断面に対する濃度変化の方向と直交する方向に対応して用意されるＭ個の方向にそれぞれ配置したＮ×Ｍ個からなることを特徴とする。

次に図３を参照して本実施形態の画像処理装置３による処理内容を説明する。内視鏡装置２により撮像され、モニタ９に表示される生体の粘膜表面構造の内視鏡画像の１例を図４に示す。内視鏡画像における血管は、ヘモグロビンがＧ成分を吸収することから、血管周囲の背景粘膜と比較して濃度値が低くなる。

例えば、図４の濃度値が低い部分（暗い部分）となる血管は、画像上では様々な方向に走行し、表面的に走行している方向としての走行方向に直交する方向の横断面の構造は，下に凸の形状を示す（これを谷構造と呼ぶこととする）と考えられる。このような形状を有する血管の特徴量としての谷構造は、様々な幅のサイズ（谷となっている画素数）を持つ。

このような内視鏡画像の画像信号は、図３のステップＳ１において画像入力部２１により画像処理装置３内に読み込まれ、画像記憶部２４に記憶される。

次のステップＳ２においてＣＰＵ２２の前処理部３１は、画像記憶部２４に一時記憶した画像信号を読み出し、その画像信号に対して前処理を行う。

この前処理として、ノイズ抑制部３１ａは、例えば３×３のメディアンフィルタを用いて画像信号に対するノイズ抑制を行い、さらに逆ガンマ補正部３１ｂは、ノイズ抑制の処理後の画像信号に対して逆ガンマ補正を行う。

さらに、逆ガンマ補正された画像信号に対して、光量等の影響を受けにくくするために、色信号比算出部３１ｃは、各画素における３つの色信号における、例えばＧ信号及びＲ信号の画素信号値ｇ、ｒの比の値を算出する処理を行う。算出された色信号値比（ｇ／ｒ値とも記す）からなるＧ／Ｒ画像を、次のステップＳ３の処理の入力画像として用いる。

ステップＳ３においてフィルタリング処理部３２は、入力画像に対してフィルタ記憶部３９に格納された複数のフィルタとして複数の１次元フィルタを用いて、血管の特徴量を抽出するためのフィルタリング処理を行う。

このフィルタリング処理により、１次元フィルタの数（但し、以下に説明するように同じ１次元フィルタが異なる複数の方向に用意される）に等しい数のフィルタリング処理された複数の処理値が出力値として生成される。

次のステップＳ４において特徴量選択部３３は、画素ごとに生成された複数の出力値において最大となる処理値を、血管の特徴量を持つ血管特徴量とする。つまり、ある画素における複数のフィルタ処理結果のうち、最大の出力値をとるフィルタから血管の特徴量を選択又は抽出する。

次のステップＳ５において判定部３４は、抽出された血管の特徴量を持つ画素に対して判定基準としての例えば閾値を用いて実際に血管の特徴を有する血管画素であるか否かを判定、つまり血管の特徴量を持つ画素が血管の特徴を有する血管画素で有るか否かの判定の処理を行う。ステップＳ５の判定の処理により、ステップＳ６に示すように血管の特徴量を有する血管画素が決定され、該血管画素から構成される血管領域が決定される。

次のステップＳ７において判定部３４により判定された処理結果の情報を記録すると共に、処理結果の処理画像（血管領域が決定された処理画像）を表示処理部２８を経てモニタ４で表示し、図３の画像処理を終了する。

次に図３における血管の特徴量を抽出するためのフィルタリング処理等を詳細に説明する。図５は内視鏡画像中における抽出しようとする対象形状の血管５１を含む粘膜領域５２をモデル化して示す。

この粘膜領域５２中には、血管５１を抽出するための注目画素Ｐが設定される。図５においては、血管５１部分に注目画素Ｐが設定された状態を示している。実際には、注目画素Ｐは、内視鏡画像中において、術者が注目する２次元の注目領域としての処理対象領域を指定した場合、その処理対象領域の処理対象画素全体を走査（スキャン）するように注目画素Ｐが設定される。例えば、術者が図５に示す粘膜領域５２を処理対象領域に設定した場合には、注目画素Ｐは、左上の画素Ｐａから水平方向に順次走査するように設定され、右下の最後の画素Ｐｚまで設定される。

血管５１の横断面は、例えば図６に示すように下に凸となる形状、つまり谷構造を有し、その谷の幅、つまり横断面のサイズが異なるものが存在する。

このため、本実施形態においては、図６に示す表面構造の横断面に対する濃度変化に対応した形状の血管５１を抽出するために、例えば図７に示した形状のもので、幅のサイズが異なる複数の１次元形状フィルタを用意する。なお、図７における横軸は、血管５１の横断面の方向に対応して設定される方向であり、縦軸は１次元形状フィルタの値、つまりフィルタ係数値を表す。

また、血管５１の走行方向が異なる場合にも対応できるようにするために、その複数の走行方向に対応した複数の方向のもの（走行方向候補）を用意する。なお、本明細書に記載の実施形態は、血管以外のピットパターンなどの上皮構造にも適用できる。そして、横断面が下に凸の場合に限らず、上に凸である等、抽出しようとする特徴的な形状を持つ横断面であれば、その横断面に応じたフィルタを用意することで、血管以外の場合にも同様に対応可能となる。

従って、本実施形態における複数の１次元フィルタは、画像中における抽出しようとする血管５１の幅Ｗに対応した複数の１次元形状フィルタを、複数の方向に配置したものを用意する。図５における点線は、複数の方向として、水平方向、水平方向と４５°、水平方向と９０°、水平方向と１３５°をなす４つの方向ｄ_１，ｄ_２，ｄ_３，ｄ_４のものを示している。
図８は、図３のステップＳ３の対象形状を抽出するフィルタリング処理を示す。入力画像内に注目すべき注目領域としての処理対象領域が設定されると、フィルタリング処理部３２は、処理対象領域内の注目画素Ｐに対して、その注目画素Ｐが所望の対象形状を有する特徴量の画素であるかどうかを決定するためのフィルタリング処理を行う。

処理対象領域中における注目画素Ｐを表すためにパラメータｋを用いて注目画素Ｐｋ（０≦ｋ≦処理対象画素数−１）とする。

また、パラメータｋとして直交する２次元座標としてのＸＹ座標表現を（ｉ，ｊ）とする。ここで、０≦ｉ＜ｗｉｄｔｈ、 ０≦ｊ＜ｈｅｉｇｈｔ（とし、ｗｉｄｔｈ、ｈｅｉｇｈｔは処理対象領域の水平方向及び垂直方向の画像のｐｉｘｅｌ数（画素数）を示す。また、注目画素Ｐ（ｉ，ｊ）の観測値をｐ（ｉ，ｊ）とする。なお、注目画素Ｐ（ｉ，ｊ）、観測値ｐ（ｉ，ｊ）を簡略的に表すＰｋ，ｐｋも用いる。本実施形態では、観測値ｐ（ｉ，ｊ）は注目画素Ｐ（ｉ，ｊ）におけるｇ／ｒ値となる。

図８は、ステップＳ２における前処理を行った後の画像を入力とし、予め作成された、複数の幅Ｗと複数の方向Ｄとに対応して構成される複数の１次元フィルタとして、Ｎ×Ｍ個のフィルタ係数ｆｄｗ（ｄ₁≦ｄ≦ｄ_Ｎ、ｗ₁≦ｗ≦ｗ_Ｍ）を適用する。

そして、後述する式（３）で示すように、観測値ｐ（ｉ，ｊ）と、フィルタ係数ｆｄｗとの積和演算を行う。

この積和演算を行う場合、フィルタ係数ｆｄｗの係数要素数（係数長）をＦＮ（＝２Ｋ＋１）とし、ｊ番目の要素をｆｄｗ（ｊ）と表すとすると、フィルタ係数ｆｄｗは以下のように表すことができる。

ｆｄｗ＝｛ｆｄｗ（−K）、ｆｄｗ（−（K−１））、…、ｆｄｗ（０）、ｆｄｗ（１）、…、ｆｄｗ（K−１）、ｆｄｗ（K）｝ （１）
なお、フィルタ係数ｆｄｗの係数要素数ＦＮは、後述する具体例に示すように、用意（設定）されるフィルタ形状（特に幅のサイズ）に応じて適宜に設定される。

また、フィルタ係数ｆｄｗにおける複数の方向は、処理対象領域の水平方向を０°とした場合の角度（本実施形態では反時計回りに０°〜３６０°とする）に対応して複数が設定される。

上記の積和演算を行う場合、フィルタ係数ｆｄｗにおける上記式（１）中の係数要素数ＦＮの中央位置に注目画素Ｐを設定し、フィルタ係数ｆｄｗのその１次元の配列方向に沿って注目画素を含む局所領域としての複数の画素を設定して（積和演算が）行われる。

また、本実施形態においては、幅が異なる複数の血管５１の横断面形状に対応した幅のサイズが異なる複数のフィルタ係数ｆｄｗ（ｆｄｗ₁，ｆｄｗ_２，…，ｆｄｗ_Ｍ）を準備すると共に、積和演算を行った場合、実際の血管の幅のサイズに対応したフィルタ係数ｆｄｗを用いた演算値としての出力値が最大となるようにフィルタ係数ｆｄｗのフィルタ係数値が設定されている。

例えば図７に示した１次元フィルタ（フィルタ係数）は、実際の血管５１の谷の幅に対応したサイズで中央が負となり、中央の両側においては正となる。そして、フィルタリング処理部３２は、血管５１を撮像した観測値ｐｋを用いてフィルタ係数と積和演算を行う。

つまり、観測値ｐｋと１次元フィルタとの関係が、幅が対応した関係で、かつ方向が対応した関係（一致した関係）となる場合での積和演算を行うと、中央の谷の部分と観測値ｐの負の値との積が、殆ど全ての積において正の値となり、それらの積和により大きな演算値として最大の出力値が得られる。

一方、対応した関係に無い観測値ｐｋ及び１次元フィルタで積和演算を行うと、例えば図７の谷に部分での積が正、負を含んだり、谷の外側での積が正、負を含んだりして、それらの積和では、大きな演算値となる出力値とはならない。

本実施形態における以下の説明においては、複数の方向の種類数Ｎ=４、幅の種類数Ｍ=３として説明する。例えば血管５１の幅が最大値から最小値まであるものに対して、種類数Ｍとして最大値、最大値と最小値の中央値、最小値の３種類とする。

３種類の場合に限定されるものでなく、検出対象の粘膜領域等に応じて、Ｍの値を大きくする等、その値を変更こともできる。複数の方向の種類数Ｎも、４種類の場合に限定されるものでなく、５種類数以上に設定しても良い。

上記のように、幅の種類数Ｍ=３とした場合において、例えば、フィルタ係数ｆｄｗ_１は、画素数が５の幅の血管５１を最も良く抽出することができる幅（適応幅と定義）が設定されているとする。

同様に、フィルタ係数ｆｄｗ_２の適応幅は画素数が７、フィルタ係数ｆｄｗ_３の適応幅は画素数が９であるものとする。

具体例で説明すると、方向がｄである場合のフィルタ係数は、
ｆｄｗ_１＝｛０．１８２３８、０．３２３５６、０．１６８２、−０．３４８１、−０．６５２、−０．３４８１、０．１６８２、０．３２３５６、０．１８２３８｝、
ｆｄｗ_２＝｛０．１９３４７、０．２８１７７、０．２４５０９、−０．０３５６、−０．４００９、−０．５６７６、−０．４００９、−０．０３５６、０．２４５０９、０．２８１７７、０．１９３４７｝、
ｆｄｗ_３＝｛０．１６２６１、０．１８２１５、０．２１０９、０．２０３３７、０．０８７２３、−０．１５５４、−０．４２１４、−０．５３８９、−０．４２１４、−０．１５５４、０．０８７２３、０．２０３３７、０．２１０９、０．１８２１５、０．１６２６１｝ （２）
と設定される。

なお、フィルタ係数ｆｄｗ_１、ｆｄｗ_２、ｆｄｗ_３に関して係数値（係数要素値）の総和はそれぞれ０となるように設定されている。これらフィルタ係数ｆｄｗ_１、ｆｄｗ_２、ｆｄｗ_３の形状の輪郭は図９に示すようになる。なお、図９の輪郭は、血管の横断面に対する濃度変化のサイズに対応して設定される。

また、フィルタ係数ｆｄ_１ｗ、ｆｄ_２ｗ、ｆｄ_３ｗ、ｆｄ_４ｗが設定される方向は、それぞれ０°、４５°、９０°及び１３５°の方向（図５のｄ_１,ｄ_２, ｄ_３, ｄ_４にそれぞれ相当）に設定されるものとして説明する。なお、図９の下側には、フィルタ係数ｆｄｗ_１、ｆｄｗ_２、ｆｄｗ_３と、積和演算が行われる注目画素Ｐｋを含む複数画素からなる局所領域を形成する１次元の配列方向の１つ（０°の場合）を示す。

上記のようにフィルタ係数を設定しているので、図８のステップＳ３１に示したＮ×Ｍ個のフィルタリング処理により、ステップＳ３２に示すように注目画素Ｐｋの観測値ｐｋに対してＮ×Ｍ個の積和演算値の出力値が得られる。

上述したようにフィルタ係数ｆｄｗの係数要素数をＦＮとすると、フィルタリング処理した出力値Ｆ_ＯＵＴｗｄは次の式（３）で示すことができる。

Ｆ_ＯＵＴｗｄ_１（ｉ，ｊ）＝Σ_ｋｐ（ｉ＋ｋ，ｊ）ｆｄ_１ｗ（ｋ）
Ｆ_ＯＵＴｗｄ_２（ｉ，ｊ）＝Σ_ｋｐ（ｉ＋ｋ，ｊ）ｆｄ_２ｗ（ｋ）
Ｆ_ＯＵＴｗｄ_３（ｉ，ｊ）＝Σ_ｋｐ（ｉ＋ｋ，ｊ）ｆｄ_３ｗ（ｋ） （３）
Ｆ_ＯＵＴｗｄ_４ｉ，ｊ）＝Σ_ｋｐ（ｉ＋ｋ，ｊ）ｆｄ_４ｗ（ｋ）
なお、式（３）におけるΣ_ｋはｋ＝−ＦＮ／２から０を含むｋ＝ＦＮ／２まで、観測値ｐ（ｉ＋ｋ，ｊ）とフィルタ係数ｆｄｗ（ｋ）との積ｐ（ｉ＋ｋ，ｊ）ｆｄｗ（ｋ）を和算（加算）することを表す。

また、式（３）において、４５°、９０°方向のフィルタリング処理（積和演算）では、画素間の距離が√２（２の平方根を表す）となり、０°や９０°方向のフィルタリング処理の画素間の距離が１となる場合と異なる。

このため、どの方向の出力でも同じ条件で比較できるように、本実施形態ではBicubic補間法を用いて画素間の距離が１となる画素を求めて、４５°と９０°方向の観測値とする。ただし、他の補間法を用いた補間による観測値の設定でも良いし、画素間の距離が√２の観測値に合わせたフィルタ係数を別途用意しても良い。

上記の処理により、各注目画素Ｐｋの観測値ｐｋについてＮ×Ｍ個のフィルタリング処理の出力値Ｖｋｄｗが得られる。

このようにして取得された出力値Ｖｋｄｗに対して図２のステップＳ４の特徴量選択（抽出）の処理として、図１０の処理が行われる。

上記のようにフィルタリング処理における注目画素Ｐｋが血管５１を構成する画素であった場合、その画素の位置における血管の幅と走行方向に最も合致したフィルタ係数ｆDWの出力が複数のフィルタ係数によるＮ×Ｍ個のフィルタリング処理の演算結果の中で最大となる。

この特性を利用して、図１０のステップＳ４１において最大値探索部３３ａは、Ｎ×Ｍ個の出力値Ｖｋｄｗから最大値となるフィルタ係数ｆDWを探索する。

出力値が最大値となったフィルタ係数ｆDWが注目画素Ｐｋに最もフィットしたフィルタであるので、上記ステップＳ４１において最大値探索部３３ａは、フィルタリング処理した出力値Ｖｋｄｗが最大値となるフィルタ係数ｆDWを探索し、探索したフィルタ係数ｆDWとフィルタリング処理の演算に用いられた注目画素Ｐｋにおける出力値ＶｋDWを注目画素ｋの出力値とする。

また、そのフィルタ係数ｆDWの適応幅と、その設定された方向がその注目画素Ｐｋにおいて血管が有する幅と走行方向の情報となる。この情報を注目画素Ｐｋの血管の幅と走行方向の情報とも言う。

次のステップＳ４２において判定部３４は、血管であるか否かを判定するために予め設定（用意）した所定の閾値Ｔと、前のステップＳ４１において探索した前記出力値ＶｋDWと、を比較して（観測値ｐｋ又はｐ（ｉ，ｊ）で表される）注目画素Ｐｋが血管の画素、つまり血管画素であるか否かの判定する。本実施形態においては所定の閾値ＴはＴ＝０．００３に設定されている。

ステップＳ４２の判定処理において、判定部３４は、ＶｋDW＞ＴであればステップＳ４３に進み、注目画素Ｐｋ（観測値ｐｋの画素）は、血管を構成する血管領域の血管画素であると判定する。

一方、ステップＳ４２の判定処理において、判定部３４は、ＶｋDW≦ＴであればステップＳ４４に進み、注目画素Ｐｋ（観測値ｐｋの画素）は血管を構成する血管領域の画素でない（つまり、非血管画素である）と判定する。なお、上述した処理は、処理対象領域における注目画素Ｐｋが無くなるまで繰り返される。

処理対象領域に対して上述した処理を行うことにより、ステップＳ６に示すように注目画素Ｐｋが血管を構成する血管領域の画素であるか否か、換言する血管領域が決定する。

以上の処理により、様々な濃度の谷構造を有する血管を抽出して血管領域を決定することができる。また、処理対象領域における全ての注目画素Ｐｋに対する処理が終了するとステップＳ４５において例えば処理情報記憶部２５は、判定結果の情報を記憶する。なお、判定結果の情報をハードディスク２７に記憶しても良い。
また、ステップＳ４６において表示処理部２８は、ステップＳ４５の判定結果の情報を反映した処理画像をモニタ４に出力し、モニタ４は処理画像を表示する。モニタ４において処理画像を表示する場合、例えば血管画素と判定された画素信号値を、非血管後素と判定された画素信号値とは識別し易くするように輝度値、又は特定の色で強調する。
また、モニタ４には、画像処理装置３に入力される入力画像と、図３又は図１０の処理により血管又は非血管と判定された処理画像とが例えば図１１に示すように対比し易いように表示する。そして、図１０或いは図３の処理を終了する。

本実施形態における医用画像処理方法は、医療機器により撮像された医用画像を入力する画像入力ステップとしての図３の入力画像を読み込ませるステップＳ１と、前記医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造に応じて設定され、前記粘膜表面構造の横断面に対する濃度変化を検出するために用意される互いに異なる複数の横断面に対する濃度変化のサイズと、前記粘膜表面構造の表面的に走行している方向を検出するために用意される互いに異なる複数の方向と、に対応した複数のフィルタを用いて、前記注目画素を含む前記局所領域に対して前記粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリングステップとしてのステップＳ３と、前記フィルタリングステップによる演算により、ある画素における複数のフィルタ出力のうち該画素に最も反応したフィルタから前記粘膜表面構造の特徴量を選択する特微量選択ステップとしてのステップＳ４と、選択された前記特微量に対して該特徴量が前記粘膜表面構造の特徴を含むか否かを判定する判定ステップとしてのステップＳ５とを備え、前記複数のフィルタは、Ｎを１以上、Ｍを２以上の整数として、前記複数の横断面に対する濃度変化のサイズに対応して用意されるＮ個のフィルタを、前記横断面に対する濃度変化の方向と直交する方向に対応して用意されるＭ個の方向にそれぞれ配置したＮ×Ｍ個からなることを特徴とする。

本実施形態によれば、術者は、モニタ４に表示される入力画像と、処理画像とを参照することにより、入力画像のみから血管部分を識別して診断を行う場合に比較して、画像処理により血管と非血管と判定された処理画像を参照することによって、より血管を識別し易い状態で把握できる。このため、血管部分の構造に基づく診断をより短時間に、かつ円滑に行うことができる。

また、本実施形態によれば、複数の１次元フィルタを用いて、特徴量を抽出するための画像処理を行うようにしているので、簡単でしかも演算量が少ない画像処理により、屈曲または蛇行したり、管径が変化する血管のような複雑な形状（構造）を有する場合にも、精度良くその形状（構造）を抽出することができる。また、演算量が少ない画像処理で済むため、処理画像を表示するまでに短時間で済む。

なお、上述した実施形態においては血管候補の抽出処理は、フィルタリング処理の出力値に対する最大値探索を行う処理により構成されると説明したが、血管候補の抽出処理は、フィルタリング処理と最大値探索処理により構成されると定義しても良い。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。本実施形態は、第１の実施形態とハードウェア上の構成は同じ（後述する第３，第４の実施形態も同様）である。本実施形態は、第１の実施形態において、血管が分岐している部分を抽出する機能を追加したものである。

このため、本実施形態におけるフィルタ記憶部３９は、図１２に示すように第１の実施形態における複数の１次元フィルタの情報を格納するものに対応する１次元フィルタの情報記憶部３９ａの他に、さらに分岐部分を検出（抽出）するための１次元フィルタにより構成される分岐検出用フィルタの情報を格納する分岐検出用フィルタの情報記憶部３９ｂを備えている。以下においては、第１の実施形態における複数の１次元フィルタを、血管の横断面の谷構造に対応した形状の谷構造フィルタと呼ぶ。

なお、図１２中における括弧で示す幅広谷構造フィルタは、分岐検出用フィルタの代わりに用いることができる変形例の１次元フィルタを示す。

第１の実施形態においては、分岐を考慮していない場合における血管の横断面の谷構造に対応した形状の谷構造フィルタを用いていたが、本実施形態においては分岐した部分を検出（抽出）するための分岐検出用フィルタをさらに用いる。

分岐検出用フィルタとして、例えば、ｎ個の１次元分岐形状フィルタをＭ個の走行方向に配置したｎ×Ｍ個のフィルタ係数ｆｄｂを、上述したフィルタ係数ｆｄｗに追加して使用される。

そして、本実施形態は、図１３に示すような処理手順で血管を抽出するための処理を行う。

図１３におけるステップＳ１及びＳ２は図３と同じ処理である。また、本実施形態におけるステップＳ３′のフィルタリング処理においては、上述した第１の実施形態で説明した複数の１次元フィルタ（谷構造フィルタ）を用いたフィルタリング処理の他に、分岐検出用フィルタを用いても同様に行う。

さらに補足説明すると、第１の実施形態においては、フィルタリング処理として図８に示したステップＳ３１においてＮ×Ｍ個のフィルタ係数ｆｄｗを用いてフィルタリング処理を行ったが、本実施形態においては、さらにｎ×Ｍ個のフィルタ係数ｆｄｂを用いてフィルタリング処理を行う。つまり、（ｎ＋Ｎ）×Ｍのフィルタリング処理を行う。なお、図８のＮを（ｎ＋Ｎ）に置換すると、図８と同様の処理となる。

また、次のステップＳ４′においても、上述したステップＳ４の処理の他に、分岐検出用フィルタを用いた場合の出力値Ｖｋｄｂから血管の特徴量を選択（抽出）する。

このように谷構造フィルタの他に，分岐検出用フィルタを用意して、当該分岐検出用フィルタでフィルタリング処理した出力値が、例えば第２の所定値以上に大きくなる画素を血管画素として、谷構造フィルタでフィルタリング処理した結果に追加して抽出することで，分岐等によって谷構造フィルタでは抽出することができなかった血管画素を抽出するように補正することができる。

このようにして抽出された血管の特徴量に対して、ステップＳ５′において判定基準に合致するか否かにより血管特徴量の判定、つまり血管画素か非血管画素かの判定を行う。

なお、ステップＳ５′における判定の処理においては、第１の実施形態で説明したように谷構造フィルタによる出力値が閾値を超えるか否かに応じて、その注目画素が血管画素か非血管画素かを判定した。

一方、分岐検出用フィルタの場合においては、複数の方向においてその出力値が閾値を超えるか否かに応じて、その注目画素が血管画素か非血管画素かを判定する判定基準を用いる。例えば，分岐検出用フィルタの出力結果が複数の方向において予め設定した閾値Ｔｗ（例えばＴｗ＝０．００３）を超える出力値であった場合はその画素を血管画素として、谷構造フィルタによる血管画素を追加補正する。このようにしてステップＳ６に示すように血管領域が決定する。なお、判定基準は、上記閾値Ｔｗの場合に限定されるものでなく、異なる閾値、例えば上記閾値Ｔｗと異なる第２の閾値等に設定しても良い。

そして、図３のステップＳ７に進み、処理結果の記録、表示を行う。

以上説明した本実施形態によれば、第１の実施形態と同様の効果を有すると共に、第１の実施形態では抽出し難い血管が分岐している部分を精度良く抽出することができる効果を有する。本実施形態も複数の１次元フィルタを用いたフィルタリング処理を採用するため、少ない演算量で済む。

なお、本実施形態の変形例として、分岐検出用フィルタの代わりに、谷構造フィルタの場合よりも、幅が広い谷構造を抽出（検出）するための幅広谷構造フィルタ（又は幅広谷形状フィルタ）を用いても良い。また、下に凸となる谷構造以外（例えが上に凸となる構造）にも適用可能である。

分岐検出用フィルタの代わりに、幅広谷構造フィルタを用いた場合の処理は、上述した分岐検出用フィルタを用いた場合と同様である。

例えば、図８のステップＳ３１におけるフィルタリング処理として、谷構造フィルタの他に、画像内に存在すると想定される血管の幅よりも幅の広い谷構造を抽出するための上記幅広谷構造フィルタを用いてフィルタリング処理を行う。

そして、第１の実施形態における谷構造フィルタの出力値の他に、幅広谷構造フィルタの出力値を用いることにより、第１の実施形態における血管の特徴量の選択結果を補正することができる。

例えば，幅広谷構造フィルタの出力結果が複数の方向において予め設定した閾値Tｗ（例えばＴｗ＝０．００３）以上の出力であった場合はその画素を血管画素として追加する。

また、谷構想フィルタの出力値が最大となる方向と、幅広谷構造検出フィルタの検出結果が同じ方向を示した場合に，その画素が谷構想フィルタからは血管の画素として抽出されない非血管候補の画素の場合においても血管画素に追加しても良い。

なお、谷構造フィルタにおける横断面の幅のサイズより広い幅広谷構造フィルタ又は分岐した部分の形状に合わせた形状のフィルタを用意し、両方又はその一方を選択して、上記の分岐検出用フィルタとして使用できるようにしても良い。両方を適用することにより、分岐した部分をより確実に抽出することができる。また、分岐した部分の他に、蛇行した部分を検出するために蛇行した形状に合わせた蛇行検出用フィルタを用意しても良い。

また、分岐検出用フィルタ或いは蛇行検出用フィルタ（つまり分岐・蛇行検出用フィルタ）として、例えば１次元フィルタのものの他に、１次元フィルタから外れるが１次元フィルタを複数の係数要素数を１行に配置したものとした場合、２、３行以内とした１次元フィルタに近い２次元フィルタを用いるようにしても良い。この２次元フィルタを１次元フィルタに準じたフィルタと言う。

例えば、分岐・蛇行検出用フィルタとして、例えば１次元フィルタのものの方向がｄである場合のフィルタ係数を｛０，０．１，−０．２，−０．６，−０．２，０．１，０｝とした場合、１次元フィルタに準じたフィルタのフィルタ係数を３行からなる｛０，０．０５，−０．１，−０．３，−０．１，−０．０５，０｝，｛０，０．１，−０．２，−０．６，−０．２，０．１，０｝，｛０，０．０５，−０．１，−０．３，−０．１，−０．０５，０｝に拡張したものを用意して、分岐又は蛇行した部分をより確実に抽出することができるようにしても良い。

また、１次元フィルタのものと、１次元フィルタに準じた２次元フィルタのものとを用意し、分岐・蛇行検出用フィルタとして実際に使用する場合にその一方を術者等が選択できるようにしても良い。

なお、１次元フィルタに準じたフィルタとしての２次元フィルタのものを分岐・蛇行検出用フィルタとして実際に使用する場合に対して説明したが、分岐や蛇行した部分を検出する場合に限定されるものでなく、１次元フィルタに準じたフィルタとしての２次元フィルタを抽出対象の粘膜表面構造に対して適用しても良い。

なお、図１０に示したステップＳ４１の最大値探索の処理において、g/r値と、谷構造を変形して特徴量化し、フィルタ出力値の補助として利用するようにしても良い。例えば、フィルタ出力値が小さい画素に対して、g/r値が予め設定した閾値Tｇｒ（例えばＴｇｒ＝０．０１）以下のもの、又は近傍との比較によりg/r値が谷構造を持つ画素を血管画素として追加するようにしても良い。

（第３の実施形態）
次に本発明の第３の実施形態を説明する。本実施形態は、注目画素に対する特徴量の判定結果を、その周辺画素の情報を利用して補正するものである。上述した実施形態で説明したように、フィルタリング処理した出力値が最大となるフィルタ係数ｆDWの幅と方向を、注目画素の血管幅と走行方向の情報として決定する。

これにより、少ない演算量で注目画素の血管幅と走行方向として決定することが可能になる。しかし、入力画像における注目画素の画素信号値（ｇ／ｒ値）に、除去できなかったノイズが重畳すると、注目画素において血管幅又は走行方向が急激に変化する判定結果となることが有り得る。

単一の血管上で隣接する血管画素の幅や走行方向は、例えば連続して幅５であったものがある1点においてのみ幅９となることや、ｄ_４の方向に走行していた血管がある1点においてのみ方向がｄ_２になること等、急激な変動はないであろうと想定して、幅と方向の補正を行う。

この補正を行うため、本実施形態においては、注目画素周辺の結果を利用して特徴量の判定結果を補正する。この補正を行うために、本実施形態におけるＣＰＵ２２は、第１の実施形態の構成において、例えば図２に示した補正部３５により上記の補正を行う。

本実施形態における処理内容は図１４に示すようになる。

図１４におけるステップＳ１−Ｓ３は、図３において説明した処理と同様である。また、ステップＳ４１さらにステップＳ４２は図１０で説明した閾値を用いた比較を行う処理と同様である。ステップＳ４２の比較結果に対する処理はステップＳ４３′、ステップＳ４４′に示すようにステップＳ４３、ステップＳ４４とは若干異なる。

上述した第１の実施形態においてはフィルタリング処理した出力値の最大値が閾値を超えるか否かに応じて、図１０のステップＳ４３，Ｓ４４に示すように注目画素が血管画素であるか非血管画素であるかの判定を行っていたが、本実施形態においては、図１４のステップＳ４３′、ステップＳ４４′に示すように、その判定結果により注目画素が補正前の血管画素（血管候補画素とも言う）であるか補正前の非血管画素（非血管候補画素とも言う）であると判定する。

なお、図１４におけるステップＳ４２における閾値Ｔを、第１の実施形態における閾値Ｔとは異なる値、つまり上記判定基準と異なる第２の判定基準に設定して、（血管候補画素であるか非血管候補画素であると判定するための）比較を行うようにしても良い。換言すると、図１４におけるステップＳ４２は、第１の実施形態の判定基準と異なる第２の判定基準とを用いた判定を行うようにしても良い。

ステップＳ４３′、ステップＳ４４′により血管候補画素、非血管候補画素が判定され、ステップＳ５１に示すように血管候補画素（補正前の血管画素）及び非血管候補画素（補正前の非血管画素）が抽出される。

そして、次のステップＳ５２においてＣＰＵ２２（による図２に示した補正部３５）は、血管候補画素、非血管候補画素に対して血管画素、非血管画素であるか否かを判定に対する判定の処理を行う。本実施形態におけるステップＳ５２の処理は、第１の実施形態における血管画素、非血管画素と判定された結果を実質的に補正するため、判定の処理は、補正処理とも言える。

ステップＳ５２による上記候補判定の処理後に、ステップＳ６に示すように特徴量が算出（血管領域が決定）され、さらにステップＳ７の処理が行われる。ステップＳ６，Ｓ７は図３と同じ処理である。

次にステップＳ５２の判定の処理としては、例えば以下のような処理により、補正部３５を構成する走行方向補正部３５ｂは実質的に走行方向の補正の処理を行う。

まず、血管候補画素（補正前の血管画素）からなる血管候補領域を１、血管候補画素以外の領域を０とし、細線化の処理を行うことで血管芯線を抽出する。

次に、血管芯線の中から注目画素Ｐｋを選択し、その注目画素Ｐｋ（の観測値ｐｋ）の血管の走行方向の情報をｄK１とし、その隣の芯線の走行方向の情報をｄK２とする。

走行方向の情報ｄK１とｄK２のなす角度が９０°の場合、注目画素Ｐｋ又は隣の芯線の画素の血管の走行方向の情報ｄK１又はｄK２をフィルタリング処理の出力値が２番目に大きいフィルタ係数の方向として修正する補正処理を行う。

なお、血管芯線の抽出は、フィルタリング処理の出力値を用いて決定する場合に限らず、極値収束法を用いて領域分割した際の境界と抽出された血管候補領域との比較により決定しても良い。

以上の処理により、単一の血管上での走行方向の誤認識を修正することができる。その他、第１の実施形態と同様の効果を有する。

なお、注目画素Ｐｋにおける芯線の走行方向に沿って注目画素Ｐｋに隣り合う例えば２つの隣接画素（より広義には複数の近傍画素）の血管の走行方向の情報をｄK２ｌ、ｄK２ｒとして、ｄK２ｌ、ｄK２ｒが一致した条件、つまりｄK２ｌ＝ｄK２ｒ（＝ｄK２）を満たす場合において、注目画素Ｐｋ走行方向の情報ｄK１とｄK２のなす角度が９０°の場合、注目画素Ｐｋの血管の走行方向の情報ｄK１をフィルタリング処理の出力値が２番目に大きいフィルタ係数の方向として修正する補正処理を行うようにしても良い。

このように注目画素における血管の走行方向の情報が、その血管の芯線方向に隣合う複数の近傍画素における血管の走行方向の情報と予め設定された閾値以上異なる場合において、注目画素における血管の走行方向の情報を補正することを行うようにしても良い。

以上は、血管の走行方向の補正を行う場合を説明したが、図２の補正部３５を構成する幅補正部３５ａは、血管の幅を以下のように補正する。

例えば注目画素Ｐｋにおける芯線の走行方向に沿って隣り合う例えば２つの隣接画素（より広義には複数の近傍画素）の血管の幅の情報をｗK２ｌ、ｗK２ｒとして、ｗK２ｌ、ｗK２ｒが一致した条件、つまｗK２ｌ＝ｗK２ｒ（＝ｗK２）を満たす場合において、注目画素Ｐｋの幅の情報ｗK１とｗK２との差の絶対値が、予め設定された閾値以上の場合、注目画素Ｐｋの血管の幅の情報ｗK１を隣接画素の値に修正する補正処理を行うようにしても良い。

このように注目画素における血管の幅の情報が、その血管の芯線方向に隣合う複数の近傍画素における血管の幅の情報と予め設定された閾値以上異なる場合において、注目画素における血管の幅の情報を補正することを行うようにしても良い。

なお、上述の実施形態における図１４のステップＳ４２による判定処理に応じてＳ４３′、Ｓ４４′において、注目画素Ｐｋが血管候補画素及び非血管候補画素と決定していた。このように決定する代わりに、第１の実施形態のように血管画素及び非血管画素と決定し、決定した血管画素及び非血管画素（但し補正前の血管画素及び補正前の非血管画素）に対して、ステップＳ５２により補正前の血管画素及び補正前の非血管画素補正を行うことにより、補正済みの血管画素及び非血管画素を決定する（図１４のステップＳ６に相当）ようにしても良い。

（第４の実施形態）
次に本発明の第４の実施形態を説明する。本実施形態は、特徴量判定により判定された血管画素及び非血管画素に対して注目画素の近傍の複数画素の情報を用いて補正する。本実施形態の全体の処理内容は、第３の実施形態で説明した図１４と同様であるため、本実施形態の全体の処理内容を図示しない。但し、本実施形態においては、図１４におけるステップＳ５２の判定の処理内容が第３の実施形態の場合と異なる。

本実施形態は、上述した第３の実施形態と同様に図１４におけるステップＳ４３′、Ｓ４４′の処理により血管候補画素と非血管候補画素とを判定することにより、ステップＳ５１に示すように血管及び非血管候補画素を抽出する。換言すると、血管候補画素からなる血管候補領域と非血管候補画素からなる非血管候補領域とが抽出される。

そして、本実施形態においては、ステップＳ５２の候補判定の処理において、血管候補領域（補正前の血管領域）と非血管候補領域（補正前の非血管領域）の注目画素Ｐｋを中央に含む近傍領域（局所領域）の各画素に対して図１５及び図１６に示すように血管候補、非血管候補の画素数をカウント（計数）し、図１７に示すようにカウント数に応じて注目画素Ｐｋ（観測値ｐｋ）が血管又は非血管であるかを判定する処理を行う。

図１５及び図１６は、近傍領域における血管候補、非血管候補の画素数をカウント（計数）して、補正する処理（その具体的な処理内容は図１７）を示す。図１５による処理の概略を説明すると、
（ｉ）血管の走行方向の情報が既知である場合、
（ａ）近傍画素が血管候補画素である場合には、近傍画素の走行方向に注目画素が位置し、かつ、着目画素の走行方向の情報が近傍画素の走行方向の情報と一致する場合、近傍画素を血管候補画素としてカウントする。

（ｂ）近傍画素が非血管候補画素である場合には、近傍画素の走行方向に注目画素が位置し、かつ、注目画素の走行方向の情報が近傍画素の走行方向と一致しない場合、近傍画素を非血管候補画素としてカウントする。

また、図１６による処理の概略を説明すると、
（ｉｉ）血管の幅の情報が既知である場合、
（ｃ）近傍画素が血管候補画素である場合には、注目画素の幅と近傍画素の幅の差が閾値T２未満の場合、近傍画素を血管候補画素としてカウントする。

（ｄ）近傍画素が非血管候補画素である場合には、注目画素の幅と近傍画素の幅の差が閾値T２以上の場合、近傍画素を非血管候補画素としてカウントする。

さらに、上記（ａ）〜（ｄ）の各条件が１画素以上で満足する場合、（ａ）、（ｃ）、（ｂ）、（ｄ）の順で優先的に血管候補画素／非血管候補画素のカウントを行い、さらにカウントした結果を条件として図１７で示すように血管画素、非血管画素の補正をする。
なお、上述した（ａ）と（ｂ）、又は（ｃ）と（ｄ）は、互いに排他的な関係にあるため、近傍において条件を満たす画素数が多いものを採用する等の組合せをしてもよいし、最も条件が一致した数が多かった場合の出力を利用してもよい。

次に図１５の処理を詳細に説明する。最初のステップＳ６１において、ＣＰＵ２２は、例えば注目画素を含むその近傍の近傍領域（例えば注目画素を中心に配置した３×３の画素サイズ）において、血管の走行方向の情報が既知であるか否かの判定を行う。

この判定は、例えば近傍領域（局所領域）において血管候補領域に属する画素が複数存在し、それら複数の画素における血管の走行方向の情報が、予め設定された閾値以内のばらつきに収まる場合には、近傍領域に含まれる近傍画素における血管の走行方向の情報が既知であるとする。

一方、閾値以内のばらつきに収まらない場合には、ＣＰＵ２２は、血管の走行方向の情報が既知でないと判定し、図１５の処理を終了する。

血管の走行方向が既知と判定された場合には、次のステップＳ６２においてＣＰＵ２２は、注目画素の近傍画素が血管候補の画素であるか否かの判定を行う。注目画素の近傍画素が血管候補の画素である判定結果の場合には、次のステップＳ６３においてＣＰＵ２２は、近傍画素の走行方向に注目画素が在るか否かの判定を行う。

近傍画素の走行方向に注目画素が在る判定結果の場合には、次のステップＳ６４においてＣＰＵ２２は、近傍画素の走行方向が注目画素の走行方向と一致している（同じである）か否かの判定を行う。

近傍画素の走行方向が注目画素の走行方向と一致している判定結果の場合には、次のステップＳ６５においてＣＰＵ２２は、血管候補の画素のカウント数（図１５中では血管候補数と略記）に１を加算する。つまり、当該近傍画素を血管候補の画素としてカウントする。なお、この血管候補の画素のカウント数の初期値は０に設定されている。

一方、ステップＳ６２、Ｓ６３，Ｓ６４において、注目画素の近傍画素が血管候補の画素でない判定結果、近傍画素の走行方向に注目画素が無い判定結果、近傍画素の走行方向と注目画素の走行方向とが一致しない判定結果の場合には、ステップＳ６６においてＣＰＵ２２は、非血管候補の画素のカウント数（図１５中では非血管候補数と略記）に１加算する。つまり、当該近傍画素を非血管候補の画素としてカウントする。なお、この非血管候補の画素のカウント数の初期値は０に設定されている。

ステップＳ６５、Ｓ６６の処理の後、ステップＳ６７においてＣＰＵ２２は、注目画素の近傍領域の全画素を探索済みであるか否かの判定を行い、近傍領域の全画素を探索済みでない場合には残りの近傍画素に対して、ステップＳ６１−Ｓ６７の処理を繰り返す。

一方、近傍領域の全画素に対して上述したステップＳ６１−Ｓ６７の処理を行った場合には、ステップＳ６８においてＣＰＵ２２は、補正の処理を行い、図１５の処理を終了する。ステップＳ６８の処理に関しては、図１７にて後述する。

なお、ステップＳ６４の判定処理により、近傍画素の走行方向が注目画素の走行方向と一致しない判定結果の場合には、さらに近傍画素の走行方向が注目画素の走行方向と直交しているか否かを判定し、直交している場合に非血管候補の画素数に１加算するようにしても良い。

図１６においては以下の処理を行う。最初のステップＳ７１においてＣＰＵ２２は、近傍画素での血管の幅の情報が既知であるか否かの判定を行う。この判定は、例えば近傍領域（局所領域）において血管候補領域に属する画素が複数存在し、それら複数の画素における血管の幅の情報が、予め設定された閾値以内のばらつきに収まる場合には、血管の幅が既知であるとする。

一方、閾値以内のばらつきに収まらない場合には、ＣＰＵ２２は、血管の幅が既知でないと判定し、図１６の処理を終了する。

血管の幅が既知と判定された場合には、次のステップＳ７２においてＣＰＵ２２は、注目画素の近傍画素が血管候補の画素であるか否かの判定を行う。注目画素の近傍画素が血管候補の画素である判定結果の場合には、次のステップＳ７３においてＣＰＵ２２は、近傍画素の血管の幅（の情報）と注目画素の血管の幅（の情報）との差（近傍画素と注目画素との幅との差と略記）が閾値Ｔ２未満であるか否かの判定を行う。

近傍画素と注目画素との幅との差が閾値Ｔ２未満である判定結果の場合には、次のステップＳ７４においてＣＰＵ２２は、血管候補の画素のカウント数に１加算する。つまり、当該近傍画素を血管候補の画素としてカウントする。なお、図１６の処理を開始した場合におけるこの血管候補の画素のカウント数の初期値は０に設定されている。

一方、ステップＳ７２、Ｓ７３において、注目画素の近傍画素が血管候補の画素でない判定結果、近傍画素と注目画素との幅との差が閾値Ｔ２未満で無い判定結果の場合には、ステップＳ７５においてＣＰＵ２２は、非血管候補の画素のカウント数に１を加算する。つまり、当該近傍画素を非血管候補の画素としてカウントする。なお、図１６の処理を開始した場合における非血管候補の画素のカウント数の初期値は０に設定されている。

ステップＳ７４、Ｓ７５の処理の後、ステップＳ７６においてＣＰＵ２２は、注目画素の近傍領域の全画素を探索済みであるか否かの判定を行い、近傍領域の全画素を探索済みでない場合には残りの近傍画素に対して、ステップＳ７１−Ｓ７６の処理を繰り返す。

一方、近傍領域の全画素に対して上述したステップＳ７１−Ｓ７６の処理を行った場合には、ステップＳ７７においてＣＰＵ２２は、候補補正の処理を行い、図１６の処理を終了する。

次に図１７を参照して図１５のステップＳ６８及び図１６のステップＳ７７の補正の処理を説明する。

補正の処理が開始すると、最初のステップＳ８１においてＣＰＵ２２は、注目画素の近傍領域における血管候補の画素数が非血管候補の画素数以上であるか否かの判定を行う。血管候補の画素数をＮｖ、非血管候補の画素数をＮｎｖとした場合には、ＣＰＵ２２は、Ｎｖ≧Ｎｎｖの条件を満たすか否かの判定を行う。血管候補の画素数が非血管候補の画素数以上の場合には、次のステップＳ８２においてＣＰＵ２２は、注目画素Ｐｋを血管画素と判定する。

一方、血管候補の画素数が非血管候補の画素数以上の条件を満たさない場合には、ステップＳ８３においてＣＰＵ２２は、注目画素Ｐｋを非血管画素と判定する。そして、図１７の処理を終了する。

なお、図１５の処理による画素数Ｎｖ、Ｎｎｖと図１６処理による画素数Ｎｖ、Ｎｎｖとが異なるような場合には、上記のＮｖ≧Ｎｎｖか否かの判定の条件をより十分に満たす場合（具体的には両画素数間の大小関係の差が大きいもの）を採用する。

このように処理する本実施形態は、注目画素の近傍領域における全体的な特徴量となる血管候補数、非血管候補数の情報を用いて、注目画素を補正するようにしている。

従って、谷構造フィルタを用いて、血管の抽出結果に、血管の途切れが発生した場合の途切れの改善や、血管端の輪郭の抽出を可能にしたり、急激に幅が変化するような線構造ではない領域を抽出してしまうことを抑制する等が可能となる。その他、第１の実施形態と同様の効果を有する。

なお、本実施形態においても、血管候補画素、非血管候補画素に対して、補正を行う場合に限らす、第３の実施形態において述べたように、血管画素、非血管画素に対して補正を行うようにしても良い。

また、上述した近傍領域又は局所領域は、注目画素を中心に配置した３×３の矩形の画素サイズに限定されるものでなく、領域のサイズ、形状も異なるものを設定しても良い。

なお、図１４のステップＳ５２の処理を行う場合、図１６及び図１７の両方を行う場合に限らず、一方のみを行うようにしても良い。

また、図１６及び図１７の判定の処理を行う場合、注目画素を選択的に設定するようにして、判定の処理を行う場合の着目する着目画素に対してのみ、判定の処理を行うようにしても良い。

なお、上述した実施形態、例えば図３のステップＳ５の特徴量判定又は図１０のステップＳ４２−Ｓ４４により血管と非血管とを判定する場合、このような判定に用いられる入力画像内の局所的な色調変化の影響を受け易く、血管の特徴量の抽出機能を低下させる場合がある。このような低下を抑制する補正を、以下に説明する。

例えば、図２に示すようにＣＰＵ２２により、注目画素Ｐｋを含む局所領域における複数画素の画素信号値に関する統計量を算出する統計量算出手段としての統計量算出部（より具体的には平均値算出部）３６と、統計量を用いて特徴量候補等を補正する補正手段としての補正部３６ａとを設ける。

上述した実施形態においては、Ｇ／Ｒ画像におけるｇ／ｒ値を採用しているが、個々の画素での値を採用しているため、ノイズの影響を受け易い。そのため、注目画素を含む局所領域の複数画素における色調の平均値（換言すると統計量）を用いた補正値を用いて補正することで、色調変化の影響を軽減することができる。

例えば、統計量算出部３６は、任意に選択した注目画素Ｐｋを中心とした例えば５１×５１画素の矩形領域のＧ／Ｒ平均値（Ｇ／Ｒ_ａｖｅ）を算出し、例えば以下の式（４）に示す補正式に代入することで、補正部３６ａは、色調変化の影響を軽減した補正特徴量を得て、特徴量を補正する。

補正特徴量＝特徴量／(−0.0271・G/R_ave ^２＋0.02・G/R_ave−0.0008) （４）
ただし、補正対象の特徴量としては、フィルタリング処理の出力値でも良いし、特徴量を算出するための入力画像のｇ／ｒ値に適用しても良い。また、補正対象の特徴量に応じて、式（４）の各係数は変更してもよい。また、上記矩形領域は、５１×５１画素の場合に限定されるものでなく、より小さい矩形領域等でも良い。また、統計量を用いて補正する方法は、統計量により特徴量から抽出画素を判定する判定基準を補正する補正テーブルを用いても良い。

また、２次元の矩形領域等の局所領域の場合に限定されるものでなく、１次元の複数画素からなる局所領域でも良い。

この他に、血管候補／非血管候補を判定する閾値を、生体粘膜の平均値を用いた補正式で補正したり、閾値を補正する閾値を補正テーブルを用意し、この閾値補正テーブルに格納した閾値を用いて補正するようにしても良い。

また、上述した実施形態等においては、谷構造の場合に対して説明したが、本発明は、上に凸となる山構造の場合に対しても適用できる。この場合には、山構造の形状に対応した複数の１次元フィルタを用意すれば良い。そして、第１の実施形態において説明したようにフィルタリング処理の出力値が最大となるものを探索すれば良い。

また、谷構造に対応した複数の１次元フィルタを用いて上に凸となる山構造の場合に適用することもできる。この場合には、フィルタリング処理の出力値の絶対値が最大値となるものを探索すれば良い。また、上に凸の構造のみ探索又は抽出する場合には、フィルタリング処理の出力が最小値（出力が負の場合の絶対値が最大値）となるものか、又は出力の符号を反転した値を利用すれば良い。従って、上述したある画素における複数のフィルタ出力が最も合致する、最大値又は絶対値が最大となるものに設定しても良い。

さらに、上述した特徴量選択部３３がフィルタリング処理した場合の複数のフィルタ出力の絶対値が最大になる場合のフィルタから特徴量を選択する場合に限定されるものでなく、他の選択基準を採用しても良い。その理由は以下のようになる。

例えばフィルタAにより最も合致した場合の値は１で、フィルタBでは２であるとすると、フィルタチング処理により実際に算出されたフィルタAの出力が０．８で、フィルタB場合には出力が１．２となる場合を考える。最大値の選択基準を適用すると、０．８＜１．２となるのでフィルタBが選択される。しかし、合致率を選択基準と考えると単純計算でフィルタBは1.2／2＝０．６＜０．８となるので、フィルタAの方が、選択すべきフィルタにより合致している。

このため、特徴量選択部３３が、フィルタリング手段により算出された複数のフィルタ出力を比較し、設定された選択基準に基づき（比較結果が選択基準に最も反応又は適合する）生体粘膜構造の特徴量を選択するようにしても良い。

また、前記抽出対象の粘膜表面構造としては、血管、上皮構造に限定されるものでなく、大腸の表面、パターン（表面構造）、ピットパターン、胃でいうＭＣＬ，Light blue crest,ピット、窩間部等の様々な場合に広く適用できる。

なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。

本出願は、２０１１年４月２７日に日本国に出願された特願２０１１−０９９８５０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

本発明は医用画像に対する画像処理により血管の構造等の粘膜模様を抽出する医用画像処理装置に関する。

本発明は上述した点に鑑みてなされたもので、分岐や蛇行したり、管径が変化する複雑な形状を有する場合においても適用でき、精度良くその構造を抽出することができる医用画像処理装置を提供することを目的とする。

本発明の一態様の医用画像処理装置は、生体粘膜を撮像して得られる医用画像情報を入力する入力部と、前記医用画像情報における複数の画素の各々に対して異なる複数のフィルタを適用し、前記生体粘膜の表面構造に対応した少なくとも１種類の特徴情報を前記複数のフィルタ毎に抽出するための演算を行うフィルタリング部と、前記複数の画素の各々において、前記フィルタリング部による演算結果から前記複数のフィルタのうち最も反応したフィルタに対応する前記少なくとも１種類の特徴情報を選択する選択部と、前記選択部によって選択された少なくとも１種類の特徴情報から、前記複数の画素の各々が粘膜表面構造候補画素であるか非粘膜表面構造候補画素であるかを判定する判定部と、前記判定部における判定結果または前記選択部において選択された少なくとも１種類の特徴情報を補正する補正部と、を備える。

本発明の一態様の医用画像処理装置は、生体粘膜を撮像して得られる複数の画素からなる医用画像情報を入力する入力部と、前記医用画像情報の複数の画素における注目画素に対して前記生体粘膜の表面構造の走行方向と幅のうち少なくとも一方の情報を含む第１のフィルタを適用することにより前記注目画素の第１の特徴情報を取得し、さらに前記注目画素に対して表面構造の走行方向と幅のうち少なくとも一方の情報を含む第２のフィルタを適用することにより前記注目画素の第２の特徴情報を取得し、さらに前記注目画素の近傍に位置する近傍画素に前記第１のフィルタを適用することにより前記近傍画素の第３の特徴情報を取得し、さらに前記近傍画素に前記第２のフィルタを適用することにより前記近傍画素の第４の特徴情報を取得するフィルタリング部と、前記注目画素の第１の特徴情報および前記注目画素の第２の特徴情報に基づき前記第１のフィルタ及び前記第２のフィルタのうち前記注目画素においてより反応したフィルタを選択し、さらに前記近傍画素の第３の特徴情報および前記近傍画素の第４の特徴情報に基づき前記第１のフィルタ及び前記第２のフィルタのうち前記近傍画素においてより反応したフィルタを選択する選択部と、前記注目画素において前記選択部によって選択されたフィルタに対応する特徴情報に基づき前記注目画素が表面構造候補画素であるか非粘膜表面構造候補画素であるかを判定し、さらに前記近傍画素において前記選択部によって選択されたフィルタに対応する特徴情報に基づき前記近傍画素が表面構造候補画素であるか非粘膜表面構造候補画素であるかを判定する判定部と、前記判定部により判定された前記注目画素における判定結果及び前記近傍画素における判定結果と、前記注目画素において前記選択部により選択されたフィルタが含む前記表面構造の走行方向と幅のうち少なくとも一方の情報および前記近傍画素において前記選択部により選択されたフィルタが含む前記表面構造の走行方向と幅のうち少なくとも一方の情報と、に基づき前記注目画素になされた前記判定部における判定結果を補正する補正部と、を有する。

本発明の一態様の医用画像処理装置は、生体粘膜を撮像して得られる複数の画素からなる医用画像情報を入力する入力部と、前記医用画像情報の複数の画素における注目画素に対して前記生体粘膜の表面構造の走行方向と幅のうち少なくとも一方の情報を含む第１のフィルタを適用することにより前記注目画素の第１の特徴情報を取得し、さらに前記注目画素に対して表面構造の走行方向と幅のうち少なくとも一方の情報を含む第２のフィルタを適用することにより前記注目画素の第２の特徴情報を取得し、さらに前記注目画素の近傍に位置する近傍画素に前記第１のフィルタを適用することにより前記近傍画素の第３の特徴情報を取得し、さらに前記近傍画素に前記第２のフィルタを適用することにより前記近傍画素の第４の特徴情報を取得するフィルタリング部と、前記注目画素の第１の特徴情報および前記注目画素の第２の特徴情報に基づき前記第１のフィルタ及び前記第２のフィルタのうち前記注目画素においてより反応したフィルタを選択し、さらに前記近傍画素の第３の特徴情報および前記近傍画素の第４の特徴情報に基づき前記第１のフィルタ及び前記第２のフィルタのうち前記近傍画素においてより反応したフィルタを選択する選択部と、前記注目画素において前記選択部によって選択されたフィルタに対応する特徴情報に基づき前記注目画素が表面構造候補画素であるか非粘膜表面構造候補画素であるかを判定し、さらに前記近傍画素において前記選択部によって選択されたフィルタに対応する特徴情報に基づき前記近傍画素が表面構造候補画素であるか非粘膜表面構造候補画素であるかを判定する判定部と、前記判定部により判定された前記注目画素における判定結果及び前記近傍画素における判定結果と、前記注目画素において前記選択部により選択されたフィルタが含む前記表面構造の走行方向と幅のうち少なくとも一方の情報および前記近傍画素において前記選択部により選択されたフィルタが含む前記表面構造の走行方向と幅のうち少なくとも一方の情報と、に基づき前記注目画素になされた前記判定部における判定結果を補正し、さらに、前記判定部により前記表面構造候補画素であると判断された近傍画素が複数存在し、前記複数の近傍画素において前記選択部により選択されたフィルタが含む前記表面構造の走行方向と幅のうち少なくとも一方の情報が所定の閾値以内のばらつきに収まる場合においてのみ前記判定結果を補正する補正部と、を有する。

Claims (22)

1. 医療機器により撮像された医用画像を入力する画像入力部と、
   前記医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造に応じて設定され、前記粘膜表面構造の横断面に対する濃度変化を検出するために用意される互いに異なる複数の横断面に対する濃度変化のサイズと、前記粘膜表面構造の表面的に走行している方向を検出するために用意される互いに異なる複数の方向と、に対応した複数のフィルタと、
   前記複数のフィルタを用いて、前記注目画素を含む前記局所領域に対して前記粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリング部と、
   前記フィルタリング部による演算により、ある画素における複数のフィルタ出力のうち該画素に最も反応したフィルタから前記粘膜表面構造の特徴量を選択する特微量選択部と、
   選択された前記特微量に対して該特徴量が前記粘膜表面構造の特徴を含むか否かを判定する判定部と、
   を備え、
   前記複数のフィルタは、Ｎを１以上、Ｍを２以上の整数として、前記複数の横断面に対する濃度変化のサイズに対応して用意されるＮ個のフィルタを、前記横断面に対する濃度変化の方向と直交する方向に対応して用意されるＭ個の方向にそれぞれ配置したＮ×Ｍ個からなることを特徴とする医用画像処理装置。
2. 前記複数のフィルタは、複数の１次元フィルタないしはそれに準じたフィルタにより構成されることを特徴とする請求項１に記載の医用画像処理装置。
3. 前記特徴量選択部は、前記フィルタリング部により算出された複数のフィルタ出力を比較し、所定の選択基準に基づき前記粘膜表面構造の特徴量を選択することを特徴とする請求項１に記載の医用画像処理装置。
4. 前記判定部は、前記特徴量が判定基準に合致するか否かに応じて、前記注目画素が抽出対象の粘膜表面構造であるか否かの判定を行うことを特徴とする請求項１に記載の医用画像処理装置。
5. 前記判定基準は、特徴量判定用の閾値であり、前記判定部は、前記特徴量が前記閾値以上であるか否かに応じて、前記注目画素が抽出対象の粘膜表面構造であるか否かの判定を行うことを特徴とする請求項４に記載の医用画像処理装置。
6. 前記フィルタリング部による演算により、ある画素における複数のフィルタ出力のうち前記所定値を生成するフィルタから、前記注目画素における前記粘膜表面構造の方向を推定する方向推定部を有することを特徴とする請求項１に記載の医用画像処理装置。
7. 前記所定値は、最大値又は絶対値が最大値であることを特徴とする請求項６に記載の医用画像処理装置。
8. 前記フィルタリング部による演算により、ある画素における複数のフィルタ出力のうち前記所定値を生成するフィルタから、前記注目画素における前記粘膜表面構造の横断面に対する濃度変化の幅を推定する幅推定部を有することを特徴とする請求項１に記載の医用画像処理装置。
9. 前記所定値は、最大値又は絶対値が最大値であることを特徴とする請求項８に記載の医用画像処理装置。
10. さらに、前記注目画素に対して、該注目画素を含む２次元の近傍領域を設定し、前記近傍領域における前記特徴を含む画素の第１の画素と、前記特徴を含まない第２の画素の比較結果に応じて前記注目画素の特徴量及び情報を補正する補正部を有することを特徴とする請求項４に記載の医用画像処理装置。
11. 前記抽出対象の粘膜表面構造は、血管、上皮構造、ピット、窩間部におけるいずれかの抽出対象構造であり、前記判定部又は該判定部とは異なる第２の判定部は、前記判定基準又は該判定基準とは異なる第２の判定基準に合致するか否かに応じて、前記注目画素が抽出対象構造を表す抽出対象構造画素であるか、抽出対象構造以外表す非抽出対象構造画素であるかを判定することを特徴とする請求項４に記載の医用画像処理装置。
12. さらに、前記注目画素に対して、該注目画素を含む２次元の近傍領域を設定し、前記近傍領域における前記抽出対象構造画素の第１の画素数と、非抽出対象構造画素の第２画素数を計数し、前記第１及び第２の画素数の比較結果に応じて前記注目画素の情報を補正する補正部を有することを特徴とする請求項１１に記載の医用画像処理装置。
13. さらに、前記抽出対象の粘膜表面構造が１つの走行方向から分岐した分岐部分または走行方向が蛇行した蛇行部分の粘膜表面構造を抽出するために、前記複数のフィルタにおける前記横断面に対する濃度変化の幅サイズよりも広い、又は分岐部分若しくは蛇行部分の形状に対応した形状の分岐・蛇行抽出用フィルタを有し、
    前記フィルタリング部は、前記複数のフィルタの他に、前記分岐・蛇行抽出用フィルタを用いて前記特微量を抽出するための演算を行うことを特徴とする請求項１に記載の医用画像処理装置。
14. 前記分岐・蛇行抽出用フィルタを用いた前記フィルタリング部による分岐・蛇行抽出用フィルタ出力が第２の所定値以上となる場合の画素を、前記特微量選択部により選択された特徴量の画素に追加することを特徴とする請求項１３に記載の医用画像処理装置。
15. 前記分岐・蛇行抽出用フィルタを用いた前記フィルタリング部による分岐・蛇行抽出用フィルタ出力が、複数の方向において閾値を超える判定結果の場合の画素を前記特徴量を有する画素であると判定することを特徴とする請求項１３に記載の医用画像処理装置。
16. 前記非抽出対象構造画素に対して、前記分岐・蛇行抽出用フィルタを用いた前記フィルタリング部による分岐・蛇行抽出用フィルタ出力から推定される方向が、前記複数のフィルタ出力から推定される方向と同じ方向となる場合には、当該非抽出対象構造画素を前記抽出対象構造画素として追加する補正を行うことを特徴とする請求項１３に記載の医用画像処理装置。
17. さらに、前記方向推定部により推定された前記注目画素における方向を、前記注目画素の近傍における複数画素において推定された方向により補正することを特徴とする請求項６に記載の医用画像処理装置。
18. さらに、前記幅推定部により推定された前記注目画素における前記粘膜表面構造の横断面に対する濃度変化の幅を、前記注目画素の近傍における複数画素において推定された前記粘膜表面構造の横断面に対する濃度変化の幅により補正することを特徴とする請求項８に記載の医用画像処理装置。
19. 前記特徴量選択部は、前記フィルタリング部により算出された複数のフィルタ出力を比較し、選択基準に基づき前記粘膜表面構造の特徴量を選択することを特徴とする請求項４に記載の医用画像処理装置。
20. さらに、前記複数のフィルタを記憶するフィルタ記憶部を有し、該フィルタ記憶部は、さらに前記粘膜表面構造の走行方向の分岐又は蛇行を検出するために、前記粘膜表面構造の横断面に対する濃度変化の幅のサイズとは異なる幅、又は形状のフィルタを記憶することを特徴とする請求項５に記載の医用画像処理装置。
21. 前記注目画素を含む前記局所領域における複数画素の画素信号値に関する統計量を算出する統計量算出部と、
    前記統計量を用いて前記特徴量候補を補正する補正部と、
    を備えることを特徴とする請求項１に記載の医用画像処理装置。
22. 医療機器により撮像された医用画像を入力する画像入力ステップと、
    前記医用画像から注目画素を含む複数の画素からなる局所領域に対して、抽出対象の粘膜表面構造に応じて設定され、前記粘膜表面構造の横断面に対する濃度変化を検出するために用意される互いに異なる複数の横断面に対する濃度変化のサイズと、前記粘膜表面構造の表面的に走行している方向を検出するために用意される互いに異なる複数の方向と、に対応した複数のフィルタを用いて、前記注目画素を含む前記局所領域に対して前記粘膜表面構造に対応した特微量を抽出するための演算を行うフィルタリングステップと、
    前記フィルタリングステップによる演算により、ある画素における複数のフィルタ出力のうち該画素に最も反応したフィルタから前記粘膜表面構造の特徴量を選択する特微量選択ステップと、
    選択された前記特微量に対して該特徴量が前記粘膜表面構造の特徴を含むか否かを判定する判定ステップと、
    を備え、
    前記複数のフィルタは、Ｎを１以上、Ｍを２以上の整数として、前記複数の横断面に対する濃度変化のサイズに対応して用意されるＮ個のフィルタを、前記横断面に対する濃度変化の方向と直交する方向に対応して用意されるＭ個の方向にそれぞれ配置したＮ×Ｍ個からなることを特徴とする医用画像処理方法。
    

Images