JP5749864B2 - 画像処理装置 - Google Patents

Description

本発明は、生体粘膜を撮像した医用画像に対して画像処理を行う画像処理装置に関する。

生体組織を撮像して得た医用画像の特徴量の算出結果に基づき、該医用画像において領域分割を行うことで所定の対象物が存在する領域を検出する技術が従来から利用されている。

例えば、日本国特開２００６−１４１７３４号公報には、被写体を撮像した画像信号に基づいて、二値化処理により生体粘膜微細構造を抽出し、生体粘膜微細構造にあたる画素の画素値を１、それ以外の画素の画素値を０として生成した二値化画像に対してラベリング処理を施し生体粘膜微差構造を構成する構成要素を識別し、構成要素毎の構造情報に基づいて生体粘膜微細構造の各要素に領域を割り当てる領域分割技術が開示されている。

また、日本国特表２０１１−５１６２００号公報には、網膜画像の１つ以上の血管の１つ以上の経路を自動的にトレースし、トレースした血管に含まれる血管セグメントを自動的に識別し、血管セグメントを使用して血管の特徴量を算出する技術が開示されている。

また、近年、内視鏡（カプセル型内視鏡も含む）システムの高解像度化、拡大内視鏡の普及、及び、狭帯域光観察の普及により、微細血管像及びｐｉｔ（腺口）構造等の生体粘膜微細構造の観察の重要性が高まっている。

生体組織における生体粘膜微細構造の形態及び分布情報は、正常組織と腫瘍組織との分別、さらには癌の深達度の推定等の病変の診断に有用である。これらの生体粘膜微細構造所見に対しては、様々な臓器、疾患に対して種々の分類に基づく診断学が提唱され、用いられている。 例えば、大腸ｐｉｔ ｐａｔｔｅｒｎの観察（例えば、工藤進英：「陥凹型早期大腸癌」、Ｍｏｎｔｈｌｙ Ｂｏｏｋ Ｇａｓｔｒｏ、全日本病院出版会、１９９３年５月１５日、第３巻、第５号、ｐ．４７−ｐ．５４を参照）や、胃の粘膜内微細血管所見であるＭＶ Ｐａｔｔｅｒｎ及び粘膜表面微細構造（上皮構造）所見であるＭＳ Ｐａｔｔｅｒｎ（例えば、八尾建史、松井敏幸：「胃拡大内視鏡」（２００９）を参照）や、食道の粘膜内微細血管所見であるＩＰＣＬ（例えば、井上晴洋、他５名：「食道疾患の拡大内視鏡診断」、消化器内視鏡、東京医学社、２００１年３月２５日、第１３号、第３号、ｐ．３０１−ｐ．３０８を参照）が知られている。また、明確な分類はないが気管支の血管所見も注目されている。

一方、このような診断は、主に医師の経験及び知識に基づくものであるため、経験や知識の差異を除外するための手法として、例えば、画像解析手法を用いた生体粘膜微細構造所見の鑑別診断支援手法の実現が望まれている。そして、このような鑑別診断支援手法が、コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ、ＣＡＤ）の一つとして研究されている。

例えば、胃のＭＶ Ｐａｔｔｅｒｎ及びＭＳ Ｐａｔｔｅｒｎを用いた診断においては、各パターン（図形）の形状の均一性、配列の規則性、分布の対称性が重要な所見として挙げられる。これらの所見はただ目に写る画像そのものでなく、例えば、目に見える内視鏡像から生体粘膜の三次元的な組織学的構造を推測、分析する等、何らかの解釈を加えて認識されるものと考えられる。

こういった何らかの解釈を加えるプロセスによって、認識の対象となる所見が、ある場合は画像上のパターン全体であり、また、ある場合は部分的なパターンのみである、というように変化すると考えられる。

内視鏡画像のような医用画像における生体粘膜微細構造の解析においては、以下の（Ａ）〜（Ｂ）の課題がある。

（Ａ）内視鏡画像を取得する際の観察距離、方向、角度、及び、照明光量等の撮像条件が不安定である。

（Ｂ）所見が多種多様かつ複雑である。

本発明は、特に、課題（Ｂ）に着目した発明を提供するものであり、以下は課題（Ｂ）について詳しく述べる。

例えば、連続的なパターンを呈する生体粘膜微細構造に関して、（Ｂ）は、（Ｂ１）生体粘膜微細構造が真に連続的なパターンを呈している場合と、（Ｂ２）３次元構造の２次元画像化に伴って不連続な構造があたかも連続的なパターンを呈しているかのように画像化される場合と、の大きく２つの場合に分けることができる。

（Ｂ２）は、より具体的には、粘膜組織の光学的特性や三次元的な配置によって、組織学的に独立した構造同士であっても画像の奥行き方向で互いに重なり合ったり隣接し合ったりすることで生じ、不連続な構造があたかも連続的なパターンを呈しているかのように画像化される。
内視鏡画像における生体粘膜微細構造の解析においては、単に目に写る連続的なパターンを解析するのではなく、何らかの解釈を加えて所見に対応したパターンを解析することが必須であると考えられるが、前述した課題があることから、所見に対応した生体粘膜微細構造を内視鏡画像から抽出・解析することは困難である。

例えば、日本国特開２００６−１４１７３４号公報に記載された生体粘膜微細構造抽出方法に係る技術は、撮像された画像において各々の生体粘膜微細構造が形態的に単純であるとともに画像空間上で独立しており離散的なパターンとして画像化された場合には有効な処理結果が得られる反面、生体粘膜微細構造が複雑な形状を呈している場合や複数の生体粘膜微細構造が重なり合ったり隣接し合ったりすることで連続的なパターンを呈している場合には有効な処理結果を得ることが困難である、という課題を有している。

その結果、例えば、生体粘膜微細構造を撮像して得た画像に対し、日本国特開２００６−１４１７３４号公報に記載された生体粘膜微細構造方法及び特徴量算出方法に係る技術を用いた場合、所見に対応した生体粘膜微細構造の抽出精度の低下を招いてしまう。

また、日本国特表２０１１−５１６２００号公報に記載された網膜画像分析方法に係る技術は、撮像された画像の血管を構成する血管セグメントを使用して血管の特徴量を算出する観点が開示されているが、生体粘膜微細構造の部分的パターンのみを所見とする観点や、３次元構造の２次元画像化に伴って不連続な構造があたかも連続的なパターンを呈しているかのように画像化される課題について着想されておらず、具体的な開示もない。

日本国特表２０１１−５１６２００号公報に記載された網膜画像分析方法に係る技術は、撮像された生体粘膜微細構造の連続するパターン全体が所見として認識対象になる場合においては有効な処理結果が得られる反面、生体粘膜微細構造の部分的なパターンが診断に重要な所見であるような場合や三次元的に不連続な構造があたかも連続的なパターンを呈しているかのように画像化された場合においては有効な処理結果を得ることが困難である、という課題を有している。

その結果、例えば、生体粘膜微細構造を撮像して得た画像に対し、日本国特表２０１１−５１６２００号公報に記載された網膜画像分析方法に係る技術を用いた場合、所見に対応した生体粘膜微細構造の抽出精度の低下を招いてしまう。

本発明は上述した点に鑑みてなされたもので、生体粘膜表面を撮像して得た医用画像において、生体粘膜微細構造が複雑な形状を呈している場合や複数の生体粘膜微細構造が画像の奥行き方向で互いに重なり合ったり隣接し合ったりすることで連続的なパターンを呈している場合であっても、所見に対応した生体粘膜微細構造を抽出することが可能な画像処理装置を提供することを目的としている。

本発明の一態様に係る画像処理装置は、三次元的な構造を有する生体粘膜を撮像して得られる画像が入力される画像入力デバイスと、前記画像入力デバイスに入力された前記画像を構成する画素から、前記画像において連続的なパターンを呈する前記構造に対応する画素を抽出する抽出デバイスと、前記抽出デバイスによって抽出された前記構造に対応する画素から分岐部を認識する分岐部認識デバイスと、前記構造に対応する画素を、一端に前記分岐部を有する複数のセグメントに分割するセグメント分割デバイスと、前記抽出デバイスによって抽出された前記構造に対応する画素から、前記セグメント分割デバイスにより分割された各セグメントごとにコントラスト及び色調のうち少なくとも１つ以上の情報を算出する算出デバイスと、前記算出デバイスにおいて算出された各セグメント内における情報の変化が最小となるセグメントの組み合わせを特定し、特定された前記セグメントの組み合わせから三次元空間上連続する構造に対応する画素を抽出する領域分割デバイスと、を有する。

また、本発明の一態様に係る画像処理装置は、三次元的な構造を有する生体粘膜を撮像して得られる画像が入力される画像入力デバイスと、前記画像入力デバイスに入力された前記画像を構成する画素から、前記画像において連続的なパターンを呈する前記構造に対応する画素を抽出する抽出デバイスと、前記抽出デバイスによって抽出された前記構造に対応する画素から分岐部を認識する分岐部認識デバイスと、前記構造に対応する画素を、一端に前記分岐部を有する複数のセグメントに分割するセグメント分割デバイスと、前記抽出デバイスによって抽出された前記構造に対応する画素から、前記セグメント分割デバイスにより分割された各セグメントごとにコントラスト及び色調及び幅のうち少なくとも１つ以上の情報を算出する算出デバイスと、前記算出デバイスにおいて算出された各セグメント内における情報の平均値または中央値または最頻値のセグメント間の変化が最大となるセグメントの組み合わせを特定し、特定された前記セグメントの組み合わせから三次元空間上連続する構造に対応する画素を抽出する領域分割デバイスと、を有する。

図１は第１の実施形態に係る医用画像処理装置を有する内視鏡装置の要部の構成の一例を示す図。 図２は図１の光源装置が有する回転フィルタの構成の一例を示す図。 図３は図２の第１のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図４は図２の第２のフィルタ群が有する各フィルタの透過特性の一例を示す図。 図５は図１の演算部の主要な構成を示すブロック図。 図６は本発明の第１の実施形態における画像処理部において行われる処理の一例を示すフローチャート。 図７は処理対象となる画像データの一例を示す模式図。 図８は粘膜内に存在する粘膜表面からの深さが異なる位置に走行する血管を撮像した画像の一例を示す模式図。 図９は生体粘膜微細構造のコントラストの定義の一例を示す模式図。 図１０はコントラストが異なることにより領域分割する分割例を示す模式図。 図１１は生体粘膜微細構造とその領域分割結果の一例を示す模式図。 図１２は部分領域に分割する処理における具体的な処理例を示すフローチャート。 図１３Ａは生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１３Ｂは生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１３Ｃは生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１４は図１３において説明した処理と異なる処理により生体粘膜微細構造セグメントに分割する処理の具体的な処理例を示す説明図。 図１５Ａは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１５Ｂは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１５Ｃは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１５Ｄは領域分割される前の生体粘膜微細構造セグメントの組み合わせ例を説明するための模式図。 図１６Ａは分散値の和が最小となる条件の部分領域に分割する処理を示すフローチャート。 図１６Ｂは平均値の和が最大かつ分散値の和が最小となる条件の部分領域に分割する処理を示すフローチャート。 図１６Ｃは本発明の第２の実施形態における演算部の主要な構成を示すブロック図。 図１７は本発明の第２の実施形態における画像処理部において行われる処理の一例を示すフローチャート。 図１８Ａは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｂは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｃは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｄは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｅは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｆは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１８Ｇは生体粘膜微細構造の幅の算出方法の一例を説明するための模式図。 図１９は生体粘膜微細構造の走行方向を量子化する一例を示す模式図。 図２０は領域分割に係る所定の分割条件を太さの場合で示した一例を示す模式図。 図２１は領域分割に係る所定の分割条件を色調の場合で示した一例を示す模式図。 図２２は領域分割に係る所定の分割条件を走行方向の場合で示した一例を示す模式図。 図２３は領域分割に係る所定の分割条件を走行方向の場合で示した一例を示す模式図。 図２４Ａは生体粘膜微細構造セグメントの方向算出方法の一例を説明するための図。 図２４Ｂは生体粘膜微細構造セグメントの方向算出方法の一例を説明するための図。 図２５は本発明の第３の実施形態における演算部の主要な構成を示すブロック図。 図２６は本発明の第３の実施形態における画像処理部において行われる処理の一例を示すフローチャート。 図２７Ａは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｂは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｃは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｄは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｅは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｆは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｇは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｈは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２７Ｉは顕著性に基づく所定の分割条件により部分領域に分割する場合の例を説明するための模式図。 図２８は長さの不連続性に基づく所定の分割条件により部分領域に分割する場合の一例を示す模式図。 図２９は第３の実施形態における分割条件に応じた特徴量の算出及び算出結果に基づいた領域分割の処理の一例を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１に示すように、内視鏡装置１は、被験者の体腔内に挿入され、該体腔内の生体組織１０１等の被写体を撮像して得た画像を信号出力する内視鏡２と、生体組織１０１を照明するための照明光を発する光源装置３と、内視鏡２からの出力信号に対して種々の処理を施す医療用画像処理装置を構成するプロセッサ４と、プロセッサ４からの映像信号に応じた画像を表示する表示装置５と、プロセッサ４における処理結果に応じた出力信号を記憶する外部記憶装置６と、を有して構成されている。

内視鏡２は、被験者の体腔内に挿入可能な細長な形状及び寸法を備えた挿入部２１ａと、挿入部２１ａの先端側に設けられた先端部２１ｂと、挿入部２１ａの基端側に設けられた操作部２１ｃと、を有して構成されている。また、挿入部２１ａの内部には、光源装置３において発せられた照明光を先端部２１ｂへ伝送するためのライトガイド７が挿通されている。

ライトガイド７の一方の端面（光入射端面）は、光源装置３に着脱自在に接続される。また、ライトガイド７の他方の端面（光出射端面）は、内視鏡２の先端部２１ｂに設けられた図示しない照明光学系の近傍に配置されている。このような構成によれば、光源装置３において発せられた照明光は、光源装置３に接続されたライトガイド７、及び先端部２１ｂに設けられた図示しない照明光学系を経た後、体腔内の生体組織１０１に出射される。

内視鏡２の先端部２１ｂには、被写体の光学像を結像する対物光学系２２と、対物光学系２２の結像位置に配置され、光学像を撮像して画像として取得する撮像部を構成する電荷結合素子（ＣＣＤと略記）２３と、が設けられている。また、内視鏡２の操作部２１ｃには、観察モードを通常光観察モードまたは狭帯域光観察モードのいずれかに切り替えるための指示を行うことが可能な観察モード切替スイッチ２４が設けられている。

光源装置３は、キセノンランプ等からなる白色光源３１と、白色光源３１から発せられる白色光を面順次な照明光とする回転フィルタ３２と、回転フィルタ３２を回転駆動するモータ３３と、回転フィルタ３２及びモータ３３を白色光源３１の出射光路に垂直な方向（図１において符号Ｂ）に移動させるモータ３４と、プロセッサ４の制御部４２の制御に基づいてモータ３３及び３４を駆動させる回転フィルタ駆動部３５と、回転フィルタ３２を通過した照明光を集光してライトガイド７の入射端面に供給する集光光学系３６と、を有している。
回転フィルタ３２は、図２に示すように、中心を回転軸とした円盤形状であり、内周側の周方向に沿って設けられた複数のフィルタを具備する第１のフィルタ群３２Ａと、外周側の周方向に沿って設けられた複数のフィルタを具備する第２のフィルタ群３２Ｂと、を有している。そして、モータ３３の駆動力が前記回転軸に伝達されることにより、回転フィルタ３２が回転する。なお、回転フィルタ３２において、第１のフィルタ群３２Ａ及び第２のフィルタ群３２Ｂの各フィルタが配置されている部分以外は、遮光部材により構成されている。

第１のフィルタ群３２Ａは、各々が回転フィルタ３２の内周側の周方向に沿って設けられた、赤色の波長帯域の光を通過させるＲフィルタ３２ｒと、緑色の波長帯域の光を通過させるＧフィルタ３２ｇと、青色の波長帯域の光を通過させるＢフィルタ３２ｂと、を有して構成されている。
Ｒフィルタ３２ｒは、例えば図３に示すように、主に６００ｎｍから７００ｎｍまでの光（Ｒ光）を透過させるような構成を有している。また、Ｇフィルタ３２ｇは、例えば図３に示すように、主に５００ｎｍから６００ｎｍまでの光（Ｇ光）を透過させるような構成を有している。さらに、Ｂフィルタ３２ｂは、例えば図３に示すように、主に４００ｎｍから５００ｎｍまでの光（Ｂ光）を透過させるような構成を有している。なお、図３においては、Ｒフィルタ３２ｒ、Ｇフィルタ３２ｇ、Ｂフィルタ３２ｂを単にＲ，Ｇ，Ｂで示している。

そして、白色光源３１において発せられた白色光は、第１のフィルタ群３２Ａを経ることにより、通常光観察モード用の広帯域光が生成される。

第２のフィルタ群３２Ｂは、各々が回転フィルタ３２の外周側の周方向に沿って設けられた、青色かつ狭帯域な光を透過させるＢｎフィルタ３２１ｂと、緑色かつ狭帯域な光を透過させるＧｎフィルタ３２１ｇと、を有して構成されている。
Ｂｎフィルタ３２１ｂは、例えば図４に示すように、中心波長が４１５ｎｍ付近に設定され、かつ、Ｂ光に比べて狭い帯域の光（Ｂｎ光）を透過させるように構成されている。

また、Ｇｎフィルタ３２１ｇは、例えば図４に示すように、中心波長が５４０ｎｍ付近に設定され、かつ、Ｇ光に比べて狭い帯域の光（Ｇｎ光）を透過させるように構成されている。なお、図４においては、Ｂｎフィルタ３２１ｂ、Ｇｎフィルタ３２１ｇを単にＢｎ，Ｇｎで示している。

そして、白色光源３１において発せられた白色光は、第２のフィルタ群３２Ｂを経ることにより、離散化された狭帯域光観察モード用の複数の帯域の狭帯域光が生成される。

プロセッサ４は、本実施形態の医用画像処理装置としての機能を備えた構成を有する。

具体的には、図１に示すようにプロセッサ４は、画像処理部４１と、制御部４２と、を備えて構成される。また、画像処理部４１は、画像データ生成部４１ａと、演算部４１ｂと、映像信号生成部４１ｃと、内視鏡２の撮像部を構成するＣＣＤ２３により撮像された医用画像が入力される画像入力部４１ｄと、を備えて構成される。

画像処理部４１の画像データ生成部４１ａは、制御部４２の制御に基づき、内視鏡２の出力信号に対してノイズ除去及びＡ／Ｄ変換等の処理を施すことにより、ＣＣＤ２３により得られた画像に対応した画像データを生成する。

なお、画像データ生成部４１ａの入力部付近には、撮像部を構成するＣＣＤ２３により撮像して得られる医用画像（内視鏡２の出力信号）が入力される画像入力部４１ｄが設けてある。画像データ生成部４１ａには画像入力部４１ｄを経て医用画像が入力されるが、画像データ生成部４１ａが画像入力部４１ｄを備えた構成でも良い。

画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにより生成された画像データを用いて所定の処理を行うことにより、生体組織１０１を撮像して得た画像データの中から粘膜上皮の生体粘膜微細構造（上皮構造と略記）を抽出し、さらに所定の分割条件に対応する部分領域に分割する。

なお、本実施形態においては、前記画像データに連続的な生体粘膜微細構造のパターンが含まれているものとし、さらに、前記生体粘膜微細構造において診断上重要な所見に応じた生体粘膜微細構造とそれ以外の領域とを区別するような領域分割処理を行う。

また、このような領域分割処理の方法は、図示しないＲＯＭ又は図１６Ｃに示すメモリ４７内にプログラムとして実装されており、演算部４１ｂを構成するＣＰＵはそのプログラムに従って、実行する。

画像処理部４１の映像信号生成部４１ｃは、画像データ生成部４１ａにより生成された画像データに対してガンマ変換及びＤ／Ａ変換等の処理を施すことにより、映像信号を生成して表示装置５等に出力する。

制御部４２は、観察モード切替スイッチ２４の指示に基づき、通常光観察モードに切り替える指示が行われたことを検出した場合、通常光観察モード用の広帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第１のフィルタ群３２Ａを介挿させ、かつ、白色光源３１の出射光路上から第２のフィルタ群３２Ｂを退避させるように、モータ３４を動作させる。

また、制御部４２は、観察モード切替スイッチ２４の指示に基づき、狭帯域光観察モードに切り替える指示が行われたことが検出した場合、狭帯域光観察モード用の複数の帯域の狭帯域光を光源装置３から出射させるための制御を回転フィルタ駆動部３５に対して行う。

そして、回転フィルタ駆動部３５は、制御部４２の制御に基づき、白色光源３１の出射光路上に第２のフィルタ群３２Ｂを介挿させ、かつ、白色光源３１の出射光路上から第１のフィルタ群３２Ａを退避させるように、モータ３４を動作させる。

そして、以上に述べた内視鏡装置１の構成により、通常光観察モードが選択された場合には、生体組織１０１等の観察対象物を肉眼で見た場合と略同様の色合いを有する画像（通常光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させる。また、以上に述べた内視鏡装置１の構成により、狭帯域光観察モードが選択された場合には、生体組織１０１に含まれる血管が強調された画像（狭帯域光画像）を表示装置５に表示させ、さらに、外部記憶装置６に記憶させる。

図５に示すように（医用画像処理装置を構成する）演算部４１ｂは、上述した画像入力部４１ｄに入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出手段を構成する特徴量算出部４３ａと、該特徴量算出部４３ａにより算出された特徴量に基づき前記医用画像における連続的なパターン（図形）を呈する生体粘膜微細構造（の画像部分）を抽出する抽出手段を構成する抽出部４３ｂと、該抽出部４３ｂにより抽出された生体粘膜微細構造を、前記特徴量算出部４３ａにより算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割手段を構成する領域分割部４３ｃと、を有する。

また、領域分割部４３ｃは、抽出部４３ｂにより抽出された生体粘膜微細構造から分岐部を認識する分岐部認識手段としての分岐部認識部４４ａと、分岐部認識部４４ａにより認識された各々の分岐部で分割した生体粘膜微細構造セグメントを検出（又は生成）するセグメント分割部４４ｂを有する。

また、領域分割部４３ｃは、セグメント分割部４４ｂにより生成された生体粘膜微細構造セグメントに対して各生体粘膜微細構造セグメントに対して算出された特徴量に基づき分割条件設定部４３ｄにより設定された所定の分割条件に対応する部分領域に分割するか否かを判定または決定する分割判定部（又は分割決定部）４４ｃとを有する。

分割判定部４４ｃは、生体粘膜微細構造セグメント毎に算出された特徴量に基づき、分割条件設定部４３ｄにより設定された所定の分割条件を満たすか否か又は所定の分割条件に対応するか否かにより部分領域に分割するか否かの判定又は決定を行う。なお、図５に示す演算部４１ｂが特徴量算出部４３ａ、抽出部４３ｂ、領域分割部４３ｃ等の機能を有する構成に限定されるものでなく、演算部４１ｂと別体で構成しても良いし、専用のハードウェアにより構成しても良い。

このような構成における医用画像処理装置を構成する画像処理部４１は、生体粘膜を撮像して得られる医用画像が入力される画像入力手段としての（図１に示す）画像入力部４１ｄと、前記画像入力手段に入力された医用画像から少なくとも１つの特徴量を算出する特徴量算出手段としての図５に示す特徴量算出部４３ａと、前記特徴量算出手段により算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出手段としての抽出部４３ｂと、前記抽出手段により抽出された生体粘膜微細構造を、前記特徴量算出手段により算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割手段としての領域分割部４３ｃと、を有することを特徴とする。

また、本実施形態における医用画像処理方法は、図６に示すように生体粘膜を撮像して得られる医用画像を入力する画像入力ステップとしてのステップＳ１と、前記画像入力ステップで入力された医用画像から少なくとも１つの特徴量を（フィルタ等を用いて）算出する特徴量算出ステップとしてのステップＳ２と、前記特徴量算出ステップにより算出された特徴量に基づき前記医用画像における連続的なパターンを呈する生体粘膜微細構造を抽出する抽出ステップとしてのステップＳ３と、前記抽出ステップにより抽出された生体粘膜微細構造を、前記特徴量算出ステップにより算出された特徴量に基づき所定の分割条件に対応する部分領域に分割する領域分割ステップとしてのステップＳ４とを実行することを特徴とする。

次に本実施形態の医用画像処理装置を備える内視鏡装置１の作用（動作）の説明を行う。

まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。

観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。

画像処理部４１の画像データ生成部４１ａには、Ｒ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が、画像入力部４１ｄを経て図６のステップＳ１に示すように入力される。画像データ生成部４１ａは、各画像に対応する色成分の画像データをそれぞれ生成する。

なお、本実施形態においては、画像データ生成部４１ａにより生成される画像データは、Ｒ、Ｇ及びＢの３つのプレーンからなり、水平方向ＩＳＸ（例えば６４０画素）及び垂直方向ＩＳＹ（例えば４８０画素）の画像サイズを備え、さらに、各画素の階調が０〜２５５の８ｂｉｔであるような画像データが生成されるものとする。また、以下の説明においては、Ｒ、Ｇ及びＢの各プレーンにおけるｊ番目（１≦ｊ＜ＩＳＸ×ＩＳＹ）の画素の画素値をそれぞれｒｊ、ｇｊ及びｂｊとして説明を進めるものとする。

画像処理部４１の演算部４１ｂ（の特徴量算出部４３ａ）は、画像データ生成部４１ａにおいて生成された画像データに基づき、必要に応じて、図示しない前処理として逆ガンマ補正やノイズ抑制処理を行ってもよい。

画像処理部４１の演算部４１ｂ（の特徴量算出部４３ａ）は、図６のステップＳ２に示すように画像データ生成部４１ａにおいて生成された画像データに基づき、以後の処理に用いる所定の特徴量を該画像データの画素毎に算出する。
より具体的には、生体粘膜微細構造は例えば細い線状構造を有しているため、本実施形態の演算部４１ｂは、前述の所定の特徴量として、線状構造を強調（または抽出）するフィルタの応答値を用いる。なお、ここでの強調とは、フィルタを適用した画素位置の周辺の局所領域が線状構造に近い形状であれば値が大きく、そうでなければ値が小さく出力される処理のことを表す。

線状構造を強調するフィルタとしては、ヘッセ行列の固有値を計算することで得られる固有値に基づき線状構造らしさを表す評価値を計算する方法を用いる。このような方法は、Ａｌｅｊａｎｄｒｏ Ｆ． Ｆｒａｎｇｉ， Ｗｉｒｏ Ｊ． Ｎｉｓｓｅｎ， Ｋｏｅｎ Ｌ． Ｖｉｎｃｋｅｎ ａｎｄ Ｍａｘ Ａ． Ｖｉｅｒｇｅｖｅｒ：「Ｍｕｌｔｉｓｃａｌｅ Ｖｅｓｓｅｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒｉｎｇ」， ＬＮＣＳ， ｖｏｌ． １４９６， Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ， Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ， ｐｐ． １３０−１３７に開示されている。本実施形態においては、評価値を、狭帯域光観察モードが選択された際に生成される画像データのＧプレーンのｊ番目の画素の画素値ｇｊの各画素ごとに（１番目〜（ＩＳＸ×ＩＳＹ）番目の画素全てにおいて）算出する。

その後、画像処理部４１の演算部４１ｂ（の抽出部４３ｂ）は、図６のステップＳ２において算出した所定の特徴量を用い、ステップＳ３に示すように生体組織１０１において生体粘膜微細構造が存在する領域を抽出する処理を行う。

本実施形態においては、画素ごとに線状構造を強調するフィルタの応答値を算出し、応答値が閾値Ｔ＝５０よりも大きい画素を生体粘膜微細構造として抽出する。フィルタの設計内容によっては、あるいは抽出する対象となる生体粘膜微細構造の種類によっては、応答値が閾値Ｔ´＝−５０よりも小さい画素を生体粘膜微細構造として抽出する場合もある。

このような場合分けは、生体粘膜微細構造の種類によって、例えば血管は周囲の粘膜よりも画像濃度値が小さく、八尾建史、松井敏幸：「胃拡大内視鏡」（２００９）に記載のＭＣＥ等の生体粘膜微細構造やピオクタニン染色を用いたｐｉｔ ｐａｔｔｅｒｎは周囲の粘膜よりも画像濃度値が大きい傾向があるために生じる。

なお、以降においては、説明の簡単のため、例えば図７のような、生体粘膜微細構造の内部（生体粘膜微細構造の内側）に相当する領域をドット模様とし、背景粘膜（生体粘膜微細構造の外側）に相当する領域を白く表示するものとし、かつ、これら２つの領域の境界線を細い実線で示した、模式的な画像データに対して処理を行うものとして説明を進める。

なお、図７は、狭帯域光観察モードの拡大内視鏡を用いて観察される、胃幽門腺粘膜の生体粘膜微細構造を模式的に示したものである。実際の内視鏡画像によれば、生体粘膜微細構造及び背景粘膜領域のみを含むものに限らず、例えば、微細血管、集合細静脈、腺口等の各種構造をさらに含むような画像データが取得される。

さて、生体粘膜微細構造は、不連続な構造同士であっても、生体粘膜の深さ方向の３次元的な配置によって画像の中では連続的なパターンとして画像化されてしまう場合があり、このような場合、図６のステップＳ３において抽出した生体粘膜微細構造も連続的なパターンとして抽出されてしまう。

図８はこの状態について粘膜内を走行する血管を撮像した場合に得られる画像データを示す。図８に示すように内視鏡２の挿入部２１ａの先端部２１ｂ（に設けた撮像部）により、生体組織１０１の粘膜を撮像する。粘膜内には粘膜表面から浅い位置付近に細い血管Ａと、血管Ａよりも深い位置付近に太い血管Ｂが走行している。このように粘膜の表面に垂直方向から表面の深さ方向（奥行き方向）の生体粘膜を撮像して得られる画像データは、図８に示すように血管Ａと血管Ｂとが繋がって、連続したパターンの血管として見える場合が存在する。

実際には、図８に示すように、血管Ａと血管Ｂとは深さ方向の位置が異なり、３次元的には繋がっていないため、血管Ａと血管Ｂが２次元的に繋がった画像データに対して所見に対応した（換言すると実際の３次元構造に対応した）部分領域（例えば図８における血管Ａと血管Ｂ）に分割することが望まれる。本実施形態においては、このように２次元的に繋がっているように抽出された生体粘膜微細構造のパターンを、所見に対応した部分領域（例えば図８における血管Ａと血管Ｂ）に分割するための画像処理装置及び画像処理方法について説明する。

上記のように、一見連続的なパターンとして画像化されている場合であっても、粘膜内での深さが異なることによって、粘膜細胞による光の散乱、及び血管による光の吸収の度合い等が異なる。こうした散乱や吸収の違いによって、画像上で微妙なコントラストや色調の差が生じることがある。

一般に、粘膜のような半透明の物質に光を投射したときは、長い波長を有する赤色の光は広い範囲に深く拡散するのに対し、短い波長を有する青色の光は狭い範囲に浅く拡散することが知られており、この光の伝播特性の影響によって、深部側に存在する血管は、輪郭がぼけてコントラストが低く、表層の血管は輪郭がシャープでコントラストが高く画像化される傾向がある。

また、狭帯域光観察モードにおいては、図４に示したように投射する光の波長特性が狭帯域であるため、前述の深さによる光の伝播特性の違いの影響を強く受けやすい。そのため、狭帯域光観察モードで撮像された画像において、表層に血管が存在する粘膜はＢｎ光の強い吸収とＧｎ光の弱い吸収および散乱を生じ、深部側に血管が存在する粘膜はＢｎ光の反射および散乱とＧｎ光の強い吸収を生じる。

その結果として、血管が存在する深さによって色調が異なって画像化される。さらに、例えば血管に関しては、粘膜の深部においては太い血管が走行し、表層においては細い血管が走行する傾向があり、画像上での太さの違いにより区別が可能な場合もある。

画像処理部４１の演算部４１ｂ（の領域分割部４３ｃ）は、図６のステップＳ３において抽出した生体粘膜微細構造に対して、ステップＳ４に示すように生体粘膜微細構造の内部でコントラストが異なる領域が存在する場合、（コントラストが不連続性または非均質性（または非同一性）を示す第１の条件となる）所定の分割条件により、所定の分割条件に対応する部分領域に分割する領域分割処理を行う。この所定の分割条件は、３次元的には不連続となる生体粘膜微細構造が撮像された２次元の画像データ上でのパターンとしてはあたかも連続的なパターンを呈しているような場合において、その不連続となる境界で生体粘膜微細構造の画像データを部分領域に分割する（又は抽出する）のに適した（換言すると所見に対応した生体粘膜微細構造の画像データに分割又は抽出するのに適した）条件を形成する。
以下に、前述の「コントラスト」および「各々の部分領域が連続性または均質性を示す条件」についての定義および概念的な説明を行った後、本実施形態における領域分割処理の説明を続ける。

ここでのコントラストとは、例えば、図９に示すように生体粘膜微細構造５１の領域内部の局所的な領域である領域ＡにおけるＧ光に応じた画像の画像濃度値の平均値μ_Ａと、生体粘膜微細構造５１の領域外部の局所的な領域である領域ＢにおけるＧ光に応じた画像の画像濃度値の平均値μ_Ｂとの差であるとする。そして、コントラスト（画像濃度値の平均値）に差がある場合、又はコントラストが異なる場合には、コントラストが不連続性又は非均質性を示すとして領域分割処理を行う。

例えば領域Ａと領域Ｂとのコントラストの差が閾値Δ以上の場合には、コントラストが不連続性又は非均質性と判定してコントラストに差がある境界で部分領域に分割処理を行うようにしても良い。一方、コントラストの差が閾値Δ未満の場合には、コントラストが連続性又は均質性と判定し、コントラストの差が閾値Δ未満となる境界においては部分領域に分割しないようにしても良い。なお、コントラストが不連続性又は非均質性を示すことをコントラストが不連続性を示すと略記する場合もある。

また、生体粘膜微細構造５１の領域内においても、図１０の左側に示すようにコントラストに差がある境界が存在する場合、又は異なる場合にも、右側に示すように分割線Ｌで部分領域６１，６２に分割する。

また、各々の部分領域が連続性または均質性を示す条件とは、例えば、図１１に示すように領域Ａを２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割した場合において、分割された部分領域Ｃ、部分領域Ｄ各々の部分領域内で変化が最小となるような条件を所定の分割条件としても良い。

この内容は、別の表現を用いると、部分領域Ｃに属する各々の画素に対応したコントラストの変動（変化）が最小となり、また、部分領域Ｄに属する各々の画素に対応したコントラストの変動が最小となるような領域分割結果を求める最適化問題を解くことに等しい。本実施形態では、変動の大きさを表すパラメータとして、分散を使用する。

より具体的には、例えば、図１１の左側に示すような領域Ａを、図１１の右側に示すように２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割しようとする場合において、部分領域Ｃのコントラスト（の平均値から）の分散値をσ_Ｃ、部分領域Ｄ内のコントラスト（の平均値から）の分散値をσ_Ｄとした場合に、以下の目的関数ｆ_１を最小化するような部分領域Ｃ、部分領域Ｄを求めればよい。

ｆ_１ ＝ σ_Ｃ＋σ_Ｄ → min （１）
また、この条件は、部分領域Ｃ、部分領域Ｄ各々の部分領域間での変化が最大となるような条件としてもよい。

別の表現においては、部分領域Ｃに属する各々の画素に対応したコントラストの統計的性質と、部分領域Ｄに属する各々の画素に対応したコントラストの統計的性質との間の差が最大となるような領域分割結果を求める最適化問題を解くことに等しい。本実施形態では、統計的性質としては、平均値を使用する。

より具体的には、例えば、図１１に示すように領域Ａを２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割しようとした場合において、部分領域Ｃ内のコントラストの平均値をμ_Ｃ、部分領域Ｄ内のコントラストの平均値をμ_Ｄとしたときに、以下の目的関数ｆ_２を最大化する部分領域Ｃと部分領域Ｄを求めればよい。

ｆ_２ ＝ μ_Ｃ＋μ_Ｄ → max （２）
さらに、この条件は、部分領域Ｃ、部分領域Ｄ各々の部分領域内で変化が最小となり、部分領域Ｃ、部分領域Ｄ各々の部分領域間での変化が最大となる条件としてもよい。

例えば、図１１に示すように領域Ａを２つの部分領域（部分領域Ｃと部分領域Ｄ）に分割しようとした場合において、部分領域Ｃ内のコントラストの分散値をσ_Ｃ、部分領域Ｃ内のコントラストの平均値をμ_Ｃ、部分領域Ｄ内のコントラストの分散値をσ_Ｄ、部分領域Ｄ内のコントラストの平均値をμ_Ｄとした場合に、以下の目的関数ｆ_３を最大化する部分領域Ｃと部分領域Ｄを求めればよい。

ｆ_３ ＝（μ_Ｃ＋μ_Ｄ）／（σ_Ｃ＋σ_Ｄ）→ max （３）
以上がコントラストおよび各々の部分領域が連続性または均質性を示すような条件についての概念的な説明であり、以下に、本実施形態における領域分割（図６のステップＳ４）のより具体的な処理の流れを、図１２を参照しながら説明する。

画像処理部４１の演算部４１ｂ（の領域分割部４３ｃ）は、図１２のステップＳ１１に示すように抽出部４３ｂにより抽出された生体粘膜微細構造から分岐部を認識する。

このため、領域分割部４３ｃの分岐部認識部４４ａは、抽出された生体粘膜微細構造を２値化し、さらに中心線を検出する細線化処理を施して、細線化処理された画像（細線化画像と言う）の各画素から隣接する８方向の画素のうち３方向以上に接する画素を分岐部（の分岐点）として認識する。図１３Ａ〜図１３Ｃは分岐部認識部４４ａによる処理内容の具体的な説明図を示す。

演算部４１ｂの抽出部４３ｂが、例えば図１３Ａに示すような３方向に分岐した生体粘膜微細構造５１（の画像）を抽出した場合において説明する。領域分割部４３ｃの分岐部認識部４４ａは、抽出部４３ｂにより抽出された図１３Ａの生体粘膜微細構造５１（の画像）を２値化し、さらに中心線を検出する細線化処理を施して、図１３Ｂに示す細線化画像５１ａを生成する。

また、分岐部認識部４４ａは、細線化画像５１ａの各画素から隣接する８方向の画素のうち３方向以上に接する画素を分岐部５１ｂ（の分岐点）として認識する。

図１３Ｂに示す細線化画像５１ａに対して、演算部４１ｂのセグメント分割部４４ｂは、ステップＳ１２に示すように分岐部５１ｂで分割した生体粘膜微細構造セグメントを検出する。

より具体的には、演算部４１ｂのセグメント分割部４４ｂは、細線化画像５１ａから各々の分岐点を除去することで細線化セグメントを検出し、細線化セグメントに対して例えば７×７のサイズの構造要素を用いて膨張処理を施すことで図１３Ｃにおける点線で示すように３つに分割された生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３を検出する。

図１３Ａ〜図１３Ｃにおいて説明したように、生体粘膜微細構造セグメントの検出方法として、細線化画像から各々の分岐点を除去することで細線化セグメントを検出し、細線化セグメントに対して幅方向に膨張処理を施すことで生体粘膜微細構造セグメントを検出するものに限らず、検出された分岐部５１ｂの各々に対して、図１４に示すように、分岐部５１ｂと生体粘膜微細構造５１の境界とを結ぶ分割線５１ｃによって分割することにより、生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３を生成してもよい。なお、この分割線５１ｃは、分岐部５１ｂと生体粘膜微細構造５１の境界との間の距離が極小値となるように設定する。

さらに、演算部４１ｂの領域分割部４１ｃは、ステップＳ１３に示すように図１３Ｃで示すような生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３ごとの特徴量を（特徴量算出部４３ａにより）算出し、算出した特徴量に基づき、前述した分割後の各々の部分領域のコントラストが連続性または均質性を示す条件を満たすように、部分領域に分割する。

なお、本実施形態において図６のステップＳ２で算出した特徴量（線状構造を強調するフィルタの応答値）が、コントラストに依存して、その応答値の大きさが決まるものとなるため、この特徴量をコントラストを表すパラメータとして使用することができる。

また、生体粘膜微細構造を例えば２つの部分領域に分割する場合における演算部４１ｂの領域分割部４３ｃによる具体的な処理の流れを、図１５Ａ〜図１５Ｄを参照しながら説明する。演算部４１ｂのセグメント分割部４４ｂは、図１２のステップＳ１２において検出した全ての生体粘膜微細構造セグメントから、生体粘膜微細構造セグメントの任意の組み合わせを２セット生成し、各々のセットを部分領域の候補とする。

図１５Ａは、図１３Ｃで示した３つの生体粘膜微細構造セグメントＳＧ１，ＳＧ２，ＳＧ３を部分領域の候補とした場合に相当する。図１５Ａにおいては、分割前の生体粘膜微細構造セグメントは三つ叉形状に分岐したパターンの場合で示している。そして、以下に説明するようにセグメント分割部４４ｂは、一端が分岐部、他端側が（図示していないが）端部となるように部分領域の候補となるセグメントに分割する。なお、他端側が分岐部になっている場合にも、同様に分割する。

具体的には、図１５Ｂに示すように生体粘膜微細構造セグメントＳＧ１による部分領域の候補Ｓ１Ａと生体粘膜微細構造セグメントＳＧ２及びＳＧ３（ＳＧ２＋ＳＧ３）からなる部分領域の候補Ｓ２Ａ、図１５Ｃに示すように生体粘膜微細構造セグメントＳＧ２による部分領域の候補Ｓ１Ｂと生体粘膜微細構造セグメントＳＧ３及びＳＧ１（ＳＧ３＋ＳＧ１）からなる部分領域の候補Ｓ２Ｂ、図１５Ｄに示すように生体粘膜微細構造セグメントＳＧ３による部分領域の候補Ｓ１Ｃと生体粘膜微細構造セグメントＳＧ１及びＳＧ２（ＳＧ１＋ＳＧ２）からなる部分領域の候補Ｓ２Ｃの３つの部分領域の候補とする。

図１５Ｂの部分領域の候補Ｓ１ＡとＳ２Ａに対して、前述した分割条件の式（１）を適用させ、以下の式（４）の目的関数ｆ_１Aの値を求める。

ｆ_１A ＝ σ_S1A ＋ σ_S2A → min （４）
ここで、σ_S1A，σ_S2Aは、部分領域の候補Ｓ１Ａ，Ｓ２Ａの各コントラストの分散値を表し、式（４）により両者の和が最小となるように領域分割処理を行う。

また、図１５Ｃの部分領域の候補Ｓ１ＢとＳ２Ｂに対しても同様に以下の式（５）の目的関数ｆ_１Bの値を求める。なお、部分領域の候補Ｓ１Ｂは生体粘膜微細構造セグメントＳＧ２、部分領域の候補Ｓ２Ｂは、生体粘膜微細構造セグメントＳＧ３＋ＳＧ１である。
ｆ_１B ＝ σ_S1B ＋ σ_S2B → min （５）
また、図１５Ｄの部分領域の候補Ｓ１ＣとＳ２Ｃに対しても同様に以下の式（６）の目的関数ｆ_１Ｃの値を求める。なお、部分領域の候補Ｓ１Ｃは生体粘膜微細構造セグメントＳＧ３、部分領域の候補Ｓ２Ｃは、生体粘膜微細構造セグメントＳＧ１＋ＳＧ２である。

ｆ_１Ｃ ＝ σ_S1C ＋ σ_S2C → min （６）
上述した式（４）−（６）の目的関数ｆ_１A、ｆ_１B、ｆ_１Cにおいて最小値となる組み合わせの部分領域の候補Ｓ１ＸとＳ２Ｘ（但し、Ｘ＝Ａ，Ｂ，Ｃのいずれか）を部分領域とするように（分割判定部４４ｃは）判定して、判定結果に沿って生体粘膜微細構造を部分領域に領域分割する。

上述した式（４）−（６）の目的関数ｆ_１A、ｆ_１B、ｆ_１Cにおいて最小値となる組み合わせの部分領域の候補Ｓ１ＸとＳ２Ｘを算出する場合、例えば図１６Ａに示すように行う。ステップＳ４１において領域分割部４３ｃは、Ｎ組（図１５Ａ〜図１５ＤではＮ＝３）の部分領域の候補を表すパラメータＪを初期設定（Ｊ＝１）する。図１５Ａ〜図１５Ｄの場合には、Ｊ＝１が部分領域の候補Ｓ１Ａ，Ｓ２Ａを指定した場合に対応する。ここでは、Ｊの値に対応する２つの部分領域の候補をＳ１Ｊ、Ｓ２Ｊで表す。

次のステップＳ４２において領域分割部４３ｃは、部分領域に分割する場合の評価を行うため２つの分散値の閾値σth1，σth2を設定する。なお、２つの閾値σth1，σth2は、例えば過去のデータ等から予め算出する。２つの閾値σth1，σth2は、部分領域に分割する場合の許容される分散値の上限値に設定しても良い。
次のステップＳ４３において領域分割部４３ｃは、生体粘膜微細構造セグメントを２つの閾値σth1，σth2以下とした条件で２つの部分領域の候補Ｓ１Ｊ、Ｓ２Ｊに分割する処理を行う。

次のステップＳ４４において領域分割部４３ｃは、２つの閾値σth1，σth2以下の条件で分割できる部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在するか否かを判定する。

存在すると判定した場合には、次のステップＳ４５において領域分割部４３ｃは、部分領域の候補Ｓ１Ｊと部分領域の候補Ｓ２Ｊとにおける２つの分散値の和が最小となる値を与える部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを算出する処理を行った後、次のステップＳ４６に移る。

また、ステップＳ４４の判定処理において部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在しない場合には、ステップＳ４６に移る。

ステップＳ４６において領域分割部４３ｃは、Ｊ＝Ｎか否かを判定し、これに該当しない場合にはステップＳ４７においてＪを１つ増加させた後、ステップＳ４３の処理に戻る。このようにして、Ｊ＝１からＮまで、上述した処理を繰り返す。Ｊ＝Ｎの場合には、ステップＳ４８において領域分割部４３ｃは、Ｊ＝１からＮまでにおいて２つの分散値の和が最小となる値を与える部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを（Ｓ１ＸとＳ２Ｘとして）算出する。

そして、領域分割部４３ｃは、その部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを部分領域として生体粘膜微細構造セグメントを分割する。なお、上記のように閾値を上限値に設定してもステップＳ４８において２つの分散値の和が最小となる値を与える部分領域の候補Ｓ１Ｊmin、Ｓ２Ｊminを１つも算出できない場合には、他の分割条件を用いて領域分割を行う。この場合には、（１）式でなく、例えば（３）式の目的関数に対応するＮ組における各組Ｊの目的関数ｆ_３Ｊ それぞれにおいて最大とする以下の値を求める。

ｆ_３Ｊ ＝（μ_S1Ｊ＋μ_S2Ｊ）／（σ_S1Ｊ＋σ_S2Ｊ） → max （７）
さらに、Ｎ組全体で最大値を与える目的関数を求め、該最大値を与える目的関数の場合の部分領域の候補を部分領域として分割するようにしても良い。図１６Ｂは、このような処理を行うフローチャートを示す。なお、図１６Ａに示す処理を行うことなく、図１６Ｂの処理を行うようにしても良い。図１６Ｂの処理は、図１６Ａの処理に類似するため、異なる部分を説明する。

図１６Ｂにおける最初のステップＳ４１は図１６Ａと同じであり、次のステップＳ４２′において領域分割部４３ｃは、図１６Ａにおける分散値の閾値σth1，σth2の他に、平均値の閾値μth1，μth2を設定する。なお、平均値の閾値μth1，μth2は、例えば過去のデータ等から予め算出する。

２つの閾値μth1，μth2は、部分領域に分割する場合の許容される平均値の下限値に設定しても良い。次のステップＳ４３′において領域分割部４３ｃは、生体粘膜微細構造セグメントを２つの閾値μth1，μth2以上、かつ２つの閾値σth1，σth2以下の条件で２つの部分領域の候補Ｓ１Ｊ、Ｓ２Ｊに分割する処理を行う。

次のステップＳ４４において領域分割部４３ｃは、ステップＳ４３′の条件で分割できる部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在するか否かを判定する。

存在すると判定した場合には、次のステップＳ４５′において領域分割部４３ｃは、部分領域の候補Ｓ１Ｊと部分領域の候補Ｓ２Ｊとにおける２つの分散値の和が最小、かつ２つの平均値の和が最大となる値を与える（換言すると式（７）を満たす）部分領域の候補Ｓ１Ｊmax、Ｓ２Ｊmaxを算出する処理を行った後、次のステップＳ４６に移る。

また、ステップＳ４４の判定処理において部分領域の候補Ｓ１Ｊ、Ｓ２Ｊが存在しない場合にも、ステップＳ４６に移る。

ステップＳ４６において領域分割部４３ｃは、Ｊ＝Ｎか否かを判定し、これに該当しない場合にはステップＳ４７においてＪを１つ増加させた後、ステップＳ４３の処理に戻る。このようにして、Ｊ＝１からＮまで、上述した処理を繰り返す。Ｊ＝Ｎの場合には、ステップＳ４８′において領域分割部４３ｃは、Ｊ＝１からＮまでにおいて２つの分散値の和が最小、かつ２つの平均値の和が最大となる値を与える（換言するとＮ組全体において式（７）を満たす）部分領域の候補Ｓ１Ｊmax、Ｓ２Ｊmaxを（Ｓ１ＸとＳ２Ｘとして）算出する。

そして、領域分割部４３ｃは、その部分領域の候補Ｓ１Ｊmax、Ｓ２Ｊmaxを部分領域として生体粘膜微細構造セグメントを分割する。

本実施形態によれば、画像データ生成部４１ａにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、画像データ上では連続的なパターンを呈する生体粘膜微細構造を、それぞれの部分領域内でコントラストが連続性を示すような部分領域に分割することができる。その結果、所見に対応した生体粘膜微細構造の抽出精度を向上させることができる。

換言すると、３次元の生体粘膜微細構造を撮像した２次元の画像データ上では見かけ上連続したパターンとなっている場合、３次元構造に対応した不連続な境界で部分領域に分割し、分割後ではそれぞれの部分領域内でコントラストが連続性を示すような部分領域に分割することができる。その結果、３次元の生体粘膜微細構造に対応した部分領域を抽出する抽出精度を向上させることができる。

なお、本実施形態においては２つの部分構造に分割する場合について説明したが、分割する数について特に限定されるものではない。

また本実施形態においては、図１５Ａ〜図１５Ｄに示したような３つに分岐した構造の場合に限らず、４つ以上に分岐した構造であっても同様の処理又は方法で領域分割を行うことができる。

また、本実施形態の領域分割処理は、式（１）（又はこれに準じる式（４）−（６））における目的関数ｆ_１（又はこれに準じる目的関数ｆ_１A、ｆ_１B、ｆ_１C）の値を最小化する生体粘膜微細構造セグメントの組み合わせを求める方法に限らず、式（２）における目的関数ｆ_２の値を最大化するものであってもよく、さらに上述したように式（３）における目的関数ｆ_３の値を最大化するものであってもよい。

また、本実施形態の領域分割処理は、狭帯域光観察モードが選択された場合に得られる画像において行われるものに限らず、例えば通常光観察モードが選択された場合に得られる画像を用いても略同様に行うことができる。

また、本実施形態の領域分割処理は、線状構造を強調するフィルタとして、ヘッセ行列の固有値を計算することで得られる固有値に基づき線状構造らしさを表す評価値を計算する方法に限らず、線分を構造要素としたときに構造要素内の画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタであってもよい。また、楕円型ガウシアンフィルタの差分を計算するものであっても良いし、楕円型ガウシアンフィルタのラプラシアンを計算するものであってもよい。また、Ｓｏｂｅｌフィルタのような差分フィルタを用いてもよい。

また、本実施形態の領域分割処理は、所定の特徴量として、線状構造を強調するフィルタの応答値をＧ光に応じた画像データの画素値を用いて算出するものに限らず、例えば、Ｒ光やＢ光に応じた画像データの画素値を用いて算出するものであってもよい。

また、本実施形態の領域分割処理は、所定の特徴量として、線状構造を強調するフィルタの応答値をＧ光の応じた画像データの画素値からＲ光に応じた画像データの画像濃度値（又は画素値）を除して得た値を用いて算出するものであってもよい。

さらに、本実施形態の領域分割処理は、所定の特徴量として、線状構造を強調するフィルタの応答値を、ＲＧＢ表色系の画素値をＨＳＩ表色系またはＬ＊ａ＊ｂ表色系に変換することにより得られる変換後の値を用いて算出するものであってもよい。

また、本実施形態の領域分割処理は、分割する部分領域内での変化を最小とする領域分割条件において、変動のパラメータとして分散を用いるものに限らず、標準偏差や標準偏差を平均で除することによって得られる変動係数を用いるものであってもよい。

また、本実施形態の領域分割処理は、分割する部分領域間の変化を最大とする領域分割条件において、統計的性質のパラメータとして平均値を用いるものに限らず、中央値や最頻値を用いるものであってもよい。

また、本実施形態の領域分割処理は、分岐部の認識は分岐の形状に合わせてモデル化したマッチドフィルタの応答値によって認識されるものであってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態の説明を行う。第１の実施形態では、生体粘膜微細構造をコントラストの不連続性（または非均質性）に基づいて領域分割する手段及び方法について説明したが、本実施形態の趣旨はコントラストの不連続性または非均質性に基づいて領域分割を行う方法に限定されるものではなく、例えば、構造の形態的特徴に基づいて領域分割を行うことも可能である。

さらに、第１の実施形態においては、生体粘膜微細構造の抽出に用いる特徴量である線状構造を強調するフィルタの応答値とコントラストに相関があるため、生体粘膜微細構造の抽出と部分領域への領域分割に同じ特徴量を用いていたが、生体粘膜微細構造の抽出と部分領域への領域分割に異なる特徴量を用いることも可能である。

このため、本実施形態においては、生体粘膜微細構造の抽出と、部分領域への領域分割に対して、異なる特徴量を用いつつ、生体粘膜微細構造のパターンの幅等の形態的な特徴量に基づいて領域分割を行うことが可能な医用画像処理装置及び医用画像処理方法についての説明を行う。

なお、本実施形態に係る内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同じである。このため、本実施形態の内視鏡装置として第１の実施形態の内視鏡装置１と同じ符号を用いて、その構成の説明を省略する。

また、本実施形態の医用画像処理装置を構成する画像処理部も図１に示した画像処理部４１と同じ構成である。そのため、本実施形態の画像処理部として第１の実施形態の画像処理部４１と同じ符号を用い、その説明を省略する。また、本実施形態の演算部４１ｂの構成を図１６Ｃに示す。

図１６Ｃに示す本実施形態の演算部４１ｂは、図５に示した第１の実施形態の演算部４１ｂと一部異なる。図５の特徴量算出部４３ａは、生体粘膜微細構造を抽出する場合に用いる特徴量が、領域分割する場合に用いる特徴量と共通して使用していたが、図１６Ｃの特徴量算出部４３ａは、生体粘膜微細構造を抽出するために特徴量を算出する抽出用特徴量算出部４５ａと、領域分割する場合に用いる特徴量を算出する領域分割用特徴量算出部４５ｂとを有する。なお、図１６Ｃに示す演算部４１ｂは、第１の実施形態の場合も含む構成であるため、第１の実施形態のように共通の特徴量を算出することもできる。

また、図５に示した第１の実施形態においては、コントラストの不連続性（又は非均質性）を部分領域に分割する分割条件としていたが、本実施形態においては、コントラストの他に構造の形態的な特徴量の不連続性を分割条件に設定することもできるように分割条件を設定（又は選択）する分割条件設定部４３ｄを有する。なお、分割条件設定部４３ｄを、演算部４１ｂの外部の画像処理部４１内部等に設けるようにしても良い。

図１６Ｃに示すように演算部４１ｂは、コントラストの不連続性（又は非均質性）を分割条件とする第１の分割条件４６ａと、構造の形態的な特徴量の不連続性（又は非均質性）を分割条件とする第２の分割条件４６ｂとを格納するメモリ４７を有する。なお、メモリ４７を、演算部４１ｂの外部の画像処理部４１内部等に設けるようにしても良い。

そして、ユーザの選択指示により、分割条件設定部４３ｄは、メモリ４７に格納され第１の分割条件４６ａと、第２の分割条件４６ｂとから一方を選択して分割条件に設定することができるようにしている。本実施形態においては、更に第３の分割条件４６ｃを選択することができるようにしている。第３の分割条件は、色調の不連続性（又は非均質性）を分割条件とするものである。その他の構成は、第１の実施形態と同様である。

次に、本実施形態に係る内視鏡装置１の作用を説明する。

本実施形態は、分割条件として第１の分割条件を選択した場合には、第１の実施形態とほぼ同様となるため、分割条件として第１の分割条件以外を選択した場合を説明する。

つまり、以下の説明は、演算部４１ｂが抽出用特徴量算出部４５ａ，領域分割用特徴量算出部４５ｂを有する特徴量算出部４３ａ、抽出部４３ｂ、分岐部認識部４４ａ，セグメント分割部４４ｂ，分割判定部４４ｃを有する領域分割部４３ｃ、第２の分割条件４６ｂ又は第３の分割条件４６ｃを選択可能とする分割条件設定部４３ｄの場合について説明する。なお、第２の実施形態の変形例として、このような演算部４１ｂを備えた構成にしても良い。第２の実施形態の変形例の構成の場合には、コントラストを用いた第１の実施形態を含まない作用を持つことになる。これに対して、図１６Ｃに示した構成の場合には、第１の実施形態の作用の他に、以下の説明する作用を有するものとなる。

まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。

観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。

図１７は、本実施形態における第１の実施形態とは異なる画像処理部４１の主要な処理を示す。

画像処理部４１の画像データ生成部４１ａには、図１７のステップＳ２１に示すようにＲ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が画像入力部４１ｄを介して入力される。そして、画像データ生成部４１ａは、各画像に対応する色成分の画像データをそれぞれ生成し、生成した画像データを画像処理部４１の演算部４１ｂに出力する。

画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにおいて生成された画像データに基づき、必要に応じて図示しない前処理として逆ガンマ補正やノイズ抑制処理を行ってもよい。

演算部４１ｂ（の特徴量算出部４３ａ）は、画像データ生成部４１ａにおいて生成された画像データに基づき、以後の処理に用いる所定の特徴量を算出する。本実施形態においては図１７のステップＳ２２に示すように特徴量算出部４３ａは、抽出用特徴量算出部４５ａを用いて、線状構造を強調するフィルタの応答値をＧ光に応じた画像データの画素毎に算出し、抽出用の特徴量を算出する。そして、抽出した特徴量を演算部４１ｂの抽出部４３ｂに送る。

ステップＳ２２において抽出された特徴量により、抽出部４３ｂは、図１７のステップＳ２３に示すように、生体組織１０１において生体粘膜微細構造が存在する領域を抽出する処理を行う。

さらに、ステップＳ２４において演算部４１ｂ（の特徴量算出部４３ａ）は、ステップＳ２２において算出した抽出用の特徴量とは異なる領域分割用の特徴量を算出する。

つまり、特徴量算出部４３ａは、領域分割用特徴量算出部４５ｂを用いて、領域分割用の特徴量として、例えばステップＳ２３において抽出した生体粘膜微細構造のパターンの形態的な特徴量（具体例では幅）を算出する。

具体的な幅の算出方法を図１８Ａ〜図１８Ｇを参照しながら説明する。まず、図１７のステップＳ２３において抽出した図１８Ａに示す生体粘膜微細構造５１を領域分割用特徴量算出部４５ｂは２値化する。図１８Ｂは、２値化された２値化画像ＥＢを示す。

なお、２値化画像ＥＢは、生体粘膜微細構造にあたる画素の画素値を１、それ以外の画素の画素値を０とする画像である。
さらに領域分割用特徴量算出部４５ｂは、２値化画像ＥＢに対して中心線を検出する細線化処理を施すことで、図１８Ｃに示す細線化画像５１ａを得る。細線化画像５１ａは、生体粘膜微細構造の中心線にあたる画素の画素値を１、その他の画素の画素値を０とする画像である。
図１８Ｄに示すように細線化画像５１ａの画素値が１である画素の位置をｉ（１≦ｉ＜ＩＳＸ×ＩＳＹ｜Ｓｉ＝１）としたとき、図１８Ｅに示すように全てのｉについて２値化画像ＥＢの画素ＥＢｉにおける生体粘膜微細構造の幅を計算する。なお、上記（１≦ｉ＜ＩＳＸ×ＩＳＹ｜Ｓｉ＝１）はＩＳＸ×ＩＳＹ中における画素値Ｓｉが１になる位置ｉを表す。
図１８Ｆは２値化画像ＥＢの画素ＥＢｉにおける生体粘膜微細構造の幅を算出するために生体粘膜微細構造の走行方向Ｄｓ及びこの走行方向Ｄｓに直交する直交方向Ｄｖを示す。

生体粘膜微細構造の幅は、例えば、画素ＥＢｉにおける生体粘膜微細構造の走行方向Ｄｓに直交する直交方向Ｄｖにおける、２値化画像ＥＢの画素値が１である画素が連続している個数である。そして、図１８Ｇに示すように直交方向Ｄｖにおける、２値化画像ＥＢの画素値が１である画素が連続している個数Ｍを算出する。図１８Ｇの場合にはＭ＝７の幅に相当する値となる。

なお、画素ＥＢｉにおける生体粘膜微細構造の走行方向Ｄｓは、以下に示すような公知の方法で求めることができる。

例えば、Ｇ光に応じた画像データに対して水平方向の微分処理と垂直方向の微分処理を行い、結果として得られる２方向の微分値のアークタンジェントを計算することで得られる勾配方向θを、さらに例えば図１９のような４方向に量子化することで得ることができる。

図１９の左側は、−πラジアンからπラジアンの方向に対して−π≦θ≦πとして、（π／４）ラジアンを単位として４つの方向Ｄ１−Ｄ４に量子化した様子を示す。また、図１９の右側は、４つの方向にそれぞれ該当する場合の勾配方向θの範囲を示す。

また、画素ＥＢｉにおける生体粘膜微細構造の走行方向Ｄｓに直交する直交方向Ｄｖは、前述の計算により得られる２方向の微分値のアークタンジェントを計算することで得られる勾配方向θに（π／２）ラジアンを加算し、さらに例えば図１９のような４方向に量子化することで得ることができる。なお、量子化する方向の数は、図１９に示すような４方向に限定されるものでなく、４以上となる複数方向でも良い。

さらに、演算部４１ｂの領域分割部４３ｃは、図２０に示すように例えば図１７のステップＳ２４において生体粘膜微細構造５１において算出された形態的な特徴量としての幅（又は太さ）が異なる領域が存在する場合、ステップＳ２５に示すように幅の不連続性又は非均質性を示す条件（形態的な所定の分割条件）に基づいて分割線Ｌにより部分領域６１，６２に分割する。そして、分割後における各部分領域６１，６２の幅は、連続性または均質性を示すようになる。

ここでの領域分割処理は、上述した第１の実施形態の領域分割処理と同様の処理であり、第１の実施形態におけるコントラストを幅に置き換えることで同様の処理を行うことができる。

本実施形態によれば、画像データ生成部４１ａにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、画像データ上で連続的なパターンを呈する生体粘膜微細構造を、それぞれの分割された部分領域内で生体粘膜微細構造の幅が一様な２つの部分領域に分割することができる。その結果、所見に対応した生体粘膜微細構造の抽出精度を向上させることができる。

換言すると、３次元の生体粘膜微細構造を撮像した２次元の画像データ上では見かけ上連続したパターンとなっている場合、３次元構造に対応した不連続な境界で部分領域に分割し、分割後ではそれぞれの部分領域内で幅が一様又は連続性を示すような部分領域に分割することができる。その結果、３次元の生体粘膜微細構造に対応した部分領域を抽出する抽出精度を向上させることができる。

なお、本実施形態の形態的な分割条件による領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、図１６Ｃに示す第３の分割条件４６ｃ（色調に関する条件）を選択して、色調の不連続性（又は非均質性）を所定の分割条件として領域分割処理を行うようにしても良い。

図２１は、生体粘膜微細構造５１における色調の不連続性から分割線Ｌにより部分領域６１，６２に分割した例を示す。

つまり、色調に関する特徴量としては、例えば図１７のステップＳ２３において抽出した生体粘膜微細構造に対して、ステップＳ２４において生体粘膜微細構造における各画素位置における、Ｇ光に応じた画像データの画像濃度値を算出するようにしてもよい。また、上述した方法と略同様の方法で生体粘膜微細構造セグメントを検出し、Ｇ光に応じた画像データの画像濃度値から各々のセグメントを構成する全ての画素について平均値を計算することで生体粘膜微細構造セグメントの各々の色調を得ることができる。

また、本実施形態の領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、図２２及び図２３に示すように生体粘膜微細構造の走行方向を用いるものであってもよい。図２２は、その左側に示すように生体粘膜微細構造５１における走行方向が異なる部分において、その右側に示すように分割線Ｌにより部分領域６１，６２に分割した様子を示す。また、図２３も同様にその左側に示すように生体粘膜微細構造５１における走行方向が異なる部分において、その右側に示すように分割線Ｌ１，Ｌ２，Ｌ３，Ｌ４により部分領域６１，６２ａ，６２ｂ，６２ｃ，６２ｄに分割した様子を示す。

生体粘膜微細構造の各々の画素位置における走行方向は、前述したようにＧ光に応じた画像データに対して水平方向の微分処理と垂直方向の微分処理を行い、結果として得られる２方向の微分値のアークタンジェントを計算することで得られる勾配方向θを、さらに例えば図１９で示したような４方向に量子化することで得ることができる。

また、生体粘膜微細構造セグメント各々の方向は、略同様の方法で生体粘膜微細構造セグメントを検出し、各々のセグメントを構成する全ての画素についての走行方向から最頻値を計算することで得ることができる。そして、走行方向の最頻値が不連続性を示す場合には部分領域に分割する。

生体粘膜微細構造セグメントにおける走行方向の頻度の算出過程を図２４Ａ及び図２４Ｂに図示した。図２４Ａに示すように生体粘膜微細構造セグメントＳＧ内における各々の画素位置における走行方向を算出する。なお、算出された全画素における走行方向の情報は、例えば図１９に示した４つの方向Ｄ１−Ｄ４に区分けしてその頻度を算出する。算出された各方向の頻度の値を図２４Ｂに示すことにより、生体粘膜微細構造セグメントＳＧにおける走行方向の最頻値を算出することができる。そして、走行方向の最頻値を走行方向に設定する。その後、走行方向の最頻値を用いて走行方向の最頻値の不連続性を分割条件として領域分割処理を行う。そして、分割後では、各部分領域内では走行方向の最頻値がほぼ連続性を示すようになる。

なお、最頻値を用いて領域分割処理を行う場合に限定されるものでなく、各々の勾配方向に勾配強度を重みとして乗じた重み付きヒストグラムにおける重み付き最頻値を用いて領域分割処理を行うようにしてもよい。

また、本実施形態の領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、生体粘膜微細構造の長さを用いるものであってもよい。

生体粘膜微細構造の長さは、例えば、図１７のステップＳ２３において抽出した生体粘膜微細構造を２値化し、さらに中心線を検出する細線化処理を施すことで得た細線化画像の画素値が１である画素の総数である。

また、生体粘膜微細構造セグメントの各々の長さは、細線化画像から略同様の方法で細線化セグメントを検出し、各々の細線化セグメントを構成する画素の数をカウントすることで計算できる。
さらに、本実施形態の領域分割処理は、生体粘膜微細構造の幅を用いて部分領域に分割するものに限定されるものでなく、生体粘膜微細構造のコントラスト、幅、色調、走行方向、長さのうち２つ以上を組み合わせて用いるものであってもよい。以下に、組み合わせの一例として幅と色調を用いて領域分割する場合の例を、処理が同様の部分は省略し、ポイントとなる主要な部分のみ示す。

例えば、上述した図１１に示すように領域Ａを２つの領域（部分領域Ｃと部分領域Ｄ）に分割する場合において、部分領域Ｃ内の幅の分散値をσ_ｗＣ、色調の分散値をσ_ｃＣ、部分領域Ｄ内の幅の分散値をσ_ｗＤ、色調の分散値をσ_ｃＤとしたときに、以下の目的関数ｆ_１Ｄを最小化する部分領域Ｃと部分領域Ｄを求めればよい。なお、αとβはそれぞれ重みを表す定数であり、ここでは例えばα＝１、β＝１とする。

ｆ_１Ｄ ＝α（σ_ｗＣ＋σ_ｗＤ）＋β（σ_ｃＣ＋σ_ｃＤ） →ｍｉｎ （８）
また、例えば、図１１に示すように領域Ａを２つの領域（部分領域Ｃと部分領域Ｄ）に分割する場合において、部分領域Ｃ内の幅の平均値をμ_ｗＣ、色調の平均値をμ_ｃＣ、部分領域Ｄ内の幅の平均値をμ_ｗＤ、色調の平均値をμ_ｃＤとしたときに、以下の目的関数ｆ_２Ｂを最大化する部分領域Ｃと部分領域Ｄを求めればよい。なお、αとβはそれぞれ重みを表す定数であり、ここでは例えばα＝１、β＝１とする。

ｆ_２Ｂ ＝α（μ_ｗＣ＋μ_ｗＤ）＋β（μ_ｃＣ＋μ_ｃＤ） →ｍａｘ （９）
さらに、例えば、図１１に示すように領域Ａを２つの領域（部分領域Ｃと部分領域Ｄ）に分割する場合において、部分領域Ｃ内の幅の分散値をσ_ｗＣ、色調の分散値をσ_ｃＣ、部分領域Ｃ内の幅の平均値をμ_ｗＣ、色調の平均値をμ_ｃＣ、領域Ｄ内の幅の分散値をσ_ｗＤ、色調の分散値をσ_ｃＤ、部分領域Ｄ内の幅の平均値をμ_ｗＤ、色調の平均値をμ_ｃＤとしたときに、以下の目的関数ｆ_３Ｂを最大化する部分領域Ｃと部分領域Ｄを求めればよい。

なお、αとβはそれぞれ重みを表す定数であり、ここでは例えばα＝１、β＝１とする。

ｆ_３Ｂ ＝α(μ_ｗＣ＋μ_ｗＤ)/(σ_ｗＣ＋σ_ｗＤ)
＋β(μ_ｃＣ＋μ_ｃＤ)/(σ_ｃＣ＋σ_ｃＤ) →ｍａｘ （１０）
本実施形態の領域分割処理は、式（８）における目的関数ｆ_１Ｄの値を最小化する生体粘膜微細構造セグメントの組み合わせを求める方法であってもよいし、式（９）における目的関数ｆ_２Ｂの値を最大化する方法であってもよいし、式（１０）の目的関数ｆ_３Ｂの値を最大化するものであってもよい。

（第３の実施形態）
次に、本発明の第３の実施形態の説明を行う。分割する各々の部分領域が連続性または同一性を保つような分割条件に基づいて領域分割処理を行った第１の実施形態、及び第２の実施形態とは異なり、本実施形態においては、生体粘膜微細構造の顕著性に基づく領域分割処理について説明を行う。

つまり、第１の実施形態および第２の実施形態が部分領域の領域内及び領域間の特徴の変化に着目して領域分割を行う方法であるのに対し、本実施形態は部分領域の特徴の絶対量に着目して領域分割を行う方法である。より具体的には、生体粘膜微細構造の領域分割する場合、所定の特徴量が最大となるような部分領域（顕著な部分領域）と、それ以外の部分領域に分割する。

なお、本実施形態においては、第１の実施形態及び第２の実施形態と同様の構成の内視鏡装置１を用いて処理を行う。そのため、本実施形態においては、第１の実施形態の場合と同じ符号の内視鏡装置１を用いる。また、本実施形態の画像処理部は第１及び第２の実施形態の画像処理部４１と同じ構成であり、本実施形態も同じ符号の画像処理部４１を用いて説明する。また、本実施形態における演算部４１ｂの構成を図２５に示す。図２５に示す演算部４１ｂは、図１６Ｃに示す演算部４１ｂにおいて、更にメモリ４７には顕著性により領域分割処理を行うための第４の分割条件４６ｄを格納している。そして、ユーザは第１分割条件４６ａから第４の分割条件４６ｄまでの任意の分割条件を選択することができる。

また、領域分割部４３ｃは、更に抽出部４３ｂにより抽出された生体粘膜微細構造から少なくとも１つの端部を認識（又は検出）する端部認識手段としての端部認識部４４ｄと、端部認識部４４ｄによって認識された端部に基づき、抽出部４３ｂにより抽出された生体粘膜微細構造から前記端部を一端に持つ部分構造を部分構造候補として検出する部分構造候補検出手段としての部分構造候補検出部４４ｅと、を有する。

そして、領域分割部４３ｃの分割判定部４４ｃは、部分構造候補検出部４４ｅによって検出された部分構造候補の各々から算出される特徴量に基づいて所定の分割条件としての第４の分割条件４６ｄに対応する部分領域に分割する判定及び分割を行う。

なお、部分構造候補検出部４４ｅが端部認識部４４ｄの機能を兼ねる構成にしても良い。つまり、部分構造候補検出部４４ｅが生体粘膜微細構造から少なくとも１つの端部を認識し、認識結果に基づいてさらに（部分構造候補検出部４４ｅが）前記端部を一端に持つ部分構造を部分構造候補として検出するようにしても良い。

ユーザが第４の分割条件以外を選択した場合には、第２の実施形態と同様の作用となる場合がある。このため、以下の説明においては、ユーザが第４の分割条件を選択した場合を説明する。
本実施形態における第１の実施形態及び第２の実施形態と異なる主要部分においては、部分領域への領域分割に用いる特徴量、及び、領域分割の基準が主に異なる。そのため、本実施形態においては、第１の実施形態及び第２の実施形態と異なる部分についての説明を主に行うとともに、第１の実施形態及び第２の実施形態と同様の部分については適宜省略しつつ説明を行う。

つまり、以下の説明は、演算部４１ｂが抽出用特徴量算出部４５ａ，領域分割用特徴量算出部４５ｂを有する特徴量算出部４３ａ、抽出部４３ｂ、端部認識部４４ｄ，部分構造候補検出部４４ｅ，分割判定部４４ｃを有する領域分割部４３ｃ、第４の分割条件４６ｄが選択された分割条件設定部４３ｄの場合について説明する。なお、第３の実施形態の変形例として、このような演算部４１ｂのみを備えた構成にしても良い。

次に、本実施形態に係る内視鏡装置１の作用について説明を行う。

まず、術者は、内視鏡装置１の各部の電源を投入した後、観察モード切替スイッチ２４において通常光観察モードを選択する。そして、術者は、通常光観察モードを選択した際に表示装置５に表示される画像、すなわち、対象物を肉眼で見た場合と略同様の色合いを有する画像を見ながら内視鏡２を体腔内に挿入してゆくことにより、観察対象の生体組織１０１が存在する部位に先端部２１ｂを近接させる。

観察モード切替スイッチ２４において通常光観察モードが選択されると、Ｒ光、Ｇ光及びＢ光の各色の光が光源装置３から生体組織１０１へ順次出射され、内視鏡２において該各色の光に応じた画像がそれぞれ取得される。

図２６は、本実施形態における画像処理部４１の主要な処理を示す。

画像処理部４１の画像データ生成部４１ａには、図２６のステップＳ３１に示すようにＲ光に応じた画像、Ｇ光に応じた画像、及び、Ｂ光に応じた画像が画像入力部４１ｄを介して入力される。そして、画像データ生成部４１ａは、各画像に対応する色成分の画像データをそれぞれ生成し、生成した画像データを画像処理部４１の演算部４１ｂに出力する。

画像処理部４１の演算部４１ｂは、画像データ生成部４１ａにおいて生成された画像データに基づき、必要に応じて、図示しない前処理として逆ガンマ補正やノイズ抑制処理を行ってもよい。

演算部４１ｂ（の特徴量算出部４３ａ）は、画像データ生成部４１ａにおいて生成された画像データに基づき、以後の処理に用いる所定の特徴量を算出する。本実施形態においては図２６のステップＳ３２に示すように特徴量算出部４３ａは、抽出用特徴量算出部４５ａを用いて、線状構造を強調するフィルタの応答値をＧ光に応じた画像データの画素毎に算出し、抽出用の特徴量を算出する。そして、抽出した特徴量を演算部４１ｂの抽出部４３ｂに送る。

ステップＳ３２において抽出された特徴量により、抽出部４３ｂは、図２６のステップＳ３３に示すように、生体組織１０１において生体粘膜微細構造が存在する領域を抽出する処理を行う。抽出部４３ｂは、抽出した生体粘膜微細構造を領域分割部４３ｃに出力する。ステップＳ３４に示すように、領域分割部４３ｃの端部認識部４４ｄは、抽出された生体粘膜微細構造から複数の端点を（生体粘膜微細構造の端部として）認識する。ステップＳ３４以降の処理について図２７Ａ〜図２７Ｉを参照しながら説明する。

領域分割部４３ｃの端部認識部４４ｄは、図２６のステップＳ３３において抽出した生体粘膜微細構造からステップＳ３４に示すように複数の端点を認識し、さらに次のステップＳ３５において領域分割部４３ｃの部分構造候補検出部４４ｅは、２つの端点の組を端点候補として検出し、検出された各々の組について両端点を結ぶ生体粘膜微細構造を通る経路を（部分構造候補を形成する）経路候補として検出する。

より具体的には、端部認識部４４ｄは、図２７Ａに示す生体粘膜微細構造５１を２値化し、さらに中心線を検出する細線化処理を施すことで図２７Ｂに示す細線化画像５１ａを生成する。また、端部認識部４４ｄは、細線化画像５１ａから隣接する画素の数が１である画素を端点として全て、つまり端点群を認識する。図２７Ｂの場合には、３つの端点Ｐ１，Ｐ２，Ｐ３が認識（検出）され、端点群は端点Ｐ１，Ｐ２，Ｐ３からなる。

次に、部分構造候補検出部４４ｅは、端点群の中から２つの端点を端点候補としてランダムに選択する。部分構造候補検出部４４ｅは、さらに、別の端点候補として、先に選択された２点とは異なる２点の組をランダムに選択し、全ての端点の組み合わせが選択されるまで同様の処理を繰り返す。このようにして得られた端点候補の組に対して、各々の端点候補の組を結ぶ経路を経路候補ＣＰ_ｋ（ｋ＝１，．．．，Ｎ）として細線化画像５１ａから全て求める。

図２７Ｂの端点Ｐ１，Ｐ２，Ｐ３の場合には、図２７Ｃ，図２７Ｄ，図２７Ｅに示すような経路候補ＣＰ_１，ＣＰ_２，ＣＰ_３が検出される。

さらに、演算部４１ｂの特徴量算出部４３ａは、図２６のステップＳ３６において、検出された各々の経路候補ＣＰ_ｋについて所定の特徴量を算出する。特徴量算出部４３ａは、所定の特徴量として、例えば、生体粘膜微細構造の経路候補ＣＰ_ｋの長さｌ（ＣＰ_ｋ）を領域分割用の特徴量として算出する。

経路候補ＣＰ_ｋの長さｌ（ＣＰ_ｋ）は、例えば、細線化画像５１ａ上で各々の経路候補ＣＰ_ｋを構成する画素の総数を計算することで得られる。

図２６のステップＳ３７において演算部４１ｂの分割判定部４４ｃは、ステップＳ３３において抽出された生体粘膜微細構造を、ステップＳ３６において算出された各々の経路候補ＣＰ_ｋの中で最も長い経路を顕著な経路として部分領域として領域分割する。

より具体的に、本実施形態において最も顕著な経路とは、例えば、全ての経路候補の中で最も長い経路候補であり、細線化画像５１ａにおいて最も長い候補経路ＣＰmax arg＝max（ｌ（ＣＰ_ｋ））を選択し、その候補経路を幅方向に膨張処理を施すことで部分領域を得る。

さらに、図２６のステップＳ３３において抽出された生体粘膜微細構造から、このようにして得た部分領域と、その他の部分領域とを領域分割する。

図２７の図示例においては、図２７Ｃ、図２７Ｄ、図２７Ｅに示す３組の経路候補ＣＰ_１，ＣＰ_２，ＣＰ_３は、それぞれ図２７Ｆ、図２７Ｇ、図２７Ｈに示すようになる。分割判定部４４ｃは、３つの経路候補ＣＰ_１，ＣＰ_２，ＣＰ_３から最も長い候補経路ＣＰmaxが経路候補ＣＰ_１であると判定する。そして、分割判定部４４ｃは、経路候補ＣＰ_１を幅方向に膨張処理を施すことで、図２７Ｉに示すように分割線Ｌで分割された部分領域６１，６２を生成する。

また、抽出部４３ｂにより抽出された生体粘膜微細構造５１が例えば図２８の左側に示すようなパターン形状である場合には、演算部４１ｂは同様の処理を行うことにより、演算部４１ｂの分割判定部４４ｃは、図２８の右側に示すに分割線Ｌ１，Ｌ２で分割された部分領域６１，６２ａ，６２ｂを生成する。

本実施形態によれば、画像データ生成部４１ａにより生成された画像データを用いて以上に述べたような領域分割処理を行うことにより、画像データ上で連続的なパターンを呈する生体粘膜微細構造を、最大の長さを持つ部分領域を有するように生体粘膜微細構造を部分領域に分割することができる。

第１の実施形態及び第２の実施形態は、生体粘膜微細構造の不連続性または非均質性に基づいた領域分割手法であったが、本実施形態は、生体粘膜微細構造において部分的に顕著な特徴量を有する領域が存在する場合において、所見に対応した生体粘膜微細構造の抽出精度を向上させることができる。

なお、本実施形態の画像処理部４１が行う処理として、図２９に示すように分割条件設定部４３ｄにより設定又は選択された所定の分割条件に応じた処理を行うようにしても良い。最初のステップＳ５１においてユーザは分割条件設定部４３ｄによる所定の分割条件の設定又は選択を行う。

ステップＳ５１の処理後に、ステップＳ５２の画像入力の処理、ステップＳ５３の抽出用の特徴量を算出する処理、ステップＳ５４の生体粘膜微細構造を抽出する処理を順次行う。これらのステップＳ５２，Ｓ５３，Ｓ５４は、図１７のステップＳ２１，Ｓ２２，Ｓ２３（又は図２６のステップＳ３１，Ｓ３２，Ｓ３３）と同じ処理である。

ステップＳ５４の後のステップＳ５５において領域分割部４３ｃは、ステップＳ５１において設定された所定の分割条件を判定する。そして、判定結果に応じて、特徴量算出部４３ａは領域分割用の特徴量を算出する。

所定の分割条件が第１の分割条件に設定されている判定の場合には、ステップ５６において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおけるコントラストを領域分割用の特徴量として算出する。

所定の分割条件が第２の分割条件に設定されている判定の場合には、ステップ５７において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおける形態的な特徴量（具体的には、パターンの幅、又は長さ、又は走行方向等）を領域分割用の特徴量として算出する。

所定の分割条件が第３の分割条件に設定されている判定の場合には、ステップ５８において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおける色調の特徴量を領域分割用の特徴量として算出する。

所定の分割条件が第４の分割条件に設定されている判定の場合には、ステップ５９において特徴量算出部４３ａ（の領域分割用特徴量算出部４５ｂ）は、ステップＳ５４において抽出された生体粘膜微細構造のパターンにおける顕著性の特徴量を領域分割用の特徴量として算出する。

ステップＳ５６，Ｓ５７，Ｓ５８，Ｓ５９の処理後のステップＳ６０において領域分割部４３ｃは、生体粘膜微細構造のパターンを、算出された領域分割用の特徴量に基づいて、算出された特徴量の不連続性、不均質性、非顕著性の少なくともいずれかに対応する部分領域に分割する。そして、分割された各部分領域は、不連続性、不均質性、非顕著性の少なくともいずれかが解消されて連続性、又は均質性、又は顕著性の特性を示すようになる。このようにして、図２９の処理が終了する。

このように処理することにより、生体粘膜微細構造のパターンが示す種々の特徴量（具体的にはパターンにおけるコントラスト、色調、幅、長さ、走行方向等）に基づいて、生体粘膜微細構造の３次元的構造を反映するように部分領域に精度良く分割することができる。なお、図２９に示す処理は、具体的処理の１例を示すものであり、一部を変更した処理を行うようにしても良い。
例えば、ステップＳ５６，Ｓ５７，Ｓ５８，Ｓ５９における２つ、又は３つ（のように複数）の処理を順次又は並行して行い、複数の特徴量の算出結果に基づいてステップＳ６０の処理を行うようにしても良い。また、例えば、パターンの形態的な特徴量を算出する場合においても、例えばパターンの幅と長さとの２つの特徴量を算出し、該算出結果に基づいてステップＳ６０の処理を行うようにしても良い。

また、領域分割用の特徴量を算出する場合、優先して算出する特徴量の順序を設定する算出特徴量順序設定部を設け、優先度の高い特徴量を優先して算出し、その算出結果に基づいて領域分割の処理を行うようにしても良い。また、優先度の高い複数の特徴量の算出結果に基づいて領域分割の処理を行うようにしても良い。このようにすると、より信頼性の高い領域分割や、精度の良い部分領域の抽出を行うことができる。

また、以上の各実施形態において述べた一連の処理は、内視鏡画像に対して適用されるものに限らず、例えば、カプセル内視鏡により得られた画像に対して適用されるものであってもよく、または、モノクロ画像等の各種の医用画像に対して適用されるものであってもよい。
また、以上の各実施形態において述べた一連の処理は、生体粘膜微細構造における、サーフェスパターンやｐｉｔ ｐａｔｔｅｒｎ（ピットパターン）や血管のいずれに対しても適用することができる。

また、以上に述べた各実施形態においては、１画素ごとに算出された特徴量を用いて処理を行うものであってもよく、または、複数画素（例えば４×４画素）からなる小領域ごとに算出された特徴量を用いて処理を行うものであってもよい。

また、上述した実施形態において、例えば第２の実施形態は、実質的に第１の実施形態を含む構成で説明したが、第２の実施形態中において変形例として言及したように第１の実施形態を除外した構成にしても良い。また、第３の実施形態は、実質的に第１の実施形態と第２の実施形態を構成で説明したが、第３の実施形態中において変形例として言及したように第１の実施形態と第２の実施形態を除外した構成にしても良い。

本発明は、上述した各実施形態に限定されるものではなく、変形例を含む実施形態等を部分的に組み合わせて構成される実施形態の場合を含む。さらに本発明は、本発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本出願は、２０１２年１２月１９日に日本国に出願された特願２０１２−２７７０９０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (3)

1. 三次元的な構造を有する生体粘膜を撮像して得られる画像が入力される画像入力デバイスと、
   前記画像入力デバイスに入力された前記画像を構成する画素から、前記画像において連続的なパターンを呈する前記構造に対応する画素を抽出する抽出デバイスと、
   前記抽出デバイスによって抽出された前記構造に対応する画素から分岐部を認識する分岐部認識デバイスと、
   前記構造に対応する画素を、一端に前記分岐部を有する複数のセグメントに分割するセグメント分割デバイスと、
   前記抽出デバイスによって抽出された前記構造に対応する画素から、前記セグメント分割デバイスにより分割された各セグメントごとにコントラスト及び色調のうち少なくとも１つ以上の情報を算出する算出デバイスと、
   前記算出デバイスにおいて算出された各セグメント内における情報の変化が最小となるセグメントの組み合わせを特定し、特定された前記セグメントの組み合わせから三次元空間上連続する構造に対応する画素を抽出する領域分割デバイスと、
   を有することを特徴とする画像処理装置。
2. 三次元的な構造を有する生体粘膜を撮像して得られる画像が入力される画像入力デバイスと、
   前記画像入力デバイスに入力された前記画像を構成する画素から、前記画像において連続的なパターンを呈する前記構造に対応する画素を抽出する抽出デバイスと、
   前記抽出デバイスによって抽出された前記構造に対応する画素から分岐部を認識する分岐部認識デバイスと、
   前記構造に対応する画素を、一端に前記分岐部を有する複数のセグメントに分割するセグメント分割デバイスと、
   前記抽出デバイスによって抽出された前記構造に対応する画素から、前記セグメント分割デバイスにより分割された各セグメントごとにコントラスト及び色調及び幅のうち少なくとも１つ以上の情報を算出する算出デバイスと、
   前記算出デバイスにおいて算出された各セグメント内における情報の平均値または中央値または最頻値のセグメント間の変化が最大となるセグメントの組み合わせを特定し、特定された前記セグメントの組み合わせから三次元空間上連続する構造に対応する画素を抽出する領域分割デバイスと、
   を有することを特徴とする画像処理装置。
3. 前記領域分割デバイスは、前記算出デバイスにおいて算出された前記少なくとも1つ以上の情報の変化が最小、かつ前記少なくとも1つ以上の情報の平均値または中央値または最頻値のセグメント間の変化が最大となるセグメントの組み合わせを特定し、特定された前記セグメントの組み合わせから前記三次元空間上連続する構造に対応する画素を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。

Images