JP6176978B2

JP6176978B2 - 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム

Info

Publication number: JP6176978B2
Application number: JP2013077613A
Authority: JP
Inventors: 直也栗山
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-01-31
Filing date: 2013-04-03
Publication date: 2017-08-09
Anticipated expiration: 2033-04-03
Also published as: JP2014166298A; US20150339817A1; WO2014119047A1

Description

本発明は、内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム等に関する。

内視鏡装置を用いた生体内部の観察、診断においては、生体の微小な凹凸状態を観察することで早期病変部か否かの識別を行う手法が広く用いられている。また、生体用の内視鏡装置ではなく、工業用の内視鏡装置においても、被写体（狭義には被写体表面）の凹凸構造を観察することは有用であり、例えば直接の目視が難しいパイプ内部等に発生した亀裂の検出等が可能になる。また、内視鏡装置以外の画像処理装置においても、処理対象となる画像から被写体の凹凸構造を検出することが有用であることは多い。

撮像画像の構造（例えば溝等の凹凸構造）を画像処理により強調する手法として、例えば、特定の空間周波数を強調する画像処理や、以下の特許文献１に開示される手法が知られている。或は、画像処理ではなく、被写体側に何らかの変化（例えば色素散布）を生じさせて、変化後の被写体を撮像する手法が知られている。

特許文献１には、局所的な抽出領域の注目画素をその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色される処理を行うことで、凹凸構造を強調する手法が開示されている。

特開２００３−８８４９８号公報

Takeshi MITA, Toshimitsu KANEKO, and Osamu HORI (2006) "Joint Haar-like Features Based on Feature Co-occurrence for Face Detection"電子情報通信学会論文誌D, Vol.J89-D No.8 pp.1791-1801

さて、被写体の凹凸情報を画像処理により強調すると、強調すべき被写体と強調すべきでない被写体とが同様に強調されるという課題がある。例えば、強調すべきでない被写体が強調されると、ユーザーが本来見たい被写体との区別がつきにくくなってしまう。

本発明の幾つかの態様によれば、強調すべき被写体に対して強調処理を適用することが可能な、内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供できる。

本発明の一態様は、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、前記撮像画像における生体粘膜の領域を特定する生体粘膜特定部と、特定された前記生体粘膜の領域を、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて強調処理する強調処理部と、を含む内視鏡用画像処理装置に関係する。

本発明の一態様によれば、撮像画像における生体粘膜の領域が特定され、その特定された生体粘膜の領域が、既知特性情報と距離情報とに基づいて取得された凹凸部の情報に基づいて強調処理される。これにより、強調すべき被写体に対して強調処理を適用することが可能になる。

また本発明の他の態様は、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、前記撮像画像における除外対象の領域を特定する除外対象特定部と、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて前記撮像画像に対して強調処理を行い、特定された前記除外対象の領域に対する前記強調処理を非適用にする又は抑制する強調処理部と、を含む内視鏡用画像処理装置に関係する。

本発明の一態様によれば、撮像画像における除外対象の領域が特定され、既知特性情報と距離情報とに基づいて取得された凹凸部の情報に基づく強調処理が、除外対象の領域に対して不適用にされ又は抑制される。これにより、強調すべきでない被写体に対して強調処理を不適用にでき又は抑制でき、結果的に、強調すべき被写体に対して強調処理を適用することが可能になる。

また本発明の更に他の態様は、上記のいずれかに記載された内視鏡用画像処理装置を含む内視鏡装置に関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行い、前記撮像画像における生体粘膜の領域を特定し、特定された前記生体粘膜の領域を、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて強調処理する画像処理方法に関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行い、前記撮像画像における除外対象の領域を特定し、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて前記撮像画像に対して強調処理を行うと共に、特定された前記除外対象の領域に対する前記強調処理を非適用にする又は抑制する画像処理方法に関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行い、前記撮像画像における生体粘膜の領域を特定し、特定された前記生体粘膜の領域を、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて強調処理するステップを、コンピューターに実行させる画像処理プログラムに関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行い、前記撮像画像における除外対象の領域を特定し、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて前記撮像画像に対して強調処理を行うと共に、特定された前記除外対象の領域に対する前記強調処理を非適用にする又は抑制するステップを、コンピューターに実行させる画像処理プログラムに関係する。

画像処理装置の第１構成例。画像処理装置の第２構成例。第１実施形態における内視鏡装置の構成例。回転色フィルターの詳細な構成例。第１実施形態における画像処理部の詳細な構成例。生体粘膜特定部の詳細な構成例。図７（Ａ）、図７（Ｂ）は、強調処理における強調量についての説明図。凹凸情報取得部の詳細な構成例。図９（Ａ）〜図９（Ｆ）はモルフォロジー処理による抽出凹凸情報の抽出処理の説明図。図１０（Ａ）〜図１０（Ｄ）はフィルター処理による抽出凹凸情報の抽出処理の説明図。生体粘膜凹凸判定部と強調処理部の詳細な構成例。抽出凹凸情報の例。凹部の幅の算出処理についての説明図。凹部の深さの算出処理についての説明図。図１５（Ａ）、図１５（Ｂ）は凹部の強調処理における強調量（ゲイン係数）の設定例。距離情報取得部の詳細な構成例。第２実施形態における画像処理部の詳細な構成例。除外対象特定部の詳細な構成例。除外被写体特定部の詳細な構成例。鉗子挿入時における撮像画像の例。図２１（Ａ）〜図２１（Ｃ）は、処置具を除外対象とする場合における除外対象特定処理の説明図。除外シーン特定部の詳細な構成例。第３実施形態における画像処理部の詳細な構成例。図２４（Ａ）は、異常部を観察する際の撮像部と被写体の関係を示す図。図２４（Ｂ）は、取得した画像の例。分類処理についての説明図。第３実施形態における生体粘膜特定部の詳細な構成例。第３実施形態の第１変形例における画像処理部の詳細な構成例。第３実施形態の第２変形例における画像処理部の詳細な構成例。第４実施形態における画像処理部の詳細な構成例。第３実施形態及び第４実施形態における凹凸特定部の詳細な構成例。図３１（Ａ）、図３１（Ｂ）は、表面形状算出部が行う処理についての説明図。図３２（Ａ）は、基本ピットの例。図３２（Ｂ）は、修正ピットの例。表面形状算出部の詳細な構成例。第１の分類処理手法における分類処理部の詳細な構成例。図３５（Ａ）〜図３５（Ｆ）は、分類処理の具体例についての説明図。第２の分類処理手法における分類処理部の詳細な構成例。複数の分類タイプを用いる場合の分類タイプの例。図３８（Ａ）〜図３８（Ｆ）は、ピットパターンの例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
被写体の凹凸を強調する手法として、被写体側に何らかの変化を生じさせて、変化後の被写体を撮像する手法がある。一例として、生体用の内視鏡装置では、インジゴカルミン等の色素を散布することで、生体自体を染色し表層粘膜にコントラストをつける手法がある。しかしながら、色素散布は手間やコストがかかる上、散布した色素により被写体本来の色味が損なわれるおそれや、凹凸以外の構造の視認性が落ちるおそれがある。また、生体に対する色素散布では、患者にとって侵襲性が高いという問題も生じうる。

そこで本実施形態では、画像処理により被写体の凹凸を強調する。或は、凹凸部そのものに限らず、凹凸部の分類処理を行い、その分類結果に応じた強調を行ってもよい。強調処理としては、例えば上述した色素散布の再現や高周波成分の強調等種々の手法を採用できる。しかしながら、画像処理により強調を行うと、強調すべき被写体の凹凸と強調すべきでない被写体の凹凸とが同様に強調されるという課題がある。

例えば、強調すべき生体粘膜の凹凸と強調する必要のない処置具等の凹凸とが同様に強調されるため、生体粘膜に存在する早期病変の検出精度を向上させるという強調の効果が限定的となってしまう。

或は、特定のシーン（例えば送水やミスト発生等）では、そもそも強調すべき被写体が画像内に存在しないため、ユーザーは不必要に強調された画像を観察することになり、強調処理が行われない場合に比べて疲労感が増す恐れがある。

そこで本実施形態では、強調すべき被写体である生体粘膜が画像に含まれる場合に、その強調すべき被写体に対して強調処理を行う。或は、画像が、強調すべきでない被写体（又はシーン）を撮像したものである場合に、その被写体（又は画像全体）に対する強調処理を除外又は抑制する。

図１に、強調すべき被写体に対して強調処理を行う場合の構成例として、画像処理装置の第１構成例を示す。この画像処理装置は、画像取得部３１０と、距離情報取得部３２０と、凹凸特定部３５０と、生体粘膜特定部３７０と、強調処理部３４０と、を含む。

画像取得部３１０は、被写体の像を含む撮像画像を取得する。距離情報取得部３２０は、撮像画像を撮像する際の撮像部から被写体までの距離に基づく距離情報を取得する。凹凸特定部３５０は、その距離情報と、被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、その既知特性情報により特定される特性と合致する被写体の凹凸部を特定する凹凸特定処理を行う。生体粘膜特定部３７０は、撮像画像における生体粘膜の領域を特定する。強調処理部３４０は、特定された生体粘膜の領域を、凹凸特定処理により特定された凹凸部の情報に基づいて強調処理する。

この構成例によれば、強調すべき被写体である生体粘膜を特定し、その特定した生体粘膜に対して強調処理を行うことが可能となる。即ち、生体粘膜に対して強調処理を適用し、強調する必要のない生体粘膜以外の領域に対して強調処理を非適用又は抑制することが可能となる。これにより、生体粘膜とそれ以外の領域とをユーザーが弁別しやすくなり、検査精度の向上や、ユーザーの疲労軽減を実現できる。

ここで距離情報とは、撮像画像の各位置と、その各位置での被写体までの距離とが対応付けられた情報である。例えば距離情報は距離マップである。距離マップとは、例えば図３の撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば各画素）について、被写体までのＺ軸方向での距離（奥行き・深度）を当該点の値としたマップのことである。

なお距離情報は、撮像部２００から被写体までの距離に基づいて取得される種々の情報であればよい。例えば、ステレオ光学系で三角測量する場合は、視差を生む２つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式を用いた場合は、例えば、撮像素子面の各画素位置を基準にした距離を距離情報として取得すればよい。これらは、距離計測の基準点を撮像部２００に設定した例であるが、基準点は、撮像部２００以外の任意の場所、例えば、撮像部や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向の距離であることが考えられる。一例としては、撮像部２００の光軸方向での距離を用いればよい。例えば、撮像部２００の光軸に対して垂直な方向に視点を設定した場合には、当該視点において観察される距離（当該視点を通る、光軸に平行な線上での撮像部２００から被写体までの距離）であってもよい。

例えば、距離情報取得部３２０は、撮像部２００の第１の基準点を原点とした第１の座標系における各対応点の座標を、公知の座標変換処理によって、３次元空間内の第２の基準点を原点とした第２の座標系における対応点の座標に変換し、その変換後の座標をもとに距離を計測してもよい。この場合、第２の座標系における第２の基準点から各対応点までの距離は、第１の座標系における第１の基準点から各対応点までの距離、すなわち「撮像部から各対応点までの距離」となり、両者は一致する。

また、距離情報取得部３２０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、距離情報取得部３２０は、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。図８等で後述するように凹凸情報取得部３８０が抽出処理パラメーターを用いて凹凸情報を取得する場合、凹凸情報取得部３８０は、撮像部２００に基準点を設定した場合と比較して、抽出処理パラメーターとして異なるパラメーターを用いることになる。抽出処理パラメーターの決定には距離情報を用いる必要があるため、距離計測の基準点が変わることで距離情報の表し方が変化した場合には、抽出処理パラメーターの決定手法も変化するためである。例えば、後述するようにモルフォロジー処理により抽出凹凸情報を抽出する場合には、抽出処理に用いる構造要素のサイズ（例えば球の直径）を調整して、調整後の構造要素を用いて凹凸部の抽出処理を実施する。

また既知特性情報とは、被写体表面の構造のうち、本実施形態において有用な構造とそうでない構造とを分離可能な情報である。具体的には、強調することが有用な（例えば早期病変部の発見に役立つ）凹凸部の情報を既知特性情報としてもよく、その場合、当該既知特性情報と合致する被写体が強調処理の対象となる。或いは、強調しても有用でない構造の情報を既知特性情報としてもよく、その場合既知特性情報と合致しない被写体が強調対象となる。或いは、有用な凹凸部と有用でない構造の両方の情報を保持しておき、有用な凹凸部の範囲を精度よく設定するものとしてもよい。

或は既知特性情報は、被写体の構造物を特定の種類や状態に分類することが可能な情報である。例えば、生体の構造物を血管やポリープ、癌、その他の病変部等の種類に分類するための情報であり、それらの構造に特徴的な形状や色、サイズ等の情報である。或は、特定の構造物（例えば大腸粘膜に存在するピットパターン）が正常であるか非正常であるか等の状態を判別可能な情報であってもよく、その正常又は非正常な構造の形状や色、サイズ等の情報であってもよい。

また生体粘膜の領域は、撮像画像に写った生体粘膜の全体に限らず、その一部が生体粘膜の領域として特定されてもよい。即ち、生体粘膜のうち強調処理の実施対象である部分が生体粘膜の領域として特定されればよい。後述するように、例えば生体表面の一部である溝領域を生体粘膜の領域として特定し、その領域を強調することが想定される。或は、生体表面の凹凸以外の特徴量（例えば色）が所定条件に合致する部分を生体粘膜の領域として特定することが想定される。

図２に、強調すべきでない被写体（又はシーン）に対する強調処理を除外又は抑制する場合の構成例として、画像処理装置の第２構成例を示す。この画像処理装置は、画像取得部３１０と、距離情報取得部３２０と、凹凸情報取得部３８０と、除外対象特定部３３０と、強調処理部３４０と、を含む。

画像取得部３１０は、被写体の像を含む撮像画像を取得する。距離情報取得部３２０は、撮像画像を撮像する際の撮像部から被写体までの距離に基づく距離情報を取得する。凹凸特定部３５０は、その距離情報と、被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、その既知特性情報により特定される特性と合致する被写体の凹凸部を特定する凹凸特定処理を行う。強調処理部３４０は、凹凸特定処理により特定された凹凸部の情報に基づいて、撮像画像に対して強調処理を行う。除外対象特定部３３０は、撮像画像における、強調処理を実施しない除外対象の領域を特定する。このとき、強調処理部３４０は、特定された除外対象の領域に対する強調処理を非適用にする又は抑制する。

この構成例によれば、強調すべきでない被写体を特定し、その特定した被写体に対する強調処理を非適用又は抑制できる。即ち、除外対象以外の領域に強調処理が適用され、結果的に、強調すべき生体粘膜に対して強調処理を行うことができる。これにより、生体粘膜とそれ以外の領域とをユーザーが弁別しやすくなり、検査精度の向上や、ユーザーの疲労軽減を実現できる。

ここで除外対象とは、本来強調する必要が無い（例えば生体でない）被写体又はシーンや、強調することが有用でない（例えば強調することにより医師の診察を妨げる）被写体又はシーンである。後述するように、例えば残渣や血だまり、処置具、黒沈み（黒つぶれ）領域、白飛び（ハイライト）領域等の被写体や、例えば送水やＩＴナイフによる処置等の特定のシーンである。例えばＩＴナイフによる処置では、ナイフが生体を焼灼することによりミストが発生する。そのようなミストが撮影された画像を強調処理すると、かえって観察しにくい画像となる可能性がある。上記のような除外対象の被写体が撮像画像に写っている場合には、その領域の強調処理を非適用にし（又は抑制し）、除外対象のシーンを撮像した画像の場合には、その画像全体の強調処理を非適用にする（又は抑制する）。

２．第１実施形態
２．１．内視鏡装置
次に、上記の画像処理装置を適用した詳細な実施形態について説明する。第１実施形態では、被写体の凹凸部を特定する処理として、所望のサイズ（例えば幅や高さ、深さ等）を有する局所的な凹凸構造（例えばポリープ、襞等）を、それよりも大きい大局的な構造（例えば襞よりも大きな表面のうねり）を除いて抽出する処理を行う。

図３に、第１実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、プロセッサー部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、を含む。

光源部１００は、白色光源１１０と、光源絞り１２０と、光源絞り１２０を駆動させる光源絞り駆動部１３０と、複数の分光透過率のフィルターを有する回転色フィルター１４０と、を有する。また光源部１００は、回転色フィルター１４０を駆動させる回転駆動部１５０と、回転色フィルター１４０を透過した光をライトガイドファイバー２１０の入射端面に集光させる集光レンズ１６０と、を含む。光源絞り駆動部１３０は、プロセッサー部３００の制御部３０２からの制御信号に基づいて、光源絞り１２０の開閉を行うことで光量の調整を行う。

図４に回転色フィルター１４０の詳細な構成例を示す。回転色フィルター１４０は、三原色の赤色（以下Ｒと略す）フィルター７０１と、緑色（以下Ｇと略す）フィルター７０２と、青色（以下Ｂと略す）フィルター７０３と、回転モーター７０４と、から構成されている。例えば、Ｒフィルター７０１は例えば波長５８０ｎｍ〜７００ｎｍの光を透過し、Ｇフィルター７０２は波長４８０ｎｍ〜６００ｎｍの光を透過し、Ｂフィルター７０３は波長４００ｎｍ〜５００ｎｍの光を透過する。

回転駆動部１５０は、制御部３０２からの制御信号に基づいて、撮像素子２６０の撮像期間と同期して回転色フィルター１４０を所定回転数で回転させる。例えば、回転色フィルター１４０を１秒間に２０回転させると、各色フィルターは６０分の１秒間隔で入射白色光を横切ることになる。この場合、撮像素子２６０は、６０分の１秒間隔で画像信号の撮像と転送を完了することになる。ここで、撮像素子２６０は例えばモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等により構成される。即ち、本実施形態では、３原色の各色光（Ｒ或はＧ或はＢ）の画像が６０分の１秒間隔で撮像される面順次方式の撮像が行われる。

撮像部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を照明レンズ２２０に導くためのライトガイドファイバー２１０と、そのライトガイドファイバー２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２３０と、焦点位置を調整するためのフォーカスレンズ２４０と、フォーカスレンズ２４０の位置を移動するためのレンズ駆動部２５０と、集光した反射光を検出するための撮像素子２６０と、を含む。レンズ駆動部２５０は、例えばＶＣＭ（Voice Coil Motor）であり、フォーカスレンズ２４０と接続されている。レンズ駆動部２５０は、フォーカスレンズ２４０の位置を連続的な位置で切り替えることで、合焦物体位置を調整する。

また、撮像部２００には、ユーザーが強調処理のオン／オフ指示を行うスイッチ２７０が設けられている。ユーザーがスイッチ２７０を操作することで、スイッチ２７０から強調処理のオン／オフ指示信号が制御部３０２に出力される。

また、撮像部２００は、撮像部２００の情報が記録されたメモリー２１１を含む。メモリー２１１には、例えば撮像部２００の用途を表すスコープＩＤや、撮像部２００が有する光学特性の情報や、撮像部２００が有する機能の情報等が記録される。スコープＩＤは、例えば下部消化管（大腸）用のスコープや、上部消化管（食道、胃）用のスコープ等に対応したＩＤである。光学特性の情報は、例えば光学系の倍率（画角）等の情報である。機能の情報は、スコープに備わる例えば送水等の機能の実行状態を表す情報である。

プロセッサー部３００（制御装置）は、内視鏡装置の各部の制御や画像処理を行う。プロセッサー部３００は、制御部３０２と、画像処理部３０１と、を含む。制御部３０２は、内視鏡装置の各部と双方向に接続されており、その各部を制御する。例えば、制御部３０２は、レンズ駆動部２５０に制御信号を転送することで、フォーカスレンズ２４０の位置を変更する。画像処理部３０１は、撮像画像から生体粘膜の領域を特定する処理や、特定した生体粘膜の領域に対する強調処理等を行う。画像処理部３０１の詳細については後述する。

表示部４００は、プロセッサー部３００から転送される内視鏡画像を表示する。表示部４００は、例えば内視鏡モニタ等の動画表示可能な画像表示装置である。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタン、被写体に自動的に焦点を合わせるオートフォーカス動作を開始するＡＦボタン等を含んで構成される。

２．２．画像処理部
図５に、第１実施形態における画像処理部３０１の構成例を示す。この画像処理部３０１は、画像取得部３１０と、距離情報取得部３２０と、生体粘膜特定部３７０と、強調処理部３４０と、後処理部３６０と、凹凸特定部３５０と、記憶部３９０と、を含む。凹凸特定部３５０は、凹凸情報取得部３８０を含む。

画像取得部３１０は、距離情報取得部３２０と、生体粘膜特定部３７０と、強調処理部３４０に接続されている。距離情報取得部３２０は、生体粘膜特定部３７０と、凹凸情報取得部３８０に接続されている。生体粘膜特定部３７０は、強調処理部３４０に接続されている。強調処理部３４０は、後処理部３６０に接続されている。後処理部３６０は、表示部４００に接続されている。凹凸情報取得部３８０は、生体粘膜特定部３７０と、強調処理部３４０に接続されている。記憶部３９０は、凹凸情報取得部３８０に接続されている。制御部３０２は、画像処理部３０１の各部と双方向に接続されており、その各部を制御する。例えば制御部３０２は、画像取得部３１０と、後処理部３６０と、光源絞り駆動部１３０との同期を行う。また、スイッチ２７０（又は外部Ｉ／Ｆ部５００）から強調処理部３４０へ強調処理のオン／オフ指示信号を転送する。

画像取得部３１０は、撮像素子２６０から転送されるアナログ画像信号を、Ａ／Ｄ変換処理によりディジタル画像信号に変換する。そして、そのディジタル画像信号に対して、制御部３０２に予め保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いて、ＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理を実施する。また、面順次方式で撮像されたＲ画像、Ｇ画像、Ｂ画像に同時化処理を実施し、画素毎にＲＧＢの画素値を有するカラー画像を取得する。そのカラー画像を内視鏡画像（撮像画像）として距離情報取得部３２０と、生体粘膜特定部３７０と、強調処理部３４０に転送する。なお、Ａ／Ｄ変換処理は画像処理部３０１の前段（例えば撮像部２００に内蔵）で行われてもよい。

距離情報取得部３２０は、内視鏡画像に基づいて被写体までの距離情報を取得し、その距離情報を、生体粘膜特定部３７０と、凹凸情報取得部３８０に転送する。例えば距離情報取得部３２０は、内視鏡画像からぼけパラメーターを算出することにより被写体までの距離を検出する。或は、撮像部２００がステレオ画像を撮像する光学系を有してもよく、距離情報取得部３２０が、そのステレオ画像に対してステレオマッチング処理を行うことで被写体までの距離を検出してもよい。或は、撮像部２００がＴＯＦ（Time Of Flight）を検出するセンサを有してもよく、距離情報取得部３２０が、そのセンサ出力に基づいて被写体までの距離を検出してもよい。なお、距離情報取得部３２０の詳細については後述する。

ここで距離情報は、例えば内視鏡画像の各画素に対応して距離情報を有する距離マップである。この距離情報は、被写体の大まかな構造を表す情報と、その大まかな構造よりも相対的に小さい凹凸を表す情報との双方を含んでいる。大まかな構造を表す情報は、例えば臓器が本来もっている管腔構造や粘膜の大まかな起伏に対応し、例えば距離情報の低周波成分である。凹凸を表す情報は、例えば粘膜表面や病変が持つ凹凸に対応し、例えば距離情報の高周波成分である。

凹凸情報取得部３８０は、記憶部３９０に記憶された既知特性情報に基づいて、生体表面の凹凸部を表す抽出凹凸情報を距離情報から抽出する。具体的には、凹凸情報取得部３８０は、抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等のディメンジョン情報）を既知特性情報として取得し、その既知特性情報が表す所望のディメンジョン特性を有する凹凸部を抽出する。凹凸情報取得部３８０の詳細については後述する。

生体粘膜特定部３７０は、内視鏡画像において強調処理の実施対象となる生体粘膜（例えば病変が存在する可能性がある生体の一部）の領域を特定する。後述するように、例えば内視鏡画像に基づいて、生体粘膜の色の特徴に合致する領域を生体粘膜の領域として特定する。或は、抽出凹凸情報と距離情報に基づいて、抽出凹凸情報が表す凹凸部の中で、強調すべき生体粘膜（例えば凹部や溝）の特徴に合致する領域を生体粘膜の領域として特定する。生体粘膜特定部３７０は、例えば各画素について生体粘膜か否かを判定し、生体粘膜と判定した画素の位置情報（座標）を強調処理部３４０へ出力する。この場合、生体粘膜と判定した画素の集合が生体粘膜の領域に対応する。

強調処理部３４０は、特定された生体粘膜の領域に対して強調処理を行い、その内視鏡画像を後処理部３６０へ出力する。生体粘膜特定部３７０が色で生体粘膜の領域を特定する場合、強調処理部３４０は、抽出凹凸情報に基づいて生体粘膜の領域を強調処理する。生体粘膜特定部３７０が抽出凹凸情報に基づいて生体粘膜の領域を特定する場合、強調処理部３４０は、その生体粘膜の領域を強調処理する。いずれの場合にも、抽出凹凸情報に基づいて強調処理が行われることになる。強調処理は、例えば生体粘膜の凹凸構造（例えば画像の高周波成分）を強調する処理であってもよいし、或は所定の色成分を生体粘膜の凹凸に応じて強調する処理であってもよい。色成分の強調では、例えば凸部よりも凹部で所定の色成分を濃くすることで、色素散布を再現する処理を行ってもよい。

後処理部３６０は、強調処理部３４０から転送される内視鏡画像に対して、制御部３０２に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理を行う。後処理部３６０は、後処理後の内視鏡画像を表示部４００へ転送する。

２．３．生体粘膜特定処理
図６に、生体粘膜特定部３７０の詳細な構成例を示す。生体粘膜特定部３７０は、生体粘膜色判定部３７１と、生体粘膜凹凸判定部３７２と、を含む。なお本実施形態では、生体粘膜色判定部３７１と生体粘膜凹凸判定部３７２の少なくともいずれか一方により生体粘膜の領域を特定する。

生体粘膜色判定部３７１には、画像取得部３１０から内視鏡画像が転送される。生体粘膜色判定部３７１は、内視鏡画像の各画素における色相値と、生体粘膜が有する色相値の範囲とを比較し、各画素が生体粘膜に該当するか否かを判定する。一例として、色相値Ｈが下式（１）を満たす画素を、生体粘膜に該当する画素（以下では、生体粘膜画素と呼ぶ）と判定する。
１０°＜Ｈ≦３０° （１）

ここで、色相値ＨはＲＧＢの画素値より下式（２）で算出し、０°〜３６０°の範囲をとる。下式（２）において、ｍａｘ（Ｒ，Ｇ，Ｂ）はＲ画素値、Ｇ画素値、Ｂ画素値のうちの最大値であり、ｍｉｎ（Ｒ，Ｇ，Ｂ）はＲ画素値、Ｇ画素値、Ｂ画素値のうちの最小値である。下式（２）で算出した色相値Ｈが負の場合、色相値Ｈに３６０°を加算する。

このように画素の色で生体粘膜を判定することで、色の特徴から生体粘膜と判断できる領域に限定して強調処理を実施することができる。結果的に、強調する必要がない被写体を強調しないため、診察に適した強調処理を行うことが可能となる。

生体粘膜凹凸判定部３７２には、距離情報取得部３２０から距離情報が転送され、凹凸情報取得部３８０から抽出凹凸情報が転送される。生体粘膜凹凸判定部３７２は、距離情報と抽出凹凸情報に基づいて、各画素が生体粘膜に該当するか否かを判定する。具体的には、抽出凹凸情報に基づいて生体表面の溝（例えば幅１０００μｍ以下で深さ１００μｍ以下の凹部）を検出する。そして、生体表面の溝として検出された画素及び、下式（３）、（４）を満たす画素を、生体粘膜画素と判定する。なお溝の検出手法については後述する。
｜Ｄ（ｘ，ｙ）−Ｄ（ｐ，ｑ）｜＜Ｔ_{ｎｅｉｇｈｂｏｒ} （３）

ここで上式（４）は、座標（ｐ，ｑ）の画素が生体表面の溝として検出された画素であることを表す。上式（３）のＤ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素における被写体までの距離であり、Ｄ（ｐ，ｑ）は、座標（ｐ，ｑ）の画素における被写体までの距離である。これらの距離は、距離情報取得部３２０が取得した距離情報である。Ｔ_{ｎｅｉｇｈｂｏｒ}は、画素間の距離差分に対する閾値である。

例えば、距離情報取得部３２０は距離マップを距離情報として取得する。ここで距離マップとは、例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば各画素）について、被写体までのＺ軸方向での距離（奥行き・深度）を当該点の値としたマップのことである。例えば内視鏡画像の画素と距離マップの画素が一対一に対応する場合、内視鏡画像の座標（ｘ，ｙ）での距離Ｄ（ｘ，ｙ）は、距離マップの座標（ｘ，ｙ）での値である。

このように距離情報及び抽出凹凸情報に基づいて生体表面の溝及びその近傍領域を生体粘膜として判定することで、その生体表面の溝及びその近傍領域に限定して強調処理を実施することができる。結果的に、強調する必要がない被写体を強調しないため、診察に適した強調処理を行うことが可能となる。

以上の実施形態によれば、内視鏡画像及び距離情報に基づいて、内視鏡画像において強調処理を実施する生体粘膜を特定し、その特定した生体粘膜について、距離情報に基づいて被写体表面の凹凸情報を強調する。これにより、強調処理が必要な領域に対して強調処理を実施できるため、強調処理が必要な領域と不要な領域の弁別能を向上させ、強調処理を実施した場合の画像観察におけるユーザーの疲労感を最低限に抑制することができる。

また本実施形態では、生体粘膜特定部３７０は、撮像画像の画素値に基づく特徴量が、生体粘膜に対応する所定条件を満たす領域を、生体粘膜の領域として特定する。より具体的には、生体粘膜特定部３７０は、特徴量である色情報（例えば色相値）が、生体粘膜の色に関する所定条件（例えば色相値の範囲）を満たす領域を、生体粘膜の領域として特定する。

このようにすれば、強調すべき被写体を画像の特徴量に基づいて特定することができる。即ち、生体粘膜の特徴を特徴量の条件として設定し、その所定条件に合致する領域を検出することにより、強調すべき被写体を特定できる。例えば、生体粘膜に特徴的な色を所定条件に設定することで、その色の条件に合致する領域を強調すべき被写体として特定できる。

また、生体粘膜特定部３７０は、抽出凹凸情報が、既知特性情報である凹凸特性に合致する領域を、生体粘膜の領域として特定する。より具体的には、生体粘膜特定部３７０は、被写体の凹部（溝）の幅及び深さの少なくとも一方を表すディメンジョン情報を既知特性情報として取得し、抽出凹凸情報に含まれる凹凸部のうち、ディメンジョン情報により特定される特性と合致する凹部を抽出する。そして、抽出した凹部に対応する撮像画像上の領域である凹部領域と、その凹部領域の近傍領域と、を生体粘膜の領域として特定する。

このようにすれば、強調すべき被写体を被写体の凹凸形状に基づいて特定することができる。即ち、生体粘膜が持つ特徴を凹凸形状の条件として設定し、その所定条件に合致する領域を検出することにより、強調すべき被写体を特定できる。また凹部領域を生体粘膜の領域として特定することで、凹部領域に対して強調処理を行うことができる。後述するように、色素散布では生体表面の凹部が濃く染色される傾向にあるため、凹部を強調することで画像処理により色素散布を再現することが可能となる。

ここで凹凸特性とは、凹凸特性情報によって特定される凹凸部の特性である。凹凸特性情報とは、距離情報から抽出したい被写体の凹凸の特性を特定する情報である。具体的には、距離情報に含まれる凹凸のうち、非抽出対象である凹凸の特性を表す情報と、抽出対象とする凹凸の特性を表す情報との少なくとも一方の情報を含む。

また本実施形態では、図７（Ａ）に示すように、生体粘膜の領域に対しては強調処理をオンにし、それ以外の領域に対しては強調処理をオフにするというように、強調処理を二値的に実施する。なお本実施形態はこれに限定されず、図７（Ｂ）に示すように、強調処理部３４０は、生体粘膜の領域とそれ以外の領域との境界で連続的に変化する強調量で強調処理を行ってもよい。具体的には、強調量を多値化（例えば０％〜１００％）して、生体粘膜の領域とそれ以外の領域との境界で強調量に対してローパスフィルターをかけることで、強調量を連続的にする。

このようにすることで、強調処理オン／オフの境界が明確でなくなるため、境界で不連続に強調量を変える場合に比べてユーザーの内視鏡画像に対する印象を自然にできる。これにより、内視鏡画像が不自然に見えるリスクを低減できる。

２．４．第１の凹凸情報取得処理
図８に、凹凸情報取得部３８０の詳細な構成例を示す。凹凸情報取得部３８０は、既知特性情報取得部３８１と、抽出処理部３８３と、抽出凹凸情報出力部３８５と、を含む。

なお、ここでは既知特性情報に基づいて抽出処理パラメーターを設定し、設定した抽出処理パラメーターを用いた抽出処理により、距離情報から抽出凹凸情報を抽出する手法を説明する。具体的には、既知特性情報を用いて、所望のディメンジョン特性を有する凹凸部（狭義にはその幅が所望の範囲にある凹凸部）を抽出凹凸情報として抽出する。距離情報には被写体の３次元構造が反映されることから、当該距離情報には所望の凹凸部の他、それよりも大きな構造である襞構造や、管腔の壁面構造に対応した大局的な構造が含まれる。即ち、本実施形態の抽出凹凸情報取得処理は、距離情報から襞、管腔構造を除外する処理であると言うこともできる。

ただし、抽出凹凸情報取得処理はこれに限定されるものではない。例えば、抽出凹凸情報の取得処理においては既知特性情報を用いないものとしてもよい。また、既知特性情報を用いる場合にも、当該既知特性情報としてどのような情報を用いるかは、種々の変形実施が可能である。例えば、距離情報から管腔構造に関する情報は除外するが、襞構造に関する情報は残すような抽出処理を行ってもよい。そのような場合であっても、生体粘膜凹凸判定処理では更に既知特性情報（例えば凹部のディメンジョン情報）を用いるため、所望の被写体を生体粘膜として特定することが可能である。

既知特性情報取得部３８１は、記憶部３９０から既知特性情報を取得する。具体的には、生体表面から病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等のディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）等を、既知特性情報として取得する。ここで観察部位情報は、例えばスコープＩＤ情報に基づいて決定される、観察対象としている部位を表す情報であり、当該観察部位情報も既知特性情報に含まれてもよい。例えば上部消化器用スコープだと観察部位は食道、胃、十二指腸であり、下部消化器用スコープだと観察部位は大腸と判定される情報である。抽出したい凹凸部のディメンジョン情報、及び部位固有の管腔及び襞のディメンジョン情報は、部位に応じて異なるものであるため、既知特性情報取得部３８１では、観察部位情報に基づいて取得された標準的な管腔及び襞のサイズ等の情報を抽出処理部３８３へ出力する。なお、観察部位情報はスコープＩＤ情報により決定されるものに限定されず、外部Ｉ／Ｆ部５００においてユーザーが操作可能なスイッチを用いて選択される等、他の手法により決定されてもよい。

抽出処理部３８３は、既知特性情報に基づいて抽出処理パラメーターを決定し、決定された抽出処理パラメーターに基づいて抽出凹凸情報の抽出処理を行う。

まず抽出処理部３８３は、入力された距離情報に対してＮ×Ｎ画素の所定サイズのローパスフィルター処理を施し、大まかな距離情報を抽出する。そして抽出された大まかな距離情報に基づいて、適応的に抽出処理パラメーターを決定する。抽出処理パラメーターの詳細については以降で説明するが、例えば距離マップの距離情報と直交する平面位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）や、上記平面位置の距離情報に適応したローパスフィルターのローパス特性や、上記平面位置に適応したハイパスフィルターのハイパス特性である。即ち、距離情報に応じた適応的な非線形、及び線形のローパスフィルターやハイパスフィルターを変更する変更情報となる。なお、ここでのローパスフィルター処理は、抽出処理パラメーターが画像上位置に応じて頻繁に、或いは極端に変化することによる抽出処理の精度低下を抑止するためのものであり、当該精度低下が問題とならないのであればローパスフィルター処理を行わなくてもよい。

次に、抽出処理部３８３は、決定された抽出処理パラメーターに基づいて、抽出処理を行うことで被写体に実在する所望サイズの凹凸部のみを抽出する。抽出凹凸情報出力部３８５は、抽出された凹凸部を、撮像画像（強調処理の対象となる画像）と同一サイズの抽出凹凸情報（凹凸画像）として、生体粘膜特定部３７０や強調処理部３４０へ出力する。

続いて抽出処理部３８３における抽出処理パラメーターの決定処理の詳細を、図９（Ａ）〜図９（Ｆ）を用いて説明する。図９（Ａ）〜図９（Ｆ）の抽出処理パラメーターはモルフォロジー処理のオープニング処理とクロージング処理に利用する構造要素（球）の直径である。図９（Ａ）は、被写体の生体表面と撮像部２００の垂直方向の断面を模式的に示した図である。生体表面にある襞２、３、４は例えば胃壁の襞であるとする。また早期病変部１０、２０、３０が生体表面に形成されているものとする。

抽出処理部３８３における抽出処理パラメーターの決定処理にて実現したいのは、このような生体表面から襞２、３、４は抽出せずに早期病変部１０、２０、３０のみを抽出するための抽出処理パラメーターを決定することである。

これを実現するには、記憶部３９０からの病変部起因の抽出したい生体固有の凹凸部のサイズ（幅や高さや深さ等のディメンジョン情報）、及び観察部位情報に基づく部位固有の管腔及び襞のサイズ（幅や高さや奥行き等のディメンジョン情報）を用いる必要がある。

この２つの情報を使って実際の生体表面をオープニング処理及びクロージング処理でなぞる球の直径を決定すれば所望の凹凸部のみを抽出できる。球の直径は観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。より詳細には襞のサイズの半分以下の直径で病変起因の抽出したい生体固有の凹凸部のサイズ以上に設定するのがよい。上記条件を満たす球をオープニング処理とクロージング処理に使用した例が、図９（Ａ）〜図９（Ｆ）に描かれている。

図９（Ｂ）はクロージング処理した後の生体表面であり、適切な抽出処理パラメーター（構造要素のサイズ）を決定することで、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部のうち、凹部が埋められた情報が得られることがわかる。クロージング処理により得られた情報と、元の生体表面（図９（Ａ）に対応）との差分を取る事で図９（Ｃ）のような生体表面の凹部のみを抽出できる。

同様に図９（Ｄ）はオープニング処理した後の生体表面であり、抽出対象としているディメンジョンの凹凸部のうち、凸部が削られた情報が得られることがわかる。よってオープニング処理により得られた情報と、元の生体表面との差分を取る事で図９（Ｅ）のような生体表面の凸部のみを抽出できる。

上記のように実際の生体表面に対して全て同一サイズの球を使ったオープニング処理やクロージング処理を行えばよいのだが、撮像画像は距離情報が遠い程小さい領域として撮像素子上に結像されるので、所望サイズの凹凸部を抽出するには、距離情報が近い場合には上記球の直径を大きく、距離情報が遠い場合は上記球の直径を小さくするように制御すれば良い。

図９（Ｆ）に示すように、距離マップに対するオープニング処理やクロージング処理を行う場合の平均的な距離情報に対して、球の直径を変更する様に制御する。即ち、距離マップに対して所望の凹凸部を抽出するには生体表面のリアルな大きさを撮像素子上の結像画像上の画素ピッチの大きさと一致させるために光学倍率で補正する必要がある。そのため、抽出処理部３８３は、スコープＩＤ情報に基づいて決定される撮像部２００の光学倍率等を取得しておくとよい。

即ち、抽出処理パラメーターである構造要素のサイズの決定処理は、襞等の非抽出対象である形状に対して構造要素による処理を行った場合（図９（Ａ）では表面で球を滑らせた場合）には、当該形状を潰さない（形状に追従して球が移動する）ような構造要素のサイズを決定するものとなる。逆に、抽出凹凸情報として抽出対象となる凹凸部に対して構造要素による処理を行った場合には、当該凹凸部をなくす（上から滑らせた場合に凹部に入り込まない、或いは下から滑らせた場合に凸部に入り込まない）ような構造要素のサイズを決定すればよい。なおモルフォロジー処理については広く知られた手法であるため詳細な説明は省略する。

以上の実施形態によれば、凹凸情報取得部３８０は、既知特性情報に基づいて抽出処理パラメーターを決定し、決定された抽出処理パラメーターに基づいて、被写体の凹凸部を抽出凹凸情報として抽出する。

これにより、既知特性情報により決定された抽出処理パラメーターを用いて抽出凹凸情報の抽出処理（例えば分離処理）を行うことが可能になる。抽出処理の具体的な手法は、上述したモルフォロジー処理や、後述するフィルター処理等が考えられるが、いずれにせよ抽出凹凸情報を精度よく抽出するためには、距離情報に含まれる種々の構造の情報から、所望の凹凸部に関する情報を抽出しつつ、他の構造（例えば襞等の生体固有の構造）を除外する制御が必要になる。ここでは既知特性情報に基づいて抽出処理パラメーターを設定することで、そのような制御を実現する。

また本実施形態では、撮像画像が、生体の内部を撮像した生体内画像であり、既知特性情報取得部３８１は、被写体が生体のいずれの部位に対応するかを表す部位情報と、生体の凹凸部に関する情報である凹凸特性情報を、既知特性情報として取得してもよい。そして凹凸情報取得部３８０は、部位情報と、凹凸特性情報に基づいて、抽出処理パラメーターを決定する。

このようにすれば、生体内画像を対象とする場合（例えば生体用の内視鏡装置に本実施形態の画像処理装置が用いられる場合）に、当該生体内画像の被写体の部位に関する部位情報を、既知特性情報として取得することが可能になる。本実施形態の手法を生体内画像を対象として適用する場合には、早期病変部の検出等に有用な凹凸構造を抽出凹凸情報として抽出することが想定されるが、早期病変部に特徴的な凹凸部の特性（例えばディメンジョン情報）は部位によって異なる可能性がある。また、除外対象である生体固有の構造（襞等）は部位によって当然異なる。よって、生体を対象とするのであれば、部位に応じた適切な処理を行う必要があり、本実施形態では部位情報に基づいて当該処理を行うものとする。

また本実施形態では、凹凸情報取得部３８０は、既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、抽出処理パラメーターとして決定し、決定されたサイズの構造要素を用いたオープニング処理及びクロージング処理を行って、被写体の凹凸部を抽出凹凸情報として抽出する。

このようにすれば、オープニング処理及びクロージング処理（広義にはモルフォロジー処理）に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメーターは、オープニング処理及びクロージング処理で用いられる構造要素のサイズである。図９（Ａ）では構造要素として球を想定しているため、抽出処理パラメーターとは球の直径等を表すパラメーターとなる。

２．５．第２の凹凸情報取得処理
本実施形態の抽出処理はモルフォロジー処理には限定されず、フィルター処理により行ってもよい。例えばローパスフィルター処理を用いる場合には、上記病変部起因の抽出したい生体固有の凹凸部は平滑化可能で、観察部位固有の管腔及び襞の構造が保持されるローパスフィルターの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象である襞、管腔構造の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルターの特性は決定可能である。

ローパスフィルターは公知のガウスフィルターやバイラテラルフィルターとし、その特性はσで制御し、距離マップの画素に一対一対応するσマップを作成してもよい（バイラテラルフィルターの場合は輝度差のσと距離のσの両方或いはどちらか１つでσマップを作成してもよい）。なお、ガウスフィルターは下式（５）、バイラテラルフィルターは下式（６）で表すことができる。

例えばここでこのσマップは画素単位でなくても間引き処理したσマップを作成して、当該σマップにより距離マップに対して所望のローパスフィルターを作用させてもよい。

ローパスフィルターの特性を決めるσは、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離Ｄ１の所定倍α（＞１）よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離Ｄ２の所定倍β（＜１）よりも小さい値を設定する。例えば、σ＝（α＊Ｄ１＋β＊Ｄ２）／２＊Ｒσとしてもよい。

また、ローパスフィルターの特性として、より急峻な特性を設定することもできる。この場合はσではなくカットオフ周波数ｆｃでフィルター特性を制御することになる。カットオフ周波数ｆｃは、上記Ｄ１周期の周波数Ｆ１をカットし、Ｄ２周期の周波数Ｆ２を通過するように指定すればよい。例えば、ｆｃ＝（Ｆ１＋Ｆ２）／２＊Ｒｆとしてもよい。

ここでＲσは局所平均距離の関数であり、局所平均距離が小さくなれば出力値が大きく、局所平均距離が大きくなれば小さくなる。一方、Ｒｆは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ローパス処理していない距離マップからローパス処理結果を減算して負となる領域だけ抽出することで凹部画像を出力できる。また、ローパス処理していない距離マップからローパス処理結果を減算して正となる領域だけ抽出することで凸部画像を出力できる。

図１０（Ａ）〜図１０（Ｄ）に、ローパスフィルターによる病変由来の所望の凹凸部を抽出する処理の説明図を示す。図１０（Ａ）の距離マップに対して、ローパスフィルターを用いたフィルター処理を行うことで、図１０（Ｂ）に示すように、生体壁面による距離変化や、襞等の構造を維持しつつ、抽出対象としているディメンジョンの凹凸部が除かれた情報が得られることがわかる。上述したようなオープニング処理とクロージング処理の２つの処理を行わなくてもローパスフィルター処理結果が所望の凹凸部を抽出する基準局面（図１０（Ｂ））となるので、距離マップ（図１０（Ａ））との減算処理で、図１０（Ｃ）に示したように凹凸部を抽出できる。オープニング処理とクロージング処理で大まかな距離情報に応じて構造要素のサイズを適応的に変更したのと同様に、ローパスフィルター処理では、大まかな距離情報に応じてローパスフィルターの特性を変更するとよく、その例を図１０（Ｄ）に示す。

また、ローパスフィルター処理ではなくハイパスフィルター処理を行ってもよく、その場合病変部起因の抽出したい生体固有の凹凸部を保持し、観察部位固有の管腔及び襞の構造がカットされるハイパスフィルターの特性を決定する。

ハイパスフィルターの特性として、例えばカットオフ周波数ｆｈｃでフィルター特性を制御する。カットオフ周波数ｆｈｃは、上記Ｄ１周期の周波数Ｆ１を通過し、Ｄ２周期の周波数Ｆ２をカットするように指定すればよい。例えば、ｆｈｃ＝（Ｆ１＋Ｆ２）／２＊Ｒｆとしてもよい。ここで、Ｒｆは局所平均距離が小さくなれば出力値が小さく、局所平均距離が大きくなれば大きくなる関数である。

ハイパスフィルター処理では、直接病変部起因の抽出したい凹凸部を抽出できる。具体的には、図１０（Ｃ）に示したように、差分を取らなくとも直接抽出凹凸情報が取得されることになる。

以上の実施形態によれば、凹凸情報取得部３８０は、既知特性情報に基づいて、距離情報に対するフィルターリング処理に用いられるフィルターの周波数特性を、抽出処理パラメーターとして決定し、決定された周波数特性を有するフィルター用いたフィルターリング処理を行って、被写体の凹凸部を抽出凹凸情報として抽出する。

このようにすれば、フィルター処理に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメーターは、フィルター処理で用いられるフィルターの特性（狭義には空間周波数特性）である。具体的には上述したように、襞等の除外対象に対応する周波数と、凹凸部に対応する周波数とに基づいてσの値やカットオフ周波数を決定すればよい。

２．６．生体粘膜凹凸判定処理、強調処理
生体粘膜凹凸判定部３７２が生体表面の凹部（以下、溝と呼ぶ）及びその近傍を生体粘膜として抽出する処理と、その生体粘膜の領域を強調処理部３４０が強調する処理について詳細に説明する。強調処理の一例として、生体表面の微小な凹凸部のコントラストを向上させるインジゴカルミンを散布した画像を模擬した画像を作成する。具体的には、溝領域及び近傍領域の画素値に対して、青味を増すゲインを乗算する。ここで、凹凸情報取得部３８０から転送される抽出凹凸情報は、画像取得部３１０から入力される内視鏡画像と、画素毎に一対一で対応している。

図１１に、生体粘膜凹凸判定部３７２の詳細な構成例を示す。生体粘膜凹凸判定部３７２は、ディメンジョン情報取得部６０１と、凹部抽出部６０２と、近傍抽出部６０４と、を含む。

ディメンジョン情報取得部６０１は、記憶部３９０等から既知特性情報（ここでは特にディメンジョン情報）を取得する。凹部抽出部６０２は、既知特性情報に基づいて、抽出凹凸情報に含まれる凹凸部のうち、強調対象となる凹部を抽出する。近傍抽出部６０４は、抽出された凹部から所定距離以内（近傍）の生体表面を抽出する。

生体粘膜凹凸判定処理を開始すると、既知特性情報に基づいて、抽出凹凸情報から生体表面の溝を検出する。ここで、既知特性情報とは生体表面の溝の幅、深さを指す。一般的に、生体表面の微小な溝の幅は数１０００μｍ以下、深さは数１００μｍ以下である。ここでは、抽出凹凸情報から生体表面上での溝の幅および深さを算出する。

図１２に１次元の抽出凹凸情報を示す。撮像素子２６０から生体表面までの距離は、撮像素子２６０（撮像面）の位置を０として、奥行き方向に正の値を取るものとする。図１３に溝の幅の算出方法を示す。ここでは、抽出凹凸情報から、基準面より距離が遠く連続した撮像面からの距離がある閾値ｘ１以上離れた点の端部を検出する（図１３のＡ点とＢ点）。ここでは、距離ｘ１が基準面になっている。そして、検出された点の内部に含まれるに対応する、画素数Ｎを算出する。更に内部の点について撮像素子からの距離ｘ１〜ｘＮの平均値を算出しｘａｖｅとする。下式（７）に溝の幅ｗの算出式を示す。ここで、ｐは撮像素子２６０の１画素当たりの幅、Ｋは撮像素子からの距離ｘａｖｅに一対一で対応する光学倍率を示している。
ｗ＝Ｎ×ｐ×Ｋ（７）

図１４に溝の深さの算出方法を示す。下式（８）に溝の深さｄの算出式を示す。ここで、ｘ１〜ｘＮのうちの最大値をｘＭとし、ｘ１とｘＮのうち小さい方をｘｍｉｎとする。
ｄ＝ｘＭ−ｘｍｉｎ１（８）

基準面（撮像素子からの距離ｘ１の面）はユーザーが外部Ｉ／Ｆ部５００を介して任意の値を設定してもよい。算出した溝の幅、及び深さが既知特性情報に合致する場合は、対応する内視鏡画像の画素位置を溝領域の画素と判定する。既知特性情報に合致するか否かの判定は、ここでは例えば、溝の幅が３０００μｍ以下、溝の深さが５００μｍ以下の場合の画素を溝領域の画素と判定する。ここで、閾値となる溝の幅、深さは外部Ｉ／Ｆ部５００を介してユーザーが設定してもよい。

近傍抽出部６０４は、図６で説明したように、奥行き方向の距離が溝領域から所定距離以内である生体表面の画素を、近傍画素として検出する。溝領域の画素と近傍領域の画素が生体粘膜の画素として強調処理部３４０へ出力される。

以上の処理により、強調処理の対象となる被写体（狭義には強調処理の対象となる画素）を決定することができる。

次に、その被写体に対する強調処理について説明する。強調処理部３４０は、強調量設定部３４１と、補正部３４２と、を含む。強調処理部３４０は、生体粘膜画素の画素値にゲイン係数を乗算する。具体的には、注目画素のＢ信号は増加するように１以上のゲイン係数を、Ｒ，Ｇ信号は減少するように１以下のゲイン係数を乗算する。これにより、生体表面の溝（凹部）は青味を増すことで、インジゴカルミンを散布したような画像を得ることができる。

補正部３４２は、強調対象の視認性を高める補正処理を行う。詳細は後述する。その際、強調量設定部３４１で強調量を設定しておき、設定された強調量に従って補正処理を行ってもよい。

また、スイッチ２７０、外部Ｉ／Ｆ部５００から強調処理のオン／オフ指示信号が制御部３０２を介して入力される。指示信号がオフの場合は、強調処理部３４０は強調処理を行わずに画像取得部３１０から入力された内視鏡画像を後処理部３６０へ転送する。指示信号がオンの場合は強調処理を行う。

強調処理を行う場合、生体粘膜画素に対しては一律に強調処理を行ってもよい。具体的には、全ての生体粘膜画素に対して同一のゲイン係数を用いた強調処理を行うことが考えられる。ただし、強調処理の対象である生体粘膜画素のなかでも、強調処理の手法を変更してもよい。例えば溝の幅、深さに応じてゲイン係数を変化させて、当該ゲイン係数を用いた強調処理を行ってもよい。具体的には、溝の深さが浅いほど青味が薄くなるようゲイン係数を乗算する。こうすることで、実際の色素散布を行った場合に近い画像を得ることができる。この場合のゲイン係数の設定例を図１５（Ａ）に示す。或いは、細かい構造が病変発見等に有用であることがわかっている場合には、より細かいほど、つまり溝の幅が狭いほど強調量を多くするものとしてもよく、この場合のゲイン係数の設定例を図１５（Ｂ）に示す。

また、強調処理は青味が増すように処理を行ったが、これに限定されない。例えば溝の深さに応じて着色する色味を変えてもよい。これにより、全ての溝に対してその深さによらず同様の色味をつける強調処理に比べて、溝の連続性が視認できるようになるためより高精度な範囲診断が可能となる。

また、強調処理としてＢ信号を上げて、Ｒ，Ｇ信号を下げるようゲインを乗算したが、これに限らず、Ｂ信号を上げて、Ｒ信号を下げるようゲインを乗算し、Ｇ信号はゲインを乗算しなくてもよい。これにより、青味を増した凹部についてもＢ，Ｇ信号の信号値が残るため、凹部内の構造がシアンで表示されることになる。

また、強調処理の対象を生体粘膜画素に限定せず、画像全体に対して処理を行うものとしてもよい。この場合、生体粘膜として特定された領域については、ゲイン係数を高くする等の視認性を高める処理を行い、その他の領域については、ゲイン係数を低くする、１にする（元の色と同じにする）、或いは特定の色に変換する（例えば強調対象の目標色の補色となるようにして、強調対象の視認性を高める）等の処理を行う。つまり、本実施形態の強調処理は、インジゴカルミンを用いた場合と同様の疑似画像を生成するものには限定されず、注目すべき対象の視認性を向上させる種々の処理により実現可能である。

２．７．距離情報取得処理
図１６に、距離情報取得部３２０の詳細な構成例を示す。距離情報取得部３２０は、輝度信号算出部３２３と、差分演算部３２４と、２次微分演算部３２５と、ぼけパラメーター演算部３２６と、記憶部３２７と、ＬＵＴ記憶部３２８と、を含む。

輝度信号算出部３２３は、制御部３０２の制御に基づいて、画像取得部３１０から出力された撮像画像から輝度信号Ｙを下式（９）により求める。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ（９）

算出された輝度信号Ｙは、差分演算部３２４、２次微分演算部３２５、記憶部３２７へ転送される。差分演算部３２４は、ぼけパラメーター算出のために必要な複数の画像から輝度信号Ｙの差分を算出する。２次微分演算部３２５は、画像における輝度信号Ｙの２次微分を算出し、ぼけの異なる複数の輝度信号Ｙから得られる２次微分の平均値を算出する。ぼけパラメーター演算部３２６は、差分演算部３２４で算出された画像の輝度信号Ｙの差分から２次微分演算部３２５で算出された２次微分の平均値を除算して、ぼけパラメーターを算出する。

記憶部３２７は、１枚目に撮影した画像における輝度信号Ｙとその２次微分の結果を記憶する。これによって、距離情報取得部３２０は、制御部３０２を介してフォーカスレンズを異なる位置に配置し、複数の輝度信号Ｙを異なる時刻で取得することができる。ＬＵＴ記憶部３２８は、ぼけパラメーターと被写体距離との関係をルックアップテーブル（ＬＵＴ）の形で記憶する。

制御部３０２は、輝度信号算出部３２３と、差分演算部３２４と、２次微分演算部３２５と、ぼけパラメーター演算部３２６と、に双方向に接続しており、これらを制御する。

次に、被写体距離の算出方法について説明する。被写体距離の算出を開始すると、制御部３０２は、外部Ｉ／Ｆ部５００により予め設定された撮影モードに基づいて、公知のコントラス検出方式、位相差検出方式等を用いて最適なフォーカスレンズ位置を算出する。次に、レンズ駆動部２５０は、制御部３０２からの信号に基づいて、フォーカスレンズ２４０を、算出したフォーカスレンズ位置に駆動する。そして、駆動したフォーカスレンズ位置で、撮像素子２６０により被写体の１枚目の画像を取得する。取得した画像は、画像取得部３１０と輝度信号算出部３２３を介して、記憶部３２７に記憶される。

その後、レンズ駆動部２５０によって、フォーカスレンズ２４０を、１枚目の画像を取得したフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置に駆動し、撮像素子２６０によって被写体の２枚目の画像を取得する。これにより取得された２枚目の画像は、画像取得部３１０を介して、距離情報取得部３２０へ出力される。

２枚目の画像の取得が完了すると、ぼけパラメーターの算出を行う。距離情報取得部３２０において、差分演算部３２４は、１枚目の画像における輝度信号Ｙを記憶部３２７から読み出し、１枚目の画像における輝度信号Ｙと、輝度信号算出部３２３から出力される２枚目の画像における輝度信号Ｙと、の差分を算出する。

また、２次微分演算部３２５は、輝度信号算出部３２３から出力される２枚目の画像における輝度信号Ｙの２次微分を算出する。その後、１枚目の画像における輝度信号Ｙを記憶部３２７から読み出して、その２次微分を算出する。そして、算出した１枚目と２枚目の２次微分の平均値を算出する。

その後、ぼけパラメーター演算部３２６は、差分演算部３２４で演算した差分から２次微分演算部３２５で演算した２次微分の平均値を除算して、ぼけパラメーターを算出する。

ぼけパラメーターは、被写体距離の逆数に対して線形な関係がある。更に、被写体距離とフォーカスレンズ位置の関係は１対１対応である。そのため、ぼけパラメーターとフォーカスレンズ位置の関係も、１対１対応の関係にある。ぼけパラメーターとフォーカスレンズ位置の関係は、ＬＵＴ記憶部３２８にテーブルとして記憶されている。被写体距離の値に対応する距離情報は、フォーカスレンズの位置で表される。よって、ぼけパラメーター演算部３２６では、ぼけパラメーターとＬＵＴ記憶部３２８に記憶されているテーブルの情報を使用して、ぼけパラメーターから光学系に対する被写体距離を線形補間によって求める。これによって、ぼけパラメーター演算部３２６は、ぼけパラメーターに対応する被写体距離の値を算出する。算出された被写体距離は、距離情報として凹凸情報取得部３８０に出力される。

なお本実施形態では、上記の距離情報取得処理に限定されず、例えばステレオマッチングにより距離情報を取得してもよい。この場合、撮像部２００が左画像及び右画像（視差画像）を撮像する光学系を有する。そして、距離情報取得部３２０が、左画像を基準画像として、処理対象画素とその周辺領域（所定サイズのブロック）が右画像に対してエピポーラ線上をブロックマッチングして視差情報を算出し、その視差情報を距離情報に変換する。この変換は撮像部２００の光学倍率の補正処理を含んでいる。変換された距離情報は、狭義にはステレオ画像と同一サイズの画素からなる距離マップとして凹凸情報取得部３８０へ出力される。

或は本実施形態では、赤外光等を用いたTime of Flight方式等により距離情報を求めてもよい。また、Time of Flightを用いる場合にも、赤外光ではなく青色光を用いる等の変形実施が可能である。

３．第２実施形態
３．１．画像処理部
第２実施形態について説明する。第１実施形態と同様に抽出凹凸情報により凹凸部を特定するが、第１実施形態における生体粘膜の特定とは異なり、強調処理を実施しない（又は抑制する）除外対象を特定する。

第２実施形態における内視鏡装置は、第１実施形態と同様に構成できる。図１７に、第２実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、画像取得部３１０と、距離情報取得部３２０と、除外対象特定部３３０と、強調処理部３４０と、後処理部３６０と、凹凸情報取得部３８０と、記憶部３９０と、を含む。なお以下では、第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

画像処理部３０１は、距離情報取得部３２０と、除外対象特定部３３０と、強調処理部３４０に接続されている。距離情報取得部３２０は、除外対象特定部３３０と、凹凸情報取得部３８０に接続されている。除外対象特定部３３０は、強調処理部３４０に接続されている。制御部３０２は、画像処理部３０１の各部と双方向に接続されており、その各部を制御する。

除外対象特定部３３０は、画像取得部３１０からの内視鏡画像及び距離情報取得部３２０からの距離情報に基づいて、内視鏡画像において強調処理を実施しない（又は抑制する）除外対象を特定する。除外対象特定部３３０の詳細については後述する。

強調処理部３４０は、凹凸情報取得部３８０からの抽出凹凸情報に基づいて、内視鏡画像に対して強調処理を実施し、強調処理後の内視鏡画像を後処理部３６０へ転送する。除外対象特定部３３０が特定した除外対象は、強調処理の対象から除外する（又は強調処理を抑制する）。第１実施形態と同様に、除外対象領域とそれ以外の領域との境界で強調量を連続的に変化させて強調処理を行ってもよい。強調処理としては、例えば第１実施形態で説明した色素散布を模擬した強調処理を行う。即ち、強調処理部３４０は、図１１のディメンジョン情報取得部６０１と凹部抽出部６０２とを有し、生体表面の溝領域を抽出し、その溝領域に対してＢ成分の強調を行う。なお本実施形態はこれに限定されず、例えば構造強調処理等の種々の強調処理を採用できる。

３．２．除外対象特定処理
図１８に、除外対象特定部３３０の詳細な構成例を示す。除外対象特定部３３０は、除外被写体特定部３３１と、制御情報受付部３３２と、除外シーン特定部３３３と、判定部３３４と、を含む。

除外被写体特定部３３１は、判定部３３４に接続されている。制御情報受付部３３２は、除外シーン特定部３３３に接続されている。除外シーン特定部３３３は、判定部３３４に接続されている。判定部３３４は、強調処理部３４０に接続されている。

除外被写体特定部３３１は、画像取得部３１０からの内視鏡画像及び距離情報取得部３２０からの距離情報に基づいて、内視鏡画像の各画素について除外対象に該当するか否かを判定する。除外対象と判定した画素（以下では除外対象画素と呼ぶ）の集合を、内視鏡画像における除外被写体として特定する。除外被写体は除外対象の一部であり、除外対象には後述する除外シーンも含まれる。

制御情報受付部３３２は、制御部３０２から出力される制御信号の中から、除外対象に関連する内視鏡機能を制御するための制御情報を抽出し、その抽出した制御情報を除外シーン特定部３３３に転送する。ここで制御情報とは、後述する除外シーンが起こりうる内視鏡機能の動作状態に関する制御情報である。例えば、内視鏡に備わっている送水機能のオン／オフに関する制御情報である。

除外シーン特定部３３３は、画像取得部３１０からの内視鏡画像及び制御情報受付部３３２からの制御情報に基づいて、強調処理しない（又は抑制する）内視鏡画像を特定する。特定された内視鏡画像については、画像全体に対して強調処理が行われない（又は抑制される）。

判定部３３４は、除外被写体特定部３３１の特定結果及び除外シーン特定部３３３の特定結果に基づいて、内視鏡画像における除外対象を特定する。具体的には、内視鏡画像が除外シーンであると特定された場合、内視鏡画像全体を除外対象と特定する。また、内視鏡画像が除外シーンと特定されていない場合、除外対象画素の集合を除外対象と特定する。判定部３３４は、特定した除外対象を、強調処理部３４０に転送する。

３．３．除外被写体特定処理
図１９に、除外被写体特定部３３１の詳細な構成例を示す。除外被写体特定部３３１は、色判定部６１１と、明るさ判定部６１２と、距離判定部６１３と、を含む。

画像取得部３１０は内視鏡画像を、色判定部６１１と、明るさ判定部６１２に転送する。距離情報取得部３２０は距離情報を距離判定部６１３に転送する。色判定部６１１、明るさ判定部６１２、距離判定部６１３は、判定部３３４に接続される。制御部３０２は、除外被写体特定部３３１の各部に双方向に接続され、その各部を制御する。

色判定部６１１は、内視鏡画像の各画素における色に基づいて、除外対象画素か否かを判定する。具体的には色判定部６１１は、内視鏡画像の各画素における色相と、除外被写体に対応する所定の色相とを比較し、除外対象画素を判定する。ここで除外被写体とは、例えば内視鏡画像における残渣である。内視鏡画像において残渣は概ね黄色を呈する。例えば、画素の色相Ｈが下式（１０）を満たす場合、当該画素は残渣であるため除外対象画素と判定する。
３０°＜Ｈ≦５０° （１０）

なお、色判定部６１１で判定する除外被写体として残渣を例示したが、除外被写体は残渣に限定されない。例えば処置具の金属色等、内視鏡画像において特徴的な色を呈する生体粘膜以外の被写体であればよい。また、本実施形態では色相のみで除外被写体を判定したが、更に彩度を加えて判定してもよい。判定対象画素が無彩色に近い場合、ノイズの影響によるわずかな画素値の変化でも色相は大きく変化するため、安定的に判定することが困難な場合がある。このような場合は彩度を更に加味して判定することで、より安定的に除外被写体を判定することができる。

以上ように色で除外被写体を判定することで、生体粘膜以外の特徴的な色を呈する被写体を、強調処理の対象から除外することができる。

明るさ判定部６１２は、内視鏡画像の各画素の明るさに基づいて、除外対象画素か否かを判定する。具体的には明るさ判定部６１２は、内視鏡画像の各画素における明るさと、除外被写体に対応する所定の明るさとを比較し、除外対象画素を判定する。ここで除外対象画素とは、例えば黒沈み領域や白飛び領域である。黒沈み領域とは、内視鏡画像において、強調処理を実施しても明るさ不足により病変の検出精度向上が期待できない領域である。また白飛び領域とは、内視鏡画像において、画素値が飽和しているため強調処理対象である生体粘膜が撮像されていない領域である。明るさ判定部６１２は、下式（１１）を満たす領域を黒沈み領域と判定し、下式（１２）を満たす領域を白飛び領域と判定する。Ｙ＜Ｔ_ｌｏｗ（１１）
Ｙ＞Ｔ_ｈｉｇｈ（１２）

ここで、Ｙは上式（９）により算出される輝度値である。Ｔ_ｌｏｗは、黒沈み領域を判定するための所定閾値であり、Ｔ_ｈｉｇｈは、白飛び領域を判定するための所定閾値である。なお、明るさとしては輝度に限るものではなく、Ｇ画素値を明るさとして採用してもよいし、Ｒ画素値、Ｇ画素値、Ｂ画素値のうちの最大値を明るさとして採用してもよい。

以上のように明るさで除外対象画素を判定することで、病変の検出精度向上に寄与しない領域を強調処理に対象から除外することができる。

距離判定部６１３は、内視鏡画像の各画素における距離情報に基づいて、各画素が除外被写体を構成する除外対象画素か否かを判定する。ここで除外被写体とは例えば処置具である。図５に示すように、処置具は内視鏡画像ＥＰにおいて、おおよそ定まった範囲（処置具存在領域Ｒ_ｔｏｏｌ）に存在する。そのため、撮像部２００先端側の鉗子口近傍領域Ｒｏｕｔにおける距離情報も内視鏡の設計情報より既知である。このため以下の手順で、各画素が処置具を構成する除外対象画素か否かを判定する。

まず距離判定部６１３は、鉗子口に処置具が挿入されているかを判定する。具体的には図２１（Ａ）に示すように、鉗子口近傍領域Ｒｏｕｔにおいて、距離が下式（１３）、（１４）を満たす画素ＰＸ１の数で判定する。その画素数が所定の閾値以上の場合に、処置具が挿入されていると判定する。処置具が挿入されていると判定した場合、画素ＰＸ１を除外対象画素に設定する。
Ｄ（ｘ，ｙ）＜Ｔ_ｄｉｓｔ（１３）

ここで、Ｄ（ｘ，ｙ）は座標（ｘ，ｙ）の画素での距離（距離マップの値）である。Ｔ_ｄｉｓｔは、鉗子口近傍領域Ｒｏｕｔにおける距離閾値であり、内視鏡の設計情報に基づいて設定されている。上式（１４）は、座標（ｘ，ｙ）の画素が、内視鏡画像における鉗子口近傍領域Ｒｏｕｔに存在する画素であることを表す。

次に図２１（Ｂ）に示すように、距離判定部６１３は、除外対象画素と隣接すると共に下式（１５）、（１６）を満たす画素ＰＸ２を新たに除外対象画素として判定する。
｜Ｄ（ｘ，ｙ）−Ｄ_{ｒｅｍｏｖｅ}（ｐ，ｑ）｜＜Ｔ_{ｎｅｉｇｈｂｏｒ} （１５）

ここでＤ_{ｒｅｍｏｖｅ}（ｐ，ｑ）は、座標（ｘ，ｙ）の画素に隣接する除外対象画素での距離（距離マップの値）であり、（ｐ，ｑ）は、その画素の座標である。上式（１６）は、座標（ｘ，ｙ）の画素が、内視鏡画像において処置具存在領域Ｒ_ｔｏｏｌ内の画素であることを表す。Ｔ_{ｎｅｉｇｈｂｏｒ}は、処置具存在領域Ｒ_ｔｏｏｌ内の画素での距離と除外対象画素での距離との差分に対する閾値である。

距離判定部６１３は、図２１（Ｃ）に示すように上記の判定を繰り返し実行する。新たに上式（１５）、（１６）を満たす画素ＰＸ３が存在しなくなった場合、又は除外対象画素数が所定数以上となった場合、判定の繰り返しを終了する。

後者の終了条件について説明する。処置具が生体と接触している場合、生体を構成する画素も上式（１５）、（１６）を満たすため、除外対象画素数はＲ_ｔｏｏｌの画素数と等しくなるまで増大するおそれがある。一方、内視鏡画像における処置具の径及び最大長により、その最大画素数は既知である。その最大画素数を繰り返しの終了条件とすることにより、処置具以外で除外対象画素と判定される画素を低減することができる。

なお終了条件は上記に限定されず、例えばテンプレートマッチング等の既知の技術により、除外判定画素が処置具の形状と異なると判定した場合に、繰り返しを終了してもよい。

上記の実施形態では、除外被写体特定部３３１の各構成要件は各々異なる判定基準（色、明るさ、距離）で除外対象画素を判定したが、本実施形態はこれに限定されず、除外被写体特定部３３１は各判定基準を組み合わせて除外対象画素を判定してもよい。例えば、出血時の血だまりを除外被写体として特定する場合について説明する。まず、内視鏡画像において血だまりは血液の色そのものを呈している。また、血だまりの表面はおおよそ平坦である。よって、血液の色を色判定部６１１で、血だまり表面の平坦度を距離判定部６１３で判定することにより、血だまりを除外被写体として特定することができる。ここで血だまり表面の平坦度は、例えば抽出凹凸情報の絶対値を局所的に合算することで判定する。抽出凹凸情報の絶対値の局所的総和が小さければ、平坦であると判定できる。

以上のように鉗子口の位置及び処置具における各画素の距離マップの連続性で処置具を判定することで、処置具を強調処理の対象から除外することができる。

以上の実施形態によれば、除外対象特定部３３０は、撮像画像の画素値に基づく特徴量が、除外対象に対応する所定条件を満たす領域を、除外対象の領域として特定する。より具体的には、除外対象特定部３３０は、特徴量である色情報（例えば色相値）が、除外対象の色に関する所定条件（例えば残渣に対応する色範囲、又は処置具に対応する色範囲）を満たす領域を、除外対象の領域として特定する。

また本実施形態では、除外対象特定部３３０は、特徴量である明るさ情報（例えば輝度値）が、除外対象の明るさに関する所定条件（例えば黒沈み領域に対応する明るさ範囲、又は白飛び領域に対応する明るさ範囲）を満たす領域を、除外対象の領域として特定する。

このようにすれば、強調すべきでない被写体を画像の特徴量に基づいて特定することができる。即ち、除外対象の特徴を特徴量の条件として設定し、その所定条件に合致する領域を検出することにより、強調すべきでない被写体を特定できる。なお上述したように、色情報は色相値に限定されず、例えば彩度等の種々の色を表す指標値を採用できる。また明るさ情報は輝度値に限定されず、例えばＧ画素値等の種々の明るさを表す指標値を採用できる。

また本実施形態では、除外対象特定部３３０は、距離情報が、除外対象の距離に関する所定条件に合致する領域を、除外対象の領域として特定する。より具体的には、除外対象特定部３３０は、距離情報が表す被写体までの距離が連続的に変化する領域（例えば撮像画像に写った鉗子の領域）を、除外対象の領域として特定する。

このようにすれば、強調すべきでない被写体を距離に基づいて特定することができる。即ち、除外対象の特徴を距離の条件として設定し、その所定条件に合致する領域を検出することにより、強調すべきでない被写体を特定できる。なお、距離情報で特定する除外被写体は鉗子に限定されず、撮像画像に写る可能性がある処置具であればよい。

３．４．除外シーン特定処理
図２２に、除外シーン特定部３３３の詳細な構成例を示す。除外シーン特定部３３３は、画像解析部６２１と、制御情報判定部６２２と、を含む。本実施形態では、画像解析部６２１及び制御情報判定部６２２のいずれか一方が除外シーンと判定すれば、除外シーン特定部３３３は除外シーンと特定する。

画像取得部３１０は、内視鏡画像を画像解析部６２１に転送する。制御情報受付部３３２は、抽出した制御情報を制御情報判定部６２２に転送する。画像解析部６２１は、判定部３３４に接続されている。制御情報判定部６２２は、判定部３３４に接続されている。

画像解析部６２１は、内視鏡画像を解析し、その内視鏡画像が除外シーンを撮像した画像であるか否かを判定する。ここで除外シーンとは、例えば送水シーンである。送水時は、内視鏡画像のほぼ全面が流水に覆われるため病変検出に有用な被写体が存在せず、強調処理の必要がないためである。

画像解析部６２１は、内視鏡画像より画像特徴量を算出し、制御部３０２に予め保存されている画像特徴量と比較し、類似度が所定値以上であれば送水シーンと判定する。予め保存されている画像特徴量は、送水時の内視鏡画像より算出した特徴量であり、例えばＨａａｒ−ｌｉｋｅ特徴量である。Ｈａａｒ−ｌｉｋｅ特徴量については、例えば非特許文献１に記載されている。なお画像特徴量はＨａａｒ−ｌｉｋｅ特徴量に限定されず、他の既知の画像特徴量を利用してもよい。

ここで、除外シーンは送水シーンに限定するものではなく、例えばミスト（生体焼灼時に発生する煙）発生時等、内視鏡画像において病変検出に有用な被写体が映らなくなるシーンであればよい。このように、内視鏡画像に基づいて除外シーンを判定することで、不必要な強調処理を抑制することができる。

制御情報判定部６２２は、制御情報受付部３３２からの制御情報に基づいて除外シーンを判定する。例えば、送水機能がオンである制御情報が入力された場合、除外シーンと判定する。除外シーンと判定する制御情報は、送水機能のオン状態に限るものではない。例えばミストが発生するＩＴナイフの機能をオンにした場合等、内視鏡画像において病変検出に有用な被写体が映らなくなる機能の制御情報であればよい。

上記の実施形態では、除外シーン特定部３３３は、画像解析部６２１及び制御情報判定部６２２のいずれか一方が除外シーンと判定すれば除外シーンと特定したが、本実施形態はこれに限定されず、双方の判定結果を組み合わせて除外シーンを特定してもよい。例えばＩＴナイフをオンにしたためミスト発生の可能性がある場合でも、ＩＴナイフが生体に接触していない或は煙の発生が微少であれば強調すべき被写体が映っているため、強調処理の実施が望ましい。しかしながら、ＩＴナイフオンにより制御情報判定部６２２で除外シーンと判定されるため、強調処理は実施されない。そこで、ミスト発生の場合には、画像解析部６２１及び制御情報判定部６２２の双方とも除外シーンと判定した場合に、除外シーンと特定することが望ましい。このように、対象となる除外シーン毎に、画像解析部６２１及び制御情報判定部６２２の判定を最適に組み合わせて、除外シーンを特定することが望ましい。

このように除外シーンが発生しうる機能の動作に基づいて除外シーンを判定することで、不必要な強調処理を抑制することができる。

以上の実施形態によれば、内視鏡画像及び距離情報に基づいて、内視鏡画像において強調処理を実施しない除外対象を特定し、除外対象以外について、距離情報に基づいて被写体表面の凹凸情報を強調する。これにより、強調処理が不要な領域に対して強調処理を実施しない（又は抑制する）ことができるため、強調処理が必要な領域と不要な領域の弁別能を向上させ、不要な領域も含んで強調処理を実施した場合と比較して画像観察におけるユーザーの疲労感を低減することができる。

以上の実施形態によれば、除外対象特定部３３０は、内視鏡装置の制御情報を受け付ける制御情報受付部３３２を含み、除外対象特定部３３０は、制御情報受付部３３２が受け付けた制御情報が、除外対象である除外シーンに対応する所定の制御情報（例えば送水動作を指示する情報、又はＩＴナイフを動作状態にする指示情報）である場合に、撮像画像を除外対象の領域として特定する。

このようにすれば、強調すべきでないシーンの画像を内視鏡装置の制御情報に基づいて特定することができる。即ち、除外対象となるシーンを生じさせる制御情報を条件として設定し、その所定条件に合致する制御情報を検出することにより、強調すべきでないシーンの画像を特定できる。これにより、そもそも観察すべき被写体が写っていない場合に、強調処理をオフにすることが可能となり、結果的に必要なときだけ強調処理されるので、ユーザーに対して診察に適した画像を提供できる。

４．第３実施形態
４．１．画像処理部
第３実施形態では、被写体の凹凸部を特定する処理として、凹凸部を特定の種類や状態に分類する処理を行う。分類対象となる凹凸部のスケールやサイズは、第１、第２の実施形態と異なってもよいし、同程度であってもよい。例えば第１、第２実施形態では粘膜の襞やポリープ等を抽出するが、第３実施形態では、その襞やポリープ等の粘膜表面に存在する更に小さなピットパターンを分類する。

図２３に、第３の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、距離情報取得部３２０、強調処理部３４０、凹凸特定部３５０、生体粘膜特定部３７０、画像構成部８１０を含む。凹凸特定部３５０は、表面形状算出部８２０（３次元形状算出部）、分類処理部８３０を含む。なお内視鏡装置は図３と同様に構成できる。ここで以下では、第１、第２実施形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

画像構成部８１０は、分類処理部８３０と、生体粘膜特定部３７０と、強調処理部３４０に接続されている。距離情報取得部３２０は、表面形状算出部８２０と、分類処理部８３０と、生体粘膜特定部３７０に接続されている。表面形状算出部８２０は、分類処理部８３０に接続されている。分類処理部８３０は、強調処理部３４０に接続されている。生体粘膜特定部３７０は、強調処理部３４０に接続されている。強調処理部３４０は、表示部４００に接続されている。制御部３０２は、画像処理部３０１の各部と双方向に接続されておりこれらを制御する。また制御部３０２は、撮像部２００のメモリー２１１に記録されている光学倍率を、画像処理部３０１に出力する。

画像構成部８１０は、撮像部２００から出力される撮像画像を取得し、その撮像画像を表示部４００に出力可能な画像にするための画像処理を行う。例えば撮像部２００は不図示のＡ／Ｄ変換部を有してもよく、画像構成部８１０は、そのＡ／Ｄ変換部からのディジタル画像に対してＯＢ処理、ゲイン処理、γ処理等を行う。画像構成部８１０は、処理後の画像を分類処理部８３０、生体粘膜特定部３７０、強調処理部３４０へ出力する。

凹凸特定部３５０は、距離情報と分類基準とに基づいて、画像内の構造物の像に対応する画素の分類処理を行う。なお分類処理の詳細については後述し、ここでは概要について説明する。

図２４（Ａ）に、異常部（例えば早期病変）を観察する際の撮像部２００と被写体の関係を示す。また、図２４（Ｂ）に、その際に取得した画像の例を示す。正常腺管４０は正常なピットパターンを示し、異常腺管５０は不整な形状を呈する異常なピットパターンを示し、腺管消失領域６０（陥凹型病変）は、病変によりピットパターンが消失した異常領域を示す。正常腺管４０は正常部に分類される構造物であり、異常腺管５０と腺管消失領域６０は異常部（非正常部）に分類される構造物である。ここで、正常部とは病変である可能性が低い構造物であること表し、異常部とは病変であることが疑わしい構造物であることを表す。

図２４（Ａ）に示すように、術者は異常部を発見すると、撮像部２００を異常部に近接させ、撮像部２００と異常部を極力正対させる。図２４（Ｂ）に示すように、正常部のピットパターンでは規則的な構造が一様な配列で並んでいる。このような正常部を画像処理により検出するには、既知特性情報（先見情報）として正常なピットパターン構造を事前に登録又は学習することで、例えばマッチング処理等により正常部を検出することができる。一方、異常部のピットパターンは不整な形状を呈したり消失したりしているため、正常部に比べ多様な形状をとる。そのため、事前の既知特性情報に基づいて異常部を検出することは困難である。本実施形態では、正常部として検出されなかった領域を異常部として分類することで、ピットパターンを正常部と異常部に分類する。このようにして分類した異常部を強調表示することで、異常部の見落とし防止や質的診断の精度を上げることが可能となる。

具体的には、表面形状算出部８２０は、距離マップの各画素における被写体表面の法線ベクトルを表面形状情報（広義には３次元形状情報）として算出する。そして、分類処理部８３０は、法線ベクトルに基づいて基準ピットパターン（分類基準）を被写体表面に射影する。また、その画素位置での距離に基づいて基準ピットパターンの大きさを画像上での大きさ（即ち距離が遠いほど画像上では小さくなる見かけの大きさ）に調整する。分類処理部８３０は、このようにして修正した基準ピットパターンと画像とのマッチング処理を行い、基準ピットパターンに合致する領域を検出する。

例えば図２５に示すように、分類処理部８３０は、正常なピットパターンの形状を基準ピットパターンとし、その基準ピットパターンに合致した領域ＧＲ１を「正常部」に分類し、合致しなかった領域ＧＲ２、ＧＲ３を「異常部（非正常部）」に分類する。領域ＧＲ３は例えば処置具（例えば鉗子やメス等）が写った領域であり、ピットパターンが写らないため「異常部」に分類される。

生体粘膜特定部３７０は、図２６に示すように生体粘膜色判定部３７１、生体粘膜凹凸判定部３７２、凹凸情報取得部３８０を含む。第３実施形態では、凹凸情報取得部３８０は強調処理のために凹凸部を特定するのではなく、生体粘膜を凹凸により特定（例えば溝等）するための凹凸情報を抽出する。生体粘膜色判定部３７１、生体粘膜凹凸判定部３７２、凹凸情報取得部３８０の動作については第１実施形態と同様であるため、説明を省略する。

強調処理部３４０は、生体粘膜特定部３７０により生体粘膜と特定され、且つ、分類処理部８３０により異常部と分類された領域の画像に対して強調処理を実施し、処理後の画像を表示部４００へ出力する。図２５の例では、領域ＧＲ１、ＧＲ２が生体粘膜と特定され、領域ＧＲ２、ＧＲ３が異常部と分類される。即ち、領域ＧＲ２に対して強調処理が行われる。例えば、強調処理部３４０は、生体粘膜且つ異常部である領域ＧＲ２に対して、ピットパターンの構造を強調するためのフィルター処理や色強調を行う。

なお強調処理は、上記に限定されず、画像上の特定の対象を目立たせる処理或は識別させる処理であればよい。例えば、特定の種類や状態に分類された領域をハイライトする処理や、その領域を線で囲む処理や、その領域を示すマークを付す処理であってもよい。また、特定の領域以外の領域（図２５の例ではＧＲ１、ＧＲ３）に対して例えば特定色を付す処理等を行うことによって、その特定の領域（ＧＲ２）を目立たせて（或は識別させて）もよい。

以上の実施形態によれば、凹凸特定部３５０は、距離情報と既知特性情報に基づいて、被写体の表面形状情報を求める表面形状算出部８２０と、その表面形状情報に基づいて分類基準を生成し、生成した分類基準を用いた分類処理を行う分類処理部８３０と、を含む。そして、凹凸特定部３５０は、その分類基準を用いた分類処理を、凹凸特定処理として行う。

このようにすれば、生体粘膜と特定され且つ異常部と分類された構造物に限定して強調処理を行うことが可能となる。これにより、例えば処置具等のピットパターンの無い被写体が異常部と分類される場合であっても、その生体粘膜でない被写体に対する強調を抑制できる。このように、病変が疑わしい構造物に限定して強調することで、病変／非病変の質的診断をアシストできる。

４．２．第１変形例
図２７に、第３実施形態の第１変形例における画像処理部３０１の構成例を示す。画像処理部３０１は、距離情報取得部３２０、強調処理部３４０、凹凸特定部３５０、生体粘膜特定部３７０、画像構成部８１０を含む。凹凸特定部３５０は、表面形状算出部８２０、分類処理部８３０を含む。なお以下では、図２３の構成例と同様の構成要素については同一の符号を付し、適宜説明を省略する。

生体粘膜特定部３７０は分類処理部８３０に接続される。分類処理部８３０は強調処理部３４０に接続される。即ち、図２３の構成例では生体粘膜特定処理と分類処理を並列的に行ったが、本変形例では、生体粘膜特定処理の後に分類処理を直列的に行う。具体的には、分類処理部８３０は、生体粘膜特定部３７０により生体粘膜と特定された領域（図２５のＧＲ１、ＧＲ２）の画像に対して分類処理を行い、生体粘膜と特定された領域を更に正常部（ＧＲ１）と異常部（ＧＲ２）に分類する。強調処理部３４０は、分類処理部８３０により異常部に分類された領域（ＧＲ２）の画像に対して強調処理を行う。

本変形例によれば、凹凸特定部３５０は、生体粘膜特定部３７０により特定された生体粘膜の領域に対して分類処理を行う。

このような処理によっても、図２３の構成例と同様に、生体粘膜以外の異常部に対する強調を抑制できる。また、生体粘膜と特定された領域に限定して分類処理を行うことで、演算コストを低減できる。また、生体粘膜と特定された領域に限定して分類基準を生成することで、分類基準をより高精度にすることができる。

４．３．第２変形例
図２８に、第３実施形態の第２変形例における画像処理部３０１の構成例を示す。画像処理部３０１は、距離情報取得部３２０、強調処理部３４０、凹凸特定部３５０、生体粘膜特定部３７０、画像構成部８１０を含む。凹凸特定部３５０は、表面形状算出部８２０、分類処理部８３０を含む。なお以下では、図２３の構成例と同様の構成要素については同一の符号を付し、適宜説明を省略する。

分類処理部８３０は生体粘膜特定部３７０に接続される。生体粘膜特定部３７０は強調処理部３４０に接続される。即ち本変形例では、分類処理の後に生体粘膜特定処理を直列的に行う。具体的には、生体粘膜特定部３７０は、分類処理部８３０により異常部に分類された領域（図２５のＧＲ２、ＧＲ３）の画像に対して生体粘膜特定処理を行い、異常部に分類された領域から更に生体粘膜の領域（ＧＲ２）を特定する。強調処理部３４０は、生体粘膜特定部３７０により生体粘膜と特定された領域（ＧＲ２）の画像に対して強調処理を行う。

本変形例によれば、生体粘膜特定部３７０は、分類処理により特定の分類（例えば異常部）に判定された被写体に対して、生体粘膜の領域を特定する処理を行う。

このような処理によっても、図２３の構成例と同様に、生体粘膜以外の異常部に対する強調を抑制できる。また、特定の分類（例えば異常部）に判定された領域に限定して生体粘膜特定処理を行うことで、演算コストを低減できる。

５．第４実施形態
第４実施形態では、第３実施形態と同様にピットパターンを正常部と異常部に分類するが、第３実施形態における生体粘膜の特定とは異なり、強調処理を実施しない（又は抑制する）除外対象を特定する。

図２９に、第４実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、距離情報取得部３２０、強調処理部３４０、凹凸特定部３５０、除外対象特定部３３０、画像構成部８１０を含む。凹凸特定部３５０は、表面形状算出部８２０、分類処理部８３０を含む。なお内視鏡装置は図３と同様に構成できる。ここで以下では、第３実施形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

画像構成部８１０は、分類処理部８３０と、除外対象特定部３３０と、強調処理部３４０に接続されている。距離情報取得部３２０は、表面形状算出部８２０と、分類処理部８３０と、除外対象特定部３３０に接続されている。表面形状算出部８２０は、分類処理部８３０に接続されている。分類処理部８３０は、強調処理部３４０に接続されている。除外対象特定部３３０は、強調処理部３４０に接続されている。強調処理部３４０は、表示部４００に接続されている。制御部３０２は、画像処理部３０１の各部と双方向に接続されておりこれらを制御する。また制御部３０２は、撮像部２００のメモリー２１１に記録されている、内視鏡の有する機能の実行状態に関わる情報（以下、機能情報と呼ぶ）を、画像処理部３０１に出力する。ここで、内視鏡の有する機能とは例えば、被写体に対して放水し観察の妨げとなる物体を洗い流す、“送水”機能である。

除外対象特定部３３０は、第２実施形態と同様に、特定の被写体（例えば残渣や処置具、黒沈み領域等）や特定のシーン（例えば送水やＩＴナイフによる処置等）を除外対象として特定する。強調処理部３４０は、除外対象特定部３３０により除外対象（例えば図２５のＧＲ３）と特定された領域以外（ＧＲ１、ＧＲ２）であり、且つ、分類処理部８３０により異常部（ＧＲ２、ＧＲ３）に分類された領域（ＧＲ２）に対して強調処理を行う。特定のシーンが検出された場合には、画像全体が除外対象となり、強調処理が行われない。

なお、第３実施形態と同様に、除外対象特定処理を行った後に分類処理を直列的に行ってもよい。即ち、特定の被写体を検出する場合には、その特定の被写体以外の画像に対して分類処理を行ってもよい。一方、特定のシーンを検出する場合には、その特定のシーンが検出されなかった場合に分類処理を行ってもよい。或は、分類処理を行った後に除外対象特定処理を直列的に行ってもよい。即ち、特定の被写体を検出する場合に、異常部に分類された領域の画像に対して除外対象特定処理を行ってもよい。

本実施形態によれば、除外対象以外であって異常部と分類された構造物に限定して強調することで、送水箇所など異常部ではあるものの、強調すべきでない被写体の強調を抑制することができる。このように、正常な生体表面形状とは異なるため、病変と分類されてしまう生体粘膜以外の構造物を除外して強調することで、病変／非病変の質的診断をアシストできる。

６．第１の分類処理手法
６．１．分類部
上述した第３、第４の実施形態の凹凸特定部３５０が行う分類処理について詳細に説明する。図３０に、凹凸特定部３５０の詳細な構成例を示す。凹凸特定部３５０は、既知特性情報取得部８４０、表面形状算出部８２０、分類処理部８３０を含む。

以下では観察対象を大腸とする場合を例にとり、凹凸特定部３５０の動作について説明する。図３１（Ａ）に示すように、観察対象である大腸の生体表面１は隆起病変のポリープ５を有しており、ポリープ５の粘膜表層は正常腺管４０と異常腺管５０を有しているものとする。また、ポリープ５の付け根には、腺管構造が消失した陥凹型病変６０が存在しているものとする。このポリープ５の上部を上から見た場合、例えば図２４（Ｂ）に示すように、正常腺管４０は略円形の形状を示し、異常腺管５０は正常腺管４０とは異形な形状を呈している。

表面形状算出部８２０は、距離情報取得部３２０から入力される距離情報（例えば距離マップ）に対して、クロージング処理、或いは適応的ローパスフィルター処理を施すことで、所定構造要素のサイズ以上のサイズをもつ構造を抽出する。ここで所定構造要素は、観察部位の生体表面１に形成されている分類判定したい腺管構造（ピットパターン）である。

具体的には、既知特性情報取得部８４０が、既知特性情報の一つとして構造要素情報を取得し、その構造要素情報を表面形状算出部８２０へ出力する。構造要素情報は、撮像部２００の光学倍率と、生体表面１の表面構造から分類したい腺管構造のサイズ（幅の情報）と、で決定される大きさ情報である。即ち、光学倍率は被写体までの距離に応じて決まっており、その光学倍率でサイズ調整を行うことにより、その距離で撮像された腺管構造の画像上でのサイズを構造要素情報として取得する。

例えば、プロセッサー部３００の制御部３０２が腺管構造の標準的なサイズを記憶しており、既知特性情報取得部８４０は、そのサイズを制御部３０２から取得し、光学倍率によるサイズ調整を行う。具体的には、制御部３０２は、撮像部２００のメモリー２１１から入力されるスコープＩＤ情報に基づいて、観察部位を決定する。例えば撮像部２００が上部消化器用スコープである場合、観察部位は食道、胃、十二指腸と判定され、下部消化器用スコープである場合、観察部位は大腸と判定される。制御部３０２には、これらの観察部位に応じた標準的な腺管サイズが、予め記録されている。なお、観察部位の決定をスコープＩＤ以外で行う手法として、例えばユーザーが操作可能なスイッチを外部Ｉ／Ｆ部５００が有し、そのスイッチによりユーザーが観察部位を選択する手法がある。

表面形状算出部８２０は、入力される距離情報に基づいて適応的に表面形状算出情報を生成し、その表面形状算出情報を用いて被写体の表面形状情報を算出する。表面形状情報は、例えば図３１（Ｂ）に示す法線ベクトルＮＶである。表面形状算出情報の詳細については以降で説明するが、例えば距離マップの注目位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、その距離情報に適応したフィルターのローパス特性であったりする。即ち、表面形状算出情報は、距離情報に応じて適応的に、非線形或は線形のローパスフィルターの特性を変更する情報である。

生成された表面形状情報は、距離マップと共に分類処理部８３０に入力される。図３２（Ａ）、図３２（Ｂ）に示すように、分類処理部８３０は、基本ピットを撮像画像の生体表面の３次元形状に適応させて修正ピット（分類基準）を生成する。基本ピットは、腺管構造を分類するための１つの正常腺管構造をモデル化したものであり、例えば２値画像である。なお、ここではピットパターンを想定しているため、基本ピット、修正ピットという用語を用いるが、より広義な用語として基準パターン、修正パターンと置き換えることが可能である。

分類処理部８３０は、生成した分類基準（修正ピット）による分類処理を行う。具体的には、分類処理部８３０には、更に画像構成部８１０からの画像が入力される。分類処理部８３０は、修正ピットが撮像画像上に存在するか否かを公知のパターンマッチング処理により判定し、分類領域をグルーピングした分類マップを強調処理部３４０へ出力する。分類マップは、修正ピットが存在する領域とそれ以外の領域に撮像画像を分類したマップである。例えば、修正ピットが存在する領域の画素に“１”を割り当て、それ以外の領域の画素に“０”を割り当てた２値画像である。

強調処理部３４０には、更に画像構成部８１０からの画像（分類画像と同一サイズ）が入力される。そして強調処理部３４０は、分類結果を表す情報を用いて、画像構成部８１０から出力される画像に対して強調処理を行う。

６．２．表面形状算出部
図３１（Ａ）、図３１（Ｂ）を用いて表面形状算出部８２０が行う処理について詳細に説明する。

図３１（Ａ）は、撮像部２００の光軸に沿った断面における、被写体の生体表面１と撮像部２００の断面図であり、モルフォロジー処理（クロージング処理）により表面形状を算出している状態を模式化したものである。クロージング処理に利用する球ＳＰ（構造要素）の半径は、分類したい腺管構造のサイズ（表面形状算出情報）の例えば２倍以上とする。腺管構造のサイズは、上述のように、各画素での被写体までの距離に応じて、画像上でのサイズに調整されたものである。

このようなサイズの球ＳＰを用いることで、正常腺管４０と異常腺管５０と腺管消失領域６０の微小な凹凸を拾わずに、それらの微小な凹凸よりも滑らかな生体表面１の３次元表面形状を抽出できる。そのため、微小な凹凸を残したままの表面形状を用いて基本ピットを修正ピットに修正した場合に比べて、修正誤差を低減することができる。

図３１（Ｂ）は、クロージング処理した後の生体表面の断面図であり、生体表面に対して法線ベクトルＮＶを算出した結果を模式化したものである。表面形状情報は、この法線ベクトルＮＶである。なお、表面形状情報は法線ベクトルＮＶに限定されるものではなく、図３１（Ｂ）に示すクロージング処理後の曲面そのものであってもよいし、その他表面形状を表現できる他の情報であってもよい。

具体的には、既知特性情報取得部８４０が、生体固有の腺管のサイズ（長手方向の幅など）を既知特性情報として取得し、その情報を用いて、実際の生体表面をクロージング処理でなぞる球ＳＰの半径（画像上での腺管のサイズに応じた半径）を決定する。このとき、球ＳＰの半径を、画像上での腺管のサイズよりも大きい半径に設定する。表面形状算出部８２０は、この球ＳＰを用いてクロージング処理を行うことにより、所望の表面形状のみを抽出できる。

図３３に、表面形状算出部８２０の詳細な構成例を示す。表面形状算出部８２０は、モルフォロジー特性設定部８２１、クロージング処理部８２２、法線ベクトル算出部８２３を含む。

既知特性情報取得部８４０から、既知特性情報である生体固有の腺管のサイズ（長手方向の幅など）がモルフォロジー特性設定部８２１に入力される。モルフォロジー特性設定部８２１は、その腺管のサイズと距離マップとに基づいて、表面形状算出情報（クロージング処理に用いる球ＳＰの半径等）を決定する。

決定した球ＳＰの半径情報は、例えば距離マップと同一の画素数を持つ半径マップとしてクロージング処理部８２２へ入力される。半径マップは、各画素に、その画素での球ＳＰの半径の情報が対応付けられたマップである。クロージング処理部８２２は、その半径マップにより画素単位で半径を変更してクロージング処理を行い、その処理結果を法線ベクトル算出部８２３へ出力する。

法線ベクトル算出部８２３には、クロージング処理後の距離マップが入力される。法線ベクトル算出部８２３は、その距離マップ上の注目サンプル位置での３次元情報（例えば画素の座標と、その座標での距離情報）と、注目サンプル位置に隣接する２つのサンプル位置での３次元情報とにより平面を定義し、その定義した平面の法線ベクトルを算出する。法線ベクトル算出部８２３は、算出した法線ベクトルを、距離マップと同一サンプリング数の法線ベクトルマップとして分類処理部８３０へ出力する。

なお本実施形態で算出する表面形状は、第１、第２実施形態において抽出する凹凸とは基本的に異なるものである。即ち、図１０（Ｃ）に示すように、抽出凹凸情報は大局的な凹凸（図１０（Ｂ））を除いた微細な凹凸の情報であり、図３１（Ｂ）に示すように、表面形状の情報は、腺管構造を平滑化した大局的な凹凸の情報である。

このとき、表面形状を算出する場合のモルフォロジー処理と、抽出凹凸情報を得るために大局的な凹凸を求める場合のモルフォロジー処理（例えば図９（Ｂ））とでは、平滑化する構造のスケールが異なっており、構造要素のサイズが異なる。そのため、基本的には別個の処理部として構成される。例えば、凹凸抽出では、抽出するのは溝やポリープであり、そのサイズに応じた構造体を用いる。一方、表面形状の算出では、近接して拡大観察しないと見えないような微細なピットパターンを平滑化するため、構造体は凹凸抽出の場合よりも小さくなる。但し、例えば構造要素のサイズが同程度である場合等には、これらのモルフォロジー処理を共通の処理部で行う構成としてもよい。

６．３．分類処理部
図３４に、分類処理部８３０の詳細な構成例を示す。分類処理部８３０は、分類基準データ記憶部８３１、射影変換部８３２、探索領域サイズ設定部８３３、類似度算出部８３４、領域設定部８３５を含む。

分類基準データ記憶部８３１には、図３２（Ａ）に示す生体表面に露出している正常腺管をモデル化した基本ピットが記憶されている。この基本ピットは２値画像であり、所定距離にある正常腺管を撮像した場合に相当する大きさの画像である。分類基準データ記憶部８３１は、この基本ピットを射影変換部８３２へ出力する。

射影変換部８３２には、距離情報取得部３２０からの距離マップと、表面形状算出部８２０からの法線ベクトルマップと、制御部３０２（図示省略）からの光学倍率と、が入力される。射影変換部８３２は、注目サンプル位置の距離情報を距離マップから抽出し、それに対応するサンプル位置の法線ベクトルを法線ベクトルマップから抽出する。そして、図３２（Ｂ）に示すように、その法線ベクトルを用いて基本ピットを射影変換し、更に光学倍率に合わせて倍率補正を行い、修正ピットを生成する。射影変換部８３２は、その修正ピットを分類基準として類似度算出部８３４へ出力し、修正ピットのサイズを探索領域サイズ設定部８３３へ出力する。

探索領域サイズ設定部８３３は、修正ピットのサイズの縦横２倍の領域を、類似度算出処理の探索領域として設定し、その探索領域の情報を類似度算出部８３４へ出力する。

類似度算出部８３４には、注目サンプル位置での修正ピットが射影変換部８３２から入力され、その修正ピットに対応する探索領域が探索領域サイズ設定部８３３から入力される。類似度算出部８３４は、その探索領域の画像を、画像構成部８１０から入力される画像から抽出する。

類似度算出部８３４は、その抽出した探索領域の画像に対してハイパスフィルター処理、或はバンドパスフィルター処理を施して低周波成分をカットし、そのフィルター処理後の画像に対して２値化処理を行い、探索領域の２値画像を生成する。そして、その探索領域の２値画像内を修正ピットでパターンマッチング処理して相関値を算出し、その相関値のピーク位置と最大相関値のマップを領域設定部８３５へ出力する。例えば、相関値は差分絶対値和であり、最大相関値は差分絶対値和の最小値である。

なお、相関値の算出方法としてはＰＯＣ（Phase Only Correlation）等、他の手法を用いてもよい。ＰＯＣを用いる場合には、回転や倍率変化について不変となるので、相関算出の精度を高めることが可能である。

領域設定部８３５は、類似度算出部８３４から入力される最大相関値マップに基づいて、差分絶対値和が所定閾値Ｔ以下である領域を抽出し、更にその領域内の最大相関値の位置と隣接探索範囲の最大相関値の位置との間の３次元距離を算出する。そして、算出した３次元距離が所定誤差の範囲に含まれている場合は、その最大相関位置を含む領域を正常領域としてグルーピングし、分類マップを生成する。領域設定部８３５は、生成した分類マップを強調処理部３４０へ出力する。

上記分類処理の具体例を、図３５（Ａ）〜図３５（Ｆ）に示す。図３５（Ａ）に示すように、ある画像内位置を処理対象位置とする。図３５（Ｂ）に示すように、射影変換部８３２は、当該処理対象位置での表面形状情報により基準パターンを変形することで、当該処理対象位置での修正パターンを取得する。図３５（Ｃ）に示すように、探索領域サイズ設定部８３３は、取得された修正パターンから、処理対象位置の周辺の探索領域（上述の例であれば修正パターンの縦横２倍のサイズの領域）を設定する。

図３５（Ｄ）に示すように、類似度算出部８３４は、当該探索領域において、撮像された構造物と修正パターンとのマッチングをとる。このマッチングを画素単位で行ったとすれば、画素毎に類似度が算出される。そして、図３５（Ｅ）に示すように、領域設定部８３５は、探索領域での類似度のピークに対応する画素を特定し、当該画素での類似度が所与の閾値以上であるか否かを判定する。類似度が閾値以上であれば、当該ピーク位置を基準とする修正パターンの大きさの領域（図３５（Ｅ）では修正パターンの中心部を基準位置としているが、これに限定されない）に、修正パターンが検出されたということであるから、当該領域は基準パターンに合致する領域であるという分類をすることができる。

なお、図３５（Ｆ）に示すように、修正パターンを表す形状の内部を分類基準に合致する領域としてもよく、種々の変形実施が可能である。一方、類似度が閾値未満の場合には、処理対象位置の周辺領域では基準パターンにマッチングする構造はないということになる。この処理を各画像内位置で行うことで、撮像画像内に、０個、１個、或いは複数の基準パターンに合致する領域と、それ以外の領域とが設定されることになる。そして、基準パターンに合致する領域が複数ある場合には、それらのうち重なり合うものや近接するものを統合していくことで、最終的に分類結果が得られることになる。ただし、ここで述べた類似度に基づく分類処理の手法は一例であり、他の手法により分類処理を行ってもよい。また、類似度の具体的な算出手法については、画像間類似度、画像間相違度を算出する種々の手法が知られているため、詳細な説明は省略する。

以上の実施形態によれば、凹凸特定部３５０は、距離情報と既知特性情報に基づいて、被写体の表面形状情報を求める表面形状算出部８２０と、表面形状情報に基づいて分類基準を生成し、生成した分類基準を用いた分類処理を行う分類処理部８３０と、を含む。

これにより、表面形状情報により表される表面形状に基づいて、適応的に分類基準を生成し分類処理を行うことが可能となる。上述した撮像部２００の光軸方向と被写体表面のなす角度に起因する撮像画像上での構造物の変形等、表面形状による分類処理の精度低下要因は種々考えられるが、本実施形態の手法によれば、そのような場合でも精度よく分類処理できる。

また、既知特性情報取得部８４０は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部８３０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、被写体の構造物が表面形状によって変形された状態で撮像された場合にも、精度よく分類処理を行うことが可能になる。具体的には、円形の腺管構造は図１（Ｂ）等に示すように、種々の変形をされた状態で撮像されるが、基準パターン（図３２（Ａ）の基準ピット）から表面形状に応じて適切な修正パターン（図３２（Ｂ）の修正ピット）を生成して分類基準とすることで、変形された領域においても適切にピットパターンを検出し、分類できる。

また、既知特性情報取得部８４０は、正常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、撮像画像を正常である領域と正常でない領域とに分類する分類処理を行うことが可能になる。正常でない領域とは、例えば生体用内視鏡であれば、生体の病変部であることが疑われる領域である。このような領域はユーザーにとって注目度が高いことが想定されるため、適切に分類することで注目すべき領域の見逃しを抑止すること等が可能になる。

また、被写体は、大局的な３次元構造と、その大局的な３次元構造に比べて局所的な凹凸構造とを有し、表面形状算出部８２０は、被写体が有する大局的な３次元構造と局所的な凹凸構造のうち、大局的な３次元構造を距離情報から抽出することで、表面形状情報を求めてもよい。

これにより、被写体の構造を大局的なものと局所的なものに分けた場合に、大局的な構造から表面形状情報を求めることが可能になる。撮像画像上での基準パターンの変形は、その基準パターンに比べて大きい構造である大局的な構造に起因するものが支配的である。そのため、本実施形態では大局的な３次元構造から表面形状情報を求めることで、精度よく分類処理を行うことができる。

７．第２の分類処理手法
図３６に、第２の分類処理手法における分類処理部８３０の詳細な構成例を示す。分類処理部８３０は、分類基準データ記憶部８３１、射影変換部８３２、探索領域サイズ設定部８３３、類似度算出部８３４、領域設定部８３５、第２の分類基準データ生成部８３６を含む。なお、第２の分類処理手法における構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

第２の分類処理手法では、分類基準である基本ピットが正常腺管だけでなく、異常腺管に対しても用意する点と、実際の撮像画像のピットを抽出し、第２の分類基準データ（第２の基準パターン）として分類基準データを置き換え、その置き換え後の第２の分類基準データに基づいて類似度を算出し直す点と、が第１の分類処理手法と異なっている。

具体的には図３８（Ａ）〜図３８（Ｆ）に示すように、生体表面のピットパターンは、正常状態であるか異常状態であるかに応じて、また異常状態である場合には病変の進行度等に応じて、その形状が変化することが知られている。例えば、正常粘膜であれば図３８（Ａ）に示すようにピットパターンは円形に近く、病変が進行すると図３８（Ｂ）の星芒状や、図３８（Ｃ）、図３８（Ｄ）の管状型といった複雑な形状になり、さらに進行すると図３８（Ｆ）に示したようにピットパターンが消失したりする。よって、これらの典型的なパターンを基準パターンとして保持しておき、撮像画像に撮像された被写体表面と、当該基準パターンとの類似度等を判定することで、被写体の状態を判定することができる。

第１の分類処理手法との相違点について詳細に説明する。分類基準データ記憶部８３１には、正常腺管の基本ピットだけでなく、図３７に示すような複数のピットが記録されており、これらのピットは射影変換部８３２へ出力される。射影変換部８３２の処理は第１の分類処理手法と同様である。即ち、分類基準データ記憶部８３１に格納されている全てのピットに対して射影変換処理を行い、複数の分類タイプに対する修正ピットを探索領域サイズ設定部８３３と類似度算出部８３４へ出力する。

類似度算出部８３４は、複数の修正ピットに対して、それぞれの最大相関値マップを生成する。なお、この時点での最大相関値マップは、分類マップの生成（分類処理の最終出力の生成）に用いられるものではなく、第２の分類基準データ生成部８３６に出力され、新たな分類基準データの生成に用いられることになる。

第２の分類基準データ生成部８３６は、類似度算出部８３４で類似度が高い（例えば差分絶対値が所定閾値以下である）と判定された画像上の位置のピット画像を、新たに分類基準として採用する。これにより、予め用意されている標準的なモデル化したピットではなく、実際の画像から抽出したピットを分類基準にするため、より最適な精度の高い分類判定が可能となる。

具体的には、第２の分類基準データ生成部８３６には、類似度算出部８３４からの分類毎の最大相関値マップと、画像構成部８１０からの画像と、距離情報取得部３２０からの距離マップと、制御部３０２からの光学倍率と、既知特性情報取得部８４０からの分類毎の腺管のサイズと、が入力される。そして第２の分類基準データ生成部８３６は、分類毎の最大相関値のサンプル位置に対応する画像データを、その位置の距離情報と腺管のサイズと光学倍率に基づいて抽出する。

更に第２の分類基準データ生成部８３６は、抽出された実画像から低周波成分を除いたグレースケール画像（明るさの違いをキャンセルする為）を取得し、当該グレースケール画像を第２の分類基準データとして、法線ベクトル及び距離情報と併せて分類基準データ記憶部８３１へ出力する。分類基準データ記憶部８３１は、その第２の分類基準データ及び関連情報を記憶する。これにより、各分類で、被写体との相関性が高い第２の分類基準データを収集できたことになる。

なお、上記の第２の分類基準データは、撮像部２００の光軸方向と被写体表面とがなす角度、及び撮像部２００から被写体面までの距離による変形（大きさの変化）の影響が排除されていない。よって、第２の分類基準データ生成部８３６は、それらの影響をキャンセルする処理を行った上で第２の分類基準データを生成してもよい。具体的には、上記グレースケール画像に対して、所与の基準方向から所与の距離にあるものとして撮像した場合に相当するように変形処理（射影変換処理及び変倍処理）を行った結果を第２の分類基準データとすればよい。

第２の分類基準データが生成された後は、当該第２の分類基準データを対象として、射影変換部８３２、探索領域サイズ設定部８３３、類似度算出部８３４において、再度処理を行えばよい。具体的には、第２の分類基準データに対して射影変換処理を行って第２の修正パターンを生成し、生成した第２の修正パターンを分類基準として第１の分類処理手法と同様の処理を行う。

なお、本実施形態で用いる異常腺管の基本ピットは、点対象で無い場合がほとんどである。よって、類似度算出部８３４での類似度算出（修正パターンを用いる場合と、第２の修正パターンを用いる場合の両方において）では、回転不変のＰＯＣ（Phase Only Correction）を実施して類似度を算出することが望ましい。

領域設定部８３５は、図３７の分類別（Ｉ型、ＩＩ型、・・・）にグルーピングした分類マップ、或は図３７の分類のタイプ別（タイプＡ、Ｂ、・・・）にグルーピングした分類マップを生成する。具体的には、正常腺管に分類される修正ピットで相関が得られた領域の分類マップを生成し、異常腺管に分類される修正ピットで相関が得られた領域の分類マップを分類別やタイプ別に生成する。そして、これらの分類マップを合成した分類マップ（多値画像）を生成する。合成する際、それぞれの分類で相関が得られた領域のオーバーラップ領域は分類未確定領域としてもよいし、悪性レベルの高い方の分類に置き換えてもよい。領域設定部８３５は、この合成した分類マップを強調処理部３４０へ出力する。

強調処理部３４０は、多値画像の分類マップに基づいて、例えば輝度或は色の強調処理等を行う。

以上の実施形態によれば、既知特性情報取得部８４０は、異常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、例えば図３７に示すように、複数の基準パターンを取得し、それらを用いて分類基準を生成し、分類処理を行うことが可能になる。即ち、図３８（Ａ）〜図３８（Ｆ）に示すような典型的なパターンを基準パターンとして分類処理を行うことで、被写体の状態を詳細に分類することができる。

また、既知特性情報取得部８４０は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部８３０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで修正パターンを取得し、撮像画像に撮像された被写体の構造物と、修正パターンとの類似度を、撮像画像の各画像内位置で求め、求めた類似度に基づいて、第２の基準パターン候補を取得してもよい。そして、分類処理部８３０は、取得した第２の基準パターン候補と、表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、第２の基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、撮像画像に基づいて第２の基準パターンを生成し、当該第２の基準パターンを用いて分類処理を行うことが可能になる。よって、実際に撮像画像に撮像された被写体から分類基準を作成することができるため、当該分類基準は処理対象としている被写体の特性をよく反映したものとなり、既知特性情報として取得された基準パターンをそのまま用いる場合に比べて、分類処理の精度をより向上させること等が可能になる。

８．ソフトウェアによる処理
なお、本実施形態の画像処理部３０１は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理部３０１が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。ここで、画像処理方法（画像処理装置の作動方法、制御方法）を実現する場合も同様に、ハードウェアの画像処理装置にその方法を実行させてもよいし、その方法の処理手順を記述したプログラムをＣＰＵに実行させてもよい。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１生体表面、２〜４襞、５ポリープ、１０早期病変部、４０正常腺管、
５０異常腺管、６０腺管消失領域、１００光源部、１１０白色光源、
１３０駆動部、１４０回転色フィルター、１５０回転駆動部、
１６０集光レンズ、２００撮像部、２１０ライトガイドファイバー、
２１１メモリー、２２０照明レンズ、２３０対物レンズ、
２４０フォーカスレンズ、２５０レンズ駆動部、２６０撮像素子、
２７０スイッチ、３００プロセッサー部、３００制御部、
３００プロセッサー部、３０１画像処理部、３０２制御部、
３１０画像取得部、３２０距離情報取得部、３２３輝度信号算出部、
３２４差分演算部、３２５２次微分演算部、３２６パラメーター演算部、
３２７記憶部、３２８ＬＵＴ記憶部、３３０除外対象特定部、
３３１除外被写体特定部、３３２制御情報受付部、３３３除外シーン特定部、
３３４判定部、３４０強調処理部、３４１強調量設定部、３４２補正部、
３５０凹凸特定部、３６０後処理部、３７０生体粘膜特定部、
３７１生体粘膜色判定部、３７２生体粘膜凹凸判定部、３８０凹凸情報取得部、
３８１既知特性情報取得部、３８３抽出処理部、３８５抽出凹凸情報出力部、
３９０記憶部、４００表示部、５００外部Ｉ／Ｆ部、
６０１ディメンジョン情報取得部、６０２凹部抽出部、６０４近傍抽出部、
６１１色判定部、６１２判定部、６１３距離判定部、６２１画像解析部、
６２２制御情報判定部、７０１赤色フィルター、７０２緑色フィルター、
７０３青色フィルター、７０４回転モーター、８１０画像構成部、
８２０表面形状算出部、８２１モルフォロジー特性設定部、
８２２クロージング処理部、８２３法線ベクトル算出部、８３０分類処理部、
８３１分類基準データ記憶部、８３２射影変換部、
８３３探索領域サイズ設定部、８３４類似度算出部、８３５領域設定部、
８３６分類基準データ生成部、８４０既知特性情報取得部、
ＥＰ撮像画像、ＧＲ１〜ＧＲ３領域、ＮＶ法線ベクトル、
Ｒｏｕｔ鉗子口近傍領域、Ｒ_ｔｏｏｌ処置具存在領域、ＳＰ球

Claims

被写体の像を含む撮像画像を取得する画像取得部と、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、
前記撮像画像における生体粘膜の領域を特定する生体粘膜特定部と、
特定された前記生体粘膜の領域を、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて強調処理する強調処理部と、
を含み、
前記凹凸特定部は、
前記既知特性情報に基づいて、前記距離情報から、所望のサイズを有する局所的な凹凸構造よりも大局的な構造を除くことにより、前記所望のサイズを有する前記局所的な凹凸構造を前記凹凸部として抽出することを特徴とする内視鏡用画像処理装置。
請求項１において、
前記生体粘膜特定部は、
前記撮像画像の画素値に基づく特徴量が、前記生体粘膜に対応する所定条件を満たす領域を、前記生体粘膜の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項２において、
前記生体粘膜特定部は、
前記特徴量である色情報が、前記生体粘膜の色に関する前記所定条件を満たす領域を、前記生体粘膜の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項１において、
前記距離情報と前記既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を、抽出凹凸情報として前記距離情報から抽出する凹凸情報取得部を含み、
前記生体粘膜特定部は、
前記抽出凹凸情報が、前記既知特性情報である凹凸特性に合致する領域を、前記生体粘膜の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項４において、
前記生体粘膜特定部は、
前記被写体の凹部の幅及び深さの少なくとも一方を表すディメンジョン情報を前記既知特性情報として取得し、
前記抽出凹凸情報に含まれる凹凸部のうち、前記ディメンジョン情報により特定される特性と合致する前記凹部を抽出し、
抽出した前記凹部に対応する前記撮像画像上の領域である凹部領域と、前記凹部領域の近傍領域と、を前記生体粘膜の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項５において、
前記生体粘膜特定部は、
前記凹部領域内の画素での前記被写体までの距離と、前記凹部領域外の画素での前記被写体までの距離との差分が所定距離より小さい場合に、前記凹部領域外の画素を前記近傍領域として検出することを特徴とする内視鏡用画像処理装置。
請求項１において、
前記強調処理部は、
前記生体粘膜の領域とそれ以外の領域との境界で連続的に変化する強調量で前記強調処理を行うことを特徴とする内視鏡用画像処理装置。
請求項１において、
前記距離情報と前記既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を、抽出凹凸情報として前記距離情報から抽出する凹凸情報取得部を含み、
前記強調処理部は、
前記抽出凹凸情報が表す前記被写体までの距離に応じて特定の色を強調する前記強調処理を行うことを特徴とする内視鏡用画像処理装置。
請求項１において、
前記凹凸特定部は、
前記距離情報と前記既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を、抽出凹凸情報として前記距離情報から抽出する凹凸情報取得部を含み、
前記凹凸特定部は、
前記凹凸部を抽出する処理を前記凹凸特定処理として行うことを特徴とする内視鏡用画像処理装置。
請求項１において、
前記凹凸特定部は、
前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた分類処理を行う分類処理部と、
を含み、
前記凹凸特定部は、
前記分類基準を用いた前記分類処理を、前記凹凸特定処理として行うことを特徴とする内視鏡用画像処理装置。
請求項１０において、
前記凹凸特定部は、
前記生体粘膜特定部により特定された前記生体粘膜の領域に対して前記分類処理を行うことを特徴とする内視鏡用画像処理装置。
請求項１０において、
前記生体粘膜特定部は、
前記分類処理により特定の分類に判定された前記被写体に対して、前記生体粘膜の領域を特定する処理を行うことを特徴とする内視鏡用画像処理装置。
請求項１２において、
前記分類処理部は、
前記撮像画像の画素又は領域が正常な構造物の分類基準に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記生体粘膜特定部は、
前記非正常部に分類された前記画素又は前記領域に対して、前記生体粘膜の領域を特定する処理を行うことを特徴とする内視鏡用画像処理装置。
被写体の像を含む撮像画像を取得する画像取得部と、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記距離情報と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を特定する凹凸特定処理を行う凹凸特定部と、
前記撮像画像における除外対象の領域を特定する除外対象特定部と、
前記凹凸特定処理により特定された前記凹凸部の情報に基づいて前記撮像画像に対して強調処理を行い、特定された前記除外対象の領域に対する前記強調処理を非適用にする又は抑制する強調処理部と、
を含み、
前記凹凸特定部は、
前記既知特性情報に基づいて、前記距離情報から、所望のサイズを有する局所的な凹凸構造よりも大局的な構造を除くことにより、前記所望のサイズを有する前記局所的な凹凸構造を前記凹凸部として抽出することを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記除外対象特定部は、
前記撮像画像の画素値に基づく特徴量が、前記除外対象に対応する所定条件を満たす領域を、前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項１５において、
前記除外対象特定部は、
前記特徴量である色情報が、前記除外対象の色に関する前記所定条件を満たす領域を、前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項１６において、
前記所定条件は、
前記色情報が、残渣に対応する色範囲又は処置具に対応する色範囲に属するという条件であることを特徴とする内視鏡用画像処理装置。
請求項１５において、
前記除外対象特定部は、
前記特徴量である明るさ情報が、前記除外対象の明るさに関する前記所定条件を満たす領域を、前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項１８において、
前記所定条件は、
前記明るさ情報が、前記撮像画像の黒沈み領域に対応する明るさ範囲又は前記撮像画像の白飛び領域に対応する明るさ範囲に属するという条件であることを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記除外対象特定部は、
前記距離情報が、前記除外対象の距離に関する所定条件に合致する領域を、前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項２０において、
前記除外対象特定部は、
前記距離情報が表す前記被写体までの距離が連続的に変化する領域を、前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項２１において、
前記除外対象特定部は、
前記撮像画像における鉗子口近傍領域の画素のうち、前記被写体までの距離が所定距離よりも小さい画素の数が、所定数以上である場合には処置具が挿入されていると判定し、
前記処置具が挿入されていると判定した場合に、前記鉗子口近傍領域の画素のうち前記被写体までの距離が前記所定距離よりも小さい画素を前記除外対象の領域に設定し、
前記除外対象の領域の画素での前記被写体までの距離と、前記除外対象の領域の画素に隣接する画素での前記被写体までの距離との差分が、所定距離より小さい場合に、前記隣接する画素を更に前記除外対象の領域に設定することを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記距離情報と前記既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を、抽出凹凸情報として前記距離情報から抽出する凹凸情報取得部を含み、
前記除外対象特定部は、
前記抽出凹凸情報が、前記除外対象の凹凸に関する所定条件を満たす領域を、前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項２３において、
前記所定条件は、
前記被写体の平坦部を表す条件であることを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記除外対象特定部は、
内視鏡装置の制御情報を受け付ける制御情報受付部を含み、
前記除外対象特定部は、
前記制御情報受付部が受け付けた前記制御情報が、前記除外対象である除外シーンに対応する所定の制御情報である場合に、前記撮像画像を前記除外対象の領域として特定することを特徴とする内視鏡用画像処理装置。
請求項２５において、
前記所定の制御情報は、前記被写体に対する送水動作を指示する情報、又はＩＴナイフを動作状態にする指示情報であることを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記強調処理部は、
前記除外対象の領域の境界で連続的に変化する強調量で前記強調処理を行うことを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記除外対象は、生体粘膜以外の被写体であることを特徴とする内視鏡用画像処理装置。
請求項２８において、
前記生体粘膜以外の被写体は、残渣、又は処置具、黒沈み領域、白飛び領域であることを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記凹凸特定部は、
前記距離情報と前記既知特性情報とに基づいて、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を、抽出凹凸情報として前記距離情報から抽出する凹凸情報取得部を含み、
前記凹凸特定部は、
前記凹凸部を抽出する処理を前記凹凸特定処理として行うことを特徴とする内視鏡用画像処理装置。
請求項１４において、
前記凹凸特定部は、
前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた分類処理を行う分類処理部と、
を含み、
前記凹凸特定部は、
前記分類基準を用いた前記分類処理を、前記凹凸特定処理として行うことを特徴とする内視鏡用画像処理装置。
請求項１に記載された内視鏡用画像処理装置を含むことを特徴とする内視鏡装置。
請求項１４に記載された内視鏡用画像処理装置を含むことを特徴とする内視鏡装置。
内視鏡用画像処理装置が、被写体の像を含む撮像画像を取得し、
前記内視鏡用画像処理装置が、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記内視鏡用画像処理装置が、前記被写体の構造に関する既知の特性を表す情報である既知特性情報に基づいて、前記距離情報から、所望のサイズを有する局所的な凹凸構造よりも大局的な構造を除くことにより、前記所望のサイズを有する前記局所的な凹凸構造を、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部として抽出し、前記凹凸部を特定する凹凸特定処理を行い、
前記内視鏡用画像処理装置が、前記撮像画像における生体粘膜の領域を特定し、
前記内視鏡用画像処理装置が、特定された前記生体粘膜の領域を、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて強調処理することを特徴とする内視鏡用画像処理装置の作動方法。
内視鏡用画像処理装置が、被写体の像を含む撮像画像を取得し、
前記内視鏡用画像処理装置が、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記内視鏡用画像処理装置が、前記被写体の構造に関する既知の特性を表す情報である既知特性情報に基づいて、前記距離情報から、所望のサイズを有する局所的な凹凸構造よりも大局的な構造を除くことにより、前記所望のサイズを有する前記局所的な凹凸構造を、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部として抽出し、前記凹凸部を特定する凹凸特定処理を行い、
前記内視鏡用画像処理装置が、前記撮像画像における除外対象の領域を特定し、
前記内視鏡用画像処理装置が、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて前記撮像画像に対して強調処理を行うと共に、特定された前記除外対象の領域に対する前記強調処理を非適用にする又は抑制することを特徴とする内視鏡用画像処理装置の作動方法。
被写体の像を含む撮像画像を取得し、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報に基づいて、前記距離情報から、所望のサイズを有する局所的な凹凸構造よりも大局的な構造を除くことにより、前記所望のサイズを有する前記局所的な凹凸構造を、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部として抽出し、前記凹凸部を特定する凹凸特定処理を行い、
前記撮像画像における生体粘膜の領域を特定し、
特定された前記生体粘膜の領域を、前記凹凸特定処理により特定された前記凹凸部の情報に基づいて強調処理するステップを、
コンピューターに実行させる画像処理プログラム。
被写体の像を含む撮像画像を取得し、
前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報に基づいて、前記距離情報から、所望のサイズを有する局所的な凹凸構造よりも大局的な構造を除くことにより、前記所望のサイズを有する前記局所的な凹凸構造を、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部として抽出し、前記凹凸部を特定する凹凸特定処理を行い、
前記撮像画像における除外対象の領域を特定し、
前記凹凸特定処理により特定された前記凹凸部の情報に基づいて前記撮像画像に対して強調処理を行うと共に、特定された前記除外対象の領域に対する前記強調処理を非適用にする又は抑制するステップを、
コンピューターに実行させる画像処理プログラム。