JP6128989B2

JP6128989B2 - 画像処理装置、内視鏡装置及び画像処理装置の作動方法

Info

Publication number: JP6128989B2
Application number: JP2013134730A
Authority: JP
Inventors: 伸介谷
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-06-27
Filing date: 2013-06-27
Publication date: 2017-05-17
Anticipated expiration: 2033-06-27
Also published as: US20150003742A1; JP2015008782A; US9323978B2

Description

本発明は、画像処理装置、内視鏡装置及び画像処理装置の作動方法等に関する。

内視鏡装置により生体の病変（例えば消化管の早期病変）を鑑別・範囲診断する際には、生体表面の微小な凹凸の状態を観察することが多い。凹凸の観察には、色素を散布することにより凹凸のコントラストを強調し、凹凸を発見しやすくする手法が一般的に行われている。しかしながら、上述の色素散布は医師にとっては煩雑であり、また患者にとっては負担となるので、画像処理によって凹凸を検出できれば、医師や患者に取ってメリットが高い。

画像処理により凹凸検出を行う手法として、例えば特許文献１には、局所的な抽出領域の注目画素とその周辺画素の輝度レベルを比較し、注目領域が周辺領域よりも暗い場合には着色させるという処理により、凹凸を検出する手法が開示されている。この処理では、距離が遠い場合には、生体表面から反射してくる反射光量が少なくなることで暗く撮像されるという仮定に基づいている。

特開２００３−０８８４９８号公報

さて、内視鏡装置により生体を観察する際、ユーザーが注目する凹凸は観察状態（観察手法）によって異なるという課題がある。例えば、スクリーニング観察のようにスコープを被写体から比較的離して消化管全体を順次見ていくような場合では、比較的大きな凹凸を見落とさないようにする。また、ターゲットの場所が特定されて詳細構造を精査する精査観察（拡大観察）では、比較的小さい凹凸を観察し、良性か悪性かを判断できることが望まれている。

上記の特許文献１の手法では、輝度レベルを比較して着色するだけなので、小さい凹凸と大きい凹凸が区別されずに着色される。そのため、スクリーニング観察では小さな凹凸まで表示されて観察しにくく、精査観察では大きな凹凸まで表示されて観察しにくいという課題がある。

本発明の幾つかの態様によれば、観察状態に応じて適応的に凹凸部を検出することが可能な画像処理装置、内視鏡装置及び画像処理方法等を提供できる。

本発明の一態様は、撮像部により撮像された、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を、前記距離情報に応じて選定し、前記選定した既知特性情報を選定既知特性情報として出力する既知特性情報選定部と、前記選定既知特性情報により特定される前記特性と合致する前記被写体の凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する凹凸情報抽出部と、を含む画像処理装置に関係する。

本発明の一態様によれば、距離情報に応じて既知特性情報が選定され、その選定された既知特性情報により特定される特性と合致する被写体の凹凸部を表す情報が距離情報から抽出される。これにより、例えば観察状態に応じて適応的に凹凸部を検出することが可能になる。

また本発明の他の態様は、上記に記載された画像処理装置を含む内視鏡装置に関係する。

また本発明の更に他の態様は、撮像部により撮像された、被写体の像を含む撮像画像を取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を、前記距離情報に応じて選定し、前記選定した既知特性情報を選定既知特性情報として出力し、前記選定既知特性情報により特定される前記特性と合致する前記被写体の凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する画像処理方法に関係する。

画像処理装置の構成例。内視鏡装置の構成例。第１実施形態における画像処理部の詳細な構成例。第１実施形態における凹凸情報抽出部の詳細な構成例。図５（Ａ）〜図５（Ｄ）は、凹凸情報抽出処理についての説明図。図６（Ａ）〜図６（Ｆ）は、凹凸情報抽出処理についての説明図。第１実施形態における画像処理のフローチャート。第３実施形態における画像処理部の詳細な構成例。第３実施形態における距離情報取得部の詳細な構成例。第３実施形態における画像処理のフローチャート。第２実施形態における凹凸情報抽出部の詳細な構成例。第２実施形態における画像処理のフローチャート。第４実施形態における画像処理部の詳細な構成例。第４実施形態における画像処理のフローチャート。画像処理装置の変形構成例。変形例における画像処理のフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
内視鏡装置による診断を行う場合、消化管等の被写体にスコープを挿入した後に、まずスクリーニング観察を行う。スクリーニング観察では、スコープを被写体内で移動させながら、異常部（例えば病変部や出血、炎症等）がないか被写体全体にわたって探索していく。次に、異常部を発見したら、その異常部にスコープを接近させて拡大観察（精査観察）を行う。拡大観察では、スコープの視野をできるだけ被写体に対して固定すると共に観察倍率を高くして、異常部を検査・診断（例えば病名の判断や良性・悪性の判断、処置の要否判断等）する。

このような診断では、ユーザーは被写体の凹凸構造（例えば粘膜表面の凹凸構造）を判断材料の１つにしている。そのため本実施形態では、画像処理により被写体の凹凸部を検出し、その検出した凹凸部を例えば強調表示等することにより、ユーザーによる診断をアシストする。

しかしながら、観察状態によってユーザーが着目している凹凸部のサイズが異なるため、いつも同一のサイズで凹凸部を検出すると、観察に適さないという課題がある。例えば、スクリーニング観察では、粘膜上のポリープや癌等の隆起・陥没等をターゲットとして探索しており、その着目している凹凸部よりも小さい凹凸部が強調されると、着目する凹凸部が逆に発見しにくくなる可能性がある。一方、拡大観察では、発見した隆起・陥没等を更に拡大して微細な構造を観察しており、その着目している凹凸部よりも大きい凹凸部が強調されると、適切に診断できない可能性がある。

そこで図１に示すように、本実施形態の画像処理装置は、撮像部により撮像された、被写体の像を含む撮像画像を取得する画像取得部３１０と、撮像の際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部３８０と、被写体の構造に関する既知の特性を表す情報である既知特性情報を、動き量に応じて選定し、その選定した既知特性情報を選定既知特性情報として出力する既知特性情報選定部３９０と、その選定既知特性情報により特定される特性と合致する被写体の凹凸部を表す情報を、抽出凹凸情報として距離情報から抽出する凹凸情報抽出部３４０と、を含む。

このようにすれば、距離情報に応じて凹凸部を選択的に検出することが可能となる。即ち、観察状態（シーン）により被写体までの距離が異なるため、距離情報により観察状態を特定することが可能であり、その観察状態に応じて検出すべきサイズの凹凸部を選択的に検出することができる。例えば、距離が大きい或は複数位置での距離が特定のパターン（例えば消化管の管方向を見ている等）である場合、スクリーニング観察に該当すると考えられるので、所定サイズよりも大きい凹凸部を抽出すればよい。一方、距離が小さい或は複数位置での距離が特定のパターン（例えば被写体に正対している等）である場合、拡大観察に該当すると考えられるので、所定サイズよりも小さい凹凸部を抽出すればよい。

ここで距離情報とは、撮像画像での各位置と、その各位置での被写体までの距離とが対応付けられた情報（例えば距離マップ）である。距離情報は、複数の処理で共通に使用される同一の情報である必要はなく、各処理において異なる距離情報が用いられてもよい。例えば、距離情報は、既知特性情報を選定するための第１距離情報と、凹凸情報を抽出するための第２距離情報を含んでもよい。第２距離情報としては、凹凸情報を抽出するために画像全体にわたって詳細な情報が必要なので、例えば距離マップ等を用いればよい。一方、第１距離情報としては、観察状態を区別できれば十分であるため、例えば画像全体の距離を代表する代表距離（例えば所定エリアでの平均距離）や、画像の複数位置の距離を組み合わせた情報、第２距離情報の距離マップよりも解像度の低い距離マップ等を用いればよい。

なお、距離情報は、撮像部から被写体までの距離そのものに限定されず、撮像部から被写体までの距離に基づいて取得される種々の情報を用いることが可能である。距離情報の詳細については、更に後述する。

また既知特性情報とは、被写体表面の構造のうち、本実施形態において有用な構造とそうでない構造とを分離可能な情報である。具体的には、検出することが有用な（例えば早期病変部の発見に役立つ）凹凸部の情報（例えば病変部に特徴的な凹凸部のサイズ等）を既知特性情報としてもよい。その場合、当該既知特性情報と合致する被写体が抽出処理の対象となる。或いは、検出しても有用でない構造の情報を既知特性情報としてもよい。その場合、既知特性情報と合致しない被写体が抽出対象となる。或いは、有用な凹凸部と有用でない構造の両方の情報を保持しておき、有用な凹凸部の範囲を精度よく設定するものとしてもよい。

ここで、図１では選定既知特性情報を凹凸情報抽出部３４０へ入力する構成を例に図示したが、本実施形態では選定既知特性情報を距離情報取得部３８０へ入力してもよい。即ち、動き量に応じて距離情報の取得処理（例えば距離マップの解像度）を変えることにより、距離情報に含まれる凹凸部のサイズ下限を変えてもよい。この場合、距離情報に含まれる凹凸部のサイズがそもそも異なっているため、それが抽出凹凸情報にも反映されることとなり、選定既知特性情報により特定される特性と合致する被写体の凹凸部を抽出できる。

２．第１実施形態
２．１．内視鏡装置
次に、本実施形態の詳細について説明する。図２に、第１実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００、撮像部２００、プロセッサー部３００（制御装置）、表示部４００、外部Ｉ／Ｆ部５００、を含む。

光源部１００は、白色光源１０１と、複数の分光透過率を有する回転色フィルター１０２と、回転色フィルター１０２を駆動する回転駆動部１０３と、回転色フィルター１０２からの各分光特性を持った光をライトガイドファイバー２０１の入射端面に集光させる集光レンズ１０４と、を含む。回転色フィルター１０２は、三原色のフィルター（赤色フィルター、緑色フィルター、青色フィルター）と、回転モーターと、により構成されている。

回転駆動部１０３は、プロセッサー部３００の制御部３０２からの制御信号に基づいて、撮像部２００の撮像素子２０６、２０７の撮像期間と同期して回転色フィルター１０２を所定回転数で回転させる。例えば回転色フィルター１０２を１秒間に２０回転させると、各色フィルターは６０分の１秒間隔で入射白色光を横切ることになる。この場合、観察対象には、６０分の１秒間隔で３原色の各色光（Ｒ或はＧ或はＢ）が照射され、撮像素子２０６、２０７は、その観察対象からの反射光を撮像し、その撮像画像をＡ／Ｄ変換部２０９へ転送することになる。即ち、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像される内視鏡装置の例となり、実質のフレームレートは２０ｆｐｓとなる。

なお本実施形態は上記のような面順次方式に限定されず、例えば白色光源１０１からの白色光を被写体に照射し、ＲＧＢベイヤー配列のカラーフィルターを有する撮像素子により撮像してもよい。

撮像部２００は、例えば胃や大腸などの体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバー２０１と、ライトガイドファイバー２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０３と、を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０４、２０５と、集光した結像光を検出するための撮像素子２０６、２０７と、撮像素子２０６、２０７からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０９と、を含む。また撮像部２００は、撮像部２００のスコープＩＤ情報と製造バラツキを含めた固有情報が記録されているメモリー２１０と、撮像部２００とプロセッサー部３００とを着脱可能にするコネクター２１２と、を含む。

面順次方式の場合、撮像素子２０６、２０７はモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等が利用できる。対物レンズ２０４、２０５は、所定間隔離した位置に配置されており、所定の視差画像（以降、ステレオ画像と記す）を撮影可能な位置に配置されており、撮像素子２０６、２０７にそれぞれ左画像、右画像を結像させる。Ａ／Ｄ変換部２０９は、撮像素子２０６、２０７から出力されたアナログ信号をデジタル信号に変換し、そのデジタル信号の画像を画像処理部３０１へ出力する。メモリー２１０は制御部３０２と接続されており、スコープＩＤ情報と製造バラツキを含めた固有情報とを、制御部３０２へ転送する。

プロセッサー部３００は、Ａ／Ｄ変換部２０９から転送される画像に対して画像処理を行う画像処理部３０１と、内視鏡装置の各部を制御する制御部３０２と、を含む。

表示部４００は、動画表示可能な表示装置であり、例えばＣＲＴや液晶モニター等で構
成される。

外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッターボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば生体表面の凹凸部の選択的な強調処理を行う為のスイッチ）等を含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。

２．２．画像処理部
図３に画像処理部３０１の詳細な構成例を示す。画像処理部３０１（画像処理装置）は、画像構成部３２０、凹凸情報抽出部３４０、記憶部３５０、強調処理部３７０、距離情報取得部３８０、既知特性情報選定部３９０を含む。なお画像構成部３２０は、図１の画像取得部３１０に対応する。

画像構成部３２０は、撮像部２００により撮像された画像に対して所定の画像処理（例えばＯＢ処理や、ゲイン処理、ガンマ処理等）を施し、表示部４００へ出力可能な画像を生成する。画像構成部３２０は、処理後の画像を強調処理部３７０、距離情報取得部３８０へ出力する。

距離情報取得部３８０は、撮像部２００のステレオ光学系により撮像されたステレオ画像に対してステレオマッチング処理を行い、距離情報を取得する。具体的には、左画像を基準画像とし、その左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。そして、その算出した視差をＺ軸方向での距離に変換して距離情報を取得し、その距離情報を既知特性情報選定部３９０と凹凸情報抽出部３４０へ出力する。

より具体的には、距離情報取得部３８０は、凹凸情報を抽出するための距離マップ（撮像画像の各位置について距離が対応付けられたマップ）と、既知特性情報を選定するための選定用距離情報とを距離情報として取得する。選定用距離情報は、距離マップから生成してもよいし、距離マップとは別個にステレオ画像から取得してもよい。

ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、上記のようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式により距離情報を取得してもよい。この場合、撮像部２００はステレオ光学系ではなく通常の光学系を有し、更にレーザー光源及びその反射光の検出部を有する。そして、レーザー光等を被写体に照射し、その反射光の到達時間により距離を測定する。距離情報としては、例えば、反射光を撮像する撮像素子面の各画素位置を基準にした距離を取得すればよい。これらの例では、距離計測の基準点を撮像部２００に設定したが、基準点は、撮像部２００以外の任意の場所に設定してもよい。例えば、基準点を、撮像部２００や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の距離情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向での距離である。一例としては、撮像部２００の光軸方向での距離を用いればよい。即ち、被写体上のある点での距離は、その点を通る、光軸に平行な線上での撮像部２００から被写体までの距離である。このような距離情報として、例えば距離マップがある。距離マップとは、例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば撮像画像の各画素）について、被写体までのＺ軸方向での距離（奥行き、深度）を当該点の値としたマップのことである。

また、距離情報取得部３８０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。

既知特性情報選定部３９０は、選定用距離情報に応じた既知特性情報を選定して記憶部３５０から読み出し、その選定既知特性情報を凹凸情報抽出部３４０へ出力する。既知特性情報は、検出対象として特定したい生体固有の凹凸部のサイズ（幅や高さや深さ等のディメンジョン情報）である。即ち、記憶部３５０には、複数の既知特性情報が記憶されており、各既知特性情報は、それを用いて抽出できる凹凸部のサイズが異なっている。そして、既知特性情報選定部３９０は、その複数の既知特性情報の中から、選定用距離情報に対応するサイズの既知特性情報を選定する。

例えば、複数の既知特性情報として、凹凸部のサイズが大きいスクリーニング観察用の既知特性情報と、それよりも凹凸部のサイズが小さい拡大観察用の既知特性情報とが記憶部３５０に記憶されている。そして、選定用距離情報として、例えば撮像画像でのグローバルな平均距離や所定の代表エリアでの距離等が取得される。既知特性情報選定部３９０は、選定用距離情報が閾値よりも大きい場合にはスクリーニング観察であると判断し、スクリーニング観察用の既知特性情報を選定する。一方、選定用距離情報が閾値よりも小さい場合には拡大観察であると判断し、拡大観察用の既知特性情報を選定する。

或は、選定用距離情報として、撮像画像の中央部の距離及び周辺部（例えば４隅付近）の距離等の複数位置での距離を取得してもよい。スクリーニング観察では一般的に消化管に沿ってスコープを挿入していくので、画像中央部には管の奥が写り、画像周辺部には管壁が写る。そのため、画像中央部の距離よりも画像周辺部の距離の方が小さくなる。一方、拡大観察ではスコープを被写体に正対させるので画像全体で距離は小さくなる。このような距離のパターンを検出することにより、既知特性情報選定部３９０がスクリーニング観察と拡大観察を判別し、既知特性情報を選定してもよい。

凹凸情報抽出部３４０は、生体表面の凹凸部を表す凹凸情報を選定既知特性情報に基づいて距離情報（距離マップ）から抽出し、その抽出凹凸情報を強調処理部３７０へ出力する。既知特性情報は、管腔や襞等消化官の形状に依存する大局的な凹凸構造よりも小さい凹凸構造（例えば着目する病変等のサイズの凹凸構造）を特定するものである。即ち、凹凸情報抽出部３４０は、大局的な凹凸構造を除いた所望の凹凸部を抽出する。上述のように距離情報（選定用距離情報）に応じて既知特性情報が選定されているので、距離情報が大きい場合（即ちスクリーニング観察）には、抽出される凹凸部のサイズが大きくなり、距離情報が小さい場合（即ち拡大観察）には、抽出される凹凸部のサイズが小さくなる。なお凹凸情報抽出部３４０の詳細については後述する。

強調処理部３７０は、抽出凹凸情報に基づいて撮像画像に対して強調処理を行い、処理後の画像を表示画像として表示部４００へ出力する。強調処理部３７０は、例えば抽出凹凸情報の凹部に対応する撮像画像上の領域に対して、青色を濃くする処理を行う。このような処理を行うことで、色素散布の手間を要することなく、生体表層の凹凸を強調表示することが可能となる。なお強調処理は上記に限定されず、例えば、強調処理部３７０は、凹部と凸部で異なる色を付す処理等を行ってもよい。

ここで、上記ではステレオ撮影又はTime of flight方式により距離情報を取得する場合を例に説明したが、本実施形態はこれに限定されない。例えば、撮像画像からぼけパラメーターを算出し、そのぼけパラメーターに基づいて距離情報を取得してもよい。この場合、撮像部２００はステレオ光学系ではなく通常の光学系を有し、更にフォーカスレンズ駆動部を有する。そして、距離情報取得部３８０は、フォーカスレンズ位置を移動させながら第１、第２の画像を取得し、各画像を輝度値に変換し、各画像の輝度値の２次微分を算出し、それらの平均値を算出する。そして、第１の画像の輝度値と第２の画像の輝度値との差分を算出し、その差分から２次微分の平均値を除算し、ぼけパラメーターを算出し、ぼけパラメーターと被写体距離との関係（例えばルックアップテーブルに記憶される）から距離情報を取得する。

２．３．凹凸情報抽出部
図４に凹凸情報抽出部３４０の詳細な構成例を示す。凹凸情報抽出部３４０は、特性設定部３４１と抽出部３４２を含む。

図５（Ａ）に、距離マップの例を模式的に示す。以下では説明の便宜上、一次元の距離マップを考え、矢印で示す方向に距離の軸をとる。距離マップは、生体のおおまかな構造の情報（例えば管腔や襞２、３、４等の形状情報）と、生体表層の凹凸部（例えば凹部１０、３０、凸部２０）の情報との両方を含んでいる。

既知特性情報選定部３９０は、記憶部３５０からディメンジョン情報（抽出したい生体の凹凸部のサイズ情報）を既知特性情報として取得する。そして、特性設定部３４１は、そのディメンジョン情報に基づいてローパスフィルター処理の周波数特性を決定する。図５（Ｂ）に示すように、抽出部３４２は、その周波数特性のローパスフィルター処理を距離マップに対して施し、生体のおおまかな構造の情報（管腔や襞等に関する形状情報）を抽出する。

そして図５（Ｃ）に示すように、抽出部３４２は、生体のおおまかな構造の情報を距離マップから減算し、生体表層の凹凸情報である凹凸マップ（所望サイズの凹凸部の情報）を生成する。例えば、画像や距離マップ、凹凸マップにおける水平方向をｘ軸と定義し、垂直方向をｙ軸と定義する。距離マップの座標（ｘ，ｙ）における距離をｄｉｓｔ（ｘ，ｙ）と定義し、ローパスフィルター処理後の距離マップの座標（ｘ，ｙ）における距離をｄｉｓｔ＿ＬＰＦ（ｘ，ｙ）と定義すると、凹凸マップの座標（ｘ，ｙ）における凹凸情報ｄｉｆｆ（ｘ，ｙ）は下式（１）で求められる。

次に、ディメンジョン情報からカットオフ周波数（広義には抽出処理パラメーター）を決定する処理の詳細について説明する。

特性設定部３４１は、入力された距離情報に対して所定サイズ（例えばＮ×Ｎ画素（Ｎは２以上の自然数））のローパスフィルター処理を施す。そして、その処理後の距離情報（局所平均距離）に基づいて、適応的に抽出処理パラメーターを決定する。具体的には、病変部起因の抽出したい生体固有の凹凸部を平滑化すると共に、観察部位固有の管腔及び襞の構造が保持されるローパスフィルターの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象である襞、管腔構造の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルターの特性を決定可能である。また、局所平均距離に応じて見かけ上の構造の大きさが変わるため、図５（Ｄ）に示すように局所平均距離に応じてローパスフィルターの特性を決定する。

このとき、既知特性情報のサイズは選定用距離情報に応じて選定されているので、それに伴ってローパスフィルターの特性が変化する。具体的には、スクリーニング観察の場合には既知特性情報のサイズが大きいため、ローパスフィルターのカットオフ周波数を低く設定し、拡大観察の場合には既知特性情報のサイズが小さいため、ローパスフィルターのカットオフ周波数を高く設定する。即ち、図５（Ｄ）における同距離で比べた場合に、スクリーニング観察におけるカットオフ周波数の方が低くなり、より大きなサイズの凹凸部が抽出される。

ローパスフィルター処理は、例えば下式（２）に示すガウスフィルターや、下式（３）に示すバイラテラルフィルターにより実現される。ここで、ｘは距離マップにおける画素位置を表し、ｘ０は、現在、処理対象としている画素位置を表す。また、ｐ（ｘ）は、画素位置ｘでの距離を表す。

これらのフィルターの周波数特性はσ、σ_ｃ、σ_νで制御する。このとき、距離マップの画素に１対１で対応するσマップを、抽出処理パラメーターとして作成してもよい。なお、バイラテラルフィルターの場合は、σ_ｃ、σ_νの両方或いは一方のσマップを作成してもよい。

σとしては、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離Ｄ１の所定倍α（＞１）よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離Ｄ２の所定倍β（＜１）よりも小さい値を設定する。例えば、σ＝（α＊Ｄ１＋β＊Ｄ２）／２＊Ｒσと設定してもよい。ここでＲσは、局所平均距離の関数であり、局所平均距離が小さいほど値が大きく、局所平均距離が大きいほど値が小さい。

なお、既知特性情報選定部３９０は、例えば観察部位に対応したディメンジョン情報を記憶部３５０から読み出し、凹凸情報抽出部３４０は、そのディメンジョン情報に基づいて、観察部位に応じた対象を特定してもよい。観察部位は、例えば図２のメモリー２１０に記憶されたスコープＩＤにより決定できる。例えば上部消化器用スコープの場合には、観察部位である食道、胃、十二指腸に対応したディメンジョン情報が読み出される。或は、下部消化器用スコープの場合には、観察部位である大腸に対応したディメンジョン情報が読み出される。

ここで、本実施形態では上記のようなローパスフィルター処理を用いた抽出処理に限定されず、例えばモルフォロジー処理、或はハイパスフィルター処理やバンドパスフィルター処理により抽出凹凸情報を取得してもよい。

モルフォロジー処理を用いる場合、図６（Ａ）に示すように、距離マップに対して所定カーネルサイズ（構造要素の大きさ（球の直径））のオープニング処理、クロージング処理を行う。抽出処理パラメーターは構造要素の大きさである。例えば構造要素として球を用いる場合、その球の直径として、観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。また、図６（Ｆ）に示すように、局所平均距離が小さいほど直径を大きくし、局所平均距離が大きいほど直径を小さくする。図６（Ｂ）、図６（Ｃ）に示すように、クロージング処理により得られた情報と、元の距離情報との差分を取ることで、生体表面の凹部が抽出される。また、図６（Ｄ）、図６（Ｅ）に示すように、オープニング処理により得られた情報と、元の距離情報との差分を取ることで、生体表面の凸部が抽出される。

上記のモルフォロジー処理では、球の直径を、選定用距離情報に応じて選定された既知特性情報（ディメンジョン情報）に基づいて設定する。即ち、図６（Ｆ）における同距離で比べた場合に、拡大観察における球の直径よりもスクリーニング観察における球の直径の方が大きく設定される。そして、スクリーニング観察では、より大きなサイズの凹凸部が抽出される。

ハイパスフィルター処理やバンドパスフィルター処理を用いる場合には、選定用距離情報に応じて選定された既知特性情報（ディメンジョン情報）に基づいて、ハイパスフィルター処理のカットオフ周波数や、バンドパスフィルター処理の通過帯域を設定する。この場合にも、スクリーニング観察で抽出される凹凸部のサイズの方が大きくなるように周波数特性を設定すればよい。

２．４．ソフトウェア
上記の実施形態では、画像処理装置（画像処理部３０１）を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。情報記憶媒体は、ＣＤ−ＲＯＭやＵＳＢメモリーの他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステムの内外に備えられるＨＤＤやＲＡＭ、ＲＯＭ等の「固定用の物理媒体」、モデムを介して接続される公衆回線や、他のコンピューターシステム又はサーバーが接続されるローカルエリアネットワーク又は広域エリアネットワーク等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステムによって読み取り可能なプログラムを記録するあらゆる記録媒体を含む。

即ち、プログラムは、上記の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム（操作部、処理部、記憶部、出力部を備える装置）は、このような記録媒体からプログラムを読み出して実行することで画像処理装置を実現する。プログラムは、コンピューターシステムによって実行されることに限定されるものではなく、他のコンピューターシステム又はサーバーがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。なお、画像処理方法（画像処理装置の作動方法、制御方法）を実現する場合も同様に、ハードウェアの画像処理装置にその方法を実行させてもよいし、その方法の処理手順を記述したプログラムをＣＰＵ等に実行させてもよい。

図７に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。

この処理を開始すると、例えば不図示のメモリーから読み出す等して撮像画像（ステレオ画像）を取得する（ステップＳ１）。次に、ステレオマッチング処理を行って距離マップを取得する（ステップＳ２）。次に距離マップから選定用距離情報を取得する（ステップＳ３）。

次に、選定用距離情報が閾値ε（例えば所定の閾値）よりも大きいか否かを判定する（ステップＳ４）。選定用距離情報が閾値εよりも大きい場合には、スクリーニング観察に対応する既知特性情報Ａを選定し（ステップＳ５）、その既知特性情報Ａに基づいて凹凸抽出処理の特性を設定する（ステップＳ６）。即ち、モルフォロジー処理の特性ＭＡ（例えば球の直径）、或はローパスフィルター処理の特性ＬＡ（例えばカットオフ周波数）を設定する。一方、選定用距離情報が閾値ε以下である場合には、拡大観察に対応する既知特性情報Ｂ（≠Ａ）を選定し（ステップＳ７）、その既知特性情報Ｂに基づいて凹凸抽出処理の特性を設定する（ステップＳ８）。例えば、モルフォロジー処理の特性ＭＢ（≠ＭＡ）、或はローパスフィルター処理の特性ＬＢ（≠ＬＡ）を設定する。

次に、ステップＳ６又はＳ８で設定された特性に基づいて凹凸情報を抽出する（ステップＳ９）。次に、抽出された凹凸情報に基づいて撮像画像に対して強調処理を行い（ステップＳ１０）、処理を終了する。

なお、上記の実施形態ではスクリーニング観察と拡大観察で同種の凹凸抽出処理（例えばいずれもローパスフィルター処理）を行ものとしたが、本実施形態はこれに限定されない。例えば、観察状態に応じて異種の凹凸抽出処理を行い、それに応じた特性設定を選定既知特性情報に基づいて行ってもよい。即ち、スクリーニング観察の方がより大きな凹凸部が抽出されさえすれば、どのように凹凸検出を行ってもよい。

以上の実施形態では、既知特性情報は、被写体の構造に関するサイズに対応する情報である。そして、既知特性情報選定部３９０は、距離情報に応じて異なるサイズに対応する既知特性情報を選定する。

このようにすれば、観察状態に応じて適切なサイズの既知特性情報を選定することができるので、観察状態に応じて適切なサイズの凹凸部を抽出（検出）し、その凹凸部を強調処理する等してユーザーに提示することが可能となる。

ここで、被写体の構造に関するサイズに対応する情報とは、検出したい凹凸部のサイズに対応する情報であり、例えば上述のディメンジョン情報である。例えば、検出したい凹凸部が特定の病変であれば、その病変に特徴的に現れる凹凸構造（例えば溝、隆起、血管走行等）の幅や高さ、深さ等である。

また本実施形態では、既知特性情報選定部３９０は、距離情報が閾値よりも大きい場合には、第１のサイズに対応する既知特性情報を選定し、距離情報が閾値よりも小さい場合には、第１のサイズよりも小さい第２のサイズに対応する既知特性情報を選定する。

このようにすれば、距離の大小により観察状態を判別できる場合に、その距離の大小に応じて各観察状態に適切な既知特性情報を選定することが可能となる。例えば、スコープを移動させながら被写体全体を観察するためスコープから被写体まで距離が大きいスクリーニング観察と、精査を行うためスコープを被写体に近づける拡大観察とを判別できる。

なお本実施形態では、２種類の観察状態の判別に限定されず、３種類以上の観察状態を判別してもよい。例えば、距離情報の閾値判定を用いる場合には、第１種と第２種の観察状態を区別する閾値と、第２種と第３種の観察状態を区別する閾値と、を用いて既知特性情報を選定してもよい。

また本実施形態では閾値判定に限定されず、例えば、既知特性情報選定部３９０は、距離情報に基づいて観察状態がスクリーニング観察であるか拡大観察であるかを判定し、その判定した観察状態に応じて既知特性情報を選定してもよい。例えば、上述のように撮像画像の複数位置における距離情報のパターンにより既知特性情報を選定してもよい。

また本実施形態では、凹凸情報抽出部３４０は、距離情報に応じて選定された選定既知特性情報に基づいて抽出処理パラメーターを決定し、その決定した抽出処理パラメーターに基づいて抽出凹凸情報を抽出する。

このようにすれば、距離情報に応じて選定した既知特性情報により特定される特性と合致する被写体の凹凸部を表す情報を抽出することができる。即ち、距離情報に応じて抽出処理パラメーターが決定されるので、その抽出処理パラメーターに基づいて凹凸抽出処理を行うことにより、距離情報に応じたサイズの凹凸部を抽出できる。

なお後述のように、距離情報だけでなく、更に他の情報に基づいて既知特性情報の選定を行い、抽出処理パラメーターを決定してもよい。具体的には、内視鏡装置の特性情報（例えばスコープＩＤ等）や観察情報（例えば、観察部位、観察症例等）を用いて既知特性情報を選定してもよい。この場合、距離情報に対応して、どのようなサイズの凹凸部を抽出するかを、内視鏡装置の特性情報や観察情報に応じて変更できる。

ここで、抽出処理パラメーターとは、凹凸抽出処理の特性を決定するパラメーターであり、既知特性情報に合致する凹凸部が抽出されるように設定されるパラメーターである。例えばモルフォロジー処理（オープニング処理、クロージング処理）により凹凸部を抽出する場合、その構造要素のサイズ（例えば球の直径）が抽出処理パラメーターである。この場合、既知特性情報が表す所望の凹凸構造のサイズと、抽出したくない凹凸構造のサイズとの間に構造要素のサイズを設定する。或はローパスフィルター処理により凹凸部を抽出する場合、その周波数特性が抽出処理パラメーターである。この場合、既知特性情報が表す所望の凹凸構造のサイズが通過せず、抽出したくない凹凸構造のサイズが通過する周波数特性を設定する。

２．５．変形例
図１５に、画像処理部３０１の変形構成例を示す。この変形例では、距離情報だけでなく、内視鏡装置の特性情報や観察情報に基づいて既知特性情報を選定する。以下では、第１実施形態に本変形例を適用した場合を例に説明するが、本変形例は後述の第２〜第４実施形態にも適用可能である。

図１５の画像処理部３０１は、画像構成部３２０、凹凸情報抽出部３４０、記憶部３５０、強調処理部３７０、距離情報取得部３８０、内視鏡ＩＤ取得部３８５、既知特性情報選定部３９０、観察情報取得部３９５を含む。なお、上述した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

内視鏡ＩＤ取得部３８５は、撮像部２００を特定するＩＤ（スコープＩＤ、内視鏡ＩＤ）を撮像部２００のメモリー２１０から取得する。図２で上述のように、撮像部２００は用途等に応じて交換可能であり、装着した撮像部２００に対応したＩＤがメモリー２１０に記憶されている。

観察情報取得部３９５は、観察対象となっている部位（例えば食道、胃、大腸等）の情報や、観察対象となっている症例（例えば、疾病の種類や病変の種類、その進行度等）の情報を、観察情報として取得する。これらの情報は、例えば表示部４００に表示した部位・症例の選択メニューからユーザーが選択してもよいし、或は、画像処理による部位判別や症例判別により取得してもよい。

既知特性情報選定部３９０は、距離情報と内視鏡ＩＤと観察情報に基づいて、既知特性情報を選定する。例えば、内視鏡ＩＤから撮像素子の画素数や画素サイズを特定する。画素数や画素サイズが変わると、１画素に対応する被写体上の距離が異なるので、被写体上で同じサイズであっても画像上でのサイズ（画素数）は異なる。そのため、その画像上でのサイズの違いに合わせて既知特性情報のサイズを決定する。或は、観察情報である部位（臓器の種類）や症例が異なる場合には、観察対象のサイズも異なると考えられるので、部位や症例に応じて既知特性情報のサイズを決定する。

図１６に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。なお、ステップＳ８１〜Ｓ８３、Ｓ８７〜Ｓ８８は、図７のＳ１〜Ｓ３、Ｓ９〜Ｓ１０と同様であるので、説明を省略する。

ステップＳ８４では、内視鏡ＩＤ、観察情報を取得する。次に、選定用距離情報、内視鏡ＩＤ、観察情報に基づいて既知特性情報を選定する（ステップＳ８５）。例えば、内視鏡ＩＤや観察情報に対応して複数セットの既知特性情報が、記憶部３５０に記憶されている。各セットには、選定用距離情報に対応して既知特性情報が記憶されている。そして、ステップＳ８４で取得した内視鏡ＩＤや観察情報に対応するセットを読み出し、そのセットの中から、ステップＳ８５で取得した選定用距離情報（即ち観察状態）に対応する既知特性情報を取得する。次に、選定した既知特性情報に基づいてモルフォロジー処理の特性設定を行う（ステップＳ８６）。

３．第２実施形態
３．１．画像処理部
図１１に、第２実施形態における凹凸情報抽出部３４０の詳細な構成例を示す。図１１の凹凸情報抽出部３４０は、特性設定部３４１、抽出部３４２、フィルター部３４３を含む。なお、以下では第１実施形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。例えば、内視鏡装置や画像処理部３０１については第１実施形態と同様に構成できる。

特性設定部３４１は、選定用距離情報に関わらず同じ既知特性情報を記憶部３５０から取得し、その既知特性情報に基づいて凹凸抽出処理の特性を設定する。抽出部３４２は、設定された特性で凹凸抽出処理を行う。凹凸抽出処理の詳細は第１実施形態と同様である。この段階では、距離情報に関わらず同じ既知特性情報を用いるので、距離情報に関わらず同じ凹凸情報が検出される。

フィルター部３４３は、抽出された凹凸情報（例えば図５（Ｃ）又は、図６（Ｃ）及び図６（Ｅ））に対してフィルター処理を行う。フィルター処理としては、例えばローパスフィルター処理やハイパスフィルター処理等を用いることができる。このフィルター処理の周波数特性は、既知特性情報選定部３９０により選定された既知特性情報に基づいて決定する。即ち、スクリーニング観察の場合の方がより低周波数が通過するようにフィルター処理の特性を設定し、スクリーニング観察の場合の方がより大きなサイズの凹凸部が最終的に得られるようにする。フィルター部３４３は、得られた凹凸情報を抽出凹凸情報として強調処理部３７０へ出力する。

３．２．ソフトウェア
図１２に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。

この処理を開始すると、まず撮像画像（ステレオ画像）を取得する（ステップＳ４１）。次に、ステレオマッチング処理を行って距離マップを取得する（ステップＳ４２）。次に、既知特性情報に基づいて凹凸抽出処理の特性を設定し（ステップＳ４３）、その特性で距離マップから凹凸情報を抽出する（ステップＳ４４）。次に、距離マップから選定用距離情報を取得する（ステップＳ４５）。

次に、選定用距離情報が閾値εよりも大きいか否かを判定する（ステップＳ４６）。選定用距離情報が閾値εよりも大きい場合には、スクリーニング観察に対応する既知特性情報Ａを選定し（ステップＳ４７）、その既知特性情報Ａに対応する特性ＦＡ（例えばカットオフ周波数）のフィルター処理を、ステップＳ４４において抽出した凹凸情報に対して施す（ステップＳ４８）。一方、選定用距離情報が閾値ε以下である場合には、拡大観察に対応する既知特性情報Ｂ（≠Ａ）を選定し（ステップＳ４９）、その既知特性情報Ｂに対応する特性ＦＢ（≠ＦＡ）のフィルター処理を、ステップＳ４４において抽出した凹凸情報に対して施す（ステップＳ５０）。

次に、ステップＳ４８又はＳ５０でフィルター処理した凹凸情報に基づいて、撮像画像に対して強調処理を行い（ステップＳ５１）、処理を終了する。

以上の実施形態では、凹凸情報抽出部３４０は、既知特性情報により特定される特性と合致する被写体の凹凸部を表す情報を距離情報から抽出する。そして凹凸情報抽出部３４０は、その抽出した凹凸部の情報に対して、距離情報に応じて選定された選定既知特性情報に基づく周波数特性のフィルターリング処理を行って、抽出凹凸情報を抽出する。

このようにすれば、距離情報に応じた周波数特性のフィルターリング処理を、観察状態に依らずに一旦抽出した凹凸情報に対して施すことにより、観察状態に応じたサイズの凹凸情報を最終的に抽出することが可能となる。このような手法によっても、第１実施形態と同様に観察状態に応じて適応的に凹凸部を検出することが可能である。

４．第３実施形態
４．１．画像処理部
図８に、第３実施形態における画像処理部３０１の詳細な構成例を示す。図８の画像処理部３０１は、画像構成部３２０、凹凸情報抽出部３４０、記憶部３５０、強調処理部３７０、距離情報取得部３８０、既知特性情報選定部３９０を含む。また図９に、距離情報取得部３８０の詳細な構成例を示す。図９の距離情報取得部３８０は、選定用距離情報取得部３８１、距離マップ取得部３８２を含む。なお、以下では第１、第２実施形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。例えば、内視鏡装置については第１実施形態と同様に構成できる。

本実施形態では、まず選定用距離情報取得部３８１が選定用距離情報を取得し、既知特性情報選定部３９０が選定用距離情報に基づいて既知特性情報を選定する。そして、距離マップ取得部３８２が選定既知特性情報に基づいて距離マップを取得する。即ち、選定既知特性情報が表す凹凸部のサイズが大きいほど、距離マップの解像度を低くする。例えば、ステレオ撮影により距離マップを求める場合、ステレオマッチングを行う画素の間隔（画素の間引き間隔）を変えることで解像度を変える。選定用距離情報に基づいてスクリーニング観察に対応する既知特性情報が選定された場合には、凹凸部のサイズが大きいので、ステレオマッチングを行う画素の間隔を広くし、距離マップの画素数を少なくする。この場合、距離マップに含まれる凹凸部の下限サイズが大きくなるので、結果的に、その距離マップから抽出される凹凸部のサイズも大きくなる。一方、選定用距離情報に基づいて拡大観察に対応する既知特性情報が選定された場合には、凹凸部のサイズが小さいので、ステレオマッチングを行う画素の間隔を狭くし、距離マップの画素数を多くする。この場合、距離マップに含まれる凹凸部の下限サイズが小さくなるので、結果的に、その距離マップから抽出される凹凸部のサイズも小さくなる。

凹凸情報抽出部３４０は、選定用距離情報に関わらず同じ既知特性情報を記憶部３５０から取得し、その既知特性情報に基づいて凹凸抽出処理の特性を設定し、その設定した特性で凹凸抽出処理を行う。凹凸抽出処理の詳細は第１実施形態と同様である。凹凸抽出処理の特性は選定用距離情報に関わらず同一であるが、距離情報の解像度が動き量に応じて異なっているため、結果的に抽出される凹凸情報のサイズは選定用距離情報に応じて異なるものとなる。

４．２．ソフトウェア
図１０に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。

この処理を開始すると、まず撮像画像（ステレオ画像）を取得する（ステップＳ２１）。次に、撮像画像から選定用距離情報を取得する（ステップＳ２２）。

次に、選定用距離情報が閾値εよりも大きいか否かを判定する（ステップＳ２３）。選定用距離情報が閾値εよりも大きい場合には、スクリーニング観察に対応する既知特性情報Ａを選定し（ステップＳ２４）、その既知特性情報Ａに対応する解像度ＧＡの距離マップをステレオ画像から算出する（ステップＳ２５）。一方、選定用距離情報が閾値ε以下である場合には、拡大観察に対応する既知特性情報Ｂ（≠Ａ）を選定し（ステップＳ２６）、その既知特性情報Ｂに対応する解像度ＧＢ（≠ＧＡ）の距離マップをステレオ画像から算出する（ステップＳ２７）。

次に、凹凸抽出処理の特性を設定し（ステップＳ２８）、その特性の凹凸抽出処理を、ステップＳ２５又はステップＳ２７で取得した距離マップに対して行い、凹凸情報を抽出する（ステップＳ２９）。次に、抽出された凹凸情報に基づいて撮像画像に対して強調処理を行い（ステップＳ３０）、処理を終了する。

以上の実施形態では、距離情報取得部３８０は、距離情報として、既知特性情報を選定するための選定用距離情報を取得する。既知特性情報選定部３９０は、その選定用距離情報に基づいて選定既知特性情報を選定する。そして、距離情報取得部３８０は、選定用距離情報に応じて選定された選定既知特性情報に基づく解像度の距離マップを距離情報として取得する。凹凸情報抽出部３４０は、その距離マップから抽出凹凸情報を抽出する。

このようにすれば、選定用距離情報により観察状態を判別することで、距離マップ取得の処理負荷を低減できる。即ち、選定用距離情報は、観察状態を判別できるものであれば十分であるため、凹凸情報を抽出するための距離マップよりも非常に少ないデータ量（例えば画像中央部での距離）で足りる。そして、選定用距離情報によりスクリーニング観察と判断される場合には、距離マップの画素数を減らすことができるので、ステレオマッチングの繰り返し回数が減り、処理負荷が低減される。

また、選定用距離情報に応じた解像度の距離マップから凹凸情報を抽出することで、距離マップに含まれる凹凸部のサイズ下限（即ち抽出できるサイズ下限）を選定用距離情報に応じて変えることができる。これにより、観察状態に応じたサイズの凹凸情報を最終的に抽出することが可能となる。このような手法によっても、第１実施形態と同様に観察状態に応じて適応的に凹凸部を検出することが可能である。

５．第４実施形態
５．１．画像処理部
図１３に、第４実施形態における画像処理部３０１の詳細な構成例を示す。図１３の画像処理部３０１は、画像構成部３２０、画像記憶部３３０、凹凸情報抽出部３４０、記憶部３５０、動き量取得部３６０、強調処理部３７０、距離情報取得部３８０、既知特性情報選定部３９０を含む。なお、以下では第１〜第３実施形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。例えば、内視鏡装置については第１実施形態と同様に構成できる。

画像記憶部３３０は、画像構成部３２０から出力される画像を複数フレーム（時間的に連続した複数フレーム）分、記憶する。

動き量取得部３６０は、画像記憶部３３０に記憶された複数フレームの画像に基づいて、撮像画像における被写体の動き量を算出し、その動き量を既知特性情報選定部３９０へ出力する。例えば、基準フレームの画像とその次のフレームの画像との間でマッチング処理を行って、その２つのフレーム画像の間の動きベクトルを算出する。そして、基準画像を１フレームずつずらしながら複数フレームにわたって順次動きベクトルを算出し、その複数の動きベクトルの平均値を動き量として算出する。

既知特性情報選定部３９０は、選定用距離情報及び動き量に応じた既知特性情報を選定して記憶部３５０から読み出し、その選定既知特性情報を凹凸情報抽出部３４０へ出力する。距離情報だけでなく動き量を用いることで、距離情報だけでは観察状態を区別できないような場合にも対応可能であり、より観察状態に適した凹凸検出が可能となる。

例えば、選定用距離情報としては、撮像画像でのグローバルな平均距離や所定の代表エリアでの距離等を取得する。また、動き量としては、例えば撮像画像でのグローバルな平均動き量や所定の代表エリアでの動き量等を取得する。画像中央部での距離を選定用距離情報として採用した場合を例にとると、スクリーニング観察の場合には消化管の管とスコープの光軸がほぼ平行であることが想定され、この場合には選定用距離情報が大きくなる。一方、拡大観察の場合には消化管の壁にスコープが正対することが想定され、この場合には選定用距離情報が小さくなる。しかしながら、中間的な状態として、スコープの光軸が消化管の壁に対して斜めになる場合も考えられる。例えば、スクリーニング観察において壁にスコープを向けている場合や、拡大観察において消化管の形状等の制約からスコープを壁に正対させられない場合等が想定される。この場合、選定用距離情報は上述した２例の中間程度になるが、選定用距離情報だけではスクリーニング観察であるか拡大観察であるか区別がつきにくい。

そこで、動き量を考慮して観察状態を決定する。具体的には、スコープが管に沿った状態とスコープが壁に対して斜めになっている場合の間に距離の閾値を設けておく。そして、選定用距離情報が距離の閾値以下（即ち斜め又は正対）であっても、動き量が動き量の閾値よりも大きい場合には、スクリーニング観察の既知特性情報を選定する。このようにすれば、距離情報により観察状態が区別できない場合であっても動き量により正しい既知特性情報を選定できる。

なお、上記以外の条件での動作は、例えば次のようにすればよい。選定用距離情報が距離の閾値より大きい場合、又は動き量が動き量の閾値よりも大きい場合には、スクリーニング観察用の既知特性情報を選定する。一方、選定用距離情報が距離の閾値以下であり、且つ動き量が動き量の閾値以下である場合には、拡大観察用の既知特性情報を選定する。

ここで、選定用距離情報として、例えば撮像画像の中央部の距離及び周辺部（例えば４隅付近）の距離等の複数位置での距離を取得してもよい。また、動き量として、例えば撮像画像の中央部の動き量及び周辺部（例えば４隅付近）の動き量等の複数位置での動き量を取得してもよい。スクリーニング観察では一般的に消化管に沿ってスコープを挿入していくので、画像中央部には管の奥が写り、画像周辺部には管壁が写る。そのため、画像中央部の動き量よりも画像周辺部の動き量の方が大きくなる。一方、拡大観察ではスコープを被写体に正対させるので画像全体で動き量は小さくなる。このような動き量のパターンにより観察状態を区別することが可能である。この場合、例えば、距離情報のパターン又は動き量のパターンがスクリーニング観察に該当する場合には、スクリーニング観察用の既知特性情報を選定すればよい。一方、距離情報のパターン及び動き量のパターンが拡大観察に該当する場合には、拡大観察用の既知特性情報を選定すればよい。

５．２．ソフトウェア
図１４に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。

この処理を開始すると、まず撮像画像（ステレオ画像）を取得する（ステップＳ６１）。次に、ステレオマッチング処理を行って距離マップを取得し（ステップＳ６２）、距離マップから選定用距離情報を取得する（ステップＳ６３）。また、撮像画像から動き量を取得する（ステップＳ６４）。

次に、動き量が動き量の閾値ε’よりも大きいか否か、及び選定用距離情報が距離の閾値εよりも大きいか否かを判定する（ステップＳ６５）。動き量が閾値ε’よりも大きい場合、又は選定用距離情報が閾値εよりも大きい場合には、スクリーニング観察に対応する既知特性情報Ａを選定し（ステップＳ６６）、その既知特性情報Ａに基づいて凹凸抽出処理の特性を設定する（ステップＳ６７）。即ち、モルフォロジー処理の特性ＭＡ（例えば球の直径）、或はローパスフィルター処理の特性ＬＡ（例えばカットオフ周波数）を設定する。一方、動き量が閾値ε’以下であり、且つ選定用距離情報が閾値ε以下である場合には、拡大観察に対応する既知特性情報Ｂ（≠Ａ）を選定し（ステップＳ６８）、その既知特性情報Ｂに基づいて凹凸抽出処理の特性を設定する（ステップＳ６９）。例えば、モルフォロジー処理の特性ＭＢ（≠ＭＡ）、或はローパスフィルター処理の特性ＬＢ（≠ＬＡ）を設定する。

次に、ステップＳ６７又はＳ６９で設定された特性に基づいて凹凸情報を抽出する（ステップＳ７０）。次に、抽出された凹凸情報に基づいて撮像画像に対して強調処理を行い（ステップＳ７１）、処理を終了する。

以上の実施形態では、画像処理装置（画像処理部３０１）は、被写体の動き量を取得する動き量取得部３６０を含む。そして、既知特性情報選定部３９０は、距離情報及び動き量に応じて選定既知特性情報を選定する。

このようにすれば、距離情報だけでは観察状態を明確に判別できないような場合（例えば、上述したようにスコープの光軸が消化管の壁に対して斜めの場合）であっても、動き量を考慮することで観察状態を判別することが可能となる。これにより、観察状態に応じた凹凸検出の精度が向上し、ユーザーに対してより適切な凹凸情報を提示することが可能となる。

ここで、動き量とは、撮像画像における被写体の動きを表す量であり、例えば被写体の動きの撮像画像上での速さや方向である。速さや方向を動きベクトルとして取得してもよいし、動きの速さだけ分かればよい場合には動きベクトルの大きさのみを動き量として取得してもよい。或は、動き量は、撮像画像の複数位置における動き量又はそれらのパターンであってもよい。撮像画像内で動き量が均一であるとは限らないので、複数位置での動き量を組み合わせることで、位置によって異なる動き量又はそのパターンを表現することができる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

２，３，４襞、１０，３０凹部、２０凸部、１００光源部、
１０１白色光源、１０２回転色フィルター、１０３回転駆動部、
１０４集光レンズ、２００撮像部、２０１ライトガイドファイバー、
２０３照明レンズ、２０４，２０５対物レンズ、２０６，２０７撮像素子、
２０９Ａ／Ｄ変換部、２１０メモリー、２１２コネクター、
３００プロセッサー部、３０１画像処理部、３０２制御部、
３１０画像取得部、３２０画像構成部、３３０画像記憶部、
３４０凹凸情報抽出部、３４１特性設定部、３４２抽出部、
３４３フィルター部、３５０記憶部、３６０動き量取得部、
３７０強調処理部、３８０距離情報取得部、３８１選定用距離情報取得部、
３８２距離マップ取得部、３８５内視鏡ＩＤ取得部、
３９０既知特性情報選定部、３９５観察情報取得部、
４００表示部、５００外部Ｉ／Ｆ部

Claims

撮像部により撮像された、被写体の像を含む撮像画像を取得する画像取得部と、
前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報を、前記距離情報に応じて選定し、前記選定した既知特性情報を選定既知特性情報として出力する既知特性情報選定部と、
前記選定既知特性情報により特定される前記特性と合致する前記被写体の凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出する凹凸情報抽出部と、
を含むことを特徴とする画像処理装置。
請求項１において、
前記既知特性情報は、前記構造に関するサイズに対応する情報であり、
前記既知特性情報選定部は、
前記距離情報に応じて異なる前記サイズに対応する前記既知特性情報を選定することを特徴とする画像処理装置。
請求項２において、
前記既知特性情報選定部は、
前記距離情報が閾値よりも大きい場合には、第１のサイズに対応する前記既知特性情報を選定し、
前記距離情報が前記閾値よりも小さい場合には、前記第１のサイズよりも小さい第２のサイズに対応する前記既知特性情報を選定することを特徴とする画像処理装置。
請求項１において、
前記既知特性情報選定部は、
前記距離情報に基づいて観察状態がスクリーニング観察であるか拡大観察であるかを判定し、前記判定した前記観察状態に応じて前記選定既知特性情報を選定することを特徴とする画像処理装置。
請求項４において、
前記既知特性情報は、前記構造に関するサイズに対応する情報であり、
前記既知特性情報選定部は、
前記距離情報が、前記被写体の前記スクリーニング観察における距離情報に該当すると判断した場合には、第１のサイズに対応する前記既知特性情報を選定し、
前記距離情報が、前記被写体の前記拡大観察における距離情報に該当すると判断した場合には、前記第１のサイズよりも小さい第２のサイズに対応する前記既知特性情報を選定することを特徴とする画像処理装置。
請求項１において、
前記凹凸情報抽出部は、
前記距離情報に応じて選定された前記選定既知特性情報に基づいて抽出処理パラメーターを決定し、前記決定した前記抽出処理パラメーターに基づいて前記抽出凹凸情報を抽出することを特徴とする画像処理装置。
請求項６において、
前記凹凸情報抽出部は、
前記選定既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、前記抽出処理パラメーターとして決定し、
前記決定したサイズの前記構造要素を用いた前記オープニング処理及び前記クロージング処理を行って、前記抽出凹凸情報を抽出することを特徴とする画像処理装置。
請求項６において、
前記凹凸情報抽出部は、
前記選定既知特性情報に基づいて、前記距離情報に対するフィルターリング処理の周波数特性を、前記抽出処理パラメーターとして決定し、
前記決定した前記周波数特性の前記フィルターリング処理を行って、前記抽出凹凸情報を抽出することを特徴とする画像処理装置。
請求項１において、
前記凹凸情報抽出部は、
前記既知特性情報により特定される前記特性と合致する前記被写体の凹凸部を表す情報を前記距離情報から抽出し、
前記抽出した前記凹凸部の情報に対して、前記距離情報に応じて選定された前記選定既知特性情報に基づく周波数特性のフィルターリング処理を行って、前記抽出凹凸情報を抽出することを特徴とする画像処理装置。
請求項１において、
前記距離情報取得部は、
前記距離情報として、前記既知特性情報を選定するための選定用距離情報を取得し、
前記既知特性情報選定部は、
前記選定用距離情報に基づいて前記選定既知特性情報を選定することを特徴とする画像処理装置。
請求項１０において、
前記距離情報取得部は、
前記選定用距離情報に基づいて選定された前記選定既知特性情報に応じた解像度の距離マップを、前記距離情報として取得し、
前記凹凸情報抽出部は、
前記距離マップから前記抽出凹凸情報を抽出することを特徴とする画像処理装置。
請求項１において、
前記被写体の動き量を取得する動き量取得部を含み、
前記既知特性情報選定部は、
前記距離情報及び前記動き量に応じて前記選定既知特性情報を選定することを特徴とする画像処理装置。
請求項１に記載された画像処理装置を含むことを特徴とする内視鏡装置。
画像処理装置が、撮像部により撮像された、被写体の像を含む撮像画像を取得し、
前記画像処理装置が、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記画像処理装置が、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を、前記距離情報に応じて選定し、前記選定した既知特性情報を選定既知特性情報として出力し、
前記画像処理装置が、前記選定既知特性情報により特定される前記特性と合致する前記被写体の凹凸部を表す情報を、抽出凹凸情報として前記距離情報から抽出することを特徴とする画像処理装置の作動方法。