JP6150583B2

JP6150583B2 - 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法

Info

Publication number: JP6150583B2
Application number: JP2013067422A
Authority: JP
Inventors: 恵仁森田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-03-27
Filing date: 2013-03-27
Publication date: 2017-06-21
Anticipated expiration: 2033-03-27
Also published as: EP2979607A4; CN105050473A; CN105050473B; EP2979607A1; WO2014155778A1; JP2014188222A; US20150320296A1

Description

本発明は、画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法等に関する。

生体内部の観察、診断において、生体表面の腺管構造（ピットパターンと呼ばれている）を用いるものが考えられる。例えば、大腸での早期病変診断にピットパターンが利用されている。この診断方法はピットパターン診断と呼ばれており、正常状態から病変の種類に応じて６種類のタイプ（Ｉ型からＶ型まで）に分類されたピットパターン形状に対して、観察されるピットパターンがどの分類に類似するかにより判定するものである。

このピットパターン形状を強調表示する手法として、特許文献１には、内視鏡装置及び光プローブを用いた３次元光断層画像を取得する装置が記載されており、この３次元光断層画像を基に、生体組織の深さ方向に垂直な平面のＸＹ画面像を複数の深さ位置について切り出し、その平均画像からピットパターン形状を強調表示する手法が開示されている。

特開２０１０−６８８６５号公報

例えば上記のような強調表示等を行うために、画像に写った生体の構造物を検出し、分類処理することが考えられる。このような分類処理において画像から構造物を検出する場合、例えば生体の拍動等によって画像に動きブレが生じると、画像から得られる情報が十分でないため、構造物が誤検出されるという課題がある。例えば上記のようなピットパターンを検出する場合、既知のピットパターン形状と画像とをマッチング処理する手法が考えられる。動きブレがあると、実際にはピットパターンが存在する場所でもマッチング処理でピットパターンを検出できず、誤った分類結果となってしまう。

本発明の幾つかの態様によれば、誤った分類結果に基づく処理が行われることを抑制可能な画像処理装置、内視鏡装置、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、被写体の像を含む撮像画像を時系列に取得する画像取得部と、前記撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、前記距離情報に基づいて、前記被写体の構造物の分類処理を行う分類部と、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う強調処理部と、を含む画像処理装置。
に関係する。

本発明の一態様によれば、距離情報に基づいて被写体の構造物の分類処理が行われ、その分類処理の結果に基づいて撮像画像の強調処理が行われ、その強調処理の対象又は強調量が、被写体の局所的な動き情報に応じて制御される。これにより、誤った分類結果に基づく強調処理が行われることを抑制可能になる。

また本発明の他の態様は、被写体の像を含む撮像画像を時系列に取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する分類部と、を含む画像処理装置に関係する。

本発明の一態様によれば、距離情報に基づいて被写体の構造物の分類処理が行われ、その分類処理の対象が、被写体の局所的な動き情報に応じて制御される。これにより、誤った分類結果に基づく後段の処理が行われることを抑制可能になる。

また本発明の更に他の態様は、上記のいずれかに記載の画像処理装置を含む内視鏡装置に関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて、前記被写体の構造物の分類処理を行い、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う、ステップをコンピューターに実行させるプログラムに関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する、ステップをコンピューターに実行させるプログラムに関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて、前記被写体の構造物の分類処理を行い、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う画像処理方法に関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する画像処理方法に関係する。

図１（Ａ）は、異常部を観察する際の撮像部と被写体の関係を示す図。図１（Ｂ）は、取得した画像の例。図２（Ａ）は、動きブレが発生している場合の撮像部と被写体の関係を示す図。図２（Ｂ）は、取得した画像の例。画像処理装置の第１の構成例。画像処理装置の第２の構成例。内視鏡装置の構成例。第１の実施形態における画像処理部の詳細な構成例。歪み補正処理前及び歪み補正処理後の画像例。分類処理についての説明図。画像処理部が行う処理のフローチャートの例。第２の実施形態における画像処理部の詳細な構成例。第２の実施形態の変形例における画像処理部の詳細な構成例。第３の実施形態における画像処理部の詳細な構成例。第４の実施形態における画像処理部の詳細な構成例。図１４（Ａ）は、第４の実施形態における撮像部と被写体の関係を示す図。図１４（Ｂ）、図１４（Ｃ）は、取得した画像の例。距離と光学系の倍率を対応付けたテーブルの例。分類部の詳細な構成例。図１７（Ａ）、図１７（Ｂ）は、表面形状算出部が行う処理についての説明図。図１８（Ａ）は、基本ピットの例。図１８（Ｂ）は、修正ピットの例。表面形状算出部の詳細な構成例。第１の分類処理手法における分類処理部の詳細な構成例。図２１（Ａ）〜図２１（Ｆ）は、分類処理の具体例についての説明図。第２の分類処理手法における分類処理部の詳細な構成例。複数の分類タイプを用いる場合の分類タイプの例。図２４（Ａ）〜図２４（Ｆ）は、ピットパターンの例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
内視鏡装置によりピットパターンの分類処理を行う場合を例に本実施形態の概要について説明する。

図１（Ａ）に、異常部（例えば早期病変）を観察する際の撮像部２００と被写体の関係を示す。また、図１（Ｂ）に、その際に取得した画像の例を示す。正常腺管４０は正常なピットパターンを示し、異常腺管５０は不整な形状を呈する異常なピットパターンを示し、腺管消失領域６０は、病変によりピットパターンが消失した異常領域を示す。

図１（Ａ）に示すように、術者は異常部（異常腺管５０、腺管消失領域６０）を発見すると、撮像部２００を異常部に近接させ、撮像部２００と異常部を極力正対させる。図１（Ｂ）に示すように、正常部（正常腺管４０）のピットパターンでは規則的な構造が一様な配列で並んでいる。

このような正常部を画像処理により検出するには、既知特性情報（先見情報）として正常なピットパターン構造を事前に登録又は学習することで、例えばマッチング処理等により正常部を検出することができる。一方、異常部のピットパターンは不整な形状を呈したり消失したりしているため、正常部に比べ多様な形状をとる。そのため、事前の既知特性情報に基づいて異常部を検出することは困難である。本実施形態では、正常部として検出されなかった領域を異常部として分類することで、ピットパターンを正常部と異常部に分類する。このようにして分類した異常部を強調表示することで、異常部の見落とし防止や質的診断の精度を上げることが可能となる。

しかしながら、上記の手法では正常部として検出されなかったものが異常部として検出されるため、早期病変以外のものも異常部として検出される誤検出が課題となる。例えば、生体内の拍動等により、撮像部に対して被写体が動いているような場合では、画像中の被写体像に動きブレが発生し、この動きブレにより誤検出が生じる。ここで動きブレとは、被写体又は撮像部が動くことにより、画像の一部又は全体に発生するブレのことである。

図２（Ａ）に動きブレが発生している場合の撮像部２００と被写体の関係を示す。また、図２（Ｂ）に、その場合に取得した画像の例を示す。図２（Ａ）に示すように生体の一部に動きＭＡが生じると、図２（Ｂ）の画像下部に示すように画像上に動きブレＭＢが発生する。この動きブレＭＢが発生した領域ＲＭＢでは、被写体の構造が不明瞭になるためマッチング処理で正常部として検出されず、異常部として分類されてしまう。この領域ＲＭＢは本来は正常部として表示されるべき領域であるが、異常部に分類されているため異常部として表示されてしまう。

そこで図３に示すように、本実施形態の画像処理装置は、被写体の像を含む撮像画像を時系列に取得する画像取得部３０５と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、時系列の撮像画像に基づいて被写体の局所的な動き情報を検出する動き検出部３８０と、距離情報に基づいて被写体の構造物の分類処理を行う分類部３１０と、分類処理の結果に基づいて撮像画像の強調処理を行い、局所的な動き情報に応じて強調処理の対象又は強調量の制御を行う強調処理部３３０と、を含む。

このようにすれば、被写体の局所的な動き情報を検出することにより、画像の動きブレによって分類結果の信頼性が低くなる領域ＲＭＢを検出できる。そして、その局所的な動き情報に応じて強調処理の対象又は強調量の制御を行うことにより、信頼性の低い分類結果に基づいて強調表示されてしまうことを抑制できる。

例えば本実施形態では、距離情報に基づく分類処理として、距離情報から被写体表面の形状を求め、その形状に合わせて変形した基準ピットパターンと画像とをマッチング処理し、そのマッチング結果により画像上のピットパターンを分類する。このような処理では動きブレによりマッチング処理の精度が低下するが、本実施形態では、その精度低下による誤表示を防ぐことが可能である。

また、ピットパターン診断を行う場合には、一般的に被写体に撮像部２００を近接して観察を行うため、被写体上での僅かな動きが画像上で大きな動きブレとなる。そのため、ピットパターン診断において動きブレの影響を除いて異常部検出を行うことは、誤検出の抑制に効果がある。

また図４に示すように、本実施形態の画像処理装置は、被写体の像を含む撮像画像を時系列に取得する画像取得部３０５と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、時系列の撮像画像に基づいて被写体の局所的な動き情報を検出する動き検出部３８０と、距離情報に基づいて被写体の構造物の分類処理を行い、局所的な動き情報に応じて分類処理の対象を制御する分類部３１０と、を含んでもよい。

このようにすれば、局所的な動き情報に応じて分類処理の対象を制御することにより、画像の動きブレによって分類結果の信頼性が低くなる領域ＲＭＢにおいて誤った分類結果となってしまうことを抑制できる。図４の構成では、分類処理の結果は強調処理に限らず他の情報処理に用いてもよいし、或は外部装置に出力して、その外部装置での処理に用いられてもよい。分類結果の誤りが抑制されることにより、これらの処理における処理結果の信頼性を向上できる。

ここで、距離情報とは、撮像画像の各位置と、その各位置での被写体までの距離とが対応付けられた情報であり、例えば撮像部２００の光軸方向における距離を各画素に対応付けた距離マップである。なお後述するように、距離情報は距離マップに限定されず、撮像部２００から被写体までの距離に基づいて取得される種々の情報であればよい。

また分類処理とは、ピットパターンの分類処理に限らず、被写体の構造物を例えば種類や状態等に応じて分類する処理であればよい。構造物とは、分類結果をユーザーに提示することによってユーザーの観察や診断をアシストし得るものであり、例えば生体用の内視鏡装置であれば、ピットパターンに限らず、粘膜に生じたポリープや、消化管の襞、血管、癌等の病変であってもよい。分類処理では、それらの種類や、例えば正常／異常等の状態、或は異常度に応じた区分に分類する。

距離情報に基づく分類処理としては、上述したようなピットパターンの分類処理に限らず、種々の分類処理を想定できる。例えば、ステレオ画像をステレオマッチング処理して距離マップを取得し、その距離マップに対してローパスフィルター処理やモルフォロジー処理等を行うことにより、被写体の大局的な形状の情報を取得する。そして、その大局的な形状の情報を距離マップから減算して局所的な凹凸構造の情報を取得する。そして、分類したい構造の既知特性情報（例えば特定のポリープが有するサイズや形状、或は病変特有の溝などの深さや幅等）と、局所的な凹凸構造の情報とを比較し、既知特性情報に合致する凹凸構造を抽出する。このようにして、ポリープや溝などの特定の構造を分類することができる。このような処理では動きブレによりステレオマッチング処理の精度が低下し、誤った距離情報が取得される可能性がある。その誤った距離情報から凹凸構造を分類すると分類精度が低下するが、本実施形態では、その精度低下による誤表示を防ぐことが可能である。

また強調処理とは、画像上の特定の対象を目立たせる処理或は識別させる処理である。例えば、特定の種類や状態に分類された領域を構造強調や色強調等する処理であってもよいし、或は、その領域をハイライトする処理や、その領域を線で囲む処理、その領域を示すマークを付す処理であってもよい。また、特定の領域以外の領域に対して上記のような処理を行うことによって、その特定の領域を目立たせて（或は識別させて）もよい。

２．第１の実施形態
２．１．内視鏡装置
次に、本実施形態の詳細な構成について説明する。図５に、内視鏡装置の構成例を示す。内視鏡装置は、光源部１００と撮像部２００とプロセッサー部３００（制御装置）と表示部４００と外部Ｉ／Ｆ部５００とを含む。

光源部１００は、白色光源１０１と、複数の分光透過率を持った回転色フィルター１０２と、回転色フィルター１０２を駆動する回転駆動部１０３と、回転色フィルター１０２からの分光特性を持った光をライトガイドファイバー２０１の入射端面に集光させる集光レンズ１０４と、を含む。

回転色フィルター１０２は、三原色の赤の色フィルターと緑の色フィルターと青の色フィルターと回転モーターとから構成されている。

回転駆動部１０３は、プロセッサー部３００の制御部３０２からの制御信号に基づいて撮像素子２０６及び撮像素子２０７の撮像期間と同期して回転色フィルター１０２を所定回転数で回転させる。例えば回転色フィルター１０２を１秒間に２０回転させると、各色フィルターは６０分の１秒間隔で入射白色光を横切ることになる。撮像素子２０６及び撮像素子２０７は、６０分の１秒間隔で、３原色の各色光（Ｒ或いはＧ或いはＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。つまり、この構成例では、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像され、実質のフレームレートは２０ｆｐｓとなる。

撮像部２００は、例えば胃や大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバー２０１と、ライトガイドファイバー２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０３と、を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０４、２０５と、集光した結像光を検出するための撮像素子２０６、２０７と、撮像素子２０６、２０７からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０９と、を含む。また撮像部２００は、撮像部２００のスコープＩＤ情報と製造バラツキを含めた固有情報とが記録されているメモリー２１０と、プロセッサー部３００に着脱可能なコネクター２１２と、を含む。撮像素子２０６、２０７は、例えばモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等を利用できる。

対物レンズ２０４、２０５は、所定間隔離した位置に配置されており、所定の視差画像（以降、ステレオ画像と記す）を撮影可能な位置に配置されており、撮像素子２０６、２０７にそれぞれ左画像、右画像を結像させる。撮像素子２０６、２０７から出力された左画像、右画像は、Ａ／Ｄ変換部２０９によりデジタル信号に変換され、その変換された左画像、右画像は、画像処理部３０１へ出力される。メモリー２１０は制御部３０２と接続されており、スコープＩＤ情報と製造バラツキを含めた固有情報がメモリー２１０から制御部３０２へ転送される。

プロセッサー部３００は、Ａ／Ｄ変換部２０９から転送された画像に対して種々の画像処理を行う画像処理部３０１（画像処理装置に対応する）と、内視鏡装置の各部を制御する制御部３０２と、を含む。

表示部４００は、画像処理部３０１から転送される画像を表示するものであり、例えばＣＲＴや液晶モニター等の動画表示可能な表示装置である。

外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッターボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば生体表面の構造物の選択的な強調処理を行う為のスイッチ）等を含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。

２．２．画像処理部
図６に、第１の実施形態における画像処理部３０１の詳細な構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０（距離マップ算出部）、記憶部３７０、動き検出部３８０、動き判定部３９０を含む。なお以下ではマッチング処理によりピットパターンの分類処理を行う場合を例に説明するが、上述のように距離情報を用いた種々の分類処理を適用できる。

撮像部２００は、画像構成部３２０と距離情報取得部３４０に接続される。分類処理部３６０は、強調処理部３３０に接続される。画像構成部３２０は、分類処理部３６０と、強調処理部３３０と、記憶部３７０と、動き検出部３８０に接続される。強調処理部３３０は、表示部４００に接続される。距離情報取得部３４０は、分類処理部３６０と、表面形状算出部３５０に接続される。表面形状算出部３５０は、分類処理部３６０に接続される。記憶部３７０は、動き検出部３８０に接続される。動き検出部３８０は、動き判定部３９０に接続される。動き判定部３９０は、分類処理部３６０に接続される。制御部３０２は、図示を省略するが、各部と双方向に接続されており、その各部の制御を行う。

距離情報取得部３４０は、Ａ／Ｄ変換部２０９が出力するステレオ画像を取得し、そのステレオ画像に基づいて距離情報を取得する。具体的には、左画像を基準画像とし、その左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。そして、その算出した視差をＺ軸方向での距離に変換して距離情報を取得し、その距離情報を分類部３１０へ出力する。

ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、上記のようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式により距離情報を取得してもよい。この方式では、レーザー光等を被写体に照射し、その反射光の到達時間により距離を測定する。この場合、例えば反射光を撮像する撮像素子面の各画素位置を基準にした距離を距離情報として取得すればよい。これらの例では、距離計測の基準点を撮像部２００に設定したが、基準点は、撮像部２００以外の任意の場所に設定してもよい。例えば、基準点を、撮像部２００や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の距離情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向での距離である。一例としては、撮像部２００の光軸方向での距離を用いればよい。即ち、被写体上のある点での距離は、その点を通る、光軸に平行な線上での撮像部２００から被写体までの距離である。このような距離情報として、例えば距離マップがある。距離マップとは、例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば撮像画像の各画素）について、被写体までのＺ軸方向での距離（奥行き、深度）を当該点の値としたマップのことである。

また、距離情報取得部３４０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。

画像構成部３２０は、Ａ／Ｄ変換部２０９が出力するステレオ画像（左画像及び右画像）を取得し、そのステレオ画像を表示部４００に出力可能な画像にするための画像処理（例えばＯＢ処理、ゲイン処理、γ処理等）を行う。画像構成部３２０は、処理後の画像を記憶部３７０、動き検出部３８０、分類部３１０、強調処理部３３０へ出力する。

記憶部３７０は、画像構成部３２０から転送される時系列の画像を記憶する。記憶部３７０は、動き検出に必要な枚数の画像を記憶する。例えば２フレームの画像を比較して動きベクトルを取得する場合、１フレームの画像を記憶すればよい。

動き検出部３８０は、撮像画像に基づいて、画像上での被写体の動き情報を検出する。具体的には、動き検出部３８０は、画像構成部３２０から入力された画像と、記憶部３７０に記憶された１フレーム前の画像に対して、光学系の歪み補正を行う。そして、歪み補正後の画像に対して特徴点のマッチングを行い、マッチングした特徴点の動きベクトルから各画素（又は各領域）での動き量を算出する。

なお動き情報としては、被写体の動きを表す種々の情報を採用できる。例えば、動きの大きさと方向の情報をもつ動きベクトルを用いてもよいし、動きベクトルの大きさ（動き量）のみを用いてもよい。また、フレーム間の動き情報を複数フレームで平均したものを動き情報として用いてもよい。

歪み補正では、収差の一種である歪曲収差（以下、「歪み」と呼ぶ）を補正する。図７に、歪み補正処理前及び歪み補正処理後の画像例を示す。まず、動き検出部３８０は、歪み補正処理後の画像の画素座標を取得する。ここで、歪み補正処理後の画像サイズは光学系の歪みに基づいて予め取得されているとする。次に、取得した画素座標（ｘ，ｙ）を、下式（１）を用いて光軸中心を原点とする座標（ｘ’，ｙ’）に変換する。ここで、（ｃｅｎｔｅｒ＿ｘ，ｃｅｎｔｅｒ＿ｙ）は歪み補正処理後の光軸中心の座標である。例えば、歪み補正処理後の光軸中心は歪み補正処理後の画像の中心である。

次に、変換した画素座標（ｘ’，ｙ’）に基づいて、下式（２）を用いて物体高ｒを算出する。ここで、ｍａｘ＿ｒは歪み補正後画像における最大物体高である。

次に、算出した物体高ｒに基づいて像高／物体高の比（Ｒ／ｒ）を算出する。具体的には、Ｒ／ｒとｒとの関係をテーブルとして保持しておき、該テーブルを参照することでｒに対応するＲ／ｒを取得する。

次に、歪み補正処理後の画素座標（ｘ，ｙ）に対応する、歪み補正処理前の画素座標（Ｘ，Ｙ）を下式（３）を用いて取得する。ここで、（ｃｅｎｔｅｒ＿Ｘ，ｃｅｎｔｅｒ＿Ｙ）は歪み補正処理前の光軸中心の座標である。例えば、歪み補正処理前の光軸中心は歪み補正処理前の画像の中心である。

次に、算出した歪み補正処理前の画素座標（Ｘ，Ｙ）に基づいて、歪み補正処理後の画素座標（ｘ，ｙ）における画素値を算出する。（Ｘ，Ｙ）が整数でない場合、線形補間により周囲の画素値に基づいて算出する。以上の処理を歪み補正処理後の画像の全画素に対して行い、歪み補正する。このような歪み補正処理を行うことで、画像の中心及び周辺で高精度に動き量を検出することが可能になる。

動き検出部３８０は、歪み補正処理後の画像の各画素について動き量を検出する。以下では、座標（ｘ’，ｙ’）における動き量をＭｖ（ｘ’，ｙ’）と表記する。動き検出部３８０は、検出した動き量Ｍｖ（ｘ’，ｙ’）に対して逆歪み補正処理を行い、動き量Ｍｖ（ｘ’，ｙ’）を歪み補正処理前の画素位置（ｘ，ｙ）での動き量Ｍｖ（ｘ，ｙ）へ変換する。動き検出部３８０は、動き量Ｍｖ（ｘ，ｙ）を動き情報として動き判定部３９０へ転送する。

なお上記では動き量を各画素で検出する場合を例に説明したが、本実施形態はこれに限定されず、例えば画像を複数の局所領域に分割し、その局所領域毎に動き量を検出してもよい。また以下でも各画素について処理を行う場合を例に説明するが、各領域について処理を行ってもよい。

動き判定部３９０は、動き情報に基づいて画像内の各画素について動き量が大きいか否かの判定を行う。具体的には、動き検出部３８０から入力された動き量Ｍｖ（ｘ，ｙ）が閾値以上である画素を検出する。閾値は、例えば画像の画素数に応じて事前に設定する。或は、閾値は、外部Ｉ／Ｆ部５００を介してユーザーが設定してもよい。動き判定部３９０は、判定結果を分類部３１０へ転送する。

分類部３１０は、距離情報と分類基準とに基づいて、画像内の構造物の像に対応する画素の分類処理を行う。具体的には、分類部３１０は、表面形状算出部３５０（３次元形状算出部）と分類処理部３６０とを含む。なお分類部３１０が行う分類処理の詳細については後述し、ここでは概要について説明する。

表面形状算出部３５０は、距離マップの各画素における被写体表面の法線ベクトルを表面形状情報（広義には３次元形状情報）として算出する。そして、分類処理部３６０は、法線ベクトルに基づいて基準ピットパターンを被写体表面に射影する。また、その画素位置での距離に基づいて基準ピットパターンの大きさを画像上での大きさ（即ち距離が遠いほど画像上では小さくなる見かけの大きさ）に調整する。分類処理部３６０は、このようにして修正した基準ピットパターンと画像とのマッチング処理を行い、基準ピットパターンに合致する領域を検出する。

例えば図８に示すように、分類処理部３６０は、正常なピットパターンの形状を基準ピットパターンとし、その基準ピットパターンに合致した領域ＧＲ１を「正常部」に分類し、合致しなかった領域ＧＲ２を「異常部（非正常部）」に分類する。また分類処理部３６０は、動き量が閾値以上であると動き判定部３９０により判定された領域ＧＲ３については「不明」に分類する。即ち、動き量が閾値以上である画素についてはマッチング処理の対象から外して分類を「不明」に設定し、それ以外の画素についてマッチング処理を行って「正常部」と「異常部」に分類する。

ここで「不明」とは、構造物の種類や、正常／異常等の状態、異常度に応じた区分等に分類する分類処理において、いずれの分類に属するかが不明であることを表す。例えば「正常部」と「異常部」に分類する場合、「正常部」と「異常部」のいずれに属するかを判断できない（又は判断しない）ものを「不明」に分類する。

強調処理部３３０は、分類処理の結果に基づいて画像の強調処理を行う。例えば、「異常部」に分類された領域ＧＲ２に対して、ピットパターンの構造を強調するためのフィルター処理や色強調を行い、「不明」に分類された領域ＧＲ３に対して、分類が不明であることを示すための特定の色を付す処理を行う。

以上の実施形態によれば、被写体が動くことによる動きブレが発生した場合でも、異常部の誤検出を抑制することができる。即ち、画像上での被写体の動き量が大きい領域ＧＲ３は正常／異常の分類処理の対象から除外されるため、その領域ＧＲ３は正常部や異常部に分類されない。これにより、画像が不明瞭な領域では正常／異常の分類に基づく強調処理が行われず、誤った分類による誤った強調表示を防ぐことができる。

また、動き量は画素毎（又は局所領域毎）に検出するため、局所的な動きブレが発生した場合でも、動きの大きい領域では異常部の誤検出を抑制しつつ、動きの小さい領域については的確に異常部を検出することが可能になる。

なお、上記では各画素（又は局所領域）毎の動き情報に基づいて分類処理の検出範囲を設定したが、本実施形態はこれに限定されず、例えば各画素の動き情報の平均を画像全体の動き情報として、画像全体について分類処理を行うか否かを設定してもよい。或は、動き量の大きさを分類処理の指標に加味する構成としてもよい。即ち、動き量の大きい画素を「異常部」と判定されにくくしてもよい。

２．３．ソフトウェア
上記の実施形態では、プロセッサー部３００を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。情報記憶媒体は、ＣＤ−ＲＯＭやＵＳＢメモリーの他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステムの内外に備えられるＨＤＤやＲＡＭ、ＲＯＭ等の「固定用の物理媒体」、モデムを介して接続される公衆回線や、他のコンピューターシステム又はサーバーが接続されるローカルエリアネットワーク又は広域エリアネットワーク等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステムによって読み取り可能なプログラムを記録するあらゆる記録媒体を含む。

即ち、プログラムは、上記の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム（操作部、処理部、記憶部、出力部を備える装置）は、このような記録媒体からプログラムを読み出して実行することで画像処理装置を実現する。なお、プログラムは、コンピューターシステムによって実行されることに限定されるものではなく、他のコンピューターシステム又はサーバーがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

図９に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。

この処理を開始すると、撮像装置の（距離情報に対応する）光学倍率等を含む撮影条件等のヘッダー情報を入力する（ステップＳ１１）。次に、２つの撮像素子で撮影されたステレオ画像信号を入力する（ステップＳ１２）。次に、ステレオ画像から距離マップを算出する（ステップＳ１３）。次に、距離マップから表面形状（広義には３次元形状）を算出する（ステップＳ１４）。次に、分類基準（基準ピットパターン）を表面形状に応じて修正する（ステップＳ１５）。次に、画像構成処理を行う（ステップＳ１６）。次に、画像構成された画像と、メモリーに記憶された１フレーム前の画像から動き情報を検出する（ステップＳ１７）。次に、画像構成された画像を１フレーム分メモリーに記憶する（ステップＳ１８）。次に、動き情報に基づいて、動きが小さい領域（動きブレの発生していない領域）を「正常部」と「異常部」に分類する（ステップＳ１９）。次に、「異常部」に分類された領域の強調処理を行う（ステップＳ２０）。次に、強調処理された画像を出力する（ステップＳ２１）。次に、動画像の最終画像の場合は処理を終了し、最終画像でない場合はステップＳ１２へ戻る。

以上の実施形態によれば、動き判定部３９０は、動き情報に基づいて、撮像画像内の画素又は領域での被写体の動き量が閾値よりも大きいか否かの判定を行う。分類部３１０は、動き量が閾値よりも大きいと判定された画素又は領域を、分類処理の対象から除く。

このようにすれば、画像内において被写体の動きが大きい部分を分類処理の対象から除くことができる。これにより、動きブレによって画像が不明瞭となる部分において、実際の被写体の状態とは異なる分類に誤分類されることを抑制でき、ユーザーに対して正確な情報を提示して診断をアシストできる。また、動き量が大きい画素又は領域ではマッチング処理を行わないため、処理負荷を低減できる。

具体的には、分類部３１０は、画素又は領域が正常な構造物の特性（例えば図１８（Ａ）で後述するような基本ピット）に合致するか否かを判定することにより、その画素又は領域を正常部と非正常部（異常部）に分類する。そして、分類部３１０は、動き量が閾値よりも大きいと判定された画素又は領域を、正常部と非正常部を分類する処理の対象から除き、正常部と非正常部の分類が不明である不明状態に分類する。

このようにすれば、被写体を例えば正常ピットパターンが存在する正常部と、それ以外の非正常部とに分類できる。そして、動きブレによって画像が不明瞭となる部分において、実際には正常ピットパターンが存在するにも関わらず非正常部に誤分類されてしまうことを抑制できる。なお、図２３等で後述するように、非正常部は、更に細分化された分類にグルーピングされてもよい。このような場合にも、その細分化された分類が動きブレで誤判定される可能性があるが、本実施形態によれば、そのような誤判定を抑制できる。

また本実施形態では、分類部３１０は、動き量が閾値よりも大きいと判定された画素又は領域について、分類処理の結果を修正してもよい。即ち、動き判定の結果に関わらず正常／非正常の分類処理を行い、その後に動き判定の結果に基づいて最終的に分類を決定してもよい。

このようにすれば、動きブレによる誤分類が生じた場合であっても、その分類結果が出力されないので、ユーザーに対して正確な情報を提示できる。例えば、動きが大きい領域の分類結果を「不明（不明状態）」に修正することにより、その領域が分類不能であることをユーザーに知らせることが可能である。

３．第２の実施形態
図１０に、第２の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０、動き判定部３９０を含む。なお以下では、第１の実施形態と同一の構成要素については同一の符号を付し、適宜説明を省略する。

第２の実施形態では、動き判定部３９０は強調処理部３３０へ接続される。分類部３１０は、動き情報に基づく分類処理は行わず、各画素を「正常部」と「異常部」に分類する。強調処理部３３０は、動き判定部３９０から入力された判定結果に基づいて強調処理の対象を制御する。即ち、動き量が閾値よりも大きいと判定された画素については、「正常部」及び「異常部」の分類精度が低いため、強調処理を行わない。或は、動き量が閾値よりも大きいと判定された画素に対して特定の色を付す等の強調処理を行い、分類精度が低いことをユーザーに提示してもよい。

以上の実施形態によれば、動き判定部３９０は、動き情報に基づいて、撮像画像内の画素又は領域での被写体の動き量が閾値よりも大きいか否かの判定を行う。そして、強調処理部３３０は、動き量が閾値よりも大きいと判定された画素又は領域を、分類結果に基づく強調処理の対象から除く。

このようにすれば、画像内において被写体の動きが大きい部分では分類結果が強調表示されないので、動きブレによって誤分類が生じた場合であっても、ユーザーに対して信頼性の高い分類結果のみを提示できる。

また本実施形態では、分類部３１０は、画素又は領域が正常な構造物の特性に合致するか否かを判定することにより画素又は領域を正常部と非正常部（異常部）に分類する。そして、強調処理部３３０は、動き量が閾値よりも大きいと判定された画素又は領域を、正常部と非正常部の分類結果に基づく強調処理の対象から除く。

動きブレによって画像が不明瞭となる部分では、実際には正常ピットパターンが存在するにも関わらず非正常部に誤分類される可能性がある。この点、本実施形態によれば、仮に誤分類が生じたとしても、動きが大きい部分では正常／非正常の強調表示が行われないので、信頼性の高い正常／非正常の分類結果のみを提示できる。

４．第２の実施形態の変形例
図１１に、第２の実施形態の変形例における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０を含む。

この変形例では、第２の実施形態の動き判定部３９０が省略された構成となり、動き検出部３８０は強調処理部３３０へ接続される。強調処理部３３０は、動き情報に基づいて強調量を制御する。具体的には、動き量が大きい画素ほど、その画素での強調量を抑制する。例えば異常部を強調表示する場合、異常部であっても動き量が大きいほど強調度合いが小さくなる。

以上の実施形態によれば、強調処理部３３０は、動き情報に基づいて、撮像画像内の画素又は領域での被写体の動き量が大きいほど、その画素又は領域に対する強調処理の強調量を小さくする制御を行う。

一般的には、被写体の動き量が大きいほど画像が不明瞭となるため、マッチング処理の信頼性も低下していくと考えられる。この点、本実施形態によれば、分類結果の信頼性が低いほど強調量を小さくできるので、低信頼度の分類結果まで一律にユーザーに提示されてしまうことを防げる。

５．第３の実施形態
図１２に、第３の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０、動き判定部３９０を含む。

第３の実施形態では、動き検出部３８０は、動き判定部３９０と強調処理部３３０に接続され、動き判定部３９０は、分類部３１０へ接続される。分類部３１０は、第１の実施形態と同様に、動きの大きい領域について正常部と異常部の分類処理を行わず、その領域の分類を不明に設定する。強調処理部３３０は、第２の実施形態の変形例と同様に、動きの大きい領域の強調量を抑制する。

６．第４の実施形態
図１３に、第４の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０、動き判定部３９０、撮影条件取得部３９５を含む。

第１の実施形態では動き情報として画像上の動き量を検出したが、第４の実施形態では被写体上での動き量を検出する。なお、第４の実施形態での動き検出処理は、第１〜第３の実施形態のいずれにも適用可能である。

第４の実施形態の動作について図１４（Ａ）〜図１４（Ｃ）を用いて具体的に説明する。図１４（Ａ）には、撮像部２００と被写体の関係を示す。図１４（Ｂ）、図１４（Ｃ）には、取得した画像の例を示す。

図１４（Ａ）に示すように、術者は被写体に撮像部２００を近接させる。この時、撮像部２００と被写体（異常部（異常腺管５０や腺管消失領域６０））を正対させようとするが、生体内の狭い領域では撮像部２００を正対させることが不可能な場合がある。その場合は、被写体に対して斜め方向から画像を撮像する。図１４（Ｂ）に示すように、その時の画像では、近点の画像上部の被写体は大きく表示され、中遠点の画像下部の被写体は小さく表示される。このような場合に、図１４（Ａ）に示すように、近点と中遠点の被写体上で同程度の大きさの動きＭＣ１、ＭＣ２が発生したとすると、図１４（Ｂ）に示すように、中遠点での画像上の動き量ＭＤ２は、近点での画像上の動き量ＭＤ１に比べて、小さく検出される。

第１の実施形態では、分類部３１０は画像上での動き量に基づいて分類処理の対象範囲を設定していたため、上記のような場合には中遠点の被写体が分類処理の対象範囲に入ることになる。即ち図１４（Ｃ）に示すように、近点の領域ＧＲ３は「不明」に分類され、中遠点の領域ＧＲ１は画像上での動きＭＤ２が小さいため正常／異常の分類処理が行われることになる。しかしながら、中遠点の被写体は構造が小さく表示されるので、動き量ＭＤ２が小さくても構造は不明瞭に表示されてしまう。そのため、画像上の動き量で検出範囲を設定すると中遠点の被写体を異常部と誤検出する可能性がある。

そこで第４の実施形態では、動き検出部３８０が被写体上での動き量を検出し、その動き量に基づいて分類部３１０が分類処理の対象範囲を設定する。これにより、中遠点の被写体に対しても動きによる分類の誤検出を抑制できる。

具体的には、第４の実施形態の画像処理部３０１には、撮影条件取得部３９５が追加されており、撮影条件取得部３９５は動き検出部３８０に接続されている。また距離情報取得部３４０は動き検出部３８０に接続されている。制御部３０２は、図示を省略するが、画像処理部３０１の各部に双方向に接続されており、その各部の制御を行う。

撮影条件取得部３９５は、制御部３０２から画像撮影時の撮影条件を取得する。具体的には、撮像部２００の光学系の倍率Ｋ（ｄ）を取得する。例えば光学系が固定焦点である場合、図１５に示すように、光学系の倍率Ｋ（ｄ）は撮像素子から被写体までの距離ｄに一対一で対応する。倍率Ｋ（ｄ）は像倍率に対応しており、距離ｄが遠いほど被写体が小さく写ることに対応して倍率Ｋ（ｄ）が小さくなる。

なお、光学系は固定焦点に限定されず、可変焦点（光学ズームが可能）の構成としてもよい。この場合は、図１５のテーブルを光学系のズームレンズ位置（ズーム倍率）毎に持ち、撮像時の光学系のズームレンズ位置に対応したテーブルを参照して倍率Ｋ（ｄ）を取得する。

動き検出部３８０は、画像上の動き量を検出し、その検出された画像上の動き量と距離情報と撮影条件とに基づいて、被写体上の動き量を検出する。具体的には、動き検出部３８０は、第１の実施形態と同様にして、各画素の座標（ｘ，ｙ）における画像上での動き量Ｍｖ（ｘ，ｙ）を検出する。そして、各画素での被写体までの距離情報ｄ（ｘ，ｙ）を距離マップから取得し、その距離情報ｄ（ｘ，ｙ）に対応する光学系の倍率Ｋ（ｄ（ｘ，ｙ））をテーブルから取得する。動き検出部３８０は、下式（４）に示すように、動き量Ｍｖ（ｘ，ｙ）とＫ（ｄ（ｘ，ｙ））を乗算し、座標（ｘ，ｙ）における被写体上での動き量Ｍｖｏｂｊ（ｘ，ｙ）を算出する。そして、算出した被写体上の動き量Ｍｖｏｂｊ（ｘ，ｙ）を動き情報として分類部３１０へ転送する。
Ｍｖｏｂｊ（ｘ，ｙ）＝Ｍｖ（ｘ，ｙ）×Ｋ（ｄ（ｘ，ｙ））（４）

以上の実施形態によれば、被写体上での動き量Ｍｖｏｂｊ（ｘ，ｙ）に基づいて正常／異常の分類処理を行う範囲を設定するため、被写体までの距離ｄ（ｘ，ｙ）に依らず、動きブレに起因する異常部の誤検出を抑制することが可能となる。

７．第１の分類処理手法
７．１．分類部
上述した第１〜第４の実施形態の分類部３１０が行う分類処理について詳細に説明する。図１６に、分類部３１０の詳細な構成例を示す。分類部３１０は、既知特性情報取得部３４５、表面形状算出部３５０、分類処理部３６０を含む。

以下では観察対象を大腸とする場合を例にとり、分類部３１０の動作について説明する。図１７（Ａ）に示すように、観察対象である大腸の生体表面１は隆起病変のポリープ２を有しており、ポリープ２の粘膜表層は正常腺管４０と異常腺管５０を有しているものとする。また、ポリープ２の付け根には、腺管構造が消失した陥凹型病変６０が存在しているものとする。このポリープ２の上部を上から見た場合、例えば図１（Ｂ）に示すように、正常腺管４０は略円形の形状を示し、異常腺管５０は正常腺管４０とは異形な形状を呈している。

表面形状算出部３５０は、距離情報取得部３４０から入力される距離情報（例えば距離マップ）に対して、クロージング処理、或いは適応的ローパスフィルター処理を施すことで、所定構造要素のサイズ以上のサイズをもつ構造を抽出する。ここで所定構造要素は、観察部位の生体表面１に形成されている分類判定したい腺管構造（ピットパターン）である。

具体的には、既知特性情報取得部３４５が、既知特性情報の一つとして構造要素情報を取得し、その構造要素情報を表面形状算出部３５０へ出力する。構造要素情報は、撮像部２００の光学倍率と、生体表面１の表面構造から分類したい腺管構造のサイズ（幅の情報）と、で決定される大きさ情報である。即ち、光学倍率は被写体までの距離に応じて決まっており、その光学倍率でサイズ調整を行うことにより、その距離で撮像された腺管構造の画像上でのサイズを構造要素情報として取得する。

例えば、プロセッサー部３００の制御部３０２が腺管構造の標準的なサイズを記憶しており、既知特性情報取得部３４５は、そのサイズを制御部３０２から取得し、光学倍率によるサイズ調整を行う。具体的には、制御部３０２は、撮像部２００のメモリー２１０から入力されるスコープＩＤ情報に基づいて、観察部位を決定する。例えば撮像部２００が上部消化器用スコープである場合、観察部位は食道、胃、十二指腸と判定され、下部消化器用スコープである場合、観察部位は大腸と判定される。制御部３０２には、これらの観察部位に応じた標準的な腺管サイズが、予め記録されている。なお、観察部位の決定をスコープＩＤ以外で行う手法として、例えばユーザーが操作可能なスイッチを外部Ｉ／Ｆ部５００が有し、そのスイッチによりユーザーが観察部位を選択する手法がある。

表面形状算出部３５０は、入力される距離情報に基づいて適応的に表面形状算出情報を生成し、その表面形状算出情報を用いて被写体の表面形状情報を算出する。表面形状情報は、例えば図１７（Ｂ）に示す法線ベクトルＮＶである。表面形状算出情報の詳細については以降で説明するが、例えば距離マップの注目位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、その距離情報に適応したフィルターのローパス特性であったりする。即ち、表面形状算出情報は、距離情報に応じて適応的に、非線形或は線形のローパスフィルターの特性を変更する情報である。

生成された表面形状情報は、距離マップと共に分類処理部３６０に入力される。図１８（Ａ）、図１８（Ｂ）に示すように、分類処理部３６０は、基本ピットを撮像画像の生体表面の３次元形状に適応させて修正ピット（分類基準）を生成する。基本ピットは、腺管構造を分類するための１つの正常腺管構造をモデル化したものであり、例えば２値画像である。なお、ここではピットパターンを想定しているため、基本ピット、修正ピットという用語を用いるが、より広義な用語として基準パターン、修正パターンと置き換えることが可能である。

分類処理部３６０は、生成した分類基準（修正ピット）による分類処理を行う。具体的には、分類処理部３６０には、更に画像構成部３２０からの画像が入力される。分類処理部３６０は、修正ピットが撮像画像上に存在するか否かを公知のパターンマッチング処理により判定し、分類領域をグルーピングした分類マップを強調処理部３３０へ出力する。分類マップは、修正ピットが存在する領域とそれ以外の領域に撮像画像を分類したマップである。例えば、修正ピットが存在する領域の画素に“１”を割り当て、それ以外の領域の画素に“０”を割り当てた２値画像である。なお、動き量に応じて「不明」の分類を設定する場合には、「不明」の領域の画素に例えば“２”を割り当て、３値画像としてもよい。

強調処理部３３０には、更に画像構成部３２０からの画像（分類画像と同一サイズ）が入力される。そして強調処理部３３０は、分類結果を表す情報を用いて、画像構成部３２０から出力される画像に対して強調処理を行う。

７．２．表面形状算出部
図１７（Ａ）、図１７（Ｂ）を用いて表面形状算出部３５０が行う処理について詳細に説明する。

図１７（Ａ）は、撮像部２００の光軸に沿った断面における、被写体の生体表面１と撮像部２００の断面図であり、モルフォロジー処理（クロージング処理）により表面形状を算出している状態を模式化したものである。クロージング処理に利用する球ＳＰ（構造要素）の半径は、分類したい腺管構造のサイズ（表面形状算出情報）の例えば２倍以上とする。腺管構造のサイズは、上述のように、各画素での被写体までの距離に応じて、画像上でのサイズに調整されたものである。

このようなサイズの球ＳＰを用いることで、正常腺管４０と異常腺管５０と腺管消失領域６０の微小な凹凸を拾わずに、それらの微小な凹凸よりも滑らかな生体表面１の３次元表面形状を抽出できる。そのため、微小な凹凸を残したままの表面形状を用いて基本ピットを修正ピットに修正した場合に比べて、修正誤差を低減することができる。

図１８（Ｂ）は、クロージング処理した後の生体表面の断面図であり、生体表面に対して法線ベクトルＮＶを算出した結果を模式化したものである。表面形状情報は、この法線ベクトルＮＶである。なお、表面形状情報は法線ベクトルＮＶに限定されるものではなく、図１８（Ｂ）に示すクロージング処理後の曲面そのものであってもよいし、その他表面形状を表現できる他の情報であってもよい。

具体的には、既知特性情報取得部３４５が、生体固有の腺管のサイズ（長手方向の幅など）を既知特性情報として取得し、その情報を用いて、実際の生体表面をクロージング処理でなぞる球ＳＰの半径（画像上での腺管のサイズに応じた半径）を決定する。このとき、球ＳＰの半径を、画像上での腺管のサイズよりも大きい半径に設定する。表面形状算出部３５０は、この球ＳＰを用いてクロージング処理を行うことにより、所望の表面形状のみを抽出できる。

図１９に、表面形状算出部３５０の詳細な構成例を示す。表面形状算出部３５０は、モルフォロジー特性設定部３５１、クロージング処理部３５２、法線ベクトル算出部３５３を含む。

既知特性情報取得部３４５から、既知特性情報である生体固有の腺管のサイズ（長手方向の幅など）がモルフォロジー特性設定部３５１に入力される。モルフォロジー特性設定部３５１は、その腺管のサイズと距離マップとに基づいて、表面形状算出情報（クロージング処理に用いる球ＳＰの半径等）を決定する。

決定した球ＳＰの半径情報は、例えば距離マップと同一の画素数を持つ半径マップとしてクロージング処理部３５２へ入力される。半径マップは、各画素に、その画素での球ＳＰの半径の情報が対応付けられたマップである。クロージング処理部３５２は、その半径マップにより画素単位で半径を変更してクロージング処理を行い、その処理結果を法線ベクトル算出部３５３へ出力する。

法線ベクトル算出部３５３には、クロージング処理後の距離マップが入力される。法線ベクトル算出部３５３は、その距離マップ上の注目サンプル位置での３次元情報（例えば画素の座標と、その座標での距離情報）と、注目サンプル位置に隣接する２つのサンプル位置での３次元情報とにより平面を定義し、その定義した平面の法線ベクトルを算出する。法線ベクトル算出部３５３は、算出した法線ベクトルを、距離マップと同一サンプリング数の法線ベクトルマップとして分類処理部３６０へ出力する。

７．３．分類処理部
図２０に、分類処理部３６０の詳細な構成例を示す。分類処理部３６０は、分類基準データ記憶部３６１、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４、領域設定部３６５を含む。

分類基準データ記憶部３６１には、図１８（Ａ）に示す生体表面に露出している正常腺管をモデル化した基本ピットが記憶されている。この基本ピットは２値画像であり、所定距離にある正常腺管を撮像した場合に相当する大きさの画像である。分類基準データ記憶部３６１は、この基本ピットを射影変換部３６２へ出力する。

射影変換部３６２には、距離情報取得部３４０からの距離マップと、表面形状算出部３５０からの法線ベクトルマップと、制御部３０２（図示省略）からの光学倍率と、が入力される。射影変換部３６２は、注目サンプル位置の距離情報を距離マップから抽出し、それに対応するサンプル位置の法線ベクトルを法線ベクトルマップから抽出する。そして、図１８（Ｂ）に示すように、その法線ベクトルを用いて基本ピットを射影変換し、更に光学倍率に合わせて倍率補正を行い、修正ピットを生成する。射影変換部３６２は、その修正ピットを分類基準として類似度算出部３６４へ出力し、修正ピットのサイズを探索領域サイズ設定部３６３へ出力する。

探索領域サイズ設定部３６３は、修正ピットのサイズの縦横２倍の領域を、類似度算出処理の探索領域として設定し、その探索領域の情報を類似度算出部３６４へ出力する。

類似度算出部３６４には、注目サンプル位置での修正ピットが射影変換部３６２から入力され、その修正ピットに対応する探索領域が探索領域サイズ設定部３６３から入力される。類似度算出部３６４は、その探索領域の画像を、画像構成部３２０から入力される画像から抽出する。

類似度算出部３６４は、その抽出した探索領域の画像に対してハイパスフィルター処理、或はバンドパスフィルター処理を施して低周波成分をカットし、そのフィルター処理後の画像に対して２値化処理を行い、探索領域の２値画像を生成する。そして、その探索領域の２値画像内を修正ピットでパターンマッチング処理して相関値を算出し、その相関値のピーク位置と最大相関値のマップを領域設定部３６５へ出力する。例えば、相関値は差分絶対値和であり、最大相関値は差分絶対値和の最小値である。

なお、相関値の算出方法としてはＰＯＣ（Phase Only Correlation）等、他の手法を用いてもよい。ＰＯＣを用いる場合には、回転や倍率変化について不変となるので、相関算出の精度を高めることが可能である。

領域設定部３６５は、類似度算出部３６４から入力される最大相関値マップに基づいて、差分絶対値和が所定閾値Ｔ以下である領域を抽出し、更にその領域内の最大相関値の位置と隣接探索範囲の最大相関値の位置との間の３次元距離を算出する。そして、算出した３次元距離が所定誤差の範囲に含まれている場合は、その最大相関位置を含む領域を正常領域としてグルーピングし、分類マップを生成する。領域設定部３６５は、生成した分類マップを強調処理部３３０へ出力する。

上記分類処理の具体例を、図２１（Ａ）〜図２１（Ｆ）に示す。図２１（Ａ）に示すように、ある画像内位置を処理対象位置とする。図２１（Ｂ）に示すように、射影変換部３６２は、当該処理対象位置での表面形状情報により基準パターンを変形することで、当該処理対象位置での修正パターンを取得する。図２１（Ｃ）に示すように、探索領域サイズ設定部３６３は、取得された修正パターンから、処理対象位置の周辺の探索領域（上述の例であれば修正パターンの縦横２倍のサイズの領域）を設定する。

図２１（Ｄ）に示すように、類似度算出部３６４は、当該探索領域において、撮像された構造物と修正パターンとのマッチングをとる。このマッチングを画素単位で行ったとすれば、画素毎に類似度が算出される。そして、図２１（Ｅ）に示すように、領域設定部３６５は、探索領域での類似度のピークに対応する画素を特定し、当該画素での類似度が所与の閾値以上であるか否かを判定する。類似度が閾値以上であれば、当該ピーク位置を基準とする修正パターンの大きさの領域（図２１（Ｅ）では修正パターンの中心部を基準位置としているが、これに限定されない）に、修正パターンが検出されたということであるから、当該領域は基準パターンに合致する領域であるという分類をすることができる。

なお、図２１（Ｆ）に示すように、修正パターンを表す形状の内部を分類基準に合致する領域としてもよく、種々の変形実施が可能である。一方、類似度が閾値未満の場合には、処理対象位置の周辺領域では基準パターンにマッチングする構造はないということになる。この処理を各画像内位置で行うことで、撮像画像内に、０個、１個、或いは複数の基準パターンに合致する領域と、それ以外の領域とが設定されることになる。そして、基準パターンに合致する領域が複数ある場合には、それらのうち重なり合うものや近接するものを統合していくことで、最終的に分類結果が得られることになる。ただし、ここで述べた類似度に基づく分類処理の手法は一例であり、他の手法により分類処理を行ってもよい。また、類似度の具体的な算出手法については、画像間類似度、画像間相違度を算出する種々の手法が知られているため、詳細な説明は省略する。

以上の実施形態によれば、分類部３１０は、距離情報と既知特性情報に基づいて、被写体の表面形状情報を求める表面形状算出部３５０と、表面形状情報に基づいて分類基準を生成し、生成した分類基準を用いた分類処理を行う分類処理部３６０と、を含む。

これにより、表面形状情報により表される表面形状に基づいて、適応的に分類基準を生成し分類処理を行うことが可能となる。上述した撮像部２００の光軸方向と被写体表面のなす角度に起因する撮像画像上での構造物の変形等、表面形状による分類処理の精度低下要因は種々考えられるが、本実施形態の手法によれば、そのような場合でも精度よく分類処理できる。

また、既知特性情報取得部３４５は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３６０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、被写体の構造物が表面形状によって変形された状態で撮像された場合にも、精度よく分類処理を行うことが可能になる。具体的には、円形の腺管構造は図１（Ｂ）等に示すように、種々の変形をされた状態で撮像されるが、基準パターン（図１８（Ａ）の基準ピット）から表面形状に応じて適切な修正パターン（図１８（Ｂ）の修正ピット）を生成して分類基準とすることで、変形された領域においても適切にピットパターンを検出し、分類できる。

また、既知特性情報取得部３４５は、正常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、撮像画像を正常である領域と正常でない領域とに分類する分類処理を行うことが可能になる。正常でない領域とは、例えば生体用内視鏡であれば、生体の病変部であることが疑われる領域である。このような領域はユーザーにとって注目度が高いことが想定されるため、適切に分類することで注目すべき領域の見逃しを抑止すること等が可能になる。

また、被写体は、大局的な３次元構造と、その大局的な３次元構造に比べて局所的な凹凸構造とを有し、表面形状算出部３５０は、被写体が有する大局的な３次元構造と局所的な凹凸構造のうち、大局的な３次元構造を距離情報から抽出することで、表面形状情報を求めてもよい。

これにより、被写体の構造を大局的なものと局所的なものに分けた場合に、大局的な構造から表面形状情報を求めることが可能になる。撮像画像上での基準パターンの変形は、その基準パターンに比べて大きい構造である大局的な構造に起因するものが支配的である。そのため、本実施形態では大局的な３次元構造から表面形状情報を求めることで、精度よく分類処理を行うことができる。

８．第２の分類処理手法
図２２に、第２の分類処理手法における分類処理部３６０の詳細な構成例を示す。分類処理部３６０は、分類基準データ記憶部３６１、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４、領域設定部３６５、第２の分類基準データ生成部３６６を含む。なお、第２の分類処理手法における構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

第２の分類処理手法では、分類基準である基本ピットが正常腺管だけでなく、異常腺管に対しても用意する点と、実際の撮像画像のピットを抽出し、第２の分類基準データ（第２の基準パターン）として分類基準データを置き換え、その置き換え後の第２の分類基準データに基づいて類似度を算出し直す点と、が第１の分類処理手法と異なっている。

具体的には図２４（Ａ）〜図２４（Ｆ）に示すように、生体表面のピットパターンは、正常状態であるか異常状態であるかに応じて、また異常状態である場合には病変の進行度等に応じて、その形状が変化することが知られている。例えば、正常粘膜であれば図２４（Ａ）に示すようにピットパターンは円形に近く、病変が進行すると図２４（Ｂ）の星芒状や、図２４（Ｃ）、図２４（Ｄ）の管状型といった複雑な形状になり、さらに進行すると図２４（Ｆ）に示したようにピットパターンが消失したりする。よって、これらの典型的なパターンを基準パターンとして保持しておき、撮像画像に撮像された被写体表面と、当該基準パターンとの類似度等を判定することで、被写体の状態を判定することができる。

第１の分類処理手法との相違点について詳細に説明する。分類基準データ記憶部３６１には、正常腺管の基本ピットだけでなく、図２３に示すような複数のピットが記録されており、これらのピットは射影変換部３６２へ出力される。射影変換部３６２の処理は第１の分類処理手法と同様である。即ち、分類基準データ記憶部３６１に格納されている全てのピットに対して射影変換処理を行い、複数の分類タイプに対する修正ピットを探索領域サイズ設定部３６３と類似度算出部３６４へ出力する。

類似度算出部３６４は、複数の修正ピットに対して、それぞれの最大相関値マップを生成する。なお、この時点での最大相関値マップは、分類マップの生成（分類処理の最終出力の生成）に用いられるものではなく、第２の分類基準データ生成部３６６に出力され、新たな分類基準データの生成に用いられることになる。

第２の分類基準データ生成部３６６は、類似度算出部３６４で類似度が高い（例えば差分絶対値が所定閾値以下である）と判定された画像上の位置のピット画像を、新たに分類基準として採用する。これにより、予め用意されている標準的なモデル化したピットではなく、実際の画像から抽出したピットを分類基準にするため、より最適な精度の高い分類判定が可能となる。

具体的には、第２の分類基準データ生成部３６６には、類似度算出部３６４からの分類毎の最大相関値マップと、画像構成部３２０からの画像と、距離情報取得部３４０からの距離マップと、制御部３０２からの光学倍率と、既知特性情報取得部３４５からの分類毎の腺管のサイズと、が入力される。そして第２の分類基準データ生成部３６６は、分類毎の最大相関値のサンプル位置に対応する画像データを、その位置の距離情報と腺管のサイズと光学倍率に基づいて抽出する。

更に第２の分類基準データ生成部３６６は、抽出された実画像から低周波成分を除いたグレースケール画像（明るさの違いをキャンセルする為）を取得し、当該グレースケール画像を第２の分類基準データとして、法線ベクトル及び距離情報と併せて分類基準データ記憶部３６１へ出力する。分類基準データ記憶部３６１は、その第２の分類基準データ及び関連情報を記憶する。これにより、各分類で、被写体との相関性が高い第２の分類基準データを収集できたことになる。

なお、上記の第２の分類基準データは、撮像部２００の光軸方向と被写体表面とがなす角度、及び撮像部２００から被写体面までの距離による変形（大きさの変化）の影響が排除されていない。よって、第２の分類基準データ生成部３６６は、それらの影響をキャンセルする処理を行った上で第２の分類基準データを生成してもよい。具体的には、上記グレースケール画像に対して、所与の基準方向から所与の距離にあるものとして撮像した場合に相当するように変形処理（射影変換処理及び変倍処理）を行った結果を第２の分類基準データとすればよい。

第２の分類基準データが生成された後は、当該第２の分類基準データを対象として、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４において、再度処理を行えばよい。具体的には、第２の分類基準データに対して射影変換処理を行って第２の修正パターンを生成し、生成した第２の修正パターンを分類基準として第１の分類処理手法と同様の処理を行う。

なお、本実施形態で用いる異常腺管の基本ピットは、点対象で無い場合がほとんどである。よって、類似度算出部３６４での類似度算出（修正パターンを用いる場合と、第２の修正パターンを用いる場合の両方において）では、回転不変のＰＯＣ（Phase Only Correction）を実施して類似度を算出することが望ましい。

領域設定部３６５は、図２３の分類別（Ｉ型、ＩＩ型、・・・）にグルーピングした分類マップ、或は図２３の分類のタイプ別（タイプＡ、Ｂ、・・・）にグルーピングした分類マップを生成する。具体的には、正常腺管に分類される修正ピットで相関が得られた領域の分類マップを生成し、異常腺管に分類される修正ピットで相関が得られた領域の分類マップを分類別やタイプ別に生成する。そして、これらの分類マップを合成した分類マップ（多値画像）を生成する。合成する際、それぞれの分類で相関が得られた領域のオーバーラップ領域は分類未確定領域としてもよいし、悪性レベルの高い方の分類に置き換えてもよい。領域設定部３６５は、この合成した分類マップを強調処理部３３０へ出力する。

強調処理部３３０は、多値画像の分類マップに基づいて、例えば輝度或は色の強調処理等を行う。

以上の実施形態によれば、既知特性情報取得部３４５は、異常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、例えば図２３に示すように、複数の基準パターンを取得し、それらを用いて分類基準を生成し、分類処理を行うことが可能になる。即ち、図２４（Ａ）〜図２４（Ｆ）に示すような典型的なパターンを基準パターンとして分類処理を行うことで、被写体の状態を詳細に分類することができる。

また、既知特性情報取得部３４５は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３６０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで修正パターンを取得し、撮像画像に撮像された被写体の構造物と、修正パターンとの類似度を、撮像画像の各画像内位置で求め、求めた類似度に基づいて、第２の基準パターン候補を取得してもよい。そして、分類処理部３６０は、取得した第２の基準パターン候補と、表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、第２の基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、撮像画像に基づいて第２の基準パターンを生成し、当該第２の基準パターンを用いて分類処理を行うことが可能になる。よって、実際に撮像画像に撮像された被写体から分類基準を作成することができるため、当該分類基準は処理対象としている被写体の特性をよく反映したものとなり、既知特性情報として取得された基準パターンをそのまま用いる場合に比べて、分類処理の精度をより向上させること等が可能になる。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

４０正常腺管、５０異常腺管、６０腺管消失領域、１００光源部、
１０１白色光源、１０２回転色フィルター、１０３回転駆動部、
１０４集光レンズ、２００撮像部、２０１ライトガイドファイバー、
２０３照明レンズ、２０４対物レンズ、２０６，２０７撮像素子、
２０９Ａ／Ｄ変換部、２１０メモリー、２１２コネクター、
３００プロセッサー部、３０１画像処理部、３０２制御部、
３０５画像取得部、３１０分類部、３２０画像構成部、
３３０強調処理部、３４０距離情報取得部、３４５既知特性情報取得部、
３５０表面形状算出部、３５１モルフォロジー特性設定部、
３５２クロージング処理部、３５３法線ベクトル算出部、
３６０分類処理部、３６１分類基準データ記憶部、３６２射影変換部、
３６３探索領域サイズ設定部、３６４類似度算出部、
３６５領域設定部、３６６分類基準データ生成部、３７０記憶部、
３８０動き検出部、３９０動き判定部、３９５撮影条件取得部、
４００表示部、５００外部Ｉ／Ｆ部、
ＧＲ１〜ＧＲ３領域、ＭＡ，ＭＣ１，ＭＣ２動き、ＭＢ動きブレ、
ＭＤ１，ＭＤ２動き量、ＮＶ法線ベクトル、ＳＰ球

Claims

被写体の像を含む撮像画像を時系列に取得する画像取得部と、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、
前記距離情報に基づいて、前記撮像画像の画素又は領域に対する前記被写体の構造物の分類処理を行う分類部と、
前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う強調処理部と、
を含み、
前記強調処理部は、
前記動き情報に基づいて、前記被写体の動き量が閾値よりも大きい前記撮像画像内の画素又は領域を、分類結果に基づく前記強調処理の対象から除く、
又は、前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が大きいほど前記画素又は前記領域に対する前記強調処理の前記強調量を小さくすることを特徴とする画像処理装置。
請求項１において、
前記動き情報に基づいて、前記画素又は前記領域での前記動き量が前記閾値よりも大きいか否かの判定を行う動き判定部を含み、
前記強調処理部は、
前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記強調処理の対象から除くことを特徴とする画像処理装置。
請求項２において、
前記分類部は、
前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記強調処理部は、
前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記正常部と前記非正常部の分類結果に基づく前記強調処理の対象から除くことを特徴とする画像処理装置。
請求項１において、
前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
前記分類部は、
前記動き判定部が前記動き量が前記閾値よりも大きいと判定した場合、前記画素又は前記領域を前記分類処理の対象から除くことを特徴とする画像処理装置。
請求項１において、
前記動き検出部は、
前記距離情報に基づいて前記撮像画像での前記動き情報を前記被写体上での動き情報に変換し、
前記強調処理部は、
前記被写体上での動き情報に応じて前記強調処理の対象又は前記強調量の制御を行うことを特徴とする画像処理装置。
請求項５において、
前記動き検出部は、
前記撮像画像を撮像した時の撮影条件を取得する撮影条件取得部を有し、
前記動き検出部は、
前記距離情報及び前記撮影条件に基づいて前記被写体上での動き情報を算出することを特徴とする画像処理装置。
請求項６において、
前記撮影条件は、
前記距離情報に対応する前記撮像部の光学系の倍率であり、
前記動き検出部は、
前記撮像画像での前記動き情報に前記倍率を乗算して前記被写体上での動き情報を算出することを特徴とする画像処理装置。
被写体の像を含む撮像画像を時系列に取得する画像取得部と、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、
前記距離情報に基づいて、前記撮像画像の画素又は領域に対する前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する分類部と、
を含むことを特徴とする画像処理装置。
請求項８において、
前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
前記分類部は、
前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記分類処理の対象から除くことを特徴とする画像処理装置。
請求項９において、
前記分類部は、
前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記正常部と前記非正常部を分類する処理の対象から除き、前記正常部と前記非正常部の分類が不明である不明状態に分類することを特徴とする画像処理装置。
請求項８において、
前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
前記分類部は、
前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域について、前記分類処理の結果を修正することを特徴とする画像処理装置。
請求項１１において、
前記分類部は、
前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域について、前記正常部と前記非正常部の分類結果を、前記正常部と前記非正常部の分類が不明である不明状態に修正することを特徴とする画像処理装置。
請求項８において、
前記動き検出部は、
前記距離情報に基づいて前記撮像画像での前記動き情報を前記被写体上での動き情報に変換し、
前記分類部は、
前記被写体上での動き情報に応じて前記分類処理の対象を制御することを特徴とする画像処理装置。
請求項８において、
前記分類処理の結果に基づいて前記撮像画像の強調処理を行う強調処理部を含むことを特徴とする画像処理装置。
請求項１又は８において、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部を含み、
前記分類部は、
前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた前記分類処理を行う分類処理部と、
を含むことを特徴とする画像処理装置。
請求項１５において、
前記既知特性情報取得部は、
所与の状態における前記被写体の前記構造物に対応する基準パターンを、前記既知特性情報として取得し、
前記分類処理部は、
前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
請求項１乃至１６のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
被写体の像を含む撮像画像を時系列に取得し、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
前記距離情報に基づいて、前記撮像画像の画素又は領域に対する前記被写体の構造物の分類処理を行い、
前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行い、
前記強調処理の対象の前記制御を行う場合には、前記動き情報に基づいて、前記被写体の動き量が閾値よりも大きい前記撮像画像内の画素又は領域を、分類結果に基づく前記強調処理の対象から除き、
前記強調量の前記制御を行う場合には、前記動き情報に基づいて、前記撮像画像内の前記画素又は前記領域での前記被写体の動き量が大きいほど前記画素又は前記領域に対する前記強調処理の前記強調量を小さくする、
ステップをコンピューターに実行させるプログラム。
被写体の像を含む撮像画像を時系列に取得し、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
前記距離情報に基づいて、前記撮像画像の画素又は領域に対する前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する、
ステップをコンピューターに実行させるプログラム。
画像処理装置が、被写体の像を含む撮像画像を時系列に取得し、
前記画像処理装置が、撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記画像処理装置が、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
前記画像処理装置が、前記距離情報に基づいて、前記撮像画像の画素又は領域に対する前記被写体の構造物の分類処理を行い、
前記画像処理装置が、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行い、
前記画像処理装置が、前記強調処理の対象の前記制御を行う場合には、前記動き情報に基づいて、前記被写体の動き量が閾値よりも大きい前記撮像画像内の画素又は領域を、分類結果に基づく前記強調処理の対象から除き、
前記画像処理装置が、前記強調量の前記制御を行う場合には、前記動き情報に基づいて、前記撮像画像内の前記画素又は前記領域での前記被写体の動き量が大きいほど前記画素又は前記領域に対する前記強調処理の前記強調量を小さくする、
ことを特徴とする画像処理装置の作動方法。
画像処理装置が、被写体の像を含む撮像画像を時系列に取得し、
前記画像処理装置が、撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記画像処理装置が、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
前記画像処理装置が、前記距離情報に基づいて、前記撮像画像の画素又は領域に対する前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する、
ことを特徴とする画像処理装置の作動方法。