JP6049518B2

JP6049518B2 - 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法

Info

Publication number: JP6049518B2
Application number: JP2013067423A
Authority: JP
Inventors: 悦子六反田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-03-27
Filing date: 2013-03-27
Publication date: 2016-12-21
Anticipated expiration: 2033-03-27
Also published as: JP2014188223A; US20160014328A1; EP2979606A1; WO2014155782A1; CN105072968A; EP2979606A4

Description

本発明は、画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法等に関する。

従来、内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、病変部と正常部の組織上の違いを顕微鏡相当の倍率で近接拡大観察することで検出精度向上を達成する拡大光学系を備えた内視鏡（以降、拡大内視鏡と記す）が一般的に知られている。

このような拡大内視鏡には数十倍から数百倍の倍率を有したものがあり、色素散布によるコントラスト強調との併用により、粘膜表層の微細な構造を観察することができる。病変部と正常部ではこれらのパターンに違いが表れることが知られており、病変診断の１つの判定基準になっている。

また、色素散布を行うことなく、画像処理により表層粘膜の構造をよりコントラストを付けて表示する試みが行われている。例えば特許文献１には、局所的な抽出領域の注目画素の輝度レベルとその周辺画素の輝度レベルとを比較し、注目領域が周辺領域よりも暗い場合には着色する手法が開示されている。この手法は、距離が遠い場合には、生体表面から反射してくる反射光量が少なくなるため暗く撮像されるという仮定に基づいている。

また、病変部を選択的に強調表示することにより、病変部の見落とし防止や質的診断の精度を高める観察画像を提供する手法が考えられる。例えば特許文献２には、検体組織を撮像した画像に対するグリッド分割及び特徴量抽出により分類カテゴリ化を行い、分類毎に異なる態様の表示を行う手法が開示されている。

特開２００３−０８８４９８号公報特開２０１１−２１５６８０号公報

例えば、内視鏡装置により近接拡大観察を行う場合、高倍率になるに従って被写界深度が通常観察時に比べて極端に浅くなるという特徴がある。即ち、近接拡大観察時の撮像画像には、合焦している領域と合焦していない領域が発生する可能性がある。このような場合、合焦していない領域については、画像から得られる情報が十分でないため、病変部の強調表示を正確に行うことが困難となる。

例えば、生体表面の腺管構造（ピットパターンと呼ばれている）を強調表示する手法として、既知のピットパターン形状と画像とをマッチング処理して画像上のピットパターンを分類し、その分類結果を表示する手法が考えられる。画像上の非合焦領域では、実際にはピットパターンが存在する場所でもマッチング処理でピットパターンを検出できず、誤った分類結果となり、表示の信頼性が低下してしまう。

本発明の幾つかの態様によれば、強調表示の信頼性を向上可能な画像処理装置、内視鏡装置、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、被写体の像を含む撮像画像を取得する画像取得部と、撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記距離情報に基づいて、前記撮像画像の画素又は領域において前記被写体が合焦しているか否かの判定を行う合焦判定部と、前記被写体の構造物の分類処理を行い、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の対象を制御する分類部と、前記分類処理の結果に基づいて前記撮像画像の強調処理を行う強調処理部と、を含む画像処理装置に関係する。

本発明の一態様によれば、被写体の構造物の分類処理が行われ、その分類処理の対象が、撮像画像の画素又は領域において被写体が合焦しているか否かの判定結果に応じて制御され、その分類処理の結果に基づいて強調処理が行われる。これにより、強調表示の信頼性を向上することが可能になる。

また本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報に基づいて、前記撮像画像の画素又は領域において前記被写体が合焦しているか否かの判定を行い、前記被写体の構造物の分類処理を行い、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の対象を制御し、前記分類処理の結果に基づいて前記撮像画像の強調処理を行う、ステップをコンピューターに実行させるプログラムに関係する。

また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記距離情報に基づいて、前記撮像画像の画素又は領域において前記被写体が合焦しているか否かの判定を行い、前記被写体の構造物の分類処理を行い、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の対象を制御し、前記分類処理の結果に基づいて前記撮像画像の強調処理を行う画像処理方法に関係する。

図１（Ａ）は、異常部を観察する際の撮像部と被写体の関係を示す図。図１（Ｂ）は、取得した画像の例。画像処理装置の構成例。第１の実施形態における内視鏡装置の構成例。第１の実施形態における外部Ｉ／Ｆ部の構成例。ズームレバーの操作に対する撮像系の被写界深度の変化を示す図。画像処理部の詳細な構成例。第１の実施形態における合焦判定部の詳細な構成例。分類処理についての説明図。第２の実施形態における内視鏡装置の構成例。第２の実施形態における外部Ｉ／Ｆ部の構成例。フォーカス制御部の詳細な構成例。第２の実施形態における合焦判定部の詳細な構成例。第２の実施形態における分類処理についての説明図。分類部の詳細な構成例。図１５（Ａ）、図１５（Ｂ）は、表面形状算出部が行う処理についての説明図。図１６（Ａ）は、基本ピットの例。図１６（Ｂ）は、修正ピットの例。表面形状算出部の詳細な構成例。第１の分類処理手法における分類処理部の詳細な構成例。図１９（Ａ）〜図１９（Ｆ）は、分類処理の具体例についての説明図。第２の分類処理手法における分類処理部の詳細な構成例。複数の分類タイプを用いる場合の分類タイプの例。図２２（Ａ）〜図２２（Ｆ）は、ピットパターンの例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
内視鏡装置によりピットパターンの分類処理を行う場合を例に本実施形態の概要について説明する。

図１（Ａ）に、異常部（例えば早期病変）を観察する際の撮像部２００と被写体の関係を示す。また、図１（Ｂ）に、その際に取得した画像の例を示す。正常腺管４０は正常なピットパターンを示し、異常腺管５０は不整な形状を呈する異常なピットパターンを示し、腺管消失領域６０は、病変によりピットパターンが消失した異常領域を示す。

図１（Ａ）に示すように、術者は異常部（異常腺管５０、腺管消失領域６０）を発見すると、撮像部２００を異常部に近接させ、撮像部２００と異常部を極力正対させる。図１（Ｂ）に示すように、正常部（正常腺管４０）のピットパターンでは規則的な構造が一様な配列で並んでいる。

本実施形態では、このような正常部を画像処理により検出するために、既知特性情報（先見情報）として正常なピットパターン構造を事前に登録又は学習し、マッチング処理等により正常部を検出する。一方、ピットパターンが不整な形状を呈したり消失したりしている異常部については、例えば正常なピットパターンが検出されなかった領域を異常部とみなして分類する。このようにしてピットパターンを正常部と異常部に分類し、その分類結果を強調表示することで、異常部の見落とし防止や質的診断の精度を上げることが可能となる。

しかしながら、マッチング処理等により分類を行う場合、画像の情報量が少ない領域では誤分類が生じる可能性がある。具体的には図１（Ａ）に示すように、撮像部２００を被写体に近づけて拡大観察を行う場合、被写界深度ＤＡは非常に浅くなる（例えば数ミリメートル）。そのため、図１（Ｂ）に示すように、画像内に非合焦の領域ＲＢが発生しやすくなる。このような領域ＲＢではマッチング処理の精度が低下するため、本来は正常部に分類されるべき領域であっても誤って異常部に分類され、異常部として表示されてしまう可能性がある。

そこで図２に示すように、本実施形態の画像処理装置は、被写体の像を含む撮像画像を取得する画像取得部３０５と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、その距離情報に基づいて、撮像画像の画素又は領域において被写体が合焦しているか否かの判定を行う合焦判定部３７０と、被写体の構造物の分類処理を行い、画素又は領域における判定の結果に応じて分類処理の対象を制御する分類部３１０と、その分類処理の結果に基づいて撮像画像の強調処理を行う強調処理部３３０と、を含む。

このようにすれば、被写体の局所的な合焦／非合焦を判定することにより、被写界深度の範囲外であることによって分類結果の信頼性が低くなる領域ＲＢを検出できる。そして、その検出結果に基づいて分類処理を行うことにより、信頼性の高い分類結果に基づいて強調表示できる。

例えば本実施形態では、分類処理の対象の制御として、非合焦と判定した画素又は領域をマッチング処理の対象から外し、ピットパターンの分類が不明であることを表す「不明」に分類する。或は、合焦判定の結果に関わらずマッチング処理を行い、非合焦と判定した画素又は領域を「不明」に再分類する。このようにして合焦判定に基づいて分類処理を行うことで、マッチング処理の精度低下による誤表示を防ぐことが可能である。

ここで距離情報とは、撮像画像の各位置と、その各位置での被写体までの距離とが対応付けられた情報であり、例えば撮像部２００の光軸方向における距離を各画素に対応付けた距離マップである。なお後述するように、距離情報は距離マップに限定されず、撮像部２００から被写体までの距離に基づいて取得される種々の情報であればよい。

また分類処理とは、ピットパターンの分類処理に限らず、被写体の構造物を例えば種類や状態等に応じて分類する処理であればよい。構造物とは、分類結果をユーザーに提示することによってユーザーの観察や診断をアシストし得るものであり、例えば生体用の内視鏡装置であれば、ピットパターンに限らず、粘膜に生じたポリープや、消化管の襞、血管、癌等の病変であってもよい。分類処理では、それらの種類や、例えば正常／異常等の状態、或は異常度に応じた区分に分類する。

なお具体的な分類処理としては、種々の分類処理を想定できる。例えば、後述する分類手法のように、距離情報から被写体表面の形状を求め、その形状に合わせて変形した基準ピットパターンと画像とをマッチング処理し、そのマッチング結果により画像上のピットパターンを分類してもよい。或は、距離情報を用いた変形を行わずに、基準ピットパターンと画像とを例えばＰＯＣ（Phase Only Correlation）等でマッチング処理し、ピットパターンを分類してもよい。

或は、ポリープや溝などの特定の構造を抽出することにより被写体を分類してもよい。例えば、ステレオ画像をステレオマッチング処理して距離マップを取得し、その距離マップに対してローパスフィルター処理やモルフォロジー処理等を行うことにより、被写体の大局的な形状の情報を取得する。そして、その大局的な形状の情報を距離マップから減算して局所的な凹凸構造の情報を取得する。そして、分類したい構造の既知特性情報（例えば特定のポリープが有するサイズや形状、或は病変特有の溝などの深さや幅等）と、局所的な凹凸構造の情報とを比較し、既知特性情報に合致する凹凸構造を抽出する。このようにして、ポリープや溝などの特定の構造を分類することができる。

また強調処理とは、画像上の特定の対象を目立たせる処理或は識別させる処理である。例えば、特定の種類や状態に分類された領域を構造強調や色強調等する処理であってもよいし、或は、その領域をハイライトする処理や、その領域を線で囲む処理、その領域を示すマークを付す処理であってもよい。また、特定の領域以外の領域に対して上記のような処理を行うことによって、その特定の領域を目立たせて（或は識別させて）もよい。

２．第１の実施形態
２．１．内視鏡装置
図３に、第１の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００と撮像部２００とプロセッサー部３００（制御装置）と表示部４００と外部Ｉ／Ｆ部５００と、を含む。

光源部１００は、白色光源１０１と、複数の分光透過率を持った回転色フィルター１０２と、回転色フィルター１０２を駆動する回転駆動部１０３と、回転色フィルター１０２からの分光特性を持った光をライトガイドファイバー２０１の入射端面に集光させる集光レンズ１０４と、を含む。

回転色フィルター１０２は、三原色の赤の色フィルターと緑の色フィルターと青の色フィルターと回転モーターとから構成されている。

回転駆動部１０３は、プロセッサー部３００の制御部３０２からの制御信号に基づいて撮像素子２０９、２１０の撮像期間と同期して回転色フィルター１０２を所定回転数で回転させる。例えば回転色フィルター１０２を１秒間に２０回転させると、各色フィルターは６０分の１秒間隔で入射白色光を横切ることになる。撮像素子２０９、２１０は、６０分の１秒間隔で、３原色の各色光（Ｒ或いはＧ或いはＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。つまり、この構成例では、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像され、実質のフレームレートは２０ｆｐｓとなる。

撮像部２００は、例えば胃や大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバー２０１と、ライトガイドファイバー２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２と、観察対象から戻る反射光を集光する対物レンズ系２０３、２０４と、を含む。対物レンズ系２０３は、光学倍率を調整するズームレンズ２０５を含み、対物レンズ系２０４は、光学倍率を調整するズームレンズ２０６を含む。また撮像部２００は、ズームレンズ２０５を駆動するズームレンズ駆動部２０７と、ズームレンズ２０６を駆動するズームレンズ駆動部２０８と、対物レンズ系２０３、２０４により集光された結像光を検出するための撮像素子２０９、２１０と、撮像素子２０９、２１０からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１１と、を含む。また撮像部２００は、撮像部２００のスコープＩＤ情報と製造バラツキを含めた固有情報が記録されているメモリー２１２と、プロセッサー部３００に着脱可能なコネクター２１３と、を含む。

ズームレンズ駆動部２０７、２０８は、外部Ｉ／Ｆ部５００と、制御部３０２とに接続されており、外部Ｉ／Ｆ部に入力される情報に従ってズームレンズ位置を制御する。ここでズームレンズ駆動部２０７、２０８は例えばボイスコイルモーター（以下、ＶＣＭ）である。また、撮像素子２０９、２１０は、例えばモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等を利用できる。

対物レンズ系２０３、２０４は、所定間隔離した位置に配置されており、所定の視差画像（以降、ステレオ画像と記す）を撮影可能な位置に配置されており、撮像素子２０９、２１０にそれぞれ左画像、右画像を結像させる。撮像素子２０９、２１０から出力された左画像、右画像は、Ａ／Ｄ変換部２１１によりデジタル信号に変換され、その変換された左画像、右画像は、画像処理部３０１へ出力される。メモリー２１２は制御部３０２と接続されており、スコープＩＤ情報と製造バラツキを含めた固有情報がメモリー２１２から制御部３０２へ転送される。

プロセッサー部３００は、Ａ／Ｄ変換部２１１から転送された画像に対して種々の画像処理を行う画像処理部３０１（画像処理装置に対応する）と、内視鏡装置の各部を制御する制御部３０２と、を含む。

表示部４００は、画像処理部３０１から転送される画像を表示するものであり、例えばＣＲＴや液晶モニター等の動画表示可能な表示装置である。

外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッターボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば生体表面の構造物の選択的な強調処理を行う為のスイッチ）等を含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。

２．２．観察モード、被写界深度について
次に撮像部２００の構成要素であるズームレンズ２０５、２０６と、外部Ｉ／Ｆ部５００の関係について詳細に説明する。まず本実施形態の内視鏡装置が有する観察倍率が異なる２つの観察モードについて説明する。

２つの観察モードは通常観察モードと近接拡大観察モードである。通常観察モードは、パンフォーカスの広視野画像により主にスクリーニング観察を行うモードである。近接拡大観察モードは、スクリーニング観察で見つかった病変部に近接して、その粘膜構造や血管走行状態等を拡大観察することで、その病変部が悪性であるか否かを精査するモードである。

図４に、第１の実施形態における外部Ｉ／Ｆ部５００の構成例を示す。上記のような２つのモードは、図４のズームレバー５０１をユーザーが操作することで自動的に切り替わる。即ち、スクリーニング観察を行う場合には、ズームレバー５０１をＷＩＤＥ端の位置に設定し、近接拡大観察を行う場合には、ズームレバー５０１をＴＥＬＥ端に回すことで段階的にズーム倍率を切り替える。

図５は、ズームレバー５０１の操作に対する撮像系の被写界深度の変化を示す図である。撮像系は、対物レンズ系２０３（ズームレンズ２０５を含む）と撮像素子２０９を含む撮像系である。対物レンズ系２０４（ズームレンズ２０６を含む）と撮像素子２１０を含む撮像系についても同様である。

図５に示すように、ズームレバー５０１をＷＩＤＥ端に設定した場合、ズームレンズ２０５が広視野角の位置ＬＰ１に設定される。このＷＩＤＥ端では、フォーカスの合う距離が最も遠く、被写界深度ＤＦ１は最も深くなり、スクリーニング観察時に想定される被写体との相対距離が被写界深度ＤＦ１内に入るように設計されている。一方、ズームレバー５０１をＴＥＬＥ端側へ段階的（例えば５段階等）に移動させることで、ズームレンズ２０５が位置ＬＰ２〜ＬＰ４に設定される。位置ＬＰ２〜ＬＰ４では、ＴＥＬＥ側に近いほど視野角が狭くなり、フォーカスの合う距離が近くなり、被写界深度ＤＦ２〜ＤＦ４は浅くなる。このＴＥＬＥ端側では、被写界深度は浅くなるが、より近接して観察ができる状態となり、高倍率の近接拡大観察が可能となる。

２．３．画像処理装置
図６に、第１の実施形態における画像処理部３０１の詳細な構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０（距離マップ算出部）、合焦判定部３７０を含む。なお以下ではマッチング処理によりピットパターンの分類処理を行う場合を例に説明するが、上述のように種々の分類処理を適用できる。

距離情報取得部３４０は、Ａ／Ｄ変換部２１１が出力するステレオ画像を取得し、そのステレオ画像に基づいて距離情報を取得する。具体的には、左画像を基準画像とし、その左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。そして、その算出した視差をＺ軸方向での距離に変換して距離情報（例えば距離マップ）を取得し、その距離情報を合焦判定部３７０と分類部３１０へ出力する。

ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、上記のようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式により距離情報を取得してもよい。この方式では、レーザー光等を被写体に照射し、その反射光の到達時間により距離を測定する。この場合、例えば反射光を撮像する撮像素子面の各画素位置を基準にした距離を距離情報として取得すればよい。これらの例では、距離計測の基準点を撮像部２００に設定したが、基準点は、撮像部２００以外の任意の場所に設定してもよい。例えば、基準点を、撮像部２００や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の距離情報も本実施形態の距離情報に含まれる。

撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向での距離である。一例としては、撮像部２００の光軸方向での距離を用いればよい。即ち、被写体上のある点での距離は、その点を通る、光軸に平行な線上での撮像部２００から被写体までの距離である。このような距離情報として、例えば距離マップがある。距離マップとは、例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば撮像画像の各画素）について、被写体までのＺ軸方向での距離（奥行き、深度）を当該点の値としたマップのことである。

また、距離情報取得部３４０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。

画像構成部３２０は、Ａ／Ｄ変換部２１１が出力するステレオ画像（左画像及び右画像）を取得し、そのステレオ画像を表示部４００に出力可能な画像にするための画像処理（例えばＯＢ処理、ゲイン処理、γ処理等）を行う。画像構成部３２０は、処理後の画像を分類部３１０と強調処理部３３０へ出力する。

合焦判定部３７０は、撮像部２００から被写体までの距離と撮像部２００の被写界深度とを比較することで、撮像画像の各画素又は各領域（例えば撮像画像を所定サイズの領域に分割した場合の各領域）について合焦判定を行う。具体的には、図７に合焦判定部３７０の詳細な構成例を示す。合焦判定部３７０は、距離情報修正部３７１（距離マップ修正部）、被写界深度取得部３７２、比較部３７３、合焦判定マップ出力部３７４を含む。なお以下では、距離情報が距離マップである場合を例にとり説明する。

距離情報修正部３７１は、距離情報取得部３４０から入力される距離マップに対して、Ｎ×Ｎ画素の所定サイズのローパスフィルター処理を施す。このようにして修正した距離マップを、比較部３７３へ出力する。

被写界深度取得部３７２は制御部３０２に接続されており、制御部３０２からズームレンズ位置の情報が入力される。上述のように、ズームレンズ位置はズームレバー５０１により設定されたものであり、ズームレンズ位置と、合焦する被写体までの距離及び被写界深度との間には、図５で説明した関係がある。被写界深度取得部３７２は、入力されるズームレンズ位置の情報に基づいて、例えばルックアップテーブル等を用いて合焦範囲（合焦する被写体までの距離の範囲）を決定し、その合焦範囲を比較部３７３へ出力する。ルックアップテーブルは、対物レンズ系の２０３、２０４の特性に基づいて予め設定しておけばよい。

比較部３７３は、距離情報修正部３７１から入力される距離マップと、被写界深度取得部３７２から入力される合焦範囲情報を各画素で比較し、各画素が合焦しているか否かを判定する。そして、合焦判定結果を合焦判定マップ出力部３７４に出力する。

合焦判定マップ出力部３７４は、比較部から入力される合焦判定結果に基づいて、合焦判定マップを作成し、その合焦判定マップを分類部３１０に出力する。合焦判定マップは、例えば合焦している画素には“１”を格納し、合焦していない画素には“０”を格納したマップであり、画像構成部３２０から出力される画像と同一サイズ（同一画素数）のデータである。

分類部３１０は、距離情報と分類基準とに基づいて、画像内の各画素（又は領域）の分類処理を行う。具体的には、分類部３１０は、表面形状算出部３５０（３次元形状算出部）と分類処理部３６０とを含む。なお分類部３１０が行う分類処理の詳細については後述し、ここでは概要について説明する。

表面形状算出部３５０は、距離マップの各画素における被写体表面の法線ベクトルを表面形状情報（広義には３次元形状情報）として算出する。そして、分類処理部３６０は、法線ベクトルに基づいて基準ピットパターンを被写体表面に射影する。また、その画素位置での距離に基づいて基準ピットパターンの大きさを画像上での大きさ（即ち距離が遠いほど画像上では小さくなる見かけの大きさ）に調整する。分類処理部３６０は、このようにして修正した基準ピットパターンと画像とのマッチング処理を行い、基準ピットパターンに合致する領域を検出する。

例えば図８に示すように、分類処理部３６０は、正常なピットパターンの形状を基準ピットパターンとし、その基準ピットパターンに合致した領域ＧＲ１を「正常部」に分類し、合致しなかった領域ＧＲ２を「異常部」（非正常部、病変部）に分類する。また分類処理部３６０は、合焦判定の結果に基づいて分類を修正する。具体的には、合焦判定部３７０により非合焦であると判定された領域ＧＲ３については、分類を「不明」に修正する。或は、非合焦である画素についてはマッチング処理の対象から外して分類を「不明」に設定し、それ以外の画素についてマッチング処理を行って「正常部」と「異常部」に分類してもよい。分類処理部３６０は、分類結果を強調処理部３３０に出力する。

ここで「不明」とは、構造物の種類や、正常／異常等の状態、異常度に応じた区分等に分類する分類処理において、いずれの分類に属するかが不明であることを表す。例えば「正常部」と「異常部」に分類する場合、「正常部」と「異常部」のいずれに属するかを判断できない（又は判断しない）ものを「不明」に分類する。

強調処理部３３０は、分類部３１０からの分類結果に基づいて、所望の強調処理を、画像構成部３２０から出力されたステレオ画像の一方の画像（例えば、視差算出の基準とした左画像）に対してのみ行い、処理後の画像を表示部４００へ出力する。即ち、強調処理部３３０は立体画像としては出力せず、表示部４００は２Ｄ画像表示を行う。例えば、分類結果が「正常部」である領域ＧＲ１にはいずれの強調処理も実施せず、「異常部」である領域ＧＲ２には輝度に対する強調処理を実施し、「不明」である領域ＧＲ３には画素値を特定色に置き換える処理を行う。置き換える特定色は、通常の被検体に含まれない特異な色であることが好ましい。ユーザーは、特定色で表示されている領域を観察したい場合は、ズームレバー５０１の操作や、撮像部２００と被検体の相対距離を変化させることにより、当該領域が合焦領域となるように操作する。このような操作を行うことで、ユーザーは新たな分類結果を得て、当該領域を観察することが可能となる。

以上の実施形態によれば、分類部３１０は、被写体が非合焦であると判定された画素又は領域について、非合焦に対応する分類結果（例えば「不明」）を出力する。具体的には、分類部３１０は、被写体が非合焦であると判定された画素又は領域について、分類処理の結果を非合焦に対応する分類に修正する。

このようにすれば、画像内において被写体が合焦していない部分の分類結果が出力されないので、非合焦のために画像が不明瞭となる部分において、実際の被写体の状態とは異なる分類に誤分類された場合であっても、その誤った分類が強調表示されない。これにより、強調表示の信頼性を向上させ、ユーザーに対して正確な情報を提示して診断をアシストできる。

具体的には、分類部３１０は、画素又は領域が正常な構造物の特性（例えば図１６（Ａ）で後述するような基本ピット）に合致するか否かを判定することにより、その画素又は領域を正常部と非正常部（異常部）に分類する。そして、分類部３１０は、被写体が非合焦であると判定された画素又は領域について、正常部と非正常部の分類結果を、正常部と非正常部の分類が不明である不明状態に修正する。

このようにすれば、被写体を例えば正常ピットパターンが存在する正常部と、それ以外の非正常部とに分類できる。そして、非合焦によって画像が不明瞭となる部分において、実際には正常ピットパターンが存在するにも関わらず非正常部に誤分類されてしまうことを抑制できる。なお、図２１等で後述するように、非正常部は、更に細分化された分類にグルーピングされてもよい。このような場合にも、その細分化された分類が動きブレで誤判定される可能性があるが、本実施形態によれば、そのような誤判定を抑制できる。

また本実施形態では、分類部３１０は、被写体が非合焦であると判定された画素又は領域を、分類処理の対象から除き、非合焦に対応する分類に設定してもよい。

このようにすれば、画像内において被写体が合焦していない部分を分類処理の対象から除くことができるので、誤分類を抑制でき、ユーザーに対して正確な情報を提示できる。例えば、非合焦の領域の分類結果を「不明（不明状態）」に設定することにより、その領域が分類不能であることをユーザーに知らせることが可能である。また、非合焦の画素又は領域ではマッチング処理を行わないため、処理負荷を低減できる。

３．第２の実施形態
３．１．内視鏡装置
図９に、第２の実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００と撮像部２００とプロセッサー部３００と表示部４００と外部Ｉ／Ｆ部５００を含む。なお以下では、第１の実施形態と同様の構成要素には同一の符号を付し、適宜説明を省略する。

第１の実施形態と異なるのは、撮像部２００の対物レンズ系２０３、２０４の構成である。即ち、対物レンズ系２０３、２０４は、更にフォーカスレンズ２１４、２１５を含む。また撮像部２００は、更に、フォーカスレンズ２１４、２１５を駆動するフォーカスレンズ駆動部２１６、２１７を含む。フォーカスレンズ駆動部２１６、２１７は、例えばＶＣＭである。またプロセッサー部３００は、更にフォーカス制御部３０３を含む。

図１０に、第２の実施形態における外部Ｉ／Ｆ部５００の構成例を示す。本実施形態において、外部Ｉ／Ｆ部５００は、ズームレバー５０１と、ＡＦボタン５０２を含む。ズームレバー５０１は、一定の範囲を連続的に動作させることが可能であり、ユーザーはズームレバー５０１を動かすことで、ズームレンズ位置をＷＩＤＥ端からＴＥＬＥ端まで連続的に調整することができる。外部Ｉ／Ｆ部５００は、ズームレバー５０１の位置情報を制御部３０２に出力する。また、外部Ｉ／Ｆ部５００は、ＡＦボタン５０２が押されるとＡＦ開始信号を制御部３０２に出力する。

３．２．フォーカス制御部
図１１に、フォーカス制御部３０３の詳細な構成例を示す。フォーカス制御部３０３は、フォーカスレンズ駆動モード判定部３８１と、フォーカスレンズ位置決定部３８２と、ＡＦ制御部３８３（ＡＦ：オートフォーカス）を含む。

フォーカスレンズ駆動モード判定部３８１は、制御部３０２から入力されるズームレンズ位置の情報及びＡＦ開始情報に基づいて、フォーカスレンズ駆動モードを決定する。

具体的には、フォーカスレンズ駆動モード判定部３８１は、ズームレンズ位置が所定の位置よりもＷＩＤＥ側に位置する場合には固定焦点モードを選択し、ズームレンズ位置の情報をフォーカスレンズ位置決定部３８２に出力する。また、フォーカスレンズ駆動モード判定部３８１は、ズームレンズ位置が所定の位置よりもＴＥＬＥ側にあり、外部Ｉ／Ｆ部５００からＡＦ開始信号が入力されていない場合も、固定焦点モードを選択し、ズームレンズ位置の情報をフォーカスレンズ位置決定部３８２に出力する。

そして、フォーカスレンズ位置決定部３８２は、ズームレンズ位置の情報に基づいてフォーカスレンズ位置を決定し、その決定したフォーカスレンズ位置の情報をフォーカスレンズ駆動部２１６、２１７に出力する。ズームレンズ位置が変化するとフォーカスも変動するため、例えば、固定焦点を実現するフォーカスレンズの位置を各ズームレンズ位置に対応づけたテーブルを記憶しておき、そのテーブルを参照してフォーカスレンズの位置を決定すればよい。フォーカスレンズ駆動部２１６、２１７は、フォーカスレンズ位置決定部３８２から入力されるフォーカスレンズ位置の情報に基づいて、フォーカスレンズ２１４、２１５を駆動する。

また、フォーカスレンズ駆動モード判定部３８１は、ズームレンズ位置が所定の位置よりもＴＥＬＥ側にあり、外部Ｉ／Ｆ部５００からＡＦ開始信号が入力された場合は、ＡＦモードを選択し、ＡＦ開始信号をＡＦ制御部３８３に出力する。

そして、ＡＦ制御部３８３は、フォーカスレンズ駆動モード判定部３８１からＡＦ開始信号が入力されると、「実行中」のステータスに設定したＡＦステータス信号を画像処理部３０１に出力し、ＡＦ動作を開始する。ＡＦ動作を開始すると、ＡＦ制御部３８３は、画像処理部３０１から入力される画像からコントラスト値を算出し、公知のコントラストＡＦ手法に基づいてフォーカスレンズ２１４、２１５を駆動する。このとき、ＡＦ制御部３８３は、フォーカスレンズ２１４、２１５を駆動するたびに、そのフォーカスレンズ位置の情報を画像処理部３０１へ出力する。ＡＦ制御部３８３は、算出したコントラスト値から合焦状態となったか否かの判定を行い、合焦状態と判定した場合はＡＦ動作を終了し、「停止中」のステータスに設定したＡＦステータス信号を画像処理部３０１に出力する。

なお、本実施形態において、ズームレンズ位置により、固定焦点モードとＡＦモードを切り替える構成としているのは、図５で説明したように、ズームレンズ位置により被写界深度が異なるためである。即ち、ズームレンズ位置がＷＩＤＥ側にある場合は、被写界深度が十分に深いためＡＦ制御を必要としないが、ズームレンズ位置がＴＥＬＥ側にある場合は、被写界深度が浅くなりＡＦ制御を必要とする、という前提に基づいている。

３．３．合焦判定部
図１２に、第２の実施形態における合焦判定部３７０の詳細な構成例を示す。合焦判定部３７０は、距離情報修正部３７１、被写界深度取得部３７２、比較部３７３、合焦判定マップ出力部３７４を含む。

基本構成は第１の実施形態と同じである。異なる点は、制御部３０２だけでなく、ＡＦ制御部３８３とも接続されている点と、被写界深度取得部３７２の動作である。なお、ＡＦ制御部３８３から入力されているＡＦステータス信号が「停止中」（即ち固定焦点モード）である場合は、被写界深度取得部３７２の動作は第１の実施形態と同様である。

ＡＦステータス信号が「実行中」（即ちＡＦモード）である場合、被写界深度取得部３７２は、制御部３０２から入力されるズーム位置の情報、及び、ＡＦ制御部３８３から入力されるフォーカスレンズ位置の情報に基づいて、予め設定されたルックアップテーブル等を用いて合焦範囲を決定し、その決定した合焦範囲を比較部３７３へ出力する。

３．４．分類部
第２の実施形態における分類処理部３６０について説明する。本実施形態では、分類処理部３６０は、ＡＦ制御部３８３と接続されている。なお、ＡＦ制御部３８３から入力されているＡＦステータス信号が「停止中」である場合は、分類処理部３６０の動作は第１の実施形態と同様である。

ＡＦステータス信号が「実行中」である場合、分類処理部３６０は、距離情報に基づいて修正した分類基準と画像とのマッチング処理を行い、被写体を例えば「正常部」と「異常部」に分類する。更に、分類処理部３６０は、合焦判定部３７０から入力される合焦判定マップに基づいて、分類を修正する。分類処理部３６０は、ＡＦステータス信号が「実行中」である期間の複数の分類結果、及び、複数の合焦判定マップを保持する。そして、複数の分類結果、及び、複数の合焦判定マップに基づいて、一つの修正した分類を決定する。具体的には、複数の合焦マップを比較し、合焦していると判定されている合焦マップが存在する画素については、合焦している時の分類結果を修正した分類とする。合焦していると判定されている合焦マップが存在しない画素については、不明という分類に修正する。結果的に、分類処理部３６０は、「正常部」或いは「異常部」或いは「不明」に分類された分類結果を強調処理部３３０に出力する。

図１３を用いて、２フレームＦ１、Ｆ２の合焦判定マップを用いて分類を修正する場合を例に、分類処理部３６０の動作を説明する。このフレームＦ１、Ｆ２は、ＡＦ動作中に撮影される一連のフレームである。ＡＦ動作におけるレンズ位置の移動によって合焦範囲が変動するため、合焦判定マップではフレーム毎に「合焦」の領域が異なっている。

図１３に示すように、フレームＦ１の合焦判定マップでは領域ＡＡ１が「合焦」、それ以外の領域ＡＡ２が「非合焦」であるとする。分類マップでは領域ＡＡ１は「正常」に分類されており、領域ＡＡ２は画像がぼけているため「異常部」に分類されている。この分類マップは合焦判定マップにより修正され、領域ＡＡ２は「不明」に再分類される。フレームＦ２でも同様に、「合焦」の領域ＡＢ１が「正常」に分類されており、「非合焦」の領域ＡＢ２の分類が「異常」から「不明」に修正される。そして、フレームＦ１、Ｆ２の修正された分類マップを比較し、いずれかが「正常」である画素については「正常」に分類し、いずれも「不明」である画素については「不明」に分類する。このようにして、フレームＦ１、Ｆ２で「正常」の領域ＡＡ１、ＡＢ１を合わせた領域ＡＣ１が「正常」に分類され、最終的な分類マップとして出力される。

以上の実施形態によれば、ＡＦ制御部３８３は、撮像部２００のオートフォーカス動作を制御する。そして、合焦判定部３７０は、オートフォーカス動作を行う複数のフレーム（例えばフレームＦ１、Ｆ２）の各フレームにおいて被写体が合焦しているか否かの判定を行う。分類部３１０は、複数のフレームのいずれかのフレームにおいて被写体が合焦していると判定された画素又は領域については、そのフレームにおける分類処理の結果（図１３の領域ＡＡ１、ＡＢ１の「正常部」）を最終的な分類結果（領域ＡＣ１の「正常部」）として出力する。

このようにすれば、複数のフォーカスレンズ位置において取得した情報（合焦判定マップ、分類マップ）を複合的に用いて最終的な分類結果を出力できる。これにより、例えば近接拡大観察のように被写界深度が浅い場合であっても、ＡＦ動作によりフレーム毎に合焦範囲が変動することを利用することで、最終的に「不明」に分類される領域を狭くできる。これにより、合焦領域で行われた信頼性の高い分類結果を、より広い領域で表示することが可能となる。

４．第１の分類処理手法
４．１．分類部
上述した第１〜第２の実施形態の分類部３１０が行う分類処理について詳細に説明する。図１４に、分類部３１０の詳細な構成例を示す。分類部３１０は、既知特性情報取得部３４５、表面形状算出部３５０、分類処理部３６０を含む。

以下では観察対象を大腸とする場合を例にとり、分類部３１０の動作について説明する。図１５（Ａ）に示すように、観察対象である大腸の生体表面１は隆起病変のポリープ２を有しており、ポリープ２の粘膜表層は正常腺管４０と異常腺管５０を有しているものとする。また、ポリープ２の付け根には、腺管構造が消失した陥凹型病変６０が存在しているものとする。このポリープ２の上部を上から見た場合、例えば図１（Ｂ）に示すように、正常腺管４０は略円形の形状を示し、異常腺管５０は正常腺管４０とは異形な形状を呈している。

表面形状算出部３５０は、距離情報取得部３４０から入力される距離情報（例えば距離マップ）に対して、クロージング処理、或いは適応的ローパスフィルター処理を施すことで、所定構造要素のサイズ以上のサイズをもつ構造を抽出する。ここで所定構造要素は、観察部位の生体表面１に形成されている分類判定したい腺管構造（ピットパターン）である。

具体的には、既知特性情報取得部３４５が、既知特性情報の一つとして構造要素情報を取得し、その構造要素情報を表面形状算出部３５０へ出力する。構造要素情報は、撮像部２００の光学倍率と、生体表面１の表面構造から分類したい腺管構造のサイズ（幅の情報）と、で決定される大きさ情報である。即ち、光学倍率は被写体までの距離に応じて決まっており、その光学倍率でサイズ調整を行うことにより、その距離で撮像された腺管構造の画像上でのサイズを構造要素情報として取得する。

例えば、プロセッサー部３００の制御部３０２が腺管構造の標準的なサイズを記憶しており、既知特性情報取得部３４５は、そのサイズを制御部３０２から取得し、光学倍率によるサイズ調整を行う。具体的には、制御部３０２は、撮像部２００のメモリー２１２から入力されるスコープＩＤ情報に基づいて、観察部位を決定する。例えば撮像部２００が上部消化器用スコープである場合、観察部位は食道、胃、十二指腸と判定され、下部消化
器用スコープである場合、観察部位は大腸と判定される。制御部３０２には、これらの観察部位に応じた標準的な腺管サイズが、予め記録されている。なお、観察部位の決定をスコープＩＤ以外で行う手法として、例えばユーザーが操作可能なスイッチを外部Ｉ／Ｆ部５００が有し、そのスイッチによりユーザーが観察部位を選択する手法がある。

表面形状算出部３５０は、入力される距離情報に基づいて適応的に表面形状算出情報を生成し、その表面形状算出情報を用いて被写体の表面形状情報を算出する。表面形状情報は、例えば図１５（Ｂ）に示す法線ベクトルＮＶである。表面形状算出情報の詳細については以降で説明するが、例えば距離マップの注目位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、その距離情報に適応したフィルターのローパス特性であったりする。即ち、表面形状算出情報は、距離情報に応じて適応的に、非線形或は線形のローパスフィルターの特性を変更する情報である。

生成された表面形状情報は、距離マップと共に分類処理部３６０に入力される。図１６（Ａ）、図１６（Ｂ）に示すように、分類処理部３６０は、基本ピットを撮像画像の生体表面の３次元形状に適応させて修正ピット（分類基準）を生成する。基本ピットは、腺管構造を分類するための１つの正常腺管構造をモデル化したものであり、例えば２値画像である。なお、ここではピットパターンを想定しているため、基本ピット、修正ピットという用語を用いるが、より広義な用語として基準パターン、修正パターンと置き換えることが可能である。

分類処理部３６０は、生成した分類基準（修正ピット）による分類処理を行う。具体的には、分類処理部３６０には、更に画像構成部３２０からの画像が入力される。分類処理部３６０は、修正ピットが撮像画像上に存在するか否かを公知のパターンマッチング処理により判定し、分類領域をグルーピングした分類マップを強調処理部３３０へ出力する。分類マップは、修正ピットが存在する領域とそれ以外の領域に撮像画像を分類したマップである。例えば、修正ピットが存在する領域の画素に“１”を割り当て、それ以外の領域の画素に“０”を割り当てた２値画像である。なお、合焦判定に応じて「不明」の分類を設定する場合には、「不明」の領域の画素に例えば“２”を割り当て、３値画像としてもよい。

強調処理部３３０には、更に画像構成部３２０からの画像（分類画像と同一サイズ）が入力される。そして強調処理部３３０は、分類結果を表す情報を用いて、画像構成部３２０から出力される画像に対して強調処理を行う。

４．２．表面形状算出部
図１５（Ａ）、図１５（Ｂ）を用いて表面形状算出部３５０が行う処理について詳細に説明する。

図１５（Ａ）は、撮像部２００の光軸に沿った断面における、被写体の生体表面１と撮像部２００の断面図であり、モルフォロジー処理（クロージング処理）により表面形状を算出している状態を模式化したものである。クロージング処理に利用する球ＳＰ（構造要素）の半径は、分類したい腺管構造のサイズ（表面形状算出情報）の例えば２倍以上とする。腺管構造のサイズは、上述のように、各画素での被写体までの距離に応じて、画像上でのサイズに調整されたものである。

このようなサイズの球ＳＰを用いることで、正常腺管４０と異常腺管５０と腺管消失領域６０の微小な凹凸を拾わずに、それらの微小な凹凸よりも滑らかな生体表面１の３次元表面形状を抽出できる。そのため、微小な凹凸を残したままの表面形状を用いて基本ピットを修正ピットに修正した場合に比べて、修正誤差を低減することができる。

図１５（Ｂ）は、クロージング処理した後の生体表面の断面図であり、生体表面に対して法線ベクトルＮＶを算出した結果を模式化したものである。表面形状情報は、この法線ベクトルＮＶである。なお、表面形状情報は法線ベクトルＮＶに限定されるものではなく、図１５（Ｂ）に示すクロージング処理後の曲面そのものであってもよいし、その他表面形状を表現できる他の情報であってもよい。

具体的には、既知特性情報取得部３４５が、生体固有の腺管のサイズ（長手方向の幅など）を既知特性情報として取得し、その情報を用いて、実際の生体表面をクロージング処理でなぞる球ＳＰの半径（画像上での腺管のサイズに応じた半径）を決定する。このとき、球ＳＰの半径を、画像上での腺管のサイズよりも大きい半径に設定する。表面形状算出部３５０は、この球ＳＰを用いてクロージング処理を行うことにより、所望の表面形状のみを抽出できる。

図１７に、表面形状算出部３５０の詳細な構成例を示す。表面形状算出部３５０は、モルフォロジー特性設定部３５１、クロージング処理部３５２、法線ベクトル算出部３５３を含む。

既知特性情報取得部３４５から、既知特性情報である生体固有の腺管のサイズ（長手方向の幅など）がモルフォロジー特性設定部３５１に入力される。モルフォロジー特性設定部３５１は、その腺管のサイズと距離マップとに基づいて、表面形状算出情報（クロージング処理に用いる球ＳＰの半径等）を決定する。

決定した球ＳＰの半径情報は、例えば距離マップと同一の画素数を持つ半径マップとしてクロージング処理部３５２へ入力される。半径マップは、各画素に、その画素での球ＳＰの半径の情報が対応付けられたマップである。クロージング処理部３５２は、その半径マップにより画素単位で半径を変更してクロージング処理を行い、その処理結果を法線ベクトル算出部３５３へ出力する。

法線ベクトル算出部３５３には、クロージング処理後の距離マップが入力される。法線ベクトル算出部３５３は、その距離マップ上の注目サンプル位置での３次元情報（例えば画素の座標と、その座標での距離情報）と、注目サンプル位置に隣接する２つのサンプル位置での３次元情報とにより平面を定義し、その定義した平面の法線ベクトルを算出する。法線ベクトル算出部３５３は、算出した法線ベクトルを、距離マップと同一サンプリング数の法線ベクトルマップとして分類処理部３６０へ出力する。

４．３．分類処理部
図１８に、分類処理部３６０の詳細な構成例を示す。分類処理部３６０は、分類基準データ記憶部３６１、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４、領域設定部３６５を含む。

分類基準データ記憶部３６１には、図１６（Ａ）に示す生体表面に露出している正常腺管をモデル化した基本ピットが記憶されている。この基本ピットは２値画像であり、所定距離にある正常腺管を撮像した場合に相当する大きさの画像である。分類基準データ記憶部３６１は、この基本ピットを射影変換部３６２へ出力する。

射影変換部３６２には、距離情報取得部３４０からの距離マップと、表面形状算出部３５０からの法線ベクトルマップと、制御部３０２（図示省略）からの光学倍率と、が入力される。射影変換部３６２は、注目サンプル位置の距離情報を距離マップから抽出し、それに対応するサンプル位置の法線ベクトルを法線ベクトルマップから抽出する。そして、図１６（Ｂ）に示すように、その法線ベクトルを用いて基本ピットを射影変換し、更に光学倍率に合わせて倍率補正を行い、修正ピットを生成する。射影変換部３６２は、その修正ピットを分類基準として類似度算出部３６４へ出力し、修正ピットのサイズを探索領域サイズ設定部３６３へ出力する。

探索領域サイズ設定部３６３は、修正ピットのサイズの縦横２倍の領域を、類似度算出処理の探索領域として設定し、その探索領域の情報を類似度算出部３６４へ出力する。

類似度算出部３６４には、注目サンプル位置での修正ピットが射影変換部３６２から入力され、その修正ピットに対応する探索領域が探索領域サイズ設定部３６３から入力される。類似度算出部３６４は、その探索領域の画像を、画像構成部３２０から入力される画像から抽出する。

類似度算出部３６４は、その抽出した探索領域の画像に対してハイパスフィルター処理、或はバンドパスフィルター処理を施して低周波成分をカットし、そのフィルター処理後の画像に対して２値化処理を行い、探索領域の２値画像を生成する。そして、その探索領域の２値画像内を修正ピットでパターンマッチング処理して相関値を算出し、その相関値のピーク位置と最大相関値のマップを領域設定部３６５へ出力する。例えば、相関値は差分絶対値和であり、最大相関値は差分絶対値和の最小値である。

なお、相関値の算出方法としてはＰＯＣ（Phase Only Correlation）等、他の手法を用いてもよい。ＰＯＣを用いる場合には、回転や倍率変化について不変となるので、相関算出の精度を高めることが可能である。

領域設定部３６５は、類似度算出部３６４から入力される最大相関値マップに基づいて、差分絶対値和が所定閾値Ｔ以下である領域を抽出し、更にその領域内の最大相関値の位置と隣接探索範囲の最大相関値の位置との間の３次元距離を算出する。そして、算出した３次元距離が所定誤差の範囲に含まれている場合は、その最大相関位置を含む領域を正常領域としてグルーピングし、分類マップを生成する。領域設定部３６５は、生成した分類マップを強調処理部３３０へ出力する。

上記分類処理の具体例を、図１９（Ａ）〜図１９（Ｆ）に示す。図１９（Ａ）に示すように、ある画像内位置を処理対象位置とする。図１９（Ｂ）に示すように、射影変換部３６２は、当該処理対象位置での表面形状情報により基準パターンを変形することで、当該処理対象位置での修正パターンを取得する。図１９（Ｃ）に示すように、探索領域サイズ設定部３６３は、取得された修正パターンから、処理対象位置の周辺の探索領域（上述の例であれば修正パターンの縦横２倍のサイズの領域）を設定する。

図１９（Ｄ）に示すように、類似度算出部３６４は、当該探索領域において、撮像された構造物と修正パターンとのマッチングをとる。このマッチングを画素単位で行ったとすれば、画素毎に類似度が算出される。そして、図１９（Ｅ）に示すように、領域設定部３６５は、探索領域での類似度のピークに対応する画素を特定し、当該画素での類似度が所与の閾値以上であるか否かを判定する。類似度が閾値以上であれば、当該ピーク位置を基準とする修正パターンの大きさの領域（図１９（Ｅ）では修正パターンの中心部を基準位置としているが、これに限定されない）に、修正パターンが検出されたということであるから、当該領域は基準パターンに合致する領域であるという分類をすることができる。

なお、図１９（Ｆ）に示すように、修正パターンを表す形状の内部を分類基準に合致する領域としてもよく、種々の変形実施が可能である。一方、類似度が閾値未満の場合には、処理対象位置の周辺領域では基準パターンにマッチングする構造はないということになる。この処理を各画像内位置で行うことで、撮像画像内に、０個、１個、或いは複数の基準パターンに合致する領域と、それ以外の領域とが設定されることになる。そして、基準パターンに合致する領域が複数ある場合には、それらのうち重なり合うものや近接するものを統合していくことで、最終的に分類結果が得られることになる。ただし、ここで述べた類似度に基づく分類処理の手法は一例であり、他の手法により分類処理を行ってもよい。また、類似度の具体的な算出手法については、画像間類似度、画像間相違度を算出する種々の手法が知られているため、詳細な説明は省略する。

以上の実施形態によれば、分類部３１０は、距離情報と既知特性情報に基づいて、被写体の表面形状情報を求める表面形状算出部３５０と、表面形状情報に基づいて分類基準を生成し、生成した分類基準を用いた分類処理を行う分類処理部３６０と、を含む。

これにより、表面形状情報により表される表面形状に基づいて、適応的に分類基準を生成し分類処理を行うことが可能となる。上述した撮像部２００の光軸方向と被写体表面のなす角度に起因する撮像画像上での構造物の変形等、表面形状による分類処理の精度低下要因は種々考えられるが、本実施形態の手法によれば、そのような場合でも精度よく分類処理できる。

また、既知特性情報取得部３４５は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３６０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、被写体の構造物が表面形状によって変形された状態で撮像された場合にも、精度よく分類処理を行うことが可能になる。具体的には、円形の腺管構造は図１（Ｂ）等に示すように、種々の変形をされた状態で撮像されるが、基準パターン（図１６（Ａ）の基準ピット）から表面形状に応じて適切な修正パターン（図１６（Ｂ）の修正ピット）を生成して分類基準とすることで、変形された領域においても適切にピットパターンを検出し、分類できる。

また、既知特性情報取得部３４５は、正常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、撮像画像を正常である領域と正常でない領域とに分類する分類処理を行うことが可能になる。正常でない領域とは、例えば生体用内視鏡であれば、生体の病変部であることが疑われる領域である。このような領域はユーザーにとって注目度が高いことが想定されるため、適切に分類することで注目すべき領域の見逃しを抑止すること等が可能になる。

また、被写体は、大局的な３次元構造と、その大局的な３次元構造に比べて局所的な凹凸構造とを有し、表面形状算出部３５０は、被写体が有する大局的な３次元構造と局所的な凹凸構造のうち、大局的な３次元構造を距離情報から抽出することで、表面形状情報を求めてもよい。

これにより、被写体の構造を大局的なものと局所的なものに分けた場合に、大局的な構造から表面形状情報を求めることが可能になる。撮像画像上での基準パターンの変形は、その基準パターンに比べて大きい構造である大局的な構造に起因するものが支配的である。そのため、本実施形態では大局的な３次元構造から表面形状情報を求めることで、精度よく分類処理を行うことができる。

５．第２の分類処理手法
図２０に、第２の分類処理手法における分類処理部３６０の詳細な構成例を示す。分類処理部３６０は、分類基準データ記憶部３６１、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４、領域設定部３６５、第２の分類基準データ生成部３６６を含む。なお、第１の分類処理手法における構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

第２の分類処理手法では、分類基準である基本ピットが正常腺管だけでなく、異常腺管に対しても用意する点と、実際の撮像画像のピットを抽出し、第２の分類基準データ（第２の基準パターン）として分類基準データを置き換え、その置き換え後の第２の分類基準データに基づいて類似度を算出し直す点と、が第１の分類処理手法と異なっている。

具体的には図２２（Ａ）〜図２２（Ｆ）に示すように、生体表面のピットパターンは、正常状態であるか異常状態であるかに応じて、また異常状態である場合には病変の進行度等に応じて、その形状が変化することが知られている。例えば、正常粘膜であれば図２２（Ａ）に示すようにピットパターンは円形に近く、病変が進行すると図２２（Ｂ）の星芒状や、図２２（Ｃ）、図２２（Ｄ）の管状型といった複雑な形状になり、さらに進行すると図２２（Ｆ）に示したようにピットパターンが消失したりする。よって、これらの典型的なパターンを基準パターンとして保持しておき、撮像画像に撮像された被写体表面と、当該基準パターンとの類似度等を判定することで、被写体の状態を判定することができる。

第１の分類処理手法との相違点について詳細に説明する。分類基準データ記憶部３６１には、正常腺管の基本ピットだけでなく、図２１に示すような複数のピットが記録されており、これらのピットは射影変換部３６２へ出力される。射影変換部３６２の処理は第１の分類処理手法と同様である。即ち、分類基準データ記憶部３６１に格納されている全てのピットに対して射影変換処理を行い、複数の分類タイプに対する修正ピットを探索領域サイズ設定部３６３と類似度算出部３６４へ出力する。

類似度算出部３６４は、複数の修正ピットに対して、それぞれの最大相関値マップを生成する。なお、この時点での最大相関値マップは、分類マップの生成（分類処理の最終出力の生成）に用いられるものではなく、第２の分類基準データ生成部３６６に出力され、新たな分類基準データの生成に用いられることになる。

第２の分類基準データ生成部３６６は、類似度算出部３６４で類似度が高い（例えば差分絶対値が所定閾値以下である）と判定された画像上の位置のピット画像を、新たに分類基準として採用する。これにより、予め用意されている標準的なモデル化したピットではなく、実際の画像から抽出したピットを分類基準にするため、より最適な精度の高い分類判定が可能となる。

具体的には、第２の分類基準データ生成部３６６には、類似度算出部３６４からの分類毎の最大相関値マップと、画像構成部３２０からの画像と、距離情報取得部３４０からの距離マップと、制御部３０２からの光学倍率と、既知特性情報取得部３４５からの分類毎の腺管のサイズと、が入力される。そして第２の分類基準データ生成部３６６は、分類毎の最大相関値のサンプル位置に対応する画像データを、その位置の距離情報と腺管のサイズと光学倍率に基づいて抽出する。

更に第２の分類基準データ生成部３６６は、抽出された実画像から低周波成分を除いたグレースケール画像（明るさの違いをキャンセルする為）を取得し、当該グレースケール画像を第２の分類基準データとして、法線ベクトル及び距離情報と併せて分類基準データ記憶部３６１へ出力する。分類基準データ記憶部３６１は、その第２の分類基準データ及び関連情報を記憶する。これにより、各分類で、被写体との相関性が高い第２の分類基準データを収集できたことになる。

なお、上記の第２の分類基準データは、撮像部２００の光軸方向と被写体表面とがなす角度、及び撮像部２００から被写体面までの距離による変形（大きさの変化）の影響が排除されていない。よって、第２の分類基準データ生成部３６６は、それらの影響をキャンセルする処理を行った上で第２の分類基準データを生成してもよい。具体的には、上記グレースケール画像に対して、所与の基準方向から所与の距離にあるものとして撮像した場合に相当するように変形処理（射影変換処理及び変倍処理）を行った結果を第２の分類基準データとすればよい。

第２の分類基準データが生成された後は、当該第２の分類基準データを対象として、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４において、再度処理を行えばよい。具体的には、第２の分類基準データに対して射影変換処理を行って第２の修正パターンを生成し、生成した第２の修正パターンを分類基準として第１の分類処理手法と同様の処理を行う。

なお、本実施形態で用いる異常腺管の基本ピットは、点対象で無い場合がほとんどである。よって、類似度算出部３６４での類似度算出（修正パターンを用いる場合と、第２の修正パターンを用いる場合の両方において）では、回転不変のＰＯＣ（Phase Only Correction）を実施して類似度を算出することが望ましい。

領域設定部３６５は、図２１の分類別（Ｉ型、ＩＩ型、・・・）にグルーピングした分類マップ、或は図２１の分類のタイプ別（タイプＡ、Ｂ、・・・）にグルーピングした分類マップを生成する。具体的には、正常腺管に分類される修正ピットで相関が得られた領域の分類マップを生成し、異常腺管に分類される修正ピットで相関が得られた領域の分類マップを分類別やタイプ別に生成する。そして、これらの分類マップを合成した分類マップ（多値画像）を生成する。合成する際、それぞれの分類で相関が得られた領域のオーバーラップ領域は分類未確定領域としてもよいし、悪性レベルの高い方の分類に置き換えてもよい。領域設定部３６５は、この合成した分類マップを強調処理部３３０へ出力する。

強調処理部３３０は、多値画像の分類マップに基づいて、例えば輝度或は色の強調処理等を行う。

以上の実施形態によれば、既知特性情報取得部３４５は、異常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。

これにより、例えば図２１に示すように、複数の基準パターンを取得し、それらを用いて分類基準を生成し、分類処理を行うことが可能になる。即ち、図２２（Ａ）〜図２２（Ｆ）に示すような典型的なパターンを基準パターンとして分類処理を行うことで、被写体の状態を詳細に分類することができる。

また、既知特性情報取得部３４５は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３６０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで修正パターンを取得し、撮像画像に撮像された被写体の構造物と、修正パターンとの類似度を、撮像画像の各画像内位置で求め、求めた類似度に基づいて、第２の基準パターン候補を取得してもよい。そして、分類処理部３６０は、取得した第２の基準パターン候補と、表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、第２の基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。

これにより、撮像画像に基づいて第２の基準パターンを生成し、当該第２の基準パターンを用いて分類処理を行うことが可能になる。よって、実際に撮像画像に撮像された被写体から分類基準を作成することができるため、当該分類基準は処理対象としている被写体の特性をよく反映したものとなり、既知特性情報として取得された基準パターンをそのまま用いる場合に比べて、分類処理の精度をより向上させること等が可能になる。

６．ソフトウェア
上記の実施形態では、画像処理部３０１を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。情報記憶媒体は、ＣＤ−ＲＯＭやＵＳＢメモリーの他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステムの内外に備えられるＨＤＤやＲＡＭ、ＲＯＭ等の「固定用の物理媒体」、モデムを介して接続される公衆回線や、他のコンピューターシステム又はサーバーが接続されるローカルエリアネットワーク又は広域エリアネットワーク等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステムによって読み取り可能なプログラムを記録するあらゆる記録媒体を含む。

即ち、プログラムは、上記の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム（操作部、処理部、記憶部、出力部を備える装置）は、このような記録媒体からプログラムを読み出して実行することで画像処理装置を実現する。なお、プログラムは、コンピューターシステムによって実行されることに限定されるものではなく、他のコンピューターシステム又はサーバーがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。ここで、画像処理装置の作動方法（画像処理方法）を実現する場合も同様に、ハードウェアの画像処理装置にその方法を実行させてもよいし、その方法の処理手順を記述したプログラムをＣＰＵに実行させてもよい。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１生体表面、２ポリープ、４０正常腺管、５０異常腺管、
６０腺管消失領域、１００光源部、１０１白色光源、
１０２回転色フィルター、１０３回転駆動部、１０４集光レンズ、
２００撮像部、２０１ライトガイドファイバー、２０２照明レンズ、
２０３，２０４対物レンズ系、２０５，２０６ズームレンズ、
２０７，２０８ズームレンズ駆動部、２０９，２１０撮像素子、
２１１Ａ／Ｄ変換部、２１２メモリー、
２１３コネクター、２１４，２１５フォーカスレンズ、
２１６，２１７フォーカスレンズ駆動部、３００プロセッサー部、
３０１画像処理部、３０２制御部、３０３フォーカス制御部、
３０５画像取得部、３１０分類部、３２０画像構成部、
３３０強調処理部、３４０距離情報取得部、３４５既知特性情報取得部、
３５０表面形状算出部、３５１モルフォロジー特性設定部、
３５２クロージング処理部、３５３法線ベクトル算出部、
３６０分類処理部、３６１分類基準データ記憶部、３６２射影変換部、
３６３探索領域サイズ設定部、３６４類似度算出部、３６５領域設定部、
３６６分類基準データ生成部、３７０合焦判定部、
３７１距離情報修正部、３７２被写界深度取得部、３７３比較部、
３７４合焦判定マップ出力部、３８１フォーカスレンズ駆動モード判定部、
３８２フォーカスレンズ位置決定部、３８３制御部、４００表示部、
５００外部Ｉ／Ｆ部、５０１ズームレバー、５０２ＡＦボタン、
ＤＡ，ＤＦ１〜ＤＦ４被写界深度、Ｆ１，Ｆ２フレーム、
ＧＲ１〜ＧＲ３領域、ＬＰ１〜ＬＰ４ズームレンズ位置、
ＮＶ法線ベクトル、ＳＰ球

Claims

被写体の像を含む撮像画像を取得する画像取得部と、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
前記距離情報と前記撮像部の被写界深度情報との比較結果に基づいて、前記撮像画像の画素又は領域において前記被写体が合焦しているか否かの判定を行う合焦判定部と、
前記被写体の構造物の分類処理を行い、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の結果を修正する、又は、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の対象を選択し、前記選択した対象に対して前記分類処理を行う分類部と、
前記分類処理の結果に基づいて、前記撮像画像に対して行う強調処理の種類を選択する又は前記強調処理の対象を選択する強調処理部と、
を含むことを特徴とする画像処理装置。
請求項１において、
前記分類部は、
前記判定の結果に応じて前記分類処理の結果を修正する場合において、前記被写体が非合焦であると判定された前記画素又は前記領域について、前記分類処理の結果を前記非合焦に対応する分類に修正することを特徴とする画像処理装置。
請求項２において、
前記分類部は、
前記分類処理において、前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記判定の結果に応じて前記分類処理の結果を修正する場合において、前記被写体が非合焦であると判定された前記画素又は前記領域について、前記正常部と前記非正常部の分類結果を、前記正常部と前記非正常部の分類が不明である不明状態に修正することを特徴とする画像処理装置。
請求項１において、
前記分類部は、
前記判定の結果に応じて前記分類処理の対象を選択する場合において、前記被写体が非合焦であると判定された前記画素又は前記領域を、前記分類処理の対象から除き、
前記分類処理において、前記分類処理の対象から除いた前記画素又は前記領域を前記非合焦に対応する分類に設定することを特徴とする画像処理装置。
請求項４において、
前記分類部は、
前記判定の結果に応じて前記分類処理の対象を選択する場合において、前記被写体が非合焦であると判定された前記画素又は前記領域を、前記分類処理の対象から除き、
前記分類処理において、前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、前記分類処理の対象から除いた前記画素又は前記領域を、前記正常部と前記非正常部の分類が不明である不明状態に分類することを特徴とする画像処理装置。
請求項１において、
前記撮像部の前記被写界深度情報を取得する被写界深度取得部と、
前記距離情報と、前記被写界深度情報とを比較する比較部と、
を含み、
前記合焦判定部は、
前記比較部からの前記比較結果に基づいて前記合焦しているか否かの前記判定を行うことを特徴とする画像処理装置。
請求項６において、
前記合焦判定部は、
前記画素又は前記領域における前記距離情報が表す前記被写体までの距離が、前記被写界深度情報が表す被写界深度の範囲内であるとの前記比較結果が得られた場合に、前記画素又は前記領域における前記被写体が合焦していると判定することを特徴とする画像処理装置。
請求項６において、
前記撮像部が有するフォーカスレンズの位置を制御するフォーカス制御部を含み、
前記被写界深度取得部は、
前記フォーカスレンズの位置に対応する前記被写界深度情報を取得することを特徴とする画像処理装置。
請求項８において、
前記撮像部が有するズームレンズの位置を制御する制御部を含み、
前記被写界深度取得部は、
前記ズームレンズの位置及び前記フォーカスレンズの位置の組み合わせに対応する前記被写界深度情報を取得することを特徴とする画像処理装置。
請求項６において、
前記撮像部が有するズームレンズの位置を制御する制御部を含み、
前記被写界深度取得部は、
前記ズームレンズ位置に対応する前記被写界深度情報を取得することを特徴とする画像処理装置。
請求項１において、
前記撮像部のオートフォーカス動作を制御するＡＦ制御部を含み、
前記合焦判定部は、
前記オートフォーカス動作を行う複数のフレームの各フレームにおいて前記被写体が合焦しているか否かの判定を行い、
前記分類部は、
前記複数のフレームのいずれかのフレームにおいて前記被写体が合焦していると判定された前記画素又は前記領域については、当該フレームにおける分類処理の結果を最終的な分類結果として出力することを特徴とする画像処理装置。
請求項２において、
前記強調処理部は、
前記分類部により前記非合焦に対応する分類結果が出力された前記画素又は前記領域を強調することを特徴とする画像処理装置。
請求項１２において、
前記分類部は、
前記分類処理において、前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記判定の結果に応じて前記分類処理の結果を修正する場合において、前記非合焦に対応する分類結果として、前記正常部と前記非正常部の分類が不明である不明状態に修正し、
前記強調処理部は、
前記分類部により前記不明状態に分類された前記画素又は前記領域を強調することを特徴とする画像処理装置。
請求項１において、
前記分類部は、
前記分類処理において、前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
前記強調処理部は、
前記分類部により前記非正常部に分類された前記画素又は前記領域を強調することを特徴とする画像処理装置。
請求項１において、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部を含み、
前記分類部は、
前記距離情報と前記既知特性情報に基づいて前記被写体の構造物の分類処理を行うことを特徴とする画像処理装置。
請求項１５において、
前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部を含み、
前記分類部は、
前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた前記分類処理を行う分類処理部と、
を含むことを特徴とする画像処理装置。
請求項１６において、
前記既知特性情報取得部は、
所与の状態における前記被写体の前記構造物に対応する基準パターンを、前記既知特性情報として取得し、
前記分類処理部は、
前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
請求項１乃至１７のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
被写体の像を含む撮像画像を取得し、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記距離情報と前記撮像部の被写界深度情報との比較結果に基づいて、前記撮像画像の画素又は領域において前記被写体が合焦しているか否かの判定を行い、
前記被写体の構造物の分類処理を行い、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の結果を修正する、又は、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の対象を選択し、前記選択した対象に対して前記分類処理を行い、
前記分類処理の結果に基づいて、前記撮像画像に対して行う強調処理の種類を選択する又は前記強調処理の対象を選択する、
ステップをコンピューターに実行させるプログラム。
被写体の像を含む撮像画像を取得し、
撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
前記距離情報に基づいて、前記撮像画像の画素又は領域において前記被写体が合焦しているか否かの判定を行い、
前記被写体の構造物の分類処理を行い、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の結果を修正する、又は、前記画素又は前記領域における前記判定の結果に応じて前記分類処理の対象を選択し、前記選択した対象に対して前記分類処理を行い、
前記分類処理の結果に基づいて、前記撮像画像に対して行う強調処理の種類を選択する又は前記強調処理の対象を選択する、
ことを特徴とする画像処理装置の作動方法。