JP6137921B2

JP6137921B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP6137921B2
Application number: JP2013085675A
Authority: JP
Inventors: 順平高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-04-16
Filing date: 2013-04-16
Publication date: 2017-05-31
Anticipated expiration: 2033-04-16
Also published as: JP2014207645A; US20140307072A1

Description

本発明は、画像処理装置、画像処理方法及びプログラム等に関する。

内視鏡診断では、生体表面の腺管構造（ピットパターン）や血管パターンを拡大観察することで、病変の早期発見が可能である。拡大観察は、生体にスコープを近接させて行うが、スコープを近づけすぎるとピントが合わなくなるため、光学系での拡大率には制限がある。そこで前記拡大率を補うために、電子ズームの併用が一般的となってきている。電子ズームを併用することで、ピットパターンや血管パターンの視認性が向上する。

しかし、現行の内視鏡スコープでは手作業で電子ズームのオン／オフや倍率を切り換える必要があり、ドクターの負荷を増大させる一因となっている。

また、上記の課題は内視鏡装置に限定されるものではない。例えば通常のデジタルカメラにおいても、単焦点マクロレンズ等を用いて被写体を接写するマクロ撮影では、被写体を大きく撮像したいという要求があるにもかかわらず、レンズ特性により被写体に近づける距離は限界がある。その場合、解像度を多少犠牲にしても被写体像を大きくしたいということであれば、電子ズームを併用することは考えられる。

つまり、被写体との距離に応じて電子ズームを制御することが望まれるところ、特許文献１には被写体と撮像素子の間の距離に基づいて、電子ズーム倍率を自動制御する手法が開示されている。

特開２０１１−１６６４９６号公報

特許文献１の手法は、被写体との距離が離れた場合に拡大処理（電子ズーム倍率として１より大きい値を設定する処理）を行い、被写体との距値が近づいた場合に縮小処理（電子ズーム倍率として１より小さい値を設定する処理）を行うものであり、その目的は距離変化が生じても画像上での被写体の大きさを変動させないというものである。

上述したように、ここでは被写界深度範囲が決まっていることから、撮像装置自体を被写体に近づけることによる被写体の拡大には限界があり、そのために被写体との距離が近づいた場合には電子ズームにより拡大処理を行って拡大率を補うことを考えている。つまり、特許文献１の手法では電子ズームのズーム倍率制御が逆に行われることになり、上述した課題に対応することができない。

本発明の幾つかの態様によれば、撮像部から被写体までの距離が近いほど、電子ズーム倍率を大きくすることで、当該被写体の拡大処理を容易にする画像処理装置、画像処理方法及びプログラム等を提供することができる。

本発明の一態様は、撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、設定された前記電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、を含み、前記電子ズーム条件設定部は、前記距離情報により表される前記距離が近いほど、前記電子ズーム倍率を大きく設定する画像処理装置に関係する。

本発明の一態様では、画像に対応づけて取得した距離情報に基づいて、電子ズーム倍率を含む電子ズーム条件を設定し、その際に、距離が近いほど電子ズーム倍率を大きくする。よって、距離情報に応じて電子ズーム倍率が制御されるため、ユーザーに対して煩雑な操作を強いることを抑止したり、距離を近づけるだけでは被写体の拡大率が不十分な状況等において、電子ズーム処理により拡大率を補うこと等が可能になる。

本発明の他の態様は、撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、前記距離情報により表される前記距離が近いほど、電子ズーム倍率を大きく設定する処理を行い、設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、画像処理方法に関係する。

本発明の他の態様は、撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、前記距離情報により表される前記距離が近いほど、電子ズーム倍率を大きく設定する処理を行い、設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、ステップをコンピュータに実行させるプログラムに関係する。

本実施形態の画像処理装置に対応する内視鏡装置のシステム構成例。撮像素子の構成例。各色フィルターの分光感度特性の例。近点及び遠点での被写界深度範囲の例。画像処理部の構成例。距離取得部の構成例。電子ズーム条件設定部の構成例。図８（Ａ）〜図８（Ｅ）はズーム中心位置を設定する手法の説明図。信頼性判定部の構成例。図１０（Ａ）、図１０（Ｂ）は距離と電子ズーム倍率の関係例。本実施形態の処理を説明するフローチャート。ソフトウェアによる実施形態を説明するフローチャート。本実施形態の画像処理装置に対応する内視鏡装置の他のシステム構成例。各光源のスペクトルの例。画像処理部の他の構成例。距離取得部の他の構成例。信頼性判定部の他の構成例。ソフトウェアによる実施形態を説明する他のフローチャート。本実施形態の画像処理装置のシステム構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。本実施形態の画像処理装置は、図１９に示したように、撮像部（後述する図１の撮像部２００等）の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部３１９（後述する図５の同時化処理部３１１、画像構成処理部３１２に相当）と、撮像部から被写体までの距離に基づく距離情報を、画像に対応付けて取得する距離取得部３１３と、電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部３１４と、設定された電子ズーム条件に基づいて、画像に対して電子ズーム処理を施す電子ズーム処理部３１５と、を含み、電子ズーム条件設定部３１４は、距離情報により表される距離が近いほど、電子ズーム倍率を大きく設定するする。

これにより、撮像部から被写体までの距離が近くなるほど、電子ズーム倍率を大きく設定し、設定した電子ズーム倍率を用いた電子ズーム処理を行うことが可能になる。図４の近点に示したように、被写界深度範囲を撮像部から近い位置に設定したとしても、当該被写界深度範囲の撮像部側端点と撮像部との間にはある程度の距離がある（例えば図４の例であれば５ｍｍ）。そのため、撮像部自体を被写体に近づけることで被写体を拡大しようとしても、当該距離以上に近づけることができず（近づけた場合、被写界深度範囲を外れピントが合わなくなる）、その拡大率には限界がある。

その点、本実施形態の手法を用いれば、電子ズームにより拡大率を補うことができるため、被写体を大きく撮像することができる。さらにその際、撮像部から被写体までの距離に基づいて電子ズーム倍率が自動制御されるため、ユーザーによる操作が煩雑になることも抑止可能である。

本実施形態の手法は種々の画像処理装置に適用可能であるが、ここでは一例として内視鏡装置を用いて説明する。内視鏡スコープでは、スコープ先端を生体に近づけることで拡大観察が可能である。拡大観察の際には、上述したように、合焦物体位置を近点に切り換えることで、生体により近づくことができる。尚、本実施形態では、合焦物体位置を切り換えられる（近点／遠点）構成を示しているが、合焦物体位置の切り換えは本発明の必須の構成要件ではない。

しかし、対物レンズ（後述する図１の２３１、２３２）は所定の被写界深度を有するため、スコープを生体に近づけすぎるとピントが合わなくなる。そのため光学系での拡大率には限界があり、病変の質的診断ができるほどの拡大率は得られない。拡大率をより高める（合焦物体位置をさらに近点にする）ことも可能であるが、この場合、被写界深度が極端に狭くなるため、ピント合わせが困難となり使い勝手が低下する。上記の理由により、電子ズームを併用することで拡大率を補っているが、電子ズームはドクターが手動で切り換える必要があり、操作が煩雑となる問題がある。

そこで、本実施形態では、電子ズームを自動制御することで上記問題を解決し、スコープの操作性を向上させる。具体的には、後述するステレオマッチング法により検出したスコープと生体間の距離に基づき、電子ズーム倍率を自動制御する。電子ズーム倍率は後述する方法で図１０に示すように距離に基づいて制御する。これにより、スコープを生体に近づけるだけで電子ズームがかかり、病変の質的診断が可能となる。また、距離に応じて電子ズーム倍率を徐々に大きくすることで、電子ズームのオン／オフが切り替わる点での不連続性を改善することができる。

なお、上記の手法では、生体の拍動や手振れなど、ドクターの意図しない動きにより電子ズーム倍率が変動し、非常に見難い画像となる問題がある。さらに、距離の検出にステレオマッチング法を用いるため、生体の構造が乏しい場合や、深度外でピントが合っていない場合は、検出される距離が安定せず、電子ズーム倍率が不自然に変動する危険性がある。画像内に輝点や、暗部領域が存在する場合も、同様の問題が懸念される。

また、電子ズーム処理を施す場合には、ズーム前画像の視野よりも表示画像の視野が狭くなる特徴がある。一方で、内視鏡装置においては生体の構造上、ドクターの注目領域を常に表示画像の中央部に撮像できるとは限らない。具体例として、図８（Ａ）に示すように、画像周辺部に注目領域（病変と疑われる領域）が存在する場合を考える。上述のように、光学倍率だけでは拡大率に限界があり、このままでは、注目領域の診断に重要な血管パターンの視認性が悪い。そこで、電子ズーム処理を施すことにより、血管パターンの視認性を改善できる。しかし、図８（Ａ）のような画像に電子ズーム処理を施す場合、電子ズーム処理後の画像の表示領域は、図８（Ｂ）のＡＲＥＡ１に示す領域となり、注目領域が表示されなくなる問題がある（図８（Ｄ））。

そこで本出願人は、電子ズーム条件として、電子ズーム倍率Ｚだけでなくズーム中心位置（狭義には中心座標（ＰＸ，ＰＹ））を診断シーンに適応して制御する手法を合わせて提案する。以下、概要を説明し、処理の詳細は第１、第２の実施形態において後述する。

本実施形態では撮像部から被写体までの距離を表すＤｉｓｔに基づいて、図１０（Ａ）や図１０（Ｂ）に示したように電子ズーム倍率を制御する。図１０（Ａ）や図１０（Ｂ）に従って電子ズーム倍率を制御することで、距離が近くなるほど、つまりユーザーが被写体の拡大率を大きくすることを望んでいると考えられるほど、電子ズーム倍率を大きく設定し拡大率を補うことが可能になる。

しかし、上述したように手ぶれ等の意図しない距離変動や、ステレオマッチング等の精度低下による影響は低減する必要がある。よって本実施形態では、処理対象タイミングで取得された距離Ｄｉｓｔ＿Ｎｏｗをそのまま上記Ｄｉｓｔとして用いるのではなく、信頼性の判定結果に応じて、以前のタイミングで取得されたＤｉｓｔであるＤｉｓｔ＿Ｐｒｅ等を併用しつつ上記Ｄｉｓｔを決定する。

信頼性の判定手法は種々考えられるが、ここでは時間的な距離変動（例えばＤｉｓｔ＿ＮｏｗとＤｉｓｔ＿Ｐｒｅの差分値等）が大きい場合には、手ぶれ等のユーザーが意図しない距離変動であるとして、信頼性が低いと判定する。また、画像内での被写体の時間的な動き（異なるタイミングでの画像間の動きベクトル等）についても判定し、動きが大きい場合には信頼性が低いと判定する。

さらに距離情報をステレオマッチングで取得する場合には、ステレオマッチング処理が適切に行われたかも信頼性判定に用いる。例えば、画像のコントラストが低い場合には、画像全体が平坦な状態となっており、画像間のマッチング処理の精度が低くなる傾向にある。その場合、ステレオマッチング処理で取得される距離情報の精度も低いと考えられるため、信頼性判定においては信頼性が低いと判定する。

信頼性の判定結果と、それに基づくＤｉｓｔの算出処理の関係の詳細については後述するが、基本的には信頼性が低い場合にはＤｉｓｔ＿ＮｏｗをＤｉｓｔの算出に用いない、或いはＤｉｓｔの算出処理におけるＤｉｓｔ＿Ｎｏｗの寄与度を低くする処理が行われる。一方、信頼性が高い場合には、Ｄｉｓｔ＿ＮｏｗをＤｉｓｔの算出に用い、特にＤｉｓｔの算出処理におけるＤｉｓｔ＿Ｎｏｗの寄与度を、信頼性が低い場合に比べて高くする処理が行われる。

また、電子ズーム処理のズーム中心位置（ＰＸ，ＰＹ）については、ユーザーが注目するか否か等の観点から決定し、注目度合いが高い領域にズーム中心位置を設定すればよい。具体的な手法は後述する。この場合、本実施形態の手法では、電子ズーム条件として電子ズーム倍率とズーム中心位置を設定し、設定されたズーム中心位置を中心として、設定された電子ズーム倍率を用いて電子ズーム処理を行うことになる。

以下、第１，第２の実施形態を用いて詳細を説明する。なお、図１等に示したように、以下の説明では内視鏡装置を例にとるが、本実施形態の手法が内視鏡装置以外の画像処理装置に適用可能なことは上述したとおりである。

２．第１の実施形態
第１の実施形態について説明する。具体的には、本実施形態のシステム構成例を説明した後、各部の処理の詳細について説明する。さらにフローチャートを用いて処理の流れを説明し、最後に変形例についても述べる。

２．１システム構成例
第１の実施形態に係る画像処理装置を含む内視鏡装置について図１を用いて説明する。本実施形態に係る画像処理装置を含む内視鏡装置は、図１に示すように光源部１００と、撮像部２００と、プロセッサー部３００（画像処理装置に対応）と、表示部４００と、
外部Ｉ／Ｆ部５００で構成される。

光源部１００は、白色光源１１０と、該白色光源１１０からの白色光をライトガイドファイバー２１０に集光する集光レンズ１２０を備える。

撮像部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。以降の説明では撮像部２００をスコープとも記載する。撮像部２００は着脱可能な構成をしている。撮像部２００は複数種類存在し、例えば、上部消化器スコープや下部消化器スコープなどである。

撮像部２００は、光源部１００の白色光を撮像部２００先端まで導くライトガイドファイバー２１０と、該ライトガイドファイバー２１０により導かれてきた白色光を拡散させて生体に照射する照明レンズ２２０と、生体表面からの光を集光する対物レンズ２３１、２３２と、集光した光を検出するための撮像素子２４１、２４２と、該撮像素子２４１、２４２で光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２５０と、メモリ２６０を備えている。対物レンズ２３１、２３２とメモリ２６０は制御部３２０と接続されている。

撮像素子２４１、２４２は図２に示すベイヤー配列の色フィルターを有する。該色フィルターはｒ、ｇ、ｂの３種類であり、例えばそれぞれ図３に示す分光感度特性を有するものとする。また、前記撮像素子２４１、２４２は所定の視差画像（以下、ステレオ画像）を撮影可能な間隔で配置されており、後述するステレオマッチング処理により、撮像素子２４１と生体表面間の距離を取得可能である。以降の説明では、撮像素子２４１で撮像された画像を左画像、撮像素子２４２で撮像された画像を右画像、両者をまとめてステレオ画像と表記する。

対物レンズ２３１、２３２はレンズ位置を駆動することで合焦物体位置を制御できるものとする。前記合焦物体位置は近点／遠点の２通りであり、後述するように外部Ｉ／Ｆ部５００を介してドクターが自由に切り換え可能である。レンズ位置は、外部Ｉ／Ｆ部５００からの信号に基づき制御部３２０が駆動する。スクリーニング時など消化器官全体を見渡したい場合には遠点、病変部に近接して拡大観察したい場合には近点が用いられる。尚、本実施形態において、前記対物レンズ２３１、２３２は所定の被写界深度を有するものとする。具体的には例えば図４に示すように、合焦物体位置が近点の場合は５〜１５ｍｍ、遠点の場合は１０〜１００ｍｍの被写界深度を有するものとする。

メモリ２６０には、スコープ固有の識別番号が保持されている。ここで、上記の合焦物体位置、被写界深度は接続されるスコープにより異なる。制御部３２０は、メモリ２６０に保持されている前記識別番号を参照することで、接続されているスコープの種類を識別し、上記合焦物体位置や被写界深度に関する情報を取得可能である。

プロセッサー部３００は、画像処理部３１０と制御部３２０を備えている。画像処理部３１０は、Ａ／Ｄ変換部２５０から出力されるステレオ画像に対して後述する画像処理を施して表示画像を生成し、表示部４００に出力する。制御部３２０は、後述する外部Ｉ／Ｆ部５００からの信号に基づき、画像処理部３１０の動作を制御する。

表示部４００は、プロセッサー部３００から出力される表示画像を動画表示可能な表示装置である。表示部４００は、例えばＣＲＴや液晶モニター等により構成される。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。上述のように合焦物体位置（近点／遠点）の切り換えボタン以外にも、強調処理のオン／オフ指示や、電源のオン／オフ、撮影モードやその他各種のモードを切り換えるためのモード切り換えボタンなどを含む。

ここで、画像処理部３１０の構成例を図５に示す。画像処理部３１０は、同時化処理部３１１と、画像構成処理部３１２と、距離取得部３１３と、電子ズーム条件設定部３１４と、電子ズーム処理部３１５と、強調帯域設定部３１６と、強調処理部３１７と、信頼性判定部３１８と、を備えている。

Ａ／Ｄ変換部２５０は同時化処理部３１１に接続されている。同時化処理部３１１は画像構成処理部３１２、距離取得部３１３、電子ズーム条件設定部３１４、及び信頼性判定部３１８に接続されている。画像構成処理部３１２は電子ズーム処理部３１５に接続されている。距離取得部３１３は電子ズーム条件設定部３１４、信頼性判定部３１８に接続されている。電子ズーム条件設定部３１４は、電子ズーム処理部３１５及び強調帯域設定部３１６に接続されている。電子ズーム処理部３１５及び強調帯域設定部３１６は強調処理部３１７に接続されている。強調処理部３１７は表示部４００に接続されている。信頼性判定部３１８は電子ズーム条件設定部３１４に接続されている。

制御部３２０は、同時化処理部３１１、画像構成処理部３１２、距離取得部３１３、電子ズーム条件設定部３１４、電子ズーム処理部３１５、強調帯域設定部３１６、強調処理部３１７、及び信頼性判定部３１８に接続されており、これらを制御するようになっている。

同時化処理部３１１は、Ａ／Ｄ変換部２５０から出力されるステレオ画像に対して、同時化処理を施す。上述したように、撮像素子２４１、２４２はベイヤー配列の色フィルターを有するため、各画素が有する信号はＲ，Ｇ，Ｂのうちいずれか一つのみである。そのため公知のバイキュービック補間等を用いてＲＧＢ画像を生成する。同時化処理部３１１は、同時化処理後のステレオ画像を、画像構成処理部３１２、距離取得部３１３、及び信頼性判定部３１８に出力する。

画像構成処理部３１２は、撮像素子２４１で取得された左画像に対して、既存のＷＢ処理やγ処理等を施して、電子ズーム処理部３１５に出力する。本実施形態では表示部４００に出力する画像として左画像を用いる例を示すが、右画像を用いることが可能であることはいうまでもない。

２．２距離取得部の詳細
距離取得部３１３の詳細を図６に示す。距離取得部３１３は、距離マップ取得部３１３０と、有効ブロック判定部３１３１と、距離変換部３１３２を備えている。

同時化処理部３１１は、距離マップ取得部３１３０と有効ブロック判定部３１３１に接続されている。距離マップ取得部３１３０は、距離変換部３１３２に接続されている。有効ブロック判定部３１３１は、距離変換部３１３２と、信頼性判定部３１８に接続されている。距離変換部３１３２は電子ズーム条件設定部３１４に接続されている。制御部３２０は、距離マップ取得部３１３０と、有効ブロック判定部３１３１と、距離変換部３１３２に接続されていて、これらを制御する。

距離マップ取得部３１３０は、同時化処理部３１１より出力されるステレオ画像に対して、ステレオマッチング処理を施すことにより撮像素子２４１及び生体間の距離を取得する。具体的には、左画像（以下、基準画像と表記）を基準として、該基準画像の注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。さらに該視差を奥行き方向の距離に変換することで、撮像素子２４１及び生体表面間の距離を表す情報を前記左画像の画素毎に取得する（以下、この距離を表す情報を距離マップと表記）。生成した距離マップは、距離変換部３１３２に出力される。尚、本実施形態では左画像を基準画像として距離マップを算出する例を示すが、右画像を基準画像としてもよいことはいうまでもない。

また、本実施形態では、画素毎に前記ステレオマッチング処理を施すため、取得される距離マップは、基準画像のサイズと同一である。

距離変換部３１３２は、距離マップ取得部３１３０から出力される距離マップを距離Ｄｉｓｔ＿Ｎｏｗに変換し、Ｄｉｓｔ＿Ｎｏｗ及び前記距離マップを電子ズーム条件設定部３１４に出力する。前記距離Ｄｉｓｔ＿Ｎｏｗは具体的には、距離マップの平均値である。但し、平均値の算出に利用する画素は、後述する有効ブロック判定部３１３１で有効と判定されたブロックに属する画素である。前記距離Ｄｉｓｔ＿Ｎｏｗは後述するように電子ズーム倍率Ｚの設定に用いられる。

有効ブロック判定部３１３１は、有効ブロックの判定処理を行い、結果である有効ブロック情報を、距離変換部３１３２と、信頼性判定部３１８に出力する。信頼性判定部３１８では、後述するように信頼性の判定処理の１つとして、有効ブロックの情報を用いた判定処理を行う。

有効ブロック判定部３１３１は、基準画像に対して、複数の評価ブロック（局所領域）を設定し、局所領域毎に有効／無効を判定する。評価ブロックごとの判定処理に用いる指標値は種々考えられるが、ここではコントラスト値、輝度（Ｙ）の最大値、輝度の平均値、色差（Ｃｒ及びＣｂ）の平均値を用いるものとする。

具体的には有効ブロック判定部３１３１は、設定された全ての評価ブロックに対して、評価ブロックのコントラスト値を算出する。ここでは例えば、各評価ブロックに含まれるすべての画素のＹ信号に対してハイパスフィルター処理を行い、その出力値の総和をそのブロックのコントラスト値とすればよい。

また、有効ブロック判定部３１３１は、設定されたすべての評価ブロックに対して特徴量を算出し、距離変換部３１３２に出力する。ここでは特徴量として、例えば各評価ブロックに含まれるすべての画素のＹ信号の最大値や平均値、Ｃｂ，Ｃｒ信号のそれぞれの平均値等を算出する。

そして有効ブロック判定部３１３１は、算出された指標値を用いて、各評価ブロックが有効ブロックであるか否かの判定を行う。例えば、有効ブロック判定部３１３１は、算出されたコントラスト値が所与の閾値以上である場合は、平坦でない被写体構造が適切に撮像されている、すなわちステレオマッチングもある程度の精度で行われているものとして、対象としている評価ブロックは有効ブロックであると判定する。またコントラスト値が所定の閾値未満である場合は、撮像された被写体は平坦なものであり、十分な精度でステレオマッチングを行えないとして、当該評価ブロックは有効ブロックでないと判定する。

また有効ブロック判定部３１３１は例えば、各評価ブロックの輝度の最大値が所定の閾値以上であるか否かの判定を行い、閾値以上である場合は評価ブロック内に輝点が含まれるため有効ブロックではないと判定する。また輝度の最大値が所定の閾値以下である場合は、評価ブロック内に輝点が含まれないため有効ブロックと判定する。

また有効ブロック判定部３１３１は例えば、各評価ブロックの輝度の平均値が所定の閾値以下であるか否かの判定を行い、閾値以下である場合は評価ブロックが画像の非常に暗い領域に位置するため有効ブロックではないと判定する。また輝度の平均値が所定の閾値以上である場合は、評価ブロックが画像の明るい領域に位置するため、有効ブロックと判定する。

さらに有効ブロック判定部３１３１は例えば、各評価ブロックのＣｒ，Ｃｂのそれぞれの平均値が共に所定の閾値以下であるか否かの判定を行い、共に所定の閾値以下である場合は評価ブロックが画像のカンシの領域に位置するため有効ブロックではないと判定する。これは、カンシは主に黒や銀色であるため、カンシに対応する領域ではＣｂ，Ｃｒ信号が共に０に近い値となるためである。またＣｒ，Ｃｂのそれぞれの平均値の両方、もしくはどちらか一方が所定の閾値以上である場合は、評価ブロックはカンシの領域に位置しないため、有効ブロックと判定する。

有効ブロック判定部３１３１は、上述した判定処理のうちの１つもしくは任意の組み合わせの判定を行い、すべての評価ブロックに対する判定結果を出力する。ここで有効ブロック判定部３１３１が複数の判定処理を行う場合は、すべての判定処理に対して有効ブロックであると判定された評価ブロックに対して、最終的に当該評価ブロックを有効ブロックとする判定を行えばよい。また、複数の判定処理に対して、１つでも無効ブロックと判定された評価ブロックは無効ブロックとする。

また有効ブロック判定部３１３１は、必要に応じて上述していない任意の特徴量を算出し、算出した特徴量に応じて任意の判定処理を行って、各評価ブロックが有効ブロックであるか否かを判定してもよい。

２．３信頼性判定部の詳細
信頼性判定部３１８の詳細を図９に示す。信頼性判定部３１８は、距離変動量算出部３１８１と、動きベクトル算出部３１８３と、判定処理部３１８５を備えている。

距離取得部３１３の距離変換部３１３２は、距離変動量算出部３１８１に接続されている。距離取得部３１３の有効ブロック判定部３１３１は、判定処理部３１８５と、動きベクトル算出部３１８３に接続されている。同時化処理部３１１は動きベクトル算出部３１８３に接続されている。距離変動量算出部３１８１と、動きベクトル算出部３１８３は判定処理部３１８５に接続されている。制御部３２０は、距離変動量算出部３１８１と、動きベクトル算出部３１８３と、判定処理部３１８５に接続されていて、これらを制御する（図９では制御部３２０と各部との接続は省略されている）。

なお、図９には不図示であるが、距離変動量算出部３１８１と動きベクトル算出部３１８３とから、変動量検出部が構成されてもよい。

距離変動量算出部３１８１は、距離変換部３１３２から出力される距離Ｄｉｓｔ＿Ｎｏｗと、過去（狭義には１フレーム前）に取得され、距離記憶部（図９には不図示。例えば距離取得部３１３に設けられてもよいし、信頼性判定部３１８に設けられてもよい）に記憶されている距離Ｄｉｓｔ＿Ｐｒｅの差分絶対値Ｄｉｓｔ＿Ｄｉｆｆを算出し、判定処理部３１８５に出力する。

動きベクトル算出部３１８３は、同時化処理部３１１より出力される画像、及び１フレーム前の画像を用いて、画像間の動きベクトルＶｅｃｏｒを検出し、判定処理部３１８５に出力する。検出処理としては例えば公知のブロックマッチング処理を用いる。ここで、前記動きベクトルＶｅｃｔｏｒとしては、同時化処理部３１１から出力される画像全体を対象として算出してもよいし、有効ブロック判定部３１３１により有効ブロックと判定された評価ブロックを対象として算出してもよい。

判定処理部３１８５は、有効ブロック判定部３１３１から出力される有効ブロックに関する情報と、距離変動量算出部３１８１から出力されるＤｉｓｔ＿Ｄｉｆｆと、動きベクトル算出部３１８３から出力されるＶｅｃｔｏｒとに基づいて、距離取得部３１３で取得された距離情報の信頼性を判定する。信頼性は、例えば信頼性が有るか、信頼性が無いかの何れかで判定してもよいし、連続的な値（例えば信頼性ありを１、信頼性なしを０として、０以上１以下の数値で表現する）として求めてもよい。以下の説明では信頼性があるか否かの２値で判定する例を用いる。

判定処理部３１８５は、具体的には以下の手法で信頼性の判定を行う。まず第１に、有効ブロック判定部３１３１からの有効ブロック情報を取得し、画像中の評価ブロックの全てが有効ブロックでないと判定されていた場合に信頼性がなく、そうでない場合に信頼性があると判定する。或いは、画像中の全評価ブロック数に対する有効ブロック数の割合を求め、所与の割合閾値と比較してもよい。その場合、求められた割合が割合閾値より小さい場合には信頼性がなく、割合閾値以上の場合に信頼性があると判定する。これは、有効ブロックがない（或いは割合が少ない）場合には、コントラスト値、輝度、色差等の観点から考えて、ステレオマッチング処理が精度よく行えていないと考えられるためである。

また判定処理部３１８５は、距離変動量Ｄｉｓｔ＿Ｄｉｆｆが閾値Ｄｉｓｔ＿ｔｈより大きいか否かを判定し、大きい場合に信頼性がなく、Ｄｉｓｔ＿ＤｉｆｆがＤｉｓｔ＿ｔｈ以下の場合に信頼性があると判定する。また判定処理部３１８５は、動きベクトルＶｅｃｔｏｒが動きベクトル閾値Ｖｅｃｔｏｒ＿ｔｈより大きいか否かを判定し、大きい場合に信頼性がなく、ＶｅｃｔｏｒがＶｅｃｔｏｒ＿ｔｈ以下の場合に信頼性があると判定する。

これは、距離変動量Ｄｉｓｔ＿Ｄｉｆｆ及び動きベクトルＶｅｃｔｏｒが閾値より大きい場合には、ドクターの意図しない動きを生じている可能性が高いためである。

判定処理部３１８５は、上記のいずれかの判定、或いは２つ以上を組み合わせた判定を行い、判定結果を電子ズーム倍率設定部３１４１（広義には電子ズーム条件設定部３１４）に出力する。ここでは、２つ以上を組み合わせた場合には、全ての判定で信頼性があると判定された場合に、信頼性ありとし、少なくとも１つの判定で信頼性がないと判定された場合に、信頼性なしとする。ただし、組み合わせた場合の判定処理については変形実施が可能であり、変形例については後述する。

２．４電子ズーム条件設定部の詳細
電子ズーム条件設定部３１４の詳細を図７に示す。電子ズーム条件設定部３１４は、電子ズーム倍率設定部３１４１と、中心座標設定部３１４２と、中心座標記憶部３１４４を備えている。

距離取得部３１３は、電子ズーム倍率設定部３１４１に接続されている。信頼性判定部３１８は、電子ズーム倍率設定部３１４１と、中心座標設定部３１４２に接続されている。同時化処理部３１１は、中心座標設定部３１４２に接続されている。電子ズーム倍率設定部３１４１は、電子ズーム処理部３１５と強調帯域設定部３１６に接続されている。中心座標設定部３１４２は電子ズーム処理部３１５に接続されている。中心座標記憶部３１４４は中心座標設定部３１４２と双方向に接続されている。制御部３２０は、電子ズーム倍率設定部３１４１と、中心座標設定部３１４２と、中心座標記憶部３１４４に接続されていて、これらを制御する（図７では制御部３２０と各部との接続は省略している）。

２．４．１電子ズーム倍率設定部の詳細
電子ズーム倍率設定部３１４１は、信頼性判定部３１８での判定結果に基づいて、電子ズーム倍率Ｚを算出する為の距離Ｄｉｓｔ（図１０（Ａ）や図１０（Ｂ）の横軸）を算出し、電子ズーム倍率を決定する。

具体的には、信頼性がない場合には、下式（１）を用いて前記距離Ｄｉｓｔを設定する。一方、信頼性がある場合には、下式（２）を用いて前記距離Ｄｉｓｔを設定する。
Dist=Dist_Pre ・・・・・（１）
Dist=Co_Z×Dist_Now+(1-Co_Z)×Dist_Pre ・・・・・（２）

ここでＤｉｓｔ＿Ｐｒｅとは、直前のフレームにおいて算出されたＤｉｓｔ（ここでは距離変換部３１３２で１フレーム前に算出されたＤｉｓｔ＿ｎｏｗではなく、直前のフレームにおいて上式（１）又は（２）を用いて算出された値を想定している。ただし、変形実施は可能）である。信頼性がない場合とは、ドクターが意図しない動きが存在している、或いはステレオマッチングの精度が低い場合に対応する。そのため、前記距離Ｄｉｓｔ＿Ｎｏｗを電子ズーム倍率の設定に用いると、電子ズーム倍率が不自然に変動すると推測される。従って、信頼性がない場合には、直前に算出された距離Ｄｉｓｔ＿Ｐｒｅに基づき、電子ズーム倍率を設定する（式１）。一方、信頼性がある場合には、前記問題がないため、直前に算出された距離Ｄｉｓｔ＿Ｐｒｅ及び、現在の画像から取得された距離Ｄｉｓｔ＿Ｎｏｗに基づき、電子ズーム倍率を設定する（上式（２））。

ここでは、信頼性がある場合でもＤｉｓｔ＿Ｐｒｅを用いることで、距離Ｄｉｓｔの急激な変化を抑制し、電子ズーム倍率をロバストに設定することが可能である。そこで本実施形態では、Ｄｉｓｔ＿ＮｏｗとＤｉｓｔ＿Ｐｒｅを所定の比率Ｃｏ＿Ｚでブレンドするものとする。ここでＣｏ＿Ｚは、０＜Ｃｏ＿Ｚ＜１の係数であり、所定の値を設定しておくこともできるし、ドクターが任意の値を設定できる構成としてもよい。

また電子ズーム倍率設定部３１４１は、前記距離Ｄｉｓｔを不図示の距離記憶部に出力する。距離記憶部は、前記距離Ｄｉｓｔを次のタイミングで用いるＤｉｓｔ＿Ｐｒｅとして保持する。

また電子ズーム倍率設定部３１４１は、上述の距離Ｄｉｓｔ、及び制御部３２０から出力される合焦物体位置に基づいて電子ズーム倍率を設定する。具体的には、前記合焦物体位置が遠点の場合、上述のようにスクリーニング時であるから、拡大観察の必要はない。そのため、電子ズーム倍率設定部３１４１は、電子ズーム倍率Ｚを所定の電子ズーム倍率ＺＭＩＮに設定する（Ｚ＝ＺＭＩＮ）。

一方、前記合焦物体位置が近点の場合には拡大観察が実施されるため、スコープが生体に近接している場合には電子ズーム処理が必要となる。よって算出したＤｉｓｔを用いて電子ズーム倍率を設定する。例えば、下式（３）を用いて電子ズーム倍率Ｚを設定すればよく、これを図示したものが図１０（Ａ）である。

本実施形態では、前記距離Ｄｉｓｔに応じてＺＭＡＸ〜ＺＭＩＮの範囲（ＺＭＡＸ＞ＺＭＩＮ）で連続的に電子ズーム倍率を設定する。ここでは、ＺＭＡＸ＝２倍、ＺＭＩＮ＝１倍（電子ズームＯＦＦ）とするが、電子ズーム倍率はこれに限定されない。また、ＤＭＩＮ、ＤＡＸは例えば対物レンズ２３１の被写界深度に基づいて定めればよい。本実施形態では、合焦物体位置が近点の場合の被写界深度は５〜１５ｍｍであるから、ＤＭＩＮ＝５ｍｍ、ＤＭＡＸ＝１５ｍｍとする。また、ＺＭＡＸ、ＺＭＩＮ、ＤＭＡＸ、ＤＭＩＮはドクターが任意の値を設定できる構成とすることも可能である。

以上に示した方法により、ユーザーが意図しない動きや、ステレオマッチングの精度が低下するシーンが続く場合には、直前のフレームで算出された距離Ｄｉｓｔ＿Ｐｒｅが参照されるため、電子ズーム倍率の不自然な変動を回避することができる。また、これ以外の場合（信頼性がある場合）には、Ｄｉｓｔ＿Ｎｏｗに基づいて電子ズーム倍率が設定されるため、スコープと生体の距離に基づいて、適切な電子ズーム倍率が算出される。

具体的には、距離Ｄｉｓｔ＿Ｎｏｗ（観察距離）が１５ｍｍ程度と離れている場合（スクリーニング）は、電子ズーム倍率が１倍（電子ズームＯＦＦ）に設定され、そこから拡大観察のためにスコープを近接させていった場合に、ズーム倍率が徐々に２倍に近づくように連続制御される。そのため、ドクターが手動で電子ズーム倍率を切り換える必要がなくなり、且つ電子ズームによる見た目の変化も最小限に抑えられる。

２．４．２中心座標設定部の詳細
上述のように内視鏡診断においては、注目領域が常に画像中心部にあるとは限らないため、中心座標を適応的に制御する必要がある。そのため、中心座標設定部３１４２は、距離取得部３１３から出力される距離マップ、及び同時化処理部３１１から出力される画像に基づいて、電子ズーム処理後画像の中心座標（ＰＸ，ＰＹ）を設定する。

尚、電子ズーム条件を自動制御するのは前記対物レンズの合焦物体位置が近点の場合のみである。遠点の場合には、前記中心座標（ＰＸ，ＰＹ）は固定（ＩＭＸ／２，ＩＭＹ／２）である。（ＩＭＸ，ＩＭＹは）画像サイズとする。

中心座標設定部３１４２は、信頼性判定部３１８から出力される信頼性の判定結果、距離取得部３１３（具体的には有効ブロック判定部３１３１）から出力される有効ブロックに関する情報、及び中心座標記憶部３１４４から出力される直前のフレームにおける中心座標（ＰＸ＿Ｐｒｅ，ＰＹ＿Ｐｒｅ）に基づいて、中心座標（ＰＸ，ＰＹ）を設定する。

中心座標設定部３１４２は、上述した電子ズーム倍率設定部３１４１と同様に、信頼性判定部３１８からの出力結果に応じて、算出処理の内容を切り替える。具体的には、信頼性判定部３１８において信頼性がないと判定された場合に、下式（４）を用いて中心座標（ＰＸ，ＰＹ）を設定する。
ＰＸ＝ＰＸ＿Ｐｒｅ
ＰＹ＝ＰＹ＿Ｐｒｅ・・・・・（４）

後述するように、（ＰＸ＿Ｐｒｅ，ＰＹ＿Ｐｒｅ）は直前のフレームで算出された中心座標である。信頼性がない場合には、ユーザーの意図しない動きや、距離情報（ステレオマッチング）の精度低下が想定されるため、現在のフレームで算出された中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）は利用しない。

一方、信頼性がある場合には、中心座標設定部３１４２は、距離取得部３１３の有効ブロック判定部３１３１において有効ブロックであると判定された全てのブロックの平均座標を（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）として算出する。そして、下式（５）を用いて中心座標（ＰＸ，ＰＹ）を設定する。
PX=Co_P*PX_Now+(1-Co_P)*PX_Pre
PY=Co_P*PY_Now+(1-Co_P)*PY_Pre ・・・・・（５）

Ｃｏ＿Ｐは所定の値を設定しておくこともできるし、ドクターが任意の値を設定する構成としてもよい。

最後に、中心座標設定部３１４２は、算出した中心座標（ＰＸ，ＰＹ）を次のタイミングで用いる中心座標（ＰＸ＿Ｐｒｅ，ＰＹ＿Ｐｒｅ）として中心座標記憶部３１４４に出力する。中心座標記憶部３１４４には直前のフレームにおける中心座標（ＰＸ＿Ｐｒｅ，ＰＹ＿Ｐｒｅ）が保持されることになる。

ユーザーは、画像のうち輝点や暗部、カンシの領域でなく、且つコントラストが高い（構造成分が適切に撮像されている）領域に注目することが想定される。つまり、上述の有効ブロック判定部３１３１での判定結果を用いてズーム中心位置（中心座標）を設定することで、電子ズーム処理後の画像として、注目領域が画像中心に存在する画像を提示することが可能となる。

ただし、病変部が撮像されているか否か、撮像部２００に近接しているか否か等、他の観点から注目領域を判定することも可能であり、上記ズーム中心位置の設定は種々の変形実施が可能である。

他の方法としては、距離情報に基づいて注目領域を設定する構成としてもよい。具体的には、上記有効ブロックのうち、距離が最小の（最近接している）ブロックの座標を前記中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）として設定すれば良い。消化器系の病変は、腫瘍等の隆起性病変が多いため、注目領域（病変と疑われる領域）は正常領域（正常部位）と比較して隆起している可能性が高い。そのため拡大観察時には、該注目領域がスコープに最近接した状態となる場合が多い。そこで上述のように、最近接しているブロックを前記中心座標として設定することで、注目領域が画像中心に存在する画像を提示できる。

また、他の方法としては、有効ブロック判定部３１３１で有効と判定された全てのブロックの座標の加重平均により前記中心座標を設定してもよい。ここで各ブロックの重みは、前記距離に基づいて設定すれば良い。上述したように、近接しているブロックは注目領域である可能性が高いため、距離が小さい（近い）ブロックの重みを大きく設定する。

さらに、前記中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）は、コントラストに基づいて設定する構成としてもよい。具体的には、前記コントラストが最大の有効ブロックの座標を前記中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）として設定すれば良い。一般に病変部位では、血管が密に存在することが多く、正常領域（正常部位）と比較してコントラストが高くなる傾向がある。そのため、コントラストが高い領域を中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）として設定することで、注目領域が画像中心に存在する画像を提示できる。

また、他の方法としては、有効ブロック判定部３１３１で有効と判定された全てのブロックの座標の加重平均により前記中心座標を設定しても良い。ここで各ブロックの重みは、前記コントラストに基づいて設定すれば良い。上述したように、コントラストの高いブロックは注目領域である可能性が高いため、コントラストの高いブロックの重みを大きく設定する。

さらに、前記中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）は、色情報に基づいて設定する構成としても良い。例えばＮＢＩ観察時には、病変領域が褐色で描出される特徴があるため、有効ブロック判定部３１１１で有効と判定されたブロックのうち、特定の色相Ｈを有するブロックの平均座標を中心座標（ＰＸ＿Ｎｏｗ，ＰＹ＿Ｎｏｗ）として設定する構成としてもよい。

２．５電子ズーム条件設定後の処理
以上の処理により電子ズーム条件が設定されたら、当該電子ズーム条件を用いて電子ズーム処理及び強調処理が行われる。

電子ズーム処理部３１５は、電子ズーム条件設定部３１４より出力される電子ズーム倍率Ｚ、及び中心座標設定部３１４２で設定された座標（ＰＸ，ＰＹ）を中心座標として、画像構成処理部３１２より出力される画像に対して電子ズーム処理を施す。

強調処理部３１７は、電子ズーム処理部３１５から出力される画像に対して、特定の周波数帯域を強調する処理を施す。前記特定の周波数帯域は、血管やピットパターンの周波数特性に基づいて設計されているため、血管やピットパターンの視認性を向上させることができる。具体的には、前記強調帯域設定部３１６より出力されるフィルターを用いて強調処理を施す。

強調帯域設定部３１６は前記強調処理部３１７で使用されるフィルターの帯域（係数）を設定する。上述のように本実施形態では電子ズーム倍率が適応的に制御される。電子ズーム処理によって、画像内の血管やピットパターンの周波数成分が変化（電子ズーム処理により拡大することで低域側にシフト）するため、これにあわせてフィルター帯域を設定する。

２．６処理の詳細
図１１に本実施形態の処理を説明するフローチャートを示す。この処理が開始されると、まず合焦物体位置が近点か遠点かを判定する（Ｓ１０１）。本実施形態の手法は、撮像部２００を被写体に近づけることで拡大を行う場合、すなわち合焦物体位置及び被写界深度範囲が撮像部２００に近い位置にある場合に効果的であることから、上述した処理は近点の場合に行い、遠点においてはスキップすることが可能となるためである。

よって、遠点の場合（Ｓ１０１でＮｏの場合）には電子ズーム倍率Ｚを最小値ＺＭＩＮに設定するとともに（Ｓ１１０）、ズーム中心位置を画像全体の中心位置に設定する（Ｓ１１１）。

一方、近点の場合（Ｓ１０１でＹｅｓの場合）には、まず距離取得部３１３で距離情報
（上記距離マップ等も本実施形態の距離情報に含まれるが、ここでは狭義にはＤｉｓｔ＿Ｎｏｗ）を取得する。その上で、取得した距離情報の信頼性の判定を行う（Ｓ１０３）。具体的には、上述したように距離変動Ｄｉｓｔ＿Ｄｉｆｆ、動きベクトルＶｅｃｔｏｒ、及び有効ブロック情報のいずれか、或いはその組み合わせに基づいて判定を行う。

信頼性があると判定された場合（Ｓ１０３でＹｅｓの場合）には、Ｄｉｓｔ＿Ｎｏｗを電子ズーム倍率を決定する距離Ｄｉｓｔの算出に用いてもよいということであるため、上式（２）を用いてＤｉｓｔを算出する（Ｓ１０４）。そして、ズーム中心位置についても、最新タイミングで算出されたＰＸ＿Ｎｏｗ、ＰＹ＿Ｎｏｗを用いてよいため、上式（５）を用いて（ＰＸ，ＰＹ）を算出する（Ｓ１０５）。

一方、信頼性がないと判定された場合（Ｓ１０３でＮｏの場合）には、Ｄｉｓｔ＿Ｎｏｗを電子ズーム倍率を決定する距離Ｄｉｓｔの算出に用いるのは不適切ということであるため、上式（１）を用いてＤｉｓｔを算出する（Ｓ１０６）。そして、ズーム中心位置についても、最新タイミングで算出されたＰＸ＿Ｎｏｗ、ＰＹ＿Ｎｏｗを用いるのが不適切であるため、上式（４）を用いて（ＰＸ，ＰＹ）を算出する（Ｓ１０７）。

その後、Ｓ１０４又はＳ１０６で算出されたＤｉｓｔを用いて、上式（３）に従って電子ズーム倍率Ｚを設定し（Ｓ１０８）、設定されたＺと、Ｓ１０５又はＳ１０７で設定された（ＰＸ，ＰＹ）を用いて電子ズーム処理を行う。

その後、次のタイミングに備えてＤｉｓｔ＿Ｐｒｅを現在のＤｉｓｔの値で更新し（Ｓ１０９）、最終画像か否かの判定を行う（Ｓ１１２）。最終画像であれば処理を終了し、層でなければＳ１０１に戻り処理を継続する。

以上に示した方法により、ドクターが拡大観察を実施する場合に、スコープを生体に近づけることで電子ズーム倍率が自動制御されるため、ドクターが電子ズーム処理の倍率を手動で切り換える手間（負荷）を軽減できる。さらに、距離の信頼性に基づいて電子ズーム倍率を算出することで、ドクターが意図していない生体の拍動やブレなどの影響により電子ズーム倍率が大きく変動することを抑制し、ロバストな電子ズーム倍率の制御が可能となる。

さらに、ドクターが注目している領域が画像の中心となるように電子ズーム処理時の中心座標（ＰＸ，ＰＹ）を設定し、注目領域を観察しやすることで、ドクターの負荷を軽減するとともに、見落とし防止にも貢献できる。

２．７変形例
なお、本実施形態では、距離に応じて電子ズーム条件（電子ズーム倍率、ズーム中心位置）を自動制御する例を示したが、常に自動制御とする必要はない。外部Ｉ／Ｆ部５００を介してドクターが電子ズーム条件の自動制御／手動制御を切り換える構成としてもよい。これにより、電子ズームを必要としない場合には、自動制御をオフにすることができる。また、ズーム中心位置の適応制御をオフとし、電子ズーム倍率のみを自動制御する構成としてもよい（この場合、ズーム中心位置は常に画像中心であるものとしてもよい）。

また、本実施形態では、合焦物体位置を近点／遠点の２段階で切り換えられる構成を示したが、これに限定されるものではない。３段階やＮ段階（Ｎ＞３）の切り替えとすることも可能である。例えば、近点と遠点の中間の合焦物体位置（中遠点）を設けることとしてもよい。

そして中遠点の場合には電子ズーム倍率を自動制御するものとし、さらに電子ズーム倍率の最大値ＺＭＡＸを前記合焦物体位置に基づいて設定してもよい。例えば遠点の場合ＺＭＡＸ＝２．０、中遠点の場合ＺＭＡＸ＝１．５などとしてもよい。

また、本実施形態では、直前のフレームにおける距離Ｄｉｓｔ＿Ｐｒｅを用いて電子ズーム倍率をロバストに制御する手法を示したが、これに限定されない。他の手法としては、直前のフレームにおける電子ズーム倍率Ｚ＿Ｐｒｅを用いることも可能である。具体的には、前記信頼性の有無により、下式（６）又は下式（７）を用いて電子ズーム倍率Ｚを算出する。信頼性がない場合には下式（６）を用い、信頼性がある場合には下式（７）を用いる。
Z=Z_Pre ・・・・・（６）
Z=Co_Z*Z_Now+(1-Co_Z)*Z_Pre ・・・・・（７）

ただし、Ｚ＿Ｎｏｗは、現フレームで算出された距離Ｄｉｓｔ＿Ｎｏｗに基づき設定された電子ズーム倍率であり、下式（８）で定義される。

以上の方法を用いることで、信頼性がない場合には直前のフレームで設定された電子ズーム倍率Ｚ＿Ｐｒｅが用いられ、信頼性がある場合のみ現画像から算出した電子ズーム倍率Ｚ＿Ｎｏｗが用いられるため、上述したような電子ズーム倍率の不自然な変動を抑制可能である。

また、距離情報の信頼性判定は、各指標の総合判定としてもよい。具体的には、距離の算出式として上式（１）と上式（２）の切り替えを行うのではなく、Ｄｉｓｔ＿ＰｒｅとＤｉｓｔ＿Ｎｏｗのブレンド比率を変更するものであってもよい。

また、本実施形態では、距離変動量Ｄｉｓｔ＿Ｄｉｆｆ、動きベクトルＶｅｃｏｒの指標で信頼性の有無を判定する例を示したが、これに限定されない。他の方法としては例えば、上記指標を総合して信頼性を判定する構成とすることも可能である。例えば下式（９）に示すように２種類の指標を統合した指標Ｖａｌに基づいて信頼性を判定してもよい。
Val=C1*Dist_Diff+C2*Vector ・・・・・（９）

さらに、本実施形態では電子ズーム倍率Ｚの設定に用いる距離Ｄｉｓｔの算出を、上式（１）、上式（２）の何れかを用いる構成（切り替え）を示したが、本発明はこれに限定されるものではない。他の方法としては例えば、Ｄｉｓｔ＿ＰｒｅとＤｉｓｔ＿Ｎｏｗを上記指標Ｖａｌに基づいてブレンドする構成としてもよい。

また、本実施形態では、前記距離がＤＭＩＮ〜ＤＭＡＸの範囲内の場合に、電子ズーム倍率Ｚを直線的に制御する例を示したがこれに限定されるものではない。電子ズーム倍率は例えば図１０（Ｂ）のＦ１〜Ｆ３に示すように任意の特性を持たせることも可能である。

また、本実施の形態では、プロセッサー部３００を構成する各部をハードウェアで構成することとしたが、本発明はこれに限定されるものではない。例えば、予め取得された画像信号と距離に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。或いは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

図１２に全体フローを示す。この処理を開始すると、まず撮像部２００の（距離に対する）光学倍率や、２つの撮像素子２４１，２４２間の距離などの撮影条件に関するヘッダ情報を読み込む（Ｓ０１）。次に、撮像部２００で取得されたステレオ画像（左画像、右画像）を読み込む（Ｓ０２）。

そして前記ステレオ画像に対して同時化処理を施す（Ｓ０３）。次にヘッダ情報及び同時化後のステレオ画像より、ステレオマッチング法を用いて、基準画像（左画像）の距離マップを取得する（Ｓ０４）。さらに距離マップから上述の手法（有効ブロック判定部３１３１での判定結果を用いた距離変換部３１３２での変換処理）で距離Ｄｉｓｔに変換する（Ｓ０５）。

さらに、前記距離Ｄｉｓｔの距離変動量Ｄｉｓｔ＿Ｄｉｆｆ及び動きベクトルＶｅｃｔｏｒに基づいて、信頼性を判定する（Ｓ０６）。その後、前記信頼性の有無に基づき、電子ズーム倍率Ｚ及び中心座標を設定する（Ｓ０７）。具体的には、信頼性がない場合は上式（１）、信頼性があるの場合は上式（２）を用いて距離Ｄｉｓｔを算出し、前記Ｄｉｓｔに基づいて上式（３）により電子ズーム倍率Ｚを算出する。

また電子ズーム後の中心座標（ＰＸ，ＰＹ）は、信頼性がない場合は上式（４）、信頼性がある場合は上式（５）を用いて設定する。そして電子ズーム倍率Ｚに基づいて強調処理で用いるフィルター特性を決定する（Ｓ０８）。次に、基準画像に対して既存のＷＢ処理、γ処理を施す（Ｓ０９）。その後Ｓ０９より出力される画像に対して、上述の方法で設定した電子ズーム条件（倍率、中心座標）で電子ズーム処理を施す（Ｓ１０）。最後に、Ｓ１０後の画像に対してＳ０８で決定したフィルターを用いて強調処理を施し、画像を出力する（Ｓ１１）。全ての画像信号に対して上述の処理を施したら処理を完了する（Ｓ１２）。

２．８本実施形態の具体例
以上の本実施形態では、画像処理装置は図５又は図１９に示したように、撮像部２００の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部３１９（図５においては同時化処理部３１１や画像構成処理部３１２に対応）と、撮像部２００から被写体までの距離に基づく距離情報を、画像に対応付けて取得する距離取得部３１３と、電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部３１４と、設定された電子ズーム条件に基づいて、画像に対して電子ズーム処理を施す電子ズーム処理部３１５を含む。そして電子ズーム条件設定部３１４は、距離情報により表される距離が近いほど、電子ズーム倍率を大きく設定する。

これにより、撮像部から被写体までの距離が近づくほど、電子ズーム処理の条件である電子ズーム倍率を大きく設定することが可能になり、撮像部自体を被写体に近づけることによる拡大が難しい場合においても拡大率を補うこと等が可能になる。

また、画像処理装置は図５に示したように、距離情報の信頼性を判定する信頼性判定部３１８を含み、電子ズーム条件設定部３１４は、信頼性の判定結果に基づいて、電子ズーム条件である電子ズーム倍率を設定してもよい。

これにより、距離情報の信頼性に基づいて電子ズーム倍率を設定することが可能になる。上述したように、ユーザーの手ぶれや、被写体側の動き（例えば内視鏡装置における生体の拍動）によっても、撮像部から被写体までの距離は変動することになるが、それらはユーザーが意図的に行った動きではないため、当該距離の変動をズーム倍率の変動に反映させてしまうことは好ましくない。そのため本実施形態では、信頼度の判定結果に基づいて電子ズーム倍率の設定を行うことで、ユーザーの意図しない動きによる影響を抑止する。

また、電子ズーム条件設定部は、過去に求められた距離情報を過去距離情報として保持する距離情報記憶部を含んでもよい（図７には不図示であるが、例えば電子ズーム倍率設定部３１４１に含まれることが想定される）。そして、電子ズーム条件設定部３１４は、信頼性判定部３１８により信頼性が低いと判定された場合に、距離情報記憶部に保持された過去距離情報に基づいて、電子ズーム倍率を設定する。

これにより、信頼性が低い（狭義には信頼性がない）場合には、過去の電子ズーム倍率を用いて処理対象タイミングでの電子ズーム倍率を設定することが可能になり、信頼性の低い距離情報による電子ズーム倍率への影響を抑止することが可能になる。なお、本実施形態では信頼性が低い場合には、上式（１）に示したように現在の距離情報Ｄｉｓｔ＿Ｎｏｗを全く用いないものとして説明した。ただしこれに限定されず、信頼性が低い場合にも上式（２）に示したようにＤｉｓｔ＿Ｎｏｗと過去距離情報Ｄｉｓｔ＿Ｐｒｅをブレンドするものとしてもよく、その場合には信頼性が高い場合に比べてＤｉｓｔ＿Ｎｏｗの寄与度（ブレンド度合いＣｏ＿Ｚ）を低くするという変形実施も可能である。

また、電子ズーム条件設定部は、過去に求められた距離情報を過去距離情報として保持する距離情報記憶部を含んでもよい。そして、電子ズーム条件設定部３１４は、現在の距離情報と、距離情報記憶部に保持された過去距離情報に基づいて、平均距離情報を求め、求めた平均距離情報に基づいて、電子ズーム倍率を設定してもよい。

また、電子ズーム条件設定部３１４は、現在の距離情報と、距離情報記憶部に保持された過去距離情報を加重平均することで平均距離情報を求め、求めた平均距離情報に基づいて、電子ズーム倍率を設定してもよい。

これにより、過去の電子ズーム倍率（Ｄｉｓｔ＿Ｐｒｅ）と現在の電子ズーム倍率（Ｄｉｓｔ＿Ｎｏｗ）から求めた平均距離情報を用いて電子ズーム倍率を設定することができるため、急激な電子ズーム倍率の変動を抑止し、ユーザーにとって見やすい画像を提供すること等が可能になる。なお、本実施形態では上式（２）に示したように、過去距離情報は１つであり、平均距離情報の算出手法は、ブレンド比Ｃｏ＿Ｚを用いた加重平均としたがこれに限定されない。過去距離情報を複数用いてもよいし、その際の平均距離情報をトリム平均等、全データを用いた加重平均（単純平均を含む）以外の手法により求めてもよい。また、本実施形態では信頼性が高い（狭義には信頼性がある）場合に、平均距離情報に基づいて電子ズーム倍率を設定する例を説明したがこれに限定されない。例えば、信頼性が低い場合にも平均距離情報に基づいて電子ズーム倍率を設定してもよい。この場合でも、現在の距離情報のみを用いて電子ズーム倍率を設定する場合に比べて、急激な電子ズーム倍率の変動を抑止することが可能になる。

また、電子ズーム条件設定部３１４は、過去に求められた電子ズーム倍率を過去電子ズーム倍率として保持する電子ズーム倍率記憶部を含んでもよい（図７には不図示であるが、例えば電子ズーム倍率設定部３１４１に含まれることが想定される）。そして、電子ズーム条件設定部３１４は、信頼性判定部３１８により信頼性が低いと判定された場合に、電子ズーム倍率記憶部に保持された過去電子ズーム倍率に基づいて、電子ズーム倍率を設定する。

また、電子ズーム条件設定部３１４は、現在の電子ズーム倍率と、電子ズーム倍率記憶部に保持された過去電子ズーム倍率に基づいて、電子ズーム倍率を設定してもよい。

また、電子ズーム条件設定部３１４は、現在の電子ズーム倍率と、電子ズーム倍率記憶部に保持された過去電子ズーム倍率を加重平均することで、電子ズーム倍率を設定してもよい。

これにより、信頼度に基づいて電子ズーム倍率設定のための距離情報Ｄｉｓｔを求めるのではなく、本実施形態の変形例に示したように直接電子ズーム倍率Ｚを求めることが可能になる。上式（１）〜（３）及び上式（６）〜（８）からわかるように、Ｄｉｓｔを求める場合も、直接Ｚを求める場合も処理内容に実質的に差はないため、どちらを採用してもよい。つまり、Ｄｉｓｔを用いる際に考えられる変形例は、Ｚを直接求める際にも適用可能である。

また、信頼性判定部３１８は、撮像部２００と被写体間の相対的な位置関係の変動量を検出する変動量検出部（図９における距離変動量算出部３１８１と動きベクトル算出部３１８３に対応）を含み、信頼性判定部３１８は、変動量に基づいて信頼性を判定してもよい。

これにより、相対的な位置関係の変動度合いに応じて信頼性を判定することが可能になる。通常、本実施形態の手法が適用される拡大観察時には、ユーザーは被写体の細かい部分を精査していることが想定される。そのような状況では意図的に撮像部２００を大きく動かすことは考えにくいため、撮像部２００及び被写体の少なくとも一方が急激に動くことで、相対位置関係が変化した場合とは、ユーザーの意図しない状況であると推定できる。よって本実施形態では、そのような相対位置関係の変化度合いを変動量として検出し、当該変動量に基づいて信頼性を判定する。

また、変動量検出部は、距離情報により表される撮像部２００と被写体間の距離の時間的な変化量を、変動量として検出してもよい。

この場合の変動量検出部は、図９の距離変動量算出部３１８１に対応する。

これにより、撮像部２００と被写体間の距離の変動に基づいて信頼性を判定することが可能になる。変動量が大きい場合に信頼性が低くなることは上述したが、この場合には撮像部の光軸方向での変動、すなわち距離変動に基づく判定処理を行うことになる。

また、変動量検出部は、異なるタイミングで取得された複数の画像に基づいて、画像における被写体の動き量を、変動量として検出してもよい。

この場合の変動量検出部は、図９の動きベクトル算出部３１８３に対応する。

これにより、被写体の動きを表す動きベクトルに基づいて信頼性を判定することが可能になる。変動量が大きい場合に信頼性が低くなることは上述したが、この場合には撮像部の光軸方向に直交する方向での変動に基づく判定処理を行うことになる。

また、画像取得部が画像としてステレオ画像を取得し、距離取得部３１３が、ステレオ画像に対するステレオマッチング処理により距離情報を取得する場合に、信頼性判定部３１８は、画像から検出されたコントラストに基づいて、距離情報の信頼性を判定する処理を行ってもよい。

ここで、本実施形態では距離取得部３１３の有効ブロック判定部３１３１において、コントラストに基づく有効ブロック判定を行い、信頼性判定部３１８ではその結果得られる有効ブロック情報に基づいて信頼性を判定している。これは、距離変換部３１３２での処理に用いる画素の決定や、中心座標設定部３１４２でのズーム中心位置の設定処理においても有効ブロック情報が用いられることを考慮して、有効ブロックの判定を１つにまとめたことによる。つまり、距離取得部３１３の有効ブロック判定部３１３１での結果を用いずに、信頼性判定部３１８がコントラスト算出部を含む構成とする変形実施等が可能である。

これにより、ステレオマッチングを行う際には、画像のコントラストに基づいて信頼性を判定することが可能になる。ステレオマッチングでは右画像と左画像のマッチング処理が必要なところ、コントラストが低い平坦な画像では当該マッチング処理を精度よく行うことができず、取得される距離情報の精度も低いことが想定されるためである。

また、電子ズーム条件設定部３１４は、過去に求められた電子ズーム倍率を過去電子ズーム倍率として保持する電子ズーム倍率記憶部を含み、電子ズーム条件設定部３１４は、電子ズーム倍率記憶部に保持された過去電子ズーム倍率に基づいて、電子ズーム倍率を設定してもよい。

これにより、場合によっては信頼性判定部３１８を省略した構成とし、過去電子ズーム倍率を用いることで、急激な電子ズーム倍率の変動を抑止する手法を用いることも可能になる。精度を追求するのであれば、信頼性の判定を行うことが望ましいが、少なくとも過去電子ズーム倍率を用いることで、現在の距離情報から取得される電子ズーム倍率の影響は低減することが可能であるため、信頼性の判定を行う場合に比べて処理負荷を軽減しつつ、ある程度は急激な電子ズーム倍率の変動を抑止することが可能になる。

また、撮像部２００が、合焦物体位置の異なる複数のレンズ位置をとる可動レンズを有しており、可動レンズがレンズ駆動部により駆動されることで合焦物体位置を制御する場合に、電子ズーム条件設定部３１４は、合焦物体位置が所定の閾値よりも撮像部２００に近い場合に、距離情報に基づいて電子ズーム条件を設定してもよい。

ここで、合焦物体位置とは、物体、撮像光学系、像面等を含む系が合焦状態にある場合の、基準位置に対する当該物体の相対的な位置（物点）である。具体的には、所与の位置に像面を設定し、撮像光学系を所与の状態とした場合に、当該撮像光学系により前記像面上に結像する像が合焦している場合の当該物体の位置を表す。本実施形態の合焦制御装置（或いは内視鏡システム）等では、像面は撮像部に含まれる撮像素子の面と一致することが想定されるため、撮像素子の面が固定されている場合、光学系の状態を決定すれば合焦物体位置は決定可能となる。

これにより、撮像部２００が可動レンズを有する場合には、合焦物体位置が撮像部に近いレンズ位置となっている場合、すなわち撮像部２００を被写体に近づけることで拡大観察を行うことが想定される場合に、本実施形態の手法を適用することが可能になる。拡大観察が想定されないケースでは、そもそも電子ズーム処理を行ってまで拡大率を上げる必要性が低く、自動的に電子ズーム倍率を制御することでユーザーの望まない倍率変動が生じるおそれもあるため、電子ズーム処理のオン／オフを適切に決定することは重要である。なお、電子ズーム処理のオン／オフは自動制御されるものに限定されず、ユーザー操作により決定してもよい。

また、レンズ駆動部は、所定数のレンズ位置から一つを選択することで、合焦物体位置を段階的に制御してもよい。

これにより、離散的なレンズ位置の制御を行う撮像部からの信号が対象として、本実施形態の処理を行うことが可能になる。この所定数のレンズ位置とは、図４に示したように遠点、近点の２つであってもよいし、変形例で説明したように３つ以上の位置であってもよい。

また、レンズ駆動部は、合焦物体位置が近点となる第１のレンズ位置と、合焦物体位置が近点に比べて撮像部２００から遠い点である遠点となる第２のレンズ位置のいずれかに、可動レンズを移動させる駆動を行い、電子ズーム条件設定部３１４は、合焦物体位置が近点の場合に、距離情報に基づいて電子ズーム条件を設定してもよい。

これにより、図４に示したような２焦点切り替えの光学系を有する撮像装置を対象とした場合には、合焦物体位置が近点となる場合に本実施形態の処理を行うことが可能になる。上述したように、合焦物体位置が近点の場合には、撮像部２００から被写体までの距離が近くなり、拡大観察が行われる可能性が高い。

また、電子ズーム条件設定部３１４は、距離情報により表される距離が第１の距離より近い場合に、電子ズーム倍率を第１の所定倍率に設定してもよい。そして、第１の距離は、撮像部２００の被写界深度範囲のうち、撮像部２００から近い側の端点での距離に基づいて決定されてもよい。

これにより、撮像部２００から被写体までの距離が第１の距離よりも近い場合には、電子ズーム倍率として所定値を設定することが可能になる。この際、第１の距離は被写界深度範囲の端点に基づいて決定されることが想定される。被写界深度範囲から外れるほど撮像部２００と被写体が近い場合には、被写体にはピントが合わずぼけた画像しか取得されない以上、本実施形態の手法を適用して電子ズーム処理を行っても効果的でない。よって、被写界深度範囲から決定される第１の距離を用いて、電子ズーム倍率の設定処理を行う。図１０（Ａ）や図１０（Ｂ）の例であれば、第１の距離とはＤＭＩＮに対応し、第１の所定倍率とはＺＭＡＸに対応する。

また、電子ズーム条件設定部３１４は、距離情報により表される距離が第２の距離より遠い場合に、電子ズーム倍率を第２の所定倍率に設定してもよい。そして、第２の距離は、撮像部２００の被写界深度範囲のうち、撮像部２００から遠い側の端点での距離に基づいて決定されてもよい。

これにより、撮像部２００から被写体までの距離が第２の距離より遠い場合についても、同様の処理を行うことが可能になる。第２の距離を被写界深度範囲の端点に基づいて決定する場合には、第１の距離の場合と同様に、被写体にピントが合っていない状況での無為な電子ズーム条件の設定をスキップすることになる。図１０（Ａ）や図１０（Ｂ）の例であれば、第２の距離とはＤＭＡＸに対応し、第２の所定倍率とはＺＭＩＮに対応する。

また、電子ズーム条件設定部３１４は、電子ズーム処理の条件として、電子ズーム処理のズーム中心位置（中心座標）を設定する処理を行ってもよい。そして、電子ズーム条件設定部３１４は、画像及び距離情報の少なくとも一方に基づいて、ズーム中心位置を設定してもよい。

これにより、電子ズーム処理において電子ズーム倍率だけでなく、ズーム中心位置も設定することが可能になり、図８（Ｃ）、図８（Ｅ）に示したように、画像周縁部に注目領域がある場合にも、電子ズーム処理により注目領域が電子ズーム処理後の画像から欠如すること等を抑止できる。本実施形態では、有効ブロック情報に基づいてズーム中心位置を設定するものとしていたため、具体的にはズーム中心位置は画像の輝度、色差（Ｃｒ，Ｃｂ）、コントラスト等から設定されていた。ただしこれに限定されず、撮像部２００からの距離が近い被写体ほど重要であるとの判定を行ってもよく、その場合には距離情報に基づいてズーム中心位置が設定されることになる。

また、画像処理装置は、画像から注目領域を検出する注目領域検出部を含んでもよく、電子ズーム条件設定部３１４は、注目領域検出部で検出された注目領域に基づいて、ズーム中心位置に設定してもよい。

これにより、注目領域に基づいてズーム中心位置を設定することが可能になる。ここで注目領域検出部は有効ブロック判定部３１３１であってもよく、その場合、注目領域とは有効ブロックに対応する領域となり、注目領域に基づくズーム中心位置の設定とは、有効ブロックの平均座標を求める処理に対応する。ただし、注目領域検出部は有効ブロック判定部３１３１に限定されない。例えば内視鏡装置においては、病変領域を注目領域とした場合に、特殊光を用いた観察（例えばＮＢＩ，Narrow Band Imaging）により注目領域を検出する手法や、画像から泡領域や残渣領域等の不要領域を検出し、不要領域以外の領域を注目領域とする手法等、種々の手法が知られており、それらを用いて注目領域を検出することができる。また、内視鏡装置以外の撮像装置においても、特定被写体のテンプレートを保持しておき、画像中から当該特定被写体を検出して注目領域とする手法を用いることができる。

また、画像処理装置は図５に示したように、電子ズーム処理後の画像に対して強調処理を施す強調処理部３１７を含み、強調処理部３１７は、電子ズーム条件設定部３１４で設定された電子ズーム倍率に基づいて、強調処理を施してもよい。

これにより、設定された電子ズーム倍率に基づく強調処理が可能になる。例えば、特定の周波数帯域を強調することで被写体の視認性を高める強調処理が行われる場合、同一の被写体であっても電子ズーム倍率が変化すれば周波数特性が変化するため、固定の周波数帯域を強調しても効果的でない場合がある。その点、電子ズーム倍率に基づく強調処理を行う場合には、強調したい被写体の周波数特性が電子ズーム処理によりどの程度変化するかを特定できるため、効果的な強調処理を実行可能である。

また、画像取得部は、画像としてステレオ画像を取得し、距離取得部３１３は、ステレオ画像に対するステレオマッチング処理により距離情報を取得してもよい。

これにより、距離情報をステレオマッチングにより取得することが可能になる。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
第２の実施形態に係る画像処理装置を含む内視鏡装置について図１３を用いて説明する。本実施形態における内視鏡装置は、図１３に示すように光源部１００と、撮像部２００と、プロセッサー部３００と表示部４００と外部Ｉ／Ｆ部５００で構成される。表示部４００、外部Ｉ／Ｆ部５００の構成は第１の実施形態と同一であるので説明を省略する。

光源部１００は、白色光源１１０と、青色レーザー光源１１１と、白色光源１１０及び青色レーザー光源１１１の合成光をライトガイドファイバー２１０に集光する集光レンズ１２０を備える。白色光源１１０及び青色レーザー光源１１１は、制御部３２０からの制御信号に基づきパルス点灯制御される。ここで前記白色光源１１０及び青色レーザー光源１１１のスペクトルは、図１４に示すように白色光源１１０が４００ｎｍ〜７００ｎｍ、青色レーザー光源１１１が、３７０ｎｍ〜３８０ｎｍの帯域を有するものとする。

撮像部２００は、ライトガイドファイバー２１０と、照明レンズ２２０と、対物レンズ２３１と、撮像素子２４１と、測距センサー２４３と、Ａ／Ｄ変換部２５０と、メモリ２６０と、ダイクロイックプリズム２７０と、位置センサー２８０を備えている。ライトガイドファイバー２１０、照明レンズ２２０、対物レンズ２３１、撮像素子２４１、メモリ２６０は第１の実施形態と同一であるため、説明を省略する。

ダイクロイックプリズム２７０は、前記青色レーザー光源１１１のスペクトルに相当する３７０ｎｍ〜３８０ｎｍの短波長域の光を反射し、前記白色光源１１０の波長に相当する４００ｎｍ〜７００ｎｍの光を透過する特性を有している。該ダイクロイックプリズム２７０で反射された短波長域の光（青色レーザー光源１１１の反射光）は、測距センサー２４３で検出される。一方、透過された光（白色光源１１０の反射光）は、撮像素子２４１に結像される。測距センサー２４３は、青色レーザー光の点灯開始から、該青色レーザー光の反射光が検出されるまでの時間に基づき距離を測定するTime of Flight方式の測距センサーである。ここで、青色レーザー光の点灯開始のタイミングに関する情報は、後述する制御部３２０から送られる。

測距センサー２４３で取得された距離マップは、Ａ／Ｄ変換部２５０でデジタル信号に変換されて、後述する画像処理部３１０に出力される。また、位置センサー２８０では撮像部２００先端の動き量（動きベクトル）が検出され、該動きベクトルがＡ／Ｄ変換部２５０に出力される。さらに該動きベクトルがデジタル信号に変換され、後述する画像処理部３１０に出力される。

上述のように、第２の実施形態では、距離マップ及び動きベクトルをそれぞれ測距センサー２４３と位置センサー２８０を用いて検出する点が第１の実施形態と異なる。

プロセッサー部３００は、画像処理部３１０と制御部３２０とを備えている。画像処理部３１０は、Ａ／Ｄ変換部２５０から出力される画像に対して後述する画像処理を施して表示画像を生成し、表示部４００に出力する。制御部３２０は、後述する外部Ｉ／Ｆ部５００からの信号に基づき、画像処理部３１０の動作を制御する。さらに制御部３２０は白色光源１１０、青色レーザー光源１１１及び測距センサー２４３に接続されており、これらを制御するようになっている。

ここで、画像処理部３１０の詳細について図１５を用いて説明する。画像処理部３１０は、同時化処理部３１１と、画像構成処理部３１２と、距離取得部３１３と、電子ズーム条件設定部３１４と、電子ズーム処理部３１５と、強調帯域設定部３１６と、強調処理部３１７と、信頼性判定部３１８を備えている。同時化処理部３１１、画像構成処理部３１２、電子ズーム処理部３１５と、強調帯域設定部３１６と、強調処理部３１７の構成は第１の実施形態と同一であるため、説明を省略する。Ａ／Ｄ変換部２５０は同時化処理部３１１と距離取得部３１３に接続されている。その他の接続関係は第１の実施形態と同一である。

距離取得部３１３の構成を図１６に示す。第１の実施形態における距離取得部３１３から距離マップ取得部３１３０を除いた構成である。Ａ／Ｄ変換部２５０は距離変換部３１３２に接続されている。同時化処理部３１１は有効ブロック判定部３１３１に接続されている。その他の接続関係や処理内容は第１の実施形態と同一である。本実施形態では、測距センサー２４３からセンサー情報として距離情報が取得されるため、当該センサー情報を直接、距離変換部３１３２で処理すればよい。

信頼性判定部３１８の構成を図１７に示す。第１の実施形態から動きベクトル算出部３１８３を除いた構成である。Ａ／Ｄ変換部２５０は判定処理部３１８５に接続されており、位置センサー２８０のセンサー情報を前記デジタル信号に変換した動きベクトルが出力される。その他の接続関係、及び処理内容は第１の実施形態と同一である。

つまり、有効ブロック判定部３１３１からの有効ブロック情報、距離変動量算出部３１８１で算出された距離変動量Ｄｉｓｔ＿Ｄｉｆｆ、動きベクトルＶｅｃｔｏｒに基づいて、信頼性の判定処理を行う点は第１の実施形態と同様である。ただし本実施形態では、動きベクトルＶｅｃｔｏｒは、Ａ／Ｄ変換部２５０により変換された位置センサー２８０からのセンサー情報である。

電子ズーム条件設定部３１４の構成は、第１の実施形態で説明した図７と同様である。具体的には、電子ズーム倍率設定部３１４１は、信頼性判定部３１８での判定結果に基づいて、上式（１）又は上式（２）で距離Ｄｉｓｔを求めて、当該Ｄｉｓｔを用いて電子ズーム倍率を設定する。また、中心座標設定部３１４２は、信頼性判定部３１８での判定結果に基づいて、上式（４）又は上式（５）で中心座標（ＰＸ，ＰＹ）を求める。詳細については、第１の実施形態と同一であるため、説明を省略する。

また本実施形態によれば、測距センサー２４３や位置センサー２８０（例えば加速度センサー等のモーションセンサー）で距離と動き量を取得できる。そのため、プロセッサー部３００でのステレオマッチングやブロックマッチング等の処理が不要のため、プロセッサー部３００の規模（コスト）を削減できるメリットがある。

また、本実施形態では、プロセッサー部３００を構成する各部をハードウェアで構成することとしたが、本発明はこれに限定されるものではない。例えば、予め取得された画像信号と距離に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。或いは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

図１８に全体フローを示す。この処理を開始すると、まず撮像部（距離に対する）光学倍率や２つの撮像素子間の距離などの撮影条件を読み込む。さらに、測距センサー２４３で取得した距離マップ、及び位置センサー２８０で取得した動きベクトルに関するヘッダ情報を読み込む（Ｓ０２’）。次に、撮像部で取得された画像を読み込み（Ｓ０３’）、同時化処理を施す（Ｓ０４’）。以降の処理は第１の実施形態と同一である。

また、本実施形態では一部の処理において有効ブロックの判定結果を用いないものとしてもよい。例えば、本実施形態では距離情報を測距センサー２４３から取得しているため、画像中に暗部や輝点あったとしても、或いは被写体が平坦である等の要因で画像のコントラスト値が低かったとしても、そのことが距離情報の精度低下には直接的にはつながらない。つまり、距離変換部３１３２での処理において、有効ブロック情報を用いなくとも適切な距離（Ｄｉｓｔ＿Ｎｏｗ）を求めることは可能な場合もあると言える。ただし、内視鏡装置を対象とした場合、本実施形態で実現したいのは撮像部２００から被写体（生体）までの距離に応じたズーム倍率制御である以上、カンシまでの距離を用いることは適切でない。つまり、Ｃｒ，Ｃｂの平均値等を用いてカンシについての有効ブロック判定を行うことは有用とも言える。

また、第１の実施形態での信頼性判定部３１８での有効ブロック情報を用いた判定も、コントラスト値が低い、暗部や輝点があるという状況では取得された距離情報の精度が低いという理由から行われていた。つまり、上述したように測距センサー２４３から十分な精度の距離情報が取得されるのであれば、信頼性判定部３１８での判定処理に有効ブロック情報を用いないものとすることも可能である。

なお、中心座標設定部３１４２での処理では、コントラストが高い領域、暗部や輝点でない領域、カンシ以外の領域に対してユーザーは注目するはずである、という考え方は第１の実施形態でも第２の実施形態でも同様である。つまり、中心座標設定部３１４２においては、第１の実施形態と同様に有効ブロック情報を用いた処理を行うことが望ましい。

つまり、第２の実施形態の基本的な手法では、コントラスト値、暗部や輝点、カンシに関する情報を用いた有効ブロック情報（具体的にはコントラスト値、輝度の平均値・最大値、Ｃｒ・Ｃｂの平均値を用いて得られた有効ブロック情報）を、第１の実施形態と同様に距離変換部３１３２、信頼性判定部３１８、中心座標設定部３１４２で共通に用いるとしたがこれに限定されない。例えば、有効ブロック情報は中心座標設定部３１４２で用いるが、距離変換部３１３２と信頼性判定部３１８では用いないものとしてもよい。この場合、有効ブロック判定部は、図１６に示したように距離取得部３１３に設けられるのではなく、電子ズーム条件設定部３１４に設けられてもよい。或いは、中心座標設定部３１４２ではコントラスト値、暗部・輝点、カンシの全てを用いた有効ブロック判定処理の結果を用い、信頼性判定部３１８の判定処理部３１８５ではカンシを用いた有効ブロック判定処理の結果を利用する等の変形実施も可能である。

以上の本実施形態では、変動量検出部は、撮像部２００に設けられたセンサーから出力されるセンサー情報に基づいて、変動量を検出する。

ここで、撮像部２００に設けられたセンサーとは、位置センサー２８０であってもよいし、測距センサー２４３であってもよいし、その両方であってもよい。

これにより、第１の実施形態ではステレオマッチングで距離情報を求め、その差分から変動量を求めていたものを、測距センサー２４３からのセンサー情報で距離情報を求め、その差分から変動量を求める手法へと変更することが可能になる。また、第１の実施形態では画像から動きベクトルＶｅｃｔｏｒを算出していたものを、位置センサー２８０からのセンサー情報から動きベクトルＶｅｃｔｏｒを求める手法へと変更することが可能になる。どちらについても、センサーというハードウェア構成を追加する必要が生じるものの、センサー情報から直接、或いは容易な変換処理を行うだけで変動量を検出することができるため、第１の実施形態に比べて処理負荷を軽減することが可能になる。

また、距離取得部３１３は、撮像部２００に設けられた測距センサー２４３からの測距信号に基づいて、距離情報を取得してもよい。

これにより、測距センサー２４３を用いて距離情報を取得することが可能になる。測距センサー２４３を用いる利点については上述したとおりである。

以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１００光源部、１１０白色光源、１１１青色レーザー光源、１２０集光レンズ、
２００撮像部、２１０ライトガイドファイバー、２２０照明レンズ、
２３１，２３２対物レンズ、２４１，２４２撮像素子、２４３測距センサー、
２５０Ａ／Ｄ変換部、２６０メモリ、２７０ダイクロイックプリズム、
２８０位置センサー、３００プロセッサー部、３１０画像処理部、
３１１同時化処理部、３１２画像構成処理部、３１３距離取得部、
３１４電子ズーム条件設定部、３１５電子ズーム処理部、３１６強調帯域設定部、
３１７強調処理部、３１８信頼性判定部、３１９画像取得部、３２０制御部、
３２０制御部、４００表示部、５００外部Ｉ／Ｆ部、
３１３０距離マップ取得部、３１３１有効ブロック判定部、３１３２距離変換部、
３１４１電子ズーム倍率設定部、３１４２中心座標設定部、
３１４４中心座標記憶部、３１８１距離変動量算出部、
３１８３動きベクトル算出部、３１８５判定処理部

Claims

撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、
電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、
設定された電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、
前記距離情報の信頼性を判定する信頼性判定部と、
を含み、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が近いほど、自動的に前記電子ズーム倍率を大きく設定し、
前記電子ズーム条件設定部は、
前記信頼性の判定結果に基づいて、前記電子ズーム条件である前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項１において、
前記電子ズーム条件設定部は、
過去に求められた前記距離情報を過去距離情報として保持する距離情報記憶部を含み、
前記電子ズーム条件設定部は、
前記信頼性判定部により前記信頼性が低いと判定された場合に、前記距離情報記憶部に保持された前記過去距離情報に基づいて、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項１において、
前記電子ズーム条件設定部は、
過去に求められた前記距離情報を過去距離情報として保持する距離情報記憶部を含み、
前記電子ズーム条件設定部は、
現在の前記距離情報と、前記距離情報記憶部に保持された前記過去距離情報に基づいて、平均距離情報を求め、求めた前記平均距離情報に基づいて、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項３において、
前記電子ズーム条件設定部は、
現在の前記距離情報と、前記距離情報記憶部に保持された前記過去距離情報を加重平均することで前記平均距離情報を求め、求めた前記平均距離情報に基づいて、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項１において、
前記電子ズーム条件設定部は、
過去に求められた前記電子ズーム倍率を過去電子ズーム倍率として保持する電子ズーム倍率記憶部を含み、
前記電子ズーム条件設定部は、
前記信頼性判定部により前記信頼性が低いと判定された場合に、前記電子ズーム倍率記憶部に保持された過去電子ズーム倍率に基づいて、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項１において、
前記電子ズーム条件設定部は、
過去に求められた前記電子ズーム倍率を過去電子ズーム倍率として保持する電子ズーム倍率記憶部を含み、
前記電子ズーム条件設定部は、
現在の前記電子ズーム倍率と、前記電子ズーム倍率記憶部に保持された前記過去電子ズーム倍率に基づいて、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項６において、
前記電子ズーム条件設定部は、
現在の前記電子ズーム倍率と、前記電子ズーム倍率記憶部に保持された前記過去電子ズーム倍率を加重平均することで、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
請求項１において、
前記信頼性判定部は、
前記撮像部と被写体の間の相対的な位置関係の変動量を検出する変動量検出部を含み、
前記信頼性判定部は、
前記変動量に基づいて前記信頼性を判定することを特徴とする画像処理装置。
請求項８において、
前記変動量検出部は、
前記距離情報により表される前記撮像部と前記被写体間の前記距離の時間的な変化量を、前記変動量として検出することを特徴とする画像処理装置。
請求項８において、
前記変動量検出部は、
異なるタイミングで取得された複数の前記画像に基づいて、前記画像における前記被写体の動き量を、前記変動量として検出することを特徴とする画像処理装置。
請求項８において、
前記変動量検出部は、
前記撮像部に設けられたセンサーから出力されるセンサー情報に基づいて、前記変動量を検出することを特徴とする画像処理装置。
請求項１において、
前記画像取得部が前記画像としてステレオ画像を取得し、前記距離取得部が、前記ステレオ画像に対するステレオマッチング処理により前記距離情報を取得する場合に、
前記信頼性判定部は、
前記画像から検出されたコントラストに基づいて、前記距離情報の前記信頼性を判定する処理を行うことを特徴とする画像処理装置。
請求項１において、
前記距離取得部は、
前記画像に対して、複数の評価ブロックを設定し、前記評価ブロックごとに有効か否かを判定し、有効と判定された前記評価ブロックに基づいて、前記距離情報を取得することを特徴とする画像処理装置。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、
電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、
設定された電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、
を含み、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が近いほど、自動的に前記電子ズーム倍率を大きく設定し、
前記電子ズーム条件設定部は、
過去に求められた前記電子ズーム倍率を過去電子ズーム倍率として保持する電子ズーム倍率記憶部を含み、
前記電子ズーム条件設定部は、
前記電子ズーム倍率記憶部に保持された前記過去電子ズーム倍率に基づいて、前記電子ズーム倍率を設定することを特徴とする画像処理装置。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、
電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、
設定された電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、
を含み、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が近いほど、自動的に前記電子ズーム倍率を大きく設定し、
前記撮像部が、合焦物体位置の異なる複数のレンズ位置をとる可動レンズを有しており、前記可動レンズがレンズ駆動部により駆動されることで前記合焦物体位置を制御する場合に、
前記電子ズーム条件設定部は、
前記合焦物体位置が所定の閾値よりも前記撮像部に近い場合に、前記距離情報に基づいて前記電子ズーム条件を設定することを特徴とする画像処理装置。
請求項１５において、
前記レンズ駆動部は、
所定数の前記レンズ位置から一つを選択することで、前記合焦物体位置を段階的に制御すること特徴とする画像処理装置。
請求項１６において、
前記レンズ駆動部は、
前記合焦物体位置が近点となる第１のレンズ位置と、前記合焦物体位置が前記近点に比べて前記撮像部から遠い点である遠点となる第２のレンズ位置のいずれかに、前記可動レンズを移動させる駆動を行い、
前記電子ズーム条件設定部は、
前記合焦物体位置が前記近点の場合に、前記距離情報に基づいて前記電子ズーム条件を設定することを特徴とする画像処理装置。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、
電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、
設定された電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、
を含み、
前記電子ズーム条件設定部は、
前記撮像部の被写界深度範囲と前記距離情報に基づいて前記電子ズーム倍率を設定し、前記距離情報により表される前記距離が近いほど、自動的に前記電子ズーム倍率を大きく設定することを特徴とする画像処理装置。
請求項１８において、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が第１の距離より近い場合に、前記電子ズーム倍率を第１の所定倍率に設定することを特徴とする画像処理装置。
請求項１９において、
前記第１の距離は、前記撮像部の被写界深度範囲のうち、前記撮像部から近い側の端点での前記距離に基づいて決定されることを特徴とする画像処理装置。
請求項１８において、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が第２の距離より遠い場合に、前記電子ズーム倍率を第２の所定倍率に設定することを特徴とする画像処理装置。
請求項２１において、
前記第２の距離は、前記撮像部の被写界深度範囲のうち、前記撮像部から遠い側の端点での前記距離に基づいて決定されることを特徴とする画像処理装置。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、
電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、
設定された電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、
を含み、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が近いほど、自動的に前記電子ズーム倍率を大きく設定し、
前記電子ズーム条件設定部は、
前記電子ズーム処理の前記条件として、前記電子ズーム処理のズーム中心位置を設定する処理を行い、
前記電子ズーム条件設定部は、
前記画像及び前記距離情報の少なくとも一方に基づいて、前記ズーム中心位置を設定することを特徴とする画像処理装置。
請求項２３において、
前記画像から注目領域を検出する注目領域検出部を含み、
前記電子ズーム条件設定部は、
前記注目領域検出部で検出された前記注目領域に基づいて、前記ズーム中心位置を設定することを特徴とする画像処理装置。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得する画像取得部と、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得する距離取得部と、
電子ズーム処理の条件として、少なくとも電子ズーム倍率を設定する電子ズーム条件設定部と、
設定された電子ズーム条件に基づいて、前記画像に対して前記電子ズーム処理を施す電子ズーム処理部と、
を含み、
前記電子ズーム条件設定部は、
前記距離情報により表される前記距離が近いほど、自動的に前記電子ズーム倍率を大きく設定し、
前記画像取得部は、
前記画像としてステレオ画像を取得し、
前記距離取得部は、
前記ステレオ画像に対するステレオマッチング処理により前記距離情報を取得することを特徴とする画像処理装置。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報の信頼性を判定し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理、及び前記信頼性の判定結果に基づいて、前記電子ズーム倍率を設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ことを特徴とする画像処理方法。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理、及び電子ズーム倍率記憶部に保持された、過去に求められた前記電子ズーム倍率である過去電子ズーム倍率に基づいて、前記電子ズーム倍率を設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ことを特徴とする画像処理方法。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施し、
前記撮像部が、合焦物体位置の異なる複数のレンズ位置をとる可動レンズを有しており、前記可動レンズがレンズ駆動部により駆動されることで前記合焦物体位置を制御する場合に、
前記合焦物体位置が所定の閾値よりも前記撮像部に近い場合に、前記距離情報に基づいて、少なくとも前記電子ズーム倍率を含む電子ズーム条件を設定することを特徴とする画像処理方法。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理、及び前記撮像部の被写界深度範囲と前記距離情報に基づいて前記電子ズーム倍率を設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ことを特徴とする画像処理方法。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理を行い、
前記画像及び前記距離情報の少なくとも一方に基づいて、電子ズーム処理のズーム中心位置を設定する処理を行い、
設定された前記電子ズーム倍率及びズーム中心位置を用いて、前記画像に電子ズーム処理を施す、
ことを特徴とする画像処理方法。
撮像部の撮像により対象となる被写体を含む画像としてステレオ画像を時系列に取得し、
前記ステレオ画像に対するステレオマッチング処理により、前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ことを特徴とする画像処理方法。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報の信頼性を判定し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理、及び前記信頼性の判定結果に基づいて、前記電子ズーム倍率を設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ステップをコンピュータに実行させるプログラム。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理、及び電子ズーム倍率記憶部に保持された、過去に求められた前記電子ズーム倍率である過去電子ズーム倍率に基づいて、前記電子ズーム倍率を設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ステップをコンピュータに実行させるプログラム。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ステップをコンピュータに実行させ、
前記撮像部が、合焦物体位置の異なる複数のレンズ位置をとる可動レンズを有しており、前記可動レンズがレンズ駆動部により駆動されることで前記合焦物体位置を制御する場合に、
前記合焦物体位置が所定の閾値よりも前記撮像部に近い場合に、前記距離情報に基づいて、少なくとも前記電子ズーム倍率を含む電子ズーム条件を設定するプログラム。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理、及び前記撮像部の被写界深度範囲と前記距離情報に基づいて前記電子ズーム倍率を設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ステップをコンピュータに実行させるプログラム。
撮像部の撮像により対象となる被写体を含む画像を時系列に取得し、
前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理を行い、
前記画像及び前記距離情報の少なくとも一方に基づいて、電子ズーム処理のズーム中心位置を設定する処理を行い、
設定された前記電子ズーム倍率及びズーム中心位置を用いて、前記画像に電子ズーム処理を施す、
ステップをコンピュータに実行させるプログラム。
撮像部の撮像により対象となる被写体を含む画像としてステレオ画像を時系列に取得し、
前記ステレオ画像に対するステレオマッチング処理により、前記撮像部から被写体までの距離に基づく距離情報を、前記画像に対応付けて取得し、
前記距離情報により表される前記距離が近いほど、自動的に電子ズーム倍率を大きく設定する処理を行い、
設定された前記電子ズーム倍率を用いて、前記画像に電子ズーム処理を施す、
ステップをコンピュータに実行させるプログラム。