JPWO2016117107A1

JPWO2016117107A1 - 内視鏡装置及び内視鏡装置のフォーカス制御方法

Info

Publication number: JPWO2016117107A1
Application number: JP2016570443A
Authority: JP
Inventors: 直也栗山
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-01-23
Filing date: 2015-01-23
Publication date: 2017-12-14
Anticipated expiration: 2035-01-23
Also published as: US20170319051A1; DE112015005847T5; US10820787B2; JP6574448B2; CN107205626B; CN107205626A; WO2016117107A1

Abstract

内視鏡装置は、撮像部２００と被写体との相対的な動き量である相対動き量を算出する動き量算出部３４０と、撮像部２００のフォーカス制御を行うフォーカス制御部３５０と、を含む。フォーカス制御部３５０は、相対動き量をＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した累積動き量を求め、累積動き量が第１の閾値よりも大きいか否かを判定する合焦必要判定処理を行い、累積動き量が第１の閾値よりも大きいと判定された場合に、撮像部２００の合焦動作を実行する。

Description

本発明は、内視鏡装置及び内視鏡装置のフォーカス制御方法等に関する。

内視鏡装置（内視鏡システム）においては、ユーザの診断・処置に支障をきたさないように出来るだけ深い被写界深度が要求される。しかし近年では、内視鏡装置においても高画素の撮像素子が使用され、それに従って被写界深度が浅くなってきていることから、それを補うためにオートフォーカス（以下ＡＦと略す）を行う内視鏡装置が提案されている。

ＡＦ制御の従来手法には、例えば以下のような手法がある。第１手法は、ビデオカメラ等で用いられる動画撮影でのＡＦにおいて、画像中のコントラスト変化をトリガとして合焦動作を実行する手法である。第２手法は、特許文献１に開示される手法である。この手法では、被写体とカメラの相対的な位置変化をモーションセンサで検出し、そのモーションセンサの出力（例えば角加速度、加速度等）が所定量以上となったことをトリガとして合焦動作を実行する。

特開２０１０−１９１０８０号公報

上記のようなＡＦ制御の従来手法を内視鏡装置に適用した場合、内視鏡手技下で想定される様々なシーンにおいて、必要性に応じた適切なフォーカス制御が行われないという課題がある。例えば、内視鏡手技に第１手法を適用した場合、処置具の操作でコントラストが変化するため、不要な合焦動作が実行される可能性がある。或いは、内視鏡手技に第２手法を適用した場合、カメラを同一方向に少しずつ移動させたときに、撮影対象が変わったにも関わらず合焦動作が実行されない。また、手ぶれ等の一時的な大きな動きが発生した場合に、不要な合焦動作が実行される可能性がある。

本発明の幾つかの態様によれば、内視鏡手技下で想定される様々なシーンにおいて適切なフォーカス制御を行うことが可能な内視鏡装置及び内視鏡装置のフォーカス制御方法等を提供できる。

本発明の一態様は、撮像部と被写体との相対的な動き量である相対動き量を算出する動き量算出部と、前記撮像部のフォーカス制御を行うフォーカス制御部と、を含み、前記フォーカス制御部は、前記相対動き量をＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した累積動き量を求め、前記累積動き量が第１の閾値よりも大きいか否かを判定する合焦必要判定処理を行い、前記累積動き量が前記第１の閾値よりも大きいと判定された場合に、前記撮像部の合焦動作を実行する内視鏡装置に関係する。

本発明の一態様によれば、撮像部と被写体との相対的な動き量がＮフレーム累積され、その累積動き量が第１の閾値よりも大きいか否かの判定が行われ、その判定において、累積動き量が第１の閾値よりも大きいと判定された場合に、撮像部の合焦動作が実行される。これにより、内視鏡手技下で想定される様々なシーンにおいて適切なフォーカス制御を行うことが可能になる。

また本発明の他の態様は、撮像部と被写体との相対的な動き量である相対動き量を算出し、前記相対動き量をＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した累積動き量を求め、前記累積動き量が第１の閾値よりも大きいか否かを判定する合焦必要判定処理を行い、前記累積動き量が前記第１の閾値よりも大きいと判定された場合に、前記撮像部の合焦動作を実行する内視鏡装置のフォーカス制御方法に関係する。

図１は、内視鏡手技の説明図。図２は、第１実施形態における内視鏡装置の構成例。図３は、第２実施形態における内視鏡装置の構成例。図４は、撮像素子の詳細な構成例。図５は、光軸垂直動きの説明図。図６は、光軸平行動きの説明図。図７は、動き量算出部の詳細な構成例。図８は、局所的な動きベクトルの例。図９は、２次元ヒストグラムの例。図１０は、局所的な動きベクトルの例。図１１は、光軸平行動き量を算出する処理のフローチャート。図１２は、光軸平行動きの方向を判定する処理の説明図。図１３は、光軸平行動きの方向を判定する処理の説明図。図１４は、フォーカス制御処理のフローチャート。図１５は、合焦物体位置に応じた閾値の設定例。図１６は、合焦動作が可能か否かを判定する処理のフローチャート。図１７は、第３実施形態における内視鏡装置の構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．第１実施形態
上述したように、ＡＦ制御の従来手法として例えばコントラスト変化をトリガに用いる第１手法や、モーションセンサの出力が所定量以上になったことをトリガに用いる第２手法がある。これらの従来手法を内視鏡手技に適用した場合を考える。

図１に示すように、内視鏡装置２を用いた手技下では、処置具４（例えば電気メスや鉗子等）を用いて被写体６（生体）に対して処置（例えば病変の切除や縫合等）が行われる。この内視鏡手技に第１手法を適用した場合、画像には被写体６だけでなく処置具４が含まれており、その処置具４はユーザの操作によって動いているため、撮影範囲やピントが変わっていなくてもコントラスト変化が発生する。この処置具４によるコントラスト変化によって不要な合焦動作が実行される可能性があり、処置具４の操作中において安定的なＡＦ制御が困難となる。

また第２手法を適用した場合、モーションセンサの出力が所定量未満となる動きでは合焦動作が実行されないため、非合焦となっていても合焦動作が実行されない可能性がある。例えば、モーションセンサの出力が所定量未満となる動きが同一方向に継続して発生した場合、その結果として撮影範囲が大きく移動している（又は被写界深度から外れた）にも関わらず、合焦動作が実行されない。また、手ぶれ等の要因でモーションセンサの出力が瞬間的に所定量以上となる動きが発生した場合、撮影範囲が実質的に変わっていない（又は被写界深度から外れていない）にも関わらず、合焦動作が実行される。このようなユーザの意図しない合焦動作が実行されると、使用感を損なう恐れがある。

以上のように、従来のＡＦ制御手法では、内視鏡手技下で想定される様々なシーンにおいて、不要な合焦動作が実行されるという課題や、必要な合焦動作が実行されないという課題がある。

図２に、上記のような課題を解決できる本実施形態の内視鏡装置の構成例を示す。内視鏡装置は、撮像部２００と、撮像部２００と被写体との相対的な動き量である相対動き量を算出する動き量算出部３４０と、撮像部２００のフォーカス制御を行うフォーカス制御部３５０（ＡＦ制御部）と、を含む。なお、撮像部２００を内視鏡装置に着脱可能に構成し、内視鏡装置が撮像部２００を含まない構成にしてもよい。

フォーカス制御部３５０は、相対動き量をＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した累積動き量を求め、その累積動き量が第１の閾値よりも大きいか否かを判定する合焦必要判定処理を行い、累積動き量が第１の閾値よりも大きいと判定された場合に、撮像部２００の合焦動作を実行する。

このように累積動き量を用いることで内視鏡手技下で想定される様々なシーンにおいて必要性に応じた適切なフォーカス制御を行うことができる。即ち、内視鏡装置の被写体としては例えば生体と処置具を想定できるが、合焦動作が必要となるのは、生体の撮影範囲が移動した場合や、或いは生体や処置具が被写界深度から外れた場合等である。逆に、これらの状況でないときに合焦動作が実行されると一時的にフォーカスが変化して視認性が低下する。例えば、処置を行っている間は撮影範囲を動かさずに処置具を操作しているが、このときにフォーカスが変化すると処置に支障をきたす。本実施形態によれば、生体の撮影範囲が移動した場合や、或いは生体や処置具が被写界深度から外れた場合等、合焦動作が必要なときに合焦動作を実行できる。逆に処置具だけが動いている場合等、合焦動作が不要なときには合焦動作が実行されない。

具体的には、処置具の操作によって画像のコントラストが変化する場合であっても、動き量をトリガに用いることで処置具の操作に影響されないフォーカス制御を実現できる。また、同一方向の小さな移動が継続した場合であっても、動き量を累積することで大きな動き量として検出し（即ち撮影範囲の移動やピンぼけを検出し）、合焦動作を実行できる。また、瞬間的な大きな動きがあった場合であっても、それ以外の動きが小さければ累積動き量としては小さくなるため（即ち撮影範囲の移動やピンぼけが起きていないと判断できるため）、ユーザが意図しない合焦動作を抑制できる。また、動き量を累積することでランダムな動きが平均化されることが期待できる。例えば、処置具の動きは一定方向の動きが継続するよりもランダムな動きが多いと想定される。そのため、処置具の動き量は累積により小さくなり、生体の撮影範囲に一定方向の動き（撮像部と生体の相対的な一定方向の動き）がある場合には生体の累積動き量が大きくなる。

また、撮影範囲の移動や被写界深度外への移動のような大きな移動を検出する場合、その前後のフレームの（即ちＮフレーム間隔の）画像からマッチングを行うことは難しい。本実施形態では、小さい間隔（例えばフレーム間で）で相対動き量を検出し、それを累積することで、大きな移動を検出することが可能になる。

ここで、動き量とは、撮像部２００と被写体の間の相対的な位置の変化（例えばカメラの光軸方向を変えない移動）や相対的な向きの変化（例えばカメラの光軸方向が変わる回転（パン、チルト））に応じて変化する量である。例えば、画像から動きベクトルを検出する場合、撮像部２００の移動や回転に応じて動きベクトルの大きさや向きが変化する。或いは、モーションセンサを用いた場合、撮像部２００の移動や回転に応じた加速度、角加速度、角速度等が得られる。動き量は、動きの大きさの情報と向きの情報を表す量であり、或いは動きの大きさの情報と向きの情報の一方を表す量であってもよい。例えば、後述する光軸平行動き量では接近・離脱・動き無しに対して“＋１”、“−１”、“０”を割り当てており、光軸方向に沿った動きの向きを表す量になっている。本実施形態では、動き量は少なくとも動きの向きの情報を含むことが望ましい。動き量が向きの情報を含むことで、一定方向への動きが累積され、撮像部２００と被写体の間の相対的な移動（即ち、撮影範囲の移動や被写界深度外への移動）を検出できる。

また、第１の閾値とは、累積動き量が表す撮像部２００と被写体の間の相対的な移動を検出するための閾値である。即ち、相対動き量はＮフレームよりも短い間隔での動き量（例えばフレーム間の動き量）であり、それを累積（例えば加算、積分）したのが累積動き量である。そのため、累積動き量は相対動き量よりも長い間隔での動き（即ちＮフレームの間での移動量）を表している。例えば、相対動き量は動きの速度に対応し、それを積分した移動量（距離や方向）が累積動き量に対応する。この累積動き量に対して閾値判定を行うことで、移動量を判定できる。例えば、第１の閾値として、画像サイズの１／３或いは１／２に相当する値を採用できる。この場合、被写体が画像上で画像サイズの１／３或いは１／２動いた場合（即ち、撮影範囲が移動した場合）に合焦動作が実行される。或いは、第１の閾値として、被写界深度に相当する値を採用できる。この場合、被写体が被写界深度から外れた場合に合焦動作が実行される。なお、累積動き量は、移動の大きさを正確に表す場合に量に限らず、移動の大きさの目安となる量であってもよい。例えば、動きの向きの情報（例えば、接近・離脱・動き無しに対して“＋１”、“−１”、“０”を割り当てた動き量）を累積したものであってもよい。

また、Ｎフレームとは、相対動き量を累積したフレーム数であり、Ｎは固定に限らず変化する数であってもよい。例えば、第２実施形態で後述するように、ある基準フレーム以後の相対動き量を累積してもよい。この場合、基準フレームから３フレーム目ではＮ＝３、１０フレーム目ではＮ＝１０となる。或いは、Ｎを所定数として現在フレームからＮフレーム前までの相対動き量を累積してもよい。この場合、現在フレームが変わってもＮ＝所定数である。

また、フォーカス制御とは、フォーカスを調整する合焦動作、フォーカスを動かさない待機状態、それらの間の遷移制御等を含み、撮像部のフォーカスを制御する処理の全体を指す。合焦動作とは、被写体に対してフォーカスを合わせる一連の動作であり、例えばコントラスト法（山登り法）や、ウォブリングにより合焦方向を判定する手法等を用いることができる。

２．第２実施形態
２．１．内視鏡装置
図３に、第２実施形態の内視鏡装置（内視鏡システム）の構成例を示す。内視鏡装置は、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００と、を備えている。

硬性鏡１００を用いた内視鏡装置は、例えば腹腔鏡手術等の外科手術に用いられる内視鏡装置である。即ち、生体の腹部等に小孔を空けて、その小孔から硬性鏡１００を挿入し、同一の小孔又は別の小孔から処置具を挿入し、硬性鏡１００の視野において処置具による外科的処置を行う。処置具としては、例えばメスや鉗子、縫合用の針・糸、洗浄用の注水・吸水器具等の種々の器具が想定される。なお、本実施形態のフォーカス制御の手法は、硬性鏡１００を用いた内視鏡装置への適用に限定されるものではなく、軟性鏡を用いた内視鏡装置への適用も可能である。

光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を硬性鏡１００に導光するライトガイドケーブル６２０と、を備えている。硬性鏡１００は、結像レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系１１０と、ライトガイドケーブル６２０からの出射光を硬性鏡１００の先端まで導光するライトガイド部１２０と、を備えている。撮像部２００は、レンズ系１１０からの光（被写体からの反射光）を結像する対物レンズ系２３０を備える。対物レンズ系２３０は、合焦物体位置を調整するフォーカスレンズ２１０を含んで構成されている。また撮像部２００は、対物レンズ系２３０により結像された反射光を光電変換して画像を生成する撮像素子２４０と、フォーカスレンズ２１０を駆動するフォーカスレンズ駆動部２２０を備えている。フォーカスレンズ駆動部２２０は、例えばボイスコイルモーター（ＶＣＭ）である。

なお、合焦物体位置とは、撮像部２００のフォーカスが合っている物体（被写体）の位置である。具体的には、対物レンズ系２３０において像面（又は像側焦点）に対応して合焦物体面（又は物体側焦点）が決まるが、その像面が撮像素子２４０の撮像面に一致する場合の合焦物体面の位置が合焦物体位置である。合焦物体位置は、撮像部２００と合焦物体面との間の相対的な位置であり、例えば撮像部２００の基準点（例えば対物レンズ系２３０の先端や、硬性鏡１００の先端等）から合焦物体面（光学系の物体側においてフォーカスが合っている面）までの距離で表される。合焦物体位置は、例えばフォーカスレンズ２１０の制御情報（位置）と対物レンズ系２３０の光学特性（設計値）から知ることができる。

図４を用いて、本実施形態における撮像素子２４０の詳細を説明する。図４は、撮像素子２４０の一部を拡大した図である。撮像素子２４０は、複数の画素が２次元配列状に配置された構造で、各画素にはＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている。撮像素子２４０は、図４に示すようなベイヤ配列からなるカラーフィルタを有する撮像素子以外にも、例えば補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。

処理部３００は、ＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、動き量算出部３４０と、フォーカス制御部３５０と、制御部３６０と、を備えている。ＡＤ変換部３１０は、撮像素子２４０から順次出力されるアナログ信号をデジタルの画像に変換して、前処理部３２０に順次出力する。前処理部３２０は、ＡＤ変換部３１０から出力された画像に対して、ホワイトバランス処理、補間処理（デモザイキング処理、ベイヤ画像からＲＧＢ画像を生成する処理）等の画像処理を施し、その画像を画像処理部３３０、動き量算出部３４０、フォーカス制御部３５０に順次出力する。画像処理部３３０は、前処理部３２０から出力された画像に対して色変換処理、階調変換処理、エッジ強調処理、拡縮処理、ノイズリダクション処理等の画像処理を施し、その画像を表示部４００に順次出力する。動き量算出部３４０は、前処理部３２０から出力された画像に基づいてフレーム間の動き量を算出し、その動き量をフォーカス制御部３５０に出力する。動き量算出部３４０の詳細については後述する。フォーカス制御部３５０は、動き量算出部３４０から出力された動き量に基づいて合焦動作の開始・終了を制御し、合焦動作においては被写体に合焦するようフォーカスレンズ駆動部２２０を駆動させる。フォーカス制御部３５０の詳細については後述する。表示部４００は例えば液晶モニタであり、画像処理部３３０から順次出力される画像を表示する。

制御部３６０は、外部Ｉ／Ｆ部５００や画像処理部３３０、フォーカス制御部３５０、撮像素子２４０などと相互に接続されており、制御信号の入出力を行う。外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。

２．２．動き量算出部
次に、動き量算出部３４０の詳細について説明する。動き量算出部３４０は、前処理部３２０から出力される画像に基づいて、被写体上の着目箇所の移動（図５）を光軸垂直動き量として算出し、被写体と撮像部２００の間の距離変化（図６）を光軸平行動き量として算出する。光軸垂直動き量は、画像における上下左右方向への着目箇所（視野、撮影範囲）の位置変化を表す量である。光軸平行動き量は、奥行き方向（光軸に沿った方向）における撮像部２００と被写体の間の相対的な位置変化を表す量である。以下では、動き量は光軸垂直動き量及び光軸平行動き量の双方を指すが、いずれか一方を動き量として用いてもよい。また以下では、説明の便宜上、動き量算出部３４０は前処理部３２０から出力される画像のＧ信号のみを処理対象とするが、ＲＧＢ信号から算出した輝度信号を処理対象とする、などの変形は適宜行っても構わない。

図７に、動き量算出部３４０の詳細な構成例を示す。動き量算出部３４０は、フレームメモリ３４１と、動きベクトル算出部３４２と、光軸垂直動き量算出部３４３と、光軸平行動き量算出部３４４と、を備えている。

フレームメモリ３４１は、前処理部３２０から出力される画像を一時的に記憶するメモリである。フレームメモリ３４１は、前処理部３２０から出力される画像をフレーム遅延し、動きベクトル算出部３４２に出力する。動きベクトル算出部３４２は、前処理部３２０から出力される画像（現在フレームの画像）と、フレームメモリ３４１から出力されるフレーム遅延した画像（過去フレームの画像）との間の動きベクトルを算出する。動きベクトルの基準は現在フレームの画像である。具体的には、図８に示すように、画像ＩＭの中の複数のポイントにおいて局所的な動きベクトルＶＥを求める。動きベクトルの算出は、例えば公知技術であるブロックマッチング法や、勾配法で行う。なお、図８では画像ＩＭ上に等間隔で設定した点での動きベクトルＶＥを算出しているが、動きベクトルの算出手法はこれに限定されない。例えば、画像の全画素で動きベクトルを算出する等の変形は適宜行っても構わない。

光軸垂直動き量算出部３４３は、動きベクトル算出部３４２から出力される動きベクトルｖ_ｉ（ｉ＝０〜Ｍ−１）に基づいて、光軸垂直動き量ＭＶ（光軸垂直動きベクトル）を算出する。具体的には、下式（１）で算出する。

Ｍは局所的な動きベクトルの総数（図８の例ではＭ＝１５）である。全ての（Ｍ個の）動きベクトルを平均化することで、画像全体の大域的な動き量を光軸垂直動き量ＭＶとして算出する。

なお、光軸垂直動き量ＭＶの算出手法として以下のような変形例を用いてもよい。第１の変形例では、各動きベクトルに対して周辺に位置する動きベクトルとの相関の有無を判定し、相関ありと判定した動きベクトルのみから光軸垂直動き量ＭＶを算出しても構わない。具体的には下式（２）、（３）で算出する。

周辺の動きベクトルとの相関は、例えばベクトル間の差分の大きさである。その差分の大きさが所定の閾値未満であれば相関ありと判定し、そうでなければ相関なしと判定する。例えば、周辺の動きベクトルを上下左右４つの動きベクトルとした場合、その上下左右の各動きベクトルについて閾値判定を行う。例えば、４つのうち１つでも差分の大きさが所定の閾値以上であれば相関なしと判定してもよいし、４つのうち２つ又は３つ以上（その値を含む）で差分の大きさが所定の閾値以上であれば相関なしと判定してもよい。Ｍ個の動きベクトルの中で相関ありと判定される動きベクトルが存在しない場合には、光軸垂直動きは存在しないと判定し、光軸垂直動き量ＭＶをゼロベクトルとして以降の処理を行う。

動きベクトルｖｉには、被写体上の着目箇所の移動による動きベクトル以外に、例えば手技中の鉗子操作といった外乱による動きベクトルが含まれる。外乱による動きベクトルは、周辺の動きベクトルと相関がない。上式（２）、（３）に示したように、周辺の動きベクトルとの相関の有無に基づいて外乱による動きベクトルを除外することで、高精度に（即ち、処置具による外乱を除いた生体と撮像部の間の）光軸垂直動き量ＭＶを算出できる。

第２の変形例では、Ｍ個の動きベクトルから、図９に示す向きと大きさの２次元ヒストグラムを作成し、その２次元ヒストグラムから光軸垂直動き量ＭＶを算出しても構わない。図９では、動きベクトルの向きを９個（大きさゼロと８方向）に量子化し、動きベクトルの大きさを１１個（大きさを画素数で表して８画素毎）に量子化している。この２次元ヒストグラムにおいて度数が最大となるビンに対応する動きベクトルを光軸垂直動き量ＭＶとする。図９では、右向きで大きさ８〜１５の１１度数が最大なので、その動きベクトルを採用する。大きさは、例えば８〜１５の中央（例えば１２）とすればよい。

図９は、図８の１５個の動きベクトルを２次元ヒストグラムにしたものである。図８から分かるように、画像ＩＭの大部分には生体が写っているが、被写体上の着目箇所を移動する動きに対して生体の動きベクトル（右向きの動きベクトル）は、ほぼ一様である。そのため、被写体上の着目箇所を移動した場合には、その動きベクトルの大部分（１５個のうち１１個）は向き・大きさともに類似している。この生体の動きベクトルは、図９のヒストグラムでは度数１１のビンに対応する。一方、処置具等の外乱による動きベクトル（右上向き、左下向きの動きベクトル）は、Ｍ個の動きベクトルの中で占める個数が少ない（１５個のうち４個）。また、外乱による動きベクトルは生体の動きベクトルとは向きや大きさが異なっている。この外乱の動きベクトルは、図９のヒストグラムにおいて度数２の２つのビンに対応する。以上から、２次元ヒストグラムで最大度数となるビンを用いることで、外乱の影響を除外して光軸垂直動き量ＭＶを算出できる。

光軸平行動き量算出部３４４は、動きベクトル算出部３４２から出力される動きベクトルに基づいて光軸平行動き量ＭＨを算出する。図１０に、光軸平行動きが存在する場合の局所的な動きベクトルＶＥの例を示す。これは、撮像部が被写体から離脱する場合の例である。光軸平行動きが存在する場合、理想的には動きベクトルを延長した直線が１点（消失点ＶＰ）に収束する。図１０では処置具による外乱があるため１点に収束しないが、それを除けば理想的には１点に収束する。動きベクトルの始点を延長した側に消失点が存在すれば被写体から離脱する（離れる方向の）動きである。この場合、動きベクトルは消失点から外側に向く。一方、動きベクトルの終点を延長した側に消失点が存在すれば被写体に接近する（近づく方向の）動きである。この場合、動きベクトルは消失点へ内側に向く。上述したように現在フレームを基準として過去フレームに対する動きベクトルを求めているため、離脱／接近に対して動きベクトルが外向き／内向きとなる。なお、過去フレームを基準として現在フレームに対する動きベクトルを求め、離脱・接近に対して動きベクトルが内向き・外向きとなってもよい。

図１１に、光軸平行動き量ＭＨを算出する処理のフローチャートを示す。この処理を開始すると、まず消失点を決定する（Ｓ１）。光軸平行動きが存在する場合、理想的には動きベクトルを延長した直線と消失点との間の距離はゼロである。実際には、動きベクトルの量子化精度が有限であるため、或いは処置具等による外乱が存在するため、動きベクトルを延長した直線と消失点との間の距離はゼロとはならない。そのため、Ｍ個の動きベクトルｖｉ（ｉ＝０〜Ｍ−１）を延長した直線からの距離の総和が最小となる点を消失点とする。

次に、光軸平行動きが存在するか否かを判定し、光軸平行動きが存在すると判定した場合には離脱／接近のいずれの動きかを判定する（Ｓ２）。光軸平行動きが存在するか否かは、消失点の信頼性で判定する。消失点の信頼性は、上述の距離総和が小さな値であれば高いと判定できるため、距離総和が所定の閾値以下である場合には消失点の信頼性が高いと判定し、光軸平行動きありと判定する。距離総和が所定の閾値よりも大きい場合には、消失点の信頼性が低いと判定し、光軸平行動きなしと判定する。光軸平行動きありと判定された場合、各動きベクトルの方向が消失点側か反対側かにより、光軸平行動きの向き（離脱／接近）を判定する。この光軸平行動きの向きの判定で、離脱／接近いずれとも判定できない場合、光軸平行動きなしと判定する。

次に、ステップＳ２での判定結果に基づいて下式（４）のように設定した光軸平行動き量ＭＨを出力する（Ｓ３）。

ステップＳ２における離脱／接近の判定方法として、例えば以下の手法を用いる。即ち、図１２に示すように、動きベクトルｖ_ｉ（ｉ＝０〜Ｍ−１）と対応するベクトルｌ_ｉとのなす角度（ａｒｇ（ｖ_ｉ）−ａｒｇ（ｌ_ｉ））により離脱／接近を判定する。ｌ_ｉは、動きベクトルｖ_ｉの始点ＳＰを始点とし、消失点ＶＰを終点とするベクトルである。ａｒｇ（ｘ）はベクトルｘの偏角を返す関数である。

具体的には、下式（５）によりＭ個の動きベクトルを分類する。下式（５）の模式図を図１３に示す。Ｍ個の動きベクトルの分類結果のうち最も分類数が多いものを光軸平行動きの判定結果とする。分類数が最多となる分類が複数存在する場合、光軸平行動きなしと判定する。例えば、図１０では、生体の動きベクトル１１個が離脱に分類され、処置具の動きベクトル４個が接近又は動き無しに分類されるので、判定結果は離脱となる。

ここで、Ｔ＿ＡＲＧ＿Ｆは離脱する動きに対応する閾値である。Ｔ＿ＡＲＧ＿Ｆは接近する動きに対応する閾値である。離脱する動きなら動きベクトルは消失点と反対の方向を向くため、ａｒｇ（ｖ_ｉ）−ａｒｇ（ｌ_ｉ）は±πに近づく。接近する動きなら動きベクトルは消失点の方に向くため、ａｒｇ（ｖ_ｉ）−ａｒｇ（ｌ_ｉ）は０に近づく。このため、上式（５）により光軸平行動きの有無と方向を判定できる。

なお、離脱／接近の判定方法として、以下の変形例を用いてもよい。即ち、下式（６）、（７）のように動きベクトルｖ_ｉとベクトルｌ_ｉの内積により離脱／接近を判定してもよい。

ここで、ｖ_ｉ・ｌ_ｉは動きベクトルｖ_ｉとベクトルｌ_ｉの内積である。｜ｘ｜はベクトルｘの大きさである。Ｔ＿ＰＲＯ＿Ｆは離脱する動きに対応する内積の閾値である。Ｔ＿ＰＲＯ＿Ｎは接近する動きに対応する内積の閾値である。離脱する動きなら動きベクトルの方向は消失点と反対方向となるため、（ｖ_ｉ・ｌ_ｉ）／｜ｖ_ｉ｜｜ｌ_ｉ｜は−１に近づく。接近する動きなら動きベクトルの方向は消失点側となるため、ｖ_ｉ・ｌ_ｉ／｜ｖ_ｉ｜｜ｌ_ｉ｜は＋１に近づく。このため、上式（６）、（７）により光軸平行動きの有無と方向を判定できる。

また、光軸平行動き量を算出する手法として、以下の変形例を用いてもよい。即ち、上式（２）、（３）で説明した手法と同様にして、周辺の動きベクトルとの相関を判定し、相関ありと判定した動きベクトルから光軸平行動き量ＭＨを算出しても構わない。図１０から分かるように、光軸平行動きが存在する場合には、生体の部分（相関が高い部分）においても周辺の動きベクトルの向きが若干異なっている。そのため、光軸平行動きの相関判定用の閾値を、光軸垂直動きの相関判定用の閾値よりも大きくしてもよい。

また、これまで動きベクトルに基づいて光軸平行動き量を算出する手法について説明したが、光軸平行動き量を算出する手法はこれに限定されない。例えば、回転不変位相限定相関法（ＲＩＰＯＣ）を用いて画像から光軸平行動き量を算出しても構わない。この場合、現在のタイミングで取得された画像を基準に、フレームメモリに格納された画像が拡大されていれば離脱する動き、縮小されていれば接近する動き、倍率に変化がなければ光軸平行動きなし、と判定する。

２．３．フォーカス制御部
次に、フォーカス制御部３５０が行うフォーカス制御（ＡＦ制御）の詳細について説明する。

図１４に、フォーカス制御のフローチャートを示す。このフローにおいて、上述の合焦動作はステップＳ１１〜Ｓ１３に該当する。

フォーカス制御部３５０は、まず合焦方向を判別する（Ｓ１１）。具体的には、ＡＤ変換部３１０から順次出力される画像の取得タイミングに同期するように、フォーカスレンズ２１０のウォブリング動作を開始する。ウォブリング動作とは、フォーカスレンズ２１０を前後に動かし（揺らし）、合焦物体位置を前後（無限遠側・至近側）に動かす（揺らす）動作である。このウォブリング動作により合焦物体位置が異なる複数の画像が撮影される。例えば、フォーカスレンズ２１０をウォブリング中心とその前後の３点に移動させる。この場合、その３点での画像が順次撮影される。その後、フォーカス制御部３５０は、ウォブリング動作で取得された画像に基づいて、例えば公知の手法を用いて合焦方向を判別する。例えば、ウォブリング動作で得られた複数の画像のコントラスト値を求め、そのコントラスト値から合焦方向を判定する。例えば、合焦物体位置を無限遠側に動かした方がコントラスト値が高い場合、合焦物体位置を無限遠側に動かす方向が合焦方向である。

次に、フォーカス制御部３５０は、Ｓ１１で決定された合焦方向に基づいて、ウォブリングの中心位置を変更する（Ｓ１２）。具体的には、Ｓ１１で決定される合焦方向は、合焦物体位置が撮像素子２４０に近い至近（近点）側となる方向か、遠い無限遠（遠点）側となる方向のいずれかである。合焦方向が至近側の方向の場合にはウォブリング中心を至近側に移動させ、合焦方向が無限遠側の方向の場合にはウォブリング中心を無限遠側に移動させる。

次に、フォーカス制御部３５０は、合焦が完了したか否かの判断を行う（Ｓ１３）。ここでフォーカス制御部３５０は、公知の合焦判定処理等を行うことで合焦判断を行えばよい。例えば、画像のコントラスト値の高・低から合焦・非合焦を判断してもよいし、或いは、ウォブリング中心の停止・移動から合焦・非合焦を判断してもよい。フォーカス制御部３５０は、合焦が完了していないと判断した場合はステップＳ１１〜Ｓ１３の動作を繰り返し、ウォブリングの中心位置を徐々に被写体に近づけていく（徐々に被写体に合焦させていく）。また、合焦が完了したと判断した場合はフォーカスレンズ２１０のウォブリング動作を終了し、合焦動作を完了する。合焦動作完了後は待機動作に移行する。待機動作では、合焦動作を行わない（フォーカスレンズ２１０を動かさない）。例えば、ステップＳ１３において合焦が完了したと判断したときのフォーカスレンズ２１０の位置で停止させる。

待機動作を開始すると、まず、フォーカス制御部３５０はＳＵＭ＿ＭＶ、ＳＵＭ＿ＭＨを初期化する（Ｓ１４）。ＳＵＭ＿ＭＶ、ＳＵＭ＿ＭＨは、後述するステップＳ１５において合焦動作が必要か否かの判定に用いる値である。

次に、フォーカス制御部３５０は、光軸垂直動き量ＭＶおよび光軸平行動き量ＭＨに基づいて、合焦動作が必要か否かを判定する（Ｓ１５）。合焦動作が不要であると判定した場合、ＣＯＵＮＴを初期化した後（Ｓ１６）、次の画像取得タイミングに同期してステップＳ１５を実行する。ＣＯＵＮＴは、後述するように、合焦動作が可能か否かの判定に用いる値である。一方、合焦動作が必要であると判定した場合、合焦動作が可能か否かを判定する（Ｓ１７）。合焦動作が不可であると判定した場合、次の画像取得タイミングに同期してステップＳ１５を実行する。合焦動作が可能であると判定した場合、待機動作を終了して合焦動作に移行し、ステップＳ１１を実行する。合焦動作の必要／不要（Ｓ１５）および可能／不可（Ｓ１７）の判定の詳細については後述する。

合焦動作が必要か否かの判定（Ｓ１５）について説明する。合焦動作が必要な場合は、被写体への合焦状態が合焦から非合焦へと変化した場合である。合焦状態が合焦から非合焦へと変化するのは、ユーザが内視鏡を操作して被写体上で着目箇所を移動した場合、ユーザが内視鏡を操作して撮像部から被写体までの距離を変化させた場合である。本判定では、光軸垂直動き量ＭＶおよび光軸平行動き量ＭＨに基づいて、これら２つの場合のいずれかを検出した場合に合焦動作が必要であると判定する。いずれの場合も検出できない場合、ステップＳ１６を実行した後、次の画像取得タイミングにおける判定（Ｓ１５）に移行する。

まず、ユーザが被写体上で着目箇所を移動した場合、移動前後のフレーム間では光軸垂直動き量ＭＶ_ｊが存在する。これをＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した値ＳＵＭ＿ＭＶの絶対値が所定の閾値Ｔ＿ＭＶを超えれば、被写体上の着目箇所移動により非合焦となった可能性があるとして、合焦動作が必要と判定する。具体的には、下式（８）、（９）を用いて判定する。ここで、ｊはフレーム番号であり、ｊ＝０は待機動作に移行した最初のフレーム（又は、待機動作に移行した後の基準フレーム）に対応する。ｊ＝Ｎ−１は現在のフレームに対応する。

ＳＵＭ＿ＭＶは光軸垂直動き量ＭＶ_ｊを累積した、上下方向・左右方向の成分（例えば画像上でのｘ成分とｙ成分、或いは、水平走査方向成分と垂直走査方向成分）を有する２次元ベクトルである。

なお、ＳＵＭ＿ＭＶに基づく合焦動作が必要か否かの判定では、以下の変形例を用いてもよい。即ち、内視鏡手技においては臓器等の生体が上下方向に折り重なっている。このため、ベクトルの大きさが同じであっても、左右方向に比べて上下方向は異なる臓器に着目箇所を移動した可能性がより高く、非合焦となる可能性がより高い。このため、左右方向の光軸垂直動きに対して上下方向の光軸垂直動きをより合焦動作が必要と判定されやすくしても構わない。具体的には下式（１０）、（１１）で判定する。

ここで、ＳＵＭ＿ＭＶ＿Ｖ、ＳＵＭ＿ＭＶ＿Ｈは、ＳＵＭ＿ＭＶの上下方向成分、左右方向成分である。Ｔ＿ＭＶ＿Ｖ、Ｔ＿ＭＶ＿Ｈは、上下方向成分ＳＵＭ＿ＭＶ＿Ｖの閾値、左右方向成分ＳＵＭ＿ＭＶ＿Ｈの閾値である。このように上下方向と左右方向を異なる閾値で判定することで、合焦動作が必要な場合をより高精度に判定できる。

次に、ユーザが内視鏡と被写体との間の距離を変化させた場合、変化前後のフレーム間には光軸平行動き量ＭＨ_ｊが存在する。これを、待機動作に移行した最初のタイミングから現在のタイミングまでＮフレーム（Ｎは３以上（その値を含む））累積した値ＳＵＭ＿ＭＨの絶対値が所定の閾値Ｔ＿ＭＨを超えた場合、被写体との距離変化により非合焦となった可能性があるとして、合焦動作が必要と判定する。具体的には、下式（１２）、（１３）を用いて判定する。ここで、ｊはフレーム番号であり、ｊ＝０は待機動作に移行した最初のフレーム（又は、待機動作に移行した後の基準フレーム）に対応する。ｊ＝Ｎ−１は現在のフレームに対応する。

なお、ＳＵＭ＿ＭＨに基づく合焦動作が必要か否かの判定では、以下の変形例を用いてもよい。即ち、光軸平行動きが接近する方向か離脱する方向かに応じて閾値Ｔ＿ＭＨを変更しても構わない。合焦動作が必要となる場合は、内視鏡と被写体との距離が被写界深度外となる場合である。被写界深度は合焦物体位置を基準に無限遠側より至近側の方が狭いため、光軸平行動きの絶対値が同じ値であっても、離脱する光軸平行動きより接近する光軸平行動きの方が非合焦となる可能性が高い。このため、離脱する光軸平行動きよりも接近する光軸平行動きの方を、より合焦動作が必要と判定されやすくしても構わない。具体的には下式（１４）〜（１６）で判定する。

ここで、Ｔ＿ＭＨ＿Ｎは、接近する方向でのＳＵＭ＿ＭＨの閾値であり、Ｔ＿ＭＨ＿Ｆは離脱する方向でのＳＵＭ＿ＭＨの閾値である。このように接近と離脱を異なる閾値で判定することで、合焦動作が必要な場合をより高精度に判定できる。

また、これまで光軸垂直動き量と光軸平行動き量に基づいて合焦動作が必要か否かの判定を行う場合について説明してきたが、当該判定の手法はこれに限定されない。例えば、さらに合焦物体位置に基づいて当該判定を行っても構わない。具体的には、合焦物体位置が撮像部２００側に近い至近側にある場合は無限遠側にある場合に比べて相対的に被写界深度が狭いため、光軸垂直動き量や光軸平行動き量が同じ値であっても非合焦となりやすい。このため、合焦物体位置が相対的に至近側にある場合を基準に上述の閾値を設定すると、合焦物体位置が相対的に無限遠側にある場合に不要な合焦動作を実行する恐れがある。一方、合焦物体位置が相対的に無限遠側にある場合を基準に上述の閾値を設定すると、合焦物体位置が相対的に至近側にある場合に非合焦となっているにもかかわらず合焦動作が実行されない不具合が発生しうる。そこで、例えば図１５に示すように、合焦物体位置が相対的に至近側にある場合は、相対的に無限遠側にある場合に比べてより合焦動作が必要と判定されやすくするよう、閾値を合焦物体位置に応じて設定しても構わない。図１５では合焦物体位置ＰＡ１、ＰＡ２において閾値ＴＡ１、ＴＡ２であり、ＰＡ１＞ＰＡ２（即ちＰＡ１の方が無限遠側）、ＴＡ１＞ＴＡ２である。ただし、閾値の設定は図１５に限定するものではなく、合焦物体位置が相対的に至近側にある場合は、相対的に無限遠側にある場合に比べてより合焦動作が必要と判定されやすくするなら、どのように閾値を設定しても構わない。

また、これまで、待機状態に移行した最初のタイミングを起点に現在のタイミングまでのＮフレーム分の動き量を累積する（即ち、現在のフレームが１フレーム進むとＮが１増える）場合について説明したが、動き量の累積手法はこれに限定されない。即ち、動きベクトルは有限精度のため誤差を含んでおり、長時間累積すると誤差の累積により誤って合焦動作が必要と判定される場合がある。このため、現在のフレームを基準として過去Ｎフレーム分（Ｎ＝Ｋ、Ｋは３以上（その値を含む）の自然数）の動き量を累積してもよい。この場合Ｎ＝Ｋは所定数（例えば固定）である。即ち、現在のフレームが１フレーム進んでも、基本的にはＮ＝Ｋは変化しない。

次に、合焦動作が可能か否かの判定（Ｓ１７）について説明する。例えば、内視鏡の操作（例えば着目箇所の移動）の途中で合焦動作が必要と判定された場合、直ちに合焦動作を実行すると内視鏡の操作の完了前に一旦合焦動作を完了し、操作完了後には非合焦となる場合がある。この場合、ユーザの操作中に合焦動作が行われるため、使用感が損なわれる恐れがある。このため、ステップＳ１５で合焦動作が必要と判定された後、着目箇所の移動および被写体までの距離変化が発生しないことを判定した後に、合焦動作を実行する。

図１６に、合焦動作が可能か否かを判定する処理の詳細なフローチャートを示す。まず、各フレームの光軸垂直動き量ＭＶおよび光軸平行動き量ＭＨが所定値以下かを判定する。つまりフレーム間の動きがほとんどないか否かを判定する（Ｓ３２）。具体的には下式（１７）で判定する。

ここで、Ｔ＿ＭＶ＿Ｐは光軸垂直動き量ＭＶの閾値である。

ステップＳ３２において動きなしと判定された場合、判定に利用する値ＣＯＵＮＴをインクリメントする（Ｓ３３）。ステップＳ３２において動きありと判定された場合、何もせずにステップＳ３４の処理に移行する。

次に、ＣＯＵＮＴがＬフレーム（Ｌは３以上（その値を含む）の自然数）より大きいか否かを判定する（Ｓ３４）。ＣＯＵＮＴがＬフレームより大きい場合、合焦動作が可能であると判定し（Ｓ３６）、合焦動作（図１４のＳ１１〜Ｓ１３）に移行する。ＣＯＵＮＴがＬフレーム以下である場合、合焦動作が不可であると判定し（Ｓ３５）、次のフレームにおける合焦動作が必要であるか否かの判定（図１４のＳ１５）に移行する。

以上のように合焦動作が可能であるか否かを判定することで、一定フレーム以上、光軸垂直動きおよび光軸平行動きがない場合に合焦動作を実行することが可能となり、不要な合焦動作を抑制できる。

以上の第２実施形態によれば、合焦動作を実行可能な撮像部により、被写体からの反射光を画像として撮像する。画像から撮像部と被写体との相対的な動き量を算出する。動き量を複数フレーム累積した正味の動き量が所定の閾値を超えた場合、合焦動作必要と判定して撮像部の合焦動作を実行する。複数フレーム累積した動き量が所定量を超えた場合に合焦動作を実行することで、緩慢な動きであっても非合焦となれば合焦動作を実行し、ユーザの意図しない瞬間的な動きに対しては合焦動作を実行しない、ＡＦ制御が実現できる。

また本実施形態では、フォーカス制御部３５０は、合焦必要判定処理（Ｓ１５）において累積動き量ＳＵＭ＿ＭＶ、ＳＵＭ＿ＭＨが第１の閾値Ｔ＿ＭＶよりも大きいと判定（上式（９））された場合に、相対動き量ＭＶ、ＭＨが第２の閾値Ｔ＿ＭＶ＿Ｐ、０よりも小さいフレームがＬフレーム（Ｌは３以上（その値を含む）の自然数）存在したか否かを判定（上式（１７））する合焦可能判定処理（Ｓ１７）を行い、相対動き量ＭＶ、ＭＨが第２の閾値Ｔ＿ＭＶ＿Ｐ、０よりも小さいフレームがＬフレーム存在したと判定された場合に、撮像部２００の合焦動作を実行する。

このようにすれば、内視鏡装置が大きく移動して合焦動作が必要となったと判断したときに、その移動による動きが小さくなった（即ち、移動が終わった）と判断できる場合に合焦動作を実行できる。これにより、内視鏡装置の移動が終わる前にフォーカスが動く（例えばウォブリングが発生する）ことを抑制できる。或いは、内視鏡装置の移動の途中で合焦動作が行われ、移動が終わったときには再びピントが合っていない状況の発生を抑制できる。これにより、ユーザに対して違和感のない映像、或いは視認性の良い映像を提供できる。

ここでＬフレームのＬは所定数であり、撮像部２００と被写体との間が相対的に止まっている（動きが小さい）ことを判断するためのフレーム数である。即ち、そのフレーム数の間に動きが小さければ（ほぼ無ければ）ユーザが撮像部２００を動かしていないと判断できるフレーム数をＬとして設定しておけばよい。例えば、Ｌは固定であってもよいし、或いは、ユーザがＬを設定できるようにしてもよい。

また本実施形態では、動き量算出部３４０は、複数の局所動き量ｖｉ（図８、図１０のＶＥ）を求め、複数の局所動き量ｖｉの各局所動き量について周囲の局所動き量との相関を求め、複数の局所動き量のうち相関が所定の相関よりも高い局所動き量に基づいて相対動き量ＭＶ、ＭＨを求める（上式（２）、（３））。

このようにすれば、外乱による局所的な動きの乱れを相関に基づいて除くことができるので、大域的な（例えば画像全体での）動きを抽出し、その大域的な動きから累積動き量を求めることができる。外乱とは、背景となる生体とは異なる動きであり、例えば処置具の操作による動きや、ノイズ等を想定できる。大域的な動きとは、生体の動きであり、具体的には、内視鏡装置で観察している（着目している）生体領域と撮像部２００との間の相対的な動きである。例えば、光軸垂直動きでは生体が全体として同じ方向へ移動する動きとなり、光軸平行動きでは生体が消失点へ集まる動き又は消失点から広がる動きとなる。処置具等の外乱は、これらとは異なる局所的な動きとなる。本実施形態では大域的な動きを抽出できることで、生体に対する撮像部２００の動きをトリガとして合焦動作を行うことが可能となる。即ち、内視鏡手技において処置具の操作により画像内に動きが発生するが、その動きを合焦動作のトリガから除外できる。

また本実施形態では、相対動き量は１以上（その値を含む）の成分を有する。例えば第２実施形態では、光軸垂直動き量ＭＶと光軸平行動き量ＭＨの２成分である。或いは、光軸垂直動き量ＭＶは２次元ベクトルなので２成分と考え、合計で３成分としてもよい。また後述する第３実施形態では、６軸モーションセンサが６軸の検出信号を出力するので６成分である。或いは、その６成分を光軸垂直動き量ＭＶと光軸平行動き量ＭＨに変換した場合には、２成分又は３成分である。

フォーカス制御部３５０は、上記１以上（その値を含む）の成分の各成分について累積動き量を求め、その各成分の累積動き量の各々に対応する閾値を第１の閾値として合焦必要判定処理（Ｓ１５）を行い、各成分の累積動き量のうち少なくとも１つが、その累積動き量に対応する閾値よりも大きいと判定された場合に、合焦動作を実行する。例えば上式（９）のように光軸垂直動き量ＭＶの累積動き量ＳＵＭ＿ＭＶを閾値Ｔ＿ＭＶで判定し、上式（１３）のように光軸平行動き量ＭＨの累積動き量ＳＵＭ＿ＭＨを閾値Ｔ＿ＭＨで判定する。

このようにすれば、動きの各成分について累積動き量を求め、その各成分に対応する閾値で合焦動作が必要か否かを判断できる。動きの成分に応じて、どの程度の移動が発生したら合焦動作が必要となるか（ピントが合わなくなるか）は異なっている。そのため、各成分に対応した閾値を設けることで、正確な判断が可能になる。また、少なくとも１成分の累積動き量が閾値よりも大きい場合に合焦動作を行うことで、いずれか１つでも移動量が大きい成分があれば合焦動作を行うことができる。

また本実施形態では、動き量算出部３４０は、撮像部２００の光軸に垂直な方向の動き量である光軸垂直動き量ＭＶを相対動き量として求める。フォーカス制御部３５０は、光軸垂直動き量ＭＶの累積動き量ＳＵＭ＿ＭＶに対する光軸垂直動き用閾値Ｔ＿ＭＶを第１の閾値として合焦必要判定処理を行う（上式（９））。

光軸垂直動き量とは、図５に示すように、被写体６（例えば生体）の撮影領域ＲＡ２（撮影範囲）が撮影領域ＲＡ１に移動することに伴う動き量である。領域ＲＡ１、ＲＡ２は中心（光軸と被写体６が交差する位置）が異なる領域である。領域ＲＡ１、ＲＡ２は一部が重なっていてもよい。このような動きは、図５に示すような内視鏡装置２の回転ＭＡ（光軸に平行でない方向を軸とする回転）、又は、内視鏡装置２の平行移動（光軸に平行でない方向への平行移動）によって発生する。

このように光軸垂直動き量ＭＶを用いることで、被写体の撮影範囲（着目箇所）が移動したことを検出することが可能となり、撮影範囲が変わった（大きく変わった）場合に合焦動作を実行することが可能になる。例えば、撮影範囲が１画面分移動して全く違う被写体を観察した場合、或いは、１／２画面分移動して撮影範囲をずらした場合などに、再度フォーカスを合わせてユーザに鮮明な画像を提供できる。

また本実施形態では、動き量算出部３４０は、撮像部２００により撮像された撮像画像に基づいて複数の局所動き量ｖｉを求め、複数の局所動き量ｖｉの平均を各フレームにおいて求め、その平均を光軸垂直動き量ＭＶとして求める（上式（１））。

このようにすれば、画像内の複数の位置における局所的な動き量から、被写体の大域的な動き量を求めることができる。上述したように、内視鏡手技では処置具に比べて生体の占める割合が大きいため、局所的な動き量を平均することで生体の大域的な動き量を求めることができる。また、フレーム内での平均によって外乱によるランダムな動きが画像内で平均され、それを複数フレームで累積することで、外乱によるランダムな動きが時間的に平均される。これにより、生体の大域的な動きを抽出することが可能になる。

また本実施形態では、動き量算出部３４０は、複数の局所動き量ｖｉを求め、各フレームにおいて複数の局所動き量ｖｉから大きさ及び方向についてのヒストグラムを作成し（図９）、そのヒストグラムの最大のビンを光軸垂直動き量ＭＶとして求める。

このようにすれば、画像内の複数の位置における局所的な動き量の中から被写体の大域的な動き量を選び、光軸垂直動き量ＭＶとして抽出できる。即ち、内視鏡手技では処置具に比べて生体の占める割合が大きいため、生体の大域的な動き量がヒストグラムの中で最も大きなビンとなることが想定できる。そのため、ヒストグラムの中で最大のビンを選択することで、処置具等による外乱の動き量を除いた大域的な動き量を抽出することが可能になる。

また本実施形態では、動き量算出部３４０は、撮像部２００の光軸に垂直な方向の動き量である光軸垂直動き量ＭＶを相対動き量として求める。フォーカス制御部３５０は、光軸垂直動き量ＭＶに対して合焦可能判定処理（Ｓ１７）を行う。

このようにすれば、撮影範囲が止まっている（ユーザが撮影範囲を移動させていない）と判断できる場合に、合焦動作をトリガできる。例えば、ユーザが観察対象を変える（例えば見る臓器を変える、見る領域を変える）ために撮像部２００を移動させた場合、まず移動が一定以上の距離になったときに合焦動作が必要であると判断され、移動が続いている間はトリガを待機し、移動が終わったと判断したときにトリガが撮像部２００に送信される。

また本実施形態では、動き量算出部３４０は、撮像部２００の光軸に平行な方向の動き量である光軸平行動き量ＭＨを相対動き量として求める。フォーカス制御部３５０は、光軸平行動き量ＭＨの累積動き量ＳＵＭ＿ＭＨに対する光軸平行動き用閾値Ｔ＿ＭＨを第１の閾値として（上式（１３））合焦必要判定処理（Ｓ１５）を行う。

光軸平行動き量とは、図６に示すように、被写体６（例えば生体）の撮影領域ＲＢ１（撮影範囲）が撮影領域ＲＢ２に拡大又は縮小することに伴う動き量である。領域ＲＢ１、ＲＢ２は中心（光軸と被写体６が交差する位置）が同じ領域である。なお、通常は光軸平行動きと光軸垂直動きが混在すると考えられるが、その場合には領域ＲＢ１、ＲＢ２の中心は一致しなくてよい。即ち、中心の一致・非一致に関わらず、光軸平行動きがあれば撮影領域が拡大又は縮小される。このような光軸に平行な動きは、図６に示すように内視鏡装置２が光軸に平行な方向への移動ＭＢをした場合に発生する。

このように光軸平行動き量ＭＨを用いることで、被写体が被写界深度を外れたか否かを推定することが可能となり、被写体が被写界深度を外れた（被写体が合焦物体位置から大きくずれた）と推定できる場合に合焦動作を実行することが可能になる。これにより、ピントが外れた（またはピントが外れそうな）被写体に再度フォーカスを合わせてユーザに鮮明な画像を提供できる。

また本実施形態では、動き量算出部３４０は、複数の局所動きベクトルｖｉ（図１０のＶＥ）を求め、各フレームにおいて複数の局所動きベクトルｖｉの消失点ＶＰを求め、複数の局所動きベクトルｖｉの各局所動きベクトルを延長した直線と消失点ＶＰとの間の距離に基づく消失点の評価値（距離の総和）を求め、その評価値が所定値よりも大きいフレームにおいて光軸平行動き量ＭＨを求める。

このようにすれば、光軸平行動きが存在するか否かを消失点ＶＰの評価値から判断することが可能となり、光軸平行動きが存在すると判断されたフレームで光軸平行動き量ＭＨを求めることができる。即ち、消失点ＶＰが明確でない（消失点ＶＰの信頼性が低い）場合には、光軸平行動きが存在しない（又は外乱等によって光軸平行動きが明確に求められない）。そのため、消失点ＶＰの評価値が低いフレームを除くことで、光軸平行動きが確かに存在するフレームから累積動き量を求めることができる。

また本実施形態では、動き量算出部３４０は、撮像部２００と被写体との接近・離脱に対応して正負の符号が異なる光軸平行動き量ＭＨ（上式（４））を求める。

被写体が被写界深度から外れるのは、接近か離脱が継続して起きた場合である。接近・離脱に対応して正負の符号が異なる光軸平行動き量ＭＨを用いることで、接近か離脱が継続して起きた場合に累積動き量が大きくなり、合焦動作をトリガできる。即ち、接近と離脱がランダムに繰り返すような場合には累積により正負が打ち消し合い、累積動き量が大きくならないので、合焦動作がトリガされず、不要なフォーカスの変化が発生しない。

また本実施形態では、動き量算出部３４０は、複数の局所動きベクトルｖｉを求め、各フレームにおいて複数の局所動きベクトルｖｉの消失点ＶＰを求め、複数の局所動きベクトルｖｉの各局所動きベクトルの始点ＳＰと消失点ＶＰとを結ぶベクトルｌ_ｉと各局所動きベクトルとが成す角度（ａｒｇ（ｖ_ｉ）−ａｒｇ（ｌ_ｉ））に応じて変化する情報を求め（図１２）、その情報に基づいて接近・離脱を判定する（上式（５）〜（７））。

動きベクトルｖ_ｉとベクトルｌ_ｉとが成す角度に応じて変化する情報は、その角度（ａｒｇ（ｖ_ｉ）−ａｒｇ（ｌ_ｉ））そのものであってもよいし（上式（５））、その角度の関数となっている何らかの値（例えば動きベクトルｖ_ｉとベクトルｌ_ｉの内積を正規化した値（上式（６）、（７）））であってもよい。

このように動きベクトルｖ_ｉとベクトルｌ_ｉとが成す角度に応じて変化する情報を用いることで、光軸平行動きの方向（接近、離脱）を判断できる。即ち、接近の場合には局所的な動きベクトルは消失点ＶＰに集まる方向となるため、動きベクトルｖ_ｉとベクトルｌ_ｉはほぼ同じ方向を向く（成す角度が０に近い）。一方、離脱の場合には局所的な動きベクトルは消失点ＶＰから広がる方向となるため、動きベクトルｖ_ｉとベクトルｌ_ｉはほぼ逆の方向を向く（成す角度が＋π、−πに近い）。このことを利用して、成す角度により光軸平行動きの方向を判断できる。

また本実施形態では、動き量算出部３４０は、撮像部２００の光軸に平行な方向の動き量である光軸平行動き量ＭＨを相対動き量として求める。フォーカス制御部３５０は、光軸平行動き量ＭＨに対して合焦可能判定処理（Ｓ１７）を行う。

このようにすれば、光軸方向における動きが止まっている（ユーザが撮像部２００を光軸方向に移動させていない）と判断できる場合に、合焦動作をトリガできる。例えば、ユーザが観察対象を変える（例えば今よりも手前や奥の臓器を見る）ため、或いは観察範囲を広げる・狭めるために撮像部２００を移動させた場合、まず光軸方向への移動が一定以上の距離になったときに合焦動作が必要であると判断され、移動が続いている間はトリガを待機し、移動が終わったと判断したときにトリガが撮像部２００に送信される。

また本実施形態では、フォーカス制御部３５０は、撮像部２００の合焦物体位置が第１の位置（図１５のＰＡ１）である場合の第１の閾値（ＴＡ１）よりも、合焦物体位置が第１の位置（ＰＡ１）よりも近い第２の位置（ＰＡ２）である場合の第１の閾値（ＴＡ２）を、小さい値に設定する（ＴＡ１＞ＴＡ２）。

例えば、合焦物体位置（例えばフォーカスレンズ２１０の位置情報）と第１の閾値を対応付けたテーブルを不図示の記憶部に記憶しておき、そのテーブルを参照することで第１の閾値を設定してもよい。或いは、ある所定の合焦物体位置（基準の合焦物体位置）に対応する第１の閾値を基準値として、その基準値を実際の合焦物体位置に応じて補正処理することで、第１の閾値を設定してもよい。

このように、合焦物体位置に応じて（至近側にピントが合っているか、無限遠側にピントが合っているかに応じて）閾値を変えることで、合焦物体位置の変化による被写界深度の変化に対応できる。即ち、通常の光学系ではピントが至近側であるほど被写界深度は狭くなり、被写体が被写界深度を外れる可能性が高くなるが、至近側で閾値を小さくすることで合焦状態を維持できる。一方、無限遠側では被写界深度が広くなり、被写体が被写界深度を外れる可能性が低くなるので、無限遠側で閾値を大きくすることで、不要な合焦動作を抑制できる。

また本実施形態では、動き量算出部３４０は、撮像部２００の光軸に垂直な方向の動き量である光軸垂直動き量ＭＶを相対動き量として求める。フォーカス制御部３５０は、累積動き量ＳＵＭ＿ＭＶの第１方向（垂直走査方向、ｙ方向）成分ＳＵＭ＿ＭＶ＿Ｖに対する第１方向用閾値Ｔ＿ＭＶ＿Ｖと累積動き量ＳＵＭ＿ＭＶの第２方向（水平走査方向、ｘ方向）成分ＳＵＭ＿ＭＶ＿Ｈに対する第２方向用閾値Ｔ＿ＭＶ＿Ｈとを第１の閾値として合焦必要判定処理（Ｓ１５）を行い、第１方向用閾値Ｔ＿ＭＶ＿Ｖと第２方向用閾値Ｔ＿ＭＶ＿Ｈとを異なる値に設定する（上式（１０）、（１１））。

このようにすれば、画像の上下方向に移動した場合と左右方向に移動した場合とで閾値を変え、合焦動作をトリガする移動量を異ならせることができる。例えば、画像の上下サイズと左右サイズが異なる場合には、そのサイズに応じて閾値を変化させてもよい。或いは、人体の構造や重力の関係等から上下方向と左右方向で臓器の奥行きの変化が異なる場合には、それに応じて閾値を変化させてもよい。

また本実施形態では、動き量算出部３４０は、撮像部２００の光軸に平行な方向の動き量である光軸平行動き量ＭＨを相対動き量として求める。フォーカス制御部３５０は、累積動き量ＳＵＭ＿ＭＨが撮像部２００と被写体との接近に対応する場合の接近用閾値Ｔ＿ＭＨ＿Ｎと、累積動き量ＳＵＭ＿ＭＨが撮像部２００と被写体との離脱に対応する場合の離脱用閾値Ｔ＿ＭＨ＿Ｆとを、第１の閾値として合焦必要判定処理を行い（上式（１４））、離脱用閾値Ｔ＿ＭＨ＿Ｆの絶対値よりも接近用閾値Ｔ＿ＭＨ＿Ｎの絶対値を小さい値に設定する（上式（１５）、（１６））。

このように、光軸平行動きの方向（接近・離脱）に応じて閾値を変えることで、至近側と無限遠側での被写界深度の違いに対応できる。即ち、通常の光学系では、合焦物体位置が一定である場合に、その被写界深度の至近側は無限遠側に比べて狭い。そのため、撮像部２００と被写体が接近する場合には、撮像部２００と被写体が離脱する場合よりも被写体が被写界深度を外れる可能性が高くなる。本実施形態では、離脱用閾値よりも接近用閾値を小さくすることで、被写界深度が狭い方向の接近に対して合焦状態を維持しやすくなり、被写界深度が広い方向の離脱に対して不要な合焦動作を抑制できる。

また本実施形態では、動き量算出部３４０は、合焦動作が待機状態に移行した後の基準フレーム（例えば最初のフレーム）から現在のフレームまでをＮフレームとして累積動き量ＳＵＭ＿ＭＶ、ＳＵＭ＿ＭＨを求める。

このようにすれば、被写体にピントを合わせた後（合焦動作を完了した後）の動き量が累積されるので、一旦ピントが合った後に生じた移動の総量を知ることができる。即ち、その一旦ピントが合った被写体からの移動が、次に再びフォーカスが必要な移動量となったか否かを判断して、合焦動作をトリガできる。また、動きが小さくても（緩やかでも）、待機状態に移行した後に継続して累積することで、その移動の総量が大きくなったときに合焦動作をトリガできる。

なお、動き量算出部３４０は、相対動き量ＭＶ、ＭＨの累積フレーム数（Ｎ）をリセットした後の基準フレーム（例えばリセットした後の最初のフレーム）から現在のフレームまでをＮフレームとして累積動き量ＳＵＭ＿ＭＶ、ＳＵＭ＿ＭＨを求めてもよい。

待機状態に移行してから動き量を累積し続けた場合、誤差（例えばノイズやオフセット等）も累積されるため、累積動き量と実際の移動量との誤差が大きくなる。そのため、累積動き量を一旦リセットして再び累積しなおすことで、その誤差が大きくなることを抑制できる。

３．第３実施形態
図１７に、第３実施形態の内視鏡装置の構成例を示す。内視鏡装置は、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００と、を備えている。硬性鏡１００および処理部３００以外は第２の実施形態と同様のため、説明を省略する。

硬性鏡１００は、３軸の回転運動および３軸の並進運動を検出する６軸のモーションセンサ１３０を備えており、モーションセンサ１３０からの検出信号（動き信号）を処理部３００に出力する。例えば、モーションセンサ１３０は、３軸（互いに直交するｘ、ｙ、ｚ軸）回りの角加速度を検出する角加速度センサ（ジャイロセンサ）と、３軸（ｘ、ｙ、ｚ軸）方向の加速度を検出する加速度センサと、を含む。モーションセンサ１３０は、撮像素子２４０の動作周波数（フレーム周波数）よりも十分高速な周波数で動作しており、検出した角加速度・加速度を図示しない積分器により積分し、角度変化・位置変化として出力する。積分の開始・終了タイミングは撮像素子２４０の動作タイミング（画像の撮影タイミング）に同期しており、動き信号は撮像素子２４０の動作タイミング間（フレーム間）に発生した硬性鏡１００の角度変化・位置変化である。

処理部３００は、ＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、動き量算出部３４０と、フォーカス制御部３５０と、制御部３６０と、を備えている。動き量算出部３４０以外は第２の実施形態と同様のため、説明を省略する。

動き量算出部３４０は、上述のモーションセンサ１３０から出力される検出信号および合焦物体位置に基づいて、動き量を算出する。算出した動き量は、フォーカス制御部３５０に出力される。動き量には第２の実施形態と同様に、光軸垂直動き量と光軸平行動き量がある。光軸平行動き量は、実空間上の動きである位置変化の光軸平行成分をそのまま用いる。このため、第３の実施形態における光軸平行動き量は、正負の符号に加えて大きさを持った値、例えば−３ｍｍや＋１０ｍｍといった値である。フォーカス制御部３５０は、この値を上述の光軸平行動き量ＭＨとして扱い、累積して第２の実施形態と同様の判定（合焦必要判定、合焦可能判定）を行う。光軸垂直動き量としては、実空間上の動きである位置変化の光軸垂直成分（角度変化のヨー成分およびピッチ成分）から画像上の動き量を算出する。具体的には、実空間上の位置変化を撮像倍率に基づいて画像上の動き量に換算した項と、実空間上の角度変化を最大画角に対する割合に基づいて画像上の動き量に換算した項との和が、光軸垂直動き量である（下式（１８）、（１９））。

ここで、ＨＥＡＶＥ、ＳＷＡＹは、位置変化の上下方向成分、左右方向成分である。ＺＯＯＭ（Ｐ）は、物体合焦位置Ｐにおける撮像倍率である。ＰＩＴＣＨ、ＹＡＷは、角度変化のピッチ成分、ヨー成分である。ＭＡＸ＿ＡＮＧＬＥ＿ＵＤ、ＭＡＸ＿ＡＮＧＬＥ＿ＬＲは、硬性鏡１００の上下方向最大画角、左右方向最大画角である。ＭＡＸ＿ＰＩＸＥＬ＿ＵＤ、ＭＡＸ＿ＰＩＸＥＬ＿ＬＲは、撮像素子２４０の上下方向の最大画素数、左右方向の最大画素数である。

フォーカス制御部３５０は、ＭＶ＿ＵＤ、ＭＶ＿ＬＲを上下方向成分、左右方向成分とする２次元ベクトルを上述の光軸垂直動き量ＭＶとして扱い、累積して第２の実施形態と同様の判定（合焦必要判定、合焦可能判定）を行う。

なお、以上では硬性鏡１００がモーションセンサ１３０を有しており、動き量算出部３４０はモーションセンサ１３０から出力される動き信号に基づいて動き量を算出するが、変形例として硬性鏡１００が位置センサ（例えば磁気式の位置センサ等）を有しており、動き量算出部３４０は位置センサから出力される位置情報の経時変化に基づいて動き量を算出しても構わない。

以上の実施形態によれば、合焦動作を実行可能であり、角加速度・加速度を検出するモーションセンサ１３０を有した撮像部２００により、被写体からの反射光を画像として撮像する。モーションセンサ１３０の出力から撮像部２００と被写体との相対的な動き量ＭＶ、ＭＨを算出する。動き量ＭＶ、ＭＨを複数フレーム累積した正味の動き量が所定の閾値を超えた場合、合焦動作必要と判定して撮像部２００の合焦動作を実行する。複数フレーム累積した動き量が所定量を超えた場合に合焦動作を実行することで、緩慢な動きであっても非合焦となれば合焦動作を実行し、ユーザの意図しない瞬間的な動きに対しては合焦動作を実行しない、ＡＦ制御が実現できる。

なお、第１〜第３実施形態の処理部３００等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る処理部３００等の各部（例えば、前処理部３２０、画像処理部３３０、動き量算出部３４０、フォーカス制御部３５０、制御部３６０等）が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

２内視鏡装置、４処置具、６被写体（生体）、１００硬性鏡、
１１０レンズ系、１２０ライトガイド部、１３０モーションセンサ、
２００撮像部、２１０フォーカスレンズ、
２２０フォーカスレンズ駆動部、２３０対物レンズ系、
２４０撮像素子、３００処理部、３１０ＡＤ変換部、
３２０前処理部、３３０画像処理部、３４０動き量算出部、
３４１フレームメモリ、３４２動きベクトル算出部、
３４３光軸垂直動き量算出部、３４４光軸平行動き量算出部、
３５０フォーカス制御部、３６０制御部、４００表示部、
５００外部Ｉ／Ｆ部、６００光源部、６１０白色光源、
６２０ライトガイドケーブル

Claims

撮像部と被写体との相対的な動き量である相対動き量を算出する動き量算出部と、
前記撮像部のフォーカス制御を行うフォーカス制御部と、
を含み、
前記フォーカス制御部は、
前記相対動き量をＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した累積動き量を求め、前記累積動き量が第１の閾値よりも大きいか否かを判定する合焦必要判定処理を行い、前記累積動き量が前記第１の閾値よりも大きいと判定された場合に、前記撮像部の合焦動作を実行することを特徴とする内視鏡装置。
請求項１において、
前記フォーカス制御部は、
前記合焦必要判定処理において前記累積動き量が前記第１の閾値よりも大きいと判定された場合に、前記相対動き量が第２の閾値よりも小さいフレームがＬフレーム（Ｌは３以上（その値を含む）の自然数）存在したか否かを判定する合焦可能判定処理を行い、前記相対動き量が前記第２の閾値よりも小さいフレームが前記Ｌフレーム存在したと判定された場合に、前記撮像部の合焦動作を実行することを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
複数の局所動き量を求め、前記複数の局所動き量の各局所動き量について周囲の局所動き量との相関を求め、前記複数の局所動き量のうち前記相関が所定の相関よりも高い局所動き量に基づいて前記相対動き量を求めることを特徴とする内視鏡装置。
請求項１において、
前記相対動き量は１以上（その値を含む）の成分を有し、
前記フォーカス制御部は、
前記１以上（その値を含む）の成分の各成分について前記累積動き量を求め、前記各成分の前記累積動き量の各々に対応する閾値を前記第１の閾値として前記合焦必要判定処理を行い、前記各成分の前記累積動き量のうち少なくとも１つが、当該累積動き量に対応する閾値よりも大きいと判定された場合に、前記合焦動作を実行することを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記撮像部の光軸に垂直な方向の動き量である光軸垂直動き量を前記相対動き量として求め、
前記フォーカス制御部は、
前記光軸垂直動き量の前記累積動き量に対する光軸垂直動き用閾値を前記第１の閾値として前記合焦必要判定処理を行うことを特徴とする内視鏡装置。
請求項５において、
前記動き量算出部は、
前記撮像部により撮像された撮像画像に基づいて複数の局所動き量を求め、前記複数の局所動き量の平均を各フレームにおいて求め、前記平均を前記光軸垂直動き量として求めることを特徴とする内視鏡装置。
請求項５において、
前記動き量算出部は、
複数の局所動き量を求め、各フレームにおいて前記複数の局所動き量から大きさ及び方向についてのヒストグラムを作成し、前記ヒストグラムの最大のビンを前記光軸垂直動き量として求めることを特徴とする内視鏡装置。
請求項２において、
前記動き量算出部は、
前記撮像部の光軸に垂直な方向の動き量である光軸垂直動き量を前記相対動き量として求め、
前記フォーカス制御部は、
前記光軸垂直動き量に対して前記合焦可能判定処理を行うことを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記撮像部の光軸に平行な方向の動き量である光軸平行動き量を前記相対動き量として求め、
前記フォーカス制御部は、
前記光軸平行動き量の前記累積動き量に対する光軸平行動き用閾値を前記第１の閾値として前記合焦必要判定処理を行うことを特徴とする内視鏡装置。
請求項９において、
前記動き量算出部は、
複数の局所動きベクトルを求め、各フレームにおいて前記複数の局所動きベクトルの消失点を求め、前記複数の局所動きベクトルの各局所動きベクトルを延長した直線と前記消失点との間の距離に基づく前記消失点の評価値を求め、前記評価値が所定値よりも大きいフレームにおいて前記光軸平行動き量を求めることを特徴とする内視鏡装置。
請求項９において、
前記動き量算出部は、
前記撮像部と前記被写体との接近・離脱に対応して正負の符号が異なる前記光軸平行動き量を求めることを特徴とする内視鏡装置。
請求項１１において、
前記動き量算出部は、
複数の局所動きベクトルを求め、各フレームにおいて前記複数の局所動きベクトルの消失点を求め、前記複数の局所動きベクトルの各局所動きベクトルの始点と前記消失点とを結ぶベクトルと前記各局所動きベクトルとが成す角度に応じて変化する情報を求め、前記情報に基づいて前記接近・離脱を判定することを特徴とする内視鏡装置。
請求項２において、
前記動き量算出部は、
前記撮像部の光軸に平行な方向の動き量である光軸平行動き量を前記相対動き量として求め、
前記フォーカス制御部は、
前記光軸平行動き量に対して前記合焦可能判定処理を行うことを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記撮像部の光軸に垂直な方向の動き量である光軸垂直動き量と、前記撮像部の光軸に平行な方向の動き量である光軸平行動き量とを前記相対動き量として求め、
前記フォーカス制御部は、
前記光軸垂直動き量の前記累積動き量については光軸垂直動き用閾値を前記第１の閾値として前記合焦必要判定処理を行い、前記光軸平行動き量の前記累積動き量については光軸平行動き用閾値を前記第１の閾値として前記合焦必要判定処理を行い、
前記光軸垂直動き量の前記累積動き量が前記光軸垂直動き用閾値よりも大きいと判定された場合、又は、前記光軸平行動き量の前記累積動き量が前記光軸平行動き用閾値よりも大きいと判定された場合に、前記撮像部の合焦動作を実行することを特徴とする内視鏡装置。
請求項２において、
前記動き量算出部は、
前記撮像部の光軸に垂直な方向の動き量である光軸垂直動き量と、前記撮像部の光軸に平行な方向の動き量である光軸平行動き量とを前記相対動き量として求め、
前記フォーカス制御部は、
前記光軸垂直動き量の前記累積動き量及び前記光軸平行動き量の前記累積動き量が前記第２の閾値よりも小さいフレームが前記Ｌフレーム存在したと判定された場合に、前記撮像部の合焦動作を実行することを特徴とする内視鏡装置。
請求項１において、
前記フォーカス制御部は、
前記撮像部の合焦物体位置が第１の位置である場合の前記第１の閾値よりも、前記合焦物体位置が前記第１の位置よりも近い第２の位置である場合の前記第１の閾値を、小さい値に設定することを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記撮像部の光軸に垂直な方向の動き量である光軸垂直動き量を前記相対動き量として求め、
前記フォーカス制御部は、
前記累積動き量の第１方向成分に対する第１方向用閾値と前記累積動き量の第２方向成分に対する第２方向用閾値とを前記第１の閾値として前記合焦必要判定処理を行い、前記第１方向用閾値と前記第２方向用閾値とを異なる値に設定することを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記撮像部の光軸に平行な方向の動き量である光軸平行動き量を前記相対動き量として求め、
前記フォーカス制御部は、
前記累積動き量が前記撮像部と前記被写体との接近に対応する場合の接近用閾値と、前記累積動き量が前記撮像部と前記被写体との離脱に対応する場合の離脱用閾値とを、前記第１の閾値として前記合焦必要判定処理を行い、前記離脱用閾値の絶対値よりも前記接近用閾値の絶対値を小さい値に設定することを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記合焦動作が待機状態に移行した後の基準フレームから現在のフレームまでを前記Ｎフレームとして前記累積動き量を求めることを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記相対動き量の累積フレーム数をリセットした後の基準フレームから現在のフレームまでを前記Ｎフレームとして前記累積動き量を求めることを特徴とする内視鏡装置。
請求項１において、
前記動き量算出部は、
前記撮像部により撮像された撮像画像に基づいて動きベクトルを前記相対動き量として算出することを特徴とする内視鏡装置。
請求項１において、
前記撮像部は、
モーションセンサ及び位置センサの少なくとも一方を有し、
前記動き量算出部は、
前記モーションセンサ及び前記位置センサの少なくとも一方からの信号に基づいて前記相対動き量を算出することを特徴とする内視鏡装置。
撮像部と被写体との相対的な動き量である相対動き量を算出し、
前記相対動き量をＮフレーム（Ｎは３以上（その値を含む）の自然数）累積した累積動き量を求め、
前記累積動き量が第１の閾値よりも大きいか否かを判定する合焦必要判定処理を行い、
前記累積動き量が前記第１の閾値よりも大きいと判定された場合に、前記撮像部の合焦動作を実行することを特徴とする内視鏡装置のフォーカス制御方法。