JP6453904B2 - フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法 - Google Patents

Description

本発明は、フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法等に関する。

内視鏡システムにおいてはユーザの診断、処置に支障をきたさないため、できるだけ深い被写界深度が要求される。しかし近年では、内視鏡システムにおいても高画素の撮像素子が使用されるに従ってその被写界深度が浅くなってきていることから、オートフォーカス（以下ＡＦ）を行う内視鏡システムが提案されている。

内視鏡手技下では病変の切除や縫合等の処置を行うため、合焦の目標となる生体と撮像装置である内視鏡システムとの間に、電気メスや鉗子等の処置具が入る場合がある。この場合、生体と比べてコントラストが高い処置具に合焦してしまい、生体に合焦することが出来ない場合がある。

特許文献１では、注目被写体と撮像装置との間に障害物が存在する場合、障害物をユーザが指定することで、注目被写体に合焦させる手法が開示されている。

特開２００６−２４５７９２号公報

特許文献１では、ユーザが障害物を指定する必要がある。そのため特許文献１の手法を内視鏡手技下で用いた場合、障害物となる処置具の移動が激しいため、ユーザが障害物を頻繁に指定する必要があり操作が煩雑になる。

本発明の幾つかの態様によれば、ユーザが煩雑な操作を行うことなく注目被写体へ合焦することを可能とするＡＦ制御機能を備えたフォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法等を提供することができる。

本発明の一態様は、撮像部で撮像された撮像画像に対して、各領域が複数の画素からなる複数の領域を設定する領域設定部と、設定された複数の前記領域の各々において、前記各領域に撮像された被写体までの距離情報を求める被写体距離情報算出部と、前記距離情報に基づいて、フォーカス制御を行うフォーカス制御部と、を含み、前記フォーカス制御部は、前記距離情報に基づいて、複数の前記領域を複数のグループに分類する分類処理を行い、複数の前記グループの各グループの面積情報に基づいて前記フォーカス制御を行うフォーカス制御装置に関係する。

本発明の一態様では、各領域を対象として距離情報を求めた上で、当該距離情報を用いて複数の領域をグループに分類する。そして、各グループの面積情報に基づいてフォーカス制御を行うため、ユーザが煩雑な操作を行うことなく注目被写体へ合焦すること等が可能になる。

本発明の他の態様は、上記のフォーカス制御装置を含む内視鏡装置に関係する。

本発明の他の態様は、撮像部で撮像された撮像画像に対して、各領域が複数の画素からなる複数の領域を設定し、設定された複数の前記領域の各々において、前記各領域に撮像された被写体までの距離情報を求め、前記距離情報に基づいて、複数の前記領域を複数のグループに分類する分類処理を行い、複数の前記グループの各グループの面積情報に基づいてフォーカス制御を行うフォーカス制御装置の制御方法に関係する。

図１は、本実施形態に係るフォーカス制御装置の構成例。 図２は、内視鏡装置（撮像部）と複数の被写体の位置関係の例。 図３は、本実施形態に係るフォーカス制御装置を含む内視鏡装置の構成例。 図４は、撮像素子の構成例。 図５は、ＡＦ制御部の構成例。 図６は、本実施形態のフォーカス制御を説明するフローチャート。 図７は、比較例におけるレンズ移動先算出処理を説明するフローチャート。 図８（Ａ）、図８（Ｂ）はモードに応じた領域設定の例。 図９は、位相差情報から距離情報を求める手法の説明図。 図１０は、撮像される複数の被写体と撮像部との相対位置関係、及び目標合焦位置の関係を説明する図。 図１１は、撮像される複数の被写体と撮像部との相対位置関係、及び目標合焦位置の関係を説明する他の図。 図１２（Ａ）、図１２（Ｂ）は撮像部からの距離が異なる複数の生体が撮像される状況の具体例。 図１３は、レンズ移動先算出処理を説明するフローチャート。 図１４（Ａ）、図１４（Ｂ）は各モードでの有効ブロック、無効ブロックの設定例。 図１５は、レンズ移動先算出処理を説明する他のフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。一般的に、撮像画像にはユーザが注目している被写体の他に、障害物となる被写体が撮像されることがあり得る。その場合、注目している被写体が、撮像画像において観察しやすい状態、すなわち合焦している（ピントが合っている）状態となることが望ましい。しかし、オートフォーカス（ＡＦ）を単純に用いた場合、必ずしも注目している被写体に合焦できるとは限らない。例えば、コントラストＡＦであればコントラストが高い領域に合焦するため、上述したように生体に注目しているのに、処置具に合焦するおそれがある。また、位相差ＡＦ等の場合、位相差情報が取得可能な各点において、当該点で合焦するための情報（例えばレンズの移動量）を取得することが可能であるが、いずれの点にユーザが注目しているかということを別途考慮する必要がある。

それに対して、特許文献１に開示された手法のように、ユーザ自身が障害物である被写体を指定する形態であれば、所望の被写体に精度よく合焦させることが可能である。しかし、所定の状況下では撮像画像における障害物の状況が頻繁に変化する可能性があり、そのような場合には変化する毎にユーザが障害物を指定しなくてはならず、ユーザの操作負担が大きい。

例えば、腹腔鏡手術等の内視鏡手技下では、スコープ（撮像部）とともに処置具を体内に挿入し、当該処置具を用いて生体に対する処置が行われる。ここでの処置具とは、生体に対する処置に用いられる器具であり、具体的には電気メス等のエネルギーデバイスや、鉗子等である。その場合、処置具は生体に対する処置、例えば鉗子を用いて膜状の生体を引っ張り上げたり、鉗子で固定した生体を電気メスで切除したりする行為に利用されるため、ユーザ（ドクター、術者）により頻繁に動かされることになる。結果として、撮像画像において処置具が撮像される画像上位置や、サイズが頻繁に変化する。そのため、ユーザが生体に注目していて処置具が障害物となるケースと、処置具に着目していて生体が障害物となるケースのいずれにおいても、障害物が撮像された領域は頻繁に変化するため、ユーザが手動で指定するのではユーザ負担が大きいことになる。

これに対して、ユーザが注目している被写体を撮像画像上で自動的に特定することが可能であれば、当該被写体が撮像された領域の情報を用いてＡＦを行うことで、注目している被写体に合焦させることが可能になる。

そこで本出願人は以下のようなフォーカス制御装置を提案する。本実施形態に係るフォーカス制御装置は図１に示すように、撮像部（後述する図３の撮像部２００に対応）で撮像された撮像画像に対して、複数の画素からなる複数の領域を設定する領域設定部２０１０と、設定された複数の領域の各領域において、領域に撮像された被写体までの距離情報を求める被写体距離情報算出部２０４０と、距離情報に基づいて、フォーカス制御を行うフォーカス制御部２０９５を含む。そしてフォーカス制御部２０９５は、距離情報に基づいて、複数の領域を複数のグループに分類する分類処理を行い、複数のグループの各グループの面積情報に基づいてフォーカス制御を行う。

ここで、面積情報とは面積を表す情報であればよく、面積そのものには限定されない。例えば、後述する図８（Ａ）、図８（Ｂ）に示すように各領域（各評価ブロック）のサイズが同一の場合には、面積は評価ブロックの数に比例する情報となるため、グループに分類された評価ブロック数を当該グループについての上記面積情報としてもよい。また、面積情報は相対的な値であってもよく、例えば所与の領域の面積に対する割合を表すものであってもよい。具体的には、後述する有効ブロック（評価ブロックのうち無効ブロックでないブロック）の面積或いは数に対する、グループに分類された評価ブロックの面積或いは数の割合を面積情報としてもよい。また、割合の基準となる領域は有効ブロックに限定されるものではなく、後述するＡＦ領域に対する割合、或いは撮像画像全体に対する割合等を面積情報としてもよい。ただし、割合の基準となる領域を変更する場合、フォーカス制御に用いる判定基準（閾値等）も変更することが望ましい。

例えば内視鏡手技を対象とした場合、撮像画像は生体内画像となるため、空間的に限定された領域を撮像する。撮像部を操作するユーザ（例えばスコピスト）は、所望の被写体が観察しやすいように撮像部を操作するはずであり、一例としては注目している生体に正対する位置関係に撮像部を移動させる。結果として、取得される撮像画像では注目している被写体である生体が、ある程度の領域を占めることになる。つまり、注目している被写体は撮像画像上で大きな面積を占める可能性が高く、面積情報を用いることで注目している被写体を適切に判別し、当該被写体に合焦させることが可能になる。

この際、グループ分類は距離情報に基づいて行われる。詳細については後述するが、例えば距離情報により表される距離（撮像部を基準とした距離）が近い評価ブロックを１つのグループにまとめればよい。

ただし、本実施形態におけるフォーカス制御は、面積が最大となるグループに合焦する制御に限定されるものではない。例えば、フォーカス制御部２０９５は、複数のグループのうち、撮像部からの距離が遠い領域に対して優先して合焦するフォーカス制御を実行してもよい。

「撮像部からの距離が遠い領域に対して優先して合焦する」とは、例えば撮像部２００からの距離がＤ１となる第１のグループと、Ｄ２（＜Ｄ１）となる第２のグループが撮像画像に撮像された場合に、第２のグループに比べて、第１のグループに合焦する可能性が高いことを表す。本実施形態の手法では各領域の距離情報が求められることから、各グループの距離情報を求めることも可能である。つまり上記制御は、複数のグループのそれぞれで求められる距離情報の比較処理により実現可能である。

このようにすれば、撮像部２００からの距離が遠い被写体にユーザが注目している可能性が高い状況下で、適切な被写体に合焦させることが可能になる。上述したように、取得される撮像画像では注目被写体である生体が、ある程度の領域を占めることが想定され、且つ当該生体以外の被写体がそれよりも後ろ（撮像部２００から遠い位置）に入り込む可能性が低くなる。つまりこの場合、注目している被写体の距離が撮像画像において最も遠い（或いは最遠点でないにしてもそれに十分近いと考えられる）状態にあるといえる。また、撮像画像を観察しながら手技を行うことを考えれば、図２に示したように生体の手前側（撮像部２００に近い側）には処置具等が障害物として写り込む可能性があるが、それらに対する合焦の優先度が低いため、処置具に合焦してしまう可能性を抑止できる。

なお、上記のように本実施形態のフォーカス制御装置が対象とする状況下では、最も遠い（奥に位置する）被写体が注目している被写体である可能性が高いが、ユーザが他の被写体に注目している可能性を排除するものではない。例えば、縫合を行う場合には、鉗子等を用いて針や糸を縫合に適した角度で保持する作業等が必要になり、当該作業中は生体ではなく、それよりも手前にある針や糸にユーザは注目しているはずである。

つまり、面積情報を用いつつ、撮像部２００からの距離が遠い領域に対して優先して合焦するという制御が、本実施形態におけるフォーカス制御のベースではあるが、何らかの例外条件が満たされた場合には、異なる指針によるフォーカス制御を行ってもよい。例えば、撮像部２００からの距離が近い被写体に合焦させることで、針や糸に合焦させてもよい。

以下、本実施形態について詳細に説明する。まず本実施形態に係るフォーカス制御装置、及びフォーカス制御装置を含む内視鏡装置のシステム構成例を説明した後、フローチャートを用いて本実施形態の処理の流れを説明する。さらに、本実施形態の具体例を説明し、最後に変形例についても説明する。

２．システム構成例
本実施形態に係る内視鏡装置（内視鏡システム）について、図３を用いて説明する。本実施形態における内視鏡システムは、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、光源部６００を備えている。

光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を硬性鏡に導光するライトガイドケーブル６２０を備えている。

硬性鏡１００は結像レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系１１０と、ライトガイドケーブル６２０からの出射光を、硬性鏡先端まで導光するライトガイド部１２０を備えている。

撮像部２００は、レンズ系１１０からの出射光を結像する対物レンズ系２４０を備える。対物レンズ系２４０は、合焦物体位置を調整するフォーカスレンズ２２０を含んで構成されている。撮像部２００はさらに、対物レンズ系２４０で結像された反射光を光電変換して画像を生成する撮像素子２５０と、フォーカスレンズ２２０を駆動するフォーカスレンズ駆動部２３０と、ＡＦの開始、終了を制御するＡＦボタン（ＡＦ開始／終了ボタン）２１０を備えている。フォーカスレンズ駆動部２３０は、例えばボイスコイルモーター（ＶＣＭ）である。

ここで、本実施形態における撮像素子２５０の詳細を、図４を用いて説明する。図４は、撮像素子２５０の一部を拡大した図である。撮像素子２５０は図４に示すように、複数の画素が２次元配列状に配置された構造で、各画素にはＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている。一部の画素は、開口部の一部が遮光された位相センサである。位相センサは遮光部の配置が異なる位相センサＳ１群と位相センサＳ２群から構成される。

例えば、位相センサＳ１群は開口部の右側を遮光することで、開口部の左側に入射する光を受光する。位相センサＳ２群は開口部の左側を遮光することで、開口部の右側に入射する光を受光する。これにより対物レンズ系２４０の瞳を左右に分割した場合と同様の効果が得られるため、Ｓ１群からの信号とＳ２群からの信号をそれぞれの瞳を通った光線の位相信号とみなすことができる。例えば対物レンズ系２４０で結像された被写体の像位置が撮像素子２５０の撮像面に一致する（ピントが合っている）場合は、Ｓ１群からの位相信号とＳ２群からの位相信号は一致し、像位置が撮像面の前方または後方にある（ピントが合っていない）場合は、Ｓ１群からの位相信号とＳ２群からの位相信号に位相差が生じることになる。遮光部の配置は上下や斜め方向など様々な配置が可能であり、配置に応じた方向の位相差を検出するようにすることもできる。

ベイヤ配列からなる撮像素子に位相センサを配置する場合、内視鏡システムの観察対象となる生体はＧ，Ｂチャンネルに比較的多くの情報を持つため、図４に示すようにＲ画素の一部を位相センサとすることが好ましい。また、位相センサＳ１群と位相センサＳ２群は撮像素子２５０上で近傍に配置することが好ましいが、撮像素子２５０で被写体を撮像して得られる画像の画質を考慮すると、図４に示すように画素が隣接しないよう配置することが好ましい。

撮像素子２５０は、図４に示すようなベイヤ配列からなるカラーフィルタを有する撮像素子以外にも、補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。

また、位相センサＳ１群と位相センサＳ２群は、図４に示すように撮像素子２５０の一部の画素に配置する方法以外にも、位相センサＳ１群と位相センサＳ２群を配置した専用のセンサを別途用いてもよい。専用のセンサは、撮像素子２５０と同一光軸上に配置してもよいし、半透過ミラー等を用い異なる光軸上に配置してもよい。

処理部３００はＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、ＡＦ制御部３４０と、制御部３５０を備えている。ＡＤ変換部３１０は、撮像素子２５０から順次出力されるアナログ信号をデジタルの画像に変換して、前処理部３２０とＡＦ制御部３４０に順次出力する。前処理部３２０はＡＤ変換部３１０から出力された画像に対して、ホワイトバランス、補間処理（デモザイキング処理）等の画像処理を施し、画像処理部３３０とＡＦ制御部３４０に順次出力する。ここで前処理部３２０から出力される画像のサイズは、ＡＤ変換部３１０からＡＦ制御部３４０に出力される画像のサイズと同じである。画像処理部３３０は、前処理部３２０から出力された画像に対して色変換、階調変換、エッジ強調、拡縮処理、ノイズリダクション等の画像処理を施し、表示部４００に画像を順次出力する。

ＡＦ制御部３４０は例えば図５に示したように、領域設定部（ＡＦ領域設定部）２０１０と、モード設定部２０２０と、位相信号生成部２０３０と、被写体距離情報算出部２０４０と、信頼度算出部２０５０と、被写体特徴量算出部２０６０と、注目領域推定部２０７０と、レンズ移動先決定部２０８０を備えている。

領域設定部２０１０は、撮像画像に対してＡＦに用いられる領域を設定する。ここでの領域とはＡＦ領域と評価ブロックの両方を含んでもよい。モード設定部２０２０はＡＦモードの設定を行う。位相信号生成部２０３０は、位相センサからのセンサ信号に基づいて位相信号（狭義には位相差信号）を生成する。被写体距離情報算出部２０４０は、生成された位相差信号に基づいて、各評価ブロックを対象として、撮像された被写体までの距離を表す距離情報を求める。信頼度算出部２０５０は、各評価ブロックを対象として、求められた距離情報の確からしさを表す信頼度を算出する。被写体特徴量算出部２０６０は、撮像画像から特徴量を算出する。この処理は各評価ブロックを対象としてもよい。注目領域推定部２０７０は、撮像画像のうちユーザが注目していると判定される領域である注目領域を推定する。ここでの注目領域は後述するグループを表すものであってもよいし、そのうちの１つの領域（評価ブロック）を表すものであってもよい。レンズ移動先決定部２０８０は、注目領域の推定結果に基づいて、フォーカスレンズ２２０の移動先を決定する。

なお、ＡＦ制御部３４０の各部で行われる処理の詳細については後述する。また、図１におけるフォーカス制御部２０９５は、例えば図５に示したＡＦ制御部３４０のうちの、領域設定部２０１０と被写体距離情報算出部２０４０を除いた構成に対応するものであってもよい。また、本実施形態に係るフォーカス制御装置は、図５に示したＡＦ制御部３４０に対応するものであってもよい。ただし、フォーカス制御装置の構成はこれに限定されず、図１の処理部３００全体をフォーカス制御装置とする等、種々の変形実施が可能である。また、フォーカス制御装置の一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また、種々の変形実施が可能な点は、図３等の他の構成についても同様である。

制御部３５０は外部Ｉ／Ｆ部５００や画像処理部３３０、ＡＦ制御部３４０、撮像素子２５０、ＡＦボタン２１０などと相互に接続されており、制御信号の入出力を行う。

表示部４００は例えば液晶モニタであり、画像処理部３３０から順次出力される画像を表示する。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばＡＦモードを切り替えるモードボタン、ＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。本実施形態における内視鏡システムは、ＡＦモードとして例えば生体に合焦するための生体モードと、内視鏡手技で使用される針や糸に合焦するための針糸モードとを備える。

３．処理の流れ
次に、本実施形態においてＡＦ制御部３４０で行われるＡＦ制御の概要について、図６等を用いて説明する。なお、まず本実施形態に対する比較例として図７のフローチャートに示した処理を説明し、その後、図７の処理を用いた場合に生じうる問題点を説明するとともに、当該問題点を解決しうる本実施形態に係るフォーカス制御を図１３のフローチャートを用いて説明する。

図６に示したように、ＡＦ制御部３４０は、ユーザがＡＦボタン２１０を操作しＡＦが開始されるとまず合焦動作を開始する。合焦動作が開始されると、まずＡＦ制御部３４０はＡＤ変換部３１０から順次出力される画像に基づいて、フォーカスレンズ２２０の移動先を算出する（Ｓ１００）。フォーカスレンズ移動先算出（Ｓ１００）の詳細については後述する。次にＡＦ制御部３４０は、合焦が完了したか否かの判断を行う（Ｓ１１０）。ここでＡＦ制御部３４０は、ステップＳ１００を実行して算出されたフォーカスレンズ２２０の移動先が、現在のフォーカスレンズ２２０の位置を基準として所定の範囲内（被写界深度等を考慮した所定の誤差内）に入っているか判断し、所定の範囲に入っている場合には合焦と判断する。なお、ＡＦ制御部３４０は、公知の合焦判定処理等を行うことで合焦判断を行ってもよい。

次にＡＦ制御部３４０は、合焦完了していない場合はＳ１００で算出されたフォーカスレンズ２２０の移動先に基づいて、フォーカスレンズ駆動部２３０に駆動指示をすることでフォーカスレンズ２２０を駆動する（Ｓ１２０）。その後、ステップＳ１００に戻る。ＡＦ制御部３４０は、ステップＳ１１０で合焦完了と判断した場合、合焦動作を終了する。

本実施例では、後述するように位相差を用いてフォーカスレンズ２２０の移動先を算出する。後述の位相信号に対してノイズが付加されない条件においては、フォーカスレンズ２２０の移動先を１回算出すれば、その時点における被写体に合焦させることができる。しかしながら実際の位相信号にはノイズが重畳されるため、フォーカスレンズ２２０の移動先を１回算出するだけでは合焦できない場合もある。よって、以上で説明したように、現在のフォーカスレンズ２２０の位置を基準として所定の範囲内に、算出されたフォーカスレンズ２２０の移動先が入るまで、ステップＳ１００からステップＳ１２０を繰り返すようにする。

合焦動作が終了した場合、ＡＦ制御部３４０は待機動作を開始する。待機動作が開始されると、ＡＦ制御部３４０はシーン変化を検出する（Ｓ１３０）。ここでＡＦ制御部３４０は、例えば前処理部３２０から順次出力される画像を用いて、例えば画像の色や輝度の変化や、画像の動き等を監視することでシーン変化を検出する。次にＡＦ制御部３４０は、シーン変化が検出されたか否かの判断を行う（Ｓ１４０）。シーン変化が検出されない場合はＳ１３０からの動作を繰り返し、シーン変化が検出された場合は待機動作を終了する。待機動作が終了した場合、ＡＦ制御部３４０は合焦動作を再開する。なお待機動作が実行されている間、ＡＦ制御部３４０は、例えばフォーカスレンズ位置を合焦動作が終了した時の位置に固定し、フォーカスレンズ２２０の駆動は行わない。なお、待機動作中等において、ユーザがＡＦボタン２１０を再度操作した場合に、図６に示すフローを終了させるようにしてもよい。

次に、ＡＦ制御部３４０におけるフォーカスレンズ移動先算出（Ｓ１００）の手法として考えられる比較例を、図７を用いて説明する。

ここで本実施形態におけるＡＦモードは生体モードと針糸モードがあり、例えば前述した外部Ｉ／Ｆ部５００からの入力に応じて、制御部３５０がモード設定部２０２０に設定する。また、撮像素子２５０で撮像された画像データ（撮像画像）を制御部３５０で解析することで、特定の画像パターンや動作等からＡＦモードを変更できるようにしてもよい。モード設定部２０２０は生体モードか針糸モードを現すＡＦモード情報を領域設定部２０１０、注目領域推定部２０７０に出力する。

まず領域設定部２０１０は、制御部３５０から出力されるＡＦ領域の位置やサイズ等の情報に基づき画像上に複数のブロックからなるＡＦ領域を設定する（Ｓ２００）。領域設定部２０１０は、設定したＡＦ領域情報を位相信号生成部２０３０及び被写体特徴量算出部２０６０に出力する。ＡＦ領域の設定の例を図８（Ａ）、図８（Ｂ）に示す。図８（Ａ）、図８（Ｂ）において外周の矩形は画像全体を表し、Ａと記載されている矩形は後述のＡＦ評価値や信頼度等の算出対象の領域である、評価ブロックを表している。また、図８（Ａ）、図８（Ｂ）において、評価ブロック全体を囲む範囲をＡＦ領域とする。図８（Ａ）では画像データの中央部に、横方向に４個、縦方向に３個の合計１２個の評価ブロックを設定している。図８（Ｂ）では画像の中央部に、横方向７個、縦方向に５個の合計３５個の評価ブロックを設定している。

領域設定部２０１０は、モード設定部２０２０から出力されたＡＦモード情報に応じ、生体モードの場合には、図８（Ａ）のような評価ブロックを設定する。一方、針糸モードの場合には、対象とする被写体である針や糸は生体に比べ小さいため、図８（Ｂ）のように生体モードよりも小さい評価ブロックを設定する。また、針や糸を操作する場合には画面の中央部で操作することが多いため、ＡＦ領域はより小さく設定する。また、針や糸は重力の影響により画像の中央よりやや下方に撮像されることが多いため、図８（Ｂ）のように画像データの中央部にＡＦ領域を設定するのではなく、画像データの中心に対して下方にずれた位置に評価ブロックを設定することで、針や糸を撮像する領域をより確実にＡＦ領域に含めてもよい。

ここでＡＦ領域は、主要被写体が主に撮像されると考えられる部分に設定する。また各評価ブロックは、少なくとも位相センサＳ１群の一部と位相センサＳ２群の一部を含む。また、領域間は必ずしも隣接する必要はなく、また、大きさや形状等を領域間で変更してもよい。また、被写体やユーザの操作等に応じて適宜変更してもよい。また、モードに応じて必ずしも評価ブロックの設定を変更する必要はなく、例えば生体モードと針糸モードで共通の評価ブロックを設定してもよい。

次に位相信号生成部２０３０が、ＡＤ変換部３１０から出力された画像と領域設定部２０１０から出力されたＡＦ領域情報に基づいて、各評価ブロックに含まれる位相センサＳ１群と位相センサＳ２群に対応する画素値を用いて、各評価ブロックの位相信号を生成する（Ｓ２１０）。位相信号生成部２０３０は、各評価ブロックの位相信号を被写体距離情報算出部２０４０に出力する。

次に被写体距離情報算出部２０４０が、位相信号生成部２０３０から出力される各評価ブロックの位相信号に基づいて、各評価ブロックの距離情報（被写体距離）を算出する（Ｓ２２０）。被写体距離情報算出部２０４０は、算出した各評価ブロックの距離情報を注目領域推定部２０７０に出力する。さらに被写体距離情報算出部２０４０は、各評価ブロックに対して、後述する位相信号の相関の度合いを信頼度算出部２０５０に出力する。ここで、距離情報とは、その領域に撮像されている被写体までの撮像面からの距離である。ただし、被写体距離は厳密な距離に限らず、被写体の前後関係を判別可能な情報であればよい。例えば、フォーカスレンズ２２０の位置などを距離情報として用いてもよい。また、距離情報の基準とする位置は撮像面に限らず、硬性鏡１００の先端など別の位置を基準としてもよい。

ここで、被写体距離情報算出部２０４０における距離情報算出手法について、図９を用いて説明する。図９は像位置が撮像面の後方に位置する場合に、分割された瞳を通る光線を示した図である。光線１はＳ１群に対応する瞳を通った光線であり、光線２はＳ２群に対応する瞳を通った光線である。ここでは像位置が撮像面とは異なる位置（後方）にあるため、Ｓ１群から出力される位相信号とＳ２群から出力される位相信号にはＳの位相差が存在する。ここでＳは正負の値を持つベクトルであり、図９に矢印で示した方向が正である。ここで位相差Ｓは、例えばＳ１群から出力される位相信号とＳ２群から出力される位相信号を少しずつずらしながら、公知の位相差ＡＦの技術を用いて位相信号間の相関を算出し、最も相関が最も高くなる位置から算出すればよい。さらに撮像面から射出瞳位置までの距離をＦ、分割された瞳の重心間の距離をＧ、デフォーカス量をｄとする。ここでｄは正負の値を持つベクトルであり、図９に矢印で示した方向が正である。この時、下式（１）が成立するため、これを変形した下式（２）を用いてデフォーカス量ｄを算出することができる。なお、像位置が撮像面の前方にある場合も同様である。
Ｇ／（Ｆ＋ｄ）＝Ｓ／ｄ ・・・・・（１）
ｄ＝Ｆ・Ｓ／（Ｇ-Ｓ） ・・・・・（２）

撮像面からのデフォーカス量ｄの値が分かれば、硬性鏡１００のレンズ系１１０と対物レンズ系２４０を組み合わせた光学系の設計データから、被写体距離を算出することが出来る。ここでは例えば、デフォーカス量ｄと被写体距離を対応付けるルックアップテーブルを事前に作成しておき、被写体距離を算出すればよい。

次に信頼度算出部２０５０が、各評価ブロックに対して算出した被写体距離の確からしさを示す尺度である信頼度を算出する（Ｓ２３０）。ここでは例えば、被写体距離情報算出部２０４０から出力される各評価ブロックに対する位相信号の相関の度合いを信頼度として使用する。撮像素子２５０やＡＤ変換部３１０等のノイズが大きいほど信頼度が小さく、ノイズが小さいほど信頼度が高くなる。また、高コントラストな被写体ほど信頼度が高くなる。信頼度算出部２０５０は、各評価ブロックの信頼度を注目領域推定部２０７０に出力する。

次に被写体特徴量算出部２０６０が、前処理部３２０から出力される画像に基づいて、各評価ブロックの被写体特徴量を算出する（Ｓ２４０）。被写体特徴量は、各評価ブロックの被写体を特徴付ける量であり、例えば、各評価ブロックの色情報である。被写体特徴量算出部２０６０は、算出した被写体特徴量を注目領域推定部２０７０に出力する。ここで被写体特徴量の算出に用いる画像は、ＡＤ変換部３１０から出力された画像でもよい。

また、被写体特徴量は色情報以外にも、輝度やエッジ量、さらに図示しない専用のセンサなどにより得られる被写体の温度や狭帯域光の反射率など、少なくとも生体か否かを識別可能な特徴量であれば任意の特徴量を適用できる。

次に注目領域推定部２０７０が、モード設定部２０２０に設定されているＡＦモードが針糸モードか否かを判定する（Ｓ２５０）。ここでＡＦモードは、例えば前述した外部Ｉ／Ｆ部５００からの入力に応じて、制御部３５０がモード設定部２０２０に設定する。また、撮像素子２５０で撮像された画像データを制御部３５０で解析することで、特定の画像パターンや動作等からモードを変更できるようにしてもよい。

ＡＦモードが針糸モードでない場合（生体モードの場合）、ユーザは生体に注目しているため、注目領域推定部２０７０が、生体と推定される評価ブロックを注目領域として設定する（Ｓ２６０）。上述したように、内視鏡手技下での生体内画像等を対象とする場合、注目被写体である生体は被写体距離が撮像素子２５０から遠い位置に在ることが多い。よって、例えば注目領域推定部２０７０は、各評価ブロックの被写体距離、信頼度、色情報等に基づいて、最も被写体距離が撮像素子２５０から遠い位置を示し、且つ、被写体特徴量が生体を示し、且つ、信頼度が一定以上の評価ブロック（一定以上信頼できる評価ブロック）を注目領域に設定する。注目領域推定部２０７０は、設定した注目領域をレンズ移動先決定部２０８０に出力する。なお、ここでは合焦精度向上のために被写体特徴量や信頼度を用いているが、必ずしも用いる必要は無い。

ＡＦモードが針糸モードの場合、ユーザは針や糸及びそれらを把持している鉗子等の処置具に注目しているため、注目領域推定部２０７０が、これらの被写体と推定される評価ブロックを注目領域として設定する（Ｓ２７０）。内視鏡では、針や糸は生体よりも手前側で鉗子等の処置具を用いて操作することが多い。よって、例えば注目領域推定部２０７０は、各評価ブロックの被写体距離、信頼度、色情報等に基づいて、最も被写体距離が撮像素子２５０から近い位置を示し、且つ、信頼度が一定以上の評価ブロックを注目領域と設定する。注目領域推定部２０７０は、設定した注目領域をレンズ移動先決定部２０８０に出力する。なお、ここでは合焦精度向上のために信頼度を用いているが、必ずしも用いる必要は無く、また被写体特徴量を用いてもよい。

最後にレンズ移動先決定部２０８０が、注目領域推定部２０７０から出力された注目領域に基づいて、フォーカスレンズ２２０の移動先を決定する（Ｓ２８０）。ここでは例えば、注目領域として設定された評価ブロックに対応するデフォーカス量ｄに基づいて、フォーカスレンズ２２０の移動先を決定すればよい。さらにレンズ移動先決定部２０８０は、ＡＦモードの設定や各評価ブロックの被写体距離の分布、被写体特徴量の分布などに応じ、フォーカスレンズ２２０の移動先を調整してもよい。

図１０に、内視鏡における被写体の例を示す。内視鏡における主要被写体は生体と処置具が想定され、生体は主に内視鏡から遠い位置に配置され、処置具はユーザの操作により内視鏡と生体の間の任意の位置に配置される。点線は、設定されているＡＦ領域にて撮像可能な範囲を示している。生体モードでは、内視鏡から遠方に配置される生体を目標合焦位置とする。針糸モードでは、針や糸を把持し、生体と同じ被写体距離もしくは生体よりも内視鏡側の被写体距離に位置する鉗子等の処置具の先端近傍を目標合焦位置とする。

図７に示した処理では、生体モードでは撮像素子２５０から遠い位置を示す領域を注目領域と設定するため、生体に合焦させることができる。また、針糸モードでは撮像素子２５０に近い位置を示す領域を注目領域と設定するため、処置具の先端近傍に合焦させることができる。

以上で説明した手法であれば、複数の評価ブロックそれぞれに対する被写体距離を用いて注目被写体を推定し、推定結果に基づきフォーカスレンズを駆動させることで、ユーザが煩雑な操作をすることなく注目被写体へ合焦させることが可能になる。また、針糸モードの場合には、評価ブロックの設定方法やユーザが注目している領域の推定方法を変更することで、常に生体に合焦してしまうことなく、注目被写体へ合焦させることが可能になる。また、各評価ブロックの信頼度を算出し、一定以上の信頼できる評価ブロックを使用することで、ノイズや被写体のコントラストなどの影響を受けず、安定したＡＦ制御が可能になる。さらに、各評価ブロックに撮像されている被写体が生体か否か判定することで、より高精度に生体モードでは生体に合焦させ、針糸モードでは生体以外に合焦させることが可能になる。

しかしながら、上述の手法では図１１に示すようなシーンでは必ずしも適切な結果が得られない場合がある。図１１に、図１０とは異なるシーンの例を示す。この例では、図１０に対して生体２が追加されている。点線は、設定されているＡＦ領域にて撮像可能な範囲を示している。この範囲には、生体、鉗子等の処置具、生体２が被写体として存在する。一例としては、図１２（Ａ）に示すような膜状の生体Ｅ２を、図１２（Ｂ）に示すように鉗子等を用いて持ち上げたシーンに対応する。或いは、生体はある程度伸縮性があることから、画面の周縁部に撮像された生体を画像中央部に引き寄せるような場合も、図１２（Ｂ）と同様に背景となる生体よりも至近側に異なる生体が写り込む。

図１１の例では、生体２は生体よりも広範囲に撮像されるよう配置している。そのため、生体モードでは生体２に合焦し、針糸モードでは針や糸を把持する鉗子等の処置具の先端近傍に合焦することが好ましい。なぜなら、手前側の生体と奥側の生体が存在し、且つ奥側の生体に注目している場合、撮像部自体の位置を調整し手前側の生体は主要被写体が主に撮像される領域であるＡＦ領域には入らない、或いは入ったとしてもAF領域内で大きな面積を占めない状態とするはずである。例えば図１２（Ａ）のケースでＥ１に示した生体に注目しているのであれば、そもそも手前側の生体Ｅ２を持ち上げる必要がないため、図１２（Ｂ）に示した状況とならない。つまり、図１２（Ｂ）等のように手前側の生体がＡＦ領域のうちの多くの面積を占めるような場合、目標合焦位置は至近側にある生体の表面であると考えられる。

図１１に示すようなシーンに対し、上記比較例を適用すると、生体モードでは最も被写体距離が撮像素子２５０から遠い位置に合焦させようとするため、生体２ではなく奥側の生体に合焦する可能性がある。本実施形態では、図１１に示すようなシーンにおいても適切なＡＦができるよう、図７に示した比較例におけるフォーカスレンズ移動先算出（Ｓ１００）の処理を変更する。なお、それ以外の処理は比較例と同様のため、説明を省略する。

本実施形態におけるフォーカスレンズ移動先算出（Ｓ１００）の詳細について、図１３を用いて説明する。なお、図７と同じステップ番号のステップは同様の処理のため、説明を省略する。

本実施形態においては、モードが針糸モードではない場合、注目領域推定部２０７０が、各評価ブロックの被写体特徴量に基づき各評価ブロックの被写体を判定し、生体のみが撮像されている生体ブロックか否か識別する。そして、生体ブロック以外の評価ブロックを無効ブロックと設定する（Ｓ４００）。ただし、全ての評価ブロックが無効ブロックになる場合には、各評価ブロックの被写体特徴量が生体に近い特徴量を示している評価ブロックを無効にしない等、一定ブロック数以上は無効にしない。この処理により、生体に対して合焦しやすくすることができる。

モードが針糸モードの場合、注目領域推定部２０７０が、ステップＳ４００同様に生体ブロックか否か判定する。そして、生体ブロックを無効ブロックと設定する（Ｓ４１０）。ただし、全ての評価ブロックが無効ブロックになる場合には、生体の割合などを考慮して一定ブロック数以上は無効にしない。この処理により、生体以外の針や糸に対して合焦しやすくすることができる。

次に、注目領域推定部２０７０が、無効ブロックと設定されていない評価ブロックに対し、少なくとも被写体距離を用いて２つ以上（その値を含む）のグループにグループ分けする（Ｓ４２０）。例えば、被写体距離が最も撮像素子２５０に近い評価ブロックから所定範囲の被写体距離を有する評価ブロックを１つのグループとしてまとめる。残りの評価ブロックに対しても同様の処理を繰り返すことでグループ分けする。このとき、評価ブロック間の画像上の距離も使用し、近傍の評価ブロック且つ被写体距離が所定範囲の評価ブロックを１つのグループにまとめるようにしてもよい。ここでは、さらに各グループにおける被写体距離を算出する。各グループにおいて、所属する評価ブロックそれぞれに対する被写体距離を用い、それらの平均値、中央値、最頻値などの統計的手法に基づき算出された値をそのグループの被写体距離とする。

次に、注目領域推定部２０７０が、モード設定部２０２０に設定されているモードが針糸モードか否か判定する（Ｓ４３０）。針糸モードが設定されている場合にはステップＳ４７０へ進み、それ以外の場合にはステップＳ４４０に進む。

モード設定部２０２０に設定されているモードが針糸モードではない場合、注目領域推定部２０７０が、グループ分けした各グループに属する評価ブロック数が最大のグループを選択し、そのグループに属する評価ブロック数が所定の閾値以上であるか判定する（Ｓ４４０）。所定の閾値以上である場合ステップＳ４５０に進み、それ以外の場合にはステップＳ４６０に進む。ここで、グループに所属する評価ブロック数を用いて所定の閾値と比較したが、グループに所属する評価ブロックの全ての評価ブロック数に対する割合を用いてもよい。ここで、ステップＳ４４０では評価ブロック数と所定の閾値を用いて判定を行ったが、グループに所属する評価ブロックの面積の合計や、面積の合計がＡＦ領域におけるしめる割合、面積の合計が画像に占める割合などを用いて判定するようにしてもよい。

所定の閾値以上である場合、注目領域推定部２０７０が、属する評価ブロック数が最大のグループを選択する（Ｓ４５０）。一方、所定の閾値未満である場合、注目領域推定部２０７０が、最も被写体距離が撮像素子２５０から遠い位置を示している評価ブロックが所属するグループを選択する（Ｓ４６０）。ステップＳ４６０では、ステップＳ４２０で各グループに対して算出した被写体距離が最も撮像素子２５０から遠い位置を示しているグループを選択するようにしてもよい。グループの被写体距離は統計的手法により算出されているため、撮像素子２５０のノイズや処置具等による外乱の影響を受けにくくすることができる。

針糸モードの場合、注目領域推定部２０７０が、グループ分けしたグループの中で、最も被写体距離が撮像素子２５０に近い位置を示している評価ブロックが所属するグループを選択する（Ｓ４７０）。ステップＳ４７０では、ステップＳ４２０で各グループに対して算出した被写体距離が最も撮像素子２５０に近い位置を示しているグループを選択するようにしてもよい。グループの被写体距離は統計的手法により算出されているため、撮像素子２５０のノイズや処置具等による外乱の影響を受けにくくすることができる。

最後に、注目領域推定部２０７０が、ステップＳ４５０またはステップＳ４６０またはステップＳ４７０で選択されたグループに属する各評価ブロックの被写体距離の平均を算出し、その平均被写体距離に合焦させるレンズ位置をレンズ移動先とする（Ｓ４８０）。このとき、モードの設定や各評価ブロックの被写体距離の分布などに応じ、被写体距離をオフセットさせた位置に合焦させるレンズ位置をレンズ移動先としてもよい。また、平均被写体距離は選択されたグループに属する各評価ブロックの被写体距離の平均値に限定されず、中央値、最頻値、最大値、最小値など統計的手法に基づく値であれば、他の値でもよい。

本実施形態を図１１のようなシーンに適用した場合、ステップＳ４２０において、処置具を撮像している評価ブロック、生体２を撮像している評価ブロック、生体を撮像している評価ブロックで異なる被写体距離を示すため、図１１に示すようにグループＡ、グループＢ、グループＣの３つのグループに分けられる。なお、無効ブロックを設定する場合、生体モードでは処置具が無効となるため、グループＡは設定されないとも考えられる。しかし、１つの評価ブロック内に生体と処置具が混在する場合には、当該ブロックを無効にできない場合があるし、そもそも本実施形態ではＳ４００〜Ｓ４２０の処理は必須でないため、無効ブロックが設定されない場合もある。以上を鑑み、ここでは生体モードであっても処置具に対応するグループＡが設定されたものとして説明を行う。

針糸モードでは、３つに分けたグループの中から、ステップＳ４７０において、最も被写体距離が撮像素子２５０に近い位置を示している評価ブロックが所属するグループＡが選択される。その結果、ユーザが針や糸を操作している場合において適切なＡＦができる。

生体モードでは、ステップＳ４４０で使用する所定の閾値Ｔｈを適切に設定することで、ステップＳ４５０において、所属する評価ブロック数が最も多いグループＢが選択される。その結果、ユーザが注目していると考えられる生体２に対して合焦させることができる。

一方、図１１における生体２がわずかに写りこむような場合、ステップＳ４６０において、最も被写体距離が撮像素子２５０から遠い位置を示している評価ブロックが所属するグループＣが選択される。その結果、ユーザが注目していると考えられる生体に対して合焦させることもできる。即ち、グループに所属している評価ブロック数に応じ、撮像素子２５０に近い位置に配置されている生体２に合焦させたり、撮像素子２５０から遠い位置に配置されている生体に合焦させたりすることができる。

以上、本実施形態では、内視鏡においてユーザが注目している領域を、複数の評価ブロックそれぞれに対する被写体距離を用いて推定し、推定結果に基づきフォーカスレンズを駆動させることで、ユーザが煩雑な操作をすることなく注目被写体へ合焦させることが可能になる。また、針糸モードの場合には、評価ブロックの設定方法やユーザが注目している領域の推定方法を変更することで、常に生体に合焦してしまうことなく、注目被写体へ合焦させることが可能になる。さらに、グループ分けをした上で各グループの面積情報を用いた処理を行うことで、図１１の例のように、光軸方向に複数の生体が配置されるようなシーンにおいても、適切な生体に対し、ユーザが操作する必要なく、合焦させることが可能になる。

４．本実施形態の具体例
以上の本実施形態では、フォーカス制御部２０９５は、面積情報に基づいて、複数のグループのうち面積が最大となるグループである最大面積グループの面積が所与の閾値以上であると判定された場合に、最大面積グループに合焦するフォーカス制御を行う。

具体的には、複数設定されたグループの各グループについて面積情報を求め、当該面積情報により表される面積が最大となるグループを最大面積グループとして特定すればよい。図１１の例のようにグループがＡ，Ｂ，Ｃの３つであれば、それぞれの面積Ｓ_Ａ、Ｓ_Ｂ、Ｓ_Ｃを求め、それらの比較処理を行えばよい。

このようにすれば、面積が最大となる最大面積グループを特定しつつ、当該最大面積グループの面積がどの程度大きいものであるかを判定することが可能になる。この制御は、図１３のＳ４４０に示したように、狭義には生体モード時に実行される。この際、最大面積グループであれば無条件で合焦対象とするのではなく、ある閾値以上となることを条件とできる。面積が比較的小さいグループが多数設定された状況のように、撮像画像において大部分を占めるようなグループが存在しない場合、所与のグループが最大面積グループとして特定されたとしても、ユーザが当該最大面積グループに注目しているとは限らない。上述したように、特定の被写体（生体）に注目しているのであれば、当該被写体が撮像画像において支配的となるように、撮像部２００が操作されることを想定しているためである。つまり、グループ同士の面積比較だけでなく、所与の基準、すなわち閾値との比較処理も行われるため、注目被写体の特定精度を向上させること等が可能になる。なお、上述したように面積情報として、グループに属する評価ブロックの数やその割合等、面積を表す他の情報を用いてもよい。つまり本実施形態における「面積が所与の閾値以上である」との判定は、評価ブロック数が所与の閾値以上であるか否か等の判定により実現してもよく、面積そのものの判定処理に限定されるものではない。

また、フォーカス制御部２０９５は、最大面積グループの面積が所与の閾値より小さいと判定された場合に、複数のグループのうち、距離情報により表される距離が最も遠いグループに合焦するフォーカス制御を行ってもよい。

このようにすれば、最大面積グループであっても撮像画像の大部分を占める状態となっていない、すなわち面積情報からは特定のグループが注目被写体に対応すると言い切れない場合に、距離が遠いグループに合焦させることが可能になる。これはつまり、撮像部２００からの距離が遠い被写体に優先して合焦する制御であり、当該制御を行う利点については上述したとおりである。

この際、フォーカス制御部２０９５は、複数のグループの各々に分類された各領域の距離情報に基づいて、距離が最も遠いグループを特定してもよい。一例としては、複数の領域のうち、最も距離が遠い領域を特定し、当該領域を含むグループを距離が最も遠いグループとしてもよい。或いは、各グループに分類された各領域の距離情報に基づき、グループの距離を算出してもよい。例えば上述したように、各グループにおいて、所属する領域の被写体距離の平均値、中央値、最頻値などの統計的手法に基づき算出された値を、そのグループの被写体距離として求めてもよい。各グループの距離が求められたら、当該距離が最大となるグループを、距離が最も遠いグループとすればよい。

なお、本実施形態の手法は、最大面積グループの面積が所与の閾値以上と判定された場合の制御、及び最大面積グループの面積が所与の閾値より小さいと判定された場合の制御の両方を実行するものには限定されず、一方のみを行ってもよい。

また、フォーカス制御部２０９５は、複数のグループのうち、距離情報により表される距離が最も遠いグループに優先して合焦するフォーカス制御を行う第１のモードと、複数のグループのうち、距離情報により表される距離が最も近いグループに優先して合焦するフォーカス制御を行う第２のモードを有してもよい。

ここで、第１のモードとは狭義には生体モードであり、第２のモードとは狭義には針糸モード（処置具モード）である。このようにすれば、面積情報に基づくフォーカス制御を行うだけでなく、柔軟にフォーカス制御を変更することが可能になる。上述したように、生体モードでは注目している被写体のさらに奥に、注目していない別の被写体が写り込む可能性が低い。そのため、撮像部２００から遠い被写体を優先することが有効である。しかし、生体自体が注目被写体でなければ、遠い被写体を優先することでかえって注目している被写体に合焦できないケースも出てくる。例えば、鉗子等の処置具は図２に示したように生体よりも手前側に写り込むことが想定される。そのため、撮像部２００から遠い被写体を優先してしまうと、処置具に注目している場合にもさらにその奥にある生体に合焦してしまう。また、処置具は細い棒状等の形状となるため、例えば当該処置具に注目していたとしても、撮像画像における面積が非常に大きくなるとは限らず、面積情報により表される面積が大きい被写体を優先したとしても、処置具に対して適切に合焦できない可能性がある。その点、モードによりフォーカス制御を切り替えるものとすれば、種々の状況に柔軟に対応可能となる。

また、フォーカス制御部２０９５は、複数の領域の各領域の特徴量を求め、特徴量に基づいて、分類処理の対象とならない無効領域を設定してもよい。

このようにすれば、各領域の特徴量を用いた処理が可能になる。具体的には、特徴量から各領域に撮像された被写体を判定してもよい。その場合、特徴量を用いることで、各領域について当該領域に注目している被写体が撮像されているかを判定することが可能になる。よって、注目している被写体が撮像されていない領域については、無効領域（無効ブロック）に設定してその後の処理から除外することで、不適切な領域に対して合焦する可能性を抑止できる。

具体的には、フォーカス制御部２０９５は、特徴量に基づいて、複数の領域のうち、生体以外が撮像されていると判定された領域を、無効領域に設定してもよい。さらに具体的には、フォーカス制御部２０９５は、第１のモードでは、生体以外が撮像されていると判定された領域を、無効領域に設定し、第２のモードでは、生体が撮像されていると判定された領域を、無効領域に設定すればよい。

このようにすれば、モードに応じて適切な領域を無効領域に設定することが可能になる。具体的には、生体モードでは生体以外を無効領域とすれば、生体以外の被写体に合焦することを抑止できるし、生体モードではないモード（狭義には針糸モード）であれば、生体を無効領域とすれば、生体に合焦することを抑止できる。無効領域、有効領域の具体例を図１４（Ａ）、図１４（Ｂ）に示す。図１４（Ａ）に示すように生体モードでは生体が注目被写体となるため、処置具部分のブロックが無効となるが、図１４（Ｂ）に示すように針糸モードでは針や糸を把持する鉗子の先端近傍が注目被写体となるため生体ブロックを無効とする。

なお、以上では無効領域について説明を行ったが、有効領域を設定し、分類処理を当該有効領域を対象として行ってもよい。具体的には、フォーカス制御部２０９５は、複数の領域の各々の特徴量を求め、特徴量に基づいて、複数の領域のうち、分類処理の対象となる有効領域を設定してもよい。

このようにしても、注目している被写体が撮像されている領域を選択して、その後の処理の対象とするため、不適切な領域に対して合焦する可能性を抑止できる。

具体的には、フォーカス制御部２０９５は、特徴量に基づいて、複数の領域のうち、生体が撮像されていると判定された領域を、有効領域に設定してもよい。さらに具体的には、フォーカス制御部２０９５は、第１のモードでは、生体が撮像されていると判定された領域を、有効領域に設定し、第２のモードでは、生体以外が撮像されていると判定された領域を、有効領域に設定すればよい。

また、フォーカス制御部２０９５は、ユーザによる操作に基づいて、第１のモードと第２のモードの切替を行ってもよい。

これにより、ユーザの操作によりモード切替を行うことが可能になる。なお、ユーザによる操作は例えば操作部を用いて行われればよく、当該操作部は撮像部２００に設けられるものであってもよいし、外部Ｉ／Ｆ部５００として実現されるものであってもよい。また、モード切り替えを他の手法により行ってもよく、例えばフォーカス制御装置による自動切り替え等の変形実施も可能である。

また、フォーカス制御部２０９５は、第１のモードでは所与の閾値として第１の閾値を用いてフォーカス制御を行い、第２のモードでは所与の閾値として第１の閾値とは異なる第２の閾値を用いてフォーカス制御を行ってもよい。

ここでの所与の閾値とは、最大面積グループとの比較処理に用いられる閾値のことである。この実施形態における特徴は２点あり、１点目は、第２のモードにおいても面積情報を用いた制御を行ってよいということであり、具体的には最大面積グループの面積情報と所与の閾値との比較処理を行う。２点目は、その比較処理の際には、第１のモードと第２のモードで異なる閾値を用いるということである。

第２のモードでは注目被写体は鉗子等の処置具（狭義にはその先端に保持される針や糸）である。しかし針、糸、その他の処置具は、サイズ、形状等を考慮すれば、撮像画像の大部分を占める状態で撮像される可能性は低い。つまり、第１のモードにおける所与の閾値とは、当該グループにユーザが注目していると判定できる程度に支配的な値（例えば割合であれば５０％から７０％といった値）としていたが、第２のモードにおける所与の閾値は、そのような値を設定することは不適切である。よって、第２のモードでの所与の閾値は、第１のモードでの所与の閾値に比べて緩やかな条件となるべきであり、具体的には最大面積グループの面積がある程度小さくても、面積情報により表される値が当該閾値を超えるものとすればよい。

第２のモードで面積情報を用いる処理の目的は、例えば注目被写体の判定精度向上である。針糸モードでは、注目被写体は撮像部２００に近い位置にあることが想定されるのであるから、図１３のフローチャートのＳ４３０，Ｓ４７０に示したように、面積情報を用いずにフォーカス制御を行ってもある程度注目被写体に合焦させることが可能と考えられる。しかし、距離情報の算出処理等に誤判定が生じれば、実際にはそのような被写体がないにもかかわらず、撮像部２００からの距離が近いグループが設定される可能性がある。そのような誤判定が多数の領域（評価ブロック）にわたって生じる可能性は低いと考えれば、誤判定により設定されたグループは大きな面積を持たないことが想定される。つまり、撮像部２００からの距離が近く、且つ一定以上の面積を有するグループに合焦する、とのフォーカス制御を行うことで、誤判定結果がフォーカス制御に影響を及ぼす可能性を抑止可能となり、精度のよいフォーカス制御を実現できる。つまり一例としては、第２のモードにおける所与の閾値は、ノイズ等により生じる誤判定の影響を抑止できる程度に大きく、第１のモードにおける値に比べて小さい値（具体的には撮像画像における鉗子が占める割合として現実的な程度の値から決定される値）とすればよい。

なお、第２のモードにおいて面積情報を用いる手法はこれには限定されず、種々の変形実施が可能である。例えば、撮像部２００からの距離が所与の基準位置よりも近いグループが複数検出された場合に、そのうちの面積が最大となるグループに合焦させるといったフォーカス制御も可能である。

また、領域設定部２０１０は、フォーカス制御部２０９５で第１のモードが設定された場合に比べて、第２のモードが設定された場合は、設定される領域の位置、サイズ及び数の少なくとも１つを変更してもよい。

このようにすれば、モードに応じて、狭義には各モードが想定している注目被写体に応じて、適切な領域を設定することが可能になる。図８（Ｂ）に示した第２のモードでは、図８（Ａ）に示した第１のモードに比べて領域（評価ブロック）のサイズが小さく、数が多くなっている。これは上述したように、第１のモードで想定している生体に比べて、第２のモードで想定している針や糸は小さく細い被写体であることに起因している。また、上述したように第２のモードでは第１のモードに比べてＡＦ領域を画像の下部に偏らせてもよく、その場合、評価ブロックの位置も変化することになる。

また、被写体距離情報算出部２０４０は、複数の領域の各領域において、求められた距離情報の確からしさを表す信頼度を求めてもよい。

これにより、距離情報が信頼できるか否かを判定することが可能になる。その際、フォーカス制御部２０９５は、信頼度に基づいて、グループの分類処理の対象とならない無効領域を設定してもよい。このようにすれば、所与の領域での距離情報が信頼できない場合、当該領域を処理対象外とできるため、不適切な領域を合焦対象とする可能性を抑止できる。つまり無効領域の設定は、特徴量を用いて行ってもよいし、信頼度を用いて行ってもよいし、その両方を用いて行ってもよい。

また、被写体距離情報算出部２０４０は、複数の領域の各領域において、位相センサからの位相差情報を取得し、位相差情報に基づいて、距離情報を求めてもよい。

ここでの位相センサは例えば図４のＳ１，Ｓ２であり、位相差情報はＳ１からの信号とＳ２からの信号の比較処理により求められる情報である。この際、領域設定部２０１０は、撮像部２００における位相センサ（Ｓ１、Ｓ２）の配置情報に基づいて、複数の領域を設定してもよい。

距離情報の算出に位相差信号を用いる場合、距離情報の算出単位となる領域には、位相差情報を演算可能な情報の出力元、すなわちＳ１とＳ２のセンサが少なくともそれぞれ１つずつ含まれている必要がある。仮に、所与の評価ブロックに対応する領域にＳ１及びＳ２の少なくとも一方が１つも含まれていない場合、当該評価ブロックでは位相差信号が求められず、距離情報も算出できないためである。

しかし、撮像部２００における位相センサ（具体的には撮像素子２５０）を交換する使用形態とは一般的とは言えず、仮に交換可能としても位相センサの配置パターンはある程度限定されたものとなる。つまり、位相センサはハードウェア的にその配置が決定されるものであり、後から変更することが難しい。以上を考慮すれば、距離情報の算出単位となる領域（評価ブロック）と、位相センサとの対応関係を適切なものとするには、まず固定的である位相センサの配置パターンを把握しておき、当該配置パターンに合わせて領域を設定することが現実的と言える。

ただし、本実施形態では各評価ブロックにおける被写体距離を取得可能であればよく、位相センサ以外のセンサを用いることもできる。例えば、被写体距離情報算出部２０４０は、所与のパターン光の照射により取得された撮像画像に基づいて、距離情報を求めてもよい。具体的には、被写体に対して特定パターンの光を照射し、その反射光を取得してパターンの形状変化を解析することで被写体までの距離を取得し、被写体までの距離とレンズの特性から被写体距離を求めることもできる。

或いは、アクティブのＡＦにおいて広く用いられる手法を利用してもよい。具体的には、撮像部２００は、図３等には不図示の測距センサを有し、被写体距離情報算出部２０４０では、当該測距センサのセンサ情報に基づいて距離情報を求めてもよい。測距センサの形態は種々考えられるが、例えば、赤外光等の光を照射し、当該光が被写体により反射された反射光を受光するものであってもよい。その場合、光の照射タイミングから反射光の受光タイミングまでの時間に基づいて、被写体までの距離を求めることができる。

また、被写体距離情報算出部２０４０は、撮像画像から求められるＡＦ評価値（コントラスト値）に基づいて、距離情報を求めてもよい。ここでのＡＦ評価値とは、広く知られたコントラストＡＦにおいて用いられる情報であり、例えば、処理対象領域に含まれるすべての画素のＹ信号やＧ信号に対して任意のＢＰＦ（バンドパスフィルタ）処理を行い、その出力の総和をＡＦ評価値とすればよい。なお、コントラストＡＦにおけるＡＦ評価値は種々の算出手法が知られており、本実施形態では上記のＢＰＦ処理以外の手法についても広く適用可能である。

ＡＦ評価値を用いる場合、被写体距離情報算出部２０４０は、合焦物体位置を変えながら、各評価ブロックを処理対象領域としてＡＦ評価値を算出して、評価ブロックごとにＡＦ評価値のピーク位置を求める。具体的には、フォーカスレンズ２２０の制御を行い、ある程度の範囲にわたって合焦物体位置を変化させる。ここでの合焦物体位置を変化させる範囲は、ＡＦ評価値がピークとなる合焦物体位置を含むことが期待される範囲であればよく、狭義には撮像部２００の構成から決定される合焦物体位置の全範囲であってもよい。その際のフォーカスレンズ２２０の制御は、ＷＩＤＥ側（ＴＥＬＥ側）の端点からＴＥＬＥ側（ＷＩＤＥ側）の端点への移動により実現できる。なお、上記範囲をカバーするように合焦物体位置が変化すればよいため、フォーカスレンズ２２０の制御は上記のものに限定されない。

以上の処理により、各評価ブロックに対して、合焦物体位置の変化範囲におけるＡＦ評価値のピーク位置が求められる。コントラストＡＦの一般的な手法として知られているように、所与の領域から求められたコントラスト値が、所与の合焦物体位置でピークとなった場合、当該領域に撮像された被写体は、合焦物体位置を当該位置とすることで合焦する、すなわち当該被写体は合焦物体位置にあると考えられる。つまりピーク位置が特定できれば、処理対象となる評価ブロックに撮像された被写体までの距離は、合焦物体位置までの距離に対応するものであると判断できる。なお、フォーカスレンズ２２０の位置を制御する場合、直接的に求められるのはＡＦ評価値がピークとなるフォーカスレンズ２２０の位置となるが、フォーカスレンズ２２０の位置と合焦物体位置との関係は事前に知ることができるため、合焦物体位置への変換は容易である。

つまり、上記処理を行うことで、各評価ブロックの距離情報を取得することができる。評価ブロックの距離情報が取得された後は、位相センサ等を用いる手法と同様の処理を行えばよい。

また、以上の本実施形態はフォーカス制御装置に限定されず、フォーカス制御装置を含む内視鏡装置（内視鏡システム）に適用することが可能である。具体的には、図３に示したような内視鏡システムであってもよい。この場合、撮像画像が生体内画像となり、面積情報に基づくフォーカス制御を行いつつ、撮像部２００から遠い生体に優先して合焦したり、必要に応じて手前側の生体や処置具等にも合焦することが可能な内視鏡装置を実現することが可能になる。

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、何れも制御部３５０に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶装置（記憶媒体）に格納して配布することができる。そして、制御部３５０は、この外部記憶装置の記憶装置に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本実施形態のフォーカス制御装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（application specific integrated circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係るフォーカス制御装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

５．変形例
ユーザがエネルギーデバイス等を使用して生体を切除する場合などには、水蒸気や細かな粒子などのミストが発生する。ミストが発生すると、白色光源６１０からの出射光（ライトガイド部１２０からの出射光）が乱反射し、被写体距離が正しく推定できない場合がある。ミストは時間とともに大きく変化する被写体のため、上記実施形態の被写体距離算出（図１３のステップＳ２２０）で算出される被写体距離や、信頼度算出（図１３のステップＳ２３０）で算出される信頼度は、算出する毎に大きく変化する可能性がある。

よって本実施形態の変形例では、上記ミスト発生時も含め被写体が大きく変化する場合において、被写体距離が時間とともに大きく変化する場合には信頼度を低くする。本変形例におけるフォーカスレンズ移動先算出（ステップＳ１００）の処理を図１５に示す。図１３と同じステップ番号のステップは同様の処理を行うため、説明を省略する。

ステップＳ２００からステップＳ２２０の処理を実行すると、信頼度算出部２０５０は、被写体距離の算出回数が所定回数実行されたか判定する（Ｓ３００）。所定回数、例えば５回行った場合にはステップＳ３１０に進み、行っていない場合にはステップＳ２０５に戻って、ＡＤ変換部３１０から出力された別の画像に対して（異なるタイミングで撮影された画像に対して）ステップＳ２０５からステップＳ２２０の処理を実行する。ここで、判定条件として所定回数以外にも、被写体距離が一定誤差範囲で複数回算出されたかどうかを判定するなど、他の条件としてもよい。

次に、信頼度算出部２０５０は、複数回算出された被写体距離のばらつき度合いに基づき、信頼度を算出する（Ｓ３１０）。ここで、複数回算出された被写体距離のばらつき度合いと、被写体距離情報算出部２０４０で求める位相差算出時の相関の度合いの両方を用いて信頼度を算出するようにしてもよい。

なお、以降のステップで使用する各評価ブロックに対する被写体距離は、最初に算出された被写体距離、最後に算出された被写体距離、複数回算出した被写体距離の統計的な算出値（平均値、中央値、最頻値、最大値、最小値等）等、で算出された値とする。

以上の本変形例では、本実施形態における効果に加え、ミスト発生時等における被写体変化が大きなシーンにおいて、より正確な信頼度を算出することができる。その結果、ユーザが意図しない位置に合焦してしまうことを抑止でき、安定したＡＦを実現できる。

なお、以上のように本実施形態及びその変形例について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またフォーカス制御装置、内視鏡装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ 硬性鏡、１１０ レンズ系、１２０ ライトガイド部、２００ 撮像部、
２１０ ＡＦボタン、２２０ フォーカスレンズ、２３０ フォーカスレンズ駆動部、
２４０ 対物レンズ系、２５０ 撮像素子、３００ 処理部、３１０ ＡＤ変換部、
３２０ 前処理部、３３０ 画像処理部、３４０ ＡＦ制御部、３５０ 制御部、
４００ 表示部、５００ 外部Ｉ／Ｆ部、６００ 光源部、６１０ 白色光源、
６２０ ライトガイドケーブル、２０１０ 領域設定部、２０２０ モード設定部、
２０３０ 位相信号生成部、２０４０ 被写体距離情報算出部、
２０５０ 信頼度算出部、２０６０ 被写体特徴量算出部、２０７０ 注目領域推定部、
２０８０ レンズ移動先決定部、２０９５ フォーカス制御部、Ｓ１，Ｓ２ 位相センサ

Claims (22)

1. 撮像部で撮像された撮像画像に対して、各領域が複数の画素からなる複数の領域を設定する領域設定部と、
   設定された複数の前記領域の各々において、前記各領域に撮像された被写体までの距離情報を求める被写体距離情報算出部と、
   前記距離情報に基づいて、フォーカス制御を行うフォーカス制御部と、
   を含み、
   前記フォーカス制御部は、
   前記距離情報に基づいて、複数の前記領域を複数のグループに分類する分類処理を行い、複数の前記グループの各グループの面積情報に基づいて、複数の前記グループのうち面積が最大となるグループである最大面積グループの面積が所与の閾値以上であると判定された場合に、前記最大面積グループに合焦する前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
2. 請求項１において、
   前記フォーカス制御部は、
   前記最大面積グループの面積が前記所与の閾値より小さいと判定された場合に、複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに合焦する前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
3. 請求項２において、
   前記フォーカス制御部は、
   複数の前記グループの各々に分類された前記各領域の前記距離情報に基づいて、前記距離情報により表される距離が最も遠いグループを特定することを特徴とするフォーカス制御装置。
4. 撮像部で撮像された撮像画像に対して、各領域が複数の画素からなる複数の領域を設定する領域設定部と、
   設定された複数の前記領域の各々において、前記各領域に撮像された被写体までの距離情報を求める被写体距離情報算出部と、
   前記距離情報に基づいて、フォーカス制御を行うフォーカス制御部と、
   を含み、
   前記フォーカス制御部は、
   前記距離情報に基づいて、複数の前記領域を複数のグループに分類する分類処理を行い、複数の前記グループの各グループの面積情報に基づいて、複数の前記グループのうち面積が最大となるグループである最大面積グループの面積が所与の閾値より小さいと判定された場合に、複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに合焦する前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
5. 請求項１において、
   前記フォーカス制御部は、
   複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに優先して合焦する前記フォーカス制御を行う第１のモードと、複数の前記グループのうち、前記距離情報により表される距離が最も近いグループに優先して合焦する前記フォーカス制御を行う第２のモードを有することを特徴とするフォーカス制御装置。
6. 請求項１において、
   前記フォーカス制御部は、
   複数の前記領域の各々の特徴量を求め、前記特徴量に基づいて、前記分類処理の対象とならない無効領域を設定することを特徴とするフォーカス制御装置。
7. 請求項６において、
   前記フォーカス制御部は、
   前記特徴量に基づいて、
   複数の前記領域のうち生体以外が撮像されていると判定された領域を、前記無効領域に設定することを特徴とするフォーカス制御装置。
8. 請求項６において、
   前記フォーカス制御部は、
   複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに優先して合焦する前記フォーカス制御を行う第１のモードと、複数の前記グループのうち、前記距離情報により表される距離が最も近いグループに優先して合焦する前記フォーカス制御を行う第２のモードを有し、
   前記第１のモードでは、複数の前記領域のうち生体以外が撮像されていると判定された領域を、前記無効領域に設定し、前記第２のモードでは、複数の前記領域のうち前記生体が撮像されていると判定された領域を、前記無効領域に設定することを特徴とすることを特徴とするフォーカス制御装置。
9. 請求項１において、
   前記フォーカス制御部は、
   複数の前記領域の各々の特徴量を求め、前記特徴量に基づいて、複数の前記領域のうち、前記分類処理の対象となる有効領域を設定することを特徴とするフォーカス制御装置。
10. 請求項９において、
    前記フォーカス制御部は、
    前記特徴量に基づいて、
    複数の前記領域のうち生体が撮像されていると判定された領域を、前記有効領域に設定することを特徴とするフォーカス制御装置。
11. 請求項９において、
    前記フォーカス制御部は、
    複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに優先して合焦する前記フォーカス制御を行う第１のモードと、複数の前記グループのうち、前記距離情報により表される距離が最も近いグループに優先して合焦する前記フォーカス制御を行う第２のモードを有し、
    前記第１のモードでは、複数の前記領域のうち生体が撮像されていると判定された領域を、前記有効領域に設定し、前記第２のモードでは、複数の前記領域のうち前記生体以外が撮像されていると判定された領域を、前記有効領域に設定することを特徴とすることを特徴とするフォーカス制御装置。
12. 請求項５において、
    前記フォーカス制御部は、
    ユーザによる操作に基づいて、前記第１のモードと前記第２のモードの切替を行うことを特徴とするフォーカス制御装置。
13. 請求項１において、
    前記フォーカス制御部は、
    複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに優先して合焦する前記フォーカス制御を行う第１のモードと、複数の前記グループのうち、前記距離情報により表される距離が最も近いグループに優先して合焦する前記フォーカス制御を行う第２のモードを有し、
    前記第１のモードでは前記所与の閾値として第１の閾値を用いて前記フォーカス制御を行い、前記第２のモードでは前記所与の閾値として前記第１の閾値とは異なる第２の閾値を用いて前記フォーカス制御を行うことを特徴とするフォーカス制御装置。
14. 請求項５において、
    前記領域設定部は、
    前記フォーカス制御部で前記第１のモードが設定された場合に比べて、前記第２のモードが設定された場合は、設定される前記領域の位置、サイズ及び数の少なくとも１つを変更することを特徴とするフォーカス制御装置。
15. 請求項１において、
    前記被写体距離情報算出部は、
    複数の前記領域の各々において、求められた前記距離情報の確からしさを表す信頼度を求めることを特徴とするフォーカス制御装置。
16. 請求項１５において、
    前記フォーカス制御部は、
    前記信頼度に基づいて、前記分類処理の対象とならない無効領域を設定することを特徴とするフォーカス制御装置。
17. 請求項１において、
    前記被写体距離情報算出部は、
    複数の前記領域の各々において、位相センサからの位相差情報を取得し、前記位相差情報に基づいて、前記距離情報を求めることを特徴とするフォーカス制御装置。
18. 請求項１７において、
    前記領域設定部は、
    前記撮像部における前記位相センサの配置情報に基づいて、複数の前記領域を設定することを特徴とするフォーカス制御装置。
19. 請求項１において、
    前記被写体距離情報算出部は、
    所与のパターン光の照射により取得された前記撮像画像に基づいて、前記距離情報を求めることを特徴とするフォーカス制御装置。
20. 請求項１乃至１９のいずれかに記載のフォーカス制御装置を含むことを特徴とする内視鏡装置。
21. 撮像部で撮像された撮像画像に対して、各領域が複数の画素からなる複数の領域を設定し、
    設定された複数の前記領域の各々において、前記各領域に撮像された被写体までの距離情報を求め、
    前記距離情報に基づいて、複数の前記領域を複数のグループに分類する分類処理を行い、複数の前記グループの各グループの面積情報に基づいて、複数の前記グループのうち面積が最大となるグループである最大面積グループの面積が所与の閾値以上であると判定された場合に、前記最大面積グループに合焦するフォーカス制御を行う、
    ことを特徴とするフォーカス制御装置の制御方法。
22. 撮像部で撮像された撮像画像に対して、各領域が複数の画素からなる複数の領域を設定し、
    設定された複数の前記領域の各々において、前記各領域に撮像された被写体までの距離情報を求め、
    前記距離情報に基づいて、複数の前記領域を複数のグループに分類する分類処理を行い、複数の前記グループの各グループの面積情報に基づいて、複数の前記グループのうち面積が最大となるグループである最大面積グループの面積が所与の閾値より小さいと判定された場合に、複数の前記グループのうち、前記距離情報により表される距離が最も遠いグループに合焦するフォーカス制御を行う、
    ことを特徴とするフォーカス制御装置の制御方法。

Images