JP7336330B2 - 制御装置、撮像装置、制御方法、および、プログラム - Google Patents

Description

本発明は、フォーカス機構を備えた撮像装置に関し、特に複数の合焦位置を検出するフォーカス制御に関する。

近年、セキュリティなどの様々の用途や工場のレーンなどの様々な場所において、撮像装置が設置されている。このような撮像装置では、被写界深度の深い映像を取得することが要求される。そこで、被写体を撮影する撮影光軸系と直交する撮像光軸面に対して撮像面を傾くように回転させる（あおり制御を行う）ことで焦点面を調整し、撮影シーンの被写界深度を深くするシャインプルーフの原理と呼ばれる技術が知られている。

特許文献１には、コントラスト評価値に基づいて複数の被写体それぞれの合焦位置を検出し、複数の被写体に合焦するようにフォーカス位置とあおり制御量を決定する撮像装置が開示されている。特許文献２には、複数の被写体それぞれに関するコントラスト評価値が最大となるようにフォーカス位置を記憶し、複数の被写体それぞれの合焦位置を検出する撮像装置が記載されている。

特開２００３－７５７１６号公報 特開２００１－１１６９８０号公報

しかしながら、特許文献１および特許文献２に開示された撮像装置では、複数の被写体それぞれの合焦位置を検出する際に、フォーカスレンズの駆動量が多くなる場合があり、時間を要する。

そこで本発明は、複数の被写体の合焦位置を高速に検出可能な制御装置、撮像装置、制御方法、および、プログラムを提供することを目的とする。

本発明の一側面としての制御装置は、画像における複数の領域のそれぞれのコントラスト評価値を取得する取得手段と、前記コントラスト評価値に基づいて、前記複数の領域のそれぞれの合焦位置を検出する検出手段と、フォーカスレンズの駆動に伴う前記コントラスト評価値の変化に基づいて前記複数の領域のそれぞれの合焦方向を決定する第1の決定手段と、前記検出手段が前記複数の領域のうち一つの領域の前記合焦位置を検出した場合、前記複数の領域のうち前記一つの領域を除く他の領域の前記合焦方向が前記一つの領域の前記合焦位置を検出した際の前記一つの領域の合焦方向と同一方向か否かに基づいて、前記フォーカスレンズのフォーカス駆動方向を決定する第２の決定手段と、備え、前記第２の決定手段は、前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と前記同一方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と同一方向に前記フォーカス駆動方向を決定し、前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と逆方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と逆方向に前記フォーカス駆動方向を決定する。

本発明の他の側面としての撮像装置は、撮像素子と前記制御装置とを有する。

本発明の他の側面としての制御方法は、画像における複数の領域のそれぞれのコントラスト評価値を取得する取得ステップと、前記コントラスト評価値に基づいて前記複数の領域のそれぞれの合焦位置を検出する検出ステップと、フォーカスレンズの駆動に伴う前記コントラスト評価値の変化に基づいて前記複数の領域のそれぞれの合焦方向を決定する第１の決定ステップと、前記検出ステップにて前記複数の領域のうち一つの領域の前記合焦位置を検出した場合、前記複数の領域のうち前記一つの領域を除く他の領域の前記合焦方向が前記一つの領域の前記合焦位置を検出した際の前記一つの領域の合焦方向と同一方向か否かに基づいて、前記フォーカスレンズのフォーカス駆動方向を決定する第２の決定ステップにおいて、前記第２の決定ステップにおいて、前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と前記同一方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と同一方向に前記フォーカス駆動方向を決定し、前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と逆方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と逆方向に前記フォーカス駆動方向を決定する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、複数の被写体の合焦位置を高速に検出可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態におけるあおり制御の説明図である。 各実施形態におけるフォーカス制御およびあおり制御の説明図である。 各実施形態において３つの被写体が存在する場合のフォーカス制御およびあおり制御の説明図である。 第１の実施形態におけるフォーカス制御およびあおり制御のフローチャートである。 第１の実施形態における合焦位置検出処理の説明図である。 第１の実施形態における合焦位置検出処理のフローチャートである。 第２の実施形態における合焦位置検出処理の説明図である。 第２の実施形態における合焦位置検出処理のフローチャートである。 第３の実施形態におけるフォーカス制御およびあおり制御のフローチャートである。 第３の実施形態におけるフォーカス制御およびあおり制御の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本実施形態における撮像装置の構成について説明する。図１は、撮像装置１００のブロック図である。ズームレンズ１０１は、光軸方向に移動して焦点距離を変更する。フォーカスレンズ１０２は、光軸方向に移動してピントの制御（フォーカス制御）を行う。絞りユニット１０３は、光量を調整する。ズームレンズ１０１、フォーカスレンズ１０２、および、絞りユニット１０３により撮像光学系が構成される。なお本実施形態において、撮像装置１００は撮像光学系と撮像装置本体とが一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置本体と、撮像装置本体に対して着脱可能な撮像光学系とを有する撮像システムにも適用可能である。

撮像光学系を通過した光は、バンドパスフィルタ（ＢＰＦ）１０４およびカラーフィルタ１０５を介して、撮像素子１０６上に結像する。バンドパスフィルタ１０４は、撮像光学系の光路に対し進退可能に構成されていてもよい。撮像素子１０６は、ＣＭＯＳセンサやＣＣＤセンサであり、撮像光学系により形成された光学像（被写体像）を光電変換し、アナログ電気信号（撮像信号）を出力する。ＡＧＣ１０７は、撮像素子１０６から出力されたアナログ電気信号に対してゲイン調整を行う。ＡＤ変換器１０８は、アナログ電気信号をデジタル信号（デジタル撮像信号）に変換し、カメラ信号処理部１０９に出力する。カメラ信号処理部１０９は、デジタル撮像信号に対して各種画像処理を行って映像信号を生成する。映像信号は、通信部１１０を介して、撮像装置１００に有線または無線通信により接続された監視モニタ装置１１１に出力されるとともに、外部装置からのコマンドを受けて撮像装置１００内のあおり／フォーカス制御部１１５にコマンドなどの制御信号を出力する。

フォーカス評価値算出部（取得手段）１１２は、対象となる被写体領域（対象領域）毎にＡＤ変換器１０８またはカメラ信号処理部１０９からＲＧＢの画素値もしくは輝度値を受け取り、特定周波数のコントラストに関する評価値（コントラスト評価値）を取得する。すなわちフォーカス評価値算出部１１２は、画像における複数の領域（複数の被写体領域）のそれぞれのコントラスト評価値を取得する。なおフォーカス評価値算出部１１２は、コントラスト評価値とは別に、位相差等による距離情報を併せて取得してもよい。被写体判定部１１３は、カメラ信号処理部１０９からの結果を受けて、撮影画面内から被写体を検出し、被写体情報を出力する。被写体判定部１１３は、ユーザからの指定、もしくは予め設定された被写体、例えば人物、車の判定も行うことが可能である。

あおり／フォーカス駆動量算出部１１４は、フォーカス評価値算出部１１２からの評価値、および、被写体判定部１１３からの被写体情報が入力される。また、あおり／フォーカス駆動量算出部１１４は、評価値および被写体情報、および、あおり／フォーカス制御部１１５からのあおり角度とフォーカス位置とを用いて、シーンに応じた最適なあおり角度とフォーカス位置を算出する。

あおり／フォーカス制御部１１５は、算出されたあおり角度とフォーカス位置に基づいて、あおり角度とフォーカス位置を制御する。また、あおり／フォーカス制御部１１５は、通信部１１０からの指示に従い、オートフォーカス（ＡＦ）やマニュアルフォーカス（ＭＦ）でのピント制御（フォーカス制御）を行う。また、あおり／フォーカス制御部１１５は、撮像素子駆動部１１６やフォーカス駆動部１１７から撮像素子１０６やフォーカスレンズ１０２の現在の位置を受け取り、あおり／フォーカス駆動量算出部１１４に現在の位置を伝える。また、あおり／フォーカス制御部１１５は、あおり／フォーカス駆動量算出部１１４で算出されたあおり角度とフォーカス位置に基づいて、撮像素子駆動部１１６とフォーカス駆動部１１７に対して駆動位置を指示する。なお本実施形態において、あおり／フォーカス駆動量算出部１１４およびあおり／フォーカス制御部１１５は、コントラスト評価値に基づいて複数の領域のそれぞれの合焦位置を検出する制御手段を構成する。

撮像素子駆動部１１６は、あおり／フォーカス制御部１１５から指示されたあおり角度に基づいて、撮像素子１０６を傾ける。通常、撮像素子１０６を傾ける回転軸は撮影画面の中心に位置し、回転軸を中心に撮像素子１０６は傾く。ただし本実施形態は、これに限定されるものではない。フォーカス駆動部１１７は、あおり／フォーカス制御部１１５から指示されたフォーカスの設定位置に基づいて、フォーカスレンズ１０２の位置を制御する。

次に、図２を参照して、あおり制御（あおり撮影）について説明する。図２は、あおり制御の説明図である。図２（ａ）は、光学系（撮像光学系）の主面と撮像素子１０６とが平行である状態を示している。フォーカス距離Ｌにピントが合っており、そのピント面は、光学系および撮像素子のそれぞれと平行となる。図２（ｂ）は、図２（ａ）から撮像素子１０６を撮像素子回転軸を中心に回転させ、あおり制御を行った状態を示している。あおり制御を行うと、シャインプルーフの原理に基づいてピント面も撮像素子回転軸に対応したピント面回転軸を中心に回転する。このため、ある平面に関して近距離から遠距離まですべての被写体にピントを合わせることが可能となる。シャインプルーフの原理は、光学系の主面と撮像素子１０６の撮像面とがある１つの直線で交わるとき、ピント面も同じ直線上で交わるという原理である。焦点距離ｆ、フォーカス距離Ｌ、俯角αとするとき、あおり角ｂはシャインプルーフの原理より、以下の式（１）で算出される。

図２（ｃ）は、画像において被写体Ｘ（第１の被写体領域）および被写体Ｙ（第２の被写体領域）が存在するシーンを示している。この場合、図２（ｃ）に示されるように、被写体の顔にピントが合うようなピント面に制御することが望ましい。そのためには、あおり制御のみではなくフォーカスも合わせて制御することが必要となる。また、被写体毎に最適なピント面（すなわち、最適なあおり角度およびフォーカス位置）は異なっており、ユーザが手動で調整するのは困難である。

そこで、図３を参照して、被写体に応じて最適なあおり角度およびフォーカス位置を算出する方法の一例を説明する。図３は、フォーカス制御およびあおり制御の説明図である。対象とする被写体として、図２（ｃ）と同様に、被写体Ｘおよび被写体Ｙが存在する。現在のあおり角度とフォーカスレンズ１０２の位置が図３の上部の位置関係になっている。図３において、ｘは被写体Ｘに対してピントを合わせるために必要なピント面上での補正量、ｙは被写体Ｙに対してピントを合わせるために必要なピント面上での補正量である。また撮像素子１０６上でのあおり軸から被写体までの距離を被写体Ｘに対してｋ１［μｍ］、被写体Ｙに対してｋ２［μｍ］とする。ここで、被写体Ｘ、Ｙに同時に合焦させるためのあおり角度をα［°］とし、ピント面上でのフォーカス補正量をβとすると、以下の式（２）、（３）が成立する。

式（２）、（３）の連立方程式を解くと、あおり角度αおよびフォーカス補正量βは、以下の式（４）、（５）のように算出することができる。

ピント制御量の簡易的な算出は、フォーカス補正量βをフォーカスレンズ１０２の敏感度で除算することで可能となる。また、ピント制御量の正確な算出は、フォーカスレンズ１０２の敏感度に応じた高次方程式や多項式を解くことで可能となる。ただし、本実施形態の算出方法に関しては、その要旨の範囲内で種々の変形及び変更が可能である。

次に、図４を参照して、画像において３つ以上の被写体（被写体領域）が存在するについて説明する。図４は、３つの被写体が存在する場合のフォーカス制御およびあおり制御の説明図である。図４に示されるように、近距離から遠距離まで３つの被写体Ａ、Ｂ、Ｃ（または、３つ以上の被写体）が存在する場合、全ての被写体Ａ、Ｂ、Ｃにピントを合わせることができない場合がある。このため、被写体Ａ、Ｂ、Ｃのそれぞれに対するピント面上でのずれ量をａ［μｍ］、ｂ［μｍ］、ｃ［μｍ］として、考えられる制御方法を説明する。

第一の方法は、ずれ量ａ［μｍ］、ｂ［μｍ］、ｃ［μｍ］の最大値が最小になるようにフォーカス制御およびあおり制御を行う方法である。この方法により、図６に示されるようなシーンにおいて、被写体のボケを最小に抑えることができる。第二の方法は、ピントが合っていると判定される量、つまり深度を算出して、ずれ量ａ［μｍ］、ｂ［μｍ］、ｃ［μｍ］が深度に収まるように制御する方法である。深度は、撮像素子１０６の１画素あたりのセルピッチと絞り値によって決められる値である。深度をＦΔとすると、以下の式（６）、（７）、（８）のように解くことにより計算することができる。

ＦΔ≧ｋ１’×γ＋β … （６）
ＦΔ≧ｋ２’×γ＋β … （７）
ＦΔ≧ｋ３’×γ－β … （８）
ずれ量ａ［μｍ］、ｂ［μｍ］、ｃ［μｍ］が深度に収まると、ユーザからはピントのボケが認識されず、第一の方法のようにずれ量ａ［μｍ］、ｂ［μｍ］、ｃ［μｍ］の最大値が最小になるように追い込む必要がない。また、第二の方法で制御を行い、撮影対象の被写体が深度に入らない場合に、第一の方法で追い込む制御も考えられる。一般的に、近距離と遠距離では遠距離側の方があおり制御に対する深度が深くなるため、近距離の被写体を優先してあおり制御、もしくはピント制御を行ってもよい。以下、各実施形態において具体的に説明する。

（第１の実施形態）
まず、第１の実施形態における撮像装置１００が実行する処理について説明する。図５は、本実施形態におけるフォーカス制御およびあおり制御（メイン処理）のフローチャートである。図５の各ステップは、主に、あおり／フォーカス駆動量算出部１１４、または、あおり／フォーカス制御部１１５により実行される。

まずステップＳ５０１において、あおり／フォーカス制御部１１５は、複数の被写体を設定する。複数の被写体は、顔検出や自動検出等により自動で設定されるか、または、ユーザによって指定される。続いてステップＳ５０２において、あおり／フォーカス制御部１１５は、ステップＳ５０１にて設定された複数の被写体それぞれの合焦位置を検出する。なお、本処理の詳細については後述する。

続いてステップＳ５０３において、あおり／フォーカス駆動量算出部１１４は、ステップＳ５０２にて検出された合焦位置に基づいて、被写体ごとのピント面上の補正量を算出する。これは、図３中のｘ、ｙや図４中のａ、ｂ、ｃに相当する。例えば、補正量は、フォーカスレンズ１０２の現在位置と合焦位置との差分に対してフォーカスレンズ１０２の敏感度を掛けることによって算出可能である。続いてステップＳ５０４において、あおり／フォーカス駆動量算出部１１４は、前述の方法により、各被写体に合焦させるためのフォーカス補正量およびあおり角度を算出する。続いてステップＳ５０５において、あおり／フォーカス制御部１１５は、ステップＳ５０４にて算出されたフォーカス補正量およびあおり角度に基づいて、フォーカス駆動部１１７および撮像素子駆動部１１６を制御する。

次に、図６を参照して、被写体毎の合焦位置検出処理（ステップＳ５０２）の概要について説明する。図６は、合焦位置検出処理の説明図である。図６において、横軸はフォーカス位置、縦軸はコントラスト評価値をそれぞれ示す。

図６は、図４のような距離の異なる３つの被写体Ａ、Ｂ、Ｃを撮影した場合における、フォーカス位置毎のそれぞれのコントラスト評価値を示している。各々の合焦位置をＰ１、Ｐ２、Ｐ３とし、これらをすべて検出することが目的である。合焦位置Ｐ１、Ｐ２、Ｐ３をより高速に検出するには、無駄のないフォーカススキャンを行うことが重要である。そこで、フォーカス駆動の際のコントラスト評価値の変化に基づいて、合焦位置に近づいているか否か（すなわち、合焦方向）を判定する。具体的には、コントラスト評価値が上昇した場合には順方向、下降した場合には逆方向と判定する。あおり／フォーカス制御部１１５は、合焦方向の判定結果に基づいて、フォーカススキャン方向を決定する。

フォーカス位置Ｐ０から合焦位置検出を行う場合のフォーカススキャン例（図６中の下部）に基づいて説明を行う。まず、フォーカス位置Ｐ０から予め決められた方向へフォーカススキャンを開始する（ここでは至近側）。このとき、合焦方向は、被写体Ａおよび被写体Ｂに関しては順方向、被写体Ｃに関しては逆方向と判定される。順方向と判定された被写体がある場合、スキャン方向の反転は行わない。合焦位置Ｐ２を通過すると被写体Ｂの評価値の山が検出され、合焦位置Ｐ２が被写体Ｂの合焦位置として記憶される。以降の処理では、被写体Ｂは合焦位置検出済みのため、合焦方向の判定は行わない（または、判定結果を無視する）。

引き続き、被写体Ａの合焦方向は順方向であるため、スキャン方向の反転は行わない。合焦位置Ｐ１を通過すると被写体Ａの評価値の山が検出され、合焦位置Ｐ１が被写体Ａの合焦位置として記憶される。以降の処理では、被写体Ａは合焦位置検出済みのため、合焦方向の判定は行わない（または、判定結果を無視する）。

この時点で、合焦方向が順方向である被写体はなくなるため、スキャン方向を反転させる。なお、これまでのフォーカススキャンでＰ０～Ｐ１の間には被写体Ｃの合焦位置がないことがわかっている。このため、フォーカス位置Ｐ０までスキップ駆動を行い、フォーカス位置Ｐ０から無限方向へフォーカススキャンを開始することで、フォーカススキャン時間を短縮する。合焦位置Ｐ３を通過すると被写体Ｃの山が検出され、合焦位置Ｐ３が被写体Ｃの合焦位置として記憶される。これで全ての被写体の合焦位置が検出されたため、フォーカススキャンを終了する。

次に、図７を参照して、合焦位置検出処理（ステップＳ５０２）について詳述する。図７は、合焦位置検出処理のフローチャートである。図７の各ステップは、主に、あおり／フォーカス制御部１１５、または、フォーカス駆動部１１７により実行される。

まずステップＳ７０１において、あおり／フォーカス制御部１１５は、現在のフォーカス位置をフォーカススキャン開始位置として記憶する。続いてステップＳ７０２において、あおり／フォーカス制御部１１５は、フォーカス駆動部１１７を制御し、任意の方向へフォーカススキャンを開始する。フォーカススキャンの駆動速度は、速いほどより高速になる分合焦検出精度が低下し、遅いほど低速になる分、合焦検出精度が向上する。また、フォーカススキャン速度は可変にしてもよい。例えば、いずれかの被写体の合焦位置に近い（いずれかの被写体のコントラスト評価値が高い）と判定される場合には遅く駆動し、いずれの被写体の合焦位置にも近くない（全ての被写体のコントラスト評価値が低い）と判定される場合には速く駆動する。これにより、合焦位置検出時間の高速化と合焦位置検出精度とを両立することができる。

続いてステップＳ７０３において、あおり／フォーカス制御部１１５は、ステップＳ５０１にて設定された被写体毎に合焦方向を判定する。前述の通り、コントラスト評価値が上昇している被写体は順方向と判定される。一方、コントラスト評価値が下降している被写体は逆方向と判定される。

続いてステップＳ７０４において、あおり／フォーカス制御部１１５は、合焦位置が未検出の被写体のうち、いずれかの合焦位置を検出したか否かを判定する。いずれかの合焦位置を検出した場合、ステップＳ７０５に進む。ステップＳ７０５において、あおり／フォーカス制御部１１５は、検出した合焦位置を、その被写体の合焦位置として記憶する。続いてステップＳ７０６において、あおり／フォーカス制御部１１５は、ステップＳ５０１にて設定された全ての被写体それぞれの合焦位置検出が完了したか否かを判定する。全ての被写体の合焦位置検出が完了した場合、ステップＳ７０７に進む。ステップＳ７０７において、あおり／フォーカス制御部１１５は、フォーカススキャンを停止し、合焦位置検出処理を終了する。

一方、ステップＳ７０４にていずれの合焦位置も検出していない場合、または、ステップＳ７０６にて全ての被写体それぞれの合焦位置検出がまだ完了していない場合、ステップＳ７０８に進む。ステップＳ７０８において、あおり／フォーカス制御部１１５は、スキャン方向を判定する。より具体的には、あおり／フォーカス制御部１１５は、合焦位置未検出である被写体の合焦方向が全て逆方向であるか否かを判定する。被写体の合焦方向が全て逆方向である場合、ステップＳ７０９に進む。ステップＳ７０９において、あおり／フォーカス制御部１１５はフォーカススキャンを停止する。続いてステップＳ７１０において、あおり／フォーカス制御部１１５は、フォーカス駆動部１１７を制御して、スキャン方向を反転させる。続いてステップＳ７１１において、あおり／フォーカス制御部１１５は、フォーカス駆動部１１７を制御して、ステップＳ７０１にて記憶したフォーカススキャン開始位置までスキップ駆動を行い、ステップＳ７０１へ戻る。一方、ステップＳ７０８にていずれか一つでも合焦方向が順方向である場合、あおり／フォーカス制御部１１５はスキャン方向の反転を行わず、フォーカススキャンを継続する。

本実施形態は、複数の被写体のコントラスト評価値に基づいてフォーカス制御を行うことで、高速な合焦検出が可能である。このため、複数の被写体に合焦するためのあおり制御およびフォーカス制御の高速化が実現できる。

（第２の実施形態）
次に、第２の実施形態における撮像装置１００が実行する処理について説明する。本実施形態は、フォーカス評価値算出部１１２が、コントラスト評価値とは別に位相差等による距離情報を併せて取得する構成における、被写体毎の合焦位置検出処理（ステップＳ５０２）に関する。なお本実施形態において、第１の実施形態と同様の説明については省略する。

図８を参照して、被写体毎の合焦位置検出処理（ステップＳ５０２）の概要を説明する。図８は、合焦位置検出処理の説明図である。図８中の上部は、至近端を０、無限端を１２０としたフォーカス位置を示している。図４に示されるように距離の異なる３つの被写体Ａ、Ｂ、Ｃを撮影した場合、位相差等による各被写体の距離情報を取得してレンズの設計情報（カムデータ）に基づくことで、各被写体に合焦させるためのフォーカス位置を算出することができる。図８では、一例として、被写体Ａはフォーカス位置３０、被写体Ｂはフォーカス位置５０、被写体Ｃはフォーカス位置１００であるとする。ただし、これらのフォーカス位置をそのまま被写体毎の合焦位置検出結果として用いない。これは、距離情報の取得手段や撮影環境に依存して、精度が甘くなる場合があるためである。このため、常に高精度な合焦位置検出ができるように、コントラスト評価値を用いたフォーカススキャンを行う。あおり／フォーカス制御部１１５は、フォーカススキャンの際に、距離情報に基づいて算出した被写体毎のフォーカス位置に応じて、スキャン開始方向を決定する。

図８中の中部は、フォーカススキャン開始位置Ｓ１（フォーカス位置１０）、Ｓ２（フォーカス位置６０）、Ｓ３（フォーカス位置７０）からフォーカススキャンが開始された場合のフォーカス駆動例を示している。図８中の下部の表は、フォーカススキャン開始位置Ｓ１、Ｓ２、Ｓ３毎に各被写体までのフォーカス駆動量（現在フォーカス位置と各被写体のフォーカス位置の差分）、スキャン開始方向、合焦位置の検出順を示している。スキャン開始方向は、最短経路でスキャンするために最大フォーカス駆動量が小さい方向から駆動する。スキャン開始位置がＳ１である場合、被写体Ａ、Ｂ、Ｃの全てが無限方向であるため、無限方向からスキャンを開始する。スキャン開始位置がＳ２である場合、至近方向に最大フォーカス駆動量である被写体Ａのほうが、無限方向に最大フォーカス駆動量である被写体Ｃよりもフォーカス駆動量が小さいため、至近方向からスキャンを開始する。スキャン開始位置がＳ３である場合、無限方向に最大フォーカス駆動量である被写体Ｃのほうが、至近方向に最大フォーカス駆動量である被写体Ａよりもフォーカス駆動量が小さいため、無限方向からスキャンを開始する。このため、合焦位置検出は、スキャン開始位置がＳ１である場合には被写体Ａ、Ｂ、Ｃの順、スキャン開始位置がＳ２である場合には被写体Ｂ、Ａ、Ｃの順、スキャン開始位置がＳ３である場合には被写体Ｃ、Ｂ、Ａの順で行われる。

次に、図９を参照して、合焦位置検出処理（ステップＳ５０２）について説明する。図９は、合焦位置検出処理のフローチャートである。図９の各ステップは、主に、あおり／フォーカス駆動量算出部１１４、あおり／フォーカス制御部１１５、または、フォーカス駆動部１１７により実行される。

まずステップＳ９０１において、あおり／フォーカス駆動量算出部１１４は、フォーカス評価値算出部１１２により被写体毎に取得された距離情報に基づいて、各合焦位置を取得する。続いてステップＳ９０２において、あおり／フォーカス制御部１１５は、ステップＳ９０１にて算出した被写体毎のフォーカス位置に基づいて、前述の通りフォーカススキャン開始位置を決定する。なお、図９中の以降の処理は、図７を参照して説明した第１の実施形態と同様である。

本実施形態は、第１の実施形態に加えて位相差等による距離情報に基づいてフォーカススキャン方向を決定することで、より高速な合焦検出が可能である。このため、複数の被写体に合焦するためのあおり制御およびフォーカス制御の高速化が実現できる。

（第３の実施形態）
次に、第３の実施形態における撮像装置１００が実行する処理について説明する。なお本実施形態において、第１の実施形態１または第２の実施形態と同様の処理についての説明は省略する。

図１０は、本実施形態におけるフォーカス制御およびあおり制御（メイン処理）のフローチャートである。図１０の各ステップは、主に、あおり／フォーカス駆動量算出部１１４、または、あおり／フォーカス制御部１１５により実行される。

まずステップＳ１００１において、あおり／フォーカス制御部１１５は、複数の被写体を設定する。また、あおり／フォーカス駆動量算出部１１４は、複数の被写体のそれぞれの距離情報を取得する。続いてステップＳ１００２において、あおり／フォーカス駆動量算出部１１４は、ステップＳ１００１にて取得された複数の被写体それぞれの距離情報に基づいて、各合焦位置を取得する。続いてステップＳ１００３において、あおり／フォーカス駆動量算出部１１４は、ステップＳ１００２にて取得された合焦位置に基づいて、被写体ごとのピント面上の補正量を算出する。

続いてステップＳ１００４において、あおり／フォーカス駆動量算出部１１４は、各被写体に合焦させるためのフォーカス補正量およびあおり角度を算出する。続いてステップＳ１００５において、あおり／フォーカス制御部１１５は、ステップＳ１００４にて算出されたフォーカス補正量およびあおり角度に基づいて、フォーカス駆動部１１７および撮像素子駆動部１１６を制御する。

なお、この時点で、複数の被写体に合焦させるためのフォーカスおよびあおりの補正が一度行われたことになる。ただし、ステップＳ１００２にて取得された距離情報に基づく合焦位置は、前述の通り精度が高くない場合があり、このままでは不十分である。したがって、以降の処理において、コントラスト評価値に基づく補正（２度目の補正）を行う。

続いてステップＳ１００６において、あおり／フォーカス制御部１１５は、第１の実施形態１（図７）または第２の実施形態（図９）にて説明したフローと同様の処理を行い、被写体毎の合焦位置を検出する。ここでは、あおり制御後（撮像素子１０６が傾いた状態で）、フォーカススキャンが行われるが、同様の処理にて合焦位置を検出可能である。

続いてステップＳ１００７において、あおり／フォーカス駆動量算出部１１４は、ステップＳ１００６にて検出された合焦位置に基づいて、被写体ごとのピント面上の補正量を算出する。続いてステップＳ１００８において、あおり／フォーカス駆動量算出部１１４は、各被写体に合焦させるためのフォーカス補正量およびあおり角度を算出する。

ここで、図１１を参照して、あおり制御後（撮像素子が傾いた状態）の算出の一例を説明する。図１１は、フォーカス制御およびあおり制御の説明図である。図１１は、対象とする被写体として、図３と同様に被写体Ｘおよび被写体Ｙが存在する。現在のあおり角度とフォーカスレンズ１０２の位置が図１１の上部の位置関係になっている。図３と異なり、すでにあおり角度α[°]で撮像素子１０６が傾いている。ｘ´は被写体Ｘに対してピントを合わせるために必要なピント面上での補正量、ｙ´は被写体Ｙに対してピントを合わせるために必要なピント面上での補正量であり、それぞれステップＳ１００７にて算出されたものである。ここで、あおり前、すなわちあおり角度α＝０[°]でのピント面上での補正量ｘ、ｙを求めることにより、前述と同様のフォーカス補正量およびあおり角度を算出が可能となる。補正量ｘ、ｙは、以下の式（９）、（１０）のように算出される。

続いてステップＳ１００９において、あおり／フォーカス制御部１１５は、ステップＳ１００８にて算出されたフォーカス補正量およびあおり角度に基づいて、フォーカス駆動部１１７および撮像素子駆動部１１６を制御する。

本実施形態は、まず距離情報を用いた複数の被写体の合焦検出結果に基づいて、複数の被写体に合焦するためのあおり制御およびフォーカス制御を実施する。その後、フォーカススキャンによる合焦位置検出結果に基づいて、複数の被写体に合焦するためのあおり制御およびフォーカス制御を実施する。本実施形態では、予め、あおり制御およびフォーカス制御を実施しているため、フォーカススキャン範囲を小さくすることが可能である。このため、複数の被写体に合焦するためのあおり制御およびフォーカス制御の高速化が実現できる。

このように各実施形態において、制御装置（撮像装置１００）は、取得手段（フォーカス評価値算出部１１２）および制御手段（あおり／フォーカス駆動量算出部１１４、あおり／フォーカス制御部１１５）を有する。取得手段は、画像における複数の領域（少なくとも二つの被写体領域）のそれぞれのコントラスト評価値を取得する。制御手段は、コントラスト評価値に基づいて複数の領域のそれぞれの合焦位置を検出する。制御手段は、コントラスト評価値に基づいて複数の領域のそれぞれの合焦方向を決定し、合焦方向に基づいてフォーカス駆動方向を決定する。また制御手段は、複数の領域のうち一つの領域の合焦位置を検出した場合、複数の領域のうち一つの領域を除く他の領域の合焦方向に基づいて、フォーカス駆動方向を決定する。

好ましくは、制御手段は、複数の領域のうち合焦位置を検出する対象領域を決定し、対象領域に対して合焦方向を決定する。より好ましくは、制御手段は、複数の領域のうち合焦位置が検出されていない領域を対象領域として決定する。また好ましくは、取得手段は、複数の領域のそれぞれの距離情報を取得し、制御手段は、距離情報に基づいて複数の領域のそれぞれの合焦位置を検出する。より好ましくは、制御手段は、距離情報に基づいて対象領域の合焦位置の検出順を決定する。また好ましくは、制御手段は、距離情報に基づいて合焦方向を決定する。

好ましくは、制御手段は、対象領域のそれぞれの合焦方向の全てがフォーカス駆動方向と逆である場合、フォーカス駆動方向を反転させる。また好ましくは、制御手段は、第一のフォーカス制御および第二のフォーカス制御を実行する。制御手段は、第一のフォーカス制御においてフォーカス駆動方向を反転させる場合、第一のフォーカス制御を停止する。そして制御手段は、第一のフォーカス制御を開始した位置、前回フォーカス駆動方向を反転した位置、または、対象領域に対する第一のフォーカス制御の際の最大フォーカス評価値が出力された位置のいずれかの付近まで第二のフォーカス制御を行う。より好ましくは、制御手段は、第一のフォーカス制御の第一のフォーカス駆動速度よりも速い第二のフォーカス駆動速度で第二のフォーカス制御を行う。より好ましくは、制御手段は、第一のフォーカス制御の際に、フォーカス評価値に基づいて第一のフォーカス駆動速度を決定する。また好ましくは、制御手段は、第一のフォーカス制御の際に対象領域のフォーカス評価値の少なくとも一つが所定の閾値よりも大きい場合、第一のフォーカス駆動速度を遅くする。また好ましくは、制御手段は、第一のフォーカス制御の際に対象領域の全てのフォーカス評価値が所定の閾値よりも小さい場合、第一のフォーカス駆動速度を速くする。

好ましくは、制御手段は、距離情報に基づいて検出された合焦位置に基づいて、フォーカス駆動量を算出し、フォーカス駆動量の最大値が小さい方向からフォーカス制御を開始する。また好ましくは、制御手段は、距離情報に基づいて検出された合焦位置に基づいてあおり制御とフォーカス制御とを行った後、コントラスト評価値に基づいて検出された合焦位置に基づいてあおり制御とフォーカス制御とを行う。また好ましくは、制御手段は、合焦位置に基づいて、あおり駆動手段およびフォーカス駆動手段のそれぞれの補正量を算出する。そして制御手段は、補正量に基づいて、あおり駆動手段およびフォーカス駆動手段を用いて、あおり制御とフォーカス制御とを行う。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、複数の被写体の合焦位置を高速に検出可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置（制御装置）
１１２ フォーカス評価値算出部（取得手段）
１１４ あおり／フォーカス駆動量算出部（制御手段）
１１５ あおり／フォーカス制御部（制御手段）

Claims (13)

1. 画像における複数の領域のそれぞれのコントラスト評価値を取得する取得手段と、
   前記コントラスト評価値に基づいて前記複数の領域のそれぞれの合焦位置を検出する検出手段と、
   フォーカスレンズの駆動に伴う前記コントラスト評価値の変化に基づいて前記複数の領域のそれぞれの合焦方向を決定する第１の決定手段と、
   前記検出手段が前記複数の領域のうち一つの領域の前記合焦位置を検出した場合、前記複数の領域のうち前記一つの領域を除く他の領域の前記合焦方向が前記一つの領域の前記合焦位置を検出した際の前記一つの領域の合焦方向と同一方向か否かに基づいて、前記フォーカスレンズのフォーカス駆動方向を決定する第２の決定手段と、備え、
   前記第２の決定手段は、
   前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と前記同一方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と同一方向に前記フォーカス駆動方向を決定し、
   前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と逆方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と逆方向に前記フォーカス駆動方向を決定することを特徴とする制御装置。
2. 前記第１の決定手段は、
   前記複数の領域のうち前記合焦位置を検出する対象領域を決定し、
   前記対象領域に対して前記合焦方向を決定することを特徴とする請求項１に記載の制御装置。
3. 前記第１の決定手段は、前記複数の領域のうち前記合焦位置が検出されていない領域を前記対象領域として決定することを特徴とする請求項２に記載の制御装置。
4. 前記取得手段は、位相差方式によって、前記複数の領域のそれぞれの撮像素子から被写体までの距離情報を取得し、
   前記検出手段は、前記距離情報に基づいて前記複数の領域のそれぞれの前記合焦位置を検出することを特徴とする請求項２または３に記載の制御装置。
5. 前記検出手段は、前記距離情報に基づいて前記対象領域の前記合焦位置の検出順を決定することを特徴とする請求項４に記載の制御装置。
6. 前記第１の決定手段は、前記距離情報に基づいて前記合焦方向を決定することを特徴とする請求項４または５に記載の制御装置。
7. 前記第２の決定手段は、前記対象領域のそれぞれの前記合焦方向の全てが前記一つの領域の前記合焦位置を検出した際の前記合焦方向と逆である場合、前記フォーカス駆動方向を反転させることを特徴とする請求項２乃至６のいずれか一項に記載の制御装置。
8. 前記距離情報に基づいて検出された前記合焦位置に基づいて、フォーカス駆動量を算出し、
   前記フォーカス駆動量の最大値が小さい方向からフォーカス制御を開始する制御手段を有することを特徴とする請求項４乃至６のいずれか一項に記載の制御装置。
9. 前記距離情報に基づいて検出された前記合焦位置に基づいてあおり制御とフォーカス制御とを行った後、前記コントラスト評価値に基づいて検出された前記合焦位置に基づいて前記あおり制御と前記フォーカス制御とを同時に行う制御手段を有することを特徴とする請求項４乃至６のいずれか一項に記載の制御装置。
10. 前記合焦位置に基づいて、あおり駆動手段およびフォーカス駆動手段のそれぞれの補正量を算出し、
    前記補正量に基づいて、前記あおり駆動手段および前記フォーカス駆動手段を用いて、あおり制御とフォーカス制御とを行う制御手段を有することを特徴とする請求項１乃至９のいずれか一項に記載の制御装置。
11. 撮像素子と、
    請求項１乃至１０のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
12. 画像における複数の領域のそれぞれのコントラスト評価値を取得する取得ステップと、
    前記コントラスト評価値に基づいて前記複数の領域のそれぞれの合焦位置を検出する検出ステップと、
    フォーカスレンズの駆動に伴う前記コントラスト評価値の変化に基づいて前記複数の領域のそれぞれの合焦方向を決定する第１の決定ステップと、
    前記検出ステップにて前記複数の領域のうち一つの領域の前記合焦位置を検出した場合、前記複数の領域のうち前記一つの領域を除く他の領域の前記合焦方向が前記一つの領域の前記合焦位置を検出した際の前記一つの領域の合焦方向と同一方向か否かに基づいて、前記フォーカスレンズのフォーカス駆動方向を決定する第２の決定ステップにおいて、
    前記第２の決定ステップにおいて、
    前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と前記同一方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と同一方向に前記フォーカス駆動方向を決定し、
    前記他の領域の前記合焦方向が前記一つの領域の前記合焦方向と逆方向である場合、前記一つの領域の前記合焦位置を検出した際の前記フォーカス駆動方向と逆方向に前記フォーカス駆動方向を決定することを特徴とする制御方法。
13. 請求項１２に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。