JP6429454B2 - 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム - Google Patents

Description

本発明は、ズーム機能を有する撮像装置及びその制御方法等に関するものである。

従来から、ズームレンズを駆動して光学的な変倍（光学ズーム）を行う機能、及び、撮影画像の一部を拡大して電子的な変倍（電子ズーム）を行う機能を有する撮像装置が知られている。特に望遠状態で撮影を行う場合に被写体がフレームアウトしやすいことを考慮して、特許文献１には、被写体がフレームアウトした際に迅速に被写体を捉える機能として、フレーミング支援ズーム機能（ＦＡズーム機能）を有する撮像装置が開示されている。特許文献１の構成によれば、ＦＡズーム開始が指示された場合にズーム位置を広角方向にズームアウトさせ、ＦＡズーム機能の終了が指示された場合にＦＡズーム開始時のズーム位置にズームインさせる制御を行う。

また、被写体の検出情報に応じて自動でズーム位置を変更するオートズーム機能を有する撮像装置が知られている。特許文献２では、検出した被写体が撮影範囲内に収まっていないと判断された場合に、被写体を含む撮影範囲をズームアウトさせるオートズーム機能を搭載したカメラの構成が開示されている。

特開２０１２−６０５９５号公報 特開２０１３−９４３５号公報

特許文献１で開示されているＦＡズーム機能では、撮影者の操作に応じてズームアウトとズームインを行っている。ここで、撮影者の利便性を高めるため、ＦＡズーム機能においても被写体の状態に応じて自動でズーム動作を可能にすることが想定される。

しかしながら、特許文献２で開示されている構成では、被写体を検出できない場合にはオートズーム機能を動作させることができないという問題点がある。例えば、被写体の顔情報をもとにオートズームを行う際に、顔が横向きや後ろ向きになって動いている場合には、被写体を検出できずにオートズーム機能を動作させることができない。そのため、被写体を見失った場合には従来通りズームレバー等を操作することで被写体を捉え直す必要があり、シャッタチャンスを逃す可能性がある。

本発明の目的は、被写体を検出して自動的に画角を調整する動作において、被写体が検出されなくなった場合でも、迅速に被写体を画角内に捉え直すことを可能にすることである。

上記目的を達成するために、本発明の一側面は、撮像装置であって、前記撮像装置の動きを検出する動き検出手段と、画像から被写体を検出する被写体検出手段と、ズーム動作を制御する制御手段とを有し、前記制御手段は、前記被写体検出手段により検出された被写体の位置および大きさの少なくとも一方に基づいてズーム動作する第１のモードと、前記撮像装置の動き量が所定量よりも大きい第１の量の場合、広角側へズーム位置を移動する第１のズーム動作を行い、前記第１のズーム動作を実行した後で検出された前記撮像装置の動き量が前記所定量よりも小さい第２の量の場合、望遠側へズーム位置を移動する第２のズーム動作を行う第２のモードとを、前記被写体検出手段による被写体の検出状況に応じて切り替えることを特徴とする。

第２の本発明は、撮像装置の制御方法であって、前記撮像装置の動きを検出するステップと、画像から被写体を検出するステップと、ズーム動作を制御する制御ステップとを有し、前記制御ステップにおいて、前記被写体を検出するステップにより検出された被写体の位置および大きさの少なくとも一方に基づいてズーム動作を制御する第１のモードと、前記撮像装置の動き量が所定量よりも大きい第１の量の場合、広角側へズーム位置を移動する第１のズーム動作が行われ、前記第１のズーム動作を実行した後で検出された前記撮像装置の動き量が前記所定量よりも小さい第２の量の場合、望遠側へズーム位置を移動する第２のズーム動作が行われる第２のモードとを、前記被写体を検出するステップによる被写体の検出状況に応じて切り替えることを特徴とする。

本発明によれば、被写体を検出して自動的に画角を調整する動作において、被写体が検出されなくなった場合でも、迅速に被写体を画角内に捉え直すことが可能になる。

本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。 焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を例示した図である。 被写体探索状態での画角及び撮影準備状態での画角を例示した図である。 被写体（モノ）の画面外へのフレームアウトを防止するための処理を説明する図である。 被写体（人物）の画面外へのフレームアウトを防止するための処理を説明する図である。 被写体（人物）の画面内でのサイズ変化を防止するための処理を説明する図である。 ＦＡズーム機能の処理の流れを説明するフローチャートである。 図７とともに、ＦＡズーム機能の処理の流れを説明するフローチャートである。 図７とともに、ＦＡズーム機能の処理の流れを説明するフローチャートである。 被写体指定処理を説明するフローチャートである。 ＦＡズームアウト動作及びＦＡズームイン動作を説明するフローチャートである。 ズーム停止判定を説明するフローチャートである。 カメラの動き判定処理を説明するフローチャートである。 自動探索モードにおけるズーム戻り位置記憶処理を説明するフローチャートである。 メニュー設定の例を説明する図である。

以下に、本発明の一実施形態を添付図面に基づいて詳細に説明する。なお、本実施形態によって実現される機能は、ユーザによるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能（以下、ＦＡズーム機能と略記する）と呼ぶこととする。

図１は、本実施形態における撮像装置の一例としての、デジタルカメラ１００の構成例を示すブロック図である。デジタルカメラ１００は、ＦＡズーム機能を実行可能に構成されている。

レンズ鏡筒１０１は、その内部にレンズ群を保持している。ズームレンズ１０２は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０３は、光軸方向に移動することでピントを調節する。防振レンズ１０４は、手ぶれに起因する像振れを補正する補正用レンズである。絞り及びシャッタ１０５は、光量を調節可能に構成されており、露出制御に用いられる。なお、本実施形態において、デジタルカメラ１００は、レンズ鏡筒１０１とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。

レンズ鏡筒１０１を通過した光は、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）等を備えて構成される撮像素子１０６により受光される。撮像素子１０６は、光電変換によって被写体像を電気信号に変換することで、撮像信号を生成する。撮像信号は、画像処理回路１０７に入力される。画像処理回路１０７は、入力された撮像信号に対して画素補間処理や色変換処理等の各種処理を行い、画像データ（各種処理後の画像データ）を画像メモリ１０８に出力する。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えて構成される記憶手段である。

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等を備えて構成され、撮影画像（画像データ）を表示する。また表示部１０９は、撮影画像とともに、特定の情報（例えば、撮影情報や後述するＦＡズーム枠等）を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を実現している。

絞りシャッタ駆動部１１０は、画像処理回路１０７での画像処理によって得られた輝度情報に基づいて露出制御値（絞り値及びシャッタ速度）を演算し、この演算結果に基づいて絞り及びシャッタ１０５を駆動する。これにより、ＡＥ（自動露出）制御が行われる。防振レンズ駆動部１１１は、ジャイロセンサ等の角速度センサの情報に基づいてデジタルカメラ１００に加わる振れ量を演算し、この振れ量を打ち消す（低減する）ように防振レンズ１０４を駆動する。

フォーカスレンズ駆動部１１２は、フォーカスレンズ１０３を駆動する。本実施形態において、デジタルカメラ１００は、コントラスト方式でＡＦ（オートフォーカス）制御を行う。このためフォーカスレンズ駆動部１１２は、画像処理回路１０７の画像処理により得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体にピントが合うようにフォーカスレンズ１０３を駆動する。ただし、本実施形態はこれに限定されるものではなく、位相差ＡＦ方式等のコントラスト方式以外のＡＦ制御や、コントラスト方式と他の方式との組み合わせ等複数の方式を用いたＡＦ制御を行うように構成してもよい。

ズームレンズ駆動部１１３は、ズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１７は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備えて構成される。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部１１４によりズーム駆動速度や駆動方向が演算され、その演算結果に従ってズームレンズ１０２が光軸に沿って移動される。

撮影動作によって生成された画像データは、インターフェース部（以下Ｉ／Ｆ部と呼ぶ）１１５を介して記録部１１６に送られて記録される。画像データは、デジタルカメラ１００に装着して使用されるメモリカード等の外部記録媒体またはデジタルカメラ１００に内蔵されている不揮発性のメモリ１１８、あるいはそれらの両方に記録される。

操作部１１７は、前記ズーム操作部材に加えて、撮影開始を指示するレリーズスイッチ、ＦＡズーム機能の開始や終了を指示するＦＡズーム操作スイッチ等を含む。操作部１１７からの信号は、後述のシステム制御部１１４に送られる。メモリ１１８は、プログラムデータや画像データの他に、デジタルカメラ１００の設定情報や、後述するＦＡズーム機能におけるズームイン位置等の情報を記憶する。ここで、ズームイン位置とは、ＦＡズームの終了時にズームインする際の目標となるズーム戻り位置であり、その詳細については後述する。

システム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を備えて構成され、撮影者の操作に応じて各部に制御命令を送ることによりデジタルカメラ１００全体を制御する。システム制御部１１４は、メモリ１１８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（ＦＡズーム処理を含む）等を行うためのプログラムを実行する。

次に、システム制御部１１４において、ＦＡズーム機能に関連する制御について説明する。図１に示されるように、システム制御部１１４は、ＣＺ制御部１１９、電子ズーム制御部１２０、ＦＡズーム枠制御部１２１、ＦＡズーム制御部１２２、および、被写体検出部１２３を備えて構成される。

光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒１０１のようなリアフォーカスタイプのレンズ鏡筒の場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。図２は、ズームレンズの焦点距離と被写体距離ごとのフォーカス位置との関係図である。図２では、ズームレンズの焦点距離とピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータデーブルとしてグラフ化している。本実施形態において、このテーブルはフォーカスカムテーブルと称する。図２において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示している。各グラフ線の横には、デジタルカメラ１００から被写体までの距離（被写体距離）を示している。

システム制御部１１４は、ＡＦ制御を行う際にフォーカスレンズ駆動部１１２を制御して、フォーカスレンズ１０３を所定の範囲において移動させることによりスキャン動作を行う。この動作中に得られるコントラスト評価値等を用いて、既知の方法により合焦点であるフォーカス位置が検出される。そのときのズーム位置およびフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。

デジタルカメラ１００は、光学ズーム機能及び電子ズーム機能を有する。ＣＺ制御部１１９及びズームレンズ駆動部１１３は、光学ズームを行う。ＣＺ制御部１１９は、ズーム動作時に、所定の制御周期ごとにズームレンズ１０２のズーム位置を検出する。そしてＣＺ制御部１１９は、そのズーム位置に応じたＡＦ制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ１０３を駆動させる。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。

一方、電子ズーム制御部１２０及び画像メモリ１０８は、電子ズームを行う。電子ズーム制御部１２０は、画像メモリ１０８に転送された画像データから対象領域を切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部１２０は、撮像素子１０６に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部１０９に表示させることにより、滑らかな電子ズーム表示を実現する。

被写体検出部１２３は、画像メモリ１０８に記憶された画像データから所望の被写体領域を検出する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体（顔または物体）を検出する被写体検出方法（顔検出処理、色検出処理）について説明する。

顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２３は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部１２３は、両者の相関が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返すことにより、画像データ中に存在する種々の顔領域を検出することができる。

色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する。色検出処理は、検出対象の被写体が物体（人物以外の「モノ」）である場合に実行される。色情報としては、画像処理回路１０７からの出力信号であるＲＧＢや輝度Ｙ及び色差Ｒ−Ｙ、Ｂ−Ｙ等が用いられる。被写体検出時において、被写体検出部１２３は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部１２３は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この領域候補で隣り合う部分領域の塊を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。

被写体検出部１２３は、顔情報及び色情報とともに、ＣＺ制御部１１９で計測された被写体距離情報及びズームレンズ１０２の焦点距離情報を用いることにより、画像データ上での被写体領域の大きさを推定することができる。

姿勢検出部１２４は、加速度センサの情報に基づいて、デジタルカメラ１００の姿勢（正位置／グリップ上／グリップ下）を検出する。揺れ検出部１２５は、ジャイロセンサ（角速度検出手段）等の情報に基づいて、デジタルカメラ１００の振れ状態を検出する。揺れ検出部１２５は、ジャイロセンサ等に加わる振れ量に応じて、カメラがパンニングされたかどうかを検出する。姿勢検出及び揺れ検出に用いる加速度センサ及びジャイロセンサは、防振レンズ駆動部１１１の制御情報として用いるセンサと兼用する構成でもよい。また、姿勢検出に用いる加速度センサを用いて、振れ量を検出してもよい。この場合、複数の軸の加速度から便宜的に角速度を算出する必要がある。

次に、ＦＡズーム機能の概要と、ＦＡズーム枠制御部１２１及びＦＡズーム制御部１２２について説明する。本実施形態のデジタルカメラ１００は、ＦＡズームを実行するモードとして、手動探索モード、自動追尾モードおよび自動探索モードの三つのモードを備えている。ここで、手動探索モードは、被写体がフレームアウトしたときに撮影者がＦＡズーム操作スイッチを操作して被写体を捉え直すモードである。自動追尾モードは、カメラが自動で被写体を検出して画角合わせを支援するモードである。自動探索モードは、カメラの動きを検出して自動で被写体を捉え直すモードである。以下、各モードの機能の概要について説明する。

ＦＡズーム機能が非搭載のカメラでは、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等において、撮影者は以下の操作が必要であった。すなわち、まず、ズーム操作部材の操作によりズームアウトを行ってから被写体を探索する。そして被写体を探索した後、再び所望の画角になるまでズーム操作を行って画角調整する。

一方、ＦＡズーム機能の手動探索モードを有するデジタルカメラ１００では、撮影前に画角合わせ等を行う状態（以下、撮影準備状態という）で被写体を見失ってしまった場合、撮影者はＦＡズーム操作スイッチを操作すればよい。このＦＡズーム操作スイッチは、ＦＡズーム機能のために割り当てられたスイッチであり、ズーム操作部材とは別の部材である。ＦＡズーム操作スイッチの押下により、ＦＡズーム機能の開始をカメラに指示する。ＦＡズーム制御部１２２は、ＦＡズーム操作スイッチからのＦＡズーム開始指示により、電子ズーム及び光学ズームの各ズーム位置をメモリ１１８に記憶させる。またＦＡズーム制御部１２２は、後述の処理手順に従って、ＣＺ制御部１１９または電子ズーム制御部１２０に対して広角方向にズームアウトの指示を行い、撮影準備状態よりも画角がズームアウトされた状態（以下、被写体探索状態という）にする。

続いて、図３を参照して、撮影準備状態および被写体探索状態のそれぞれの画角について説明する。図３（Ａ）及び図３（Ｄ）はズームイン状態（撮影準備状態）での画角を示し、図３（Ｂ）及び図３（Ｃ）はズームアウト状態（被写体探索状態）での画角を示している。

図３（Ａ）に示されるように被写体がフレームアウトした（しそうな）場合、上述の手動探索モードにおいて、撮影者は被写体を探索するためにＦＡズーム操作スイッチを押下する。ＦＡズーム操作スイッチの押下中、ズームアウト状態が保持されるとともに、ズームイン位置を示すＦＡズーム枠３００が画像に重畳して表示部１０９に表示される。

図３（Ｂ）に示されるようにズームアウト状態（被写体探索状態）で所望の被写体を発見した場合、図３（Ｃ）に示されるようにＦＡズーム枠３００の内側に被写体が収まるように撮影者がフレーミングを行う。その後、撮影者がＦＡズーム操作スイッチを開放することにより、ＦＡズーム終了がＦＡズーム制御部１２２に指示される。このとき、ＦＡズーム制御部１２２は、記憶された撮影準備状態のズーム位置（ズームイン位置）まで電子ズームまたは光学ズームによるズームイン動作を行う。これにより、図３（Ｄ）に示されるような最適なフレーミング状態が得られる。

ＦＡズーム枠制御部１２１は、図３（Ｂ）及び図３（Ｃ）に示されるように、記憶された撮影準備状態での画角を示す大きさを算出し、表示部１０９のＥＶＦの中心部にＦＡズーム枠３００を表示させる。ＦＡズーム枠３００の大きさは、ズームアウトした時点でのズーム倍率をもとに計算される。例えば、撮影準備状態から２倍の電子ズーム倍率および３倍の光学ズーム倍率でズームアウトして被写体探索状態となった場合、被写体探索状態でＥＶＦに表示される画角に対して、（１／２）×（１／３）＝１／６倍の大きさのＦＡズーム枠が表示される。このように、手動探索モードを用いることで、撮影者は簡単な操作で、フレームアウトした被写体を再度フレームインさせながら所望の画角で撮影することができる。

また、動いている被写体を撮影する場合など被写体がフレームアウトしやすいシーンを撮影する場合、カメラが自動的にズーム位置を変更するモードにより、より簡単にフレームアウトを防止したり、フレームアウトした被写体を捉え直すことができる。ここで、本実施形態でカメラが自動的にズーム位置を変更するモードは、自動追尾モードや自動探索モードである。特に望遠状態での撮影においては、画角が狭いため、手ぶれ等に起因する微少なカメラの動きでも被写体がフレームアウトする場合がある。

本実施形態のデジタルカメラ１００は、ＦＡズーム機能の自動追尾モードを有する。自動追尾モードを使用する場合は、自動追尾モードを設定した後、タッチパネル等で被写体を指定する操作を実施することにより、撮影したい被写体を指定しておけばよい。被写体の指定方法としては、タッチパネル操作以外でも、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動的に主被写体を選択する方法などが考えられる。

被写体検出部１２３は、画像メモリ１０８から指定された被写体領域の画像データ上での位置や大きさを算出する。これをライブビューとして表示する毎サンプリングの画像データに対して連続的に行うことにより、被写体の動きを追尾することが可能となる。追尾している被写体を後述するズームアウト領域で検出した場合や、被写体が所定の大きさよりも大きくなった場合、ＣＺ制御部１１９または電子ズーム制御部１２０に対してＦＡズーム制御部１２２が広角方向にズームアウトの指示を行う。被写体をＦＡズーム枠３００のズームイン領域内に検出し、かつ、被写体が所定の大きさの範囲内に収まった場合、ＦＡズーム枠３００が示す望遠側のズーム位置までズームイン動作を行う。

このような処理により、自動追尾モードでは、撮影者はズーム操作を気にせず被写体を画面に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム位置が変更されるため、より簡単に画角合わせを行うことが可能となる。

さらに、本実施形態のデジタルカメラ１００は、ＦＡズーム機能の自動探索モードを有する。自動探索モードは、自動追尾モード中に被写体が検出できなくなった場合に実行されるモードである。自動探索モードでは、揺れ検出部１２５によってカメラの動きを検出し、カメラが大きく動かされた場合には、ＣＺ制御部１１９または電子ズーム制御部１２０に対してＦＡズーム制御部１２２が広角方向にズームアウトの指示を行う。その後、カメラの動きが静止した場合、ＦＡズーム制御部１２２は望遠方向にズームイン動作を行う。

このような処理により、自動探索モードでは、撮影者は被写体がフレームアウトしてしまった場合に、ズーム操作することなくカメラを大きく動かすだけでよい。被写体がフレームアウトした場合でも、自動的にズーム位置が変更されるため、簡単に被写体を捉え直すことができ、さらに被写体を捉え直した後にはすぐに元の画角に戻すことが可能となる。また、自動追尾モードと自動探索モードとを適切なタイミングで実施することにより、撮影者が容易にフレーミングすることが可能となる。

次に、図４乃至図６を参照して、自動追尾モードにおけるズームアウト動作やズームイン動作の開始条件について説明する。図４は、被写体（モノ）の画面外へのフレームアウトを防止する処理の説明図である。図５は、被写体（人物）の画面外へのフレームアウトを防止する処理の説明図である。

図４および図５において、４００は被写体（人物以外のモノ）を追尾するモノ追尾枠、５００は被写体（人物の顔）を追尾する顔追尾枠である。本実施形態において、被写体が人物とモノのいずれにも適用可能な場合、モノ追尾枠４００および顔追尾枠５００をまとめて被写体追尾枠ということもある。被写体追尾枠は、撮影者が指定した被写体が分かるように、表示部１０９のＥＶＦ上に被写体を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、顔情報及び色情報に基づいて被写体検出部１２３により算出され、フレームレート周期で更新される。

図４は、被写体（飛行機）の画面外へのフレームアウトを防止する処理の説明図であり、図４（Ａ）はＥＶＦで表示される画角全体（画面全体）に対して所定の比率よりも外側の領域をズームアウト領域ＺＯとして示している。例えば、画面の中心点を０％、画面全体を１００％とし、画面全体に対して８０％となる位置をズームアウト領域ＺＯの境界として設定する場合、画面全体における８０〜１００％の領域がズームアウト領域ＺＯとなる。画像内のズームアウト領域ＺＯにモノ追尾枠４００ａの一部が進入すると、ズームアウト動作を開始する。また、ズーム移動前のズーム位置（ズームイン画角に相当）をメモリ１１８に記憶する。ズームアウト動作中のズーム倍率やズーム速度は、被写体のサイズや移動速度に応じて予め設定される。また、ズーム倍率やズーム速度を被写体のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。

図４（Ｂ）は、図４（Ａ）の画角から所定のズーム駆動量分ズームアウトした画角を示している。図４（Ｂ）において、被写体探索状態においてＦＡズーム枠３００で示されるズームイン画角に対して所定の比率よりも内側の領域をズームイン領域ＺＩとして示している。例えば、画面の中心点を０％、ＦＡズーム枠３００（ズームイン画角）を１００％とし、ズームイン画角に対して７０％となる位置をズームイン領域ＺＩの境界として設定する場合、ＦＡズーム枠３００の全体における０〜７０％の領域がズームイン領域ＺＩとなる。このとき、ズームアウト倍率が例えば１／２倍である場合、ＦＡズーム枠３００は画面全体に対して５０％の大きさとなる。したがって、ズームイン領域ＺＩは、画面全体に対して０〜３５％（＝７０％×（１／２））の領域であるとも言える。撮影者が、ズームイン領域ＺＩの内部にモノ追尾枠４００ｂが収まるようにカメラの向きを変更すると、ズームイン動作が開始する。

図５は、被写体（人物）の画面外へのフレームアウトを防止する処理の説明図である。被写体が人物である場合にも、顔追尾枠５００の一部がズームアウト領域ＺＯに進入するとズームアウト動作を開始し、顔追尾枠５００がズームイン領域ＺＩの内部に収まるとズームイン動作を行う。被写体が人物である場合とモノである場合との違いは、被写体が人物である場合には移動する方向がある程度予測できるため、予測される移動方向の領域にのみズームアウト領域ＺＯ及びズームイン領域ＺＩを設定することである。

また、手持ちで撮影している場合には、手ぶれ等の影響によって被写体がフレームアウトしてしまう恐れがある。しかしながら、手ぶれによってフレームアウトした場合には、撮影者が被写体をフレームインさせようとする動作によってフレームインし直すことが可能である。ここで、画面の上部にズームアウト領域ＺＯを設定した場合、人物を中央付近に配置して撮影するときにもズームアウト領域ＺＯに顔追尾枠５００が進入してしまい、意図せずズームアウトする場合がある。そこで、被写体が人物であり、かつ手持ち状態である場合には、撮影者のフレーミング操作を考慮して、画面の上部にはズームアウト領域ＺＯを設定しない。

このように、本実施形態では、被写体検出部１２３で顔が検出された場合、姿勢検出部１２４により検出されたカメラの姿勢や揺れ検出部１２５による検出結果に応じて、ズームアウト領域ＺＯ及びズームイン領域ＺＩの領域を動的に変更する。ここでの揺れ検出部１２５による検出結果とは、手持ち状態か否かの検出である。

図５（Ａ）は、手持ちでカメラを正位置に構えたときに設定されるズームアウト領域ＺＯ及びズームイン領域ＺＩを示している。このような撮影シーンで、被写体が水平方向に移動してフレームアウトする場合、画面内での被写体の位置は正位置の画面に対して水平方向（長手方向）に移動する。そこで、図５（Ａ）に示すように、正位置の画面に対して垂直方向（短手方向）の縦帯状にズームアウト領域ＺＯ及びズームイン領域ＺＩを配置する。そして、顔追尾枠５００ａがズームアウト領域ＺＯ内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、顔追尾枠５００ｂがズームイン領域ＺＩ内に包含されると、ズームイン開始を判定し、ズーム戻り位置５０１まで所定ズーム倍率分のズームインを行う。このようにズームアウト領域ＺＯ及びズームイン領域ＺＩを設定することで、フレームアウトを効果的に防止することができる。

図５（Ｂ）は、同様の撮影シーンに置いて、グリップ下もしくはグリップ上の縦位置状態にカメラを構えたときに設定されるズームアウト領域ＺＯ及びズームイン領域ＺＩを示している。この場合、縦位置の画面に対して垂直方向（長手方向）の縦帯状にズームアウト領域ＺＯ及びズームイン領域ＺＩを配置する。そして、顔追尾枠５００ｃがズームアウト領域ＺＯ内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、顔追尾枠５００ｄがズームイン領域ＺＩ内に包含されると、ズームイン開始を判定し、ズーム戻り位置５０２まで所定ズーム倍率分のズームインを行う。このようにズームアウト領域ＺＯ及びズームイン領域ＺＩを設定することで、水平方向への被写体の動きを検出し、フレームアウトを効果的に防止することができる。

図５（Ｃ）は、揺れ検出部１２５での検出状態が固定状態のときに設定されるズームアウト領域ＺＯ及びズームイン領域ＺＩを示している。三脚等によって固定されているときには、手ぶれによるフレームアウトの恐れがない。さらに、画面の中央付近に被写体がフレームインしていないときにズームインすると、その動作によってフレームアウトしてしまう恐れがある。したがって、画面周辺部全体にズームアウト領域ＺＯを、ズームイン画角よりも内側にズームイン領域ＺＩを設定する。そして、顔追尾枠５００ｅがズームアウト領域ＺＯ内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、顔追尾枠５００ｆがズームイン領域ＺＩ内に包含されると、ズームイン開始を判定し、ズーム戻り位置５０３まで所定ズーム倍率分のズームインを行う。

このように、カメラの姿勢や撮影状態（手持ち状態／固定状態）の変化に応じてズームアウト領域ＺＯ及びズームイン領域ＺＩの領域を動的に変更することにより、手ぶれ等による誤作動を防止しながら、被写体のフレームアウトを効果的に防ぐことができる。なお、カメラの姿勢と撮影状態（手持ち状態／固定状態）のいずれか一方に応じてズームアウト領域ＺＯ又はズームイン領域ＺＩの領域を変更するようにしてもよい。また、ズームアウト領域ＺＯとズームイン領域ＺＩの領域のいずれか一方のみを変更するようにしてもよい。

図６（Ａ）〜（Ｃ）は、被写体である人物がカメラに近づいてきた場合に、カメラが自動的に被写体が画面に占める割合を所定の比率内に収めるようにズーム動作させる例を示している。顔追尾枠５００は、被写体である人物の特徴領域として顔領域を囲むように表示している。したがって、ここでは顔追尾枠５００の大きさ＝被写体サイズとして説明する。

図６（Ａ）は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠６００ａの大きさは、基準の被写体サイズ（基準サイズ）としてメモリ１１８に記憶される。

図６（Ｂ）は、図６（Ａ）の状態からズーム位置を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体サイズである顔追尾枠６００ａの大きさに対して１５０％となる大きさをズームアウト動作の開始サイズとする。被写体追尾枠（顔追尾枠）の関係が、顔追尾枠６００ｂ＞顔追尾枠６００ａ×１５０％となったとき、ＦＡズーム制御部１２２は、ズームアウト動作の開始を判定する。

図６（Ｃ）は、図６（Ｂ）の画角６０１から所定ズーム倍率分ズームアウトした画角と、顔追尾枠６００ｃを示している。ここでは、ズームアウト動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化率（１５０％）を考慮して、所定ズーム倍率を１／１．５倍としている。この後、さらに被写体が近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体を所定の比率内に収め続けることができる。そのため、撮影者は、レリーズスイッチの操作だけに集中することが可能である。

一方、図６（Ｄ）〜（Ｆ）は、被写体である人物がカメラから遠ざかる場合に、カメラが自動的に被写体が画面に占める割合を所定の比率内に収めるようにズーム動作させる例を示している。

図６（Ｄ）は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠６００ｄの大きさは、基準の被写体サイズとしてメモリ１１８に記憶される。

図６（Ｅ）は、図６（Ｄ）の状態からズーム位置を変更しない状態で、被写体がカメラから遠ざかったときの画角を示している。例えば、基準の被写体サイズである顔追尾枠６００ｄの大きさに対して５０％となる大きさをズームイン動作の開始サイズとする。被写体追尾枠（顔追尾枠）の関係が、顔追尾枠６００ｅ＜顔追尾枠６００ｄ×５０％となり、かつ、顔追尾枠６００ｅがズームイン領域ＺＩ内に包含されると判定したとき、ＦＡズーム制御部１２２はズームイン動作の開始を判定する。ここで、図６（Ｅ）の画角に対して所定のズーム倍率分ズームインした画角６０２より内側に、ズームイン領域ＺＩが設定される。

図６（Ｆ）は、図６（Ｅ）の画角から所定ズーム倍率分ズームインした画角（画角６０２に対応）と、顔追尾枠６００ｆを示している。ここでは、ズームイン動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化率（５０％）を考慮して、所定ズーム倍率を１／０．５倍としている。

図４及び図５では、被写体がモノまたは人物である場合にフレームアウトを防止する処理について説明した。また、図６では、被写体が人物である場合に被写体の大きさを所定の比率に収める処理について説明した。なお、追尾する被写体がモノの場合においても、被写体が人物の場合と同様に図６で示した被写体サイズ保持制御のためのズーム動作開始判定を行ってもよい。

次に図７乃至図１４を用いて、ＦＡズーム機能の処理について説明する。図７乃至図９は、ＦＡズーム機能の全体の処理を示すフローチャートである。図７乃至図９のＦＡズーム機能は、特に記載がない限りＦＡズーム制御部１２２の指令に基づいて行われるものとする。

まずステップＳ１００において、ＦＡズーム制御部１２２は、操作部１１７のＦＡズーム操作スイッチが押下されたか否かを判定する。ＦＡズーム操作スイッチが押下されると、ステップＳ１０１に進み、ＦＡズーム制御部１２２は、ＦＡズーム操作スイッチの押下時間を測定する。

ステップＳ１０１において、ＦＡズーム制御部１２２は、ＦＡズーム操作スイッチの押下された後、ＦＡズーム操作スイッチが所定の時間内に開放されたか否かを判定する。すなわちＦＡズーム制御部１２２は、ＦＡズーム操作スイッチの長押しまたは短押しの判定を行い、押下時間によって実行するモードを変更する。ＦＡズーム操作スイッチの長押し時には、図８のステップＳ１２０に進み、ＦＡズーム制御部１２２は手動探索モードを選択し、選択されたモードをメモリ１１８に記憶する。一方、ＦＡズーム操作スイッチの短押し時には、ステップＳ１０２に進み、ＦＡズーム制御部１２２は自動追尾モード（第１のモード）を選択し、選択されたモードをメモリ１１８に記憶する。

ステップＳ１２０で手動探索モードが記憶された場合、ステップＳ１２１において、ＦＡズーム制御部１２２は、図１１（Ａ）で後述するＦＡズームアウト動作を行う。ＦＡズームアウト動作が終了すると、ステップＳ１２２に進む。

ステップＳ１２２において、ＦＡズーム制御部１２２は、ＦＡズーム操作スイッチが長押し状態から開放されたか否かを判定する。ＦＡズーム操作スイッチが開放された場合、ＦＡズームの終了が判定される。すなわちＦＡズーム制御部１２２は、手動探索モードにおいて、操作部１１７を押下（操作）している間、フレーミング支援ズームを継続する。そして操作部１１７の押下が終了した場合、ステップＳ１２３に進む。ステップＳ１２３において、ＦＡズーム制御部１２２は、記憶した光学ズーム位置および電子ズーム位置（ズームイン位置）まで駆動を行うようにＣＺ制御部１１９または電子ズーム制御部１２０に指令して、図１１（Ｂ）で後述するＦＡズームイン動作を行う。これにより、手動探索モードによるＦＡズーム機能は終了する。

一方、自動追尾モードが選択された場合には、ステップＳ１０２で自動追尾モードをメモリ１１８に記憶した後、ステップＳ１０３において被写体指定処理を行う。

ここで、図１０を参照して、ステップＳ１０３の被写体指定処理について説明する。図１０（Ａ）は、操作部１１７を構成する部材であるタッチパネルを用いて表示部１０９に表示された被写体をタッチして指定する操作例のフローチャートを示している。ステップＳ２００において、ＦＡズーム制御部１２２は、タッチパネルが押下されたか否かを判定する。タッチパネルが押下された場合、ステップＳ２０１に進み、ＦＡズーム制御部１２２は、タッチされた位置（タッチ位置）の情報を取得する。

続いてステップＳ２０２において、ＦＡズーム制御部１２２は、タッチ位置を被写体検出部１２３に通知し、被写体検出部１２３はタッチ位置付近で顔検出を行う。タッチ位置付近に顔を検出した場合、主被写体は人物であると判定し、ステップＳ２０３０に進む。ステップＳ２０３０において、ＦＡズーム制御部１２２は、自動追尾の対象である人物の顔情報をメモリ１１８に記憶する。具体的な顔情報としては、被写体指定時の顔のサイズや顔の検出位置、顔の向きなどがある。また、顔認証機能を有するカメラにおいては、認証ＩＤなども記憶する。

一方、ステップＳ２０２にてタッチ位置付近に顔を検出しなかった場合、主被写体は人物以外のモノであると判定し、ステップＳ２０４０に進む。ステップＳ２０４０において、ＦＡズーム制御部１２２は、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。具体的な色情報としては、被写体指定時の特徴色の色や輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置などがある。顔情報および色情報を、以下の説明ではまとめて被写体情報（被写体サイズ、被写体検出位置など）という。

ステップＳ２０３０またはＳ２０４０にて被写体情報が記憶されると、ステップＳ２０５０に進む。ステップＳ２０５０において、ＦＡズーム制御部１２２は、被写体検出位置を中心に被写体サイズに対応した大きさの被写体追尾枠（モノ追尾枠４００または顔追尾枠５００）を表示部１０９に表示する。これにより、被写体指定処理は終了する。

このようにシステム制御部１１４（被写体検出部１２３）は、モードが自動追尾モードである場合、表示部１０９において撮影者により指定された位置または指定された位置の近傍で被写体を検出する。そしてシステム制御部１１４（ＦＡズーム制御部１２２）は被写体追尾枠を表示部１０９に表示する。図１０（Ａ）のフローチャートによれば、撮影者が追尾したい被写体を直感的な指定方法で簡単に指定することが可能となる。

図１０（Ｂ）は、操作部１１７を構成する部材であるＦＡズーム操作スイッチとは別のスイッチ（被写体指定用スイッチ）によって被写体を指定する操作例のフローチャートを示している。まずステップＳ２０６において、ＦＡズーム制御部１２２は、表示部１０９の画面中央付近に被写体指定の目安となる枠を表示する。撮影者は、この枠を目安として追尾したい被写体を中央付近に収めるようにカメラの向きを調整する。続いてステップＳ２０７において、ＦＡズーム制御部１２２は、被写体指定用スイッチが押下されたか否かを判定する。被写体指定用スイッチが押下された場合、ステップＳ２０８に進む。

ステップＳ２０８において、被写体検出部１２３は、画面中央付近で顔検出を行う。画面中央付近に顔を検出した場合、主被写体は人物であると判定し、ステップＳ２０３１に進む。一方、画面中央付近に顔を検出しなかった場合、主被写体は人物以外のモノであると判定し、ステップＳ２０４１に進む。ステップＳ２０３１またはＳ２０４１にて被写体情報を記憶すると、ステップＳ２０５１に進む。ステップＳ２０５１において、被写体追尾枠（モノ追尾枠４００または顔追尾枠５００）が表示され、被写体指定処理は終了となる。図１０（Ｂ）のステップＳ２０３１、Ｓ２４１、Ｓ２０５１の基本的な処理は、図１０（Ａ）のステップＳ２０３０、Ｓ２０４０、Ｓ２０５０とそれぞれ同様である。

このようにシステム制御部１１４（被写体検出部１２３）は、モードが自動追尾モードである場合、表示部１０９の画面中央位置または画面中央位置の近傍で被写体を検出する。そしてシステム制御部１１４（ＦＡズーム制御部１２２）は、被写体の位置を示す被写体追尾枠を表示部１０９に表示する。図１０（Ｂ）のフローチャートによれば、タッチパネルなどの操作部材を搭載しないカメラにおいても、被写体を簡単に指定することが可能となる。

図１０（Ｃ）は、操作部１１７を構成する部材であるＦＡズーム操作スイッチが短押しされた時点で検出された顔の中から追尾する被写体を自動的に選択する例のフローチャートを示している。まずステップＳ２０９において、被写体検出部１２３は、画面全体で顔検出を行う。画面全体で一人でも顔を検出した場合には、主被写体は人物であると判定し、ステップＳ２１０に進む。ステップＳ２１０において、被写体検出部１２３は、検出した顔が一人の場合、その顔を主顔とする。被写体検出部１２３は、検出した顔が複数の場合、その顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準としては、例えば、顔検出位置がより画面中央付近に位置する顔を選択する方法がある。また、同程度の位置に複数の顔がある場合、サイズのより大きい顔を主顔として選択する方法がある。また、顔認証機能を有するカメラにおいては、認証登録されている顔がある場合、その顔を優先して主顔とする方法がある。そしてステップＳ２０３２において、ＦＡズーム制御部１２２は、選択された主顔の顔情報をメモリ１１８に記憶する。ステップＳ２０３２にて顔情報を記憶すると、ステップＳ２０５２に進み、ＦＡズーム制御部１２２は、顔追尾枠５００を表示する。

続いてステップＳ２１１において、複数の顔が検出された場合に自動で選択された主顔が撮影者の意図しない顔である場合、撮影者が主顔を変更することが可能である。このとき、操作部１１７のスイッチ（ＦＡズーム操作スイッチでも他のスイッチでもよい）を押下すると、顔追尾枠５００が検出された顔の中から主顔として選択されなかった顔に主顔を変更する。主顔が変更された場合、再度、ステップＳ２０３２に進み、ＦＡズーム制御部１２２は、記憶する顔情報を更新する。また、ステップＳ２０５２にて顔追尾枠５００を新たに選択された主顔のサイズおよび検出位置に変更する。

一方、ステップＳ２０９にて画面全体で顔が検出されない場合、主被写体は人物以外のモノであると判定し、ステップＳ２０４２に進む。ステップＳ２０４２において、ＦＡズーム制御部１２２は、画面中央付近の特徴色を自動追尾対象の色情報として、メモリ１１８に記憶する。ステップＳ２０４２にてモノ情報を記憶すると、ステップＳ２０５３に進み、モノ追尾枠４００を表示する。これにより、被写体指定処理は終了する。図１０（Ｃ）のステップＳ２０３２、Ｓ２０４２、Ｓ２０５２（Ｓ２０５３）における基本的な処理は、図１０（Ａ）のステップＳ２０３０、Ｓ２０４０、Ｓ２０５０とそれぞれ同様である。

このようにシステム制御部１１４（被写体検出部１２３）は、モードが自動追尾モードである場合、表示部１０９の画面全体において顔検出を行う。システム制御部１１４（ＦＡズーム制御部１２２）は、複数の顔が検出された場合、複数の顔の中から被写体として第１の顔の位置を示す被写体追尾枠を表示部１０９に表示する。またシステム制御部１１４（ＦＡズーム制御部１２２）は、被写体として第１の顔が第２の顔に変更された場合、第２の顔の位置を示す被写体追尾枠を表示部１０９に表示する。図１０（Ｃ）のフローチャートによれば、より少ない操作回数で被写体を簡単に指定することが可能となる。

図１０に示される被写体指定処理を終了すると、図７のステップＳ１０４に進む。ステップＳ１０４からの処理において、ＦＡズーム制御部１２２は、被写体指定時の基準被写体情報および周期的に検出する被写体情報に基づいて、ＦＡズーム動作を開始するか否かを判定する。この判定は、ＦＡズーム開始の条件を満たすまで所定の制御周期で繰り返される。

ステップＳ１０４において、被写体検出部１２３は、画面全体の中から基準被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔が、モノである場合には同一の特徴色が検出されるか否かを判定する。追尾する被写体が検出されなかった場合、図９のステップＳ１２４に進む。一方、追尾する被写体が検出された場合、ステップＳ１０５に進む。なお、ステップＳ１０４の判定方法として、被写体検出部１２３により被写体が検出されない状態で所定時間が経過した場合や、検出されない回数が所定値に達した場合にステップＳ１２４に進んでもよい。

ステップＳ１０５、Ｓ１１２、Ｓ１１３の判定は、被写体がフレームアウトすることを防止するための（フレームアウト防止制御の）ＦＡズームの開始判定である。ステップＳ１０５において、ＦＡズーム制御部１２２は、追尾する被写体の被写体追尾枠が上述したズームアウト領域ＺＯに進入したか否かを判定する。ステップＳ１０５にて追尾枠がズームアウト領域ＺＯに進入した場合、すなわち、被写体がフレームアウトする可能性が大きい場合、ステップＳ１０６に進み、後述するＦＡズームアウト動作を開始する。ここでのＦＡズームアウト動作は、フレームアウト防止制御のズームアウト動作に相当する。

一方、ステップＳ１０５にて被写体追尾枠がズームアウト領域ＺＯに進入していない場合、すなわち、画面中央付近で被写体を捉えられている場合、ステップＳ１１２に進む。ステップＳ１１２では、直前のズーム動作がステップＳ１０５でズームアウト領域ＺＯに進入したことによるズームアウト動作、すなわち、フレームアウト防止制御のズームアウト動作であるか否かを判定する。フレームアウト防止制御のズームアウト動作後である場合には、ステップＳ１１３に進む。

ステップＳ１１３において、ＦＡズーム制御部１２２は、追尾する被写体の被写体追尾枠がズームイン領域ＺＩの内部に収まっている（包含されている）か否かを判定する。ここでのズームイン領域ＺＩは、図４（Ｂ）、図５（Ａ）〜（Ｃ）で説明したズームイン領域ＺＩに相当する。ステップＳ１１３にて追尾枠（被写体）がズームイン領域ＺＩに収まっていない場合、ステップＳ１０７に進む。一方、追尾枠がズームイン領域ＺＩに収まっている場合、すなわち、画面中央付近でかつズーム戻り位置の画角内の被写体サイズとなるように被写体を捉えられている場合、ステップＳ１１４に進み、後述するＦＡズームイン動作を開始する。ここでのＦＡズームイン動作は、フレームアウト防止制御のズームイン動作に相当する。

本実施形態では、自動追尾モードにおけるフレームアウト防止制御とサイズ保持制御を両立させために、まずフレームアウト防止制御により被写体を画面中央付近に捉えたうえで、サイズ保持制御を実行可能にしている。そのため、フレームアウト防止制御のズームアウト動作後の状態では、以降で説明する被写体サイズを一定に維持する（サイズ保持制御の）ＦＡズーム処理（ステップＳ１１５〜Ｓ１１９）を行わないようにしている。換言すると、フレームアウト防止制御を行った場合は、フレームアウト防止制御のズームイン動作が完了するまでサイズ保持制御が制限される。

ステップＳ１１２でフレームアウト防止制御のズームアウト動作後でないと判断された場合、ステップＳ１１５に進む。ステップＳ１１５において、ＦＡズーム制御部１２２は、基準被写体情報の被写体サイズとステップＳ１０４にて検出された被写体サイズとの比較を行う。ステップＳ１０４にて検出された被写体のサイズが基準被写体のサイズに対して所定のＮ１倍より大きい場合（Ｎ１＞１）、すなわち被写体が画面に占める比率が所定値を超える場合、ステップＳ１１６に進み、後述するＦＡズームアウト動作を開始する。ここでのＦＡズームアウト動作は、サイズ保持制御のズームアウト動作に相当する。

一方、ステップＳ１１５において、ステップＳ１０４にて検出された被写体のサイズが基準被写体のサイズに対してＮ１倍以下である場合、ステップＳ１１７に進む。ステップＳ１１７において、ＦＡズーム制御部１２２は、基準被写体情報の被写体サイズとステップＳ１０４にて検出された被写体のサイズとの比較を行う。検出された被写体のサイズが基準被写体のサイズに対して所定のＮ２倍未満である場合（Ｎ２＜１）、すなわち被写体が画面に占める比率が所定値未満である場合、ステップＳ１１８に進む。一方、検出された被写体のサイズが基準被写体のサイズに対してＮ２倍以上である場合、ステップＳ１０７に進む。

ステップＳ１１８において、ＦＡズーム制御部１２２は、追尾する被写体の被写体追尾枠がズームイン領域ＺＩの内部に収まっている（包含されている）か否かを判定する。これは、被写体が画面の周辺にいる場合にズームイン動作によってフレームアウトしてしまうことを防ぐためである。ここでのズームイン領域ＺＩは、図６（Ｅ）で説明したズームイン領域ＺＩに相当する。ステップＳ１１８で被写体追尾枠がズームイン領域ＺＩに収まっていないと判定された場合、ステップＳ１０７に進む。一方、被写体追尾枠がズームイン領域ＺＩに収まっていると判定された場合、ステップＳ１１９に進む。ステップＳ１１９において、ＦＡズーム制御部１２２は、後述するＦＡズームイン動作を開始する。ここでのＦＡズームイン動作は、サイズ保持制御のズームイン動作に相当する。このように、本実施形態では、サイズ保持制御のズームイン動作においても被写体のフレームアウトを防ぐため、被写体がズームイン領域ＺＩの内部に収まってからズームイン動作を開始する。

ステップＳ１０４において、被写体検出部１２３によって追尾する被写体が検出されなかった場合、図９のステップＳ１２４に進む。ステップＳ１２４では、図１３で後述するカメラ動き判定を行う。例えば、基準被写体が人物である場合に顔が横向きや後ろ向きで被写体が動いていると被写体を検出できない場合がある。そのような場合、被写体が画面外にフレームアウトしそうな状況でも、被写体情報に基づいた制御ではフレームアウトを防止することができない。被写体がフレームアウトしてしまった場合、一般的に撮影者はカメラをパンニングさせながら被写体を探し出す動作を行う。

そこで、本実施形態では、パンニング動作によって生じる大きなカメラの動きを揺れ検出部１２５で検出した場合に、ズームアウト動作を行う。その後、カメラが静止した場合にズームインさせることで迅速に被写体を捉え直す方法を提供することができる。ステップＳ１２４でカメラ動き判定を行うと、ステップＳ１２５に進む。

ステップＳ１２５、Ｓ１２６、Ｓ１２８、Ｓ１２９の判定は、被写体を見失った場合に被写体を捉え直すことを支援する自動探索モード（第２のモード）のＦＡズームの開始判定である。ステップＳ１２５では、直前のズーム動作が後述するステップＳ１３０における自動探索モードによるズームアウト動作であるか否かを判定する。自動探索モードによるズームアウト動作である場合には、ステップＳ１２６に進み、そうでない場合には、ステップＳ１２８に進む。

ステップＳ１２８において、ＦＡズーム制御部１２２は、ステップＳ１２４の判定結果を参照し、カメラの動き量が大きい（所定量よりも大きい第１の量）か否かを判定する。ステップＳ１２８でカメラの動き量が小さい場合、ステップＳ１０７に進む。一方、カメラが大きく動いた場合、ステップＳ１２９に進む。ステップＳ１２９において、ＦＡズーム制御部１２２は、操作部１１７の操作部材が操作された直後か否かを判定する。ここでは、操作部１１７の操作部材が操作されてから所定時間が経過したか否かを判定する。ステップＳ１２９で操作部材が操作された直後の場合、すなわち、揺れ検出部１２５で検出した動きが操作部材を操作したことによって生じた動きであり、被写体を見失ったためのパンニング動作ではないと判断された場合、ステップＳ１０７に進む。ここでの操作部材としては、ＦＡズーム操作スイッチやレリーズスイッチ、動画記録開始停止スイッチ、ズームレバー等の少なくとも一つが含まれる。ステップＳ１２９の判定により、自動追尾モードの開始操作や動画記録の開始や停止操作、マニュアルズーム操作の直後にＦＡズームアウト動作が誤作動することを防止している。一方、カメラが大きく動き、かつ操作部材の操作による動きでないと判断された場合、ステップＳ１３０に進み、後述するＦＡズームアウト動作（第１のズーム動作）を開始する。

ステップＳ１２５にて直前のズーム動作が自動探索モードによるズームアウト動作である場合、ステップＳ１２６に進む。ステップＳ１２６では、ＦＡズーム制御部１２２は、ステップＳ１２４の判定結果を参照し、カメラが静止している（動き量が所定量よりも小さい第２の量）か否かを判定する。ステップＳ１２６でカメラが静止していない場合、ステップＳ１０７に進む。一方、カメラが静止している場合、すなわち、ＦＡズームアウト動作後に被写体を捉え直したと判断した場合、ステップＳ１２７に進み、後述するＦＡズームイン動作（第２のズーム動作）を開始する。

ステップＳ１０７において、操作部１１７のレリーズスイッチが半押しされている（第２の操作）か否か、つまり静止画撮影準備を指示する操作が行われているか否かを判定する。レリーズスイッチの半押しが判定されていない場合には、ステップＳ１０８に進む。一方、半押しが判定されている場合には、ステップＳ１０７の判定を繰り返す。すなわち、レリーズスイッチが半押しされ続けている間は、自動追尾モード及び自動探索モードによるＦＡズーム動作を一時的に停止させる。この処理は、例えば、自動探索モードによるＦＡズームアウト動作後に、撮影者がタイミングを見計らってＦＡズームイン動作を開始させたいという場合などに操作されることを想定している。

ステップＳ１０８において、ＦＡズーム制御部１２２は、操作部１１７の特定の操作部材が操作された（第３の操作）か否かの判定を行う。操作部材が操作されていないと判断された場合、ステップＳ１１０に進む。一方、操作部材が操作されたと判断された場合、ステップＳ１０９に進む。ステップＳ１０９において、操作部材が操作された場合にはステップＳ１１２の判定やステップＳ１２５の判定に用いるＦＡズームアウト動作後である状態を解除する。ここでの特定の操作部材の操作としては、レリーズスイッチの全押し操作（静止画撮影）、動画記録開始停止スイッチによる動画記録の開始および停止、ズームレバーによるマニュアルズーム操作等の少なくとも一つを含む。この処理は、静止画撮影や動画記録開始および動画記録終了の直後にＦＡズームイン動作が行われるような不自然なズーム動作を防止（制限）するため、また、撮影者のマニュアルズーム操作を優先するために行う。なお、特定の操作部材の操作として上述の操作を全て含まなくてもよく、少なくとも一つの操作に対してズームアウト状態の解除を適用してもよい。

ステップＳ１１０にて、ＦＡズーム制御部１２２は、操作部１１７のＦＡズーム操作スイッチが押下されたか否かを判定する。ＦＡズーム操作スイッチが押下されていない場合には、再度、ステップＳ１０４に進み、ＦＡズーム開始判定を継続する。

一方、ＦＡズーム操作スイッチが押下されると、ステップＳ１１１に進み、ＦＡズーム制御部１２２は、ＦＡズーム操作スイッチの押下時間を測定する。自動追尾モード実行中であっても、その後ＦＡズーム操作スイッチの長押しが判定されると、モードは手動探索モードに変更され、図８のステップＳ１２０へ進んで手動探索モードによるＦＡズームを開始する。これにより、ＦＡズーム制御部１２２が被写体を検出できない場合であっても、撮影者が被写体のフレームアウトを認識すると即座に手動探索モードによってズームアウト動作の指示を行い、フレームアウトを防止することができる。ステップＳ１１１でＦＡズーム操作スイッチの短押しが判定されると、自動追尾モードによるＦＡズーム機能は終了する。

次に、図１１を参照して、ＦＡズームアウト動作およびＦＡズームイン動作について説明する。図１１（Ａ）は、図７のステップＳ１０６、Ｓ１１６、図８のステップＳ１２１、図９のステップＳ１３０で行われるＦＡズームアウト動作のフローチャートである。

まずＳ３００において、ＦＡズーム制御部１２２は、光学ズーム位置をＣＺ制御部１１９から取得し、電子ズーム位置を電子ズーム制御部１２０から取得する。またＦＡズーム制御部１２２は、光学ズーム位置および電子ズーム位置のデータをメモリ１１８に記憶する。光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表す。また、電子ズーム位置は、電子ズーム機能によって変更可能な画像拡大および縮小の倍率に相当する制御位置を表す。手動探索モードや自動追尾モードのフレームアウト防止制御の場合、ここで記憶したズーム位置がズーム戻り位置に設定される。自動探索モードにおいては、取得した光学ズーム位置と電子ズーム位置よりも所定量だけワイド側の位置をズーム戻り位置として記憶する場合がある。自動探索モードにおけるズーム戻り位置記憶処理の詳細については、図１４を用いて後述する。

続いてＳ３０１において、ＦＡズーム制御部１２２は、ズームアウト駆動量を取得する。ＦＡズーム機能のモードが手動探索モード（図８のステップＳ１２１）の場合、ズームアウト駆動量はメモリ１１８に記憶された所定の駆動量とする。また、この駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。

ＦＡズーム機能のモードが自動追尾モード（図７のステップＳ１０６、Ｓ１１６）の場合、ズームアウト駆動量は検出された被写体情報に応じて設定される。具体的には、フレームアウト防止のズームアウト動作（図７のステップＳ１０６）においては、被写体のサイズが小さいほどズームアウト駆動量は小さく設定される。それにより、ズームアウト動作によって被写体のサイズが小さくなりすぎるために被写体が検出できなくなるのを防ぐことができる。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにしてもよい。また、サイズを維持するためのズームアウト動作（図７のステップＳ１１６）においては、ステップＳ１１５の判定に用いる所定のＮ１倍に相当するズームアウト駆動量（１／Ｎ１倍）に設定する。それにより、被写体が検出できない場合でも、被写体のサイズが基準被写体のサイズとなるまでの最低限のズームアウト動作を行うことができる。ただし、ズームアウト動作中に被写体がカメラに向かって近寄り続けている場合に一定のサイズに維持するためには、所定倍相当のズームアウト駆動量以上ズームを動作させる必要があるが、その詳細は図１２を用いて後述する。

ＦＡズーム機能のモードが自動探索モード（図９のステップＳ１３０）の場合、ズームアウト駆動量はメモリ１１８に記憶された所定の駆動量とする。また、この駆動量は手動探索モードのメニュー設定に連動して、変更可能にしてもよい。さらに、カメラの動き量に応じて変更するようにしてもよい。

そしてステップＳ３０２において、ＦＡズーム制御部１２２は、ズーム状態が電子ズーム状態であるか否かを判定する。一般的なズーム操作では、操作部１１７のズームレバーが押下されると、光学ズーム位置がワイド端からテレ端の間である場合、ＣＺ制御部１１９により光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合、電子ズーム制御部１２０が電子ズームを駆動させることで超望遠撮影が可能となる。ズームレバーの操作によるズーム動作とＦＡズーム動作との整合性を取るため、ＦＡズーム動作においても、ズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。すなわち、メモリ１１８に記憶した時点のズーム位置が優先すべきズーム状態でのズーム領域内にあるか否かが判定される。本実施形態では電子ズームが優先されるため、ステップＳ３０２では、ズーム位置が電子ズーム領域にあるか否かが判定される。ＦＡズーム開始時のズーム位置が電子ズーム領域にある場合、ステップＳ３０３に進み、電子ズーム領域にない（光学ズーム領域にある）場合、ステップＳ３０５に進む。

ステップＳ３０３において、ＦＡズーム制御部１２２は、ステップＳ３００にて取得された電子ズーム位置とステップＳ３０１にて取得されたズームアウト駆動量に基づいて電子ズームのズームアウト位置を算出し、電子ズーム制御部１２０に設定する。ＦＡズーム制御部１２２は、電子ズーム制御部１２０に対して、設定された電子ズームのズームアウト位置まで変倍処理を行うように指示する。そして電子ズーム制御部１２０は、電子ズームによるズームアウト動作を開始し、ステップＳ３０４へ進む。

ステップＳ３０４でＦＡズーム制御部１２２は、設定されているモードや自動追尾モードでの制御状態、被写体の検出状態など、後述するズーム停止の判定条件にしたがって、電子ズーム制御部１２０を停止させる。ズーム停止処理については、図１２を用いて後述する。ステップＳ３０４にて電子ズームのズームアウト動作が停止された場合、ステップＳ３０５に進む。

ステップＳ３０５において、ＦＡズーム制御部１２２は、さらに光学ズームによるズームアウトが必要であるか否かを判定する。すなわち、電子ズームだけでは、設定したズームアウト駆動量のズーム駆動に十分でない場合、残りのズームアウト駆動量を光学ズームで補う必要がある。光学ズームによるズームアウトが必要と判定された場合、ステップＳ３０６に進み、光学ズームによるズームアウトが不要と判定された場合、ＦＡズームアウト動作を終了する。

ステップＳ３０６において、ＦＡズーム制御部１２２は、光学ズーム位置およびズームアウト駆動量に基づいて光学ズームのズームアウト位置を算出し、ＣＺ制御部１１９に設定する。ＦＡズーム制御部１２２は、ＣＺ制御部１１９に対して、設定された光学ズームのズームアウト位置までズーム駆動するように指示する。そしてＣＺ制御部１１９は、ズームレンズ駆動部１１３を制御し、光学ズームのズームアウト動作を開始し、ステップＳ３０７へ進む。

ステップＳ３０７でＦＡズーム制御部１２２は、図１２で後述するズーム停止の判定条件にしたがってＣＺ制御部１１９を停止させる。ステップＳ３０７にて光学ズームのズームアウト動作が停止された場合、ＦＡズームアウト動作を終了する。

次に、ＦＡズームイン動作について説明する。図１１（Ｂ）は、図７のステップＳ１１４、Ｓ１１９、図８のステップＳ１２３、および図９のステップＳ１２７で行われるＦＡズームイン動作のフローチャートである。

まず、ステップＳ３０８において、ＦＡズーム制御部１２２は、ズームイン駆動量を取得する。モードが手動探索モード（図８のステップＳ１２３）の場合、ズームイン駆動量は図１１（Ａ）のステップＳ３００にてメモリ１１８に記憶したズーム戻り位置までズームインする駆動量とする。また、自動追尾モードのフレームアウト防止のズームイン動作（図７のステップＳ１１４）や、自動探索モード（図９のステップＳ１２７）の場合も、ズームイン駆動量はステップＳ３００にて記憶したズーム戻り位置までズームインする駆動量とする。また、自動追尾モードのサイズ保持制御のズームイン動作（図７のステップＳ１１９）の場合には、ステップＳ１１７の判定に用いる所定のＮ２倍に相当するズームイン駆動量（１／Ｎ２倍）とする。

続いてステップＳ３０９において、ＦＡズーム制御部１２２は、ズーム位置が光学ズーム領域にあるか否かを判定する。ズーム位置が光学ズーム領域にある場合、光学ズームを優先してズームインを行うため、ステップＳ３１０に進む。一方、ズーム位置が光学ズーム領域にない（電子ズーム領域にある）場合、電子ズームのみでズームインを行うため、ステップＳ３１２に進む。

ステップＳ３１０において、ＦＡズーム制御部１２２は、光学ズーム位置とステップＳ３０８にて取得されたズームイン駆動量に基づいて光学ズームのズームイン位置を算出し、ＣＺ制御部１１９に設定する。ＦＡズーム制御部１２２は、ＣＺ制御部１１９に対して、設定された光学ズームのズームイン位置までズーム駆動するように指示する。そしてＣＺ制御部１１９は、ズームレンズ駆動部１１３を制御し、光学ズームのズームイン動作を開始し、ステップＳ３１１へ進む。ステップＳ３１１では、図１２で後述するズーム停止の判定条件にしたがってＣＺ制御部１１９を停止させる。ステップＳ３１１で光学ズームのズームイン動作を停止した場合、ステップＳ３１２に進む。

ステップＳ３１２において、ＦＡズーム制御部１２２は、さらに電子ズームによるズームインが必要か否かを判定する。電子ズームによるズームインが必要な場合、ステップＳ３１３に進む。一方、電子ズームによるズームインが不要な場合には、ＦＡズームイン動作を終了する。

ステップＳ３１３において、ＦＡズーム制御部１２２は、ステップＳ３０８にて取得したズームイン駆動量に基づいて電子ズームのズームイン位置を算出し、電子ズーム制御部１２０に設定する。ＦＡズーム制御部１２２は、電子ズーム制御部１２０に対して、設定された電子ズームのズームイン位置まで変倍処理を行うように指示する。そして電子ズーム制御部１２０は、電子ズームによるズームイン動作を開始し、ステップＳ３１４へ進む。

ステップＳ３１４では、図１２で後述するズーム停止の判定条件にしたがって電子ズーム制御部１２０を停止させる。ステップＳ３１４にて電子ズームのズームイン動作が停止された場合、ＦＡズームイン動作を終了する。

次に、図１２を参照して、図１１（Ａ）のステップＳ３０４、Ｓ３０７、および図１１（Ｂ）のステップＳ３１１、Ｓ３１４で行うズーム停止処理について説明する。まずステップＳ４００において、ＦＡズーム制御部１２２は、操作部１１７の特定の操作部材が操作されたか否かの判定を行う。操作部材が操作されていないと判断された場合、ステップＳ４０１に進む。一方、操作部材が操作されたと判断された場合、ステップＳ４０８に進み、動作中のズームを停止させる。ここでの特定の操作部材の操作としては、レリーズスイッチの全押し（静止画撮影）、動画記録開始停止スイッチによる動画記録の開始停止、ズームレバーによるマニュアルズーム操作等である。この処理は、ＦＡズームイン動作中に静止画撮影や動画記録の開始終了がされた直後にＦＡズームイン動作が継続されるような不自然なズーム動作を防止するためや撮影者のマニュアルズーム操作を優先するためである。

次にステップＳ４０１にて、ＦＡズーム制御部１２２は、動作中のズームが光学ズームである場合（図１１（Ａ）のステップＳ３０７、図１１（Ｂ）のステップＳ３１１）、ＣＺ制御部１１９から光学ズーム位置を取得する。一方、動作中のズームが電子ズームである場合（図１１（Ａ）のステップＳ３０４、図１１（Ｂ）のステップＳ３１４）、電子ズーム位置を電子ズーム制御部１２０から取得する。取得したズーム位置が光学ズームワイド端（ズームアウト動作の場合）または電子ズームテレ端（ズームイン動作の場合）に到達した場合にはステップＳ４０８に進み、当該ズーム動作を停止させる。取得したズーム位置がズーム端に到達していない場合には、ステップＳ４０２に進む。

ステップＳ４０２では、ＦＡズーム制御部１２２は、図７のステップＳ１０２または図８のステップＳ１２０でメモリ１１８に記憶したモード情報を取得し、現在のモードが手動探索モードであるか、自動追尾モードであるかの判定を行う。現在のモードが手動探索モードである場合（図８のステップＳ１２１、Ｓ１２３）はステップＳ４０６に進む。一方、現在のモードが自動追尾モードである場合（図７のステップＳ１０６、Ｓ１１４、Ｓ１１６、Ｓ１１９）はステップＳ４０３に進む。

次にステップＳ４０３にて、ＦＡズーム制御部１２２は、自動追尾モードにおいて何れのズーム動作中であるかの判定を行う。動作中のズームがフレームアウト防止制御のズームアウト動作である場合（図７のステップＳ１０６）はステップＳ４０６に進み、それ以外の場合はステップＳ４０４に進む。

さらにステップＳ４０４では、ＦＡズーム制御部１２２は、被写体検出部１２３によって被写体が検出されているか否かの判定を行う。被写体が検出されている場合にはステップＳ４０５に進み、被写体が検出されていない場合にはステップＳ４０６に進む。

ステップＳ４０５では、基準被写体情報の被写体のサイズとステップＳ４０４で検出された被写体のサイズとの比較を行う。比較の結果、ステップＳ４０４にて検出された被写体のサイズと基準被写体のサイズとの差が所定の範囲内（所定の変化量以内）に収まらない場合には、再度、ステップＳ４０１に進み、ズーム停止の判定を継続する。ズーム動作によって、その差が所定の範囲内となった場合、ステップＳ４０７に進み、残ズーム駆動量をクリアする（無とする）。これは、図１１（Ａ）のステップＳ３０１または図１１（Ｂ）のステップＳ３０８で取得したズーム駆動量を駆動していなくても、残ズーム駆動量をクリアすることでステップＳ３０５またはステップＳ３１２の判定をｎｏに進め、ズーム動作を終了させるためである。ステップＳ４０７で残ズーム駆動量のクリア処理が終わるとステップＳ４０８に進み、実際に動作中のズームを停止させる。

ステップＳ４０６にて、ＦＡズーム制御部１２２は、図１１（Ａ）のステップＳ３０１または図１１（Ｂ）のステップＳ３０８で取得したズーム駆動量に基づき、各ズーム動作に応じた所定量分のズーム駆動量を駆動したか否かを判定する。所定のズーム駆動量を駆動していない場合には、再度ステップＳ４００に進み、ズーム停止の判定を継続する。所定のズーム駆動量を駆動した場合には、ステップＳ４０８に進み、動作中のズームを停止させる。

次に、図９のステップＳ１２４におけるカメラの動き判定処理について、図１３を用いて説明する。図１３は自動探索制御におけるカメラの動き判定処理を示すフローチャートである。

ステップＳ５００において、ＦＡズーム制御部１２２は、揺れ検出部１２５から水平方向の角速度を取得する。次にステップＳ５０１において、ＦＡズーム制御部１２２は、ステップＳ５００で取得した水平角速度が所定の角速度未満であるか否かを判定する。水平角速度が所定の角速度未満である場合にはステップＳ５０２に進み、所定の角速度以上である場合にはステップＳ５０７に進む。

ステップＳ５０２では、後述するステップＳ５０７で算出する水平動作角度をクリアする。これは、角速度が小さい場合、すなわち、カメラが静止している場合の動作角度を０°として、その角度を基準とした動作角度をカメラの動きとして判定するためである。

ステップＳ５０３において、ＦＡズーム制御部１２２は、揺れ検出部１２５から垂直方向の角速度を取得する。次にステップＳ５０４において、ステップＳ５０３で取得した垂直角速度が所定の角速度未満であるか否かを判定する。垂直角速度が所定の角速度未満である場合にはステップＳ５０５に進み、所定の角速度以上である場合にはステップＳ５１３に進む。

ステップＳ５０５では、後述するステップＳ５１３で算出する垂直動作角度をクリアする。ここで垂直動作角度を０°とするのは、上述した水平動作角度と同様の理由である。

ステップＳ５０６では、ステップＳ５０１、Ｓ５０４において水平角速度および垂直角速度が所定の角速度未満であると判定された場合であり、カメラが静止していると判定してカメラの動き判定処理を終了する。

一方、ステップＳ５０１において、水平角速度が所定の角速度以上であると判定された場合、ステップＳ５０７に進む。ステップＳ５０７では、水平方向の動作角度を算出する。ステップＳ５００にて取得した水平角速度をωｈ、制御周期をΔＴとすると、制御周期ΔＴの期間に動いた角度は、ωｈ×ΔＴという式によって求められる。さらに、過去の水平動作角度を加算する、すなわち、水平角速度を積分することで、カメラが直前に静止した状態を０°として、そこからの水平動作角度を求めることができる。

ステップＳ５０８において、ＦＡズーム制御部１２２は水平画角を算出する。ここでＦＡズーム制御部１２２は、ＣＺ制御部１１９を経由してズームレンズ駆動部１１３から焦点距離の情報を取得する。さらに撮像素子１０６の水平サイズを元に水平画角を算出する。焦点距離をｆ、撮像素子１０６の水平サイズをｈとすると、水平画角は２×ａｒｃｔａｎ（２ｈ／ｆ）という式によって求めることができる。

ステップＳ５０９では、ステップＳ５０７で算出した水平動作角度がステップＳ５０８で算出した水平画角に対して所定のＭ倍（Ｍ＞０）の値よりも大きいか否かを判定する。水平画角のＭ倍よりも水平動作角度が大きい場合には、被写体が画角から外れたためにそれよりも大きな角度でカメラが動かされていると判断し、ステップＳ５１７に進む。ステップＳ５０９にて、水平動作角度が水平画角のＭ倍以下の場合にはステップＳ５１０に進む。

ステップＳ５１０〜Ｓ５１２は、ステップＳ５０３〜Ｓ５０５と同様に垂直角速度が所定の角速度未満であるか否かの判定を行い、垂直角速度が所定の角速度未満である場合、垂直動作角度をクリアしてステップＳ５１６に進む。ステップＳ５１１において、垂直角速度が所定の角速度以上である場合にはステップＳ５１３に進む。

ステップＳ５１３〜Ｓ５１５は、垂直方向に対してステップＳ５０７〜Ｓ５０９と同様に垂直動作角度と垂直画角を算出し、垂直動作角度が垂直画角に対して所定のＭ倍した値よりも大きいか否かを判定する。ステップＳ５１３では、垂直方向の動作角度を算出する。ステップＳ５０３またはＳ５１０にて取得した垂直角速度をωｖ、制御周期をΔＴとすると、制御周期ΔＴの期間に動いた角度は、ωｖ×ΔＴという式によって求められる。さらに、過去の垂直動作角度を加算する、すなわち、垂直角速度を積分することで、カメラが直前に静止した状態を０°として、そこからの垂直動作角度を求めることができる。

ステップＳ５１４において、ＦＡズーム制御部１２２は垂直画角を算出する。ここでＦＡズーム制御部１２２は、ＣＺ制御部１１９を経由してズームレンズ駆動部１１３から焦点距離の情報を取得する。さらに撮像素子１０６の垂直サイズを元に垂直画角を算出する。焦点距離をｆ、撮像素子１０６の水平サイズをｖとすると、水平画角は２×ａｒｃｔａｎ（２ｖ／ｆ）という式によって求めることができる。

ステップＳ５１５では、ステップＳ５１３で算出した水平動作角度がステップＳ５１４で算出した水平画角に対して所定のＭ倍（Ｍ＞０）の値よりも大きいか否かを判定する。垂直動作角度が垂直画角のＭ倍よりも大きい場合にはステップＳ５１７に進み、垂直動作角度が垂直画角のＭ倍以下の場合にはステップＳ５１６に進む。

ステップＳ５１６に進むのは、水平角速度と垂直角速度のうち少なくとも一方の角速度が所定の角速度以上である場合で、水平動作角度と垂直動作角度の両方が画角のＭ倍以下と判定された場合である。ここでは、カメラの動き量が小さいと判定してカメラの動き判定処理を終了する。

ステップＳ５１７では、水平動作角度と垂直動作角度のうち少なくとも一方の動作角度が画角のＭ倍よりも大きいと判定され場合であり、カメラの動き量が大きいと判定してカメラの動き判定処理を終了する。

なお、本実施形態において、カメラの動き判定結果として「カメラ静止」、「カメラ動き量小」、「カメラ動き量大」の３つを示したが、判定結果の形態はこれに限られるものではない。また、カメラの動き判定処理自体は常に行うようにして、ステップＳ１２４にて判定結果を取得するようにしてもよい。

ここで、動き検出感度について説明する。動き検出感度とは、ステップＳ５０１、Ｓ５０４、Ｓ５１１で判定される所定角速度や、ステップＳ５０９、Ｓ５１５で判定される所定のＭ倍の値に相当する。所定角速度や所定のＭ倍の値は、設定値が小さくなるほどＦＡズームアウト動作開始の応答速度が速い、すなわち、動き検出感度が高くなる。また、設定値が大きくなるほど応答速度が遅い、すなわち、動き検出の感度が低くなる。動き検出感度の設定が「高」の場合、小さなカメラの動きでズーム動作を行うことができる一方で、誤動作が発生しやすくなる恐れもある。また、動き検出感度の設定が「低」の場合、カメラをパンニングしてもズーム動作が行われない恐れがある。動き検出感度は、カメラの設定や記録状態に応じて変更してもよい。例えば、撮影モードの設定（ポートレートモード、スポーツモード等）や、動画記録中と静止画撮影のフレーミング中とで動き検出感度を変更する構成としてもよい。また、図１５で後述する設定メニューから動き検出感度を変更する構成としてもよい。

次に図１４を参照して、自動探索モードにおいて図１１（Ａ）のステップＳ３００で実行されるズーム戻り位置（第１のズーム位置）記憶処理について説明する。通常のズーム戻り位置は、ＦＡズームアウト動作開始時にＣＺ制御部１１９から取得した光学ズーム位置および電子ズーム制御部１２０から取得した電子ズーム位置としている。しかしながら、ズームアウト動作後に被写体が近づくなどした場合、ＦＡズームアウト開始時のズーム位置ではズームインしすぎる恐れがある。その場合に、再度カメラがパンニングされた、すなわち、自動探索モードのＦＡズーム動作が行われたときは、ズーム戻り位置を所定量だけワイド側にすることによって簡単に画角を修正することが可能になる。

ステップＳ６００において、直前のズーム動作が図７のステップＳ１１４、Ｓ１１９、または図９のステップＳ１２７で行われるＦＡズームイン動作であるか否かを判定する。直前のズーム動作がＦＡズームアウト動作、もしくは、ズームレバー操作によるズーム動作である場合、ステップＳ６０４に進む。一方、ＦＡズームイン動作である場合、ステップＳ６０１に進む。

ステップＳ６０１にて、ＦＡズーム制御部１２２は、直前のＦＡズームイン動作が完了した際に予めメモリ１１８に記憶しておいた時間を取得して、ステップＳ６０２へ進む。ステップＳ６０２にて、ＦＡズーム制御部１２２は、自動探索モードのＦＡズームアウト動作を開始する時間、すなわち、ズーム戻り位置記憶処理時の時間を取得して、ステップＳ６０３へ進む。

ステップＳ６０３において、ＦＡズーム制御部１２２は、ステップＳ６０１で取得した直前のＦＡズームイン動作完了時間とステップＳ６０２で取得した自動探索モードのＦＡズームアウト動作開始時間の時間差が所定時間よりも小さいか否かを判定する。ＦＡズームイン動作完了時間とＦＡズームアウト動作開始時間の時間差が所定時間以上（第２の時間）の場合にはステップＳ６０４に進む。ステップＳ６０４において、ズーム戻り位置をＣＺ制御部１１９から取得した光学ズーム位置および電子ズーム制御部１２０から取得した電子ズーム位置とする。

一方、ＦＡズームイン動作完了時間とＦＡズームアウト動作開始時間の時間差が所定時間よりも小さい（第１の時間）場合、すなわち、ＦＡズームイン直後に再度ＦＡズームアウト動作が行われた場合にはステップＳ６０５に進む。ステップＳ６０５において、ズーム戻り位置をＣＺ制御部１１９から取得した光学ズーム位置および電子ズーム制御部１２０から取得した電子ズーム位置に対して１／Ｋ倍（Ｋ＞１）だけワイド側の位置とする。

ステップＳ６０６において、ＦＡズーム制御部１２２は、ステップＳ６０４、Ｓ６０５にて算出したズーム戻り位置をメモリ１１８に記憶して、自動探索モードにおけるズーム戻り位置記憶の処理を終了する。

次に、図１５を参照して、設定メニューで設定可能な項目について説明する。図１５は表示部１０９に表示する設定メニューの例を示している。設定メニューにて設定可能な項目としては、例えばＦＡズームアウト動作のズームアウト駆動量（ズーム動作量）、自動追尾モード及び自動探索モードのモード設定、自動探索モードの動き検出感度などがある。

図１５の「ズームアウト駆動量」は、図１１（Ａ）のステップＳ３０１で取得するズームアウト駆動量である。例えば、「大」「中」「小」の設定に対して、ズームイン画角の１／６倍、１／４倍、１／２倍といった倍率としてメモリ１１８に記憶しておき、設定に応じてズームアウト駆動量を取得できるようにする。

「自動モード設定」では、自動追尾モードと自動探索モードについて、モードごとに入／切を設定することで、各モードを有効にするか否かを設定することができる。

図１５（Ａ）は、自動追尾モード及び自動探索モードがいずれも切に設定されているときの表示を示している。この設定の場合、図７のステップＳ１０１でＦＡズーム操作スイッチを短押ししても、ステップＳ１０２以降の自動追尾モード及び自動探索モードの処理には進まないようになる。

図１５（Ｂ）は、自動追尾モードのみが入に設定されているときの表示を示している。この設定の場合、図７のステップＳ１０３で被写体を検出できない場合でも、ステップＳ１２０以降の自動探索モードの処理には進まないようになる。

図１５（Ｃ）は、自動探索モードのみが入に設定されているときの表示を示している。この設定の場合、図７のステップＳ１０３の被写体指定処理は実施されず、被写体を検出した場合でも、ステップＳ１０５以降の自動追尾モードの処理には進まないようになる。

図１５（Ｄ）は、自動追尾モード及び自動探索モードがいずれも入に設定されているときの表示を示している。この設定の場合、図７の全ての処理が実施される。

「動き検出感度」の設定では、自動探索モードが入に設定されているときに設定が可能となり、図１３のステップＳ５０１、Ｓ５０４、Ｓ５１１で判定される所定角速度や、ステップＳ５０９、Ｓ５１５で判定される所定のＭ倍の値を設定する。例えば、動き検出感度の設定が「高」の場合、所定角速度や所定のＭ倍の値を小さく、動き検出感度の設定が「低」の場合、所定角速度や所定のＭ倍の値を大きく設定する。このように、自動探索モードにおけるパンニング動作の検出感度を、撮影シーンや撮影者の好みに合わせて設定メニューから変更可能としている。なお、動き検出感度の設定は「高」と「低」の２つに限らず、３つ以上設けてもよい。また、所定角速度と所定のＭ倍の値のうち、一方のみを変更するようにしてもよい。

以上説明したように、本実施形態では、カメラの動きを検出し、カメラを大きく動かされた場合には被写体を探していると判断して自動でズームアウト動作を行う。ズームアウトした状態でカメラが静止した場合は、被写体を捉え直したと判断してズームイン動作を行う。このような制御を行うことで、被写体を見失った際に迅速に被写体を捉え直すことが可能となる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。適用するシーンとして、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。

１００ デジタルカメラ
１０２ ズームレンズ
１０９ 表示部
１１３ ズームレンズ駆動部
１１７ 操作部
１１８ メモリ
１１９ ＣＺ制御部
１２０ 電子ズーム制御部
１２２ ＦＡズーム制御部
１２３ 被写体検出部
１２５ 揺れ検出部

Claims (21)

1. 撮像装置であって、
   前記撮像装置の動きを検出する動き検出手段と、
   画像から被写体を検出する被写体検出手段と、
   ズーム動作を制御する制御手段とを有し、
   前記制御手段は、前記被写体検出手段により検出された被写体の位置および大きさの少なくとも一方に基づいてズーム動作する第１のモードと、
   前記撮像装置の動き量が所定量よりも大きい第１の量の場合、広角側へズーム位置を移動する第１のズーム動作を行い、前記第１のズーム動作を実行した後で検出された前記撮像装置の動き量が前記所定量よりも小さい第２の量の場合、望遠側へズーム位置を移動する第２のズーム動作を行う第２のモードとを、
   前記被写体検出手段による被写体の検出状況に応じて切り替えることを特徴とする撮像装置。
2. 前記動き検出手段は、
   角速度を検出する角速度検出手段を備え、
   前記角速度検出手段により検出された角速度に基づいて、前記撮像装置の動き量を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記動き検出手段は、前記角速度検出手段により検出された角速度が所定角速度よりも大きくなった場合に、該角速度を積分することで動作角度を算出するとともに、前記撮像装置の画角を算出し、前記動作角度と前記画角とに基づいて、前記撮像装置の動き量を判定することを特徴とする請求項２に記載の撮像装置。
4. 前記動き検出手段は、前記動作角度が前記画角に基づいて設定される所定の動作角度よりも大きい場合、前記撮像装置の動き量が前記所定量よりも大きいと判定することを特徴とする請求項３に記載の撮像装置。
5. 前記動き検出手段は、前記角速度が前記所定角速度よりも大きく、且つ、前記動作角度が前記所定の動作角度よりも大きい場合、前記撮像装置の動き量が前記所定量よりも大きいと判定することを特徴とする請求項４に記載の撮像装置。
6. 前記所定角速度および前記所定の動作角度の設定値の少なくとも一方は、前記撮像装置の撮影モードや記録状態に応じて変更されることを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記第１のズーム動作において、第１のズーム位置を設定するとともに当該第１のズーム位置より広角側へズーム位置を移動するよう制御し、当該第１のズーム動作の後で前記第２のズーム動作を行うズーム位置を望遠側へ移動する際に、設定した当該第１のズーム位置へズーム位置を移動するよう制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第２のズーム動作を行ってから次の前記第１のズーム動作を行うまでの時間に応じて、次の前記第１のズーム動作における前記第１のズーム位置を変更することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記第２のズーム動作を行ってから次の前記第１のズーム動作を行うまでの時間が第１の時間の場合、当該第１の時間より長い第２の時間の場合と比較して、次の前記第１のズーム動作における前記第１のズーム位置をより広角側に設定することを特徴とする請求項８に記載の撮像装置。
10. 前記被写体検出手段により被写体が検出されなかった場合、
    前記制御手段は前記第２のモードでズーム動作を制御することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. ユーザにより操作部を介して第１の操作が行われた場合、前記制御手段は、前記第１のモードまたは前記第２のモードによるズーム動作の制御を開始することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記第１のモードおよび前記第２のモードにおいて、ユーザにより第２の操作が行われている間、前記制御手段は、ズーム動作を一時的に停止するよう制御することを特徴とする請求項１１に記載の撮像装置。
13. 前記第２の操作は、静止画撮影の準備を指示する操作であることを特徴とする請求項１２に記載の撮像装置。
14. 前記第１のモードおよび前記第２のモードにおいて、ユーザにより第３の操作が行われた場合、前記制御手段は、望遠側へのズーム動作を制限するよう制御することを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
15. 前記第３の操作は、静止画撮影、動画記録開始、動画記録終了、マニュアルズームを指示する操作のうち、少なくとも一つを含むことを特徴とする請求項１４に記載の撮像装置。
16. 前記第２のモードにおいて、前記被写体検出手段により被写体が検出された場合、前記制御手段は、前記第１のモードに切り替えることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 前記制御手段は、ユーザにより所定の操作が行われてから所定時間が経過するまで、前記第２のモードの実行を制限することを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 前記所定の操作は、静止画撮影、動画記録開始、動画記録終了、マニュアルズーム、前記第１のモードまたは前記第２のモードによるズーム動作制御の開始を指示する操作のうち、少なくとも一つを含むことを特徴とする請求項１７に記載の撮像装置。
19. 画像を表示する表示手段をさらに有し、
    前記被写体検出手段により被写体が検出されている場合、前記表示手段において、検出された被写体を示す表示を行うことを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
20. 撮像装置の制御方法であって、
    前記撮像装置の動きを検出するステップと、
    画像から被写体を検出するステップと、
    ズーム動作を制御する制御ステップとを有し、
    前記制御ステップにおいて、前記被写体を検出するステップにより検出された被写体の位置および大きさの少なくとも一方に基づいてズーム動作を制御する第１のモードと、前記撮像装置の動き量が所定量よりも大きい第１の量の場合、広角側へズーム位置を移動する第１のズーム動作が行われ、前記第１のズーム動作を実行した後で検出された前記撮像装置の動き量が前記所定量よりも小さい第２の量の場合、望遠側へズーム位置を移動する第２のズーム動作が行われる第２のモードとを、前記被写体を検出するステップによる被写体の検出状況に応じて切り替えることを特徴とする撮像装置の制御方法。
21. 請求項２０に記載の撮像装置の制御方法をコンピュータに実行させるように構成されていることを特徴とする撮像装置の制御プログラム。

Images