JP6234103B2 - ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体 - Google Patents

Description

本発明は、ズーム機能を有する撮像装置及びその制御方法等に関するものである。

デジタルカメラ等の撮像装置には、ズームレンズの駆動による光学的な変倍（光学ズーム）機能と、撮像した領域の一部を拡大する電子的な変倍（電子ズーム）機能を備えたものがある。近年、ズームレンズの性能向上により超広角から超望遠まで同一のレンズで撮影でき、また撮像素子の高画素化によって、拡大倍率を高くしても十分な解像感の得られる撮影が可能になってきている。

高倍率のズーム機能を備える撮像装置では、超望遠状態での画角合わせの際、被写体の僅かな移動でフレームアウトが起こり得る。またカメラを構えた撮影者が行う一寸したパンニング操作であっても画角の範囲が大きく変化してしまう。このように超望遠状態では、被写体を所望の画角にフレーミングすることが困難である。

そこで、被写体がフレームアウトした際に即座に被写体を捉え直す機能として、特許文献１ではフレーミングアシストズーム機能（ＦＡズーム機能）と呼ぶ機能が提案されている。特許文献１では、ＦＡズーム機能の開始が指示された場合に、予め定められたズーム倍率分ズームアウトさせ、ＦＡズーム機能の終了が指示された場合に、ＦＡズーム機能が開始されたときのズーム位置へズームインさせることが開示されている。

一方、画面内の被写体をカメラで検出し、被写体の検出情報に応じてカメラが自動でズーム位置を変更する機能として、いわゆるオートズーム機能が知られている。特許文献２では、被写体が画面内の特定領域の限界位置に達したときにズーム位置を広角方向にズームアウトさせる方法が提示されている。また、特許文献２では、被写体が画面内の中央部分にいるときにズーム位置を望遠方向にズームインさせる方法が提示されている。

また、特許文献３では、オートフォーカス（ＡＦ）機能とマニュアルフォーカス（ＭＦ）機能を有する撮像装置が開示されており、ユーザの操作に基づいて、ＡＦモードとＭＦモードが切り替えられる。さらに、特許文献３のＡＦモードとして、ノーマルＡＦモードと、ノーマルＡＦモードでは合焦できない近距離の被写体について合焦可能なマクロＡＦモードとを有することが開示されている。

特開２０１２−６０５９５号公報 特許第２０５２６５３号公報 特開２００９−２５５０７号公報

上記特許文献１のＦＡズーム機能では、撮影者の操作に応じてズームアウトとズームインを行っていた。ここで撮影者の利便性を高めるため、ＦＡズーム機能においても、特許文献２のように被写体の状態に応じて自動でズーム動作を可能にすることが想定される。

しかしながら、撮影者がＭＦモードを設定している場合、被写体がフレームアウトしそうになって自動のズーム動作を開始しても、被写体の移動に応じて随時、被写体距離が変わってしまうことが想定される。そのため、ＭＦモードで調整されたフォーカス位置ではピントがぼけてしまい、自動ズーム中に適切な被写体検出ができなくなる可能性が高くなる。

そこで、本発明は、自動ズームにより被写体を画面内に捉える動作において、適切なフォーカス制御で自動ズームを行うことを目的とする。

上記目的を達成するために、第１の本発明は、画像から被写体を検出する被写体検出手段と、被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するようにズーム倍率を制御するオートズームモードを実行可能なズーム制御手段と、第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御手段と、前記フォーカスレンズの位置を手動で変更するための操作部材とを有し、前記操作部材を介した操作に応じて前記フォーカスレンズの位置が変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御手段は、フォーカスモードを前記第２のフォーカスモードから前記第１のフォーカスモードに切り替え、少なくとも前記オートズームモードの解除が指示されるまで第１のフォーカスモードを継続されることを特徴とする。第２の本発明は、画像から被写体を検出する被写体検出手段と、被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するように電子ズームのズーム倍率を制御するオートズームモードを実行可能なズーム制御手段と、第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御手段と、前記フォーカスレンズの位置を手動で変更するための操作部材とを有し、前記操作部材を介した操作に応じて前記フォーカスレンズの位置が変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御手段は、前記第２のフォーカスモードから前記第１のフォーカスモードに切り替えることを特徴とする。

第３の本発明は、操作部材を備えたズーム制御装置の制御方法であって、画像から被写体を検出する被写体検出ステップと、被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するようにズーム倍率を制御するオートズームモードを実行するズーム制御ステップと、第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御ステップとを有し、前記操作部材を介した操作に応じて前記フォーカスレンズの位置が手動で変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御ステップにおいて、フォーカスモードを前記第２のフォーカスモードから前記第１のフォーカスモードに切り替え、少なくとも前記オートズームモードの解除が指示されるまで第１のフォーカスモードを継続されることを特徴とする。第４の本発明は、操作部材を備えたズーム制御装置の制御方法であって、画像から被写体を検出する被写体検出ステップと、被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するように電子ズームのズーム倍率を制御するオートズームモードを実行するズーム制御ステップと、第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御ステップとを有し、前記操作部材を介した操作に応じて前記フォーカスレンズの位置が手動で変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御ステップにおいて、フォーカスモードを前記第２のフォーカスモードから前記第１のフォーカスモードに切り替えることを特徴とする。

本発明によれば、自動ズームにより被写体を画面内に捉える動作において、適切なフォーカス制御で自動ズームを行うことができる。

本実施形態に係るデジタルカメラの構成例を示すブロック図。 焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を示した図。 被写体探索状態での画角及び撮影準備状態での画角を例示した図。 ズームアウト領域及びズームイン領域を説明する図。 本実施形態のオートＦＡズーム機能の概要を説明するフローチャート図。 本実施形態のオートＦＡズーム開始判定処理を説明するフローチャート図。 本実施形態のオートＦＡズーム機能における被写体指定処理を説明するフローチャート図。 本実施形態のＦＡズームアウト動作を説明するフローチャート図。 本実施形態のＦＡズームイン動作を説明するフローチャート図。

以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の好ましい形態を示すものであり、発明の範囲を限定するものではない。なお、本実施形態によって実現される機能は、撮影者によるフレーミングを支援するフレーミング支援自動ズーム機能であり、便宜上、オートフレーミングアシストズーム機能（以下、オートＦＡズーム機能と略記する）と呼ぶこととする。

図１は、本発明の撮像装置の一実施形態としての、デジタルカメラ１００の構成を示すブロック図である。レンズ鏡筒１０１は、その内部にレンズ群を保持している。ズームレンズ１０２は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０３は、光軸方向に移動することでピントを調節する。防振レンズ１０４は、手ぶれに起因する像振れを補正する補正用レンズである。光量を調節する絞り及びシャッタ１０５は露出制御に使用される。レンズ鏡筒１０１を通過した光は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を用いた撮像素子１０６にて受光され、光電変換されて撮像信号が生成される。撮像信号は、画像処理回路１０７に入力されて、画素補間処理や色変換処理等が施された後、画像データとして画像メモリ１０８に送られる。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等で構成され、撮影した画像データとともに、特定の情報（例えば、撮影情報等）を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を実現している。

絞りシャッタ駆動部１１０は、画像処理回路１０７での画像処理によって得られた輝度情報に基づいて露出制御値（絞り値及びシャッタ速度）を演算し、この演算結果に基づき絞り及びシャッタ１０５を駆動する。これによって、ＡＥ（自動露出）制御が行われる。防振レンズ駆動部１１１は、ジャイロセンサ等の角速度センサの情報に基づいてデジタルカメラ１００に加わる振れ量を演算し、振れを打ち消すように防振レンズ１０４を駆動する。

フォーカスレンズ駆動部１１２は、フォーカスレンズ１０３を駆動する。例えば、コントラストＡＦ（オートフォーカス）方式の制御では、画像処理回路１０７の画像処理によって得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づき、被写体にピントが合うようにフォーカスレンズ１０３が駆動される。なお、本実施形態の適用上、焦点調節制御の如何は問わないので、位相差ＡＦ方式や他の方式と組み合わせた方式が採用可能である。

なお、本実施形態のデジタルカメラ１００は、焦点調節のモードとして上記コントラスト評価値に基づいて自動で焦点調節を行うＡＦモードと、操作部材を用いて撮影者が手動で焦点調節を行うＭＦモードを有する。ＡＦモードとＭＦモードは、ボタンやメニュー画面からの操作などによって切り換えることが可能である。また、ＡＦモードはさらに、通常ＡＦモードとマクロＡＦモードを備える。マクロＡＦモードでは至近撮影に適したフォーカス可動範囲が設定されており、本実施形態では通常ＡＦモードのフォーカス可動範囲のうち至近側の一部の範囲をマクロＡＦモードのフォーカス可動範囲としている。なお、フォーカス可動範囲の設定はこれに限定されず、マクロＡＦモードのフォーカス可動範囲の無限端が通常ＡＦモードのフォーカス可動範囲の無限端より至近であればよい。ＡＦモードが設定されている場合、通常ＡＦモードとマクロＡＦモードは、ボタンやメニュー画面からの操作などによって切り換えることが可能である。

ズームレンズ駆動部１１３は、ズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１７には、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等が設けられている。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部１１４によりズーム駆動速度や駆動方向が演算され、演算結果に従ってズームレンズ１０２が光軸に沿って移動する。

撮影動作によって生成された画像データは、インターフェース部（以下Ｉ／Ｆ部と呼ぶ）１１５を介して記録部１１６に送られて記録される。画像データは、カメラに装着して使用するメモリカード等の外部記録媒体や、デジタルカメラ１００に内蔵されている不揮発性のメモリ１１８、あるいは両方に記録される。

操作部１１７は上記のズーム操作部材の他、撮影開始を指示するレリーズスイッチ、オートＦＡズーム機能の開始や終了を指示する、オートＦＡズーム操作スイッチ等を含む。操作信号は後述のシステム制御部１１４に送られる。メモリ１１８は、プログラムデータや画像データの他に、デジタルカメラ１００の設定情報や、オートＦＡズーム機能における被写体の基準情報（位置、サイズ情報等）を記憶する。なお、被写体の基準情報は、被写体の大きさを維持するための制御に使用するパラメータのことであり、その詳細については後述する。

システム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を用いて構成され、撮影者の操作に応じて各部に制御命令を送ることでカメラ全体を制御する。システム制御部１１４は、メモリ１１８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（オートＦＡズーム処理を含む）等を行うためのプログラムを実行する。

次に、システム制御部１１４のうち、オートＦＡズーム機能に関連する制御について説明する。なお、図１にはシステム制御部１１４の内部処理を１１９乃至１２２の各機能ブロックで表している。

光学ズームによる画角変更時でも合焦状態を維持するためには、レンズ鏡筒１０１に示すリアフォーカスタイプの鏡筒の場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。図２は、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータデーブルをグラフ化した図である。このテーブルはフォーカスカムテーブルと称する。横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示し、各グラフ線の横にはカメラから被写体までの距離（被写体距離）を示している。システム制御部１１４は、ＡＦ動作時にフォーカスレンズ駆動部１１２を制御してフォーカスレンズ１０３を所定の範囲で移動させることでスキャン動作を行う。この動作中に得られるコントラスト評価値等を用いて、既知の方法により合焦点であるフォーカス位置が検出される。その時のズーム位置とフォーカス位置から、フォーカスカムテーブルを参照することで被写体距離が計測可能である。

デジタルカメラ１００は、光学ズーム機能と電子ズーム機能を有する。ＣＺ制御部１１９とズームレンズ駆動部１１３は、光学ズーム駆動を担当する。ＣＺ制御部１１９は、ズーム動作時に所定の制御周期ごとにズームレンズ１０２のズーム位置を検出し、そのズーム位置に応じたＡＦ動作により計測した被写体距離でのフォーカスカムテーブルに追従するようにフォーカスレンズ１０３を駆動させる。これによって、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。

一方、電子ズーム制御部１２０及び画像メモリ１０８は、電子ズーム駆動を担当する。電子ズーム制御部１２０は、画像メモリ１０８に転送された画像データから対象領域を切り出すことによって電子ズーム機能を実現する。また、撮像素子１０６に取り込む映像のフレームレート周期で切り出す範囲を徐々に大きくし、表示部１０９に表示させることで滑らかな電子ズーム表示が実現される。

被写体検出部１２３は、画像メモリ１０８の撮影範囲内の画像データ（画像領域内）から所望の被写体領域を検出する。本実施形態では顔情報及び色情報を元に被写体を検出する被写体検出方法について説明する。顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２３は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較し、両者の相関が一定の閾値を超えるときに、その部分領域を顔領域と判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを様々に変更しながら繰り返せば、画像データ中に存在する様々な顔領域が検出される。色検出処理では、後述する被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する。色検出処理は検出する被写体が人物以外の「モノ」である場合に実行される。色情報には、画像処理回路１０７からの出力信号であるＲＧＢや輝度Ｙ及び色差Ｒ−Ｙ、Ｂ−Ｙ等を用いる。被写体検出時には画像データをいくつかの部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。さらに、予め記憶した特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この領域候補で隣り合う部分領域の塊を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。

被写体検出部１２３は、顔情報及び色情報と共に、ＣＺ制御部１１９で計測した被写体距離情報及びズームレンズ１０２の焦点距離情報を用いることで画像データ上での被写体領域の大きさを推定することができる。

次に、オートＦＡズーム機能の概要と、ＦＡズーム枠制御部１２１及びオートＦＡズーム制御部１２２について説明する。

オートＦＡズーム機能を搭載したデジタルカメラ１００では、タッチパネル等から被写体を指定する操作を実施することにより、撮影したい被写体を指定する。被写体の指定方法としては、タッチパネル操作以外でも、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動で主被写体を選択する方法なども考えられる。被写体検出部１２３では、画像メモリ１０８から指定された被写体領域の画像データ上での位置や大きさを算出する。これをライブビューとして表示するサンプリングごとの画像データに対して連続的に行うことで被写体の動きを追尾することが可能となる。

図３（Ａ）〜（Ｄ）を用いて、オートＦＡズーム機能におけるズーム動作の概要を説明する。まず、図３（Ａ）では、表示部１０９に示される画面内に被写体３０１が検出されている様子を示している。図３（Ａ）では、表示部１０９に示される画面において、点線３０２よりも外側の領域（第１の領域外）をズームアウト領域（ＺＯ）としている。このＺＯに被写体の一部が侵入した場合や、被写体のサイズが所定の大きさよりも大きくなった場合、広角側にズームアウト動作を開始する。被写体のサイズや移動速度に応じてズームアウトするズーム倍率やズーム速度を算出しておき、その倍率や速度に従ってズームアウト動作を行うことで、被写体のフレームアウトを防止することができる。また、ズームアウト開始時の（ズーム移動前の）ズーム位置をズーム戻り位置として記憶しておく。

図３（Ｂ）は、ズームアウトした状態の画角を示している。算出したズーム倍率分のズームアウト動作が完了すると、ズーム戻り位置を示すＦＡズーム枠３００が表示される。ユーザーがカメラの向きを変更することで、図３（Ｃ）のようにＦＡズーム枠３００内において、点線３０３よりも内側のズームイン領域（ＺＩ、第２の領域）に被写体３０１が収まると、ズーム戻り位置までズームイン動作を行う。このような制御を行うことにより、簡単な操作で図３（Ｄ）で示されるように被写体３０１を画角内に捉えることができる。

次に、図４（Ａ）及び（Ｂ）を用いて、上述したズームアウト領域（ＺＯ）とズームイン領域（ＺＩ）について説明する。４００ａ及び４００ｂは被写体追尾枠を示す。図４では、被写体が人物以外のモノで表現されているが、被写体は人物であってもよいものとする。被写体追尾枠は、撮影者が指定した被写体を視認できるように表示部１０９のＥＶＦ上に被写体を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、被写体検出部１２３によって顔情報及び色情報に基づき算出され、フレームレート周期で更新される。図４は被写体とした飛行機が画面外にフレームアウトする場合にフレームアウトを防止する例を示している。

図４（Ａ）では、ＥＶＦで表示される画角全体に対して所定の比率よりも外側の領域をズームアウト領域（ＺＯ）として示している。例えば、画面の中心点を０％、画面全体を１００％とし、画面全体に対して８０％となる位置をＺＯの境界とした場合、８０〜１００％の領域をＺＯとする。この領域に被写体追尾枠４００ａの一部が進入したときに、ズームアウト動作を開始する。

図４（Ｂ）では、ズームアウトした状態においてＦＡズーム枠３００で示されるズームイン画角に対して所定の比率よりも内側の領域をズームイン領域（ＺＩ）として示している。例えば、画面の中心点を０％、ＦＡズーム枠３００で示されるズームイン画角を１００％とし、ズームイン画角に対して７０％となる位置をＺＩの境界とした場合、０〜７０％の領域をＺＩとする。このとき、ズームアウト倍率が例えば１／２倍である場合、ＦＡズーム枠３００は画面全体に対して５０％の大きさとなる。したがって、ＺＩの領域は、画面全体に対して０〜３５％（＝７０％×（１／２））までの領域であるとも言える。撮影者が、ＺＩ内に被写体追尾枠４００ｂが全て収まるようにカメラの向きを変更すると、ズームイン動作を開始する。

次に図５を用いて、本実施形態のオートＦＡズーム機能の処理の概要について説明する。図５はオートＦＡズーム機能の大まかな処理の流れを示すフローチャートである。

ステップＳ５０１でオートＦＡズーム制御部１２２は、オートＦＡズームモードを開始するか否かの判定を行う。判定の方法については後述する。ステップＳ５０１のオートＦＡズーム開始判定がなされるとステップＳ５０２に進む。

ステップＳ５０２でオートＦＡズーム制御部１２２は、ズームアウト開始時の光学ズーム位置及び電子ズーム位置を記憶するとともに、所定の駆動量だけＣＺ制御部１１９もしくは電子ズーム制御部１２０に指令してＦＡズームアウト動作を行う。

ＦＡズームアウト動作が終了するとステップＳ５０３に進み、ＦＡズーム枠制御部１２１は記憶したズーム位置を示すＦＡズーム枠３００を表示部１０９に表示する。ＦＡズーム枠３００を目安として、撮影者は撮影したい被写体を画面中央付近に収めるようにフレーミング操作を行う。そしてステップ５０４に進み、オートＦＡズーム制御部１２２は、記憶したズーム位置まで駆動するようにＣＺ制御部もしくは電子ズーム制御部１２０に指令してＦＡズームイン動作を行い、オートＦＡズームモードを終了する。

次に、図６乃至図９を用いて、図５で示したオートＦＡズーム機能の処理の流れに従って各処理の詳細を説明する。

図６は、ステップＳ５０１のオートＦＡズーム開始判定処理を説明するフローチャートである。ステップＳ６０１でオートＦＡズーム制御部１２２は、操作部１１７のオートＦＡズーム操作スイッチが押下されてオートＦＡズームモードがＯＮになったか否かの判定を行う。オートＦＡズーム操作スイッチが押下されるとステップＳ６０２に進む。

ステップＳ６０２では、焦点調節のモードとして、ＭＦモード、またはＡＦモードのマクロＡＦモードが設定されているか否かを判定する。ＭＦモードかマクロＡＦモードが設定されている場合はステップＳ６０３に進み、いずれも設定されていない場合はステップＳ６０４に進む。ステップＳ６０３では、オートＦＡズーム制御部１２２は、ＭＦモードとマクロＡＦモードを解除する。すなわち、ＭＦモードが設定されている場合は、ＭＦモードを解除してＡＦモードに設定する。また、ＡＦモードのフォーカス可動範囲を通常ＡＦモードのフォーカス可動範囲とする。なお、オートＦＡズームモードがＯＮの間は、ＭＦモードやマクロＡＦモードを設定する操作が行われたとしても、当該操作を無効とする。

オートＦＡズームモードは、移動する被写体を追従することを目的とするモードであり、モード実行中に被写体距離が変化することを想定している。被写体を確実に追従するにはフォーカスを適切に更新する必要があるが、被写体がフレームアウトしそうな状態で迅速に手動でピントを調整することは困難である。そこで、本実施例では、ＭＦモードが設定されている状態でオートＦＡズームモードの実行が指示された場合、ＭＦモードからＡＦモードに切り替える。また、被写体距離がマクロ領域よりも無限側に被写体が移動することが想定されるため、オートＦＡズームモード中はマクロＡＦモードを解除して通常ＡＦモードとする。ステップＳ６０３でＭＦモードとマクロＡＦモードを解除すると、ステップＳ６０４の処理に進む。

ステップＳ６０４では、追尾する被写体（基準被写体）の被写体指定処理を行う。ここで、図７を用いてステップＳ６０４の被写体指定処理について説明する。図７（Ａ）は操作部１１７の部材であるタッチパネルを用いて、表示部１０９に表示された被写体をタッチして指定する操作例のフローチャートを示している。ステップＳ７０１では、タッチパネルが押下されたか否かの判定を行う。タッチパネルが押下された場合にはステップＳ７０２に進み、オートＦＡズーム制御部１２２はタッチされた位置の座標を取得する。

ステップＳ７０３では、オートＦＡズーム制御部１２２はタッチ位置を被写体検出部１２３に通知し、被写体検出部１２３はタッチ位置付近で顔検出を行う。タッチ位置付近に顔を検出した場合には主被写体は人物であると判定しステップＳ７０４へと進む。ステップＳ７０４では、自動追尾の対象である人物の顔情報をメモリ１１８に記憶する。具体的な顔情報としては、被写体指定時の顔のサイズや顔の検出位置、顔の向き等がある。また、顔認証機能を有するカメラにおいては認証ＩＤ等も記憶する。

ステップＳ７０３でタッチ位置付近に顔を検出しなかった場合には、主被写体は人物以外のモノであると判定しステップＳ７０５へと進む。ステップＳ７０５では、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。具体的な色情報としては、被写体指定時の特徴色の色や輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等がある。顔情報及び色情報のことを以降の説明ではまとめて被写体情報（被写体サイズ／被写体検出位置）として説明に用いることとする。

ステップＳ７０４又はＳ７０５で被写体情報を記憶するとステップＳ７０６に進む。ステップＳ７０６では、被写体検出位置を中心に被写体サイズに対応した大きさの被写体追尾枠を表示部１０９に表示すると被写体指定処理が終了となる。図７（Ａ）の方法を用いると、撮影者が追尾したい被写体を直感的な指定方法で簡単に指定することが可能となる。

一方、図７（Ｂ）は、操作部１１７の部材であるオートＦＡズーム操作スイッチとは別のスイッチによって被写体を指定する操作例のフローチャートを示している。ステップＳ７０７でオートＦＡズーム制御部１２２は、表示部１０９の画面中央付近に被写体指定の目安となる枠を表示する。撮影者はこの枠を目安として追尾したい被写体を中央付近に収めるようにカメラの向きを調整する。ステップＳ７０８では、被写体指定用のスイッチが押下されたか否かの判定を行い、被写体指定用スイッチが押下された場合にはステップＳ７０９に進む。ステップＳ７０９で被写体検出部１２３は、画面中央付近で顔検出を行う。

画面中央付近に顔を検出した場合には、主被写体は人物であると判定しステップＳ７１０へと進み、画面中央付近に顔を検出しない場合には、主被写体は人物以外のモノであると判定しステップＳ７１１へと進む。ステップＳ７１０又はＳ７１１で被写体情報を記憶すると、ステップＳ７１２に進み、被写体追尾枠を表示して被写体指定処理が終了となる。

ステップＳ７０９乃至Ｓ７１１の処理については被写体検出を行う領域が画面中央付近となること以外は図７（Ａ）と同様であるため説明を省略する。図７（Ｂ）の方法を用いると、タッチパネルのような操作部材を搭載しないカメラにおいても被写体を簡単に指定することが可能となる。

図７（Ｃ）は、操作部１１７の部材であるオートＦＡズーム操作スイッチが短押しされた時点で検出された顔の中から追尾する被写体を自動で選択する例のフローチャートを示している。ステップＳ７１３で被写体検出部１２３は、画面全体で顔検出を行う。画面全体で一つでも顔を検出した場合には、主被写体は人物であると判定しステップＳ７１４に進む。

ステップＳ７１４で被写体検出部１２３は、検出した顔が一人の場合にはその顔を主顔とし、複数の場合にはその顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準としては、例えば、顔検出位置がより画面中央付近にいるものを選択する方法や、同程度の位置であれば顔サイズが大きいものを主顔として選択する方法がある。また、顔認証機能を有するカメラにおいては認証登録されている顔がある場合には、その顔を優先して主顔としてもよい。

ステップＳ７１５では、選択された主顔の顔情報をメモリ１１８に記憶する。ステップＳ７１５で顔情報を記憶するとステップＳ７１６に進み、被写体追尾枠（顔追尾枠）を表示する。ステップＳ７１７では、複数の顔から自動で選択された主顔が撮影者の意図しない顔である場合に撮影者が主顔を変更することが可能である。このとき、操作部１１７のスイッチ（オートＦＡズーム操作スイッチでも他のスイッチでもよい）を押下すると、検出された顔の中から主顔として選択されなかった顔に主顔を変更する。主顔が変更された場合には再度ステップＳ７１５に進み、記憶する顔情報を更新するとともに、ステップＳ７１６で被写体追尾枠（顔追尾枠）を新たに選択された主顔のサイズ及び検出位置に変更する。

ステップＳ７１３にて画面全体で顔を検出しない場合には、主被写体は人物以外のモノであると判定しステップＳ７１８へと進む。ステップＳ７１８では、画面中央付近の特徴色を自動追尾対象の色情報としてメモリ１１８に記憶する。さらに、ステップＳ７１８でモノ情報を記憶するとステップＳ７１９に進み、被写体追尾枠（モノ追尾枠）を表示して被写体指定処理が終了となる。

ステップＳ７１５、Ｓ７１６、Ｓ７１８、Ｓ７１９の処理については、被写体検出を行う領域が顔の場合には画面全体、色の場合には画面中央付近となること以外は図７（Ａ）と同様であるため説明を省略する。図７（Ｃ）の方法を用いると、より少ない操作回数で被写体を簡単に指定することが可能となる。

被写体指定処理を終了すると、図６のステップＳ６０５へと進む。ステップＳ６０５乃至Ｓ６０７では、被写体指定時に指定した基準となる被写体情報と、周期的に検出する被写体情報とをもとにＦＡズームを開始するか否かの判定を行う。ＦＡズーム開始の条件を満たすまで所定の制御周期でこの判定が繰り返される。

ステップＳ６０５で被写体検出部１２３は、画面全体の中から基準被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔が、モノである場合には同一の特徴色が検出されたか否かを判定する。追尾する被写体が検出されなかった場合にはステップＳ６０４へ戻り、再度被写体指定処理を行う。一方、追尾する被写体が検出された場合にはステップＳ６０６へ進む。ステップＳ６０６では、追尾する被写体の被写体追尾枠がズームアウト領域ＺＯに含まれる、すなわち、被写体が画面周辺付近にありフレームアウトする恐れがある場合にはステップＳ６０８に進み、ＦＡズームの開始が判定される。

一方、ステップＳ６０６で被写体追尾枠がズームアウト領域に含まれていない、すなわち、画面中央付近で被写体を捉えられている場合には、ステップＳ６０７に進む。ステップＳ６０７では、基準被写体情報の被写体サイズ（基準サイズ）とステップＳ６０５で検出した被写体サイズとの比較を行う。ステップＳ６０５で検出した被写体サイズが基準の被写体サイズに対して所定倍を超えて大きく変化した場合にはステップＳ６０８に進み、ＦＡズームの開始が判定される。ステップＳ６０８でＦＡズームの開始判定がなされると、図５のステップＳ５０２に進み、ＦＡズームアウト動作を開始する。一方、ステップＳ６０５で検出した被写体が画面中央付近でかつ被写体サイズが基準の被写体サイズに対して所定倍以内である場合には、再度ステップＳ６０５に進み、被写体の検出を判定する。

図８は、図５のステップＳ５０２で示されるＦＡズームアウト動作の処理を説明するフローチャートである。ステップＳ８０１でオートＦＡズーム制御部１２２は、撮影準備状態での光学ズーム位置をＣＺ制御部１１９から取得し、電子ズーム位置を電子ズーム制御部１２０から取得する。さらにオートＦＡズーム制御部１２２は、光学ズーム位置及び電子ズーム位置のデータをメモリ１１８に記憶する。なお、光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表し、電子ズーム位置は電子ズーム機能によって変更可能な画像拡大及び縮小の倍率に相当する制御位置を表す。

次に、ステップＳ８０２でオートＦＡズーム制御部１２２は、メモリ１１８に記憶しているズームアウト駆動量を取得する。ここで取得するズームアウト駆動量は、検出された被写体のサイズに応じて設定される。具体的には、被写体のサイズが小さいほどズームアウト駆動量は小さく設定される。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにする。また、ズームアウト駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。

次に、ステップＳ８０３でオートＦＡズーム制御部１２２は、撮影準備状態でのズーム状態が電子ズーム状態であるか否かを判定する。一般的なズーム操作では、操作部１１７のズーム操作スイッチが押下されると、光学ズーム位置がワイド端からテレ端の間である場合には、ＣＺ制御部１１９の制御下で光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合には電子ズーム制御部１２０が電子ズームを駆動させることで超望遠撮影が可能となる。ズーム操作スイッチの操作によるズーム動作とオートＦＡズーム動作との整合性を取るために、オートＦＡズーム動作においても、撮影準備状態でのズーム位置が電子ズーム状態の場合には電子ズームを先に駆動させる。つまり、メモリ１１８に記憶した時点でのズーム位置が優先すべきズーム状態でのズーム領域内にあるか否かが判定され、本例では電子ズームが優先されるので、ステップＳ８０３ではズーム位置が電子ズーム位置にあるか否かが判定される。

オートＦＡズーム開始時のズーム状態が電子ズーム状態であった場合には、ステップＳ８０４に処理を進める。ステップ８０４でオートＦＡズーム制御部１２２は、ステップＳ８０１で取得した電子ズーム位置とステップＳ８０２で取得したズームアウト駆動量から電子ズームのズームアウト位置を算出し、電子ズーム制御部１２０に設定する。ステップＳ８０５でオートＦＡズーム制御部１２２は、電子ズーム制御部１２０に対して、ステップＳ８０４で設定した電子ズームのズームアウト位置まで変倍処理を行うよう指示する。電子ズーム制御部１２０は電子ズームによるズームアウト動作を行う。

ステップＳ８０３で撮影準備状態でのズーム位置が光学ズーム領域にあると判定された場合や、ステップ８０５にて電子ズームのズームアウト動作が行われた後、ステップＳ８０６に進む。ステップＳ８０６でオートＦＡズーム制御部１２２は、さらに光学ズームによるズームアウトが必要であるか否かを判断する。つまり、電子ズームだけでは、設定したズームアウト駆動量のズーム駆動に十分でない場合、残りのズームアウト駆動量を光学ズームで補う必要がある。光学ズームによるズームアウトが必要と判断された場合にはステップＳ８０７に進む。ステップＳ８０７でオートＦＡズーム制御部１２２は、光学ズーム位置とズームアウト駆動量から光学ズームのズームアウト位置を算出し、ＣＺ制御部１１９に設定する。

ステップＳ８０８でオートＦＡズーム制御部１２２は、ＣＺ制御部１１９に対して、ステップＳ８０７で設定した光学ズームのズームアウト位置までズーム駆動するように指示する。ＣＺ制御部１１９はズームレンズ駆動部１１３を制御し、光学ズームのズームアウト動作を行う。

以上説明したＦＡズームアウト動作が終了すると、図５のステップＳ５０３に進む。ステップＳ５０３でオートＦＡズーム制御部１２２は、ズーム戻り位置に対応するＦＡズーム枠の表示をＦＡズーム枠制御部１２１に指示する。オートＦＡズームモードにおいて、現在の画角に対して所定倍率望遠側のズーム位置をズーム戻り位置としてメモリ１１８に記憶するとともに、それに対応する画角をＦＡズーム枠として表示する。ＦＡズーム枠を表示すると、被写体探索状態として、ステップＳ５０４のＦＡズームイン動作に進む。

図９は、図５のステップＳ５０４で示されるＦＡズームイン動作の処理を説明するフローチャートである。ステップＳ９０１でオートＦＡズーム制御部１２２は、撮影者によりオートＦＡズームモードをキャンセルする操作が行われたか否かを判定する。なお、本実施形態では、オートＦＡズームモード中にオートＦＡズーム操作スイッチが押下されるとキャンセルされたと判定し、処理が終了となる。オートＦＡズームモードがキャンセルされなければ、ステップＳ９０２に進む。

ステップＳ９０２でオートＦＡズーム制御部１２２は、被写体追尾枠がＦＡズーム枠内に包含されているか否かを判定する。被写体追尾枠がＦＡズーム枠内に包含されている場合はステップＳ９０３へ進み、包含されていない場合はステップＳ９０１へ戻る。本実施形チアでは、被写体追尾枠がＦＡズーム枠の完全に含まれる場合にズームイン動作を行うが、被写体追尾枠のうち所定比率以上の領域がＦＡズーム枠に含まれる場合にズームイン動作を行ってもよい。

ステップＳ９０３でオートＦＡズーム制御部１２２は、図８のステップＳ８０１で記憶したズーム位置のデータをメモリ１１８から読み込む。ステップＳ９０４でオートＦＡズーム制御部１２２は、被写体探索状態でのズーム状態が光学ズーム状態であるか否かを判定する。光学ズーム状態の場合は、光学ズームを優先してズームインを行うためにステップＳ９０５に処理を進める。一方、光学ズーム状態でない場合（電子ズーム状態の場合）は、電子ズームのみでズームインを行うためにステップＳ９０７に処理を進める。

ステップＳ９０５でオートＦＡズーム制御部１２２は、ステップＳ９０３で読み込んだズーム戻り位置のうち、光学ズームによるズームイン位置をＣＺ制御部１１９に設定する。ステップＳ９０６でオートＦＡズーム制御部１２２は、ＣＺ制御部１１９に対して、ステップＳ９０５で設定した光学ズームによるズームイン位置までズームレンズ１０２を駆動するように指示する。ＣＺ制御部１１９はズームレンズ駆動部１１３を制御して、光学ズームでのズームイン動作を行う。

ステップＳ９０７でオートＦＡズーム制御部１２２は、さらに電子ズームによるズームインが必要か否かを判断する。電子ズームによるズームインが必要な場合にはステップＳ９０８に進み、電子ズームによるズームインが不要な場合には本フローを終了する。

ステップＳ９０８でオートＦＡズーム制御部１２２は、ステップＳ９０３で読み込んだズーム戻り位置のうち、電子ズームによるズームイン位置を電子ズーム制御部１２０に設定する。ステップＳ９０９でオートＦＡズーム制御部１２２は、電子ズーム制御部１２０に対して、ステップＳ９０８で設定した電子ズームによるズームイン位置まで変倍処理を行うように指示する。電子ズーム制御部１２０は電子ズームイン動作を行い、これによってズーム戻り位置へと復帰する。外動作が終了すると、本フローを終了する。

以上説明したように、本実施形態によれば、自動ズームにより被写体を画面内に捉えるオートＦＡズームモードの実行が指示された場合、ＭＦモードとマクロＡＦモードを解除する。これにより、オートＦＡズームモード実行前に設定されていたフォーカスモードに関わらず、撮影者が特別な操作を必要とすることなく、適切なフォーカス制御で自動ズームを行うことができる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記憶した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０２ ズームレンズ
１０３ フォーカスレンズ
１０６ 撮像素子
１０９ 表示部
１１２ フォーカスレンズ駆動部
１１３ ズームレンズ駆動部
１１４ システム制御部
１１７ 操作部
１１９ ＣＺ制御部
１２０ 電子ズーム制御部
１２２ オートＦＡズーム制御部
１２３ 被写体検出部

Claims (12)

1. 画像から被写体を検出する被写体検出手段と、
   被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するようにズーム倍率を制御するオートズームモードを実行可能なズーム制御手段と、
   第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御手段と、
   前記フォーカスレンズの位置を手動で変更するための操作部材とを有し、
   前記操作部材を介した操作に応じて前記フォーカスレンズの位置が変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御手段は、フォーカスモードを前記第２のフォーカスモードから前記第１のフォーカスモードに切り替え、前記オートズームモードの解除が指示されるまで第１のフォーカスモードを継続することを特徴とするズーム制御装置。
2. 前記ズーム制御手段は、ズームレンズの移動によりズーム倍率を変更することを特徴とする請求項１に記載のズーム制御装置。
3. 前記ズーム制御手段は、画像の切り出しによる電子ズームによってズーム倍率を変更することを特徴とする請求項１又は２に記載のズーム制御装置。
4. 画像から被写体を検出する被写体検出手段と、
   被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するように電子ズームのズーム倍率を制御するオートズームモードを実行可能なズーム制御手段と、
   第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御手段と、
   前記フォーカスレンズの位置を手動で変更するための操作部材とを有し、
   前記操作部材を介した操作に応じて前記フォーカスレンズの位置が変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御手段は、前記第２のフォーカスモードから前記第１のフォーカスモードに切り替えることを特徴とするズーム制御装置。
5. 前記第１のモードにおいて、前記フォーカスレンズの可動範囲が第１の範囲に設定された状態で前記所定の動作の実行が指示された場合、前記フォーカス制御手段は、前記フォーカスレンズの可動範囲を前記第１の範囲より無限遠側を含む第２の範囲に設定することを特徴とする請求項１乃至４のいずれか１項に記載のズーム制御装置。
6. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が画面内に設定された第１の領域外に含まれる場合、広角側へズーム倍率を変更するよう制御することを特徴とする請求項１乃至５のいずれか１項に記載のズーム制御装置。
7. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体が前記第１の領域外に含まれる場合、ズーム倍率を広角側の第１のズーム倍率に変更するよう制御するとともに、変更前のズーム倍率を第２のズーム倍率に設定し、前記第１のズーム倍率において、前記被写体検出手段により検出された被写体が画面内の第２の領域内に包含される場合、ズーム倍率を前記第２のズーム倍率に変更するよう制御することを特徴とする請求項６に記載のズーム制御装置。
8. 前記ズーム制御手段は、前記被写体検出手段により検出された被写体のサイズが基準サイズに対して所定倍を超えて大きく変化した場合、広角側へズーム倍率を変更するよう制御することを特徴とする請求項１乃至７のいずれか１項に記載のズーム制御装置。
9. 操作部材を備えたズーム制御装置の制御方法であって、
   画像から被写体を検出する被写体検出ステップと、
   被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するようにズーム倍率を制御するオートズームモードを実行するズーム制御ステップと、
   第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御ステップとを有し、
   前記操作部材を介した操作に応じて前記フォーカスレンズの位置が手動で変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御ステップにおいて、フォーカスモードを前記第２のフォーカスモードから前記第１のフォーカスモードに切り替え、前記オートズームモードの解除が指示されるまで第１のフォーカスモードを継続されることを特徴とするズーム制御装置の制御方法。
10. 操作部材を備えたズーム制御装置の制御方法であって、
    画像から被写体を検出する被写体検出ステップと、
    被写体検出手段により検出された被写体の位置または大きさに基づいて、画面内における被写体の位置または大きさを維持するように電子ズームのズーム倍率を制御するオートズームモードを実行するズーム制御ステップと、
    第１のフォーカスモードにおいて、画像から得られた焦点信号に基づいてフォーカスレンズの位置を制御するフォーカス制御ステップとを有し、
    前記操作部材を介した操作に応じて前記フォーカスレンズの位置が手動で変更される第２のフォーカスモードが設定された状態で前記オートズームモードの実行が指示された場合、前記フォーカス制御ステップにおいて、フォーカスモードを前記第２のフォーカスモードから前記第１のフォーカスモードに切り替えることを特徴とするズーム制御装置の制御方法。
11. 請求項９または１０に記載のズーム制御装置の制御方法をコンピュータに実行させるように構成されていることを特徴とするズーム制御装置の制御プログラム。
12. 請求項９または１０に記載のズーム制御装置の制御プログラムを記憶していることを特徴とする記憶媒体。

Images