JP7204622B2 - ズーム制御装置およびその制御方法 - Google Patents

Description

本発明は、ズーム制御装置およびその制御方法に関する。

ズームレンズは、レンズを交換することなく、かつ連続的に画角を変化させることができるため、撮像装置を代表とする光学装置に広く用いられている。しかしながら、ズームレンズは、合焦可能な距離範囲、特に合焦可能な最短距離（最短撮影距離）が画角（焦点距離）に応じて変化する。そのため、例えば、広角端での最短撮影距離に合焦した状態で望遠端にズームすると、途中から合焦しなくなる。ズーム中に画像がぼけることは特に動画撮影時に問題となる。

特許文献１には、ズームレンズの現在の焦点距離に応じて、合焦可能な距離範囲（被写体までの距離の範囲）を数値や指標によって表示することにより、合焦不能な距離の被写体に対してユーザが合焦操作することを回避させるカメラ装置が記載されている。

特開２００６－４７６０２号公報

特許文献１に記載された技術は、合焦可能な距離範囲を示すものであって、合焦可能なズーム倍率の範囲は考慮されていない。特許文献１では、現在合焦していない被写体について、どの程度までズームアップしても合焦させることが可能なのかを知ることはできない。

本発明は上記課題に鑑み、特定の被写体について、ズームすることによって合焦させることができなくなることを抑制するズーム制御装置およびその制御方法を提供することを目的とする。

上述の目的は、特定の被写体に対応する焦点検出領域についてのデフォーカス量を取得する取得手段と、ズーム指示に応じて光学ズームするように制御する制御手段と、取得手段が取得したデフォーカス量に基づき、特定の被写体に合焦していない状態においても、特定の被写体に合焦させることが可能な限界の光学ズーム位置である限界位置を示す表示を表示手段に表示するように制御する表示制御手段と、を有することを特徴とする、ズーム制御装置によって達成される。

本発明によれば、特定の被写体について、ズームすることによって合焦させることができなくなることを抑制することができる。

本発明の実施形態に係るズーム制御装置を適用した撮像装置の機能構成例を示すブロック図 同一の被写体距離に合焦するフォーカスレンズの位置と変倍レンズの位置との関係を示した図 第１実施形態における限界ズーム倍率の表示動作に関するフローチャート 第１実施形態における限界ズーム倍率の表示例に関する図 第２実施形態におけるズーム制御動作に関するフローチャート

添付図面を参照して、本発明を例示的な実施形態に基づいて詳細に説明する。なお、ここでは本発明に係るズーム制御装置をデジタルカメラのような撮像装置に適用した実施形態について説明する。しかし、本発明はズームレンズのズームアップ（ズームイン）およびズームダウン（ズームアウト）を指示が可能な任意の電子機器に適用可能である。このような電子機器には、デジタル（ビデオ）カメラ、監視または観測カメラシステム、カメラ付きインターフォンシステムをはじめ、コンピュータ機器、携帯電話機、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。また、撮影機能は必須でなく、望遠鏡、顕微鏡などにも適用可能である。以下において被写体と記載しているものは、撮影機能を有さない望遠鏡や顕微鏡などの装置においては、撮影の対象ではなく、画角内の観測対象と言うことができる。なお、ここで列挙したシステムや機器は単なる例示であり、本発明を適用可能な対象を限定するものではない。

＜第１実施形態＞
＜装置の構成＞
図１は、本発明の実施形態に係る撮像装置１００の機能構成例を示すブロック図である。レンズユニット１０１は、第１固定レンズ１０２、変倍レンズ１０３、絞り１０４、第２固定レンズ１０５、フォーカスレンズ１０６、変倍レンズ駆動部１０７、およびフォーカスレンズ駆動部１０８を有する。レンズユニット１０１は防振レンズなど、他のレンズを含んでもよい。第１固定レンズ１０２、変倍レンズ１０３、第２固定レンズ１０５、フォーカスレンズ１０６はそれぞれ１枚または複数枚のレンズにより構成される。レンズユニット１０１は焦点距離が可変のズームレンズであり、撮像装置１００と一体であっても、撮像装置１００の本体から着脱可能な交換レンズであってもよい。

レンズユニット１０１が有するレンズのうち、変倍レンズ１０３およびフォーカスレンズ１０６は光軸方向の所定範囲内で移動可能に構成されている。変倍レンズ駆動部１０７は、変倍レンズ１０３を光軸方向に移動させ、レンズユニット１０１の焦点距離を光学的に変化させる光学ズーム機能を実現する。また、フォーカスレンズ駆動部１０８は、フォーカスレンズ１０６を光軸方向に移動させ、レンズユニット１０１が合焦する被写体距離を調節する焦点調節機能や、光学ズームに伴う焦点面の移動を補正する補正機能を実現する。

変倍レンズ駆動部１０７およびフォーカスレンズ駆動部１０８はそれぞれ、駆動対象のレンズを駆動するためのアクチュエータ（ステッピングモータ、ＤＣモータ、振動型モータ、およびボイスコイルモータなど）を有する。また変倍レンズ駆動部１０７およびフォーカスレンズ駆動部１０８は、駆動対象のレンズの位置を検出するための回路（センサなど）も有する。

透過ミラー１２５は光束を２つに分岐し、光束を撮像素子１０９および測距センサ１２６へ結像させることができる。
測距センサ１２６は例えば位相差センサであり、入射した光束を２つに分岐して位相差センサに結像させ、２つの画像の間隔からピントがずれている方向と量（デフォーカス量）を求めることができる。システム制御部１１４は、フォーカスレンズ駆動部１０８を制御し、フォーカスレンズ１０６を、デフォーカス量に基づく方向および量、現在位置から移動させて、位相差検出方式の自動焦点検出（オートフォーカス、ＡＦ）を実現する。
透過ミラー１２５および測距センサ１２６は、レンズユニット１０１に含まれていてもよく、撮像装置１００とレンズユニット１０１の間に装着する所謂マウントアダプターであってもよい。

撮像素子１０９は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、２次元配置された複数の画素や、画素が有する光電変換部が蓄積した電荷を電圧に変換して読み出すための垂直および水平走査回路、タイミングジェネレータなどを有する。撮像素子１０９は、レンズユニット１０１が形成する被写体の光学像を複数の画素によって電気信号群に変換してアナログ画像信号として出力する。なお、撮像素子１０９がＡ／Ｄ変換機能を有してもよい。

なお、本実施形態の撮像素子１０９は、画素ごとに１つのマイクロレンズと、水平または垂直方向に分割された２つの光電変換部を有する。そして、光電変換部ごとに信号を読み出すことができる。

撮像素子１０９から読み出された画像信号は、画像処理部１１０に入力される。画像処理部１１０は、画像信号に対し、Ａ／Ｄ変換、ノイズ抑制、ホワイトバランス調整、画素補間（デモザイキング）、リサイズ、色変換、階調補正、符号化、復号などの画像処理を適用する。また、画像処理部１１０は、画像データに対し、顔や人体といった特定の被写体が含まれる領域の検出や認識、追尾といった処理を適用してもよい。画像処理部１１０は、処理を適用した画像データをメモリ制御部１１１に出力する。メモリ制御部１１１は画像データをメモリ１１２に格納する。

また、画像処理部１１０は、画像データから自動焦点検出（ＡＦ）や自動露出制御（ＡＥ）に用いる評価値を生成し、システム制御部１１４に供給することができる。これら評価値を用いてシステム制御部１１４は、ＡＦおよび／またはＡＥ処理を実行することができる。例えば画像処理部１１０は、複数の画素から読み出した信号に基づいて、一方の光電変換部の信号群と、他方の光電変換部の信号群とを取得し、１対の像信号を生成する。画像処理部１１０は、この１対の像信号からレンズユニット１０１のデフォーカス量を求め、ＡＦ評価値としてシステム制御部１１４に出力する。システム制御部１１４は、フォーカスレンズ駆動部１０８を制御し、フォーカスレンズ１０６を、デフォーカス量に基づく方向および量、現在位置から移動させて、位相差検出方式の自動焦点検出（ＡＦ）を実現する。すなわち、システム制御部１１４は、いわゆる撮像面位相差ＡＦを実施することができる。撮像面位相差ＡＦの詳細については、例えば特開２０１０－２８３９７号公報に開示されている。

あるいは、画像処理部１１０は、撮像素子１０９から得られる画像信号についてコントラスト評価値を生成し、ＡＦ評価値としてシステム制御部１１４に出力することができる。システム制御部１１４は、フォーカスレンズ駆動部１０８を制御し、フォーカスレンズ１０６の複数の位置に対するコントラスト評価値を取得し、コントラスト評価値が最大となるフォーカスレンズ１０６の位置を探索する。これにより、システム制御部１１４は、コントラスト方式のＡＦを実現することもできる。

画像処理部１１０はまた、画像の一部を抽出したり拡大したりすることにより、電子ズーム機能を実現する。画像処理部１１０は、システム制御部１１４の指示に基づいて、メモリ１１２に格納されている画像データの部分領域を抽出し、さらに必要に応じて拡大処理を適用することによって電子ズーム機能を実現することができる。なお、抽出する領域の大きさをフレームごとに徐々に拡大または縮小することにより、滑らかな電子ズーム効果を得ることができる。

メモリ制御部１１１は、メモリ１１２に対するアクセスを制御する。メモリ１１２は、画像処理部１１０で処理する画像データ、処理中の画像データ、処理済みの画像データや、表示部１１３に表示するための画像データなどを格納するために用いられる。メモリ１１２は、所定時間分の動画および音声データと、その付属データ（座標など）を格納できる記録容量を有する。また、メモリ１１２はＯＳＤ表示用のフレームバッファおよび画像表示用のフレームバッファを兼ねている。システム制御部１１４または画像処理部１１０は、不揮発性メモリ１１７に記憶されているアイコンなどのＧＵＩパーツの画像データや、設定値や各種の情報などを表す画像データを、メモリ１１２のＯＳＤ表示用のフレームバッファの所定位置に書き込む。画像表示用のフレームバッファの内容とＯＳＤ表示用のフレームバッファの内容を合成した画像のビデオ信号を表示部１１３で表示することにより、例えば撮影中の動画にＧＵＩパーツや設定値などが重畳された表示がなされる。

表示部１１３は、ＬＣＤなどの表示装置を有し、メモリ１１２のフレームバッファに記憶されたデータからビデオ信号を生成し、表示装置で表示する。表示部１１３はタッチパネル機能を備えたタッチディスプレイであってもよい。動画像を撮影しながら表示部１１３に順次表示することで、表示部１１３をＥＶＦとして機能させることができる。表示部１１３で表示可能な情報に特に制限はないが、変倍レンズ１０３の光学ズーム倍率またはレンズユニット１０１の焦点距離や、焦点検出領域を示すＡＦ枠、後述する、合焦可能な距離範囲を示すＧＵＩなどがある。なお、表示部１１３とは別に、あるいは表示部１１３の代わりに、例えば外部Ｉ／Ｆ１２３を通じて通信可能な外部の表示装置に表示を行ってもよい。この場合、外部の表示装置に送信するデータは、表示用の画像データであってもよいし、ビデオ信号であってもよい。

不揮発性メモリ１１７は、電気的に消去・記録可能なＥＥＰＲＯＭなどであってよい。不揮発性メモリ１１７には、システム制御部１１４が実行するプログラム、プログラムの実行に必要な定数、設定値、ＧＵＩデータ、撮像装置１００の固有情報などが記憶される。

システム制御部１１４は、少なくとも１つのプログラマブルプロセッサまたは少なくとも１つの回路を有する。システム制御部１１４は、不揮発性メモリ１１７に記録されたプログラムをシステムメモリ１１６にロードして実行することにより、撮像装置１００の各部や、接続された外部装置の動作を制御する。本実施形態に係るズーム制御装置はシステム制御部１１４が実現する。システムメモリ１１６は、例えばＲＡＭであり、システム制御部１１４が実行するプログラムやプログラムを実行するため定数、変数などを記憶する。システムメモリ１１６とメモリ１１２とは同じメモリ空間の別領域であってもよい。システムタイマー１１５は内蔵時計の時刻を取得したり、経過時間を計測したりする。

電源制御部１１８は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを有する。電源制御部１１８は、電池やＡＣアダプタの装着状態、電池の種類、電池残量など、電源部１１９に関する情報を検出する。また、電源制御部１１８は電源部１１９に関する検出結果およびシステム制御部１１４の指示に基づいてＤＣ－ＤＣコンバータを制御し、電力の供給先や供給する電圧などを制御する。電源部１１９は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタなどであってよい。

操作部１２０は、ユーザからの操作を受け付ける入力部材の総称である。操作部１２０が有する代表的な入力部材としてはボタン、キー、ダイヤル、タッチセンサ、レバー、スライドスイッチ、ジョイスティック、回転リングなどがあるが、これらに限定されない。操作部１２０が有する入力部材は、割り当てられた機能により、メニューボタン、方向キー、決定ボタン、戻る（キャンセル）ボタン、シャッタボタン、動画撮影ボタン、電源スイッチなどとして用いられる。

ズームレバー１２１およびタッチパネル１２２は、操作部１２０が含む操作部材の例である。ズームレバー１２１はレンズユニット１０１の倍率変更指示を入力する機能が割り当てられたレバーである。タッチパネル１２２は例えば表示部１１３に設けられてもよいし、表示部１１３とは別個に設けられてもよい。システム制御部１１４は、タッチパネル１２２に物体が接している（あるいは近接している）１つ以上の位置の座標を検出することができる。そのため、タッチパネル１２２は表示部１１３に表示される画像と組み合わせて所謂ソフトウェアスイッチを実現することができる。また、システム制御部１１４は、タッチパネル１２２に物体が接している位置の変化や接触状態の変化に基づいて、タッチパネル１２２に対するタップ、スライド、ピンチといったタッチ操作（ジェスチャ）を認識することができる。そして、認識可能なタッチ操作および／またはその組み合わせに対して、様々な機能を割り当てることできる

システム制御部１１４は、操作部１２０に含まれる入力部材の操作を検出すると、その時点でその操作に割り当てられている機能を実現するように各部を制御する。例えば、メニュー表示機能が割り当てられたボタン（メニューボタン）が押されると、システム制御部１１４は、各種の設定を行うためのメニュー画面を表示部１１３に表示させる。ユーザは、メニュー画面を見ながら、方向ボタンや決定ボタン、戻るボタンなどを用い、各種の設定を行うことができる。

なお、ある機能をどのような入力部材に割り当てるかは適宜定めることができる。例えば、ここではズーム指示の入力機能をレバーに割り当てたが、２方向に回転可能なダイヤルやリングに割り当ててもよい。リングは例えばレンズユニット１０１の外周に沿って回転可能に形成され、回転量、回転方向、回転速度をシステム制御部１１４が検知可能な入力部材であってよい。また、ズームインの指示入力機能と、ズームアウトの指示入力機能とを別個の入力部材に割り当ててもよい。また、タッチパネル１２２と表示部１１３の表示とを組み合わせて実現するスライドスイッチや、タッチパネル１２２に対する特定のジェスチャ（例えば特定方向のスライド操作）にズームインおよびズームアウトの指示入力機能を割り当ててもよい。また、入力部材の操作量や操作速度を、ズームインやズームアウトの速度に関連づけてもよい。

外部Ｉ／Ｆ１２３は、撮像装置１００を外部装置と有線または無線によって接続するためのインタフェースである。例えばＨＤＭＩ（登録商標）、ＬＡＮＣ（登録商標）、ＵＳＢ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった、さまざまな規格に準拠した１つ以上のインタフェースであってよい。あるいは、コンポジットビデオ信号の入出力インタフェースであってもよい。

外部Ｉ／Ｆ１２３を通じて通信可能な外部装置から受信した信号やコマンドに基づいて、システム制御部１１４が各部を制御することにより、外部装置から撮像装置１００を遠隔操作することを可能にする。遠隔操作可能な機能にはレンズユニット１０１のズーム機能も含まれる。また、システム制御部１１４が、メモリ１１２内のフレームバッファに格納されている表示画像データもしくは表示画像データに基づくビデオ信号を外部Ｉ／Ｆ１２３を通じて外部装置に出力して、外部装置において後述する画面表示を実現することができる。外部Ｉ／Ｆ１２３には、撮像装置１００とレンズユニット１０１を有線または無線によって接続する場合のインタフェースも含まれる。

また、外部Ｉ／Ｆ１２３にはマウスやトラックパッドなどのポインティングデバイスを接続することもできる。この場合、接続されたポインティングデバイスは操作部１２０が有する入力デバイスの１つとして扱うことができる。例えば、システム制御部１１４は、外部Ｉ／Ｆ１２３にポインティングデバイスが接続された場合、マウスカーソルを表示画像に含める。そして、システム制御部１１４は、クリックやタップ操作の検出時におけるマウスカーソルの位置に応じた動作を実行することができる。

記録媒体１２４は、撮影で得られた静止画、動画（および音声）などのデータの記録先として用いられる。記録媒体１２４はメモリカードの様に撮像装置１００から取り外し可能な媒体でも、不揮発性メモリ１１７の一部のように、撮像装置１００から取り外し不能な媒体でもよい。記録媒体１２４に記録された静止画や動画のデータは、メモリ１１２に一旦読み込まれた後、必要に応じて画像処理部１１０で復号されたのち、表示部１１３に表示される。

＜ズームレンズ及びフォーカスレンズの動作領域＞
図２は、複数の被写体距離について、レンズユニット１０１が合焦する際のフォーカスレンズ１０６の位置と変倍レンズ１０３の位置（レンズユニット１０１の焦点距離）との関係を示した図である。横軸は変倍レンズ１０３の可動範囲を示している。レンズユニット１０１の焦点距離が最小になる（画角が最大になる）変倍レンズ１０３の位置が広角端、レンズユニット１０１の焦点距離が最大になる（画角が最小になる）変倍レンズ１０３の位置が望遠端である。また、縦軸はフォーカスレンズ１０６の可動範囲を示し、レンズユニット１０１の合焦距離を小さくする方向の移動限界が至近端、レンズユニット１０１の合焦距離を大きくする方向の移動限界が無限端である。

Ｌ１～Ｌ５は、それぞれ被写体距離が無限遠、１ｍ、７０ｃｍ、４０ｃｍ、１ｃｍであるときに、レンズユニット１０１が合焦するフォーカスレンズ位置と、変倍レンズ１０３の位置との組み合わせを示している。Ｌ１およびＬ２は、実線が変倍レンズ１０３の可動域全体に存在する。これは、無限遠から１ｍまでの距離範囲の被写体については、画角（焦点距離）によらず、合焦させることが可能であることを示している。つまり、無限遠から１ｍまでの距離範囲の被写体については、どのような画角であっても合焦状態を維持できる。

一方、Ｌ３からＬ５は、望遠端よりも手前で実線が途切れている。これは、被写体距離が７０ｃｍ以下の場合、広角端で被写体に合焦させて、連続的にズームアップした場合、途中から被写体がボケることを意味する。ただし、被写体距離が７０ｃｍの場合には、望遠端付近で再び合焦可能な範囲が存在する。ここでは、実線が途切れている変倍レンズ１０３の位置範囲（レンズユニット１０１の焦点距離の範囲）を、デフォーカス領域と呼ぶ。

また、デフォーカス領域の広角端に対応する変倍レンズ１０３の位置、同一距離に合焦できなくなるズーム倍率の最小値、または広角端からの拡大ズーム時に同一距離に合焦した状態を維持できる最大のズーム倍率を最小限界ズーム倍率とよぶ。最小限界ズーム倍率（ズームインの限界位置）は、測距対象の被写体に合焦した状態を維持できるズーム位置からの光学ズーム駆動中（ズームイン駆動中）に、デフォーカス領域に入る前のデフォーカス領域との境界の光学ズーム位置である。

さらに、デフォーカス領域の望遠端に対応する変倍レンズ１０３の位置、同一距離に合焦できなくなるズーム倍率の最大値、または望遠端からの縮小ズーム時に同一距離に合焦した状態を維持可能な最小のズーム倍率を最大限界ズーム倍率と呼ぶ。最大限界ズーム倍率（ズームアウトの限界位置）は、測距対象の被写体に合焦した状態を維持できるズーム位置からの光学ズーム駆動中（ズームアウト駆動中）に、デフォーカス領域に入る前のデフォーカス領域との境界の光学ズーム位置である。

図２の例で最大限界ズーム倍率が存在するのは、Ｌ３（被写体距離７０ｃｍ）の場合のみである。また、ある被写体距離についての最小限界ズーム倍率と最大限界ズーム倍率をまとめて合焦限界ズーム倍率（限界位置）と呼ぶ。最大限界ズーム倍率が存在しない場合には、最小限界ズーム倍率と合焦限界ズーム倍率は同一である。

なお、図２に示す関係を表す情報を例えば不揮発性メモリ１１７に記憶しておくことができる。例えば、変倍レンズ１０３の位置と、フォーカスレンズ１０６の位置との組み合わせごとに、合焦する被写体距離を記憶しておくことができる。あるいは、変倍レンズ１０３の位置と、フォーカスレンズ１０６の位置とを変数として被写体距離を算出する関数を記憶してもよい。他の方法で記憶してもよい。

＜最小／最大限界ズーム倍率の表示＞
次に、システム制御部１１４が実施する、限界ズーム倍率の表示制御動作について図３のフローチャートを用いて説明する。以下に説明する表示制御動作は、不揮発性メモリ１１７に記憶されたプログラムをシステムメモリ１１６にロードしてシステム制御部１１４が実行することで実現される。なお、以下の説明における「ズーム倍率」は、「変倍レンズ１０３の位置」または「レンズユニット１０１の焦点距離」と読み替えることができる。

図３に示す表示制御動作は、表示部１１３（および／または外部表示装置）にライブビュー（ＬＶ）画像を表示している状態（撮影スタンバイ時および動画記録中）に実行することができるが、例えばユーザ設定に応じた他の状態で実行してもよい。

撮像装置１００を起動すると、システム制御部１１４は撮影スタンバイ状態の動作を実行する。撮影スタンバイ状態においてシステム制御部１１４は、撮像素子１０９による撮像を行い、画像処理部１１０で表示用データを生成させてメモリ１１２に順次格納し、表示部１１３にライブビュー画像を表示する。

ユーザは、図示しないメニュー画面から所望の項目を選択することや、操作部１２０に含まれるタッチパネル１２２などにより所望の座標位置を指定すること等により、本フローチャートにおける動作条件を予め設定する。

Ｓ１０１では、システム制御部１１４は、被写体距離を計測する方法を決定する。本実施形態では、撮像装置１００が有するＡＦ機能で用いるものと同様の測距機能を用いて被写体距離を計測するものとする。上述の通り、本実施形態では撮像素子１０９を用いて得られる画像信号に基づいて位相差検出方式とコントラスト検出方式のＡＦ機能が実現できる。また、測距センサ１２６を用いた位相差検出方式のＡＦ機能も実現できる。そのため、システム制御部１１４はＳ１０１でどのＡＦでの測距機能を用いて被写体距離を計測するかを決定する。決定方法に特に制限はなく、例えばユーザが変更可能な設定値に従って決定することができる。なお、利用できる被写体距離の計測方法が１つだけの場合や、予め定められた計測方法を用いることが決まっている場合などには、Ｓ１０１を実行しなくてもよい。

なお、被写体距離の計測方法は上述したＡＦでの測距機能に限定されず、被写体と撮像素子１０９との距離を検出可能な任意の方法を用いることができる。例えば、位相差検出方式のＡＦ用に設けられた専用のセンサ（ラインセンサ）を用い、デフォーカス量に基づいて被写体距離を計測する方法や、超音波や赤外線を照射して反射波の受信時間に基づいて被写体距離を計測する方法などを用いてもよい。また、複数の方法を組み合わせて計測してもよい。外部機器を利用して被写体距離を計測し、計測値を外部Ｉ／Ｆ１２３を通じて取得する構成であってもよい。本実施形態では、デフォーカス量に基づいて距離を検出する方法で説明を行う。

Ｓ１０２でシステム制御部１１４は、距離計測の対象被写体を決定する。被写体の決定は、表示部１１３に表示されているライブビュー画像の部分領域を被写体領域として決定することであってよい。例えば、システム制御部１１４は、タッチパネル１２２などを通じてユーザが指定した画像内の位置を中心とした所定の大きさの領域を、被写体領域として決定することができる。ユーザーは、複数の被写体を距離計測する被写体として指定できる。距離計測する被写体として指定されると、対応する焦点検出領域が設定され、デフォーカス量が取得される。

あるいは、システム制御部１１４は、ユーザ入力なしに、画像の特定の位置（例えば中央）を中心とした所定の大きさの領域を被写体領域として決定してもよい。また、マニュアルフォーカスモードにおいて枠内の被写体の合焦度合いを表示するフォーカスガイド枠内の領域を被写体領域として決定してもよい。また、システム制御部１１４は、現在合焦している領域から所定の大きさの領域を被写体領域として決定してもよい。

画像処理部１１０が画像から特定の特徴領域（例えば人物の顔領域）を検出している場合、システム制御部１１４は、画像処理部１１０によって検出された特徴領域を被写体領域として決定してもよい。また、システム制御部１１４は、予め定められた複数の選択肢（例えば設定可能なＡＦ枠）から、ユーザもしくは他の条件によって１つの領域を被写体領域として決定してもよい。なお、距離計測の方法によって選択できる被写体領域の位置などに制限がある場合、システム制御部１１４は、その制限を考慮して被写体領域を決定する。なお、ここで決定する被写体領域は複数であってもよい。また、被写体領域はＡＦ対象領域（すなわち、ＡＦの対象となる主被写体領域）と同一の領域であってもよく、異なる領域であってもよい。

Ｓ１０３でシステム制御部１１４は、Ｓ１０２で決定した被写体（被写体領域）が、ＡＦ対象の主被写体である場合に、主被写体にレンズユニット１０１が合焦するように焦点調節を行う。システム制御部１１４は、例えばＳ１０１で決定した測距方法を用いてフォーカスレンズ駆動部１０８を駆動し、焦点調節を行うことができる。撮像素子１０９から得られる画像信号に基づく位相差検出方式およびコントラスト検出方式、および測距センサ１２６に基づく位相差検出方式のＡＦ処理は公知の方法で実現できるため、詳細については説明を省略する。なおＳ１０３では、被写体への合焦動作を開始したら、合焦動作を行いながら（フォーカスレンズ駆動部１０８を制御しながら）すぐにＳ１０４へ進むことができる。即ち、Ｓ１０４へ進む際に被写体への合焦完了を待つ必要はない。また、撮像装置１００がマニュアルフォーカスモードに設定されている場合は、Ｓ１０３の処理は省略する。なお、Ｓ１０２で決定した距離計測する被写体のうち、主被写体ではない被写体については、このタイミングでは合焦しない。

Ｓ１０４でシステム制御部１１４は、Ｓ１０１で決定した測距方法を用いて、Ｓ１０２で決定した被写体の距離（被写体と撮像素子１０９との距離）を求め、システムメモリ１１６に記憶する。例えば、距離計測する被写体に対応して設定された焦点検出領域からデフォーカス量を取得し、現在のフォーカスレンズ１０６と変倍レンズ１０３の位置と、取得したデフォーカス量とに基づき、距離計測する被写体として決定した被写体の距離を算出する。距離計測する被写体として複数の被写体が設定されている場合には、複数の被写体それぞれについて、現在のフォーカスレンズ１０６と変倍レンズ１０３の位置と、それぞれ対応する焦点検出領域から取得されたデフォーカス量とに基づいて、距離が算出される。上述したように、フォーカスレンズ１０６の位置は、フォーカスレンズ駆動部１０８によって検出できる。Ｓ１０２で距離を計測する被写体として決定された被写体のうち、ＡＦ対象とならない副被写体（主被写体ではない被写体）については、合焦していない。これらの副被写体についても、フォーカスレンズ１０６の位置と、変倍レンズ１０３の位置、および、副被写体の領域についてのデフォーカス量に基づいて被写体距離を得る。

例えば、図２に示したような、複数の離散的な被写体距離について、合焦時の変倍レンズ１０３の位置とフォーカスレンズ１０６の位置との関係を示す情報が不揮発性メモリ１１７に記憶されているとする。この場合、システム制御部１１４は、距離計測対象の被写体に合焦している、すなわちＳ１０２で決定した被写体領域に合焦しているときのフォーカスレンズ１０６の位置と、変倍レンズ１０３の位置とから、被写体距離を得ることができる。

なお、Ｓ１０２で決定した距離計測をする被写体が、画像処理部１１０が検出した特定の特徴領域であり、かつ、この特徴領域が画角内で移動する場合（例えば追尾対象として指定された被写体が移動する場合）がある。この場合、距離計測をする被写体領域を特徴領域の移動に追従して移動させてもよいし、一度決定した位置に固定してもよい。
また、ここでは被写体領域を決定してから、被写体領域に合焦する距離を求める構成について説明した。しかし、例えば画素ごとの被写体距離を示す距離画像を生成してから被写体領域を決定し、被写体領域に対応する距離（例えば被写体領域内の画素が表す距離の平均値）を距離画像から求めてもよい。

例えば、コントラスト評価値が極大となるフォーカスレンズ位置を画素ごとに求めることで、画素ごとに被写体距離を取得することができる。また、合焦距離を変えて同一シーンを複数回撮影して得られる画像データと光学系の点像分布関数(PSF)とから、ぼけ量と距離との相関関係に基づいて画素ごとの距離情報を求めることもできる。これらの技術に関しては例えば特開２０１０－１７７７４１号公報や米国特許第4,965,840号公報などに記載されている。

また、本実施形態の様に、撮像素子１０９によって視差画像対を取得可能な場合には、ステレオマッチング等の手法で画素ごとに被写体距離を取得することができる。このように、先に被写体距離を求めておくことで、Ｓ１０２において、特定の距離に位置する被写体（例えば最も近くに存在する被写体）を、距離計測対象の被写体として決定することも可能である。

Ｓ１０５でシステム制御部１１４は、Ｓ１０４で算出した被写体距離と、例えば不揮発性メモリ１１７に記憶した、変倍レンズ１０３の位置と、フォーカスレンズ１０６の位置と、合焦距離との関係を表す情報から、合焦限界ズーム倍率を求める。例えば、システム制御部１１４は、Ｓ１０４で算出した被写体距離に合焦するフォーカスレンズ位置が至近端である変倍レンズ１０３の位置を探索することにより、合焦限界ズーム倍率を求めることができる。ある被写体距離についてフォーカスレンズ位置が至近端で合焦する変倍レンズ１０３の位置が２つ見つかった場合、その被写体距離には最大限界ズーム倍率と最小限界ズーム倍率が存在する。一方、ある被写体距離についてフォーカスレンズ位置が至近端で合焦する変倍レンズ１０３の位置が１つ見つかった場合、その被写体距離には最小限界ズーム倍率だけが存在する。

システム制御部１１４は、取得した合焦限界ズーム倍率を示す表示を行う。合焦限界ズーム倍率は、表示部１１３に常に表示してもよいが、特に表示部１１３が小さい場合にはライブビュー画像の視認性を低下させる可能性がある。そのため、本実施形態では、特定の条件を満たしたときのみ、合焦限界ズーム倍率を表示部１１３に表示することとする。

具体的には、本実施形態では、Ｓ１０６、Ｓ１０７に示す以下のような撮影状況の変化を条件とする。
・ユーザによるズーム操作が行われた場合（ズーム倍率が変化する）
・被写体距離が変化した場合（合焦限界ズーム倍率が変化する）

Ｓ１０６でシステム制御部１１４は、ズーム指示が入力されているか否かを判定する。そして、システム制御部１１４は、ズーム指示が入力されていればＳ１０８に進み、そうでない場合はＳ１０７に進む。ここで、システム制御部１１４は、ズームレバー１２１または、ズーム機能が割り当てられている他の操作部材の操作が検出されるか、外部Ｉ／Ｆ１２３を通してズーム指示を受信している場合に、ズーム指示が入力されていると判定することができる。

Ｓ１０７でシステム制御部１１４は、Ｓ１０４で算出した被写体距離が、１回前にＳ１０４を実行した際に算出した被写体距離に対して閾値以上変化したか否かを判定する。なお、この判定に用いる閾値は、現在の被写体距離やズーム倍率などに応じた動的な値とする。あるいは、Ｓ１０４で算出した被写体距離が、デフォーカス領域を有さない距離の範囲（図２の例では無限遠から１ｍまでの範囲）で変化していれば、変化なしと判定してもよい。システム制御部１１４は、被写体距離が閾値以上変化した場合はＳ１０８に進み、そうでない場合はＳ１０９に進む。

これにより、ズーム操作が行われた場合や、被写体距離が変化した場合など、ズーム倍率と合焦限界ズーム倍率との関係が変化する場合にのみ合焦限界ズーム倍率を表示することができ、ライブビュー画像の視認性を必要以上に低下させることを抑制できる。なお、合焦限界ズーム倍率の表示条件として、ズーム操作および被写体距離の変化の一方のみとしてもよい。また、表示条件をユーザが選択可能にしてもよい。

Ｓ１０８でシステム制御部１１４（表示制御手段）は、Ｓ１０５で取得した合焦限界ズーム倍率を示す表示を行う。この時の表示例は図４（ａ）～（ｄ）を用いて後述する。そして、システム制御部１１４は、Ｓ１０３に戻って上述した処理を繰り返し実行する。

Ｓ１０９でシステム制御部１１４は、Ｓ１０８で表示した合焦限界ズーム倍率を示す表示を終了する（非表示とする）。そして、システム制御部１１４は、Ｓ１０３に戻って上述した処理を繰り返し実行する。

なお、合焦限界ズーム倍率の非表示の状態が継続している間は、Ｓ１０９の実行をスキップするものとする。また、Ｓ１０４における被写体距離の算出は、必ずしも毎フレーム実行する必要はない。

図４は、Ｓ１０８における合焦限界ズーム倍率を示す表示の例として、現在のズーム倍率（現在のズーム位置）を示す表示アイテム（ズームバー表示部）を用いて合焦限界ズーム倍率（限界位置）を示す例を図示する。
図４（ａ）において、画面２００は、表示部１１３または外部Ｉ／Ｆ１２３を通じて通信可能な外部装置の表示領域である。画面２００の全面にライブビュー画像２０１が表示され、ズームバー２０２、ズームバー表示部２０３、広角端アイコン２０４、望遠端アイコン２０５、被写体枠２０６がライブビュー画像２０１に重畳表示されている。

横長の矩形状のズームバー表示部２０３は、変倍レンズ１０３の可動域全体を示しており、左端が広角端、右端が望遠端に対応する。ズームバー２０２は、倍率に応じて、倍率が高くなるほど右側に拡がる領域であり、図では黒く塗られている。ズームバー２０２は右端の位置が現在のズーム倍率（変倍レンズ１０３の位置）を示すが、視認性を確保するため、ズーム倍率が最小である場合にもある程度の幅を有している。また、広角端アイコン２０４はズームバー表示部２０３の左端が広角端であることを示すとともに、例えば現在のズーム倍率が最小（広角端）である場合に例えば反転表示されてもよい。同様に、望遠端アイコン２０５はズームバー表示部２０３の右端が望遠端であることを示すとともに、例えば現在のズーム倍率が最大（望遠端）である場合に反転表示されてよい。

図４（ａ）は、ズーム倍率が最小（広角端）である場合の合焦限界ズーム倍率の表示例を示す。被写体枠２０６は、Ｓ１０４で距離を算出した被写体を示す指標である。ここでは、被写体の距離が４０ｃｍであり、被写体枠２０６の距離に合焦しているものとする。最小限界ズーム倍率を示す線状の指標２０７がズームバー表示部２０３に表示されている。このとき、ズームバー２０２が指標２０７より左側に表示されている（現在のズーム倍率＜最小限界ズーム倍率である）ことから、指標２０７の位置までボケずにズームアップ可能であることを示している。また、指標２０７を超えてズームアップすると被写体がボケることを示している。被写体距離が４０ｃｍの場合、図２に示したように、最大限界ズーム倍率が存在しないため、最大限界ズーム倍率は表示されない。

図４（ｂ）は、図４（ａ）の状態において、ズーム倍率は最小のままで、被写体距離が７０ｃｍに変化し、被写体枠２０６の距離に合焦した状態の表示例を示している。被写体距離７０ｃｍでは最小限界ズーム倍率と最大限界ズーム倍率の両方が存在するため、最大限界ズーム倍率を示す線状の指標２０８がズームバー表示部２０３に追加表示されている。また、最小限界ズーム倍率と最大限界ズーム倍率との間のデフォーカス領域に相当するズーム倍率の範囲を、コの字型の図形２１１と、レンズユニットの焦点距離の数値範囲２１２で表示している。

このとき、図４（ａ）と同様に、ズームバー２０２が指標２０７より左側に表示されていることから、ユーザは指標２０７の位置までボケずにズームアップ可能であること示している。また、指標２０７と指標２０８の間のズーム倍率では被写体がボケることを示している。さらに、指標２０８を超えてズームアップすると再び合焦可能となることを示している。なお、最小限界ズーム倍率と、最大限界ズーム倍率とを、変倍レンズ１０３の広角端を基準としたズーム倍率の数値範囲として表示してもよい。

図４（ｃ）は、図４（ｂ）の状態において、被写体距離は７０ｃｍのままで、ズーム倍率が最小限界ズーム倍率と最大限界ズーム倍率との間の倍率に変化した状態の表示例を示している。現在のズーム倍率がデフォーカス領域内に存在し被写体枠２０６内の被写体がボケていることを、最大限界ズーム倍率までの範囲を網掛け部２２１のように、異なる色または模様で表示することにより表している。このとき、図４（ｂ）と同様に、指標２０８を超えてズームアップすると再び合焦可能となることを示している。なお、図中においては、ライブビュー画像２０１の中のボケている被写体について、ボケている様子を斑点で模式的に表している。

図４（ｄ）は、図４（ａ）と同じ状況において、Ｓ１０２で決定された被写体が複数である場合の表示例を示している。この場合、ズームバー表示部２０３には、個々の被写体についての合焦限界ズーム倍率の指標を表示する。ライブビュー画像２０１には、決定された被写体を示す指標である被写体枠２３１および２３２が重畳表示される。これにより、ユーザは複数指定した被写体それぞれの合焦限界ズーム倍率を知ることができる。

また、ライブビュー画像２０１には、被写体枠２３１および２３２にそれぞれ対応する被写体の合焦度合いを示すフォーカスアシスト図形２３５および２３６が重畳表示されている。フォーカスアシスト図形は、例えば特許第６５３７３２５号公報に開示されている形状であり、図形２３５の三角形２つの配置で合焦状態、図形２３６の三角形３つの配置で前ピンの非合焦状態を示す。これにより、ユーザは複数指定した被写体それぞれについて、合焦限界ズーム倍率と合焦度合いを同時に知ることができる。

被写体枠２３１が示す被写体が主被写体（ＡＦモードでＡＦの対象となる被写体）であり、被写体枠２３２が示す被写体が副被写体（ＡＦモードでＡＦの対象となっていない被写体）である。被写体枠２３１および２３２は、視覚的に区別が付くように、色や表示パターンが互いに異なっている。ここでは、被写体枠２３１は実線で、被写体枠２３２は点線で描画されている。そして、ズームバー表示部２０３における合焦限界ズーム倍率の指標２３３および２３４や、フォーカスアシスト図形２３５および２３６についても、対応する被写体ごとに異なる表現で表示している。

ここでは同一被写体に対する被写体枠と合焦限界ズーム倍率の指標の表現（線の種類、色など）を合わせることで、ユーザが被写体と合焦限界ズーム倍率との対応関係を容易に把握できるようにしている。したがって、実線の指標２３３は被写体枠２３１で示される被写体についての合焦限界ズーム倍率（最小限界ズーム倍率）を示している。また、点線の指標２３４は、被写体枠２３２で示される被写体についての合焦限界ズーム倍率（最小限界ズーム倍率）を示している。

なお、被写体枠と合焦限界ズーム倍率の指標の表示形態は全ての被写体に対して共通とし、対応する被写体枠と合焦限界ズーム倍率の指標の近傍に同じ数字を表示するなど、他の方法で対応関係を表してもよい。

図４に示した例では、合焦限界ズーム倍率を表す指標を、変倍レンズの可動範囲（レンズユニットの焦点距離またはズーム倍率の範囲）に対する現在の変倍レンズ位置（レンズユニットの焦点距離またはズーム倍率）を示す表示アイテム中に表示している。そのため、合焦限界ズーム倍率の表示をすることでライブビュー画像の視認性を低下させずにすむ。また、ユーザは、現在のズーム倍率と、合焦限界ズーム倍率とを同時に確認できるため、合焦限界ズーム倍率を考慮しながらのズーム操作が容易である。なお、合焦限界ズーム倍率（限界位置）をズームバー表示部に指標（インジケータ）で示す例を説明したが、ズーム倍率や焦点距離といった数値で表示しても良い。

以上説明したように、本実施形態では、装置の距離測定部（撮像素子１０９や測距センサ１２６）から、距離測定の対象となる被写体までの距離（被写体距離）に基づく合焦限界ズーム倍率を表示するようにした。そのため、ユーザは、特定の被写体についての合焦状態を維持したままズーム可能な範囲を知ることができる。ユーザは、合焦限界ズーム倍率の表示を確認しながらズーム操作を行うことで、ズーム操作によって、合焦していた特定の被写体がユーザの意図に反してボケる（合焦状態でなくなる）ことを防止できる。また、特定の被写体の距離の変化を合焦限界ズーム倍率の表示に反映させるため、特定の被写体の距離が変化するような撮影であっても、適切にズーム倍率を調整することができる。

また、画角内で被写体が移動するのに追従して合焦限界ズーム倍率を計算する領域を移動（追尾）させることができる。これにより、撮像装置１００のパン・チルト動作や被写体の移動により画角内で被写体の位置が変化する場合でも、所望の被写体を追尾して合焦限界ズーム倍率を計算し表示することができる。

また、撮像素子１０９や測距センサ１２６における位相差検出方式を用いることで、ピントの合っていない被写体についても被写体距離を計算することができる。これにより、マニュアルフォーカス（ＭＦ）モードでユーザがフォーカス調整を行う場合や、ＡＦモードで被写体距離が急激に変化し、合焦するためにフォーカスレンズ１０６が移動中の場合でも、現在の合焦位置に関わらず合焦限界ズーム倍率を表示できる。

また、ユーザが合焦限界ズーム倍率を表示させたい被写体に合焦しているかどうかに関わらず、画角内の任意の領域かつ複数の被写体に対する合焦限界ズーム倍率を表示することができる。

例えば、距離の異なる２つの被写体の動画をＭＦモードで撮影する場合を考える。最初は遠くの被写体Ａに合焦させたままズームアップを行い、その後手動で至近側にピント送りを行い、近くの被写体Ｂに合焦させるものとする。この場合、被写体Ａに合焦させたまま行うズームアップを、後で被写体Ｂに合焦させた場合にボケないズーム倍率の範囲で行う必要がある。即ち、ユーザは、ズームアップ操作時に、合焦していない被写体Ｂについての合焦限界ズーム倍率を把握する必要がある。撮像素子１０９や測距センサ１２６における位相差検出方式を用いることで、ピントの合っていない被写体に対しても、被写体距離の測定及び合焦限界ズーム倍率の表示が可能である。これにより、被写体Ａから被写体Ｂにピント送りをした場合でも、近くの被写体Ｂがボケることなく合焦させることができる。

また、例えば高ズーム倍率で遠くの被写体Ｃの動画を撮影中に、突然近くにいる別の被写体Ｄが画角内に入ってきて、被写体Ｄに合焦させたい場合を考える。このとき、図４（ｃ）における被写体枠２０６が被写体Ｄであり、ボケて撮影されている。ここで、ＡＦが有効の場合、システム制御部１１４は被写体Ｄに合焦させようとするが、現在のズーム倍率は被写体Ｄの距離においてはデフォーカス領域であるため、合焦させることができない。

このとき、ズームバー表示部２０３には、現在のズーム倍率が最小限界ズーム倍率の指標２０７と最大限界ズーム倍率の指標２０８の間であり合焦させることができない意味の表示がなされている。即ち、ユーザはズームバー表示部２０３を確認することで、現在のズーム倍率では被写体Ｄに合焦できず、被写体Ｄに合焦させるためにはズームアウトする必要があることを把握することができる。また同時に、どのズーム倍率までズームアウトすれば合焦可能となるかを把握することができる。このように、合焦限界ズーム倍率を表示することで、突然近くに別の被写体が画角内に入ってきた場合に、単に被写体に合焦していないだけなのか、デフォーカス領域のため合焦できないのかをユーザが把握することができる。これにより、デフォーカス領域の被写体がボケる原因をユーザが把握できずに撮影され続けるのを防ぐことができる。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態は第１実施形態で説明した撮像装置１００で実施可能であるため、撮像装置の構成に関する説明は省略する。第１実施形態の構成により、ユーザは特定の被写体の合焦状態を維持したままズーム可能な範囲を知ることができた。しかし、ズーム中にズームバー表示部２０３を見落としたり、操作を誤ったりして、デフォーカス領域までズームしてしまうことが考えられる。そのため、本実施形態では、ズーム中に現在のズーム倍率が合焦限界ズーム倍率に近づくと、自動的にズームを停止させるようにする。

次に、本実施形態においてシステム制御部１１４が実施するズーム制御動作について、図５のフローチャートを用いて説明する。以下に説明する動作は、不揮発性メモリ１１７に記憶されたプログラムをシステムメモリ１１６にロードしてシステム制御部１１４が実行することで実現される。なお、以下の説明における「ズーム倍率」は、「変倍レンズ１０３の位置」または「レンズユニット１０１の焦点距離」と読み替えることができる。また、図５において、第１実施形態と同様の処理を行うステップには同じ参照数字を付し、重複する説明を省略する。

Ｓ１０１～Ｓ１０２は、第１実施形態と同様である。ただし、Ｓ１０２で決定した被写体は、距離計測対象であるとともに、本実施形態のズーム動作制御を行う対象でもある。

Ｓ２０３でシステム制御部１１４は、被写体に合焦しないズーム倍率の範囲（デフォーカス領域）でのズーム方法を決定する。具体的には、システム制御部１１４は、デフォーカス領域に含まれるズーム倍率で画像をズームさせることが必要な場合に、光学ズームと電子ズームのどちらを用いるかを決定する。光学ズームでは被写体に合焦しないため、画像中の距離計測の対象被写体がぼける（他の被写体については合焦しているものも含まれうる）。一方、デフォーカス領域以外のズーム倍率で得られた画像を電子ズームする場合、電子ズームの倍率が高くなると画像全体の解像度が低下するが、距離計測対象の被写体が光学的な要因でボケることは無い。

システム制御部１１４は、例えばユーザ設定にしたがってズーム方法を決定することができる。ユーザ設定は事前に行われていてもよいし、Ｓ２０３の実行時にユーザに設定させるようにしてもよい。なお、デフォーカス領域のズーム倍率に対応する画像の画質を向上させるために、光学ズームと電子ズームを併用してもよい。例えば、電子ズームで得られた画像と、光学ズームで得られた画像とを、光学ズームにおいて合焦している領域を優先して合成することにより、デフォーカス領域のズーム倍率に対応する画像を生成してもよい。

Ｓ２０４でシステム制御部１１４は、現在のズーム倍率が合焦限界ズーム倍率に近づいたことを表すフラグ（限界フラグ）を０にリセットする。限界フラグは例えばシステムメモリ１１６に保存した変数であり、１が合焦限界ズーム倍率に近づいたことを表すものとする。

Ｓ１０３～Ｓ１０５は、第１実施形態と同様であるため、説明を省略する。
Ｓ２０７でシステム制御部１１４は、ズーム倍率を上げる指示（拡大ズーム指示、ズームイン指示）が入力されているか否かを判定する。そして、システム制御部１１４は、拡大ズーム指示が入力されていればＳ２０８に進み、そうでない場合はＳ２２０に進む。ここで、システム制御部１１４は、ズームレバー１２１または、ズーム機能が割り当てられている他の操作部材について、ズーム倍率を上げる操作が検出されていれば、拡大ズーム指示が入力されていると判定することができる。また、システム制御部１１４は、外部Ｉ／Ｆ１２３を通してズーム倍率を上げる指示を受信している場合にも、拡大ズーム指示が入力されていると判定することができる。

変倍レンズ１０３の位置が望遠端であれば、光学ズーム倍率を上げることができない。そのため、Ｓ２０８でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３の位置を取得し、変倍レンズ１０３の位置が望遠端であるか否かを判定する。システム制御部１１４は、変倍レンズ１０３の位置が望遠端である場合はズームイン駆動することなくＳ２２０に進み、そうでない場合はＳ２０９に進む。

Ｓ２０９およびＳ２１０でシステム制御部１１４は、変倍レンズ駆動部１０７を介して得られる現在の変倍レンズ１０３の位置に対応するズーム倍率（現ズーム倍率）と、Ｓ１０５で取得した最小限界ズーム倍率とを比較する。

現在のズーム倍率が最小限界ズーム倍率より小さく（広角側で）、かつ、現在のズーム倍率が最小限界ズーム倍率の近傍である場合（Ｓ２０９およびＳ２１０でＹの場合）、システム制御部１１４はＳ２１１に進み、そうでない場合にはＳ２１９に進む。なお、Ｓ２１０における近傍とは、現在のズーム倍率と最小限界ズーム倍率との差が閾値未満であることを示す。この閾値は、後述するＳ２１３でズームが停止した後に被写体距離が変化し、合焦できなくなる可能性を考慮して、現在の被写体距離やズーム倍率などに基づいて動的に決定することができる。あるいは、閾値は固定値であってもよい。また、閾値はユーザが設定（変更）可能であってよい。Ｓ２０９及びＳ２１０でＹの場合とは、言いかえれば、ズームイン中にズーム倍率が最小限界ズーム倍率より広角側における、最小限界ズーム倍率近傍となったことを示す閾値倍率までズームインされた場合である。

なお、Ｓ２０９およびＳ２１０の判定処理の代わりに、システム制御部１１４が、現在のズーム倍率が最小限界ズーム倍率に等しい（現在のズーム倍率と最小限界ズーム倍率との差が無い）か否かを判定する処理にしてもよい。この場合、システム制御部１１４は、現在のズーム倍率が最小限界ズーム倍率に等しい場合にＳ２１１に進み、そうでない場合はＳ２１９に進む。

Ｓ２１１を実行するのは、拡大ズームの過程でズーム倍率が最小限界ズーム倍率に近づいた（あるいは合致した）状態である。そのため、Ｓ２１１でシステム制御部１１４は、限界フラグが１であるか否かを判定する。そして、システム制御部１１４は、限界フラグが１の場合はＳ２１２に進み、そうでない場合はＳ２１５に進む。

Ｓ２１２でシステム制御部１１４は、限界フラグを１にセットする。なお、この限界フラグは、ズーム指示が逆向きに行われると０にリセットする。すなわち、ズームイン中に限界フラグを１にセットした場合には、ズームアウトするとリセットし、ズームアウト中に限界フラグを１にセットした場合には、ズームインするとリセットする。

Ｓ２１３でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３を停止させる。すなわち、広角ズーム指示が継続されていても（ズームイン操作が継続されていても）、ズーム駆動を一旦停止する。これによって、ズームインすることによってズーム倍率がデフォーカス領域に入って特定の被写体がボケてしまうことを未然に防止することができる。
Ｓ２１４でシステム制御部１１４は、システムタイマー１１５を起動し、変倍レンズ１０３の移動停止からの経過時間の計測を開始する。

Ｓ２１５でシステム制御部１１４は、Ｓ２１４で起動したシステムタイマー１１５の計測時間が所定時間に達したか否かを判定する。この所定時間は、現在のズーム倍率が最小限界ズーム倍率に到達または近づいたことによって停止したズーム動作を、後述するＳ２１７またはＳ２１８で再開する条件として用いられる。そのため、ズーム動作が停止したことをユーザが十分認識できる程度の長さであればよい。あまり長くすると、ユーザに不安を与える可能性があるため、例えば０．５秒～１秒程度とすることができるが、この時間は単なる例示である。システム制御部１１４は、システムタイマー１１５の計測時間が所定時間に達した場合はＳ２１６に進み、そうでない場合はＳ１０３に戻る。

Ｓ２１６でシステム制御部１１４は、Ｓ２０３で決定したズーム方法が光学ズームであるか否かを判定する。システム制御部１１４は、ズーム方法が光学ズームの場合はＳ２１７に進み、そうでない場合（電子ズームの場合）はＳ２１８に進む。なお、本フローチャートではＳ２０３で光学ズームと電子ズームの一方を決定することを前提としているが、前述のように、光学ズームと電子ズームを併用してよい。システム制御部１１４は、光学ズームと電子ズームを併用する場合にはＳ２１７に進む。

Ｓ２１７およびＳ２１９でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３を望遠側へ所定量移動させて、Ｓ１０３に戻る。
Ｓ２１８でシステム制御部１１４は、メモリ１１２に転送された画像データから対象領域を切り出し、望遠側へ所定量の電子ズーム処理を行うように画像処理部１１０を制御したのち、Ｓ１０３に戻る。

なお、Ｓ２１３で自動的にズームを停止した後に、ズーム指示が一旦解除（ズーム操作を一旦解除）され、再度ズームイン指示（ズームイン操作）があった場合に、Ｓ２１５の所定時間の経過を待つことなくＳ２１６へ進んでズームインを行うようにしてもよい。これによって、所定時間の経過を待つことなく素早くズームインしたい場合に、一旦自動停止することでデフォーカス領域との境界をユーザが認識した上で、意図的に素早くズームインさせることができる。

Ｓ２２０～Ｓ２３０の処理は、縮小方向へのズームに関してＳ２０７～Ｓ２１９と同様の処理を実行するように置き換えたものである。
Ｓ２２０でシステム制御部１１４は、ズーム倍率を下げる指示（縮小ズーム指示、ズームアウト指示）が入力されているか否かを判定する。そして、システム制御部１１４は、縮小ズーム指示が入力されていればＳ２２１に進み、そうでない場合はＳ２３１に進む。ここで、システム制御部１１４は、ズームレバー１２１または、ズーム機能が割り当てられている他の操作部材について、ズーム倍率を下げる操作が検出されていれば、縮小ズーム指示が入力されていると判定することができる。また、システム制御部１１４は、外部Ｉ／Ｆ１２３を通してズーム倍率を下げる指示を受信している場合にも、縮小ズーム指示が入力されていると判定することができる。

変倍レンズ１０３の位置が広角端であれば、光学ズーム倍率を下げることができない。そのため、Ｓ２２１でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３の位置を取得し、変倍レンズ１０３の位置が広角端であるか否かを判定する。システム制御部１１４は、変倍レンズ１０３の位置が広角端である場合はＳ２３１に進み、そうでない場合はＳ２２２に進む。

なお、Ｓ２２２に進む前に、システム制御部１１４は、Ｓ１０５で最大限界ズーム倍率が取得されているか否かを判定してもよい。図２を用いて説明したように、最大限界ズーム倍率が存在しない場合があるからである。システム制御部１１４は、最大限界ズーム倍率が取得されている場合にはＳ２２２に進み、そうでない場合はＳ２３０に進む。

Ｓ２２２およびＳ２２３でシステム制御部１１４は、変倍レンズ駆動部１０７を介して得られる現在の変倍レンズ１０３の位置に対応するズーム倍率（現ズーム倍率）と、Ｓ１０５で取得した最大限界ズーム倍率とを比較する。

現在のズーム倍率が最大限界ズーム倍率より大きく（望遠側で）、かつ、現在のズーム倍率が最大限界ズーム倍率の近傍である場合（Ｓ２２２およびＳ２２３でＹの場合）、システム制御部１１４はＳ２２４に進み、そうでない場合にはＳ２３０に進む。なお、Ｓ２２３における近傍とは、現在のズーム倍率と最大限界ズーム倍率との差が閾値以下であることを示す。この閾値は、Ｓ２１０で用いる値と同じであってもよいし、異なる値であってもよい。閾値の決め方はＳ２１０で説明した通りである。Ｓ２２２及びＳ２２３でＹの場合とは、言いかえれば、ズームアウト中にズーム倍率が最大限界ズーム倍率より望遠側における、最大限界ズーム倍率近傍となったことを示す閾値倍率までズームアウトされた場合である。

なお、Ｓ２２２およびＳ２２３の判定処理の代わりに、システム制御部１１４が、現在のズーム倍率が最大限界ズーム倍率に等しいか否かを判定する処理にしてもよい。この場合、システム制御部１１４は、現在のズーム倍率が最大限界ズーム倍率に等しい場合にＳ２２４に進み、そうでない場合はＳ２３０に進む。

Ｓ２２４を実行するのは、縮小ズームの過程でズーム倍率が最大限界ズーム倍率に近づいた（あるいは合致した）状態である。そのため、Ｓ２２４でシステム制御部１１４は、限界フラグが１であるか否かを判定する。そして、システム制御部１１４は、限界フラグが１の場合はＳ２２５に進み、そうでない場合はＳ２２８に進む。

Ｓ２２５でシステム制御部１１４は、限界フラグを１にセットする。
Ｓ２２６でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３を停止させる。すなわち、縮小ズーム指示が継続されていても（ズームアウト操作が継続されていても）、ズーム駆動を一旦停止する。これによって、ズームアウトすることによってズーム倍率がデフォーカス領域に入って特定の被写体がボケてしまうことを未然に防止することができる。
Ｓ２２７でシステム制御部１１４は、システムタイマー１１５を起動し、変倍レンズ１０３の移動停止からの経過時間の計測を開始する。

Ｓ２２８でシステム制御部１１４は、Ｓ２２７で起動したシステムタイマー１１５の計測時間が所定時間に達したか否かを判定する。この所定時間は、現在のズーム倍率が最大限界ズーム倍率に到達または近づいたことによって停止したズーム動作を、後述するＳ２２９で再開する条件として用いられる。そのため、ズーム動作が停止したことをユーザが十分認識できる程度の長さであればよい。ここでは、Ｓ２１５と同じ所定時間とするが、異ならせてもよい。システム制御部１１４は、システムタイマー１１５の計測時間が所定時間に達した場合はＳ２２９に進み、そうでない場合はＳ１０３に戻る。

なお、Ｓ２２６で自動的にズームを停止した後に、ズーム指示（操作）が一旦解除され、再度ズームアウト指示（操作）があった場合、Ｓ２２８の所定時間の経過を待たずにＳ２２６へ進んでデフォーカス領域に突入するズームアウトを行うようにしてもよい。これによって、所定時間の経過を待つことなく素早くズームアウトしたい場合に、一旦自動停止することでデフォーカス領域との境界をユーザが認識した上で、意図的に素早くズームアウトさせることができる。

なお、縮小方向へのズーム中にはＳ２１６に相当する処理は行わない。これは、予め電子ズームに相当する処理がなされていた場合を除き、電子ズームにより縮小ズームするのは不可能だからである。

Ｓ２２９およびＳ２３０でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３を広角側へ所定量移動させて、Ｓ１０３に戻る。なお、Ｓ２３０においては、変倍レンズ１０３が停止中であれば、システム制御部１１４は、システムタイマー１１５および限界フラグをリセットしてから変倍レンズ１０３を移動させる。

Ｓ２３１でシステム制御部１１４は、限界フラグを０にリセットする。
Ｓ２３２でシステム制御部１１４は、変倍レンズ駆動部１０７を通じて変倍レンズ１０３を停止させる。
Ｓ２３３でシステム制御部１１４は、Ｓ２１４またはＳ２２７により計測を開始したタイマーを解除する。

ここで、具体例として、広角端から拡大ズーム操作が継続して行われ続けた場合を考える。システム制御部１１４は、拡大ズーム操作に応じて、変倍レンズ１０３の望遠側への移動を継続して実施する。そして、現在のズーム倍率が最小限界ズーム倍率近傍になった際に、自動的に変倍レンズ１０３を停止させる。拡大ズーム操作が継続されたまま所定時間経過すると、システム制御部１１４は、変倍レンズ１０３の望遠側への移動を再開する。

この場合、図５のフローチャートでは、システム制御部１１４は、まずＳ２０１からＳ１０５まで処理したのち、Ｓ２０７からＳ２０８に進む。現在のズーム倍率は広角端のため、システム制御部１１４はＳ２０８からＳ２０９に進む。さらに、現在のズーム倍率は最小ズーム倍率より小さいものの、最小ズーム倍率の近傍の値ではないため、システム制御部１１４はＳ２１９で変倍レンズ１０３を所定量望遠側に移動させ、Ｓ１０３に戻る。現在のズーム倍率が最小限界ズーム倍率の近傍の値になるまで、システム制御部１１４はＳ１０３～Ｓ２１０～Ｓ２１９の処理を繰り返す。これにより、被写体像が拡大される。

現在のズーム倍率が最小限界ズーム倍率の近傍の値になると、システム制御部１１４は、Ｓ２１０からＳ２１１に進む。Ｓ２０４でフラグが０にリセットされてからセットされていないので、システム制御部１１４はＳ２１２～Ｓ２１４の処理が行う。このとき、Ｓ２１３で変倍レンズ１０３が停止する。

Ｓ２１４でセットしたシステムタイマー１１５の計測時間が所定時間になるまで、システム制御部１１４は、Ｓ１０４～Ｓ２１５のループを繰り返し実行する。このとき、２回目以降の処理ではＳ２１２～Ｓ２１４の処理はスキップされる。また、変倍レンズ１０３は停止した状態を維持する。

システムタイマー１１５の計測時間が所定時間になると、システム制御部１１４はＳ２１５からＳ２１６に進む。例えばデフォーカス領域で光学ズームを行うものとすると、Ｓ２１７でシステム制御部１１４は、変倍レンズ１０３の望遠側への移動を再開し、Ｓ１０４～Ｓ２１７のループを繰り返し実行する。このときＳ２１２～Ｓ２１４の処理は行われない。

その後、現在のズーム倍率が最小限界ズーム倍率に達すると、システム制御部１１４は、Ｓ２０９からＳ２１９に進むようになる。その後ズーム倍率が望遠端に達するまで、システム制御部１１４は、Ｓ１０４～Ｓ２０９～Ｓ２１９のループを繰り返し実行する。
ズーム倍率が望遠端に達すると、システム制御部１１４はＳ２０８からＳ２２０へ、さらにＳ２３１に進み、Ｓ２３１～Ｓ２３３の処理を実行して変倍レンズ１０３を停止させる。

なお、図５に示したズーム制御動作は、第１実施形態で説明した限界ズーム倍率の表示処理と組み合わせて実行することができる。

以上説明したように本実施形態では、現在のズーム倍率が、特定の被写体についての限界ズーム倍率に近づくと、自動的にズーム動作を停止するようにした。そのため、ユーザはズーム操作を継続し、ズームが自動停止したことに気付いた時点でズーム操作を止めれば、被写体がぼけることを確実に回避できる。

さらに、ズームを自動停止させている間も所定時間以上継続してズーム操作が継続された場合には、ズーム動作を再開させるようにした。これにより、ユーザの意図を反映した撮影を可能としている。また、光学ズームで被写体に合焦させられないズーム倍率に対応する画像を得る方法として、光学ズームおよび電子ズームを選択可能としたので、ユーザの希望に応じた画像を得ることができる。

また、例えば被写体距離が所定量以上変化した場合など、限界ズーム倍率が変化した場合には、ズーム動作も変化後の限界ズーム倍率に基づいて実施されるので、被写体ぼけを精度良く回避することができる。例えば、拡大ズーム中に被写体領域内の被写体が変わるなどして被写体距離が短くなった場合には、短くなった被写体距離に対する合焦限界ズーム倍率に基づいてズーム動作制御が行われる。

さらに、本実施形態では、現在のズーム倍率が合焦限界ズーム倍率の近傍の値（Ｓ２１０の判定が真となるズーム倍率）であり、ズーム指示がない状態で、新たにズーム指示がなされた場合も、所定時間継続してズーム指示が検出されればズーム動作を開始する。これにより、ユーザは、合焦限界ズーム倍率に近いズーム倍率からズームを行う場合も、光学ズームを行うと合焦できなくなることを知ることができる。また、ズーム操作に応じて直ちにズーム動作が行われない場合、ユーザはその時点でズーム操作を止めればズーム動作は行われない。そのため、意図せずぼけた画像が撮影されるのを防ぐことが可能である。

本実施形態においては、測距方法および被写体を複数指定することも可能である。この場合、現在のズーム倍率が、複数の最小限界ズーム倍率のうち最も低い値の近傍に達したときのみ変倍レンズ１０３を停止させてもよいし、最小限界ズーム倍率の近傍に達するごとに変倍レンズ１０３を停止させてもよい。個々の最小限界ズーム倍率で変倍レンズ１０３を停止させる場合、距離の異なる２つの被写体を対象としていれば、近い方の被写体についての最小限界ズーム倍率と、遠い方の被写体についての最小限界ズーム倍率とのそれぞれで変倍レンズ１０３が停止する。これにより、ユーザは複数指定した被写体それぞれの合焦限界ズーム倍率を知ることができる。

なお、図５に示す処理は静止画の撮影待機中、動画の記録待機中、動画の記録中のいずれでも行うことができる。動画の記録中に図５に示す処理を行えば、特定の被写体がズームインまたはズームアウトによってボケて写った映像が記録されてしまうことを防止することができる。

また、図５に示した処理を、特定の条件を満たしたときにのみ行うようにしてもよい。例えば、撮像装置１００の撮影モードが、動画モードのような連続的に画像を記録するモードの場合は、録画待機中にのみ図５の処理を行うようにしてもよい。この場合、録画中にはズーム動作が自動的に停止しないため、ユーザの意図を尊重した撮影ができる。一方、録画待機中は合焦限界ズーム倍率の近傍でズーム動作を一旦停止することで、ユーザは合焦限界ズーム倍率を容易に知ることができ、撮影画角を決めやすくなる。これにより、合焦限界ズーム倍率をユーザが知ることと、自動的にズームが停止する映像が記録されるのを避けることが両立できる。

＜他の実施形態＞
なお、システム制御部１１４が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣ等の装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…レンズユニット、１０３…変倍レンズ、１０６…フォーカスレンズ、１０７…ズームレンズ駆動部、１０８…フォーカスレンズ駆動部、１０９…撮像素子、１１４…システム制御部

Claims (18)

1. 特定の被写体に対応する焦点検出領域についてのデフォーカス量を取得する取得手段と、
   ズーム指示に応じて光学ズームするように制御する制御手段と、
   前記取得手段が取得したデフォーカス量に基づき、前記特定の被写体に合焦していない状態においても、前記特定の被写体に合焦させることが可能な限界の光学ズーム位置である限界位置を示す表示を表示手段に表示するように制御する表示制御手段と、
   を有することを特徴とする、ズーム制御装置。
2. 前記取得手段は、複数の被写体にそれぞれ対応する複数の焦点検出領域についてのデフォーカス量を取得可能であり、前記特定の被写体は前記複数の被写体のうちの１つであることを特徴とする請求項１に記載のズーム制御装置。
3. 前記特定の被写体は、前記複数の被写体のうち合焦している被写体とは異なる被写体であることを特徴とする請求項２に記載のズーム制御装置。
4. 前記特定の被写体は、前記複数の被写体のうちオートフォーカスの対象となる主被写体とは異なる被写体であることを特徴とする請求項２または３に記載のズーム制御装置。
5. 前記表示制御手段は、前記取得手段が取得した複数の焦点検出領域についてのデフォーカス量に基づき、前記複数の被写体のそれぞれに対応する、合焦させることが可能な限界の光学ズーム位置である複数の限界位置を示す表示を行うように制御することを特徴とする請求項２ないし４のいずれか１項に記載のズーム制御装置。
6. 前記表示制御手段は、光学ズームが行われた際に前記限界位置を表示し、光学ズームが行われる前であって、ズームが停止しており、前記取得手段で取得されたデフォーカス量に変化が無い状態では前記限界位置を表示しないように制御することを特徴とする請求項１乃至５のいずれか１項に記載のズーム制御装置。
7. 前記表示制御手段は、前記取得手段が取得したデフォーカス量が所定量以上変化した場合に前記限界位置を表示するように制御することを特徴とする請求項６に記載のズーム制御装置。
8. 前記表示制御手段は、前記表示手段において、前記限界位置に加え、現在のズーム位置を示す表示を行うことを特徴とする請求項１乃至７のいずれか１項に記載のズーム制御装置。
9. 前記表示制御手段は、広角端から望遠端に対する現在のズーム位置を示す表示アイテムを用いて、前記限界位置を示すように表示することを特徴とする請求項８に記載のズーム制御装置。
10. 前記制御手段は、合焦している被写体に合焦した状態を維持できるズーム位置からの光学ズームの駆動中に現在のズーム位置と、合焦している被写体に合焦した状態を維持できる限界の光学ズーム位置である、合焦している被写体についての限界位置との差がなくなるか閾値以下になると自動的にズームを停止させることを特徴とする請求項１乃至９のいずれか１項に記載のズーム制御装置。
11. 前記制御手段によって自動的にズームを停止させた後、自動的にズームを停止させる前から継続するズーム指示が所定時間継続して行われると、前記制御手段は予め定められた方法でズームを再開することを特徴とする請求項１０に記載のズーム制御装置。
12. 前記制御手段によって自動的にズームを停止させた後、自動的にズームを停止させる前から継続するズーム指示が一旦解除され、再び同じ方向へのズーム指示が行われると、前記制御手段は予め定められた方法でズームを行うことを特徴とする請求項１０または１１に記載のズーム制御装置。
13. 前記予め定められた方法は、前記合焦している被写体についての限界位置を超えて光学ズームする方法であることを特徴とする請求項１１または１２に記載のズーム制御装置。
14. 前記予め定められた方法は、電子ズームを用いて前記合焦している被写体に合焦した状態を維持してズームする方法であることを特徴とする請求項１１または１２に記載のズーム制御装置。
15. 被写体を撮像する撮像手段を更に有することを特徴とする請求項１乃至１４のいずれか１項に記載のズーム制御装置。
16. ズーム制御装置の制御方法であって、
    特定の被写体に対応する焦点検出領域についてのデフォーカス量を取得する取得ステップと、
    ズーム指示に応じて光学ズームするように制御する制御ステップと、前記取得ステップで取得したデフォーカス量に基づき、前記特定の被写体に合焦していない状態においても、前記特定の被写体に合焦させることが可能な限界の光学ズーム位置である限界位置を示す表示を表示手段に表示するように制御する表示制御ステップと、
    を有することを特徴とする、ズーム制御装置の制御方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載されたズーム制御装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項１から１５のいずれか１項に記載されたズーム制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images