JP6702736B2

JP6702736B2 - 撮像制御装置および撮像装置の制御方法、プログラム

Info

Publication number: JP6702736B2
Application number: JP2016012778A
Authority: JP
Inventors: 紘一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-26
Filing date: 2016-01-26
Publication date: 2020-06-03
Anticipated expiration: 2036-01-26
Also published as: JP2017134176A

Description

本発明は、撮像装置に関し、特に被写体の自動追尾を行う撮像装置に関する。

特許文献１は、撮影画像信号から目的の被写体を抽出して被写体の重心位置を出力し、被写体の重心位置が撮影画像の中心付近に出力されるように、回転雲台などで被写体を追尾する撮像装置を開示している。

特開平７−２２６８７３号公報

しかし、特許文献１が開示する撮像装置のように、特定の被写体の重心位置を撮影画像中心に保持するように追尾を行う場合、以下の問題がある。例えば、撮影画像内に撮影者が撮影したい被写体が複数存在する場合、特許文献１の撮像装置では、特定の１つの被写体の重心位置を撮影画像中心に保持するように追尾する。したがって、他の被写体は画像から外れるため、撮影者が意図している通りに複数被写体の追尾を行うことができない。また、複数の被写体の重心位置を算出し、複数の被写体に対応する重心位置を中心に保持するように追尾を行う方法も考えられるが、各被写体によって撮像装置までの距離が其々異なる場合に、以下の問題がある。すなわち、撮像装置との距離によって、各被写体が撮影画面に写る大きさに差が生じるため、複数の被写体に対応する重心位置を画面中心とした場合に、撮影画像内の被写体の位置に偏りが生じてしまう。また、撮像装置との距離が近い被写体ほど、被写体が動いた時の撮影画像内における移動量が大きくなるため、撮像装置が急な被写体の動きに追従出来ず、被写体がフレームアウトし易くなる問題がある。尚、撮像装置が追従出来なくなる理由として、被写体の動きを検出して追尾を行うまでの間に少なくとも１フレーム以上の遅延が生じることなどがある。

そこで、本発明の目的は、複数の被写体の自動追尾に有利な撮像制御装置および撮像装置の制御方法、プログラムを提供することにある。

本発明の一側面としての撮像制御装置は、撮像光学系と撮像素子により取得される撮影画像における被写体を検出する検出手段と、前記被写体の撮影距離情報を取得する取得手段と、前記検出手段および前記取得手段の出力に基づいて、前記被写体を追尾する追尾手段を制御する制御手段と、を有し、前記検出手段が第１の被写体と第２の被写体を検出し、前記取得手段により取得された前記第１の被写体の撮影距離の方が前記取得手段により取得された前記第２の被写体の撮影距離よりも短い場合、前記制御手段は、前記第１の被写体の重心位置である第１の位置と前記撮影画像の中心位置との距離の方が、前記第２の被写体の重心位置である第２の位置と前記撮影画像の中心位置との距離よりも短くなるように、前記第１の被写体と前記第２の被写体とを追尾するように、前記追尾手段を制御することを特徴とする。

本発明によれば、複数の被写体の自動追尾に有利な撮像制御装置および撮像装置の制御方法、プログラムを提供することができる。

本発明の実施形態に係る撮像装置を模式的に示す図である。本発明の実施形態に係る撮像装置を模式的に示す図である。本発明の実施形態に係る制御部の構成を示すブロック図である。本発明の実施形態に係る追尾量算出部を示す機能ブロック図である。一つの被写体の追尾制御を説明する図である。複数の被写体の追尾制御を説明する図である。撮影距離が異なる複数の被写体の追尾制御を説明する図である。第１の実施形態の複数の被写体の追尾制御を説明する図である。本発明の実施形態に係る複数被写体の追尾制御の例を説明するフローチャートである。第２の実施形態の複数の被写体の追尾制御を説明する図である。第２の実施形態の複数の被写体の追尾制御を説明する図である。第３の実施形態の複数の被写体の追尾制御を説明する図である。

以下、図面を参照して本発明の実施形態にかかる撮像装置について詳細に説明する。

（第１の実施形態）
図１及び図２は本発明の第１の実施形態に係わる制御装置を備えたカメラ１０１を示す平面図及び側面図である。このカメラ１０１に搭載される制御装置（制御部）は、光軸１０２に対して矢印１０３ｐ（ピッチ方向）、１０３ｙ（ヨー方向）で示す振れ（以下、角度振れ）、及び矢印１０４ｐ、１０４ｙで示す振れ（以下、平行振れ）に対して振れ補正を行う。

カメラ１０１は、レリーズボタン１０５、カメラＣＰＵ１０６（制御部）、撮像素子１０７、角速度検出器１０８ｐ、１０８ｙ（以下角速度計）、加速度検出器１０９ｐ、１０９ｙ（以下加速度計）を有する。角速度計１０８ｐ、１０８ｙは、各々矢印１０８ｐａ、１０８ｙａ回りの角度振れを検出する。また、加速度計１０９ｐ、１０９ｙは各々矢印１０９ｐａ、１０９ｙａで示す平行振れを検出する。

カメラ１０１は、その内部に複数の光学レンズユニットにより構成される撮像光学系を有し、物体（被写体）の光学像を形成する。本実施形態において、撮像光学系は、振れ補正レンズ（補正部材）１１１を備える。また、カメラ１０１は、振れ補正部１１０、駆動制御部１１２を有する。なお、本発明のカメラ１０１（撮像装置）は、本実施例では、レンズ一体型の撮像装置としているが、本発明はこれに限らずレンズ交換型の撮像装置、いわゆる交換レンズシステムの撮像装置にも適用することができる。

振れ補正部１１０は、振れ補正レンズ（補正部材）１１１を図１、図２の矢印１１０ｐ、１１０ｙの方向に自在に駆動して、角度振れ、平行振れの両方を加味した振れ補正を行う。換言すれば、振れ補正部１１０は、補正レンズ１１１（光学素子）を矢印１１０ｐの方向（第１の方向）および矢印１１０ｙの方向（第１の方向と直交する第２の方向）に駆動する駆動手段としての機能を有する。ここで、角速度計１０８ｐ、１０８ｙ、及び加速度計１０９ｐ、１０９ｙの出力は、カメラＣＰＵ１０６に入力される。そして、それら出力の関連により駆動制御部１１２によって振れ補正を行う。

ここで、本実施形態では、振れ補正手段（駆動手段）として、算出された補正量に基づいて振れ補正レンズ１１１を光軸に垂直な面内で移動させる、いわゆる光学防振を用いている。しかし、補正量に基づいた補正の方法は光学防振に限らず、撮像素子を光軸に垂直な面内で移動させることで振れ防振を行う方法でもよい。また、撮像素子が出力する各撮影フレームの切り出し位置を変更することで振れの影響を軽減させる電子防振を用いる方法でもよい。さらに、それらの組み合わせで補正を行ってもよい。すなわち、振れ補正を行うために駆動手段により駆動される光学素子は、補正レンズ１１１であってもよいし、撮像素子１０７であってもよいし、その両方であってもよい。

図３は、本発明の第１の実施形態に係わる制御装置（制御部）を示すブロック図である。

敏感度調整部３０１は、ズーム・フォーカス情報取得部３０２から得られるズーム・フォーカス情報により求まる焦点距離や撮影倍率に基づいて、振れ補正角度算出部３０３の出力を増幅し、振れ補正目標値にする。ズームの位置情報、フォーカスの位置情報に基づいて振れ補正目標値を求めるのは、レンズのフォーカスやズームなどの光学情報の変化により補正レンズ１１１の振れ補正ストロークに対するカメラ像面での振れ補正敏感度が変化するからである。敏感度調整部３０１は、振れ補正目標値を振れ補正量として駆動制御部１１２に出力する。なお、ズーム・フォーカス情報からは、後述する撮影画像（撮影画面）における被写体の撮影距離を算出することができるため、ズーム・フォーカス情報取得部３０２は、被写体の距離情報を取得する取得手段としての機能も有する。

被写体位置検出部３０４は、撮像素子１０７により取得される撮影画像における被写体を検出する検出手段として機能し、撮影画角内の被写体位置を検出する。追尾量算出部３０５は、ズーム・フォーカス情報取得部３０２および被写体位置検出部３０４の出力に基づいて、後述するように複数の被写体の追尾のために光学素子（補正レンズ１１１）を駆動する駆動手段を制御する制御手段としての機能を有する。追尾量算出部３０５は、検出された被写体位置情報に基づいて、補正レンズ１１１で被写体を追尾するために用いる制御量である追尾補正量を算出する。加算器３０６は、敏感度調整部３０１が出力する振れ補正量と、追尾量算出部３０５が出力する追尾補正量とを加算して駆動制御部１１２に対して出力する。駆動制御部１１２は、加算器３０６からの出力に基づいて、補正レンズ１１１の駆動量を算出し、この駆動量に基づいて補正レンズ１１１を駆動することで、被写体の追尾と像ブレ補正とを実行する。

次に、被写体位置検出部３０４での被写体位置検出方法について説明する。撮像素子１０７は、被写体からの反射光を電気信号に変換することで画像情報を得る。画像情報は、デジタル信号に変換される。デジタル信号に変換された画像情報は、被写体位置検出部３０４に送られる。

撮影画像内に捉えられている被写体のうち、主被写体を自動的に認識する方法としては以下の方法がある。まず、１つ目の方法として、人物を検出する方法がある。被写体位置検出部３０４は、撮影画像中の被写体として顔、人体を検出する。顔検出処理では、人物の顔と判断するパターンが予め定められており、画像内に含まれる該パターンに一致する箇所を、人物の顔として検出することができる。また、人体の検出についても、予め定められたパターンとの一致度に基づいて検出される。被写体位置検出部３０４は、検出された各被写体について、被写体（顔）としての確からしさを示す信頼度を算出する。信頼度は、例えば、画像内における顔領域の大きさや、顔パターンとの一致度合いから算出される。すなわち、被写体位置検出部３０４は、撮影画像内における被写体の大きさ、または当該被写体と予め記憶された被写体のパターンとの一致度に基づいて当該被写体の信頼度を演算する信頼度演算手段として機能する。

他の主被写体検出の方法として、撮影画像内に捉えられている被写体を撮像された画像内の色相や彩度等のヒストグラムから導入される分布を区間に分け、当該区間毎に撮像された画像を分類することで得られるそれぞれの領域を被写体として認識してもよい。例えば、撮像された画像について作成された複数の色成分のヒストグラムを山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域に撮像された画像を分類することで被写体を認識する。認識された被写体毎に評価値を算出することで、当該評価値が最も高い被写体を主被写体として判定することができる。主被写体が決定された後は、主被写体領域の、例えば色相分布や大きさ等の特徴量を用いて、以降に順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾することができる。検出された被写体の位置情報は、追尾量算出部３０５に入力され、追尾量算出部３０５が、追尾補正量を演算する。被写体が１つの場合、追尾量算出部３０５は、被写体の重心位置が画像中心付近に位置するように追尾補正量を演算する。被写体が複数の場合、追尾量算出部３０５は、複数の被写体に対応する１つの重心位置を求め、求めた重心位置が画像中心付近に位置するように追尾補正量を演算する。

次に、ＣＰＵ１０６による追尾補正量の算出方法について説明する。

図４は、追尾量算出部３０５の機能ブロック図の一例である。

追尾量算出部３０５は、画像縦方向、横方向の各軸にて個々に追尾補正量を演算するが、ここでは片軸についてのみ説明する。

減算器４０３は、被写体位置検出部３０４が出力する被写体位置情報に基づき、被写体位置４０１（重心位置）の座標と画像中央位置４０２の座標とを減算する。これにより、画像中心位置と被写体の重心位置との画像上での距離（中心ズレ量）が算出され、算出された中心ズレ量は画像中心を０とした符号付きのデータになる。減算器４０３の出力は、カウント値テーブル４０４に入力され、被写体重心位置と画像中心との差分の距離の大きさに基づいて、追尾のためのカウント値が演算される。カウント値は、制御サンプリング毎に演算される。ここで、中心ズレ量が所定閾値Ａ以下または所定閾値−Ａ以上の場合、カウント値を０に設定することで、中心から所定範囲内では追尾をしない不感帯領域を設けている。また、カウント値テーブル４０４では、中心ズレ量が大きくなるとカウント値が大きくなる。カウント値の符号は、中心ズレ量の符号に合わせて演算される。

カウント値テーブル４０４の出力は、信号選択部４０６に入力される。信号選択部４０６には、ダウンカウント値出力部４０５の出力と、追尾スイッチ４０７の状態も入力される。追尾スイッチがオンされている場合は、信号選択部４０６は、カウント値テーブル４０４の出力を選択し、加算器４０８に出力する。追尾スイッチがオフされている場合は、信号選択部４０６は、ダウンカウント値出力部４０５の出力を選択し、加算器４０８に出力する。

ダウンカウント値出力部４０５は、ダウンカウント値を出力する。ダウンカウント値出力部４０５には、後処理で演算される追尾量前回サンプリング値４１０も入力されている。追尾量前回サンプリング値４１０は、前回サンプリングまでの追尾補正量である。追尾量前回サンプリング値４１０がプラスの符号である場合は、ダウンカウント値出力部４０５は、ダウンカウント値をマイナスに設定する。追尾量前回サンプリング値４１０がマイナスの符号である場合は、ダウンカウント値出力部４０５は、ダウンカウント値をプラスに設定し、追尾補正量の絶対値が小さくなるようにする。また、追尾量前回サンプリング値４１０が０±所定範囲以内である場合は、ダウンカウント値出力部４０５は、ダウンカウント値を０に設定する。

加算器４０８は、信号選択部４０６の出力と追尾量前回サンプリング値４１０とを加算する。加算器４０８の出力は、上下限値設定部４０９に入力される。上下限値設定部４０９は、追尾補正量を、所定上限値以上、所定下限値以下にならないように設定する。上下限値設定部４０９の出力はＬＰＦ（ローパスフィルタまたは低域透過フィルタ）４１１に入力される。上下限値設定部４０９の出力は、ＬＰＦ４１１によって被写体検出の高周波ノイズがカットされ、補正レンズ量変換部４１２に出力する。補正レンズ量変換部４１２は、ＬＰＦ４１１の出力を、補正レンズ１１１で被写体追尾するための信号に変換する。これにより、最終的な追尾補正量が演算される。以上の処理によって得られた追尾補正量に基づいて補正レンズ１１１が駆動されることで、徐々に被写体の重心位置が画像中心付近に位置するように追尾補正される。

次に、ＣＰＵ１０６による被写体追尾制御について説明する。

図５は、検出された一つの被写体の追尾制御を説明する図である。

図５（Ａ）は、被写体の追尾制御開始前の撮影画像５０１ａを示す。図５（Ｂ）は、被写体の追尾制御開始後の撮影画像５０１ｂを示す。図５（Ａ）の撮影画像５０１ａにおいて、被写体５０２は、画像中心５０４（撮影画面の中心位置または中心領域）から離れた位置にある。また、５０３は、被写体５０２の重心位置（被写体重心位置）を示す。ＣＰＵ１０６は、被写体重心位置５０３の画像中心５０４までの距離を追尾制御により徐々に近づけていき、最終的には画像中心５０４と被写体重心位置５０３がほぼ一致するように追尾制御を行う。図５（Ｂ）に示すように、追尾が成功した被写体５０２の被写体重心位置５０３は、画像中心５０４と一致する。

また、図６は、検出された複数の被写体の追尾制御を説明する図である。

図６（Ａ）は、被写体が複数の場合の追尾制御開始前の撮影画像６０１ａを示す。図６（Ｂ）は、複数の被写体の追尾制御開始後の撮影画像６０１ｂを示す。図６（Ａ）の撮影画像６０１ａにおいて、被写体６０２と被写体６０４は、各々異なる位置にある。６０３は、被写体６０２の重心位置を示し、６０５は、被写体６０４の重心位置を示す。また、６０６は、被写体６０２と被写体６０４の重心位置（複数の被写体に対応する重心位置）を示す。以下では、この複数の被写体に対応する重心位置を複数被写体重心位置ともいう。ＣＰＵ１０６は、複数被写体重心位置６０６の画像中心６０７までの距離を追尾制御により徐々に近づけていき、最終的には画像中心６０７と複数被写体重心位置６０６がほぼ一致するように追尾制御を行う。図６（Ｂ）に示すように、追尾が成功した被写体６０２と被写体６０４の複数被写体重心位置６０６は、画像中心６０７と一致する。

以上のように、撮影者が撮像装置の操作をすることなく、画面内に一つ或いは複数の被写体を画面中心に保持するように追尾を行うことができる。

しかし、各被写体から撮像装置までの距離が其々異なる場合、以下のような問題がある。図７は、被写体７０１が被写体７０２よりも撮像装置に近い位置関係にある状態で、撮像装置が二つの主被写体を追尾制御する例を説明する図である。一般的に、撮影距離が近い被写体ほど、撮影画像内により大きく写るため、主被写体７０１は被写体７０２と比べて撮影画面内に大きく写っている。このとき、二つの被写体に対応する複数被写体重心位置を画像中心７０３に一致させた場合、主被写体７０１は被写体７０２と比べて画面端までの距離が近くなり、二つの被写体位置に偏りが生じてしまう。

また、撮影距離が近いほど、被写体の動きや撮影者の手振れによって生じる画面内における被写体の移動量は大きくなるため、被写体７０１に急な動きがあった場合や、撮影者の手振れが大きい場合に、被写体７０１がフレームアウトし易くなるという問題がある。

そこで、本実施形態の撮像装置は、複数の主被写体を追尾する場合に、複数の被写体の重心に関する位置情報と、該複数の被写体のそれぞれの距離情報と、に基づいて、該複数の被写体を追尾するように光学素子を駆動する駆動手段を制御することを特徴とする。すなわち、まず、それぞれの被写体の撮影距離を取得する。そして、各々の被写体の撮影距離に基いて、複数被写体重心位置に対して補正を行う。これにより、複数の被写体から撮像装置までの距離が各々異なる場合でも、被写体の位置の偏りやフレームアウトを防止しつつ、複数被写体の追尾を行うことができる。

図８は、本実施形態における撮像装置の複数被写体重心位置の補正処理を説明する図である。図８（Ａ）は、複数被写体重心位置が補正前の撮影画像８０１ａを示す。図８（Ｂ）は、複数被写体重心位置が補正後の撮影画像８０１ｂを示す。図８（Ａ）の撮影画像８０１ａにおいて、被写体８０２と被写体８０３は、各々異なる位置にある。また、８０４は画像中心を示し、被写体８０２と被写体８０３の複数被写体重心位置と一致している状態にある。ＣＰＵ１０６は、ズーム・フォーカス情報取得部３０２から得られるズーム、フォーカス情報に基づいて求まる撮影距離から、複数被写体重心位置を撮影距離が近い被写体に近付くように補正を行う。撮像装置は、補正後の複数被写体重心位置を式（１）を用いて算出する。なお、ｇは補正後の複数被写体重心位置、ｎは検出した被写体の数、ｇ_iは各被写体の重心位置、ｄ_iは各被写体の撮影距離を示している。

図８（Ｂ）に示すように、補正された被写体８０２と被写体８０３の複数被写体重心位置（追尾位置）は、画像中心８０４と一致する。

図９は、複数被写体の追尾制御の例を説明するフローチャートである。図９に示す追尾制御は、一定のサンプリング周期で実行される。

まず、ステップＳ９０１において、ＣＰＵ１０６が、防振ＳＷがＯＮであるかを判断する。防振ＳＷがＯＦＦである場合は、ステップＳ９０５に進み、ＣＰＵ１０６は振れ補正量を０に設定して、ステップＳ９０６に進む。防振ＳＷがＯＮである場合は、ステップＳ９０２に進む。

ステップＳ９０２において、ＣＰＵ１０６は、角速度計１０８ｐ、１０８ｙの出力の取り込みを行う。

ステップＳ９０３において、ＣＰＵ１０６は、撮像装置１０１が振れ補正が可能な状態であるかを判断する。具体的には、ＣＰＵ１０６は、撮像装置１０１が電源の供給から角速度計１０８ｐ、１０８ｙの出力が安定するまでの状態である場合は、振れ補正が可能な状態でないと判断し、ステップＳ９０５に進む。ステップＳ９０５では、ＣＰＵ１０６は振れ補正量を０に設定して、ステップＳ９０６に進む。角速度計１０８ｐ、１０８ｙの出力が安定した後の状態である場合は、振れ補正が可能な状態であると判断し、ステップＳ９０４に進む。これにより、電源を供給直後の出力値が不安定な状態で振れ補正を行わないようにすることができる。

ステップＳ９０４において、ＣＰＵ１０６は、振れ補正角度算出部３０３と敏感度調整部３０１とにより、ステップＳ９０２で取り込んだ角速度計の出力に基づき、振れ補正量を算出する。

ステップＳ９０６において、ＣＰＵ１０６は、撮像素子１０７で取り込んだ画像信号から、追尾対象となる被写体が存在するか否かを判断する。追尾対象となる被写体が存在しない場合はステップＳ９１１に進み、ＣＰＵ１０６は追尾補正量を０に設定して、ステップＳ９１２に進む。追尾対象となる被写体が存在する場合は、ステップＳ９０７に進む。

ステップＳ９０７において、ＣＰＵ１０６は、撮影画像内の複数被写体重心位置を算出する。

ステップＳ９０８において、ＣＰＵ１０６は、各被写体の撮影距離を取得する。

ステップＳ９０９において、ＣＰＵ１０６は、これまでに検出した各被写体の重心位置と、各被写体の撮影距離とに基づいて、複数被写体重心位置を補正する。

ステップＳ９１０において、ＣＰＵ１０６は、追尾量算出部３０５によって追尾補正量を算出する。

ステップＳ９１２において、ＣＰＵ１０６は、ステップＳ９０４で算出された振れ補正量と、ステップＳ９１０で算出された追尾補正量とを加算して、レンズ駆動量を算出する。

ステップＳ９１３において、ＣＰＵ１０６は、駆動制御部１１２によって、レンズ駆動量に基づき補正レンズ１１１を駆動する。これにより、像ブレ補正と被写体追尾が行われ、追尾制御が終了し、次回サンプリング周期まで待ち状態となる。

以上のように、第１の実施形態によれば、撮影画像内の複数被写体の重心位置と撮影距離とから複数の被写体に対応する一つの重心位置（補正された複数被写体重心位置、すなわち追尾位置）を算出し、この重心位置に基づいて自動追尾制御を行う。換言すれば、ＣＰＵ１０６は、被写体位置検出部３０４が複数の被写体（第１の被写体と第２の被写体）を検出した場合に、まず、第１の被写体の第１の重心位置および第２の被写体の第２の重心位置を算出する。さらに、第１の被写体の第１の撮影距離および第２の被写体の第２の撮影距離を取得する。そして、第１の重心位置および第２の重心位置と、第１の撮影距離および第２の撮影距離に基づいて、撮影画像の中心位置に近づくように制御される撮影画像内の特定位置（すなわち、追尾位置）を算出し、該特定位置に基づいて自動追尾制御を行う。ここで、特定位置は、第１の重心位置と第２の重心位置とに基づいて、第１の被写体および第２の被写体の第３の重心位置（複数被写体重心位置）を算出し、第１の撮影距離と第２の撮影距離とに基づいて、第３の重心位置を補正することにより算出される。より具体的に、特定位置は、第１の撮影距離が第２の撮影距離よりも短い場合に、第３の重心位置を第１の重心位置に近づけるように補正することにより得られる。これにより、複数被写体の撮影距離が異なることで、被写体の位置の偏りが生じることや、撮影距離が近い被写体がフレームアウトしてしまうことを防ぐことができる。

（第２の実施形態）
第２の実施形態では、第１の実施形態に加えて、各被写体の大きさに基づいて追尾位置を補正する例を述べる。なお、第２の実施形態の内容が、第１の実施形態の内容と同じ部分については説明を省略する。

図１０及び図１１は、第２の実施形態における追尾制御を説明する図である。図１０（Ａ）は、２つの被写体１００２と１００３に対応する複数被写体重心位置が補正前の撮影画像１００１ａを示す。また、１００４は、画像中心である。撮影画像１００１ａにおいて、被写体１００３の撮影距離は被写体１００２よりも離れているが、被写体１００３の大きさが被写体１００２よりも大きいため、撮影画像内で被写体１００３がより大きく写っている。

このとき、二つの被写体に対応する複数被写体重心位置を、撮影距離がより近い被写体１００２に近付けた場合、図１０（Ｂ）の追尾制御後の撮影画像１００１ｂに示すように、被写体１００３の画面端までの距離が短くなる。したがって、二つの被写体位置に偏りが生じてしまう。

そこで、本実施形態では、撮影画像内におけるそれぞれの被写体サイズを取得し、遠側に位置する被写体の方がサイズが大きい場合は、遠側の被写体位置が画像中心１００４から離れ過ぎないように、複数被写体重心位置の補正量を弱める。これにより、図１０（Ｃ）の追尾制御後の撮影画像１００１ｃに示すように、より各被写体のフレームアウトを防ぐことができるようになる。

また、図１１（Ａ）は、２つの被写体１１０２と１１０３に対応する複数被写体重心位置が補正前の撮影画像１１０１ａを示す。撮影画像１１０１ａにおいて、被写体１１０３の撮影距離は被写体１１０２よりも近く、更に被写体１１０３の大きさが被写体１１０２よりも大きいため、撮影画像内で被写体１１０３がより大きく写っている。

このとき、二つの被写体に対応する複数被写体重心位置を、撮影距離がより近い被写体１１０３に近付けた場合、図１１（Ｂ）の追尾制御後の撮影画像１１０１ｂに示すような位置関係となる。被写体１１０３の画面端からの距離が遠くなったことで、被写体１１０３がフレームアウトすることを防ぎ易くなったが、依然として撮影距離が遠く、且つサイズが小さい被写体１１０２と比べてフレームアウトする可能性は高い。

そこで、本実施形態では、撮影画像内におけるそれぞれの被写体サイズを取得し、近側に位置する被写体の方がサイズが大きい場合は、近側の被写体位置が画像中心１１０４により近付くように複数被写体重心位置の補正量を強める。これにより、図１１（Ｃ）の追尾制御後の撮影画像１１０１ｃに示すように、より各被写体のフレームアウトを防ぐことができるようになる。

以上のように、第２の実施形態によれば、撮影画像内の複数被写体の重心位置と撮影距離に加えて、被写体サイズから複数の被写体に対応する一つの重心位置を算出し、この重心位置に基づいて自動追尾制御を行う。換言すれば、ＣＰＵ１０６は、被写体位置検出部３０４が複数の被写体（第１の被写体と第２の被写体）を検出した場合に、まず、第１の被写体の第１の重心位置および第２の被写体の第２の重心位置を算出する。さらに、第１の被写体の第１の撮影距離および第２の被写体の第２の撮影距離を取得する。さらに、第１の被写体の第１の大きさおよび第２の被写体の第２の大きさを取得する。そして、第１の重心位置および第２の重心位置と、第１の撮影距離および第２の撮影距離と、第１の大きさおよび第２の大きさと、に基づいて、特定位置（すなわち、追尾位置）を算出し、該特定位置に基づいて自動追尾制御を行う。ここで、特定位置は、第１の重心位置と第２の重心位置とに基づいて、第１の被写体および第２の被写体の第３の重心位置（複数被写体重心位置）を算出し、第１の大きさと第２の大きさとに基づいて、第３の重心位置を補正することにより算出される。より具体的に、特定位置は、第１の大きさが第２の大きさよりも大きい場合に、第３の重心位置を第１の重心位置に近づけるように補正することで得られる。これにより、より撮影条件に適した方法で被写体位置の偏りや被写体のフレームアウトを防ぐことができる。

（第３の実施形態）
第３の実施形態では、第１の実施形態に加えて、各被写体の過去の動きベクトルに基づいて追尾位置を補正する例を述べる。なお、第３の実施形態の内容が、第１の実施形態の内容と同じ部分については説明を省略する。

図１２は、第３の実施形態における追尾制御を説明する図である。図１２（Ａ）は、２つの被写体１２０２と１２０３に対応する複数被写体重心位置が補正前の撮影画像１２０１ａを示す。また、１２０４は、画像中心である。撮影画像１２０１ａにおいて、被写体１２０２は動き被写体であり、被写体１２０３よりも撮影距離が近い位置に存在する。また、被写体１２０３は静止被写体であり、被写体１２０２よりも撮影距離が遠い位置に存在する。また、図１２（Ｂ）は、各被写体の撮影距離に基づいた追尾制御を行った後の、撮影画像１２０１ｂを示す。

このとき、静止被写体は動き被写体と比較して、被写体動作によるフレームアウトが起こりにくいため、本実施形態では、より動き被写体が画像中心１２０４に近付くように、複数被写体重心位置の補正を行う。また、本実施形態における各被写体が動き被写体であるか、静止被写体であるかの判定は、各被写体の過去の動きベクトルの検出によって行う。ここで、各被写体の動きベクトルは、被写体位置検出部３０４によって検出される。すなわち、本実施例において、被写体位置検出部３０４は、被写体が動体であるか否かを判断する判断手段としての機能を有する。所定の期間、動きベクトルの検出を行った結果、特定の被写体の動き量が取得できなかった場合に、撮像装置は前記被写体を静止被写体として判定する。尚、各被写体が動き被写体であるか、静止被写体であるかの判定方法は、上記以外の手段を用いてもよい。

これにより、図１２（Ｃ）の追尾制御後の撮影画像１２０１ｃに示すように、動き被写体がより画像中心１２０４に近付くように、複数被写体重心位置の補正を行うことができるようになる。

以上のように、第３の実施形態によれば、撮影画像内の複数被写体の重心位置と撮影距離に加えて、各被写体が動き被写体か静止被写体であるかの判定に基づいて自動追尾制御を行う。換言すれば、ＣＰＵ１０６は、被写体位置検出部３０４が複数の被写体（第１の被写体と第２の被写体）を検出した場合に、まず、第１の被写体の第１の重心位置および第２の被写体の第２の重心位置を算出する。さらに、第１の被写体の第１の撮影距離および第２の被写体の第２の撮影距離を取得する。さらに、各被写体の過去の動きベクトルから被写体が動体であるか否かを判断する。そして、第１の重心位置および第２の重心位置と、第１の撮影距離および第２の撮影距離と、被写体が動体であるか否か判断した結果と、に基づいて、特定位置（すなわち、追尾位置）を算出し、該特定位置に基づいて自動追尾制御を行う。ここで、特定位置は、第１の重心位置と第２の重心位置とに基づいて、第１の被写体および第２の被写体の第３の重心位置（複数被写体重心位置）を算出し、判断した結果に基づいて、第３の重心位置を補正することにより算出される。より具体的に、特定位置は、第１の被写体が動体であると判断された場合に、第３の重心位置を第１の重心位置に近づけるように補正することで得られる。これにより、撮影画像内に動き被写体と静止被写体が含まれる場合に、動き被写体のフレームアウトをより防ぐことができる好適な自動追尾制御を行うことができる。

以上説明したように、本発明によれば、複数の被写体の追尾を行う制御において、各被写体と撮像装置の距離に基づいて追従位置を補正することで、各被写体の位置の偏りが生じることと、被写体が画面外にフレームアウトすることを防ぐことが可能となる。また、撮影画面内における各被写体のサイズに基づいて追従位置を補正することで、被写体の大きさを考慮した好適な追従制御を行うことが可能となる。また、各被写体が動き被写体であるか、静止被写体であるかを判定することにより、撮影画像内に動き被写体と静止被写体が含まれる場合に、より好適な追従制御を行うことが可能となる。

このように、本発明の撮像装置（制御装置）は、被写体を検出する手段と、複数の被写体に対応する追尾位置を算出する手段と、被写体の距離情報を取得する手段と、該距離情報に基づいて追尾位置に補正を行う手段と、を有する。そして、補正手段は、距離が近い被写体ほど追尾位置に近付く方向に重み付けを行うよう補正する。本発明によれば、複数の被写体の追尾を行う制御において、各被写体の位置に偏りが生じることと、被写体が画面外にフレームアウトすることを防ぐことができる。

なお、上述した実施の形態では、各被写体の重心に関する位置情報に基づいて追尾位置を算出したが、各被写体の顔部分の位置情報など、他の位置情報に基づいて追尾位置を算出するようにしてもよい。これにより、より撮影者が意図している通りに、複数の被写体に対応する追尾位置を、撮影画像中心に保持することができるようになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム（すなわち、各実施例における各ステップが記述されたコンピュータで実行可能なプログラム）、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０１カメラ
１０７撮像素子
３０２ズーム・フォーカス情報取得部
３０４被写体位置検出部

Claims

撮像光学系と撮像素子により取得される撮影画像における被写体を検出する検出手段と、
前記被写体の撮影距離情報を取得する取得手段と、
前記検出手段および前記取得手段の出力に基づいて、前記被写体を追尾する追尾手段を制御する制御手段と、
を有し、
前記検出手段が第１の被写体と第２の被写体を検出し、
前記取得手段により取得された前記第１の被写体の撮影距離の方が前記取得手段により取得された前記第２の被写体の撮影距離よりも短い場合、前記制御手段は、前記第１の被写体の重心位置である第１の位置と前記撮影画像の中心位置との距離の方が、前記第２の被写体の重心位置である第２の位置と前記撮影画像の中心位置との距離よりも短くなるように、前記第１の被写体と前記第２の被写体とを追尾するように、前記追尾手段を制御することを特徴とする撮像制御装置。
前記制御手段は、
前記検出手段が第１の被写体と第２の被写体を検出した場合に、
前記第１の被写体の位置および前記第２の被写体の位置と、前記第１の被写体の撮影距離である第１の撮影距離および前記第２の被写体の撮影距離である第２の撮影距離と、に基づいて、前記撮影画像の中心位置に近づくように制御される撮影画像内の特定位置を算出することを特徴とする請求項１に記載の撮像制御装置。
前記制御手段は、前記第１の被写体と前記第２の被写体との重心である第３の位置を、前記第１の撮影距離と前記第２の撮影距離とに基づいて補正することにより、前記特定位置を算出することを特徴とする請求項２に記載の撮像制御装置。
前記制御手段は、前記第１の撮影距離が前記第２の撮影距離よりも短い場合に、前記第３の位置を前記第１の位置に近づけるように補正することで前記特定位置を算出することを特徴とする請求項３に記載の撮像制御装置。
前記制御手段は、前記検出手段により検出された複数の被写体のそれぞれの大きさに基づいて、前記追尾手段を制御することを特徴とする請求項１ないし４のいずれか１項に記載の撮像制御装置。
前記制御手段は、前記第1の被写体の大きさである第１の大きさと前記第２の被写体の大きさである第２の大きさとに基づいて、前記第３の位置を補正することにより、前記特定位置を算出することを特徴とする請求項３または４に記載の撮像制御装置。
前記制御手段は、前記第１の大きさが前記第２の大きさよりも大きい場合に、前記第３の位置を前記第１の位置に近づけるように補正することを特徴とする請求項６に記載の撮像制御装置。
前記被写体が動体であるか否かを判断する判断手段を備え、
前記制御手段は、前記判断手段の結果に基づいて前記追尾手段を制御することを特徴とする請求項１ないし７のいずれか１項に記載の撮像制御装置。
前記被写体が動体であるか否かを判断する判断手段を備え、
前記制御手段は、前記判断手段の結果に基づいて、前記第３の位置を補正することにより、前記特定位置を算出することを特徴とする請求項３、４、６または７に記載の撮像制御装置。
前記制御手段は、前記判断手段により前記第１の被写体が動体であると判断した場合に、前記第３の位置を前記第１の位置に近づけるように補正することを特徴とする請求項９に記載の撮像制御装置。
前記追尾手段は、光学素子を第１の方向および前記第１の方向と直交する第２の方向に駆動することを特徴とする請求項１ないし１０のいずれか１項に記載の撮像制御装置。
前記光学素子は、前記撮像光学系を構成するレンズであることを特徴とする請求項１１に記載の撮像制御装置。
前記光学素子は、前記撮像素子であることを特徴とする請求項１１または１２に記載の撮像制御装置。
前記追尾手段は、前記撮像素子が出力する画像信号から、前記撮影画像の生成に用いる領域の位置を変更することを特徴とする請求項1ないし１３のいずれか1項に記載の撮像制御装置。
撮像素子により取得される撮影画像における被写体を検出する検出ステップと、
前記被写体の撮影距離情報を取得する取得ステップと、
前記被写体を追尾する追尾手段を制御する制御ステップと、
を有し、
前記検出ステップにおいて第１の被写体と第２の被写体を検出し、
前記取得ステップにおいて取得された前記第１の被写体の撮影距離の方が前記取得ステップにおいて取得された前記第２の被写体の撮影距離よりも短い場合、前記制御ステップは、前記第１の被写体の重心位置である第１の位置と前記撮影画像の中心位置との距離の方が、前記第２の被写体の重心位置である第２の位置と前記撮影画像の中心位置との距離よりも短くなるように、前記第１の被写体と前記第２の被写体とを追尾するように、前記追尾手段を制御することを特徴とする撮像装置の制御方法。
請求項１５に記載の制御方法の各ステップが記述されたコンピュータで実行可能なプログラム。