JP6516544B2 - 制御装置、光学機器、撮像装置および制御方法 - Google Patents

Description

本発明は、制御装置、光学機器、撮像装置および制御方法に関する。

デジタルカメラ等の撮像装置では、露出決定やピント合わせといった、撮影上の重要な作業が全自動化されている。また、手振れ等による像ブレを防ぐ防振制御装置を搭載した撮像装置では、撮影者の撮影ミスを誘発する要因は殆どなくなっている。

しかし、被写体が移動している状態での撮影や、焦点距離が大きくなる望遠での撮影において、以下の問題がある。被写体が移動して撮影画像内から外れてしまう場合には、動き続ける被写体を撮影者の操作によって精度良く追尾するには、撮影者の特別な技術が必要である。また、焦点距離が大きくなる望遠レンズを有するカメラで撮影を行う場合、手振れによる像ブレの影響が大きくなるので、主被写体を撮影画像中心に保持することが難しい。撮影者が撮影画像内に被写体を戻そうと撮像装置を操作しても、撮像装置は、撮影者が意図して操作した手ぶれ量もブレ補正してしまうので、防振制御の影響により被写体を撮影画像内や撮影画像中心に微調整する操作が難しい。

特許文献１は、光軸と交差させる方向に光学系の一部を移動することによって、自動的に被写体を追尾する撮像装置を開示している。また、特許文献２は、撮影信号から目的の被写体を抽出して被写体の重心位置を出力し、被写体の重心位置が撮影画像の中心付近に出力されるように、回転雲台などで被写体を追尾する撮像装置を開示している。

特開２０１０−９３３６２号公報 特開平７−２２６８７３号公報

しかし、特許文献２が開示する撮像装置では、被写体の重心位置を撮影画像の特定位置に保持するように被写体追尾を行う場合、被写体検出の遅れや精度が追尾制御に影響を与える。この撮像装置は、被写体の検出遅れの無駄時間を加味して、被写体を撮影画像の特定位置付近に保持するためのフィードバック制御を行わなければならない。撮像装置が、被写体追従性を上げるためにフィードバックゲインを大きくすると、撮影条件によっては発振してしまう。また、発振しないようにフィードバックゲインを小さくすると被写体追従性が下がり、被写体を撮影画像から逃がしやすくなる。
本発明は、撮影条件に応じた良好な被写体追尾を実現する装置の提供を目的とする。

本発明の一実施形態の制御装置は、撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御装置であって、前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御手段と、前記撮影画像の撮影条件を検出する検出手段とを備える。前記制御手段は、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更する。
一実施形態の制御装置において、前記制御手段は、前記撮影画像における被写体の位置と当該被写体の目標位置との差分に基づいて、前記被写体を追尾するためのカウント値を算出し、サンプリング時間毎の前記被写体の追尾に用いる制御量に前記カウント値を加算することで、前記被写体が前記目標位置に移動するように制御し、前記検出された撮影条件に基づいて、前記カウント値の大きさを変更することで、前記被写体の追尾度合いを変更してもよい。
一実施形態の制御装置において、前記制御手段は、前記検出された被写体までの距離が小さいほど、前記被写体の追尾度合いが小さくなるように制御してもよい。
一実施形態の制御装置において、前記制御手段は、前記撮影画像に関するフレームレートが小さいほど、前記被写体の追尾度合いが小さくなるように制御してもよい。
一実施形態の制御装置において、前記制御手段は、前記検出された被写体の信頼度が小さいほど、前記被写体の追尾度合いが小さくなるように制御してもよい。
一実施形態の制御装置において、前記制御手段は、前記制御装置の振れ量が閾値を超える場合に、前記被写体の追尾度合いを小さくしてもよい。

本発明の制御装置によれば、撮影条件に応じた良好な被写体追尾を実現できる。

本実施形態の撮像装置を模式的に示す図である。 撮像装置の構成を示す図である。 検出された被写体の追尾制御を説明する図である。 実施例１における追尾量算出部の機能ブロック図である。 無駄時間の伝達特性に対応するボード線図である。 被写体の追尾制御の例を説明するフローチャートである。 実施例２における追尾量算出部の機能ブロック図である。

（実施例１）
図１は、本実施形態の撮像装置を模式的に示す図である。また、図２は、撮像装置の構成を示す図である。

カメラ１０１の本体には、レリーズボタン１０４が設けられている。レリーズボタン１０４の操作によるスイッチの開閉信号が、ＣＰＵ１０５に送られる。ＣＰＵ１０５は、本実施形態の制御装置として機能する。なお、本発明は、このＣＰＵ１０５の機能を備える任意の光学機器に適用可能である。撮像光学系の光軸１０２上には、補正レンズ１１４と撮像素子１０６が位置する。角速度計１０３は、矢印１０３ｐ（ピッチ）、１０３ｙ（ヨー）回りの角度振れを検出する角速度検出手段である。角速度計１０３の出力は、ＣＰＵ１０５に入力される。振れ補正角度算出部１０８は、角速度計１０３の出力に基づいて、振れ補正角度を演算する。具体的には、振れ補正角度算出部１０８は、角速度計１０３の出力に対して、角速度計１０３に検出ノイズとして付加されるＤＣ成分をカットした後、積分処理を実行して角度信号を出力する。ＤＣ成分のカットには、例えばＨＰＦ（ハイパスフィルタまたは高域透過フィルタ）が用いられる。振れ補正角度算出部１０８の出力は、敏感度調整部１０９に入力される。

敏感度調整部１０９は、ズーム、フォーカスの位置情報１０７と、これらにより求まる焦点距離や撮影倍率に基づいて、振れ補正角度算出部１０８の出力を増幅し、振れ補正目標値にする。ズーム、フォーカスの位置情報１０７に基づいて振れ補正目標値を求めるのは、レンズのフォーカスやズームなどの光学情報の変化により補正レンズ１１４の振れ補正ストロークに対するカメラ像面での振れ補正敏感度が変化するからである。敏感度調整部１０９は、振れ補正目標値を振れ補正量として駆動制御部１１３に出力する。

補正レンズ１１４は、撮影画像における被写体をシフト移動させる可動手段として機能する。駆動制御部１１３は、被写体が撮影画像の目標位置に移動するように補正レンズ１１４を駆動制御することで、被写体の追尾制御を実行する。また、駆動制御部１１３は、補正レンズ１１４を光軸と異なる方向に駆動することで、装置の振れによる像ブレを補正する像ブレ補正制御（光学防振）を実行する。図２に示す例では、補正レンズ１１４を用いた光学防振が採用されるが、像ブレ補正方法として、撮像素子を光軸に垂直な面内で移動させることで像ブレ補正を行う方法を適用してもよい。また、撮像素子が出力する各撮影フレームの切り出し位置を変更することで、振れの影響を軽減させる電子防振を適用してもよい。また、複数の像ブレ補正方法を組み合わせてもよい。

次に、補正レンズ１１４を用いた被写体追尾の制御方法について説明する。図２に示す被写体位置検出部１１０は、撮影画像内の被写体の位置（被写体位置）を検出し、被写体位置情報を追尾量算出部１１１に出力する。撮影状態検出部１１５は、撮影画像の撮影状態（撮影条件）を検出し、追尾量算出部１１１に出力する。追尾量算出部１１１は、被写体位置情報と撮影条件とに基づいて、補正レンズ１１４で被写体を追尾するための制御量である追尾補正量を算出する。加算器１１２は、敏感度調整部１０９が出力する振れ補正量と追尾量算出部１１１が出力する追尾補正量とを加算して駆動制御部１１３に対して出力する。駆動制御部１１３は、加算器１１２からの出力に基づいて、補正レンズ１１４の駆動量を算出し、この駆動量に基づいて補正レンズ１１４を駆動することで、被写体の追尾と像ブレ補正とを実行する。

次に、被写体位置検出部１１０での被写体位置検出方法について説明する。撮像素子１０６は、被写体からの反射光を電気信号に変換することで画像情報を得る。画像情報は、デジタル信号に変換される。デジタル信号に変換された画像情報は、被写体位置検出部１１０に送られる。

撮影画像内に捉えられている被写体のうち、主被写体を自動的に認識する方法としては以下の方法がある。１つ目の方法は、人物を検出する方法である。被写体位置検出部１１０は、撮影画像中の被写体として顔、人体を検出する。顔検出処理では、人物の顔と判断するパターンが予め定められており、画像内に含まれる該パターンに一致する箇所を、人物の顔として検出することができる。また、人体の検出についても、予め定められたパターンとの一致度に基づいて検出される。ここで、被写体位置検出部１１０は、検出された各顔について、顔としての確からしさを示す信頼度を算出する。信頼度は、例えば、画像内における顔領域の大きさや、顔パターンとの一致度合いから算出される。

他の主被写体検出の方法として、撮影画像内に捉えられている被写体を撮像された画像内の色相や彩度等のヒストグラムから導入される分布を区間に分け、当該区間毎に撮像された画像を分類することで得られるそれぞれの領域を被写体として認識してもよい。例えば、撮像された画像について作成された複数の色成分のヒストグラムを山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域に撮像された画像を分類することで被写体を認識する。認識された被写体毎に評価値を算出することで、当該評価値が最も高い被写体を主被写体として判定することができる。主被写体が決定された後は、主被写体領域の、例えば色相分布や大きさ等の特徴量を用いて、以降に順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域を追尾することができる。検出された被写体の位置情報は、追尾量算出部１１１に入力され、追尾量算出部１１１が、被写体の重心位置が画像中心付近に位置するように追尾補正量を演算する。

図３は、検出された被写体の追尾制御を説明する図である。
図３（Ａ）は、被写体の追尾制御開始前の撮影画像３０１ａを示す。図３（Ｂ）は、被写体の追尾制御開始後の撮影画像３０１ｂを示す。図３（Ａ）の撮影画像３０１ａにおいて、被写体３０２ａは、画像中心３０４から離れた位置にある。３０３ａは、被写体３０２ａの重心位置（被写体重心位置）を示す。ＣＰＵ１０５が、被写体重心位置３０３ａの画像中心３０４までの距離を追尾制御により徐々に近づけていき、最終的には画像中心３０４と被写体重心位置がほぼ一致するように追尾制御を行う。図３（Ｂ）に示すように、追尾が成功した被写体３０２ｂの被写体重心位置３０３ａは、画像中心３０４と一致する。

図４は、実施例１における追尾量算出部の機能ブロック図である。
追尾量算出部１１１は、画像縦方向、横方向の各軸にて個々に追尾補正量を演算するが、ここでは片軸についてのみ説明する。追尾量算出部１１１は、被写体の位置と画像中心（被写体の目標位置）との差分を小さくするようにフィードバック制御する被写体位置フィードバック制御を実行する。そして、追尾量算出部１１１は、撮影条件に基づいて、被写体位置フィードバック制御のフィードバックゲイン（４０６、４０８）を変更することで、追従度合いを変更する。

減算器４０３は、被写体位置検出部１１０によって検出された被写体情報に基づいて、被写体位置４０１の座標から画像中央位置４０２の座標を減算する。これにより、画像中心位置と被写体の重心位置との画像上での距離（中心ズレ量）が算出される。算出された中心ズレ量は画像中心を０とした符号付きのデータになる。減算器４０３の出力は、不感帯設定部４０４に入力される。減算器４０３の出力が０±所定範囲以内に位置する場合、不感帯設定部４０４は、０を出力する。減算器４０３の出力が、０±所定範囲外の場合、不感帯設定部４０４は、減算器４０３の出力をそのまま出力する。

不感帯設定部４０４の出力は、ＬＰＦ（ローパスフィルタまたは低域透過フィルタ）４０５に入力される。ＬＰＦ４０５が、被写体検出の高周波ノイズがカットされた被写体位置信号を比例ゲインＰｇ４０６に出力する。比例ゲインＰｇ４０６は、被写体位置信号に基づく比例制御量を加算器４１０に出力する。

また、不感帯設定部４０４の出力は、積分器４０７に入力された後、積分ゲインＩｇ４０８に入力され、上下限設定部４０９にて積分フィードバック制御量が所定上限値以上、所定下限値以下にならないように設定される。上下限設定部４０９の出力である積分制御量が、加算器４１０に出力される。加算器４１０は、比例制御量と積分制御量とを加算する。加算器４１０の出力は上下限設定部４１１に入力されて、フィーバック制御量が所定上限以上、所定下限値以下にならないように設定された後、補正レンズ量変換部４１２に入力される。補正レンズ量変換部４１２は、入力された信号を、補正レンズ１１４で被写体追尾するための信号に変換する。これにより、最終的な追尾補正量が演算される。

以上説明した処理によって、被写体の重心位置が画像中心付近に位置するように自動で被写体追尾制御を行うことができる。実施例１では、比例ゲインＰｇ４０６と積分ゲインＩｇ４０８とが、可変ゲインであり、信号選択部４１５の出力値に応じてゲイン値が可変される。

撮影状態検出部１１５が出力する撮影条件がゲイン量算出部４１３に入力され、ゲイン量算出部４１３が、撮影条件に応じて制御ゲインを設定する。信号選択部４１５には、追尾スイッチ（ＳＷ）４１６とゲイン量算出部４１３と定数４１４とが入力されている。追尾スイッチ４１６がオフされている場合は、信号選択部４１５は、定数４１４の出力を選択し、ゲインを徐々に０に設定する。これにより、加算器４１１の出力を０にし、被写体追尾動作を停止させる。追尾スイッチ４１６がオンされている場合は、信号選択部４１５は、ゲイン量算出部４１３が算出したゲイン値を出力する。

次に、ゲイン量算出部４１３による制御ゲイン（ゲイン値）の算出方法について説明する。
ゲイン量算出部４１３は、撮影条件に応じた比例ゲインＰｇ、積分ゲインＩｇを設定する。撮影条件によって制御ゲインを変更することで、被写体の追尾度合いが変更される。以下に、撮影条件によって制御ゲインを変更する理由と効果について説明する。被写体検出には、遅れ時間が生じる。遅れ時間による無駄時間Ｌの伝達特性は、式（１）で示される。
Ｇ（ｓ）＝ｅ^-LS ・・・式（１）

図５は、無駄時間の伝達特性に対応するボード線図である。
図５（Ａ）は、ゲイン特性を示す。図５（Ｂ）は、位相特性を示す。無駄時間Ｌに応じて、位相ずれが生じる。

図４を参照して説明した被写体位置のフィードバック制御は、無駄時間を考慮して行わなければならない。追従性を上げるために、制御ゲイン（Ｐｇ４０６、Ｉｇ４０８）を大きくし過ぎると、ある周波数以上で発振してしまう特性になってしまい、大きな像ブレが発生してしまう。無駄時間を考慮して、どのような撮影条件においても発振することのない被写体位置のフィードバック制御を行えばよいが、被写体追尾の追従性は下がってしまうので、被写体を撮影画像から逃がしやすくなってしまう。

そこで、実施例１の制御装置は、撮影条件によって、発振せずに、追従性もできるだけ早くするように設定されたゲインを変更することで、撮影条件に応じて最適な被写体追尾制御を実行する。

追尾量算出部１１１は、例えば、像面上の被写体速度が速くなる撮影条件でゲインを変更する。
被写体が移動することによる撮像面での被写体像の移動量ζは、実被写体の移動量ｚと撮影倍率βに基づいて、式（２）で表される。
ζ＝βz ・・・式（２）

カメラブレが影響する撮像面ブレ量δは、撮像光学系のズーム位置、フォーカス位置により求まる撮影倍率β、焦点距離ｆと、カメラブレ量（角度ブレθ、平行移動ブレＹ）とに基づいて、式（３）で表される。
δ＝（１＋β）ｆｔａｎθ＋βＹ・・・式（３）
式（２）、式（３）から分かるように、撮影倍率の変化により、撮像面での被写体像の移動量ζと、撮像面ブレ量δの大きさは変化する。よって、撮影倍率が大きいとき像面上の被写体速度は速くなり、撮影倍率が小さいとき像面上の被写体速度は遅くなる傾向になる。

また、式（３）より、カメラブレが影響する撮像面ブレ量δは、撮影倍率βに加えて、焦点距離ｆやカメラブレ量（角度θ、平行移動ｘ）によって、大きさが変化する。像ブレ補正制御ができているときはよいが、実際には、手振れによるカメラブレが影響する撮像面ブレ量が発生してしまう。このときブレ残り分だけ像ブレが発生するので、焦点距離が大きい場合には、像面上の被写体速度は速くなり、焦点距離が小さい場合には、像面上の被写体速度は遅くなる。

ここで、制御ゲイン（比例ゲインＰｇ４０６と積分ゲインＩｇ４０８）が同じでも、撮影倍率が大きい場合、撮影倍率が小さい場合に比べて、被写体速度は速くなりやすい。被写体速度が速い場合、追従性を上げ過ぎると、制御発振を起こす可能性が高くなる。したがって、ＣＰＵ１０５は、撮影倍率が大きいほど、制御ゲインを小さく設定して、被写体の追尾度合いが小さくなるように制御する。逆に、撮影倍率が小さい場合、制御発振を起こす可能性は撮影倍率が大きい場合に比べて低くなるので、追従性を上げてもよい。したがって、撮影倍率が小さい場合は、制御ゲインを大きく設定しておく。

撮影倍率とは、レンズを通して写した被写体像の大きさ（撮像面上の像の大きさ）と、被写体の実際の大きさとの比率である。ズーム位置固定で焦点距離の変化が小さい条件において、被写体までの距離（被写体距離）が近くなると撮影倍率が大きくなり、被写体距離が遠くなると撮影倍率が小さくなる。したがって、被写体距離に応じて制御ゲインを変更してもよい。具体的には、ＣＰＵ１０５は、被写体距離が小さいほど、制御ゲインを小さく設定して、被写体の追尾度合いが小さくなるように制御する。被写体距離が大きい場合は、制御ゲインを大きく設定しておく。

また、焦点距離が大きい場合は、被写体速度が速くなりやすく、焦点距離が小さい場合は、被写体速度が遅くなりやすい。したがって、ＣＰＵ１０５は、焦点距離が大きい場合は、制御ゲインを小さく設定して、被写体の追尾度合いが小さくなるように制御する。焦点距離が小さい場合は、制御ゲインを大きく設定しておく。

また、電子ズーム時は、画像を拡大表示しているので、電子ズームを実行していない場合に比べて、被写体速度が速くなりやすい。したがって、電子ズーム時には、制御ゲインを小さく設定しておく。

以上のように、制御装置が、像面上の被写体速度が変化する撮影条件に応じて、被写体フィードバック制御の制御ゲインを変更することで、被写体追従性と発振余裕を加味した被写体追尾を行うことができる。

また、追尾量算出部１１１は、例えば、被写体検出の遅れが変化する撮影条件に応じて制御ゲインを変更する。被写体検出の遅れは、フレームに伴う遅れと、撮影画像から被写体を検出する演算の遅れとがある。被写体検出はフレーム毎に行われ、被写体追尾にフィードバックされるが、フレームレートによって、遅れ時間は変化することになる。フレームレート３０ｐｐｓ（１秒間に３０コマ）の場合、１フレームの遅れは１／３０秒となり、フレームレート６０ｐｐｓ（１秒間に６０コマ）の場合、１フレームの遅れは１／６０秒となり、被写体検出の遅れ時間も変化することになる。

無駄時間が短い場合、位相遅れが小さくなるので、発振余裕が増え、制御ゲインを上げた設定が可能になるが、無駄時間が長い場合、位相遅れが大きくなるので、発振余裕がなくなり、制御ゲインを上げることができない。したがって、被写体検出の遅れが変化する条件（フレームレートの変化）に応じて、被写体フィードバック制御の制御ゲインを変更することで、撮影条件に応じて、被写体追従性と発振余裕を加味した被写体追尾を行うことができる。

また、追尾量算出部１１１は、例えば、被写体の信頼度の大きさに応じて、制御ゲインを変更する。被写体検出の間違いが、被写体追尾制御へ影響するからである。顔認識の技術は一般的に知られているが、撮影状態によっては検出精度が低い場合もある。例えば、表情変化や顔向き変化による顔パーツ形状の変化や、撮影環境の変化による顔の輝度分布変化などが生じると、顔との一致度が変化する。したがって、撮影状態によっては、顔が、検出と非検出を繰り返したり、顔重心位置の変化が高周波で頻繁に変化したりすることもある。このように被写体の検出精度が低いとき、被写体フィードバック制御の制御ゲインを大きくしてしまうと、被写体位置が高周波で大きく変化してしまい、発振してしまう場合があるので、制御ゲインは小さくしておくことが望ましい。また、検出精度が良好のときは、高周波で激しく変化してしまうことはなく、発振し難い状態なので、追従性を上げるため制御ゲインを大きくしておくことが望ましい。

したがって、制御装置は、被写体の顔としての確からしさを示す信頼度を被写体検出の信頼度として算出し、この信頼度の大きさに応じて、被写体追尾制御の制御ゲインを変更する。被写体検出の信頼度に応じて、被写体フィードバック制御の制御ゲインを変更することで、被写体追従性と発振余裕を加味した被写体追尾を行うことができる。

また、追尾量算出部１１１は、例えば、撮像装置の振れによる像ブレを振れ補正機構によって抑制できているか、つまり像ブレ補正制御の状態に応じて、ゲインを変更する。
振れ補正がＯＦＦの場合は、特に焦点距離が大きな条件において手振れによる像ブレが大きく、被写体が高周波で像移動してしまう。像ブレが大きい場合、被写体フィードバック制御の制御ゲインを大きくしてしまうと、高周波の大きな揺れから発振してしまう場合があるので、制御ゲインは小さくしておくことが望ましい。しかし、振れ補正がＯＮで且つ、像ブレを振れ補正制御により抑制できている場合は、被写体揺れが小さく発振する恐れが小さいので、被写体フィードバック制御の制御ゲインを大きくして被写体追従性を高めておくことが望ましい。

したがって、制御装置は、振れ補正がＯＮ且つ、振れ補正制御により像ブレが抑制できている場合は、制御ゲインを大きくし、手ブレが抑制できない場合は制御ゲインを小さくする。これにより、被写体追従性と発振余裕を加味した被写体追尾を行うことができる。像ブレが抑制できているか否かは、角速度計出力から検出される装置の振れ量が補正可能範囲（閾値）を超える大きさか否かで判定することができる。

図６は、被写体の追尾制御の例を説明するフローチャートである。
図６に示す追尾制御は、カメラ１０１の主電源オンでスタートされ、一定のサンプリング周期で実行される。

まず、ステップＳ６０１において、ＣＰＵ１０５が、防振ＳＷがＯＮであるかを判断する。防振ＳＷがＯＦＦである場合は、処理がＳ６０５に進み、ＣＰＵ１０５は、振れ補正量を０に設定する。そして、処理がステップＳ６０６に進む。防振ＳＷがＯＮである場合は、処理がＳ６０２に進む。

ステップＳ６０２において、ＣＰＵ１０５が、角速度計１０３の出力の取り込みを行う。ステップＳ６０３において、ＣＰＵ１０５が、カメラが振れ補正が可能な状態であるか否かを判断する。具体的には、ＣＰＵ１０５は、カメラが電源の供給から角速度計１０３の出力が安定するまでの状態である場合は、振れ補正が可能な状態でないと判断する。ＣＰＵ１０５は、カメラが角速度計１０３の出力が安定した後の状態である場合は、振れ補正が可能な状態であると判断する。これにより、電源を供給直後の出力値が不安定な状態で振れ補正を行わないようにすることができる。カメラが振れ補正が可能な状態でない場合は、処理がステップＳ６０５に進む。カメラが振れ補正が可能な状態である場合は、処理がステップＳ６０４に進む。

ステップＳ６０４において、ＣＰ１０５が、振れ補正角度算出部１０８と敏感度調整部１０９とにより、ステップＳ６０２で取り込んだ角速度計の出力に基づき振れ補正量を算出する。続いて、ステップＳ６０６において、ＣＰＵ１０５が、追尾ＳＷがＯＮであるかを判断する。追尾ＳＷがＯＦＦである場合は、処理がステップＳ６１７に進む。そして、ステップＳ６１７において、ＣＰＵ１０５が、追尾補正量を０に設定して、処理がステップＳ６１８に進む。追尾ＳＷがＯＮである場合は、処理がステップＳ６０７に進む。

ステップＳ６０７において、ＣＰＵ１０５が、撮像素子１０６で取り込んだ画像信号から、追尾対象となる被写体が存在するか否かを判断する。追尾対象となる被写体が存在しない場合は、処理がＳ６１７に進む。追尾対象となる被写体が存在する場合は、処理がステップ６０８に進む。

続いて、ＣＰＵ１０５が、以下に説明するステップＳ６０８乃至Ｓ６１３の処理によって、被写体の追尾制御のゲイン（追尾制御ゲイン）を算出する。なお、ＣＰＵ１０５が、ステップＳ６０８乃至Ｓ６１３のうちのいずれか１つまたは複数の処理を実行して追尾制御ゲインを算出するようにしてもよい。

ステップＳ６０８において、ＣＰＵ１０５が、撮影光学系のズーム、フォーカス位置から決まる焦点距離に基づいて、追尾制御ゲインＡを算出する。追尾制御ゲインＡは、例えば、予め登録された、焦点距離とゲインとの対応テーブルに基づいて設定される。この対応テーブルにおいては、焦点距離が大きくなるに従って制御ゲインを小さくして被写体の追尾度合いが小さくなるように設定されている。

ステップＳ６０８において、ＣＰＵ１０５が、撮影倍率に基づいて、追尾制御ゲインＢを算出する。追尾制御ゲインＢは、例えば、予め登録された、撮影倍率とゲインとの対応テーブルに基づいて設定される。この対応テーブルにおいては、撮影倍率が大きくなるに従ってゲインが小さくなるように設定されている。ＣＰＵ１０５が、被写体距離情報を検出し、被写体距離に基づいて追尾制御ゲインＢを設定してもよい。ＣＰＵ１０５は、被写体距離が小さくなるに従って追尾制御ゲインＢが小さくなるようにする。

また、ステップＳ６１０において、ＣＰＵ１０５が、電子ズーム情報が示す電子ズーム倍率に基づいて、追尾制御ゲインＣを算出する。追尾制御ゲインＣは、例えば、予め登録された、電子ズーム倍率とゲインとの対応テーブルに基づいて設定される。この対応テーブルにおいては、電子ズーム倍率が大きくなるに従って制御ゲインを小さくして被写体の追尾度合いが小さくなるように設定されている。

また、ステップＳ６１１において、ＣＰＵ１０５が、フレームレートに基づいて、追尾制御ゲインＤを算出する。追尾制御ゲインＤは、例えば、予め登録された、フレームレートとゲインとの対応テーブルに基づいて設定される。この対応テーブルにおいては、フレームレートが小さくなるに従って制御ゲインを小さくして被写体の追尾度合いが小さくなるように設定されている。つまり、フレーム間隔（無駄時間）が大きくなるに従って制御ゲインが小さくなる。

また、ステップＳ６１２において、ＣＰＵ１０５が、追尾対象である被写体の信頼度に基づいて、追尾制御ゲインＥを算出する。追尾制御ゲインＥは、例えば、予め登録された、信頼度とゲインとの対応テーブルに基づいて設定される。この対応テーブルにおいては、信頼度が低くなるに従って制御ゲインを小さくして被写体の追尾度合いが小さくなるように設定されている。

また、ステップＳ６１３において、ＣＰＵ１０５が、角速度計１０３から検出された撮像装置の振れ量に基づいて、追尾制御ゲインＦを算出する。追尾制御ゲインＥは、例えば、予め登録された、振れ量とゲインとの対応テーブルに基づいて設定される。この対応テーブルにおいては、振れ量が像ブレ補正の許容限界に対応する閾値を超えるとゲインが小さくなるように設定されている。

次に、ステップＳ６１４において、ＣＰＵ１０５が、被写体の重心位置を算出する。続いて、ステップＳ６１５において、算出した制御ゲイン（この例では制御ゲインＡ乃至Ｆ）の中から、最もゲインが小さい、つまり最も発振余裕の大きい制御ゲインを選択して、追尾制御ゲイン（４０６，４０８）に設定する。

次に、ステップ６１６において、ＣＰＵ１０５が、ステップＳ６１５で設定された制御ゲインに基づいて、追尾補正量を算出する。続いて、ステップＳ６１８において、ＣＰＵ１０５が、ステップＳ６０４で算出された振れ補正量と、ステップＳ６１６で算出された追尾補正量とを加算してレンズ駆動量を算出する。ＣＰＵ１０５が、レンズ駆動量に基づいて、駆動制御部１１３によって補正レンズ１１４を駆動することで、像ブレ補正と被写体追尾とを行う。そして、ステップＳ６２０に進み、追尾制御正ルーチンを終了し、次回サンプリング周期まで待つ。

実施例１の制御装置は、撮影条件に基づいて制御ゲインを算出して自動追尾制御を行うので、被写体追従性と発振余裕を加味した最適な被写体追尾を行うことができる。

本実施例では、振れ補正手段として補正レンズを用いて、光軸に垂直な面内で移動させる、いわゆる光学防振を適用する。しかし、本発明は、光学防振に限らず、以下の構成を適用することもできる。
（１）撮像素子を光軸に垂直な面内で移動させる被写体追尾装置の構成
（２）撮像素子が出力する各撮影フレームの切り出し位置を変更する被写体追尾装置の構成
（３）撮像素子と撮影レンズ群を含む鏡筒を回転駆動する被写体追尾装置の構成
（４）撮像装置とは別に設けた撮像装置をパン・チルトできる回転雲台を組み合わせた被写体追尾装置の構成
（５）上記複数の被写体追尾装置を組み合わせた構成

（実施例２）
図７は、実施例２における追尾量算出部の機能ブロック図である。
追尾量算出部１１１は、画像縦方向、横方向の各軸にて個々に追尾補正量を演算するが、ここでは片軸についてのみ説明する。追尾量算出部１１１は、被写体の位置と画像中心（被写体の目標位置）との差分に基づいて、被写体を追尾するためのカウント値を算出する。追尾量算出部１１１は、カウント値をサンプリング時間毎に加算することで、被写体位置が目標位置に移動するように制御する。そして、追尾量算出部１１１は、撮影条件に基づいて、カウント値の大きさを変更することで、追従度合いを変更する。

減算器４０３は、被写体位置検出部１１０によって検出された被写体情報に基づいて、被写体位置４０１の座標と画像中央位置４０２の座標と減算する。これにより、画像中心位置と被写体の重心位置との画像上での距離（中心ズレ量）が算出され、算出された中心ズレ量は、画像中心を０とした符号付きのデータになる。減算器４０３の出力は、カウント値テーブル７０１に入力され、被写体重心位置と画像中心との差分の距離の大きさに基づいて、追尾のためのカウント値が演算される。

追尾量算出部１１１は、中心ズレ量が、所定閾値Ｚ以下の場合または所定閾値−Ｚ以上の場合に、カウント値を０に設定する。これにより、中心から±Ｚの所定範囲内では追尾をしない不感帯領域が設けられる。また、カウント値テーブル７０１は、中心ズレ量が大きくなるとカウント値が大きくなるテーブルとなっている。また、カウント値の符号は中心ズレ量の符号に合わせて演算される。

カウント値テーブル７０１の出力は、可変ゲイン７０２に入力される。ゲイン量算出部４１３は、撮影状態検出部１１５によって検出された撮影条件に基づいて、カウント値のゲインを算出する。このゲインは、実施例１と同様に、焦点距離、撮影倍率、被写体距離、電子ズーム倍率、フレームレート、被写体信頼度や振れ量などに応じて設定される。ゲイン量算出部４１３は、算出したゲインを可変ゲインＣｇに設定する。

可変ゲイン７０２の出力は、信号選択部７０３に入力される。信号選択部７０３には、ダウンカウント値７０４の出力と、追尾スイッチ４１６も入力されている。信号選択部７０３は、追尾スイッチがオンされている場合は、可変ゲイン７０２の出力を選択し、追尾スイッチがオフされている場合は、ダウンカウント値７０４の出力を選択する。選択された出力は、加算器７０５に入力される。

ダウンカウント値設定部７０４は、ダウンカウント値を設定する。マイナスのダウンカウント値が追尾量前回サンプリング値７０７に加算されることで、追尾補正量の絶対値が小さくなる。追尾量前回サンプリング値７０７は、前回サンプリングまでの追尾補正量である。ダウンカウント値設定部７０４には、追尾量前回サンプリング値７０７が入力されている。ダウンカウント値設定部７０４は、追尾量前回サンプリング値７０７がプラスの符号である場合は、ダウンカウント値をマイナスに設定する。ダウンカウント値設定部７０４は、追尾量前回サンプリング値７０７がマイナスの符号である場合は、ダウンカウント値をプラスに設定する。これにより、追尾補正量の絶対値を小さくする。ダウンカウント値設定部７０４は、追尾量前回サンプリング値７０７が０±所定範囲以内である場合、ダウンカウント値を０に設定する。

加算器７０５は、選択部７０３の出力と追尾量前回サンプリング値７０７とを加算する。加算器７０５の出力は、上下限値設定部７０６に入力され、追尾補正量が所定上限値以上、所定下限値以下にならないように設定される。上下限値設定部７０６の出力は、ＬＰＦ７０８に入力され、被写体検出の高周波ノイズがカットされた追尾補正量が補正レンズ量変換部４１２に入力される。補正レンズ量変換部４１２が、入力された追尾補正量を補正レンズ１１４で追尾するための信号に変換して、最終的な追尾補正量を演算する。

以上の処理により、画像中心位置と被写体位置との差分に応じて、制御サンプリング毎にカウント値が演算されて追尾補正量に加算されることで、徐々に被写体位置が画像中心付近に位置するように追尾制御される。実施例２の制御装置によれば、撮影条件によって算出したカウント値に基づいて、自動追尾制御を行うことで、被写体追従性と発振余裕を加味した最適な被写体追尾を行うことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ カメラ
１０５ ＣＰＵ
１０６ 撮像素子
１１４ 補正レンズ

Claims (16)

1. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御装置であって、
   前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御手段と、
   前記撮影画像の撮影条件を検出する検出手段とを備え、
   前記制御手段は、
   前記撮影画像における被写体の位置と当該被写体の目標位置との差分に基づいて、前記被写体を追尾するためのカウント値を算出し、サンプリング時間毎の前記被写体の追尾に用いる制御量に前記カウント値を加算することで、前記被写体が前記目標位置に移動するように制御し、
   前記検出された撮影条件に基づいて、前記カウント値の大きさを変更することで、前記被写体の追尾度合いを変更する
   ことを特徴とする制御装置。
2. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御装置であって、
   前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御手段と、
   前記撮影画像の撮影条件を検出する検出手段とを備え、
   前記制御手段は、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
   前記制御手段は、前記検出された被写体までの距離が小さいほど、前記被写体の追尾度合いが小さくなるように制御する
   ことを特徴とする制御装置。
3. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御装置であって、
   前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御手段と、
   前記撮影画像の撮影条件を検出する検出手段とを備え、
   前記制御手段は、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
   前記制御手段は、前記撮影画像に関するフレームレートが小さいほど、前記被写体の追尾度合いが小さくなるように制御する
   ことを特徴とする制御装置。
4. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御装置であって、
   前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御手段と、
   前記撮影画像の撮影条件を検出する検出手段とを備え、
   前記制御手段は、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
   前記制御手段は、前記検出された被写体の信頼度が小さいほど、前記被写体の追尾度合いが小さくなるように制御する
   ことを特徴とする制御装置。
5. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御装置であって、
   前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御手段と、
   前記撮影画像の撮影条件を検出する検出手段とを備え、
   前記制御手段は、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
   前記制御手段は、前記制御装置の振れ量が閾値を超える場合に、前記被写体の追尾度合いを小さくする
   ことを特徴とする制御装置。
6. 前記制御手段は、
   前記撮影画像における被写体の位置と当該被写体の目標位置との差分を小さくするフィードバック制御を実行し、
   前記撮影条件に基づいて、前記フィードバック制御における制御ゲインを変更することで、前記被写体の追尾度合いを変更する
   ことを特徴とする請求項２乃至５のいずれか１項に記載の制御装置。
7. 前記制御手段は、撮影光学系のズーム位置、フォーカス位置から求まる焦点距離が大きいほど、前記被写体の追尾度合いが小さくなるように制御する
   ことを特徴とする請求項２乃至６のいずれか１項に記載の制御装置。
8. 前記制御手段は、撮影光学系のズーム位置、フォーカス位置から求まる撮影倍率が大きいほど、前記被写体の追尾度合いが小さくなるように制御する
   ことを特徴とする請求項２乃至７のいずれか１項に記載の制御装置。
9. 前記制御手段は、電子ズーム倍率が大きいほど、前記被写体の追尾度合いが小さくなるように制御する
   ことを特徴とする請求項２乃至８のいずれか１項に記載の制御装置。
10. 請求項１乃至９のいずれか１項に記載の制御装置を備える光学機器。
11. 請求項１０に記載の光学機器として機能する撮像装置。
12. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御方法であって、
    前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御工程と、
    前記撮影画像の撮影条件を検出する検出工程とを備え、
    前記制御工程では、
    前記撮影画像における被写体の位置と当該被写体の目標位置との差分に基づいて、前記被写体を追尾するためのカウント値を算出し、サンプリング時間毎の前記被写体の追尾に用いる制御量に前記カウント値を加算することで、前記被写体が前記目標位置に移動するように制御し、
    前記検出された撮影条件に基づいて、前記カウント値の大きさを変更することで、前記被写体の追尾度合いを変更する
    ことを特徴とする制御方法。
13. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御方法であって、
    前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御工程と、
    前記撮影画像の撮影条件を検出する検出工程とを備え、
    前記制御工程では、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
    前記制御工程では、前記検出された被写体までの距離が小さいほど、前記被写体の追尾度合いが小さくなるように制御する
    ことを特徴とする制御方法。
14. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御方法であって、
    前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御工程と、
    前記撮影画像の撮影条件を検出する検出工程とを備え、
    前記制御工程では、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
    前記制御工程では、前記撮影画像に関するフレームレートが小さいほど、前記被写体の追尾度合いが小さくなるように制御する
    ことを特徴とする制御方法。
15. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御方法であって、
    前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御工程と、
    前記撮影画像の撮影条件を検出する検出工程とを備え、
    前記制御工程では、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
    前記制御工程では、前記検出された被写体の信頼度が小さいほど、前記被写体の追尾度合いが小さくなるように制御する
    ことを特徴とする制御方法。
16. 撮影画像における被写体をシフト移動させる可動手段により前記被写体を追尾する制御方法であって、
    前記被写体が前記撮影画像の目標位置に移動するように前記可動手段を制御する制御工程と、
    前記撮影画像の撮影条件を検出する検出工程とを備え、
    前記制御工程では、前記検出された撮影条件に基づいて、前記被写体の追尾度合いを変更し、
    前記制御工程では、前記可動手段を制御する装置の振れ量が閾値を超える場合に、前記被写体の追尾度合いを小さくする
    ことを特徴とする制御方法。
    

Images