JP6833461B2 - 制御装置および制御方法、撮像装置 - Google Patents

Description

本発明は、制御装置および撮像装置の技術に関する。

撮像装置には、手振れ等による画像のブレを抑制する像ブレ補正機能や、被写体が人物である場合の顔検出機能、人体検出機能を有する装置がある。例えば人物の顔を判断するためのパターンが予め定められており、撮影画像内に含まれる該パターンに一致する箇所が人物の顔画像として検出される。検出された人物の顔画像は、合焦制御や露出制御等で参照される。

移動している被写体の撮影時や焦点距離の大きい望遠での撮影時には、以下の問題がある。被写体が移動して撮影画角から外れてしまう場合、動き続ける被写体を、手動操作のみによって精度良く追尾するには撮影者の特別な技術が必要である。また、望遠レンズを有するカメラで撮影を行う場合、手振れによる像ブレの影響が大きくなるので、主被写体を撮影画像の中心に保持することが難しい。撮影者が被写体を画角内に捉え直そうとしてカメラを操作した場合、撮影者が意図して操作したときの手振れ量に応じて像ブレ補正が行われてしまう。そのため、像ブレ補正制御の影響によっては、被写体を画角内に捉え、または撮影画像中心に被写体像を位置させるために撮影者が行う微調整の操作が難しい。

特許文献１には、光軸と交差させる方向に光学系の一部を移動させることによって、自動的に被写体を追尾する撮像装置が開示されている。撮像素子により取得される画像信号から被写体の位置が検出され、被写体追尾演算量が算出される。撮像装置はブレ補正演算量に被写体追尾演算量を合成することで、像ブレを補正しながら被写体追尾制御を行う。

特開２０１０−９３３６２号公報

被写体像の位置を撮影画像内の特定位置（例えば中央位置）に保持するように被写体追尾を行うシステムにおいて、被写体追尾制御と像ブレ補正とを同時に行うことについて十分な検討がされておらず、撮影者によるフレーミングが難しくなる場合があり得る。
本発明の目的は、撮影者がフレーミングし易い像ブレ補正および被写体追尾制御を実現することである。

本発明の一実施形態に係る制御装置は、振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記被写体の追尾制御を行う追尾制御手段と、前記追尾制御手段による追尾制御の対象とする被写体が選択可能な選択可能モードを設定する設定手段と、を備え、前記補正制御手段は、前記選択可能モードに設定されていない第１の状態における像ブレ補正効果よりも、前記選択可能モードが設定されて、被写体を選択することができる第２の状態における像ブレ補正効果が高くなるように前記補正量を算出することを特徴とする。

本発明によれば、撮影者がフレーミングし易い像ブレ補正および被写体追尾制御を実現することができる。

第１実施形態に係る撮像装置および撮像装置の振れ方向を説明する図である。 第１実施形態に係る撮像装置の構成例を示す図である。 検出された被写体の追尾制御を説明する図である。 第１実施形態における追尾量算出部の機能ブロック図である。 第１実施形態における追尾制御の被写体指定方法を説明する図である。 第１実施形態における被写体位置に応じた防振カットオフ周波数設定の説明図である。 第１実施形態における制御を説明するフローチャートである。 第２実施形態に係る撮像装置を模式的に示す図である。 第２実施形態に係る撮像装置の構成例を示す図である。 第３実施形態に係る撮像装置の構成例を示す図である。 第４実施形態に係る撮像装置の構成例を示す図である。 第４実施形態に係る追尾制御中の撮像装置の状態とタイミングチャートの例を説明する図である。 第４実施形態に係る追尾制御中の撮像装置の状態とタイミングチャートの例を説明する図である。 第４実施形態に係る追尾制御中の撮像装置の状態とタイミングチャートの例を説明する図である。 第４実施形態に係る追尾制御中の撮像装置の状態とタイミングチャートの例を説明する図である。 第４実施形態に係る追尾制御中の撮像装置の状態とタイミングチャートの例を説明する図である。 第４実施形態に係る撮像装置における警告通知方法を説明する図である。 第４実施形態に係る撮像装置における警告通知方法を説明する図である。

以下、本発明に係る各実施形態について、図面を参照して詳細に説明する。各実施形態では、振れを検出して画像ブレを補正する機能と、被写体を自動追尾する機能とを有する制御装置を搭載した撮像装置を例示する。本発明は、デジタルカメラやデジタルビデオカメラに限らず、監視カメラ、Ｗｅｂカメラ、携帯電話等の撮像装置にも適用可能である。また本発明は、レンズ交換式、レンズ一体型のいずれのカメラにも適用可能である。

［第１実施形態］
本実施形態では、被写体像の位置を撮影画像内の特定位置（例えば中央位置）に保持するように被写体追尾を行うシステムの例を説明する。このようなシステムにおいては、追尾制御中に撮影者は被写体を追うためにフレーミング操作を行う必要はない。このときには像ブレを補正する際の制御特性の周波数帯域を広くすることで振れ補正の効果（以下、像ブレ補正効果という）を高くすると、手振れ等の影響を除去しつつ、スムーズな被写体追尾による撮影が可能となる。

しかし、このような被写体追尾を行う場合、撮影者は所望の被写体を撮影するために画面内の被写体を指定することで追尾を行えるが、被写体を指定すること自体が難しいことがある。例えば、撮影レンズの焦点距離が非常に大きい場合（１０００ｍｍ以上等）、手振れの影響で被写体像が移動してしまい、被写体を画角内に捉えてフレーミングすることが難しい。この場合、像ブレ補正の制御特性の周波数帯域を広くして像ブレ補正効果を高くしておくと、手振れの影響によるフレーミングのし難さを抑制することができる。しかしながら、像ブレ補正効果を高くした場合、被写体が移動したときに、撮影者が撮影画角内に被写体が入るようにカメラを操作しても、撮影者が意図して操作したときの手振れ量に対して像ブレ補正が行われてしまう。像ブレ補正効果の度合いによっては、被写体を画角内に捉え直すことが困難になり、あるいは被写体像の位置を撮影画像の中心位置に微調整する操作が難しくなるという問題が起こり得る。そこで、本実施形態では、像ブレ補正および被写体追尾制御を行う制御装置を備える撮像装置であって、撮影者のフレーミングし易さを向上させることが可能な撮像装置について説明する。

図１は、本発明の各実施形態に係る撮像装置の振れ方向を説明する図である。撮像装置１０１に搭載される制御装置は、像ブレ補正装置および被写体追尾制御装置により構成される。なお、この制御装置は、像ブレ補正および被写体追尾により、被写体像の位置を制御するため、本明細書では像位置制御装置と呼ぶことがある。図２は、撮像装置１０１の撮像部の構成と、撮像装置１０１が備えるＣＰＵ（中央演算処理装置）１０５により実行される像ブレ補正処理および自動追尾処理の機能ブロックを示す図である。

像ブレ補正装置は、例えば光軸１０２に対して矢印１０３ｐ、１０３ｙで示すピッチ方向、ヨー方向の角度振れに対して像ブレ補正を行う。３次元直交座標系のうちＺ軸方向を光軸方向とし、Ｚ軸に直交する第１の軸をＸ軸とし、Ｚ軸およびＸ軸に直交する第２の軸をＹ軸と定義する。矢印１０３ｐに示すＸ軸回り方向がピッチ方向であり、矢印１０３ｙに示すＹ軸回り方向がヨー方向である。

撮像装置１０１の本体部にはシャッタを走行させるためのレリーズスイッチ１０４が設けられ、レリーズスイッチ１０４の操作によりスイッチの開閉信号がＣＰＵ１０５に送られる。レリーズスイッチ１０４は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオン状態となる２段階のスイッチである。レリーズスイッチ１０４を約半分押し込んだときにＳＷ１がオンし、レリーズスイッチ１０４を最後まで押し込んだときにＳＷ２がオンする。ＳＷ１がオンすると、フォーカスレンズの駆動により焦点調節が行われるとともに、絞りの駆動により適正な露光量に設定される。さらにＳＷ２がオンすると、撮像素子１０６に露光された光像から得られた画像データが記録媒体に記録される。

ＣＰＵ１０５は本実施形態の制御装置として機能する。本実施形態はＣＰＵ１０５を備える任意の光学機器に適用可能である。撮像光学系の光軸１０２上には振れ補正レンズ（以下、補正レンズともいう）１０８と、撮像素子１０６が位置する。補正レンズ１０８は、光軸１０２と異なる方向に移動することにより、画面上における被写体像の像ブレを補正する。撮像装置１０１は、角度振れの角速度を検出する角速度検出手段（以下、角速度計という）を備える。角速度計１０３は、図１の矢印１０３ｐで示されるＸ軸回りの回転方向（ピッチ方向）および矢印１０３ｙで示されるＹ軸回りの回転方向（ヨー方向）の角度振れを検出する。角速度計１０３の出力する検出信号はＣＰＵ１０５に入力され、振れ補正角度算出部１０９が振れ補正角度を算出する。振れ補正角度算出部１０９の出力は、敏感度調整部１１４に入力される。

被写体の自動追尾制御が行われない場合、振れ補正角度算出部１０９は、角速度計１０３の出力に基づいて振れ補正角度を演算する。具体的には、振れ補正角度算出部１０９では、オフセット減算部１１０にて角速度計１０３の出力である検出信号に対して、角速度計１０３に検出ノイズとして付加されるＤＣ（直流）成分をカットする。そして積分フィルタ部１１１にて積分処理を実行して角度信号を出力する。オフセット減算部１１０によるＤＣ成分のカットには、例えばＨＰＦ（ハイパスフィルタ）が用いられる。また積分フィルタ部１１１には、下記式（１）のフィルタを用いる。式（１）は、左辺第１項の積分器と左辺第２項のＨＰＦを組み合わせたフィルタを表している。このフィルタは時定数Ｔのローパスフィルタ（ＬＰＦ）の式に時定数Ｔを乗算したものと同じ式となる。

オフセット減算部１１０と積分フィルタ部１１１には、防振特性変更部１１２の出力が入力される。防振特性変更部１１２にはパンニング判定部１１３の出力が入力される。なお、防振特性変更部１１２には、追尾ＳＷ（スイッチ）１２１の出力も入力されるが、追尾ＳＷ１２１に対応した防振特性変更部１１２の処理については後で説明する。

パンニング判定部１１３は、角速度計１０３の出力および積分フィルタ部１１１の出力である振れ補正角度を取得し、撮像装置１０１のパンニング動作が行われているか否かを判定する。具体的には、パンニング判定部１１３は角速度計１０３が検出した撮像装置１０１の角速度を所定の閾値と比較する。検出された角速度が閾値を超えた時点から所定期間（判定用時間）が経過した場合にパンニング中であると判定とされ、判定信号が防振特性変更部１１２へ出力される。

パンニング判定部１１３はパンニング中であると判定した場合、防振特性変更部１１２に対し、積分フィルタ部１１１の出力する振れ補正角度が大きくなり過ぎないように、制御範囲の中心への推進力を大きく設定する指示を与える。推進力とは、振れ補正角度を制御範囲の中心へ遷移させて近づけようとする制御作用を意味する。またパンニング判定部１１３はパンニング中でないと判定した場合、防振特性変更部１１２に対し、制御範囲の中心への推進力を小さく設定するように指示する。ここで、パンニングの大きさに応じて制御範囲の中心への推進力を段階的に変更してもよい。パンニングの大きさとは、検出された角速度の大きさ、または角速度が閾値を超えている時間の長さである。本実施形態ではパンニング動作を例示して説明する。チルティング動作についても方向の違いを除いて同様の処理が行われるので、その詳細な説明は省略する。

防振特性変更部１１２は、パンニング判定結果と、振れ補正角度に応じた制御範囲中心への推進力の大きさに関する指示にしたがって防振特性（像ブレの補正特性）を変更する。例えば防振特性変更部１１２は、積分フィルタ部１１１の出力である振れ補正角度が所定の閾値よりも大きい場合、振れ補正角度を制御範囲の中心付近へ遷移させるために防振特性を変更する。振れ補正角度の大きさに応じて段階的に中心付近へ遷移させるための制御が行われる。具体的には、振れ補正角度が大きいほど中心への推進力を大きくし、振れ補正角度が小さいほど中心への推進力を小さくする制御が行われる。

防振特性変更部１１２は、オフセット減算部１１０や積分フィルタ部１１１のフィルタ特性を変更することで防振特性を変更する。防振特性変更部１１２は前記推進力が小さくなるように指示された場合、オフセット減算部１１０のＨＰＦのカットオフ周波数を小さく設定し、積分フィルタ部１１１のカットオフ周波数を小さく設定する。防振特性変更部１１２は前記推進力が大きくなるように指示された場合、オフセット減算部１１０のＨＰＦのカットオフ周波数を大きく設定し、積分フィルタ部１１１のカットオフ周波数を大きく設定する。

上記のように振れ補正角度算出部１０９は、パンニング判定結果と振れ補正角度の大きさに応じて、制御範囲の中心への推進力を変更する処理を行う。これにより、パンニング判定処理を行いつつ、振れ補正角度を算出することができる。振れ補正角度算出部１０９の出力する振れ補正角度の信号は、敏感度調整部１１４に入力される。

敏感度調整部１１４は、ズームおよびフォーカス位置情報１０７と、これらにより求まる焦点距離や撮影倍率に基づいて、振れ補正角度算出部１０９の出力を増幅し、振れ補正目標値を出力する。ズーム位置情報はズームユニットから取得され、フォーカス位置情報はフォーカスユニットから取得される。ズームおよびフォーカス位置情報１０７に基づいて振れ補正目標値を算出する理由は、ズームやフォーカス等の光学情報の変化により補正レンズ１０８の振れ補正ストロークに対する撮像面での振れ補正敏感度が変化するからである。敏感度調整部１１４は振れ補正目標値を加算部１１５に出力する。

被写体の自動追尾を行わない場合（追尾量算出部１１８の出力である追尾補正量が０の場合）、加算部１１５は敏感度調整部１１４による振れ補正目標値を出力する。駆動制御部１１６には、振れ敏感度調整部１１４の出力のみが入力される。この場合、補正レンズ１０８は、撮影画像における被写体像の位置をシフト移動させる可動手段として機能する。駆動制御部１１６は、補正レンズ１０８を駆動制御し、振れ補正を実行する。

本実施形態にて駆動制御部１１６は、補正レンズ１０８を光軸方向と異なる方向に駆動することで像ブレ補正（光学式防振）を実行する。本実施形態では、補正レンズ１０８を用いた光学像ブレ補正の方式を採用しているが、これに限らず、撮像素子を光軸と垂直な面内で移動させることで像ブレを行う補正方法を適用してもよい。または、撮像素子が出力する各撮影フレームの画像の切り出し位置を変更することで、振れの影響を軽減させる電子式防振を適用してもよい。あるいは複数の像ブレ補正方法を組み合わせることも可能である。加えて、本実施形態では、このような光学式防振および電子式防振の技術を用いて、補正レンズ又は撮像素子の駆動、画像の切り出し位置の変更により、被写体の追尾制御を行う。

次に、被写体検出部１１７が行う被写体位置の検出処理について詳細に説明する。撮像素子１０６は被写体からの反射光を電気信号に光電変換することで画像情報を取得する。画像情報はＡ／Ｄ変換部でデジタル画像信号に変換され、デジタル画像信号が被写体検出部１１７に送られる。撮影画角内に捉えた被写体の画像が複数である場合、複数の被写体から主被写体を自動的に認識する方法として以下の方法がある。

主被写体検出の第１の方法は人物を検出する方法である。この場合、被写体検出部１１７は被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。被写体検出部１１７は、検出された各被写体について、被写体の顔としての確からしさを示す信頼度を算出する。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。すなわち被写体検出部１１７は、撮影画像内における被写体の大きさ、または当該被写体と予め記憶された被写体のパターンとの一致度に基づいて当該被写体の信頼度演算を行う信頼度演算手段として機能する。

主被写体検出の第２の方法は、撮像された画像内の色相や彩度等のヒストグラムを使用する方法である。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。

主被写体領域の決定後には、その特徴量を用いて、以降にライブビュー動作、連写撮影または動画撮像により順次撮像される画像から特徴量と類似する領域を検出することで主被写体領域を追尾できる。主被写体領域の特徴量は、例えば色相分布や大きさ等から演算される。検出された主被写体の位置情報は、追尾量算出部１１８に入力される。追尾量算出部１１８は、主被写体画像の中心位置が、例えば撮影画像の中央（目標位置）付近に位置するように追尾補正量を演算する。また撮影者が、随時出力される映像信号にしたがって撮像装置の表示部の画面に表示される映像を見ながら、撮像装置の操作部材を操作することによって、表示画面上で被写体位置を指定することも可能である。この場合、撮影者が表示画面に表示される複数の被写体の画像の中から主被写体を指定する操作を行うと、指定された位置での色相分布や大きさ等の特徴量が算出される。算出された特徴量を用いて、以降に順次撮像される画像から当該特徴量と類似する特徴量をもつ領域を検出して、検出された領域を主被写体領域として追尾することができる。

次に、補正レンズ１０８を用いた被写体の追尾制御方法について説明する。図２に示す被写体検出部１１７は、撮像素子１０６から撮像された画像信号を取得し、撮影画像内の被写体の画像位置（被写体位置）を検出する。被写体位置情報は追尾量算出部１１８に出力される。追尾量算出部１１８は、ズームおよびフォーカス位置情報１０７と、検出された被写体位置情報に基づいて、補正レンズ１０８の駆動により被写体を追尾するために用いる制御量を算出する。以下、被写体を追尾して被写体の画像を画面（撮影画像の範囲）における予め設定された位置（目標位置。本実施形態では中央位置）に位置させるための制御量（追尾制御量）を追尾補正量という。追尾量算出部１１８は、追尾ＳＷ１２１の状態に応じて追尾補正量を算出する。追尾補正量は加算部１１５に入力され、敏感度調整部１１４の出力である振れ補正目標値と加算されることで、補正レンズ１０８の駆動による振れ補正と追尾制御とが同時に行われる。

図３は、検出された主被写体に対する、本実施形態による追尾制御を説明する図である。図３（Ａ）は、被写体追尾制御の開始前における撮影画像３０１ａを例示する。図３（Ｂ）は、被写体追尾制御の開始後における撮影画像３０１ｂを例示する。図３（Ａ）の撮影画像３０１ａにおいて、中央に示す黒点は画面中央位置３０４を示す。追尾制御の開始前に被写体３０２ａの画像位置は画面中央位置３０４から離れている。被写体中心位置３０３ａは、被写体３０２ａの画像における中心位置を示す。ＣＰＵ１０５が被写体追尾制御を開始させると、時間経過につれて被写体中心位置３０３ａと画面中央位置３０４との距離が徐々に小さくなっていく。被写体追尾制御によって最終的には図３（Ｂ）に示すように、被写体中心位置３０３ａと画面中央位置３０４とがほぼ一致する。

次に、図４を参照して追尾量算出部１１８の追尾量算出処理について説明する。図４は追尾量算出部１１８の一例を示す機能ブロック図である。追尾量算出部１１８は、画面の縦方向および横方向の各軸にて追尾補正量を演算するが、簡単化のために、以下では片軸についてのみ説明する。

減算部４０３は、被写体検出部１１７が出力する被写体位置情報に基づき、被写体位置（中心位置）４０１の座標から画面中央位置４０２の座標を減算する。これにより、被写体画像の中心位置が画面中央位置４０２から画像上でどれくらいの距離であるかを示す差分量（以下、中心ズレ量という）が算出される。中心ズレ量は画面中央位置４０２での差分量を０とした符号付きのデータである。減算部４０３の出力は、カウント値テーブル参照部（以下、単に参照部という）４０４に入力される。

参照部４０４は、中心ズレ量、つまり差分量の大きさに基づいて、追尾のためのカウント値を演算する。具体的には以下の通りである。
・中心ズレ量が所定閾値Ａ以下であり、且つ、所定閾値「−Ａ」以上である場合、カウント値はゼロまたは最小値に設定される。中心ズレ量の大きさ（絶対値）が所定の閾値以下である場合、画面中央位置から所定範囲内では追尾をしない不感帯領域が設定される。
・中心ズレ量が所定閾値Ａより大きいか、または、所定閾値「−Ａ」未満である場合
カウント値は、中心ズレ量の絶対値が大きくなるにつれて大きくなるように設定される。カウント値の符号については、中心ズレ量の符号に合わせて演算される。

参照部４０４の出力は、信号選択部４０６が第１の入力として取得する。信号選択部４０６は、第２の入力としてダウンカウント値出力部４０５の出力するダウンカウント値を取得する。また信号選択部４０６には制御用信号として、追尾ＳＷ（スイッチ）１２１の状態を示す信号が入力される。追尾ＳＷ１２１がオンに設定されている場合、信号選択部４０６は参照部４０４の出力を選択して、加算部４０７に出力する。また追尾ＳＷ１２１がオフに設定されている場合、信号選択部４０６はダウンカウント値を選択して、加算部４０７に出力する。ダウンカウント値については後で説明する。

加算部４０７は、信号選択部４０６の出力と、追尾量に係る前回サンプリング値を取得して両者を加算する。加算部４０７の出力は上下限値設定部４０８に入力される。上下限値設定部４０８は追尾補正量を所定の範囲内に制限する。つまり追尾補正量は、所定の上限値以上にならず、かつ所定の下限値以下にならないようにリミッタがかけられて値が変更される。上下限値設定部４０８の出力は、遅延部４０９とＬＰＦ（ローパスフィルタ）４１０にそれぞれ入力される。

遅延部４０９は、現時点よりも所定のサンプリング時間だけ過去の追尾補正量、つまり前回サンプリング値を演算結果として、加算部４０７およびダウンカウント値出力部４０５にそれぞれ出力する。ダウンカウント値出力部４０５は、ダウンカウント値を出力する。ダウンカウント値出力部４０５には、後処理で演算される前回の追尾量サンプリング値が入力されている。前回のサンプリング時点での追尾補正量（前回サンプリング値）がプラスの符号である場合、ダウンカウント値出力部４０５はダウンカウント値をマイナスに設定する。また前回サンプリング値がマイナスの符号である場合、ダウンカウント値出力部４０５はダウンカウント値をプラスに設定する。これにより、追尾補正量の絶対値が小さくなるように処理が行われる。またダウンカウント値出力部４０５は、遅延部４０９の出力する前回サンプリング値がゼロ近傍の範囲（０±所定範囲）以内である場合、ダウンカウント値を０に設定する。ダウンカウント値は信号選択部４０６への第２の入力となる。

ＬＰＦ４１０は、上下限値設定部４０８の出力に対して、被写体検出時の高周波ノイズをカットし、処理後の信号を補正レンズ駆動量変換部４１１に出力する。補正レンズ駆動量変換部４１１は、ＬＰＦ４１０の出力を、補正レンズ１０８によって被写体追尾動作を行うための信号に変換する。こうして最終的な追尾補正量が演算され、追尾補正量に基づいて補正レンズ１０８が駆動されることで、徐々に被写体画像の中心位置が撮影画像の中心付近に位置するように追尾補正処理が行われる。
上記のように加算部１１５により加算された、ブレ補正量と追尾補正量との加算結果に基づいて補正レンズ１０８を駆動することで、像ブレ補正の制御と被写体追尾制御を同時に行うことができる。

被写体追尾を行う場合、撮影者は所望の被写体を撮影するために、画面内の被写体を指定することができる。追尾のための被写体指定方法について図５の具体例を説明する。図５（Ａ）は、撮像装置１０１の背面部に設けられたＬＣＤ（液晶表示装置）５０１上にタッチパネル５０２が設置された例を示す。撮影者が表示画面をタッチすると、タッチした位置の被写体５０３の座標を取得して追尾対象の被写体を設定する処理が実行される。また図５（Ｂ）は、被写体追尾選択可能モード（以下、追尾選択可能モードという）に設定するための操作ＳＷ（スイッチ）５１５が設けられた例を示す。撮影者が操作ＳＷ５１５を押下すると、追尾選択可能モードに遷移する。画面中心に被写体指定のためのアイコン５０４が表示されるので、レリーズスイッチ１０４のＳＷ１の操作等により、アイコン５０４の表示位置の被写体５０３を追尾対象の被写体として設定することができる。

図５（Ａ）および（Ｂ）に示すいずれの方法でも、被写体が指定されると、色相分布や大きさ等の特徴量を用いて、以降に順次撮像される画像から特徴量と類似する領域を検出する処理が行われる。図５（Ｃ）は、特徴量と類似する領域として抽出される主被写体領域が追尾領域として枠５０６で撮影者に提示される例を示す。撮影者が表示画面内の被写体画像を指定して被写体追尾を行う場合、被写体を指定する前の段階では以下の問題がある。

例えばレンズの焦点距離が１０００ｍｍ以上等のように非常に大きい場合、手振れの影響で被写体像が移動してしまうと、被写体を画角内に捉えてフレーミングすることが難しくなる。手振れの影響によるフレーミングのし難さを抑制するためにはオフセット減算部１１０の制御範囲中心への推進力を小さくするように特性を変更し、または積分フィルタ部１１１のカットオフ周波数を小さく設定して振れ補正制御帯域を大きくとる方法がある。しかしながら、手振れ補正の抑振特性を上げた場合、撮影者が画角内に被写体を戻そうとカメラを操作しても、撮影者が意図して操作したときの手振れ量に対して像ブレ補正が行われてしてしまう。このため、像ブレ補正制御の影響により、被写体を画角内に捉え直す操作や被写体画像を撮影画像の中心付近に微調整する操作が難しくなるという問題が起こり得る。例えば撮影者が図５（Ｂ）の操作ＳＷ５１５により追尾選択可能モードに設定した状態で被写体を指定する前には、追尾対象の被写体を設定するために、被写体５０３の位置にアイコン５０４が遷移するようにフレーミングをし易くする必要がある。追尾選択可能モードに設定されている場合、当該モードに設定されていない状態よりも振れ補正の抑振特性を上げる設定が行われる。この場合、追尾選択可能モードの設定状態において大きくパンニング動作が行われる可能性は低くなるので、パンニング判定部１１３は判定閾値を大きく設定する。これにより、撮影者は被写体５０３の位置にアイコン５０４が遷移するようにフレーミングを行い易くなる。

被写体の指定後には、像ブレ補正に加え、追尾制御により被写体画像を撮影画像内の特定位置（例えば中心位置）に捉える補正が同時に行われる。このとき、手振れによる影響を極力低減させるために、像ブレ補正に係る抑振特性を上げる設定が行われる。この場合、被写体の指定前よりも抑振特性を上げる設定となる。指定された被写体の追尾が開始していることから、大きくパンニング動作が行われる可能性は更に低くなるので、パンニング判定部１１３は判定閾値を被写体の指定前よりも大きく設定する。

以下では、追尾選択可能モードに設定されていないデフォルト状態を第１の状態とし、追尾選択可能モードに設定された状態であって被写体が指定されておらず、追尾ＳＷ１２１がＯＦＦの状態を第２の状態とする。追尾選択可能モードに設定された状態であって被写体が指定されており、追尾ＳＷ１２１がＯＮの状態を第３の状態とする。第１の状態のときのブレ補正の補正効果よりも、第２の状態のときのブレ補正の補正効果を強くする制御が行われる。また、第２の状態のときのブレ補正の補正効果よりも、第３の状態のときのブレ補正の補正効果を強くする制御が行われる。第１の状態にて積分フィルタ部１１１のカットオフ周波数をｆｃ１と表記し、パンニング判定閾値をＡｈ１と表記する。第２の状態にて積分フィルタ部１１１のカットオフ周波数をｆｃ２と表記し、パンニング判定閾値をＡｈ２と表記する。第３の状態にて積分フィルタ部１１１のカットオフ周波数をｆｃ３と表記し、パンニング判定閾値をＡｈ３と表記する。各カットオフ周波数およびパンニング判定閾値には、下記式（２）、（３）に示す関係がある。
ｆｃ１ ＞ ｆｃ２ ＞ ｆｃ３ ・・・（２）
Ａｈ１ ＜ Ａｈ２ ＜ Ａｈ３ ・・・（３）

追尾選択可能モードの設定前である第１の状態と、追尾動作が行われていない第２の状態と、追尾動作が行われている第３の状態とで、像ブレ補正効果の度合が変更される。したがって被写体指定時や追尾動作時等において、それぞれ最適な像ブレ補正制御を行い、スムーズな被写体追尾による撮影を行うことが可能になる。

次に、被写体検出位置に応じて像ブレ補正効果の度合を変更する処理について説明する。被写体追尾制御において追尾可動範囲が充分である間は、被写体画像が画面中心付近に遷移するように追尾制御が行われる。しかし、追尾可動範囲は有限であるので、制御位置が追尾可動範囲の端（限界位置）に達すると、それ以上の追尾制御を行うことはできない。そのときには、撮影者が自らカメラのフレーミングを行って、被写体画像を画面中心付近に移動させる操作を行うことになる。その際に撮影者が意図して操作したときの手振れ量に対する像ブレ補正が行われてしまうと、補正の影響が問題となる。すなわち撮影者は被写体を画角内に捉え直す操作や、被写体画像の位置を撮影画像中心に微調整する操作が難しくなるという問題が起こり得る。そこで本実施形態では、被写体検出部１１７による被写体検出位置に応じて積分フィルタ部１１１のカットオフ周波数（ｆｃ４と記す）を変更する処理が行われる。図６を参照して処理例を説明する。

図６は、被写体検出位置（横軸）に応じたカットオフ周波数ｆｃ４（縦軸）の設定にかかわるグラフを例示する。被写体検出位置について画面の縦方向と横方向の２軸方向にてそれぞれ座標が検出される。レンズ制御においては縦方向のピッチ制御と横方向のヨー制御にそれぞれ対応する積分フィルタ部１１１のカットオフ周波数ｆｃ４が設定される。また、被写体検出位置に関し、画角の中心位置（目標位置）をゼロとする座標で被写体の位置を示すものとする。

図６は、被写体検出位置が画角の中心位置から離れるほど、カットオフ周波数ｆｃ４が大きくなる特性のテーブルを示す。Ｐ１およびＰ２は正値範囲の閾値であり、−Ｐ１および−Ｐ２は負値範囲の閾値である。被写体検出位置が−Ｐ１から＋Ｐ１の範囲内である場合、カットオフ周波数ｆｃ４はデフォルト値Ｄ１に設定される。被写体検出位置がＰ２以上であるか、または−Ｐ２以下である場合、カットオフ周波数ｆｃ４は周波数Ｄ２に設定される。「Ｄ２＞Ｄ１」とする。Ｐ１からＰ２までの区間と、−Ｐ１から−Ｐ２までの区間では、Ｄ１とＤ２との間を一次式で線形補間することで計算される値ｆｃ４に設定される。

防振特性変更部１１２は、算出されたカットオフ周波数ｆｃ４を、追尾選択可能モードや追尾ＳＷ１２１の状態に応じてこれまで決められた積分フィルタ部１１１のカットオフ周波数と比較する。比較の結果、大きい方のカットオフ周波数が最終的な積分フィルタ部１１１のカットオフ周波数として設定されることになる。

このように被写体検出位置に応じて積分フィルタ部１１１のカットオフ周波数を変更することで、被写体画像が画面中心付近に位置する場合に像ブレ補正効果が高まり、手振れの影響により被写体画像が画面中心から外れることを防止できる。また被写体画像が画面中心から離れている場合には、追尾制御により被写体画像を画面中心に遷移させることができなかった状態（例えば、追尾可動範囲が制御端付近である状態）である。制御端とは補正可能な限界位置である。この場合、撮影者がフレーミングによって被写体画像を画面中心付近に操作できるように、像ブレ補正効果が多少弱めに設定される。つまり、撮影者のフレーミング操作によって像ブレ補正が行われてしまうことを防ぎ、フレーミングをし易くすることができる。

図７に示すフローチャートを参照して、振れ補正制御および被写体追尾制御の処理例を説明する。以下の処理は、撮像装置１０１の主電源がオンになった時点で開始し、一定のサンプリング周期で実行される。

まず、Ｓ７０１においてＣＰＵ１０５は、防振ＳＷ（スイッチ）がＯＮであるか否かを判断する。防振ＳＷはユーザが像ブレ補正の制御を行うか否かを指示する操作スイッチである。防振ＳＷがＯＮである場合、Ｓ７０２に処理を進め、防振ＳＷがＯＦＦの場合、Ｓ７０３に移行する。Ｓ７０２でＣＰＵ１０５は角速度計１０３の出力を取り込み、Ｓ７０４へ進む。Ｓ７０３では角速度計１０３の出力は取り込まず、角速度値がゼロに設定された後、Ｓ７０４へ進む。角速度値をゼロに設定することで、後の振れ補正演算結果、つまり振れ補正量がゼロとなる。

Ｓ７０４にてＣＰＵ１０５は、追尾選択可能モードがＯＮであるか否かを判断する。例えば、図５（Ｂ）の操作ＳＷ５１５によって追尾選択可能モードがＯＮに設定されたか否かが判断される。追尾可能選択モードがＯＮである場合、Ｓ７０５へ進み、当該モードがＯＦＦである場合、Ｓ７０８に進む。Ｓ７０５でＣＰＵ１０５は、追尾ＳＷ１２１がＯＮであるか否かを判断する。追尾ＳＷ１２１のＯＮ／ＯＦＦについては、例えば図５で説明した方法等により、被写体が選択されているか否かで判定することができる。追尾ＳＷ１２１がＯＮである場合、Ｓ７０６に進み、追尾ＳＷ１２１がＯＦＦである場合にはＳ７０７に進む。

Ｓ７０６にて積分フィルタ部１１１のカットオフ周波数（ｆａと記す）がｆｃ３に設定される。またパンニング判定部１１３は、パンニング判定閾値（Ｔｈａと記す）をＡｈ３に設定し、Ｓ７０９に進む。Ｓ７０９で被写体検出部１１７は撮影画像内の被写体位置を検出する。ここでは、Ｓ７０５で追尾ＳＷ１２１がＯＮにされた時点で、撮像された画像をライブ表示しているＬＣＤ画面上の被写体画像が、ユーザ操作により指定されているものとする。つまり撮像装置１０１は被写体を認識しており、その被写体を追尾検出することで被写体の検出位置座標を取得している。

次のＳ７１０で追尾量算出部１１８は、検出された被写体検出位置から追尾補正量を算出し、Ｓ７１１に進む。Ｓ７１１でＣＰＵ１０５は、検出された被写体位置に基づいて積分フィルタ部１１１のカットオフ周波数ｆｃ４を算出する。そしてＳ７１２に進み、ＣＰＵ１０５は現在のカットオフ周波数ｆａがｆｃ４よりも小さいか否かを判定する。ｆａ＜ｆｃ４の場合、Ｓ７１３に進み、ｆａ≧ｆｃ４の場合、Ｓ７１５に進む。Ｓ７１３でＣＰＵ１０５はｆａにｆｃ４の値を代入することで設定し、Ｓ７１５に進む。

Ｓ７０８でＣＰＵ１０５は、積分フィルタ部１１１のカットオフ周波数ｆａをｆｃ１に設定する。パンニング判定部１１３は、パンニング判定閾値ＴｈａをＡｈ１に設定し、Ｓ７１４に進む。Ｓ７０７でＣＰＵ１０５は、積分フィルタ部１１１のカットオフ周波数ｆａをｆｃ２に設定する。パンニング判定部１１３は、パンニング判定閾値ＴｈａをＡｈ２に設定し、Ｓ７１４に進む。Ｓ７１４では追尾補正量がゼロに設定された後、Ｓ７１５に進む。

Ｓ７１５で振れ補正角度算出部１０９は振れ補正量を算出する。その際、Ｓ７０２もしくはＳ７０３で取得した角速度と、Ｓ７０５〜Ｓ７１３で設定した積分フィルタ部１１１のカットオフ周波数ｆａとパンニング判定部１１３のパンニング判定閾値Ｔｈａが使用される。振れ補正量の算出後にＳ７１６に進む。Ｓ７１６で加算部１１５は、振れ補正量と追尾補正量を加算し、レンズ駆動量を算出する。次のＳ７１７でＣＰＵ１０５は、駆動制御部１１６によって、レンズ駆動量に基づき補正レンズ１０８の駆動制御を行う。これにより、像ブレ補正と被写体追尾制御が行われる。像ブレ補正および被写体追尾制御の処理が終了すると、次回のサンプリング時点の到来まで待機状態となる。

本実施形態の像位置制御装置は、撮影画像内の被写体検出位置に基づいて被写体追尾量を算出する。被写体追尾量は、被写体画像を画面内の特定位置（例えば中央位置やユーザが指定した位置等）に遷移させるための制御量である。また像位置制御装置は、振れ検出信号として角速度出力に基づいて演算を行って振れ補正量（像ブレの補正量）を算出する。振れ補正量と被写体追尾量が加算され、加算値に基づく補正レンズの駆動制御により、像ブレ補正および被写体追尾制御が行われる。その際には、被写体追尾の制御状態に応じて振れ補正量を算出する特性が変更される。つまり追尾選択可能モードであるか否かの判定結果を示す情報や、追尾スイッチのＯＮ／ＯＦＦ設定情報に基づいて、像ブレ補正効果の度合いを変更する処理と、被写体位置に応じて像ブレ補正効果の度合いを変更する処理が行われる。よって、撮影者がフレーミングを行い易い像ブレ補正制御を実現するとともに、像ブレ補正および自動被写体追尾制御の性能を向上させることができる。

本実施形態では、像ブレ補正および自動被写体追尾制御の手段として補正レンズを光軸に垂直な面内で移動させる、いわゆる光学式防振制御への適用例を説明した。しかし、本発明は以下の構成を有する像位置制御装置に適用することもできる。
（１）撮像素子を光軸に垂直な面内で移動させる構成。
（２）撮像素子が出力する各撮影フレームの切り出し位置を変更する画像処理によって電子式制御を行う構成。
（３）撮像素子と撮影レンズ群を含む鏡筒を回転駆動させる機構部を備える構成。
（４）撮像装置とは別に設けた駆動機構部（例えば、撮像装置のパンニング動作やチルティング動作を行う回転雲台等）を組み合わせた構成。
（５）上記（１）から（４）に示す複数の構成の組み合わせ。
なお、このことは後述する第３および第４実施形態でも同じである。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、補正レンズ１０８に加え、撮影レンズ群と撮像素子１０６を含む鏡筒を回転駆動する機構部を備える場合の、像ブレ補正および自動被写体追尾について説明する。本実施形態において第１実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。

図８は本実施形態の撮像装置１０１を模式的に示す図である。図８では３次元直交座標のＸ軸、Ｙ軸、Ｚ軸のうち、Ｘ軸回り方向をピッチ方向とし、Ｙ軸回り方向をヨー方向と定義する。Ｚ軸方向は撮像装置１０１の光軸方向である。図８（Ａ）に示す撮像装置１０１は、レリーズスイッチ１０４等の操作部材と、撮影された画像等を表示する表示部を備える。ＬＣＤ等を用いた表示部は、撮影画像をリアルタイムにライブ表示するモニタ機能を有する。鏡筒８０１は撮影レンズ群や撮像素子１０６を備え、撮像装置１０１にて駆動可能な状態で取り付けられる。つまり鏡筒８０１を撮像装置１０１に対して回転駆動（傾動）させる機構が設けられている。

図８（Ｂ）は鏡筒８０１の回転駆動にかかわる構造を示す。駆動機構部８０２ｐは、鏡筒８０１をピッチ方向に回転させるモータおよびその駆動制御部を備える。駆動機構部８０２ｙは、鏡筒８０１をヨー方向に回転させるモータおよびその駆動制御部を備える。駆動機構部８０２ｐ，８０３ｙによって鏡筒８０１の姿勢をピッチ方向とヨー方向にそれぞれ独立して制御することができる。

図９は撮像装置１０１の要部の構成を示す図である。図２で説明した第１実施形態の構成との相違点は以下の通りである。
（１）鏡筒８０１をモータで回転駆動する回転駆動機構部８０２が設けられていること。（２）振れ補正量と追尾補正量とを加算する加算部１１５が削除され、敏感度調整部１１４の出力する振れ補正量が駆動制御部１１６に入力されること。
（３）回転駆動機構部８０２を駆動する駆動制御部９０１が追加され、追尾量算出部１１８の出力する追尾補正量が駆動制御部９０１に入力されること。
（４）駆動制御部９０１は追尾量算出部１１８が算出した追尾補正量に基づいて、回転駆動機構部８０２を駆動することで自動被写体追尾制御を行うこと。

本実施形態の像位置制御装置は、補正レンズ１０８を用いて像ブレ補正を行い、回転駆動機構部８０２により自動被写体追尾制御を行う。この場合でも第１実施形態と同様の効果が得られ、撮影者にとってフレーミングし易い像ブレ補正の制御を行うことができる。

なお、本実施形態において角速度計１０３は鏡筒８０１に取り付けられるか、または鏡筒８０１以外の撮像装置１０１の部位に取り付けられる。角速度計１０３が鏡筒８０１に取り付けられている場合には、角速度計１０３の出力から、撮像装置１０１の固定部と鏡筒８０１との相対角速度が減算される。撮像装置１０１と鏡筒８０１との相対角速度は、回転駆動機構部８０２により回転される鏡筒８０１の回転速度であり、モータの駆動指示信号や回転検出センサ等により検出される。相対角速度を角速度計１０３の出力から減算することで、撮像装置１０１の振れ量を算出することができる。

本実施形態では、像ブレ補正手段として補正レンズおよびその駆動機構を使用し、自動被写体追尾手段として撮像素子および撮影レンズ群を含む鏡筒８０１およびその回転駆動機構を使用する。これに限らず、以下の構成を適用可能である。
（１）撮像素子を光軸に垂直な面内で移動させる機構と、補正レンズを駆動する機構を備える構成。
（２）撮像素子が出力する各撮影フレームの画像切り出し位置を変更する処理部と、補正レンズを駆動する機構を備える構成。
（３）撮像素子が出力する各撮影フレームの画像切り出し位置を変更する処理部と、撮像素子を光軸に垂直な面内で移動させる機構を備える構成。
（４）撮像素子を光軸に垂直な面内で移動させる機構と、撮影レンズ群を含む鏡筒を回転駆動する機構を備える構成。
（５）撮像素子が出力する各撮影フレームの画像切り出し位置を変更する処理部と、撮影レンズ群を含む鏡筒を回転駆動する機構を備える構成。
（６）上記（１）から（５）に示す複数の構成の組み合わせ。

［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態の像ブレ補正および自動被写体追尾装置は、自動被写体追尾に用いる被写体検出情報に基づいて像ブレ補正の特性を変更する。被写体検出情報とは、被写体の検出中であるか、または被写体を見失ったか等の被写体検出状況を示す情報や、被写体検出の信頼度の情報である。以下では、被写体検出情報を反映させた像ブレ補正および自動被写体追尾制御について説明する。

図１０は本実施形態に係る撮像装置の要部の構成を示す図である。第１実施形態にて図２で説明した構成との相違点は、以下の通りである。
（１）被写体検出部１１７は、被写体位置検出部１０００に加えて被写体検出状態判定部１００１と被写体信頼度判定部１００２を備え、検出情報や判定情報は追尾ゲイン部１００３と防振特性変更部１１２と追尾量算出部１１８に入力されること。
（２）追尾ゲイン部１００３が追加されており、追尾量算出部１１８の出力である追尾補正量に対してゲインが乗算されて加算部１１５に入力されること。

追尾ゲイン部１００３には、被写体検出状態判定部（以下、検出状態判定部という）１００１と被写体信頼度判定部（以下、信頼度判定部という）１００２による各判定情報が入力され、追尾ゲイン部１００３は各判定結果に応じて、ゲインを設定する。ゲイン値は０以上１以下とする。追尾ゲイン部１００３および防振特性変更部１１２について以下に詳説する。

被写体位置検出部１０００は、第１実施形態の被写体検出部１１７に相当し、被写体の位置を例えば顔検出やパターンマッチング等を用いて検出する。検出状態判定部１００１は、第１の検出状態または第２の検出状態を判定する。第１の検出状態とは、被写体が検出できている状態である。第２の検出状態とは、被写体を見失ったために検出できていない状態である。第１の検出状態では追尾制御を行うことが可能であるので、追尾ゲイン部１００３はゲイン値を１に設定する。つまり追尾量算出部１１８が演算した追尾補正量はそのまま加算部１１５に入力される。また被写体追尾制御が行われているので、像ブレ補正効果を高くする設定となる。第１実施形態で説明したように、オフセット減算部１１０や積分フィルタ部１１１の特性は、追尾ＳＷ１２１の状態や、パンニング判定部１１３の判定結果に応じた特性に設定されて振れ補正量が演算される。

一方、検出状態判定部１００１が第２の検出状態と判定した場合には、被写体追尾を停止させる制御を行うことが好ましい。つまり、第２の検出状態と判定された場合には、ゲイン値を０に設定することが好ましい。また、検出状態判定部１００１が、第１の検出状態と第２の検出状態との２つの状態からではなく、３つ以上の検出状態から、被写体の検出状態を判定してもよい。

例えば、第１の検出状態は被写体が検出できている可能性の高い状態とし、第２の検出状態は被写体を検出できていない可能性が高い状態とする。そして、第３の検出状態は第１の検出状態よりも被写体が検出できている可能性が低いが、第２の検出状態よりも被写体が検出できる可能性が高い状態とする。例えば、被写体を見失って所定時間中では被写体を見失ってはいるが、被写体を探している状態（第３の検出状態）を判定結果として取り得る場合を説明する。尚、第３の検出状態中に再び被写体を検出した場合は、再度被写体検出状態である第１の状態に遷移するが、被写体ロスト状態が所定時間継続すると、被写体の探索を停止して被写体非検出状態である第２の検出状態に遷移するものとする。第３の検出状態は、例えば被写体ロスト状態となったときからの経過時間によって被写体検出の可能性が小さくなっていくように設定してもよい。この場合、再度被写体の検出状態である第１の検出状態に遷移するが、第３の検出状態が所定時間継続すると、制御装置は被写体の探索を停止して、非検出状態である第２の検出状態に遷移する。第３の検出状態は、例えば被写体ロスト状態となった時点からの経過時間によって被写体検出の可能性が小さくなっていくように設定してもよい。このとき、追尾ゲイン部１００３は、第１の検出状態の場合にゲイン値を１とし、第２の検出状態の場合にゲイン値を０とし、第３の検出状態の場合にゲイン値を０より大きい１未満の値とする。検出状態判定部１００１が第１の検出状態と第２の検出状態との間に、被写体を検出できている可能性に応じて設定された複数の状態から検出状態を決定してもよい。この場合、追尾ゲイン部１００３は被写体を検出できている可能性が低くなるにつれて徐々にゲイン値が小さくなるように設定しながら、最終的にゲイン値をゼロに設定する。第２の検出状態では追尾制御を行わないため、撮影者のフレーミング操作によって被写体画像を画面中心付近に操作できるように設定される。つまり防振特性変更部１１２は像ブレ補正効果を多少弱め、フレーミング操作に対して像ブレ補正が行われることを防ぎ、撮影者がフレーミングを行い易い防振特性に変更する。但し、このときの防振特性は、像ブレ補正をある程度の強さで効かせつつ、フレーミングを行い易くする特性である。積分フィルタ部１１１のカットオフ周波数はｆｃ２に設定され、パンニング判定閾値はＡｈ２に設定される。この設定は、図７のＳ７０７に示す、被写体が指定されておらず追尾ＳＷがＯＦＦの状態と同様である。防振特性変更部１１２は検出状態判定部１００１による被写体検出状態の判定結果と、追尾ＳＷ１２１の状態と、パンニング判定部１１３の判定結果に応じて防振特性を変更する。すなわち、被写体検出状態の判定結果に応じた防振特性と、追尾ＳＷ１２１の状態やパンニング判定部１１３の判定結果に応じた防振特性のうちで、最も像ブレ補正効果の低い防振特性が決定される。決定された防振特性にしたがってオフセット減算部１１０や積分フィルタ部１１１の設定が行われる。

信頼度判定部１００２は検出された被写体画像が信頼できるか否かを判定する。被写体画像の信頼度は、例えば撮影画像内における被写体画像の大きさから判定することができる。あるいは、被写体の指定時に記憶された被写体画像のパターンと検出された被写体画像との一致度に基づいて、判定対象となる主被写体の信頼度を演算することができる。また、検出した被写体と同じパターンの被写体が複数存在する場合であって、主被写体検出を間違える可能性が高いときには信頼度が低く算出される。信頼度判定部１００２は算出された信頼度を閾値と比較することで、検出された被写体画像が信頼できるか否かを判定する。被写体画像の信頼度が高い場合（閾値以上の場合）、被写体追尾制御が可能である。この場合、追尾ゲイン部１００３はゲイン値を１に設定する。追尾量算出部１１８が演算した追尾補正量はそのまま加算部１１５に入力される。追尾制御中には像ブレ補正効果を高めるために、オフセット減算部１１０や積分フィルタ部１１１の特性が変更されて振れ補正量が演算される。

一方、信頼度判定部１００２により、被写体画像の信頼度が閾値未満であって信頼度が低いと判定された場合には、撮影者の望まない追尾制御となる可能性があるため、追尾を停止させる制御が行われる。信頼度判定部１００２は閾値を複数用いて信頼度を、信頼できるか否かの２段階だけでなく、多段階で評価することが好ましい。この場合、算出された信頼度が最も大きい、閾値以上の（信頼度が最も高いと評価される）場合に追尾ゲイン部１００３はゲイン値を１に設定し、信頼度に応じて徐々にゲイン値を小さくしていく。そして、信頼度が最も小さい、閾値未満のときに最終的にゲイン値をゼロに設定する。このとき、像ブレ補正効果を多少弱めるために防振特性が変更される。つまり、積分フィルタ部１１１のカットオフ周波数がｆｃ２に設定され、パンニング判定閾値がＡｈ２に設定される。像ブレ補正をある程度強く効かせつつ、フレーミングを行い易い特性となる。防振特性変更部１１２は、信頼度判定部１００２の判定結果と、検出状態判定部１００１による被写体検出状態の判定結果と、追尾ＳＷ１２１の状態およびパンニング判定部１１３の判定結果に応じて防振特性を変更する。すなわち、信頼度判定部１００２の判定結果である被写体信頼度に応じた防振特性と、被写体検出状態に応じた防振特性と、追尾ＳＷ１２１の状態やパンニング判定部１１３の判定結果に応じた防振特性が比較される。これらの防振特性のうち、最も像ブレ補正効果の低い防振特性が決定される。決定された防振特性にしたがってオフセット減算部１１０や積分フィルタ部１１１の設定が行われる。

追尾ゲイン部１００３から出力される追尾補正量は加算部１１５に入力され、敏感度調整部１１４の出力であるブレ補正量の目標値と加算される。これにより、補正レンズ１０８の駆動による像ブレ補正と追尾補正を同時に行うことが可能となる。
本実施形態では、被写体検出状態または被写体信頼度、あるいはその両方に応じて像ブレ補正の特性を変更する処理が行われる。したがって、撮影者がフレーミングし易い像ブレ補正制御を実現できるので、像ブレ補正と自動被写体追尾制御の性能を向上させることができる。

［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態の像ブレ補正および自動被写体追尾装置は、自動被写体追尾に用いる被写体検出情報に基づいて、追尾制御ができる状態であるか否かを判定し、判定結果を表示部の画面に表示する。これにより、撮影者に対して撮像装置が被写体を追尾可能な状態であるか否かを通知し、撮影者がフレーミングし易い像ブレ補正および被写体追尾制御を実現することができる。

被写体の位置を撮影画面の特定の位置（例えば中央位置）に保持するように被写体追尾を行うシステムにおいては、追尾動作中は追尾制御によりカメラが自動的に被写体を画角中央付近に位置させるように追尾する。このため、撮影者は被写体を追うフレーミング動作を行う必要はない。しかしこのような被写体追尾は、光学系の一部を移動させることで行われるため、追尾できる可動範囲には限りがある。追尾可動範囲端まで達した場合、それ以上追尾を行うことはできないので、撮影者はカメラを振って被写体を追う必要がある。しかし、光学系が追尾可動端に達した場合、撮影者がそれを即座に判断することは困難であるため、撮影者のフレーミング操作が遅れ、被写体を撮影画面内から逃してしまう可能性がある。これは、フレームの切り出し範囲を変更することで追尾を行う場合も同様である。

本実施形態は、追尾制御ができる状態であるか否かを判定し、判定結果を表示部の画面に表示することで、撮影者のフレーミング動作の操作性の向上させることができる。
図１１は本実施形態に係る撮像装置の要部の構成を示す図である。第３実施形態にて図１０で説明した構成との相違点は、追尾状態判定部１２０と追尾アイコン制御部１２３とを備える点である。追尾状態判定部１２０による判定結果が追尾アイコン制御部１２３に入力され、追尾アイコン制御部１２３によって表示部１２２の画面に表示されるアイコンが制御される。

被写体追尾制御を行う場合、追尾可動範囲が十分である間は、被写体の位置が画面中心付近に保持されるように追尾制御が実行される。しかし、追尾可動範囲は有限であるので、補正レンズ１０８が可動範囲端に達するとそれ以上の追尾制御を行うことはできない。その場合は、撮影者が自らカメラをフレーミングし直し、被写体を画角中心付近に近付ける必要がある。しかし、撮影者はライブビューされる画像を見ているだけでは、これ以上追尾ができない状態であるか否かを即座に判断することが困難である。そのため、撮影者は、補正レンズ１０８が可動範囲端に達した直後はフレーミングを直す動作を行わず、そのまま被写体が画面内から外れてしまって見失うこともあり得る。そこで、本実施形態の撮像装置１０１は、追尾制御を行える状態であるか否かを判定する。この判定結果に応じて、画面に表示される追尾アイコンを変化させることにより、追尾可能状態であるか否かを撮影者に通知する。追尾を行えない状態である場合には、警告通知により撮影者がフレーミング動作によって被写体を追う動作を促す処理が行われる。

図１２は、被写体追尾を行う動作と状態を示すカメラの背面図と、そのときの制御状態のタイミングチャートを示す。被写体追尾を行う場合、撮影者が希望の被写体を撮影するためには、撮影者が画面内の被写体を指定してから追尾を行うことが望ましい。追尾動作をさせるための被写体の指定方法としては、例えばタッチパネルを使用する方法がある。これは、図１２（Ａ）に示すように、撮像装置１０１の背面のＬＣＤ５０１下に設置されたタッチパネル５０２により、タッチされた被写体５０３の座標位置を取得し、追尾対象の被写体を設定する方法である。

図１２（Ａ）に示す方法により、被写体が指定されると、その後は色相分布や大きさ等の特徴量を用いて、以降にライブビュー動作で順次撮像された画像から特徴量と類似する領域を検出することで主被写体領域の追尾が行われる。主被写体領域を追尾領域として、枠５０６が表示されて（図１２（Ｂ））、撮影者に追尾領域が通知される。被写体の指定後には、検出した被写体位置が画面中心に移動するように追尾制御が行われる。また、追尾制御を行っている状態であることが撮影者に分かるように、画面に追尾アイコン５０５が表示される。被写体追尾が行われていない間（被写体が指定されていない状態にある間）は、追尾アイコン５０５は画面に表示されない。

図１２（Ｂ）は、被写体を指定後の状態を示す図である。時間の経過につれて、撮像装置１０１の表示部が表示する画面の状態変化を、図１２（Ａ）→（Ｂ）→（Ｃ）→（Ｄ）→（Ｅ）の順で例示する。この場合の、振れ補正量と追尾補正量を加算した加算部１１５の出力を図１２（Ｆ）に示す。減算部４０３の出力である中心ズレ量を図１２（Ｇ）に示し、追尾アイコン５０５の表示状態（非表示、ノーマル表示、グレー表示）を図１２（Ｈ）に示す。図１２（Ｆ）から（Ｈ）の横軸は共通する時間軸である。なお、被写体位置検出部１０００が目標位置を中心座標として検出した被写体の座標を出力する場合は、被写体位置検出部の出力を中心ズレ量とみなすことができる。被写体が指定される時刻Ｔ１までは、追尾アイコン５０５は画面に表示されていない状態である。時刻Ｔ１で図１２（Ｂ）に示すように被写体が指定されると、追尾アイコン５０５が画面に表示される。その後、指定した被写体５０３が移動することにより被写体５０３が画像中心から離れても（図１２（Ｃ））、追尾量算出部１１８で算出された追尾補正量に基づいて追尾制御が行われるので、被写体５０３は画像中心に戻される（図１２（Ｄ））。なお、図中、被写体が画像中心から移動した時刻をＴ２として示し、追尾制御により被写体が画像中心に戻された時刻をＴ３として示す。

その後、更に被写体が移動すると、更に追尾補正量を大きくして追尾制御が行われる。補正レンズ１０８の補正量が図１２（Ｆ）に示すように追尾可能閾値Ｔｈ１に達すると、補正可能量であるＴｈ２を超えないように追尾補正量が制限される。このときの補正量は閾値Ｔｈ１と閾値Ｔｈ２との間に設定される。補正量が閾値Ｔｈ１以上である状態が所定時間ＴＬ以上経過した時刻Ｔ５において、これ以上被写体の追尾を行えないことを撮影者に知らせるため、追尾アイコン５０５がグレー表示で撮影者に提示される。つまり、追尾を行えない状態であることを撮影者に通知する処理が行われる。追尾状態判定部及び追尾アイコン制御部として機能するＣＰＵ１０５は、補正量が閾値Ｔｈ１以上の状態が所定時間ＴＬ以上経過すると追尾制御が可能な状態ではないと判定したうえで、追尾アイコン５０５をグレー表示して、撮影者に通知する警告指示を出す。なお、補正可能量Ｔｈ２は、補正レンズ１０８が可動範囲端に達するときまでの量に相当し、追尾可能閾値Ｔｈ１はＴｈ2未満の値を適宜設定することができる。例えば追尾可能閾値Ｔｈ１については、補正可能量Ｔｈ２に対して、０より大きく１未満の係数を乗算することで設定してもよいし、補正可能量Ｔｈ２から固定量を減算することで設定してもよい。

補正レンズ１０８が可動範囲端に到達した場合、それ以上の追尾制御を行うことはできないので、以上のように追尾アイコン５０５の表示を変化させる処理が行われる。これにより、撮影者が自らカメラのフレーミングを行い、被写体を画像中心に移動させることを促すことができる。

次に、補正レンズ１０８が追尾可動範囲を超えてしまい、追尾制御が行えなくなった場合に、追尾アイコン５０５を変化させることによる撮影者への通知方法の別例について図１３を用いて説明する。図１３の例では、追尾動作を行える状態であるか否かを判定する方法が、図１２の例と異なる。追尾制御の開始後において、被写体像の位置を画像の中心付近に移動させることができず、長い時間、画像の中心から離れた位置にある場合、補正レンズ１０８が可動範囲端に到達して、これ以上追尾制御を行うことはできない状態であると判断できる。その場合、追尾制御が行えない状態であることを通知する警告用アイコンの表示処理が実行される。

被写体の追尾動作を行える状態であるか否かは、次のように判定される。被写体像の位置と画像中心との画像上での距離である中心ズレ量が所定閾値Ｔｈ３を超える時間が計測される。計測された時間が所定時間Ｔ７以上となった時点で、追尾動作を行えない状態であると判定される。言い換えると、被写体像の位置が目標位置に対して所定の距離以上離れている状態が所定時間以上続いた場合に、被写体の追尾が不可能な状態であると判定される。また、中心ズレ量が閾値Ｔｈ３以下である期間については、被写体の追尾が行える状態であると判定される。この判定は、追尾状態判定部１２０が行う。判定結果に応じて、画面に表示される追尾アイコンを変化させることで、追尾可能状態であるか否かを撮影者に通知することができる。被写体の追尾を行えない状態である場合には、撮影者がフレーミング動作によって被写体を追う動作を促す処理が実行される。

図１２（Ａ）で説明した方法と同様に、図１３（Ａ）ではタッチ操作により被写体が指定されて追尾制御が開始し、画面に追尾アイコン５０５が表示される（図１３（Ｂ））。図１３（Ｂ）〜（Ｅ）は、被写体の指定後の状態を示す図である。時間の経過につれて、撮像装置１０１が表示する画面の状態変化を、図１３（Ａ）→（Ｂ）→（Ｃ）→（Ｄ）→（Ｅ）の順で例示する。この場合の、振れ補正量と追尾補正量を加算した加算部１１５の出力を図１３（Ｆ）に示す。また中心ズレ量を図１３（Ｇ）に示し、追尾アイコン５０５の表示状態を図１３（Ｈ）に示す。被写体が指定される時刻Ｔ８までは、追尾アイコン５０５は画面に表示されていない状態である。時刻Ｔ８で被写体が指定されると、追尾アイコン５０５が画面に表示される。その後、指定した被写体５０３が移動することにより被写体５０３が画像中心から離れても（図１３（Ｃ））、追尾量算出部１１８で算出された追尾補正量に基づいて追尾制御が行われるので、被写体５０３は画像中心に戻される（図１３（Ｄ））。なお図中、被写体が画像中心から移動した時刻をＴ９として示し、追尾制御により被写体が画像中心に戻された時刻をＴ１０として示す。Ｔ９〜Ｔ１０の期間では被写体の検出位置（中心ズレ量）が所定閾値Ｔｈ３を超えているが、Ｔｈ３を超えている時間は所定時間Ｔ７を超えていないので、アイコン５０５の表示はノーマル表示である。

その後、更に被写体が移動すると、更に追尾補正量を大きくして追尾制御が行われる。その際、中心ズレ量が図１３（Ｇ）に示すように所定閾値Ｔｈ３以上となる状態が所定時間Ｔ７以上続くと、追尾アイコン５０５の表示がグレー表示に変更される。つまり、これ以上被写体の追尾制御が行えない状態にあることを撮影者に通知する処理が行われる。

以上のように追尾状態判定部１２０として機能するＣＰＵ１０５は、被写体検出位置が画像中心から長い時間離れている場合、補正レンズ１０８が可動範囲端に達してしまい、これ以上追尾制御を行うことができない状態にあると判定する。そして、ＣＰＵ１０５は追尾アイコン制御部１２３としても機能し、追尾アイコン５０５の表示状態を変更することにより、撮影者が自らカメラをフレーミングして被写体を画像中心に移動させることを促す。

図１２および図１３では、画像内における被写体の移動が大きく、被写体位置を画像内の目標位置へ移動させる補正量が大きいために被写体の追尾制御を行うことが難しい場合のアイコン表示の例を説明した。しかしながら、補正量が大きくない場合でも、追尾制御を行うことが難しい場合がある。以下では被写体の検出状態の低下によって追尾制御を行うことができない状態となる場合の追尾アイコン５０５の変化による撮影者への通知方法の例について、図１4（Ａ）〜（Ｆ）を参照して説明する。検出された被写体画像の信頼度が低い間は、追尾制御を行うことはできないと判断できる。その場合、追尾制御が行えない状態であることを通知するアイコンが表示される。

信頼度判定部１００２は、検出された被写体画像が信頼できるか否かを判定する。信頼度判定部１００２による被写体の信頼判定については、第３実施形態と同様であるため、詳細は省略する。

図１２（Ａ）で説明した方法と同様に、図１４（Ａ）では、タッチ操作により被写体が指定されて追尾制御が開始し、画面に追尾アイコン５０５を表示する処理が行われる（図１４（Ｂ））。図１４（Ｂ）は、被写体の指定後の状態を示す図である。時間の経過につれて、撮像装置１０１が表示する画面の状態変化を、図１４（Ａ）→（Ｂ）→（Ｃ）→（Ｄ）の順で例示する。この場合の、振れ補正量と追尾補正量を加算した加算部１１５の出力を図１４（Ｅ）に示す。また中心ズレ量を図1４（Ｆ）に、被写体画像の信頼度を図１４（Ｇ）に、追尾アイコン５０５の表示状態を図１４（Ｈ）にそれぞれ示す。被写体が指定される時刻Ｔ１１までは、追尾アイコン５０５は画面に表示されていない状態である。時刻Ｔ１1で被写体が指定されると、追尾アイコン５０５が画面に表示される。その後、指定した被写体５０３が画像中心から離れても、追尾量算出部１１８で算出された追尾補正量に基づいて追尾制御が行われるので、図１４（Ｂ）に示すように被写体５０３は画像中心に戻される。なお、図中、被写体を指定して位置を検出した時刻をＴ１１として示し、追尾制御により被写体が画像中心に戻された時刻をＴ１２として示す。

その後、図１４（Ｃ）に示すように更に被写体が移動すると、更に追尾補正量を大きくして追尾制御が行われる。その際、図１４（Ｄ）に示すように、主被写体に類似する類似被写体が画面内に複数表れた場合、被写体画像の信頼度は低く設定される。被写体画像の信頼度が低くなると追尾ゲイン部１００３のゲインは小さく設定され、追尾制御を行わないように設定される。そのため、図１４（Ｇ）に示すように被写体信頼度が所定閾値Ｔｈ４以下になると、追尾アイコン５０５の表示がグレー表示に変更される。つまり、これ以上の追尾制御が行えない状態にあることを撮影者に通知する処理が行われる。

以上のように追尾状態判定部１２０として機能するＣＰＵ１０５は、被写体画像の信頼度が閾値よりも低い場合、追尾制御を行うことはできないと判定する。そして、ＣＰＵ１０５は追尾アイコン制御部１２３としても機能し、追尾アイコン５０５の表示状態を変更することにより、撮影者が自らカメラをフレーミングして被写体を画像中心に移動させることを促す。

次に、被写体の検出状態によって追尾制御が不可能になってしまう場合の追尾アイコン５０５の変化による撮影者への通知方法の別例について図１５を参照して説明する。撮影者が被写体を指定した後、被写体を検出できている間は追尾制御が行われるが、被写体を見失ってしまった場合、被写体ロスト状態に遷移する。被写体ロスト状態から再び被写体を検出できた場合には被写体検出状態に遷移するが、所定時間被写体ロスト状態が続いた場合には追尾制御を行うことはできないと判断される。その場合、追尾制御が行えない状態であることを通知するアイコンが画面に表示される。また、更に長時間に亘って被写体ロスト状態が続く場合には、被写体を再度検出する可能性はないと判定され、被写体検出が停止し、追尾アイコン５０５は非表示となる。被写体検出状態の判定は検出状態判定部１００１が行い、被写体検出中であるか、被写体ロスト状態であるか、被写体未検出中であるかが判定される。

図１２（Ａ）で説明した方法と同様に、図１５（Ａ）でタッチ操作により被写体が指定されて追尾制御が開始し、画面に追尾アイコン５０５を表示する処理が行われる（図１５（Ｂ））。図１５（Ｂ）は、被写体の指定後の状態を示す図である。時間の経過につれて、撮像装置１０１が表示する画面の状態変化を図１５（Ａ）→（Ｂ）→（Ｃ）→（Ｄ）の順で例示する。この場合の、振れ補正量と追尾補正量を加算した加算部１１５の出力を図１５（Ｅ）に示す。また中心ズレ量を図1５（Ｆ）に、被写体の検出状態を図１５（Ｇ）に、追尾アイコン５０５の表示状態を図１５（Ｈ）にそれぞれ示す。

被写体が指定される時刻Ｔ１５までの間は、追尾アイコン５０５が画面に表示されていない状態である。図１５（Ｂ）に示すように被写体が指定されると、追尾アイコン５０５が画面に表示される。その後、指定した被写体５０３が移動し、画像中心から離れても、追尾量算出部１１８で算出された追尾補正量に基づいて追尾制御が行われるので、図１５（Ｂ）に示すように、被写体５０３は画像中心に戻される。なお、図中、被写体を指定して位置を検出した時刻をＴ１５として示し、追尾制御により被写体が画像中心に戻された時刻をＴ１６として示す。

その後、図１５（Ｃ）に示すように更に被写体が移動すると、更に追尾補正量を大きくして追尾制御が行われる。図１５（Ｄ）に示すように、追尾対象の被写体が他の被写体の後ろに隠れてしまったりして画面内から見えなくなってしまうと、被写体検出部１１７（被写体位置検出部１０００）が被写体を検出できずに被写体ロスト状態となる（時刻Ｔ１７）。被写体を見失って所定時間の期間Ｔ１８は被写体ロスト状態となり、この状態は被写体のロスト中に再び被写体５０３を検出した場合、被写体検出状態に復帰できる状態である。被写体ロスト状態に遷移して期間Ｔ１８が経過した後では、これ以上被写体を検出できないと判定され、被写体検出停止状態となる。被写体検出停止状態となった場合には、再び被写体５０３が画面内に現れても被写体検出状態には移行しない。被写体検出停止状態中に被写体検出状態とするには、再度被写体を指定する必要がある。被写体ロスト状態中であっても再度被写体を検出できる可能性があるため、被写体のロストの時点から所定時間の期間Ｔ１９では被写体追尾制御を継続する。期間Ｔ１９の経過後には被写体追尾制御が停止し、追尾量算出部１１８の出力である追尾制御量としては前回の追尾制御量（前回制御サンプリングで演算された値）が保持される。期間Ｔ１８が終了するまでの期間は追尾制御量として前回の追尾制御量が保持される。期間Ｔ１８が終了すると、追尾制御量を徐々に０に近づけていき、補正レンズ１０８を、被写体追尾制御が行われていないときの位置に戻す処理が行われる。

被写体のロスト中の期間Ｔ１８には、追尾アイコン５０５の表示がグレー表示となり、追尾制御を行うことができない状態であることが撮影者に通知される。また、被写体ロスト状態から期間Ｔ１８が経過し、被写体検出を停止した場合には追尾アイコン５０５の表示が停止する（非表示）。

以上のように追尾状態判定部１２０として機能するＣＰＵ１０５は、被写体検出状態に応じて、追尾制御を行うことはできないと判定する。そして、ＣＰＵ１０５は追尾アイコン制御部１２３としても機能し、追尾アイコン５０５の表示状態を変更する（追尾アイコン５０５の表示の停止を含む）。これにより、撮影者が自らカメラをフレーミングして被写体を画像中心に移動させることを促したり、追尾対象となる被写体の再設定を促したりすることができる。

次に、撮像装置１０１の振れが、像ブレ補正可能な振れの大きさを超えている状態で追尾制御が不可能になってしまう場合の追尾アイコン５０５の変化による撮影者への通知方法の例について図１６（Ａ）〜（Ｈ）を参照して説明する。検出された撮像装置１０１の振れ量が大きい場合には、被写体の追尾制御を行うことはできないと判断できる。その場合、追尾制御が行えない状態であることを通知するアイコンを表示する処理が行われる。

図１２（Ａ）で説明した方法と同様に、図１６（Ａ）でタッチ操作により被写体が指定されて追尾制御が開始し、画面に追尾アイコン５０５が表示される（図１６（Ｂ））。図１６（Ｂ）は、被写体の指定後の状態を示す図である。時間の経過につれて、撮像装置１０１が表示する画面の状態変化を、図１６（Ａ）→（Ｂ）→（Ｃ）の順で例示する。この場合の、振れ補正量と追尾補正量を加算した加算部１１５の出力を図１６（Ｄ）に示す。また、中心ズレ量を図１６（Ｅ）に示し、角速度計１０３の出力を図１６（Ｆ）に示し、振れ補正角度算出部１０９の出力である振れ補正角度を図１６（Ｇ）に示し、追尾アイコン５０５の表示状態を図１６（Ｈ）に示す。

被写体が指定される時刻Ｔ２２までは、追尾アイコン５０５は画面に表示されていない状態である。図１６（Ｂ）に示すように被写体が指定されると、追尾アイコン５０５が画面に表示される。その後、指定した被写体５０３が画像中心から離れていても、追尾量算出部１１８で算出された追尾補正量に基づいて追尾制御が行われるので、図１６（Ｂ）に示すように、被写体５０３は画像中心に戻される。なお、図中、被写体を指定して位置を検出した時刻をＴ２２として示し、追尾制御により被写体が画像中心に戻された時刻をＴ２３として示す。

その後、撮像装置１０１の振れ量が大きくなると、角速度計１０３の出力である角速度は大きくなり、それに伴い角速度計の出力に基づいて演算される振れ補正角度も大きくなる。このときに振れ補正の限界を超えてしまうと、撮影画像のブレが発生し、図１６（Ｃ）に示すように、被写体５０３の画像を一定の範囲内に収めることができない。図１６（Ｄ）にて補正レンズ１０８の移動による補正が可能な補正限界を（Ｔｈ５、−Ｔｈ５）に示す。補正レンズ１０８では補正限界を超えて補正を行うことはできない。そのため、追尾状態判定部１２０が、時刻Ｔ２４においてＴｈ５〜−Ｔｈ５の範囲内で補正制御ができないと判断した場合、追尾アイコン５０５の表示がグレー表示となり、追尾制御を行えない状態であることが撮影者に通知される。

振れ量が大きく追尾を行えない状態であるか否かを判定する方法としては、角速度計１０３の出力角速度を用いて判定する方法がある。追尾状態判定部１２０は、所定時間の期間Ｔ２０において、出力角速度が予め定められた閾値（Ｔｈ６以上、もしくは−Ｔｈ６以下）を超える時間が、所定の閾値時間以上である場合に、被写体の追尾を行えない状態であると判定する。出力角速度が閾値を超える時間を閾値時間と比較する代わりに、出力角速度が閾値を超えた回数を所定の閾値と比較して判定を行ってもよい。その場合、所定のサンプリング間隔で検出された、閾値を超えた回数が所定回数以上である場合に、被写体の追尾を行えない状態であると判定される。

振れ量が大きく追尾を行えない状態であると判定する他の方法として、振れ補正角度算出部１０９の出力である振れ補正角度を用いて判定する方法もある。その場合、追尾状態判定部１２０は、所定時間の期間Ｔ２１において、図１６（Ｇ）の振れ補正角度が所定閾値（Ｔｈ７以上、もしくは−Ｔｈ７以下）を超えた時間または回数を、所定の閾値時間または所定回数と比較する。振れ補正角度が所定閾値を超えた時間または回数が、所定の閾値時間または所定回数以上である場合、追尾を行えない状態であると判定される。

これらの何れかの方法により、像ブレの大きな状態が続き、像ブレ補正および追尾制御が難しい状態であることを検出できる。被写体の追尾制御を行えない状態であることは、追尾アイコン５０５の表示を切り替えることで撮影者に通知される。

以上のようにして、撮像装置で振れ補正が可能な振れの大きさを超える振れが生じている場合、追尾状態判定部１２０として機能するＣＰＵ１０５は、追尾制御を行えない状態であると判定する。そして、ＣＰＵ１０５は追尾アイコン制御部１２３としても機能し、追尾状態判定部１２０の判定結果を受けて追尾アイコン５０５の表示状態を変更する。これにより、撮影者が撮像装置１０１の振れが小さくなるようにしっかりと撮像装置を保持する必要があることを撮影者に知らせることができる。

以上説明したように、本実施形態の追尾状態判定部１２０は被写体の追尾制御が可能な状態であるか否かを判断する。そして、追尾不可能と判断された場合、アイコンでの通知により、撮影者が自ら撮像装置をフレーミングして被写体を画像中心に移動させることや、撮像装置をしっかり保持することを促すことができる。

本実施形態では、追尾アイコン５０５の表示を用いて警告通知を行う方法について説明したが、他の通知方法としては以下の方法がある。
（１）追尾アイコン５０５の表示状態を制御する方法。具体的には、追尾制御を行うことができない状態の、撮影者への通知を、アイコンを点滅させることで行う方法がある。追尾制御を行うことができない状態を複数のレベルに分けて、レベルに応じて点滅時間を変更することで撮影者に該当するレベルを通知してもよい。

（２）所定の発光部を制御する方法。図１７に示すように、撮像装置１０１にＬＥＤ１１０１（発光部）を設け、ＬＥＤ１１０１を用いて警告通知を行う方法がある。具体的には、追尾制御を行うことができない状態である場合、撮影者への通知はＬＥＤ１１０１を点滅させることで行われる。追尾制御を行えない状態を複数のレベルに分けて、レベルに応じて点滅時間を変更することで、撮影者に追尾制御を行えない状態のレベルを知らせてもよい。また、被写体の追尾が可能な場合にはＬＥＤ１１０１を点灯させ、被写体が指定されておらず追尾制御を行わない場合にはＬＥＤ１１０１を消灯させてもよい。

（３）振動による通知方法。図１８に示すように、撮像装置１０１の撮影者がカメラを構える際に指を置きやすい位置に、振動を発生させるシート状のアクチュエータ１２０１を設ける方法がある。アクチュエータ１２０１を振動させることにより、被写体の追尾制御を行えない状態であることが撮影者へ通知される。アクチュエータ１２０１としては、例えば圧電素子を利用した圧電アクチュエータを用いる。追尾制御を行えない状態を複数のレベルに分けて、レベルに応じて振動の大きさを変更することで撮影者に追尾制御を行えない状態のレベルを知らせてもよい。

また、図１２乃至図１６では、被写体追尾制御を行うことができるか否かの判定を、１つの判定方法で行う例を示したが、複数の判定方法を用いて追尾制御を行うことができるか否かの判定を行ってもよい。例えば補正量が追尾閾値Ｔｈ１以上の状態が所定時間ＴＬ以上経過した場合に追尾制御を行うことができないと判定し、且つ、位置ずれ量が閾値Ｔｈ３以上の状態が所定時間Ｔ７以上経過した場合に追尾制御を行うことができないと判定してもよい。複数の判定方法を適宜に組み合わせることができる。このとき、判定方法に応じて警告表示を変更してもよいし、追尾制御を行うことができない理由に応じて警告表示を変更してもよい。理由としては、補正量が大きいことや、被写体の検出状態の低下、振れが大きいことなどが上げられる。しかしながら、警告表示の種類が多数であると、撮影者にとって煩雑となることがある。このため、異なる判定方法や異なる理由であったとしても、追尾制御を行えなくという制御状態は同じであることから、同じ警告表示とすることが好ましい。例えば、補正量が大きいためであっても被写体の検出状態の低下によるものであっても、同じ警告表示を用いることが好ましい。警告表示が１種類である場合でも、警告通知を行えば、撮影者に対してフレーミング動作によって被写体を追う動作を促すことはできるためである。いいかえると、異なる判定方法や異なる理由であっても、追尾制御を行うことができなくなるという制御状態と、警告表示により撮影者にフレーミング動作を促すという目的と、は同じであるため、警告表示は同じであることが好ましい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ 角速度計
１０５ ＣＰＵ
１０９ 振れ補正角度算出部
１１６ 駆動制御部
１１７ 被写体検出部
１１８ 追尾量算出部

Claims (18)

1. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、
   撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、
   前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記被写体の追尾制御を行う追尾制御手段と、
   前記追尾制御手段による追尾制御の対象とする被写体が選択可能な選択可能モードを設定する設定手段と、を備え、
   前記補正制御手段は、前記選択可能モードに設定されていない第１の状態における像ブレ補正効果よりも、前記選択可能モードが設定されて、被写体を選択することができる第２の状態における像ブレ補正効果が高くなるように前記補正量を算出することを特徴とする制御装置。
2. 前記複数の制御状態は、前記追尾制御の対象とする被写体が選択され、追尾制御を行う第３の状態を含み、
   前記補正制御手段は、前記第２の状態での像ブレ補正効果より前記第３の状態での像ブレ補正効果を高くすることを特徴とする請求項１に記載の制御装置。
3. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、
   撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、
   前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記被写体の追尾制御を行う追尾制御手段と、
   前記追尾制御手段による追尾制御の対象とする被写体が選択可能な選択可能モードを設定する設定手段と、を備え、
   前記補正制御手段は、前記選択可能モードが設定され、且つ被写体が選択されていない第２の状態における像ブレ補正効果よりも、前記選択可能モードが設定され、且つ、被写体が選択されている第３の状態における像ブレ補正効果が高くなるように前記補正量を算出することを特徴とする制御装置。
4. 前記補正制御手段は、前記振れ検出信号を取得してパンニングまたはチルティングの判定を行い、判定結果により前記補正量を算出する特性を変更し、パンニングまたはチルティングが行われていると判定した場合には、パンニングまたはチルティングが行われていないと判定した場合よりも、前記補正量をさらに制御範囲の中心へ遷移させる処理を行うことで像ブレ補正効果の度合いを変更する制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、
   撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、
   前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記撮像画像内の前記被写体の位置を移動させることで前記被写体の追尾制御を行う追尾制御手段と、
   前記被写体が検出されているか否かを判定する判定手段と、を備え、
   前記補正制御手段は、前記被写体検出手段による前記被写体の検出情報に基づいて、像ブレ補正効果の度合いを変更する場合、前記判定手段による判定情報を取得し、前記被写体が検出されていると判定された状態での像ブレ補正効果を、前記被写体が検出されていないと判定された状態での像ブレ補正効果よりも高くする制御を行うことを特徴とする制御装置。
6. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、
   撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、
   前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記撮像画像内の前記被写体の位置を移動させることで前記被写体の追尾制御を行う追尾制御手段と、を備え、
   前記追尾制御手段は、前記撮像画像内の前記被写体の位置を移動させて、前記撮像画像内の前記被写体の位置と、前記撮像画像内に予め設定された位置との距離を小さくすることで前記被写体の追尾制御を行い、
   前記補正制御手段は、前記被写体検出手段による前記被写体の検出情報に基づいて、像ブレ補正効果の度合いを変更する場合、前記被写体の位置と前記予め設定された位置との距離が閾値未満である場合の像ブレ補正効果よりも、前記被写体の位置と前記予め設定された位置との距離が閾値以上の場合の像ブレ補正効果を低くする制御を行うことを特徴とする制御装置。
7. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、
   撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、
   前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記撮像画像内の前記被写体の位置を移動させることで前記被写体の追尾制御を行う追尾制御手段と、
   前記被写体検出手段により検出された前記撮像画像内の被写体が追尾対象の被写体であるという信頼度を判定する信頼度判定手段と、を備え、
   前記補正制御手段は、前記信頼度判定手段により判定された前記信頼度が所定値より小さい場合の像ブレ補正効果よりも、前記信頼度が前記所定値以上である場合の像ブレ補正効果を高くする制御を行うことを特徴とする制御装置。
8. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を制御する補正制御手段と、
   撮像画像内の被写体像の位置を検出し、前記撮像画像内の被写体の位置情報を取得する被写体検出手段と、
   前記被写体検出手段により取得された前記被写体の位置情報に基づいて、前記撮像画像内の前記被写体像の位置を移動させることで前記被写体の追尾制御を行う追尾制御手段と、
   前記被写体の追尾が可能な状態であるか否かを判定する判定手段と、
   前記判定手段により前記被写体像の追尾が可能な状態でないと判定された場合に、警告を発する指示をする警告指示手段と、を備え、
   前記判定手段は、前記撮像画像内における前記被写体像の位置が予め設定された位置に対して所定の距離以上離れている状態が所定時間以上続いた場合に、前記被写体の追尾が可能な状態でないと判定することを特徴とする制御装置。
9. 前記撮像画像内の前記被写体の位置をシフトさせる可動手段を備え、
   前記判定手段は、前記可動手段を駆動するための補正量が閾値を超えている場合に、前記被写体の追尾が可能な状態でないと判定することを特徴とする請求項８に記載の制御装置。
10. 前記判定手段は、前記撮像画像内における前記被写体像が追尾対象の被写体像であるという信頼度が閾値よりも小さい場合に、前記被写体の追尾が可能な状態でないと判定することを特徴とする請求項８または請求項９に記載の制御装置。
11. 前記判定手段は、追尾対象の被写体が検出できている状態から前記追尾対象の被写体が検出できていない状態となった場合に、前記追尾対象の被写体の追尾が可能な状態でないと判定することを特徴とする請求項８乃至１０のいずれか１項に記載の制御装置。
12. 前記判定手段は、前記制御装置の振れの大きさに基づいて、被写体を追尾可能であるか否かを判定することを特徴とする請求項８乃至１１のいずれか１項に記載の制御装置。
13. 前記補正制御手段は、前記補正量を算出するフィルタを備え、該フィルタの特性を変更することにより、像ブレ補正効果の度合いを変更することを特徴とする請求項１乃至１２のいずれか１項に記載の制御装置。
14. 前記被写体の追尾制御が可能な状態であるか否かを判定する判定手段と、
    前記判定手段により前記被写体の追尾制御が可能な状態でないと判定された場合に、警告を発する指示をする警告指示手段と、
    を備えることを特徴とする請求項１乃至１３のいずれか１項に記載の制御装置。
15. 前記撮像画像内の前記被写体の位置をシフトさせる可動手段を備え、
    前記追尾制御手段は、前記被写体を前記撮像画像内に予め設定された位置に移動させるために必要な前記可動手段の補正量である追尾補正量を算出し、前記可動手段を制御することで前記被写体を追尾することを特徴とする請求項１乃至１４のいずれか１項に記載の制御装置。
16. 被写体を撮像する撮像素子と、
    請求項１乃至１５のいずれか１項に記載の制御装置と、を備え、
    前記被写体検出手段は、前記撮像素子により撮像された撮像画像内の被写体の位置を検出することを特徴とする撮像装置。
17. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を補正制御手段が制御する補正制御工程と、
    撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を被写体検出手段が取得する被写体検出工程と、
    前記被写体検出手段により取得された前記被写体の位置情報に基づいて、追尾制御手段が前記被写体の追尾制御を行う追尾制御工程と、
    前記追尾制御手段による追尾制御の対象とする被写体が選択可能な選択可能モードを設定手段が設定する設定工程と、を備え、
    前記補正制御工程では、前記選択可能モードに設定されていない第１の状態における像ブレ補正効果よりも、前記選択可能モードが設定されて、被写体を選択することができる第２の状態における像ブレ補正効果が高くなるように前記補正制御手段が前記補正量を算出することを特徴とする制御方法。
18. 振れ検出手段により検出される振れ検出信号を取得して画像ブレの補正量を算出し、前記画像ブレを補正する像ブレ補正手段を補正制御手段が制御する補正制御工程と、
    撮像画像内の被写体の位置を検出し、前記撮像画像内の被写体の位置情報を被写体検出手段が取得する被写体検出工程と、
    前記被写体検出手段により取得された前記被写体の位置情報に基づいて、追尾制御手段が前記被写体の追尾制御を行う追尾制御工程と、
    前記追尾制御手段による追尾制御の対象とする被写体が選択可能な選択可能モードを設定手段が設定する設定工程と、を備え、
    前記補正制御工程では、前記選択可能モードが設定され、且つ被写体が選択されていない第２の状態における像ブレ補正効果よりも、前記選択可能モードが設定され、且つ、被写体が選択されている第３の状態における像ブレ補正効果が高くなるように前記補正制御手段が前記補正量を算出することを特徴とする制御方法。