JP7243727B2 - 撮像制御装置、撮像制御方法、プログラム - Google Patents

Description

本技術は撮像制御装置、撮像制御方法、及びプログラムに関し、特に被写体追尾を行う場合における手ブレ補正の制御技術に関する。

例えば電動ジンバル等、撮像方向や撮像視点を変化させるように撮像装置を駆動可能な雲台装置が知られている。そして、この種の雲台装置を用いて、被写体追尾を行うことが可能とされている。具体的には、対象とする被写体が撮像画像内の中心部等の所定位置に位置するように、雲台装置の駆動制御（雲台装置に内蔵されるアクチュエータの駆動制御）を行うものである。

なお、関連する従来技術については下記特許文献１を挙げることができる。

特開２０１５－８９１０８号公報

上記のような雲台装置としては、例えばユーザが把持可能な持ち手部を設ける等して、ユーザが雲台装置を持ちながらの手持ち撮影を行うことを可能とすることもできる。手持ち撮影が行われる場合、ユーザが雲台装置の向きを変えることで大まかに被写体の追尾が行われ、上記したアクチュエータの駆動制御による被写体追尾機能はこのようなユーザによる被写体追尾の補助的な役割を担うことになる。

ここで、手持ち撮影の場合、雲台装置に搭載する撮像装置としては手ブレ補正機能を有する撮像装置を用いることが有効である。
しかしながら、手ブレ補正機能付きの撮像装置について、雲台装置を駆動制御することによる被写体追尾を行う場合には、手ブレ補正が被写体追尾のための雲台駆動方向とは逆方向に作用することがあり、追尾の応答性を低下させる虞がある。例えば、静止していた被写体が素早く動き出すシーンにおいて、ユーザが雲台装置の向きを被写体の移動方向に合わせて素早く変えるような場合には、手ブレ補正が被写体の移動方向とは逆方向に効く（作用する）ことで、被写体に対する追尾の応答性が著しく低下する虞がある。

本技術は上記事情に鑑み為されたものであり、手ブレ補正機能を有する撮像装置が用いられる場合の被写体追尾制御について、追尾応答性の低下防止を図ることを目的とする。

本技術に係る撮像制御装置は、被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する制御部を備えたものである。

これにより、被写体追尾のための撮像装置の移動量に基づいて手ブレ補正の制御が行われる。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記移動制御量と閾値との比較結果に基づいて前記手ブレ補正を制御する。

これにより、撮像装置の移動量が所定量以下である場合には手ブレ補正をＯＮのままとし、該移動量が所定量より大きくなる場合には手ブレ補正をＯＦＦとする制御を行うことが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記閾値を動的に変更する。

これにより、手ブレ補正の効果を所定の条件に応じて適応的に変化させることが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記移動制御量を得るための撮像画像の解像度に基づき前記手ブレ補正を制御する。

追尾のための移動制御量を撮像画像から検出した被写体位置に基づき求める場合、該撮像画像の解像度の低さは、移動制御量のノイズとなる。このため、解像度に基づき手ブレ補正を制御することで、ノイズに反応して不必要に手ブレ補正効果がＯＦＦされてしまうことの防止を図る。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記移動制御量と閾値との比較結果に基づいて前記手ブレ補正を制御し、前記解像度と負の相関を持つように前記閾値を設定する。

これにより、ノイズに反応して不必要に手ブレ補正がＯＦＦされてしまうことの防止が図られる。

上記した本技術に係る撮像制御装置においては、前記制御部は、撮像対象シーンに応じて前記閾値を変更する。

これにより、被写体が静止したまま動かないシーンや、静止中の被写体が素早く動き出すシーン等、撮像対象シーンの変化に応じて手ブレ補正の効果を変化させることが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記被写体の移動方向に基づいて前記手ブレ補正を制御する。

これにより、被写体の移動方向に生じるブレについては手ブレ補正効果を低下させ、被写体の移動方向とは別方向に生じるブレについては手ブレ補正効果を高めるといったことが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記移動方向に応じた方向と該方向とは異なる方向とで手ブレ補正効果を異ならせる。

これにより、追尾応答性の低下が生じる可能性の高い方向については手ブレ補正効果を低下させ、追尾応答性の低下が生じる可能性の低い方向については手ブレ補正効果を高めることが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、撮像画像から検出された前記被写体の位置情報に基づいて前記移動制御量を求める。

これにより、移動制御量を求めるにあたって、被写体の位置情報は撮像画像から検出することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、撮像画像から検出された前記被写体の注目位置に基づいて前記移動制御量を求める。

これにより、被写体における注目されるべき部分を撮像画像内の中心位置等の所定位置に位置させる追尾制御を行うことが可能とされる。

上記した本技術に係る撮像制御装置においては、前記移動制御量を得るための撮像画像を撮像する撮像装置と、前記制御部により前記手ブレ補正が制御される撮像装置とが別体とされた。

これにより、手ブレ補正が制御される撮像装置が、自身の撮像画像に基づいて移動制御量を求める処理を実行する必要がなくなる。

上記した本技術に係る撮像制御装置においては、前記制御部は、前記二つの撮像装置間の視差情報に基づき得られた前記移動制御量に基づいて前記手ブレ補正を制御する。

これにより、手ブレ補正が制御される撮像装置の処理負担軽減を図りつつ、正確な被写体追尾を実現することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記制御部は、ヘッドマウントディスプレイの動き情報に基づいて前記手ブレ補正を制御する。

これにより、ヘッドマウントディスプレイの動きがユーザによる追尾対象被写体の切り替え指示である場合に、手ブレ補正が作用して新たな被写体への追尾が阻害されてしまうことの防止が図られる。

また、本技術に係る撮像制御方法は、被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する撮像制御方法である。

このような撮像制御方法によっても、上記した本技術に係る撮像制御装置と同様の作用が得られる。

また、本技術に係るプログラムは、被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する機能を情報処理装置に実現させるプログラムである。

このようなプログラムにより、上記した本技術に係る撮像制御装置が実現される。

本技術によれば、手ブレ補正機能を有する撮像装置が用いられる場合の被写体追尾制御について、追尾応答性の低下防止を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る第一実施形態としての撮像制御装置を備えた撮像システムの外観構成例についての説明図である。 実施形態における雲台装置の内部構成例を示したブロック図である。 第一実施形態としての撮像制御装置の内部構成例を示したブロック図である。 被写体追尾のための処理を示したフローチャートである。 雲台装置に対して被写体追尾のための移動制御量の情報が入力される様子を模式的に表した図である。 第一実施形態としての手ブレ補正制御による作用の説明図である。 第一実施形態としての手ブレ補正制御を実現するために実行すべき具体的な処理手順を例示したフローチャートである。 移動制御量についての閾値を変化させることによる作用の説明図である。 制御例Ｉとしての手ブレ補正制御を実現するために実行すべき具体的な処理手順を例示したフローチャートである。 撮像対象シーンについての説明図である。 制御例IIとしての手ブレ補正制御を実現するために実行すべき具体的な処理手順を例示したフローチャートである。 被写体の移動方向についての説明図である。 制御例IIIとしての手ブレ補正制御を実現するために実行すべき具体的な処理手順を例示したフローチャートである。 第一変形例としての撮像システムの構成例を説明するための図である。 第一変形例における、移動制御量を求めるための撮像画像を得る撮像装置の内部構成例を示したブロック図である。 第一変形例における、手ブレ補正が制御される撮像装置の内部構成例を示したブロック図である。 移動制御量を求めるための撮像画像を得る撮像装置を雲台装置に装着しない例の説明図である。 第二変形例としての撮像システムの構成例を説明するための図である。 ＨＭＤの内部構成例を示したブロック図である。 第二変形例における撮像装置の内部構成例を示したブロック図である。 第二変形例としての動作を実現するために実行すべき具体的な処理手順を例示したフローチャートである。 ロール方向の駆動が可能な雲台装置を例示した図である。

以下、実施の形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．装置構成例］
［1-2．被写体追尾について］
［1-3．手ブレ補正制御］
＜２．第二実施形態＞
［2-1．制御例Ｉ］
［2-2．制御例II］
［2-3．制御例III］
＜３．変形例＞
［3-1．第一変形例］
［3-2．第二変形例］
［3-3．その他変形例］
＜４．実施形態のまとめ＞
＜５．本技術＞

＜１．第一実施形態＞
［1-1．装置構成例］

図１は、本技術に係る第一実施形態としての撮像制御装置（撮像装置１０）を備えた撮像システムの外観構成例についての説明図である。
撮像システムは、撮像装置１０と雲台装置１とを備えて構成される。撮像システムにおいては、撮像装置１０が雲台装置１に搭載された状態で、雲台装置１の回転動作により撮像装置１０の撮像方向が変化される。特に、雲台装置１は後述するアクチュエータを備えており、該アクチュエータが駆動制御されることで、追尾対象とする被写体に対して自動追尾が行われる。

なお「撮像方向」とは、撮像装置１０が撮像する向きに相当する方向であり、撮像装置１０が有する撮像光学系の光軸線における正面方向（被写体側を示す方向）のことを言う。撮像方向は、図１のようなシステムの場合、雲台装置１の回転角度によって変化されるため、雲台装置１の回転角度によって撮像方向が一意に定まることになる。

図１Ａは、雲台装置１に撮像装置１０を搭載（装着）した状態を示し、また図１Ｂは雲台装置１のみを示している。
雲台装置１には、図中矢印Ｄ１で表すヨー（Yaw）方向の回転のための回転軸部２と、矢印Ｄ２で表すピッチ（Pitch）方向の回転のための回転軸部３とが設けられると共に、基台部４と装着部５とアーム部６とが設けられている。

装着部５は、例えばＬ字部材とされ、底部上面には撮像装置１０の底部に形成された図示しない機構に対応するジョイント機構５ａが設けられており、これによって図１Ａのように撮像装置１０を固定できるようにされている。
装着部５は、回転軸部３を介してアーム部６に取り付けられており、これによって装着部５はアーム部６に対してピッチ方向に回転可能とされている。

アーム部６は、例えばＬ字部材とされ、回転軸部２側で基台部４に取り付けられている。これによりアーム部６（及びアーム部に連結する装着部５）はヨー方向に回転可能とされている。

例えばこのような雲台装置１を用いることで、撮像装置１０は撮像方向をヨー方向及びピッチ方向に変位させることができる。これにより被写体の自動追尾が可能とされる。

図２は、雲台装置１の内部構成例を示したブロック図である。
雲台装置１は、アクチュエータ７と駆動制御部８と通信部９とを備えている。
アクチュエータ７としては、本例では回動軸部２を回転駆動するヨー方向アクチュエータ（モータ）と、回動軸部３を回転駆動するピッチ方向アクチュエータ（モータ）とが設けられている。

駆動制御部８は、アクチュエータ７の駆動回路や駆動回路を制御する制御回路等を有して構成され、アクチュエータ７の駆動制御を行う。特に、本例の駆動制御部８は、通信部９を介して入力される情報に従ってアクチュエータ７の駆動制御を行う。

通信部９は、所定の通信フォーマットに従って外部装置との間でデータ通信を行う。特に、本例の通信部９は、撮像装置１０が備える後述する通信部１９が対応する通信フォーマットに従ったデータ通信を行う。

図３は、撮像装置１０の内部構成例を示したブロック図である。
撮像装置１０は、デジタルカメラ装置として構成され、被写体の撮像を行い、静止画や動画としての画像データを記録媒体に記録したり、外部装置に送信したりすることができる。
図示のように撮像装置１０は、イメージャ（イメージセンサ）１１、カメラ信号処理部１２、マイクロフォン１３、音声信号処理部１４、符号化部１５、制御部１６、メモリ部１７、メディアドライブ１８、通信部１９、バス２０、ブレ補正アクチュエータ２１、補正制御部２２、動きセンサ２３を備えている。バス２０には、カメラ信号処理部１２、音声信号処理部１４、符号化部１５、制御部１６、メモリ部１７、メディアドライブ１８、及び通信部１９が接続されており、これら各部はバス２０を介して互いにデータ通信可能とされている。

イメージャ１１は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とされ、図示しない撮像光学系を介して入射された被写体光を受光し、電気信号に変換して出力する。
イメージャ１１は、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像信号を、後段のカメラ信号処理部１２に出力する。

カメラ信号処理部１２は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。カメラ信号処理部１２は、イメージャ１１からのデジタル信号（画像信号）に対して、各種の信号処理を施す。例えば、前処理、同時化処理、ＹＣ生成処理、解像度変換処理等を行う。

マイクロフォン１３による収音信号は、図示は省略した増幅器やＡ／Ｄコンバータを介してデジタル信号に変換された後、音声信号処理部１４で所定の音声信号処理を施される。

符号化部１５は、カメラ信号処理部１２からの画像信号と音声信号処理部１４からの音声信号とを入力し、これら画像信号と音声信号とについて所定のデータフォーマットに従った符号化を行う。この符号化としては、データ量を圧縮する符号化を行い、具体的には、動画としての画像信号についてはＨ２６４やＭＰＥＧ－２（MPEG：Moving Picture Experts Group）等、音声信号についてはＭＰ３（MPEG Audio Layer-3）やＡＡＣ（Advanced Audio Coding）等の圧縮符号化を挙げることができる。
符号化部１５により符号化された画像信号や音声信号を以下「符号化データ」と表記する。

制御部１６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータ（情報処理装置）を備えて構成され、ＣＰＵがＲＯＭ等に記憶されたプログラムに従った処理を実行することで、撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。ＲＯＭは、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

例えば制御部１６は、符号化部１５により得られた符号化データをメディアドライブ１８に装着された記録媒体に記録させる制御や、該符号化データを通信部１９により外部装置に送信させる制御等を行うことが可能とされる。
また、特に本例の制御部１６は、追尾制御処理部Ｆ１、手ブレ補正制御処理部Ｆ２としての機能を有するが、これら機能については後に改めて説明する。

メモリ部１７は、例えば不揮発性メモリを有して構成され、各種データの記憶に用いられる。特に、メモリ部１７は、制御部１６が各種処理で用いるデータの記憶に用いられる。

メディアドライブ１８は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しを行うリーダ／ライタ部として構成されている。メディアドライブ１８が対応する記録媒体としては、例えば、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）等を挙げることができる。

通信部１９は、所定の通信フォーマットに従って外部装置との間でデータ通信を行う。特に、本例の通信部１９は、雲台装置１における通信部９との間でデータ通信を行うことが可能とされる。
ここで、雲台装置１における通信部９と通信部１９との間のデータ通信は、例えばＵＳＢ等の有線通信であってもよいし、ブルートゥース（Bluetooth：登録商標）等の無線通信であってもよい。

ブレ補正アクチュエータ２１、補正制御部２２及び動きセンサ２３は、光学手ブレ補正機能を実現するために設けられる。

動きセンサ２３は、撮像装置１０の所定方向における動きを検出するセンサとされ、本例では、ヨー方向、ピッチ方向それぞれの回転方向における動きを検出するための角速度センサ（２軸の角速度センサ）が用いられる。

ブレ補正アクチュエータ２１は、撮像装置１０の撮像光学系に設けられたブレ補正用レンズを駆動するアクチュエータとされる。
補正制御部２２は、動きセンサ２３が検出した動き情報（本例ではヨー方向及びピッチ方向の角速度）に基づき、イメージャ１１と光軸とのずれを計算し、該ずれを打ち消す方向に必要なブレ補正用レンズの移動量を計算し、該移動量に応じたブレ補正アクチュエータ２１の駆動信号を生成する。
該駆動信号に基づきブレ補正アクチュエータ２１が駆動されることで、ブレ補正用レンズがイメージャ１１と光軸とのずれをキャンセルするように変位され、ブレ補正が実現される。
なお、光学手ブレ補正については、ブレ補正用レンズを変位させる方式ではなく、イメージャ１１を変位させる方式を採ることもできる。

［1-2．被写体追尾について］

撮像装置１０において、制御部１６は、追尾制御処理部Ｆ１としての機能により、イメージャ１１の撮像動作により得られた撮像画像に基づく追尾対象被写体の位置の特定、及び特定した追尾対象被写体の位置と撮像画像内の目標位置との誤差量の算出、及び算出した誤差量に基づく撮像装置１０の移動制御量の雲台装置１への出力を行うことで、追尾対象被写体の位置が撮像画像内の目標位置となるように雲台装置１の駆動制御を行う。

図４は、制御部１６が実行する被写体追尾のための処理を示したフローチャートである。
なお、図４に示す処理は撮像画像のフレームごとに繰り返し実行される。
先ず、制御部１６はステップＳ１０１で、被写体の位置を求める。すなわち、追尾対象被写体の撮像画像内における位置を特定する。このステップＳ１０１の処理として制御部１６は、カメラ信号処理部１２で処理された（又は処理過程の）画像信号に基づき、追尾対象被写体を特定する画像解析を行うと共に、特定した追尾対象被写体の撮像画像内における位置を特定する。
本例では、追尾対象被写体の位置としては、注目位置を特定する。
ここで、注目位置は、追尾対象被写体について定められた注目されるべき位置を意味し、例えば人物としての被写体であれば全身における中心（上下左右方向の中心）又は重心、顔の中心、両肩の中心、胴体の中心等を挙げることができる。或いは、被写体が列車や自動車であれば、それらの進行方向における先端部や運転席位置等を挙げることができる。
本例では、注目位置は被写体の種類に応じて予め定められており、制御部１６は追尾対象被写体の種類に応じて該追尾対象被写体の注目位置を特定する。
なお、注目位置は、ユーザ操作に応じて被写体の種類ごとに予め定めておくことが考えられる。

続くステップＳ１０２で制御部１６は、画像内の目標位置と被写体の位置との誤差量を求める。つまり本例では、上記のように特定した追尾対象被写体の位置（注目位置）と、撮像画像内における目標位置との誤差量を求める。ここで、目標位置は、例えば撮像画像の中心（水平垂直方向の中心）とされる。また、上記の誤差量としては、水平方向と垂直方向の双方の誤差量を求める。以下、追尾対象被写体の位置と撮像画像内における目標位置との誤差量について、水平方向における誤差量を「誤差量ΔＰｈ」、垂直方向における誤差量を「誤差量ΔＰｖ」と表記する。

ステップＳ１０２に続くステップＳ１０３で制御部１６は、画像の誤差量から角度の誤差量に変換（換算）する処理を行う。すなわち、ステップＳ１０２で求めたピクセル数単位による誤差量ΔＰｈ、ΔＰｖを、それぞれヨー方向、ピッチ方向としての回転方向における誤差量に変換する。該変換は、撮像装置１０の撮像パラメータ（焦点距離やイメージャ１１のサイズ情報等）に基づいて行うことができる。
以下、水平方向における誤差量ΔＰｈをヨー方向における角度に換算して得られる誤差量を「誤差量ΔＡｙ」、垂直方向における誤差量ΔＰｈをピッチ方向における角度に換算して得られる誤差量を「誤差量ΔＡｐ」と表記する。

ステップＳ１０３に続くステップＳ１０４で制御部１６は、誤差量ΔＡｙ、ΔＡｐをヨー方向、ピッチ方向の移動制御量として雲台装置１に出力するための処理を行う。すなわち、誤差量ΔＡｙ、ΔＡｐを通信部１９を介して雲台装置１側に送信する処理を実行する。
ここで、移動制御量とは、撮像装置１０を被写体追尾のために所定方向に移動させる際における、該移動について制御量を意味する。上記の誤差量ΔＡｙ、ΔＡｐは、それぞれヨー方向に撮像装置１０を移動させるための制御量、ピッチ方向に撮像装置１０を移動させるための制御量に該当する。

以上の処理により、撮像装置１０から雲台装置１に対しては、図５に示すようにヨー方向とピッチ方向双方の移動制御量が入力されることになる。
雲台装置１においては、誤差量ΔＡｙ、ΔＡｐが通信部９を介して駆動制御部８に入力され、駆動制御部８はこれら誤差量ΔＡｙ、ΔＡｐに応じた駆動量によりアクチュエータ７（ヨー方向アクチュエータ、ピッチ方向アクチュエータ）を駆動する。
これにより、追尾対象被写体の位置を撮像画像内の目標位置に一致させる追尾制御が実現される。

［1-3．手ブレ補正制御］

続いて、制御部１６が有する手ブレ補正制御処理部Ｆ２について説明する。
制御部１６は、手ブレ補正制御処理部Ｆ２としての機能により、追尾制御処理部Ｆ１により得られる誤差量ΔＡｙ、ΔＡｐに基づいて、ブレ補正アクチュエータ２１、補正制御部２２及び動きセンサ２３による手ブレ補正を制御する。
本例の制御部１６は、誤差量ΔＡｙ、ΔＡｐとしての移動制御量と閾値との比較結果に基づいて手ブレ補正を制御する。具体的に、制御部１６は、誤差量ΔＡｙ、ΔＡｐそれぞれに対して設定された閾値ＴＨｙ、閾値ＴＨｐを用い、誤差量ΔＡ（絶対値）が閾値ＴＨを上回る場合は手ブレ補正をＯＦＦとし、閾値ＴＨ以下の場合には手ブレ補正をＯＮとする。
本例では、ヨー方向、ピッチ方向の手ブレ補正は独立して制御する。すなわち、ヨー方向については、誤差量ΔＡｙ（絶対値）と閾値ＴＨｙとの比較結果に基づき、ΔＡｙ＞ＴＨｙであればヨー方向の手ブレ補正をＯＦＦ、ΔＡｙ≦ＴＨｙであればヨー方向の手ブレ補正をＯＮとする。また、ピッチ方向については、誤差量ΔＡｐ（絶対値）と閾値ＴＨｐとの比較結果に基づき、ΔＡｐ＞ＴＨｐであればピッチ方向の手ブレ補正をＯＦＦ、ΔＡｐ≦ＴＨｐであればピッチ方向の手ブレ補正をＯＮとする。

図６は、上記した手ブレ補正制御による作用を説明するための図である。なお、図６Ａ及び図６Ｂにおいて、図中の外枠は撮像画像の画枠を表し、内枠は誤差量ΔＡについての閾値ＴＨを表す。また図中の矢印は、誤差量ΔＡｙ、ΔＡｐのうち誤差量ΔＡｙのみ代表して例示している。
例えば、ヨー方向について、図６Ａに示すように入力した誤差量ΔＡｙ（絶対値）が閾値ＴＨｙ以下であれば、手ブレ補正はＯＮとされ、一方、図６Ｂに示すように入力した誤差量ΔＡｙ（絶対値）が閾値ＴＨｙを上回った場合には手ブレ補正はＯＦＦされる。図示は省略したが、ヨー方向についても同様である。

このような手ブレ補正制御により、例えば静止していた追尾対象被写体が素早く動き出すシーンにおいて、ユーザが雲台装置１０の向きを該被写体の移動方向に合わせて素早く変えるような場合には、手ブレ補正をＯＦＦとすることが可能となり、手ブレ補正が被写体の移動方向とは逆方向に効く（作用する）ことの防止を図り、追尾応答性が低下してしまうことの防止を図ることができる。

図７は、上記により説明した第一実施形態としての手ブレ補正制御を実現するために制御部１６が実行すべき具体的な処理手順を例示したフローチャートである。
なお、図７に示す処理は、撮像画像のフレームごとに繰り返し実行される。

図７において、制御部１６はステップＳ２０１で、誤差量ΔＡｙ＞閾値ＴＨｙであるか否かを判定し、誤差量ΔＡｙ＞閾値ＴＨｙであればステップＳ２０２で誤差量ΔＡｐ＞閾値ＴＨｐであるか否かを判定する。
ステップＳ２０２で誤差量ΔＡｐ＞閾値ＴＨｐである（つまりヨー方向とピッチ方向の双方で移動制御量が閾値を超えている）場合、制御部１６はステップＳ２０３に進み、ヨー方向及びピッチ方向の手ブレ補正をＯＦＦとする処理を実行する。すなわち、補正制御部２２にヨー方向（水平方向）及びピッチ方向（垂直方向）の手ブレ補正をＯＦＦとする指示を行う。
一方、ステップＳ２０２で誤差量ΔＡｐ＞閾値ＴＨｐでない（つまりヨー方向のみ移動制御量が閾値を超えている）場合、制御部１６はステップＳ２０４に進み、ヨー方向の手ブレ補正をＯＦＦとし、ピッチ方向の手ブレ補正をＯＮとする処理を実行する。

また、ステップＳ２０１において、誤差量ΔＡｙ＞閾値ＴＨｙでなければ、制御部１６はステップＳ２０５で誤差量ΔＡｐ＞閾値ＴＨｐであるか否かを判定する。
ステップＳ２０５で誤差量ΔＡｐ＞閾値ＴＨｐである（つまりピッチ方向のみ移動制御量が閾値を超えている）場合、制御部１６はステップＳ２０６に進み、ヨー方向の手ブレ補正をＯＮとし、ピッチ方向の手ブレ補正をＯＦＦとする処理を実行する。
一方、ステップＳ２０５で誤差量ΔＡｐ＞閾値ＴＨｐでない（つまりヨー方向とピッチ方向の双方で移動制御量が閾値以下である）場合、制御部１６はステップＳ２０７に進み、ヨー方向及びピッチ方向の手ブレ補正をＯＮとする処理を実行する。

制御部１６は、ステップＳ２０３、Ｓ２０４、Ｓ２０６、又はＳ２０７の処理を実行したことに応じ図７に示す処理を終える。
なお、図７の処理において、チャタリング防止のため、閾値ＴＨｙ、ＴＨｐにヒステリシスを持たせることもできる。

＜２．第二実施形態＞

続いて、第二実施形態について説明する。
第二実施形態は、移動制御量についての閾値ＴＨを固定ではなく可変とするものである。
図８は、閾値ＴＨを変化させることによる作用の説明図である。
先ず、閾値ＴＨを小さくする場合を考える。閾値ＴＨは、その値が小さいほど、撮像画像内の目標位置に対する追尾対象被写体の位置の誤差量ΔＰが僅かであっても、誤差量ΔＡが閾値ＴＨを超え易くなる。すなわち、閾値ＴＨが小さいほど手ブレ補正が効き難くなり、従って手ブレ補正効果は低下する。図中では、最も小さい閾値ＴＨを閾値ＴＨｙ１、ＴＨｐ１として表しているが、これら閾値ＴＨｙ１、ＴＨｐ１が設定された場合には手ブレ補正効果は最小となる。
逆に、閾値ＴＨが大きいほど目標位置に対する追尾対象被写体の位置の誤差量ΔＰが大きくても誤差量ΔＡが閾値ＴＨを超え難くなり、手ブレ補正が効き易くなる。従って、図中に示す最大の閾値ＴＨｙ４、ＴＨｐ４が設定された場合、手ブレ補正効果は最大となる。

［2-1．制御例Ｉ］

制御例Ｉは、解像度に応じて閾値ＴＨを設定するものである。
被写体追尾のための移動制御量を撮像画像から検出した被写体位置に基づき求める場合、該撮像画像の解像度の低さは、移動制御量のノイズとなる。このため、解像度に基づき閾値ＴＨを設定することで、ノイズに反応して不必要に手ブレ補正効果がＯＦＦされてしまうことの防止を図る。
具体的には、解像度と負の相関を持つように閾値ＴＨを動的に変更する。

図９のフローチャートは、制御例Ｉとしての手ブレ補正制御を実現するために制御部１６が実行すべき具体的な処理手順を例示している。
制御部１６は、ステップＳ３０１で解像度情報を取得する。すなわち、イメージャ１１による撮像画像の解像度を表す情報を取得する。
そして、ステップＳ３０２で、解像度に応じた閾値ＴＨｙ、ＴＨｐを設定する。具体的に本例では、水平方向の画素数に応じて閾値ＴＨｙを、垂直方向の画素数に応じて閾値ＴＨｐを設定する。このとき、閾値ＴＨｙ、閾値ＴＨｐは、対応する方向の画素数が小さいほど（解像度が低いぼと）大きい値が設定されるようにする。すなわち、閾値ＴＨは解像度と負の相関を持つように設定する。

なお、撮像装置１０において解像度が固定とされる場合には、図９に示す処理を実行することは必須でなく、解像度に応じて定められた閾値ＴＨを記憶させておき、該閾値ＴＨを用いてブレ補正制御を行うものとすればよい。
ここで、制御例Ｉにおいて、閾値ＴＨの動的な変更とは、連続的な変更であっても段階的な変更であってもよい。閾値ＴＨの段階的な変更としては、例えばＳＤ画質以下の場合は閾値ＴＨを「高」、ＨＤ画質相当の場合は閾値ＴＨを「中」、４Ｋ画質以上の場合は閾値ＴＨを「低」とするなどの手法を挙げることができる。また、閾値ＴＨの連続的な変更としては、例えば解像度の特定の一部範囲（例えばＳＤ画質～４Ｋ画質）において閾値ＴＨが連続的に変更されるなどの例を挙げることができる。

［2-2．制御例II］

制御例IIは、撮像対象シーンに応じて閾値ＴＨを変更するものである。
例えば、図１０に示すようなサッカー等の球技において、選手としての追尾対象被写体が競技球をキープしているＯＮプレー時には、該被写体がＯＦＦプレー時よりも比較的高速に動くことが予測される。追尾対象被写体が高速に動き出す瞬間は移動角度が大きくなるため、手ブレ補正が被写体移動方向とは逆方向に作用することによる追尾応答性低下を防止するためには、閾値ＴＨを下げて手ブレ補正効果を小さくすることが有効である。
具体的に、この場合には、撮像対象シーンとして、少なくとも追尾対象被写体がＯＮプレーのシーン、ＯＦＦプレーのシーンの何れに該当するかを例えば画像解析等により判定し、ＯＮプレーの場合にはＯＦＦプレーの場合よりも閾値ＴＨを低下させる。例えば、閾値ＴＨを最小化する。

或いは、撮像対象が陸上競技である場合、スタート地点においてランナーとしての選手はほぼ動かないため手ブレ補正の効果を高くしておいて良いが、ランナーが走りだす瞬間は手ブレ補正効果を低下させることが有効である。
この場合には、撮像対象シーンとして、少なくとも追尾対象被写体が静止しているシーン、走り出したシーンの何れに該当するかを例えば画像解析等により判定し、走り出したシーンの場合には静止しているシーンの場合よりも閾値ＴＨを低下させる（例えば最小化する）。

なお、追尾対象被写体が動き出した後、等速運動に移行したと推定した場合には手ブレ補正効果を高める（例えば閾値ＴＨを元の値に戻す）ことも可能である。

ここで、閾値ＴＨの決定のために必要となる撮像対象シーン情報の取得手法としては、上記した画像解析による手法以外に、外部から入力するという手法を採ることもできる。
画像解析による撮像対象シーン情報の取得は、例えば、機械学習（深層学習）等、一般的な手法を用いて行うことができる。例えば、機械学習による被写体の行動予測に基づき撮像対象シーンを特定する手法を採ることができる。
また、外部から入力する手法としては、例えば撮像装置１０以外の他のカメラによる画像解析の結果得られる撮像対象シーンの情報を通信部１９を介して入力することが考えられる。

なお、撮像対象シーンの判定は、マイクロフォン１３が検出した音声信号に基づき行うこともできる。例えば、上記したサッカー等の球技の例では、プレー開始時のホイッスル音に基づき撮像対象シーンを判定することもできる。また、陸上競技の例では、ピストル音に基づき撮像対象シーンを判定することもできる。

図１１のフローチャートは、制御例IIとしての手ブレ補正制御を実現するために制御部１６が実行すべき具体的な処理手順を例示している。
制御部１６はステップＳ４０１で、撮像対象シーンの判定を行う。すなわち、上記した画像解析やマイクロフォン１３からの音声信号についての音声解析、或いは外部から入力される撮像対象シーン情報等に基づき、撮像対象シーンの判定を行う。

そして、続くステップＳ４０２で制御部１６は、撮像対象シーンに応じた閾値ＴＨｙ、閾値ＴＨｐを設定する。具体的には、ステップＳ４０１で判定した撮像対象シーンに対応づけられた閾値ＴＨｙ、閾値ＴＨｐを設定する。

なお、撮像対象シーンごとの閾値ＴＨは、ユーザ操作に基づいて変更可能とすることもできる。

［2-3．制御例III］

制御例IIIは、被写体の移動方向に基づいて手ブレ補正を制御するものである。
図１２は、追尾対象被写体の移動方向を例示した図である。
図１２Ａは、追尾対象被写体が横方向（水平方向）に移動する例であり、図中上側は追尾対象被写体が列車、下側は追尾対象被写体がランナーとされた例である。図１２Ｂは追尾対象被写体が縦方向（垂直方向）に移動する例であり、図中左側は追尾対象被写体が花火、右側は追尾対象被写体が飛び込み競技の選手とされた例である。

図１２Ａの例では、横方向に動く被写体の追尾のため雲台装置１がヨー方向に動かされ、従ってヨー方向における追尾応答性の低下が生じる可能性が高い一方、縦方向（ピッチ方向）については追尾応答性の低下が生じる可能性が低く、画質向上の面では、縦方向の手ブレ補正は効かせる（作用させる）のが望ましい。
同様に、図１２Ｂの例については、ピッチ方向における追尾応答性の低下が生じる可能性が高い一方、ヨー方向は追尾応答性の低下が生じる可能性が低く、ヨー方向の手ブレ補正は効かせる（作用させる）のが望ましい。

そこで、制御例IIIでは、追尾対象被写体の移動方向を判定し、移動方向に応じた方向と該方向とは異なる方向とで手ブレ補正効果を異ならせる。具体的に、移動方向が水平方向であれば、ヨー方向の閾値ＴＨｙをピッチ方向の閾値ＴＨｐよりも低くする。例えば、閾値ＴＨｙを最小化する。また、移動方向が垂直方向であればピッチ方向の閾値ＴＨｐをヨー方向の閾値ＴＨｙよりも低くする（例えば閾値ＴＨｐを最小化する）。
これにより、追尾応答性の低下が生じる可能性の高い方向については手ブレ補正効果を低下させ、追尾応答性の低下が生じる可能性の低い方向については手ブレ補正効果を高めることが可能性とされ、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

図１３のフローチャートは、制御例IIIとしての手ブレ補正制御を実現するために制御部１６が実行すべき具体的な処理手順を例示している。
制御部１６はステップＳ５０１で、追尾対象被写体の移動方向判定処理を行う。この移動方向判定処理は、例えば撮像画像の画像解析結果に基づき行う。このとき、移動方向としては、実際に追尾対象被写体が移動した方向に限らず、移動が予測される方向とすることもできる。被写体の移動方向の予測は、例えば機械学習等により行うことができる。

そして、制御部１６は続くステップＳ５０２で、移動方向に応じた閾値ＴＨｙ、閾値ＴＨｐを設定する。具体的には、ステップＳ５０１で判定した移動方向に対応づけられた閾値ＴＨｙ、閾値ＴＨｐを設定する。このとき、移動方向＝水平方向に対しては、閾値ＴＨｙ＜閾値ＴＨｐとなるように閾値ＴＨｙ、ＴＨｐの対応づけが行われ（例えば閾値ＴＨｙは最小値）、移動方向＝垂直方向に対しては、閾値ＴＨｐ＜閾値ＴＨｙとなるように閾値ＴＨｙ、ＴＨｐの対応づけが行われる（例えば閾値ＴＨｐは最小値）。

なお、上記では移動方向に応じて閾値ＴＨを変更する例を挙げたが、移動方向に応じた方向の手ブレ補正をＯＦＦとし、該移動方向とは別方向の手ブレ補正をＯＮとすることもできる。例えば、移動方向が水平方向であればヨー方向の手ブレ補正をＯＦＦ、ピッチ方向の手ブレ補正をＯＮとする等である。

＜３．変形例＞
［3-1．第一変形例］

ここで、移動制御量を求めるための撮像画像を得る撮像装置と、手ブレ補正が制御される撮像装置とは別体とすることもできる。
図１４にその一例を示す。
この場合、撮像装置３０が移動制御量を求めるための撮像画像を得る撮像装置に該当し、撮像装置１０Ａが手ブレ補正が制御される撮像装置に該当する。撮像装置３０と撮像装置１０Ａは共通の雲台装置１に搭載され、雲台装置１のヨー方向、ピッチ方向の駆動に応じてこれら撮像装置３０と撮像装置１０Ａがヨー方向、ピッチ方向に連動して動く。

図１５は、撮像装置３０の内部構成例を示したブロック図である。なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

図３に示した撮像装置１０との差は、制御部１６に代えて制御部３１が設けられ、ブレ補正アクチュエータ２１、補正制御部２２及び動きセンサ２３が省略された点である。
制御部３１は、前述した追尾制御処理部Ｆ１としての機能を有し、制御部１６と同様、誤差量ΔＡｙ、ΔＡｐの算出、及び誤差量ΔＡｙ、ΔＡｐの雲台装置１への出力を行って被写体の追尾制御を行う。
また、制御部３１は、移動制御量出力処理部Ｆ３としての機能を有する。この機能により制御部３１は、追尾制御処理部Ｆ１が算出した誤差量ΔＡｙ、ΔＡｐとしての移動制御量の情報を通信部１９を介して撮像装置１０Ａに送信する。

図１６は、撮像装置１０Ａの内部構成例を示したブロック図である。
撮像装置１０との差は、制御部１６に代えて制御部１６Ａが設けられた点である。制御部１６Ａは、追尾制御処理部Ｆ１としての機能は省略され、手ブレ補正制御処理部Ｆ２Ａとしての機能を有する。この手ブレ補正制御処理部Ｆ２Ａとしての機能により制御部１６Ａは、撮像装置３０より送信された誤差量ΔＡｙ、ΔＡｐとしての移動制御量の情報に基づき、第一、第二実施形態で説明したものと同様の手法で手ブレ補正制御を行う。

ここで、上記構成による撮像システムでは、撮像装置３０と撮像装置１０Ａとの間に視差が生じるため、該視差を考慮して誤差量ΔＡｙ、ΔＡｐの算出を行う。具体的に、撮像装置３０における制御部３１は、例えば予め設定された視差情報に基づき、撮像装置１０Ａの撮像視点に応じた誤差量ΔＡｙ、ΔＡｐを算出する。

なお、上記では撮像装置３０、すなわち移動制御量を求めるための撮像画像を得る撮像装置は、自身の撮像画像に基づき移動制御量を求め、該移動制御量を撮像装置１０Ａに出力する処理までを実行することとしたが、撮像装置３０（制御部３１）は撮像画像から追尾対象被写体の位置を求めるまでの処理を行って該追尾対象被写体の位置を撮像装置１０Ａに出力し、撮像装置１０Ａ（制御部１６Ａ）が該追尾対象被写体の位置に基づき移動制御量を算出し、該移動制御量を雲台装置１に出力するという構成を採ることもできる。なおこの場合、制御部１６Ａは、追尾対象被写体の位置を、撮像装置１０Ａの撮像視点における位置となるように視差情報に基づいて求める。
或いは、撮像装置３０が移動制御量に基づく手ブレ補正制御までを実行する構成とすることもできる。具体的には、制御部３１が、誤差量ΔＡと閾値ＴＨとに基づく手ブレ補正のＯＮ／ＯＦＦ判定を行い、該判定の結果に応じて撮像装置１０Ａに手ブレ補正のＯＮ指示又はＯＦＦ指示を行うといった構成である。

なお、移動制御量を求めるための撮像画像を得る撮像装置と、手ブレ補正が制御される撮像装置とを別体とする例としては、図１７に示すように、撮像装置３０を雲台装置１に装着しない（撮像装置１０Ａと連動させない）例も挙げることができる。
この場合、撮像装置３０では、撮像装置１０Ａとの位置関係を予めキャリブレーションすることでカメラの外部パラメータを算出しておき、該外部パラメータに基づき誤差量ΔＡを算出する。この際、外部パラメータは、例えば一般的なチェッカーボード等を使用した手法により算出することができる。

［3-2．第二変形例］

第二変形例は、ＨＭＤ（ヘッドマウントディスプレイ）を用いた撮像システムを前提としたものである。
図１８は、第二変形例としての撮像システムの構成例を説明するための図である。
図示のようにこの場合の撮像システムは、ＨＭＤ４０、撮像装置１０Ｂ、及び雲台装置１を備えている。図示のように撮像装置１０Ｂは、撮像装置１０と同様に雲台装置１に装着される。
ＨＭＤ４０は、ユーザの頭部に装着され、撮像装置１０Ｂにより撮像された画像を表示する。またＨＭＤ４０は、ユーザの頭部の動きを検出し、検出した動き情報を撮像装置１０Ｂに出力する。

図１９は、ＨＭＤ４０の内部構成例を示したブロック図である。
表示部４１はユーザに撮像画像を表示するための表示手段であり、バス４５を介して通信部４４、制御部４２と接続されている。
制御部４２は、例えばマイクロコンピュータを有して構成され、ＨＭＤ４０の全体制御を行う。制御部４２には動きセンサ４３が接続され、ユーザの頭部の動き情報を取得可能とされている。動きセンサ４３は、例えば角速度センサとされ、本例ではヨー方向、ピッチ方向それぞれの回転方向における動きを検出する２軸の角速度センサが用いられる。
制御部４２は、動きセンサ４３により検出された動き情報（本例ではヨー方向、ピッチ方向それぞれの角速度情報）を通信部４４を介して撮像装置１０Ｂに送信する。

図２０は、撮像装置１０Ｂの内部構成例を示したブロック図である。
撮像装置１０との差は、制御部１６に代えて制御部１６Ｂが設けられた点である。制御部１６Ｂは、追尾制御処理部Ｆ１に代えて追尾制御処理部Ｆ１Ｂが設けられ、手ブレ補正制御処理部Ｆ２に代えて手ブレ補正制御処理部Ｆ２Ｂが設けられた点が制御部１６と異なる。

追尾制御処理部Ｆ１Ｂは、追尾制御処理部Ｆ１と同様、基本的には、誤差量ΔＡｙ、ΔＡｐを雲台装置１に出力することで被写体追尾を実行させる。但し、追尾制御処理部Ｆ１Ｂは、ＨＭＤ４０より送信された動き情報に基づき、ＨＭＤ４０を装着したユーザが自身の頭部の動き（ＨＭＤ４０の動き）により追尾対象被写体の切り替えを指示しているか否かを判定する。切り替えを指示していると判定した場合は、追尾制御をＯＦＦとすると共に、ＨＭＤ４０の動き方向（つまり頭部の動き方向）に雲台装置１を回転させる。そして、ＨＭＤ４０の動き方向に存在する別被写体（追尾対象としていた被写体とは別の被写体）が画像内の目標位置付近に位置したことに応じて、該別被写体を追尾対象被写体として追尾制御を再開する。

ここで、上記のように追尾制御をＯＦＦとして雲台装置１をＨＭＤ４０の動き方向に連動して回転させる際、手ブレ補正がＯＮのままでは、追尾対象被写体の切り替えをスムーズに行うことができない虞がある。このため本例では、上記のようにＨＭＤ４０の動き情報に基づき追尾制御をＯＦＦとする際には、閾値ＴＨを低下させて手ブレ補正効果を低下させる（例えば最小化する）。そしてその後、別被写体を追尾対象被写体とした追尾制御が再開される際には、閾値ＴＨを上昇させて手ブレ補正効果を上げるようにする。
手ブレ補正制御処理部Ｆ２Ｂは、このような追尾対象被写体の切り替え時に対応した閾値ＴＨの変更処理を行う。

図２１のフローチャートは、上記した第二変形例としての動作を実現するために制御部１６Ｂが実行すべき具体的な処理手順を例示している。
先ず、制御部１６ＢはステップＳ６０１で、ＨＭＤの動き情報を取得し、続くステップＳ６０２で追尾対象被写体の切替指示であるか否かを判定する。このステップＳ６０２では、例えば、動き情報として取得される角速度の値が所定閾値を超えているか否か（少なくともヨー方向、ピッチ方向の何れか一方）を判定する。或いは、角速度の情報から求めたＨＭＤ４０の角度変化量と誤差量ΔＡとの差が所定閾値を超えているか否か（少なくともヨー方向、ピッチ方向の何れか一方）を判定する。
ここで、動き情報が表すＨＭＤ４０の動き方向に別被写体が存在していなければ追尾対象被写体の切替指示は成立しない。このため、制御部１６Ｂは、画像解析から該動き方向に別被写体が存在するか否かの判定を行い、その結果をステップＳ６０２の判定に反映させることもできる。

ステップＳ６０２において、追尾対象被写体の切替指示でないと判定した場合、制御部１６ＢはステップＳ６０３に進んで追尾維持、すなわち追尾ＯＦＦとせずにステップＳ６１０に処理を進める。
一方、ステップＳ６０２で追尾対象被写体の切替指示であると判定した場合、制御部１６ＢはステップＳ６０４に進んで追尾ＯＦＦとし、続くステップＳ６０５で手ブレ補正効果を最小化する処理を行う。すなわち、閾値ＴＨを最小化する。ここで、ステップＳ６０５の処理は、ＨＭＤ４０の動き方向に応じた方向の閾値ＴＨを最小化する処理として行う。例えば、ＨＭＤ４０の動き方向がヨー方向であればヨー方向の閾値ＴＨｙを最小化する。或いは、ＨＭＤ４０の動きがヨー方向とピッチ方向の双方で大きければ（つまり斜め方向に大きく動いたとき）、閾値ＴＨｙと閾値ＴＨｐの双方を最小化することも考えられる。

ステップＳ６０５に続くステップＳ６０６で制御部１６Ｂは、ＨＭＤ４０の動き方向に雲台装置１を動かす処理を実行し、次いでステップＳ６０７で別被写体の位置が画像内の目標位置に近接したか否かを判定する。例えば、別被写体の位置と目標位置との誤差（ピクセル数単位）が所定閾値以下となったか否かを判定する。
別被写体の位置が目標位置に近接していなければ、制御部１６はステップＳ６０６に戻る。これにより、別被写体の位置が目標位置に近接するまで雲台装置１がＨＭＤ４０の動き方向に駆動される。

一方、別被写体の位置が目標位置に近接した場合、制御部１６ＢはステップＳ６０８で別被写体を追尾対象被写体とした追尾を開始し、続くステップＳ６０９で手ブレ補正効果を上げる処理、すなわちステップＳ６０５で最小化した閾値ＴＨを上げる処理を実行し、ステップＳ６１０に進む。

ステップＳ６１０で制御部１６Ｂは、予め定められた終了条件、例えば撮像画像の記録終了や電源ＯＦＦ等の所定の終了条件が成立したか否かを判定し、終了条件が成立していなければステップＳ６０１に戻り、終了条件が成立していれば図２１に示す処理を終える。

［3-3．その他変形例］

ここで、実施形態としては上記した具体例に限定されず多様な変形例を採り得るものである。
例えば上記では、被写体追尾のための移動方向をヨー方向とピッチ方向の二方向とする例を挙げたが、移動方向としてはロール（Roll）方向を含んでもよい。図２２は、ロール方向（図中矢印Ｄｒの方向）の駆動が可能な雲台装置１Ａを例示している。
また、被写体追尾のための移動方向は二つの方向に限定されるものではなく、三方向以上、或いは一方向のみとすることもできる。

また、移動方向は回転方向に限定されず、並進方向とすることもできる。すなわち、撮像装置（手ブレ補正が制御される撮像装置）の移動制御量としては、撮像方向の移動制御量のみでなく、撮像視点の移動制御量も含み得る。

また、上記では、手ブレ補正として光学手ブレ補正を例示したが、手ブレ補正としては例えば上述した特許文献１に開示されるような電子的な手ブレ補正を適用することもできる。

なお、光学手ブレ補正を採用する場合、手ブレ補正手段はレンズ内とボディ内の双方に備えられる場合もある。これら手ブレ補正手段のうち双方の機能が有効化されている場合には双方を実施形態としての手ブレ補正制御の対象とする。或いは、レンズ内とボディ内の何れか一方の手ブレ補正手段のみ機能を有効化するようにされている場合には、有効化されている方の手ブレ補正手段を対象として実施形態としての手ブレ補正制御を行う。

また、手ブレ補正手段が複数存在するとき、ブレ補正の方向が分担されていることもある。例えば、ボディ内の手ブレ補正手段がヨー方向とピッチ方向を担当し、レンズ内の手ブレ補正手段がロール方向を担当する場合を挙げることができる。或いは、ボディ内の手ブレ補正手段が水平方向と垂直方向としての並進方向を、レンズ内の手ブレ補正手段がロール方向を担当する等の構成も考えられる。

＜４．実施形態のまとめ＞

上記のように実施形態としての撮像制御装置（撮像装置１０、１０Ａ、１０Ｂ）は、被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する制御部（同１６，１６Ａ，１６Ｂ）を備えている。

これにより、被写体追尾のための撮像装置の移動量に基づいて手ブレ補正の制御が行われる。
従って、手ブレ補正機能を有する撮像装置が用いられる場合の被写体追尾制御について、追尾応答性の低下防止を図ることができる。

また、実施形態としての撮像制御装置においては、制御部は、移動制御量と閾値との比較結果に基づいて手ブレ補正を制御している。

これにより、撮像装置の移動量が所定量以下である場合には手ブレ補正をＯＮのままとし、該移動量が所定量より大きくなる場合には手ブレ補正をＯＦＦとする制御を行うことが可能とされる。
従って、手ブレ補正が被写体追尾方向とは逆方向に作用する可能性が高い場合にのみ手ブレ補正をＯＦＦとすることが可能となり、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

さらに、実施形態としての撮像制御装置においては、制御部は、閾値を動的に変更している（例えば制御例II、制御例IIIを参照）。

これにより、手ブレ補正の効果を所定の条件に応じて適応的に変化させることが可能とされる。
従って、条件に応じて手ブレ補正の効果を適切に制御することが可能となり、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、制御部は、移動制御量を得るための撮像画像の解像度に基づき手ブレ補正を制御している（制御例Iを参照）。

追尾のための移動制御量を撮像画像から検出した被写体位置に基づき求める場合、該撮像画像の解像度の低さは、移動制御量のノイズとなる。このため、解像度に基づき手ブレ補正を制御することで、ノイズに反応して不必要に手ブレ補正効果がＯＦＦされてしまうことの防止を図る。
従って、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

また、実施形態としての撮像制御装置においては、制御部は、移動制御量と閾値との比較結果に基づいて手ブレ補正を制御し、解像度と負の相関を持つように閾値を設定している。

これにより、ノイズに反応して不必要に手ブレ補正がＯＦＦされてしまうことの防止が図られる。
従って、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

さらに、実施形態としての撮像制御装置においては、制御部は、撮像対象シーンに応じて閾値を変更している（制御例IIを参照）。

これにより、被写体が静止したまま動かないシーンや、静止中の被写体が素早く動き出すシーン等、撮像対象シーンの変化に応じて手ブレ補正の効果を変化させることが可能とされる。
従って、追尾応答性の低下が生じる可能性の高いシーンでは手ブレ補正効果を低下させ、追尾応答性の低下が生じる可能性の低いシーンでは手ブレ補正効果を高める等の手ブレ補正制御を行うことができ、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、制御部は、被写体の移動方向に基づいて手ブレ補正を制御している（制御例IIIを参照）。

これにより、被写体の移動方向に生じるブレについては手ブレ補正効果を低下させ、被写体の移動方向とは別方向に生じるブレについては手ブレ補正効果を高めるといったことが可能とされる。
従って、追尾応答性の低下が生じる可能性の高い方向については手ブレ補正効果を低下させ、追尾応答性の低下が生じる可能性の低い方向については手ブレ補正効果を高めることが可能性とされ、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

また、実施形態としての撮像制御装置においては、制御部は、移動方向に応じた方向と該方向とは異なる方向とで手ブレ補正効果を異ならせている。

これにより、追尾応答性の低下が生じる可能性の高い方向については手ブレ補正効果を低下させ、追尾応答性の低下が生じる可能性の低い方向については手ブレ補正効果を高めることが可能とされる。
従って、追尾応答性の低下防止と手ブレ補正による画像ブレ防止との両立を図ることができる。

さらに、実施形態としての撮像制御装置においては、制御部は、撮像画像から検出された被写体の位置情報に基づいて移動制御量を求めている。

これにより、移動制御量を求めるにあたって、被写体の位置情報は撮像画像から検出することが可能とされる。
従って、被写体の位置情報を検出するためにイメージセンサ以外の別途のセンサを設ける必要がなくなり、装置構成の簡易化、及びコスト削減を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、制御部は、撮像画像から検出された被写体の注目位置に基づいて移動制御量を求めている。

これにより、被写体における注目されるべき部分を撮像画像内の中心位置等の所定位置に位置させる追尾制御を行うことが可能とされる。
従って、被写体の注目されるべき部分が撮像画像から見切れてしまうことの防止を図ることができる。

また、実施形態としての撮像制御装置においては、移動制御量を得るための撮像画像を撮像する撮像装置（同３０）と、制御部により手ブレ補正が制御される撮像装置（同１０Ａ）とが別体とされている（第一変形例を参照）。

これにより、手ブレ補正が制御される撮像装置が、自身の撮像画像に基づいて移動制御量を求める処理を実行する必要がなくなる。
従って、手ブレ補正が制御される撮像装置の処理負担軽減を図ることができる。

さらに、実施形態としての撮像制御装置においては、制御部（同１６Ａ）は、二つの撮像装置間の視差情報に基づき得られた移動制御量に基づいて手ブレ補正を制御している。

これにより、手ブレ補正が制御される撮像装置の処理負担軽減を図りつつ、正確な被写体追尾を実現することができる。

さらにまた、実施形態としての撮像制御装置においては、制御部は、ヘッドマウントディスプレイの動き情報に基づいて手ブレ補正を制御している。

これにより、ヘッドマウントディスプレイの動きがユーザによる追尾対象被写体の切り替え指示である場合に、手ブレ補正が作用して新たな被写体への追尾が阻害されてしまうことの防止を図ることができる。

また、実施形態としての撮像制御方法は、被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する撮像制御方法である。

このような実施形態としての撮像制御方法によっても、上記した実施形態としての撮像制御装置と同様の作用及び効果を得ることができる。

実施形態のプログラムは、被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する機能を情報処理装置に実現させるプログラムである。
すなわち、図７、図１１、図１３、図２１等で説明した処理を情報処理装置に実行させるプログラムである。

このようなプログラムにより実施形態としての撮像制御装置の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜５．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量に基づいて、撮像装置の手ブレ補正を制御する制御部を備えた
撮像制御装置。
（２）
前記制御部は、
前記移動制御量と閾値との比較結果に基づいて前記手ブレ補正を制御する
前記（１）に記載の撮像制御装置。
（３）
前記制御部は、
前記閾値を動的に変更する
前記（２）に記載の撮像制御装置。
（４）
前記制御部は、
前記移動制御量を得るための撮像画像の解像度に基づき前記手ブレ補正を制御する
前記（１）乃至（３）の何れかに記載の撮像制御装置。
（５）
前記制御部は、
前記移動制御量と閾値との比較結果に基づいて前記手ブレ補正を制御し、
前記解像度と負の相関を持つように前記閾値を設定する
前記（４）に記載の撮像制御装置。
（６）
前記制御部は、
撮像対象シーンに応じて前記閾値を変更する
前記（３）乃至（５）の何れかに記載の撮像制御装置。
（７）
前記制御部は、
前記被写体の移動方向に基づいて前記手ブレ補正を制御する
前記（１）乃至（６）の何れかに記載の撮像制御装置。
（８）
前記制御部は、
前記移動方向に応じた方向と該方向とは異なる方向とで手ブレ補正効果を異ならせる
前記（７）に記載の撮像制御装置。
（９）
前記制御部は、
撮像画像から検出された前記被写体の位置情報に基づいて前記移動制御量を求める
前記（１）乃至（８）の何れかに記載の撮像制御装置。
（１０）
前記制御部は、
撮像画像から検出された前記被写体の注目位置に基づいて前記移動制御量を求める
前記（９）に記載の撮像制御装置。
（１１）
前記移動制御量を得るための撮像画像を撮像する撮像装置と、前記制御部により前記手ブレ補正が制御される撮像装置とが別体とされた
前記（１）乃至（１０）の何れかに記載の撮像制御装置。
（１２）
前記制御部は、
前記二つの撮像装置間の視差情報に基づき得られた前記移動制御量に基づいて前記手ブレ補正を制御する
前記（１１）に記載の撮像制御装置。
（１３）
前記制御部は、
ヘッドマウントディスプレイの動き情報に基づいて前記手ブレ補正を制御する
前記（１）乃至（１３）の何れかに記載の撮像制御装置。

１ 雲台装置、２ 回転軸部、３ 回転軸部、４ 基台部、５ 装着部、５ａ ジョイント機構、６ アーム部、１０，１０Ａ，１０Ｂ 撮像装置、１６，１６Ａ，１６Ｂ 制御部、２１ ブレ補正アクチュエータ、２２ 補正制御部、２３ 動きセンサ、Ｆ１，Ｆ１Ｂ 追尾制御処理部、Ｆ２Ａ，Ｆ２Ｂ 手ブレ補正制御処理部、Ｆ３ 移動制御量出力処理部、３０ 撮像装置、４０ ＨＭＤ（ヘッドマウントディスプレイ）

Claims (13)

1. 被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量と閾値との比較結果に基づいて、撮像装置の手ブレ補正を制御する制御部を備え、
   前記制御部は、
   前記閾値を動的に変更する
   撮像制御装置。
2. 前記制御部は、
   前記移動制御量を得るための撮像画像の解像度に基づき前記手ブレ補正を制御する
   請求項１に記載の撮像制御装置。
3. 前記制御部は、
   前記移動制御量と閾値との比較結果に基づいて前記手ブレ補正を制御し、
   前記解像度と負の相関を持つように前記閾値を設定する
   請求項２に記載の撮像制御装置。
4. 前記制御部は、
   撮像対象シーンに応じて前記閾値を変更する
   請求項１に記載の撮像制御装置。
5. 前記制御部は、
   前記被写体の移動方向に基づいて前記手ブレ補正を制御する
   請求項１に記載の撮像制御装置。
6. 前記制御部は、
   前記移動方向に応じた方向と該方向とは異なる方向とで手ブレ補正効果を異ならせる
   請求項５に記載の撮像制御装置。
7. 前記制御部は、
   撮像画像から検出された前記被写体の位置情報に基づいて前記移動制御量を求める
   請求項１に記載の撮像制御装置。
8. 前記制御部は、
   撮像画像から検出された前記被写体の注目位置に基づいて前記移動制御量を求める
   請求項７に記載の撮像制御装置。
9. 前記移動制御量を得るための撮像画像を撮像する撮像装置と、前記制御部により前記手ブレ補正が制御される撮像装置とが別体とされた
   請求項１に記載の撮像制御装置。
10. 前記制御部は、
    前記二つの撮像装置間の視差情報に基づき得られた前記移動制御量に基づいて前記手ブレ補正を制御する
    請求項９に記載の撮像制御装置。
11. 前記制御部は、
    ヘッドマウントディスプレイの動き情報に基づいて前記手ブレ補正を制御する
    請求項１に記載の撮像制御装置。
12. 被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量と閾値との比較結果に基づいて、撮像装置の手ブレ補正を制御すると共に、
    前記閾値を動的に変更する
    撮像制御方法。
13. 被写体の位置が撮像画像内の所定位置となるように得られた撮像装置の移動制御量と閾値との比較結果に基づいて、撮像装置の手ブレ補正を制御すると共に、前記閾値を動的に変更する機能を情報処理装置に実現させる
    プログラム。

Images