JP7477969B2 - 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置において、像ブレを補正する技術に関するものである。

撮像された画像の被写体に生じる像ブレには、手振れのような撮像装置の動きによって生じるものと、被写体の動きによって生じるものがある。像ブレを補正して撮影者の意図した被写体（主被写体）を追尾して安定した構図を提供するためには、主被写体を特定し、背景など他の被写体の動きと分離された主被写体の動きを検出する必要がある。そして、主被写体を画面のほぼ同じ位置に捉え続けられるように補正することが必要である。

この目的を達成するために種々の提案がなされており、特許文献１には、「追尾中の被写体の消失、複数被写体の接近、交錯等に際して安定度の高い制御を提供するために、追尾する特定物体が撮影画面中央に位置するように、抽出された物体の位置情報に基づき撮影画角可変手段を制御し、物体が画面内から消失した場合に消失前の位置で物体の出現を待機する」ことが記載されている。

特許文献２には、「顔検出が行われ顔が検出されない場合、シャッタボタンを全押しすると、補正レンズが検出された手ブレを相殺する方向と速度で移動されると同時に本番撮影が行われる。顔が検出された場合、シャッタボタンの半押しで動きベクトル検出回路４４が被写体振れを検出する。シャッタボタンを全押しすると、補正レンズが被写体振れを相殺する方向と速度で移動されると同時に本番撮影が行われる。」ことが記載されている。

特開平８－９２２７号公報 特開２００７－２０１５３４号公報 特許第３１４３１７３号公報

しかしながら、特許文献１のように、物体が消失した場合に消失前の位置で物体の出現を待機する制御では、被写体が出現する前は像ブレを補正することが出来ない。

また、顔検出の有無など撮影状況に応じて手振れ補正と被写体振れ補正を切り替える制御を動画記録中に採用した場合は、切り替え時にそれまで振れ補正されていた部分の像ブレが急に大きくなる等、鑑賞者が違和感を覚える映像が撮影されることが予想される。

本発明は上述した課題に鑑みてなされたものであり、その目的は、急激な像ブレ補正の変化を抑制し、鑑賞者が違和感なく鑑賞できる映像を提供することである。

本発明に係わる像ブレ補正装置は、主被写体を検出する被写体検出手段と、画面内の動きベクトルを検出する動きベクトル検出手段と、主被写体の動きベクトルと背景の動きベクトルを分離する分離手段と、画面内の被写体の像ブレを補正する補正量を算出する算出手段と、像ブレ補正の対象が、前記被写体検出手段により検出された第１の主被写体に設定されている状態のときに、前記被写体検出手段により新しい動体である第２の主被写体が検出された場合、前記算出手段が前記第１の主被写体の第１の動きベクトルに基づいて前記補正量を算出している状態から、前記背景の動きベクトルである第３の動きベクトルに基づいて前記補正量を算出する状態を経由して、前記第２の主被写体の第２の動きベクトルに基づいて前記補正量を算出する状態に移行するように制御する制御手段と、を備えることを特徴とする。

本発明によれば、急激な像ブレ補正の変化を抑制し、鑑賞者が違和感なく鑑賞できる映像を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 主被写体検出動作の手順を示すフローチャート。 第１の実施形態における撮影動作の手順を示すフローチャート。 第１の実施形態におけるブレ補正処理の動作の手順を示すフローチャート。 第１の実施形態における第１のカウンタ値に応じたブレ補正制御のフローチャート。 第１の実施形態における中央枠内の被写体に対するブレ補正制御の説明図。 第１の実施形態における第１の主被写体、背景、中央枠内の被写体に対するブレ補正制御の説明図。 第１の実施形態におけるクラスタリング動作の説明図。 第１の実施形態における第２のカウンタ値に応じたブレ補正制御の説明図。 第１の実施形態における第１の主被写体に対するブレ補正制御の説明図。 第１の実施形態における第１の主被写体、背景、第２の主被写体に対するブレ補正制御の説明図。 第２の実施形態における第１のカウンタ値に応じたブレ補正制御のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、撮像装置１００は、撮像装置本体１に対して交換レンズ３１が着脱可能に装着されて構成されている。

撮像装置本体１において、レンズマウント２は、交換レンズ３１を装着するために配置されている。撮像素子３は、交換レンズ３１内の撮影光学系を透過した光が被写体像として結像され、これを光電変換する。撮像回路４は、撮像素子３によって光電変換された電気信号に対して各種の画像処理を施すことにより所定の画像信号を生成する。Ａ／Ｄ変換回路５は、撮像回路４により生成されたアナログ画像信号をデジタル画像信号に変換する。バッファメモリ等からなるメモリ（ＶＲＡＭ）６は、Ａ／Ｄ変換回路５の出力を受けて、この画像データを一時的に記憶する。Ｄ／Ａ変換回路７は、ＶＲＡＭ６に記憶された画像データを読み出して、再生出力に適する形態のアナログの画像信号に変換する。液晶表示装置（ＬＣＤ）等の画像表示装置（以下ＬＣＤ）８は、この画像信号を表示する。記憶用メモリ１０は、半導体メモリ等からなり、画像データを記憶する。

圧縮伸長回路９は、ＶＲＡＭ６に一時記憶された画像データを読み出して記憶用メモリ１０での記憶に適した形態にするために、画像データの圧縮処理や符号化処理を行う圧縮回路を有する。また、記憶用メモリ１０に記憶された画像データを再生表示などに最適な形態とするための復号化処理や伸長処理等を行う伸長回路も有する。ＡＥ処理回路１１は、Ａ／Ｄ変換回路５からの出力を受けて自動露出（ＡＥ）処理を行う。ＡＦ処理回路１２は、Ａ／Ｄ変換回路５からの出力を受けて自動焦点調節（ＡＦ）処理を行うためのＡＦ評価値を生成し、さらにデフォーカス量を検出する。

振れ検出センサ１４は、手振れなどの撮像装置１００の動きを検出する。振れ検出回路１３は、振れ検出センサ１４の信号を処理する。ＣＰＵ１５は、撮像装置１００全体の制御を行う演算用のメモリを内蔵するマイクロコンピュータからなる。タイミングジェネレータ（以下ＴＧ）１６は、所定のタイミング信号を発生する。撮像素子ドライバー１７は、撮像素子３を駆動する。操作スイッチ１８は、各種のスイッチ群からなる。ＥＥＰＲＯＭ１９は、各種の制御等を行うプログラムや各種の動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。

電池２０は、撮像装置１００全体の電源である。通信ドライバー２１は、交換レンズ３１と通信を行うための回路である。表示素子２２は、警告表示などを行うＬＥＤなどからなる。撮像素子移動モータ２５は、撮像素子３を水平方向、垂直方向、回転方向に移動させるための駆動源である。撮像素子移動制御回路２４は、撮像素子移動モータ２５の動作を制御する。動きベクトル検出回路２７は、Ａ／Ｄ変換回路５からの出力を受けて被写体の動きベクトルを検出する処理を行う。主被写体検出回路２６は、動きベクトル検出回路２７、Ａ／Ｄ変換回路５、及びＣＰＵ１５からの出力を受けて主被写体検出処理を行う。画像変形切り出し回路２８は、画像の回転及び拡縮や、トリミング（切り出し）などの画像処理を行う。スピーカー２３は、合焦の報知や非合焦警告などを行うための音源である。

一方、交換レンズ３１において、振れ補正レンズ３２は、像ブレを補正するために、撮像素子３の像面上で被写体像を移動させるための光学系である。フォーカスレンズ３３は、被写体像の光軸方向の結像位置を調節して焦点を合わせるための光学系である。絞り３４は、振れ補正レンズ３２、フォーカスレンズ３３等からなる撮影光学系を透過する光の量を制御する光量調節手段である。通信ドライバー３５は、撮像装置本体１と通信を行うための回路である。制御回路３６は、絞り３４を駆動する絞り駆動モータ、フォーカスレンズ３３を駆動するフォーカス駆動モータ、振れ補正レンズ３２を駆動する振れ補正レンズ駆動モータを駆動制御する。ＥＥＰＲＯＭ３７は、各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。

なお、画像データ等の記憶媒体である記憶用メモリ１０には、フラッシュメモリ等の固定型の半導体メモリや、カード形状やスティック形状からなり装置に対して着脱自在に装着されるカード型フラッシュメモリ等の半導体メモリが用いられる。あるいは、ハードディスクやフロッピー（登録商標）ディスク等の磁気記憶媒体等でもよく、様々な形態のものが適用可能である。

また、操作スイッチ１８としては、撮像装置本体１を起動させ電源供給を行うための主電源スイッチ、動画撮影動作（記録動作）等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ等がある。レリーズスイッチは、第１ストローク（以下ＳＷ１）と第２ストローク（以下ＳＷ２）を有する二段スイッチにより構成される。ＳＷ１がＯＮされると、撮影動作に先立って行われるＡＥ処理、ＡＦ処理等の撮影準備動作を開始させる指示信号が発生される。ＳＷ２がＯＮされると、実際の露光動作を開始させる指示信号が発生される。

以上のように構成された本実施形態の撮像装置の動作について、以下説明する。

まず、交換レンズ３１を透過し、光量が調整された被写体からの光束は、撮像素子３の受光面に結像される。この被写体像は、撮像素子３による光電変換処理により電気的な信号に変換され撮像回路４に出力される。撮像回路４では、入力された信号に対して各種の信号処理が行われ、所定の画像信号が生成される。この画像信号はＡ／Ｄ変換回路５に出力されデジタル信号（画像データ）に変換された後、ＶＲＡＭ６に一時的に格納される。ＶＲＡＭ６に格納された画像データは、Ｄ／Ａ変換回路７へ出力され、表示するのに適した形態のアナログの画像信号に変換された後、ＬＣＤ８に画像として表示される。

ＶＲＡＭ６に格納された画像データは、圧縮伸長回路９にも出力される。この圧縮伸長回路９における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ１０に記憶される。

また。例えば操作スイッチ１８のうち不図示の再生スイッチが操作されオン状態になると、再生動作が開始される。すると、記憶用メモリ１０に圧縮された形で記憶された画像データは圧縮伸長回路９に出力され、伸長回路において復号化処理や伸長処理等が施された後、ＶＲＡＭ６に出力され一時的に記憶される。更に、この画像データは、Ｄ／Ａ変換回路７へ出力され、表示するのに適した形態のアナログの画像信号に変換された後、ＬＣＤ８に画像として表示される。

ＴＧ１６からは所定のタイミング信号がＣＰＵ１５、撮像回路４、撮像素子ドライバー１７へ出力され、ＣＰＵ１５はこのタイミング信号に同期させて各種の制御を行う。また、撮像回路４は、ＴＧ１６からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらに撮像素子ドライバー１７は、ＴＧ１６のタイミング信号を受け、これに同期して撮像素子３を駆動する。

Ａ／Ｄ変換回路５によってデジタル化された画像データは、上述のＶＲＡＭ６とは別にＡＥ処理回路１１、ＡＦ処理回路１２、動きベクトル検出回路２７、主被写体検出回路２６、画像変形切り出し回路２８にも出力される。

ＡＥ処理回路１１においては、入力されたデジタル画像信号を受けて、一画面分の画像データの輝度値に対して累積加算等の演算処理が行われる。これにより、被写体の明るさに応じたＡＥ評価値が算出される。このＡＥ評価値はＣＰＵ１５に出力される。そしてＣＰＵ１５は、このＡＥ評価値に基づいて、撮像素子３への露光時間や絞り３４の開口値を計算し、その情報を通信ドライバー２１を介して交換レンズ３１へ送信する。これに応じて、交換レンズ３１側では、絞り駆動処理などが行われ、絞り３４の絞り量が適正になるように調整される。

ＡＦ処理回路１２においては、焦点調整のための撮像画素を有する撮像素子３により取得される画像信号の像修正と、修正された像信号の相関演算を行い、デフォーカス量を検出する。焦点調整のための撮像画素は、光学系の射出瞳の第１の領域と、それとは異なる光学系の射出瞳の第２の領域からの光束を受光するように設計された対となる撮像画素のペアで構成されている。ＡＦ処理回路１２は、第１の領域の光束を受光する撮像画素からの出力信号により構成される基準画像（Ａ像）と、第２の領域の光束を受光する撮像画素からの出力信号により構成される参照画像（Ｂ像）の像修正を行う。その後、Ａ像とＢ像の相関演算を行い、求めたＡ像とＢ像の像ずれ量に、変換係数（Ｋ値）を掛けることでデフォーカス量を算出する。これにより撮像面位相差ＡＦが可能となる。

ＣＰＵ１５は、フォーカスレンズ３３の駆動量と駆動方向を求め、通信ドライバー２１を介して交換レンズ３１へ送信する。これに応じて交換レンズ３１側でフォーカスレンズ３３の駆動処理が行われ、合焦状態を得るＡＦ制御が可能となる。

動きベクトル検出回路２７においては、入力されたデジタル画像信号（基準画像）を受けて、ＣＰＵ１５からの指示により分割された領域に従い、１フレーム前のデジタル画像信号（参照画像）との相関演算を行う。これにより、分割された領域内の被写体の動きベクトルを求める。

すなわち、水平垂直方向に参照画像を所定画素ずらしながら基準画像と参照画像の差分演算を行った結果、最も高い相関度（最も少ない差分量）を得た画素ずらし量をその領域における被写体の動き量とする。そして、その際の水平方向、垂直方向の画素ずらし方向を動き方向とする。これによってフレーム間の領域内の被写体の動きベクトルが求められる。なお動きベクトルの求め方の詳細に関しては、特許文献３などに記載されているため、詳細説明を省略する。

主被写体検出回路２６では、主被写体の検出を行う。まず、撮影者によって主被写体領域が指定されたか否かを判定する。例えば撮影者によってＡＦ点が指定された領域や、ＬＣＤ８にタッチパネルが装着されている場合に撮影者によって所定時間タッチ操作が行われた領域を主被写体領域と判定する。

また、Ａ／Ｄ変換回路５からの出力を受けて、瞳、眉などの顔を特徴付ける部分を画像上で探索し、その位置関係から、人物の顔の画像上での位置を検出し、更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。同様に、Ａ／Ｄ変換回路５からの出力を受けて、頭部や胴体など人物を特徴付ける部分に相当する形状を持つ部位を画像上で探索し、それらの位置関係を評価することで、画面内に存在する人物の位置を検出する。例えば円形に近い形状を検出し、その下部に第１の長方形の形状が存在し、第１の長方形より短辺が短い第２の長方形が存在し、互いが隣接するような場合に、人物が存在すると判断すればよい。

また、Ａ／Ｄ変換回路５からの出力を受けて、色や輝度が類似した集合体を検出し、その大きさや画面上の位置を検出し、その結果から主被写体である度合いを推測する。例えば画面中央に近い位置に所定以上の大きさで色と輝度が類似した集合体が存在すれば、主被写体らしいと判断する。そして大きさや画面上の位置が所定条件を満たす被写体の中から、画面中央を原点とした重心座標や集合体の大きさから求めた主被写体度合いが最も高い領域を主被写体領域とする。

また、ＡＦ処理回路１２の処理結果から画面内のＡＦ点毎の距離またはデフォーカス量を取得する。そして動きベクトル検出回路２７の処理結果及び振れ検出回路１３の結果を用いて、撮影者が画面内に捉えようとしている実空間上で移動している被写体を検出する。
また、ＣＰＵ１５から、ＡＥ処理回路１１の処理結果、ＬＣＤ画面をタッチして設定したものも含めて撮影者によって設定されたＡＦ点情報、撮影モード、シャッター速度、絞り値などの情報を取得する。

主被写体検出回路２６は、このようにして得た検出結果から、総合的に主被写体領域を複数個検出し、それに順位を付けた結果をＣＰＵ１５に送信する。

本実施形態においては、主被写検出体回路２６で検出された主被写体を第１の主被写体とし、その動きベクトルを動きベクトル検出回路２７で検出する。そして検出した動きベクトルを用いて第１の主被写体に生じる像ブレを補正する。複数の主被写体が検出された場合は、最も順位が高い主被写体を第１の主被写体とし、それに対して像ブレ補正を行う。また第１の主被写体より順位の高い新たな主被写体が検出された場合は、それまでの主被写体（第１の主被写体）から、背景（第３の主被写体）の像ブレ補正を経由して、徐々に新たな主被写体（第２の主被写体）に対して像ブレ補正を行うように制御していく。

図２を用いて主被写体検出の具体的な手順について説明する。この手順においては、より先に検出が行われた主被写体ほど主被写体の優先順位が高いものとなる。

処理が開始されると、まず、全ての主被写体検出フラグをオフにし、その後ステップＳ２０１において撮影者によって主被写体領域が指定されているか否かを判定する。これはＣＰＵ１５から送られたＡＦ点情報を調べ、撮影者により任意のＡＦ点がメニューやＬＣＤ画面のタッチ動作などによって指定されているかを調べることで実行される。指定されていればステップＳ２０２に進む。

ステップＳ２０２では、メニューなどでＡＦ点が指定されていれば、そのＡＦ点を主被写体領域とする。ＡＦ点がメニューなどによって選択されず、ＬＣＤ画面をタッチすることで撮影者の意図する主被写体が選択された場合は、その領域および近傍で類似性のある被写体の存在する領域を主被写体領域とする。

例えば、その選択された領域の中心の最も近くにある選択された領域内で顔検出などがされていないかを調べる。なおタッチにより選択される領域は、予めその大きさを決めておけばよい。またその大きさは撮影レンズ３１の焦点距離によって可変にしてもよい。

予め定められた領域内に、検出された顔が存在する場合は、その検出された顔の中心座標と大きさから主被写体領域を決める。なお予め定められた領域内に一部が入るなど複数の顔が検出された場合は、検出された顔領域の中心座標が予め定められた領域の中心に近い顔、もし同じ近さなら顔の大きさの大きい顔、大きさも同じなら先に検出された顔を選択する。なお検出された顔が大きく、瞳が検出可能な場合は、二つの瞳を含む領域または大きい瞳を含む領域を主被写体領域とする。

ステップＳ２０３では、顔検出がされているか否かを調べ、検出されていれば、顔検出フラグをオンにした後、ステップＳ２２１において、検出された顔が前フレームまで主被写体としていたものと同一とみなせるか否かを判定する。同一とみなせるなら、ステップＳ２０４に進み、検出された顔領域を主被写体領域とする。みなせないなら、ステップＳ２０５へ進む。同一とみなせるか否かの判定は、後述する主被写体検出回路２６の同一と推定される被写体を追尾する機能を用いて行う。

ステップＳ２０５では、人物検出がされているか否かを調べ、検出されていれば人物検出フラグをオンにした後、ステップＳ２２２において、検出された人物が前フレームまで主被写体としていたものと同一とみなせるか否かを判定する。同一とみなせるなら、ステップＳ２０６に進み、検出された人物領域を主被写体領域とする。みなせないならステップＳ２０７へ進む。

ステップＳ２０７では、動体（撮影者が画面内に捉えようとしている実空間上で移動している被写体）が存在するか否かを調べ、存在すれば動体検出フラグをオンにする。その後、ステップＳ２２３において、検出された動体が前フレームまで主被写体としていたものと同一とみなせるか否かを判定する。同一とみなせるなら、テップＳ２０８に進み、その動体を主被写体領域とする。みなせないならステップＳ２０９へ進む。

この動体が存在するか否かの判定は、振れ検出回路１３の出力、動きベクトル検出回路２７の出力、ＡＦ処理回路１２の出力を用いて行われる。振れ検出回路１３の出力が小さい場合（複数の軸の検出値がいずれも所定値未満の場合）、すなわち撮影者が意図時に撮像装置本体１を動かしていない場合は、動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以上の領域があれば、その領域を主被写体領域とする。

画面を水平方向、垂直方向に複数個の領域（例えば１６×１６の２５６領域）に分割し、検出された各領域の水平方向、垂直方向の動きベクトルをそれぞれ（Ｖｈｏｒ（ｎｍ），Ｖｖｅｒ（ｎｍ））とする。その場合、領域ｎｍの動き量Ｖｕ（ｎｍ）は、以下のように計算される。
Ｖｕ（ｎｍ）＝
√［Ｖｈｏｒ（ｎｍ）×Ｖｈｏｒ（ｎｍ）＋Ｖｖｅｒ（ｎｍ）×Ｖｖｅｒ（ｎｍ）］
この値Ｖｕ（ｎｍ）が所定値Ｖｃ以上であれば、その領域を動きがある領域とし、隣接していれば合体させる。複数存在する場合は、画面中央に近いものを選択する。

振れ検出回路１３の出力が大きい場合（複数の軸の検出値がいずれかが所定値以上の場合）、すなわち撮影者が意図時に撮像装置本体１を動かしている場合は、この意図的な動きと等しい動きをしている領域を主被写体領域とする。すなわち動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以下の領域があれば、その領域を主被写体領域とする。

画面を複数個の領域に分割し、検出された各領域の動き量Ｖｕ（ｎｍ）が所定値Ｖｄ以下であれば、その領域を撮影者が追いかけている動体がある領域とし、隣接していれば合体させる。動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以下の領域が複数存在する場合は、画面中央に近いものを選択する。

動きベクトル検出回路２７の出力を用いた処理で動体が検出できなかった場合は、距離方向（光軸方向）に移動する動体が存在するか否かを調べる。これは、ＡＦ処理回路１２から得た距離またはデフォーカス量から時系列的に同一方向にその量が変化しているＡＦ点（例えば５フレーム連続して距離が近づいているＡＦ点）が存在するか調べることで行う。ＡＦ処理回路１２から得られた全てのＡＦ点に関してフレーム毎の距離またはデフォーカス量の変化を調べ、所定フレーム以上に渡り所定量同一方向に変化しているＡＦ点を抽出し、そのＡＦ点を動体がある領域とし、隣接していれば合体させる。所定フレーム以上に渡り所定量同一方向に変化しているＡＦ点領域が複数存在する場合は、画面中央に近いＡＦ点領域を選択する。

ステップＳ２０９では、色や輝度が類似した集合体の中で主被写体度合いが高い主被写体領域と見なせる領域が存在するか否かを調べ、存在すれば主被写体検出フラグをオンにする。その後ステップＳ２２４で、検出された主被写体領域の主被写体が前フレームまで主被写体としていたものと同一とみなせるか否かを判定し、同一とみなせるならステップＳ２１０へ進み、その領域を主被写体領域とする。

主被写体度合いは、色や輝度が類似した集合体の画面上の位置と大きさによって判断する。検出された集合体が画面四辺のうちの二辺に接していないものを選択し、その中で所定以上の大きさのものを主被写体度合いが高い集合体とみなす。該当するものが複数存在する場合は、集合体の重心位置が画面の中心に近いものを選択する。

ステップＳ２２４で、前フレームまで主被写体としていたものと同一とみなせないならば、ステップＳ２２５へ進む。

ステップＳ２２５では、それまでの処理において主被写体候補が検出されているか否かを、検出フラグをチェックすることにより判断し、いずれかの検出フラグがオンされていれば、主被写体候補が検出されていると判断して、ステップＳ２２６へ進む。

ステップＳ２２６では、検出フラグがオンになっている検出領域の中で優先順位がもっと高いものを選択し、その領域を主被写体領域とする。顔検出がされていれば顔検出領域を、顔検出がされず人物検出がされていれば人物検出領域を、顔検出も人物検出もされずに動体が検出されていれば動体領域を、いずれも検出されていなければ主被写体度合いが高いと判断された検出領域を、主被写体領域とする。

ステップＳ２２６で、検出フラグがオンされていない場合は、それまでの処理で主被写体候補が検出されていないので、ステップＳ２１１へ進む。

ステップＳ２１１では、ＡＦ処理回路１２の処理結果からＡＦ可能な画面内のＡＦ点数の割合が高く、かつ距離差のある被写体が存在するか否かを調べる。条件を満たす場合はステップＳ２１２へ進み、複数のＡＦ点のうち最至近のＡＦ結果を示したＡＦ点を主被写体領域とする。この場合は風景撮影などの画面全体を被写体とした撮影ではなく、風景を背景とした記念撮影などと考えられるため、最至近の被写体を主被写体領域とする。条件を満たさない場合はステップＳ２１３において、ＣＰＵ１５から取得したＡＥ処理結果、撮影モード、シャッター速度、絞り値、撮影者によるストロボＯＮ／ＯＦＦ情報からＡＦを行う領域を決定する。

まず、撮影モードに基づき以下の表の様にしてＡＦを行う領域を決定する。

上記の条件に当てはまらない場合は、以下の表の様にして主被写体領域を決定する。

なお、顔、人物、動体が複数検出された場合は、上述のように、その検出位置と大きさ（顔）、または検出位置（人物・動体）によって主被写体領域を決める。また異なる優先順位の主被写体が検出される場合もあり、優先順位に従って主被写体領域が決定される。なお、初めのフレームではこのように主被写体領域が決定されるが、次フレーム以降は同一被写体であることが優先される。

主被写体検出回路２６は、前フレームで主被写体として検出された被写体と同一と推定される被写体を追尾する機能を持つ。この機能により、上記の手順で主被写体として検出された被写体が、前フレームまでの主被写体と同一であると推定された場合は、その被写体を最高順位の主被写体とする。上記の手順においてより先に検出が行われた主被写体があっても、同一であると推定される主被写体が優先される。よって第１の主被写体に対する像ブレ補正が行われる。ただし、撮影者が明示的に主被写体を指定するために、メニューなどでＡＦ点が指定されている場合は除外する。

以上のような判定を行う場合、新たな主被写体（第２の主被写体）が検出されたと判断されるのは、次のような場合である。１つは、撮影者が明示的に主被写体を指定した場合である。もう１つは、それまでの第１の主被写体が大きく動いた場合に、撮影者が意図的にその被写体を追うことをせずに画面上の位置が大きく変わるなどで同一被写体と推定されなくなり、同時に順位の高い主被写体が検出された場合である。

新たな主被写体（第２の主被写体）が検出された場合は、それまでの主被写体（第１の主被写体）の動きベクトル（第１の動きベクトル）検出も並行して行う。そして、背景（第３の主被写体）の動きベクトル（第３の動きベクトル）を検出してブレ補正する段階を経由し、徐々に新たな主被写体（第２の主被写体）の動きベクトル（第２の動きベクトル）の検出結果に基づいてブレ補正を行うように制御していく。

次に、前フレームで主被写体として検出された被写体と同一と推定される被写体を追尾する機能について説明する。主被写体領域が上述のどの条件で検出されたかによって同一被写体の推定方法が異なる。

撮影者により任意のＡＦ点が指定されていた場合は、そのＡＦ点を含む領域を常に主被写体領域とする。但し隣接するＡＦ点に一時的に主被写体が移る可能性があるので、上下左右に隣接するＡＦ点のＡＦ情報も取得する。そして、指定されていたＡＦ点のＡＦ情報が大きく変化し、隣接するＡＦ点においてほぼ等しいＡＦ情報が得られた場合は、隣接するＡＦ点を主被写体領域とする。すなわち、同一被写体かの推定はせず撮影者が意図時に指定した被写体を主被写体とする。

主被写体領域を顔検出結果また人物検出結果に応じて決めている場合は、次のようにする。顔または人物を検出し、検出されたものと、ほぼ同じ大きさの顔やほぼ同じ大きさの人物が前のフレームと同様の位置（検出結果の中心座標の差が所定値以内）であるならば、同一被写体と推定し、その新たに検出された領域を主被写体領域とする。

動体を主被写体領域とした場合は、上述の手順で動体の領域を検出し、検出された位置（領域の中心座標）とその領域の動きベクトルから主被写体領域を選択する。検出された動体領域の位置と動きベクトルが、前のフレームで検出されたものと同様であるならば、同一被写体と推定し、その新たに検出された領域を主被写体領域とする。

なお、数フレーム間の動きベクトル（動き量と方向）から二次関数近似を行い、被写体の動きの推定を行って、推定された動き量に対する動きベクトルから求まる動き量の差分が所定値以内の場合に同一被写体と推定して、その領域を主被写体領域としてもよい。距離方向の動体に関しても同様に、新たに検出された動体領域の位置と動きベクトルが、前のフレームで検出されたものと同様であるならば、同一被写体と推定し、その新たに検出された領域を主被写体領域とする。

色や輝度が類似した集合体の中で主被写体度合いが高いものを主被写体領域とした場合も同様に、新たに検出された色や輝度が類似した集合体の大きさと位置が、前のフレームで検出されたものと同様であるならば、同一被写体と推定する。そして、その新たに検出された領域を主被写体領域とする。

最至近の被写体を主被写体領域とした場合など（図２のステップＳ２１２）は、被写体が同一と推定される被写体か否かの判定を行うことはせずに、新たな主被写体領域を探索する。

また、録画の停止、画角を超えるパンニング、極端な輝度変化、再生モードへの変更、電源ＯＦＦなどがされた場合は、それまでの主被写体に対する撮影は一旦終了したと判断し、それまでに検出された主被写体領域情報は消去する。

画像変形切り出し回路２８は、主被写体検出回路２６や動きベクトル検出回路２７の出力を受けて、ＣＰＵ１５が算出した主被写体の画像上の上下左右の動きや撮像装置本体１の回転に関する情報に応じてその変化を補正するために、画像回転などの変形や、画像の一部分を切り出すなどの画像処理を行う。

例えば、主被写体として検出された人物の顔が人物の移動や撮影者の手振れによって画面上で位置が大きく変化することや、主被写体が斜め方向に移動することがある。動画のフレーム間にこのような振れや、画面の水平方向、垂直方向、斜め方向への主被写体の移動が生じると、撮影者が希望する画面上の位置に主被写体が存在しない状況や、不自然な移動が生じる。このような現象がフレーム間で頻繁に発生すると、記録された動画像は非常に見づらいものとなる。

そこで、フレーム間の主被写体の水平方向、垂直方向の移動を表す動きベクトルを動きベクトル検出回路２７で検出し、検出された動きベクトルからＣＰＵ１５により画像を補正する情報を算出する。そして、算出された補正量に応じて画像を画像変形切り出し回路２８で変形補正し、生成された画像をＶＲＡＭ６の所定の領域に記録する。

次に、本実施形態の撮像装置の実際の撮影動作について、図３に示すフローチャートを用いて説明する。

撮像装置本体１の主電源スイッチがオン状態であり、かつ撮像装置の動作モードが撮影（録画）モードである場合に、撮影処理シーケンスが実行される。

まず、ステップＳ３０１において、変数の初期化や駆動部材を初期位置へ移動する等の処理を行った後、交換レンズ３１が装着されているか否かを判定する。装着されているならば、振れ補正レンズ３２、フォーカスレンズ３３、絞り３４に関する情報を取得する。装着されていない場合は、交換レンズ情報の取得の処理は行わずにステップＳ３０２へ進む。

ステップＳ３０２では、ＣＰＵ１５は、交換レンズ３１を透過し撮像素子３上に結像した像をＬＣＤ８に画像として表示する。すなわち撮像素子３上に結像した被写体像は、撮像素子３により光電変換され電気的な信号に変換された後、撮像回路４に出力される。撮像回路４では、入力された信号に対して各種の信号処理を行い、所定の画像信号を生成する。その後、画像信号は、Ａ／Ｄ変換回路５によりデジタル信号（画像データ）に変換され、ＶＲＡＭ６に一時的に格納される。ＶＲＡＭ６に格納された画像データは、Ｄ／Ａ変換回路７へ出力され、表示するのに適した形態のアナログの画像信号に変換された後、ＬＣＤ８に画像として表示される。
尚、動画記録モードに設定され、かつブレ補正設定がＯＮになっている場合は、ブレ補正処理を行った画像をＬＣＤに表示しても構わない。

ステップＳ３０３では、ＣＰＵ１５は、動画記録モードと静止画撮影モードのどちらに設定されているかを調べ、動画記録モードならステップＳ３０４へ、静止画撮影モードならステップＳ３２１へ進む。

ステップＳ３２１では、レリーズスイッチの状態を確認する。撮影者によってレリーズスイッチが操作され、ＳＷ１（レリーズスイッチの第１ストローク）がオン状態になったことをＣＰＵ１５が確認すると、次のステップＳ３２２に進む。

ステップＳ３２２では、撮影者によってブレ補正処理を行う設定がされていた場合は、ブレ補正処理を行う。この処理は例えば特許文献２に記載された従来の静止画撮影におけるブレ補正処理などを適用すればよいため、処理の詳細な説明は省略する。

ステップＳ３２３では、ＡＦ処理とＡＥ処理が実行され、フォーカスレンズ３３を合焦位置に駆動するとともに、静止画撮影時の絞り値や露光時間など決定する。

ステップＳ３２４では、撮像素子３上に結像された像にＡＥ処理結果（高輝度、低輝度警告など）やＡＦ処理結果（ＡＦ成功または失敗など）を重畳して、ＬＣＤに画像として表示する。またＬＥＤ２２の点灯、点滅や、スピーカーから合焦音や非合焦音を発するなどして、ＡＥやＡＦ処理結果を撮影者に知らせるようにしてもよい。

ステップＳ３２５では、ＳＷ２（レリーズスイッチの第２ストローク）の確認を行い、ＳＷ２がオンになっていたならば、ステップＳ３２６に進み、実際の露光処理を実行する。この露光処理の際にも撮影者によってブレ補正設定がされている場合は、ステップＳ３２２と同様にしてブレ補正処理を行う。露光処理終了後はステップＳ３１０へ進む。

一方、ステップＳ３０３において動画記録モードに設定されていた場合は、ステップＳ３０４へ進む。

ステップＳ３０４では、ＣＰＵ１５は、ＡＦ処理とＡＥ処理を実行し、フォーカスレンズ３３の合焦位置への駆動を行うとともに、絞り値や露光時間を決定し、絞り３４の駆動及び撮像素子３の露光時間（蓄積時間）の制御を行う。

ステップＳ３０５では、撮影者によってブレ補正処理設定がなされているか否かを調べる。設定されている（ＩＳオン：image stabilization ON）ならば、ステップＳ３０６でブレ補正処理を行う。逆にブレ補正処理が設定されていない（ＩＳオフ）場合は、ステップＳ３０７へ進む。ステップＳ３０６での処理の詳細は後述する。

ステップＳ３０７では、ＡＥ処理結果（高輝度、低輝度警告など）やＡＦ処理結果（ＡＦ成功または失敗など）を重畳して画像をＬＣＤ８に表示する。この画像は、ブレ補正処理設定がされていた場合は、ステップＳ３０６での処理で作成されたブレ補正がされた画像であり、ブレ補正処理設定がされていない場合は、ステップＳ３０２において読み出された画像である。

ステップＳ３０８では、動画記録指示が撮影者によってなされているか否かを確認し、動画記録指示がなされていたならば、ステップＳ３０９に進み、動画記録の処理を実行した後ステップＳ３１０へ進む。この動画記録処理では、ブレ補正処理設定がされていた場合は、ステップＳ３０６での処理で作成させたブレ補正がされた画像が記録される。ブレ補正処理設定がされていない場合は、ステップＳ３０７における表示を行う際に読み出された画像が記録される。動画記録指示がされていない場合は、ステップＳ３１０へ進む。

ステップＳ３１０では、主電源スイッチ、再生スイッチの状態や、レンズの交換を調べ、いずれかが実行されたならば処理を終了する。それ以外の場合はステップＳ３０２へ戻る。

ここで、図４～図１１を用いて、ステップ３０６で行われるブレ補正処理について説明する。図４は、ブレ補正処理の手順を示すフローチャートである。

ステップＳ４０１において、主被写体検出回路２６で得られる主被写体検出に関する情報を取得する。

ステップＳ４０２では、主被写体が検出されたか否かを判定し、検出されていればステップＳ４１１へ進む。図２におけるステップＳ２１３で主被写体領域が決められた場合は中央部分の適当な位置をその領域としている。そのため、明確な主被写体は存在しないと判断できるので、主被写体は検出されていないと判断し、ステップＳ４０３へ進む。図２におけるその他の条件で主被写体領域が決められた場合（ステップＳ２０２、Ｓ２０４、Ｓ２０６、Ｓ２０８、Ｓ２１０、Ｓ２１２）は、主被写体が検出されたと判断し、ステップＳ４１１へ進む。

ステップＳ４０３～Ｓ４０７の処理は、風景など主被写体が検出できない場合や、主被写体を画面から意図的に外すなどのシーンにおける被写体振れ等による像ブレを補正する処理である。

まず、ステップＳ４０３では、被写体振れを検出する追尾枠の設定を行う。ここでは主被写体が検出されていないので、画面の中央部に図２のステップＳ２１３で設定された大きさの枠を設定する。

ステップＳ４０４では、前回の撮影フレームにおいて主被写体が検出されていたか否かを調べる。例えば毎秒３０フレームで撮像を行っている場合は、３０分の１秒前のフレームで得られた画像や撮影者の操作などから得られる情報を図２の手順で処理した結果に基づいて判断を行う。

前回の撮影フレームにおいて主被写体が検出されていた場合は、ステップＳ４０５へ進み、第１のブレ補正制御のためのカウンタ（ＣｎｔＢ）と第２のブレ補正制御のためのカウンタ（ＣｎｔＳ）の値を零に初期化する。

ステップＳ４０６では、前回のフレームで検出されていた主被写体に対して設定されていた追尾枠情報を取得し記録する。追尾枠情報は、設定された枠の大きさ、画面上の中心座標、画面上の枠の移動方向と移動量である。

主被写体が存在しない理由としては、フレームアウトするなど画面上から消失した場合もあるが、人物などが後ろ向きになり顔が検出されなくなった場合や、向きによって色柄の異なる服装のために異なる被写体と判断された場合などもある。この場合は前回のフレームで検出された画面上の位置に主被写体が存在する可能性があるため、その被写体の振れ量を徐々に変化させて、記録された映像における違和感を軽減させる必要がある。そのため追尾枠情報を取得し、その領域における被写体の振れ量を検出し、最終的な像ブレ補正量に反映させるようにする。その後ステップＳ４０７へ進む。

ステップＳ４０７では、第１のブレ補正のためのカウンタ値に応じたブレ補正制御を行う。なおこの処理に関しては後述する。

ステップＳ４０４において、前回の撮影フレームにおいて主被写体が検出されていないと判断した場合はステップＳ４０８へ進み、第１のブレ補正制御のためのカウンタ（ＣｎｔＢ）の値をカウントアップし、その後ステップＳ４０７へ進む。

一方、ステップＳ４０２において、主被写体が検出されたと判定された場合はステップＳ４１１以下の処理を行う。このステップＳ４１１～Ｓ４１９の処理は、主被写体が新たに検出された場合や、主被写体が変更されたシーンにおける被写体振れ等による像ブレを補正する処理である。

まずステップＳ４１１において、前回の撮影フレームにおいて主被写体が検出されていたか否かを調べる。検出されていない場合は、ステップＳ４１２へ、検出された場合はステップＳ４１４へ進む。

ステップＳ４１２では、第２のブレ補正制御のためのカウンタ（ＣｎｔＳ）と第１のブレ補正制御のためのカウンタ（ＣｎｔＢ）の値を零に初期化する。その後、ステップＳ４１３において、新たに検出された主被写体を第１の主被写体として設定し、追尾枠を画面上に設定するため主被写体の大きさとその画面上の中心座標、及び画面上での移動方向と移動量を取得し記録する。その後ステップＳ４１９へ進む。

ステップＳ４１４では、今回のフレームで検出された主被写体と前回のフレームで検出された主被写体が同一か否かを判定する。これは主被写体検出回路２６の機能を用いて行われる。前述のように主被写体検出回路２６は、隣接するＡＦ点のＡＦ情報や、顔検出結果また人物検出結果、検出された動体領域の位置と動きベクトル、検出された被写体の色や輝度の類似性から、検出された被写体が同一であるかを推定し追尾する機能を持っている。この機能を用いて、主被写体が同一か否かを判断する。

同一と判定された場合は、ステップＳ４１５へ進み、第２のブレ補正制御のためのカウンタ（ＣｎｔＳ）の値をカウントアップする。その後、ステップＳ４１６において、前回のフレームで用いた主被写体情報を継承して追尾枠を設定するため、前回のフレームにおいて設定されていた追尾枠情報を取得し記録する。追尾枠情報は、設定された枠の大きさと画面上の中心座標、画面上の枠の移動方向と移動量である。主被写体が一つである場合はステップＳ４１３で設定された第１の主被写体に対して設定された追尾枠の情報を取得し記録する。主被写体が二つである場合は、第１の主被写体に対して設定された追尾枠の情報と、新たに検出され第２の主被写体として設定された被写体に対して設定された追尾枠の情報を取得し記録する。その後ステップＳ４１９へ進む。なお、この第２の主被写体の設定はステップＳ４１７で行われる。

ステップＳ４１４で同一の被写体ではないと判定された場合は、ステップＳ４１７へ進み、新たに検出された被写体を第２の主被写体に、そしてそれまで追尾していた被写体を第１の主被写体に設定する。そして、追尾枠を画面上に設定するため、主被写体の大きさと画面上の中心座標、画面上での移動方向と移動量を取得し記録する。

ステップＳ４１８では、第２のブレ補正制御のためのカウンタ（ＣｎｔＳ）と第１のブレ補正制御のためのカウンタ（ＣｎｔＢ）の値を零に初期化する。その後ステップＳ４１９へ進む。

ステップＳ４１９では、第２のブレ補正制御のためのカウンタ値に応じたブレ補正制御を行う。

ここで、図５を用いて、ステップＳ４０７で行われる第１のブレ補正のためのカウンタ値に応じたブレ補正制御について説明する。この処理は、第１の主被写体のブレ補正の制御から背景（第３の被写体）のブレ補正制御を経由して、画面中央に位置する第２の主被写体のブレ補正の制御に移行する処理である。

第１の主被写体が実空間上で大きく動いたときに撮影者が追尾を行わない場合や、撮影者が撮影対象を変えるために撮像装置本体１を大きく動かした場合など、画面上の位置が大きく変わり、第１の主被写体と同一と推定される主被写体が検出されなくなる。図５の制御は、そのような場合に用いられる処理である。

まず、ステップＳ５０１において、既に主被写体が存在しない場合のブレ補正制御への移行が完了したかを調べる。これは主被写体が検出されずに前回の追尾枠位置が中央部に設定され、かつ第１のブレ補正制御のためのカウンタ値（ＣｎｔＢ）が第１のブレ補正制御を変更する期間を示す所定値（ＴｒＣｎｔＢ）以上になっているかを調べることで行われる。

既に主被写体が存在しない場合のブレ補正制御への移行が完了した場合は、ステップＳ５０２へ進み、ステップＳ４０３で記録した主被写体領域の大きさ情報を用いて画面の中央部に追尾枠（中央枠）を設定する。これは前回のフレームで設定されていたものと同じであるが、その位置はブレ補正制御のために前回のフレームの画像の変形と一部分切り出しを行った画像における中央部であり、撮像素子３の中央部とは一致しない場合がある。

ステップＳ５０３では、中央枠内の動きベクトル検出を行う。ステップＳ５０４では、動きベクトル検出のクラスタリングを行い、中央枠内の主被写体の動きベクトルと背景などの動きベクトルを分離し、中央枠内の主被写体の動きベクトルを検出する。風景などのように、中央枠内に特定の主被写体が存在せず、クラスタリングを行っても分離できない場合もあるが、その場合も含めて中央枠内に主被写体のみ存在するとして処理を進める。

ステップＳ５０５では、追尾枠１、背景枠、中央枠の補正割合を求める。ステップＳ５０６では、被写体の画面中心に対する回転角を計算する。撮像装置本体１の回転方向の振れ量を振れ検出センサ１４により検出し、その検出値から回転ブレを補正するための画像回転角を動画撮影のフレームレートを用いて求める。

ステップＳ５０７では、ブレ補正量を算出する。これは、ステップＳ５０４などでクラスタリングされた動きベクトルとステップＳ５０５で求められた補正割合を用いて行われる。

ステップＳ５０８では、画像変形切り出し回路２８を用いて、ステップＳ５０６で求めた補正回転角を用いて回転ブレ成分を幾何変形により補正し、ステップＳ５０７で求めたブレ補正量から主被写体位置が所定位置になるように画像を切り出す。それにより水平方向、垂直方向移動により生じたブレを補正したブレ補正画像を生成する。

ただし、切り出した画像のサイズは定められているので、主被写体位置を所定位置にした場合に切り出し範囲が所定サイズに満たなくなる場合は、切り出し範囲が所定サイズになるようにして、主被写体位置は所定位置にはしない。

一方、主被写体が存在しない場合のブレ補正制御への移行中の場合は、ステップＳ５０１からステップＳ５１１へ進み、第１のブレ補正制御のためのカウンタ値（ＣｎｔＢ）が初期値（＝０）かを調べる。初期値ならステップＳ５１２へ、初期値でなければステップＳ５２１へ進む。

ステップＳ５１２では、図４のステップＳ４０６で記録された前回のフレームの追尾枠情報に基づき追尾枠１を設定する。

ステップＳ５１３では、追尾枠内動きベクトル検出を行う。ステップＳ５１４では、動きベクトル検出のクラスタリングを行い、追尾枠１内の主被写体の動きベクトルを背景などの動きベクトルと分離し、追尾枠１内の主被写体の動きベクトルを検出する。追尾枠の位置が異なるが、ステップＳ５１３の動作は、ステップＳ５０３の動作と同様であり、ステップＳ５１４の動作はステップＳ５０４の動作と同様である。

ステップＳ５１５では、背景枠を設定する。これは設定された追尾枠と中央枠を除く領域であり、動きベクトル検出を行う際は適当な大きさの複数の領域に分割する。

ステップＳ５１６では、背景枠内の動きベクトル検出を行う。ステップＳ５１７では、動きベクトル検出のクラスタリングを行い、背景枠内の背景ベクトルを主被写体の動きベクトルなどと分離し、背景枠内の背景の動きベクトル、すなわち手振れ成分を検出する。検出する領域が異なるが、ステップＳ５１６の動作はステップＳ５０３の動作と同様であり、ステップＳ５１７の動作はステップＳ５０４の動作と同様である。

その後は、ステップＳ５０５～Ｓ５０８の処理を行う。

一方、ステップＳ５１１において、第１のブレ補正制御のためのカウンタ値（ＣｎｔＢ）が初期値（＝０）でない場合は、ステップＳ５２１において、その値が第１のブレ補正制御を移行する期間を示す所定値ＴｒＣｎｔＢの２分の１以下かを調べる。２分の１以下ならステップＳ５２１からＳ５１３へ進み、その後は既にステップＳ５１２で設定された追尾枠１の情報を用いて、ステップＳ５１３以降の処理を行う。

ステップＳ５２１において、第１のブレ補正制御のためのカウンタ値（ＣｎｔＢ）が所定値ＴｒＣｎｔＢの２分の１を超える場合は、ステップＳ５２２～Ｓ５２４の処理を行う。この処理はステップＳ５０２～Ｓ５０４と同じである。

ステップＳ５２５では、第１のブレ補正制御のためのカウンタ値（ＣｎｔＢ）が所定値ＴｒＣｎｔＢ以上か、すなわちブレ補正制御の移行期間が終了したかを調べる。カウンタ値（ＣｎｔＢ）が、所定値ＴｒＣｎｔＢ以上なら移行期間が終了したと判断して、ステップＳ５０５へ進みＳ５０５～Ｓ５０８の処理を行う。移行期間が終了していない場合は、ステップＳ５１５へ進み、ステップＳ５１５～Ｓ５１７及びステップＳ５０５～Ｓ５０８の処理を行う。

次に、図６を用いてステップＳ５０２～Ｓ５０８の処理の手順について説明する。

図６の６０１は、ＶＲＡＭ６から各処理回路に供給される画像の全範囲を示し、６０２ａ、６０２ｂ、６０２ｃは、画像６０１の一部分の画像で、図３のステップＳ３０７でＬＣＤ表示される画像、及びステップＳ３０９で記録される画像に相当する。６０３ａ、６０３ｂ、６０３ｃは、第１の主被写体に対する追尾枠として設定される領域を示し、６０４ａ、６０４ｂ、６０４ｃは第１の主被写体を示す。

前々回のフレームにおいて追尾枠６０３ａが設定された場合、画像６０１からブレ補正された後に領域６０２ａの画像が切り出される。そして次のフレーム（前フレーム）において動きベクトルを検出するために領域６０３ａを追尾枠として設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。その領域は追尾枠に対して水平方向、垂直方向に所定の画素数（例えば、全画像領域の１０％を動きベクトル探索領域としてそれに相当する画素数）を加えたものである。

前フレームにおいては、領域６０３ａの位置に追尾枠を設定し、追尾枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる画面上の被写体の移動量を算出する。その結果、被写体は、６０４ａで示す位置から６０４ｂで示す位置へ移動したことが検出されるので、画像６０１からブレ補正された後に領域６０２ｂの画像を切り出すことでブレ補正された画像を生成する。

そして、次のフレーム（現在フレーム）において、動きベクトルを検出するために追尾枠として領域６０３ｂを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

同様に、現在フレームにおいては、領域６０３ｂの位置に追尾枠を設定し、追尾枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる画面上の被写体の移動量を算出する。その結果、被写体は６０４ｂで示す位置から６０４ｃで示す位置へ移動したことが検出されるので、画像６０１からブレ補正された後に領域６０２ｃの画像を切り出すことで、ブレ補正された画像を生成する。

図７を用いて、ステップＳ５１１以降の手順について説明する。

図７の７０１は、ＶＲＡＭ６から各処理回路に供給される画像の全範囲を示し、７０２ａ～７０２ｅは、画像７０１の一部分の画像で、図３のステップＳ３０７でＬＣＤ表示される画像、スッテプＳ３０９で記録される画像に相当する。７０３ａ、７０３ｂは第１の主被写体に対する追尾枠として設定される領域を、７０４ａ～７０４ｅは第１の主被写体を、７０５ａ～７０５ｅは第２の主被写体に対する追尾枠として設定される領域を、７０６ａ～７０６ｅは第２の主被写体をそれぞれ示す。

移行開始時（ＣｎｔＢ＝０）において、第１の主被写体の追尾枠７０３ａが追尾枠１として設定される。そして次のフレーム以降において動きベクトルを検出するために追尾枠１である追尾枠７０３ａに動きベクトル探索領域を考慮した領域を参照画像として記録する。その領域は追尾枠１に対して水平方向、垂直方向に所定の画素数（例えば、全画像領域の１０％を動きベクトル探索領域としてそれに相当する画素数）を加えたものである。

同時に、第２の主被写体の追尾枠７０５ａが中央枠として設定される。そして次のフレーム以降において動きベクトルを検出するために、中央枠７０５ａに動きベクトル探索領域を考慮した領域を参照画像として記録する。

また、画像７０１を背景の動きベクトルを検出するための参照領域として記録する。この時点においては、追尾枠１の動きベクトル検出結果に基づいて、領域７０４ａに第１の主被写体が存在すると判定され、画像７０１からブレ補正された領域７０２ａの画像を切り出すことでブレ補正制御が行われる。

次のフレームにおいては、領域７０３ａの位置に追尾枠を設定し、追尾枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる画面上の第１の主被写体の移動量を算出する。その結果、追尾枠１内の第１の主被写体は７０４ａで示す位置から７０４ｂで示す位置へ移動したことが検出される。そのため、次のフレーム以降において、動きベクトルを検出するために、追尾枠１として領域７０３ｂを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

同時に、領域７０５ａの位置に中央枠を設定し、中央枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる中央枠位置の第２の主被写体の画面上の移動量を算出する。そして、次のフレーム以降において動きベクトルを検出するために中央枠として領域７０６ｂを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

また、背景枠内で記録された参照画像との間で動きベクトル探索演算を行うことで、手振れによって生じる背景の画面上の移動量を算出する。また移行開始時と同様に、画像７０１を参照領域として記録する。このフレームからＣｎｔＢ≦ＴｒＣｎｔＢ／２の期間においては、追尾枠１で検出された被写体の移動量と背景枠で検出される背景の移動量に基づいてブレ補正制御が行われる。

両者の移動量を所望の割合で加算することで切り出し領域を決めた結果、領域７０２ｂの画像を切り出すことでブレ補正された画像を生成する。

次のフレーム以降、ＣｎｔＢ＜ＴｒＣｎｔＢ／２の期間においては、同様にして領域７０３ｂの位置に追尾枠１を設定し、画面上の第１の主被写体の移動量を算出する。また、領域７０６ｂの位置に中央枠を設定し、中央枠位置の第２の主被写体の画面上の移動量を算出する。そして算出された移動量に応じて、追尾枠１と中央枠の設定と参照画像の記録を行う。また背景枠内で背景の画面上の移動量を算出し、画像７０１を参照領域として記録する。

移行中間点（ＣｎｔＢ＝ＴｒＣｎｔＢ／２）においては、その直前のフレームで設定された背景枠を用いて背景の画面上の移動量を算出する。この結果求まる手振れに相当する背景の移動量を打ち消すようにブレ補正制御が行われ、画像７０１からブレ補正された領域７０２ｃの画像が切り出される。

そして、中央枠位置の第２の主被写体の画面上の移動量を算出した結果、中央枠内の被写体は領域７０５ｃに移動したと検出される。そのため、次のフレーム以降において動きベクトルを検出するために中央枠として領域７０６ｃを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

その次のフレームにおいては、領域７０５ｃの位置に中央枠を設定し、中央枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる中央枠位置の第２の主被写体の画面上の移動量を算出する。そして次のフレーム以降において、動きベクトルを検出するために中央枠として領域７０５ｄを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

また、背景枠と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れによって生じる背景の画面上の移動量を算出し、画像７０１を参照領域として記録する。そして中央枠で検出された被写体の移動量と背景枠で検出される背景の移動量に基づいてブレ補正制御が行われる。

両者の移動量を所望の割合で加算することで切り出し領域を決めた結果、領域７０２ｄの画像を切り出すことでブレ補正された画像を生成する。

それ以降ＣｎｔＢ＜ＴｒＣｎｔＢの期間においては、同様にして、領域７０５ｄの位置に中央枠を設定し、中央枠位置の第２の主被写体の画面上の移動量と、手振れによって生じる背景の画面上の移動量の算出を行い、両者の移動量に基づいてブレ補正制御を行う。また次のフレームの中央枠の設定と参照画像の記録を行う。

ＣｎｔＢ＝ＴｒＣｎｔＢの移行終了時においては、中央枠を設定し、中央枠位置の第２の主被写体の画面上の移動量を算出することでブレ補正制御を行う。すなわち中央枠の被写体が７０６ｅで示す位置に移動したことが検出されるので、領域７０２ｅを切り出すことでブレ補正制御を行う。

ここで、図８を用いて、ステップＳ５０４などで行われるクラスタリングの動作手順について説明する。

動きベクトル検出、クラスタ値設定、動きベクトルの分離、分離結果判定を行うことで、主被写体ベクトルと背景ベクトルなどの動きの異なる複数の被写体が存在する場合の動きベクトルの分離を行う。

図８（ａ）の破線で示した枠が追尾枠８０１であり、枠内には主被写体が存在する。主被写体は図の矢印に示すように移動し、背景も矢印に示すように移動しており、それぞれの水平（Ｘ）方向、垂直（Ｙ）方向の動きベクトルが検出される。その検出結果を縦軸にＹ方向動きベクトルをとり、横軸にＸ方向動きベクトルをとったグラフに示すと図８（ａ）の右図のようになる。主被写体の動きベクトルは被写体自体の動きとそれを追う撮影者の意図的なパンニングに起因し、背景の動きベクトルは主に手振れに起因するものである。よって両者には、グラフに示すような明確な差異がある。主被写体は水平方向＋（左）方向に移動しているため、Ｘ動きベクトルは＋領域に分布し、Ｙ動きベクトルは零近傍に分布している。背景は主被写体と反対の斜め上方向に移動しているため、Ｘ動きベクトルは－領域に分布し、Ｙ動きベクトルは＋領域に分布する。

そこでクラスタ値を設定して、両者を分離していく。まず、Ｘ動きベクトル全体の平均値（ＸｍｅａｎＡｌｌ）、Ｙ動きベクトル全体の平均値（ＹｍｅａｎＡｌｌ）を求め、それをクラスタ初期値として、検出された動きベクトルの分離を行う。求めた二つの平均値によって、図８（ａ）のグラフに示す動きベクトルを４つの領域に分離する。

図８（ａ）の例では、グラフの破線で分割された領域に存在する動きベクトルを調べると、左上領域に背景の動きベクトルが存在し、右領域に主被写体の動きベクトルが存在する。このように二つの動きベクトルが画面内に存在する場合は分離が出来るが、図８（ｂ）に示すように追尾枠内を評価する場合は、被写体の動きに対応する動きベクトルしか存在しないため分離が出来ない。

そこで、検出誤差などを考慮した同一動きベクトルの分布する範囲（ＸΔ・ＹΔ）を想定して、ＸｍｅａｎＡｌｌ±ＸΔかつＹｍｅａｎＡｌｌ±ＹΔに存在する動きベクトル数が所定割合（例えば８割）以上の場合は、単一の動きベクトルしか追尾枠内に存在しないと判定する。

この場合、Ｘ動きベクトル全体の標準偏差（ＸσＡｌｌ）、Ｙ動きベクトル全体の標準偏差（ＹσＡｌｌ）を求め、この二つの値がともに所定値以下（例えば、ＸσＡｌｌ≦２・ＸΔかつＹσＡｌｌ≦２・ＹΔ）であれば、追尾枠内の動きベクトルの取得が可能と判断する。そして、ＸｍｅａｎＡｌｌ±ＸσＡｌｌかつＹｍｅａｎＡｌｌ±ＹσＡｌｌの範囲内の動きベクトルを抽出し、そのＸ動きベクトルの平均値（ＸｍｅａｎＡｌｌｐ）、Ｙ動きベクトルの平均値（ＹｍｅａｎＡｌｌｐ）を追尾枠内の動きベクトルとする。

分離が可能と判断した場合は、各領域の動きベクトルの数や分布範囲を評価することで、動きベクトルの分離の妥当性を判定する。

各領域に存在するＸ動きベクトル、Ｙ動きベクトルの平均値（Ｘｍｅａｎ［ｎ］，Ｙｍｅａｎ［ｎ］）を求める。そして、各領域に存在する動きベクトルのうちＸｍｅａｎ［ｎ］±ＸΔかつＹｍｅａｎ［ｎ］±ＹΔに存在する動きベクトル数が所定量（例えば、全動きベクトルの２割）以上存在する領域は、動きの異なるいずれかの被写体が存在する領域と判断する。

この場合、Ｘ動きベクトル全体の標準偏差（Ｘσ［ｎ］）、Ｙ動きベクトル全体の標準偏差（Ｙσ［ｎ］）を求める。そして、この二つの値がともに所定値以下（例えば、ＸσＡｌｌ≦２・ＸΔかつＹσＡｌｌ≦２・ＹΔ）であれば、追尾枠内のその領域の動きベクトルの取得が可能と判断する。

そして、取得可能な領域では、Ｘｍｅａｎ［ｎ］±Ｘσ［ｎ］かつＹｍｅａｎ［ｎ］±Ｙσ［ｎ］の範囲内の動きベクトルを抽出し、そのＸ動きベクトルの平均値（Ｘｍｅａｎ［ｎ］ｐ）、Ｙ動きベクトルの平均値（Ｙｍｅａｎ［ｎ］ｐ）を追尾枠内の動きベクトルとする。この動きベクトルは複数求められることもある。

追尾枠内の複数の領域で動きベクトルの取得が可能な場合は、検出された動きベクトル数が最大となるＸｍｅａｎ［ｎ］ｐ、Ｙｍｅａｎ［ｎ］ｐを選択する。ただし、抽出された動きベクトル数が所定値未満なら、動きベクトル検出は不可能と判断し動きベクトル値を零とし、検出された追尾枠内に動きのある被写体は無いとする。

ここで、図５のステップＳ５０５及び図９のステップＳ９０５の処理について説明する。

ブレ補正制御対象の被写体領域の移行前の領域（第１の主被写体）に対する補正割合α１、背景に対する補正割合α２、ブレ補正制御対象の被写体領域の移行後の領域（中央領域または第２の主被写体）に対する補正割合α３を計算する処理をこのステップで行う。

クラスタリングして求まった追尾枠１内の動きベクトルをＸｍｅａｎ１ｐ、Ｙｍｅａｎ１ｐ、中央枠内（または追尾枠２内）の動きベクトルをＸｍｅａｎＣｐ、ＹｍｅａｎＣｐ、背景枠内の動きベクトルをＸｍｅａｎＢｐ、ＹｍｅａｎＢｐとする。その場合、追尾枠１、中央枠（または追尾枠２）、背景枠の補正量の割合α１、α２、α３を用いた水平方向、垂直方向の補正量Ｘｉｓ、Ｙｉｓは、次のようになる。
ＣｎｔＢ≦ＴｒＣｎｔＢ／２の場合（またはＣｎｔＳ≦ＴｒＣｎｔＳ／２の場合）
Ｘｉｓ＝α１・Ｘｍｅａｎ１ｐ＋α３・ＸｍｅａｎＢｐ
Ｙｉｓ＝α１・Ｙｍｅａｎ１ｐ＋α３・ＹｍｅａｎＢｐ
ＣｎｔＢ＞ＴｒＣｎｔＢ／２の場合（またはＣｎｔＳ＞ＴｒＣｎｔＳ／２の場合）
Ｘｉｓ＝α２・ＸｍｅａｎＣ＋α３・ＸｍｅａｎＢｐ
Ｙｉｓ＝α２・ＹｍｅａｎＣ＋α３・ＹｍｅａｎＢｐ
そこで、ブレ補正を行う主被写体領域の移行の進捗に応じて、追尾枠１、中央枠、背景枠の補正量の割合を求める場合は、以下の式を用いる。

α１＝（ＴｒＣｎｔＢ―２・ＣｎｔＢ）／ＴｒＣｎｔＢ
α２＝（２・ＣｎｔＢ―ＴｒＣｎｔＢ）／ＴｒＣｎｔＢ
α３＝（１－α１） （ＣｎｔＢ≦ＴｒＣｎｔＢ／２の場合）
α３＝（１－α２） （ＣｎｔＢ＞ＴｒＣｎｔＢ／２の場合）
同様に、追尾枠１、追尾枠２、背景枠の補正量の割合を求める場合は、以下の式を用いる。

α１＝（ＴｒＣｎｔＳ―２・ＣｎｔＳ）／ＴｒＣｎｔＳ
α２＝（２・ＣｎｔＳ―ＴｒＣｎｔＳ）／ＴｒＣｎｔＳ
α３＝（１－α１） （ＣｎｔＳ≦ＴｒＣｎｔＳ／２の場合）
α３＝（１－α２） （ＣｎｔＳ＞ＴｒＣｎｔＳ／２の場合）
ただし、α１、α２、α３は最大値１、最小値０の範囲の値を取るものとし、１を超えた場合はその値を１に、０未満の場合はその値を０にする。

ここで、図９を用いて、ステップＳ４１９で行われる第２のブレ補正のためのカウンタ値に応じたブレ補正制御について説明する。

この処理は、第１の主被写体のブレ補正の制御から背景（第３の被写体）のブレ補正制御を経由して、第２の主被写体のブレ補正の制御に移行する処理である。

第１の主被写体が実空間上で大きく動いたときに撮影者が追尾を行わない場合や、撮影者が撮影対象を変えるために撮像装置本体１を大きく動かした場合などのように、第１の主被写体と同一と推定される主被写体が検出されなくなり、新たな主被写体（第２の主被写体）が検出されたと判断される場合に用いられる処理である。

まず、ステップＳ９０１において、既に主被写体の乗り移りによるブレ補正制御の移行が完了したか否かを調べる。これは乗り移り処理終了時に主被写体と認識された被写体が検出され、かつ第２のブレ補正制御のためのカウンタ値（ＣｎｔＳ）が第２のブレ補正制御を変更する期間を示す所定値（ＴｒＣｎｔＳ）以上になっているかを調べることで行われる。

既に主被写体の乗り移りによるブレ補正制御の移行が完了している場合はステップＳ９０２へ進み、ステップＳ４１７で記録しＳ４１６で継承された主被写体領域の大きさ情報を用いて第１の主被写体（乗り移り処理終了時の主被写体）追尾枠１を設定する。これは、主被写体検出回路２６の情報に基づき、ＶＲＡＭ６から各処理回路に供給される画像の所定位置に設定されるため、前回のフレームで設定されていたものと同じになるとは限らない。

ステップＳ９０３では、追尾枠１内の動きベクトル検出を行う。ステップＳ９０４では、動きベクトル検出のクラスタリングを行い、追尾枠１内の主被写体の動きベクトルを背景などの動きベクトルと分離し、追尾枠１内の主被写体の動きベクトルを検出する。

その後ステップＳ９０５では、追尾枠１、追尾枠２、背景枠の補正割合を求める。この処理は図５のステップ５０５と同様の処理である。

ステップＳ９０６～Ｓ９０８の処理は、処理する追尾枠が異なるが、図５のステップＳ５０６～Ｓ５０８と同様に行われる。ステップＳ９０６では、被写体の画面中心に対する回転角を計算する。ステップＳ９０７では、ステップＳ９０４などでクラスタリングされた動きベクトルとステップＳ９０５で求められた補正割合を用いて補正量を算出する。

ステップＳ９０８では、画像変形切り出し回路２８を用いて、回転ブレ成分を幾何変形により補正し、主被写体位置が所定位置になるように画像を切り出すことにより、水平方向、垂直方向の移動により生じたブレを補正したブレ補正画像を生成する。

ステップＳ９０９では、ＣｎｔＳ＝ＴｒＣｎｔＳの場合に移行終了処理を行う。主被写体の乗り移り処理が終了したので、乗り移り前の主被写体（第１の主被写体）の追尾枠情報を削除して、乗り移り後の主被写体（第２の主被写体）を第１の主被写体とし、その追尾枠情報を第１の主被写体の追尾情報として記録し直す。

また、主被写体の乗り移りによるブレ補正制御への移行中の場合は、ステップＳ９０１からステップＳ９２１へ進む。そして、主被写体検出回路２６で検出された現在のフレームで主被写体と認識されていた第２の主被写体の大きさと中心座標などの情報に基づき追尾枠２を設定する。

ステップＳ９２２では、追尾枠２内の動きベクトル検出を行う。ステップＳ９２３では、動きベクトル検出のクラスタリングを行い、追尾枠２内の主被写体の動きベクトルを背景などの動きベクトルと分離し、追尾枠２内の主被写体の動きベクトルを検出する。追尾枠の位置が異なるが、ステップＳ９２２の動作は図５のステップＳ５０３と同様であり、ステップＳ９２３の動作は図５のステップＳ５０４と同様である。

ステップＳ９１１では、第２のブレ補正制御のためのカウンタ値（ＣｎｔＳ）が第２のブレ補正制御を変更する期間を示す所定値ＴｒＣｎｔＳの２分の１以下かを調べる。２分の１以下ならステップＳ９１２へ進み、２分の１を超えていればステップＳ９２４へ進む。

ステップＳ９１２では、主被写体検出回路２６で検出された前のフレームまで主被写体と認識されていた第１の主被写体の大きさと中心座標などの情報に基づき追尾枠１を設定する。

ステップＳ９１３では、追尾枠１内の動きベクトル検出を行う。ステップＳ９１４では、動きベクトル検出のクラスタリングを行い、追尾枠１内の主被写体の動きベクトルを背景などの動きベクトルと分離し、追尾枠１内の主被写体の動きベクトルを検出する。追尾枠の位置が異なるが、ステップＳ９１３の動作は図５のステップＳ５０３と同様であり、ステップＳ９１４の動作は図５のステップＳ５０４と同様である。

ステップＳ９１５では、背景枠を設定する。これは設定された追尾枠１と追尾枠２を除く領域であり、動きベクトル検出を行う際は適当な大きさの複数の領域に分割する。追尾枠２は主被写体検出回路２６で検出された現在のフレームで主被写体と認識されていた第２の主被写体の大きさと中心座標などの情報に基づき設定される。

ステップＳ９１６では、背景枠内の動きベクトル検出を行う。ステップＳ９１７では、動きベクトル検出のクラスタリングを行い、背景枠内の背景ベクトルを主被写体の動きベクトルなどと分離し、背景枠内の背景の動きベクトル、すなわち手振れ成分を検出する。検出する領域が異なるが、ステップＳ９１６の動作は図５のステップＳ５０３と同様であり、ステップＳ９１７の動作は図５のステップＳ５０４と同様である。その後は、ステップＳ９０５～Ｓ９０９の処理を行う。

一方、第２のブレ補正制御のためのカウンタ値（ＣｎｔＳ）が所定値ＴｒＣｎｔＳの２分の１を超える場合はステップＳ９１１からステップＳ９２４へ進む。

ステップＳ９２４では、第２のブレ補正制御のためのカウンタ値（ＣｎｔＳ）が所定値ＴｒＣｎｔＳ以上か、すなわちブレ補正制御の移行期間が終了したかを調べる。カウンタ値（ＣｎｔＳ）が所定値ＴｒＣｎｔＳ以上なら移行期間が終了したと判断してステップＳ９０５へ進み、Ｓ９０５～Ｓ９０９の処理を行う。移行期間が終了していない場合は、ステップＳ９１５へ進み、ステップＳ９１５～Ｓ９１７及びステップＳ９０５～Ｓ９０９の処理を行う。

図１０を用いてステップＳ９０２～Ｓ９０８の手順について説明する。

図１０の１００１はＶＲＡＭ６から各処理回路に供給される画像の全範囲を示し、１００２ａ、１００２ｂ、１００２ｃは画像１００１の一部分の画像で、図３のステップＳ３０７でＬＣＤ表示される画像、スッテプＳ３０９で記録される画像に相当する。１００３ａ、１００３ｂ、１００３ｃは、第１の主被写体に対する追尾枠として設定される領域、１００４ａ、１００４ｂ、１００４ｃは第１の主被写体を示している。

前々回のフレームにおいて追尾枠１００３ａが設定された場合、画像１００１からブレ補正された後に領域１００２ａの画像が切り出される。そして次のフレーム（前フレーム）において動きベクトルを検出するために領域１００３ａを追尾枠として設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

前フレームにおいては、領域１００３ａの位置に追尾枠を設定し、追尾枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる画面上の被写体の移動量を算出する。その結果、被写体は１００４ａで示す位置から１００４ｂで示す位置へ移動したことが検出されるので、画像１００１からブレ補正された後に領域１００２ｂの画像を切り出すことでブレ補正された画像を生成する。そして、次のフレーム（現在フレーム）において、動きベクトルを検出するために追尾枠として領域１００３ｂを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

同様に現在フレームにおいては、領域１００３ｂの位置に追尾枠を設定し、追尾枠内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる画面上の被写体の移動量を算出する。その結果、被写体は１００４ｂで示される位置から１００４ｃで示される位置へ移動したことが検出されるので、画像１００１からブレ補正された後に領域１００２ｃの画像を切り出すことで、ブレ補正された画像を生成する。

図１１を用いてステップＳ９１１以降の手順について説明する。

図１１の１１０１はＶＲＡＭ６から各処理回路に供給される画像の全範囲を示し、１１０２ａ～１１０２ｅは画像１１０１の一部分の画像で、図３のステップＳ３０７でＬＣＤに表示される画像、スッテプＳ３０９で記録される画像に相当する。１１０３ａ～１１０３ｅはブレ補正制御の移行終了後にブレ補正の対象となる第２の主被写体に対して追尾枠として設定される領域（追尾枠２）を示す。１１０４ａ～１１０４ｅは第２の主被写体を示す。１１０５ａ、１１０５ｂは第１の主被写体に対して追尾枠として設定されていた領域（追尾枠１）を示し、１１０６ａ、１１０６ｂは第１の主被写体を示す。

移行開始時（ＣｎｔＳ＝０）において第１の主被写体の追尾枠１１０５ａが追尾枠１として設定される。そして次のフレーム以降において動きベクトルを検出するために追尾枠１である領域１１０５ａに動きベクトル探索領域を考慮した領域を参照画像として記録する。

同時に、第２の主被写体の追尾枠１１０３ａが追尾枠２として設定される。そして次のフレーム以降において動きベクトルを検出するために、追尾枠２である領域１１０５ａに動きベクトル探索領域を考慮した領域を参照画像として記録する。また、画像１１０１を背景の動きベクトルを検出するための参照領域として記録する。

この時点においては、追尾枠１の動きベクトル検出結果に基づいて１１０６ａで示す位置に被写体が存在すると判定され、画像１１０１からブレ補正された領域１１０２ａの画像を切り出すことでブレ補正制御が行われる。

次のフレームにおいては、領域１１０５ａの位置に追尾枠１を設定し、追尾枠１内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる画面上の第１の主被写体の移動量を算出する。その結果追尾枠１内の第１の被写体は１１０６ａで示す位置から１１０６ｂで示す位置へ移動したことが検出される。そのため、次のフレーム以降において動きベクトルを検出するために、追尾枠１として領域１１０５ｂを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

同時に、領域１１０３ａの位置に追尾枠２が設定され、追尾枠２内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる第２の被写体の画面上の移動量を算出する。そして次のフレーム以降において動きベクトルを検出するために、追尾枠２として領域１１０３ｂを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

また、背景枠内で記録された参照画像との間で動きベクトル探索演算を行うことで、手振れによって生じる背景の画面上の移動量を算出する。また、移行開始時と同様に、画像１１０１を参照領域として記録する。

このフレームからＣｎｔＳ≦ＴｒＣｎｔＳ／２の期間においては、追尾枠１で検出された被写体の移動量と背景枠で検出される背景の移動量に基づいてブレ補正制御が行われる。

両者の移動量を所望の割合で加算することで切り出し領域を決めた結果、１１０２ｂで示す画像を切り出すことでブレ補正された画像を生成する。

次のフレーム以降、ＣｎｔＳ＜ＴｒＣｎｔＳ／２の期間においては同様にして、領域１１０５ｂの位置に追尾枠１を設定し、画面上の第１の主被写体の移動量を算出する。また、領域１１０３ｂの位置に追尾枠２を設定し、第２の主被写体の画面上の移動量を算出する。そして、算出された移動量に応じて、追尾枠１と追尾枠２の設定と、参照画像の記録を行う。また背景枠内で背景の画面上の移動量を算出し、画像１１０１を参照領域として記録する。

移行中間点（ＣｎｔＳ＝ＴｒＣｎｔＳ／２）においては、その直前のフレームで設定された背景枠を用いて背景の画面上の移動量を算出する。この結果求まる手振れに相当する背景の移動量を打ち消すようにブレ補正制御が行われ、画像１１０１からブレ補正された領域１１０２ｃの画像が切り出される。

そして、第２の主被写体の画面上の移動量を算出した結果、追尾枠２内の第２の主被写体は１１０４ｃで示される位置に移動したと検出される。そのため、次のフレーム以降において動きベクトルを検出するために、追尾枠２として領域１１０３ｃを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

その次のフレームにおいては、領域１１０３ｃの位置に追尾枠２を設定し、追尾枠２内の画像と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れや被写体の移動によって生じる第２の主被写体の画面上の移動量を算出する。そして次のフレーム以降において動きベクトルを検出するために、追尾枠２として領域１１０３ｄを設定し、それに動きベクトル探索領域を考慮した領域を参照画像として記録する。

また、背景枠と記録された参照画像との間で動きベクトル探索演算を行うことで、手振れによって生じる背景の画面上の移動量を算出し、画像１１０１を参照領域として記録する。

そして、追尾枠２で検出された第２の主被写体の移動量と背景枠で検出される背景の移動量に基づいてブレ補正制御が行われる。

両者の移動量を所望の割合で加算することで切り出し領域を決めた結果、１１０２ｄで示す画像を切り出すことでブレ補正された画像を生成する。

それ以降、ＣｎｔＳ＜ＴｒＣｎｔＳの期間においては、同様にして、領域１１０３ｄの位置に追尾枠２を設定し第２の主被写体の画面上の移動量と、手振れによって生じる背景の画面上の移動量の算出を行い、両者の移動量に基づいてブレ補正制御を行う。また次のフレームの追尾枠２の設定と参照画像の記録を行う。

ＣｎｔＳ＝ＴｒＣｎｔＳの移行終了時においては、追尾枠２を設定し、追尾枠２の位置の第２の主被写体の画面上の移動量を算出することでブレ補正制御を行う。すなわち、第２の主被写体が１１０４ｅで示す位置に移動したことが検出されるので、１１０２ｅで示す領域を切り出すことでブレ補正制御を行う。

以上説明したように、本実施形態においては、主被写体検出回路２６が、動きベクトル検出回路２７、Ａ／Ｄ変換回路５、及びＣＰＵ１５からの出力を受けて主被写体検出処理を行う主被写体検出手段の役割を担う。そして、動きベクトル検出回路２７が、入力されたデジタル画像信号（基準画像）と１フレーム前のデジタル画像信号（参照画像）を用いて動きベクトルを検出する動きベクトル検出手段の役割を担う。

そして、ＣＰＵ１５は、主被写体検出回路２６において検出された主被写体情報に基づき第１の主被写体、もしくは第１の主被写体と第２の主被写体を特定し、更にクラスタリング処理を行うことで、特定した第１また第２の主被写体の動きベクトルと背景の動きベクトルを分離する動き分離手段の役割を担う。

またＣＰＵ１５は、主被写体の検出や乗り移りが生じてからのカウント値に応じて算出した補正割合を算出し、その補正割合と検出された第１と第２の主被写体及び背景の動きベクトルとからブレ補正量を算出するブレ補正量算出手段の役割を担う。

なお、本実施形態においては、主被写体の急な出現や消失に対応するために、ブレ補正制御の移行中に主被写体の出現や消失が生じた場合は、移行処理を中断し、即座に新たなブレ補正制御の移行を開始するようにしてもよい。また、移行期間を数秒程度に設定している場合などは、移行の処理が終了するのを待って新たなブレ補正制御の移行を開始してもよい。これにより、必ず手振れのみを補正する制御を経由するので、より安定した映像が得られる。

またブレ補正機能が搭載された交換レンズが装着された場合は、撮像素子３上に交換レンズによって既にブレ補正された画像が結像される。この場合、本実施形態の像ブレ補正装置によって補正されるものは、被写体の動きに起因するものと、交換レンズによるブレ補正の補正残りに起因するものになる。

（第２の実施形態）
第２の実施形態の第１の実施形態に対する違いは、主被写体が検出されなくなった場合に、中央枠の被写体を追尾してブレ補正制御をせずに、切り出し領域の動きベクトルを検出して像ブレ補正制御を行う点である。

本実施形態におけるブレ補正処理も、図４に示す動作手順で行われる。しかし、ステップＳ４０３において設定される被写体の動きベクトルを検出する領域が中央枠ではなく画像変形切り出し回路２８を用いて切り出しされた領域（例えば図６の画像６０２ａ）である点と、ステップＳ４０７の処理が第１の実施形態と異なる。

第２の実施形態における、図４のステップＳ４０７に対応する動作手順について、図１２を用いて説明する。第１の実施形態と同じ処理は同じ符号を付して説明は省略する。

まず、ステップＳ１２０１において、既に主被写体が存在しない場合のブレ補正制御への移行が完了したか否かを調べる。これは主被写体が検出されず、かつ第１のブレ補正制御のためのカウンタ値（ＣｎｔＢ）が第１のブレ補正制御を変更する期間を示す所定値（ＴｒＣｎｔＣ）以上になっているかを調べることで行われる。既に主被写体が存在しない場合のブレ補正制御への移行が完了している場合はステップＳ１２０４進む。

主被写体が存在しない場合のブレ補正制御への移行中の場合は、ステップＳ１２０２へ進み、第１のブレ補正制御のためのカウンタ値（ＣｎｔＣ）が初期値（＝０）か否かを調べる。初期値なら、ステップＳ５１２へ進み、ステップＳ５１２～Ｓ５１４の処理を行い追尾枠１内の被写体の動きベクトルを検出する。

また、初期値でなければ、ステップＳ１２０３へ進み、第１のブレ補正制御のためのカウンタ値（ＣｎｔＣ）が所定値ＴｒＣｎｔＣ以下か、すなわちブレ補正制御の移行期間中かを調べる。所定値ＴｒＣｎｔＣ以下なら移行期間中と判断し、ステップＳ５１３へ進み、ステップＳ５１３、Ｓ５１４の処理を行い、追尾枠１内の動きベクトルを検出する。移行期間中ではないならば、移行期間が終了したと判断してステップＳ１２０４へ進む。

ステップＳ１２０４では、背景枠を設定する。これはステップＳ５１２で設定された追尾枠を除く領域であり、動きベクトル検出を行う際は適当な大きさの複数の領域に分割する。その後、ステップＳ５１６、Ｓ５１７の処理を行い、背景の動きベクトルを検出する。

ステップＳ１２０５では、ブレ補正制御対象の被写体領域の移行前の領域（第１の主被写体）である追尾枠１に対する補正割合α１と、背景に対する補正割合α２を計算する。

クラスタリングして求まった追尾枠１内の動きベクトルをＸｍｅａｎ１ｐ、Ｙｍｅａｎ１ｐ、背景枠内の動きベクトルをＸｍｅａｎＢｐ、ＹｍｅａｎＢｐとする。この場合、追尾枠１、背景枠の補正量の割合α１、α２を用いた水平方向、垂直方向の補正量Ｘｉｓ、Ｙｉｓは、以下のように表わされる。

Ｘｉｓ＝α１・Ｘｍｅａｎ１ｐ＋α２・ＸｍｅａｎＢｐ
Ｙｉｓ＝α１・Ｙｍｅａｎ１ｐ＋α２・ＹｍｅａｎＢｐ
そこで、ブレ補正を行う主被写体領域の移行の進捗に応じて、追尾枠１、背景枠の補正量の割合を求める場合は、以下の式を用いる。

α１＝（ＴｒＣｎｔＢ―ＣｎｔＢ）／ＴｒＣｎｔＢ
α２＝（１－α１）
ただし、α１、α２は、最大値１、最小値０の範囲の値を取るものとし、１を超えた場合はその値を１に、０未満の場合はその値を０にする。その後ステップＳ５０６～Ｓ５０８の処理を行い、ブレ補正画像を作成する。

以上説明したように、上記の実施形態では、第１の主被写体の動きを表す第１動きベクトルと、第２の主被写体（乗り移り被写体）の動きを表す第２動きベクトルと、背景の動きを表す第３動きベクトルを分離する。そして、ブレ補正の対象である主被写体を変更する段階では、第１の主被写体と背景の動きベクトルを用いてブレ補正量を算出した後、背景の動きベクトルを用いてのブレ補正量算出処理を経由した後、第２の主被写体と背景の動きベクトルを用いてブレ補正量を算出する。これにより、主被写体が変わること等で生じる急激な画角の変化や被写体振れの変化を防止して、構図の安定した動画撮影を行うことが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：撮像装置本体、２：レンズマウント、３：撮像素子、４：撮像回路、１３：振れ検出回路、１４：振れ検出センサ、１５：ＣＰＵ、２４：撮像素子移動制御回路、２６：主被写体検出回路、２７：動きベクトル検出回路、２８：画画像変形切り出し回路、３１交換レンズ、１００：撮像装置

Claims (15)

1. 主被写体を検出する被写体検出手段と、
   画面内の動きベクトルを検出する動きベクトル検出手段と、
   主被写体の動きベクトルと背景の動きベクトルを分離する分離手段と、
   画面内の被写体の像ブレを補正する補正量を算出する算出手段と、
   像ブレ補正の対象が、前記被写体検出手段により検出された第１の主被写体に設定されている状態のときに、前記被写体検出手段により新しい動体である第２の主被写体が検出された場合、前記算出手段が前記第１の主被写体の第１の動きベクトルに基づいて前記補正量を算出している状態から、前記背景の動きベクトルである第３の動きベクトルに基づいて前記補正量を算出する状態を経由して、前記第２の主被写体の第２の動きベクトルに基づいて前記補正量を算出する状態に移行するように制御する制御手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 前記制御手段は、前記算出手段が前記第１の動きベクトルに基づいて前記補正量を算出している状態から、前記第１の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態、前記第３の動きベクトルに基づいて前記補正量を算出する状態、前記第２の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態をそれぞれ経由して、前記第２の動きベクトルに基づいて前記補正量を算出する状態に移行するように制御することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記制御手段は、前記算出手段が前記第１の動きベクトルに基づいて前記補正量を算出している状態から、前記第１の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態に移行する場合、前記第１の動きベクトルに基づく前記補正量の割合を徐々に下げることを特徴とする請求項２に記載の像ブレ補正装置。
4. 前記制御手段は、前記算出手段が前記第２の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態から、前記第２の動きベクトルに基づいて前記補正量を算出する状態に移行する場合、前記第２の動きベクトルに基づく前記補正量の割合を徐々に上げることを特徴とする請求項２または３に記載の像ブレ補正装置。
5. 前記算出手段が前記第１の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態では、前記動きベクトル検出手段は、前記第１の動きベクトル、前記第２の動きベクトル、前記第３の動きベクトルをそれぞれ求めることを特徴とする請求項２乃至４のいずれか１項に記載の像ブレ補正装置。
6. 前記算出手段が前記第１の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態では、前記動きベクトル検出手段は、前記第１の動きベクトルを求めるための領域と前記第２の動きベクトルを求めるための領域とを除く領域について、前記第３の動きベクトルを検出することを特徴とする請求項５に記載の像ブレ補正装置。
7. 前記算出手段が前記第２の動きベクトルと前記第３の動きベクトルとに基づいて前記補正量を算出する状態では、前記動きベクトル検出手段は、少なくとも前記第２の動きベクトルと前記第３の動きベクトルをそれぞれ求めることを特徴とする請求項２乃至６のいずれか１項に記載の像ブレ補正装置。
8. 前記第２の主被写体は、前記第１の主被写体が像ブレ補正の対象に設定されている状態で新たに検出された被写体であることを特徴とする請求項１乃至７のいずれか１項に記載の像ブレ補正装置。
9. 前記被写体検出手段が、前記第１の主被写体及び前記第２の主被写体を検出できない場合は、前記算出手段は、画面の中央部分の主被写体の動きを表す第４の動きベクトルに基づいて、前記補正量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
10. 前記被写体検出手段が、前記第１の主被写体及び前記第２の主被写体を検出できない場合は、前記算出手段は、前記第３の動きベクトルに基づいて、前記補正量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
11. 前記被写体検出手段は、撮影者の指示に基づいて、主被写体を検出することを特徴とする請求項１乃至１０のいずれか１項に記載の像ブレ補正装置。
12. 前記補正量に基づいて、画像処理により被写体の像ブレを補正する補正手段をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の像ブレ補正装置。
13. 主被写体を検出する被写体検出工程と、
    画面内の動きベクトルを検出する動きベクトル検出工程と、
    主被写体の動きベクトルと背景の動きベクトルを分離する分離工程と、
    画面内の被写体の像ブレを補正する補正量を算出する算出工程と、
    像ブレ補正の対象が、前記被写体検出工程により検出された第１の主被写体に設定されている状態のときに、前記被写体検出工程により新しい動体である第２の主被写体が検出された場合、前記算出工程において、前記第１の主被写体の第１の動きベクトルに基づいて前記補正量を算出している状態から、前記背景の動きベクトルである第３の動きベクトルに基づいて前記補正量を算出する状態を経由して、前記第２の主被写体の第２の動きベクトルに基づいて前記補正量を算出する状態に移行するように制御する制御工程と、
    を有することを特徴とする像ブレ補正装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の像ブレ補正装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の像ブレ補正装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images