JP6823469B2 - 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置における画像のブレを補正する技術に関するものである。

撮像装置に加わる手振れ等を検出して、振れに起因する像ブレを補正する技術が知られている。像ブレを補正する技術として、検出した振れに応じてその振れを打ち消すように光学レンズを駆動し、像ブレを補正する光学式像ブレ補正がある。その他にも検出した振れに応じて、撮像素子で撮影した連続する画像の一部を切り出し、射影変換することによって像ブレを補正する電子式像ブレ補正がある。更に近年、検出した振れに応じて、振れを打ち消すように撮像素子を機械的に移動させ、像ブレを補正する撮像素子像ブレ補正がある。

また振れを検出する方式については、角速度センサーや加速度センサーで撮像装置自体の振れを検出する方式と、撮像素子で撮像された連続する画像間の動きベクトルから撮像装置の振れを予測計算する動きベクトル方式とがある。

一方、レンズの歪曲収差によって画像の周辺が歪むのと同様に、その画像から検出した動きベクトルも同様に歪みの影響を受けて精度が落ちることがわかっている。例えば、特許文献１には、歪曲の影響を受けないようにするために、複数の異なる画像補正を効率的に実現する技術が開示されている。

近年、交換レンズなどで特に超広角なレンズが採用されるようになり、上記のような歪み補正で補正できないパースペクティブ（遠近感）の大きさが動きベクトルの検出に与える影響が無視できない状況になってきている。そして、これが像ブレ補正の安定性や性能にも影響を与えることがわかっている。

特開２０１２−１０３７４１号公報

交換レンズ方式のカメラシステムでは、従来はなかったような超広角なレンズが取り付けられることが出てきた。また、レンズ固定式のカメラにおいても超広角なレンズが採用される場合もある。こうしたレンズにおいては入射してくる光線が結像する場所によって、パースペクティブが発生している。しかしながら、上述の特許文献１に開示された従来技術では、こうしたパースペクティブに起因する歪みは補正ができないため、動きベクトルの精度が低下してしまう。それに伴い像ブレ補正が安定しないという問題が発生する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、パースペクティブの大きいレンズを使用した場合でも、像ブレ補正の精度の低下を抑制することが可能な像ブレ補正装置を提供することである。

本発明に係わる像ブレ補正装置は、レンズの情報を取得する取得手段と、被写体像を撮像する撮像手段により撮像された複数枚の画像から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルと、撮像装置の振れを検出する振れ検出手段により検出された前記撮像装置の振れとに基づいて、画像のブレを補正するための像ブレ補正量を算出する算出手段と、を備え、前記算出手段は、前記取得手段により取得された前記レンズのパースペクティブに関する情報に基づいて、前記像ブレ補正量を算出するための、前記動きベクトルと前記撮像装置の振れの重み付けを変更し、前記レンズのパースペクティブに関する情報とは、前記レンズの焦点距離と撮像面の大きさから算出した画角を等間隔に分割した光軸に近い第１の角度と光軸から遠い第２の角度がそれぞれ撮像面に射影する第１の撮像距離と第２の撮像距離の比率もしくは、画素数の差によって算出される、パースペクティブ判定値を含むことを特徴とする。

本発明によれば、パースペクティブの大きいレンズを使用した場合でも、像ブレ補正の低下を抑制することが可能な像ブレ補正装置を提供することができる。

本発明の各実施形態に共通する撮像システムの構成を示すブロック図。 像ブレ補正を行う部分の第１の実施形態の構成を示す図。 パースペクティブ量の計算方法を説明するための図。 第１の実施形態における信号処理部分のブロック構成を示す図。 第１の実施形態における像ブレ補正処理の動作を示すフローチャート。 パースペクティブ判定用処理の動作を示すフローチャート。 動きベクトルの分散とパースペクティブ判定値を示す図。 第２の実施形態における重み付けヒストグラムを生成する動作を示すフローチャート。 撮像素子面と動きベクトルエリアとパースペクティブ量の関係を示す図。 重み付けによりパースペクティブの影響を排除する方法を説明する図。 第２の実施形態における信号処理部分のブロック構成を示す図。 第２の実施形態における信号処理部分のブロック構成を示す図。 重み付けヒストグラムを生成する動作を示すフローチャート。 撮像素子面とパースペクティブ量の関係を示す図。 動きベクトルの検出方向とパースペクティブ量の関係を示す図。

以下、本発明の各実施形態について、添付図面を参照して詳細に説明する。まず、各実施形態に共通する構成について説明する。

図１は、本発明の各実施形態に共通する撮像システム１００の構成を示すブロック図である。撮像システム１００は、主に静止画像と動画像の撮影を行うためのレンズ交換式のデジタルカメラである。ただし、本発明は、デジタルカメラに限定されず、各種の撮像システムに適用することができる。また、レンズ交換式に限らず、レンズ固定式のデジタルカメラ等にも適用可能である。

図１に示す撮像システム１００は、レンズ装置１５０とカメラ本体部１６０とを備えて構成され、レンズ装置１５０はカメラ本体部１６０に装着して使用される。レンズ装置１５０のズームユニット１０１は、変倍を行うズームレンズを含む。ズーム駆動制御部１０２は、ズームユニット１０１を駆動制御する。絞りユニット１０３は、絞りの機能を有する。絞り駆動制御部１０４は、絞りユニット１０３を駆動制御する。像ブレ補正ユニット１０５は、光軸と異なる方向に移動するシフトレンズ等の像ブレ補正レンズを備える。像ブレ補正ユニット１０５は第１の像ブレ補正手段であり、光学式像ブレ補正制御部１０６により駆動制御される。フォーカスユニット１０７は、焦点調節を行って被写体像を形成するフォーカスレンズを含む。フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動制御する。

レンズ操作部１０９は、ユーザがレンズ装置１５０の操作に使用する操作部である。レンズ振れ検出部１１０はレンズ装置１５０に加わる振れ量を検出し、検出信号をレンズシステム制御部１１１に出力する。レンズ装置１５０の全体を制御するレンズシステム制御部１１１はＣＰＵ（中央演算処理装置）を備え、レンズ装置１５０の各駆動制御部や補正制御部を統括制御する。レンズシステム制御部１１１は、レンズ通信制御部１１２を介して、カメラ本体部１６０のカメラシステム制御部１２４と通信する。

次に、カメラ本体部１６０について説明する。カメラ本体部１６０は、シャッタユニット１１３を備える。シャッタ駆動制御部１１４は、シャッタユニット１１３を駆動制御する。撮像部１１５は撮像素子を備え、各レンズ群を通過して結像される被写体像を光電変換して電気信号を出力する。撮像信号処理部１１６は、撮像部１１５から出力された電気信号を映像信号に変換処理する。映像信号処理部１１７は、撮像信号処理部１１６から出力された映像信号を用途に応じて加工する。例えば、映像信号処理部１１７は電子式像ブレ補正制御部１２３の補正量に応じて映像信号の切り出し位置を変更する。電子式像ブレ補正制御部１２３は、第２の像ブレ補正手段であり、画像の切り出しによって像ブレ補正の制御を行う。なお、第２の像ブレ補正については電子式像ブレ補正に限らず、例えば撮像素子の機械的な移動制御による像ブレ補正や、カメラ本体部内の可動光学素子の駆動制御による像ブレ補正でもよい。

表示部１１８は、映像信号処理部１１７から出力された信号に基づいて、必要に応じて画像表示を行う。記憶部１１９は、映像情報等の様々なデータを記憶する。電源部１２０は、カメラシステム全体に必要に応じて電源を供給する。カメラ操作部１２１は、ユーザがカメラシステムの操作に使用する操作部であり、操作信号をカメラシステム制御部１２４に出力する。カメラ振れ検出部１２２はカメラに加わる振れ量を検出し、検出信号をカメラシステム制御部１２４に出力する。カメラシステム制御部１２４はＣＰＵを備え、カメラシステム全体を統括制御する。カメラシステム制御部１２４は、カメラ通信制御部１２５を介してレンズ装置１５０のレンズ通信制御部１１２と通信する。つまり、レンズ装置１５０がカメラ本体部１６０に装着され、電気的に接続された状態において、レンズ通信制御部１１２とカメラ通信制御部１２５が相互通信を行う。

次に、上記構成を有する撮像システムの概略動作について説明する。レンズ操作部１０９、カメラ操作部１２１は、像ブレ補正のＯＮ／ＯＦＦを選択可能な像ブレ補正スイッチを含む。ユーザが像ブレ補正スイッチを操作して像ブレ補正をＯＮにすると、レンズシステム制御部１１１またはカメラシステム制御部１２４は、光学式像ブレ補正制御部１０６または電子式像ブレ補正制御部１２３に像ブレ補正動作を指示する。像ブレ補正のＯＦＦの指示がなされるまでの間、各像ブレ制御部は像ブレ補正の制御を行う。

また、カメラ操作部１２１は、像ブレ補正に関して、第１のモードと第２のモードを選択可能な像ブレ補正モードスイッチを含む。第１のモードは、光学式像ブレ補正（第１の像ブレ補正）のみで像ブレ補正を行うモードである。第２のモードは、光学式像ブレ補正と電子式像ブレ補正（第２の像ブレ補正）を併用して像ブレ補正を行うモードである。第１のモードが選択された場合、撮像部１１５の読み出し位置は一定となり、その分読み出し範囲を広げることで、より広角な撮影に対応できる。また、第２のモードが選択された場合、映像信号処理部１１７により映像信号の切り出し範囲が狭まる代わりに、切り出し位置を像ブレ補正量に応じて変更することで、より大きな像ブレに対応できる。

カメラ操作部１２１は、押し込み量に応じて第１スイッチＳＷ１および第２スイッチＳＷ２が順にオンするように構成されたシャッタレリーズボタンを含む。ユーザがシャッタレリーズボタンを約半分押し込んだときに第１スイッチＳＷ１がオンし、シャッタレリーズボタンを最後まで押し込んだときに第２スイッチＳＷ２がオンする。第１スイッチＳＷ１のオンにより、フォーカス駆動制御部１０８がフォーカスユニット１０７を駆動して焦点調節を行うとともに、絞り駆動制御部１０４が絞りユニット１０３を駆動して適正な露光量に設定する。第２スイッチＳＷ２のオンにより、撮像部１１５で被写体像を光電変換して得られた画像データが記憶部１１９に記憶される。

また、カメラ操作部１２１は動画記録スイッチを含む。カメラ本体部１６０は動画記録スイッチの押下後に動画撮影を開始し、ユーザが記録中に再度動画記録スイッチを押すと記録を終了する。動画撮影中にユーザがシャッタレリーズボタンを操作して、第１スイッチＳＷ１および第２スイッチＳＷ２がオンされると、動画記録中に静止画を取得して記録する処理が実行される。また、カメラ操作部１２１は、再生モードを選択可能な再生モード選択スイッチを含む。再生モード選択スイッチの操作により再生モードが選択された場合、カメラは像ブレ補正動作を停止する。

＜第１の実施形態＞
以下、図２を参照して、本発明の第１の実施形態である、パースペクティブ判定用情報に基づいて、動きベクトルを用いた像ブレ補正の適用度を変更する処理について説明する。ここで、パースペクティブ（遠近感）とは、レンズの焦点距離により、物体距離が短い被写体が大きく写り、物体距離が長くなるに従って小さく写る現象を意味する。なお、図２においては、図１における像ブレ補正に関係しない部分は、省略している。また、図１におけるズームユニット１０１、絞りユニット１０３、像ブレ補正ユニット１０５、フォーカスユニット１０７は、まとめて光学系レンズ２０１として表している。

光学系レンズ２０１は、ズーム駆動制御部１０２によって焦点距離を変更される。変更された焦点距離情報に基づくパースペクティブ判定値もしくは焦点距離情報をレンズ通信制御部１１２から、カメラ通信制御部１２５に送信する。カメラ通信制御部１２５が受け取ったパースペクティブ判定値もしくは焦点距離情報はパースペクティブ判定用処理部２１１に伝達される。それとは別に、光学系レンズ２０１を通過した光は撮像素子２０５に結像され、光電変換により得られたデジタル画像データは、画像処理エンジン２０６に送られる。画像処理エンジン２０６に送られたデジタル画像データは記録される本画像と、動きベクトル検出部２０８に送られる信号とに分岐される。動きベクトル検出部２０８に送り込まれた時間的に連続する２フレームのデジタル画像データ（複数枚の画像データ）に基づいて動きベクトルが検出される。検出された複数の動きベクトルからグローバルベクトル算出部２０９において１つのグローバルベクトルが算出される。算出されたグローバルベクトルは、フィードバック演算部２１０で像ブレ補正が可能な補正量に変換され、パースペクティブ判定用処理部２１１に伝達される。パースペクティブ判定用処理部２１１でパースペクティブが強いと判定された場合には、上記の動きベクトルによる像ブレ補正用の補正量は小さく変更される。

一方で、カメラ振れ検出部１２２で検出されたカメラの振れはＨＰＦ（ハイパスフィルタ）２１３、ＬＰＦ（ローパスフィルタ）２１４で振れ補正量に変換される。そして、この振れ補正量に変換された値が、パースペクティブ判定用処理部２１１を通過した動きベクトルによる像ブレ補正の補正量に足し合わされる。次に、足し合わされた補正量は、射影変換パラメータ生成部２１５に伝達され、射影変換パラメータに変換される。最後に画像処理エンジン２０６で分岐した動画の本画像に対して、射影変換部で射影変換パラメータを用いた射影変換が実行され、像ブレが補正される。

次に、図３を用いて、パースペクティブ量の計算方法について説明する。図３は、撮像装置で撮影可能な画角（θ１＋θ２＋θ３）と被写体位置Ｑと被写体が撮像面に結像した位置ｑの関係を示した図である。更に、図３では、パースペクティブ計算用の画角を等間隔に分割した角度（θ１〜θ２）とその角度に対応する撮像面上の画素数（ｙ１〜ｙ３）が示されている。これら数値を使ってパースペクティブを推定するための計算方法を以下に示す。まず、撮影可能画角を等間隔に分割したθ１、θ２、θ３に対応する撮像素子上の画素数ｙ１、ｙ２、ｙ３の関係を以下に示す。

ｙ１＝ｆ×tan（θ１） …（１）
ｙ２＝ｆ×tan（θ２） …（２）
ｙ３＝ｆ×tan（θ３） …（３）
次にこれらの値を用いてパースペクティブ量の像高間の比率Ｐ（１−２）、Ｐ（１−３）、Ｐ（２−３）と厳密なパースペクティブによる画素ズレ量の像高間での関係ＰＤ（１−２）、ＰＤ（１−３）、ＰＤ（２−３）を求める式を以下に示す。

Ｐ（１−２）＝ｙ１／ｙ２ …（４）
Ｐ（１−３）＝ｙ１／ｙ３ …（５）
Ｐ（２−３）＝ｙ２／ｙ３ …（６）
ＰＤ（１−２）＝｜ｙ１−ｙ２｜ …（７）
ＰＤ（１−３）＝｜ｙ１−ｙ３｜ …（８）
ＰＤ（２−３）＝｜ｙ２−ｙ３｜ …（９）
Ｐ（１−２）、Ｐ（１−３）、Ｐ（２−３）の値が１よりも離れるとパースペクティブ量が像高間で大きいと判断出来る。また、像高間の厳密な画素ズレ量もＰＤ（１−２）、ＰＤ（１−３）、ＰＤ（２−３）で計算し、その影響を判定できる。つまり事前にパースペクティブ量の影響を計算し、その量を像ブレ補正の制御やベクトルの重み付けに反映する。

次に、本実施形態における信号処理について、図４を参照して説明する。信号処理の流れとしては、カメラ本体部１６０のカメラ振れ検出部１２２の信号からカメラの振れ信号を検出する信号処理と、撮像素子２０５で撮像される画像から動きベクトル検出部２０８で動きベクトルを検出する処理とがある。更にレンズ装置１５０側からのパースペクティブ情報を受取るカメラ通信制御部１２５がある。ジャイロや加速度センサーなどからなるカメラ振れ検出部１２２から取得されたカメラ振れ情報は、ＨＰＦ２１３で低周波成分を除去されるとともに、ＬＰＦ２１４で高周波成分を除去されて積算される。そして、補正したい手振れ周波数帯のみが、像ブレ補正量に変換される。

これとは別に、撮像素子２０５によって撮像された連続するデジタル画像データから動きベクトル検出部２０８によって、画像の複数の分割領域のそれぞれで動きベクトル（局所動きベクトル）が検出される。検出された複数の動きベクトル（局所動きベクトル）とレンズ装置１５０から取得したパースペクティブ情報を用い、グローバルベクトル算出部２０９に含まれるパースペクティブ重み付け部４０８でパースペクティブ量に応じて動きベクトルに重み付けを行う。重み付けを行った動きベクトルでヒストグラムを生成する。生成した動きベクトルのヒストグラムからグローバルベクトル算出部２０９でピークを検出し、画像のグローバルベクトルを計算する。次にグローバルベクトルに対してフィードバック演算部２１０でフィルタ処理を施し、上記のカメラ振れ検出部１２２の信号に基づいて計算した像ブレ補正量に足し合わせる。足し合わされた像ブレ補正量はＰｉｘｅｌ変換部４１１で画素Ｐｉｘｅｌ値に変換され、端処理部４１２で端当たり処理が実行される。最後に像ブレ補正量は電子式像ブレ補正量設定部４１３に設定され、像ブレ補正が実行される。

図５は、本実施形態における像ブレ補正処理の動作を示すフローチャートである。像ブレ補正処理がスタートすると、Ｓ５０１において、カメラ振れ検出部１２２で検出された振れ量をフィルタリングし、カメラの振れ量を計算する。次に、Ｓ５０２において、レンズ装置１５０のパースペクティブに関する情報を取得する。次に、Ｓ５０３において、動きベクトル検出部２０８により撮像素子２０５によって撮像された連続する画像から複数の動きベクトルを検出する。次に、Ｓ５０４において、パースペクティブ重み付け部４０８により、パースペクティブ情報に応じて複数の動きベクトルに重み付けを行い、動きベクトルと検出数を軸とした動きベクトルヒストグラムを生成する。

次に、Ｓ５０５において、グローバルベクトル算出部２０９により、Ｓ５０４で生成した動きベクトルのヒストグラムのピークを探索し、探索したピークを画像のグローバルベクトルとして設定する。次に、Ｓ５０６において、フィードバック演算部２１０により、算出されたグローバルベクトルに対してフィルタリングを行い、動きベクトルによる像ブレ補正量を計算する。次に、Ｓ５０７において、パースペクティブ判定用処理部２０９により、パースペクティブ量に応じて、動きベクトルによる像ブレ補正量にゲインをかける。次に、Ｓ５０８において、カメラ振れ検出部１２２の信号から計算されたカメラの振れ量と動きベクトルによって計算された像ブレ補正量を合成する。次に、Ｓ５０９において、Ｐｉｘｅｌ変換部４１１により、合成された像ブレ補正量を撮像素子２０５のＰｉｘｅｌ値に変換する。次に、Ｓ５１０において、端処理部により、Ｐｉｘｅｌ変換された像ブレ補正量が補正可能な上限値にクロップされる。最後に、Ｓ５１１において、電子式像ブレ補正量設定部４１３により、クロップされた像ブレ補正量が電子像ブレ補正処理に対して設定され、電子式の像ブレ補正が実行される。そして、Ｓ５１２において像ブレ補正ＯＮと判定された場合、このフローの動作を繰り返し、動画において連続的に像ブレ補正が実行される。

次に、図６は、図５のＳ５０７におけるパースペクティブ判定用処理の動作を示すフローチャートである。パースペクティブ処理では、まず始めに、Ｓ６０１において、検出した複数の動きベクトルの分散θ（vec）を、以下の式（１０）、式（１１）を用いて算出する。

…（１０）

…（１１）
次に、動きベクトルの分散値θ（vec）に応じて、動きベクトルによる像ブレ補正の適用度を計算する。次に、Ｓ６０２において、フィードバック演算部２１０により、レンズ装置１５０から取得した情報からパースペクティブ量を推定した値に基づいて、動きベクトルによる像ブレ補正量の適用度を計算する。最後に、Ｓ６０３において、動きベクトルの分散値θ（vec）から計算した適用度と、パースペクティブ判定値に応じた適用度を掛け合わせることで動きベクトルによる像ブレ補正量の最終的な適用度合いが決定される。

図７は、図６で説明したパースペクティブによる像ブレ補正量の適用度と動きベクトルの分散値による像ブレ補正量の適用度の計算方法について説明する図である。通常、パースペクティブ量の変化の幅が小さいレンズの場合は、図７（ａ）に示すように、動きベクトル量と動きベクトル検出数を軸にした動きベクトルヒストグラムの分散は小さく、ピークのビン７０１もしっかりと出力される。これに対してパースペクティブ量の変化の幅が大きいレンズでは、図７（ｂ）に示すように、動きベクトルの分散の幅は広くなり、ピークのビン７０２も他のベクトルのビンと大差がなくなる。

この状態でカメラが振れると、被写体の存在する領域とパースペクティブ量の違う領域がずれることによって、図７（ｃ）のように正しいピークがある点線のビン７０３が、ハッチングで示したビン７０４に移動する現象が発生する。この現象は特にパースペクティブ量の大きな超広角側で顕著になり、像ブレ補正の安定性に影響する。具体的には、動きベクトルを光学式像ブレ補正にフィードバックするベクトルフィードバック、カメラ振れ検出部１２２のオフセット量の同定など、動きベクトルを用いた像ブレ補正性能に対して多大な悪影響を及ぼす。

そこで本実施形態では、図７（ｄ）に示すように、動きベクトルの平均値７０５とその平均値から分散値θ７０６を求める。その分散値θに応じて動きベクトルによる補正量の適用度（Ｇａｉｎ）を図７（ｅ）に示すように計算することで、パースペクティブの影響を制御する。また、図７（ｆ）ではレンズ装置１５０から取得した値から計算したパースペクティブ判定値に応じて動きベクトルによる補正量の適用度（Ｇａｉｎ）を計算することでパースペクティブの影響を制御する。この２つの適用度（Ｇａｉｎ）を掛け合わせることで精度良くパースペクティブの悪影響を分離し、像ブレ補正性能の安定性を向上させる。また、カメラ振れ検出部１２２のオフセット同定への悪影響を排除する。

本実施形態によれば、パースペクティブ量の大きなレンズを装着した状態においても、動きベクトルによる像ブレ補正の適用度をパースペクティブ量に応じて変更する。具体的には、パースペクティブ量が大きい場合は、動きベクトルによる像ブレ補正の適用度を低くする。これによってパースペクティブ量の大きなレンズが装着された状態においても、安定した像ブレ補正を行うことが可能になる。

＜第２の実施形態＞
以下、本発明の第２の実施形態におけるパースペクティブ重み付け処理について説明する。第２の実施形態では、図５のＳ５０４のパースペクティブ重み付けヒストグラム生成の動作が第１の実施形態と異なる。図８は、第２の実施形態におけるパースペクティブ重み付けヒストグラム生成動作を示す図である。

まず始めに、Ｓ８０１において、レンズ装置１５０から取得した値から計算したパースペクティブ量の大きさの違いによって、動きベクトル検出領域毎に重み付けを行う。そして、Ｓ８０２において、重み付けした動きベクトルを用いて、動きベクトルと動きベクトル検出数を軸にした動きベクトルヒストグラムを生成する。この処理によってパースペクティブ量の変化が大きな領域の動きベクトルの影響を軽減することが可能になる。

次に、図９は、パースペクティブ量の変化の大小関係と動きベクトルの配置とその重み付けについて説明する図である。レンズ装置１５０の光学系を通過した光が撮像素子２０５に結像した画像の領域のうち特に光学中心から周辺に向かうほどパースペクティブ量の変化量は大きくなる。パースペクティブ量の変化量が大きい領域９０１は実践で囲われた領域になり、パースペクティブ量の変化量が小さい領域９０２はハッチングされた楕円で示される領域になる。パースペクティブ量の変化量が大きな領域に配置されている動きベクトル検出枠９０３で検出される動きベクトルはパースペクティブ量の変化量の大きさから動きに対して不安定な動きベクトルを出力する。これに対して、パースペクティブ量の変化量が小さな領域に配置されている動きベクトル検出枠９０４は、動きに対して安定した動きベクトルを出力する。

ここで、図１０は、パースペクティブ量の変化量に応じた重み付けとその結果について説明する図である。図１０（ａ）では、パースペクティブ量の変化量に応じて、動きベクトルに対して重み付けを行っている。図１０（ａ）は、右軸にパースペクティブ量の変化量をとり、縦軸に重みであるαをとった入出力関数の形態を示している。αは最大１から０の間の連続値をとり、パースペクティブ量の変化量に応じて０から１の間で変化する。こうした重み付けを動きベクトルの検出数に反映することで、図１０（ｂ）のようにピークのビンである１００２に対して、パースペクティブ量の変化量が大きな領域で検出された点線で示すビン１００３が排除される。これにより、パースペクティブ量の変化量が大きな領域の不安定な動きベクトルの影響を少なくすることが可能になる。

本実施形態における効果は、動きベクトルによる像ブレ補正の安定性の向上だけでなく、図１１における動きベクトルのフィードバックや、図１２における振れ検出器のオフセットの同定に対しても有効であり、以下でそれぞれの構成について説明する。

まず、図１１における信号処理の流れとしては、カメラ本体部１６０のカメラ振れ検出部１２２の信号からカメラの振れ信号を検出する信号処理と、撮像素子２０５で撮像される画像から動きベクトル検出部２０８で動きベクトルを検出する処理とがある。更にレンズ装置１５０側からのパースペクティブ情報を受取るカメラ通信制御部１２５がある。また、光学的にシフトレンズを動作させて像ブレを補正するための光学式像ブレ補正制御部１０６がある。そして、レンズ通信制御部１１２を通じてカメラ側で検知した動きベクトルをフィードバックしてジャイロなどが苦手とする低周波な振れを補正する動きベクトルフィードバックがある。ジャイロや加速度センサーなどのカメラ振れ検出部１２２から取得されたカメラ振れ情報は、ＨＰＦ２１３で低周波成分を除去されるとともに、ＬＰＦ２１４で高周波成分を除去されて積算される。そして、補正したい手振れ周波数帯のみが、像ブレ補正量に変換される。

これとは別に、撮像素子２０５によって撮像された連続するデジタル画像データから動きベクトル検出部２０８によって、複数の動きベクトルが検出される。検出された複数の動きベクトルとレンズ装置１５０から取得したパースペクティブ情報を用い、グローバルベクトル算出部２０９に含まれるパースペクティブ重み付け部４０８でパースペクティブ量に応じて動きベクトルに重み付けを行う。重み付けを行った動きベクトルでヒストグラムを生成する。生成した動きベクトルのヒストグラムからグローバルベクトル算出部２０９でピークを検出し、画像のグローバルベクトルを計算する。このグローバルベクトルをカメラ本体部１６０からレンズ装置１５０側の光学式像ブレ補正制御部１０６に渡すことにより、光学式像ブレ補正に対して動きベクトルの得意とする低周波領域での像ブレ補正効果をもたせることが可能となる。次にグローバルベクトルに対してフィードバック演算部２１０でフィルタ処理を施し、上記のカメラ振れ検出部１２２の信号に基づいて計算した像ブレ補正量に足し合わせる。足し合わされた像ブレ補正量はＰｉｘｅｌ変換部４１１でＰｉｘｅｌ値に変換され、端処理部４１２で端当たり処理が実行される。最後に像ブレ補正量は電子式像ブレ補正量設定部４１３に設定され、像ブレ補正が実行される。この技術においても、パースペクティブ重み付け処理は有効に働き、光学式像ブレ補正の安定性向上に寄与する。

次に、図１２における信号処理の流れとしては、カメラ本体部１６０のカメラ振れ検出部１２２の信号からカメラの振れ信号を検出する信号処理と、撮像素子２０５で撮像される画像から動きベクトル検出部２０８で動きベクトルを検出する処理とがある。更にレンズ装置１５０側からのパースペクティブ情報を受取るカメラ通信制御部１２５がある。また、カメラ振れ検出部１２２の出力に乗ってしまうオフセットを推定するためにグローバル動きベクトルを時系列で比較し、カメラ振れ検出部１２２のオフセットを除去するオフセット同定処理部１５１４がある。

これとは別に、撮像素子２０５によって撮像された連続するデジタル画像データから動きベクトル検出部２０８によって、複数の動きベクトルが検出される。検出された複数の動きベクトルとレンズ装置１５０から取得したパースペクティブ情報を用いて、パースペクティブ重み付け部４０８でパースペクティブ量によって動きベクトルに重み付けを行う。重み付けを行った動きベクトルを用いてヒストグラムを生成する。生成した動きベクトルのヒストグラムからグローバルベクトル算出部２０９でピークを検出し、画像のグローバルベクトルを計算する。Ｇｙｒｏなどのカメラ振れ検出部１２２から取得されたカメラ振れ情報は、画像のグローバルベクトルと時系列で比較され、Ｇｙｒｏのオフセットを除去する。次にオフセットが除去されたカメラ振れ情報は、ＨＰＦ２１３で低周波が除去され、ＬＰＦ１５０３で高周波が除去されて積算され、補正したい手振れの周波数帯のみが補正可能な像ブレ補正量に変換される。次にグローバルベクトル対してフィードバック演算部２１０でフィルタ処理が行われ、上記の計算した像ブレ補正量に足し合わされる。足し合わされた像ブレ補正量はＰｉｘｅｌ変換部４１１で画素Ｐｉｘｅｌ値に変換され、端処理部４１２で端当たり処理が実行される。最後に像ブレ補正量は電子式像ブレ補正量設定部に設定され、像ブレ補正が実行される。

この技術でも、パースペクティブ重み付け処理は有効に働き、像ブレ補正の安定性向上に寄与する。

本実施形態によれば、パースペクティブ量の大きなレンズを装着した状態においても動きベクトルにパースペクティブ量に応じた重み付けを行う。具体的には、パースペクティブ量が大きい場合には動きベクトルの重みを小さくする。これによってパースペクティブ量の大きな領域で検出された動きベクトルの影響を小さくすることが可能になり、安定した像ブレ補正性能を達成することが可能になる。

＜第３の実施形態＞
以下、本発明の第３の実施形態におけるパースペクティブ重み付け処理について説明する。第３の実施形態では、図５のＳ５０４のパースペクティブ重み付けヒストグラム生成の動作が第１の実施形態と異なる。図１３は、第３の実施形態におけるパースペクティブ重み付けヒストグラム生成動作を示す図である。

まず初めに、動きベクトル検出枠内で検出した動きベクトルについて、レンズから取得したパースペクティブ量の変化量が移動前と移動後で大きく違う場合に、動きベクトル検出方向と位置とに基づいて重み付けを行う。重み付けした動きベクトルで動きベクトルと動きベクトル検出数を軸にした動きベクトルヒストグラムを生成する。この処理によって動きベクトル検出枠内でパースペクティブ量の変化が大きな領域間で出力された動きベクトルの不安定さの影響を軽減することが可能になる。

次に、図１４を参照して、動きベクトル検出枠内でのパースペクティブ量の変化の大小関係と動きベクトルの配置とその重み付けについて説明する。レンズ装置１５０の光学系を通過して撮像素子２０５に結像された画像の領域のうち、特に光学中心から周辺に向かうほどパースペクティブ量の変化量は大きくなる。パースペクティブ量の変化量が大きい領域１２０１は実践で囲われた領域になり、パースペクティブ量の変化量が小さい領域１２０２はハッチングされた楕円で示される領域になる。パースペクティブ量の変化量が大きな領域に配置されている動きベクトル検出枠１２０３で検出される動きベクトルは、移動前のパースペクティブ量と移動後のパースペクティブ量の差が大きな方向の動きベクトルに対して不安定な動きベクトルを出力する。

そこで、図１５を用いて検出枠内でのパースペクティブ量の変化量に応じた重み付けとその結果について説明する。

図１５（ａ）を用いてパースペクティブの重み付けの方向に関して説明する。まず、パースペクティブ量は、光軸１３０１を中心に同心円上１３０２から１３０３と増加していく。そのため光軸から放射状に伸びる線１３０４の方向で検出される動きベクトル１３０７のパースペクティブ変化量が大きくなる。これに対して同心円の接線の方向１３０６で検出される動きベクトル１３０８のパースペクティブ変化量は小さい。パースペクティブの変化量としては、検出される動きベクトルを光軸中心から放射線状に伸びる線に射影した長さと位置（撮像距離）として計算可能である。ここで計算したパースペクティブ変化量は次の図１５（ｂ）の入力として使用できる。図１５（ｂ）では、検出枠内の移動前と移動後の領域のパースペクティブ量の変化量に応じて、動きベクトルに対して重み付けを行う。図１５（ｂ）は、右軸に検出枠内の移動前後のパースペクティブ量の変化量をとり、縦軸に重みであるαをとった入出力関数の形態をとっている。αは最大１から０の間の連続値をとり、パースペクティブ量の変化量に応じて０から１の間で変化する。検出枠内部の移動前後でパースペクティブ量の変化が大きい動きベクトルは重みであるαを０にすることで図１５（ｃ）のようにピークのビンである１３１０に対して、検出枠内での移動前後でのパースペクティブ量の変化量が大きな領域で検出された点線で示すビン１３１０が排除される。これにより、ピークのビンが隣のハッチングで示すビン１３１１に移動することを防ぐことが可能となり、不安定な動きベクトルの影響を少なくすることが可能になる。

本実施形態によれば、パースペクティブ量の大きなレンズを装着した状態においても動きベクトルにパースペクティブ量の変化量に応じた重み付けを行う。これによってパースペクティブ量の違う領域で検出された代表点（特徴点）による動きベクトルの影響を排除することが可能になり、安定した像ブレ補正性能を達成することが可能になる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像システム、１０１：ズームユニット、１０３：絞りユニット、１０５：像ブレ補正ユニット、１０７：フォーカスユニット、１１１：レンズシステム制御部、１１３：シャッタユニット、１２４：カメラシステム制御部、１５０：レンズ装置、１６０：カメラ本体部

Claims (13)

1. レンズの情報を取得する取得手段と、
   被写体像を撮像する撮像手段により撮像された複数枚の画像から動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段により検出された動きベクトルと、撮像装置の振れを検出する振れ検出手段により検出された前記撮像装置の振れとに基づいて、画像のブレを補正するための像ブレ補正量を算出する算出手段と、を備え、
   前記算出手段は、前記取得手段により取得された前記レンズのパースペクティブに関する情報に基づいて、前記像ブレ補正量を算出するための、前記動きベクトルと前記撮像装置の振れの重み付けを変更し、
   前記レンズのパースペクティブに関する情報とは、前記レンズの焦点距離と撮像面の大きさから算出した画角を等間隔に分割した光軸に近い第１の角度と光軸から遠い第２の角度がそれぞれ撮像面に射影する第１の撮像距離と第２の撮像距離の比率もしくは、画素数の差によって算出される、パースペクティブ判定値を含むことを特徴とする像ブレ補正装置。
2. 前記算出手段は、前記レンズのパースペクティブの変化が大きい場合に、前記動きベクトルの重みを小さくして、前記像ブレ補正量を算出することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記動きベクトル検出手段は、前記撮像手段により撮像された画像を複数の領域に分割し、それぞれの分割領域で得られた局所動きベクトルを用いて、前記動きベクトルとしての１つのグローバルベクトルを算出することを特徴とする請求項１又は２に記載の像ブレ補正装置。
4. 前記動きベクトル検出手段は、前記分割領域のそれぞれで得られた局所動きベクトルに、前記レンズのパースペクティブに応じた重み付けをして、前記グローバルベクトルを算出することを特徴とする請求項３に記載の像ブレ補正装置。
5. 前記動きベクトル検出手段は、前記分割領域のそれぞれで得られた局所動きベクトルに、前記レンズのパースペクティブに応じた重み付けをした上で、前記複数の分割領域で求められた局所動きベクトルのヒストグラムを生成し、該ヒストグラムに基づいて前記グローバルベクトルを算出することを特徴とする請求項４に記載の像ブレ補正装置。
6. 前記算出手段は、前記ヒストグラムにおける動きベクトルの分散の値に応じて前記動きベクトルの重み付けを変更することを特徴とする請求項５に記載の像ブレ補正装置。
7. 前記動きベクトル検出手段は、画像の周辺の分割領域で得られた局所動きベクトルの重みを画像の中心に近い分割領域で得られた局所動きベクトルの重みよりも小さくして、前記グローバルベクトルを算出することを特徴とする請求項３に記載の像ブレ補正装置。
8. 前記算出手段は、光軸中心から放射線状に伸びた線に射影した局所動きベクトルの大きさに基づいて、前記局所動きベクトルの重み付けを行うことを特徴とする請求項３に記載の像ブレ補正装置。
9. 前記算出手段により算出された像ブレ補正量に基づいて像ブレを補正する像ブレ補正手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
10. 請求項１乃至９のいずれか１項に記載の像ブレ補正装置と、
    前記撮像手段と、
    を備えることを特徴とする撮像装置。
11. レンズの情報を取得する取得工程と、
    被写体像を撮像する撮像手段により撮像された複数枚の画像から動きベクトルを検出する動きベクトル検出工程と、
    前記動きベクトル検出工程において検出された動きベクトルと、撮像装置の振れを検出する振れ検出手段により検出された前記撮像装置の振れとに基づいて、画像のブレを補正するための像ブレ補正量を算出する算出工程と、を有し、
    前記算出工程では、前記取得工程において取得された前記レンズのパースペクティブに関する情報に基づいて、前記像ブレ補正量を算出するための、前記動きベクトルと前記撮像装置の振れの重み付けを変更し、
    前記レンズのパースペクティブに関する情報とは、前記レンズの焦点距離と撮像面の大きさから算出した画角を等間隔に分割した光軸に近い第１の角度と光軸から遠い第２の角度がそれぞれ撮像面に射影する第１の撮像距離と第２の撮像距離の比率もしくは、画素数の差によって算出される、パースペクティブ判定値を含むことを特徴とする像ブレ補正装置の制御方法。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images