JP7132844B2 - 像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法 - Google Patents

Description

本発明は、像振れ補正装置に関し、特に、撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子から画像データを読み出す出力範囲を変更する像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法に関する。

近年、撮像装置の振れ量を検出し、検出された振れ量に基づいて、固体撮像素子から読み出す画像データの出力範囲をずらすことにより、撮影される動画の像振れを補正する像振れ補正機能を備えた動画撮影用のカメラが広く普及している。特開２０１７－２０８９２５号公報（特許文献１）には、デジタルカメラの電子的手振れ補正方法及び電子的手振れ補正機能付デジタルカメラが記載されている。この電子的手振れ補正方法においては、部分画像データ毎の動きベクトルを取り込み、画像データ全体の動きベクトルを算出する。次に、この画像データ全体の動きベクトルの方向に、固体撮像素子から読み出す画像データの出力範囲をずらすことにより、出力された画像データによって形成される画像の振れを補正している。

撮像装置に振れが生じた場合、撮像素子の撮像面上に形成される像が振れるため、この振れ量だけ撮像素子から読み出す画像データの出力範囲をずらすことにより、像の振れを補正することができる。即ち、撮像素子から読み出す画像データの出力範囲をずらすことにより、動画を構成する各画像のなかで、同一の被写体をほぼ同一の位置に位置させることができ、手振れ等による画像の振れを抑制することができる。また、特許文献１記載の電子的手振れ補正機能付デジタルカメラにおいては、撮影された最新の画像と、１フレーム前に撮影された画像に基づいて、画像データ全体の動きベクトルを算出し、この動きベクトルに基づいて読み出す画像データの出力範囲をずらしている。

特開２０１７－２０８９２５号公報

しかしながら、例えば、撮像光学系の射影方式が、一般的な光学系で使用されている中心射影方式である場合、撮像装置の振れによって生じる撮像面上の像の振れ量は、撮像面上の位置によって異なるものとなる。このため、例えば、撮像面の中心部において生じる像の振れを補正すべく、撮像素子から読み出す画像データの出力範囲をずらしたとしても、撮像面の周辺部においては像の振れ量が異なるため、撮像面の中心部における振れは補正されても、周辺部においては像振れが残ってしまうという問題がある。この問題は、振れ補正機能の性能の向上に伴い、近年、焦点距離の短い撮像光学系にも振れ補正機能が搭載されるようになったことにより、顕著になっている。

また、特許文献１等に記載されている像振れ補正方法では、画角内のピントが合っている部分においては像の揺れが抑制されているものの、その周辺部ではゆらゆらと像が歪む所謂「コンニャク現象」が発生し、見苦しい動画となる場合がある。これは、特に、広角レンズで撮影が行われた場合に、像振れを補正するために必要な補正量が画角内で大きく異なり、像振れが補正された点からの距離によって、補正後の像振れの残り量が変化してしまうことに起因する。この「コンニャク現象」は、一般に、撮像装置のＣＭＯＳセンサにおける画像情報の読み出しの時間差に起因する、所謂「ローリングシャッター歪み」によるものであると理解されている。しかしながら、所謂「コンニャク現象」の原因は、「ローリングシャッター歪み」によるものばかりでなく、像振れ補正によるものも含まれていることが本件発明者により見出され、本発明により「コンニャク現象」の発生を抑制することに成功している。

従って、本発明は、画角内における像振れの差異が目立たないように振れ補正機能を動作させることができる像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法を提供することを目的としている。

上述した課題を解決するために、本発明は、撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正装置であって、撮像装置の振れ量を検出する振れ量検出手段と、この振れ量検出手段によって検出された振れ量に基づいて、撮像素子によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定部と、この出力範囲設定部によって決定された出力範囲の画像データを出力する画像データ出力部と、を有し、出力範囲設定部は、撮像素子によって撮影された画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲を決定することを特徴としている。

このように構成された本発明によれば、撮像素子によって撮影された画像の各点における像の振れ量が全体的に抑制されるように、画像データの出力範囲を決定するので、画角内における像振れの差異が目立たず、像振れの少ない印象を与える画像を形成することができる。

また、本発明は、撮像装置であって、レンズ鏡筒と、撮像装置本体と、この撮像装置本体の内部に配置された、撮像面を有する撮像素子と、この撮像素子によって取得された画像データのうちの出力範囲を変更する本発明の像振れ補正装置と、を有することを特徴としている。

さらに、本発明は、撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正方法であって、撮像装置の振れ量を検出する検出ステップと、検出された振れ量に基づいて、撮像素子によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定ステップと、この出力範囲設定ステップによって決定された出力範囲の画像データを出力する画像データ出力ステップと、を有し、出力範囲設定ステップにおいては、撮像素子によって撮影された画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲が決定されることを特徴としている。

本発明の像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法によれば、画角内における像振れの差異が目立たないように振れ補正機能を動作させることができる。

本発明の第１実施形態によるビデオカメラの断面図である。 本発明の第１実施形態による像振れ補正方法を示すフローチャートである。 本発明の第１実施形態による像振れ補正装置において、撮像素子によって取得された画像データの出力範囲の変更を説明する図である。 カメラが或る角度振れた際に、撮像面上の各点において発生する振れ量を計算した一例を示す図である。 像の移動量に対する振れ残り量の絶対値の平均値を示すグラフである。 像の移動量に対する振れ残り量の平均値の絶対値を示すグラフである。 像の移動量に対する振れ残り量の値が許容振れ量以下である点の数を示すグラフである。 本発明の第２実施形態による像振れ補正装置において、動きベクトルの計算を説明するための図である。

添付図面を参照して、本発明の実施形態を説明する。まず、図１乃至図６を参照して、本発明の第１実施形態によるカメラを説明する。図１は本発明の第１実施形態によるビデオカメラの断面図である。

＜ビデオカメラの構成＞
図１に示すように、本発明の第１実施形態の撮像装置であるビデオカメラ１は、レンズ鏡筒２と、撮像装置本体であるカメラ本体４と、を有する。また、レンズ鏡筒２の内部には、複数の撮影用レンズ６が配置されている。さらに、カメラ本体４は、撮影用レンズ６によって合焦された光により像が形成される撮像素子８と、ビデオカメラ１の振れ量を検出する振れ角度センサであるジャイロセンサ１０と、撮像素子８によって取得された画像データを読み出す画像処理部１２と、を有する。

本発明の第１実施形態のビデオカメラ１は、ジャイロセンサ１０によってビデオカメラ１の振れ量（振れ角度）を検出し、検出された振れ角度に基づいて取得された画像データのうちの出力範囲を変更することにより、撮影される動画を安定化させている。

レンズ鏡筒２は、カメラ本体４に取り付けられ、入射した光を撮像素子８表面の撮像面８ａ上に結像させるように構成されている。レンズ鏡筒２は、内部に複数の撮影用レンズ６を保持しており、一部の撮影用レンズ６を光軸Ａ方向に移動させることによりピント調整を可能としている。また、撮影用レンズ６のうちの一部は、画角調整用のレンズとして設けられ、カメラ本体４に設けられた画角調整レバー４ａを操作することにより、レンズ鏡筒２の焦点距離を変化させることができるように構成されている。レンズ鏡筒２に備えられた、これらの撮影用レンズ６は、撮像装置の撮像光学系を構成する。

ジャイロセンサ１０はカメラ本体４内に設けられ、ビデオカメラ１のヨー方向及びピッチ方向の振れ角速度を検出するように構成されている。なお、本実施形態においては、ジャイロセンサ１０として、圧電振動ジャイロセンサが使用されているが、振れ角度センサとして、振れ角加速度や、振れ加速度を測定する任意のセンサを使用することもできる。このように、ジャイロセンサ１０は、ビデオカメラ１の振れ量を検出する振れ量検出手段として機能する。

画像処理部１２は、マイクロプロセッサ、インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等により構成された画像処理用の回路である。この画像処理部１２は、カメラ本体４に内蔵された撮像素子８からＲＡＷ画像データを読み出し、このＲＡＷ画像データを処理して、動画を構成する各フレーム画像の画像データを順次出力するように構成されている。画像処理部１２から出力された画像データは、カメラ本体４に内蔵された記録装置である半導体メモリ１４（半導体ディスク装置）に記録される。

画像処理部１２は、具体的には、出力範囲設定部１２ａと、画像データ出力部１２ｂとして機能する。出力範囲設定部１２ａは、ジャイロセンサ１０の検出信号に基づいて、撮像素子８によって撮影される画像の像振れが抑制されるように、撮像素子８によって取得された画像データのうちの出力範囲を決定するように構成されている。画像データ出力部１２ｂは、出力範囲設定部１２ａによって決定された出力範囲の画像データを出力し、半導体メモリ１４に記録するように構成されている。

また、画像処理部１２は、複数の補正モードを実行可能に構成されており、ユーザは、カメラ本体４に設けられた補正モード選択スイッチ４ｂを操作することにより、複数の補正モードの中から所望の補正モードを選択することができる。或いは、補正モードを選択するための画面を補正モード選択スイッチ４ｂとしてカメラ本体４のディスプレイ（図示せず）に表示して、所望の補正モードを選択するユーザ操作を受け付ける構成を採用することもできる。なお、ここでは補正モード選択スイッチ４ｂがカメラ本体４に設けられている構成を例に説明するが、本発明はこれに限定されるものではなく、レンズ鏡筒２等に設けられていても良い。

このように、本実施形態においては、カメラ本体４に内蔵されているジャイロセンサ１０、及び画像処理部１２に内蔵されている出力範囲設定部１２ａ及び画像データ出力部１２ｂが、ビデオカメラ１によって撮影される画像の像振れを抑制する像振れ補正装置として機能する。

＜像振れ補正装置の作用・像振れ補正方法＞
次に、図２及び図３を参照して、本発明の第１実施形態による像振れ補正装置の作用、及び像振れ補正方法を説明する。
図２は、本発明の第１実施形態による像振れ補正方法を示すフローチャートであり、このフローチャートによる処理は、カメラ本体４に内蔵された画像処理部１２において、所定の時間間隔で繰り返し実行される。図３は、撮像素子によって取得された画像データの出力範囲の変更を説明する図である。

まず、図２のステップＳ１においては、カメラ本体４に設けられた補正モード選択スイッチ４ｂによる、像振れ補正モード（補正モード）の設定状態が、画像処理部１２によって取得される。本実施形態においては、補正モード選択スイッチ４ｂの設定により、像振れ補正装置による像振れ補正の実行、非実行を切り替えることができる他、撮影状況や、ユーザの好みに応じて３種類の像振れ補正モードを切り替えることができる。しかしながら、像振れ補正モードは、少なくとも１種類備えられていれば良く、また、補正の実行、非実行や、実行する像振れ補正モードの種類が自動的に切り替えられるように本発明を構成することもできる。各補正モードの詳細については後述する。

次に、ステップＳ２においては、画像処理部１２によって、補正モード選択スイッチ４ｂにおいて像振れ補正の実行が選択されているか否かが判断されることで、補正がＯＦＦであるか否かが判断される。即ち、画像処理部１２は、補正モード選択スイッチ４ｂにより、３種類の像振れ補正モードのうちの何れかが選択されている場合には（ステップＳ２においてＮＯ）ステップＳ３に進み、像振れ補正が非実行（ＯＦＦ）に設定されている場合には（ステップＳ２においてＹＥＳ）、図２に示すフローチャートの１回の処理を終了する。

次いで、ステップＳ３においては、検出ステップとして、ジャイロセンサ１０によって検出されたビデオカメラ１の振れ角速度［ｄｅｇ／ｓｅｃ］、及び画角調整レバー４ａによって設定されている画角（撮像光学系の焦点距離［ｍｍ］）の値が画像処理部１２によって読み込まれる。即ち、カメラ本体４に内蔵されたジャイロセンサ１０は、ビデオカメラ１のヨー方向及びピッチ方向の振れ角速度を検出し、これらの検出信号が画像処理部１２によって取得される。さらに、取得された各振れ角速度は時間で積分され、ヨー方向の振れ角度［ｄｅｇ］及びピッチ方向の振れ角度［ｄｅｇ］が夫々計算される。なお、ヨー方向の振れ角度とは、撮像面を通る鉛直軸線を中心とする回転角度を意味し、ピッチ方向の振れ角度とは、撮像面を通る水平軸線を中心とする回転角度を意味している。

また、画角調整レバー４ａによる画角の設定位置も、画像処理部１２によって取得される。さらに、画像処理部１２に入力された画角の設定位置に基づいて、画像処理部１２のマイクロプロセッサ（図示せず）により撮像光学系の焦点距離ｆが算出される。

次に、ステップＳ４においては、レンズ鏡筒２の撮像光学系によって撮像素子８の撮像面８ａ上に形成される像の振れを抑制するために必要な、画像データの出力範囲が計算される。
ここで、ビデオカメラ１が、撮像面の中心からψ［ｄｅｇ］の方向に、Δθ［ｄｅｇ］振れた場合において、撮像素子８の撮像面８ａ上に形成される像の、撮像面の中心点における鉛直方向の振れは、
Δｈｖ＝ｆtanΔθ・sinψ ［ｍｍ］ （１）
と計算され、撮像面の中心点における水平方向の振れは、
Δｈｈ＝ｆtanΔθ・cosψ ［ｍｍ］ （２）
と計算される。なお、ｆ［ｍｍ］は３５ｍｍ換算焦点距離である。

例えば、３５ｍｍ換算焦点距離ｆ＝２４［ｍｍ］の状態で、ビデオカメラ１が中心からψ＝３０［ｄｅｇ］の方向に、Δθ＝１［ｄｅｇ］振れた場合において、撮像面の中心点（光軸Ａが通る点）における鉛直方向の像の振れは０．２１０［ｍｍ］、水平方向の像の振れは０．３６３［ｍｍ］と計算される。

即ち、ビデオカメラ１が振れていない状態において、撮像素子８の撮像面８ａ上に図３に破線で示す画像Ｖ１が形成される場合には、ビデオカメラ１が振れることにより、撮像面８ａ上に形成される画像は、図３に一点鎖線で示す画像Ｖ２に移動される。上記のように、ビデオカメラ１が中心からψ＝３０［ｄｅｇ］の方向に、Δθ＝１［ｄｅｇ］振れた場合には、画像Ｖ１は、上方にΔｙ＝０．２１０［ｍｍ］移動され、右方向にΔｘ＝０．３６３［ｍｍ］移動されて、撮像面８ａ上の画像Ｖ２の位置にずれる。

従って、撮像素子８によって取得された画像データのうちの出力範囲を、画像Ｖ１から画像Ｖ２に変更することにより、撮影される画像の像振れを抑制することができる。具体的には、上記のようにビデオカメラ１が振れた場合には、撮影画像として出力する画像データを、画像Ｖ１の範囲に対応する画素から、画像Ｖ２の範囲に対応する画素に変更する。これにより、動画を構成する各フレームの画像のなかで、同一の被写体をほぼ同一の位置に位置させることができ、手振れ等による画像の振れを抑制することができる。即ち、上記の数式（１）及び（２）を使用して、撮像面の中心点における像の振れを打ち消すために必要な鉛直方向及び水平方向の、出力範囲の基準移動量［ｍｍ］を夫々計算することができる。

次に、ステップＳ５においては、画像処理部１２の出力範囲設定部１２ａにより補正モード選択スイッチ４ｂにおいて選択（設定）された補正モードに応じた補正係数が算出される。上記のように、ビデオカメラ１が所定方向に所定角度振れた場合において、画像データの出力範囲を、上記数式（１）及び（２）によって計算される基準移動量だけ移動させることにより、撮像面の中心点における像の振れを打ち消すことができる。

しかしながら、レンズ鏡筒２の撮像光学系が、一般的な撮像光学系において採用されている中心射影方式である場合には、ビデオカメラ１が所定角度振れた際に発生する振れ量が、撮像面８ａ上の各部において異なる値となる。従って、計算された基準移動量だけ像が移動するように画像データの出力範囲を移動させた場合には、撮像面の中心点における像の振れを十分に抑制できたとしても、撮像面の中心点以外の点においては像の振れが残り、画像全体としては振れがあるという印象を与えてしまう場合がある。

ここで、撮像面上の各点において発生する振れ量Δｈｄは下式により計算することができる。
Δｈｄ＝ｆ×（tan（β＋Δθ）－tanβ） （３）
ただし、β＝α×ｄ、
α＝tan^-1(Ｄ／（２×ｆ）)
上式において、ｆは焦点距離［ｍｍ］、Δθはビデオカメラ１の振れ角度［ｄｅｇ］、Ｄはセンササイズ（撮像素子８の撮像面の一辺の長さ）［ｍｍ］、ｄは、中心点から振れ量Δｈｄを計算する点までの距離を（Ｄ／２）で除した値である。このような、撮像面上の各部における振れ量の相違は、焦点距離ｆの短い広角の（画角が大きい）撮像光学系において特に顕著となる。

図４は、ビデオカメラ１が所定方向に或る角度Δθ［ｄｅｇ］振れた際に、撮像面上の各点において発生する振れ量Δｈｄ［ｍｍ］を数式（３）により計算した一例を示す図である。図４において、分割位置「０」は、撮像面の中心点（光軸Ａが通る点、即ちｄ＝０となる点）における垂直（鉛直）方向及び水平方向の像の振れ量を示している。図４に示す例においては、撮像面の中心点において垂直方向に０．１２５７［ｍｍ］、水平方向に０．１２５７［ｍｍ］の像の振れが発生している。

一方、図４における分割位置「１」は、撮像面８ａの上端の点（ｄ＝１となる点、ただしＤを撮像面の高さとする）、及び右端の点（ｄ＝１となる点、ただしＤを撮像面の幅とする）における像の振れ量を示している。即ち、図４に示す例においては、撮像面８ａの上端の点において垂直方向（鉛直方向）に０．１５７５［ｍｍ］、撮像面８ａの右端の点において水平方向に０．１９７１［ｍｍ］の像の振れが夫々発生している。さらに、図４における分割位置「０．１」～「０．９」は、撮像面８ａの中心から上端まで、及び中心から右端までを１０分割した各点（夫々ｄ＝０．１～０．９となる点）における垂直方向、水平方向の振れ量を夫々示している。また、撮像面８ａ上の各点において発生する振れ量は、水平の中心軸線、垂直の中心軸線に対して夫々上下左右が対称になる。従って、撮像面８ａの上端の点における振れ量と撮像面８ａの下端の点における振れ量は等しくなり、撮像面８ａの右端の点における振れ量と撮像面８ａの左端の点における振れ量は等しくなる。

図４に示すように、ビデオカメラ１が或る方向に或る角度振れた際に、撮像面８ａ上の各点において発生する振れ量は異なる値となる。従来の振れ補正装置においては、例えば、撮像面８ａの中心点において発生する振れが打ち消されるように、画像データの出力範囲（図４の例では、垂直方向、水平方向とも０．１２５７［ｍｍ］）だけ移動させていた。このように振れ補正装置を作動させることにより、撮像面の中心点における振れ量をほぼゼロにすることが可能になる。

しかしながら、上記のように、撮像面上で発生する像の振れ量は、各点において異なるため、基準移動量の補正を行ったとしても撮像面の中心点以外の点では像振れが残存してしまう。図４に示す例では、撮像面の上端又は下端の点においては、垂直（鉛直）方向に０．１５７５－０．１２５７＝０．０３１８［ｍｍ］の像振れが残り、撮像面の右端又は左端の点においては、水平方向に０．１９７１－０．１２５７＝０．０７１４［ｍｍ］の像振れが残ることになる。また、撮像面の中心と上端の中間点（分割位置＝０．５、ｄ＝０．５となる点）においては、垂直（鉛直）方向に０．１３３７－０．１２５７＝０．０００８［ｍｍ］の像振れが残り、撮像面の中心と右端の中間点においては、水平方向に０．１４３６－０．１２５７＝０．０１７９［ｍｍ］の像振れが残ることとなる。

このように、従来の振れ補正装置においては、中心点等の撮像面上の特定の点の像振れが打ち消されるように、画像データの出力範囲の移動量が決定されていた。このため、従来の振れ補正装置では、基準とした特定の点以外では大きな振れが残存し、画像全体として像振れの大きい画像という印象を与えてしまう場合がある。これに対して、本発明の第１実施形態による像振れ補正装置においては、撮像素子８の撮像面８ａ上の各点における像の振れ量が、撮像面８ａにおいて全体的に抑制されるように、出力範囲設定部１２ａにより移動量が算出される。即ち、本実施形態の像振れ補正装置においては、撮像面８ａ上の所定の複数の点における平均的な像の振れ量が抑制されるように、出力範囲が決定される。

本実施形態の像振れ補正装置は、「振れ量最小モード」、「中央値最小モード」及び「許容振れ量域最大モード」の３種類の補正モードを備えている。これら３つの補正モードにおいては、夫々異なる計算アルゴリズムを使用して、画像データの出力範囲を移動させるべき量が計算される。これら何れの計算アルゴリズムを使用して移動量を計算した場合においても、撮像面上の複数の点における平均的な像の振れ量が抑制され、撮像面上の各点における像の振れ量が、撮像面において全体的に抑制される結果となる。

ステップＳ５においては、補正モード選択スイッチ４ｂによって選択された補正モードに応じた計算アルゴリズムにより、補正モードに対応した出力範囲の移動量に基づいて、補正係数が垂直方向、水平方向について夫々算出される。各補正モードにおいて、補正係数を算出する具体的な計算アルゴリズムについては、後述する。

次に、ステップＳ６においては、基準移動量に、ステップＳ５において計算された補正係数を乗じることにより、実際の出力範囲の移動量が算出される。即ち、撮像素子８の撮像面８ａ上に形成される像の基準移動量に、ステップＳ５において計算された補正係数を乗じることにより、最終的な移動量が算出され、出力範囲が決定される。以上のステップＳ４乃至Ｓ６における処理は、ジャイロセンサ１０によって検出された振れ量に基づいて、撮像素子８によって撮影される画像の像振れが抑制されるように、撮像素子８によって取得された画像データのうちの出力範囲を決定する出力範囲設定ステップに相当する。

次いで、ステップＳ７においては、画像データ出力ステップとして、ステップＳ６において決定された出力範囲に対応した画像データが、画像データ出力部１２ｂによって半導体メモリ１４へ出力される。画像データの出力範囲の移動量が、出力範囲の基準移動量に対して補正されることにより、画像の各点における像の振れ量が全体的に抑制される。

次に、図２に示すフローチャートのステップＳ５における補正係数の算出を具体的に説明する。

＜振れ量最小モード＞
まず、図５を新たに参照して、「振れ量最小モード」における補正係数の算出を説明する。補正モード選択スイッチ４ｂにより、「振れ量最小モード」が選択されている場合には、各方向の振れ残り量の絶対値を平均した値が最小になるように像の移動量が決定され、これに基づいて補正係数が算出される。ここで、「振れ残り量［ｍｍ］」とは、像振れ補正を実行した後にも残存することが予想される「振れ量［ｍｍ］」を意味する。具体的には、図４に示す例において、撮像面上の像を、基準移動量である０．１２５７［ｍｍ］だけ水平方向に移動させた場合における、各分割位置での振れ残り量Ｒ₀～Ｒ₁₀［ｍｍ］を計算する。ここで、振れ残り量Ｒ₀は、分割位置「０」における振れ残り量を表し、振れ残り量Ｒ₁～Ｒ₁₀は、分割位置「０．１」～「１」における振れ残り量を夫々表している（従って、この場合、振れ残り量Ｒ₀＝０となる）。

次に、各振れ残り量Ｒ₀～Ｒ₁₀の絶対値を計算し、これらの合計を、振れ残り量を計算した点の数で除することにより、振れ残り量の絶対値の平均値を計算する。この際、撮像面の中心点は１点であるが、分割位置「０．１」～「１」は左右両側に２点ずつ存在するため、振れ残り量Ｒ₁～Ｒ₁₀の絶対値は２倍して平均値を計算する。従って、振れ残り量の絶対値の平均値Ｒ_AV1は、次式によって計算することができる。

同様にして、撮像面上の像を、分割位置「０．１」における移動量である０．１２６４［ｍｍ］だけ水平方向に移動させた場合における、各分割位置での振れ残り量Ｒ₀～Ｒ₁₀［ｍｍ］を計算し（従って、この場合、振れ残り量Ｒ₁＝０となる）、これらの振れ残り量の絶対値の平均値Ｒ_AV1［ｍｍ］を数式（４）により計算する。同様の計算により、各分割位置における移動量に対応した振れ残り量の絶対値の平均値Ｒ_AV1［ｍｍ］を計算する。

このようにして計算された、水平方向の各分割位置における移動量に対応した振れ残り量の絶対値の平均値Ｒ_AV1［ｍｍ］の一例を図５に示す。図５に示す例においては、分割位置「０．８」に対応する振れ残り量の絶対値の平均値Ｒ_AV1が最も小さくなっている。即ち、「振れ量最小モード」の計算アルゴリズムによれば、分割位置「０．８」に対応する０．１７１４［ｍｍ］だけ画像データの出力範囲を移動させることにより、画像全体における平均的な水平方向の振れが最小となる。

さらに、垂直方向についても同様に、垂直方向の各分割位置における移動量に対応した振れ残り量の絶対値の平均値Ｒ_AV1［ｍｍ］を計算し、この値が最小となる垂直方向の像の移動量を計算する。このように、水平方向、垂直方向の移動量を決定することにより、撮像面上の複数の点における平均的な像の振れ量が抑制され、撮像面上の各点における像の振れ量が、撮像面において全体的に抑制される。

最後に、振れ残り量の絶対値の平均値Ｒ_AV1［ｍｍ］が最小となる移動量を、基準移動量で除することにより、補正係数を算出する。図４、図５に示す例では、Ｒ_AV1が最小となる０．１７１４［ｍｍ］を、基準移動量である０．１２５７［ｍｍ］で除することにより、水平方向に関する補正係数が、
補正係数＝０．１７１４／０．１２５７≒１．３６４
と計算される。同様にして、垂直方向に関する補正係数も求めることができる。

＜中央値最小モード＞
次に、図６を新たに参照して、「中央値最小モード」における補正係数の算出を説明する。補正モード選択スイッチ４ｂにより、「中央値最小モード」が選択されている場合には、各方向の振れ残り量の平均値の絶対値が最小になるように、像の移動量が決定され、これに基づいて補正係数が算出される。具体的には、まず、図４に示す例において、撮像面上の像を、基準移動量である０．１２５７［ｍｍ］だけ水平方向に移動させた場合における、各分割位置での振れ残り量Ｒ₀～Ｒ₁₀［ｍｍ］を計算する（従って、この場合、振れ残り量Ｒ₀＝０となる）。

次に、各振れ残り量Ｒ₀～Ｒ₁₀の平均値を計算する。上記のように、撮像面の中心点は１点であるが、分割位置「０．１」～「１」は左右両側に２点ずつ存在するため、振れ残り量Ｒ₁～Ｒ₁₀は２倍して平均値を計算する。この平均値の絶対値である、振れ残り量の平均値の絶対値Ｒ_AV2は、次式によって計算することができる。

同様にして、撮像面上の像を、分割位置「０．１」における移動量である０．１２６４［ｍｍ］だけ水平方向に移動させた場合における、各分割位置での振れ残り量Ｒ₀～Ｒ₁₀［ｍｍ］を計算し（従って、この場合、振れ残り量Ｒ₁＝０となる）、これらの振れ残り量の平均値の絶対値Ｒ_AV2［ｍｍ］を数式（５）により計算する。同様の計算により、各分割位置における移動量に対応した振れ残り量の平均値の絶対値Ｒ_AV2［ｍｍ］を計算する。

このようにして計算された、水平方向の各分割位置における移動量に対応した振れ残り量の平均値の絶対値Ｒ_AV2［ｍｍ］の一例を図６に示す。図６に示す例においては、分割位置「０．９」に対応する振れ残り量の平均値の絶対値Ｒ_AV2が最も小さくなっている。即ち、「中央値最小モード」の計算アルゴリズムによれば、分割位置「０．９」に対応する０．１８３６［ｍｍ］だけ水平方向に画像データの出力範囲を移動させることにより、画像全体における平均的な水平方向の振れが最小となる。この計算アルゴリズムに基づいて出力範囲を決定することにより、各点の振れ残り量の中央値を最小にすることができ、撮像面上の所定の複数の点における平均的な像の振れ量が抑制される。

さらに、垂直方向についても同様に、垂直方向の各分割位置における移動量に対応した振れ残り量の平均値の絶対値Ｒ_AV2［ｍｍ］を計算し、この値が最小となる垂直方向の像の移動量を計算する。このように、水平方向、垂直方向の移動量を決定することにより、撮像面上の複数の点における平均的な像の振れ量が抑制され、撮像面上の各点における像の振れ量が、撮像面において全体的に抑制される。

最後に、振れ残り量の平均値の絶対値Ｒ_AV2［ｍｍ］が最小となる移動量を、基準移動量で除することにより、補正係数を算出する。図４、図６に示す例では、Ｒ_AV2が最小となる０．１８３６［ｍｍ］を、基準移動量である０．１２５７［ｍｍ］で除することにより、水平方向に関する補正係数が、
補正係数＝０．１８３６／０．１２５７≒１．４６１
と計算される。同様にして、垂直方向に関する補正係数も求めることができる。

＜許容振れ量域最大モード＞
次に、図７を新たに参照して、「許容振れ量域最大モード」における補正係数の算出を説明する。補正モード選択スイッチ４ｂにより、「許容振れ量域最大モード」が選択されている場合には、振れ残り量が所定の許容振れ量以下になる点の数が最大になるように、像の移動量が決定され、これに基づいて補正係数が算出される。具体的には、まず、図４に示す例において、撮像面上の像を、基準移動量である０．１２５７［ｍｍ］だけ水平方向に移動させた場合における、各分割位置での振れ残り量Ｒ₀～Ｒ₁₀［ｍｍ］を計算する（従って、この場合、振れ残り量Ｒ₀＝０となる）。

次に、これらの振れ残り量Ｒ₀～Ｒ₁₀のうち、値が所定の許容振れ量［ｍｍ］以下である点の数をカウントする。上記のように、撮像面の中心点は１点であるが、分割位置「０．１」～「１」は左右両側に２点ずつ存在するため、振れ残り量Ｒ₁～Ｒ₁₀の値が所定の許容振れ量以下である場合には、点の数を「２」とカウントする。図７に示す例においては、撮像面上の像を、基準移動量だけ水平方向に移動させた場合において、振れ残り量の値が所定の許容振れ量以下である点の数は９個とカウントされている。

同様にして、撮像面上の像を、分割位置「０．１」における移動量である０．１２６４［ｍｍ］だけ水平方向に移動させた場合における、各分割位置での振れ残り量Ｒ₀～Ｒ₁₀［ｍｍ］を計算し（従って、この場合、振れ残り量Ｒ₁＝０となる）、その値が所定の許容振れ量以下である点の数をカウントする。このようにして計算された、水平方向の各分割位置における移動量に対応した、振れ残り量が所定の許容振れ量以下となる点の数の一例を図７に示す。図７に示す例においては、分割位置「０．５」及び「０．６」における移動量だけ水平方向に移動させた場合において、振れ残り量が許容振れ量以下となる点の数が「１１」となり、最も多くなっている。

即ち、「許容振れ量域最大モード」の計算アルゴリズムによれば、撮像面上の像が、分割位置「０．５」に対応する０．１４３６［ｍｍ］又は分割位置「０．６」に対応する０．１５１５［ｍｍ］だけ水平方向に画像データの出力範囲を移動させることにより、振れ残り量が許容振れ量以下となる点の数が最も多くなる。このように、振れ残り量が許容振れ量以下となる点の数を最大化することにより、画像全体の中で、振れ量が許容値以下となる画素の数を最大化することができる。この計算アルゴリズムに基づいて出力範囲の移動量を決定することにより、画像全体の中で、振れ量が許容可能な値以下に抑制された面積を最大化することができ、撮像面上の所定の複数の点における平均的な像の振れ量が抑制される。
さらに、垂直方向についても同様に、垂直方向の各分割位置における移動量に対応した振れ残り量が許容振れ量以下となる点の数を計算し、この数が最大となる垂直方向の出力範囲の移動量を計算する。

最後に、振れ残り量が許容振れ量以下となる点の数が最大となる移動量を、基準移動量で除することにより補正係数を算出する。図４、図７に示す例では、許容振れ量以下となる点の数が最大となる０．１４３６［ｍｍ］を、基準移動量である０．１２５７［ｍｍ］で除することにより、水平方向に関する補正係数が、
補正係数＝０．１４３６／０．１２５７≒１．１４２
と計算される。同様にして、垂直方向に関する補正係数も求めることができる。なお、図７に示す例では、振れ残り量が許容振れ量以下となる点の数が分割位置「０．５」と「０．６」で同数となっているため、これらの分割位置に対応した移動量を平均し、この平均値に基づいて補正係数を計算しても良い。

本発明の第１実施形態の像振れ補正装置によれば、撮像素子８によって撮影された画像の各点における像の振れ量が全体的に抑制されるように、画像データの出力範囲を決定する（図５乃至図７）ので、画角内における像振れの差異が目立たず、像振れの少ない印象を与える画像を形成することができる。

また、本実施形態の像振れ補正装置によれば、出力範囲設定部１２ａは、撮像面８ａ上の所定の複数の点における平均的な像の振れ量Ｒ₀～Ｒ₁₀が抑制されるように、画像データの出力範囲を決定する。このため、特定の点における像の振れ量がほぼゼロにされるのではなく、像の振れ量を撮像面において全体的に抑制することができる。

さらに、本実施形態の像振れ補正装置によれば、撮像面８ａ上において、複数の分割位置が、撮像面８ａ上に均等に、等間隔で分布するように設定されているので（図４）、画角内の全体的な振れ量を像振れ補正に反映させることができ、振れ量を全体的に抑制することができる。

また、本実施形態の像振れ補正装置によれば、「振れ量最小モード」において、出力範囲設定部１２ａは、撮像面８ａ上の所定の複数の点における像の振れ量の絶対値を平均した値が最小となるように画像データの出力範囲を決定する（図５）。このため、撮像面８ａ上の複数の点における平均的な像の振れ量が抑制され、撮像面８ａ上の各点における像の振れ量を、撮像面８ａにおいて全体的に抑制することができる。

さらに、本実施形態の像振れ補正装置によれば、「中央値最小モード」において、出力範囲設定部１２ａは、撮像面８ａ上の所定の複数の点における像の振れ量の平均値の絶対値が最小となるように画像データの出力範囲を決定する（図６）。このため、各点の振れ残り量の中央値を最小にすることができ、撮像面８ａ上の所定の複数の点における平均的な像の振れ量を抑制することができる。

また、本実施形態の像振れ補正装置によれば、「許容振れ量域最大モード」において、出力範囲設定部１２ａは、撮像面８ａ上において、像の振れ量が所定の許容値以下となる領域が最も広くなるように画像データの出力範囲を決定する（図７）。このため、画像全体の中で、振れ量が許容値以下となる画素の数を最大化することができる。この結果、画像全体の中で、振れ量が許容可能な値以下に抑制された面積を最大化することができ、撮像面８ａ上の所定の複数の点における平均的な像の振れ量を抑制することができる。

さらに、本実施形態の像振れ補正装置によれば、出力範囲設定部１２ａは、補正モード選択スイッチ４ｂにより選択された補正モードに基づいて、異なる計算アルゴリズムを使用して移動量を決定する。このため、ユーザの撮影意図や、撮影シーンに適した補正モードを選択することができる。

次に、図８を参照して、本発明の第２実施形態による像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法を説明する。
本発明の第２実施形態による像振れ補正装置は、撮像装置の振れ量を検出する振れ量検出手段が、上述した第１実施形態とは異なる。従って、ここでは、本発明の第２実施形態による像振れ補正装置の、第１実施形態とは異なる点のみを説明し、同様の構成、作用、効果については説明を省略する。

上述した本発明の第１実施形態においては、振れ量検出手段として、振れ角度センサであるジャイロセンサ１０が備えられ、このジャイロセンサ１０の検出信号に基づいてビデオカメラ１の振れ量を検出していた。これに対し、本実施形態においては、撮像素子８によって撮影された第１の画像と、この第１の画像よりも前に撮像素子８によって撮影された第２の画像に基づいて、ビデオカメラ１の振れ量を検出している。具体的には、本実施形態においては、撮像素子８によって撮影された最新のフレームの画像と、その前に撮影されたフレームの画像を画像解析することにより、ビデオカメラ１の振れ量を検出している。

即ち、ビデオカメラ１により静止した被写体を撮影している場合には、ビデオカメラ１に振れがなければ、同一の被写体は、最新のフレームと、その前のフレームで画像内の同一の位置に撮影されている。また、一般に、動画を撮影する際の各フレームの撮像間隔は非常に短いため、動きの遅い被写体であれば、同一の被写体は、最新のフレームと、その前のフレームでほぼ同一の位置に撮影される。本実施形態においては、この性質を利用して、振れ角度センサを使用することなく、撮像素子８によって撮影された画像の画像解析に基づいてビデオカメラ１の振れ量を検出している。

具体的には、本実施形態においては、ビデオカメラの画像処理部１２に内蔵された振れ量検出手段（図示せず）が、最新のフレームの画像（現画像）と、１つ前のフレームの画像（先行画像）に基づいて、画像の動きベクトルを計算してビデオカメラの振れ量を計算している。図８は、動きベクトルの計算を説明するための図である。

まず、画像処理部１２の振れ量検出手段は、先行画像及び現画像が取得されると、図８の（ａ）欄に示すように、先行画像の中に所定の大きさのブロックＢ１を設定する。次に、振れ量検出手段は、図８の（ｂ）欄に示すように、現画像の中にブロックＢ１と同じ大きさの複数のブロックＢ２、Ｂ３、Ｂ４．．．を設定する。これらのブロックは、画像内のブロックＢ１と同一の位置、及びブロックＢ１からずれた所定の範囲に設定される。

さらに、振れ量検出手段は、先行画像の中に設定されたブロックＢ１と、現画像の中のブロックＢ２、Ｂ３、Ｂ４．．．夫々との間で画像の相関性を計算する。このようにして相関性が計算されたブロックの中で最も相関性が高いブロックが、先行画像のブロックＢ１の移動先であると推定される。例えば、先行画像のブロックＢ１と、現画像の中のブロックＢ４の相関性が最も高い場合には、先行画像においてブロックＢ１に位置していた被写体が、ビデオカメラの振れにより、現画像ではブロックＢ４に移動されたと推定される。さらに、このブロックＢ１からブロックＢ４への移動を表すベクトルが、動きベクトルＫとして算出される。

本実施形態のビデオカメラにおいては、動きベクトルＫの鉛直方向成分及び水平方向成分が、夫々、第１実施形態における、各方向の振れ量として使用される。即ち、本実施形態においては、動きベクトルＫの鉛直及び水平方向成分が、第１実施形態の図２のフローチャートにおけるステップＳ４で算出される鉛直方向の振れΔｈｖ、水平方向の振れΔｈｈとして使用される。なお、動きベクトルＫの算出方法として種々の方法が知られており、公知の任意の算出方法を、本発明における「振れ量検出手段」として適用することができる。例えば、先行画像の中に複数のブロックを設定しておき、これらのブロック夫々について複数の動きベクトルＫを算出し、その中で信頼性の高いものを画像全体の動きベクトルとして決定するように本発明を構成することもできる。

また、本発明の第２実施形態による像振れ補正方法は、図２のフローチャートにおける検出ステップであるステップＳ３、及びステップＳ４の処理が動きベクトルＫの計算に置き換えられたものに相当し、これらのステップ以外の処理は第１実施形態と同様である。

本発明の第２実施形態の像振れ補正装置によれば、撮像素子８によって撮影された第１の画像（図８の（ｂ）欄）と、この第１の画像よりも前に撮像素子８によって撮影された第２の画像（図８の（ａ）欄）に基づいて、ビデオカメラの振れ量が検出される。この結果、振れ量を検出するための特別なセンサを備えることなく振れ量を検出することができる。

また、本実施形態の像振れ補正装置によれば、第１の画像と第２の画像に基づいて、画像全体の動きベクトルＫを計算し、この動きベクトルに基づいてビデオカメラの振れ量が検出される。この結果、動きのある被写体を撮影している場合でも、信頼性の高い動きベクトルＫを計算することができ、精度の高い振れ補正を行うことができる。

以上、本発明の実施形態を説明したが、上述した実施形態に種々の変更を加えることができる。特に、垂直、水平方向に対し、１１点ずつ分割位置を設定し、これらの点について振れ量を評価していたが、振れを評価する点の数は任意に設定することができると共に、評価する点は必ずしも等間隔に設定されていなくても良い。

また、上述した実施形態においては、撮像面上の平均的な像の振れ量が抑制されるように画像データの出力範囲が決定され、この出力範囲の移動量を基準移動量で除することにより補正係数を算出していた。しかしながら、補正係数を算出することなく、決定された移動量が直接実現されるように、画像データの出力範囲を決定することもできる。さらに、上述した実施形態においては、複数の補正モードが切り替え可能に構成されていたが、像振れ補正装置は補正モードを１つだけ備えていても良い。

１ ビデオカメラ（撮像装置）
２ レンズ鏡筒
４ カメラ本体
４ａ 画角調整レバー
４ｂ 補正モード選択スイッチ
６ 撮影用レンズ
８ 撮像素子
８ａ 撮像面
１０ ジャイロセンサ（振れ角度センサ）
１２ 画像処理部
１２ａ 出力範囲設定部
１２ｂ 画像データ出力部
１４ 半導体メモリ

Claims (11)

1. 撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正装置であって、
   上記撮像装置の振れ量を検出する振れ量検出手段と、
   この振れ量検出手段によって検出された振れ量に基づいて、上記撮像素子によって撮影される画像の像振れが抑制されるように、上記撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定部と、
   この出力範囲設定部によって決定された出力範囲の画像データを出力する画像データ出力部と、を有し、
   上記出力範囲設定部は、上記撮像素子によって撮影された画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲を決定することを特徴とする像振れ補正装置。
2. 撮影された画像上の所定の複数の点は、上記画像上にほぼ均等に分布するように設定されている請求項１記載の像振れ補正装置。
3. 上記出力範囲設定部は、撮影された画像上の所定の複数の点における像の振れ量の絶対値を平均した値が最小となるように上記出力範囲を決定する請求項１又は２に記載の像振れ補正装置。
4. 上記出力範囲設定部は、撮影された画像上の所定の複数の点における像の振れ量の平均値の絶対値が最小となるように上記出力範囲を決定する請求項１又は２に記載の像振れ補正装置。
5. 上記出力範囲設定部は、撮影された画像上において、像の振れ量が所定の許容値以下となる領域が最も広くなるように上記出力範囲を決定する請求項１又は２に記載の像振れ補正装置。
6. 上記振れ量検出手段は、上記撮像装置の振れ角度を検出する振れ角度センサである請求項１乃至５の何れか１項に記載の像振れ補正装置。
7. 上記振れ量検出手段は、上記撮像素子によって撮影された第１の画像と、この第１の画像よりも前に上記撮像素子によって撮影された第２の画像に基づいて、上記撮像装置の振れ量を検出する請求項１乃至５の何れか１項に記載の像振れ補正装置。
8. 上記振れ量検出手段は、上記第１の画像と上記第２の画像に基づいて、画像全体の動きベクトルを計算し、この動きベクトルに基づいて上記撮像装置の振れ量を検出する請求項７記載の像振れ補正装置。
9. さらに、夫々異なる計算アルゴリズムによって上記出力範囲を決定する複数の補正モードから任意の補正モードを選択するための補正モード選択スイッチを有し、上記出力範囲設定部は、上記補正モード選択スイッチにより選択された補正モードに基づいて、当該選択された補正モードに対応する計算アルゴリズムを使用して上記出力範囲を決定する請求項１乃至８の何れか１項に記載の像振れ補正装置。
10. 撮像装置であって、
    レンズ鏡筒と、
    撮像装置本体と、
    この撮像装置本体の内部に配置された、撮像面を有する撮像素子と、
    この撮像素子によって取得された画像データのうちの出力範囲を変更する請求項１乃至９の何れか１項に記載の像振れ補正装置と、
    を有することを特徴とする撮像装置。
11. 撮像装置によって撮影される画像の像振れが抑制されるように、撮像素子によって取得された画像データのうちの出力範囲を変更する像振れ補正方法であって、
    上記撮像装置の振れ量を検出する検出ステップと、
    検出された振れ量に基づいて、上記撮像素子によって撮影される画像の像振れが抑制されるように、上記撮像素子によって取得された画像データのうちの出力範囲を決定する出力範囲設定ステップと、
    この出力範囲設定ステップによって決定された出力範囲の画像データを出力する画像データ出力ステップと、を有し、
    上記出力範囲設定ステップにおいては、上記撮像素子によって撮影された画像上の複数の点における平均的な像の振れ量が抑制されるように、画像データの出力範囲が決定されることを特徴とする像振れ補正方法。

Images