JP6103877B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置において、画像を変形する方式を用いて、撮像装置の振れに起因する撮像画像のブレを補正する技術に関する。

近年、撮像装置に生じた振れを補正する技術の進歩に伴い、撮影者が静止した状態での手振れによって発生する撮像画像のブレを補正するだけでなく、撮影者が歩行しながら撮影を行うときに発生する撮像画像のブレを補正する像振れ補正機能が普及してきている。撮影者が歩行しながら撮影を行う際には、撮像画像の水平垂直方向のブレだけでなく、撮像画像に対して以下に示すようなブレが生じる。例えば、撮像装置が光軸回りに回転することによって、撮像画像が回転するブレや、撮像装置が被写体に対して傾くことによって撮像画像が台形状に歪むブレ等である。

このような歩行しながらの撮影において、撮像画像に発生する種々のブレを補正する方法として、撮像画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法が知られている（特許文献１参照）。

特開２０１１−１４６２６０号公報

上記従来例では、撮像装置に加えられる振れによって撮像画像に生じる変形量を、並進（水平・垂直）、あおり（水平・垂直）、拡大縮小、回転、せん断の各変形成分に分解し、各々についてフィルタリング処理等を行い、射影変換行列（ホモグラフィ行列）を算出している。しかしながら、この方法には以下のような問題点があった。

即ち、上記従来例では、上記各変形成分毎に補正量の演算を行っているため、非常に演算量が多く処理が複雑であった。更に、上記各変形成分の補正を全て行うと、最終的に出力することができる画像範囲が小さくなってしまうため、画質の劣化につながっていた。

例えば、図２１に撮像装置が光軸回りに回転したときの、画像変形による像振れ補正の例を示す。図２１の外側の実線部は撮像画像であり、光軸回りの回転の補正を行うためには、撮像画像を画像中心Ｏを中心に回転する。回転した結果は図２１の点線部の画像となる。このとき、出力画像を撮像画像と同じ範囲とすると、画像の４隅に画がない状態となってしまうため、出力画像範囲は図２１の斜線部で示す領域となる。図２１では光軸回りの回転の補正を例にとって説明したが、他の各変形成分についても、各変形成分毎に出力することができない画像領域（以下、余剰画素と定義する）を確保する必要がある。そのため、画像範囲が小さくなり、像振れ補正を行った後の映像の品質を保つことが難しかった。

本発明は上記問題点を鑑みてなされたものであり、その目的は、簡単な構成で、映像の品質劣化を最小限に抑え、かつ良好な像振れ補正効果が得られるようにした撮像装置を提供することである。

本発明に係わる画像処理装置は、撮像画像に発生する像ブレの並進成分を補正するための第１の補正量を、角速度検出手段の出力に基づいて演算する並進補正量演算手段と、撮像画像に発生する像ブレのあおり成分を補正するための第２の補正量を、前記角速度検出手段の出力に基づいて演算するあおり補正量演算手段と、前記第１の補正量及び第２の補正量に基づいて、撮像画像の像ブレを補正する像ブレ補正手段を制御するブレ補正制御手段と、撮像装置がパンニング状態と判定された場合、前記並進成分及び前記あおり成分の補正量を減らすように、前記並進補正量演算手段のハイパスフィルタのカットオフ周波数及び前記あおり補正量演算手段のハイパスフィルタのカットオフ周波数を大きくするとき、前記並進補正量演算手段のハイパスフィルタのカットオフ周波数及び前記あおり補正量演算手段のハイパスフィルタのカットオフ周波数を同じ値に変更する補正量制御手段と、を備えることを特徴とする。
また、本発明に係わる画像処理装置は、撮像画像に発生する像ブレの並進成分を補正するための第１の補正量を、角速度検出手段の出力に基づいて演算する並進補正量演算手段と、撮像画像に発生する像ブレのあおり成分を補正するための第２の補正量を、前記角速度検出手段の出力に基づいて演算するあおり補正量演算手段と、前記第１の補正量及び第２の補正量に基づいて、撮像画像の像ブレを補正する像ブレ補正手段を制御するブレ補正制御手段と、撮像装置がパンニング状態と判定された場合、前記並進成分及び前記あおり成分の補正量を減らすように、前記並進補正量演算手段の積分手段の時定数及び前記あおり補正量演算手段の積分手段の時定数を小さくするとき、前記並進補正量演算手段の積分手段の時定数及び前記あおり補正量演算手段の積分手段の時定数を同じ値に変更する補正量制御手段と、を備えることを特徴とする。

本発明によれば、簡単な構成で、映像の品質劣化を最小限に抑え、かつ良好な像振れ補正効果が得られるようにした撮像装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図。 ピンホールカメラモデルを説明する図。 第１の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第２の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図。 第２の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第３の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第４の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図。 第４の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第５の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第５の実施形態に係る画像変形量演算部のその他の構成例を示すブロック図。 第６の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第６の実施形態に係る画像変形量演算部のその他の構成例を示すブロック図。 第７の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示す図。 第７の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第８の実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示す図。 第８の実施形態に係る画像変形量演算部の構成例を示すブロック図。 第８の実施形態に係る画像変形量演算部のその他の構成例を示すブロック図。 第９の実施形態に係る画像変形量演算部の構成例を示すブロック図。 本発明の実施形態における「振れ」の定義を説明するための図。 本発明の実施形態における「ブレ」の定義を説明するための図。 従来の課題を説明するための図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

最初に、本発明の実施形態において使用する言葉の定義について説明する。本発明の実施形態の説明においては、撮像装置に加えられる振動を「振れ」とし、撮像装置に加えられる振れによって発生する撮像画像の変形を「ブレ」とする。本発明の実施形態において「振れ」は、図１９（ａ）及び（ｂ）に示すように、ＹＡＷ、ＰＩＴＣＨ、ＲＯＬＬ方向の３種類の「角度振れ」と、水平、垂直、光軸方向の３種類の「平行振れ」（シフト振れ）の総称を意味する。また、「ブレ」は、図２０（ａ）乃至図２０（ｆ）に示すように、並進（水平・垂直）、回転、あおり（水平・垂直）、拡大縮小、せん断の各変形成分の総称を意味する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。

角速度センサ１０２は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をデジタル化して、角速度データとしてμＣＯＭ１０１内部の画像変形量演算部２００に供給する。

撮像光学系１２０は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子１２３に結像する。ズームエンコーダ１１９は、撮像光学系１２０の中の変倍光学系１２１の位置（ズーム位置）を検出し、μＣＯＭ１０１内部の画像変形量演算部２００に出力する。

画像変形量演算部２００は、上記角速度データ及びズームエンコーダ１１９の出力を用いて、撮像画像のブレを補正するための画像変形量を算出し、画像変形部１２７に算出した画像変形量を設定する。画像変形量演算部２００の処理の詳細は後述する。

撮像素子１２３は、撮像光学系１２０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１２４に供給する。信号処理部１２４は、撮像素子１２３により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１２５に供給する。

画像変形部１２７は、画像変形量演算部２００で算出された画像変形量に基づいて、画像メモリ１２５に格納された画像を変形することによって撮像画像のブレを補正し、記録制御部１２８及び表示制御部１３０に出力する。表示制御部１３０は、画像変形部１２７から供給された映像信号を出力して表示デバイス１３１に画像を表示させる。表示制御部１３０は表示デバイス１３１を駆動し、表示デバイス１３１は液晶表示素子（ＬＣＤ）等により画像を表示する。

また、記録制御部１２８は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像変形部１２７から供給された映像信号を記録媒体１２９に出力し、記録させる。記録媒体１２９は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

画像変形部１２７は、例えば射影変換等の幾何変換を用いて画像変形を行う。具体的には、変形前の画像（画像メモリ１２５に記憶された画像）中の画素座標を（Ｘ０，Ｙ０）（ただし、撮像光学系１２０の光軸に対応した撮像画像の中心を原点とする）とし、変形後の画像（画像変形部１２７の出力画像）中の画素座標を（Ｘ１，Ｙ１）として、同次座標で表現すると、（式１）のように記述することができる。

（式１）の左辺と右辺は同値関係（左辺または右辺に任意の倍率をかけても意味が変わらない）を示し、通常の等号では（式２）（式３）となる。

また（式１）において、３×３の行列は一般的に射影変換行列と呼ばれ、行列の要素ｈ１〜ｈ８は、画像変形量演算部２００が設定する。なお、以下の説明では、画像変形部１２７の画像変形は、射影変換を用いることとして説明を行うが、例えばアフィン変換等、如何なる変形方法を用いても良い。

次に、画像変形量演算部２００によって行われる処理の詳細について説明する。画像変形量演算部２００では、角速度センサ１０２の出力から算出される撮像装置の振れ角度と、ズームエンコーダ１１９から算出される撮像光学系１２０の焦点距離とを用いて、画像変形部１２７の画像変形量を算出する。具体的には、（式１）の射影変換行列を算出する。

ここで、振れ角度と撮像光学系１２０の焦点距離を用いた射影変換行列の算出方法について、以下に説明する。

図２（ａ）は、撮像装置による被写体の撮像面への投影を、ピンホールカメラモデルで図示したものである。図２（ａ）において、ＸＹＺ空間座標の原点（０，０，０）は、ピンホールカメラモデルにおけるピンホール位置である。撮像面は、ピンホール位置よりも後ろ側に配置すると、撮像面に投影される画像が倒立してしまうため、像が倒立せずに扱いやすいように、図２（ａ）では仮想的にピンホール位置よりも前に撮像面Ｉを配置している。

ＸＹＺ空間座標の原点（０，０，０）と撮像面ＩとのＺ軸方向の距離は、焦点距離ｆとなる。撮像面Ｉ上の座標は、ｕｖ平面座標として定義し、ｕｖ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｆ）と一致しているものとする。ｕｖ平面座標上の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉに投影されたときの座標である。このとき、座標Ｐは（式４）で表すことができる。

（式４）は、同次座標を用いると、（式５）で表すことができる。

（式５）の３×４の行列の４列目の要素は、本実施形態の説明においては０のままとするので、（式５）は（式６）としても同じである。

図２（ｂ）は、図２（ａ）のピンホールカメラモデルを、Ｒ回転したときものである。図２（ｂ）においては、図２（ａ）のＸＹＺ空間座標をＲ回転した座標をＸ’Ｙ’Ｚ’空間座標としている。Ｘ’Ｙ’Ｚ’空間座標の原点（０，０，０）は、ＸＹＺ空間座標と一致しているものとする。つまり図２（ｂ）は、撮像装置に回転振れＲが生じ、平行振れは生じていない状態を、ピンホールカメラモデルで単純化して表現しているものである。

図２（ｂ）のピンホールカメラモデルにおいて、撮像面Ｉ’は、図２（ａ）と同様、原点（０，０，０）からの距離が焦点距離ｆの位置に配置されている。撮像面Ｉ’上の座標は、ｕ’ｖ’平面座標として定義し、ｕ’ｖ’平面座標の原点（０，０）は、Ｘ’Ｙ’Ｚ’空間座標における（０，０，ｆ）と一致しているものとする。ｕ’ｖ’平面座標上の座標Ｐ’（ｕ’，ｖ’）は、Ｘ’Ｙ’Ｚ’空間座標上の被写体Ａ’（Ｘ’，Ｙ’，Ｚ’）が、撮像面Ｉ’に投影されたときの座標である。なお、図２（ａ）の被写体Ａと図２（ｂ）の被写体Ａ’の世界座標系での位置は、同じ位置である（すなわち、被写体が移動していない）ものとする。このとき座標Ｐ’は、同次座標を用いると、（式６）と同様に（式７）で表すことができる。

また、被写体Ａと被写体Ａ’の世界座標系での位置は同じであるため、両者の座標の関係は、（式８）で表すことができる。

更に、（式６）、（式７）を変形して（式８）に代入すると、（式９）を導出することができる。

（式９）は、ピンホールカメラがＲ回転する前後での、撮像面上での被写体像の位置の対応関係を示したものである。即ち、撮像装置にＲ回転の振れが加わったとき、撮像面上での画素がどこからどこへ移動するかを示す式となる。よって、ブレの補正を行うためには、撮像装置に振れが加わったときの画素移動量を元に戻す変換を行えばよい。すなわち（式１０）に従って、撮像装置にＲ回転の振れが加わったことにより、移動してしまった画素位置を元に戻す変換を行えばよい。

よって、図１の撮像装置１００に加わる振れをＲ、撮像光学系１２０の焦点距離ｆとし、ブレの補正を行うための射影変換行列をＨとすると、Ｈは（式１１）となる。

なお、撮像装置に加わったＹＡＷ方向の角度振れ量をθy、ＰＩＴＣＨ方向の角度振れ量をθp、ＲＯＬＬ方向の角度振れ量をθrとすると、Ｒは（式１２）で表すことができる。

（式１１）のＨは、（式１３）を用いることにより、並進ｔ^→、拡大縮小ｓ(定数)、回転ｒ（行列）、せん断ｋ（行列）、ｖ^→あおり の各変形成分に分解することができる。

ここで、
ｔｘ …水平並進量
ｔｙ …垂直並進量
θ …回転角
vx …水平あおり量
vy …垂直あおり量
α …せん断の非等方倍率
φ …せん断の方向角
である。

（式１１）、（式１２）、（式１３）より、各変形成分に対する方程式を解くと、（式１４）〜（式２１）となる。

本実施形態においては、画像変形量演算部２００の処理は、以下に説明するように、演算を簡略化する。

撮像装置に加わる角度振れは、パンニング等のユーザーが意図的に撮像装置を操作する動きを除いては、それほど大きくはならない。よって、撮像装置に加わる振れ角度がγのとき、ｃｏｓγ＝１、ｓｉｎγｔａｎγ＝０、ｓｉｎγｓｉｎγ＝０と近似すると、（式１４）〜（式２１）は（式２２）〜（式２９）で表す式で近似することができる。

このとき、（式２７）より拡大縮小は１倍となり、（式２８）（式２９）より、せん断の非等方倍率は１倍、方向角は０度となる。すなわち、撮像装置に加わる角度振れによって撮像画像に生じる変形成分としては、拡大縮小、せん断は他の変形成分と比較して、小さいことが分かる。

よって、本実施形態における画像変形量演算部２００の処理では、拡大縮小、せん断の各変形成分の補正は行わず、並進、回転、あおりの補正のみを行うものとして説明する。

以下、図３のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、ＹＡＷ方向の角度振れによって、（式２２）（式２５）から水平方向の並進、水平方向のあおりが生じ、ＰＩＴＣＨ方向の角度振れによって、（式２３）（式２６）から垂直方向の並進、垂直方向のあおりが生じ、両者の処理は同じとなる。そのため、いずれか一方の制御に関してのみ説明を行う。

図３のブロック図において、符号２０１から２０５までのブロックは、並進ブレ（振れの並進成分による像振れ）を補正するための補正量を算出するためのブロックである。符号２１１から２１５までのブロックは、あおりブレ（振れのあおり成分による像振れ）を補正するための補正量を算出するためのブロックである。符号２２１から２２５までのブロックは回転ブレ（振れの回転成分による像振れ）を補正するための補正量を算出するためのブロックである。

まず、並進ブレ（振れの並進成分による像振れ）の補正量を算出するための符号２０１から２０５までのブロックについて説明を行う。

ＨＰＦ２０１（高域通過フィルタ）には、前述したＡ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の角速度データが供給される。ＨＰＦ２０１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ２０１は、本実施形態において必須の構成ではなく、Ａ／Ｄ変換器１０３からの出力を焦点距離乗算部２０２に直接供給してもよい。

焦点距離演算部２３１は、前述したズームエンコーダ１１９の出力から、撮像光学系１２０の焦点距離を算出し、焦点距離乗算部２０２及び焦点距離除算部２１２の演算に用いる焦点距離を設定する。焦点距離乗算部２０２は、ＨＰＦ２０１の出力に、焦点距離演算部２３１によって算出された焦点距離ｆを乗算して、センタリング部２０３に供給する。

センタリング部２０３は、撮像装置１００のＹＡＷ方向またはＰＩＴＣＨ方向に対して、パンニングや補正しきれない大きな角度振れが生じたとき、補正量をゼロに戻すような入力値（以下、センタリング量とする）を、焦点距離乗算部２０２の出力に対して加算する処理を行う。なおセンタリング部２０３は、本実施形態において必須の構成ではなく、焦点距離乗算部２０２からの出力を積分器２０４に直接供給してもよい。

積分器２０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部２０３からの出力を積分し、飽和防止制御部２０５に供給する。

飽和防止制御部２０５は、積分器２０４からの出力が所定値（以下、リミッタ値とする）以上とならないように、積分器２０４からの出力をリミットする制御を行う。また、飽和防止制御部２０５は、積分器２０４からの出力がリミッタ値に近づいたときに、ＨＰＦ２０１のカットオフ周波数を高域側に変更したり、積分器２０４の時定数を短くしたり、センタリング部２０３のセンタリング量を大きくする等の制御を行う。飽和防止制御部２０５（並進補正量演算部）の出力は、最終的な並進補正量となり、画像変形量合成部２３０に供給される。

次に、あおりブレ（振れのあおり成分による像振れ）の補正量を算出するための符号２１１から２１５までのブロックについて説明を行う。符号２１１から２１５までのブロックは、焦点距離乗算部２０２と焦点距離除算部２１２の処理を除いては、符号２０１から２０５までのブロックと処理が同じであるため、焦点距離除算部２１２についてのみ説明を行い、他のブロックについての説明は省略する。

焦点距離除算部２１２は、ＨＰＦ２１１の出力を、焦点距離演算部２３１によって算出された焦点距離ｆで除算して、センタリング部２１３に供給する。焦点距離ｆで除算するのは、（式２５）（式２６）のあおりの算出式による。飽和防止制御部２１５の出力は、最終的なあおり補正量となり、画像変形量合成部２３０に供給される。

次に、回転ブレ（振れの回転成分による像振れ）の補正量を算出するための符号２２１から２２５までのブロックについて説明を行う。

ＨＰＦ２２１には、前述したＡ／Ｄ変換器１０３からの出力のうち、ＲＯＬＬ方向の角速度データが供給される。ＨＰＦ２２１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ２２１は、本実施形態において必須の構成ではなく、Ａ／Ｄ変換器１０３からの出力をセンタリング部２２３に直接供給してもよい。

センタリング部２２３は、撮像装置１００のＲＯＬＬ方向に対して、補正しきれない大きな角度振れが生じたとき、センタリング部２０３、２１３と同様、センタリング量をＨＰＦ２２１の出力に対して加算する処理を行う。なおセンタリング部２２３は、本実施形態において必須の構成ではなく、ＨＰＦ２２１またはＡ／Ｄ変換器１０３からの出力を積分器２２４に直接供給してもよい。

積分器２２４は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部２２３からの出力を積分し、飽和防止制御部２２５に供給する。

飽和防止制御部２２５は、積分器２２４からの出力が所定のリミッタ値以上とならないように、積分器２２４からの出力をリミットする制御を行う。また、飽和防止制御部２２５は、積分器２２４からの出力がリミッタに近づいたときに、ＨＰＦ２２１のカットオフ周波数を高域側に変更したり、積分器２２４の時定数を短くしたり、センタリング部２２３のセンタリング量を大きくする等の制御を行う。飽和防止制御部２０５の出力は、最終的な回転補正量となり、画像変形量合成部２３０に供給される。

画像変形量合成部２３０は、飽和防止制御部２０５、２１５、２２５から出力された、並進補正量、あおり補正量、回転補正量を合成する演算を行う。具体的には（式１３）に従って、（式１）の射影変換行列を算出する。このとき、拡大縮小、せん断の変形量は、（式２７）（式２８）（式２９）に示した値とする。画像変形量合成部２３０は、算出した射影変換行列の各要素の値を、画像変形部１２７へと出力する。画像変形部１２７では、画像変形量合成部２３０からの出力に基づいて、画像変形によるブレの補正が行われる。

以上説明してきたように、本発明の第１の実施形態においては、並進、あおり、回転の各変形成分毎に、飽和防止制御部２０５、２１５、２２５を設け、撮像装置１００に過剰な振れが生じたときに、リミッタ値内に各変形成分の補正量を抑制するための制御を行うこととした。これによって、各変形に必要な余剰画素を最小限に抑えることが可能となり、画像変形部１２７が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。

なお、本実施形態においては、並進、あおり、回転の各変形成分の補正量の算出に、角速度センサ１０２の出力を用いたが、これは種々の変形が可能である。例えば、加速度センサを用いてもよいし、特許文献１に開示されているように、画像から動きベクトルを検出し、動きベクトルから、各変形成分を推定する方法を用いてもよい。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図４において、図１と同様の構成には、同じ符号を付し、説明は省略する。図４は、図１の構成に対し、撮像画像のブレを光学的に補正する補正光学系１２２（光学補正部）と、補正光学系１２２を制御するためのブロックが追加された構成となっている。

Ａ／Ｄ変換器１０３の出力は、画像変形量演算部２００に供給されるとともに、図４の構成においては、ＨＰＦ１０４に対しても供給される。ＨＰＦ１０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、ＨＰＦ１０４のカットオフ周波数は、角度振れが小さいときよりも高い値に設定される。

敏感度演算部１０５は、ズームエンコーダ１１９の出力に応じて、各ズーム位置において最適な補正光学系１２２の駆動量を算出するための係数を算出し、ＨＰＦ１０４の出力に乗算して積分器１０６へと供給する。積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部１０５からの出力を積分し、飽和防止制御部１０７に供給する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、積分器１０６の時定数は、角度振れが小さいときよりも短い値に設定される。

飽和防止制御部１０７は、積分器１０６の出力が所定のリミッタ値より大きくなったときに、リミッタ値内に抑制するように積分器１０６の出力をリミットし、リミットした出力を減算器１０８に供給する。

減算器１０８は、補正光学系１２２の位置を検出する位置検出部１１７の出力をＡ／Ｄ変換器１１８にてＡ／Ｄ変換し、デジタル化したデータを飽和防止制御部１０７の出力から減算し、その結果である偏差データを制御フィルタ１０９に供給する。ここで、端子Ａ１１３，１１５と端子Ｂ１１４，１１６は、各々が電気的に接続されていることを示している。

制御フィルタ１０９は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器１０８から供給された偏差データは、制御フィルタ１０９において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１１０に出力される。

パルス幅変調部１１０は、制御フィルタ１０９を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１１１に供給する。モータ１１２は、補正光学系１２２の駆動用のボイス・コイル型モータであり、モータ駆動部１１１に駆動されることにより、補正光学系１２２が光軸と垂直な方向に移動される。ここで、端子Ａ１１３と端子Ａ１１５は、各々が電気的に接続されていることを示している。

位置検出部１１７は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系１２２の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１８を介して、上述した減算器１０８に供給する。これによって、飽和防止制御部１０７の出力に対して、補正光学系１２２の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。Ａ／Ｄ変換器１１８の出力は、減算器１０８の他に画像変形量演算部にも供給される。

補正光学系１２２（光学的な像振れ補正手段）は、例えば像振れ補正レンズとそれを保持する保持部材からなる像振れ補正ユニットであり、光軸と垂直な方向に移動されることにより光軸を偏向することで像振れを補正可能である。補正光学系１２２の移動が行われた結果、撮像装置１００の振れによって生じる撮像面上の被写体の並進方向のブレが補正された像が、撮像素子１２３に結像される。

以下、図５のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図５において、図２と同様の構成には、同じ符号を付し、説明は省略する。図５の画像変形量演算部２００の構成は、図２に対し、並進補正量換算部２４０と減算器２４１が追加されたものとなっている。

並進補正量換算部２４０は、Ａ／Ｄ変換器１１８の出力を用いることによって、補正光学系１２２によって補正された、撮像面上での並進補正量を演算する。補正光学系１２２による像振れ補正は、撮像面上でのブレの各変形成分のうち、並進方向のブレを光学的に補正することができる。従って、図２を用いて説明したように角速度センサからの出力データを全て用いて並進補正量を演算すると、過補正となってしまう。そこで図５の構成においては、並進補正量換算部２４０によって補正光学系１２２の並進補正量を算出し、減算器２４１で、積分器２０４の出力から補正光学系１２２の並進補正量を減算する。これによって、補正光学系１２２で補正しきれなかった並進補正量のみを画像変形部１２７で補正する（電子補正）構成としている。

以上のように、本発明の第２の実施形態においては、第１の実施形態の構成に加えて、補正光学系１２２によって、並進ブレ（振れの並進成分による像振れ）の補正を、光学的にも行う構成とした。これによって、並進方向の変形に必要な余剰画素を、更に小さく抑えることが可能となり、画像変形部１２７が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。

なお、第２の実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。

（第３の実施形態）
本発明の第１の実施形態である図１の撮像装置１００における、画像変形量演算部２００が実行する処理の第２の方法について、以下に図面を用いて詳細な説明を行う。

ここで、撮像装置に加わる角度振れによって生じる画像変形成分である並進とあおりの相関関係について説明する。（式２２）と（式２５）より、水平並進と水平あおりは、ともに角度θyの関数である。また、（式２３）と（式２６）より、垂直並進と垂直あおりは、ともに角度θpの関数である。このように、並進とあおりは互いに相関があることが分かる。したがって、画像の変形量の演算においては、並進補正量とあおり補正量の相関を保つように制御することによって、より精度の高い像振れ補正を行うことができる。図３の画像変形量演算部２００では、並進補正量、あおり補正量の演算をそれぞれ独立して行っており、相関関係については考慮されていなかった。そこで本実施形態においては、画像変形量演算部２００の処理は、以下に説明するように演算を行う。（式２２）（式２３）（式２５）（式２６）において、焦点距離ｆを１とすると、（式３０）（式３１）で表すことができる。

このとき、（式３０）、（式３１）に示すように、並進とあおりは大きさが同じであることが分かる。すなわち、並進補正量とあおり補正量は同様の特性で各種演算処理を施すように制御すれば、角度振れによって生じる並進の画像の変形量とあおりの画像変形量の相関を保つことが可能となる。なお、（式３０）、（式３１）では焦点距離ｆを１としたが、各種演算処理を施した後に焦点距離ｆを乗算あるいは除算すれば、最終的な並進補正量およびあおり補正量を求めることができる。

以下、図６のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図６において、図３と同様の構成には、同じ符号を付し、説明は省略する。図６の画像変形量演算部２００の構成は、図３に対し、あおりの演算に用いる飽和防止制御部２１５が削除され、ＨＰＦ２１１、積分器２１４、センタリング部２１３は飽和防止制御部２０５によって制御される構成となっている。また、焦点距離乗算部２０２および焦点距離除算部２１２の演算位置が異なっている。

飽和防止制御部２０５は、積分器２０４からの出力がリミッタ値に近づいたときに、ＨＰＦ２０１のカットオフ周波数を高域側に変更したり、積分器２０４の時定数を短くしたり、センタリング部２０３のセンタリング量を大きくする等の制御を行う。このようにして、飽和防止制御部２０５は並進補正量がリミッタ値に近づかないように、補正量を減衰させる制御を行うが、あおりの演算に対しても同様の特性で減衰させるように制御する点が、本実施形態におけるもっとも特徴とする点である。すなわち、飽和防止制御部２０５は、積分器２０４からの出力がリミッタ値に近づいたとき等に、ＨＰＦ２０１のカットオフ周波数を変更する場合は、ＨＰＦ２１１のカットオフ周波数をＨＰＦ２０１のカットオフ周波数と同じ値に変更する。あるいは、積分器２０４の時定数を変更する場合は、積分器２１４の時定数を積分器２０４の時定数と同じ値に変更する。あるいは、センタリング部２０３のセンタリング量を変更する場合は、センタリング部２１３のセンタリング量をセンタリング部２０３のセンタリング量と同じ値に変更する。

焦点距離乗算部２０２は、飽和防止制御部２０５の出力に、焦点距離演算部２３１によって算出された焦点距離ｆを乗算して得られる最終的な並進補正量を、画像変形量合成部２３０に供給する。

焦点距離除算部２１２は、積分器２１４の出力を焦点距離演算部２３１によって算出された焦点距離ｆで除算して得られる最終的なあおり補正量を、画像変形量合成部２３０に供給する。

以上説明したように、本発明の第３の実施形態においては、第１の実施形態の構成に加えて、並進補正量に応じてあおり補正量の演算に用いる減衰特性を変更する構成とした。これによって、並進、あおりの補正量の相関を保つことが可能となり、より簡単な構成で、良好な像振れ補正性能を実現することができる。なお、第３の実施形態においては、並進補正量に応じて並進補正量の減衰特性とあおり補正量の減衰特性の両方を変更する構成としたが、あおり補正量に応じて並進補正量の減衰特性とあおり補正量の減衰特性の両方を変更してもよい。

なお、第３の実施形態においては、補正量を減衰させる手段としてＨＰＦ、積分器、オフセットを減算することによるセンタリングを例に説明したが、これらに限られるものではなく、並進とあおりの演算における減衰の特性を同じにすることができれば、その他のフィルタリング処理等を用いてもよい。

なお、第３の実施形態においては、並進、あおり、回転の各変形成分の補正量の算出に、角速度センサ１０２の出力を用いたが、これは種々の変形が可能である。例えば、加速度センサを用いてもよいし、特許文献１に開示されているように、画像から動きベクトルを検出し、動きベクトルから、各変形成分を推定する方法を用いてもよい。

（第４の実施形態）
図７は、本発明の第４の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図７において、図１および図４と同様の構成には、同じ符号を付し、説明は省略する。図７は、図１の構成に対し、撮像画像のブレを光学的に補正する補正光学系１２２と、補正光学系１２２を制御するためのブロックが追加された構成となっている。また、補正光学系１２２は、画像変形量演算部２００の出力に応じて駆動するようになっている。

以下、図８のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図８において、図６と同様の構成には、同じ符号を付し、説明は省略する。図８の画像変形量演算部２００は、図６の構成に対し、並進補正量の演算において並進補正量振り分け部２５０および敏感度演算部２５１が追加された構成となっている。

並進補正量振り分け部２５０は、飽和防止制御部２０５からの出力である並進における補正量を、画像変形部１２７で補正する補正量と、補正光学系１２２で補正する補正量に分割し、それぞれ焦点距離乗算部２０２および敏感度演算部２５１に供給する。例えば、飽和防止制御部２０５の出力をｔ、画像変形部１２７で補正する割合をＡとすると、焦点距離乗算部２０２に供給される補正量ｔｅおよび、敏感度演算部２５１に供給される補正量ｔｏは、
ｔｅ＝Ａ×ｔ
ｔｏ＝（１−Ａ）×ｔ となる（ただし、０≦Ａ≦１）。

敏感度演算部２５１は、焦点距離演算部２３１の出力に応じて、各ズーム位置において最適な補正光学系１２２の駆動量を算出するための係数を算出し、並進補正量振り分け部２５１の出力に乗算して減算器１０８へと供給する。減算器１０８は、補正光学系１２２の位置を検出する位置検出部１１７の出力をＡ／Ｄ変換器１１８にてＡ／Ｄ変換し、デジタル化したデータを飽和防止制御部２５１の出力から減算し、その結果である偏差データを制御フィルタ１０９に供給する。敏感度演算部２５１の出力が、すなわち補正光学系１２２の駆動目標位置となる。

焦点距離乗算部２０２は、並進補正量振り分け部２５０の出力に、焦点距離演算部２３１によって算出された焦点距離ｆを乗算して得られる最終的な並進補正量を、画像変形量合成部２３０に供給する。

このようにして、画像の変形成分のうち、並進ブレ（振れの並進成分による像振れ）の補正を、画像変形と補正光学系の両方を用いて行うことができる。

以上のように、本発明の第４の実施形態においては、第３の実施形態の構成に加えて、補正光学系１２２によって、並進ブレ（振れの並進成分による像振れ）の補正を、光学的にも行う構成とした。これによって、並進方向の変形に必要な余剰画素を、更に小さく抑えることが可能となり、画像変形部１２７が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。また、並進補正量に応じてあおり補正量の演算に用いる減衰特性を変更する構成とすることにより、並進、あおりの補正量の相関を保つことが可能となり、より簡単な構成で、良好な像振れ補正性能を実現することができる。

なお、第４の実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。 （第５の実施形態）
本発明の第１の実施形態である図１の撮像装置１００における、画像変形量演算部２００が実行する処理の第３の方法について、以下に図面を用いて詳細な説明を行う。

ここで、撮像装置に加わる角度振れによって生じる画像変形成分である並進とあおりの相関関係について説明する。（式２２）と（式２５）、（式２３）と（式２６）より、並進とあおりの関係式は、（式３２）（式３３）で表すことができる。

（式３２）、（式３３）より、あおり補正量の大きさは、並進補正量をｆ²で除算することによって算出することができることが分かる。すなわち、あおり補正量は、並進補正量を算出し、その結果をｆ²で除算することにより算出することも可能である。

以下、図９のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図９において、図３と同様の構成には、同じ符号を付し、説明は省略する。図９の画像変形量演算部２００の構成は、図３に対し、あおりの演算に用いるＨＰＦ２１１、焦点距離除算部２１２、センタリング部２１３、積分器２１４、飽和防止制御部２１５が削除され、二乗焦点距離除算部２６０が追加された構成となっている。

二乗焦点距離除算部２６０は、飽和防止制御部２０５の出力である並進補正量をｆ²で除算することによってあおり補正量を算出し、画像変形量合成部２３０に供給する。これによって、本発明の第３の実施形態に示した構成よりもさらに簡単な構成で、並進、あおりの補正量の相関を保つことが可能となり、良好な像振れ補正性能を実現することができる。

なお、図９のブロック図では、並進補正量を演算した結果をｆ²で除算することによって、あおり補正量を算出したが、あおり補正量を演算した結果にｆ²を乗算する方法を用いても同じ効果を得ることができる。また図９のブロック図は、図３の構成をベースにした画像変形量演算部２００の構成であったが、図６の構成をベースにした図１０に示すブロック図のような構成にすることもできる。

以下、図１０のブロック図について説明する。図１０において、図６と同様の構成には、同じ符号を付し、説明は省略する。図１０の画像変形量演算部２００の構成は、図６に対し、あおりの演算に用いるＨＰＦ２１１、センタリング部２１３、積分器２１４が削除され、焦点距離除算部２１２への入力が、積分器２１４の出力から、飽和防止制御部２０５の出力へと変更されている点が異なる。

焦点距離除算部２１２は、飽和防止制御部２０５（事前演算部）の出力である、焦点距離ｆを乗算する前の並進補正量を、焦点距離ｆで除算することによってあおり補正量を算出し、画像変形量合成部２３０に供給する。これによって、図９に示した構成と同様に、簡単な構成で並進、あおりの補正量の相関を保つことが可能となり、良好な像振れ補正性能を実現することができる。

以上説明したように、本発明の第５の実施形態においては、第１の実施形態の構成あるいは第３の実施形態の構成に加えて、並進補正量に基づいてあおり補正量の演算を行う構成、あるいはあおり補正量に基づいて並進補正量の演算を行う構成とした。これによって、第３の実施形態の構成よりも更に簡単な構成で、並進、あおりの補正量の相関を保つことが可能となり、良好な像振れ補正性能を実現することができる。

なお、第５の実施形態においては、並進、あおり、回転の各変形成分の補正量の算出に、角速度センサ１０２の出力を用いたが、これは種々の変形が可能である。例えば、加速度センサを用いてもよいし、特許文献１に開示されているように、画像から動きベクトルを検出し、動きベクトルから、各変形成分を推定する方法を用いてもよい。

（第６の実施形態）
本発明の第２の実施形態である図４の撮像装置１００における、画像変形量演算部２００が実行する処理の第２の方法について、以下に図面を用いて詳細な説明を行う。図４の撮像装置１００は、前述したように、装置に加わる角度振れによって生じる画像の変形成分のうち、並進ブレ（振れの並進成分による像振れ）の補正を、画像変形部１２７と補正光学系１２２の両方を用いて行う構成である。

図１１は、図４の撮像装置１００における、画像変形量演算部２００の構成の一例を示すブロック図である。図１１において、図５と同様の構成には同じ符号を付し、説明は省略する。図１１は、図５の構成に対し、ＨＰＦ２１１、焦点距離除算部２１２、センタリング部２１３、積分器２１４、飽和防止制御部２１５を削除し、加算器２７０、二乗焦点距離除算部２７１を追加した構成となっている。

加算器２７０は、並進補正量換算部２４０の出力、すなわち補正光学系１２２によって補正された撮像面上での並進補正量（並進光学補正量演算）と、飽和防止制御部２０５の出力（並進電子補正量演算）、すなわち画像変形部１２７における並進補正量とを加算し、二乗焦点距離除算部２７１に供給する。二乗焦点距離除算部２７１は、加算器２７０の出力である、光学的な並進補正量と電子的な並進補正量とを加算した値をｆ²で除算することによってあおり補正量を算出し、画像変形量合成部２３０に供給する。二乗焦点距離除算部２７１の演算によって、あおり補正量を算出することができる理由は、（式３２）、（式３３）で説明した通りである。

なお、図１１のブロック図においては、補正光学系１２２で補正しきれなかった並進補正量を画像変形部１２７で補正する構成としているが、画像変形部１２７による並進補正は必須ではない。例えば、画像変形量演算部２００の構成は図１２に示すようなものであってもよい。図１２は、図１１の構成に対し、ＨＰＦ２０１、焦点距離乗算部２０２、センタリング部２０３、積分器２０４、飽和防止制御部２０５、加算器２７０を削除し、二乗焦点距離除算部２７１の入力を並進補正量換算部２４０からの出力に変更した構成となっている。つまり図１２の構成では、並進方向のブレの補正は補正光学系１２２のみによって行い、光学的な並進補正量を（式３２）、（式３３）に従って、ｆ²で除算することによってあおり補正量を算出している。

以上のように、本発明の第６の実施形態においては、補正光学系１２２によって並進ブレ（振れの並進成分による像振れ）の補正を光学的にも行う構成とし、あおり補正量を、光学的な並進補正量と電子的な並進補正量とを加算した値に基づいて算出する構成とした。また、電子的な並進補正を行わない場合には、あおり補正量を光学的な並進補正量に基づいて算出する構成とした。これによって、並進方向の変形に必要な余剰画素を小さくあるいはゼロに抑えることが可能となり、画像変形部１２７が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。また、並進補正量に基づいてあおり補正量を演算する構成とすることにより、並進、あおりの補正量の相関を保つことが可能となり、より簡単な構成で、良好な像振れ補正性能を実現することができる。

なお、第６の実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。 （第７の実施形態）
図１３は、本発明の第７の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図１３において、図１、図４、図７と同様の構成には、同じ符号を付し、説明は省略する。図１３は、図４の構成に対し、動きベクトル検出部１２６が追加された構成になっている。

図１３の撮像装置１００において、信号処理部１２４は、ビデオ信号（映像信号）を画像メモリ１２５及び動きベクトル検出部１２６に供給する。動きベクトル検出部１２６は、信号処理部１２４で生成された現在の映像信号に含まれる輝度信号と、画像メモリ１２５に格納された１フィールド前の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。動きベクトル検出部１２６によって検出された動きベクトルデータは、画像変形量演算部２００に供給される。

以下、図１４のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図１４において、図１１と同様の構成には同じ符号を付し、説明は省略する。

図１４において、並進補正量の演算は動きベクトル検出部１２６の出力に基づいて行う。動きベクトル検出部１２６の出力は、現在の画像と１フィールド前の画像から算出した、１フィールド間の水平方向及び垂直方向の並進ブレ（振れの並進成分による像振れ）量となる。なお、以下の説明において、水平方向の並進補正量及びあおり補正量の演算は、同様の処理を行うので、いずれか一方の制御に関してのみ説明を行う。

ＨＰＦ３０１には、動きベクトル検出部１２６の出力、すなわち１フィールド間の並進ブレ（振れの並進成分による像振れ）量が供給される。ＨＰＦ３０１は、任意の周波数帯域でその特性を変更し得る機能を有しており、上記並進ブレ（振れの並進成分による像振れ）量に含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ３０１は、本実施形態において必須の構成ではなく、動きベクトル検出部１２６からの出力をセンタリング部３０３に直接供給してもよい。

センタリング部３０３は、パンニング等により補正しきれない大きな像振れが生じたとき、補正量をゼロに戻すようなセンタリング量を、ＨＰＦ３０１の出力に対して加算する処理を行う。なおセンタリング部３０３は、本実施形態において必須の構成ではなく、ＨＰＦ３０１からの出力を積分器３０４に直接供給してもよい。

積分器３０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部３０３からの出力を積分し、飽和防止制御部３０５に供給する。積分器３０４によって、１フィールド間の並進ブレ（振れの並進成分による像振れ）量が積算され、並進ブレ（振れの並進成分による像振れ）を補正するために必要な補正量が演算されることとなる。

飽和防止制御部３０５は、積分器３０４からの出力がリミッタ値上とならないように、積分器３０４からの出力をリミットする制御を行う。また、飽和防止制御部３０５は、積分器３０４からの出力がリミッタ値に近づいたときに、ＨＰＦ３０１のカットオフ周波数を高域側に変更したり、積分器３０４の時定数を短くしたり、センタリング部３０３のセンタリング量を大きくする等の制御を行う。飽和防止制御部３０５の出力は、最終的な並進補正量となり、画像変形量合成部２３０に供給される。

加算器３０６は、並進補正量換算部２４０の出力、すなわち補正光学系１２２によって補正された撮像面上での並進補正量と、飽和防止制御部３０５の出力、すなわち画像変形部１２７における並進補正量とを加算し、二乗焦点距離除算部３０７に供給する。二乗焦点距離除算部３０７は、加算器３０６の出力である、光学的な並進補正量と電子的な並進補正量とを加算した値をｆ²で除算することによってあおり補正量を算出し、あおり補正量制限部３０８に供給する。

ここで、二乗焦点距離除算部３０７の演算によって、並進補正量からあおり補正量を算出することができる理由は、（式３２）、（式３３）によるものであった。（式３２）、（式３３）は、角度振れのみから算出した式であり、平行振れは考慮されていない。一方、動きベクトル検出部１２６によって検出された動きベクトルデータは、以下の成分が加算されたものである。すなわち、撮像装置に角度振れが加わったことによって生じる撮像画像の並進ブレ（振れの並進成分による像振れ）が、補正光学系１２２によって補正された後のブレ残り成分と、撮像装置に平行振れが加わったことによって生じる撮像画像の並進ブレ（振れの並進成分による像振れ）成分である。撮像画像のあおりは、撮像装置に角度振れが加わったときに発生し、平行振れによっては発生しないため、二乗焦点距離除算部３０７の演算結果を、そのまま最終的なあおり補正量として補正すると、平行振れの影響が大きいときは正しいあおり補正量とならない危険性がある。

そこで、あおり補正量制限部３０８は、撮像装置１００に生じた角度振れによって発生するあおり量以上の補正は行わないように、二乗焦点距離除算部３０７の出力を制限する制御を行う。以下、あおり補正量制限部３０８の制御について説明する。

あおり補正量制限部３０８には、Ａ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の角速度データが供給され、あおり補正量制限部３０８は、角速度データを１フィールドの間積分し、１フィールド間の振れ角度を算出する。１フィールド間の振れ角度をθｆとすると、１フィールド間のあおり量（ｖｆとする）は、焦点距離演算部２３１によって演算された撮像光学系１２０の焦点距離ｆを用いて、（式２５）（式２６）から（式３４）で表すことができる。

あおり補正量制限部３０８は（式３４）の演算を行う。また、１フィールド前のあおり補正量制限部３０８の出力をｖout(n-1)、現在のフィールドの二乗焦点距離除算部３０７の出力をｖin(n)、両者の差分をΔｖ(n)とすると、あおり補正量制限部３０８は（式３５）の演算を行う。

そして、あおり補正量制限部３０８は（式３４）と（式３５）の演算結果に応じて、あおり補正量制限部３０８の出力ｖout(n)を（式３６）、（式３７）、（式３８）のように決定する。

Δｖ(n)＞ｖf のとき、

のとき、
Δｖ(n)＜−ｖf のとき

上記以外のとき、

このように、あおり補正量制限部３０８において、角速度センサ１０２の出力から算出した角度振れに基づいて、あおり補正量に制限をかけることによって、平行振れの影響が大きいときのあおりの誤補正を防ぐことができる。あおり補正量制限部３０８の出力は、最終的なあおり補正量となり、画像変形量合成部２３０に供給される。

以上のように、本発明の第７の実施形態においては、第６の実施形態の構成において、角速度センサ１０２の出力のみを用いて補正していた並進ブレ（振れの並進成分による像振れ）の補正を、動きベクトル検出部１２６の出力も併用して用いる構成とした。これによって、補正光学系１２２による像振れ補正で補正しきれない並進成分を、動きベクトル検出部１２６によって検出し、その検出結果に基づいて上記並進成分を画像変形部１２７によって補正することにより、より精度の高い像振れ補正性能を実現することができる。また、並進補正量に基づいてあおり補正量を演算する構成とすることにより、並進、あおりの補正量の相関を保つことが可能となり、より簡単な構成で、良好な像振れ補正性能を実現することができる。このとき、角速度センサ１０２の出力に基づいて、あおり補正量に制限をかけることによって、平行振れの影響が大きいときのあおりの誤補正を防止することが可能となる。

なお、第７の実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。 （第８の実施形態）
図１５は、本発明の第８の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図１５において、図１、図１３と同様の構成には、同じ符号を付し、説明は省略する。図１５は、図１の構成に対し、動きベクトル検出部１２６が追加され、角速度センサ１０２と併用して振れの検出を行い画像変形部を制御する構成になっている。

図１５において、角速度センサ１０２は、回転方向の振れを検出するセンサであるが、撮像装置に加わる平行振れは検出することができなかった。一方、動きベクトル検出部１２６によって検出される動きベクトルデータは、以下の成分が加算されたものである。すなわち、角度振れによって生じる画像変形成分の並進ブレ（振れの並進成分による像振れ）と、平行振れによって生じる画像変形成分の並進ブレ（振れの並進成分による像振れ）とが含まれた並進ブレ（振れの並進成分による像振れ）として検出される。従って、動きベクトル検出部１２６を用いることで、平行振れによって生じる並進ブレ（振れの並進成分による像振れ）を加味した並進補正量を演算することができるので、より精度の高い像振れ補正を行うことができる。

ここで、あおり補正量の演算について説明する。前述したように、あおり補正量は並進補正量から算出することができた。並進補正量からあおり補正量を算出することができる理由は、（式３２）、（式３３）によるものである。しかしながら、（式３２）、（式３３）は、角度振れのみから算出した式であり、平行振れは考慮されていない。撮像画像に生じるあおりは、撮像装置に角度振れが加わったときに発生し、平行振れによっては発生しないため、平行振れによって生じる並進ブレ（振れの並進成分による像振れ）が含まれた並進補正量からおあり補正量を演算すると、あおり補正量に誤差が生じ、正しい補正ができない危険性がある。そこで、本実施形態における画像変形量演算部２００では、角度振れと平行振れを分離して演算し、あおり補正量は角度振れのみから算出する構成としている。

以下、図１６のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図１６において、図１１と同様の構成には同じ符号を付し、説明は省略する。なお、以下の説明において、水平方向と垂直方向の演算は、同様の処理を行うので、いずれか一方の制御に関してのみ説明を行う。

図１６において、符号３０１から３０５および３１５、３１６は、平行振れによる並進補正量の演算を行うためのブロックである。動きベクトル検出部１２６を用いて平行振れによって生じる並進成分を算出するのだが、前述したように、動きベクトル検出部１２６は角度振れによって生じる画像変形成分の並進ブレ（振れの並進成分による像振れ）と、平行振れによって生じる画像変形成分の並進ブレ（振れの並進成分による像振れ）とが含まれた並進ブレ（振れの並進成分による像振れ）として検出されるので、動きベクトル検出部１２６単独では両者を区別することはできない。そこで、動きベクトル検出部１２６の出力と角速度センサ１０２の出力を併用することにより、平行振れによって生じる並進成分を算出する。

動きベクトル検出部１２６からの出力は、動きベクトル減算部３１６に供給され、動きベクトル換算部３１７の出力が減算さる。動きベクトル換算部３１７は、焦点距離演算部２３１の出力とＡ／Ｄ変換器１０３の出力である角速度データを用いて、（式２２）、（式２３）から１フィールド間の並進ブレ（振れの並進成分による像振れ）に相当する量へと変換して出力する。すなわち動きベクトル減算部３１６は、動きベクトル検出部１２６で検出された並進ブレ（振れの並進成分による像振れ）量から、角度振れによって検出された並進ブレ（振れの並進成分による像振れ）を減算し、平行振れによって生じる並進ブレ（振れの並進成分による像振れ）のみをＨＰＦ３０１に供給している。

ＨＰＦ３０１は、任意の周波数帯域でその特性を変更し得る機能を有しており、上記並進ブレ（振れの並進成分による像振れ）量に含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ３０１は、本実施形態において必須の構成ではなく、動きベクトル減算部３１６からの出力をセンタリング部３０３に直接供給してもよい。

センタリング部３０３は、パンニング等により補正しきれない大きなブレが生じたとき、補正量をゼロに戻すようなセンタリング量を、ＨＰＦ３０１の出力に対して加算する処理を行う。なおセンタリング部３０３は、本実施形態において必須の構成ではなく、ＨＰＦ３０１からの出力を積分器３０４に直接供給してもよい。

積分器３０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部３０３からの出力を積分し、飽和防止制御部３０５に供給する。積分器３０４によって、１フィールド間の平行振れによって生じる並進ブレ（振れの並進成分による像振れ）量が積算され、並進ブレ（振れの並進成分による像振れ）を補正するために必要な補正量が演算されることとなる。

飽和防止制御部３０５は、積分器３０４からの出力がリミッタ値以上とならないように、積分器３０４からの出力をリミットする制御を行う。また、飽和防止制御部３０５は、積分器３０４からの出力がリミッタ値に近づいたときに、ＨＰＦ３０１のカットオフ周波数を高域側に変更したり、積分器３０４の時定数を短くしたり、センタリング部３０３のセンタリング量を大きくする等の制御を行う。飽和防止制御部３０５の出力は、平行振れによって生じる並進ブレ（振れの並進成分による像振れ）の補正量となり、画像変形量合成部２３０に供給される。

次に、角度振れによって生じる画像変形成分を算出するための符号３１１から３１５のブロックについて説明する。ＨＰＦ３１１には、Ａ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向またはＲＯＬＬ方向の角速度データが供給される。ＨＰＦ３１１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ３１１は、本実施形態において必須の構成ではなく、Ａ／Ｄ変換器１０３からの出力をセンタリング部３１２に直接供給してもよい。

センタリング部３１２は、撮像装置１００のＹＡＷ方向またはＰＩＴＣＨ方向またはＲＯＬＬ方向に対して、パンニングや補正しきれない大きな角度振れが生じたとき、補正量をゼロに戻すような入力値（以下、センタリング量とする）を、ＨＰＦ３１１の出力に対して加算する処理を行う。なおセンタリング部３１２は、本実施形態において必須の構成ではなく、ＨＰＦ部３１１からの出力を積分器３１３に直接供給してもよい。

積分器３１３は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部３１２からの出力を積分し角度データとして、飽和防止制御部３１４に供給する。飽和防止制御部３１４は、積分器３１３からの出力がリミッタ値以上とならないように、積分器３１３からの出力をリミットする制御を行う。また、飽和防止制御部３１４は、積分器３１３からの出力がリミッタ値に近づいたときに、ＨＰＦ３１１のカットオフ周波数を高域側に変更したり、積分器３１３の時定数を短くしたり、センタリング部３１２のセンタリング量を大きくする等の制御を行う。飽和防止制御部３１４の出力は、像振れ補正の対象となる角度データとなり、画像変形量演算部３１５に供給される。

画像変形量演算部３１５は、焦点距離演算部２３１の出力と、飽和防止制御部３１４の出力、すなわち撮像装置に加わる角度振れのうち、像振れ補正の対象となる角度データが供給されている。画像変形量演算部３１５は、角度データから角度振れによって生じる画像変形量を算出する。ここで、角度データから画像変形量を算出するには、（式１１）、（式１２）に従って、（式１）の射影変換行列を算出すればよい。画像変形量演算部３１５は、算出した射影変換行列の各要素の値を、画像変形量合成部２３０へと出力する。

画像変形量合成部２３０は、平行振れから算出した並進補正量を、角度振れから算出した射影変換行列に加算して出力する。ここで、画像変形量算出部３１５で算出した（式１）の射影変換行列のうち、水平並進ｔｘおよび垂直並進ｔｙは、（式１３）から、

であることが分かる。従って、射影変換行列に平行振れから算出した並進補正量を加算するには、加算後の射影変換行列をＨｓｔｂ、平行振れから算出した並進補正量をｔｓｈｘ、ｔｓｈｙとすると、（式４１）のように算出できる。

画像変形部１２７では、画像変形量合成部２３０からの出力に基づいて、画像変形による像振れ補正が行われる。

以上のように、本発明の第８の実施形態においては、第１の実施形態の構成において、角速度センサ１０２の出力のみを用いて検出していた画像変形成分を、動きベクトル検出部１２６の出力も併用して演算する構成とした。これによって、角速度センサ１０２では検出することができなかった平行振れによる並進ブレ（振れの並進成分による像振れ）を動きベクトル検出部１２６によって検出し、その検出結果に基づいて上記並進成分を画像変形部１２７によって補正することができる。このとき、動きベクトル検出部１２６によって検出される並進ブレ（振れの並進成分による像振れ）量から、角速度センサ１０２によって算出される並進ブレ（振れの並進成分による像振れ）補正量を減算することによって平行振れによる並進ブレ（振れの並進成分による像振れ）補正量を求め、角度振れから算出した射影変換行列に合成して補正することにより、より精度の高い像振れ補正性能を実現することが可能となる。また、あおり補正量は、角速度センサ１０２によって得られる角度振れに基づいて演算する構成とすることにより、角度振れによって生じる並進、あおりの補正量の相関を保つことが可能となり、より簡単な構成で、良好な像振れ補正性能を実現することができる。

なお、図１６のブロック図では、角度振れによる画像変形量の算出において、角度データ（積分器の出力）に応じて、ＨＦＰのカットオフ周波数や積分器の時定数、あるいはセンタリング部のセンタリング量を制御する構成であったが、画像変形量の各変形成分に応じて制御する方法を用いても同じ効果を得ることができる。

以下、図１７のブロック図について説明する。図１７において、図１６と同様の構成には、同じ符号を付し、説明は省略する。図１７の画像変形量演算部２００の構成は、図１６に対し、飽和防止制御部３１４には画像変形量演算部３１５の出力が供給されており、飽和防止制御部３１４は、画像変形量に応じてＨＰＦ３１１、センタリング部３１２、積分器３１３を制御する構成となっている点が異なる。

画像変形量演算部３１５は、焦点距離演算部２３１の出力と、積分器３１３の出力、すなわち撮像装置に加わる角度データが供給されている。画像変形量演算部３１５は、角度データから角度振れによって生じる画像変形量を算出し、飽和防止制御部３１４へと出力する。

飽和防止制御部３１４は、画像変形量演算部３１５から出力される画像変形成分のうち、（式１３）の水平並進がリミッタ値に近づいたときに、ＹＡＷ方向の角度データの演算に用いるＨＰＦ３１１のカットオフ周波数を高域側に変更したり、積分器３１３の時定数を短くしたり、センタリング部３１２のセンタリング量を大きくする等の制御を行う。同様に、垂直並進に対してはＰＩＴＣＨ方向、回転角に対してはＲＯＬＬ方向を対応付けることにより、図１６に示した構成と同様の効果を得ることができる。また、水平並進の代わりに水平あおり、垂直並進の代わりに垂直あおりを用いても同様の効果を得ることができる。

（第９の実施形態）
本発明の第７の実施形態である図１３の撮像装置１００における、画像変形量演算部２００が実行する処理の第２の方法について、以下に図面を用いて詳細な説明を行う。図１３の撮像装置１００は、前述したように、装置に加わる角度振れおよび平行振れの検出を、角速度センサ１０２と動きベクトル検出部１２６の両方を用いて行う構成である。また、図１３は、図１５の構成に対し、撮像画像のブレを光学的に補正する補正光学系１２２と、補正光学系１２２を制御するためのブロックが追加された構成となっている。

以下、図１８のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、図１８において、図１７と同様の構成には同じ符号を付し、説明は省略する。図１８は、図１７の構成に対し、並進補正量換算部２４０、動きベクトル加算部３１８を追加した構成となっている。

図１８において、前述したように、符号３０１から３０５および３１５、３１６は、平行振れによる並進補正量の演算を行うためのブロックである。撮像画像のブレを光学的に補正する撮像装置の場合、動きベクトル検出部１２６で検出される並進ブレ（振れの並進成分による像振れ）量は、以下の成分が加算されたものである。すなわち、撮像装置に角度振れが加わったことによって生じる撮像画像の並進ブレ（振れの並進成分による像振れ）が、補正光学系１２２によって補正された後のブレ残り成分と、撮像装置に平行振れが加わったことによって生じる撮像画像の並進ブレ（振れの並進成分による像振れ）成分である。従って、動きベクトル検出部１２６の出力から、撮像装置に平行振れが加わったことによって生じる撮像画像の並進ブレ（振れの並進成分による像振れ）成分を抽出するため、以下のような演算を行う。

動きベクトル加算部３１８は、動きベクトル検出部１２６の出力と、並進補正量換算部２４０の出力、すなわち補正光学系１２２によって補正された撮像面上での並進補正量を加算して出力する。これによって、撮像装置に振れが加わったことによって生じる撮像画像の並進ブレ（振れの並進成分による像振れ）成分（補正光学系１２２によって補正されなかった場合の撮像画像に相当する並進ブレ（振れの並進成分による像振れ）成分）を求めることができる。ここでの振れとは、角度振れと平行振れの両方が含まれている。

次に、動きベクトル減算部３１６は、動きベクトル加算部３１８の出力から、動きベクトル換算部３１７の出力、すなわち１フィールド間の角度振れによって生じる並進ブレ（振れの並進成分による像振れ）に相当する量を減算して出力する。このようにして、動きベクトル検出部１２６の出力から、平行振れによって生じる並進ブレ（振れの並進成分による像振れ）のみ抽出してＨＰＦ３０１に供給する。符号３０１から３０５は、図１７と同様であるので説明は省略する。また、角度振れによって生じる画像変形成分を算出するための符号３１１から３１５のブロックについても、図１７と同様であるので説明は省略する。

画像変形量合成部２３０は、画像変形量演算部３１５の出力および並進補正量換算部２４０の出力が供給されており、角度振れから算出した射影変換行列に平行振れから算出した並進補正量を加算して出力する。また、画像変形量演算部３１５から出力される射影変換行列には、補正光学系１０２によって補正された並進ブレ（振れの並進成分による像振れ）成分も含まれているので、上記並進ブレ（振れの並進成分による像振れ）成分である並進補正量換算部２４０の出力を減算する必要がある。これらの並進成分の演算は、前述したように、（式３９）、（式４０）から、（式１）の射影変換行列の要素のうち、ｈ３とｈ６に加減算すればよい。すなわち、最終的な画像変形量である射影変換行列Ｈｓｔｂは、平行振れから算出した並進補正量をｔｓｈｘ、ｔｓｈｙ、補正光学系１０２で補正された並進ブレ（振れの並進成分による像振れ）成分をｔｏｉｓｘ、ｔｏｉｓｙとすると、（式４２）のように算出できる。

画像変形部１２７では、画像変形量合成部２３０からの出力に基づいて、画像変形による像振れ補正が行われる。

以上のように、本発明の第９の実施形態においては、第８の実施形態の構成に加えて、補正光学系１２２によって、並進ブレ（振れの並進成分による像振れ）の補正を、光学的にも行う構成とした。これによって、並進方向の変形に必要な余剰画素を、更に小さく抑えることが可能となり、画像変形部１２７が出力することのできる画素数をできるだけ大きく保ち、画質の劣化を最小限に抑えることができる。

また、角速度センサ１０２の出力に加えて、動きベクトル検出部１２６の出力も併用して補正量の演算を行うことにより、平行振れによる並進ブレ（振れの並進成分による像振れ）を検出し、その検出結果に基づいて上記並進成分を画像変形部１２７によって補正することができ、より精度の高い像振れ補正性能を実現することが可能となる。

また、あおり補正量は、角速度センサ１０２によって得られる角度振れに基づいて演算する構成とすることにより、角度振れによって生じる並進、あおりの補正量の相関を保つことが可能となり、より簡単な構成で、良好な像振れ補正性能を実現することができる。

なお、第９の実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

Claims (6)

1. 撮像画像に発生する像ブレの並進成分を補正するための第１の補正量を、角速度検出手段の出力に基づいて演算する並進補正量演算手段と、
   撮像画像に発生する像ブレのあおり成分を補正するための第２の補正量を、前記角速度検出手段の出力に基づいて演算するあおり補正量演算手段と、
   前記第１の補正量及び第２の補正量に基づいて、撮像画像の像ブレを補正する像ブレ補正手段を制御するブレ補正制御手段と、
   撮像装置がパンニング状態と判定された場合、前記並進成分及び前記あおり成分の補正量を減らすように、前記並進補正量演算手段のハイパスフィルタのカットオフ周波数及び前記あおり補正量演算手段のハイパスフィルタのカットオフ周波数を大きくするとき、前記並進補正量演算手段のハイパスフィルタのカットオフ周波数及び前記あおり補正量演算手段のハイパスフィルタのカットオフ周波数を同じ値に変更する補正量制御手段と、
   を備えることを特徴とする画像処理装置。
2. 撮像画像に発生する像ブレの並進成分を補正するための第１の補正量を、角速度検出手段の出力に基づいて演算する並進補正量演算手段と、
   撮像画像に発生する像ブレのあおり成分を補正するための第２の補正量を、前記角速度検出手段の出力に基づいて演算するあおり補正量演算手段と、
   前記第１の補正量及び第２の補正量に基づいて、撮像画像の像ブレを補正する像ブレ補正手段を制御するブレ補正制御手段と、
   撮像装置がパンニング状態と判定された場合、前記並進成分及び前記あおり成分の補正量を減らすように、前記並進補正量演算手段の積分手段の時定数及び前記あおり補正量演算手段の積分手段の時定数を小さくするとき、前記並進補正量演算手段の積分手段の時定数及び前記あおり補正量演算手段の積分手段の時定数を同じ値に変更する補正量制御手段と、
   を備えることを特徴とする画像処理装置。
3. 前記角速度検出手段の出力に基いて角度振れ量を算出する角度振れ算出手段をさらに備え、
   前記並進補正量演算手段は、前記角度振れ算出手段で算出された角度振れ量を用いて第１の補正量を算出し、
   前記あおり補正量演算手段は、前記第１の補正量に基いて前記第２の補正量を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記あおり補正量演算手段は、前記第１の補正量を撮像光学系の焦点距離の二乗で除算することで前記第２の補正量を算出することを特徴とする請求項３に記載の画像処理装置。
5. 撮像画像に発生する像ブレの並進成分を補正するための第１の補正量を、角速度検出手段の出力に基づいて演算する並進補正量演算工程と、
   撮像画像に発生する像ブレのあおり成分を補正するための第２の補正量を、前記角速度検出手段の出力に基づいて演算するあおり補正量演算工程と、
   前記第１の補正量及び第２の補正量に基づいて、撮像画像の像ブレを補正する像ブレ補正手段を制御するブレ補正制御工程と、
   撮像装置がパンニング状態と判定された場合、前記並進成分及び前記あおり成分の補正量を減らすように、前記並進補正量演算工程でのハイパスフィルタのカットオフ周波数及び前記あおり補正量演算工程でのハイパスフィルタのカットオフ周波数を大きくするとき、前記並進補正量演算工程でのハイパスフィルタのカットオフ周波数及び前記あおり補正量演算工程でのハイパスフィルタのカットオフ周波数を同じ値に変更する補正量制御工程と、
   を有することを特徴とする画像処理装置の制御方法。
6. 撮像画像に発生する像ブレの並進成分を補正するための第１の補正量を、角速度検出手段の出力に基づいて演算する並進補正量演算工程と、
   撮像画像に発生する像ブレのあおり成分を補正するための第２の補正量を、前記角速度検出手段の出力に基づいて演算するあおり補正量演算工程と、
   前記第１の補正量及び第２の補正量に基づいて、撮像画像の像ブレを補正する像ブレ補正手段を制御するブレ補正制御工程と、
   撮像装置がパンニング状態と判定された場合、前記並進成分及び前記あおり成分の補正量を減らすように、前記並進補正量演算手段の積分手段の時定数及び前記あおり補正量演算手段の積分手段の時定数を小さくするとき、前記並進補正量演算手段の積分手段の時定数及び前記あおり補正量演算手段の積分手段の時定数を同じ値に変更する補正量制御工程と、
   を有することを特徴とする画像処理装置の制御方法。

Images