JP6223135B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置の像振れ補正技術に関するものである。

コンパクトデジタルカメラや一眼レフカメラ、ビデオカメラ等の撮像装置では、撮影者の手振れ等に起因した像振れや、図形の歪みによる画質低下が発生し得る。近年、レンズのワイド化や撮像センサの高画素化に伴って生じる画質低下を防ぐための技術が求められている。

特許文献１には、撮像装置の振れを検出し、撮像光学系を構成する光学部材（シフトレンズ等）を駆動させることで、像振れを低減させる撮像装置が開示されている。また特許文献２には、画像の幾何変形処理によって図形の歪みを補正する撮像装置が開示されている。

特開２００１−２４９２７６号公報 特開２００６−１２７０８３号公報

特許文献１に開示の技術では、大きな像振れを低減させる場合、光学部材を大きく駆動させる必要がある。このため、局所的に大きな画質低下が生じる可能性がある。局所的に解像度の低下が発生する現象（いわゆる片ボケ）や、光学系の偏心によって図形の歪みが対称的な特性を示さなくなる現象等への対策を講じる必要が生じる。尚、図形の歪みについては、特許文献２に開示の技術で補正できるが、光学系が偏心している場合、図形の歪みが対称ではないことが問題となる。つまり、図形の歪みを補正しても、局所的に画質低下の大きい領域が生じる可能性がある。
本発明の目的は、像振れ補正処理に伴って生じ得る画質低下を抑えつつ、像振れ補正された良好な映像を得ることである。

上記課題を解決するために、本発明に係る装置は、撮像光学系を構成する補正手段により画像の像振れ補正を行う撮像装置であって、撮像装置の振れを検出する振れ検出手段と、前記振れ検出手段による振れ検出情報を取得して前記補正手段を制御する制御手段と、前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出し、撮像された画像に対する幾何変形処理を行う処理手段と、前記撮像光学系の光学情報を取得して、前記処理手段により幾何変形処理が行われた複数の画像に係る合成率を算出する合成率算出手段と、前記合成率算出手段により算出された合成率を取得して、前記複数の画像を合成する画像合成手段と、を備える。

本発明によれば、像振れ補正処理に伴って生じ得る画質低下を抑えつつ、像振れ補正された良好な映像を得ることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 幾何変形処理を説明する概念図である。 画像合成処理における小領域の分割例を示す図である。 本実施形態の制御を説明するフローチャートである。 光学系のレンズ移動を説明する図である。 光学データベースに格納されている歪曲特性（Ａ）、およびレンズ移動による歪曲特性の変化（Ｂ）を例示する図である。 光学データベースに格納されている解像度特性（Ａ）、およびレンズ移動による解像度特性の変化（Ｂ）を例示する図である。 画像の合成率の算出処理を説明する図である。

以下に本発明の実施形態に係る撮像装置を説明する。本実施形態に係る撮像装置は、振れ検出情報を取得して光学的に像振れを補正する補正手段と、撮像された画像に対する幾何変形処理を行う補正手段を備える。
図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。
撮像光学系１０１は、焦点調節用のフォーカスレンズ等を備え、レンズ群を通過して結像した光学像は、撮像素子１０３によって光電変換される。撮像素子１０３の出力信号はカメラ信号処理部１０５に入力され、ホワイトバランス処理や、色（輝度および色差信号）変換、γ補正等が施される。処理後の画像信号は第１メモリ１０６に記憶される。

幾何変形処理部１０７は、幾何変形量に基づいて、幾何変形処理に必要となる画素群を第１メモリ１０６に記憶させる。幾何変形量は後述の幾何変形量算出部１０８から入力される。第１メモリ１０６は、入力された前記画素群に基づいて、格納されている映像信号のうち、前記画素群に相当するメモリアドレスのデータを幾何変形処理部１０７に出力していく。幾何変形処理部１０７は、順次読み出された映像信号と前記幾何変形量に基づいて、出力画素における補間画素を生成することで、像振れ補正後の出力画像を生成する。幾何変形処理部１０７が生成した出力画像のデータは、第２メモリ１０９に格納される。
第２メモリ１０９は複数枚の画像のデータを保持しており、該データを画像合成処理部１１０に出力する。画像合成処理部１１０は画像合成処理により１枚の画像としてデータを出力する。つまり、複数枚の画像のデータは、後述の合成率算出部１１４が算出する合成率に基づいて画像合成される。尚、本実施形態では、２枚の画像を合成する事例を説明する。合成処理後の画像データは、記録制御部により記録媒体に記録され、また表示装置の画面上に表示される。

システム制御部１１５は撮像装置全体の動作を制御する。システム制御部１１５は、撮像光学系１０１の焦点距離、絞り値、フォーカス位置の制御や、撮像素子１０３の駆動制御、像振れ補正のためのレンズ駆動制御等を行う。
振れ検出部１１１は、手振れや撮影者の体の揺れ等の撮像装置の振れを検出して、振れ検出信号をシステム制御部１１５に出力する。振れ検出には、ジャイロセンサを使用する検出法や、撮像した画像より求めた動きベクトル情報を使用する検出法等がある。

光学情報取得部１１２、幾何変形量算出部１０８、幾何変形処理部１０７は、撮像光学系１０１の光学情報を取得して、像振れ補正を行う際の幾何変形量を算出し、撮像された画像に対する幾何変形処理を行う。光学情報取得部１１２は、システム制御部１１５から撮像光学系１０１の像振れ補正時の駆動量情報、またはこれに対応する補正角の情報に基づいて、光学データベース（以下、ＤＢと略記する）の記憶部から光学情報を取得する。そして光学情報取得部１１２は、像振れ補正光学系の状態に応じた幾何変形パラメータを幾何変形量算出部１０８に出力する。幾何変形量算出部１０８は幾何変形パラメータを取得して幾何変形量を算出し、幾何変形処理部１０７に出力する。
合成率算出部１１４は、光学情報取得部１１２から光学情報を取得して合成率を算出し、画像合成処理部１１０に出力する。尚、合成率の算出方法の詳細については後述する。

次に、幾何変形処理部１０７が行う幾何変形処理の詳細を説明する。
本実施形態では、出力画像に画素データの欠落等が生じないよう、図２に示す出力画像の座標（Xo，Yo）に基づき、入力画像上で画素のサンプリング及び補間を行うことで，幾何変換処理を実現する。幾何変形量算出部１０８は出力画像上の画素を順次スキャンし、光学情報取得部１１２から入力される光学情報に基づいて、出力画像上の画素座標を入力画像上の画素座標（X，Y）に変換する処理を行う。

幾何変形処理部１０７は，幾何変形量算出部１０８からの入力画像上の画素座標（X，Y）に基づいてサンプリングを行い、補間により出力画素のデータを生成する。補間処理としては、例えば、４箇所の近傍の画素データを用いて線形補間を行うバイリニア補間処理が使用される。補間処理では、必要となるサンプリング座標近傍の画素群が異なるので、幾何変形処理部１０７は、幾何変形量算出部１０８から入力される画素座標（X，Y）、および補間に必要となる近傍の画素群の座標（Xnb，Ynb）の情報を第１メモリ１０６に記憶させる。幾何変形処理部１０７から入力される座標情報に従って、第１メモリ１０６からは補間処理に必要となるサンプリング画素近傍の画素値群が読み出され、幾何変形処理部１０７に送られる。

次に、画像合成処理の詳細について説明する。
画像合成処理部１１０は、連続して撮影された複数枚の画像群のデータを合成する。画像群のデータは第２メモリ１０９から読み出される。画像合成処理は、合成率Gに基づく重み付け合成処理である。例えば２フレームの合成処理を行うものとし、１枚目の画像の画素をI1(x,y)とし、２枚目の画像の画素をI2（x,y）とし、合成後の画像の画素をIg（x,y）とする。下記の計算式から合成画像の画素データが算出される。

尚、３フレーム以上の画像合成処理の場合には、画像ごとに求められる合成率Gn（ｎは自然数の変数を表す）を正規化する必要があるため、下式を用いる。

また、本実施形態において、合成率は画像を複数に分割した領域ごとに算出される。図３に示すXSIZEは水平方向の画像サイズを示し、YSIZEは垂直方向の画像サイズを示している。被写体像４０２を含む撮影画像は複数の小領域４０１に分割される。小領域４０１は水平サイズがxsizeで、垂直サイズがysizeである。合成率は分割されたそれぞれの小領域４０１について算出される。小領域４０１の水平方向の座標をmとし、垂直方向の座標をnとしたとき、合成率（合成係数）はG（m,n）で表現される。尚、合成率の算出方法については後述する。

次に、図４のフローチャートを参照して、本実施形態における処理について説明する。
Ｓ４０１でシステム制御部１１５は、カウント変数Ｎの値をゼロに初期化する。カウント変数Ｎは、撮影枚数の計数に使用する。Ｓ４０２でシステム制御部１１５は、振れ検出部１１１より振れ検出情報を取得する。Ｓ４０３でシステム制御部１１５は、振れ検出部１１１による振れ検出情報に基づいて、撮像光学系１０１のレンズ駆動情報を算出する。本実施形態では、撮像光学系１０１の一部をなす光学部材（シフトレンズ等の補正レンズ）を移動させることで、像振れ補正制御を実現する。

図５は、撮像光学系１０１のシフトレンズを駆動する様子を示したものである。水平方向の座標軸と垂直方向の座標軸は、撮像光学系１０１の光軸に直交するように設定されており、（Ｉ）ないし（ＶＩ）は第１ないし第４象限をそれぞれ示している。シフトレンズを駆動する前の撮像光学系１０１（実線の枠６０２参照）の中心を、座標６０１で示す。つまり、座標６０１を中心として、第１ないし第４象限に分割した領域で、撮像光学の中心の移動方向を表現することとする。例えば、撮像光学系１０１は、振れ検出情報に基づいて駆動される場合（破線の枠６０３参照）、光学中心が、座標６０１の位置から座標６０４の位置に移動して偏心する。撮像光学系１０１の駆動前の光学中心を示す座標６０１から、駆動後の光学中心を示す座標６０４への移動量を、画素数に換算した値をSh，Svとする。Shは水平方向の移動量であり、Svは垂直方向の移動量である。レンズ駆動情報は、移動量の情報を含む。尚、撮像光学系１０１を構成する一部の光学部材を、チルト動作させることで像振れ補正制御を実現してもよい。

図４のＳ４０４で光学情報取得部１１２は、システム制御部１１５から取得した、光学条件（絞り、ズーム位置、フォーカス位置等）を示す光学駆動情報に基づいて、光学ＤＢ１１３より光学情報を取得する。光学情報は、歪曲収差特性と解像度特性を含む。光学ＤＢ１１３は、像高に応じた撮像光学系１０１の歪曲収差特性を示す画像の歪み量のデータを保持しており、該データは記憶部に記憶されている。光学情報取得部１１２は、撮像光学系１０１の駆動情報に基づいて、撮影画像の小領域における歪曲量と解像度特性を算出する。

図６（Ａ）は、本実施形態における撮像光学系１０１の歪曲収差特性を例示する。横軸は像高Ｈを示す。縦軸は画像の歪み量Ｄ（Ｈ）、即ち収差量を示し、正方向の量は外方向への歪み量、負方向の量は内方向への歪み量を示す。点線のグラフ７０１−１と、実線のグラフ７０１−２は、異なる光学条件（絞り、ズーム位置、フォーカス位置等）における画像の歪み量をそれぞれ示したものである。光学ＤＢ１１３は、所定の像高間隔７０３でプロットされた複数の値７０２を記憶部に保持している。尚、所定の像高における画像の歪み量については、光学情報取得部１１２にて、プロットされた複数の値７０２を用いて、既知の補間演算によって算出される。

図７（Ａ）は、本実施形態における解像度特性を例示する。横軸は像高Ｒを示し、縦軸は画像の解像度（ＭＴＦ）を示す。ＭＴＦ（Modulation Transfer Function）値が大きいほど、解像度が高いことを示す。グラフ１００１−１〜１００１−３は、異なる光学条件（絞り、ズーム位置、フォーカス位置等）における特性をそれぞれ示したものである。光学ＤＢ０１１３は、所定の像高間隔１００３でプロットされた複数の値１００２を記憶部に保持している。尚、プロットの間隔は、図３で示した小領域４０１のサイズ（ｘｓｉｚｅ，ｙｓｉｚｅ）を像高値に変換した値である。また、所定の像高における解像度については、光学情報取得部１１２にて、プロットされた複数の値１００２を用いて補間演算によって算出される。

本実施形態において、光学ＤＢ０１１３に格納されている光学情報は、撮像光学系１０１の光学中心と撮像中心が一致している状態での情報である。従って、像振れ補正処理によって撮像光学系１０１の光学中心が移動量（Sh,Sv）で移動した場合には、光学情報が算出される。以下、その算出方法を説明する。

図６（Ｂ）は、歪曲収差特性が像振れ補正時のシフトレンズの駆動によって変化する様子を示す。横軸は像高Ｈを示し、縦軸は歪み量Ｄ（Ｈ）を示す。グラフ８０１は、撮像光学系１０１のシフトレンズが像振れ補正制御によって駆動されていない状態での歪曲収差特性を示す。このデータは、光学ＤＢ１１３に保持されているデータである。例えば、シフトレンズが上方向に画素換算でＫ画素だけ移動した場合を想定する。垂直方向の歪曲収差特性に関し、図５の第１および第２象限については、グラフ８０１を画素換算でＫ画素だけ上方向（図６（Ｂ）では右方向）にシフトしたグラフ８０２が算出される。また、第３および第４象限については、グラフ８０１を画素換算でＫ画素だけ下方向（図６（Ｂ）では左方向）にシフトしたグラフ８０３が算出される。このような像高方向におけるシフト処理により、像振れ補正時の歪曲収差特性を算出することができる。

図５に示す第１ないし第４象限において、水平方向におけるシフトレンズの移動量をShとし、垂直方向におけるシフトレンズの移動量をSvと記し、座標（h,v）における小領域の歪曲特性をDh(h,v)とDv(h,v)で表すものとする。この場合、水平画像サイズXSIZE、および垂直画像サイズYSIZEを用いて、歪曲特性は下式で示される。

・シフト方向が第１象限（Ｉ）内である場合

・シフト方向が第２象限（ＩＩ）内である場合

・シフト方向が第３象限（ＩＩＩ）内である場合

・シフト方向が第４象限（ＩＶ）内である場合

図７（Ｂ）は、解像度特性が、図６（Ｂ）の場合と同様に変化する様子を示す。横軸は像高Ｒを示し、縦軸は解像度特性を示す。グラフ１１０１は、撮像光学系１０１のシフトレンズが像振れ補正制御によって駆動されていない状態での解像度特性を示す。例えば、シフトレンズが上方向に画素換算でＫ画素だけ移動した場合を想定する。垂直方向の解像度特性に関し、図５の第１および第２象限については、グラフ１１０１を画素換算でＫ画素だけ上方向（図７（Ｂ）では右方向）にシフトしたグラフ１１０２が算出される。また、第３および第４象限については、グラフ１１０１を画素換算でＫ画素だけ下方向（図７（Ｂ）では左方向）にシフトしたグラフ１１０３が算出される。像高方向のオフセットに基づくグラフ線の移動により、像振れ補正時の解像度特性を算出することができる。

図５に示す第１ないし第４象限において、水平方向におけるシフトレンズの移動量をShとし、垂直方向におけるシフトレンズの移動量をSvと記し、座標（h,v）における小領域の解像度特性をMh(h,v)とMv(h,v)で表すものとする。この場合、水平画像サイズXSIZE、および垂直画像サイズYSIZEを用いて、解像度特性は下式で示される。

・シフト方向が第１象限（Ｉ）内である場合

・シフト方向が第２象限（ＩＩ）内である場合

・シフト方向が第３象限（ＩＩＩ）内である場合

・シフト方向が第４象限（ＩＶ）内である場合

尚、図５の横軸および縦軸に対して斜め方向にシフトレンズが移動する場合には、移動量を水平方向と垂直方向における各シフト量の成分にそれぞれ分解して、各方向の光学情報を算出する処理が行われる。

以上のように、像振れ補正制御によって像振れ補正光学系に係る（Sh , Sv）の移動が行われた場合に光学情報を算出することができる。光学ＤＢ１１３が光学情報を、撮像光学系１０１の像振れ補正制御による駆動量ごとに持つ場合には、像振れの補正状況に応じて参照する光学情報を切り替えて光学情報を算出する構成にしてもよい。

図４のＳ４０５でシステム制御部１１５は、撮像光学系１０１に対して光学系駆動情報に基づいて駆動指示を出し、光学的な像振れ補正制御が実行される。Ｓ４０６では、撮像光学系１０１の像振れ補正制御が行われた状態で、撮像素子１０３により撮像動作が実行される。撮像された画像のデータは第１メモリ１０６に保存される。Ｓ４０７で幾何変形量算出部１０８は、光学情報取得部１１２からの光学情報を取得して幾何変形パラメータの値を算出する。既知の方法により、入力される出力画像上の画素ごとの座標を、入力画像上のサンプリング画像に順次変換する座標演算が行われる。具体的には、幾何変換前の座標を（X，Y）とし、座標移動ベクトルを（dcx，dcy）とし、幾何変形処理後の座標（Xc，Yc）とすると、幾何変形処理後の座標は下式で求められる。

Ｓ４０８で幾何変形処理部１０７は、第１メモリ１０６に保存された画像データを読み出して、該データに対して、Ｓ４０７で算出された幾何変形座標情報を用いて、幾何変形処理を行う。Ｓ４０９では、幾何変形処理を行った画像のデータが、第２メモリ１０９にＮ枚目の画像データとして保存される。また第２メモリ１０９は、図３で説明した小領域４０１ごとに、解像度特性Mh(h,v)とMv(h,v)、および幾何変形処理時に求めた座標移動ベクトルdncx(m,n)とdncy(m,n)を保持する。尚、Mh(h,v)とMv(h,v)、dncx(m,n)とdncy(m,n)については、小領域４０１内の特定位置での値、または小領域４０１にて算出される値の平均値のうち、どちらでもよい。

Ｓ４１０でシステム制御部１１５はカウント変数Ｎのインクリメント処理を実行し、画像の撮影枚数を示すＮ値に１が加算される（カウントアップ）。Ｓ４１１はカウント変数Ｎの値が合成に必要な撮影枚数と比較される。本例では、必要な撮影枚数を２枚とする。判定の結果、Ｎ値が２未満の場合、Ｓ４０２に処理を戻す。また、Ｎ値が２となると、Ｓ４１２へ処理を進める。Ｓ４１２では、第２メモリ１０９に保持された撮影枚数分、つまり２枚分の画像データが、画像合成処理部１１０と合成率算出部１１４に送られる。また、第２メモリ１０９に保持された撮影枚数分の、小領域４０１ごとの解像度特性Mh(m,n)とMv(m,n)、および座標移動ベクトルdncx(m,n)とdncy(m,n)の各データが合成率算出部１１４へ送られる。

Ｓ４１３で合成率算出部１１４は、小領域４０１ごとの合成率G(m,n)を算出する。合成率は、合成率Gm(m,n)とGd(m,n)を算出して両者を乗算することで算出される。
・Gm(m,n)：第２メモリ１０９に保持した、小領域４０１ごとの解像度特性Mh(m,n)とMv(m,n)より求められる第１合成率。
・Gd(m,n)：第２メモリ１０９に保持した、小領域４０１ごとの座標移動ベクトルdncx(m,n)とdncy(m,n)より求められる第２合成率。
下記に合成式を示す。

まず、第１合成率Gm(m,n)の算出方法について説明する。
撮像光学系１０１に係るシフトレンズ駆動量または補正角が大きい画像ほど、特定の画像領域が高い像高位置で撮像される。このため、画像の解像度低下や、片ボケ等の画質低下が生じる可能性がある。そこで、撮像光学系１０１に係る駆動量が小さい画像の場合に合成率が大きくなるように演算が行われる。図８（Ａ）を参照して、具体例を説明する。

図８（Ａ）は、第１合成率Gm(m,n)のグラフを例示する。横軸は２枚の画像の解像度特性の差分Ｍdiffを示し、縦軸はGm(m,n)値を示す。横軸に第１閾値（閾値１）を示す。
画像合成の基準フレームをＮ=0とし、このときの撮影画像にて、小領域（m,n）における、基準フレームの小領域ごとの解像度特性をMh0(m,n)とMv0(m,n)とする。また、合成フレームの小領域ごとの解像度特性をMh1(m,n)とMv1(m,n)とする。解像度特性の差分Ｍdiffは、下式で示される。

Mdiff値が小さい場合は、２枚の画像領域に画質差がないと推定されるため、画像合成を行わないように設定される。つまり、判定用の閾値１（以下、NOGMLEVELと記す）を用いて、小領域ごとの第１合成率Gm(m,n)は下式で算出される。

αは、図８（Ａ）に示す右上がりのグラフの傾きを示している。閾値１以下にて、Gm(m,n)の値はゼロであり、また１を超えないものとする。

次に、第２合成率Gd(m,n)の算出方法について説明する。
Gd(m,n)は、第２メモリ１０９に保持した２枚の撮影画像の、小領域４０１ごとの座標移動ベクトルdncx(m,n)とdncy(m,n)より算出される。よって、座標移動ベクトル量が大きい画像ほど、画像の歪みが大きく、画像の拡縮量が大きいと推定され、折り返しや解像度低下等の画質低下を生じる可能性がある。そこで、座標移動ベクトル量が小さい画像の場合に合成率が大きくなるように演算が行われる。

図８（Ｂ）は、第２合成率Gd(m,n)のグラフを例示する。横軸は２枚の画像の座標ベクトル移動量の差分Ddiffを示し、縦軸はGd(m,n)値を示す。画像合成の基準フレームをＮ=0とし、このときの撮影画像にて、小領域（m,n）における、基準フレームの座標ベクトル移動量を（d0cx(m,n)，d0cy(m,n)）とする。また、合成フレームの座標ベクトル移動量を（d1cx(m,n)，d1cy(m,n)）とする。座標移動ベクトル量の差分Ddiffは、下式で示される。

Ddiff値が小さい場合、小領域(m,n)において、２枚の画像に画質差がないと推定されるため、画像合成を行わないように設定される。つまり、判定用の閾値２（以下、NOGDLEVELと記す）を用いて、小領域ごとの第２合成率Gd(m,n)は下式で算出される。

βは、図８（Ｂ）に示す右上がりのグラフの傾きを示している。閾値２以下にて、Gd(m,n)の値はゼロであり、また１を超えないものとする。
尚、画像における合成率の算出処理では、各画像の小領域ごとの解像度特性（または座標移動ベクトル量）の比を算出し、その比率を正規化した値を合成率Gm(m,n)（またはGd(m,n)）としてもよい。

以上の手順で求めたGm(m,n)とGd(m,n)は、（式２０）にしたがって合成され、小領域（m,n）の合成率G(m,n)が求められる。
図４のＳ４１５で画像合成処理部１１０は、第２メモリ１０９に保存された２枚の画像に対して、Ｓ４１３で算出された小領域ごとの合成率G(m,n)を用いて、画像合成処理を実行し、一連の処理を終了する。
本実施形態によれば、上記制御により、像振れ補正処理によって生じ得る画質低下（片ボケや、偏心歪曲収差に起因する局所的な画質低下）を抑えつつ、良好な映像を得ることができる。

１０１ 撮像光学系
１０７ 幾何変形処理部
１０８ 幾何変形量算出部
１１０ 画像合成処理部
１１１ 振れ検出部
１１２ 光学情報取得部
１１４ 合成率算出部
１１５ システム制御部

Claims (9)

1. 撮像光学系を構成する補正手段により画像の像振れ補正を行う撮像装置であって、
   撮像装置の振れを検出する振れ検出手段と、
   前記振れ検出手段による振れ検出情報を取得して前記補正手段を制御する制御手段と、
   前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出し、撮像された画像に対する幾何変形処理を行う処理手段と、
   前記撮像光学系の光学情報を取得して、前記処理手段により幾何変形処理が行われた複数の画像に係る合成率を算出する合成率算出手段と、
   前記合成率算出手段により算出された合成率を取得して、前記複数の画像を合成する画像合成手段と、を備えることを特徴とする撮像装置。
2. 前記処理手段は、
   前記撮像光学系の光学情報、および前記制御手段による前記補正手段の駆動量情報を取得する取得手段と、
   前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出する算出手段と、
   前記算出手段により算出される幾何変形量に従って、撮像された画像に対する幾何変形処理を行う幾何変形処理手段を備えることを特徴とする請求項１に記載の撮像装置。
3. 前記合成率算出手段は、前記駆動量情報または該情報に対応する補正角の情報にしたがって前記合成率を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記合成率算出手段は、撮像された画像にて複数に分割された領域ごとに前記合成率を算出し、
   前記画像合成手段は、複数の前記合成率を用いて、前記分割された領域ごとに画像合成処理を行うことを特徴とする請求項３に記載の撮像装置。
5. 前記取得手段は、前記補正手段による像振れ補正時に前記撮像光学系の収差量の情報を取得し、前記合成率算出手段は、前記複数の画像に対して、前記撮像光学系の収差量が小さい画像領域ほど大きい合成率を算出することを特徴とする請求項４に記載の撮像装置。
6. 前記取得手段は、前記撮像光学系の歪曲特性を示す収差量の情報を取得し、前記合成率算出手段は、前記複数の画像に対して、前記撮像光学系の歪曲量が小さい画像領域ほど大きい合成率を算出することを特徴とする請求項５に記載の撮像装置。
7. 前記取得手段は、前記撮像光学系の解像度特性を示す情報を取得し、前記合成率算出手段は、前記複数の画像に対して、前記撮像光学系の解像度特性の差分が大きい画像領域ほど大きい合成率を算出することを特徴とする請求項４ないし６のいずれか１項に記載の撮像装置。
8. 像振れ補正を行わない状態での前記撮像光学系の収差量または解像度特性の情報を記憶する記憶部を備え、
   前記取得手段は、前記記憶部に記憶された前記情報、および前記制御手段による前記補正手段の駆動量情報もしくは補正角の情報を取得し、前記記憶部に記憶された前記情報に対して像高方向におけるシフト処理を行って像振れ補正時の収差量または解像度特性の情報を算出することを特徴とする請求項５ないし７のいずれか１項に記載の撮像装置。
9. 撮像光学系を構成する補正手段により画像の像振れ補正を行う撮像装置にて実行される制御方法であって、
   振れ検出手段により撮像装置の振れを検出する検出ステップと、
   前記振れ検出手段による振れ検出情報を取得して前記補正手段を制御する制御ステップと、
   前記撮像光学系の光学情報を取得して、前記補正手段により像振れ補正を行う際の幾何変形量を算出し、撮像された画像に対する幾何変形処理を行う処理ステップと、
   前記撮像光学系の光学情報を取得して、前記幾何変形処理が行われた複数の画像に係る合成率を算出する合成率算出ステップと、
   前記合成率算出ステップで算出された合成率を用いて、前記複数の画像を合成する画像合成ステップを有することを特徴とする撮像装置の制御方法。

Images