JP6495122B2 - 撮像装置、画像処理方法 - Google Patents

Description

本発明は、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する撮像装置、画像処理方法に関する。

近年、連写撮影により得られた複数枚の画像を合成して１枚の画像を生成する機能を備えた撮像装置が提案されている。ここに画像合成は、例えば、高ダイナミックレンジ画像（ＨＤＲ画像）、低ノイズ画像（ＮＲ（ノイズリダクション）画像）、超解像画像などを生成するために行われる。

合成の元となる複数枚の画像は、露光中の手ブレが少ないこと、および各画像間の位置ズレが少ないことが望ましい。露光中の手ブレについては、撮像素子やレンズの手ブレ補正機構（ＩＳ（Image Stabilization）機構）を用いて補正することができるが、連写画像毎に露光中の手ブレを同精度で補正するためには、１枚の画像を撮影し終える毎にＩＳ機構のセンタリング処理を行わなければならない。

しかし、ＩＳ機構のセンタリング処理は、逆に、各画像間の位置ズレを増大させてしまう。画像間の位置ズレに対しては、画像間の相関演算を行うことによりズレ量を示すグローバルベクトルを算出して、算出したグローバルベクトルに基づき補正することもできるが、特に、露光時間が長秒時となる場合などにはＩＳ機構のストローク量が増えて、センタリング処理による画像間の位置のズレ量も大きくなるために、グローバルベクトルを画像から算出するには、かなり広い相関値演算領域をサーチ対象としなければならない。

一方、ＩＳ機構のセンタリング処理を１枚の画像を撮影し終える毎に行うのを止めれば、各画像間の位置ズレを抑制することはできるものの、手ブレの大きさによってはＩＳ機構のストローク限界を超えてしまい、露光中の手ブレを補正することができなくなってしまう。

画像を連写する際の手ブレ補正に関して、例えば、特開２０１０−７８６３５号公報には、分割露光連写において、連写間のセンタリング処理を実施するタイミングをＩＳ機構の可動範囲限界に近付いたかどうかで判断する技術が記載されている。

また、特開２００６−８６７４１号公報には、画素ピッチ、焦点距離、ブレ検出手段により得られた画像間の角度ブレなどの情報に基づいてブレ補正範囲を決定することで、各画像間の位置ズレを効率的に補正する技術が記載されている。

なお、画像の合成については、様々な方法が提案されているが、例えば、特開２０１２−４９６０３号公報には、２枚の画像を比較して得られたローカルベクトル、グローバルベクトルを用いて、位置合せ合成を行う技術が記載されている。

特開２０１０−７８６３５号公報 特開２００６−８６７４１号公報 特開２０１２−４９６０３号公報

しかしながら、上記従来の技術では、センタリング処理を行った後の各画像間の位置ズレについては特に触れられておらず、ズレ量を示すグローバルベクトルを画像から算出するには広い相関値演算領域をサーチすることになるために、処理負荷が増加し、処理時間を要していた。

本発明は上記事情に鑑みてなされたものであり、より効率的に画像間のズレ量を算出することができる撮像装置、画像処理方法を提供することを目的としている。

本発明のある態様による撮像装置は、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有する撮像装置において、前記撮像装置の動きの大きさをブレ量として検知するブレ検知部と、前記ブレ検知部により検知されたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正すると共に、１枚の画像の露光が終了して次の１枚の画像の露光が始まるまでの間に該駆動対象を所定位置にリセットするセンタリング処理が可能なブレ補正部と、連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する相関値演算部と、前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する合成処理部と、を備え、前記相関値演算部は、前記センタリング処理を行った際のセンタリング情報を用いて前記相関値を算出する。

本発明のある態様による画像処理方法は、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する画像処理方法において、撮像装置の動きの大きさを検知して得られたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正すると共に、１枚の画像の露光が終了して次の１枚の画像の露光が始まるまでの間に該駆動対象を所定位置にリセットするセンタリング処理を行う第１ステップと、連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する第２ステップと、前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する第３ステップと、を有し、前記第２ステップにおいて、前記センタリング処理を行った際のセンタリング情報を用いて前記相関値を算出する。

本発明の撮像装置、画像処理方法によれば、より効率的に画像間のズレ量を算出することができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置の、連写合成モードにおける処理を示すフローチャート。 上記実施形態１の図２のステップＳ１２における画像合成の処理の詳細を示すフローチャート。 上記実施形態１において、連写間隔と露光時間とが概ね一致する場合の各画像の露光とセンタリングの様子を示すタイムチャート。 上記実施形態１の図３のステップＳ２４における相関値演算範囲算出処理の詳細を示すフローチャート。 上記実施形態１のＩＳユニットにおける基準画像と対象画像との撮像面ズレ量の例を示す図。 上記実施形態１において、基準画像に設定された相関値演算領域を示す図。 上記実施形態１において、対象画像に設定された相関値演算領域を示す図。 上記実施形態１の図３のステップＳ２５における相関値・ベクトル演算処理の詳細を示すフローチャート。 上記実施形態１において、基準画像の相関値演算領域に評価パッチを配置した様子を示す図。 上記実施形態１において、対象画像の相関値演算領域にサーチパッチを配置した様子を示す図。 本発明の実施形態２の撮像装置の、連写合成モードにおける処理を示すフローチャート。 本発明の実施形態３における画像合成処理を示すフローチャート。 上記実施形態３の図１３のステップＳ６２における相関値・ベクトル演算処理の詳細を示すフローチャート。 上記実施形態３において、画角ズレ量の重みテーブルに記録されている、画角ズレ量と画角ズレの最大想定量との比率と、重み係数と、の関係を示す線図。 上記実施形態３において、基準画像の全体に配置された評価パッチの様子を示す図。 上記実施形態３において、対象画像の全体に配置されたサーチパッチの、画角ズレ量が小さいときの様子を示す図。 上記実施形態３において、対象画像の全体に配置されたサーチパッチの、画角ズレ量が大きいときの様子を示す図。 本発明の実施形態４における相関値・ベクトル演算処理を示すフローチャート。 上記実施形態４のＩＳユニットにおける基準画像と対象画像とのズレ量に回転ズレ量が含まれる場合の例を示す図。 上記実施形態４において、対象画像を回転中心周りに回転ズレ量だけ回転させる様子を示す図。 上記実施形態４において、回転された対象画像に対するサーチパッチの配置の例を示す図。 本発明の実施形態５における相関値・ベクトル演算処理を示すフローチャート。 上記実施形態５において、対象画像に対してサーチパッチを回転中心周りに回転ズレ量だけ回転させる様子を示す図。 上記実施形態５において、回転後のサーチパッチの位置と回転前のサーチパッチの位置とからローカルベクトルを算出する方法を説明するための図。 本発明の実施形態６における相関値・ベクトル演算処理を示すフローチャート。 上記実施形態６において、回転ズレ量の重みテーブルに記録されている、回転ズレ量と回転方向の最大補正量との比率と、重み係数と、の関係を示す線図。 上記実施形態６において、回転中心からの距離の重みテーブルに記録されている、距離と最大距離との比率と、重み係数と、の関係を示す線図。 上記実施形態６において、対象画像に対して回転中心周りに回転ズレ量だけ回転させたサーチパッチを、回転中心からの距離に応じた大きさに変更した様子を示す図。 本発明の実施形態７において、露光時間が連写間隔よりも短い場合の各画像の露光とセンタリングの様子を示すタイムチャート。 上記実施形態７における相関値・ベクトル演算処理を示すフローチャート。 上記実施形態７において、露光時間の重みテーブルに記録されている、露光時間と連写間隔との比率と、重み係数と、の関係を示す線図。 上記実施形態７において、露光時間が連写間隔よりも短い場合のサーチパッチのサイズの例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１１は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。なお、本実施形態においては、撮像装置としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。

この撮像装置は、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信できるように接続して構成されていて、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有している。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。

絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ５０と通信し、マイクロコンピュータ５０からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ５０へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ５０とを、双方向に通信できるように接続する。

次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、ＩＳ（Image Stabilization）ユニット２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＥ処理部２８と、ＡＦ処理部２９と、ＡＷＢ処理部３０と、位置合せ処理部３１と、合成処理部３２と、画像処理部３３と、ＪＰＥＧ処理部３８と、ブレ検知ユニット３９と、ＬＣＤドライバ４１と、ＬＣＤ４２と、ＥＶＦ（電子ビューファインダ：Electronic View Finder）ドライバ４３と、ＥＶＦ４４と、メモリインタフェース（メモリＩ／Ｆ）４５と、記録媒体４６と、操作部４７と、フラッシュメモリ４８と、マイクロコンピュータ５０と、を備えている。

メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成の光学シャッタとなっている。このメカニカルシャッタ２１は、マイクロコンピュータ５０の指令により駆動されて、撮像素子２２への光束の到達時間、つまり撮像素子２２による被写体の露光時間を制御する。

撮像素子２２は、撮像面に所定の画素ピッチで２次元状に配列された複数の画素を有し、撮像制御部であるマイクロコンピュータ５０の制御に基づき、レンズ１１および絞り１２からの光束を受光し撮像して（つまり、結像された被写体の光学像を光電変換して）アナログ画像信号を生成する撮像部である。ここに、撮像素子２２は、レンズ１１の光軸に垂直な面を受光面とするように配置されているために、複数の画素の２次元状配列方向は、レンズ１１の光軸に垂直な方向となる。

本実施形態の撮像素子２２は、例えば、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列（Ｒ（赤色）Ｇ（緑色）Ｂ（青色）ベイヤー配列）のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

ＩＳユニット２３は、ブレ検知ユニット３９により後述するように検知されたブレ量に基づき、レンズ１１と撮像素子２２との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正すると共に、１枚の画像の露光が終了して次の１枚の画像の露光が始まるまでの間に駆動対象を所定位置にリセットするセンタリング処理が可能なブレ補正部である。

本実施形態においては、ＩＳユニット２３が、ブレ検知ユニット３９により後述するように検知される撮像装置の動きに基づき、光軸に垂直な面内において手ブレをキャンセルする方向に撮像素子２２を移動するセンサシフト方式の構成を例に挙げて説明する。ただし、ブレ補正部として、レンズ１１を移動させるレンズシフト方式を採用しても良いし、センサシフト方式とレンズシフト方式との両方を採用しても構わない。

さらに、ＩＳユニット２３は、１枚の画像毎に、露光が終了した段階で、撮像素子２２が所定位置である初期位置からどれだけ移動しているかを示すセンタリング情報（つまり、撮像素子２２を初期位置にリセットするに必要な移動量を示す情報）をマイクロコンピュータ５０へ出力するようになっている。

アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（適宜、画像データという）に変換する。

バス２６は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、ＩＳユニット２３と、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＥ処理部２８と、ＡＦ処理部２９と、ＡＷＢ処理部３０と、位置合せ処理部３１と、合成処理部３２と、画像処理部３３と、ＪＰＥＧ処理部３８と、ブレ検知ユニット３９と、ＬＣＤドライバ４１と、ＥＶＦドライバ４３と、メモリＩ／Ｆ４５と、マイクロコンピュータ５０と、に接続されている。

Ａ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。

ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは合成処理部３２、画像処理部３３、ＪＰＥＧ処理部３８等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

ＡＥ処理部２８は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカニカルシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる電子シャッタの制御）等に用いられる。

ＡＦ処理部２９は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。

ＡＷＢ処理部３０は、ＲＡＷ画像データに基づき、被写体のカラーバランスを検出して、ＲＧＢ各成分に対するゲインをそれぞれ算出し、算出したゲインを乗算することでホワイトバランスを調整するオートホワイトバランス処理を行う。

位置合せ処理部３１は、連写して得られる複数枚の画像データの内の、任意の２枚の画像データ（一方を、基準画像、他方を対象画像という）に対して、それぞれ所定の領域内における画像データを用いて相関値を算出する相関値演算部であり、算出した相関値に基づいて基準画像に対する対象画像のズレ量を算出する。

具体的に、位置合せ処理部３１は、上述したＩＳユニット２３からのセンタリング情報に基づき概略の位置ズレを推定して、基準画像と対象画像との共通領域を算出し、基準画像およびにおける対象画像における共通領域を相関値演算領域として設定し、さらに、基準画像の相関値演算領域と、対象画像の相関値演算領域と、の間で相関値算出を行い、相関値を算出し、ひいてはズレ量を算出する。従って、位置合せ処理部３１は、相関値を算出するに際して、センタリング処理を行った際のセンタリング情報を用いている。この位置合せ処理部３１によるズレ量の算出については、後で、図５〜図１１を参照してより詳細に説明する。

合成処理部３２は、位置合せ処理部３１により算出された相関値に基づく位置ずれに応じて、基準画像と対象画像とを位置合わせしてから合成し、１枚の合成画像データを生成する画像合成部である。ここで行われる画像合成は、例えば、露出量が異なる複数枚の画像を用いた高ダイナミックレンジ画像合成（ＨＤＲ画像合成）、時分割露光を行った複数枚の画像を用いた加算合成、平均合成、比較明合成、あるいは比較暗合成、画素ピッチの非整数倍の移動量で画素ずらしした複数枚の画像を用いた超解像画像合成、などの何れであっても構わない。

連写合成モードにおいて取得された複数枚の画像を合成する場合には、例えば、まず１枚目に取得された画像を基準画像に設定し、それ以降は合成後の画像を基準に順次設定する（ただし、後述するように、ユーザが最初の基準画像を選択するようにしても構わない）。そして、２枚目、もしくはそれ以降に新たに取得された画像を対象画像に順次設定しながら、位置合せ処理部３１および合成処理部３２により上述したような処理を行うことを最終画像が取得されるまで行うことにより、最終的な合成画像を生成する。

なお、位置合せ処理部３１および合成処理部３２による処理は、ＲＡＷ画像データに対して行っても良いし、画像処理部３３によって画像処理が行われた画像データに対して行っても構わない。

画像処理部３３は、ＲＡＷ画像データ、あるいは合成処理部３２によりＲＡＷ画像データから生成された合成画像データに対して種々の画像処理を行うものであり、ＷＢ補正部３４、同時化処理部３５、色再現処理部３６、およびＮＲ処理部３７を含んでいる。

ＷＢ補正部３４は、白色の被写体が白色として観察されるように、画像データに対してホワイトバランス処理を行う。

同時化処理部３５は、１画素につきＲＧＢ成分の内の１色成分のみが存在するＲＧＢベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補完して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換するデモザイキング処理を行う。

色再現処理部３６は、画像データにカラーマトリクス演算を行うことにより、被写体の色をより忠実に再現する処理を行う。

ＮＲ処理部３７は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。

こうして画像処理部３３によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。

ＪＰＥＧ処理部３８は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出してＪＰＥＧ圧縮方式に従って圧縮してＪＰＥＧ画像データを生成し、ＳＤＲＡＭ２７に記憶させる。このＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データは、マイクロコンピュータ５０によりヘッダ等を付加されて、メモリＩ／Ｆ４５を介して記録媒体４６にＪＰＥＧファイルとして記録される。

また、ＪＰＥＧ処理部３８は、圧縮画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ５０の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４５を介して記録媒体４６から読み出され、ＳＤＲＡＭ２７に一旦記憶される。ＪＰＥＧ処理部３８は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧファイル中のＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。

ブレ検知ユニット３９は、ジャイロセンサ等を備えたブレ検知部であり、例えば手ブレなどによる撮像装置の動きの大きさをブレ量として検知する。そして、ブレ検知ユニット３９は、検知結果をマイクロコンピュータ５０へ出力するようになっている。

ＬＣＤドライバ４１は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ４２を駆動制御して映像信号に基づく画像をＬＣＤ４２に表示させる。

ＬＣＤ４２は、上述したようなＬＣＤドライバ４１の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ＥＶＦドライバ４３は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＥＶＦ４４を駆動制御して映像信号に基づく画像をＥＶＦ４４に表示させる。

ＥＶＦ４４は、上述したようなＥＶＦドライバ４３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ここに、ＬＣＤ４２またはＥＶＦ４４において行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４６に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などがある。

メモリＩ／Ｆ４５は、記録媒体４６へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体４６からの画像データの読み出しも行う。

記録媒体４６は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体４６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４６は、撮像装置に固有の構成である必要はない。

操作部４７は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（通常撮影モード、連写合成モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）、再生モードなどが含まれている。この操作部４７に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ５０へ出力される。

フラッシュメモリ４８は、マイクロコンピュータ５０により実行される処理プログラムと、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４８が記憶する情報としては、例えば、画像処理に用いるパラメータ、撮像装置を特定するための機種名や製造番号、ユーザにより設定された設定値、などが幾つかの例として挙げられる。このフラッシュメモリ４８が記憶する情報は、マイクロコンピュータ５０により読み取られる。

マイクロコンピュータ５０は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ５０は、ユーザにより操作部４７から操作入力が行われると、フラッシュメモリ４８に記憶されている処理プログラムに従って、フラッシュメモリ４８から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

制御部であるマイクロコンピュータ５０は、特に、上述したＩＳユニット２３にブレ補正を行わせながら撮像素子２２に撮像を行わせて１枚の画像データを取得させ、１枚の画像を露光した直後の撮像素子２２の初期位置からのズレ量をセンタリング情報としてＩＳユニット２３から取得することを、連写合成モードにおいて取得される全ての画像データに対して行わせる撮像制御部としても機能するようになっている。

次に、図２は、撮像装置の連写合成モードにおける処理を示すフローチャートである。この処理（および、以下の各フローチャートに示す処理）は、制御部であるマイクロコンピュータ５０の制御に基づき行われる。

電源ボタンにより撮像装置の電源がオンされて図示しないメインルーチンの処理を行っているときに、操作部４７の操作により撮像装置が連写合成モードに設定されると、この処理が実行される。

するとまず、初期設定を行う（ステップＳ１）。この初期設定では、例えば、連写合成モードにおいて、予め決められている設定値、例えば連写枚数などを読み込む。

次に、レリーズボタンが半押しされて１ｓｔレリーズスイッチがオンしているか否かを判定する（ステップＳ２）。

ここで、１ｓｔレリーズスイッチがオフであると判定された場合には、１ｓｔレリーズスイッチがオンされるのを待機する。この１ｓｔレリーズスイッチがオンされるのを待機する間は、メカニカルシャッタ２１が開いた状態となっていて、ライブビューが行われているものとする。

そして、１ｓｔレリーズスイッチがオンしていると判定された場合には、ライブビューにおいて取得された最新の画像に基づいて、ＡＥ処理部２８により測光演算を行い、ＡＦ処理部２９により測距演算を行って、撮影条件を算出する（ステップＳ３）。なお、撮影シーンに応じて合成処理を行うか否かを切り替える連写合成モードの場合には、この１ｓｔレリーズスイッチが押下されたタイミングで合成処理を行うか否かを判断して、連写枚数などの条件を算出して設定するようにしても良い。

さらに、ブレ検知ユニット３９の出力に応じてブレ補正部であるＩＳユニット２３を駆動することにより、ブレ補正動作を行う（ステップＳ４）。これにより、手ブレによる影響を排除した状態で画角を確認することが可能となる。

続いて、レリーズボタンが全押しされて２ｎｄレリーズスイッチがオンしたか否かを判定する（ステップＳ５）。

ここで、２ｎｄレリーズスイッチがオフであると判定された場合には、１ｓｔレリーズスイッチがオフに変化したか否かを判定する（ステップＳ６）。

そして、１ｓｔレリーズスイッチがオフに変化したと判定された場合にはステップＳ２に戻って上述した処理を行い、１ｓｔレリーズスイッチがオンのままであると判定された場合にはステップＳ５に戻って２ｎｄレリーズスイッチがオンするのを待機する。

こうして、ステップＳ５において、２ｎｄレリーズスイッチがオンしたと判定された場合には、撮像素子２２により露光を行って、生成された画像をアナログ処理部２４およびＡ／Ｄ変換部２５により処理してＳＤＲＡＭ２７に記憶する画像取り込みを行う（ステップＳ７）。なお、ここでの露光は、メカニカルシャッタ２１により行っても良いし、撮像素子２２の電子シャッタにより行っても構わない。

このステップＳ７における露光を行っている最中でも、ブレ検知ユニット３９の出力に応じてブレ補正部であるＩＳユニット２３を駆動し続けることにより、露光中の手ブレによる露光ブレを補正している。

露光が終了すると、次の露光を行うための準備として、初期位置から移動した位置となっているＩＳユニット２３を、再び初期位置に戻すセンタリング処理を行う（ステップＳ８）。ここでのセンタリング処理は、次の画像を露光する際に、露光中のブレを前画像と同様のストロークで補正するために必要な動作となる。

さらに、マイクロコンピュータ５０は、後段の処理に用いるために、ＩＳユニット２３からセンタリンク情報を取得して、例えばＳＤＲＡＭ２７に一旦記録しておく（ステップＳ９）。

そして、マイクロコンピュータ５０は、連写が完了したか否かを判定して（ステップＳ１０）、完了していないと判定された場合には、必要に応じて撮影条件の変更を行い（ステップＳ１１）、ステップＳ７へ戻って次の画像の露光と取り込みを行う。

一方、ステップＳ１０において連写が完了したと判定された場合には、取得された複数枚の画像を用いて画像合成を行うことにより、最終的な例えば１枚の合成画像を生成する（ステップＳ１２）。この画像合成の処理については、後で図３を参照して説明する。

こうして合成画像が生成されたら、この処理から図示しないメイン処理にリターンする。

次に、図３は、図２のステップＳ１２における画像合成の処理の詳細を示すフローチャートである。なお、この図３には、ある特定の一枚の画像に対して別の一枚の画像を合成し、以降その合成画像に対して、さらにそれ以外の画像を順次合成して行く処理の例を示しているが、この処理順序に限定されるものではない。

この処理を開始すると、まず、合成処理を行う際の基準となる画像（基準画像）を選択する（ステップＳ２１）。この選択は、ＬＣＤ４２等にグラフィックユーザインタフェース（ＧＵＩ）を表示して、ユーザに選択させるようにしても良いし、レリーズタイムラグ等を考慮して、連写１枚目を自動的に基準画像として選択するようにしても構わない。

次に、基準画像を除く他の連写画像の中から、基準画像に対して最初に合成する対象画像を選択する（ステップＳ２２）。この処理は、通常は、自動処理により連写順に画像を選択すれば良い。

続いて、累積センタリング情報の算出を行う（ステップＳ２３）。

ここで、センタリング情報について説明する。

通常、手ブレ補正では、露光中の撮像装置の動きを補正するために、ＩＳユニット２３を露光中に移動させている。このために、露光終了時点のＩＳユニット２３の位置、およびその状態から初期位置に戻る際のセンタリング情報は、連写間隔と露光時間（１枚の画像の露光時間）とが概ね一致する場合（図４に示す例のように、ｎ枚目の露光と（ｎ＋１）枚目の露光とが、ほとんど時間を空けることなく行われる場合）においては、連写画像間の位置ズレと考えることができる。

例えば、上記特開２００６−８６７４１号公報に記載の技術では、ブレ検知ユニットのブレ情報を用いて連写間に動いた撮像装置の動きを算出している。ここに、ブレ検知ユニットから得られる情報は、ヨー、ピッチ、ロール等の様々な方向の角速度であるために、これら各方向の角速度からブレ補正機構の移動方向に変換して、最終的に撮像面でのズレ量に変換する必要がある。従って、複雑な演算処理が必要となっている。

これに対して、本実施形態において用いるセンタリング情報は、元々、手ブレによるブレが画像に影響を与えないようにするためにＩＳユニット２３をシフトさせた量であるから、撮像面でのズレ量を考慮された情報になっている。従って、連写間に動いた撮像装置の動きに基づいて連写画像間の位置ズレを算出する上では、センタリング情報を用いる方がブレ検知ユニット３９のブレ情報を用いるよりも演算負荷が小さく効率が良い。

そこで、基準画像および対象画像が選択されると、これら２枚の画像間のセンタリング情報を取得する。このセンタリング処理は、図４に示すように行われる。ここに、図４は連写間隔と露光時間とが概ね一致する場合の各画像の露光とセンタリングの様子を示すタイムチャートである。

図４に示すように、センタリング処理は連写撮影時の各画像間で実施されるために、連続する２枚の画像間のズレ量に相当するが、合成する２枚の画像は連続する２枚の画像であるとは限らない。そこで、２枚の画像間で行ったセンタリング情報を累積した累積センタリング情報を算出する。例えば、
１枚目と２枚目の合成時：「センタリング１−２」の情報
１枚目と４枚目の合成時：「センタリング１−２」「センタリング２−３」「センタリング３−４」の累積情報
をそれぞれの累積センタリング情報とする。

具体的に、（ｘ，ｙ）により撮像面におけるｘ方向のズレ量およびｙ方向のズレ量を表し、「センタリング１−２」の情報が（ｘ１２，ｙ１２）、「センタリング２−３」の情報が（ｘ２３，ｙ２３）、「センタリング３−４」の情報が（ｘ３４，ｙ３４）であるとすると、
（ｘ，ｙ）＝（ｘ１２＋ｘ２３＋ｘ３４，ｙ１２＋ｙ２３＋ｙ３４）
により累積センタリング情報（ｘ，ｙ）を算出すれば良い。

次に、算出された累積センタリング情報を用いて、図５を参照して後述するように相関値演算範囲算出の処理を行う（ステップＳ２４）。

さらに、図９を参照して後述するように、相関値およびベクトル演算を行って、基準画像に対する対象画像のローカルベクトルおよびグローバルベクトルを算出する（ステップＳ２５）。

その後、現在の合成画像に対象画像を合成する処理を行う（ステップＳ２６）。この合成処理は、対象画像を基準画像に位置合わせするように行われるために、生成された合成画像の位置は基準画像と同一となる。また、具体的な画像の合成方法については、例えば上記特開２０１２−４９６０３号公報に記載されたような、得られたローカルベクトル、グローバルベクトルを用いて位置合せを行い、２枚の画像を合成する方法を用いれば良い。

そして、全ての画像の合成が完了したか否かを判定し（ステップＳ２７）、まだ未合成の画像が存在する場合には、ステップＳ２２へ戻って上述したような処理を行う。

一方、ステップＳ２７において、全ての画像の合成が完了したと判定された場合には、位置合わせの結果、合成されなかった画像周辺部分を必要に応じてトリミング処理し（ステップＳ２８）、この処理からリターンする。

続いて、図５は図３のステップＳ２４における相関値演算範囲算出処理の詳細を示すフローチャートである。

この処理を開始すると、まず、上述したステップＳ２３の処理により算出した累積センタリング情報から、図６に示すような撮像面ズレ量Ｖｓを算出する（ステップＳ３１）。

ここに図６は、ＩＳユニット２３における基準画像ＳＩと対象画像ＯＩとの撮像面ズレ量Ｖｓの例を示す図である。

対象画像ＯＩの露光開始時点の中心位置は、センタリング処理によりＩＳユニット２３の中心位置Ｏに一致する。これに対して、基準画像ＳＩの露光終了時点の中心位置Ｏｓは、一般に、ＩＳユニット２３の中心位置Ｏとずれた位置にある。このような配置において、撮像素子２２の撮像面上における中心位置Ｏｓと中心位置Ｏとのズレ量が撮像面ズレ量Ｖｓである。ここに撮像面ズレ量Ｖｓは、上述において（ｘ，ｙ）成分によりセンタリング情報を示したことから分かるように、レンズ１１の光軸に垂直な撮像面を含む平面におけるベクトル量である。

なお、センサシフト方式の場合には、ＩＳユニット２３から取得したセンタリング情報が既に撮像面ズレ量Ｖｓとなっているが、レンズシフト方式の場合には、シフトレンズのズレ量と撮像面でのズレ量とが異なるために、取得したセンタリング情報を撮像面でのズレ量に変換する処理を行う。さらに、センサシフト方式とレンズシフト方式とを併用する場合には、レンズシフト方式におけるセンタリング情報を変換した撮像面ズレ量と、センサシフト方式におけるセンタリング情報として取得した撮像面ズレ量と、をベクトル的に加算すれば良い。

次に、算出した撮像面ズレ量Ｖｓを画素ピッチｐで次のように割ることで、
Ｖｐ＝Ｖｓ／ｐ
画素単位の画角ズレ量Ｖｐに換算する（ステップＳ３２）。

さらに、算出された画素単位の画角ズレ量Ｖｐに基づいて、基準画像ＳＩにおける相関値演算領域を算出し（ステップＳ３３）、さらに対象画像ＯＩにおける相関値演算領域を算出する（ステップＳ３４）。

図７は基準画像ＳＩに設定された相関値演算領域ＣＣＡを示す図、図８は対象画像ＯＩに設定された相関値演算領域ＣＣＡを示す図である。

図７に示すように、基準画像ＳＩに対しては、画素単位の画角ズレ量Ｖｐの分だけ画角を削った領域を相関値演算領域ＣＣＡとする。

また、図８に示すように、対象画像ＯＩに対しては、正負反転した画素単位の画角ズレ量Ｖｐの分（−Ｖｐ）だけ画角を削った領域を相関値演算領域ＣＣＡとする。

こうして、基準画像ＳＩおよび対象画像ＯＩにおける相関値演算領域ＣＣＡを算出したら、この処理からリターンする。

次に、図９は、図３のステップＳ２５における相関値・ベクトル演算処理の詳細を示すフローチャートである。

ローカルベクトルおよびグローバルベクトルを算出する方法には様々な方法があるが、ここでは一般的なブロックマッチングによる算出方法を例に挙げて説明する。

この処理を開始すると、まず、相関値を算出するための領域の数であるパッチ数、評価用領域である評価パッチＥＰのサイズ、探索用領域であるサーチパッチＳＰのサイズなどを設定値として読み込む（ステップＳ４１）。

次に、基準画像ＳＩに対して複数の領域としての評価パッチＥＰを配置する（ステップＳ４２）。ここに、図１０は、基準画像ＳＩの相関値演算領域ＣＣＡに評価パッチＥＰを配置した様子を示す図である。図示のように、評価パッチＥＰは、例えば一定の間隔をおいて、基準画像ＳＩの相関値演算領域ＣＣＡ内のみに配置されている。

さらに、対象画像ＯＩに対して、評価パッチＥＰよりもサイズが大きい領域であるサーチパッチＳＰを、基準画像ＳＩの評価パッチＥＰに１対１に対応するように配置する（ステップＳ４３）。ここに、図１１は、対象画像ＯＩの相関値演算領域ＣＣＡにサーチパッチＳＰを配置した様子を示す図である。図示のように、サーチパッチＳＰも、例えば一定の間隔をおいて、対象画像ＯＩの相関値演算領域ＣＣＡ内のみに配置されている。

続いて、ブロックマッチングを行う。すなわち、位置が対応する評価パッチＥＰおよびサーチパッチＳＰを１組選択する。そして、サーチパッチＳＰ内で評価パッチＥＰをスキャンして、各スキャン位置毎に差分絶対値和（ＳＡＤ（Sum of Absolute Difference）値）を相関値として算出する（ステップＳ４４）。

そして、スキャンしながら算出された複数のＳＡＤ値の内の、最小値を与えるものが最も相関値が高いとして、そのスキャン位置と、元の評価パッチＥＰの位置と、のベクトルをローカルベクトルとして算出する（ステップＳ４５）。

その後、位置が対応する評価パッチＥＰおよびサーチパッチＳＰの組を全て処理し終えたか否かを判定する（ステップＳ４６）。ここで、未だ全ての組の処理を終えていないと判定された場合には、ステップＳ４４へ戻って次の評価パッチＥＰおよびサーチパッチＳＰの組を選択して、上述したような処理を行う。従って、相関値の算出は、設定した領域であるパッチ毎に行われる。

こうして、ステップＳ４６において、全ての評価パッチＥＰおよびサーチパッチＳＰの組の処理が完了したと判定された場合には、全てのローカルベクトルのベクトルヒストグラムを算出して、算出したベクトルヒストグラムにおける例えば最頻ベクトル（ただし、最頻ベクトルに限るものではなく、平均ベクトルや加重平均ベクトル等であっても構わない）を、グローバルベクトルとしてから（ステップＳ４７）、この処理からリターンする。

このような実施形態１によれば、センタリング情報を用いて相関値を算出するようにしたために、ブレ検知結果をそのまま使うよりも効率的に画像間のズレ量を算出することができる。

具体的に、センタリング情報に基づき、２枚の画像データの共通領域（つまり、合成対象となる領域）を算出し、共通領域を相関値演算領域として相関値を算出するようにしたために、画像全体に対して相関値を算出するよりも効率化を図ることができる。

さらに、２枚の画像データのズレ量がセンタリング情報に基づき概略分かっているために、サーチパッチＳＰのサイズを大型化する必要がなく、サーチパッチＳＰ内におけるスキャンを高速化することができる。

また、センタリング情報を画素ピッチで割るだけの簡単な演算で基準画像と対象画像のズレ量を算出することができるために、ブレ検知ユニットの出力に基づいてズレ量を算出する技術に比して、小さい演算負荷で相関値演算領域を決めることができる。
［実施形態２］

図１２は本発明の実施形態２を示したものであり、図１２は撮像装置の連写合成モードにおける処理を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１においては、図４に示したように、連写における１枚の画像が取得される毎にセンタリング処理を行っていた。しかし、手ブレの大きさがＩＳユニット２３の補正限界（ストローク限界）よりも余裕をもって小さく、センタリング処理をしなくても次の画像の露光中のブレを補正可能であると予測される場合には、センタリング処理を行わない方が、合成後にトリミングされる領域を小さくすることができて合成時の画角変化が少なくなる。本実施形態は、この点を考慮したものとなっている。

すなわち、図１２に示す処理を開始すると、ステップＳ１〜Ｓ７の処理を上述したように行う。

次に、駆動対象である撮像素子２２の現在の位置に基づいて、マイクロコンピュータ５０が予測量算出部として機能して、仮にセンタリング処理を行った場合のセンタリング予測量を算出する（ステップＳ５１）。ここに、撮像素子２２の現在の位置は、ＩＳユニット２３から取得した過去の１つ以上のセンタリング情報に基づいて動き予測等により算出しても良いし、ＩＳユニット２３の駆動状態（駆動電流値等）に基づいて算出しても構わない。

そして、算出したセンタリング予測量が、予め定められたセンタリング閾値（センタリングＴＨ）よりも小さいか否かを判定する（ステップＳ５２）。

ここで、センタリング予測量がセンタリングＴＨよりも小さいと判定された場合には、センタリング処理を行うことなく、ステップＳ９の処理に進んでセンタリング情報（ここではセンタリングを行っていない旨の情報）を記録し、連写が完了していない場合には次の画像の撮影に移行する。

一方、ステップＳ５２において、センタリング予測量がセンタリングＴＨ以上であると判定された場合には、上述した実施形態１と同様に、ステップＳ８のセンタリング処理を実行する。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、センタリング予測量が予め定められたセンタリング閾値よりも小さく、センタリング処理を行わなくても露光中の手ブレを抑制可能であると推定される場合には、センタリング処理を行わないようにしたために、合成画像の画角が小さくなるのを抑制することができる。

そして、センタリング処理が必要であるか否かを、ブレ検知ユニット３９のブレ検知結果に基づいて判定するのではなく、ＩＳユニット２３から取得したセンタリング情報を用いて行うようにしたために、小さい処理負荷で効率的に判定することができる。
［実施形態３］

図１３から図１８は本発明の実施形態３を示したものであり、図１３は画像合成処理を示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、画角ズレ量Ｖｐの大きさに応じて、サーチパッチＳＰのサイズを適応的に変化させるものとなっている。

すなわち、図１３に示す処理を開始すると、ステップＳ２１〜Ｓ２３の処理を図３と同様に行う。

次に、相関値演算範囲算出を行うが、本実施形態においては、基準画像ＳＩの全体を相関値演算領域に設定すると共に、対象画像ＯＩの全体を相関値演算領域に設定する（ステップＳ６１）。従って、上述した実施形態１の図５に示したような、基準画像ＳＩと対象画像ＯＩとの共通領域に基づく相関値演算領域の設定は行わない。

続いて、図１４を参照して後述するような相関値・ベクトル演算処理を行う（ステップＳ６２）。

その後は、図３と同様にステップＳ２６〜Ｓ２８の処理を行って、ステップＳ２８の処理を終えたらリターンする。

図１４は、図１３のステップＳ６２における相関値・ベクトル演算処理の詳細を示すフローチャートである。

この処理を開始すると、相関値を算出するための領域の数であるパッチ数、および評価パッチＥＰのサイズを設定値として読み込むと共に、画角ズレ量Ｖｐの重みテーブルＷｃｎｔＴＢＬ、画角ズレの最大想定量Ｖｐｍａｘ、サーチパッチＳＰの初期サイズＳＰｉｎｉｔ、サーチパッチＳＰの最大拡張量ＳＰｅｘを設定値として読み込んでおく（ステップＳ７１）。

次に、図５のステップＳ３１と同様に、累積センタリング情報から撮像面ズレ量Ｖｓを算出し（ステップＳ７２）、図５のステップＳ３２と同様に、撮像面ズレ量Ｖｓを、画素ピッチｐを用いて、画素単位の画角ズレ量Ｖｐに換算する（ステップＳ７３）。

こうして得られた画角ズレ量Ｖｐと、画角ズレの最大想定量Ｖｐｍａｘとの比率｜Ｖｐ／Ｖｐｍａｘ｜を算出した上で、算出した比率に応じた重み係数Ｗｃｎｔを画角ズレ量Ｖｐの重みテーブルＷｃｎｔＴＢＬを用いて算出する（ステップＳ７４）。

ここに、図１５は、画角ズレ量Ｖｐの重みテーブルＷｃｎｔＴＢＬに記録されている、画角ズレ量Ｖｐと画角ズレの最大想定量Ｖｐｍａｘとの比率｜Ｖｐ／Ｖｐｍａｘ｜と、重み係数Ｗｃｎｔと、の関係を示す線図である。

この図１５に示す例では、重み係数Ｗｃｎｔは、比率｜Ｖｐ／Ｖｐｍａｘ｜が１未満のある値になるまでは単調増加（例えば比例して増加）するが、比率｜Ｖｐ／Ｖｐｍａｘ｜がある値になったところで１に達し、比率｜Ｖｐ／Ｖｐｍａｘ｜がある値よりも大きくなっても１のままとなっている。

続いて、次の数式１に示すように、ステップＳ７４により得られた重み係数Ｗｃｎｔを、サーチパッチＳＰのサイズを変更する際の重み係数Ｗｅｉｇｈｔとする。
［数１］
Ｗｅｉｇｈｔ＝Ｗｃｎｔ

そして、位置合せ処理部３１が、サーチパッチＳＰのサイズＳＰｓｉｚｅを、サーチパッチＳＰの初期サイズＳＰｉｎｉｔと最大拡張量ＳＰｅｘとを用いて次の数式２に示すように算出する（ステップＳ７５）。
［数２］
ＳＰｓｉｚｅ＝Ｗｅｉｇｈｔ×ＳＰｅｘ＋ＳＰｉｎｉｔ

その後、サーチパッチＳＰのサイズを、ステップＳ７５において算出したサーチパッチＳＰのサイズＳＰｓｉｚｅに変更する（ステップＳ７６）。

ここに、図１６は基準画像ＳＩの全体に配置された評価パッチＥＰの様子を示す図、図１７は対象画像ＯＩの全体に配置されたサーチパッチＳＰの、画角ズレ量Ｖｐが小さいときの様子を示す図、図１８は対象画像ＯＩの全体に配置されたサーチパッチＳＰの、画角ズレ量Ｖｐが大きいときの様子を示す図である。

図１７および図１８を比較すれば分かるように、画角ズレ量が大きいときには、サーチパッチＳＰのサイズが大きくなるように設定される。

その後は、ステップＳ４２〜Ｓ４７の処理を上述した図９と同様に行って、この処理からリターンする。

このような実施形態３によれば、センタリング情報を画素ピッチで割るだけの簡単な演算で基準画像と対象画像のズレ量を算出することができるために、ブレ検知ユニットの出力に基づいてズレ量を算出する技術に比して、小さい演算負荷で相関値演算領域を決めることができる。こうして、センタリング情報を用いた相関値の算出が、ブレ検知結果をそのまま使う場合に比して効率的となる。

また、センタリング情報に基づいて画角ズレ量が大きいと判断した場合に、サーチパッチＳＰのサイズを大きくし、逆に、画角ズレ量が小さいと判断した場合には、サーチパッチＳＰのサイズを適度な大きさに設定することにより、ローカルベクトルおよびグローバルベクトルを適切な演算負荷で効率的に算出することができる。
［実施形態４］

図１９から図２２は本発明の実施形態４を示したものであり、図１９は相関値・ベクトル演算処理を示すフローチャートである。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、基準画像ＳＩと対象画像ＯＩとに回転方向のズレが発生する場合を考慮したものとなっている。

ここに、図２０はＩＳユニット２３における基準画像と対象画像とのズレ量に回転ズレ量が含まれる場合の例を示す図である。

本実施形態においては、図２０に示すように、基準画像ＳＩの露光終了時点の中心位置ＯｓがＩＳユニット２３の中心位置Ｏ（つまり、対象画像ＯＩの露光開始時点の中心位置）とずれた位置にあるだけでなく、基準画像ＳＩと対象画像ＯＩとには回転方向のズレ量（回転ズレ量）θが生じている例を考える。

まず、センタリング情報に回転方向の情報が含まれる場合には、（ｘ，ｙ，θ）により撮像面におけるｘ方向のズレ量、ｙ方向のズレ量、および回転ズレ量を表すとすれば、累積センタリング情報（ｘ，ｙ，θ）は、例えば、次のようになる。

例えば、「センタリング１−２」の情報が（ｘ１２，ｙ１２，θ１２）、「センタリング２−３」の情報が（ｘ２３，ｙ２３，θ２３）、「センタリング３−４」の情報が（ｘ３４，ｙ３４，θ３４）であるとすると、
（ｘ，ｙ，θ）＝（ｘ１２＋ｘ２３＋ｘ３４，ｙ１２＋ｙ２３＋ｙ３４
，θ１２＋θ２３＋θ３４）
により累積センタリング情報（ｘ，ｙ，θ）を算出すれば良い。

そして、基準画像ＳＩと対象画像ＯＩとのズレ量に回転ズレ量が含まれる場合においても、まず、図５〜図８を参照して説明したように、シフト方向のズレ量を表す画素単位の画角ズレ量Ｖｐに基づいて、水平方向および垂直方向（ｘ，ｙ）の位置合わせを行う（図２１参照）。

その後に、図１９に示す処理を開始すると、まず、ステップＳ４１〜Ｓ４２の処理を上述した図９と同様に行う。

次に、回転方向の累積センタリング情報を取得する（ステップＳ８１）。

ここで、取得した累積センタリング情報に、回転方向の情報が含まれているか否かを判定する（ステップＳ８２）。

そして、回転方向の情報が含まれている（つまり、回転方向にセンタリング処理がなされた）と判定した場合には、図５〜図８を参照して説明したような相関値演算領域ＣＣＡの中心（図２１参照）を、回転中心ＲＣとして算出する（ステップＳ８３）。

続いて、図２１に示すように、算出した回転中心ＲＣ周りに対象画像ＯＩを回転ズレ量θだけ回転させる（ステップＳ８４）。ここに、図２１は、対象画像ＯＩを回転中心ＲＣ周りに回転ズレ量θだけ回転させる様子を示す図である。

このステップＳ８４を行った場合には回転された対象画像ＯＩに対して、また、ステップＳ８２において累積センタリング情報に回転方向の情報が含まれていないと判定された場合には、回転されていない対象画像ＯＩに対して、ステップＳ４３の処理によりサーチパッチＳＰの配置を行う。ここに、図２２は、回転された対象画像ＯＩに対するサーチパッチＳＰの配置の例を示す図である。

その後も、ステップＳ４４〜Ｓ４７の処理を上述した図９と同様に行って、この処理からリターンする。

このような実施形態４によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、センタリング情報に２枚の画像データの回転ズレ量が含まれている場合に、回転ズレ量に基づいて一方の画像データを回転させて相関値を算出するようにしたために、回転方向のセンタリングが行われた場合にも対応することができる。
［実施形態５］

図２３から図２５は本発明の実施形態５を示したものであり、図２３は相関値・ベクトル演算処理を示すフローチャートである。

この実施形態５において、上述の実施形態１〜４と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態４では、基準画像ＳＩと対象画像ＯＩとの回転方向のズレに対応するために、対象画像ＯＩを回転ズレ量θだけ回転させていた。これに対して本実施形態は、サーチパッチＳＰを回転させるものとなっている。

すなわち、図２３の処理を開始すると、ステップＳ４１〜Ｓ４３の処理を上述した図９と同様に行って、評価パッチＥＰを配置した後に、サーチパッチＳＰを一旦配置する。

次に、ステップＳ８１〜Ｓ８２の処理を上述した図１９と同様に行って、回転方向の累積センタリング情報を取得し、取得した情報に回転方向の情報が含まれているか否かを判定する。

ここで、回転方向の情報が含まれていると判定した場合には、ステップＳ８３の処理を上述した図１９と同様に行って回転中心ＲＣを算出する。

続いて、算出した回転中心ＲＣ周りに、対象画像ＯＩに対して全てのサーチパッチＳＰを、回転ズレ量θだけ回転させる（ステップＳ９１）。ここに、図２４は、対象画像ＯＩに対してサーチパッチＳＰを回転中心ＲＣ周りに回転ズレ量θだけ回転させる様子を示す図である。

このステップＳ９１を行った場合にはサーチパッチＳＰが回転された対象画像ＯＩに対して、また、ステップＳ８２において累積センタリング情報に回転方向の情報が含まれていないと判定された場合には、サーチパッチＳＰが回転されていない対象画像ＯＩに対して、ステップＳ４４の処理を上述した図９と同様に行う。

そして、ステップＳ４４によりサーチパッチＳＰ内で評価パッチＥＰをスキャンして算出された複数の差分絶対値和（ＳＡＤ値）の内の、最小値を与える（つまり、相関性が最も高い）組に係るスキャン位置と元の評価パッチＥＰの位置とのベクトルを、ローカルベクトルＬＶｐｒｅとして算出する。ここに、ｉ番目のパッチの組に対して算出されるローカルベクトルをＬＶｐｒｅ（ｉ）と表記することにする。

ここで、図２５は、回転後のサーチパッチＳＰＡの位置と回転前のサーチパッチＳＰＢの位置とからローカルベクトルＬＶを算出する方法を説明するための図である。

次に、算出したローカルベクトルＬＶｐｒｅ（ｉ）を用いて、回転前のｉ番目のサーチパッチＳＰＢの中心位置Ｅ１（ｉ）と、回転後のｉ番目のサーチパッチＳＰＢの中心位置Ｅ２（ｉ）と、例えば図２５に示すような適宜の座標基準Ｏとに基づいて、次の数式３に示すようなベクトル演算を行うことにより、ｉ番目のパッチの組に対する最終的なローカルベクトルＬＶ（ｉ）を算出する（ステップＳ９２）。
［数３］

その後、ステップＳ４６の処理により、総数ｎ個のパッチの組全てに対してローカルベクトルＬＶ（ｉ）を算出したか否かを判定し、全てのパッチの組の処理を終えるまで上述したステップＳ４４およびステップＳ９２の処理を繰り返して行う。

こうして、ステップＳ４６において、全ての評価パッチＥＰおよびサーチパッチＳＰの組の処理が完了したと判定された場合には、グローバルベクトルＧＶを算出する（ステップＳ９３）。本実施形態においてはパッチ毎に回転量が異なるために、ここでのグローバルベクトルＧＶの算出も、それぞれのパッチ毎に算出する。

具体的に、上述したように相関値に基づき算出されたローカルベクトルＬＶｐｒｅ（ｉ）を用いて、例えば次の数式４に示すような平均値として、グローバルベクトルＧＶｐｒｅを一旦算出する。
［数４］

そして、算出したグローバルベクトルＧＶｐｒｅを、回転前のｉ番目のサーチパッチＳＰＢの中心位置Ｅ１（ｉ）と、回転後のｉ番目のサーチパッチＳＰＢの中心位置Ｅ２（ｉ）と、座標基準Ｏとに基づいて、次の数式５に示すようにベクトル演算することにより、ｉ番目のパッチの組に対する最終的なグローバルベクトルＧＶ（ｉ）を算出する。
［数５］

こうして、全てのパッチの組に対してグローバルベクトルＧＶ（ｉ）を算出したら、この処理からリターンする。

このような実施形態５によれば、対象画像ＯＩを回転させる代わりに複数の領域であるサーチパッチＳＰを回転させて相関値を算出することによっても、上述した実施形態４とほぼ同様の効果を奏することができる。
［実施形態６］

図２６から図２９は本発明の実施形態６を示したものであり、図２６は相関値・ベクトル演算処理を示すフローチャートである。

この実施形態６において、上述の実施形態１〜５と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

基準画像ＳＩと対象画像ＯＩとにシフト方向のズレが生じただけでなく、さらに回転方向のズレが生じた場合には、回転中心ＲＣに近いほどブレが小さく、回転中心ＲＣから遠ざかるに従ってブレが大きくなる。さらに、回転ズレ量θの値が大きいほど、回転中心ＲＣに近いか遠いかでブレの大きさの相違が顕著になる。

そこで本実施形態は、回転中心ＲＣからの距離ｒ、および回転ズレ量θに応じて、サーチパッチＳＰのサイズを変更するようにしたものとなっている。

すなわち、図２６に示す処理を開始すると、まず、相関値を算出するための領域の数であるパッチ数、および評価パッチＥＰのサイズを設定値として読み込むと共に、ＩＳユニット２３における回転方向の最大補正量θｍａｘ、サーチパッチＳＰの初期サイズＳＰｉｎｉｔ、サーチパッチＳＰの最大拡張量ＳＰｅｘ、回転中心ＲＣからの距離ｒの重みテーブルＷｒＴＢＬ、回転ズレ量θの重みテーブルＷθＴＢＬを設定値として読み込んでおく（ステップＳ１０１）。

次に、ステップＳ４２〜Ｓ４３，ステップＳ８１〜Ｓ８２の処理を上述したように行って、取得した情報に回転方向の情報が含まれていると判定した場合には、ステップＳ８３の処理を上述したように行って回転中心ＲＣを算出する。

続いて、位置合せ処理部３１が、相関値演算領域ＣＣＡ内における回転中心ＲＣからの最大距離ｒｍａｘ（例えば、回転中心ＲＣから最も遠いパッチの中心までの距離）を算出する（ステップＳ１０２）。

そして、累積センタリング情報の回転ズレ量θと回転方向の最大補正量θｍａｘとの絶対値比率｜θ／θｍａｘ｜を算出した上で、算出した比率に応じた重み係数Ｗθを、図２７に示すような回転ズレ量θの重みテーブルＷθＴＢＬを用いて算出する（ステップＳ１０３）。

ここに図２７は、回転ズレ量θの重みテーブルＷθＴＢＬに記録されている、回転ズレ量θと回転方向の最大補正量θｍａｘとの比率｜θ／θｍａｘ｜と、重み係数Ｗθと、の関係を示す線図である。

この図２７に示す例では、重み係数Ｗθは、比率｜θ／θｍａｘ｜が１未満のある値になるまでは単調増加（例えば比例して増加）するが、比率｜θ／θｍａｘ｜がある値になったところで１に達し、比率｜θ／θｍａｘ｜がある値よりも大きくなっても１のままとなっている。

その後、ステップＳ９１の処理を上述したように行って、回転中心ＲＣ周りに、対象画像ＯＩに対して全てのサーチパッチＳＰを、回転ズレ量θだけ回転させる。

このステップＳ９１を行った場合、また、ステップＳ８２において回転方向の情報が含まれていないと判定された場合には、各パッチの回転中心ＲＣからの距離ｒを算出する（ステップＳ１０４）。すなわち、本実施形態の位置合せ処理部３１は、回転中心ＲＣと、複数の領域であるパッチそれぞれの領域中心と、の距離ｒを算出する距離算出部としての機能を備えている。

次に、各パッチの回転中心ＲＣからの距離ｒと最大距離ｒｍａｘとの比率ｒ／ｒｍａｘを算出した上で、算出した比率ｒ／ｒｍａｘに応じた重み係数Ｗｒを、図２８に示すような距離ｒの重みテーブルＷｒＴＢＬを用いて算出する（ステップＳ１０５）。

ここに図２８は、回転中心ＲＣからの距離ｒの重みテーブルＷｒＴＢＬに記録されている、距離ｒと最大距離ｒｍａｘとの比率ｒ／ｒｍａｘと、重み係数Ｗｒと、の関係を示す線図である。

この図２８に示す例では、重み係数Ｗｒは、比率ｒ／ｒｍａｘに応じて単調増加（例えば比例して増加）しており、比率ｒ／ｒｍａｘが１になったところで重み係数Ｗｒも１になっている。

続いて、上述したように得られた重み係数Ｗθと重み係数Ｗｒとを次の数式６に示すように乗算して、サーチパッチＳＰのサイズを変更する際の最終的な重み係数Ｗｅｉｇｈｔを算出する。
［数６］
Ｗｅｉｇｈｔ＝Ｗθ×Ｗｒ

こうして算出した重み係数Ｗｅｉｇｈｔを用いて、位置合せ処理部３１が、上述した数式２によりサーチパッチＳＰのサイズＳＰｓｉｚｅを算出する（ステップＳ１０６）。

そして、サーチパッチＳＰのサイズを、ステップＳ１０６において算出したサーチパッチＳＰのサイズＳＰｓｉｚｅに変更する（ステップＳ１０７）。

ここに、図２９は、対象画像ＯＩに対して回転中心ＲＣ周りに回転ズレ量θだけ回転させたサーチパッチＳＰを、回転中心ＲＣからの距離に応じた大きさに変更した様子を示す図である。

図示のように、相関値演算領域ＣＣＡ内に配置されているサーチパッチＳＰは、回転中心ＲＣ周りに回転ズレ量θだけ回転されていると共に、回転中心ＲＣからの距離が遠いほど、サイズが大きくなっている。

そして、ステップＳ４４〜Ｓ４７の処理を上述したように行うことで、全てのパッチの組に対する処理が行われ、その後にこの処理からリターンする。

なお、ここではサーチパッチＳＰのサイズを、回転中心ＲＣからの距離ｒと、回転ズレ量θと、の両方に応じて最適化したが、何れか一方のみに応じて最適化しても構わない。

また、ここでは、回転ズレ量θおよび距離ｒに応じてサーチパッチＳＰのサイズを変更する技術を、サーチパッチＳＰを回転させる実施形態５の方法に適用した例を説明したが、これに限るものではなく、対象画像ＯＩを回転させる実施形態４の方法に適用してももちろん構わない。

このような実施形態６によれば、上述した実施形態４あるいは実施形態５とほぼ同様の効果を奏するとともに、サーチパッチＳＰのサイズが、回転中心ＲＣからの距離ｒに応じて、さらに回転ズレ量θに応じて最適化されるために、回転ズレがある場合の相関値、ひいてはベクトルの算出を、効率良くかつ精度良く行うことができる。
［実施形態７］

図３０から図３３は本発明の実施形態７を示したものであり、図３０は露光時間が連写間隔よりも短い場合の各画像の露光とセンタリングの様子を示すタイムチャートである。

この実施形態７において、上述の実施形態１〜６と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述したように、連写間隔と露光時間が概ね一致する場合（図４参照）には、センタリング情報と連写画像間の位置ズレとが概ね一致する。しかし、図３０に示すように、連写間隔と露光時間とが一致せず、例えば露光時間が連写間隔よりもかなり短い場合には、センタリング情報と連写画像間の位置ズレとは一致しない。

具体的に、図３０には、各画像の露光時間がＴｅ、連写間隔（フレームレートではなく、連写を行う時間間隔）がＴａであって、未露光時間（Ｔａ−Ｔｅ）が露光時間Ｔｅよりも長い場合、つまり、
Ｔｅ＜（Ｔａ−Ｔｅ）
となる場合を示している。

このような場合には、ｎ枚目の画像の露光終了時点でＩＳユニット２３を初期位置にリセットして得られるセンタリング情報（ひいては、ｎ枚目の画像の露光終了時点におけるＩＳユニット２３の位置）は、ｎ枚目の画像と（ｎ＋１）枚目の画像との画像間の位置ズレ量と一致しないために、センタリング情報を用いて画像同士の位置合わせをしようとしても位置ズレが生じてしまう。そして、この位置ズレは、未露光時間における手ブレが大きいほど大きくなる。

本実施形態は、このような、連写間隔と露光時間とが一致しない場合に対応するものとなっている。

図３１は、相関値・ベクトル演算処理を示すフローチャートである。

この図３１に示す処理を開始すると、まず、相関値を算出するための領域の数であるパッチ数、および評価パッチＥＰのサイズを設定値として読み込むと共に、露光時間Ｔｅの重みテーブルＷｅｘｐＴＢＬ、サーチパッチＳＰの初期サイズＳＰｉｎｉｔ、サーチパッチＳＰの最大拡張量ＳＰｅｘを設定値として読み込んでおく（ステップＳ１１１）。

次に、図３０に示すような連写時の露光時間Ｔｅを読み込むと共に（ステップＳ１１２）、連写間隔Ｔａを読み込んで（ステップＳ１１３）、これらの比率Ｔｅ／Ｔａを算出した上で、算出した比率Ｔｅ／Ｔａに応じた重み係数Ｗｅｘｐを、図３２に示すような露光時間Ｔｅの重みテーブルＷｅｘｐＴＢＬを用いて算出する（ステップＳ１１４）。

ここに図３２は、露光時間Ｔｅの重みテーブルＷｅｘｐＴＢＬに記録されている、露光時間Ｔｅと連写間隔Ｔａとの比率Ｔｅ／Ｔａと、重み係数Ｗｅｘｐと、の関係を示す線図である。

この図３２に示す例では、重み係数Ｗｅｘｐは、比率Ｔｅ／Ｔａが１未満のある値になるまでは１のままであるが、比率Ｔｅ／Ｔａがある値になったところで単調減少を開始し、比率Ｔｅ／Ｔａが１になったところで０になっている。

こうして得られた重み係数Ｗｅｘｐを、次の数式７に示すように、サーチパッチＳＰのサイズを変更する際の重み係数Ｗｅｉｇｈｔとする。
［数７］
Ｗｅｉｇｈｔ＝Ｗｅｘｐ

こうして算出した重み係数Ｗｅｉｇｈｔを用いて、位置合せ処理部３１が、上述した数式２によりサーチパッチＳＰのサイズＳＰｓｉｚｅを算出する（ステップＳ１１５）。

そして、サーチパッチＳＰのサイズを、ステップＳ１１５において算出したサーチパッチＳＰのサイズＳＰｓｉｚｅに変更する（ステップＳ１１６）。

ここに、図３３は、露光時間Ｔｅが連写間隔Ｔａよりも短い場合のサーチパッチＳＰのサイズＳＰｓｉｚｅの例を示す図である。

一方、露光時間Ｔｅと連写間隔Ｔａとが概ね一致する場合のサーチパッチＳＰのサイズＳＰｓｉｚｅは、例えば上述した図１１に示したようになる。

図１１と図３３とを比較すれば分かるように、露光時間Ｔｅが連写間隔Ｔａよりも短くなると、サーチパッチＳＰのサイズＳＰｓｉｚｅが大きくなっている。

その後は、ステップＳ４２〜Ｓ４７の処理を上述したように行って、この処理からリターンする。

このような実施形態７によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、連写時の連写間隔と露光時間とに応じて（つまり、未露光時間における手ブレの影響を考慮して）サーチパッチＳＰのサイズを変更するようにしたために、露光時間Ｔｅが連写間隔Ｔａよりも短いときでも、相関値、ひいてはベクトルの算出を、効率良くかつ精度良く行うことができる。

なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う画像処理方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

具体例としては、実施形態３に示したような画角ズレ量Ｖｐと画角ズレの最大想定量Ｖｐｍａｘとの比率｜Ｖｐ／Ｖｐｍａｘ｜に応じたサーチパッチＳＰのサイズ変更技術と、実施形態６に示したような回転ズレ量θと回転方向の最大補正量θｍａｘとの比率｜θ／θｍａｘ｜に応じたサーチパッチＳＰのサイズ変更技術と、実施形態６に示したような距離ｒと最大距離ｒｍａｘとの比率ｒ／ｒｍに応じたサーチパッチＳＰのサイズ変更技術と、実施形態７に示したような露光時間Ｔｅと連写間隔Ｔａとの比率Ｔｅ／Ｔａに応じたサーチパッチＳＰのサイズ変更技術と、を適宜に組み合わせても構わない。この例に限らず、上記実施形態に示した各技術を組み合わせても良い。

このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子
２３…ＩＳユニット
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＥ処理部
２９…ＡＦ処理部
３０…ＡＷＢ処理部
３１…位置合せ処理部
３２…合成処理部
３３…画像処理部
３４…ＷＢ補正部
３５…同時化処理部
３６…色再現処理部
３７…ＮＲ処理部
３８…ＪＰＥＧ処理部
３９…ブレ検知ユニット
４１…ＬＣＤドライバ
４２…ＬＣＤ
４３…ＥＶＦドライバ
４４…ＥＶＦ
４５…メモリＩ／Ｆ
４６…記録媒体
４７…操作部
４８…フラッシュメモリ
５０…マイクロコンピュータ
ＣＣＡ…相関値演算領域
ＥＰ…評価パッチ
ＯＩ…対象画像
ＳＩ…基準画像
ＳＰ…サーチパッチ

Claims (10)

1. 連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有する撮像装置において、
   前記撮像装置の動きの大きさをブレ量として検知するブレ検知部と、
   前記ブレ検知部により検知されたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正すると共に、１枚の画像の露光が終了して次の１枚の画像の露光が始まるまでの間に該駆動対象を所定位置にリセットするセンタリング処理が可能なブレ補正部と、
   連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する相関値演算部と、
   前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する合成処理部と、
   を備え、
   前記相関値演算部は、前記センタリング処理を行った際のセンタリング情報を用いて前記相関値を算出することを特徴とする撮像装置。
2. 前記相関値演算部は、前記センタリング情報に基づき、前記２枚の画像データの共通領域を算出し、前記共通領域を相関値演算領域として前記相関値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記相関値演算部は、前記２枚の画像データのそれぞれに複数の領域を設定し、設定した領域毎に前記相関値を算出するものであって、前記センタリング情報に基づき、設定する領域のサイズを変更することを特徴とする請求項１に記載の撮像装置。
4. 前記相関値演算部は、前記センタリング情報に前記２枚の画像データの回転ズレ量が含まれている場合に、該回転ズレ量に基づいて一方の画像データを回転させて前記相関値を算出することを特徴とする請求項１に記載の撮像装置。
5. 前記相関値演算部は、前記２枚の画像データのそれぞれに複数の領域を設定し、設定した領域毎に前記相関値を算出するものであって、前記センタリング情報に前記２枚の画像データの回転ズレ量が含まれている場合に、該回転ズレ量に基づいて前記複数の領域を回転させて前記相関値を算出することを特徴とする請求項１に記載の撮像装置。
6. 前記相関値演算部は、前記２枚の画像データのそれぞれに複数の領域を設定し、設定した領域毎に前記相関値を算出するものであって、前記センタリング情報に前記２枚の画像データの回転ズレ量が含まれている場合に、回転中心と、前記複数の領域それぞれの領域中心との距離を算出する距離算出部を有し、前記距離算出部により算出された距離に応じて、設定する領域のサイズを変更することを特徴とする請求項１に記載の撮像装置。
7. 前記相関値演算部は、前記２枚の画像データのそれぞれに複数の領域を設定し、設定した領域毎に前記相関値を算出するものであって、前記センタリング情報に前記２枚の画像データの回転ズレ量が含まれている場合に、該回転ズレ量に応じて、設定する領域のサイズを変更することを特徴とする請求項１に記載の撮像装置。
8. 前記相関値演算部は、前記２枚の画像データのそれぞれに複数の領域を設定し、設定した領域毎に前記相関値を算出するものであって、連写時の連写間隔と露光時間とに応じて、設定する領域のサイズを変更することを特徴とする請求項１に記載の撮像装置。
9. 前記駆動対象の現在の位置に基づいて、仮にセンタリング処理を行った場合のセンタリング予測量を算出する予測量算出部をさらに備え、
   前記ブレ補正部は、前記センタリング予測量が、予め定められたセンタリング閾値よりも小さい場合には、前記センタリング処理を行わないことを特徴とする請求項１に記載の撮像装置。
10. 連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する画像処理方法において、
    撮像装置の動きの大きさを検知して得られたブレ量に基づき、レンズと撮像素子との少なくとも一方を駆動対象として駆動することにより露光中のブレを補正すると共に、１枚の画像の露光が終了して次の１枚の画像の露光が始まるまでの間に該駆動対象を所定位置にリセットするセンタリング処理を行う第１ステップと、
    連写して得られる前記複数枚の画像データの内の、任意の２枚の画像データに対して、それぞれ所定の領域内における画像データを用いて相関値を算出する第２ステップと、
    前記相関値に基づいて前記２枚の画像データの位置合わせを行い、該２枚の画像データを合成する第３ステップと、
    を有し、
    前記第２ステップにおいて、前記センタリング処理を行った際のセンタリング情報を用いて前記相関値を算出することを特徴とする画像処理方法。

Images