JP7268342B2 - 画像処理装置、画像処理方法、画像処理プログラム及び電子機器 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び電子機器に関する。

特許文献１には、イメージセンサを画素単位（例えば１画素単位）で移動（微小振動）させながら撮影した複数の画像を合成して合成画像を得る、所謂マルチショット合成と呼ばれる撮影技術が開示されている。マルチショット合成では、通常の１ショット画像より高精細（高画質、高精度）な画像を得ることができる。

特開２０１６－２１９９７４号公報

しかしながら、従来のマルチショット合成では、イメージセンサの画素単位の移動を保証するために、電子機器（例えばデジタルカメラ）を三脚等で位置決め固定しなければならなかった。また一般的に（三脚等による電子機器の位置決め固定の有無にかかわらず）、複数の画像を合成して合成画像を得るときに当該合成画像の品質を優れたものとすることが要求されている。

本発明は、以上の問題意識に基づいてなされたものであり、複数の画像から優れた合成画像を得ることができる画像処理装置、画像処理方法、画像処理プログラム及び電子機器を提供することを目的とする。

本実施形態の画像処理装置は、複数の画像を所定の画像領域に分割する分割部と、前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出部と、前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択部と、前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成部と、を有し、分割された各画像領域は、互いに異なるサイズの画像領域を含み、前記分割部は、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、ことを特徴としている。

本実施形態の画像処理方法は、複数の画像を所定の画像領域に分割する分割ステップと、前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出ステップと、前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択ステップと、前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成ステップと、を有し、分割された各画像領域は、互いに異なるサイズの画像領域を含み、前記分割ステップでは、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、ことを特徴としている。

本実施形態の画像処理プログラムは、複数の画像を所定の画像領域に分割する分割ステップと、前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出ステップと、前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択ステップと、前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成ステップと、をコンピュータに実行させる画像処理プログラムであって、分割された各画像領域は、互いに異なるサイズの画像領域を含み、前記分割ステップでは、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、ことを特徴としている。

本実施形態の電子機器は、複数の画像を撮影する撮影部と、前記複数の画像の位置ずれ量を検出する検出部と、前記位置ずれ量に応じて前記複数の画像から合成対象画像を選択する選択部と、前記位置ずれ量と前記合成対象画像に基づいて合成画像を得る合成部と、前記撮影部の少なくとも一部を駆動部材として、前記駆動部材を前記撮影部の光軸とは異なる方向に駆動する駆動機構と、を有し、前記駆動機構は、前記撮影部の光軸と直交する平面内における前記駆動部材の平行方向駆動成分を相対的に小さくし、前記撮影部の光軸と直交する平面内における前記駆動部材の回転方向駆動成分を相対的に大きくする、ことを特徴としている。
本実施形態の電子機器は、複数の画像を所定の画像領域に分割する分割部と、前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出部と、前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択部と、前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成部と、を有し、分割された各画像領域は、互いに異なるサイズの画像領域を含み、前記分割部は、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、を有することを特徴としている。

本発明によれば、複数の画像から優れた合成画像を得ることができる画像処理装置、画像処理方法、画像処理プログラム及び電子機器を提供することができる。

第１実施形態の画像処理装置、画像処理方法及び画像処理プログラムを搭載したカメラユニット付き電子機器の概略構成を示すブロック図である。 マルチショット合成モードの一例を示す概念図である。 画像処理装置（プロセッサ）の内部構成を示す機能ブロック図である。 連写で撮影した４枚の画像の１枚を基準画像に設定するとともに残りの３枚を比較画像に設定した場合を示す概念図である。 基準画像と比較画像を合成して合成画像を得る場合を示す概念図である。 画像処理装置による画像処理を示すフローチャートである。 選択部による合成対象画像の第１の選択処理を示すフローチャートである。 選択部による合成対象画像の第２の選択処理を示すフローチャートである。 第２実施形態の画像処理装置（プロセッサ）の内部構成を示す機能ブロック図である。 複数の画像を所定の画像領域に分割する場合の一例を示す図である。 第２実施形態による撮影処理の一例を示すフローチャートである。 防振ユニットの構成の一例を示す背面図と断面図である。 防振ユニットの可動ステージを示す背面図である。 Ｘ方向用磁石とＸ駆動用コイルを含むＸ駆動部を拡大して示す断面図である。 Ｚ方向用磁石とＺ駆動用コイルとＺ方向用ホール素子を含むＺ駆動部を拡大して示す断面図である。 ＸＹ平面内の回転方向の像振れによる悪影響の一例を示す図である。 複数の画像を互いに異なるサイズの画像領域に分割する場合の一例を示す図である。

≪第１実施形態≫
図１は、第１実施形態の画像処理装置、画像処理方法及び画像処理プログラムを搭載したカメラユニット付き電子機器１の概略構成を示すブロック図である。

電子機器１は、例えば、デジタルカメラ、携帯電話、ゲーム機器等の撮影機能を搭載した各種機器とすることができるが、本実施形態では、電子機器１がデジタルカメラである場合を例示して説明する。あるいは、電子機器１は、撮影機能を搭載することなく、画像の入力を受けて当該画像に画像処理を施すＰＣ等の各種機器とすることもできる。詳しくは後述するが、本実施形態の電子機器１は、一例として手振れを利用したマルチショット合成を実行できるので、手振れを起こし易い撮影機能を有する携帯型の電子機器に搭載して好適である。

デジタルカメラ１は、カメラボディＣＢの内部に、カメラユニット（撮影部）１０と、画像処理装置（プロセッサ）２０と、メモリ（例えばＲＡＭ）３０と、記録媒体（例えばＵＳＢメモリ）４０と、表示装置（表示部）（例えばＬＣＤ）５０と、入力装置（切替部）６０と、センサ７０と、防振ユニット（手振れ補正機構）８０と、ＣＰＵ９０と、これらの各構成要素を直接的又は間接的に接続するバス１００とを有している。なお、画像処理装置（プロセッサ）２０とＣＰＵ９０は、同一のハードウェアにより構成されてもよいし、別々のハードウェアにより構成されてもよい。

カメラユニット１０は、撮影光学系（図示略）と、イメージセンサ１１（図２）とを有している。撮影光学系による被写体像はイメージセンサ１１の受光面上に結像され、マトリックス状に配置された検出色の異なる複数の画素によって電気信号に変換され、画像として画像処理装置２０に出力される。画像処理装置２０は、カメラユニット１０による画像に所定の画像処理を施す。画像処理装置２０により画像処理が施された画像は、メモリ３０に一時的に記録される。メモリ３０に記録された画像は、ユーザの選択・決定に従って、記録媒体４０に保存され、表示装置５０に表示される。

入力装置６０は、例えば、電源スイッチ、レリーズスイッチ、各種機能の選択・設定を実行するためのダイヤルスイッチ、四方向スイッチ、タッチパネル等から構成される。センサ７０は、例えば、デジタルカメラ１のボディ本体に加えられる加速度、角速度、角加速度を検出する加速度検出器、角速度検出器、角加速度検出器等から構成される。センサ７０による出力は、デジタルカメラ１のボディ本体の振れを示す振れ検出信号として、ＣＰＵ９０に入力される。

防振ユニット８０は、カメラユニット１０の撮影光学系とイメージセンサ１１の少なくとも一方を移動部材（駆動部材）として、当該移動部材を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）駆動する。ＣＰＵ９０は、防振ユニット８０を駆動制御する。ＣＰＵ９０は、センサ７０からデジタルカメラ１のボディ本体の振れを示す振れ検出信号の入力を受けて、防振ユニット８０によって移動部材を撮影光学系の光軸と異なる方向に駆動する。これにより、イメージセンサ１１における被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。なお、防振ユニット８０の構成については後に詳細に説明する。

デジタルカメラ１は、防振ユニット８０を利用して、カメラユニット１０のイメージセンサ１１を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード）を搭載している。「マルチショット合成モード」では、１画素あたり１つの色情報のみを取得する従来技術と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

図２Ａ～図２Ｄは、本実施形態のマルチショット合成モードの一例を示す概念図である。図２Ａ～図２Ｄにおいて、イメージセンサ１１は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図２Ａの基準位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ下方に相対移動させた図２Ｂの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ右方に相対移動させた図２Ｃの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ上方に相対移動させた図２Ｄの位置で１枚の画像を撮影し、最後に図２Ａの基準位置に戻る。このように、光軸直交平面内で、太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、画像処理装置２０に入力される。画像処理装置２０は、イメージセンサ１１が時系列に撮影した４枚の画像を合成して合成画像を得る。

防振ユニット８０を利用したマルチショット合成では、イメージセンサ１１の画素単位の移動を保証するために、デジタルカメラ１のボディ本体を三脚等で位置決め固定しなければならない。これに対し、本実施形態では、防振ユニット８０を利用することなく（手振れ補正駆動を行うことなく）、且つ、デジタルカメラ１のボディ本体を撮影者が手持ちした状態でも、マルチショット合成を実行可能である。すなわち、イメージセンサ１１を能動的に動かすのではなく、撮影者の手振れ（揺らぎ）によるショット毎の画像のずれを利用して、マルチショット合成を行う。以下では、この撮影モードを「手振れ利用マルチショット合成モード」と呼ぶことがある。

デジタルカメラ１の入力装置（切替部）６０を操作することで、「手振れ利用マルチショット合成モード（特定の撮影モード）」とそれ以外の撮影モード（例えば防振ユニット８０を利用したマルチショット合成モード）を切り替えることができる。また、デジタルカメラ１０の表示装置（表示部）５０は、「手振れ利用マルチショット合成モード（特定の撮影モード）」が設定されていることを表示することができる。また、本実施形態の特定の撮影モード（特定の画像処理モード）は、上述した手振れ利用マルチショット合成モードの他にも、手振れを利用することなく連写撮影によって得た複数の画像、さらに指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像群が存在する中から、構図やアングル、撮影時間、画質的特徴が近しい複数の画像を選択・抽出したものに適用する撮影モード（画像処理モード）を含むものとする。デジタルカメラ１の入力装置（切替部）６０と表示装置（表示部）５０は、この広い概念の特定の撮影モード（特定の画像処理モード）の切り替えと表示を実行することができる。

図３に示すように、画像処理装置（プロセッサ）２０は、マルチショット合成を実行するための構成要素として、マッチング部２１と、検出部２２と、選択部２３と、合成部２４とを有している。

マッチング部２１は、例えば、パターンマッチング等の画像の一致度を評価する手法、及び／又は、センサ７０の出力を利用して、カメラユニット１０が撮影した複数の画像がマルチショット合成に適しているか否かを判定する。複数の画像の枚数には自由度があり、その具体的な枚数は問わない。例えば、マッチング部２１は、所定枚数（例えば４枚）の画像が入力した段階でマッチング処理を実行することができる。例えば、複数の画像が同構図や同アングルで連写モードを利用して撮影されたものである場合（例えば同一の被写体で相関がある場合）、当該複数の画像はマルチショット合成に適していると判定される可能性が高い。一方、複数の画像が構図やアングルを異ならせて時間的にずらして撮影されたものである場合（例えば異なる被写体で相関がない場合）、当該複数の画像はマルチショット合成に適していないと判定される可能性が高い。マッチング部２１は、複数の画像がマルチショット合成に適していると判定した場合は当該マルチショット合成を続行し、複数の画像がマルチショット合成に適していないと判定した場合は当該マルチショット合成を中止することができる。

複数の画像（後述する基準画像、比較画像、合成対象画像を含み得る）は、相互に画素の相関があることが好ましい。例えば、複数の画像は、動画や連写で得られるような、撮影の対象や露出が極端に変化しないものであることが好ましい。一方、被写体が移動しない風景や写真等の場合、複数の画像は、一度に撮影した動画や連写に限らず、ある程度の時間をおいて撮影されたものであってもよい。また、被写体が同じであっても、撮影時期が昼と夜のように露出が異なる場合、後述する画像合成に不具合が発生するおそれがあるので、複数の画像は、相互の露出が概ね合っていることが好ましい。露出の異なる複数の画像を使用する場合、いずれかの画像に露出を合わせるような正規化を行うことにより、パターンマッチングの精度を向上させることができる。

複数の画像がマルチショット合成に適していないとマッチング部２１が判定した場合、マルチショット合成に適した複数の画像が揃うまで、不要なフレームを捨てながら、カメラユニット１０による撮影を繰り返すことができる。その際、マルチショット合成に適した複数の画像を得やすくするために、撮影条件を設定（制限）することができる。例えば、ＩＳＯ感度、シャッタ速度、絞り開度、焦点距離、撮影距離、環境の明るさ等の撮影条件を設定（制限）することができる。また、信号対雑音比（Ｓ／Ｎ比）が悪い場合には、カメラユニット１０による撮影枚数を増やすことができる。

マッチング部２１に入力される複数の画像は、カメラユニット１０が撮影した直後のものに限定されない。例えば、指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像群が存在する中から、構図やアングル、撮影時間、画質的特徴が近しい複数の画像を選択・抽出することができる。この選択・抽出の処理を連続的に繰り返す場合は、複数の画像をＮ枚の独立した組としてもよいし、Ｎ－１枚のオーバーラップを持った組としてもよい。

検出部２２は、マッチング部２１によりマルチショット合成に適していると判定された複数の画像の画素ずれ量（位置ずれ量）を検出する。検出部２２は、例えば、特許第４７６０９２３号公報に開示されているブロックマッチング等の周知技術を用いて、複数の画像の画素ずれ量を確実かつ精密に検出することができる。また検出部２２は、以下で説明する各種の手法によっても、複数の画像の画素ずれ量を確実かつ精密に検出することができる。

検出部２２は、例えば、センサ７０を構成する加速度検出器、角速度検出器、角加速度検出器の少なくとも１つの出力に基づいて、複数の画像の画素ずれ量を検出することができる。

検出部２２は、イメージセンサ１１の画素出力に基づいて、ピクセル毎又はサブピクセル毎に、複数の画像の画素ずれ量を検出することができる。さらに、検出部２２は、イメージセンサ１１の画素出力に基づいて、ＲＧＢプレーン毎に、複数の画像の画素ずれ量を検出することができる。その際、検出部２２は、ＲＧＢプレーンのうちの特定のＲＧＢプレーンだけを使用してもよいし、使用するＲＧＢプレーンを変動させてもよい。例えば、第１の画像と第２の画像の画素ずれ量を検出するときにはＧプレーンを使用して、第３の画像と第４の画像の画素ずれ量を検出するときにはＲプレーンを使用するといった柔軟な対応が可能である。

検出部２２は、上述したセンサ７０の出力を利用した検出態様とイメージセンサ１１の画素出力を利用した検出態様を組み合わせることができる。すなわち、センサ７０の出力を利用して画素ずれ量の方向性におおよその見当をつけた後に、イメージセンサ１１の画素出力を利用して精密な画素ずれ量を検出することができる。

検出部２２は、イメージセンサ１１の画素出力に特定用途の画素出力が含まれている場合、当該特定用途の画素出力を除外するか、低い重み付けを与えて画素ずれ量を検出することができる。特定用途の画素出力とは、例えば、撮影に無関係な位相差検出画素などを含むことができる。

選択部２３は、検出部２２が検出した複数の画像の画素ずれ量に応じて、当該複数の画像から合成対象画像を選択する。より具体的に、選択部２３は、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、基準画像と比較画像の画素ずれ量に応じて、比較画像から合成対象画像を選択する。

図４は、連写で撮影した４枚の画像の１枚を基準画像に設定するとともに残りの３枚を比較画像１～比較画像３に設定した場合を示す概念図である。図４Ａが基準画像を示しており、図４Ｂ～図４Ｄが比較画像１～比較画像３を示している。見た目で判別するのは難しいが、基準画像と比較画像１～比較画像３の間には、微小画素（例えば数画素）レベルの画素ずれが存在している。この画素ずれは、例えば、デジタルカメラ１のボディ本体を持つ撮影者の手振れ（揺らぎ）に起因する。本実施形態では、基準画像と比較画像１～比較画像３の間の画素ずれを、防振ユニット８０を利用したマルチショット合成におけるイメージセンサ１１の駆動量（図２参照）と同視することにより、防振ユニット８０を利用することなくマルチショット合成を実行する。

選択部２３は、基準画像の画素座標（ｄｘ、ｄｙ）を（０、０）と定義したときに、画素ずれ量である比較画像の画素座標（ｄｘ、ｄｙ）が次のパターンとなるような画像の組み合わせを探す。
（Ａ）基準画像：（ｄｘ、ｄｙ）＝（０、０）
（Ｂ）比較画像：（ｄｘ、ｄｙ）＝（偶数、奇数）
（Ｃ）比較画像：（ｄｘ、ｄｙ）＝（奇数、奇数）
（Ｄ）比較画像：（ｄｘ、ｄｙ）＝（奇数、偶数）

理想的には、画素ずれ量である比較画像の画素座標（ｄｘ、ｄｙ）は整数画素であることが好ましいが、実際的には、そのようなケースは殆ど存在せず、（Ａ）～（Ｄ）を満足する合成対象画像を選択することは困難である。そこで、選択部２３は、例えば、－０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５を満足する１画素以下の許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を設定して合成対象画像を選択する。より具体的に、選択部２３は、（Ａ）～（Ｄ）を次の（Ａ’）～（Ｄ’）に置き換えて、合成対象画像を選択する。なお、（Ａ’）～（Ｄ’）においてＥ_{ａｌｌｏｗａｂｌｅ}＝０とすれば、（Ａ）～（Ｄ）と（Ａ’）～（Ｄ’）は等価である。
（Ａ’）基準画像：（ｄｘ、ｄｙ）＝（０、０）
（Ｂ’）比較画像：（ｄｘ、ｄｙ）＝（偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｃ’）比較画像：（ｄｘ、ｄｙ）＝（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｄ’）比較画像：（ｄｘ、ｄｙ）＝（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）

許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を－０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５の範囲内で設定することにより、偶数画素か奇数画素かを問うことなく、整数画素に近い範囲の画素座標だけをピックアップして高精度・高信頼性の合成対象画像を選択することができる。例えば、ある画素座標が「－２．９０」や「３．２２」であれば、許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を適用することで、当該画素座標が「３」に近いと判断して当該画素座標を選択する。一方、ある画素座標が「－２．６４」や「３．３８」であれば、許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を適用しても、当該座標が「３」に近いとは判断せず、当該画素座標を選択しない。なお、許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を－０．５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．５の範囲内で設定することで、奇数画素と偶数画素の中間付近の画素を必ず偶数画素か奇数画素のいずれかに振り分けることができる。例えば、奇数画素と偶数画素の中間値の近傍にある画素座標「３．４８」と「３．５３」があった場合、「３．４８」が「３」に近いと判断され、「３．５３」が「４」に近いと判断される。

選択部２３は、複数の画像の中から、上記（Ａ’）を満足する基準画像を設定するとともに、上記（Ｂ’）を満足する比較画像及び／又は上記（Ｄ’）を満足する比較画像を合成対象画像として選択する。これにより、後述する画像合成時に、１画素毎に２つのＧ（Ｇｒ、Ｇｂ）を色情報成分として含ませることが可能になる。

より好ましくは、選択部２３は、複数の画像の中から、上記（Ａ’）を満足する基準画像を設定するとともに、上記（Ｂ’）を満足する比較画像、上記（Ｃ’）を満足する比較画像及び上記（Ｄ’）を満足する比較画像を合成対象画像として選択する。これにより、後述する画像合成時に、１画素毎にＲＧＢの各色の色情報成分を含ませることが可能になる。

選択部２３は、比較画像から合成対象画像を選択できなかったとき、Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を広げて、合成対象画像の選択を再試行することができる。例えば、選択部２３は、１回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の絶対値を０．０１に設定し、２回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．０５に設定し、３回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．１０に設定し、４回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．１５に設定し、５回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．２０に設定し、６回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．２５に設定することができる。選択部２３は、Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．２５に設定しても合成対象画像を選択できなかったとき、合成対象画像の選択を中止することができる。Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を段階的に広げていくことにより、合成対象画像の選択の精度を段階的に緩くすることができる。

選択部２３は、比較画像から合成対象画像を選択できなかったとき、基準画像（及び比較画像）を再設定して、合成対象画像の選択を再試行することができる。画素ずれ量は基準画像との関係で規定されるので、複数の画像のいずれを基準画像に設定するかにより、合成対象画像を選択できる場合と選択できない場合がある。従って、基準画像を再設定して合成対象画像の選択を再試行すれば、当該合成対象画像の選択が成功する可能性がある。すなわち、ある画像を基準画像に設定して合成対象画像の選択に失敗した場合であっても、別の画像を基準画像に設定すれば合成対象画像の選択に成功する場合がある。

選択部２３は、画素ずれ量である比較画像の画素座標（ｄｘ、ｄｙ）が所定のエラー閾値（例えば数十画素）を超えている場合には、合成対象画像の選択を中止することができる。

合成部２４は、検出部２２が検出した画素ずれ量と、選択部２３が選択した合成対象画像（基準画像と比較画像から選択した合成対象画像）とに基づいて、合成画像を得る。合成部２４は、検出部２２が検出した画素ずれ量に応じて、選択部２３が選択した合成対象画像（基準画像と比較画像から選択した合成対象画像）の画像演算を実行することにより、合成画像を得る。

より具体的に、合成部２４は、検出部２２が検出した画素ずれ量に応じて、選択部２３が選択した合成対象画像（基準画像と比較画像から選択した合成対象画像）を相対移動して合成画像を得る。ここで、「合成対象画像を相対移動する」とは、当該合成対象画像が基準画像に対して相対移動するように当該基準画像のデータを修正することを意味する。別言すると、「合成対象画像を相対移動する」とは、合成対象画像を基準画像に対して合成する際に、基準画像において、合成対象画像の相対移動を加味した上で、画像データを抽出することを意味する。

合成部２４は、検出部２２が検出した画素ずれ量に応じて、合成対象画像（基準画像と比較画像から選択した合成対象画像）が重なるように、当該画像を相対移動させることができる。

合成部２４は、検出部２２による画素ずれ量の検出単位量（検出精度）とは異なる移動単位量（移動精度）で、合成対象画像（基準画像と比較画像から選択した合成対象画像）を相対移動させることができる。例えば、検出部２２による画素ずれ量の検出精度をサブピクセル単位とする一方、合成部２４による合成対象画像（基準画像と比較画像から選択した合成対象画像）の移動精度をピクセル単位としてもよい。このように、合成部２４は、検出部２２による画素ずれ量の検出ピクセル度合い（検出ピクセル分解能、検出ピクセル刻み、検出ピクセル基準）とは異なる移動ピクセル度合い（移動ピクセル分解能、移動ピクセル刻み、移動ピクセル基準）で、合成対象画像（基準画像と比較画像から選択した合成対象画像）を相対移動させてもよい。

合成部２４によって相対移動させられた基準画像と比較画像（合成対象画像）の画素座標は、上記の（Ａ）～（Ｄ）と（Ａ’）～（Ｄ’）の例に倣うと、例えば、次の（Ａ”）～（Ｄ”）により表される。Ｅ_{ａｌｌｏｗａｂｌｅ}を許容誤差として無視すれば、（Ａ”）～（Ｄ”）で表される４枚の画像は、防振ユニット８０を利用したマルチショット合成で使用される４枚の画像（図２Ａ～図２Ｄ）と完全に一致する。勿論、許容誤差としてのＥ_{ａｌｌｏｗａｂｌｅ}が残存しても、防振ユニット８０を利用したマルチショット合成と等価な４枚の画像が得られる。
（Ａ”）基準画像：（ｄｘ、ｄｙ）＝（０、０）
（Ｂ”）比較画像：（ｄｘ、ｄｙ）＝（０＋Ｅ_{ａｌｌｏｗａｂｌｅ}、１＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｃ”）比較画像：（ｄｘ、ｄｙ）＝（１＋Ｅ_{ａｌｌｏｗａｂｌｅ}、１＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｄ”）比較画像：（ｄｘ、ｄｙ）＝（１＋Ｅ_{ａｌｌｏｗａｂｌｅ}、０＋Ｅ_{ａｌｌｏｗａｂｌｅ}）

図５は、基準画像と比較画像１～比較画像３を合成して合成画像を得る場合を示す概念図である。合成部２４による合成画像は、１画素毎に２つのＧ（Ｇｒ、Ｇｂ）の色情報成分又はＲＧＢ各色の色情報成分を含んでいるので、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

図６のフローチャートを参照して、画像処理装置２０による画像処理について詳細に説明する。この画像処理は、画像処理装置２０の構成要素であるコンピュータに所定のプログラムを実行させることにより実現される。

ステップＳＴ１では、画像処理装置２０に複数の画像が入力する。この複数の画像は、例えば、カメラユニット１０によって連写された複数の画像であってもよいし、指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像群が存在する中から選択・抽出されたものであってもよい。

ステップＳＴ２では、マッチング部２１が、画像処理装置２０に入力した複数の画像が所定枚数（例えば４枚）に到達したか否かを判定する。複数の画像が所定枚数に到達していない場合（ステップＳＴ２：ＮＯ）、ステップＳＴ１に戻って、複数の画像が所定枚数に到達するのを待つ。複数の画像が所定枚数に到達している場合（ステップＳＴ２：ＹＥＳ）、ステップＳＴ３に進む。

ステップＳＴ３では、マッチング部２１が、画像処理装置２０に入力した複数の画像（所定枚数の画像）がマルチショット合成（例えば手振れ利用マルチショット合成）に適しているか否かを判定する。画像処理装置２０に入力した複数の画像がマルチショット合成に適している場合（ステップＳＴ３：ＹＥＳ）は、ステップＳＴ４に進む。画像処理装置２０に入力した複数の画像がマルチショット合成に適していない場合（ステップＳＴ３：ＮＯ）は、ステップＳＴ１に戻って、再度、画像処理装置２０に複数の画像（所定枚数の画像）が入力するのを待つ。

ステップＳＴ４では、検出部２２が、複数の画像の画素ずれ量（位置ずれ量）を検出する。検出部２２による画素ずれ量の検出は、例えば、センサ７０の出力、及び／又は、イメージセンサ１１の画素出力を利用して実行することができる。

ステップＳＴ５では、選択部２３が、検出部２２が検出した複数の画像の画素ずれ量に応じて、当該複数の画像から合成対象画像（基準画像と比較画像から選択した合成対象画像）を選択する。選択部２３による合成対象画像の選択処理は、別途、図７、図８のフローチャートを用いてサブルーチンとして説明する。

ステップＳＴ６では、合成部２４が、検出部２２が検出した画素ずれ量に応じて、選択部２３が選択した合成対象画像（基準画像と比較画像から選択した合成対象画像）を相対移動して合成画像を得る。これにより、検出部２２が検出した複数の画像の画素ずれ量に応じて、合成対象画像（基準画像と比較画像から選択した合成対象画像）が重ね合わせられる。また、重ね合わせられた各合成対象画像の画素ずれ量は、例えば、上記（Ａ”）～（Ｄ”）で表されるようなピクセル単位の画素ずれ量となる。合成部２４による合成画像は、１画素毎に２つのＧ（Ｇｒ、Ｇｂ）の色情報成分又はＲＧＢ各色の色情報成分を含んでいるので、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

ここで、合成対象画像の画素ずれ量が上記の（Ａ”）～（Ｄ”）で表されるようなピクセル単位の画素ずれ量となる場合、各合成対象画像は、水平方向と垂直方向の少なくとも一方に奇数画素分だけずれることが好ましい。例えば１．５画素ずれている場合と５．１画素ずれている場合では、５．１画素ずれている場合の方が５画素に近いので好ましい。より詳しくは、合成対象画像は、相互に、水平方向に奇数画素分だけずれ且つ垂直方向に偶数画素分だけずれている画像、あるいは、垂直方向に奇数画素分だけずれ且つ水平方向に偶数画素分だけずれている画像であることが好ましい。これは、仮に、水平方向と垂直方向ともに奇数画素分あるいは偶数画素分だけずれている合成対象画像である場合、これらを相対移動させたときに殆ど同じ画像になり、２つのＧ（Ｇｒ、Ｇｂ）の色情報成分の解像度が上がらないためである。

図７のフローチャートを参照して、選択部２３による合成対象画像の第１の選択処理について詳細に説明する。

ステップＳＴ４０１では、選択部２３が、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定する（基準画像と比較画像を設定する）。

ステップＳＴ４０２では、選択部２３が、合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を初期設定する。選択部２３は、例えば、Ｅ_{ａｌｌｏｗａｂｌｅ}の絶対値を０．０１に初期設定する。

ステップＳＴ４０３では、選択部２３が、所定の条件を満足する合成対象画像の選択を試行する。ここで、所定の条件を満足するとは、例えば、上記（Ａ’）、（Ｂ’）及び／又は（Ｄ’）を満足する、あるいは、上記（Ａ’）～（Ｄ’）を満足することを意味している。選択部２３は、複数の画像（基準画像と比較画像）の全ての組み合わせ毎に、所定の条件を満足する合成対象画像の選択を試行する。選択部２３は、所定の条件を満足する合成対象画像の選択を複数回に亘り試行することができる。所定の条件を満足する合成対象画像が選択できた場合（ステップＳＴ４０３：ＹＥＳ）は、合成対象画像の選択を終了して、処理を終了する。所定の条件を満足する合成対象画像が選択できなかった場合（ステップＳＴ４０３：ＮＯ）は、ステップＳＴ４０４に進む。

ステップＳＴ４０４では、選択部２３が、合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を緩和する。選択部２３は、例えば、Ｅ_{ａｌｌｏｗａｂｌｅ}の絶対値を０．０１から０．０５に緩和する。

ステップＳＴ４０５では、選択部２３が、合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}の絶対値が臨界値（例えば０．２５）を超えているか否かを判定する。合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}の絶対値が臨界値を超えている場合（ステップＳＴ４０５：ＹＥＳ）は、合成対象画像の選択を終了して、処理を終了する。合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}の絶対値が臨界値を超えていない場合（ステップＳＴ４０５：ＮＯ）は、ステップＳＴ４０３に戻って、緩和後の許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を用いて、所定の条件を満足する合成対象画像の選択を再試行する。

図８のフローチャートを参照して、選択部２３による合成対象画像の第２の選択処理について詳細に説明する。

ステップＳＴ４１１では、選択部２３が、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定する（基準画像と比較画像を設定する）。

ステップＳＴ４１２では、選択部２３が、合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を設定する。

ステップＳＴ４１３では、選択部２３が、所定の条件を満足する合成対象画像の選択を試行する。ここで、所定の条件を満足するとは、例えば、上記（Ａ’）、（Ｂ’）及び／又は（Ｄ’）を満足する、あるいは、上記（Ａ’）～（Ｄ’）を満足することを意味している。所定の条件を満足する合成対象画像が選択できた場合（ステップＳＴ４１３：ＹＥＳ）は、合成対象画像の選択を終了して、処理を終了する。所定の条件を満足する合成対象画像が選択できなかった場合（ステップＳＴ４１３：ＮＯ）は、ステップＳＴ４１４に進む。

ステップＳＴ４１４では、選択部２３が、基準画像と比較画像を再設定する。

ステップＳＴ４１５では、選択部２３が、基準画像と比較画像の全ての組み合わせが設定されたか否かを判定する。基準画像と比較画像の全ての組み合わせが設定された場合（ステップＳＴ４１５：ＹＥＳ）は、合成対象画像の選択を終了して、処理を終了する。基準画像と比較画像の全ての組み合わせが設定されていない場合（ステップＳＴ４１５：ＮＯ）は、ステップＳＴ４１３に戻って、再設定後の基準画像と比較画像を用いて、所定の条件を満足する合成対象画像の選択を再試行する。

図７のフローチャートに示した第１の選択処理と図８のフローチャートに示した第２の選択処理は、適宜、組み合わせて実施することができる。すなわち、所定の条件を満足する合成対象画像が選択できなかった場合に、選択部２３が、合成対象画像を選択するための許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を緩和するとともに、基準画像と比較画像を再設定することも可能である。

本実施形態のデジタルカメラ１は、防振ユニット８０（例えばマルチショット合成用の微小振動）を利用したマルチショット合成モードと、防振ユニット８０（例えばマルチショット合成用の微小振動）を利用しないマルチショット合成モード（例えば手振れ利用マルチショット合成モード）とを搭載しており、各撮影モードを設定する設定手段（設定ボタンやタッチパネル等）を具備している。このため、デジタルカメラ１が三脚等で位置決め固定されているにも関わらず防振ユニット８０を利用しないマルチショット合成モードが設定されている場合、あるいは、デジタルカメラ１が手持ち状態であるにもかかわらず防振ユニット８０を利用したマルチショット合成モードが設定されている場合に、音声や画面による警告を発生させることができる。さらには、デジタルカメラ１が三脚に固定されているか否かを検出して、デジタルカメラ１が三脚に固定されている場合に防振ユニット８０を利用したマルチショット合成モードを自動設定し、デジタルカメラ１が三脚に固定されていない場合に防振ユニット８０を利用しないマルチショット合成モードを自動設定することができる。

≪第２実施形態≫
図９～図１１を参照して第２実施形態について説明する。第１実施形態と重複する内容については説明を省略する。

図９に示すように、画像処理装置（プロセッサ）２０は、マッチング部２１と検出部２２と選択部２３と合成部２４に加えて、分割部２５を有している。

分割部２５は、複数の画像を所定の画像領域（例えば互いに対応する画像領域）に分割する。図１０Ａ～図１０Ｄは複数の画像を所定の画像領域に分割する場合の一例を示す図である。図１０Ａでは、第１の画像が縦横同サイズのマトリクス状の画像領域１－１、１－２、・・・、１－Ｎに分割されている。図１０Ｂでは、第２の画像が縦横同サイズのマトリクス状の画像領域２－１、２－２、・・・、２－Ｎに分割されている。図１０Ｃでは、第３の画像が縦横同サイズのマトリクス状の画像領域３－１、３－２、・・・、３－Ｎに分割されている。図１０Ｄでは、第４の画像が縦横同サイズのマトリクス状の画像領域４－１、４－２、・・・、４－Ｎに分割されている。各画像領域のブロックサイズには自由度があるが、例えば、各画像領域のブロックサイズを１２８画素×１２８画素とすることができる。

検出部２２は、複数の画像の所定の画像領域毎（例えば互いに対応する画像領域毎）の位置ずれ量（画素ずれ量）を検出する。図１０Ａ～図１０Ｄの例に沿って説明すると、検出部２２は、第１の画像の画像領域１－１と、第２の画像の画像領域２－１と、第３の画像の画像領域３－１と、第４の画像の画像領域４－１との位置ずれ量（画素ずれ量）を計算する。また、検出部２２は、第１の画像の画像領域１－２と、第２の画像の画像領域２－２と、第３の画像の画像領域３－２と、第４の画像の画像領域４－２との位置ずれ量（画素ずれ量）を計算する。また、検出部２２は、第１の画像の画像領域１－Ｎと、第２の画像の画像領域２－Ｎと、第３の画像の画像領域３－Ｎと、第４の画像の画像領域４－Ｎとの位置ずれ量（画素ずれ量）を計算する。このように、検出部２２は、各画像の同じ位置のブロック同士で、例えば、サブピクセル推定によって相関を演算する。

選択部２３は、検出部２２が検出した相関値である位置ずれ量（画素ずれ量）に応じて、複数の画像から合成対象画像領域を選択する。例えば、選択部２３は、いずれかの画像の画像領域を基準画像領域に設定し、その他の画像の画像領域を比較画像領域に設定して、基準画像領域との位置ずれ量（画素ずれ量）が所定の閾値以内であり、且つ、最もずれ量が小さく奇数画素分または偶数画素分ずれている比較画像領域を合成対象画像領域として選択することができる。例えば、図１０Ａの第１の画像の画像領域１－１～１－Ｎを基準画像領域に設定した場合、基準画像領域１－１に対する合成対象画像領域として画像領域２－１、３－１、４－１の中から少なくとも１つを選択することができ、基準画像領域１－２に対する合成対象画像領域として画像領域２－２、３－２、４－２の中から少なくとも１つを選択することができ、基準画像領域１－Ｎに対する合成対象画像領域として画像領域２－Ｎ、３－Ｎ、４－Ｎの中から少なくとも１つを選択することができる。

合成部２４は、検出部２２が検出した相関値である位置ずれ量（画素ずれ量）と、選択部２３が選択した合成対象画像領域とに基づいて、合成画像を得る。合成部２４は、検出部２２が検出した相関値である位置ずれ量（画素ずれ量）に応じて、選択部２３が選択した合成対象画像領域の画像演算を実行することにより、合成画像を得る。例えば、合成部２４は、図１０Ａの基準画像領域１－１に、図１０Ｂ～図１０Ｄの比較画像領域２－１～４－１の中から選択部２３が選択した合成対象画像領域を合成または置換する。また、合成部２４は、図１０Ａの基準画像領域１－２に、図１０Ｂ～図１０Ｄの比較画像領域２－２～４－２の中から選択部２３が選択した合成対象画像領域を合成または置換する。また、合成部２４は、図１０Ａの基準画像領域１－Ｎに、図１０Ｂ～図１０Ｄの比較画像領域２－Ｎ～４－Ｎの中から選択部２３が選択した合成対象画像領域を合成または置換する。

このようにして、合成部２４は、分割部２５が分割した複数の画像領域の各々について、検出部２２と選択部２３が協働して求めた合成対象画像領域による画像演算（合成または置換）を実行することにより、１枚の合成画像を得る。

つまり、１枚の基準画像の各基準画像領域は、その他の比較画像の各比較画像領域から選択された合成対象画像領域に基づいて合成または置換される。例えば、基準画像である第１の画像の基準画像領域１－１を第２の画像の合成対象画像領域２－１で合成または置換し、第１の画像の基準画像領域１－２を第３の画像の合成対象画像領域３－２で合成または置換し、第１の画像の基準画像領域１－Ｎを第４の画像の合成対象画像領域４－Ｎで合成または置換することができる。

なお、基準画像のある基準画像領域について、比較画像の比較画像領域から適切な合成対象画像領域を選択できなかった場合は、当該基準画像領域の合成または置換を行うことなく、当該基準画像領域をそのまま利用してもよい。

図１１は、第２実施形態による撮影処理の一例を示すフローチャートである。

ステップＳＴ１１では、分割部２５が複数の画像を所定の画像領域に分割する。

ステップＳＴ１２では、検出部２２が、複数の画像の所定の画像領域の位置ずれ量（画素ずれ量）を検出する。

ステップＳＴ１３では、選択部２３が、検出部２２が検出した相関値である位置ずれ量（画素ずれ量）に応じて、複数の画像から合成対象画像領域を選択する。

ステップＳＴ１４では、全ての画像領域について合成対象画像領域を選択したか否かを判定する。全ての画像領域について合成対象画像領域を選択していない場合（ステップＳＴ１４：ＮＯ）、ステップＳＴ１３に戻って、全ての画像領域について合成対象画像領域を選択し終わるまで、ステップＳＴ１３～ステップＳＴ１４の処理ループを繰り返す。全ての画像領域について合成対象画像領域を選択した場合（ステップＳＴ１４：ＹＥＳ）、ステップＳＴ１５に進む。

ステップＳＴ１５では、合成部２４が、検出部２２が検出した相関値である位置ずれ量（画素ずれ量）と選択部２３が選択した合成対象画像領域に基づいて、合成画像を得る。

以上説明した第２実施形態では、複数の画像を所定の画像領域に分割し、複数の画像の所定の画像領域毎の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像領域を選択し、位置ずれ量と合成対象画像領域に基づいて合成画像を得る。従って、画像単位で位置ずれ量を検出して合成対象画像を選択して合成画像を得る第１実施形態よりも、優れた画像品質（高詳細、モアレや偽色や高感度ノイズの低減等）を実現することができる。

≪第３実施形態≫
上記の第１、第２実施形態のデジタルカメラ１は、マルチショット合成モードにおいて、防振ユニット８０を利用した移動部材（例えばイメージセンサ１１）の駆動（例えば像振れ補正駆動）を実行していない。しかし、画像が特定の位置で完全に固定されず（複数の画像の位置ずれを完全に補正せず）、大まかな像振れ位置決め補正を行う程度であれば、防振ユニット８０を利用した像振れ補正駆動を実行することができる。

つまり、防振ユニット８０による像振れ補正駆動を行った場合であっても厳密な意味で（完全に）像振れをゼロにすることはできない（ミクロン単位のずれ量は発生する）ので、むしろこのずれ量を積極的に利用してマルチショット合成を実行するのが第３実施形態である。これは、防振ユニット８０による像振れ補正駆動の駆動量とマルチショット合成に要求される各画像の位置ずれ量（画素ずれ量）を比較したときに、前者が後者よりも格段に大きいという着眼に基づいている。

第３実施形態では、マルチショット合成モード（いわば防振ユニット８０による像振れ補正駆動ありの手振れ利用マルチショット合成モード）の設定をした後に、例えば、連写撮影によって複数の画像を得る。そして、複数の画像に基づく画像合成処理によって１枚の合成画像を得る。

例えば、第１実施形態のように、複数の画像の画素ずれ量を検出し、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、基準画像と比較画像の画素ずれ量に応じて、比較画像から合成対象画像を選択し、位置ずれ量に応じて基準画像と合成対象画像を相対移動して合成画像を得ることができる。

あるいは、第２実施形態のように、複数の画像を所定の画像領域に分割し、複数の画像の所定の画像領域毎の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像領域を選択し、位置ずれ量と合成対象画像領域に基づいて合成画像を得ることができる。

図１２～図１５を参照して、防振ユニット８０の構成について詳細に説明する。各図において、撮影光学系の光軸Ｏと平行な方向を第１の方向（Ｚ方向、Ｚ軸方向）、第１の方向と直交する方向を第２の方向（Ｘ方向、Ｘ軸方向）、第１の方向及び第２の方向の双方と直交する方向を第３の方向（Ｙ方向、Ｙ軸方向）とする。例えば、Ｘ軸、Ｙ軸及びＺ軸を３次元の直交座標系の座標軸と仮定すると、光軸ＯをＺ軸としたとき、Ｚ軸と直交し、かつ互いに直交する二方向の軸がＸ軸及びＹ軸になる。カメラが正位置（横位置）にあるとき、第１の方向（Ｚ方向、Ｚ軸、光軸Ｏ）及び第２の方向（Ｘ方向、Ｘ軸）は水平になり、第３の方向（Ｙ方向、Ｙ軸）は鉛直になる。

デジタルカメラ１は、カメラボディＣＢの振れ（振動）を検出する検出手段として、ロール（Ｚ方向回りの傾動（回転））検出部、ピッチ（Ｘ方向回りの傾動（回転））検出部、ヨー（Ｙ方向回りの傾動（回転））検出部、Ｘ方向加速度検出部、Ｙ方向加速度検出部、及びＺ方向加速度検出部を備えている。これらの各検出手段は、例えば６軸センサ、または３軸ジャイロセンサと３軸加速度センサによって構成されている。これらの各検出手段は、図１のセンサ７０の一部として構成されていてもよい。

撮像ブロック（例えば図１のカメラユニット１０）は、撮像素子１１０と、撮像素子１１０を支持したステージ装置１２０とを有している。ステージ装置１２０は、撮像素子１１０が搭載された可動ステージ１２１と、可動ステージ１２１の前後に位置する前固定ヨーク１２２と後固定ヨーク１２３とを備え、少なくとも通電時には、可動ステージ１２１を前後の固定ヨーク１２２、１２３に対して、浮上（重力に抗して浮上させ、静止状態に保持）させることができる。ステージ装置１２０は、浮上状態の可動ステージ１２１を、Ｚ方向（第１の方向）並進、Ｚ方向と直交するＸ方向（第２の方向）並進、Ｚ方向及びＸ方向の双方と直交するＹ方向（第３の方向）並進、Ｘ方向（第２の方向）回りの傾動（回転）、Ｙ方向（第３の方向）回りの傾動（回転）、及びＺ方向（第１の方向）回りの傾動（回転）（６自由度の移動、６軸移動）させることができる。

ボディＣＰＵ（例えば図１のＣＰＵ９０）は、ピッチ（Ｘ方向回りの傾動（回転））、ヨー（Ｙ方向回りの傾動（回転））、ロール（Ｚ方向回りの傾動（回転））、Ｘ方向加速度、Ｙ方向加速度、及びＺ方向加速度に基づいてデジタルカメラ１０のぶれ方向、ぶれ速度等を演算する。ボディＣＰＵは、撮像素子１１０に投影された被写体像が撮像素子１１０に対して相対移動しないように撮像素子１１０を駆動する方向、駆動速度、駆動量などを演算し、演算結果に基づいてステージ装置１２０を並進、傾動、傾動中の並進、傾動後に並進及び並進後に傾動駆動する。

ステージ装置１２０は、撮像素子１１０が固定された可動ステージ１２１を前固定ヨーク１２２と後固定ヨーク１２３に対して、並進、傾動、傾動中の並進、及び傾動後に並進自在に保持する。可動ステージ１２１は、正面視で、撮像素子１１０より大きい長方形の板状部材である。前固定ヨーク１２２と後固定ヨーク１２３は、平面視、外形が可動ステージ１２１より大きい同一形状の長方形の枠状部材からなり、中央部にそれぞれ、正面視で（Ｚ方向から見て）、撮像素子１１０の外形より大きい長方形の開口１２２ａと１２３ａが形成されている。

前固定ヨーク１２２の後面（被写体側と反対側の面）にはＹ軸を中心線としＺ軸を挟んで開口１２２ａの少なくとも左右（Ｘ方向）の一方、図示実施形態では左右両側部に位置する態様で、同一仕様の左右一対の永久磁石からなるＸ方向用磁石ＭＸが固定されている。前固定ヨーク１２２及び後固定ヨーク１２３が左右のＸ方向用磁石ＭＸの磁束を通すことにより、左右のＸ方向用磁石ＭＸと後固定ヨーク１２３の対向部の間にＸ方向（第２の方向）の推力を発生する磁気回路が形成される。

前固定ヨーク１２２の後面には開口１２２ａの下方にＹ軸を中心線としてＺ軸から離間して位置する態様で、同一仕様の一対の永久磁石からなるＹ方向用磁石ＭＹＡと同一仕様の一対のＹ方向用磁石ＭＹＢが固定されている。前固定ヨーク１２２及び後固定ヨーク１２３がＹ方向用磁石ＭＹＡとＹ方向用磁石ＭＹＢの磁束を通すことにより、Ｙ方向用磁石ＭＹＡ及びＹ方向用磁石ＭＹＢと後固定ヨーク１２３との間に、Ｙ方向（第３の方向）の推力を発生する磁気回路が形成される。

前固定ヨーク１２２の後面には、Ｘ方向用磁石ＭＸ、Ｙ方向用磁石ＭＹＡとＭＹＢとは異なる３カ所に、同一仕様の永久磁石からなるＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣが固定されている。３個のＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣは、Ｚ軸を中心としてＺ軸直交平面内に略等間隔に配置されている。前固定ヨーク１２２及び後固定ヨーク１２３がＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣの磁束を通すことにより、Ｚ方向用磁石ＭＺＡ、ＭＺＢ、ＭＺＣと後固定ヨーク１２３との間に、Ｚ方向（第１の方向）の推力を発生する複数の磁気回路が形成される。

可動ステージ１２１の中央部には正面視長方形の撮像素子取付孔１２１ａが穿設され、撮像素子取付孔１２１ａに撮像素子１１０が嵌合固定されている。撮像素子１１０は、撮像素子取付孔１２１ａから可動ステージ１２１の光軸Ｏ方向前方に突出している。

可動ステージ１２１には、撮像素子１１０の左右の両辺（短辺）の外方部に位置させて、一対のＸ駆動用コイルＣＸが固定され、撮像素子３１の下方の一辺（長辺）の下方部に位置させて、左右に離して一対のＹ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢが固定されている。可動ステージ１２１にはさらに、一対のＹ駆動用コイルＣＹＡとＣＹＢの間（中間位置）に位置させて円形のＺ駆動用コイルＣＺＡが固定され、一対のＸ駆動用コイルＣＸより上方に位置させて円形の一対のＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣが固定されている。

以上のＸ駆動用コイルＣＸ、Ｙ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢ、Ｚ駆動用コイルＣＺＡとＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣは、アクチュエータ駆動回路（図示略）に接続され、当該アクチュエータ駆動回路を介して通電制御される。

可動ステージ１２１には、Ｘ駆動用コイルＣＸの空芯領域に位置するＸ方向用ホール素子ＨＸと、Ｙ駆動用コイルＣＹＡとＣＹＢの空芯領域にそれぞれ位置するＹ方向用ホール素子ＨＹＡとＹ方向用ホール素子ＨＹＢと、各Ｚ駆動用コイルＣＺＡ、ＣＺＢ、ＣＺＣの空芯領域にそれぞれ位置するＺ方向用ホール素子ＨＺＡ、Ｚ方向用ホール素子ＨＺＢ、Ｚ方向用ホール素子ＨＺＣとが固定されている。

位置検出回路（図示略）は、Ｘ方向用ホール素子ＨＸ、Ｙ方向用ホール素子ＨＹＡ、ＨＹＢ、及びＺ方向用ホール素子ＨＺＡ、ＨＺＢ、ＨＺＣが出力した検出信号により可動ステージ１２１のＸ方向位置、Ｙ方向位置、Ｚ方向位置、Ｘ方向回りの傾動位置（Ｘ方向回りの傾動（回転）角、ピッチ角）、Ｙ方向回りの傾動位置（Ｙ方向回りの傾動（回転）角、ヨー角）、及びＺ方向回りの傾動位置（Ｚ方向回りの傾動（回転）角、ロール角）を検出する。

位置検出回路（図示略）の検出結果に応じて、アクチュエータ駆動回路（図示略）が、Ｘ駆動用コイルＣＸ、Ｙ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢ、Ｚ駆動用コイルＣＺＡとＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣを通電制御することにより、撮像素子１１０（可動ステージ１２１）を駆動することができる。例えば、防振ユニット８０は、撮影部の少なくとも一部である撮像素子１１０を駆動部材として、当該駆動部材を光軸Ｏ（Ｚ軸）と異なる方向に駆動することで像振れを補正する手ぶれ補正機構（駆動機構）として機能する。なお、駆動対象となる駆動部材は撮像素子１１０に限定されず、例えば、撮影レンズの一部を像振れ補正レンズとすることも可能である。

本発明者は、一例として挙げた上記のような六軸駆動ユニット（但し像振れ補正の態様は問わない）によって像振れ補正駆動を実行しながらマルチショット合成を実行する技術について鋭意研究を重ねた結果、次のような知見を得た。すなわち、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の平行方向のずれが残存していても、マルチショット合成の画像品質に与える悪影響は小さいが、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の回転方向のずれが残存していると、マルチショット合成の画像品質に悪影響を与えることが判明した。

上述したように、本実施形態では、複数の画像又は画像領域の位置ずれ量（画素ずれ量）の検出等の画像演算は、ＸＹ平面内のＸＹ座標軸に基づいて行われるので、ＸＹ平面内の回転方向のずれ量が大きいと、複数の画像同士又は複数の画像領域同士で相関が得られず、適切な画像演算が困難になるおそれがある。

図１６は、ＸＹ平面内の回転方向の像振れによる悪影響の一例を示す図である。図１６に示すように、ＸＹ平面内の回転方向の像振れ量は、光軸Ｏ（Ｚ軸）に近いほど（画像中心部寄りのほど）小さくなり、光軸Ｏ（Ｚ軸）から遠いほど（画像周辺部寄りのほど）大きくなる。

本実施形態では、防振ユニット８０によって、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における平行方向のずれ量のみならず、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における回転方向のずれ量を補正することによって、画像演算の精度を高めて、マルチショット合成の画像品質を向上することができる。また、画像演算の処理負荷及び処理時間を低減することができる。

防振ユニット（駆動機構）８０は、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の平行方向の駆動成分（駆動量）を相対的に小さくし、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の回転方向の駆動成分（駆動量）を相対的に大きくしてもよい。これにより、マルチショット合成の画像品質に与える悪影響が小さい駆動部材（撮像素子）の平行方向のずれ成分（ずれ量）が残存することをある程度許容し、マルチショット合成の画像品質に大きな悪影響を与える駆動部材（撮像素子）の回転方向のずれ成分（ずれ量）を積極的に除去して、マルチショット合成の画像品質を向上することができる。

また第２実施形態のように、分割部２５によって複数の画像を所定の画像領域に分割して、各画像領域について位置ずれ量（画素ずれ量）を演算することにより、駆動部材（撮像素子）の回転方向のずれ量の悪影響を低減することができる。

この場合、分割部２５により分割された各画像領域は、互いに異なるサイズの画像領域を含むことが好ましい。より具体的に、分割部２５により分割された各画像領域のうち、複数の画像の中央側が相対的に大きいサイズの画像領域に分割され、複数の画像の周辺側が相対的に小さいサイズの画像領域に分割されることが好ましい。

図１７は、複数の画像を互いに異なるサイズの画像領域に分割する場合の一例を示している。図１７では、最小ブロック単位で縦８ブロック×横１０ブロックの計８０ブロックに相当する画像領域を、画像中央側の最大画像領域ブロックと、最大画像領域ブロックの左右両側に位置する２つの中間画像領域ブロックと、最大画像領域ブロックと２つの中間画像領域ブロックの周囲を取り囲む画像周辺側の最小画像領域ブロックとに分割している。最大画像領域ブロックは、最小画像領域ブロック（最小ブロック単位）が縦横４つずつの１６ブロック分のサイズであり、中間画像領域ブロックは、最小画像領域ブロック（最小ブロック単位）が縦横２つずつの４ブロック分のサイズである。

例えば、複数の画像の間で回転方向のずれがある場合、そのずれ量は、画像中心部寄りであるほど小さくなり、画像周辺部寄りであるほど大きくなる（図１６を参照）。そこで、回転方向のずれ量が小さい画像中心部の画像領域を大きい（粗い）ブロックに分割する一方、回転方向のずれ量が大きい画像周辺部の画像領域を小さい（細かい）ブロックに分割することで、各画像領域ブロック（特に画像周辺部の画像領域ブロック）において、より高い精度の画像演算を実行して、マルチショット合成の画像品質を向上することができる。また、画像演算の処理負荷及び処理時間を低減することができる。仮に、図１７において、全ての画像領域ブロックを最小画像領域ブロック（最小ブロック単位）に分割すると、画像演算の処理負荷及び処理時間が増大してしまう。また、図１７において、全ての画像領域ブロックを最大画像領域ブロックに分割すると、回転方向のずれ量が大きい画像周辺部において、画像領域ブロック同士の相関がとれなくなる（画素ずれ量が演算できなくなる）おそれがある。

１ デジタルカメラ（カメラユニット付き電子機器）
１０ カメラユニット（撮影部）
１１ イメージセンサ
２０ 画像処理装置（プロセッサ）
２１ マッチング部
２２ 検出部
２３ 選択部
２４ 合成部
２５ 分割部
３０ メモリ
４０ 記録媒体
５０ 表示装置（表示部）
６０ 入力装置（切替部）
７０ センサ
８０ 防振ユニット（手振れ補正機構、駆動機構）
９０ ＣＰＵ
１００ バス
１１０ 撮像素子（駆動部材）
１２０ ステージ装置
１２１ 可動ステージ
１２２ 前固定ヨーク
１２３ 後固定ヨーク
ＣＢ カメラボディ

Claims (18)

1. 複数の画像を所定の画像領域に分割する分割部と、
   前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出部と、
   前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択部と、
   前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成部と、
   を有し、
   分割された各画像領域は、互いに異なるサイズの画像領域を含み、
   前記分割部は、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、
   ことを特徴とする画像処理装置。
2. 前記検出部は、前記複数の画像の前記所定の画像領域毎の画素ずれ量を検出し、
   前記選択部は、前記複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、前記基準画像と前記比較画像の前記所定の画像領域毎の画素ずれ量に応じて、前記比較画像から合成対象画像領域を選択し、
   前記合成部は、前記画素ずれ量に応じて前記基準画像と前記合成対象画像領域を相対移動して合成画像を得る、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択部は、前記基準画像の画素座標（ｄｘ、ｄｙ）を（０、０）と定義したとき、前記画素ずれ量である前記比較画像の画素座標（ｄｘ、ｄｙ）が（偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）及び（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）となる前記合成対象画像領域を選択し、Ｅ_{ａｌｌｏｗａｂｌｅ}は－０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５を満足する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記選択部は、前記基準画像の画素座標（ｄｘ、ｄｙ）を（０、０）と定義したとき、前記画素ずれ量である前記比較画像の画素座標（ｄｘ、ｄｙ）が（偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）、（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）及び（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）となる前記合成対象画像領域を選択し、Ｅ_{ａｌｌｏｗａｂｌｅ}は－０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５を満足する、
   ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
5. 前記選択部は、前記比較画像から前記合成対象画像領域を選択できなかったとき、Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値を広げて、前記合成対象画像領域の選択を再試行する、
   ことを特徴とする請求項３又は請求項４に記載の画像処理装置。
6. 前記選択部は、前記比較画像から前記合成対象画像領域を選択できなかったとき、前記基準画像を再設定して、前記合成対象画像領域の選択を再試行する、
   ことを特徴とする請求項３から請求項５のいずれかに記載の画像処理装置。
7. 前記検出部は、前記画像処理装置を搭載した撮影装置のイメージセンサの画素出力に基づいて、ピクセル毎又はサブピクセル毎に、前記複数の画像の画素ずれ量を検出する、
   ことを特徴とする請求項２から請求項６のいずれかに記載の画像処理装置。
8. 前記検出部は、前記画像処理装置を搭載した撮影装置のイメージセンサの画素出力に基づいて、ＲＧＢプレーン毎に、前記複数の画像の画素ずれ量を検出する、
   ことを特徴とする請求項２から請求項６のいずれかに記載の画像処理装置。
9. 前記検出部は、使用するＲＧＢプレーンを変動させて、前記複数の画像の画素ずれ量を検出する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記検出部は、前記イメージセンサの画素出力のうち撮影に無関係な特定用途の画素出力を除外する、
    ことを特徴とする請求項７から請求項９のいずれかに記載の画像処理装置。
11. 前記合成部は、前記基準画像と前記合成対象画像領域が重なるように、前記基準画像と前記合成対象画像領域を相対移動させる、
    ことを特徴とする請求項２から請求項１０のいずれかに記載の画像処理装置。
12. 前記合成部は、前記検出部による画素ずれ量の検出単位量とは異なる移動単位量で、前記基準画像と前記合成対象画像領域を相対移動させる、
    ことを特徴とする請求項２から請求項１１のいずれかに記載の画像処理装置。
13. 複数の画像を所定の画像領域に分割する分割ステップと、
    前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出ステップと、
    前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択ステップと、
    前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成ステップと、
    を有し、
    分割された各画像領域は、互いに異なるサイズの画像領域を含み、
    前記分割ステップでは、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、
    ことを特徴とする画像処理方法。
14. 複数の画像を所定の画像領域に分割する分割ステップと、
    前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出ステップと、
    前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択ステップと、
    前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成ステップと、
    をコンピュータに実行させる画像処理プログラムであって、
    分割された各画像領域は、互いに異なるサイズの画像領域を含み、
    前記分割ステップでは、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、
    ことを特徴とする画像処理プログラム。
15. 複数の画像を撮影する撮影部と、
    前記複数の画像の位置ずれ量を検出する検出部と、
    前記位置ずれ量に応じて前記複数の画像から合成対象画像を選択する選択部と、
    前記位置ずれ量と前記合成対象画像に基づいて合成画像を得る合成部と、
    前記撮影部の少なくとも一部を駆動部材として、前記駆動部材を前記撮影部の光軸とは異なる方向に駆動する駆動機構と、
    を有し、
    前記駆動機構は、前記撮影部の光軸と直交する平面内における前記駆動部材の平行方向駆動成分を相対的に小さくし、前記撮影部の光軸と直交する平面内における前記駆動部材の回転方向駆動成分を相対的に大きくする、
    ことを特徴とする電子機器。
16. 前記撮影部と前記検出部と前記選択部と前記合成部による特定の撮影モードとそれ以外の撮影モードを切り替える切替部をさらに有する、
    ことを特徴とする請求項１５に記載の電子機器。
17. 前記撮影部と前記検出部と前記選択部と前記合成部による特定の撮影モードが設定されていることを表示する表示部をさらに有する、
    ことを特徴とする請求項１５又は請求項１６に記載の電子機器。
18. 複数の画像を所定の画像領域に分割する分割部と、
    前記複数の画像の前記所定の画像領域毎の位置ずれ量を検出する検出部と、
    前記位置ずれ量に応じて前記複数の画像から合成対象画像領域を選択する選択部と、
    前記位置ずれ量と前記合成対象画像領域に基づいて合成画像を得る合成部と、
    を有し、
    分割された各画像領域は、互いに異なるサイズの画像領域を含み、
    前記分割部は、前記複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、前記複数の画像の周辺側を相対的に小さいサイズの画像領域に分割する、
    を有することを特徴とする電子機器。

Images