JP5798696B2 - 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置 - Google Patents

Description

本発明は画像処理装置、方法、記録媒体及びプログラム並びに撮像装置に係り、特に連続して撮像された画像間の画像ずれを検出する技術に関する。

従来、手ぶれが生じない短い露光時間で同一の被写体を連続して撮影した複数の画像を取得し、これらの画像間のずれ（ぶれ）を補正しながら複数の画像を合成して長い露光時間（適正露光）の合成画像を得る画像処理装置が提案されている（特許文献１）。

特許文献１に記載のぶれ検出部は、ぶれ検出対象の２つの画像のうちの一方の画像内の所定サイズのブロックを、他方の画像内のサーチ範囲内で移動させながら、画像間のマッチング処理を行うことにより画像間のぶれを検出する。

このマッチング処理では、対象となるブロックと参照する画像との間で、位置を１画素ずつずらしながら差分二乗和もしくは差分絶対値和を求め、算出値が最小であったところをマッチングの取れた位置としている。

特開２００６−８６７４１号公報

特許文献１に記載のぶれ検出部のように、２つの画像間を１画素ずつずらしながらマッチングをとることにより画像間のぶれ（ずれ）を検出する場合、隣接する画素間の１画素ピッチの精度で画像のずれを検出することができる。

ところで、単板式のカラー撮像素子から取得した複数の画像のマッチング処理を行う場合、マッチング処理に使用する画像は、撮像素子のカラーフィルタ配列に対応したＲＡＷ画像（モザイク画像）でななく、同時化処理（又は「デモザイク処理」という、以下同じ）により欠落している色の画素を、周囲の同色の画素で補間して生成したデモザイク（同時化）処理後の画像でなければならない。これは、１画素ずつずらしながらマッチング処理を行う場合、画像内の全ての画素位置において、同色の画素（輝度の画素を含む）が存在しなければならないからである。

尚、特許文献１には、マッチング処理に使用する画像がカラー画像か否かについては記載されていないが、ぶれ検出部は、画像処理部により画像処理されてメモリに記憶された画像を読み出してマッチング処理を行っている。一方、特許文献１では、画像間のずれを補正して合成した合成画像に対しては画像処理を行っていない。

しかしながら、デモザイク（同時化）処理後の画像を使用して画像間のずれを検出する場合、各画像について少なくともデモザイク（同時化）処理の画像処理を行う必要がある。このため、画像間のずれを検出するまでの処理量及び処理時間が増加し、画像間のずれを短時間で検出する際の障害になる。

また、デモザイク（同時化）処理後の画像を使用して画像間のずれを検出する場合、複数の画像の合成時に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画像、又は輝度（Ｙ），色差（Ｃｒ，Ｃｂ）の３面の画像で位置合わせをする必要がある。その分、処理量及び処理時間が増加し、更に画像データ確保分のメモリも必要になるという問題がある。

本発明はこのような事情に鑑みてなされたもので、連続して撮影された撮影時点から複数の画像間のずれを検出するまでの処理量及び処理時間を低減することができ、これにより画像間のずれを短時間で検出することができ、また、複数の画像間のずれの補正及び補正後の複数の画像の合成等の処理量及び処理時間を低減することができる画像処理装置、方法、記録媒体及びプログラム並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得されたカラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得部と、画像取得部により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出部と、画素抽出部により抽出された同色の画素間の各画素値に基づいて第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出部と、評価値算出部により算出された評価値と画素抽出部による画素ずらしに関する情報とに基づいて第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出部と、を備えている。

本発明の一の態様によれば、デモザイク（同時化）処理等の画像処理を施す前のモザイク画像（第１、第２のモザイク画像）の段階でモザイク画像間の画像ずれを検出するようにしている。但し、画像ずれを検出する際にモザイク画像間で相対的に画素ずらしを行うが、モザイク画像であるため、画素ずらしをした位置において重なる全ての画素が同色の画素にはならない。そこで、画素ずらしをした第１、第２のモザイク画像間で重なる画素同士のうちで同色になる画素を抽出し、抽出した画素間の各画像値に基づいて第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出するようにしている。ここで、最小検出画素ピッチとは、画素ずらしをした場合に特定の色画素について同色画素が重なりを持ちうる画素間隔（ピッチ）のうちの最小の画素間隔であり、最小検出画素ピッチで画素ずらしをすることで第１、第２のモザイク画像間で重なる同色の画素同士を抽出できる。このように、デモザイク（同時化）処理等の画像処理前のモザイク画像の段階で画像ずれを検出するようにしたため、連続して撮影された撮影時点から複数の画像間のずれを検出するまでの処理量及び処理時間を低減することができる。これにより、画像間のずれを短時間で検出することができる。

本発明の他の態様に係る画像処理装置において、画像ずれ検出部は、評価値算出部により算出された評価値に基づいて、第１のモザイク画像と第２のモザイク画像との一致度が最大になるときの画素抽出部による画素ずらしに関する情報を取得し、取得した画素ずらしに関する情報に基づいて画像ずれを検出する。

本発明の更に他の態様に係る画像処理装置において、画像ずれ検出部は、第１のモザイク画像と第２のモザイク画像との一致度が最大になる第１の画素ずらしと、第１の画素ずらしをした場合の第１のモザイク画像と第２のモザイク画像の相対的な位置ずれに対し、相対的な位置ずれが近傍になるよう第１のモザイク画像と第２のモザイク画像に対し第２の画素ずらしを行い、評価値算出部は、第１の画素ずらしをした場合の第１のモザイク画像と第２のモザイク画像との一致度を示す第１の評価値と、第２の画素ずらしをした場合の第１のモザイク画像と第２のモザイク画像との一致度を示す第２の評価値とを算出し、画像ずれ検出部は、第１、第２の画素ずらしに関する情報と、第１、第２の画素ずらしに対応して評価値算出部により算出された第１、第２の評価値とに基づいて第１のモザイク画像と第２のモザイク画像との一致度が最大になる画像ずれを算出することが好ましい。これにより、最小検出画素ピッチ以内の画像ずれを検出することができる。

本発明の更に他の態様に係る画像処理装置において、第１のモザイク画像及び第２のモザイク画像は、第１の方向の±ｎ画素（ｎ：整数）の画素ずらしと、第２の方向の±ｎ画素の画素ずらしと、第１の方向の±ｎ画素の画素ずらしと第２の方向の±ｎ画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、全ての画素ずらしに対応して画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素が存在することが好ましい。

本発明の更に他の態様に係る画像処理装置において、画像ずれ検出部は、第１の方向の画像ずれ、第２の方向の画像ずれ、及び第１の方向の画像ずれと第２の方向の画像ずれとを組み合わせた画像ずれを、隣接する画素間の１画素ピッチ以内の精度で検知する。即ち、最小検出画素ピッチを１画素ピッチとし、画像間の画像ずれを１画素ピッチ以内で検知できるようにしている。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、Ｎ×Ｎ（Ｎ：３以上の整数）画素に対応する基本配列パターンが第１の方向及び第２の方向に繰り返されて配置されたものであることが好ましい。上記Ｎ×Ｎ画素に対応する基本配列パターンを有するモザイク画像により、最小検出画素ピッチが１画素ピッチとなるモザイク画像にすることができる。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、３×３画素に対応する基本配列パターン、又は３×３画素に対応するサブ配列パターンを組み合わせた６×６画素に対応する基本配列パターンが第１の方向及び第２の方向に繰り返されて配置されたものであることが好ましい。

本発明の更に他の態様に係る画像処理装置において、画素抽出部は、画像取得部により取得した第１のモザイク画像と第２のモザイク画像とを画素ずらしする第１の方向の±ｎ画素（ｎ：整数）の画素ずらしと、第２の方向の±ｎ画素の画素ずらしと、第１の方向の±ｎ画素の画素ずらしと第２の方向の±ｎ画素の画素ずらしとを組み合わせた全ての画素ずらしに対し、全ての画素ずらしのうちの各画素ずらしに対応して、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素の位置を示すパターンをそれぞれ記憶する記憶部を有し、画素ずらしに対応して記憶部から読み出したパターンに基づいて画像取得部により取得した第１のモザイク画像及び第２のモザイク画像から画素ずらし後の第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出することが好ましい。第１のモザイク画像と第２のモザイク画像との画素ずらしの態様により、重複する画素同士が同色になる画素の現れる位置が異なる。そこで、画素ずらしに対応して同色になる画素の位置を示すパターンをそれぞれ記憶部に記憶させておき、画素ずらし毎に記憶部から対応するパターンを取得することにより、取得したパターンに基づいて画素ずらしをしたモザイク画像から画像間で重複する画素同士で同色になる画素を抽出するようにしている。

本発明の更に他の態様に係る画像処理装置において、第１のモザイク画像及び第２のモザイク画像は、第１の方向の±ｎ画素（ｎ：偶数）の画素ずらしと、第２の方向の±ｎ画素の画素ずらしと、第１の方向の±ｎ画素の画素ずらしと第２の方向の±ｎ画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、全ての画素ずらしに対応して画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素が存在し、画像ずれ検出部は、第１の方向の画像ずれ、第２の方向の画像ずれ、及び第１の方向の画像ずれと第２の方向の画像ずれとを組み合わせた画像ずれを、１画素置きの画素間隔で検知する。この場合の第１の方向及び第２の方向における最小検出画素ピッチは、２画素ピッチである。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、ベイヤ配列のカラーフィルタを有する撮像素子から取得されたものである。

本発明の更に他の態様に係る画像処理装置において、画像ずれ検出部により検出された画像ずれに基づいて第１のモザイク画像と第２のモザイク画像との画像ずれを補正する画像ずれ補正部と、画像ずれ補正部により画像ずれが補正された第１のモザイク画像と第２のモザイク画像とに基づいて第３のモザイク画像を生成する画像生成部と、を備えることが好ましい。これにより、デモザイク（同時化）処理等の画像処理前のモザイク画像の段階で、第１、第２のモザイク画像を使用した第３のモザイク画像を生成することができる。

本発明の更に他の態様に係る画像処理装置において、画像ずれ補正部は、画像ずれを補正した第１のモザイク画像及び第２のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正することが好ましい。第１、第２のモザイク画像を加算して第３のモザイク画像を生成する場合、加算する画素同士の色を揃える必要があるからである。

本発明の更に他の態様に係る画像処理装置において、評価値算出部は、画素抽出部により抽出された同色の画素間の各画素値の差分絶対値和、又は差分自乗和を算出し、算出した差分絶対値和、又は差分自乗和を、第１のモザイク画像と第２のモザイク画像との一致度を示す評価値として算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１のモザイク画像及び第２のモザイク画像は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、画素抽出部は、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色となる第１の色の画素を抽出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１のモザイク画像及び第２のモザイク画像は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、画素抽出部は、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色となる第１の色及び第２の色の画素を抽出することが好ましい。これにより、第１の色の画素に基づいて算出した評価値の他に、第２の色の画素に基づいて算出した評価値を第１のモザイク画像と第２のモザイク画像との一致度の検出に使用することができ、一致度の検出の信頼性を向上させることができる。

本発明の更に他の態様に係る撮像装置は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有するカラーフィルタが配設されてなる撮像素子と、上記した画像処理装置と、を備え、画像取得部は、複数の画像を連続して撮像させる撮像時に撮像素子から少なくとも第１のモザイク画像及び第２のモザイク画像を取得するようにしている。

本発明の更に他の態様に係る画像処理方法は、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得されたカラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得工程と、画像取得工程により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出工程と、画素抽出工程により抽出された同色の画素間の各画素値に基づいて第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出工程と、評価値算出工程により算出された評価値と画素抽出工程による画素ずらしに関する情報とに基づいて第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出工程と、を含んでいる。

本発明の更に他の態様に係る画像処理プログラムは、第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得されたカラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得機能と、画像取得機能により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出機能と、画素抽出機能により抽出された同色の画素間の各画素値に基づいて第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出機能と、評価値算出機能により算出された評価値と画素抽出機能による画素ずらしに関する情報とに基づいて第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出機能と、をコンピュータに実行させる。

本発明によれば、デモザイク（同時化）処理等の画像処理を施す前のモザイク画像の段階で、連続して撮影されたモザイク画像間の画像ずれを検出するようにしたため、撮影時点から複数の画像間のずれを検出するまでの処理量及び処理時間を低減することができ、画像間のずれを短時間で検出することができる。また、モザイク画像の段階で複数の画像間のずれの補正及び複数の画像の合成等を行うようにしたため、ずれの補正及び画像合成等の処理量及び処理時間の低減も図ることができる。

図１は、本発明に係る撮像装置の実施形態を示す斜視図である。 図２は、図１に示した撮像装置の背面図である。 図３は、撮像装置の要部ブロック図である。 図４は、撮像素子から出力されるモザイク画像の第１の実施形態を示す図である。 図５は、水平方向に１画素ずれた２枚のモザイク画像と各モザイク画像を重ね合わせた図である。 図６は、水平方向に２画素ずれた２枚のモザイク画像と各モザイク画像を重ね合わせた図である。 図７は、垂直方向に１画素ずれた２枚のモザイク画像と各モザイク画像を重ね合わせた図である。 図８は、水平方向（左右方向）及び垂直方向（上下方向）に±２画素の範囲内で画像間を画素ずらしをした場合に重なるＧ画素等を示す図である。 図９は、図３に示した画像処理部の詳細な実施形態をブロック図である。 図１０は、２枚の画像間の一致度を検出する場合に両画像から読み出されるブロック等を示す図である。 図１１は、本発明に係る画像処理方法の実施形態を示すフローチャートである。 図１２は、モザイク画像のカラー配列の第２の実施形態を示す図である。 図１３Ａは、モザイク画像のカラー配列の第３の実施形態を示す図である。 図１３Ｂは、モザイク画像のカラー配列の第３の実施形態を示す図である。 図１４Ａは、モザイク画像のカラー配列の第４の実施形態を示す図である。 図１４Ｂは、モザイク画像のカラー配列の第５の実施形態を示す図である。 図１５は、パラボラフィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。 図１６は、パラボラフィッティング法を説明するために用いたグラフである。 図１７は、第１の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。 図１８Ａは、第１の等角フィッティング法を説明するために用いたグラフである。 図１８Ｂは、第１の等角フィッティング法を説明するために用いたグラフである。 図１９は、第１の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。 図２０は、第２の等角フィッティング法を説明するために用いたグラフである。 図２１は、ベイヤ配列のモザイク画像を示す図である。 図２２は、水平方向に１画素ずれた２枚のベイヤ配列のモザイク画像と各モザイク画像を重ね合わせた図である。 図２３は、２枚のベイヤ配列のモザイク画像間の一致度を検出する場合に両画像から読み出されるブロック等を示す図である。 図２４は、第１の実施形態の２枚のモザイク画像を、上下方向及び左右方向に±２画素の範囲内で相対的に画素ずらしをした場合に重なる画素等を示す図である。 図２５は、撮像装置の他の実施形態であるスマートフォンの外観図である。 図２６は、スマートフォンの要部構成を示すブロック図である。

以下、添付図面に従って本発明に係る画像処理装置、方法、記録媒体及びプログラム並びに撮像装置の好ましい実施の形態について説明する。

［撮像装置］
図１及び図２はそれぞれ本発明に係る画像処理装置を搭載した撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。

図１に示すように撮像装置１０は、その正面に撮影レンズ１２、フラッシュ発光部１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の液晶モニタ２４、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されている。撮影レンズ１２は、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。フラッシュ発光部１は、主要被写体に向けてフラッシュ光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「半押し」されることにより、ＡＥ（Automatic Exposure）／ＡＦ（Automatic Focus）が作動し、「全押し」されることにより、撮影を実行する。また、撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っている。電源／モードスイッチ３は、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。

液晶モニタ２４は、撮影モード時のライブビュー画像（スルー画像）の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース（ＧＵＩ）の一部として機能する。

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、液晶モニタ２４の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

再生ボタン８は、撮影記録した静止画又は動画を液晶モニタ２４に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや１つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮像装置の内部構成］
図３は撮像装置１０の要部ブロック図である。撮像装置１０は、撮影レンズ１２、撮像素子１４、撮影処理部１６、画像処理部１８、駆動部２０、及び制御部２２等を備えている。

撮影レンズ１２は、被写体像を撮像素子１４の撮像面上に結像する。撮像素子１４は、その撮像面上に２次元配列された光電変換素子で構成される複数の画素と、各画素の受光面の上方に設けられた３色以上のカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。

撮像素子１４に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部２２の指令に従って駆動部２０から与えられる読出し指令信号に基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１４から順次読み出される。撮像素子１４から読み出される画像信号は、撮像素子１４のカラーフィルタ配列に対応した色のモザイク画像を示す信号である。尚、撮像素子１４は、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの他の種類の撮像素子であってもよい。

撮像素子１４から読み出された画像信号は、撮影処理部１６に入力される。撮影処理部１６は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ（Automatic Gain Control）回路、及びＡ／Ｄ変換器を有している。この撮影処理部１６は、入力された画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるＲＡＷデータを画像処理部１８に出力する。尚、撮像素子１４がＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子の場合には、撮像素子１４から直接デジタルの画像信号が読み出され、画像処理部１８に出力される。

画像処理部１８は、図９に示すように本発明に係る第１の画像処理部１８Ａと、通常の画像処理を行う第２の画像処理部１８Ｂとを有している。

第１の画像処理部１８Ａは、モードダイヤル４（図２）により、例えば、被写体が暗い場合に手ぶれが生じない短い露光時間で同一の被写体を連写し、連写した複数の画像間のずれを補正しながら加算（合成）し、長い露光時間（適正露光）の合成画像を得る撮影モード時、あるいは適正露光の画像とアンダー露光の画像とを連続して撮影し、これらの画像間のずれを補正した後、合成して広ダイナミックレンジの合成画像を得る撮影モード等が選択された場合に機能する処理部である。尚、第１の画像処理部１８Ａの詳細については後述する。

第２の画像処理部１８Ｂは、ホワイトバランス（ＷＢ）補正部２００、ガンマ（γ）補正部２１０、同時化処理部２２０（単板式の撮像素子１４のカラーフィルタ配列に伴う赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理部（デモザイク処理部））、ＲＧＢ／ＹＣ変換部２３０、輪郭補正部２４０、色調補正部２５０等を有している。画像処理部１８Ｂは、第１の画像処理部１８Ａにより合成された合成画像（モザイク画像）に対して各処理部にて所要の信号処理を施して、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号を生成し、これに基づいて輝度データ（Ｙデータ）と色差データ（Ｃｒ、Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

尚、第２の画像処理部１８Ｂは、通常の撮影モード時には、第１の画像処理部１８Ａでの処理を経由せずに、撮影処理部１６から入力したモザイク画像（ＲＡＷデータ）に信号処理を施して、所望の画像データを生成することは言うまでもない。

画像処理部１８で生成された画像データは、圧縮／伸張処理回路により静止画に対しては、ＪＰＥＧ（Joint Photographic Experts Group）規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２（Moving Picture Experts Group）規格に準拠した圧縮処理が施される。圧縮処理が施された画像データは、図示しない記録メディア（例えばメモリカード）に記録され、また、液晶モニタ２４の表示手段（図２）に出力されて表示される。

［モザイク画像の第１の実施形態］
撮像素子１４は、水平方向（第１の方向）及び垂直方向（第２の方向）に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、３色以上のカラーフィルタが配設されて構成されており、カラーフィルタのフィルタ配列に対応したモザイク画像（「色モザイク画像」ともいう）を出力する。

図４は撮像素子１４から出力されるモザイク画像の第１の実施形態を示す図である。

第１の実施形態のモザイク画像は、Ｍ×Ｎ（６×６）画素に対応する基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向（左右方向：第１の方向）及び垂直方向（上下方向：第２の方向）に繰り返し配置されている。また、基本配列パターンＰは、３×３画素に対応するサブ配列パターン（２種類、合計４個のサブ配列パターン）が組み合わされて構成されている。

即ち、上記構成のモザイク画像は、所定の周期性をもってＲＧＢの画素が配列されているため、画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

また、図４に示すモザイク画像は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧ画素が、水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各画素ライン内に１以上配置されている。ここで、画素ラインとは、水平、垂直、斜め右上、又は斜め左上方向に一列に画素が配列されているラインをいい、以下、単に「ライン」という。

また、この実施形態での斜め右上方向及び斜め右下方向は、水平方向及び垂直方向に対してそれぞれ４５°傾いた方向である。これは、複数の画素が水平方向及び垂直方向に正方格子状に配列されているからである。従って、複数の画素が矩形格子状に配列されている場合には、その矩形格子の対角線の方向が、斜め右上方向及び斜め右下方向に対応する。

輝度系画素に対応するＧ画素が、水平、垂直、斜め右上、及び斜め左上方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク（同時化）処理の再現精度を向上させることができる。

また、図４に示すモザイク画像は、Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲ画素、Ｂ画素が、それぞれ基本配列パターンＰの水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ画素、Ｂ画素が、水平及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。

更に、図４に示すモザイク画像は、Ｇ画素の画素数がＲ，Ｂ画素の画素数よりも多いため、デモザイク（同時化）処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。また、後述するように、２つのモザイク画像間を水平又は垂直方向に１画素ずつずらした場合に、互いに重なるＧ画素が存在する。

［モザイク画像間の画像ずれの検出方法］
次に、連続して撮影されたモザイク画像間の画像ずれの検出方法について説明する。

図５から図７は、それぞれ図４に示した第１の実施形態の２枚のモザイク画像と、これらのモザイク画像を重ね合わせた画像とを示す図である。

図５の（ａ）部及び（ｂ）部は、それぞれ連続して撮影された２枚のモザイク画像の一部を示す図である。図５では、特にモザイク画像中のＧ画素をハッチングで示し、他の色画素（Ｒ画素、Ｂ画素）と区別可能にしている。

また、図５の（ａ）部に示すモザイク画像（以下、「画像Ａ」という）と、図５の（ｂ）部に示すモザイク画像（以下、「画像Ｂ」という）とは、水平方向に１画素ずれている。

図５の（ｃ）部は、上記画像Ａと画像Ｂとを重ね合わせた画像を示している。図５の（ｃ）部に示すように、画像ＡのＧ画素と画像ＢのＧ画素とは、一部のＧ画素同士が一定のパターンで重なる。即ち、画像Ａと画像Ｂとが水平方向に１画素ずれている場合には、垂直方向のラインのＧ画素が２ライン置きに重なる。

図６の（ａ）部に示す画像Ａと、図６の（ｂ）部に示す画像Ｂとは、水平方向に２画素ずれている。

図６の（ｃ）部は、上記画像Ａと画像Ｂとを重ね合わせた画像を示している。図６の（ｃ）部に示すように画像ＡのＧ画素と画像ＢのＧ画素とは、図５の（ｃ）部に示した場合と同様に垂直方向のラインのＧ画素が２ライン置きに重なる。尚、重なるＧ画素のラインは、図５の（ｃ）部に示した重なるＧ画素のラインに比べて、水平方向に１画素（１ライン）ずれている。

図７の（ａ）部に示す画像Ａと、図７の（ｂ）部に示す画像Ｂとは、垂直方向に１画素ずれている。

図７の（ｃ）部は、上記画像Ａと画像Ｂとを重ね合わせた画像を示している。図７の（ｃ）部に示すように画像ＡのＧ画素と画像ＢのＧ画素とは、一部のＧ画素同士が一定のパターンで重なり、水平方向のラインのＧ画素が２ライン置きに重なっている。

図８は、水平方向（左右方向）及び垂直方向（上下方向）に±２画素の範囲内で画像Ａ，Ｂ間を画素ずらしをした場合に重なるＧ画素等を示す図である。ここで、「画素ずらしをする」とは、画像Ａ（第１のモザイク画像）と画像Ｂ（第２のモザイク画像）との画像ずれがない状態を基準にして、最小検出画素ピッチ（第１の実施形態のモザイク画像の場合には、１画素ピッチ）の整数倍のずれ量となるように、両画像Ａ，Ｂを相対的に左右方向又は上下方向にずらすことを意味する。また、図８上では、重なるＧ画素は、重ならない他の画素に比べて濃く図示されている。

図８に示すように重なるＧ画素は、画素ずらしに応じて特定のパターンで重なり、第１の実施形態のモザイク画像の場合には、図８中の太枠内の７つのパターンがある。即ち、画素ずれがない場合には、全てのＧ画素が重なる。左右方向のみ画素ずれが発生する場合には、図５の（ｃ）部及び図６の（ｃ）部に示したように垂直方向のラインのＧ画素が２ライン置きに重なる。尚、前述したように１画素ずれる場合にＧ画素が重なるパターンと、２画素ずれる場合にＧ画素が重なるパターンとでは、重なるＧ画素のラインが１画素分ずれている。

上下方向のみ画素ずれが発生する場合には、水平方向のラインのＧ画素が２ライン置きに重なり、この場合も２つのパターンが存在する。

一方、上下方向及び左右方向にそれぞれ画素ずれが発生する場合には、斜め方向のラインのＧ画素が一定のパターンにしたがって重なる。斜め方向のラインのＧ画素が重なるパターンは、斜め右上方向のラインのＧ画素が重なるパターンと、斜め左上方向のラインのＧ画素が重なるパターンの２つのパターンが存在する。

尚、画像Ａ，Ｂ間が、３画素の整数倍だけ画素ずれする場合には、Ｇ画素の位置は、画素ずれが０の場合と同じになる。これは、Ｇ画素は、左右方向及び上下方向に対して３画素置きに同じパターン（３×３画素のサブ配列内のＧ画素のパターン）を繰り返しているからである。

上記のように画像Ａと画像Ｂとの間で画素ずれが発生する場合、どの位置、どの方向に画素ずれが発生していても画像Ａ，Ｂ間には互いに重なるＧ画素が存在し、かつ画素ずれの位置及び方向に応じて重なるＧ画素の位置は、一意に特定することができる。

したがって、画像Ａと画像Ｂとを最小検出画素ピッチ（本例の場合、１画素ピッチ）毎に相対的に画素ずらしし（一方の画像を他方の画像に対してサーチ範囲内で移動させ）、各画素ずらし（サーチ位置）に応じて重なっているＧ画素を抽出し、重なっているＧ画素の各画素値の差分値に基づいて画像Ａ，Ｂ間の画像ずれを検出することができる。

即ち、上記差分値が最も小さくなるときに、画像Ａと画像Ｂとの一致度は最も高くなる。したがって、差分値に基づいて画像Ａと画像Ｂとの一致度が最も高くなる画素ずらし（サーチ位置）に基づいて元々の画像Ａと画像Ｂとの画像ずれを検出することができる。

［画像処理部］
図９は図３に示した画像処理部１８の実施形態をブロック図である。

図９に示すように画像処理部１８は、本発明に係る画像処理装置に相当する第１の画像処理部１８Ａと、通常の画像処理を行う第２の画像処理部１８Ｂとを備えている。

第１の画像処理部１８Ａは、メモリ１００、画素ずらし指示部１１０、画素抽出部１２０Ａ，１２０Ｂ、評価値算出部１３０、画像ずれ検出部１４０、画像ずれ補正部１５０、及び画像合成部１６０を備えている。

メモリ１００は、連続撮影された複数の画像を合成する撮影モード時に、画像取得部として機能する撮像素子１４及び撮影処理部１６を介して出力される複数のモザイク画像（ＲＡＷデータ）を一時格納する部分である。メモリ１００は、画像処理部１８内のものに限らず、カメラ内の主メモリの一部を適用することができる。尚、説明の簡単のために、メモリ１００には、新型カラーフィルタに対応する２枚の画像Ａ，Ｂ（第１のモザイク画像、第２のモザイク画像）が一時的に記憶されているものとする。

図１０は２枚の画像間の一致度を検出する場合に両画像から読み出されるブロック等を示す図である。

画素ずらし指示部１１０は、図１０に示すように所定のサーチ範囲Ｓ内のサーチ位置（画素ずらしに相当）を示す情報を画素抽出部１２０Ａ、１２０Ｂ、及び画像ずれ検出部１４０に出力する。図１０に示す例では、サーチ範囲Ｓは、画像Ａ内の基準位置ｐから左４画素及び上４画素の位置ｓをサーチ開始位置とし、基準位置ｐから右４画素及び下４画素の位置ｅをサーチ終了位置とする、９×９画素の範囲である。画素ずらし指示部１１０は、このサーチ範囲Ｓのサーチ開始位置ｓからサーチ終了位置ｅまで順次サーチ位置を示す情報を出力する。

画素抽出部１２０Ａは、画素ずらし指示部１１０から入力するサーチ位置を示す情報に基づいてサーチ位置を基準にした一定サイズのブロックＢ_Ａ（図１０に示す例では、９×９画素サイズ）を、メモリ１００内の画像Ａから読み出し、読み出したブロックＢ_Ａから更にサーチ位置（画素ずらし）に対応するＧ画素を抽出する。

図８で説明したように、画像間の画素ずらしが決定されると、画像間で重なる各画像上のＧ画素の位置（パターン）が一意に特定されるため、画素抽出部１２０Ａは、画素ずらしに対応するパターンにしたがってブロックＢ_ＡからＧ画素を抽出する。具体的には、画素抽出部１２０Ａは、図８に示した太枠内の７パターン（画像Ａ側における画像Ｂと重なるＧ画素のパターン）を記憶するメモリ（記憶部）Ａを有し、メモリＡからサーチ位置に応じたパターンを読み出し、読み出したパターンにより特定されるＧ画素を抽出する。

また、画素抽出部１２０Ｂは、図１０に示すように画像Ａ（ブロックＢ_Ａ）のサーチ範囲の中心の基準位置ｐと同じ位置ｐを基準にした一定サイズのブロックＢ_Ｂを、メモリ１００内の画像Ｂから読み出し、読み出したブロックＢ_Ｂから更にサーチ位置に対応するＧ画素を抽出する。即ち、画素抽出部１２０Ｂは、画素抽出部１２０Ａと同様に図８に示した太枠内の７パターン（画像Ｂ側における画像Ａと重なるＧ画素のパターン）を記憶するメモリ（記憶部）Ｂを有し、メモリＢからサーチ位置に応じたパターンを読み出し、読み出したパターンにより特定されるＧ画素を抽出する。

即ち、画素抽出部１２０Ａ，１２０Ｂは、画素ずらし指示部１１０から入力するサーチ位置を示す情報に基づいてサーチ位置を基準にした一定サイズのブロックＢ_Ａ、ブロックＢ_Ｂの画像を読み出すことにより、画像Ａ，Ｂを相対的に画素ずらしを行い、かつ読み出したブロックＢ_Ａ、ブロックＢ_Ｂの画像から互いに重なるＧ画素（ブロックＢ_Ａ、Ｂ_Ｂ内の画素位置が同一のＧ画素）を、サーチ位置（画素ずらし）に応じたパターンにより特定して抽出する。

評価値算出部１３０は、画素抽出部１２０Ａ及び１２０Ｂから抽出された互いに重なるＧ画素の画素値に基づいて、画像Ａから読み出したブロックＢ_Ａと画像Ｂから読み出したブロックＢ_Ｂの画像間の一致度を示す評価値を算出するもので、この実施形態では、ブロックマッチング法によりブロックＢ_ＡとブロックＢ_Ｂの一致度を示す評価値を算出する。

評価値算出部１３０は、ブロック間の一致度を評価するための評価値として、画素値の差分絶対値和（SAD：Sum of Absolute Difference）、又は画素値の差分自乗和（SSD：Sum of Squared Difference）を使用する。

ブロックＢ_ＡとブロックＢ_Ｂ内の互いに重なるＧ画素の画素値を、f(i,j)，g(i,j)とすると、画素値の差分絶対値和（SAD）を示す評価値Ｓ_ＳＡＤは、次式により算出する。

また、画素値の差分自乗和（SSD）を示す評価値Ｓ_ＳＳＤは、次式により算出する。

尚、［数１］式、及び［数２］式におけるｉ，ｊの値は、ブロックＢ_ＡとブロックＢ_Ｂ内の画素の位置（図１０に示す例では、９×９画素内の画素の位置）を示し、特に画素抽出部１２０Ａ及び１２０Ｂにより抽出された互いに重なるＧ画素の位置を示す。

評価値算出部１３０は、上記［数１］式、又は［数２］式に示す評価値Ｓ_ＳＡＤ、又は評価値Ｓ_ＳＳＤを算出し、更に評価値Ｓ_ＳＡＤ、又は評価値Ｓ_ＳＳＤを、重なるＧ画素の画素数で除算した値を評価値とする。これは、サーチ位置により重なるＧ画素の画素数が異なるためである。尚、サーチ範囲内で上記評価値が最小になるとき、ブロックＢ_ＡとブロックＢ_Ｂの一致度が最大になる。また、ブロックＢ_ＡとブロックＢ_Ｂの一致度を評価するための評価関数は、上記の実施形態に限られるものではない。例えば、評価関数として、正規化相互相関等の他の関数を使用してもよい。

画像ずれ検出部１４０は、評価値算出部１３０により算出された評価値を、ブロックＢ_Ａのサーチ範囲内のサーチ位置毎に入力するとともに、画素ずらし指示部１１０からサーチ位置を示す情報を入力する。そして、サーチ範囲内で評価値が最小となるときのサーチ位置に基づいて画像Ａ，Ｂ（ブロックＢ_Ａ，Ｂ_Ｂ）の画像ずれを検出する。例えば、ブロックＢ_Ａのサーチ位置が、サーチ範囲の中心の基準位置ｐから左１画素及び上１画素の場合、画像Ｂは、画像Ａに対して右１画素及び下１画素ずれていることになる。画像ずれ検出部１４０は、上記のようにして検出した画像ずれを示す情報を画像ずれ補正部１５０に出力する。即ち、画像ずれ検出部１４０は、サーチ範囲内におけるサーチ位置毎（画像ずらし毎）に評価値算出部１３０により算出された評価値と、そのときのサーチ位置を示す情報（画像ずらしに関する情報）とを入力し、評価値が最小となるときのサーチ位置を示す情報に基づいて画像ずれを検出する。

画像ずれ補正部１５０は、メモリ１００内の画像Ｂを読み出し、画像ずれ検出部１４０から入力する画像ずれを示す情報に基づいて、読み出した画像Ｂの画像Ａに対する画像ずれを補正する。画像ずれの補正は、画像合成する画像サイズ（最大の画像ずれを考慮してオリジナルの画像Ｂよりも小さい画像サイズ）にて画像Ｂから画像を切り出す際に、その切り出し位置を、前記画像ずれに対応してシフトすることにより行う。

また、画像ずれ補正部１５０は、画像ずれが補正された画像（以下、「画像Ｂ１」と、画像Ａを画像合成する画像サイズになるようにトリミングした（切り出した）画像（以下、「画像Ａ１」という）との同じ位置の画素の色が一致するように、画像Ｂ１の各画素を補正する。例えば、画像Ａ１のある位置ｘ(i,j)の画素がＧ画素で、その位置ｘ(i,j)に対応する画像Ｂ１の画素がＧ画素以外の場合、画像Ｂ１の位置ｘ(i,j)の近傍の複数のＧ画素の画素値を補間して位置ｘ(i,j)におけるＧ画素を生成する。これにより、補正後の画像Ｂ１（以下、「画像Ｂ２」という）の各位置の画素は、画像Ａ１の対応する位置の画素の色と一致するようになる。画像ずれ補正部１５０により補正された画像Ｂ２は、画像合成部１６０に出力される。

画像合成部１６０は、メモリ１００から読み出した画像Ａを、画像合成する画像サイズになるように切り出し、切り出した画像Ａ１と画像ずれ補正部１５０から入力する画像Ｂ２とを合成し、合成画像（以下、「画像Ｃ」という）を生成する。この画像Ｃは、画像Ａ，Ｂと同様のモザイク画像（第３のモザイク画像）である。尚、画像Ａから画像Ａ１を切り出す際には、画像Ａの中心と画像Ａ１の中心とがずれないように（画像ずれが生じないように）切り出す。また、画像Ａ１と画像Ｂ２との合成は、各画像内の同じ位置の画素（互いに重なる同じ色の画素）の画素値を加算することにより行われる。

この実施形態では、画像Ａに対する画像Ｂの画像ずれを補正するようにしたが、本発明はこれに限定されない。例えば、画像Ｂに対する画像Ａの画像ずれ等を補正するようにしてもよい。また、２枚のモザイク画像を合成する場合について説明したが、３枚以上のモザイク画像を合成する場合にも同様に行うことができる。

画像合成部１６０により合成された画像Ｃは、第２の画像処理部１８Ｂに出力される。

第２の画像処理部１８Ｂは、通常の画像処理を行う部分であり、ＷＢ補正部２００、ガンマ補正部２１０、同時化処理部２２０、ＲＧＢ／ＹＣ変換部２３０、輪郭補正部２４０、色調補正部２５０等を有している。

画像Ｃは、例えば、Ｒ、Ｇ、Ｂ毎に１４ビットのビット長を有する２バイトのＲＡＷデータであり、ＷＢ補正部２００は、Ｒ，Ｇ，Ｂデータごとにそれぞれホワイトバランス補正用のゲイン値をかけることによりホワイトバランス補正を行う。

ここで、ホワイトバランス補正用のゲイン値は、ＲＡＷデータを解析して、例えば光源種（太陽光、蛍光灯、タングステン電球等）を特定し、その光源種に対応して予め記憶されているＲＧＢ毎のゲイン値に設定され、あるいはホワイトバランス補正を行うメニュー画面上で手動で選択された光源種や色温度に対応するＲＧＢ毎のゲイン値に設定される。

ＷＢ補正部２００から出力されたＲ、Ｇ、Ｂデータは、ガンマ補正部２１０に出力される。ガンマ補正部２１０は、リニアデータを、ｓＲＧＢ，AdobeＲＢＧといった色空間の階調データに変換する。このガンマ補正は、例えば、ガンマ補正用の入出力特性を有するルックアップテーブル（ＬＵＴ）を使用し、Ｒ、Ｇ、Ｂの入力データに対応した出力データをＬＵＴから読み出すことにより行われる。２バイトの入力データは、ガンマ補正時に０〜２５５の８ビット（１バイト）の出力データに変換される。ガンマ補正されたＲ、Ｇ、Ｂデータは、同時化処理部２２０に出力される。

同時化処理部２２０は、図４に示したカラーフィルタ配列に伴うＲ、Ｇ、Ｂデータの空間的なずれを補間してＲ、Ｇ、Ｂデータを同時式に変換する処理（デモザイク処理）を行い、デモザイク（同時化）したＲ、Ｇ、ＢデータをＲＧＢ／ＹＣ変換部２３０に出力する。

ＲＧＢ／ＹＣ変換部２３０は、Ｒ、Ｇ、Ｂデータを輝度データＹ，色差データＣｒ，Ｃｂに変換し、輝度データＹを輪郭補正部２４０に出力し、色差データＣｒ，Ｃｂを色調補正部２５０に出力する。輪郭補正部２４０は、輝度データＹの輪郭部（輝度変化の大きい部分）を強調する処理を行う。

色調補正部２５０は、入力する色差データＣｒ，Ｃｂと、２行×２列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。色補正マトリクス係数は、ユーザからの色補正の指示入力に応じて適宜変更される。

このようにして輪郭補正された輝度データＹ、及び色調補正された色差データＣｒ，Ｃｂは、後段の記録部又は表示部（図示せず）に出力される。尚、ＲＡＷデータの記録を行う場合には、画像Ｃがそのまま記録メディアに記録される。

この実施形態では、ブロックＢ_Ａ，ブロックＢ_Ｂのサイズ、及びサーチ範囲を、それぞれ９×９画素としているが、ブロックのサイズ及びサーチ範囲は任意である。例えば、最大の画像ずれとしては、画面内で大きく動く被写体（動体）も考慮し、有効画素１２００万画素の画像の場合に１００画素程度まで検知する必要がある。この場合、サーチ範囲も一辺が１００画素程度必要になる。

［画像処理方法］
次に、第１の画像処理部１８Ａによる画像処理方法について説明する。

図１１は画像処理方法の実施形態を示すフローチャートである。図１１は、特に画像間の画像ずれを検出するまでの処理に関して示している。

図１１において、連続して撮影された２枚のモザイク画像（画像Ａ，Ｂ）を取得する（ステップＳ１０、画像取得工程）。

続いて、図１０で説明したように画像Ｂから一致度を検出するために参照するブロックＢ_Ｂを読み出し（ステップＳ１２）、また、画像Ａからサーチ位置範囲内のサーチ位置に応じてブロックＢ_Ａを読み出す（ステップＳ１４）。

読み出したブロックＢ_Ａ及びブロックＢ_Ｂから重なるＧ画素を抽出し（ステップＳ１６、画素抽出工程）、抽出したＧ画素に基づいてブロック間（画像間）の一致度を示す評価値（Ｇ画素の差分絶対値和、もしくは差分自乗和）を算出する（ステップＳ１８、評価値算出工程）。

ステップＳ１８で算出した評価値とその算出時のブロックＢ_Ａのサーチ位置（画像ずれに相当）とを関連付けて一時メモリ等に保持する（ステップＳ２０）。

次に、サーチ範囲内の全サーチ位置で上記ステップＳ１４〜ステップＳ２０の処理が終了したか否かを判別する（ステップＳ２２）。サーチ範囲内の全サーチ位置で処理が終了していない場合（「No」の場合）には、ステップＳ１４に遷移させ、現在のサーチ位置を次にサーチ位置に移動させて上記ステップＳ１４〜ステップＳ２０の処理を行わせる。一方、サーチ範囲内の全サーチ位置で処理が終了している場合（「Yes」の場合）には、ステップＳ２４に遷移させる。

ステップＳ２４では、ステップＳ２０において保持したサーチ範囲内の全サーチ位置における評価値のうちの最小の評価値を検知し、最小の評価値が得られたときのサーチ位置に基づいて画像Ａ，Ｂ間の画像ずれを検出する（画像ずれ検出工程）。

上記のようにして画像Ａ，Ｂ間の画像ずれが検出されると、画像間の画像ずれを補正し、補正された画像ずれのない複数の画像を使用して画像の合成を行う。

［モザイク画像の他の実施形態］
図１２から図１４Ａ及び図１４Ｂは、それぞれモザイク画像のカラー配列の実施形態を示す図であり、基本配列パターンに関して示している。

図１２に示す第２の実施形態のモザイク画像は、６×６画素に対応する正方配列パターンからなる基本配列パターンを有しており、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。

第２の実施形態のモザイク画像は、Ｇ画素、Ｒ画素、及びＢ画素が、それぞれ基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

ＲＧＢの画素が、それぞれ基本配列パターン内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。

また、Ｇ画素は、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。これらの隣接するＧ画素の画素値に基づいて、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。尚、判別された相関方向は、デモザイク（同時化、補間）処理等を行う際に利用することができる。

更に、第２の実施形態のモザイク画像は、２つのモザイク画像間を水平又は垂直方向に１画素ずつ画素ずらしすると、互いに重なるＧ画素が存在する。これにより、重なるＧ画素の画素値に基づいて１画素ピッチで、２つのモザイク画像間の画像ずれを検出することができる。

図１３Ａ及び図１３Ｂに示す第３の実施形態のモザイク画像は、４×４画素に対応する正方配列パターンからなる基本配列パターンを有しており、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。

また、このモザイク画像は、Ｇ画素が水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。輝度系画素に対応するＧ画素が、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイク（同時化）処理の再現精度を向上させることができる。

更に、このモザイク画像の基本配列パターンは、その基本配列パターン内におけるＧ画素の画素数が、Ｒ画素、Ｂ画素の画素数よりも大きくなっている。

上記のようにＧ画素の画素数がＲ，Ｂ画素の画素数よりも多いため、デモザイク（同時化）処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。また、２つのモザイク画像間を水平又は垂直方向に画素ずらしすると、互いに重なるＧ画素が存在する。これにより、重なるＧ画素の画素値に基づいて１画素ピッチで、２つのモザイク画像間の画像ずれを検出することができる。

図１４Ａ及び図１４Ｂに示すモザイク画像は、それぞれ３×３画素に対応する正方配列パターンからなる基本配列パターンを有しており、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。

図１４Ａに示す第４の実施形態のモザイク画像は、Ｇ画素の配置に関しては図４に示した第１の実施形態と共通しており、これらのＧ画素に基づいて第１の実施形態のモザイク画像と同様に１画素ピッチで２つのモザイク画像間の画像ずれを検出することができる。

図１４Ｂに示す第５の実施形態のモザイク画像は、基本配列パターン内でＧ画素がＬ字状に配置されている。

第５の実施形態のモザイク画像は、Ｇ画素が水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。輝度系画素に対応するＧ画素が、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置される。このため、高周波となる方向によらず高周波領域でのデモザイク（同時化）処理の再現精度を向上させることができる。

また、第５の実施形態のモザイク画像は、２つのモザイク画像間を水平又は垂直方向に１画素ずつ画素ずらしすると、互いに重なるＧ画素が存在する。これにより、重なるＧ画素の画素値に基づいて１画素ピッチで、２つのモザイク画像間の画像ずれを検出することができる。

［モザイク画像間の画像ずれの検出方法の他の実施形態］
図１０及び図１１に示したモザイク画像間の画像ずれの検出方法は、画像Ａ内のブロックＢ_Ａをサーチ範囲内で１画像ずつ移動させ、画像ＢのブロックＢ_Ｂとのマッチングをとることにより、両ブロックの一致度が最大となるサーチ位置から画像Ａと画像Ｂとの画像ずれを１画素ピッチで検出するようにしている。

画像ずれの検出方法の他の実施形態は、１画素ピッチ以内の画像ずれを、パラボラフィッティング法又は等角フィッティング法を使用して検出する。

＜パラボラフィッティング法＞
図１５はパラボラフィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。

図１５において、モザイク画像間の一致度を示す評価値が最小となる位置（サーチ位置）を、最小検出画素ピッチで検出する（ステップＳ５０）。図１０等で示したモザイク画像間の画像ずれの検出方法では、サーチ位置を１画素ずつ移動させているため、前記最小検出画素ピッチは１画素ピッチである。

ステップＳ５０で得られた評価値と、その評価値が得られた位置に隣接する位置の評価値とを取得し、これらの評価値を通る近似曲線を算出する（ステップＳ５２）。

図１６は、最小の評価値が得られた位置ｍと、この位置ｍに隣接する前後の位置ｍ−１，ｍ＋１における評価値、及びこれらの評価値（３つの評価値）を通る近似曲線を示すグラフである。

ステップＳ５２により近似曲線が算出されると、この近似曲線の最下点（最小値）の位置minを算出する（ステップＳ５４）。これにより、最小検出画素ピッチ以内の画像間のずれを検出することができる。

即ち、上記画像ずれ検出方法によれば、最小の評価値が得られた位置ｍ（第１の画素ずらし）、及び位置ｍに隣接する前後の位置ｍ−１，ｍ＋１（第１の画素ずらしに対し、相対的な位置ずれが近傍になる第２の画素ずらし）に対応して算出された評価値をそれぞれ取得し、第１、第２の画素ずらしに関する情報（位置ｍ−１，ｍ，ｍ＋１）と、第１、第２の画素ずらしに対応して算出された評価値とに基づいて、モザイク画像間の一致度が最大になる画像ずれ（位置min）を、最小検出画素ピッチ以内の精度で算出することができる。

＜等角フィッティング法＞
図１７は第１の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。

図１７において、モザイク画像間の一致度を示す評価値が最小となる位置を、最小検出画素ピッチで検出する（ステップＳ６０）。

続いて、ステップＳ６０で得られた位置に隣接する前後の位置の評価値を取得し、これらの評価値の大小を比較する（ステップＳ６２）。

ステップＳ６２での評価値の大小の比較結果に基づいて各評価値を通る２直線を決定する（ステップＳ６４）。

図１８Ａ及び図１８Ｂはそれぞれ最小の評価値が得られた位置ｍと、この位置ｍに隣接する前後の位置ｍ−１，ｍ＋１における評価値、及びこれらの評価値（３つの評価値）を通る２直線を示すグラフである。

即ち、ステップＳ６４では、３つの評価値のうちの最小の評価値と最大の評価値とを通る１つの直線を決定し、この決定した直線の傾きと符号の異なる傾きを有し、かつ最小最大以外の評価値を通る他の直線を決定する。

次に、ステップＳ６４により決定した２直線の交点を算出し、この交点の位置minを算出する（ステップＳ６６）。これにより、最小検出画素ピッチ以内の画像間のずれを検出することができる。

図１９は第２の等角フィッティング法を使用したモザイク画像間の画像ずれ検出方法を示すフローチャートである。

図１９において、モザイク画像間の一致度を示す評価値が最小となる位置を、最小検出画素ピッチで検出し（ステップＳ７０）、検出した位置に隣接する前後の位置の評価値を取得し、これらの評価値の大小を比較する（ステップＳ７２）。

一方、ステップＳ７０で検出した位置を基準に切り出した自画像（例えば、画像ＡのブロックＢ_Ａ）を最小検出画素ピッチでずらした画像を作成し、自画像とずらした画像との差分をとって評価値を算出する（ステップＳ７４）。

ステップＳ７４で得た評価値が、ステップＳ７２で得た評価値よりも小さい場合には、サーチ位置に対して評価値の変化が少ない領域であると判断し、ステップＳ７４で得た評価値を採用する（ステップＳ７６）。

続いて、ステップＳ７２又はステップＳ７６で得た評価値に基づいて各評価値を通る２直線を決定する（ステップＳ７８）。

図２０は最小の評価値が得られた位置ｍと、この位置ｍに隣接する前後の位置ｍ−１，ｍ＋１における評価値、及びこれらの評価値（３つの評価値）を通る２直線を示すグラフである。尚、位置ｍ−１，ｍ＋１において、それぞれ２つの評価値が図示されているが、２つの評価値は、ステップＳ７２で得た評価値とステップＳ７４で得た評価値である。そして、最小の評価値が得られた位置に隣接する位置の評価値として、上記２つの評価値のうちの小さい方の評価値を採用し、２直線を決定するようにしている。

次に、ステップＳ７８により決定した２直線の交点を算出し、この交点の位置minを算出する（ステップＳ８０）。これにより、最小検出画素ピッチ以内の画像間のずれを検出することができる。

尚、最初に最小検出画素ピッチで検出された、一致度の評価値が最小となる位置からずれ方向（真に評価値が最小となる位置の方向）を検出し、その後、検出したずれ方向の評価値を使用して、上記パラボラフィッティング法又は等角フィッティング法により１画素ピッチ以内の画像ずれを検出するようにしてもよい。

また、画像間のずれは、２次元面上で生じるため、１画素ピッチ以内の画像ずれを検出する場合には、上記の１画素ピッチ以内の画像ずれの検出を、上下方向及び左右方向（垂直及び水平方向）別に行う必要がある。

更に、画像ずれ補正部１５０（図９）は、１画素ピッチ未満の精度で画像ずれが検出され、この画像ずれを補正する場合には、補正しようとする画素を、その画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより１画素ピッチ未満の画素ずれを補正する。

［ベイヤ配列のモザイク画像への適用例］
図２１は、カラーフィルタ配列として最も広く用いられているベイヤ配列を有する撮像素子から出力される、ベイヤ配列のモザイク画像を示す図である。

図２１に示すようにベイヤ配列のモザイク画像は、Ｇが市松状（チェッカーフラグ状）に配置され、Ｒ画素、Ｂ画素がラインごとに交互に配置されている。

図２２の（ａ）部及び（ｂ）部は、それぞれ連続して撮影された２枚のベイヤ配列のモザイク画像の一部を示す図である。図２２では、特にモザイク画像中のＧ画素をハッチングで示し、他の色画素（Ｒ画素、Ｂ画素）と区別可能にしている。

また、図２２の（ａ）部に示すモザイク画像（画像Ａ）と、図２２の（ｂ）部に示すモザイク画像（画像Ｂ）とは、水平方向に１画素ずれている。

図２２の（ｃ）部は、上記画像Ａと画像Ｂとを重ね合わせた画像を示している。図２２の（ｃ）部に示すように画像ＡのＧ画素と画像ＢのＧ画素とは、重なるＧ画素がない。一方、画像Ａと画像Ｂとが水平方向に２画素ずれている場合には、全てのＧ画素が重なる。

即ち、ベイヤ配列のモザイク画像間の画像ずれを検出する場合、最小検出画素ピッチは、水平方向又は垂直方向ともに２画素ピッチとなる。

図２３は２枚の画像間の一致度を検出する場合に両画像から読み出されるブロック等を示す図である。

図２３に示すように画像Ａから読み出されるブロックＢ_Ａは、サーチ範囲Ｓのサーチ開始位置ｓからサーチ終了位置ｅまで順次サーチ位置をずらしながら読み出される。この場合のサーチ位置は、水平方向に１画素ずつ移動した位置に移動するのではなく、最小検出画素ピッチである２画素ピッチずつ（１画素置きに）移動する。即ち、サーチ位置は、ベイヤ配列のＧ画素の位置に対応した位置に移動する。

また、各サーチ位置において画像Ａから読み出されるブロックＢ_Ａと、画像Ｂから読み出されるブロックＢ_Ｂとは、サーチ位置にかかわらず、各ブロック内の全てのＧ画素が重なる。

したがって、ブロックＢ_ＡとブロックＢ_Ｂ内の互いに重なるＧ画素の画素値に基づいて、前述したブロックマッチング法によりブロックＢ_ＡとブロックＢ_Ｂとの一致度（即ち、画像Ａ，Ｂ間の画像ずれ）を検出することができる。

一方、ベイヤ配列のモザイク画像の場合、最小検出画素ピッチが２画素ピッチであるため、画像間の画像ずれの検出の精度が２画素ピッチになる。画像ずれの検出精度を２画素ピッチよりも高くする場合には、２画素ピッチで算出される複数の評価値を使用し、前述したパラボラフィッティング法又は等角フィッティング法を適用すればよい。これにより、最小検出画素ピッチ（２画素ピッチ）以内の画像ずれを検出することができる。

［画像ずれの検出にＲＧＢの各画素を使用する実施形態］
上記の実施形態では、モザイク画像中のＧ画素を使用してモザイク画像間の画像ずれを検出するようにしたが、これに限らず、Ｒ画素、Ｂ画素を使用してもよい。

図２４は、第１の実施形態の２枚のモザイク画像を、上下方向及び左右方向に±２画素の範囲内で相対的に画素ずらしをした場合に重なる画素等を示す図である。尚、図８では、画像間を画素ずらしをした場合に重なるＧ画素を示したが、図２４では、画像間を画素ずらしをした場合に重なるＲ画素及びＢ画素も示している。

図２４に示すように全２５通りの画素ずらしのうち、１２通りの画素ずらしにおいて、Ｒ画素及びＢ画素の一部が重なる。したがって、１２通りの画素ずらしにおいては、重なったＲ、Ｇ、Ｂ画素の画素値に基づいて、これらのＲ、Ｇ、Ｂ画素の組合せに応じた複数種類の評価値を算出することができる。

前述した画像ずれ検出部１４０（図９）は、例えば、サーチ範囲が上下方向及び左右方向にそれぞれ±２画素の場合には、全２５通りの画素ずらし（サーチ位置）毎にそれぞれ算出された２５の評価値のうちの最小の評価値が得られたときの、サーチ位置から画像ずれを検出するが、Ｒ画素及びＢ画素の画素値により算出される評価値を使用することにより、以下に示す画像ずれの検出を行うことができる。

Ｇ画素の画素値に基づいて算出した２５の評価値のうち、最小の評価値が複数存在する場合（ほぼ同じ評価値も含む）において、複数の評価値が得られた画素ずらしのうちのいずれの画素ずらしが、正しい画像ずれに対応するものかを判断するために、Ｒ画素及びＢ画素の画素値により算出される評価値を使用する。

即ち、複数の評価値が得られた画素ずらしのうちの１以上の画素ずらしが、前記１２通りの画素ずらしに該当する場合には、その画素ずらしに対してＲ画素及びＢ画素の画素値に基づいて別の評価値を算出することができる。そして、別の評価値が最小の評価値に近い場合には、その画素ずらしは、正しい画像ずれに対応するものと判断することができる。一方、別の評価値が、両画像がほぼ一致していると判断される評価値に比べて大きい場合には、その画素ずらしは、正しい画像ずれに対応するものから除外することができる。これにより、最小の評価値が得られた複数の画素ずらしのうちから、正しい画像ずれに対応する画像ずらしを絞り込むことができる。

撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

［スマートフォンの構成］
図２５は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図２５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２６は、図２５に示すスマートフォン５００の構成を示すブロック図である。図２６に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２５に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図２５に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ（Local Area Network））から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に、前述した撮像装置１０を適用することができる。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２５に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の１つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

［その他］
この実施形態では、撮像装置又はスマートフォンについて説明したが、本発明は、ＲＡＷデータ（モザイク画像）の記録が可能な撮像装置から直接、又は記録媒体を介して連続撮影された複数のモザイク画像を取得し、これらのモザイク画像に対して本発明に係る画像処理を含む各種の画像処理（「ＲＡＷ現像」という）を行うパーソナルコンピュータ等の画像処理装置にも適用できる。また、本発明は、汎用のパーソナルコンピュータにインストールされることにより該パーソナルコンピュータを上記画像処理装置として機能させるＲＡＷ現像ソフト（画像処理プログラム）、及びこのＲＡＷ現像ソフトが記録された記録媒体（非一次的（non-transitory）な記録媒体）を含む。画像処理プログラムは、少なくとも上記画像処理装置の画像取得部、画素抽出部、評価値算出部、及び画像ずれ検出部に対応する画像取得機能、画素抽出機能、評価値算出機能及び画像ずれ検出機能を、コンピュータを実行させるものである。

また、本発明は、この実施形態に示したモザイク画像に限らず、種々のものが適用でき、例えば、ＲＧＢの画素からなるモザイク画像以外に、ホワイト、エメラルド、イエロー等の他の色の画素を含むモザイク画像や、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）にＧを加えた４色の補色系のモザイク画像にも適用できる。

更に本発明は、デモザイク（同時化）処理等の画像処理を施す前のモザイク画像の段階で、複数のモザイク画像間のずれの補正及び複数のモザイク画像の画像合成等の画像処理を行うようにしたため、画像処理の処理量及び処理時間の低減を図ることができるが、この実施形態によれば、２バイトのモザイク画像（ＲＡＷデータ）の段階で上記の画像処理を行うため、デモザイク（同時化）処理後の１バイトの画像データで同様な画像処理を行う場合に比べて画質の劣化を防止することができるという効果がある。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…撮影レンズ、１４…撮像素子、１６…撮影処理部、１８…画像処理部、１８Ａ…第１の画像処理部、１８Ｂ…第２の画像処理部、２０…駆動部、２２…制御部、１１０…画素ずらし指示部、１２０Ａ，１２０Ｂ…画素抽出部、１３０…評価値算出部、１４０…画像ずれ検出部、１５０…画像ずれ補正部、１６０…画像合成部

Claims (19)

1. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得部と、
   前記画像取得部により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出部と、
   前記画素抽出部により抽出された同色の画素間の各画素値に基づいて前記第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出部と、
   前記評価値算出部により算出された評価値と前記画素抽出部による画素ずらしに関する情報とに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出部と、を備え、
   前記第１のモザイク画像及び第２のモザイク画像は、前記第１の方向の±ｎ画素（ｎ：整数）の画素ずらしと、前記第２の方向の±ｎ画素の画素ずらしと、前記第１の方向の±ｎ画素の画素ずらしと前記第２の方向の±ｎ画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、当該全ての画素ずらしに対応して画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素が存在する画像処理装置。
2. 前記画像ずれ検出部は、前記評価値算出部により算出された評価値に基づいて、前記第１のモザイク画像と第２のモザイク画像との一致度が最大になるときの前記画素抽出部による画素ずらしに関する情報を取得し、取得した画素ずらしに関する情報に基づいて前記画像ずれを検出する請求項１に記載の画像処理装置。
3. 前記画素抽出部は、前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる第１の画素ずらしと、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第１のモザイク画像と第２のモザイク画像に対し第２の画素ずらしを行い、
   前記評価値算出部は、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第１の評価値と、前記第２の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第２の評価値とを算出し、
   前記画像ずれ検出部は、前記第１、第２の画素ずらしに関する情報と、該第１、第２の画素ずらしに対応して前記評価値算出部により算出された前記第１、第２の評価値とに基づいて前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる前記画像ずれを算出する請求項１に記載の画像処理装置。
4. 前記画像ずれ検出部は、前記第１の方向の画像ずれ、第２の方向の画像ずれ、及び前記第１の方向の画像ずれと第２の方向の画像ずれとを組み合わせた画像ずれを、隣接する画素間の１ピッチ以内の精度で検知する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記モザイク画像は、Ｎ×Ｎ（Ｎ：３以上の整数）画素に対応する基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置されたものである請求項１に記載の画像処理装置。
6. 前記モザイク画像は、３×３画素に対応する基本配列パターン、又は３×３画素に対応するサブ配列パターンを組み合わせた６×６画素に対応する基本配列パターンが前記第１の方向及び前記第２の方向に繰り返されて配置されたものである請求項５に記載の画像処理装置。
7. 前記画素抽出部は、
   前記画像取得部により取得した第１のモザイク画像と第２のモザイク画像とを画素ずらしする前記第１の方向の±ｎ画素（ｎ：整数）の画素ずらしと、前記第２の方向の±ｎ画素の画素ずらしと、前記第１の方向の±ｎ画素の画素ずらしと前記第２の方向の±ｎ画素の画素ずらしとを組み合わせた全ての画素ずらしに対し、当該全ての画素ずらしのうちの各画素ずらしに対応して、画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素の位置を示すパターンをそれぞれ記憶する記憶部を有し、
   前記画素ずらしに対応して前記記憶部から読み出したパターンに基づいて前記画像取得部により取得した第１のモザイク画像及び第２のモザイク画像から画素ずらし後の第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する請求項１から６のいずれか１項に記載の画像処理装置。
8. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得部と、
   前記画像取得部により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出部と、
   前記画素抽出部により抽出された同色の画素間の各画素値に基づいて前記第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出部と、
   前記評価値算出部により算出された評価値と前記画素抽出部による画素ずらしに関する情報とに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出部と、
   前記画像ずれ検出部により検出された画像ずれに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを補正する画像ずれ補正部と、
   前記画像ずれ補正部により画像ずれが補正された前記第１のモザイク画像と第２のモザイク画像とに基づいて第３のモザイク画像を生成する画像生成部と、を備え、
   前記画素抽出部は、前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる第１の画素ずらしと、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第１のモザイク画像と第２のモザイク画像に対し第２の画素ずらしを行い、
   前記評価値算出部は、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第１の評価値と、前記第２の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第２の評価値とを算出し、
   前記画像ずれ検出部は、前記第１、第２の画素ずらしに関する情報と、該第１、第２の画素ずらしに対応して前記評価値算出部により算出された前記第１、第２の評価値とに基づいて前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる前記画像ずれを、１画素ピッチ未満の精度で算出し、
   前記画像ずれ補正部は、前記第１のモザイク画像及び前記第２のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記１画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより１画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第１のモザイク画像及び第２のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する画像処理装置。
9. 前記第１のモザイク画像及び第２のモザイク画像は、前記第１の方向の±ｎ画素（ｎ：偶数）の画素ずらしと、前記第２の方向の±ｎ画素の画素ずらしと、前記第１の方向の±ｎ画素の画素ずらしと前記第２の方向の±ｎ画素の画素ずらしとを組み合わせた画素ずらしとを含む全ての画素ずらしに対して、当該全ての画素ずらしに対応して画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素が存在し、
   前記画素抽出部は、前記全ての画素ずらしに対応して画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する請求項８に記載の画像処理装置。
10. 前記モザイク画像は、ベイヤー配列の前記カラーフィルタを有する撮像素子から取得されたものである請求項９に記載の画像処理装置。
11. 前記画像ずれ検出部により検出された画像ずれに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを補正する画像ずれ補正部と、
    前記画像ずれ補正部により画像ずれが補正された前記第１のモザイク画像と第２のモザイク画像とに基づいて第３のモザイク画像を生成する画像生成部と、
    を備えた請求項１から７のいずれか１項に記載の画像処理装置。
12. 前記画像ずれ補正部は、前記画像ずれを補正した前記第１のモザイク画像及び第２のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する請求項１１に記載の画像処理装置。
13. 前記評価値算出部は、前記画素抽出部により抽出された同色の画素間の各画素値の差分絶対値和、又は差分自乗和を算出し、算出した差分絶対値和、又は差分自乗和を、前記第１のモザイク画像と第２のモザイク画像との一致度を示す評価値として算出する請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記第１のモザイク画像及び第２のモザイク画像は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、
    前記画素抽出部は、前記画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色となる第１の色の画素を抽出する請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記第１のモザイク画像及び第２のモザイク画像は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有するカラーフィルタが配設されてなる撮像素子から取得されたものであり、
    前記画素抽出部は、前記画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色となる第１の色及び第２の色の画素を抽出する請求項１から１４のいずれか１項に記載の画像処理装置。
16. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを有するカラーフィルタが配設されてなる撮像素子と、
    請求項１から１５のいずれか１項に記載の画像処理装置と、を備え、
    前記画像取得部は、複数の画像を連続して撮像させる撮像時に前記撮像素子から少なくとも前記第１のモザイク画像及び第２のモザイク画像を取得する撮像装置。
17. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得工程と、
    前記画像取得工程により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出工程と、
    前記画素抽出工程により抽出された同色の画素間の各画素値に基づいて前記第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出工程と、
    前記評価値算出工程により算出された評価値と前記画素抽出工程による画素ずらしに関する情報とに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出工程と、
    前記画像ずれ検出工程により検出された画像ずれに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを補正する画像ずれ補正工程と、
    前記画像ずれ補正工程により画像ずれが補正された前記第１のモザイク画像と第２のモザイク画像とに基づいて第３のモザイク画像を生成する画像生成工程と、を含み、
    前記画素抽出工程は、前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる第１の画素ずらしと、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第１のモザイク画像と第２のモザイク画像に対し第２の画素ずらしを行い、
    前記評価値算出工程は、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第１の評価値と、前記第２の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第２の評価値とを算出し、
    前記画像ずれ検出工程は、前記第１、第２の画素ずらしに関する情報と、該第１、第２の画素ずらしに対応して前記評価値算出工程により算出された前記第１、第２の評価値とに基づいて前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる前記画像ずれを、１画素ピッチ未満の精度で算出し、
    前記画像ずれ補正工程は、前記第１のモザイク画像及び前記第２のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記１画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより１画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第１のモザイク画像及び第２のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する画像処理方法。
18. コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、
    第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得工程と、
    前記画像取得工程により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出工程と、
    前記画素抽出工程により抽出された同色の画素間の各画素値に基づいて前記第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出工程と、
    前記評価値算出工程により算出された評価値と前記画素抽出工程による画素ずらしに関する情報とに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出工程と、
    前記画像ずれ検出工程により検出された画像ずれに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを補正する画像ずれ補正工程と、
    前記画像ずれ補正工程により画像ずれが補正された前記第１のモザイク画像と第２のモザイク画像とに基づいて第３のモザイク画像を生成する画像生成工程と、を実行し、
    前記画素抽出工程は、前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる第１の画素ずらしと、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第１のモザイク画像と第２のモザイク画像に対し第２の画素ずらしを行い、
    前記評価値算出工程は、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第１の評価値と、前記第２の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第２の評価値とを算出し、
    前記画像ずれ検出工程は、前記第１、第２の画素ずらしに関する情報と、該第１、第２の画素ずらしに対応して前記評価値算出工程により算出された前記第１、第２の評価値とに基づいて前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる前記画像ずれを、１画素ピッチ未満の精度で算出し、
    前記画像ずれ補正工程は、前記第１のモザイク画像及び前記第２のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記１画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより１画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第１のモザイク画像及び第２のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する記録媒体。
19. 第１の方向及び第１の方向に垂直な第２の方向に配列された光電変換素子で構成される複数の画素上に３色以上のカラーフィルタが規則的に配列されてなる撮像素子から取得された前記カラーフィルタのフィルタ配列に対応するモザイク画像であって、同一の被写体に対して連続して撮像された第１のモザイク画像及び第２のモザイク画像を取得する画像取得機能と、
    前記画像取得機能により取得した第１のモザイク画像と第２のモザイク画像とを最小検出画素ピッチ毎に相対的に画素ずらしをし、当該画素ずらしをした第１のモザイク画像と第２のモザイク画像との重複する画素同士で同色になる画素を抽出する画素抽出機能と、
    前記画素抽出機能により抽出された同色の画素間の各画素値に基づいて前記第１のモザイク画像と第２のモザイク画像との一致度を示す評価値を算出する評価値算出機能と、
    前記評価値算出機能により算出された評価値と前記画素抽出機能による画素ずらしに関する情報とに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを検出する画像ずれ検出機能と、
    前記画像ずれ検出機能により検出された画像ずれに基づいて前記第１のモザイク画像と第２のモザイク画像との画像ずれを補正する画像ずれ補正機能と、
    前記画像ずれ補正機能により画像ずれが補正された前記第１のモザイク画像と第２のモザイク画像とに基づいて第３のモザイク画像を生成する画像生成機能と、をコンピュータに実行させ、
    前記画素抽出機能は、前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる第１の画素ずらしと、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像の相対的な位置ずれに対し、当該相対的な位置ずれが近傍になるよう前記第１のモザイク画像と第２のモザイク画像に対し第２の画素ずらしを行い、
    前記評価値算出機能は、前記第１の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第１の評価値と、前記第２の画素ずらしをした場合の前記第１のモザイク画像と第２のモザイク画像との一致度を示す第２の評価値とを算出し、
    前記画像ずれ検出機能は、前記第１、第２の画素ずらしに関する情報と、該第１、第２の画素ずらしに対応して前記評価値算出機能により算出された前記第１、第２の評価値とに基づいて前記第１のモザイク画像と第２のモザイク画像との一致度が最大になる前記画像ずれを、１画素ピッチ未満の精度で算出し、
    前記画像ずれ補正機能は、前記第１のモザイク画像及び前記第２のモザイク画像のうちの少なくとも一方のモザイク画像の画素であって、前記１画素ピッチ未満の精度で算出された画像ずれに対応する、補正しようとする画素を、当該画素の画素値と近傍の同色の画素の画素値とを補間して得た画素に置換することにより１画素ピッチ未満の精度で算出された画像ずれを補正し、かつ前記画像ずれを補正した前記第１のモザイク画像及び第２のモザイク画像のうちの少なくとも一方のモザイク画像の各画素を、他方のモザイク画像の対応する位置の画素の色と一致するように補正する画像処理プログラム。