JP5889049B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。

撮像素子の高画素化が進み、高い解像度での撮影が可能となってきている。しかしながら、高画素化にともなって単純に画素サイズを小さくした場合、画素当たりの光量は減少するため一般にはＳ／Ｎが悪化するなどの影響があり、一概に良い画質が得られるとは言えない。そこで、画素シフト方式の撮影手法が提案されている（例えば特許文献１、特許文献２）。この手法では、画素サイズをそのままにサンプリング間隔だけを画素サイズよりも小さくできるため、同じ画素サイズの撮像素子を用いて画素シフトを行わずに撮影した場合に比べて、Ｓ／Ｎはそのままに解像度の高い画像を得ることが可能である。

特開平１１−１８０９７号公報 特開２００５−１４３０３１号公報

しかしながら、画素シフト方式の撮影手法では、解像度の高い画像を得られる反面、複数回の撮影を行うため撮影時間が長くなるという課題がある。シフトピッチを小さくするほど解像度は上がるため、高い解像度の画像を画素シフト撮影で得るためには、一般に多くの回数撮影する必要がある。

例えば特許文献１には、２／３画素ピッチで水平走査方向及び垂直走査方向にそれぞれ３回ずつ、計９回のシフト撮影を行い、シフト撮影後のカラーデータを元のカラーデータと同じ配列にする手法が開示されている。また特許文献２には、１画素ピッチで垂直方向に１回及び１／２画素ピッチで斜め方向に４回の、計５回のシフト撮影を行い、ハニカム状配列のカラーデータを取得する手法が開示されている。また、１／２画素ピッチで水平走査方向及び垂直走査方向に４回ずつ、計１６回のシフト撮影を行う手法や、１／３画素ピッチで水平及び垂直方向に６回ずつ、計３６回のシフト撮影を行う手法が、従来から知られている。

しかしながら、特許文献１の手法ではカラーフィルタと同一配列の画像を得るため、特許文献２の手法ではハニカム状配列の画像を得るため、従来から知られる手法では各画素に全色の画素値を取得するため、シフト撮影の回数が多くなっている。被写体が時間とともに変化する場合（例えば被写体の蛍光を観察する場合や、被写体が動体である場合など）には、撮影時間が長くなると撮影中に被写体が変化してしまい、画質劣化を招いてしまう。

本発明の幾つかの態様によれば、少ないシフト回数で高解像度の画像を取得可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。

本発明の一態様は、撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得する画像取得部と、前記複数の画像の各画像よりも画素数が多い高解像画像を、前記複数の画像に基づいて推定する推定演算部と、を含み、前記撮像素子には、第１色の色フィルタを有する画素と第２色の色フィルタを有する画素とが少なくとも配列され、前記推定演算部は、前記複数の画像を構成する前記第１色の画素値と前記第２色の画素値とが高相関であると判定した場合、前記高解像画像の前記第１色の画素値を、前記複数の画像を構成する前記第２色の画素値に基づいて推定する画像処理装置に関係する。

本発明の一態様によれば、第１色の色フィルタを有する画素と第２色の色フィルタを有する画素とが少なくとも配列された撮像素子により画素シフト撮影が行われ、第１色の画素値と第２色の画素値とが高相関であると判定された場合、第２色の画素値に基づいて高解像画像の第１色の画素値が推定される。これにより、少ないシフト回数で高解像度の画像を取得することが可能になる。

また本発明の一態様では、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像は、前記第２色の隣り合う２画素を少なくとも有し、前記推定演算部は、前記第１色の画素値と前記第２色の画素値とが前記高相関であると判定した場合、前記２画素間での前記第１色の画素値の差分を、前記２画素間での前記第２色の画素値の差分により求め、前記求めた差分に基づいて前記推定を行ってもよい。

また本発明の一態様では、前記合成画像は、前記２画素の両隣りに前記第１色の画素を有し、前記推定演算部は、前記複数の画像を構成する前記第１色の画素値と前記第２色の画素値とが低相関であると判定した場合、前記２画素間での前記第１色の画素値の差分を、前記両隣りの画素間での前記第１色の画素値の差分により求めてもよい。

また本発明の一態様では、前記２画素である第１画素及び第２画素の画素値は、それぞれ前記高解像画像での複数の画素の加算値に対応し、前記第１画素に対応する複数の画素と前記第２画素に対応する複数の画素とは、共通の画素を有し、前記推定演算部は、前記第２画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値と、前記第１画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値との差分を、前記求めた２画素間での前記第１色の画素値の差分により求めてもよい。

また本発明の一態様では、前記画像取得部は、前記相対的な位置の基準位置で撮像された第１画像と、前記基準位置から水平走査方向に１／２画素ピッチだけシフトされた位置で撮像された第２画像と、前記基準位置から垂直走査方向に前記１／２画素ピッチだけシフトされた位置で撮像された第３画像と、前記基準位置から前記水平走査方向に前記１／２画素ピッチだけシフトされ前記垂直走査方向に前記１／２画素ピッチだけシフトされた位置で撮像された第４画像とを、前記複数の画像として取得し、前記推定演算部は、前記取得した画像の４倍の画素数の画像を、前記高解像画像として推定してもよい。

また本発明の一態様では、前記撮像素子には、前記第１色の色フィルタを有する画素と前記第２色の色フィルタを有する画素とが、前記水平走査方向に沿って交互に配列され、前記第１〜第４画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像には、前記第１色の２×２画素の画素値と前記第２色の２×２画素の画素値とが、前記水平走査方向に沿って交互に配列され、前記推定演算部は、前記合成画像の各画素での前記第１色及び前記第２色の画素値を、前記高解像画像の画素値として推定してもよい。

また本発明の一態様では、前記推定演算部は、前記高解像画像での前記垂直走査方向に沿って並ぶ２画素の画素値を加算した値である中間画素値を、前記第１〜第４画像の画素値に基づいて求め、前記中間画素値に基づいて前記高解像画像の画素値を推定してもよい。

また本発明の一態様では、前記水平走査方向に沿って並ぶ第１〜第３の中間画素値のうち前記第１、第２の中間画素値の加算値は、前記合成画像を構成する第１色の画素値である第１画素値に対応し、前記第２、第３の中間画素値の加算値は、前記第１画素値の隣の第１色の画素値である第２画素値に対応し、前記推定演算部は、前記第１〜第３の中間画素値が前記水平走査方向に沿って線形変化すると仮定した場合の前記第１〜第３の中間画素値と真値との誤差である第１誤差を求め、求めた前記第１誤差により前記第１〜第３の中間画素値を決定してもよい。

また本発明の一態様では、前記推定演算部は、前記第１色の画素値と前記第２色の画素値とが前記高相関であると判定した場合、前記水平走査方向に沿って並ぶ前記第１〜第３の中間画素値及び第４、第５の中間画素値のうち前記第３、第５の中間画素値の差分である第１差分を、前記第２画素値と第１画素値との差分により求め、求めた前記第１差分を満たすように前記第１誤差を決定してもよい。

また本発明の一態様では、前記推定演算部は、前記水平走査方向に沿って並ぶ前記第１〜第５の中間画素値及び第６〜第１１の中間画素値のうち第５〜第７の中間画素値について第２誤差を求め、第９〜第１１の中間画素値について第３誤差を求め、第７、第９の中間画素値について第２差分を求め、前記第１、第２差分を満たすとともに前記第１〜第３誤差の二乗和が最小となるように前記第１〜第３誤差を決定してもよい。

また本発明の一態様では、前記推定演算部は、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像で、推定対象画素の周辺に位置する前記第１色の画素値と前記第２色の画素値との間の相関値を求め、前記相関値が第１閾値よりも大きく第２閾値よりも小さい場合に前記第１色の画素値と前記第２色の画素値とが前記高相関であると判定してもよい。

また本発明の一態様では、前記撮像素子は、２×２画素で構成されるユニットが繰り返し配列された色フィルタを有してもよい。

また本発明の一態様では、前記色フィルタは、ＲＧＢベイヤ配列の色フィルタであってもよい。

また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、を含む撮像装置に関係する。

また本発明の更に他の態様は、第１配列の色フィルタを有する撮像素子と、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトする制御を行うシフト制御部と、前記シフトしながら撮像された複数の画像の各画像よりも画素数が大きい高解像画像を、前記複数の画像に基づいて推定する推定演算部と、を含み、前記シフト制御部は、前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した場合に、前記第１配列とは異なる第２配列となるように前記シフト制御を行い、前記推定演算部は、前記第２配列の画素値に基づいて、前記高解像画像の各色の画素値を推定する撮像装置に関係する。

また本発明の更に他の態様では、前記第１配列は、ＲＧＢベイヤ配列であり、前記第２配列は、２×２画素のＲ画素値と、２組の２×２画素のＧ画素値と、２×２画素のＢ画素値とで構成される４×４画素のユニットが繰り返された配列であってもよい。

また本発明の更に他の態様は、撮像素子に、第１色の色フィルタを有する画素と第２色の色フィルタを有する画素とが少なくとも配列される場合に、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得し、前記複数の画像を構成する前記第１色の画素値と前記第２色の画素値とが高相関であると判定した場合、高解像画像の前記第１色の画素値を、前記複数の画像を構成する前記第２色の画素値に基づいて推定し、前記複数の画像の各画像よりも画素数が多い前記高解像画像を推定する画像処理方法に関係する。

本実施形態における撮像装置の構成例。 画素シフト手法についての説明図。 推定処理のフローチャート。 画像合成処理についての説明図。 図５（Ａ）、図５（Ｂ）は、色相関度の算出処理についての説明図。 図６（Ａ）、図６（Ｂ）は、画素値と推定画素値についての説明図。 画素推定処理についての説明図。 画素推定処理についての説明図。 色相関度が低い場合の画素推定処理についての説明図。 色Ｘ＝Ｇの場合の画素推定処理についての説明図。 色Ｘ＝Ｒの場合の画素推定処理についての説明図。 色Ｘ＝Ｒの場合の画素推定処理についての説明図。 色Ｘ＝Ｒの場合の画素推定処理についての説明図。 図１４（Ａ）〜図１４（Ｃ）は、撮像画像の例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．撮像装置
図１に、本実施形態の撮像装置の構成例を示す。図１の撮像装置１００は、撮像系１１０、制御部１２０、バス１２１、画素シフト駆動部１２２（画素シフト機構）、Ａ／Ｄ変換部１２３、メモリコントローラ１２４、メモリ１２５、外部インターフェース１２６、信号処理部１３０を含む。

撮像装置１００は、光学的な画像情報を電気信号に変換し、その電気信号に変換された画像情報を電子的に記録媒体に記録する装置である。撮像装置１００として、例えばデジタルスチルカメラや、デジタルムービーカメラなどが想定される。

撮像系１１０は、撮像光学系１１１と撮像素子１１２とを含む。撮像素子１１２は、撮像光学系１１１によって結像された光を撮像する。撮像素子１１２は、いわゆるベイヤ配列のカラーフィルタを有する。ベイヤ配列とは、２×２画素を１ユニットとする配列である。１ユニットは、Ｒ（赤）色の光を透過するカラーフィルタを有する１画素と、Ｇ（緑）色の光を透過するカラーフィルタを有する２画素と、Ｂ（青）色の光を透過するカラーフィルタを有する１画素とで構成される。なお、撮像素子１１２のカラーフィルタは上記に限定されず、ＲＧＢ以外の色が配列されたカラーフィルタであってもよいし、ベイヤ配列以外の配列のカラーフィルタであってもよい。例えば、ＣＭＹ（補色）の画素が配列されたカラーフィルタであってもよい。

画素シフト駆動部１２２は、制御部１２０からの制御信号に基づいて、撮像系１１０を画素シフトさせる駆動を行う。画素シフト駆動部１２２は、例えば撮像素子１１２を動かすことで画素シフトを実現する。又は撮像素子１１２を固定し、画素シフト駆動部１２２が撮像光学系１１１を動かすことで光束を動かし、画素シフトを実現してもよい。画素シフト手法については後で詳細に説明する。

Ａ／Ｄ変換部１２３は、撮像素子１１２からのアナログ信号をデジタルデータに変換し、メモリコントローラ１２４は、そのデジタルデータをメモリ１２５に保存する。例えば、画素シフトを行いながら、Ａ／Ｄ変換と保存が逐次に行われる。メモリコントローラ１２４は、メモリ１２５に保存されたデジタルデータの画像を、バス１２１を介して信号処理部１３０に送信する。

信号処理部１３０は、前段処理部１３１、推定演算部１３２、後段処理部１３３を含む。前段処理部１３１は、例えば画像からブラックオフセットを除く処理や、画像のホワイトバランスをとる処理などの前段処理を行う。推定演算部１３２は、前段処理後の画像に基づいて高解像の画像を推定により求める。この推定処理は、画素シフトの効果を考慮して行う。推定処理については後で詳細に説明する。後段処理部１３３は、例えば推定処理後の画像に対する色補正処理やガンマ補正処理などの後段処理を行う。後段処理部１３３は、後段処理後の画像を、バス１２１を介して制御部１２０に送信する。

制御部１２０は、撮像装置１００の各部の制御を行う。また制御部１２０は、後段処理部１３３からの画像を、外部インターフェース１２６を介して外部のＰＣ１４０に送信する。ＰＣ１４０は、受信した画像のモニタ表示や、記録媒体への記録などを行う。なお、本実施形態では、撮像装置１００が、画像を表示するモニタ表示部や、画像を記録媒体へ記録する記録制御部を含み、撮像装置１００がモニタ表示や記録媒体への記録を行ってもよい。

ここで、図１では撮像装置１００が推定処理を行う場合を例に説明したが、本実施形態では、撮像装置１００と別体の情報処理装置（例えばＰＣ１４０）が推定処理を行ってもよい。この場合、前段処理後の画像を外部インターフェース１２６を介して情報処理装置に転送し、その画像に対して推定処理を行い、高解像画像を生成すればよい。

２．画素シフト手法
図２を用いて、本実施形態における画素シフトの手法について説明する。図２に示すように、撮像素子の画素ピッチをｐとし、撮像における水平走査方向をｘ’とし、撮像における垂直走査方向をｙ’とする。ハッチングを施した四角は撮像素子１１２のＲＧＢ画素を表し、画素配列はベイヤ配列である。点線の四角は、第１位置ＰＳ１を表している。

画素シフトは、撮像光学系１１１により結像された被写体像と、撮像素子１１２の受光面との相対的な位置関係を、シフトする動作である。その相対的な位置の基準となる位置を第１位置ＰＳ１とすると、第２位置ＰＳ２は、第１位置ＰＳ１からｘ’方向に１／２画素ピッチだけシフトされた位置である。第３位置ＰＳ３は、第１位置ＰＳ１からｙ’方向に１／２画素ピッチだけシフトされた位置であり、第４位置ＰＳ４は、第１位置ＰＳ１からｘ’方向に１／２画素ピッチ及びｙ’方向に１／２画素ピッチだけシフトされた位置である。本実施形態では、これらの位置ＰＳ１〜ＰＳ４に順次シフトし、各位置において撮像を行うことにより、画素シフト撮影を行う。

このように本実施形態では、シフト間隔は１／２画素であり、そのシフト間隔で水平走査方向及び垂直走査方向にそれぞれ２回ずつシフトし、計４回の撮影を行う。なお、位置ＰＳ１〜ＰＳ４のシフト順番は任意であり、必ずしもＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４の順である必要はない。

３．推定処理
図３に、推定演算部１３２が行う推定処理のフローチャートを示す。図３の推定処理が開始されると、ステップＳ１に示すように、位置ＰＳ１〜ＰＳ４で撮像された４枚の撮影画像データを１枚の画像データに合成する。合成した１枚の画像データはメモリに展開され、その画像データをステップＳ２以降の画像処理において参照する。ステップＳ１の処理については図４で詳細に後述する。なお、本実施形態ではステップＳ１の画像合成を必ずしも行う必要はなく、例えばメモリ上に４枚の画像データを別個に展開し、その４枚の画像データの中から処理に必要な画素データを、ステップＳ２以降の画像処理において参照してもよい。

次にステップＳ２に示すように、処理対象の画素（又はその画素を含む領域）毎に色相関度Ｃを算出する。色相関度Ｃは、後段の推定処理において、異なる２色（後述する色Ｘと色Ｙ）の間で空間的な画素値の変化が等しいか否かを判定するために用いるための指標であり、本実施形態では、処理領域における２色の分散値の比を色相関度Ｃとして用いる。ステップＳ２の処理については図５（Ａ）等で詳細に後述する。なお、色相関度Ｃは、２色の分散値の比に限定されず、異なる２色の間での空間的な画素値変化の相関度合いを評価できる指標であればよい。例えば、マッチドフィルタによる相関値を指標としてもよい。この場合、領域毎にＦＦＴを施し、周波数領域において２色の間の相関値を求め、その相関値を色相関度Ｃとして用いる。

次にステップＳ３に示すように、色相関度Ｃが所定条件を満たすか否かを判定する。具体的には、色相関度Ｃが１に近い値であれば２色の間の相関が高く、Ｃ＜＜１又は１＜＜Ｃであれば相関が低いと考えられる。本実施形態では、閾値Ｃ_０（＜１）、Ｃ_１（＞１）を設定し、Ｃ_０＜Ｃ＜Ｃ_１を満たす場合に２色が高相関であると判定する。

なお、本実施形態では、２色が高相関であるか否かの判定は推定演算部１３２で行うが、本実施形態はこれに限定されず、別途判定部を設けて２色が高相関であるか否かを判定してもよい。

ステップＳ３において２色が高相関であると判定した場合には、ステップＳ４に示すように、色相関に基づいて高解像画像の画素値を推定する。例えば２色がＧ、Ｒであり、高解像画像のＧの画素値を推定する場合、シフト撮影したＧ及びＲの画素値を用いて推定を行う。

ステップＳ３において２色が高相関でないと判定した場合には、ステップＳ５に示すように、各色独立に高解像画像の画素値を推定する。例えば２色がＧ、Ｒであり、高解像画像のＧの画素値を推定する場合、シフト撮影したＧの画素値のみを用いて推定を行う。ステップＳ４、Ｓ５の処理については図６（Ａ）等で詳細に後述する。

次にステップＳ６に示すように、高解像画像の全画素について画素値を推定したか否かを判定する。全画素の推定処理が終了していない場合には次の画素についてステップＳ２〜Ｓ５を行う。全画素の推定処理が終了した場合には、この処理を終了する。

４．画像合成処理
図４を用いて、ステップＳ１の画像合成処理について詳細に説明する。図４に示すように、それぞれ位置ＰＳ１〜ＰＳ４で撮像された画像ＩＭ１〜ＩＭ４を合成し、２×２倍の画素数の合成画像ＧＭを生成する。

画像ＩＭ１〜ＩＭ４の画素は、図２のシフト位置に対応する画素位置に配置される。即ち、（ｘ，ｙ）を合成画像ＧＭにおける画素位置とし、ｎを０以上の整数とすると、画像ＩＭ１の画素は、基準位置ＰＳ１に対応する（ｘ，ｙ）＝（２ｎ，２ｎ）に配置される。画像ＩＭ２の画素は、水平走査方向ｘ’へ１／２画素シフトされた位置ＰＳ２に対応する（ｘ，ｙ）＝（２ｎ＋１，２ｎ）に配置される。画像ＩＭ３の画素は、垂直走査方向ｙ’へ１／２画素シフトされた位置ＰＳ３に対応する（ｘ，ｙ）＝（２ｎ，２ｎ＋１）に配置される。画像ＩＭ４の画素は、水平走査方向ｘ’及び垂直走査方向ｙ’へそれぞれ１／２画素ピッチシフトされた位置ＰＳ４に対応する（ｘ，ｙ）＝（２ｎ＋１，２ｎ＋１）に配置される。

なお、合成画像ＧＭの画素配置はシフト手法に応じて決まるものであり、撮影画素の重心位置が順に配列されるように画素データを並び替えることに相当する。本実施形態では、上記と異なるシフト手法（例えば１／３画素ピッチの３×３シフト）を採用することも可能であり、そのシフト手法に応じた配置の合成画像が生成される。

５．色相関度の算出処理
図５（Ａ）、図５（Ｂ）を用いて、ステップＳ２の色相関度の算出処理について詳細に説明する。

下式（１）〜（３）に示すように、色Ｘと色Ｙの分散値の比Ｃを色相関度として求める。色Ｘと色Ｙは、推定処理の対象となる画素位置に応じて、（Ｘ，Ｙ）＝（Ｒ，Ｇ）、（Ｇ，Ｒ）、（Ｂ，Ｇ）、（Ｇ，Ｂ）のいずれかに設定される。なお以下では、（Ｘ，Ｙ）＝（Ｇ，Ｒ）の場合を例に説明する。

上式（１）〜（３）のａ^Ｘ _{ｘ＋ｉ，ｙ＋ｊ}は、合成画像ＧＭにおける位置（ｘ＋ｉ，ｙ＋ｊ）の色Ｘの画素値であり、図５（Ａ）の太実線で囲んだ画素に対応している。またａ^Ｙ _{ｘ＋ｉ，ｙ＋ｊ}は、合成画像ＧＭにおける位置（ｘ＋ｉ，ｙ＋ｊ）の色Ｙの画素値であり、図５（Ｂ）の太実線で囲んだ画素に対応している。点線で囲んだｉ＝−４〜５、ｊ＝０の画素（又はｉ＝−４〜５、ｊ＝１の画素）は、推定処理の対象となる画素である。合成画像ＧＭと推定画像の画素位置は対応しており、点線で囲んだ画素を用いて、推定画像上で対応する位置の画素（図７のｂ^Ｇ _{ｘ−５，ｙ}〜ｂ^Ｇ _{ｘ＋５，ｙ}）を推定する。

６．推定処理
図６（Ａ）〜図１４（Ｃ）を用いて、ステップＳ４、Ｓ５の推定処理について詳細に説明する。なお以下では、水平走査方向に高解像化した後に垂直走査方向に高解像化する場合を例に説明するが、本実施形態はこれに限定されず、垂直走査方向に高解像化した後に水平走査方向に高解像化してもよい。

図６（Ａ）に示すように、１／２画素ピッチで画素シフトした画像は、互いに１／２画素ずつ位置を重複してサンプリングしているため、光学的な画像情報も重複していることになる。画素値ａ_ｘ，ｙ、ａ_{ｘ＋１，ｙ}は、水平走査方向に１／２画素ピッチだけシフトされた画素値（例えば図４の画像ＩＭ１、ＩＭ２の画素値）であり、画素値ａ_ｘ，ｙ、ａ_{ｘ＋１，ｙ}は画素値ｂ_ｘ，ｙを共有している。これらの画素値は下式（４）の関係で結ばれている。

図６（Ｂ）に示すように、垂直走査方向においても画素が重複しており、画素値ｂ_ｘ，ｙ、ｂ_{ｘ，ｙ＋１}は画素値ｃ_ｘ，ｙを共有している。これらの画素値は下式（５）の関係で結ばれている。下式（５）を上式（４）に代入すれば、画素値ａ_ｘ，ｙは４つの画素値ｃ_ｘ，ｙを加算した値であることがわかる。即ち、画素値ｃ_ｘ，ｙで構成される推定画像は、１枚の撮像画像の４倍の画素数を有することになる。

本実施形態では、まずシフト撮影で得られた画素値ａ_ｘ，ｙから画素値ｂ_ｘ，ｙを推定し、次に画素値ｂ_ｘ，ｙから画素値ｃ_ｘ，ｙを推定する。以下では、画素値ｂ_ｘ，ｙ、ｃ_ｘ，ｙを推定画素値と呼ぶ。又は適宜、画素値ｂ_ｘ，ｙを中間画素値と呼び、画素値ｃ_ｘ，ｙを最終的な推定画素値と呼ぶ。

下式（６）に示すように、推定画素値ｂ_{ｘ−１，ｙ}、ｂ_ｘ，ｙ、ｂ_{ｘ＋１，ｙ}がリニアに変化すると仮定する。

上式（４）、（６）から、推定画素値は下式（７）のように表される。

しかしながら、現実には画素値がリニアに変化することは稀であり、多くの場合、現実の画素値にはリニアな変化からのずれが生じている。現実の推定画素値とリニアな推定画素値との差分をδ_ｘ，ｙとすると、推定画素値は下式（８）のように表される。差分δ_ｘ，ｙは正負いずれの値もとり得る。差分δ_ｘ，ｙの前に付く符号は、推定画素値を加算したときに上式（４）を満たすように決められている。

図７に示すように色Ｘ＝Ｇ、色Ｙ＝Ｒの場合を例にとると、本実施形態では、水平走査方向に並ぶ色Ｇ、Ｒの画素値ａ^Ｇ _{ｘ−４，ｙ}〜ａ^Ｇ _{ｘ＋５，ｙ}を用いて色Ｇの推定画素値ｂ^Ｇ _{ｘ−５，ｙ}〜ｂ^Ｇ _{ｘ＋５，ｙ}を求める。画素値ａ^Ｇ _{ｘ−４，ｙ}〜ａ^Ｇ _{ｘ＋５，ｙ}は、図５（Ａ）に示す合成画像ＧＭの点線で囲んだ画素の画素値である。推定画素値ｂ^Ｇ _{ｘ−５，ｙ}〜ｂ^Ｇ _{ｘ＋５，ｙ}のうち、色Ｇの画素と重複する推定画素値は、上式（８）と同様にして下式（９）と表される。

図８に示すように、上式（９）の差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}は、黒丸で示すリニアな推定画素値と、白丸で示す実際の推定画素値との差分である。なお図８では簡単のため上付きサフィックスを省略している。この３つの差分を求めるため、推定画素値の間の差分を下式（１０）により求める。下式（１０）は、画素の重複関係から成り立つものであり、上式（４）から求められる。

図７に示すように色Ｘ＝Ｇ、色Ｙ＝Ｒの場合を例にとると、上式（１０）右辺の色Ｇの画素値ａ^Ｇ _{ｘ−２，ｙ}、ａ^Ｇ _{ｘ−１，ｙ}、ａ^Ｇ _{ｘ＋２，ｙ}、ａ^Ｇ _{ｘ＋１，ｙ}は存在せず、その位置には色Ｒの画素値しか存在していない。そのため本実施形態では、色Ｇの推定画素値の間の差分を、色Ｒの画素値、又は周辺の色Ｇの画素値を用いて求める。

具体的には、図３のステップＳ３でＣ_０＜Ｃ＜Ｃ_１を満たすと判定した場合には、色Ｘと色Ｙの相関が高いので、“色Ｘと色Ｙの画素値の空間微分は同じである”ことを仮定できる。この仮定のもとでは、色Ｘの画素値の差分と色Ｙの画素値の差分が等しいと仮定できるので、下式（１１）が成り立つ。このように、色相関度が高い場合には、色Ｘの推定画素値の差分を、色Ｙの画素値から求めることができる。

上式（９）及び（１１）を満たす範囲で、差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}は如何なる値もとり得るが、特に自然画像の場合、隣接画素値は近い値となることが殆どであるため、差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}は０に近い値をとるはずである。そこで、下式（１２）に示す二乗和Ｓ_δの値を最小化するように差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}を決定する。具体的には、上式（１１）に上式（９）を代入してｂ_{ｘ−３，ｙ}、ｂ_{ｘ−１，ｙ}、ｂ_{ｘ＋１，ｙ}、ｂ_{ｘ＋３，ｙ}を消去し、差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}と画素値ａ^Ｘ、ａ^Ｙとの関係式を求める。この関係式を用いて下式（１２）から２つの差分を消去し、残った１つの差分をＳ_δが最小となるように求め、求めた差分を関係式に代入して残りの２つの差分を求める。求めた３つの差分を上式（９）に代入し、推定画素値を決定する。

一方、ステップＳ３でＣ_０＜Ｃ＜Ｃ_１を満たさないと判定した場合には、色Ｘと色Ｙの相関が低いので、“色Ｘと色Ｙの画素値の空間微分は同じである”という仮定は成り立たない。色相関が低い領域で色Ｙの画素値を用いると誤推定につながるため、下式（１３）に示すように、色Ｘの画素値を用いて色Ｘの推定画素値の間の差分を求める。

図９に示すように色Ｘ＝Ｇ、色Ｙ＝Ｒの場合を例にとると、画素ａ^Ｇ _{ｘ−３，ｙ}、ａ^Ｇ _ｘ，ｙの重心位置ＪＧ１、ＪＧ２の距離は、画素ａ^Ｒ _{ｘ−２，ｙ}、ａ^Ｒ _{ｘ−１，ｙ}の重心位置ＪＲ１、ＪＲ２の距離の３倍である。仮に画素値ａ^Ｇ _{ｘ−２，ｙ}、ａ^Ｇ _{ｘ−１，ｙ}が存在し、画素値ａ^Ｇ _{ｘ−３，ｙ}、ａ^Ｇ _{ｘ−２，ｙ}、ａ^Ｇ _{ｘ−１，ｙ}ａ^Ｇ _ｘ，ｙがリニアに変化すると仮定すると、上記の重心間距離から、ａ^Ｇ _{ｘ−１，ｙ}−ａ^Ｇ _{ｘ−２，ｙ}＝１／３（ａ^Ｇ _ｘ，ｙ−ａ^Ｇ _{ｘ−３，ｙ}）が成り立つ。そのため、上式（１０）を上式（１３）で求めることができる。

差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}は、上式（９）、（１２）、（１３）から二乗和Ｓ_δの値を最小化するように決定し、その差分δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}を上式（９）に代入して推定画素値を決定する。

以上の推定処理を、画素位置（ｘ，ｙ）をずらしながら順次行い、求め得る全ての画素位置（ｘ，ｙ）について推定画素値ｂ^Ｘ _ｘ，ｙを求める。上記では色（Ｘ，Ｙ）＝（Ｇ，Ｒ）を例にとったが、色（Ｘ，Ｙ）＝（Ｒ，Ｇ）、（Ｂ，Ｇ）、（Ｇ，Ｂ）についても同様の推定処理を行い、各色について推定画素値ｂ^Ｘ _ｘ，ｙを求める。

色Ｇについては、図１０の実線で示す推定画素値ｂ^Ｇ _{ｘ＋ｉ，ｙ＋ｊ}が求められる。点線で示す推定画素値ｂ^Ｇ _{ｘ＋ｉ，ｙ＋ｊ}は、上記の推定処理では求められないので、水平走査方向の補間処理により求める。例えばｂ^Ｇ _{ｘ−２，ｙ}を、水平走査方向に隣接するｂ^Ｇ _{ｘ−３，ｙ}、ｂ^Ｇ _{ｘ−１，ｙ}を用いて補間する。

色Ｒについては、図１１の実線で示す推定画素値ｂ^Ｒ _{ｘ＋ｉ，ｙ＋ｊ}が求められる。点線で示す推定画素値ｂ^Ｒ _{ｘ＋ｉ，ｙ＋ｊ}は、上記の推定処理では求められないので、水平走査方向の補間処理により求める。補間処理により図１２の太実線で示す推定画素値ｂ^Ｒ _{ｘ＋ｉ，ｙ＋ｊ}が求められる。

色Ｂについては、図１１の実線で示す画素位置を、水平走査方向に−２、垂直走査方向に＋２ずらした画素位置の推定画素値ｂ^Ｂ _{ｘ＋ｉ，ｙ＋ｊ}が求められる。これは、図４の合成画像ＧＭにおいてＲ画素を水平走査方向に−２、垂直走査方向に＋２ずらした位置にＢ画素が存在するためである。推定処理で求められない推定画素値は、水平走査方向の補間処理により求める。

次に、推定画素値ｂ^Ｘ _ｘ，ｙから最終的な推定画素値ｃ^Ｘ _ｘ，ｙを求める。垂直走査方向で見ると隣り合う推定画素値ｂ^Ｘ _ｘ，ｙは重複しているので、図７〜図９で上述した手法と同様にしてｂ^Ｘ _ｘ，ｙからｃ^Ｘ _ｘ，ｙを求めることができる。即ち、上式（４）から上式（５）への置き換えを、上式（６）〜上式（１３）に対して適用し、その置き換えた式を用いて推定処理を行えばよい。

色Ｇでは、補間処理により全ての画素位置でｂ^Ｇ _ｘ，ｙが求まるので、色相関の判定は不要であり、上式（１０）をｂ^Ｘ _ｘ，ｙ、ｃ^Ｘ _ｘ，ｙの関係に書き換えた式をそのまま適用すればよい。色Ｇでは、全ての画素位置でｃ^Ｘ _ｘ，ｙが推定される。

色Ｒでは、図１２に示すように２画素おきにｂ^Ｒ _ｘ，ｙが存在するので、色相関の判定結果に応じた推定処理を行う。色Ｒでは、図１３の実線で示す推定画素値ｃ^Ｒ _{ｘ＋ｉ，ｙ＋ｊ}が求められる。点線で示す推定画素値ｃ^Ｒ _{ｘ＋ｉ，ｙ＋ｊ}は、上記の推定処理では求められないので、垂直走査方向の補間処理により求める。例えばｃ^Ｒ _{ｘ，ｙ−２}を、垂直走査方向に隣接するｃ^Ｒ _{ｘ，ｙ−３}、ｃ^Ｒ _{ｘ，ｙ−１}を用いて補間する。色Ｂの推定画素値ｃ^Ｂ _ｘ，ｙについても、色Ｒと同様にして推定処理、補間処理を行う。

以上のようにして求めた推定画素値ｃ^Ｘ _ｘ，ｙは、撮像画像の画素ａ^Ｘ _ｘ，ｙよりも１／２×１／２倍の大きさの画素に対応している。即ち上記の推定処理により、あたかも、使用している撮像素子の画素ピッチに比べて１／２×１／２倍の画素ピッチの撮像素子で撮像したかのような画素データを得ることができる。

図１４（Ａ）は、画素シフトを行わずに撮像した画像であり、図１４（Ｂ）は、２／３画素ピッチで３×３回の画素シフトを行う従来手法により撮像した画像であり、図１４（Ｃ）は、１／２画素ピッチで２×２回の画素シフトを行う本実施形態の手法により撮像した画像である。本実施形態の手法により撮像した画像は、画素シフトを行わずに撮像した画像よりも高解像であり、また、従来手法により撮像した画像よりも少ないシフト回数で画質が劣らないことが分かる。

なお上記では、図７に示すように１１個の推定画素値ｂ^Ｘ _ｘ，ｙを処理単位として推定処理を行う場合を例に説明したが、本実施形態はこれに限定されず、より多くの推定画素値ｂ^Ｘ _ｘ，ｙを処理単位として推定処理を行ってもよいし、より少ない推定画素値ｂ^Ｘ _ｘ，ｙを処理単位として推定処理を行ってもよい。また、ノイズなど別要素を考慮した推定処理を行ってもよい。

以上の実施形態によれば、図１に示すように、画像処理装置は画像取得部と推定演算部１３２とを含む。図２や図４で説明したように、画像取得部は、撮像素子１１２の受光面と、受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像ＩＭ１〜ＩＭ４を取得する。推定演算部１３２は、複数の画像ＩＭ１〜ＩＭ４の各画像よりも画素数が大きい（例えば２×２倍の）高解像画像を、複数の画像ＩＭ１〜ＩＭ４に基づいて推定する。図２に示すように、撮像素子１１２には、第１色Ｘ（例えばＧ）の色フィルタを有する画素と第２色Ｙ（例えばＲ）の色フィルタを有する画素とが少なくとも配列される。図３等で説明したように、推定演算部１３２は、複数の画像ＩＭ１〜ＩＭ４を構成する第１色Ｘの画素値ａ^Ｘ _ｘ，ｙと第２色Ｙの画素値ａ^Ｙ _ｘ，ｙとが高相関であると判定した場合、高解像画像の第１色Ｘの画素値ｃ^Ｘ _ｘ，ｙを、複数の画像ＩＭ１〜ＩＭ４を構成する第２色Ｙの画素値ａ^Ｙ _ｘ，ｙに基づいて推定する。

例えば本実施形態では、画像処理装置は、図１の信号処理部１３０を実現する回路装置に対応する。画像取得部は、メモリコントローラ１２４及びバス１２１を介してメモリ１２５から画像データを取得する前段処理部１３１に対応する。あるいは、撮像装置１００外部の情報処理装置（例えばＰＣ１４０）で推定処理を行う場合、画像処理装置はその情報処理装置に対応し、画像取得部は、外部インターフェース１２６から画像データを受信する不図示のインターフェース部に対応する。また本実施形態では、図７等で説明したように、ａ^Ｙ _ｘ，ｙからｂ^Ｘ _ｘ，ｙを推定し、そのｂ^Ｘ _ｘ，ｙを用いてｃ^Ｘ _ｘ，ｙを推定することで、第２色Ｙの画素値ａ^Ｙ _ｘ，ｙに基づいて第１色Ｘの画素値ｃ^Ｘ _ｘ，ｙが推定される。

このようにすれば、従来手法（例えば特許文献１、２）に比べて少ないシフト回数であっても解像度を低下させることなく画素シフト撮影を行うことができる。即ち、図４の合成画像ＧＭのように同色画素の間隔が２画素以上になると、通常の補間では高周波成分が失われ、解像度を得ることが難しい。この点、本実施形態では色Ｘと色Ｙが高相関の場合に色Ｙを使って色Ｘを推定できるので、同色画素の間隔が２画素以上であっても解像度が低下しにくい。これにより、図２のような２×２回の少ないシフト回数を実現できる。また、推定で求められない画素を補間する場合、図１０や図１３で説明したように、同色画素の間隔が１画素の状態で補間を行うため、補間による解像度の低下を最小限にできる。このようにして、シフト回数を少なくして撮影時間を短縮できるため、経時的に被写体が変化する例えば動体や蛍光観察などにおいても、高画質な画像を得ることが可能になる。

また本実施形態では、図４等で説明したように、複数の画像ＩＭ１〜ＩＭ４を構成する画素値を、シフトに対応する画素位置に配置した画像である合成画像ＧＭは、第２色Ｙの隣り合う２画素（例えば図５（Ａ）のａ^Ｒ _{ｘ−２，ｙ}、ａ^Ｒ _{ｘ−１，ｙ}）を少なくとも有する。推定演算部１３２は、色Ｘと色Ｙが高相関であると判定した場合、２画素間での第１色Ｘの画素値の差分（上式（１０）右辺）を、２画素間での第２色Ｙの画素値の差分（上式（１１）右辺）により求め、求めた差分に基づいて推定を行う。

また本実施形態では、合成画像ＧＭは、２画素の両隣りに第１色Ｘの画素（例えば図５のａ^Ｇ _{ｘ−３，ｙ}、ａ^Ｇ _ｘ，ｙ）を有する。推定演算部１３２は、複数の画像ＩＭ１〜ＩＭ４を構成する第１色Ｘの画素値ａ^Ｘ _ｘ，ｙと第２色Ｙの画素値ａ^Ｙ _ｘ，ｙとが低相関であると判定した場合、２画素間での第１色Ｘの画素値の差分（上式（１０）右辺）を、両隣りの画素間での第１色Ｘの画素値の差分（上式（１３）右辺）により求める。

なお本実施形態では、第２色Ｙの隣り合う２画素を少なくとも有する合成画像ＧＭを推定演算部１３２が生成してもよいし、あるいは、仮に合成画像ＧＭのように画素を配置したとすれば第２色Ｙの隣り合う２画素を少なくとも有するような複数の画像ＩＭ１〜ＩＭ４を推定演算部１３２が参照してもよい。即ち、合成画像ＧＭは必ずしも生成する必要はない。

このようにすれば、図５に示すように、合成画像ＧＭにおいて処理対象画素（点線）の周辺（太実線）で色Ｘと色Ｙが高相関である場合、その相関性により色Ｙの画素値を用いて色Ｘの画素値を推定することができる。また図９等で説明したように、処理対象画素の周辺で色Ｘと色Ｙが低相関である場合、色Ｘの画素値を用いて色Ｘの画素値を推定することで、画素値の誤推定を防ぐことができる。

また本実施形態では、図６で説明したように、２画素である第１画素及び第２画素の画素値ａ_ｘ，ｙ、ａ_{ｘ＋１，ｙ}は、それぞれ高解像画像での複数の画素（２×２のｃ_ｘ，ｙ）の加算値に対応する。第１画素に対応する複数の画素と第２画素に対応する複数の画素とは、共通の画素（ｂ_ｘ，ｙを構成するｃ_{ｘ，ｙ−１}、ｃ_ｘ，ｙ）を有する。推定演算部１３２は、第２画素（例えば図７のａ^Ｒ _{ｘ−１，ｙ}）に対応する複数の画素から共通の画素（ｂ^Ｇ _{ｘ−２，ｙ}）を除いた画素の画素値を加算した値（ｂ^Ｇ _{ｘ−１，ｙ}）と、第１画素（ａ^Ｒ _{ｘ−２，ｙ}）に対応する複数の画素から共通の画素（ｂ^Ｇ _{ｘ−２，ｙ}）を除いた画素の画素値を加算した値（ｂ^Ｇ _{ｘ−３，ｙ}）との差分（上式（１０）左辺）を、上記で求めた２画素間での第１色の画素値の差分（上式（１１）右辺、又は上式（１３）右辺）により求める。

このようにすれば、光学的な画像情報が１／２画素ピッチずつ重複して撮像されることを利用して、高解像画像を推定することが可能になる。即ち、画像情報の重複により、上式（１０）のように推定画素値ｂ^Ｘ _ｘ，ｙの差分を画素値ａ^Ｘ _ｘ，ｙの差分で表すことができる。そして、その画素値ａ^Ｘ _ｘ，ｙの差分を色相関度に応じて上式（１１）又は（１３）により求めることにより、推定処理を行うことが可能になる。

また本実施形態では、図７や図１０で説明したように、推定演算部１３２は、高解像画像での垂直走査方向に沿って並ぶ２画素の画素値を加算した値である中間画素値（ｂ^Ｘ _ｘ，ｙ、推定画素値）を、前記第１〜第４画像ＩＭ１〜ＩＭ４の画素値（ａ^Ｘ _ｘ，ｙ、ａ^Ｙ _ｘ，ｙ）に基づいて求め、その中間画素値（ｂ^Ｘ _ｘ，ｙ）に基づいて高解像画像の画素値（ｃ^Ｘ _ｘ，ｙ）を推定する。

このようにすれば、水平走査方向における画素の重複を用いて水平走査方向に高解像化して中間画素値（ｂ^Ｘ _ｘ，ｙ）を求め、垂直走査方向における画素の重複を用いて垂直走査方向に高解像化して高解像画像の画素値（ｃ^Ｘ _ｘ，ｙ）を求めることができる。

また本実施形態では、図７に示すように、水平走査方向に沿って第１〜第１１の中間画素値ｂ^Ｇ _{ｘ−５，ｙ}〜ｂ^Ｇ _{ｘ＋５，ｙ}が並ぶ。第１、第２の中間画素値ｂ^Ｇ _{ｘ−５，ｙ}、ｂ^Ｇ _{ｘ−４，ｙ}の加算値は、合成画像ＧＭを構成する第１色Ｘの画素値である第１画素値ａ^Ｇ _{ｘ−４，ｙ}に対応する。第２、第３の中間画素値ｂ^Ｇ _{ｘ−４，ｙ}、ｂ^Ｇ _{ｘ−３，ｙ}の加算値は、第１画素値ａ^Ｇ _{ｘ−４，ｙ}の隣の第１色Ｘの画素値である第２画素値ａ^Ｇ _{ｘ−３，ｙ}に対応する。推定演算部１３２は、第１〜第３の中間画素値が水平走査方向に沿って線形変化すると仮定（上式（６））した場合の第１〜第３の中間画素値と、真値との誤差である第１誤差δ^Ｘ _{ｘ−４，ｙ}（図８、上式（８））を求める。推定演算部１３２は、求めた第１誤差δ^Ｘ _{ｘ−４，ｙ}により第１〜第３の中間画素値ｂ^Ｇ _{ｘ−５，ｙ}〜ｂ^Ｇ _{ｘ−３，ｙ}を決定する。

具体的には、推定演算部１３２は、色Ｘと色Ｙが高相関であると判定した場合、第３、第５の中間画素値ｂ^Ｇ _{ｘ−３，ｙ}、ｂ^Ｇ _{ｘ−１，ｙ}の差分である第１差分（上式（１１）の第１式左辺）を、第２画素値（ａ^Ｒ _{ｘ−１，ｙ}）と第１画素値（ａ^Ｒ _{ｘ−２，ｙ}）との差分（式（１１）の第１式右辺）により求め、求めた第１差分を満たすように第１誤差δ^Ｘ _{ｘ−４，ｙ}を決定する。

より具体的には、推定演算部１３２は、第５〜第７の中間画素値ｂ^Ｇ _{ｘ−１，ｙ}〜ｂ^Ｇ _{ｘ＋１，ｙ}について第２誤差δ^Ｘ _ｘ，ｙ（図８、式（８））を求め、第９〜第１１の中間画素値ｂ^Ｇ _{ｘ＋３，ｙ}〜ｂ^Ｇ _{ｘ＋５，ｙ}について第３誤差δ^Ｘ _{ｘ＋４，ｙ}（図８、式（８））を求め、第７、第９の中間画素値（ｂ^Ｇ _{ｘ＋１，ｙ}，ｂ^Ｇ _{ｘ＋３，ｙ}）について第２差分（式（１１）の第２式左辺）を求め、第１、第２差分を満たすとともに第１〜第３誤差の二乗和Ｓ_δ（式（１１））が最小となるように第１〜第３誤差δ^Ｘ _{ｘ−４，ｙ}、δ^Ｘ _ｘ，ｙ、δ^Ｘ _{ｘ＋４，ｙ}を決定する。

このようにすれば、１／２画素ピッチで画素シフト撮影された画像から、中間画素値ｂ^Ｘ _ｘ，ｙ（推定画素値）を求めることが可能になる。即ち、水平走査方向に沿って２画素おきに色Ｘの画素が並ぶ合成画像ＧＭから、各画素位置における中間画素値ｂ^Ｘ _ｘ，ｙを推定することができる。また、１１個の中間画素値ｂ^Ｘ _ｘ，ｙを処理単位とすることで、より少ない中間画素値を処理単位とした場合よりも、現実の画素値にフィットした推定値を得られると期待できる。また、３つの中間画素値について１つの誤差を設定することで、推定すべき変数の数を減らし、推定処理を簡素化できる。また、設定した第１〜第３誤差をつなぐ第１、第２差分を求めることで、第１〜第３誤差が満たすべき２つの条件式（上式（１１）に上式（９）を代入した式）が得られ、更に二乗和Ｓ_δを最小にするという条件と合わせた３つの条件により、３つの第１〜第３誤差を決定できる。

また本実施形態では、図５で説明したように、推定演算部１３２は、合成画像ＧＭで、推定対象画素（点線）の周辺（太実線）に位置する第１色Ｘ（例えばＧ）の画素値と第２色Ｙ（例えばＲ）の画素値との間の相関値Ｃ（式（１）〜（３））を求める。推定演算部１３２は、相関値Ｃが第１閾値Ｃ_０よりも大きく第２閾値Ｃ_１よりも小さい場合に高相関であると判定する。

このようにすれば、推定対象画素の周辺における色Ｘと色Ｙの相関値Ｃを求めることができ、その相関値Ｃに基づいて相関度を判定できる。即ち、その相関値Ｃが所定条件Ｃ_０＜Ｃ＜Ｃ_１を満たした場合に色Ｘと色Ｙが高相関であると判定できる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１００ 撮像装置、１１０ 撮像系、１１１ 撮像光学系、１１２ 撮像素子、
１２０ 制御部、１２１ バス、１２２ 画素シフト駆動部、
１２３ Ａ／Ｄ変換部、１２４ メモリコントローラ、１２５ メモリ、
１２６ 外部インターフェース、１３０ 信号処理部、１３１ 前段処理部、
１３２ 推定演算部、１３３ 後段処理部、
Ｂ 青色、Ｃ 色相関度、Ｃ_０ 第１閾値、Ｃ_１ 第２閾値、Ｇ 緑色、
ＧＭ 合成画像、ＩＭ１〜ＩＭ４ 複数の画像、
ＪＧ１，ＪＧ２，ＪＲ１，ＪＲ２ 重心位置、ＰＳ１〜ＰＳ４ 第１〜第４位置、
Ｒ 赤色、Ｓ_δ 二乗和、Ｘ 第１色、Ｙ 第２色、ａ^Ｘ _ｘ，ｙ，ａ^Ｙ _ｘ，ｙ 画素値、
ｂ^Ｘ _ｘ，ｙ 中間画素値、ｃ^Ｘ _ｘ，ｙ 推定画素値、ｘ，ｙ 画素位置、
ｘ’ 水平走査方向、ｙ’ 垂直走査方向、δ^Ｘ _ｘ，ｙ 誤差

Claims (17)

1. 撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得する画像取得部と、
   前記複数の画像の各画像よりも画素数が多い高解像画像を、前記複数の画像に基づいて推定する推定演算部と、
   を備え、
   前記撮像素子には、第１色の色フィルタを有する画素と第２色の色フィルタを有する画素とが少なくとも配列され、
   前記推定演算部は、
   前記複数の画像を構成する前記第１色の画素値と前記第２色の画素値とが高相関であると判定した場合、前記高解像画像の前記第１色の画素値を、前記複数の画像を構成する前記第２色の画素値に基づいて推定することを特徴とする画像処理装置。
2. 請求項１において、
   前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像は、前記第２色の隣り合う２画素を少なくとも有し、
   前記推定演算部は、
   前記第１色の画素値と前記第２色の画素値とが前記高相関であると判定した場合、前記２画素間での前記第１色の画素値の差分を、前記２画素間での前記第２色の画素値の差分により求め、前記求めた差分に基づいて前記推定を行うことを特徴とする画像処理装置。
3. 請求項２において、
   前記合成画像は、前記２画素の両隣りに前記第１色の画素を有し、
   前記推定演算部は、
   前記複数の画像を構成する前記第１色の画素値と前記第２色の画素値とが低相関であると判定した場合、前記２画素間での前記第１色の画素値の差分を、前記両隣りの画素間での前記第１色の画素値の差分により求めることを特徴とする画像処理装置。
4. 請求項２又は３において、
   前記２画素である第１画素及び第２画素の画素値は、それぞれ前記高解像画像での複数の画素の加算値に対応し、前記第１画素に対応する複数の画素と前記第２画素に対応する複数の画素とは、共通の画素を有し、
   前記推定演算部は、
   前記第２画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値と、前記第１画素に対応する複数の画素から前記共通の画素を除いた画素の画素値を加算した値との差分を、前記求めた２画素間での前記第１色の画素値の差分により求めることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記画像取得部は、
   前記相対的な位置の基準位置で撮像された第１画像と、前記基準位置から水平走査方向に１／２画素ピッチだけシフトされた位置で撮像された第２画像と、前記基準位置から垂直走査方向に前記１／２画素ピッチだけシフトされた位置で撮像された第３画像と、前記基準位置から前記水平走査方向に前記１／２画素ピッチだけシフトされ前記垂直走査方向に前記１／２画素ピッチだけシフトされた位置で撮像された第４画像とを、前記複数の画像として取得し、
   前記推定演算部は、
   前記取得した画像の４倍の画素数の画像を、前記高解像画像として推定することを特徴とする画像処理装置。
6. 請求項５において、
   前記撮像素子には、前記第１色の色フィルタを有する画素と前記第２色の色フィルタを有する画素とが、前記水平走査方向に沿って交互に配列され、
   前記第１〜第４画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像には、前記第１色の２×２画素の画素値と前記第２色の２×２画素の画素値とが、前記水平走査方向に沿って交互に配列され、
   前記推定演算部は、
   前記合成画像の各画素での前記第１色及び前記第２色の画素値を、前記高解像画像の画素値として推定することを特徴とする画像処理装置。
7. 請求項６において、
   前記推定演算部は、
   前記高解像画像での前記垂直走査方向に沿って並ぶ２画素の画素値を加算した値である中間画素値を、前記第１〜第４画像の画素値に基づいて求め、前記中間画素値に基づいて前記高解像画像の画素値を推定することを特徴とする画像処理装置。
8. 請求項７において、
   前記水平走査方向に沿って並ぶ第１〜第３の中間画素値のうち前記第１、第２の中間画素値の加算値は、前記合成画像を構成する第１色の画素値である第１画素値に対応し、前記第２、第３の中間画素値の加算値は、前記第１画素値の隣の第１色の画素値である第２画素値に対応し、
   前記推定演算部は、
   前記第１〜第３の中間画素値が前記水平走査方向に沿って線形変化すると仮定した場合の前記第１〜第３の中間画素値と真値との誤差である第１誤差を求め、求めた前記第１誤差により前記第１〜第３の中間画素値を決定することを特徴とする画像処理装置。
9. 請求項８において、
   前記推定演算部は、
   前記第１色の画素値と前記第２色の画素値とが前記高相関であると判定した場合、前記水平走査方向に沿って並ぶ前記第１〜第３の中間画素値及び第４、第５の中間画素値のうち前記第３、第５の中間画素値の差分である第１差分を、前記第２画素値と第１画素値との差分により求め、求めた前記第１差分を満たすように前記第１誤差を決定することを特徴とする画像処理装置。
10. 請求項９において、
    前記推定演算部は、
    前記水平走査方向に沿って並ぶ前記第１〜第５の中間画素値及び第６〜第１１の中間画素値のうち第５〜第７の中間画素値について第２誤差を求め、第９〜第１１の中間画素値について第３誤差を求め、第７、第９の中間画素値について第２差分を求め、前記第１、第２差分を満たすとともに前記第１〜第３誤差の二乗和が最小となるように前記第１〜第３誤差を決定することを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記推定演算部は、
    前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した画像である合成画像で、推定対象画素の周辺に位置する前記第１色の画素値と前記第２色の画素値との間の相関値を求め、前記相関値が第１閾値よりも大きく第２閾値よりも小さい場合に前記第１色の画素値と前記第２色の画素値とが前記高相関であると判定することを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記撮像素子は、２×２画素で構成されるユニットが繰り返し配列された色フィルタを有することを特徴とする画像処理装置。
13. 請求項１２において、
    前記色フィルタは、ＲＧＢベイヤ配列の色フィルタであることを特徴とする画像処理装置。
14. 請求項１乃至１３のいずれかに記載された画像処理装置と、
    前記撮像素子と、
    を含むことを特徴とする撮像装置。
15. 第１配列の色フィルタを有する撮像素子と、
    前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトする制御を行うシフト制御部と、
    前記シフトしながら撮像された複数の画像の各画像よりも画素数が大きい高解像画像を、前記複数の画像に基づいて推定する推定演算部と、
    を含み、
    前記シフト制御部は、
    前記複数の画像を構成する画素値を、前記シフトに対応する画素位置に配置した場合に、前記第１配列とは異なる第２配列となるように前記シフト制御を行い、
    前記推定演算部は、
    前記第２配列の画素値に基づいて、前記高解像画像の各色の画素値を推定することを特徴とする撮像装置。
16. 請求項１５において、
    前記第１配列は、ＲＧＢベイヤ配列であり、
    前記第２配列は、２×２画素のＲ画素値と、２組の２×２画素のＧ画素値と、２×２画素のＢ画素値とで構成される４×４画素のユニットが繰り返された配列であることを特徴とする撮像装置。
17. 撮像素子に、第１色の色フィルタを有する画素と第２色の色フィルタを有する画素とが少なくとも配列される場合に、前記撮像素子の受光面と、前記受光面に入射する結像との相対的な位置を順次シフトしながら撮像された複数の画像を取得し、
    前記複数の画像を構成する前記第１色の画素値と前記第２色の画素値とが高相関であると判定した場合、高解像画像の前記第１色の画素値を、前記複数の画像を構成する前記第２色の画素値に基づいて推定し、前記複数の画像の各画像よりも画素数が多い前記高解像画像を推定することを特徴とする画像処理方法。