JP5306563B2 - 撮像装置及び画像生成方法 - Google Patents

Description

本発明は、撮像装置及び画像生成方法等に関する。

撮像画像を撮像時の解像度よりも高い解像度にする、所謂、高解像化する手法として、画素シフトの手法（例えば、特許文献１）がある。この手法では、撮像素子を機械的に順次シフトさせ、各シフトにおいて撮像動作を行う。そして、撮像された複数の画像から高解像画像を合成する（例えば特許文献２、３）。

特開２００９−１１５０７４号公報 特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報

しかしながら、カラー撮像素子を用いて画素シフトを行うと、高解像画像において色を高精度に推定することが困難であるという課題がある。例えばベイヤ撮像素子が備えるＲ(赤)、Ｇ(緑)、Ｂ（青）画素のうちのＲ画素の場合、Ｒ画素のシフトによりカバーされない被写体領域があると、その領域ではＲ色の情報が得られないためＲ色の推定精度が悪化してしまう。

本発明の幾つかの態様によれば、高解像化処理において色の推定精度を向上可能な撮像装置及び画像生成方法等を提供できる。

本発明の一態様は、複数色の画素が配列された撮像素子と、前記撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置を順次シフトしながら撮像画像を取得する制御を行う撮像制御部と、取得された前記撮像画像における前記複数色の画素の画素値に基づいて、輝度値と色差値を求め、求めた前記輝度値により構成される輝度画像と、求めた前記色差値により構成される色差画像とを出力する画像変換部と、前記輝度画像に基づいて、前記撮像素子の前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求める推定演算部と、前記推定輝度値と前記推定色差値を、前記高解像画像の各画素におけるＲＧＢの画素値に変換する画素値変換部と、を含む撮像装置に関係する。

本発明の一態様によれば、画素ピッチよりも小さいシフト量により順次シフトされながら撮像が行われ、撮像画像に基づいて輝度画像と色差画像が求められる。その輝度画像、色差画像に基づいて、高解像画像の各画素における推定輝度値、推定色差値が求められ、その推定輝度値と推定色差値が、ＲＧＢの画素値に変換される。これにより、高解像化処理において色の推定精度を向上することが可能になる。

また本発明の一態様では、前記撮像素子の画素配列を構成する基本ブロックは、前記複数色として第１〜第ｋの色（ｋは２以上（その値を含む）の自然数）の画素を有し、前記画像変換部は、前記撮像画像に基づく前記第１〜第ｋの色の画素値により構成される変換単位を設定し、前記変換単位に含まれる前記画素値を前記輝度値と前記色差値に変換し、前記推定演算部は、前記シフトにより得られる複数の前記輝度画像に基づいて前記推定輝度値を求め、前記シフトにより得られる複数の前記色差画像に基づいて前記推定色差値を求めてもよい。

また本発明の一態様では、前記画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、前記画像変換部は、前記撮像画像の２×２画素により構成される前記変換単位を設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換してもよい。

また本発明の一態様では、前記画像変換部は、前記変換単位の２×２画素の位置が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位を設定してもよい。

また本発明の一態様では、前記画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、前記画像変換部は、前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記各画素におけるＲ、Ｇ、Ｂ画素値を前記変換単位として設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換してもよい。

また本発明の一態様では、前記画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、前記画像変換部は、前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記撮像画像の２×２画素により構成される前記変換単位を設定し、前記変換単位の４つのＲ画素値の加算値と、前記変換単位の４つのＧ画素値の加算値と、前記変換単位の４つのＢ画素値の加算値とを求め、求めた前記Ｒ、Ｇ、Ｂ画素値の加算値を前記輝度値と前記色差値に変換してもよい。

また本発明の一態様では、前記画素ピッチをｐとし、水平方向と垂直方向における前記シフト量をｐ／ｍ（ｍは２以上（その値を含む）の自然数）とする場合に、前記撮像制御部は、前記シフトとして、ｎ回で１巡する第１〜第ｎのシフト（ｎは２以上（その値を含む）の自然数）を行い、前記推定演算部は、前記第１〜第ｎのシフトに対応する第１〜第ｎの輝度画像又は第１〜第ｎの色差画像を第１〜第ｎの入力画像として受けて、前記第１〜第ｎの入力画像に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求め、前記第１〜第ｎの入力画像の画素は、前記高解像画像におけるｍ×ｍ画素に対応する画素であり、前記高解像画像上における位置が、前記シフト量ｐ／ｍのシフトに対応して順次画素シフトされた画素であってもよい。

また本発明の一態様では、前記撮像制御部は、基準位置に設定する第１のシフトと、前記基準位置から水平方向にシフト量ｐ／２でシフトする第２のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第３のシフトと、前記基準位置から垂直方向にシフト量ｐ／２でシフトする第４のシフトとを行い、前記推定演算部は、前記第１〜第４のシフトに対応する第１〜第４の入力画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めてもよい。

また本発明の一態様では、前記撮像制御部は、基準位置に設定する第１のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第２のシフトとを行い、前記推定演算部は、前記基準位置から水平方向へのシフト量ｐ／２のシフトに対応する第１の補間画像と、前記基準位置から垂直方向へのシフト量ｐ／２のシフトに対応する第２の補間画像とを、前記第１、第２の入力画像に基づいて補間により求め、前記第１、第２の入力画像と前記第１、第２の補間画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めてもよい。

また本発明の一態様では、前記高解像画像の複数画素により構成される範囲を加算単位とし、第１、第２の加算単位に対応する画素値を第１、第２の画素値とし、前記第１、第２の加算単位が重畳する場合に、前記推定演算部には、前記輝度画像又は前記色差画像が入力画像として入力され、前記第１、第２の画素値は、前記入力画像の画素値、又は前記入力画像に基づく補間により得られた画素値であり、前記推定演算部は、前記第１の画素値と、前記第２の画素値との差分値を求め、前記差分値に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求めてもよい。

また本発明の一態様では、前記推定演算部は、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値に対応する第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値に対応する第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めてもよい。

また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。

また本発明の他の態様は、複数色の画素が配列された撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置が順次シフトされた撮像画像を取得し、前記撮像画像における前記複数色の画素値に基づいて輝度値と色差値を求め、求めた前記輝度値により構成される輝度画像と、求めた前記色差値により構成される色差画像とを出力し、前記輝度画像に基づいて、前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求め、前記推定輝度値と前記推定色差値を、前記高解像画像の各画素におけるＲＧＢの画素値に変換する画像生成方法に関係する。

図１は、本実施形態の比較例。 図２は、第１の推定手法における画素シフトについての説明図。 図３は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図４は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図５は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図６は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図７（Ａ）〜図７（Ｄ）は、水平又は垂直方向に１／２画素シフトした輝度値の例。 図８は、ＹＣｒＣｂからＲＧＢへの変換手法についての説明図。 図９は、本実施形態の撮像装置の構成例。 図１０は、第２の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図１１は、第２の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図１２は、ＹＣｒＣｂを高解像化する推定処理についての説明図。 図１３は、第２の推定手法の変形例におけるＹＣｒＣｂへの変換手法についての説明図。 図１４は、第２の推定手法の変形例におけるＹＣｒＣｂへの変換手法についての説明図。 図１５は、第２の推定手法の変形例におけるＹＣｒＣｂへの変換手法についての説明図。 図１６は、第３の推定手法における画素シフトについての説明図。 図１７は、第３の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。 図１８は、超解像画素値復元推定部の詳細な構成例。 図１９（Ａ）、図１９（Ｂ）は、推定画素値と中間画素値の説明図。 図２０（Ａ）、図２０（Ｂ）は、第２の高解像化推定処理における画素シフトについての説明図。 図２１は、第２の高解像化推定処理に用いる画素値についての説明図。 図２２は、第２の高解像化推定処理における中間画素値についての説明図。 図２３は、第２の高解像化推定処理における中間画素値の算出処理についての説明図。 図２４は、第２の高解像化推定処理における中間画素値の算出処理についての説明図。 図２５は、第２の高解像化推定処理において推定画素値の算出に用いる中間画素値についての説明図。 図２６は、第２の高解像化推定処理における推定画素値についての説明図。 図２７は、第２の高解像化推定処理における推定画素値の算出処理についての説明図。 図２８は、第２の高解像化推定処理における推定画素値の算出処理についての説明図。 図２９（Ａ）、図２９（Ｂ）は、第３の高解像化推定処理における画素シフトについての説明図。 図３０は、第３の高解像化推定処理に用いる画素値についての説明図。 図３１は、第３の高解像化推定処理における中間画素値についての説明図。 図３２は、第３の高解像化推定処理における中間画素値の算出処理についての説明図。 図３３は、第３の高解像化推定処理における中間画素値の算出処理についての説明図。 図３４は、第３の高解像化推定処理において推定画素値の算出に用いる中間画素値についての説明図。 図３５は、第３の高解像化推定処理における推定画素値についての説明図。 図３６は、第３の高解像化推定処理における推定画素値の算出処理についての説明図。 図３７は、第３の高解像化推定処理における推定画素値の算出処理についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
まず、本実施形態の概要について説明する。本実施形態では、図２で後述するように、被写体像と撮像素子の位置関係を機械的にシフトし、そのシフトにより得られた複数の画像を用いて、撮像画像よりも高解像な画像を推定する。

高解像画像を推定する手法として、例えば特許文献２には、画素シフトにより得られた複数低解像画像を合成することにより高解像画像を仮定し、この仮定した高解像画像に対して超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。

しかしながら、この手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理（例えばＭＬ法、ＭＡＰ法、ＰＯＣＳ法、ＩＢＰ法等）を用いている。そのため、非常に処理の規模が大きくなり、例えばデジタルカメラ等の処理能力やコストの制限がある機器への適用は困難であるという課題がある。

また特許文献３には、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。

しかしながら、この手法では、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の特定が上手くいかず、推定誤差が非常に大きくなるという課題がある。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。

そこで本実施形態では、図１９（Ａ）で後述するように、撮像画像の画素値を用いて、推定画素値を関係式で表し、その関係式と画素値の誤差が最小となるように推定画素値を決定する。推定画素値は、求めたい高解像画像の画素値である。

このようにすれば、一般的な超解像処理や初期値の探索等が不要となり、簡素な処理でシフト画像から高解像画像を推定できる。また、動画像から事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能になる。

さて、図１に本実施形態の比較例を示す。図１に示すように、ベイヤ（Bayer）配列のＲ画素ｖ_００、ｖ_４０を例にとり、最小の画素シフトにより得られたＲ画像をそのまま用いて本実施形態の推定処理を行ったとする。画素ｖ_００は、推定により２×２画素ｖ’_００、ｖ’_１０、ｖ’_１１、ｖ’_０１に高解像化される。１／２画素ピッチのシフトの場合、シフトされた画素ｖ_１０、ｖ_１１、ｖ_０１は高解像画像の３×３画素に相当する。隣のＲ画素ｖ_４０まで４画素あるため、Ｒ色の情報が得られない領域（例えばｖ’_３０）が生じる。この領域は、周辺のＲ画素から補間により求めることとなる。

このように、ベイヤ画像をそのまま用いて本実施形態の推定処理を行うと、推定後の高解像画像において補間を行う必要があるため、色成分の推定精度が悪くなり、例えば偽色等が発生するという課題がある。

そこで本実施形態では、図３等で説明するように、ベイヤ画像を水平又は垂直に１／２画素重畳シフトした４枚の画像を取得し、その各画像において、ベイヤ画像から輝度画像、色差画像を生成する。生成した４枚の輝度画像に対して復元推定処理を適用し、ベイヤ画像の４倍の解像度の輝度画像を復元推定する。色差画像においても同様にする。そして、復元推定した画像のＹ、Ｃｒ、Ｃｂ値をＲ、Ｇ、Ｂに逆変化し、高解像のＲＧＢ画像を求める。

このようにすれば、高解像画像の各画素についてＹ、Ｃｒ、Ｃｂ値が推定されるため、補間することなく色成分を求めることができる。これにより、ＲＧＢ画素値の推定精度を向上でき、偽色の発生等を抑制することが可能になる。

２．第１の推定手法
隣接４画素単位でＹＣｒＣｂの３値を求める第１の推定手法について説明する。まず図２を用いて、画素シフトについて説明する。

図２に示すように、第１フレームｆｘ〜第４フレームｆｘ＋３（ｘは自然数）において、画素シフトが順次行われる。画素シフトは、被写体像と撮像素子の相対的な位置を機械的にずらすことで行われる。撮像素子の画素ピッチをｐとすると、シフト量はｐ／２であり、シフトは水平方向と垂直方向に行われる。水平方向とは、例えば撮像素子の水平走査方向に沿った方向であり、垂直方向とは、例えば撮像素子の垂直走査方向に沿った方向である。

次に図３を用いて、ＲＧＢからＹＣｒＣｂに変換する手法について説明する。図３において、ｖ_ｉｊは、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のいずれかの画素（又は画素値）を表す。また、ｖ’_ｉｊは、仮想的に画素ｖ_ｉｊを構成する２×２画素の超解像画素（又は超解像画素値）を表す。

図３に示すように、正方形の太線枠でグルーピングしている近接の｛Ｒ，Ｇｒ，Ｇｂ，Ｂ｝の４つの画素を処理単位ａ_ｉｊとし、その処理単位内の画素値から輝度値Ｙ（ａ_ｉｊ）、色差値Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）への変換を行う。下式（１）により、Ｙ（ａ_ｉｊ）、Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）を算出する。

ここで、｛α_ｙ，β_ｙ，γ_ｙ｝、｛α_ｒ，β_ｒ，γ_ｒ｝、｛α_ｂ，β_ｂ，γ_ｂ｝は変換のための係数であり、例えば一般的に知られているＲＧＢとＹＣｂＣｒの変換係数を用いればよい。また、Ｒ（ａ_ｉｊ）、Ｇｒ（ａ_ｉｊ）、Ｇｂ（ａ_ｉｊ）、Ｂ（ａ_ｉｊ）は、処理単位ａ_ｉｊを構成する各色に対応した画素値｛ｖ_ｉｊ｝を表す。

第１フレームｆｘの撮像画像から得られた輝度値Ｙ（ａ_ｉｊ）により構成される画像を第１の輝度Ｙ画像とし、色差値Ｃｒ（ａ_ｉｊ）により構成される画像を第１の色差Ｃｒ画像とし、色差値Ｃｂ（ａ_ｉｊ）により構成される画像を第１の色差Ｃｂ画像とする。これらの輝度画像、色差画像を１組の画像として扱う。

図４〜図６に示すように、第２〜第４フレームｆｘ＋１〜ｆｘ＋３の撮像画像から得られた輝度値Ｙ（ａ_ｉｊ）により構成される画像を第２〜第４の輝度Ｙ画像とし、色差値Ｃｒ（ａ_ｉｊ）により構成される画像を第２〜第４の色差Ｃｒ画像とし、色差値Ｃｂ（ａ_ｉｊ）により構成される画像を第２〜第４の色差Ｃｂ画像とする。

次に、得られた輝度画像、色差画像から高解像画像を推定する手法について説明する。図７（Ａ）〜（Ｄ）に示すように、水平又は垂直方向に１／２画素シフトした輝度値Ｙ（ａ_ｉｊ）が求められる。

得られた輝度値Ｙ（ａ_ｉｊ）を、仮想的な超解像画素ｖ’_ｉｊの重畳シフト４画素加算値であるとみなす。この輝度値Ｙ（ａ_ｉｊ）に対して、図１９（Ａ）等で後述する推定処理を適用し、元の画素ｖ_ｉｊの１／２の画素サイズの輝度値Ｙ（ｖ’_ｉｊ）を推定値として求める。例えば、輝度値Ｙ（ａ_００）、Ｙ（ａ_１０）、Ｙ（ａ_０１）、Ｙ（ａ_１１）を、図１９（Ａ）に示すａ_００、ａ_１０、ａ_０１、ａ_１１として推定処理を適用する。輝度値Ｙ（ａ_００）は、高解像画像の輝度値Ｙ（ｖ’_００）、Ｙ（ｖ’_１０）、Ｙ（ｖ’_０１）、Ｙ（ｖ’_１１）の加算値であるとみなす。ここで、輝度値Ｙ（ａ_ｉｊ）に対して、図２０（Ａ）等で後述する第２の高解像化推定処理、又は図２９（Ａ）等で後述する第３の高解像化推定処理を適用してもよい。この場合、撮像素子の画素開口の幅ｄよりも小さい任意のシフト量ｓで画素シフトが行われ、そのシフト量ｓに対応して、元の画素ｖ_ｉｊのｓ／ｐの画素サイズの輝度値Ｙ（ｖ’_ｉｊ）が推定値として求められる。

なお、色差値Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）についても図示しないが同様に推定処理を適用し、超解像画素ｖ’_ｉｊの色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を求める。

図８に示すように、推定処理の結果として、超解像画素｛ｖ’_ｉｊ｝の各画素に、輝度値Ｙ（ｖ’_ｉｊ）、色差値Ｃｒ（ｖ’_ｉｊ）、色差値Ｃｂ（ｖ’_ｉｊ）の３つの値が求められる。下式（２）に示すように、これらのＹＣｒＣｂ値をＲＧＢ値に逆変換することにより、超解像画素｛ｖ’_ｉｊ｝の各画素における３原色値Ｒ（ｖ’_ｉｊ）、Ｇ（ｖ’_ｉｊ）、Ｂ（ｖ’_ｉｊ）を、最終的に算出する。

ここで、｛α’_ｙ，β’_ｙ，γ’_ｙ｝、｛α’_ｒ，β’_ｒ，γ’_ｒ｝、｛α’_ｂ，β’_ｂ，γ’_ｂ｝は変換のための係数であり、例えば一般的に知られているＹＣｂＣｒとＲＧＢの変換係数を用いればよい。

３．撮像装置
図９に、本実施形態の推定処理を行う撮像装置の構成例を示す。撮像装置は、レンズ１１０（撮像光学系）、撮像素子１２０（撮像センサ）、撮像制御部１３０、画像変換部１４０、データ記録部１５０、超解像画素値復元推定部１６０（推定演算部）、輝度色差値ＲＧＢ値変換部１７０（画素値変換部）、ＲＧＢ３板画像出力部１８０（画像出力部）を含む。

レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。例えば、撮像素子１２０は、ＣＣＤやＣＭＯＳイメージセンサにより構成される。

撮像制御部１３０は、画素シフトの制御や撮像動作を行う。具体的には、撮像制御部１３０は、画素シフト駆動制御部１３１、重畳シフト画像生成部１３２（画像取得部）を含む。画素シフト駆動制御部１３１は、撮像素子１２０又はレンズ１１０の位置をシフトさせる駆動を制御し、画素シフトを行う。重畳シフト画像生成部１３２は、各シフトにおいて、撮像素子１２０から画像を読み出し、ＲＧＢのベイヤ画像を取得する。例えば、重畳シフト画像生成部１３２は、図示しないＡ／Ｄ変換部等により構成される。

画像変換部１４０は、ＲＧＢ値をＹＣｒＣｂ値に変換する処理を行う。具体的には、画像変換部１４０は、隣接異色画素抽出部１４１、輝度画像生成部１４２、色差画像生成部１４３を含む。隣接異色画素抽出部１４１は、ＹＣｒＣｂ値に変換するＲＧＢ値の組み合わせ（変換単位）Ｒ（ａ_ｉｊ）、Ｇｒ（ａ_ｉｊ）、Ｇｂ（ａ_ｉｊ）、Ｂ（ａ_ｉｊ）を抽出する。輝度画像生成部１４２は、抽出されたＲＧＢ値を輝度値Ｙ（ａ_ｉｊ）に変換する。色差画像生成部１４３は、抽出されたＲＧＢ値を色差値Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）に変換する。

データ記録部１５０は、変換により得られた輝度画像、色差画像を記録する。例えばデータ記録部１５０は、撮像装置に内蔵されたメモリ等であってもよいし、撮像装置外部のメモリやハードディスクドライブ等であってもよい。

超解像画素値復元推定部１６０は、記録された輝度画像、色差画像に基づいて、高解像画像の輝度値Ｙ（ｖ’_ｉｊ）、色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を推定する。輝度色差値ＲＧＢ値変換部１７０は、推定されたＹ（ｖ’_ｉｊ）、Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を、画素値Ｒ（ｖ’_ｉｊ）、Ｇ（ｖ’_ｉｊ）、Ｂ（ｖ’_ｉｊ）に変換する。ＲＧＢ３板画像出力部１８０は、得られたＲＧＢの高解像画像に基づいて静止画や動画を出力する。例えば、ＲＧＢ３板画像出力部１８０は、ユーザにより指定されたタイミングの高解像静止画を出力する。あるいは、各フレームにおいて高解像画像を生成し、高解像動画を出力してもよい。

なお、上記では、カラーフィルタがＲＧＢのベイヤ配列である場合を例に説明したが、本実施形態はこれに限定されない。例えば、カラーフィルタはＣＭＹ等の補色フィルタであってもよいし、ベイヤ配列以外の配列であってもよい。また上記では、ベイヤ配列の２×２画素のＲＧＢをＹＣｒＣｂに変換する場合を例に説明したが、本実施形態はこれに限定されない。例えば、最小の配列単位が２×２画素でない場合、その配列単位内の色からＹＣｒＣｂに変換してもよい。また上記では、画素シフトのシフト量がｐ／２である場合を例に説明したが、本実施形態はこれに限定されない。例えば、シフト量はｐ／ｍ（ｍは２以上（その値を含む）の自然数）であってもよい。

ここで、本実施形態は図９の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、画像変換部１４０、超解像画素値復元推定部１６０、輝度色差値ＲＧＢ値変換部１７０を、ＰＣ等の画像処理装置として構成してもよい。この場合、別体の撮像装置により記録されたシフト画像を、撮影終了後に画像処理装置が取得して高解像化を行う。

以上の実施形態によれば、図９に示すように、撮像装置は、撮像素子１２０と撮像制御部１３０と画像変換部１４０と推定演算部（超解像画素値復元推定部１６０）と画素値変換部（輝度色差値ＲＧＢ値変換部１７０）とを含む。

撮像素子１２０には、複数色の画素が配列される。図２で説明したように、撮像制御部１３０は、撮像素子１２０の画素ピッチｐよりも小さいシフト量ｐ／２により、撮像素子１２０における被写体像の位置を順次シフトしながら撮像画像を取得する制御を行う。図３等で説明したように、画像変換部１４０は、取得された撮像画像における複数色の画素の画素値ｖ_ｉｊに基づいて輝度値Ｙ（ａ_ｉｊ）と色差値Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）を求め、求めた輝度値Ｙ（ａ_ｉｊ）により構成される輝度画像と、求めた色差値Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）により構成される色差画像とを出力する。

図８で説明したように、推定演算部は、その輝度画像に基づいて、撮像素子１２０の画素ピッチｐによる解像度よりも高解像度である高解像画像の各画素における推定輝度値Ｙ（ｖ’_ｉｊ）を求め、色差画像に基づいて、高解像画像の各画素における推定色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を求める。画素値変換部は、推定輝度値Ｙ（ｖ’_ｉｊ）と推定色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を、高解像画像の各画素におけるＲＧＢの画素値Ｒ（ｖ’_ｉｊ）、Ｇ（ｖ’_ｉｊ）、Ｂ（ｖ’_ｉｊ）に変換する。

このようにすれば、高解像化処理において色の推定精度を向上することが可能になる。即ち、図８に示すように、高解像画像の各画素における推定輝度値Ｙ（ｖ’_ｉｊ）と推定色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を求めことができるため、高解像画像の全ての画素についてＲＧＢ値を推定できる。これにより、推定値から更に補間等を行って画質が劣化することがなくなり、画質を向上できる。

ここで、画素ピッチｐによる解像度よりも高解像度とは、同じ撮像範囲（撮像画像全体又は一部）において元の画素数よりも画素数が多いことである。例えばデジタルズームの画像を高解像化する場合、そのズーム領域の画素数が高解像化により増加する。

また本実施形態では、撮像素子１２０の画素配列を構成する基本ブロックは、複数色として第１〜第ｋの色（ｋは２以上（その値を含む）の自然数）の画素を有する。図３等で説明したように、画像変換部１４０は、撮像画像に基づく第１〜第ｋの色の画素値により構成される変換単位を設定し、その変換単位に含まれる画素値を輝度値Ｙ（ａ_ｉｊ）と色差値Ｃｒ（ａ_ｉｊ）、Ｃｂ（ａ_ｉｊ）に変換する。図７（Ａ）等で説明したように、推定演算部は、シフトにより得られる複数の輝度画像に基づいて推定輝度値Ｙ（ｖ’_ｉｊ）を求め、シフトにより得られる複数の色差画像に基づいて推定色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）を求める。

このようにすれば、各変換単位を構成する第１〜第ｋの色の画素値を輝度値と色差値に変換することで、撮像画像を輝度画像と色差画像に変換できる。また、順次シフトされた撮像画像から、順次シフトされた複数の輝度画像、複数の色差画像が求められ、それらの画像により輝度画像、色差画像を高解像化できる。

ここで、基本ブロックとは、画素配列における繰り返し配列の最小構成単位である。また、変換単位とは、ＹＣｒＣｂに変換される画素値の組み合わせである。また、撮像画像に基づく画素値とは、撮像画像を構成する画素値自体であってもよいし、撮像画像を構成する画素値から補間等により求めた画素値であってもよい。

また本実施形態では、図２に示すように、画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素と（ｋ＝４）から構成される２×２画素を基本ブロックとするベイヤ配列である。図３等で説明したように、画像変換部１４０は、撮像画像の２×２画素（例えばｖ_００、ｖ_２０、ｖ_０２、ｖ_２２）により構成される変換単位ａ_００を設定し、設定した変換単位ａ_００のＲ、Ｇ、Ｂ画素値Ｒ（ａ_００）、Ｇｒ（ａ_００）、Ｇｂ（ａ_００）、Ｂ（ａ_００）を輝度値Ｙ（ａ_００）と色差値Ｃｒ（ａ_００）、Ｃｂ（ａ_００）に変換する。

より具体的には、図３に示すように、画像変換部１４０は、変換単位の２×２画素の位置（ｉ，ｊ）が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位ａ_ｉｊを設定する。

このようにすれば、ベイヤ画像を構成する画素値により変換単位を構成し、ＲＧＢベイヤ画像をＹＣｒＣｂ画像に変換できる。また、１画素ずつシフトされた複数の変換単位を設定することで、撮像画像と同一画素数のＹＣｒＣｂ画像を得ることができるため、高解像化したときに全ての画素についてＹＣｒＣｂ値を推定できる。

また本実施形態では、図２に示すように、画素ピッチをｐとし、水平方向と垂直方向におけるシフト量をｐ／ｍ（ｍは２以上（その値を含む）の自然数）とする。この場合に、撮像制御部１３０は、ｎ回で１巡する第１〜第ｎのシフト（ｎは２以上（その値を含む）の自然数）を行う。図８等で説明したように、推定演算部は、その第１〜第ｎのシフトに対応する第１〜第ｎの輝度画像Ｙ（ａ_ｉｊ）又は第１〜第ｎの色差画像Ｃｒ（ａ_ｉｊ）（又はＣｂ（ａ_ｉｊ））を第１〜第ｎの入力画像として受けて、その第１〜第ｎの入力画像に基づいて、推定輝度値Ｙ（ｖ’_ｉｊ）又は推定色差値Ｃｒ（ｖ’_ｉｊ）（又はＣｂ（ｖ’_ｉｊ））を推定画素値として求める。図３〜図６に示すように、第１〜第ｎの入力画像の画素は、高解像画像におけるｍ×ｍ画素に対応する画素であり、高解像画像上における位置（ｉ，ｊ）が、シフト量ｐ／ｍのシフトに対応して順次画素シフトされた画素（例えばＹ（ａ_００）、Ｙ（ａ_１０）、Ｙ（ａ_１１）、Ｙ（ａ_０１））である。

より具体的には、図２で説明したように、撮像制御部１３０は、基準位置に設定する第１のシフト（フレームｆｘ）と、基準位置から水平方向にシフト量ｐ／２でシフトする第２のシフト（ｆｘ＋１）と、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第３のシフト（ｆｘ＋２）と、前記基準位置から垂直方向にシフト量ｐ／２でシフトする第４のシフト（ｆｘ＋３）とを行う（ｍ＝２、ｎ＝４）。推定演算部は、第１〜第４のシフトに対応する第１〜第４の入力画像から、撮像画像の２×２倍の画素数の推定画素値を求める。

このようにすれば、シフト１巡分の画像を用いることで、シフト画像の高解像化を行うことができる。また、シフト量ｐ／ｍに対応して、画素数をｍ×ｍ倍にする高解像化を行うことができる。

なお、推定画素値は、上記第１の推定手法のように第１〜第ｎの入力画像のみから推定してもよいし、後述する第３の推定手法のように入力画像から求めた補間画像等の他の画像を更に加えて推定してもよい。

４．第２の推定手法
ベイヤ画像を補間して各画素のＲＧＢを求め、１画素単位でＲＧＢをＹＣｒＣｂに変換する第２の推定手法について説明する。

図１０に示すように、１／２画素シフトにより得られた４枚のベイヤカラー画像それぞれにおいて、ベイヤ補間により未検出画素値を求め、完備なＲ、Ｇ、Ｂ画像を生成する。下式（３）に示すように、生成したＲ、Ｇ、Ｂ画像の中の同一画素ｖ_ｉｊを構成する｛Ｒ（ｖ_ｉｊ），Ｇ（ｖ_ｉｊ），Ｂ（ｖ_ｉｊ）｝を、画素ｖ_ｉｊの｛Ｙ（ｖ_ｉｊ），Ｃｒ（ｖ_ｉｊ），Ｃｂ（ｖ_ｉｊ）｝に変換する。

図１１に示すように、各画素ｖ_ｉｊのＹ（ｖ_ｉｊ）が１／２画素水平又は垂直にシフトされた４枚の画像が得られる。Ｃｒ（ｖ_ｉｊ）、Ｃｂ（ｖ_ｉｊ）についても同様に、それぞれ４枚の画像が得られる。

図１２に示すように、得られた輝度値Ｙ（ｖ_ｉｊ）を、仮想的超解像画素ｖ’_ｉｊの重畳シフト４画素加算値（図１９（Ａ）の｛ａ_ｉｊ｝）であるとみなし、推定処理を行う。この推定処理により、元の画素ｖ_ｉｊの１／２の画素サイズの輝度値としての画素値Ｙ（ｖ’_ｉｊ）が推定値として求められる。同様の手法を色差値についても適用すれば、超解像画素ｖ’_ｉｊの色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）が求められる。

このようにして求めた仮想的超解像画素ｖ’_ｉｊの｛Ｙ（ｖ’_ｉｊ），Ｃｒ（ｖ’_ｉｊ），Ｃｂ（ｖ’_ｉｊ）｝を上式（２）により逆変換し、仮想的超解像画像の構成画素値ｖ’_ｉｊ全てのＲ、Ｇ、Ｂの値を求め、高解像画像を得る。

以上の実施形態によれば、図１０で説明したように、画像変換部１４０は、撮像画像の各画素ｖ_ｉｊにおけるＲ、Ｇ、Ｂ画素値Ｒ（ｖ_ｉｊ）、Ｇ（ｖ_ｉｊ）、Ｂ（ｖ_ｉｊ）を補間により求め、その各画素ｖ_ｉｊにおけるＲ、Ｇ、Ｂ画素値を変換単位として設定する。図１１で説明したように、画像変換部１４０は、設定した変換単位のＲ、Ｇ、Ｂ画素値を輝度値Ｙ（ｖ_ｉｊ）と色差値Ｃｒ（ｖ_ｉｊ）、Ｃｂ（ｖ_ｉｊ）に変換する。

このようにすれば、ベイヤ画像を補間して求めたＲＧＢ画素値の画素単位により変換単位を構成し、ＲＧＢベイヤ画像をＹＣｒＣｂ画像に変換できる。例えば、Ｒ画素値をベイヤ補間したＲ画像から、Ｒ高解像画像を推定するとする。例えば図１のｖ_００が補間画素であるとすると、シフトにより得られるｖ_１０、ｖ_０１、ｖ_１１も補間画素である。そうすると、推定画素ｖ’_００等は補間画素のみから推定されることになり、推定精度が悪くなる。この点、本実施形態によれば、図１０に示すように、変換単位（例えばｖ_００）には少なくとも１つの検出値（Ｇ（ｖ_００））、つまり、補間値ではない画素値が含まれ、その検出値を含むＲＧＢをＹＣｒＣｂに変換するため、例えば、上記のＲのまま推定する場合よりも、推定精度を向上できると考えられる。

５．第２の推定手法の変形例
ベイヤ画像を補間して各画素のＲＧＢを求め、４画素単位でＲＧＢをＹＣｒＣｂに変換する第２の推定手法について説明する。

図１３に示すように、Ｒ画素値をベイヤ補間し、その補間値を求める。図１３では、検出画素をハッチング有りの実線四角で表し（例えばＲ２（ａ_００））、補間画素をハッチング無しの実線四角で表す（例えばＲ１（ａ_００））。下式（４）に示すように、近接する４画素の画素値｛Ｒ１（ａ_ｉｊ），Ｒ２（ａ_ｉｊ），Ｒ３（ａ_ｉｊ），Ｒ４（ａ_ｉｊ）｝から４画素加算値Ｒ（ａ_ｉｊ）を求める。

図１４に示すように、Ｇ画素値をベイヤ補間し、画素値｛Ｇ１（ａ_ｉｊ），Ｇ２（ａ_ｉｊ），Ｇ３（ａ_ｉｊ），Ｇ４（ａ_ｉｊ）｝を求める。図１５に示すように、Ｂ画素値をベイヤ補間し、画素値｛Ｂ１（ａ_ｉｊ），Ｂ２（ａ_ｉｊ），Ｂ３（ａ_ｉｊ），Ｂ４（ａ_ｉｊ）｝を求める。上式（４）に示すように、これらの値から４画素加算値｛Ｇ（ａ_ｉｊ），Ｂ（ａ_ｉｊ）｝を求める。

下式（５）に示すように、同一位置（ｉ，ｊ）の４画素加算値のＲＧＢ成分｛Ｒ（ａ_ｉｊ），Ｇ（ａ_ｉｊ），Ｂ（ａ_ｉｊ）｝を、４画素加算値ａ_ｉｊのＹＣｒＣｂ成分｛Ｙ（ｖ_ｉｊ），Ｃｒ（ｖ_ｉｊ），Ｃｂ（ｖ_ｉｊ）｝に変換する。

上記と同様にして、１／２画素重畳シフトされた４枚のベイヤカラー画像それぞれについて、画素値｛Ｒ（ａ_ｉｊ），Ｇ（ａ_ｉｊ），Ｂ（ａ_ｉｊ）｝を求め、｛Ｙ（ｖ_ｉｊ），Ｃｒ（ｖ_ｉｊ），Ｃｂ（ｖ_ｉｊ）｝を求める。そして、図１２で上述の手法により、超解像画素ｖ’_ｉｊのＲ、Ｇ、Ｂ値を求める。

以上の実施形態によれば、図１３等で説明したように、画像変換部１４０は、撮像画像の各画素ｖ_ｉｊにおけるＲ、Ｇ、Ｂ画素値Ｒ１（ａ_ｉｊ）〜Ｒ４（ａ_ｉｊ）、Ｇ１（ａ_ｉｊ）〜Ｇ４（ａ_ｉｊ）、Ｂ１（ａ_ｉｊ）〜Ｂ４（ａ_ｉｊ）、を補間により求め、撮像画像の４画素により構成される変換単位を設定する。画像変換部１４０は、その変換単位の４つのＲ画素値の加算値Ｒ（ａ_ｉｊ）と、変換単位の４つのＧ画素値の加算値Ｒ（ａ_ｉｊ）と、変換単位の４つのＢ画素値の加算値Ｒ（ａ_ｉｊ）とを求め、求めたＲ、Ｇ、Ｂ画素値の加算値を輝度値Ｙ（ｖ_ｉｊ）と色差値Ｃｒ（ｖ_ｉｊ）、Ｃｂ（ｖ_ｉｊ）に変換する。

より具体的には、画像変換部１４０は、変換単位の２×２画素の位置（ｉ，ｊ）が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位ａ_ｉｊを設定する。

このようにすれば、ベイヤ画像を補間して求めたＲＧＢ画素値の４画素加算値により変換単位を構成し、ＲＧＢベイヤ画像をＹＣｒＣｂ画像に変換できる。また、Ｒ、Ｇ、Ｂの各加算値には検出値（補間値ではない画素値）が含まれるため、変換単位のＲＧＢ全てに検出値の情報を含むことができ、高解像画像における推定精度を向上できると考えられる。

６．第３の推定手法
以上の実施形態では、水平方向又は垂直方向に１／２画素シフトを行い、４回のシフトで１巡する場合を説明したが、本実施形態では、斜め方向に１／２画素シフトを行い、２回のシフトで１巡してもよい。

以下では、この斜め方向に１／２画素シフトを行う場合の第３の推定手法について説明する。図１６に示すように、フレーム毎に交互に１／２画素斜めシフトを行う。具体的には、第１フレームｆｘにおいて、基準位置における画像を第１の画像として取得する。第２フレームｆｘ＋１において、基準位置から水平方向に１／２画素及び垂直方向に１／２画素シフトされた位置における画像を、第２の画像として取得する。以降、第１、第２の２種類の画像をフレーム交互に生成する。

図１７に示すように、第１、第２の画像それぞれについて、ＲＧＢをＹＣｒＣｂに変換する。ＹＣｒＣｂへの変換手法は、上述の手法のいずれでもよい。例えば、輝度画像を例にとると、第１輝度値Ｙ（ａ_２２）と第２輝度値Ｙ（ａ_１１）は、それぞれ第１、第２画像の検出値から導出された輝度値である。輝度値Ｙ（ａ_２１）、Ｙ（ａ_１２）は、検出値からは直接には導出されない未検出輝度値である。

下式（６）に示すように、未検出輝度値Ｙ（ａ_２１）、Ｙ（ａ_１２）は、周囲の輝度値に基づく補間処理により求める。ここで、｛ｗ_１，ｗ_２，ｗ_３，ｗ_４｝は補間係数である。補間係数は補間精度が最も高くなるよう予め設定されたものである。補間手法は、例えば従来手法（バイリニア、バイキュービックなど）を用いてもよいし、最適な補間係数を独自に設定するものであっても良い。補間に用いる検出値は、近接の４つに限定されず、周辺近傍のより多くのパターンの値を使っても良いことは言うまでもない。

同様の手法により、色差値Ｃｒ、Ｃｂについても未検出値を周囲の値から補間により求める。

以上により、水平又は垂直に１／２画素重畳シフトした４つの輝度画像全てが揃う。上述した第１の推定手法と同様にして、この４つの輝度画像から超解像画素ｖ’_ｉｊの輝度値Ｙ（ｖ’_ｉｊ）を推定する。色差値Ｃｒ（ｖ’_ｉｊ）、Ｃｂ（ｖ’_ｉｊ）についても同様に推定する。得られたＹＣｒＣｂ値をＲＧＢ値に変換し、高解像画像の画素ｖ’_ｉｊ全てについてのＲＧＢ画素値Ｒ（ｖ’_ｉｊ）、Ｇ（ｖ’_ｉｊ）、Ｂ（ｖ’_ｉｊ）を求める。

図１８に、上記第３の推定手法を行う場合の超解像画素値復元推定部１６０の詳細な構成例を示す。超解像画素値復元推定部１６０は、補間部１６１、推定部１６２を含む。

本実施形態では、撮像制御部１３０は、斜め方向にシフト駆動する制御を行い、上述の第１、第２画像を取得する。画像変換部１４０は、第１、第２画像を輝度値、色差値に変換する。データ記録部１５０は、得られた輝度値、色差値を記録する。補間部１６１は、記録された輝度値、色差値に基づく補間処理を行い、未検出輝度値、未検出色差値を求める。推定部１６２は、データ記録部１５０からの輝度値、色差値と、補間部１６１からの未検出輝度値、未検出色差値に基づいて、高解像化推定処理を行う。

以上の実施形態によれば、図１６で説明したように、撮像制御部１３０は、基準位置に設定する第１のシフト（フレームｆｘ）と、基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第２のシフト（ｆｘ＋１）とを行う（ｍ＝２、ｎ＝２）。図１７に示すように、推定演算部は、基準位置から水平方向へのシフト量ｐ／２のシフトに対応する第１の補間画像（例えば画素はＹ（ａ_１２））と、基準位置から垂直方向へのシフト量ｐ／２のシフトに対応する第２の補間画像（Ｙ（ａ_２１））とを、第１、第２の入力画像（Ｙ（ａ_２２）、Ｙ（ａ_１１））に基づいて補間により求める。その第１、第２の入力画像と第１、第２の補間画像から、撮像画像の２×２倍の画素数の推定画素値を求める。

このようにすれば、シフト１巡分の画像から、高解像化に必要な画像を補間により求め、これらの画像を用いて高解像化を行うことができる。また、図２のように補間を行わない場合（４回）に比べてシフト回数を減らす（２回）ことができるため、より短い期間の画像から高解像化でき、動体の画像ブレ等を軽減できる。

７．高解像化推定処理
次に、ＹＣｒＣｂ値を高解像化する推定処理について詳細に説明する。なお以下では、画素値｛ａ_００、ａ_１０、ａ_１１、ａ_０１｝を例に説明する（ｉ，ｊは０以上（その値を含む）の整数）が、他の画素値についても同様である。

図１９（Ａ）に示す画素値ａ_ｉｊは、図３〜図６等で上述の輝度値Ｙ（ａ_ｉｊ）、又は色差値Ｃｒ（ａ_ｉｊ）、又は色差値Ｃｂ（ａ_ｉｊ）に対応する。又は、画素値ａ_ｉｊは、図１１等で上述の輝度値Ｙ（ｖ_ｉｊ）、又は色差値Ｃｒ（ｖ_ｉｊ）、又は色差値Ｃｂ（ｖ_ｉｊ）に対応する。画素値ｖ’_ｉｊは、図８等で上述の輝度値Ｙ（ｖ’_ｉｊ）、又は色差値Ｃｒ（ｖ’_ｉｊ）、又は色差値Ｃｂ（ｖ’_ｉｊ）に対応する。

図１９（Ｂ）に示すように、まず加算画素値ａ_００〜ａ_１１から中間画素値ｂ_００〜ｂ_２１（中間推定画素値）を推定し、これらの中間画素値ｂ_００〜ｂ_２１から最終的な画素値ｖ’_００〜ｖ’_２２を推定する。

水平方向の最初の行の中間画素値ｂ_００〜ｂ_２０を例にとり、中間画素値を推定する処理について説明する。中間画素値ｂ_００〜ｂ_２０は、水平方向の最初の行の加算画素値ａ_００、ａ_１０に基づいて推定される。画素値ａ_００、ａ_１０は下式（７）で表される。
ａ_００＝ｖ’_００＋ｖ’_０１＋ｖ’_１０＋ｖ’_１１，
ａ_１０＝ｖ’_１０＋ｖ’_１１＋ｖ’_２０＋ｖ’_２１ （７）

下式（８）に示すように中間画素値ｂ_００、ｂ_１０、ｂ_２０を定義する。
ｂ_００＝ｖ’_００＋ｖ’_０１，
ｂ_１０＝ｖ’_１０＋ｖ’_１１，
ｂ_２０＝ｖ’_２０＋ｖ’_２１ （８）

次に、上式（８）を用いて上式（７）を変形すると、下式（９）が成り立つ。
ａ_００＝ｂ_００＋ｂ_１０，
ａ_１０＝ｂ_１０＋ｂ_２０ （９）

上式（９）をｂ_１０、ｂ_２０について解くと、下式（１０）が成り立ち、中間画素値ｂ_１０、ｂ_２０はｂ_００を未知数（初期変数）とする関数として表される。
ｂ_００＝（未知数），
ｂ_１０＝ａ_００−ｂ_００，
ｂ_２０＝ｂ_００＋δｉ_０＝ｂ_００＋（ａ_１０−ａ_００） （１０）

次に、画素値のパターン｛ａ_００，ａ_１０｝と中間画素値のパターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較し、その類似性が最も高い場合の未知数ｂ_００を求める。具体的には、下式（１１）に示す評価関数Ｅｊを求め、その評価関数Ｅｊが最小となる未知数ｂ_００を導出する。得られたｂ_００の値を上式（１０）に代入し、中間画素値ｂ_１０、ｂ_２０を求める。

次に、垂直方向の最初の列を例にとり、中間画素値ｂ_ｉｊを用いて推定画素値ｖ’_ｉｊを求める手法について説明する。推定画素値ｖ’_ｉｊは、中間画素値ｂ_ｉｊを求めた手法と同様に求められる。即ち、上式（９）を下式（１２）に置き換えれば、以降の処理は同様である。
ｂ_００＝ｖ’_００＋ｖ’_０１，
ｂ_０１＝ｖ’_０１＋ｖ’_０２ （１２）

以上の実施形態によれば、図１３（Ａ）に示すように、高解像画像の複数画素（例えば２×２画素）により構成される範囲を加算単位ａ_ｉｊとし、第１、第２の加算単位（例えばａ_００、ａ_１０）に対応する画素値を第１、第２の画素値（例えばＹ（ａ_００）、Ｙ（ａ_１０））とする。第１、第２の加算単位ａ_００、ａ_１０は重畳する（共通の画素ｖ’_１０、ｖ’_１１を有する）。推定演算部には、輝度画像又は色差画像が入力画像として入力される。第１、第２の画素値は、入力画像の画素値、又は入力画像に基づく補間により得られた画素値である。上式（１０）に示すように、推定演算部は、第１の画素値ａ_００と、第２の画素値ａ_１０との差分値δｉ_０＝ａ_１０−ａ_００を求め、その差分値に基づいて、推定輝度値又は推定色差値を推定画素値ｖ’_ｉｊとして求める。

より具体的には、図１３（Ｂ）に示すように、第１の中間画素値ｂ_００は、加算単位ａ_００から重畳領域（ｖ’_１０、ｖ’_１１）を除いた第１の領域（ｖ’_００、ｖ’_０１）の加算画素値である。第２の中間画素値ｂ_２０は、加算単位ａ_１０から重畳領域（ｖ’_１０、ｖ’_１１）を除いた第２の領域（ｖ’_２０、ｖ’_２１）の加算画素値である。上式（１０）に示すように、推定演算部は、第１、第２の中間画素値ｂ_００、ｂ_２０の関係式を、差分値δｉ_０を用いて表し、その関係式を用いて第１、第２の中間画素値ｂ_００、ｂ_２０を推定する。推定した第１の中間画素値ｂ_００を用いて加算単位に含まれる各画素の画素値ｖ’_ｉｊを求める。

このようにすれば、重畳シフトされた加算単位の画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。

また本実施形態では、第１、第２の中間画素値（例えばｂ_００、ｂ_２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ_００、ｂ_１０、ｂ_２０｝）とする。上式（１０）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の画素値ａ_００、ａ_１０を用いて表す。推定演算部は、中間画素値の間の関係式で表された中間画素値パターンと第１、第２の画素値ａ_００、ａ_１０とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。

ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。

また本実施形態では、上式（１１）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ_００、ｂ_１０、ｂ_２０｝）と加算画素値（ａ_００、ａ_１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。

８．第２の高解像化推定処理
次に、ＹＣｒＣｂ値を高解像化する第２の高解像化推定処理について詳細に説明する。なお以下では簡単のため、画素ピッチｐの図示を省略する。

図２０（Ａ）に示すように、撮像素子の受光面（センサ画素）と、受光面に結像する被写体像とが、撮像素子の画素開口の幅ｄよりも小さいシフト量ｓで相対的にシフトされる。図２で上述のように、このシフトは、撮像素子又は結像レンズを機械的にシフトさせることで行う。例えば、シフト量ｓ＝２ｐ／３の場合、水平方向及び垂直方向にシフト量ｓずつ３×３のシフトを行い、９枚の画像を撮像する。そして、その９枚の画像の中の、シフト量ｓずつずれた関係となっている２×２の画素値（例えばａ_００、ａ_１０、ａ_０１、ａ_１１）に基づいて、図２０（Ｂ）に示す推定画素値ｖ_ｉｊ（例えば、ａ_００、ａ_１０、ａ_０１、ａ_１１からｖ_００）を推定する。

図２０（Ｂ）に示すように、この推定処理をシフト量ｓずつずらしながら行い、高解像画像の画素値ｖ_ｉｊを順次求める。例えば、図２０（Ａ）の画素値ａ_００、ａ_１０、ａ_０１、ａ_１１から水平方向にｓずれた画素値ａ_１０、ａ_２０、ａ_１１、ａ_２１を用いて、図２０（Ｂ）のｖ_００に対して水平方向にシフト量ｓずれたｖ_１０を推定する。このようにして、実際の画素ピッチｐよりも小さい画素ピッチｓで撮像されたかのような高解像画像が取得される。画素数は、元の撮像画像の（ｐ／ｓ）^２倍となる。

なお、推定に用いる２×２の画素値は、同一画素から得られた画素値でなくともよい。即ち、図２０（Ａ）では、簡単のため、撮像素子の１画素を３×３シフトして得られる画素値のみを図示しているが、実際には、画素ピッチｐで画素が配置されており、それらの画素をシフトして得られた全ての画素値の中から、シフト量ｓずつずれた２×２の画素値を選択する。

図２１に示すように、画素値ａ_００、ａ_１０、ａ_０１、ａ_１１から推定画素値ｖ_００を推定する場合を例にとり説明する。なお以下では水平方向に高解像化した後に垂直方向に高解像化する場合を例に説明するが、垂直方向に高解像化した後に水平方向に高解像化してもよい。

図２２に示すように、シフトされた画素の重なり部分及び非重なり部分に対して、水平方向に仮想的な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝を仮定する。ｂ_１０は、ａ_００とａ_１０の重なり部分に対応しており、ｂ_００、ｂ_２０は、ａ_００とａ_１０の非重なり部分に対応している。ここで、重なり部分とは、撮像素子の画素の開口が重なる部分ということであり、具体的には、画素の開口と、その開口に対してシフト量ｓだけシフトされた開口とが重なる部分ということである。また、非重なり部分とは、撮像素子の画素の開口が重なっていない部分ということであり、具体的には、画素の開口と、その開口に対してシフト量ｓだけシフトされた開口とが重なっていない部分ということである。

任意の水平方向のシフト量ｓにて重畳シフトサンプリングにより得られた画素値｛ａ_００，ａ_１０｝は、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝のうち隣接する画素値の加算値であると見なすことができ、検出画素値｛ａ_００，ａ_１０｝は下式（１３）で表される。
ａ_００＝ｂ_００＋ｂ_１０，
ａ_１０＝ｂ_１０＋ｂ_２０ （１３）

ｂ_００を未知数（支配変数）として、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の関係式を下式（１４）のように導くことができる。
ｂ_００＝（未知数），
ｂ_１０＝ａ_００−ｂ_００，
ｂ_２０＝ｂ_００＋（ａ_１０−ａ_００） （１４）

上式（１４）に示す中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、検出画素値｛ａ_００，ａ_１０｝を手がかりに求める手法について説明する。

図２２に示すように、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。即ち、水平方向の開口幅は、ｂ_００、ｂ_２０ではｓであり、ｂ_１０ではｄ−ｓである。例えば自然画像のような被写体の撮像画像では、一般的には、低周波では周波数成分は大きく、高周波になるほど周波数成分は低くなっていく。一方、サンプリングの開口が大きい場合に取得できる撮像画像の周波数成分は低周波成分が大きく高周波成分が小さくなる。逆にサンプリングの開口が小さい場合に取得できる撮像画像の周波数成分は相対的に低周波成分が小さくなり高周波成分がより大きくなる。したがって、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、検出画素値｛ａ_００，ａ_１０｝が与えられたとき、撮像素子の画素に対する中間画素値の開口占有率を考慮し、重み係数ｃ_１、ｃ_２を下式（１５）とする。ここで、０＜ｓ＜ｄ、０＜ｃ_１＜１、０＜ｃ_２＜１である。
ｃ_１＝ｂ_００／ａ_００＝（ｓ×ｄ）／ｄ^２ （＝ｂ_２０／ａ_１０），
ｃ_２＝ｂ_１０／ａ_００＝［（ｄ−ｓ）×ｄ］／ｄ^２ （１５）

上式（１５）より、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の参照値（高確率で期待される発生値）｛ｂ_００’，ｂ_１０’，ｂ_１０”，ｂ_２０’｝は、下式（１６）と考えることができる。なお、厳密には、重み係数ｃ_１、ｃ_２は、検出画素値に対する中間画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ_１、ｃ_２を予め求めておけばよい。
ｂ_００’＝ｃ_１・ａ_００，
ｂ_１０’＝ｃ_２・ａ_００，ｂ_１０”＝ｃ_２・ａ_１０，
ｂ_２０’＝ｃ_１・ａ_１０ （１６）

図２３に示すように、上式（１４）に示す中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンと、上式（１６）に示す参照値｛ｂ_００’，ｂ_１０’，ｂ_１０”，ｂ_２０’｝とを比較し、誤差が最小になる中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝を尤もらしい推定値として特定する。つまり、下式（１７）に上式（１４）を代入して誤差の評価関数ｅ_ｂを求め、その評価関数ｅ_ｂが最小を取り得る未知数ｂ_００を決定し、決定したｂ_００を上式（１４）に代入して中間画素値｛ｂ_１０，ｂ_２０｝を求める。
ｅ_ｂ＝（ｂ_００−ｂ_００’）^２＋（ｂ_１０−ｂ_１０’）^２＋
（ｂ_１０−ｂ_１０”）^２＋（ｂ_２０−ｂ_２０’）^２ （１７）

検出画素値｛ａ_００，ａ_１０｝の各々の取り得る値は、例えば０＜ａ_００＜Ｎ、０＜ａ_１０＜Ｎのように、扱う量子化ビット数により予め決まっている。Ｎは自然数であり、検出画素値が取り得る最大値である。中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝もゼロまたは正の値であるので、検出画素値｛ａ_００，ａ_１０｝が与えられると、上式（１４）を満足する中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の取り得る範囲も限定される。図２４に示すように、この取り得る範囲を満足し、且つ上式（１７）の評価関数ｅ_ｂが最小になる中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝を求めることは言うまでもない。

なお、評価関数ｅ_ｂを下式（１８）により求め、計算量の削減をしてもよい。
ｅ_ｂ＝（ｂ_００−ｂ_００’）^２＋（ｂ_１０−ｂ_１０’）^２＋（ｂ_２０−ｂ_２０’）^２
（１８）

以上と同様の処理を、図２５の中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝に対しても適用し、検出画素値｛ａ_０１，ａ_１１｝から中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝を求める。

次に、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝、｛ｂ_０１，ｂ_１１，ｂ_２１｝から最終的な推定画素値を求める手法について説明する。図２６に示すように、中間画素の重なり部分または非重なり部分において、垂直方向に仮想的な最終推定画素値を仮定する。まず代表例として、１列目の中間画素値｛ｂ_００，ｂ_０１｝に着目し、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝を求める手法について説明する。

仮定した中間画素値｛ｂ_００，ｂ_０１｝は、垂直方向における任意のシフト量ｓでの重畳シフトサンプリングにより得られるものである。そのため、中間画素値｛ｂ_００，ｂ_０１｝は、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝のうち隣接する画素値の加算値であると見なすことができ、下式（１９）のように表される。
ｂ_００＝ｖ_００＋ｖ_０１，
ｂ_０１＝ｖ_０１＋ｖ_０２ （１９）

上式（１９）より、ｖ_００を未知数（支配変数）として、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の関係式を下式（２０）のように導くことができる。
ｖ_００＝未知数，
ｖ_０１＝ｂ_００−ｖ_００，
ｖ_０２＝ｖ_００＋（ｂ_０１−ｂ_００） （２０）

上式（２０）に示す中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、検出画素値｛ａ_００，ａ_１０｝を手がかりに求める手法について説明する。

図２６に示すように、推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。即ち、ｖ_００、ｖ_０２の開口はｓ^２であり、ｖ_０１の開口はｓ×（ｄ−ｓ）である。図２２及び上式（１５）で説明したのと同様の理由により、推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、中間画素値｛ｂ_００，ｂ_０１｝が与えられたとき、中間画素値に対する推定画素値の開口占有率を考慮し、重み係数をｃ_３、ｃ_４を下式（２１）とする。ここで、０＜ｓ＜ｄ、０＜ｃ_３＜１、０＜ｃ_４＜１である。
ｃ_３＝ｖ_００／ｂ_００＝ｓ^２／（ｓ×ｄ） （＝ｖ_０２／ｂ_０１），
ｃ_４＝ｖ_０１／ｂ_００＝［ｓ×（ｄ−ｓ）］／（ｓ×ｄ） （２１）

上式（２１）より、推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の参照値（高確率で期待される発生値）｛ｖ_００’，ｖ_０１’，ｖ_０１”，ｖ_０２’｝は、下式（２２）と考えることができる。なお、厳密には、重み係数ｃ_３、ｃ_４は、中間画素値に対する推定画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ_３、ｃ_４を予め求めておけばよい。
ｖ_００’＝ｃ_３・ｂ_００，
ｖ_０１’＝ｃ_４・ｂ_００，ｖ_０１”＝ｃ_４・ｂ_０１，
ｖ_０２’＝ｃ_３・ｂ_０１ （２２）

図２７に示すように、上式（２０）に示す推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の組合せパターンと、上式（２２）に示す参照値｛ｖ_００’，ｖ_０１’，ｖ_０１”，ｖ_０２’｝とを比較し、誤差が最小になる推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝を尤もらしい推定値として特定する。つまり、下式（２３）に上式（２０）を代入して誤差の評価関数ｅ_ｖを求め、その評価関数ｅ_ｖが最小を取り得る未知数ｖ_００を決定し、決定したｖ_００を上式（２０）に代入して推定画素値｛ｖ_０１，ｖ_０２｝を求める。
ｅ_ｖ＝（ｖ_００−ｖ_００’）^２＋（ｖ_０１−ｖ_０１’）^２＋
（ｖ_０１−ｖ_０１”）^２＋（ｖ_０２−ｖ_０２’）^２ （２３）

推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝はゼロまたは正の値であるので、中間画素値｛ｂ_００，ｂ_０１｝が与えられると、上式（２０）を満足する推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の取り得る範囲も限定される。図２８に示すように、この取り得る範囲を満足し、且つ上式（２３）の評価関数ｅ_ｖが最小になる推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝を求めることは言うまでもない。

なお、評価関数ｅ_ｖを下式（２４）により求め、計算量の削減をしてもよい。
ｅ_ｖ＝（ｖ_００−ｖ_００’）^２＋（ｖ_０１−ｖ_０１’）^２＋（ｖ_０２−ｖ_０２’）^２
（２４）

以上のようにして、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝が３つ同時に求められる。なお、図２０（Ｂ）に示すような画素開口がｓ×ｓで、水平垂直の画素ピッチがｓであるサンプリング値を得たいのであれば、求めた３つの値のうち、最終推定画素値｛ｖ_００｝のみを採用してもよい。即ち、上記の推定手法を水平方向及び垂直方向に順次ずらしながら実施していくことにより、最終推定画素値｛ｖ_ｉｊ｝（ｉ，ｊは任意の画素アドレス）を１つずつ順次求めてもよい。

９．第３の高解像化推定処理
次に、ＹＣｒＣｂ値を高解像化する第３の高解像化推定処理について詳細に説明する。なお以下では簡単のため、画素ピッチｐの図示を省略する。

図２９（Ａ）に示すように、撮像素子の受光面（センサ画素）と、受光面に結像する被写体像とが、撮像素子の画素開口の幅ｄよりも小さいシフト量ｓで相対的にシフトされる。例えば、シフト量ｓ＝２ｐ／３の場合、水平方向及び垂直方向にシフト量ｓずつ３×３のシフトを行い、９枚の画像を撮像する。なお図２９（Ａ）では、簡単のため、撮像素子上でピッチｐで並ぶ２×２画素（ａ_００，ａ_２０，ａ_０２，ａ_２２）と、その中の１画素（ａ_００）を３×３シフトして得られた画素値（ａ_００，ａ_１０，ａ_０１，ａ_１１等）のみを図示している。

図２９（Ｂ）に示すように、撮像した９枚の画像から、高解像画像の画素値ｖ_００を求める。図３０に示すように、ｖ_００は、８つの画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０，ａ_０１，ａ_１１，ａ_２１，ａ_３１｝から求められる。ａ_１０、ａ_３０は、撮像素子上で水平方向に画素ピッチｐで並ぶ画素の画素値である。そして、ａ_１０、ａ_３０は、ａ_００、ａ_２０の画素を水平方向にシフト量ｓでシフトした画素の画素値であり、ａ_０１、ａ_１１は、ａ_００、ａ_２０の画素を垂直方向にシフト量ｓでシフトした画素の画素値であり、ａ_１１、ａ_３１は、ａ_００、ａ_２０の画素を水平方向及び垂直方向にシフト量ｓでシフトした画素の画素値である。

このような推定処理をシフト量ｓずつずらしながら行い、高解像画像の画素値ｖ_ｉｊを順次求める。このようにして、実際の画素ピッチｐよりも小さい画素ピッチｓで撮像されたかのような高解像画像が取得される。画素数は、元の撮像画像の（ｐ／ｓ）^２倍となる。

以下では、図３０に示す画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０，ａ_０１，ａ_１１，ａ_２１，ａ_３１｝から推定画素値ｖ_００を推定する場合を例にとり説明する。なお、ここでは水平方向に高解像化した後に垂直方向に高解像化する場合を例に説明するが、垂直方向に高解像化した後に水平方向に高解像化してもよい。

図３１に示すように、シフトされた画素の重なり部分及び非重なり部分に対して、水平方向に仮想的な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝を仮定する。ｂ_００は、ａ_００とａ_１０の非重なり部分に対応しており、ｂ_１０は、ａ_００とａ_１０の重なり部分に対応しており、ｂ_２０は、ａ_００とａ_１０（又はａ_２０とａ_３０）の非重なり部分に対応しており、ｂ_３０は、ａ_２０とａ_３０の重なり部分に対応しており、ｂ_４０は、ａ_２０とａ_３０の非重なり部分に対応している。

任意の水平方向のシフト量ｓにて重畳シフトサンプリングにより得られた画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０｝は、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝の加算値であると見なすことができ、検出画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０｝は下式（２５）で表される。
ａ_００＝ｂ_００＋ｂ_１０，
ａ_１０＝ｂ_１０＋ｂ_２０，
ａ_２０＝ｂ_２０＋ｂ_３０，
ａ_３０＝ｂ_３０＋ｂ_４０ （２５）

ｂ_００を未知数（支配変数）として、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝の関係式を下式（２６）のように導くことができる。
ｂ_００＝（未知数），
ｂ_１０＝ａ_００−ｂ_００，
ｂ_２０＝ｂ_００＋（ａ_１０−ａ_００），
ｂ_３０＝ａ_２０−ｂ_２０，
ｂ_４０＝ａ_３０−ｂ_３０ （２６）

上式（２６）に示す中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、検出画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０｝を手がかりに求める手法について説明する。

図３１に示すように、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。図２２及び上式（１５）（第２の高解像化推定処理）で説明したのと同様の理由により、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、検出画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０｝が与えられたとき、撮像素子の画素に対する中間画素値の開口占有率を考慮し、重み係数ｃ_１、ｃ_２を下式（２７）とする。ここで、０＜ｓ＜ｄ、０＜ｃ_１＜１、０＜ｃ_２＜１である。
ｃ_１＝ｂ_００／ａ_００＝（ｓ×ｄ）／ｄ^２，
ｃ_２＝ｂ_１０／ａ_００＝［（ｄ−ｓ）×ｄ］／ｄ^２ （２７）

上式（２７）より、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝の参照値（高確率で期待される発生値）｛ｂ_００’，ｂ_１０’，ｂ_１０”，ｂ_２０’，ｂ_２０”，ｂ_３０’，ｂ_３０”，ｂ_４０’｝は、下式（２８）と考えることができる。なお、厳密には、重み係数ｃ_１、ｃ_２は、検出画素値に対する中間画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ_１、ｃ_２を予め求めておけばよい。
ｂ_００’＝ｃ_１・ａ_００，
ｂ_１０’＝ｃ_２・ａ_００，ｂ_１０”＝ｃ_２・ａ_１０，
ｂ_２０’＝ｃ_１・ａ_１０，ｂ_２０”＝ｃ_１・ａ_２０，
ｂ_３０’＝ｃ_２・ａ_２０，ｂ_３０”＝ｃ_２・ａ_３０，
ｂ_４０’＝ｃ_１・ａ_３０ （２８）

図３２に示すように、上式（２６）に示す中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝の組合せパターンと、上式（２８）に示す参照値｛ｂ_００’，ｂ_１０’，ｂ_１０”，ｂ_２０’，ｂ_２０”，ｂ_３０’，ｂ_３０”，ｂ_４０’｝とを比較し、誤差が最小になる中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝を尤もらしい推定値として特定する。つまり、下式（２９）に上式（２６）を代入して誤差の評価関数ｅ_ｂを求め、その評価関数ｅ_ｂが最小を取り得る未知数ｂ_００を決定し、決定したｂ_００を上式（２６）に代入して中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝を求める。
ｅ_ｂ＝（ｂ_００−ｂ_００’）^２＋
（ｂ_１０−ｂ_１０’）^２＋（ｂ_１０−ｂ_１０”）^２＋
（ｂ_２０−ｂ_２０’）^２＋（ｂ_２０−ｂ_２０”）^２＋
（ｂ_３０−ｂ_３０’）^２＋（ｂ_３０−ｂ_３０”）^２＋
（ｂ_４０−ｂ_４０’）^２ （２９）

図２４（第２の高解像化推定処理）で説明したのと同様の理由により、図３３に示すように、検出画素値｛ａ_００，ａ_１０，ａ_２０，ａ_３０｝が与えられたときに中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝の取り得る範囲を満足し、且つ上式（２９）の評価関数ｅ_ｂが最小になる中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝を求めることは言うまでもない。

なお、評価関数ｅ_ｂを下式（３０）により求め、計算量の削減をしてもよい。
ｅ_ｂ＝（ｂ_００−ｂ_００’）^２＋（ｂ_１０−ｂ_１０’）^２＋（ｂ_２０−ｂ_２０’）^２＋
（ｂ_３０−ｂ_３０’）^２＋（ｂ_４０−ｂ_４０’）^２
（３０）

以上と同様の処理により、図３１の中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１，ｂ_３１，ｂ_４１｝と、不図示の中間画素値｛ｂ_０２，ｂ_１２，ｂ_２２，ｂ_３２，ｂ_４２｝、｛ｂ_０３，ｂ_１３，ｂ_２３，ｂ_３３，ｂ_４３｝を求める。

次に、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０，ｂ_３０，ｂ_４０｝、〜｛ｂ_０３，ｂ_１３，ｂ_２３，ｂ_３３，ｂ_４３｝から最終的な推定画素値を求める手法について説明する。図３５に示すように、中間画素の重なり部分または非重なり部分において、垂直方向に仮想的な最終推定画素値を仮定する。まず代表例として、１列目の中間画素値｛ｂ_００，ｂ_０１，ｂ_０２，ｂ_０３｝に着目し、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝を求める手法について説明する。
仮定した中間画素値｛ｂ_００，ｂ_０１，ｂ_０２，ｂ_０３｝は、垂直方向における任意のシフト量ｓでの重畳シフトサンプリングにより得られるものである。そのため、中間画素値｛ｂ_００，ｂ_０１，ｂ_０２，ｂ_０３｝は、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝のうち隣接する画素値の加算値であると見なすことができ、下式（３１）のように表される。
ｂ_００＝ｖ_００＋ｖ_０１，
ｂ_０１＝ｖ_０１＋ｖ_０２，
ｂ_０２＝ｖ_０２＋ｖ_０３，
ｂ_０３＝ｖ_０３＋ｖ_０４ （３１）
上式（３１）より、ｖ_００を未知数（支配変数）として、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝の関係式を下式（３２）のように導くことができる。
ｖ_００＝未知数，
ｖ_０１＝ｂ_００−ｖ_００，
ｖ_０２＝ｖ_００＋（ｂ_０１−ｂ_００），
ｖ_０３＝ｂ_０２−ｖ_０２，
ｖ_０４＝ｂ_０３−ｖ_０３ （３２）

上式（３２）に示す推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、中間画素値｛ｂ_００，ｂ_０１，ｂ_０２，ｂ_０３｝を手がかりに求める手法について説明する。

図３５に示すように、推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。図２２及び上式（１５）（第２の高解像化推定処理）で説明したのと同様の理由により、推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、中間画素値｛ｂ_００，ｂ_０１，ｂ_０２，ｂ_０３｝が与えられたとき、中間画素値に対する推定画素値の開口占有率を考慮し、重み係数をｃ_３、ｃ_４を下式（３３）とする。ここで、０＜ｓ＜ｄ、０＜ｃ_３＜１、０＜ｃ_４＜１である。
ｃ_３＝ｖ_００／ｂ_００＝ｓ^２／（ｓ×ｄ），
ｃ_４＝ｖ_０１／ｂ_００＝［ｓ×（ｄ−ｓ）］／（ｓ×ｄ） （３３）

上式（３３）より、推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝の参照値（高確率で期待される発生値）｛ｖ_００’，ｖ_０１’，ｖ_０１”，ｖ_０２’，ｖ_０２”，ｖ_０３’，ｖ_０３”，ｖ_０４’｝は、下式（３４）と考えることができる。なお、厳密には、重み係数ｃ_３、ｃ_４は、中間画素値に対する推定画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ_３、ｃ_４を予め求めておけばよい。
ｖ_００’＝ｃ_３・ｂ_００，
ｖ_０１’＝ｃ_４・ｂ_００，ｖ_０１”＝ｃ_４・ｂ_０１，
ｖ_０２’＝ｃ_３・ｂ_０１，ｖ_０２”＝ｃ_３・ｂ_０２，
ｖ_０３’＝ｃ_４・ｂ_０２，ｖ_０３”＝ｃ_４・ｂ_０３，
ｖ_０４’＝ｃ_３・ｂ_０３ （３４）

図３６に示すように、上式（３２）に示す推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝の組合せパターンと、上式（３４）に示す参照値｛ｖ_００’，ｖ_０１’，ｖ_０１”，ｖ_０２’，ｖ_０２”，ｖ_０３’，ｖ_０３”，ｖ_０４’｝とを比較し、誤差が最小になる推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝を尤もらしい推定値として特定する。つまり、下式（３５）に上式（３２）を代入して誤差の評価関数ｅ_ｖを求め、その評価関数ｅ_ｖが最小を取り得る未知数ｖ_００を決定し、決定したｖ_００を上式（３２）に代入して推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝を求める。
ｅ_ｖ＝（ｖ_００−ｖ_００’）^２＋
（ｖ_０１−ｖ_０１’）^２＋（ｖ_０１−ｖ_０１”）^２＋
（ｖ_０２−ｖ_０２’）^２＋（ｖ_０２−ｖ_０２”）^２＋
（ｖ_０３−ｖ_０３’）^２＋（ｖ_０３−ｖ_０３”）^２＋
（ｖ_０４−ｖ_０４’）^２ （３５）

図２８（第２の高解像化推定処理）で説明したのと同様の理由により、図３７に示すように、中間画素値｛ｂ_００，ｂ_０１，ｂ_０２，ｂ_０３｝が与えられたときに推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝の取り得る範囲を満足し、且つ上式（３５）の評価関数ｅ_ｖが最小になる推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝を求めることは言うまでもない。

なお、評価関数ｅ_ｖを下式（３６）により求め、計算量の削減をしてもよい。
ｅ_ｖ＝（ｖ_００−ｖ_００’）^２＋（ｖ_０１−ｖ_０１’）^２＋（ｖ_０２−ｖ_０２’）^２＋
（ｖ_０３−ｖ_０３’）^２＋（ｖ_０４−ｖ_０４’）^２
（３６）

以上のようにして、最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２，ｖ_０３，ｖ_０４｝が５つ同時に求められる。なお、図２９（Ｂ）に示すような画素開口がｓ×ｓで、水平垂直の画素ピッチがｓであるサンプリング値を得たいのであれば、求めた３つの値のうち、最終推定画素値｛ｖ_００｝のみを採用してもよい。即ち、上記の推定手法を水平方向及び垂直方向に順次ずらしながら実施していくことにより、最終推定画素値｛ｖ_ｉｊ｝（ｉ，ｊは任意の画素アドレス）を１つずつ順次求めてもよい。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像制御部、画像変換部、推定演算部、画素値変換部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１００ 被写体、１１０ レンズ、１２０ 撮像素子、
１３０ 撮像制御部、１３１ 画素シフト駆動制御部、
１３２ 重畳シフト画像生成部、１４０ 画像変換部、
１４１ 隣接異色画素抽出部、１４２ 輝度画像生成部、
１４３ 色差画像生成部、１５０ データ記録部、
１６０ 超解像画素値復元推定部、１６１ 補間部、
１６２ 推定部、１７０ 輝度色差値ＲＧＢ値変換部、
１８０ ＲＧＢ３板画像出力部、
Ｃｒ（ａ_ｉｊ），Ｃｂ（ａ_ｉｊ），Ｃｒ（ｖ_ｉｊ），Ｃｂ（ｖ_ｉｊ） 色差値、
Ｃｒ（ｖ’_ｉｊ），Ｃｂ（ｖ’_ｉｊ） 推定色差値、Ｅｊ 評価関数、
Ｒ（ｖ_ｉｊ），Ｇｒ（ｖ_ｉｊ），Ｇｂ（ｖ_ｉｊ），Ｂ（ｖ_ｉｊ） 画素値、
Ｙ（ａ_ｉｊ），Ｙ（ｖ_ｉｊ） 輝度値、Ｙ（ｖ’_ｉｊ） 推定輝度値、
ａ_ｉｊ 変換単位、ｂ_００ 未知数、ｂ_ｉｊ 中間画素値、
ｆｘ フレーム、ｐ 画素ピッチ、ｐ／２ シフト量、
ｖ_ｉｊ 画素、ｖ’_ｉｊ 推定画素、δｉ_０ 差分値

Claims (14)

1. 複数色の画素が配列された撮像素子と、
   前記撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置を順次シフトしながら撮像画像を取得する制御を行う撮像制御部と、
   前記撮像画像における前記複数色の画素の画素値に基づいて、輝度値と色差値を求め、前記輝度値により構成される輝度画像と、前記色差値により構成される色差画像と、を出力する画像変換部と、
   前記輝度画像に基づいて、前記撮像素子の前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求める推定演算部と、
   前記推定輝度値と前記推定色差値を、前記高解像画像の各画素におけるＲＧＢの画素値に変換する画素値変換部と、
   を含むことを特徴とする撮像装置。
2. 請求項１において、
   前記撮像素子の画素配列を構成する基本ブロックは、
   前記複数色として第１〜第ｋの色（ｋは２以上（その値を含む）の自然数）の画素を有し、
   前記画像変換部は、
   前記撮像画像に基づく前記第１〜第ｋの色の画素値により構成される変換単位を設定し、前記変換単位に含まれる前記画素値を前記輝度値と前記色差値に変換し、
   前記推定演算部は、
   前記シフトにより得られる複数の前記輝度画像に基づいて前記推定輝度値を求め、前記シフトにより得られる複数の前記色差画像に基づいて前記推定色差値を求めることを特徴とする撮像装置。
3. 請求項２において、
   前記画素配列は、
   Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、
   前記画像変換部は、
   前記撮像画像の２×２画素により構成される前記変換単位を設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換することを特徴とする撮像装置。
4. 請求項３において、
   前記画像変換部は、
   前記変換単位の２×２画素の位置が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位を設定することを特徴とする撮像装置。
5. 請求項２において、
   前記画素配列は、
   Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、
   前記画像変換部は、
   前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記各画素におけるＲ、Ｇ、Ｂ画素値を前記変換単位として設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換することを特徴とする撮像装置。
6. 請求項２において、
   前記画素配列は、
   Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、
   前記画像変換部は、
   前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記撮像画像の２×２画素により構成される前記変換単位を設定し、前記変換単位の４つのＲ画素値の加算値と、前記変換単位の４つのＧ画素値の加算値と、前記変換単位の４つのＢ画素値の加算値とを求め、求めた前記Ｒ、Ｇ、Ｂ画素値の加算値を前記輝度値と前記色差値に変換することを特徴とする撮像装置。
7. 請求項６において、
   前記画像変換部は、
   前記変換単位の２×２画素の位置が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位を設定することを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記画素ピッチをｐとし、水平方向と垂直方向における前記シフト量をｐ／ｍ（ｍは２以上（その値を含む）の自然数）とする場合に、
   前記撮像制御部は、
   前記シフトとして、ｎ回で１巡する第１〜第ｎのシフト（ｎは２以上（その値を含む）の自然数）を行い、
   前記推定演算部は、
   前記第１〜第ｎのシフトに対応する第１〜第ｎの輝度画像又は第１〜第ｎの色差画像を第１〜第ｎの入力画像として受けて、前記第１〜第ｎの入力画像に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求め、
   前記第１〜第ｎの入力画像の画素は、
   前記高解像画像におけるｍ×ｍ画素に対応する画素であり、前記高解像画像上における位置が、前記シフト量ｐ／ｍのシフトに対応して順次画素シフトされた画素であることを特徴とする撮像装置。
9. 請求項８において、
   前記撮像制御部は、
   基準位置に設定する第１のシフトと、前記基準位置から水平方向にシフト量ｐ／２でシフトする第２のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第３のシフトと、前記基準位置から垂直方向にシフト量ｐ／２でシフトする第４のシフトとを行い、
   前記推定演算部は、
   前記第１〜第４のシフトに対応する第１〜第４の入力画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めることを特徴とする撮像装置。
10. 請求項８において、
    前記撮像制御部は、
    基準位置に設定する第１のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第２のシフトとを行い、
    前記推定演算部は、
    前記基準位置から水平方向へのシフト量ｐ／２のシフトに対応する第１の補間画像と、前記基準位置から垂直方向へのシフト量ｐ／２のシフトに対応する第２の補間画像とを、前記第１、第２の入力画像に基づいて補間により求め、
    前記第１、第２の入力画像と前記第１、第２の補間画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めることを特徴とする撮像装置。
11. 請求項１乃至７のいずれかにおいて、
    前記高解像画像の複数画素により構成される範囲を加算単位とし、第１、第２の加算単位に対応する画素値を第１、第２の画素値とし、前記第１、第２の加算単位が重畳する場合に、
    前記推定演算部には、
    前記輝度画像又は前記色差画像が入力画像として入力され、
    前記第１、第２の画素値は、
    前記入力画像の画素値、又は前記入力画像に基づく補間により得られた画素値であり、
    前記推定演算部は、
    前記第１の画素値と、前記第２の画素値との差分値を求め、前記差分値に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求めることを特徴とする撮像装置。
12. 請求項１１において、
    前記推定演算部は、
    前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値に対応する第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値に対応する第２の中間画素値との関係式を、前記差分値を用いて表し、
    前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めることを特徴とする撮像装置。
13. 請求項１２において、
    前記推定演算部は、
    前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の画素値を用いて表し、
    前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の画素値とを比較して類似性を評価し、
    前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
14. 複数色の画素が配列された撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置が順次シフトされた撮像画像を取得し、
    前記撮像画像における前記複数色の画素値に基づいて輝度値と色差値を求め、求めた前記輝度値により構成される輝度画像と、求めた前記色差値により構成される色差画像とを出力し、
    前記輝度画像に基づいて、前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求め、
    前記推定輝度値と前記推定色差値を、前記高解像画像の各画素における前記複数色の画素値に変換することを特徴とする画像生成方法。

Images