JP5963611B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。

従来より、低解像画像から高精細画像を生成する種々の手法が知られている。例えば、そのような手法として、いわゆる超解像処理がある。超解像処理では、低解像画像を順次位置ずらししながら読み出し、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。その推定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように、仮定する高精細画像を変形させる。そして、この一連の処理を繰り返すことにより高精細画像を推定する。超解像処理としては、これまでに多くの手法が提案されており、代表的にはＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などがある。

また、低解像画像から高精細画像を生成する手法として、画素シフトを用いる手法が知られている。その画素シフトを用いる手法として、例えば特許文献１、２に記載される手法がある。

特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報

従来の高解像化処理では、処理量が非常に大きくなるという課題がある。例えば、上述した一般的な超解像処理では、２次元フィルタを多用して繰り返し演算を行うことにより推定精度を上げる手法であるため、非常に処理の規模が大きくなり、処理時間が非常に長くなるという課題がある。

本発明の幾つかの態様によれば、簡素な処理で高解像化処理を行うことが可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。

本発明の一態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、前記第１画像と前記第２画像とに基づいて、前記撮像画像の高解像化処理を行う高解像化処理部と、を備え、前記第１被写体像と前記第２被写体像との間の前記視差は、前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差であり、前記高解像化処理部は、前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する前記高解像化処理を行う画像処理装置に関係する。

本発明の一態様によれば、第１被写体像と第２被写体像を撮像した画像が取得され、その第２被写体像は第１被写体像に対して、撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差を有する。そして、その撮像画像に基づいて、第１被写体像に対応する第１画像と第２被写体像に対応する第２画像とが生成され、その第１画像と第２画像の画素のうち視差の方向に沿って並ぶ画素の画素値に基づいて、視差の方向で撮像画像を高解像化する処理が行われる。これにより、簡素な処理で高解像化処理を行うことが可能になる。

また本発明の一態様では、前記高解像化処理部は、前記視差の方向に隣り合う第１画素と第２画素との間に補間対象画素を設定し、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記補間対象画素の画素値を求めてもよい。

また本発明の一態様では、前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第２画素へ向かう方向へ前記視差によりシフトしている場合に、前記高解像化処理部は、前記第２画像における前記第１画素の画素値と前記第１画像における前記第２画素の画素値とを加算して第１加算値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第２画素の画素値とを加算して第２加算値を求め、前記第２加算値に所定係数を乗じた値と前記第１加算値とを加算して前記補間対象画素の画素値を求めてもよい。

また本発明の一態様では、前記高解像化処理部は、前記視差の方向に隣り合う第１〜第３画素のうち前記第１画素と前記第３画素との間の前記第２画素を推定対象画素に設定し、前記第１画像及び前記第２画像における前記第２画素の画素値と、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記推定対象画素の画素値を求めてもよい。

また本発明の一態様では、前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第３画素へ向かう方向へ前記視差によりシフトしている場合に、前記高解像化処理部は、前記第１画像及び前記第２画像における前記第２画素の画素値を加算して第３加算値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第３画素の画素値とを加算して第４加算値を求め、前記第４加算値に負の所定係数を乗じた値と前記第３加算値とを加算して前記推定対象画素の画素値を求めてもよい。

また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記第１被写体像と前記第２被写体像とを撮像する撮像素子と、を備える撮像装置に関係する。

また本発明の他の態様では、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、マルチバンド推定部と、を備え、前記撮像素子は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、前記マルチバンド推定部は、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記位相差画像生成部は、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得してもよい。

また本発明の他の態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得し、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、前記第１被写体像と前記第２被写体像との間の前記視差が、前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差である場合に、前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する高解像化処理を行う画像処理方法に関係する。

撮像光学系の基本構成例。 第１実施形態における画像処理装置の構成例。 青色成分のサンプリング波形とサンプリング値とを表す模式図。 左右瞳のポイントスプレッドファンクションとサンプリング値の関係を表す模式図。 左右瞳のポイントスプレッドファンクションとサンプリング値の関係を画像平面上で表した模式図。 図６（Ａ）、図６（Ｂ）は、第１実施形態の高解像化処理についての説明図。 Ｒ画像の高解像化処理についての説明図。 Ｂ画像の高解像化処理についての説明図。 Ｇ画像の高解像化処理についての説明図。 Ｇ画像の方向尤度補間処理についての説明図。 第１実施形態の高解像化処理についての説明図。 係数φの決定処理のフローチャート。 図１３（Ａ）、図１３（Ｂ）は、第２実施形態の高解像化処理についての説明図。 第３実施形態における撮像装置の構成例。 第３実施形態における画像処理装置の構成例。 バンド分割手法についての説明図。 図１７（Ａ）、図１７（Ｂ）は、光学フィルタの分光特性を設定する手法についての説明図。 図１８（Ａ）〜図１８（Ｆ）は、マルチバンド推定処理についての説明図。 マルチバンド推定処理における未知数推定処理についての説明図。 図２０（Ａ）〜図２０（Ｆ）は、マルチバンド推定処理についての説明図。 マルチバンド推定処理における未知数推定処理についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
低解像画像を高解像化する手法として、超解像処理や、画素シフトを用いた手法が知られている。超解像処理では、上述のように高解像画像の推定処理、その推定画像の劣化処理、その劣化画像と元の低解像画像との比較処理を繰り返す。画素シフトを用いた手法としては、例えば特許文献１、２の手法が知られている。

特許文献１には、画素シフトさせた低解像画像を動画撮影時に時系列的に順次撮影し、それらの複数の低解像画像を合成することにより高解像画像を仮定し、その仮定した高解像画像に対して上記のような超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。しかしながら、一般的な超解像処理では、２次元フィルタを多用して繰り返し演算を行うことにより推定精度を上げていく手法なので、非常に処理の規模が大きくなり、膨大な処理時間がかかると言う課題がある。そのため、処理能力やコストの制限がある機器への適用は困難であり実用的ではない。また、この手法では時系列な複数の画像を用いるため、動きのある被写体の場合には画像の位置ずれが生じ、著しい画質劣化が発生するという課題がある。

また特許文献２には、画素シフトさせた複数枚の低解像画像を取得し、求めたい高解像画像を構成する仮の画素を副画素に設定し、その副画素の平均値と、観測される低解像画像の画素値とが一致すると仮定し、副画素の画素値を推定する手法が開示されている。しかしながら、この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、その画素値を隣接する画素に対して順次適用する。そのため、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。初期値を設定するために副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのような部分を探索する処理においては、観測画像に適当な部分がないと推定は困難になる。この手法においても動きのある被写体の場合では画質劣化が発生する。

このように従来の高解像化手法では、複雑且つ膨大な演算を伴うものが多いという課題や、動きのある被写体で画質が劣化する、という課題があり、広く機器への適用を容易にするために、より簡素且つ効果的な高解像化処理が望まれている。

そこで本実施形態では、瞳分割により位相差画像（視差画像）を取得し、その位相差画像が持つ視差を利用して高解像化を行う。具体的には、第１実施形態で後述するように、撮像素子（以下では適宜「撮像センサ」とも呼ぶ）の画素の中間位置における画素値を、その中間位置に隣接する位相差画像の画素の画素値（サンプリング値）に基づいて推定する。或は、第２実施形態で後述するように、ボケ画像をもたらすポイントスプレッドファンクション（劣化関数、点広がり関数）の波形整形を行うことにより、解像度を回復させ、元の画像の解像度よりも高い解像度の画像を生成する。このように位相差画像の視差を利用して高解像化を行うことにより、簡素な演算により高解像画像を生成することが可能となる。

２．第１実施形態
２．１．撮像光学系の基本構成
次に、本実施形態の高解像化手法について詳細に説明する。まず、第１実施形態について説明する。

図１に、本実施形態における撮像光学系の基本構成例を示す。この撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。なお以下では、第１瞳を右瞳とし、第２瞳を左瞳とする場合を例にとり説明する。また、左瞳から右瞳へ向かう瞳分割の方向を、適宜「視差方向」とも呼び、この視差方向（即ち水平走査方向）に沿った画素位置を位置ｘで表すものとする。

光学フィルタＦＬＴは、帯域｛ｒ^Ｌ，ｇ，ｂ^Ｌ｝を透過する右瞳フィルタＦＬ１（第１フィルタ）と、帯域｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝を透過する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳（第１瞳）、左瞳（第２瞳）に相当している。帯域｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝は、図１６に示すように撮像素子がもつ帯域を５バンドに分割したものであり、ｂ^Ｒ，ｂ^Ｌは青色の帯域を２バンドに分割したものであり、ｒ^Ｒ，ｒ^Ｌは赤色の帯域を２バンドに分割したものである。この帯域の詳細については、第３実施形態で後述する。なお、本実施形態では、この帯域分割に限定されず、同色の帯域を分割して右瞳と左瞳に割り当てた帯域分割であればよい。

瞳分割の方向である視差方向は、撮像素子の水平走査方向及び垂直走査方向に対して交差する方向である。撮像素子の画素ピッチが水平走査方向と垂直走査方向で同一の場合には、視差方向は、水平走査方向及び垂直走査方向に対して４５度を成す方向となる。なお、図１には、視差方向（ｘ方向）に対して直交する矢視方向から見た撮像光学系を図示している。

結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光には、右瞳を通過した被写体像と左瞳を通過した被写体像が含まれる。撮像素子は例えばＲＧＢベイヤ配列の撮像素子であり、その撮像素子は、これらの被写体像を含む結像光束を画像として撮像する。そして、左右瞳の透過率特性が明確に帯域分離されていることを用いて、撮像画像から右瞳画像（第１画像）の画素値Ｉ^Ｒ（ｘ）と左瞳画像（第２画像）の画素値Ｉ^Ｌ（ｘ）を求める。なお、Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）は位置ｘにおける画素値を表すが、画像全体を表す符号としても適宜Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）を用いる。

右瞳画像Ｉ^Ｒ（ｘ）は、例えば、分光推定した成分値｛ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ｝をそれぞれＲ、Ｇ、Ｂの画素値として構成する。左瞳画像Ｉ^Ｌ（ｘ）は、例えば、分光推定した成分値｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ｝をそれぞれＲ、Ｇ、Ｂの画素値として構成する。この右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）の生成手法としては、例えば第３実施形態で後述する手法を用いることができる。ここで、例えばｒ^Ｒ _Ｒは、光学フィルタＦＬＴの右瞳フィルタ及び撮像素子の赤色フィルタを通過した帯域ｒ^Ｒの成分値である。即ち、成分値を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表す。成分値｛ｒ^Ｒ _Ｇ，ｂ^Ｌ _Ｇ｝は、それぞれ赤色の帯域ｒ^Ｒ、青色の帯域ｂ^Ｌの成分値であるが、撮像素子の緑色フィルタを通過した成分であるため、緑色成分として考えることができる。

図１に示すように、フォーカス位置ＦＰに撮像素子のセンサ面がある場合には、右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）は視差方向にずれておらず、位置が一致している。一方、デフォーカス位置Ｄｒに撮像素子のセンサ面がある場合には、右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）は視差方向にずれる。

例えば、図１に示すデフォーカス位置Ｄｒは、フォーカスが撮像素子のセンサ面よりも前側にある前ピント状態であり、右瞳を通過した光束が左側に存在し、左瞳を通過した光束が右側に存在する。この前ピント状態の場合、光束の分離方向に対応して、右瞳画像Ｉ^Ｒ（ｘ）が左側（−ｘ方向）にずれ、左瞳画像Ｉ^Ｌ（ｘ）が右側（＋ｘ方向）にずれる。図１には、このデフォーカス位置ＤｒでのＩ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）を例として図示しており、Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）のずれ量をδで表す。一方、フォーカスが撮像素子のセンサ面よりも後ろ側にある後ピント状態では、右瞳画像Ｉ^Ｒ（ｘ）が右側にずれ、左瞳画像Ｉ^Ｌ（ｘ）が左側にずれる。

なお、以下では後ピント状態の場合を例に本実施形態の高解像化処理について説明するが、前ピント状態の場合にも同様の処理により高解像化を行うことができる。後ピント状態・前ピント状態の判断手法としては、例えば相関演算により右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）のずれ方向を判断する手法が考えられる。

２．２．画像処理装置
図２に、本実施形態の高解像化処理を行う画像処理装置の構成例を示す。この画像処理装置は、データ記録部２００、マルチバンド推定部２７０、位相差画像生成部２２０、高解像化処理部２２５を含む。なお、本実施形態は図２の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。本実施形態の画像処理装置としては、例えばパーソナルコンピュータ等の情報処理装置が想定される。或は、本実施形態の画像処理装置は、撮像装置に含まれてもよい。

データ記録部２００は、図１の撮像光学系で撮像されたＲＧＢ画像のデータを記録する。例えば、データ記録部２００は、パーソナルコンピュータの記憶装置で構成される。マルチバンド推定部２７０は、データ記録部２００からＲＧＢ画像を読み出し、そのＲＧＢ画像から各バンドの画素値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｂ^Ｌ _Ｇ，ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定する。位相差画像生成部２２０は、その画素値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｂ^Ｌ _Ｇ，ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝から右瞳画像Ｉ^Ｒ（ｘ）＝｛ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ｝と左瞳画像Ｉ^Ｌ（ｘ）＝｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ｝を生成する。この分離した右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）を、以下では「位相差画像」と呼ぶ。高解像化処理部２２５は、位相差画像Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）に対して高解像化処理を行い、その処理で得られた高解像画像を出力する。

２．３．高解像化処理
次に、本実施形態の高解像化処理について詳細に説明する。図３に、青色成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝のサンプリング波形と、それを撮像センサの青色画素で撮像したサンプリング値とを模式的に示す。画像の水平走査方向における画素位置をｉ（ｉは自然数）で表し、画像の垂直走査方向における画素位置をｊ（ｊは自然数）で表すと、画像のｘ方向における画素位置は、（ｉ，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ＋２、ｊ＋２）、・・・で表される。なお以下では、図示を簡単にするため、水平走査方向の画素位置ｉ、ｉ＋１、ｉ＋２、・・・のみでｘ方向における画素位置を図示する。

青色の画素値を構成する２つの分光成分ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂは、例えば第３実施形態で説明する分光推定処理等により分離され、デフォーカス領域では位相差δをもった類似波形として求められる。即ち、分光推定処理により、青色画像として２種類の位相差画像Ｉ（ｂ^Ｒ _Ｂ）、Ｉ（ｂ^Ｌ _Ｂ）が生成される。この位相差δを有する２つの波形は、同一の画素位置（ｉ，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ＋２、ｊ＋２）、・・・でサンプリングされる。即ち、同一の波形を位相差δだけ異なった位置でサンプリングした値が、分光成分ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂとして得られることとなる。

位相差δは、分光成分ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂの相互相関演算を行うことにより算出できる。相互相関演算については、特に限定するものではなく一般的な公知手法を用いればよい。なお、本実施形態では、必ずしも位相差δを求める必要はない。

以上では、青色成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝について説明したが、赤色成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝や緑色成分｛ｒ^Ｒ _Ｇ，ｂ^Ｌ _Ｇ｝についても同様である。また、当然ながら本実施形態においては原理上、フォーカス位置では位相差が発生せず、位相差画像Ｉ（ｂ^Ｒ _Ｂ）、Ｉ（ｂ^Ｌ _Ｂ）が同一位置となることは言うまでもない。

図４に、左右瞳のポイントスプレッドファンクション（PSF: Point Spread Function）とサンプリング値の関係を模式的に示す。図４では、撮像センサにより得られる画素位置（ｉ，ｊ）のサンプリング値をＩ_（ｉ）と表し、分光推定で求めた位相差画像での画素位置（ｉ，ｊ）のサンプリング値をＩ^Ｒ _（ｉ）、Ｉ^Ｌ _（ｉ）と表わす。なお、サンプリング値Ｉ_（ｉ）、Ｉ^Ｒ _（ｉ）、Ｉ^Ｌ _（ｉ）は、赤色、緑色、青色のそれぞれについて存在する。

図４に示すように、瞳分割されていない光学系による結像画像をｆ（ｘ）とすると、瞳分割された光学系による実際の撮像画像は、ｆ（ｘ）に対して右瞳のポイントスプレッドファンクションＰＳＦ^Ｒと左瞳のポイントスプレッドファンクションＰＳＦ^Ｌをコンボリューションしたものとなる。ここで図４の“＊”はコンボリューション演算を表す。ｘ方向において画素は（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）、・・・に存在しており、コンボリューションされた結像画像が各画素位置でサンプリングされるので、撮像画像のサンプリング値としてＩ_（ｉ）、Ｉ_{（ｉ＋２）}、Ｉ_{（ｉ＋４）}、・・・が得られる。

画素位置（ｉ，ｊ）を例にとると、サンプリング値Ｉ_（ｉ）は、ｆ（ｘ）に対してＰＳＦ^Ｒ、ＰＳＦ^Ｌの両方をコンボリューションしたものであるが、分光推定することにより、ｆ（ｘ）に対して、それぞれＰＳＦ^Ｒ、ＰＳＦ^Ｌをコンボリューションしたサンプリング値Ｉ^Ｒ _（ｉ）、Ｉ^Ｌ _（ｉ）を得ることができる。これらのサンプリング値Ｉ^Ｒ _（ｉ）は、それぞれＰＳＦ^Ｒ、ＰＳＦ^Ｌの重心位置で結像画像ｆ（ｘ）をサンプリングした値と見なすことができる。即ち、サンプリング位置は画素位置（ｉ，ｊ）であるにも関わらず、位相差δだけシフトした位置でサンプリングした画素値Ｉ^Ｒ _（ｉ）、Ｉ^Ｌ _（ｉ）を得ることができる。

図５は、上記の左右瞳のポイントスプレッドファンクションとサンプリング値の関係を画像平面で表した図である。図５において、白四角は、撮像により得られたサンプリング値Ｉ_（ｉ）を表し、その白四角を中心とする円は、ＰＳＦ^Ｒ、ＰＳＦ^Ｌの分布を模式的に表したものである。また、黒丸は、ＰＳＦ^Ｒの重心位置に存在するとみなした右瞳画像のサンプリング値Ｉ^Ｒ _（ｉ）を表し、白丸は、ＰＳＦ^Ｌの重心位置に存在するとみなした左瞳画像のサンプリング値Ｉ^Ｌ _（ｉ）を表す。なお画像データとしては、Ｉ^Ｒ _（ｉ）、Ｉ^Ｌ _（ｉ）は位置（ｉ，ｊ）での画素値である。

さて、レンズを介して得られる光学的結像画像の解像度が撮像センサのサンプリング密度に比べて高い場合には、そのサンプリング密度では光学的結像画像の解像度を十分に表すことができない。そこで本実施形態では、図４や図５に示すように、隣接する検出サンプリング点（ｉ，ｊ）、（ｉ＋２，ｊ＋２）の間の仮想サンプリング点（ｉ＋１，ｊ＋１）でのサンプリング値Ｉ’_{（ｉ＋１）}を推定する。これにより、高い解像度を表わせるサンプリングが実現できるため、高い光学的結像画像の取得が可能である。

具体的には、図６（Ａ）に示すように画素位置（ｉ＋１，ｊ＋１）を例にとると、検出サンプリング点は（ｉ，ｊ）、（ｉ＋２，ｊ＋２）であり、そのサンプリング値はＩ^Ｒ _（ｉ）、Ｉ^Ｌ _（ｉ）、Ｉ^Ｒ _{（ｉ＋２）}、Ｉ^Ｌ _{（ｉ＋２）}である。推定サンプリング値Ｉ’_{（ｉ＋１）}は、これら検出サンプリング点でのサンプリング値を用いて、下式（１）により求める。ここで、φは係数であり、０≦φ≦１．０の範囲をとると効果的である。
Ｉ’_{（ｉ＋１）}＝［Ｉ^Ｌ _（ｉ）＋Ｉ^Ｒ _{（ｉ＋２）}］＋φ・［Ｉ^Ｒ _（ｉ）＋Ｉ^Ｌ _{（ｉ＋２）}］ （１）

上式（１）を一般的な画素位置について表した場合には、下式（２）となる。ここで、ｋ＝０、１、２、・・・である。
Ｉ’_{（ｉ＋２ｋ＋１）}＝［Ｉ^Ｌ _{（ｉ＋２ｋ）}＋Ｉ^Ｒ _{（Ｉ＋２ｋ＋２）}］＋

φ・［Ｉ^Ｒ _{（ｉ＋２ｋ）}＋Ｉ^Ｌ _{（ｉ＋２ｋ＋２）}］ （２）

上式（１）では、第１加算値［Ｉ^Ｌ _（ｉ）＋Ｉ^Ｒ _{（ｉ＋２）}］と、第２加算値［Ｉ^Ｒ _（ｉ）＋Ｉ^Ｌ _{（ｉ＋２）}］に係数φを乗じた値と、を加算して推定サンプリング値Ｉ’_{（ｉ＋１）}を求める。図６（Ａ）には、この上式（１）の演算を考慮したポイントスプレッドファンクションと結像画像ｆ（ｘ）とのコンボリューションを模式的に示している。上式（１）の演算は、これらのポイントスプレッドファンクションを加算することに相当する。即ち、図６（Ｂ）に示すように、その加算したポイントスプレッドファンクションをＰＳＦ^Ａとすると、推定サンプリング値Ｉ’_{（ｉ＋１）}は、その仮想的なポイントスプレッドファンクションＰＳＦ^Ａと結像画像ｆ（ｘ）のコンボリューションで得られた値とみなすことができる。

以上のようにして、検出サンプリング位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）の中間位置（ｉ＋１，ｊ＋１）での推定サンプリング値Ｉ’_{（ｉ＋１）}を得ることができる。即ち、ｘ方向において、実際のサンプリング密度よりも２倍の密度をもつサンプリング値を求めることができる。

次に、上記の推定サンプリング値から高解像画像を生成する手法について説明する。なお以下ではＲＧＢベイヤ配列の撮像素子を例にとり説明する。

図７に示すように、Ｒ画像では、撮像により画素位置（ｉ，ｊ）、（ｉ＋４，ｊ＋４）、（ｉ＋８，ｊ＋８）、・・・でのサンプリング値が得られる。推定サンプリング値の画素位置は、（ｉ＋２，ｊ＋２）、（ｉ＋６，ｊ＋６）、・・・である。これらのサンプリング値に対してベイヤ補間処理を行い、画素位置（ｉ＋２，ｊ）、（ｉ，ｊ＋２）等のサンプリング値を求める。

図８に示すように、Ｂ画像では、撮像により画素位置（ｉ＋２，ｊ＋２）、（ｉ＋６，ｊ＋６）、・・・でのサンプリング値が得られる。推定サンプリング値の画素位置は、（ｉ，ｊ）、（ｉ＋４，ｊ＋４）、（ｉ＋８，ｊ＋８）、・・・である。これらのサンプリング値に対してベイヤ補間処理を行い、画素位置（ｉ＋２，ｊ）、（ｉ，ｊ＋２）等のサンプリング値を求める。

図９に示すように、Ｇ画像では、撮像により画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）、・・・でのサンプリング値が得られる。推定サンプリング値の画素位置は、（ｉ＋１，ｊ＋１）、（ｉ＋３，ｊ＋３）、（ｉ＋５，ｊ＋５）、・・・である。これらのサンプリング値に対してベイヤ補間処理を行い、画素位置（ｉ＋２，ｊ）、（ｉ，ｊ＋２）、（ｉ＋３，ｊ＋１）、（ｉ＋１，ｊ＋３）等のサンプリング値を求める。このＧ画像のベイヤ補間処理では、以下に説明する方向尤度補間を行ってもよい。

図１０を用いて方向尤度補間について説明する。以下では、画素位置（ｉ＋５，ｊ＋３）の画素値を求める場合を例に説明し、画素位置（ｉ，ｊ）でのＧ画像の画素値をｇ_{（ｉ）（ｊ）}と表すものとする。

着目画素ｇ_{（ｉ＋５）（ｊ＋３）}の補間値を求める場合、その近傍画素からの補間において、一般的に変化が小さい方向の隣接画素から補間を行う方が尤度の高い値が求められる。そこで、まず、着目画素ｇ_{（ｉ＋５）（ｊ＋３）}の近傍において、水平方向ｖと垂直方向ｈのいずれの方向で、画素値の変化がより小さいかを判定する。

具体的には、水平方向ｈにおける画素値変化の評価値Ｅ_ｈを下式（３）、（４）により求める。
ｅ_ｈ１＝｜ｇ_{（ｉ＋２）（ｊ＋２）}−ｇ_{（ｉ＋６）（ｊ＋２）}｜＋
｜ｇ_{（ｉ＋６）（ｊ＋２）}−ｇ_{（ｉ＋１０）（ｊ＋２）}｜，
ｅ_ｈ２＝｜ｇ_{（ｉ＋３）（ｊ＋３）}−ｇ_{（ｉ＋７）（ｊ＋３）}｜＋
｜ｇ_{（ｉ＋７）（ｊ＋３）}−ｇ_{（ｉ＋１１）（ｊ＋３）}｜，
ｅ_ｈ３＝｜ｇ_{（ｉ＋４）（ｊ＋４）}−ｇ_{（ｉ＋８）（ｊ＋４）}｜＋
｜ｇ_{（ｉ＋８）（ｊ＋４）}−ｇ_{（ｉ＋１２）（ｊ＋４）}｜ （３）
Ｅ_ｈ＝ｅ_ｈ１＋ｅ_ｈ２＋ｅ_ｈ３ （４）

また、垂直方向ｖにおける画素値変化の評価値Ｅ_ｖを下式（５）、（６）により求める。
ｅ_ｖ１＝｜ｇ_{（ｉ＋４）（ｊ）}−ｇ_{（ｉ＋４）（ｊ＋４）}｜＋
｜ｇ_{（ｉ＋４）（ｊ＋４）}−ｇ_{（ｉ＋４）（ｊ＋８）}｜，
ｅ_ｖ２＝｜ｇ_{（ｉ＋５）（ｊ＋１）}−ｇ_{（ｉ＋５）（ｊ＋５）}｜＋
｜ｇ_{（ｉ＋５）（ｊ＋５）}−ｇ_{（ｉ＋５）（ｊ＋９）}｜，
ｅ_ｖ３＝｜ｇ_{（ｉ＋６）（ｊ＋２）}−ｇ_{（ｉ＋６）（ｊ＋６）}｜＋
｜ｇ_{（ｉ＋６）（ｊ＋６）}−ｇ_{（ｉ＋６）（ｊ＋１０）}｜ （５）
Ｅ_ｖ＝ｅ_ｖ１＋ｅ_ｖ２＋ｅ_ｖ３ （６）

そして、評価値Ｅ_ｈ、Ｅ_ｖの大小関係に基づいて補間方向を選択する。即ち、Ｅ_ｈ≦Ｅ_ｖである場合には、下式（７）により画素値ｇ_{（ｉ＋５）（ｊ＋３）}を求め、Ｅ_ｈ＞Ｅ_ｖである場合には、下式（８）により画素値ｇ_{（ｉ＋５）（ｊ＋３）}を求める。
Ｅ_ｈ≦Ｅ_ｖ：
ｇ_{（ｉ＋５）（ｊ＋３）}＝｛ｇ_{（ｉ＋３）（ｊ＋３）}＋ｇ_{（ｉ＋７）（ｊ＋３）}｝／２ （７）
Ｅ_ｈ＞Ｅ_ｖ：
ｇ_{（ｉ＋５）（ｊ＋３）}＝｛ｇ_{（ｉ＋５）（ｊ＋１）}＋ｇ_{（ｉ＋５）（ｊ＋５）}｝／２ （８）

さて、ｘ方向に瞳分割を行うことによってｘ方向（右斜め方向）のサンプリング密度を上げることができるが、ｘ方向に直交するｙ方向（左斜め方向）のサンプリング密度は上がらない。そのため、方向を考慮せずに近傍画素から補間しただけでは、補間の推定精度が得られない。この点、本実施形態では、画素値の変化率が小さい方向を判定し、その判定した方向で補間を行うので、補間の推定精度を改善することができる。

次に、上記のベイヤ補間で得られたＲ’画像、Ｇ’画像、Ｂ’画像から高解像画像を生成する手法について説明する。

上記のベイヤ補間で得られたＲ’画像、Ｇ’画像、Ｂ’画像は、撮像時のサンプリング密度に対して水平垂直共に２倍のサンプリング密度となっている。図１０に示すように、それらの画像に対してデモザイキング処理を行い、高解像画像の画素値を求める。即ち、Ｒ’画像とＢ’画像については、例えば画素位置（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）等の画素値をデモザイキング処理で求める。Ｇ’画像については、例えば画素位置（ｉ＋１，ｊ）、（ｉ，ｊ＋１）等の画素値をデモザイキング処理で求める。そして、これらのデモザイキング処理後の画像を合わせて、ＲＧＢの高解像画像を出力する。

以上の高解像化処理を行うことで、撮像センサの画素密度により取得できる解像度を上回る解像度のサンプリング画像を得ることができる。撮像時点での画素数は変わらないので、撮像時のデータ量を増やすことなく、より高い解像度の画像を生成することが可能となる。本実施形態では、光学解像度が撮像解像度よりも高い場合を想定しているので、高解像化処理によって与えられた撮像センサのサンプリング密度では得られなかった光学解像度を撮像画像として復元できることになる。このような復元効果が得られることで、焦点深度の拡大や、被写界深度の拡大が可能となり、フォーカスが合う範囲を広げることができる。これにより、例えばデジタルカメラなどでは、光学的フォーカスが多少甘い場合であっても合焦度の高い画像を生成することが可能となる。或は、焦点深度が狭い顕微鏡や、広い被写界深度が求められる内視鏡などでは、被写界深度が広がることによりフォーカス調整が容易になる。

２．４．係数φの決定手法
図１２に、上式（１）、（２）の係数φを決定する処理のフローチャートを示す。例えば、設計段階においてこのフローを実行し、予め係数φを設定すればよい。

この処理が開始されると、まず係数φの初期値を設定する（ステップＳ１）。初期値は例えばφ＝０である。次に、係数φが所定範囲内であるか否かを判定する（ステップＳ２）。所定範囲は例えば０≦φ≦１である。係数φが所定範囲内である場合には、その係数φを用いて高解像化処理を行い、高解像画像を生成する（ステップＳ３）。次に、その高解像画像の画質評価を行う（ステップＳ４）。画質評価としては、主観評価や定量評価等の種々の評価手法を用いることができる。次に、画質評価の結果を判断する（ステップＳ５）。上記のような評価手法を用いた結果、所定の値を満たした場合、つまり、画質が良好であると判断した場合には、処理を終了する。画質が良好でない場合には、φをΔφだけ変化させ（ステップＳ６）、再びステップＳ２を実行する。ステップＳ２において、係数φが所定範囲内でない場合には、ステップＳ１を再び実行する。

以上のフローを複数の画像に対して適用して各画像についての係数φを決定し、その各画像についての係数φに基づいて最終的な係数φを決定する。例えば、各画像についての係数φにおいて、最も出現頻度が高い値を最終的な係数φに決定する。

以上の実施形態によれば、図２に示すように画像処理装置は画像取得部（データ記録部２００）と位相差画像生成部２２０と高解像化処理部２２５とを含む。画像取得部は、第１被写体像（右瞳を通過した被写体像）と、第１被写体像に対して視差を有する第２被写体像（左瞳を通過した被写体像）と、を撮像して得られた撮像画像を取得する。位相差画像生成部２２０は、その撮像画像に基づいて、第１被写体像に対応する第１画像Ｉ^Ｒ（右瞳画像）と第２被写体像に対応する第２画像Ｉ^Ｌ（左瞳画像）とを生成する。高解像化処理部２２５は、その第１画像Ｉ^Ｒと第２画像Ｉ^Ｌとに基づいて、撮像画像の高解像化処理を行う。

ここで「視差」とは、被写体と観測点（本実施形態では光学系の瞳）の相対的な位置の違いによって、結像の位置が変化する（ずれる）ことである。

このようにすれば、視差を有する第１画像Ｉ^Ｒと第２画像Ｉ^Ｌを撮像画像から分離することができ、その分離した第１画像Ｉ^Ｒと第２画像Ｉ^Ｌを用いて高解像化処理を行うことができる。図４や図５で説明したように、第１画像Ｉ^Ｒと第２画像Ｉ^Ｌの画素値は、実際のサンプリング位置から視差の分だけずれた仮想的なサンプリング位置での画素値とみなすことができる。このようなサンプリング位置のシフトによって、第１画像Ｉ^Ｒと第２画像Ｉ^Ｌは、撮像素子のサンプリング密度よりも２倍の密度でサンプリングした画像と考えることができる。このようなサンプリング密度が高い第１画像Ｉ^Ｒと第２画像Ｉ^Ｌを利用することで、２次元フィルタの繰り返し演算のような高負荷の処理が不要となり、例えば上式（１）のように画素値を加算するだけの簡素な処理で高解像化を実現できる。

また本実施形態では、図１等で説明したように、第１被写体像と第２被写体像との間の視差は、撮像画像を撮像する撮像素子の水平走査方向ｈ及び垂直走査方向ｖに交差する方向の視差である。図５等に示すように、高解像化処理部２２５は、第１画像Ｉ^Ｒ及び第２画像Ｉ^Ｌの画素のうち視差の方向（ｘ方向）に沿って並ぶ画素の画素値Ｉ_（ｉ）、Ｉ_{（ｉ＋２）}、Ｉ_{（ｉ＋４）}、・・・に基づいて、視差の方向（ｘ方向）で撮像画像を高解像化する処理を行う。

このようにすれば、撮像素子の水平走査方向ｈ及び垂直走査方向ｖに交差するｘ方向に高解像化されるので、その結果として、水平走査方向ｈ及び垂直走査方向ｖのいずれの方向においても解像度を向上させることができる。

また本実施形態では、図５等に示すように、高解像化処理部２２５は、視差の方向（ｘ方向）に隣り合う第１画素（Ｉ_（ｉ））と第２画素（Ｉ_{（ｉ＋２）}）との間に補間対象画素（Ｉ’_{（ｉ＋１）}）を設定する。そして、第１画像Ｉ^Ｒ及び第２画像Ｉ^Ｌのうち一方の画像Ｉ^Ｌにおける第１画素の画素値Ｉ^Ｌ _（ｉ）と、第１画像Ｉ^Ｒ及び第２画像Ｉ^Ｌのうち他方の画像Ｉ^Ｒにおける第２画素の画素値Ｉ^Ｒ _{（ｉ＋２）}とに基づいて、補間対象画素の画素値Ｉ’_{（ｉ＋１）}を求める。

このようにすれば、視差によってサンプリング位置が仮想的にシフトした画素のうち、その仮想的なサンプリング位置が補間対象画素に近い画素を選択することが可能となる。そして、その仮想的なサンプリング位置が補間対象画素に近い画素に基づいて補間対象画素の画素値を求めることにより、元のサンプリング位置での画素値で補間した場合よりも補間精度を向上できる。

３．第２実施形態
次に、第２実施形態について説明する。なお、第１実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、撮像装置の構成など）については、適宜説明を省略する。また、以下では後ピント状態の場合を例にとって説明するが、前ピント状態の場合にも同様の処理により高解像化を行うことができる。

第２実施形態では、撮像センサのサンプリング密度が、光学的結像の解像度に対して十分である場合を想定する。即ち、光学的結像がある程度ボケており、撮像センサの解像度よりも光学的結像の解像度が低い場合を考える。本実施形態では、そのようなボケ画像の解像度を復元する処理を行う。第１実施形態とは異なり、撮像センサのサンプリング密度で決まる解像度以上の復元を行うわけでなく、あくまでも撮像センサのサンプリング密度の範囲内で解像度を復元する。

具体的には、図１３（Ａ）に示すように、撮像により画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）でのサンプリング値が得られる。そして、これらの検出サンプリング値に基づいて画素位置（ｉ＋２，ｊ＋２）でのサンプリング値Ｉ’_{（ｉ＋２）}を推定する。推定サンプリング値Ｉ’_{（ｉ＋２）}は、下式（９）により求められる。
Ｉ_{（ｉ＋２）}＝［Ｉ^Ｌ _{（ｉ＋２）}＋Ｉ^Ｒ _{（ｉ＋２）}］＋
ξ・［Ｉ^Ｌ _{（ｉ＋４）}＋Ｉ^Ｒ _（ｉ）］ （９）

ここで、ξは係数であり、−１．０≦ξ≦０の範囲をとると効果的である。この係数ξは、図１２で説明したフローと同様の処理で決定できる。即ち、ステップＳ１において例えば初期値ξ＝−１．０を設定し、係数ξについてステップＳ２以降を実行すればよい。

上式（９）を一般的な画素位置について表した場合には、下式（１０）となる。ここで、ｋ＝０、１、２、・・・である。即ち、推定サンプリング値は、全ての画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）、・・・について求められ、その推定サンプリング値で元の検出サンプリング値を置き換えることにより、高解像画像を生成する。
Ｉ_{（ｉ＋２ｋ）}＝［Ｉ^Ｌ _{（ｉ＋２ｋ）}＋Ｉ^Ｒ _{（ｉ＋２ｋ）}］＋
ξ・［Ｉ^Ｌ _{（ｉ＋２ｋ＋２）}＋Ｉ^Ｒ _（ｉ）］ （１０）

上式（９）では、第３加算値［Ｉ^Ｌ _{（ｉ＋２）}＋Ｉ^Ｒ _{（ｉ＋２）}］と、第４加算値［Ｉ^Ｌ _{（ｉ＋４）}＋Ｉ^Ｒ _（ｉ）］に係数ξを乗じた値と、を加算して推定サンプリング値Ｉ’_{（ｉ＋２）}を求める。図１３（Ａ）には、上式（９）の演算に関わる４つのポイントスプレッドファンクションと結像画像ｆ（ｘ）とのコンボリューションを模式的に示している。上式（９）の演算は、Ｉ^Ｌ _{（ｉ＋２）}、Ｉ^Ｒ _{（ｉ＋２）}に対応するポイントスプレッドファンクションから、Ｉ^Ｌ _{（ｉ＋４）}、Ｉ^Ｒ _（ｉ）に対応するポイントスプレッドファンクションを減算することに相当する。即ち、図１３（Ｂ）に示すように、その減算したポイントスプレッドファンクションをＰＳＦ^Ｂとすると、推定サンプリング値Ｉ’_{（ｉ＋２）}は、その仮想的なポイントスプレッドファンクションＰＳＦ^Ｂと結像画像ｆ（ｘ）のコンボリューションで得られた値とみなすことができる。

この仮想的なポイントスプレッドファンクションＰＳＦ^Ｂは、通常の何もしないポイントスプレッドファンクションＰＳＦ^Ｒ、ＰＳＦ^Ｌに比べて高周波成分をもっている。即ち、光学特性によって決まるポイントスプレッドファンクションを、画像処理によって、より高周波成分をもつ波形に成形したことになる。このようなポイントスプレッドファンクションの波形成形により、光学的にボケた解像度を復元することが可能となる。

以上の実施形態によれば、高解像化処理部２２５は、視差の方向（ｘ方向）に隣り合う第１〜第３画素（画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）の画素）のうち第１画素と第３画素との間の第２画素を推定対象画素（Ｉ’_{（ｉ＋２）}）に設定する。そして、第１画像Ｉ^Ｒ及び第２画像Ｉ^Ｌにおける第２画素の画素値Ｉ^Ｒ _{（ｉ＋２）}、Ｉ^Ｌ _{（ｉ＋２）}と、第１画像Ｉ^Ｒ及び第２画像Ｉ^Ｌのうち一方Ｉ^Ｒの画像における第１画素の画素値Ｉ^Ｒ _（ｉ）と、第１画像Ｉ^Ｒ及び第２画像Ｉ^Ｌのうち他方の画像Ｉ^Ｌにおける第２画素の画素値Ｉ^Ｌ _{（ｉ＋４）}とに基づいて、推定対象画素の画素値Ｉ’_{（ｉ＋２）}を求める。

このようにすれば、上述したように、光学特性によって決まるポイントスプレッドファンクションを画像処理によって高周波成分をもつ波形に成形することが可能となる。これにより、光学的にボケた画像の解像度を改善できるため、例えば被写界深度の拡大等を実現することが可能となる。例えば顕微鏡のような被写界深度が狭い光学系で撮像した画像に対して本実施形態を適用することで、見かけ上、被写界深度が広がったかのような効果が得られる。

４．第３実施形態
４．１．撮像装置
次に、第３実施形態について説明する。第３実施形態では、ＲＧＢ画像から５バンドの画像を推定し、その５バンドの画像のうち、右瞳に対応するバンドの画像から右瞳画像Ｉ^Ｒを生成し、左瞳に対応するバンドの画像から左瞳画像Ｉ^Ｌを生成する。なお、第１実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、高解像化処理など）については、適宜説明を省略する。

図１４に、第３実施形態における撮像装置の構成例を示す。この撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像部１０、位相差画像生成部２０、高解像化処理部２５（高解像画像生成部）、表示画像生成部３０、モニタ表示部４０、マルチバンド推定部７０、マルチバンド画像生成部７５、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態の撮像装置は図１４の構成に限定されず、その構成要素の一部を省略（例えばマルチバンド画像生成部７５、データ圧縮部９０など）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。

撮像部１０は、撮像素子と撮像処理部を含むことができる。撮像素子は、例えばＲＧＢ３原色の撮像素子であり、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理、ベイヤ画像に対するデモザイキング処理などを行う。また撮像部１０は、分光特性記憶部を含むことができる。その分光特性記憶部は、撮像素子がもつカラーフィルタの分光特性のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。ここで、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。即ち、分光特性記憶部は、撮像素子や結像レンズＬＮＳの分光特性を含んだ分光特性のデータを記憶する。

マルチバンド推定部７０は、撮像画像と分光特性のデータとに基づいてマルチバンド推定処理を行う。具体的には、図１６に示すように、撮像センサのカラーフィルタがもつ波長域を５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝に分割する。光学フィルタＦＬＴの右瞳は帯域｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝を透過し、左瞳は帯域｛ｒ^Ｌ，ｇ，ｂ^Ｌ｝を透過する。マルチバンド推定部７０は、撮像画像Ｉ（ｘ）のＲＧＢ画素値から５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値を推定する。

位相差画像生成部２０は、５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値から、右瞳画像Ｉ^Ｒ＝｛ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ｝と左瞳画像Ｉ^Ｌ＝｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ｝を生成する。この２画像を位相差画像とする。

高解像化処理部２２５は、位相差画像Ｉ^Ｒ（ｘ）、Ｉ^Ｌ（ｘ）に対して高解像化処理を行い、その処理で得られた高解像画像を出力する。

マルチバンド画像生成部７５は、推定した５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値から各バンドの画像を生成し、その画像をマルチバンド画像として出力する。

表示画像生成部３０は、５バンド｛ｒ^Ｌ，ｒ^Ｒ，ｇ，ｂ^Ｌ，ｂ^Ｒ｝の画素値から表示用のＲＧＢ画像を生成する。例えば｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝の画素値をＲＧＢ画像とする。モニタ表示部４０は、表示画像生成部３０が生成した画像を表示する。

データ圧縮部９０は、撮像部１０からのＲＧＢ画像を圧縮する処理を行う。データ記録部１００は、圧縮されたＲＧＢ画像データと、カラーフィルタの分光特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。なお、この事後処理は、撮像装置と別体に構成された情報処理装置で行ってもよい。

４．２．画像処理装置
図１５に、撮像装置と別体に構成した画像処理装置の構成例を示す。この画像処理装置は、データ記録部２００、データ伸張部２１０、位相差画像生成部２２０、高解像化処理部２２５、表示画像生成部２３０、モニタ表示部２４０、マルチバンド推定部２７０、マルチバンド画像生成部２７５を含む。なお、本実施形態の画像処理装置は図１５の構成に限定されず、その構成要素の一部を省略（例えばマルチバンド画像生成部２７５、データ伸張部２１０など）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。

データ記録部２００は、例えば外部記憶装置（例えばメモリカード等）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び分光特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。

位相差画像生成部２２０、高解像化処理部２２５、表示画像生成部２３０、モニタ表示部２４０、マルチバンド推定部２７０、マルチバンド画像生成部２７５については、撮像装置で説明した各構成要素と同様の動作や処理を行うため、説明を省略する。

４．３．バンド分割手法
次に、撮像画像から位相差画像を取得するためのマルチバンド推定処理について詳細に説明する。なお以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。

図１６にバンド分割についての説明図を示す。図１６に示すように、５バンドの成分ｂ^Ｒ、ｂ^Ｌ、ｇ、ｒ^Ｒ、ｒ^Ｌは、撮像系の分光特性に応じて定まる成分である。図１６には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図１６に示すカラーフィルタの透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂに含まれるものとする。

図１６に示すように、青色フィルタの透過率特性Ｆ_Ｂと緑色フィルタの透過率特性Ｆ_Ｇとの重なり部分に対応するバンドの成分がｂ^Ｌであり、青色フィルタの透過率特性Ｆ_Ｂの非重なり部分に対応するバンドの成分がｂ^Ｒである。また、赤色フィルタの透過率特性Ｆ_Ｒと緑色フィルタの透過率特性Ｆ_Ｇとの重なり部分に対応するバンドの成分がｒ^Ｒであり、赤色フィルタの透過率特性Ｆ_Ｒの非重なり部分に対応するバンドの成分がｒ^Ｌである。また、緑色フィルタの透過率特性Ｆ_Ｇの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。

５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性Ｆ_Ｇ、Ｆ_Ｂの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。

第３の実施形態では、光学フィルタＦＬＴの右瞳フィルタＦＬ１には、透過波長域としてバンド｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝を割り当て、光学フィルタＦＬＴの左瞳フィルタＦＬ２には、透過波長域としてバンド｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝を割り当てる。

４．４．色ずれ抑制の手法
次に、光学フィルタＦＬＴの分光特性を調整し、色ずれを抑制する手法について説明する。

瞳分割した光学系で撮像した画像の非合焦領域では、一方の瞳通過画像と他方の瞳通過画像の通過経路が異なるため、必ず相互に画像ずれ（位相差）が生じている。通常の撮像画像は、これら左右瞳画像が合成された画像である。この左右瞳画像は、対称関係にある左瞳と右瞳のポイントスプレッドファンクションによって生じるので、両瞳の透過波長帯域が同一である場合には、同一色成分の左右瞳画像が対称にずれ、それを合成した撮像画像には色ずれが生じない。

しかしながら、左右の瞳通過画像が同一波長域ではなく、それらの成分比がアンバランスである場合には、撮像画像に色ずれが発生する。例えば、画像のエッジ部分などでは、Ｒ、Ｇ、Ｂの画像プロファイルが相互に異なるように崩れ、色ずれが発生した画像となって表れる。このような非合焦領域での色ずれ現象は、画像品質として好ましくない。なお、合焦領域では色ずれは生じない。

図１７（Ａ）を用いて、白黒のエッジ部を前ピント状態で撮像した場合を例にとり、色ずれの発生についてより詳細に説明する。

左右瞳画像は、開口重心の異なる右瞳と左瞳のポイントスプレッドファンクションと被写体の反射率分布とのコンボリューションで表わされる。そのため、エッジ部を撮像した画像から仮にマルチバンド推定により位相差画像を生成したとすると、例えば左右瞳画像の赤成分ｒ^Ｒ _Ｒ、ｒ^Ｌ _Ｒは、位相差の分だけ左右にずれた状態となっている。この赤成分ｒ^Ｒ _Ｒ、ｒ^Ｌ _Ｒは波長帯域が異なっているので、一般的には成分バランス（即ち成分値、画素値）が異なったものとなる。そのため、撮像画像のＲ成分は、この成分バランスが異なる左右にずれた２つの赤成分ｒ^Ｒ _Ｒ、ｒ^Ｌ _Ｒを合成したものとなってしまう。

同様に、撮像画像のＢ成分は、成分バランスが異なる左右にずれた２つの青成分ｂ^Ｒ _Ｂ、ｂ^Ｌ _Ｂを合成したものとなる。撮像画像のＧ成分は、成分バランスが異なる左右にずれた２つの緑成分ｂ^Ｌ _Ｇ、ｒ^Ｒ _Ｇと、成分バランスがとれたｇ成分を合成したものとなる。ｇ成分の成分バランスがとれているのは、左右瞳で波長帯域を分けていないためである。

このように、左右瞳で各色の成分バランスがとれていない場合、撮像画像のＲＧＢ各色において左右瞳画像のずれが生じ、その画像ずれが結果として色ずれを生じる。例えば図１７（Ａ）の白黒エッジを非合焦状態で撮像した例では、左右瞳画像の成分バランスの違いによってエッジ部に色が付いてしまう。

そこで本実施形態では、図１７（Ｂ）と下式（１１）に示すように、右瞳画像と左瞳画像の成分バランスがとれるように光学フィルタＦＬＴの分光特性を設定する。
ｂ^Ｒ _Ｂ≒ｂ^Ｌ _Ｂ，
ｒ^Ｒ _Ｒ≒ｒ^Ｌ _Ｒ （１１）

一般に自然被写体ではｒ^Ｒ _Ｒとｒ^Ｌ _Ｒの画像およびｂ^Ｒ _Ｂとｂ^Ｌ _Ｂの画像の成分バランスは、近接する分光成分であるため、ほぼ等しい場合が多いと考えられる。そのため、少なくとも白色被写体の場合において成分バランスがとれるように分光特性を設定しておく。分光特性の調整は、例えばバンドＢＤ１〜ＢＤ５の帯域幅や相対ゲインを調整することによって行う。

このようにすれば、分光の成分バランスを調整することができ、特別なカラーマネージメントをしなくてもＲＧＢ各色の画像ずれを低減し、色ずれ現象の発生を抑圧できる。

４．５．マルチバンド推定処理
４．５．１．ＲＧＢ画素値とバンド成分値の関係
図１６で説明したように、右瞳を通過した波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝と、左瞳を通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１２）のようにモデル化することができる。
Ｒ＝ｇ_Ｒ＋ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ，
Ｇ＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ，
Ｂ＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ＋ｇ_Ｂ （１２）

図１８（Ｃ）に示すように、成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝は、分光特性Ｆ_Ｂの青色フィルタを通過した波長分割光｛ｂ^Ｒ，ｂ^Ｌ，ｇ｝に対応する。図１８（Ｄ）に示すように、成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝は、分光特性Ｆ_Ｇの緑色フィルタを通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｒ｝に対応する。また、図２０（Ｄ）に示すように、成分｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝は、分光特性Ｆ_Ｒの赤色フィルタを通過した波長分割光｛ｇ，ｒ^Ｒ，ｒ^Ｌ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。

４．５．２．｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の推定処理
次に、図１８（Ａ）〜図１９を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝、｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝、｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定する処理について説明する。

まず上式（１２）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂ^Ｌ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂ^Ｒと成分［ｇ＋ｒ^Ｒ］の関係を求めることにより成分｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の関係式を導き出す処理を行う。

ここで注意しなければならないのは、図１８（Ａ）〜図１８（Ｄ）に示すように、波長帯域ｂ^Ｌに対応するのは画素値Ｂの成分ｂ^Ｌ _Ｂ及び画素値Ｇの成分ｂ^Ｌ _Ｇであるが、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇには、分光特性Ｆ_Ｂ、Ｆ_Ｇの相対ゲインが乗じられていることである。そのため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇは、相対ゲインの分だけ異なる値であり、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇが等しくなるように補正する必要がある。

図１８（Ｃ）、図１８（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）の成分比をｋ_Ｂ１とし、ｂ^Ｌ _Ｇの成分比をｋ_Ｂ２とすると、下式（１３）が成り立つ。ここで、ｋ_Ｂ１／ｋ_Ｂ２は、例えば帯域ｂ^Ｌにおける分光特性Ｆ_Ｂ、Ｆ_Ｇのゲイン比である。
ｂ^Ｌ _Ｂ＋ｇ_Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｌ _Ｇ （１３）

帯域ｂ^Ｌ、ｇにおける分光特性Ｆ_Ｂのゲインを考慮すると、成分ｇ_Ｂは成分ｂ^Ｌ _Ｂよりも十分小さいと考えられるため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇを等しくするためには、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）と成分ｂ^Ｌ _Ｇがほぼ等しくなればよい。成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正した値を（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）とすると、上式（１３）を用いて下式（１４）に示す補正を行えばよい。
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ＝（ｋ_Ｂ２／ｋ_Ｂ１）×（ｂ^Ｌ _Ｂ＋ｇ_Ｂ） （１４）

成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）は画素値Ｂに含まれるため、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１５）の関係が得られる。
Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）Ｂ （１５）

上式（１５）より、Ｂ’の成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｂ’，ｇ_Ｂ’｝は下式（１６）となる。
ｂ^Ｒ _Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）×ｂ^Ｒ _Ｂ，
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ （１６）

上式（１２）、（１６）より、画素値Ｂ’と画素値Ｇを成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝を用いて表すと、下式（１７）のようになる。
Ｂ’＝ｂ^Ｒ _Ｂ’＋（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）＝ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ，
Ｇ ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ） （１７）

次に、下式（１８）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂ^Ｌを取り除く。また上式（１７）より下式（１９）が成り立つ。
Ｂ’−Ｇ＝［ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ］−［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ］
＝ｂ^Ｒ _Ｂ’−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ） （１８）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’ （１９）

ｂ^Ｒ _Ｂ’を未知数（支配変数）とすると、上式（１８）、（１９）より｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の関係式を下式（２０）のように求められる。
ｂ^Ｒ _Ｂ’＝未知数（支配変数）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’
ｇ_Ｇ＋ｒ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ’−（Ｂ’−Ｇ） （２０）

｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２０）に基づき未知数ｂ^Ｒ _Ｂ’が決まれば、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝が全て決まることになる。即ち、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の尤度パターンを特定することができる。

図１９に、この関係を原理的に表した図を示す。図１９に示すように、未知数ｂ^Ｒ _Ｂ’として、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（２１）に示す誤差の評価値Ｅ_ＢＧが最小になる場合のｂ^Ｒ _Ｂ’を求め、求めたｂ^Ｒ _Ｂ’を上式（２０）に代入することにより、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値を決定する。
ｅ^Ｂ＝（Ｂ’／２−ｂ^Ｒ _Ｂ’）^２＋（Ｂ’／２−ｂ^Ｌ _Ｇ）^２，
ｅ^Ｇ＝（Ｇ／２−ｂ^Ｌ _Ｇ）^２＋（Ｇ／２−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ））^２，
Ｅ_ＢＧ＝ｅ^Ｂ＋ｅ^Ｇ （２１）

以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を推定することができる。

なお、上記では｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂ^Ｒ _Ｂ’を求めたが、本実施形態では、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛α_ＢＢ’，α_ＧｂＧ｝の誤差が最小となる場合のｂ^Ｒ _Ｂ’を求めてもよい。ここで、α_Ｂ、α_Ｇｂは、下式（２２）を満たす値である。α_Ｂは、Ｂ’に対する｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ｝の平均的な値を算出するためのものであり、α_Ｇｂは、Ｇに対する｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の平均的な値を算出するためのものである。これらは、図１６に示すような撮像素子のカラーフィルタ特性から｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ｝及び｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の成分比を考慮して決定すればよい。
０＜α_Ｂ≦１，０＜α_Ｇｂ≦１ （２２）

４．５．３．｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝を推定する処理について説明する。

上式（１２）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒ^Ｒ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂ^Ｌ＋ｇ］と成分ｒ^Ｌの関係を求めることにより成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の関係式を導き出す処理を行う。

図２０（Ａ）〜図２０（Ｄ）に示すように、波長帯域ｒ^Ｒに対応するのは画素値Ｇの成分ｒ^Ｒ _Ｇ及び画素値Ｒの成分ｒ^Ｒ _Ｒであるが、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒには、分光特性Ｆ_Ｇ、Ｆ_Ｒの相対ゲインが乗じられている。そのため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒは、相対ゲインの分だけ異なる値であり、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒが等しくなるように補正する必要がある。

図２０（Ｃ）、図２０（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）の成分比をｋ_Ｒ１とし、ｒ^Ｒ _Ｇの成分比をｋ_Ｒ２とすると、下式（２３）が成り立つ。ｋ_Ｒ１／ｋ_Ｒ２は、例えば帯域ｒ^Ｒにおける分光特性Ｆ_Ｇ、Ｆ_Ｒのゲイン比である。
ｇ_Ｒ＋ｒ^Ｒ _Ｒ＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｒ _Ｇ （２３）

帯域ｇ、ｒ^Ｒにおける分光特性Ｆ_Ｒのゲインを考慮すると、成分ｇ_Ｒは成分ｒ^Ｒ _Ｒよりも十分小さいと考えられるため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒを等しくするためには、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）と成分ｒ^Ｒ _Ｇがほぼ等しくなればよい。成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正した値を（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）とすると、上式（２３）を用いて下式（２４）に示す補正を行えばよい。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ＝（ｋ_Ｒ２／ｋ_Ｒ１）×（ｇ_Ｒ＋ｒ^Ｒ _Ｒ） （２４）

成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）は画素値Ｒに含まれるため、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２５）の関係が得られる。
Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）Ｒ （２５）

上式（２５）より、Ｒ’の成分｛ｇ_Ｒ’，ｒ^Ｒ _Ｒ’，ｒ^Ｌ _Ｒ’｝は下式（２６）となる。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ，
ｒ^Ｌ _Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｌ _Ｒ （２６）

上式（１２）、（２６）より、画素値Ｇと画素値Ｒ’を成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ’｝を用いて表すと、下式（２７）のようになる。
Ｇ ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
Ｒ’＝（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）＋ｒ^Ｌ _Ｒ’＝ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’ （２７）

次に、下式（２８）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒ^Ｒを取り除く。また上式（２７）より下式（２９）が成り立つ。
Ｇ−Ｒ’＝［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ）］−［ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’］
＝（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）−ｒ^Ｌ _Ｒ’ （２８）
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’ （２９）

ｒ^Ｌ _Ｒ’を未知数（支配変数）とすると、上式（２８）、（２９）より｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の関係式を下式（３０）のように求められる。
ｒ^Ｌ _Ｒ’＝未知数（支配変数），
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’，
ｂ^Ｌ _Ｇ＋ｇ_Ｇ＝ｒ^Ｌ _Ｒ’＋（Ｇ−Ｒ’） （３０）

｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３０）に基づき未知数ｒ^Ｌ _Ｒ’が決まれば、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝が全て決まることになる。即ち、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の尤度パターンを特定することができる。

図２１に、この関係を原理的に表した図を示す。図２１に示すように、未知数ｒ^Ｌ _Ｒ’として、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒ^Ｌ _Ｒ’として求める。即ち、下式（３１）に示す誤差の評価値Ｅ_ＧＲが最小になる場合のｒ^Ｌ _Ｒ’を求め、求めたｒ^Ｌ _Ｒ’を上式（３０）に代入することにより、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の値を決定する。
ｅ^Ｇ＝（Ｇ／２−（ｂ^Ｌ _Ｇ＋ｇ_Ｇ））^２＋（Ｇ／２−ｒ^Ｒ _Ｇ）^２，
ｅ^Ｇ＝（Ｒ’／２−ｒ^Ｒ _Ｇ）^２＋（Ｒ’／２−（ｒ^Ｌ _Ｒ’））^２，
Ｅ_ＧＲ＝ｅ^Ｇ＋ｅ^Ｒ （３１）

以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を推定することができる。

なお、上記では｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒ^Ｌ _Ｒ’を求めたが、本実施形態では、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛α_ＧｒＧ，α_ＲＲ’｝の誤差が最小となる場合のｒ^Ｌ _Ｒ’を求めてもよい。ここで、α_Ｒ、α_Ｇｒは、下式（３２）を満たす値である。α_Ｒは、Ｒ’に対する｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ｝の平均的な値を算出するためのものであり、α_Ｇｒは、Ｇに対する｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の平均的な値を算出するためのものである。これらは、図１６に示すような撮像素子のカラーフィルタ特性から｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ｝及び｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の成分比を考慮して決定すればよい。
０＜α_Ｒ≦１，０＜α_Ｇｒ≦１ （３２）

４．５．４．成分値の算出処理、右瞳画像と左瞳画像の取得処理
次に、上記で求めた値｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を用いて、画素値Ｂを構成する成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の値と、画素値Ｇを構成する成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の値と、画素値Ｒを構成する成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝の値とを算出する。

ｂ^Ｒ _Ｂ，ｒ^Ｌ _Ｒは、上式（１６）、（２６）より、下式（３３）のように求められる。
ｂ^Ｒ _Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｒ _Ｂ’，
ｒ^Ｌ _Ｒ＝（ｋ_Ｒ１／ｋ_Ｒ２）×ｒ^Ｌ _Ｒ’ （３３）

ｂ^Ｌ _Ｂ，ｒ^Ｒ _Ｒは、ｇ_Ｂ≪ｂ^Ｒ _Ｂ，ｇ_Ｒ≪ｒ^Ｌ _Ｒであること及び上式（１２）より、下式（３４）のように求められる。
ｂ^Ｌ _Ｂ＝Ｂ−（ｂ^Ｒ _Ｂ＋ｇ_Ｂ）≒Ｂ−ｂ^Ｒ _Ｂ，
ｒ^Ｒ _Ｒ＝Ｒ−（ｒ^Ｌ _Ｒ＋ｇ_Ｒ）≒Ｒ−ｒ^Ｌ _Ｒ （３４）

ｂ^Ｌ _Ｇ，ｒ^Ｒ _Ｇは、上式（１２）より、下式（３５）のように求められる。
ｂ^Ｌ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
ｒ^Ｒ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｂ^Ｌ _Ｇ） （３５）

ｇ_Ｇは、上式（１２）、（３５）より、下式（３６）のように求められる。
ｇ_Ｇ＝Ｇ−（ｂ^Ｌ _Ｇ＋ｒ^Ｒ _Ｇ） （３６）

右瞳画像Ｉ^Ｒと左瞳画像Ｉ^ＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（３７）のように分離する。
Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ），Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ） （３７）

以上の実施形態によれば、光学フィルタＦＬＴは、撮像光学系の瞳を、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図１６で説明したように、撮像素子は、第１透過率特性Ｆ_Ｂを有する第１色（例えば青色）フィルタと、第２透過率特性Ｆ_Ｇを有する第２色（緑色）フィルタと、第３透過率特性Ｆ_Ｒを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１〜第３透過率特性｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定し、撮像画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を推定する。位相差画像生成部２０は、第１〜第５バンドＢＤ１〜ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１画像（右瞳画像）Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ）として取得し、第１〜第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２画像（左瞳画像）Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）として取得する。

このようにすれば、第１〜第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１画像と第２画像に分離することができる。そして、第１画像と第２画像の画素値を比較することにより、合焦方向（第１画像と第２画像のずれ方向）を判定できる。また、通常のＲＧＢ撮像素子を用いることが可能となるため、位相差検出用画素による画素欠陥や、１色当たりの割り当て画素数の減少等が起きず、位相差の検出精度や画像の解像度が低下しない。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定すれば、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。

また本実施形態では、図１６で説明したように、マルチバンド推定部７０は、第１透過率特性Ｆ_Ｂの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性Ｆ_Ｂと第２透過率特性Ｆ_Ｇとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性Ｆ_Ｇの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性Ｆ_Ｇと第３透過率特性Ｆ_Ｒとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性Ｆ_Ｒの非重なり部分に対応する第５バンドＢＤ５とを設定する。

ここで、透過率特性の重なり部分とは、図１６に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。

このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を推定することが可能となる。即ち、上式（１２）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂ^Ｌ）が含まれる。この重なり部分の成分値（ｂ^Ｌ）を、上式（１８）のように画素値の差分（Ｂ’−Ｇ）により消去することで、上式（２０）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像光学系、画像処理装置、撮像装置等の構成・動作や、位相差画像生成手法、高解像化処理手法、マルチバンド推定手法等も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０ 撮像部、２０ 位相差画像生成部、２５ 高解像化処理部、
３０ 表示画像生成部、４０ モニタ表示部、７０ マルチバンド推定部、
７５ マルチバンド画像生成部、９０ データ圧縮部、１００ データ記録部、
２００ データ記録部、２１０ データ伸張部、２２０ 位相差画像生成部、
２２５ 高解像化処理部、２３０ 表示画像生成部、２４０ モニタ表示部、
２７０ マルチバンド推定部、２７５ マルチバンド画像生成部、
ＢＤ１〜ＢＤ５ 第１〜第５バンド、Ｄｒ デフォーカス位置、
Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ 透過率特性、ＦＬ１ 右瞳フィルタ、ＦＬ２ 左瞳フィルタ、
ＦＬＴ 光学フィルタ、ＦＰ フォーカス位置、Ｉ^Ｌ 左瞳画像、Ｉ^Ｒ 右瞳画像、
Ｉ_（ｉ），Ｉ^Ｌ _（ｉ），Ｉ^Ｒ _（ｉ） 検出サンプリング値、
Ｉ’_（ｉ） 推定サンプリング値、ＬＮＳ 結像レンズ、
ＰＳＦ^Ａ，ＰＳＦ^Ｂ 仮想的なポイントスプレッドファンクション、
ＰＳＦ^Ｌ 左瞳のポイントスプレッドファンクション、
ＰＳＦ^Ｒ 右瞳のポイントスプレッドファンクション、
ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ 第１〜第５バンドの成分値、
ｘ 視差方向での位置、δ 位相差、ξ，φ 係数

Claims (8)

1. 第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得する画像取得部と、
   前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、
   前記第１画像と前記第２画像とに基づいて、前記撮像画像の高解像化処理を行う高解像化処理部と、
   を備え、
   前記第１被写体像と前記第２被写体像との間の前記視差は、
   前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差であり、
   前記高解像化処理部は、
   前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する前記高解像化処理を行うことを特徴とする画像処理装置。
2. 請求項１において、
   前記高解像化処理部は、
   前記視差の方向に隣り合う第１画素と第２画素との間に補間対象画素を設定し、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記補間対象画素の画素値を求めることを特徴とする画像処理装置。
3. 請求項２において、
   前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第２画素へ向かう方向へ前記視差によりシフトしている場合に、
   前記高解像化処理部は、
   前記第２画像における前記第１画素の画素値と前記第１画像における前記第２画素の画素値とを加算して第１加算値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第２画素の画素値とを加算して第２加算値を求め、前記第２加算値に所定係数を乗じた値と前記第１加算値とを加算して前記補間対象画素の画素値を求めることを特徴とする画像処理装置。
4. 請求項１において、
   前記高解像化処理部は、
   前記視差の方向に隣り合う第１〜第３画素のうち前記第１画素と前記第３画素との間の前記第２画素を推定対象画素に設定し、前記第１画像及び前記第２画像における前記第２画素の画素値と、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記推定対象画素の画素値を求めることを特徴とする画像処理装置。
5. 請求項４において、
   前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第３画素へ向かう方向へ前記視差によりシフトしている場合に、
   前記高解像化処理部は、
   前記第１画像及び前記第２画像における前記第２画素の画素値を加算して第３加算値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第３画素の画素値とを加算して第４加算値を求め、前記第４加算値に負の所定係数を乗じた値と前記第３加算値とを加算して前記推定対象画素の画素値を求めることを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかに記載された画像処理装置と、
   前記第１被写体像と前記第２被写体像とを撮像する撮像素子と、
   を備えることを特徴とする撮像装置。
7. 請求項６において、
   撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、
   マルチバンド推定部と、
   を備え、
   前記撮像素子は、
   第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、
   前記マルチバンド推定部は、
   前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
   前記位相差画像生成部は、
   前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得することを特徴とする撮像装置。
8. 第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得し、
   前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、
   前記第１被写体像と前記第２被写体像との間の前記視差が、前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差である場合に、前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する高解像化処理を行うことを特徴とする画像処理方法。