JPWO2015152423A1 - 撮像素子、撮像装置および画像処理装置 - Google Patents

Abstract

入射光束のうち非可視光の波長帯域を受光することは考慮されていなかった。そこで、光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素とを備える撮像素子を提供する。

Description

本発明は、撮像素子、撮像装置および画像処理装置に関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報

この種の撮像装置においては、入射光束のうち非可視光の波長帯域を受光することは考慮されていなかった。

本発明の第１の態様における撮像素子は、光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素と、を備える。

本発明の第２の態様における撮像装置は、入射光束を導く１つの光学系を備え、光学系の合焦位置を可視光が捉える主要被写体に対して、オードフォーカス制御する制御部を備えた上記の撮像素子を組み込んだ撮像装置である。

本発明の第３の態様における撮像装置は、上記の撮像素子と、撮像素子の出力から、互いに視差を有する複数の可視視差画像データと、互いに視差を有する複数の非可視視差画像データとを生成する画像処理部とを備える。

本発明の第４の態様における画像処理装置は、一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、可視画像データおよび非可視画像データのうち一方を用いて他方を新たに算出する画像処理部とを備える。

本発明の第５の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、可視第１視差画像の新たに算出する画素値を、可視第１視差画像の新たに算出する画素値と可視視差なし画像の画素値との間の差が、少なくとも、非可視第１視差画像の画素値と非可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな可視第１視差画像を出力する。

本発明の第６の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、非可視第１視差画像の新たに算出する画素値を、非可視第１視差画像の新たに算出する画素値と非可視視差なし画像の画素値との間の差が、少なくとも、可視第１視差画像の画素値と可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな非可視第１視差画像を出力する。

本発明の第７の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、可視第１視差画像の新たに算出する画素値を、可視第１視差画像の新たに算出する画素値と可視視差なし画像の画素値との間で定義される比が、少なくとも、非可視第１視差画像の画素値と非可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな可視第１視差画像を出力する。

本発明の第８の態様における画像処理装置は、被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、非可視第１視差画像の新たに算出する画素値を、非可視第１視差画像の新たに算出する画素値と非可視視差なし画像の画素値との間で定義される比が、少なくとも、可視第１視差画像の画素値と可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな非可視第１視差画像を出力する。

本発明の第９の態様における画像処理装置は、一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、可視画像データおよび非可視画像データのうち少なくとも一方に含まれる視差成分を他方に重畳する画像処理部とを備える。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。 撮像素子の断面の構成を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つの場合における開口部の開口形状を説明する図である。 結像位置の波長依存性を示す概略図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 波長と分高感度との関係を説明する図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。 画素配列の一例としての実空間の配列とｋ空間を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて可視光の波長帯域に対応する画像と非可視光の波長帯域に対応する画像とを一度の撮影により生成できるように構成されている。加えて、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている場合もある。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。なお、左視点の視差画素を視差Ｌｔ画素または左視差画素、右視点の視差画素を視差Ｒｔ画素または右視差画素、視差なし画素をＮ画素と記す場合もある。左視点の視差画像を視差Ｌｔ画像または左視差画像、右視点の視差画像を視差Ｒｔ画像または右視差画像、視差なし画像をＮ画像と記す場合もある。また、入射光束のうち可視光の波長帯域を光電変換する画素を可視画素、非可視光の波長帯域を光電変換する画素を非可視画素と記す場合もある。

図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０と、撮像素子１００とを備える。撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。詳しくは後述するが、撮像素子１００の前段においては、撮像素子１００内の少なくとも非可視画素に対応する位置に、赤外線カットフィルタは配置されていない。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上へ向かう方向を＋Ｙ軸方向と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の画素が配列されたＣＣＤ、ＣＭＯＳ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２へ出力される画像信号は、可視光の波長帯域に対応する画像信号および非可視光の波長帯域に対応する画像信号を含む。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部２０１に制御されて実行される。

次に、撮像素子１００の構成の一例について説明する。図２は、撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、光学フィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、光学フィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。

光学フィルタ１０２は、開口マスク１０３上に設けられている。可視光の波長領域を受光する可視画素には、光学フィルタ１０２としてカラーフィルタが設けられている。カラーフィルタは、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。なお、白黒画像信号を出力すればよい場合にはカラーフィルタは設けない。非可視光の波長領域を受光する非可視画素には、光学フィルタ１０２として近赤外光のバンドパスフィルタが設けられている。詳しくは後述するが、互いに異なる少なくとも２種類のバンドパスフィルタが配列されていることが好ましい。

マイクロレンズ１０１は、光学フィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、光学フィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。

なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分またはバンド成分を持たせれば、光学フィルタ１０２と開口マスク１０３を一体的に形成することもできる。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導いてもよい。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。さらに、光電変換素子１０８そのものの領域を開口マスク１０３の開口部１０４に相当するように形成してもよい。

＜視差画素とボケ特性＞
視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。

図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。この場合、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図６（ｃ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

図６（ｄ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の 開口部１０４ｒの形状と、開口部１０４ｃの形状とが、全て同形状である例を示している。この場合、開口部１０４ｃを備える画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導くものの、基準方向に対応する開口部を有する偏心のない画素である。よって、視差なし画素（Ｃ画素）とみなすことができる。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図６（ａ）で示した開口部１０４ｎの半分の面積である。図６（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。

図６（ｅ）は、図６（ｄ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。また、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差なし画素のボケ幅は、視差Ｌｔ画素および視差Ｒｔ画素のボケ幅と同程度となる。

図６（ｆ）は、図６（ｄ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、光強度を表す。図６（ｆ）の曲線Ｌｔ、曲線Ｒｔは、図６（ｅ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

続いて、単眼立体撮像システムの中で、可視光領域から非可視光領域までを立体撮像するシステムについて述べる。初めに原理説明と配列構成を述べ、実施例１と実施例２で現像処理方法を述べる。

＜非可視領域へのマルチバンド化と立体撮像＞
被写体像における可視光の波長帯域だけでなく、非可視光の波長帯域も撮像できると相補的な豊富な情報が得られる。非可視光の波長帯域の情報を利用することにより、新しい空間分解能を持った分光装置を提供することが可能になる。そのとき、可視光の波長帯域と非可視光の波長帯域とを同時に一度に撮像できると、装置として最も使いやすい。更に、単眼瞳分割撮像方式の原理を用いて、撮像素子の開口を工夫することにより、同時に立体撮像できることが好ましい。そのとき、各々の可視域の色成分や非可視域のバンド成分を用いて、空間解像度を高め、更に立体視も実現するために、撮像素子をどのような配列構造とするのかが重要な課題となる。可視光の波長帯域の被写体像を立体撮像するための方式を非可視光の波長帯域へ拡張する場合に、新たにどのような新しい状況が生じ、かつ、どのような撮像素子の配列構造をとって撮像し、どのような現像処理を行えばよいのか不明であった。なかでも、単板撮像方式を採用するにあたって、可視から非可視に渡る広大なマルチバンド化の影響が光学系特性に与える影響と、その結果、単眼瞳分割撮像における立体像への影響が不明であった。

図７は、結像位置の波長依存性を示す概略図である。横軸は波長［ｎｍ］を示し、縦軸はフォーカス位置［μｍ］を示す。マルチバンド化する非可視域の波長帯域として近赤外の領域（９００ｎｍ〜１７００ｎｍ程度の範囲）を用いると、従来の可視域（４００ｎｍ〜７００ｎｍ）の単眼光学系システムを流用することができる。これほどの広帯域の波長を扱うと、同じ光学系でも可視域と非可視域では、結像する焦点面の位置が異なってくることが予想される。すなわち、一般に短波長の屈折角は長波長の屈折角よりも大きいので、図示するように、可視光の被写体像に光学系を合焦させると、近赤外光の被写体像は少しボケた像となる。なお、市販のレンズ群では、一般的に、可視光域ではＲ、Ｇ、Ｂの３色の波長帯域で平均すると、合焦面ができるだけ一致するように設計されている。可視光の合焦位置と近赤外の合焦位置とが異なるという性質は、単眼立体撮像に展開するときに、新たに有効活用できる手段としての可能性を秘めている。

図３、図４を用いて既に説明したように、単眼瞳分割撮像方式では、合焦位置の被写体においては、左視点の点像分布と右視点の点像分布とが同一であるのに対し、非合焦域の被写体においては、合焦位置から離れた被写体になるほど点像分布が広がりつつ互いに離れ、視差が発生する。また、基準視点の点像分布は、左視点の点像分布と右視点の点像分布とを合計した点像分布となる。換言すると、Ｎ画素は、左右の視差画素のそれぞれが捉える被写体像の重心位置における視点方向の被写体像を捉える。

このような単眼瞳分割撮像方式の性質は、可視光の波長領域に現れる。既に説明したように、単板撮像素子の中に、可視域を光電変換する可視画素と近赤外域を光電変換する非可視画素とを同一平面上に配列する。より詳細には、各画素に対応する光電変換素子を、光軸方向に対して同じ結像面上に配列する。そうすると、可視光の領域の被写体像が合焦したとしても、近赤外光の領域の被写体像は少しボケることになる。すなわち、可視光の領域の被写体像に視差が生じていなくても、近赤外光の領域の被写体像に多少の視差が生じている。また、近赤外光の被写体像が合焦しているときは、その逆の関係となる。つまり、近赤外光の領域の被写体像は合焦したとしても、可視光の領域の被写体像は少しボケることになる。このような性質が発生しないように、全ての波長域で結像位置を一致させるべく、画素の受光部である光電変換素子の深さを変えるように設計してもよいが、本実施形態においては、敢えてそのようなことをせずに、可視光の合焦位置と近赤外の合焦位置とが少し異なる性質を利用する。現像処理の方法として、後述する実施例１ではなく、後述する実施例２を利用すると、特にその性質が活かせることになる。

＜画素配列構成の基本法則と現像処理の関係＞
上述した可視帯域と非可視帯域のマルチバンドを利用して立体撮像するためにはどのような画素配列構造をとればよいかについて説明する。特願２０１２−０６０７３８（疎で等方的な視差画素配列）においては、可視画素として全開口の視差なし画素と半開口の左右の視差画素とが配列されている。同様に、非可視画素として全開口の視差画素と半開口の左右視差画素とが配列されると、可視帯域の画素密度が低下してしまい、可視域の空間解像能力をそいでしまうという問題が発生する。すなわち、多視差化とマルチバンド化に伴って、各々の成分の空間解像との両立が問題となる。そこで、本実施形態においては、次のような基本的立場をとり、図８、図９等に示す配列を採用する。

図８および図９は、画素配列の一例としての実空間の配列とｋ空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図の配列図において、実線の矩形は可視視差画素を示し、破線の矩形は非可視視差画素を示す。実線の正方形は可視視差なし画素を示す。

可視域でのＲＧＢ３色の２Ｄ撮像ではＢａｙｅｒ配列が有効である。それは、視感度の大きいＧ成分がＲ成分、Ｂ成分より高密度に配置されることにより、Ｇ成分が基準解像を担い、かつ、ＲＧＢ色成分間の相関、すなわち、色比Ｒ／Ｇ、Ｒ／Ｂが一定、あるいは色差Ｒ−Ｇ、Ｂ−Ｇが一定という関係を利用して、Ｒ成分、Ｂ成分の空間解像を引き上げることができるからである。さらに、可視域でのＲＧＢ３色の立体撮像では、特願２０１２−０６０７３８が示すＮ：Ｌｔ：Ｒｔ＝６：１：１配列が２Ｄ−３Ｄシームレス画像を撮影するという観点から最も有効である。すなわち、２Ｄも３Ｄも高解像に現像することができる。これは、単眼立体撮像システムでは、ボケた領域にしか視差は発生しないという性質を利用して、視差画素の密度を下げ、Ｎ画素によって基準解像を保ち、Ｎ画素が捉えたＮ画像（２Ｄ画像）の高解像情報を視差Ｌｔ画像および視差Ｒｔ画像（３Ｄ画像）に反映するからである。実験的に、特願２０１２−０６０７３８が示すＮ：Ｌｔ：Ｒｔ＝１４：１：１配列も２Ｄ−３Ｄシームレス画像の撮影に有効な性能を持つことを確認している。Ｎ：Ｌｔ：Ｒｔ＝６以上：１：１の配列であれば、２Ｄ−３Ｄシームレス画像の撮影に有効な性能を持つ可能性がある。なお、３Ｄメガネを装着した鑑賞者と３Ｄメガネを装着しない鑑賞者とが同時に鑑賞できる画像を２Ｄ−３Ｄシームレス画像という。

そこで、本実施形態においては、可視画素のみからなる画素配列から、非可視画素を加えた画素配列へ拡張するとき、特願２０１２−０６０７３８が示すＮ：Ｌｔ：Ｒｔ＝１４：１：１を基本構造として採用した上で、一部の可視視差なし画素を非可視視差画素に置き換える。より詳細には、可視域で２Ｄ−３Ｄシームレスな高解像出力が保証されている特願２０１２−０６０７３８のＮ：Ｌｔ：Ｒｔ＝１４：１：１配列（ＲＧＢ３色配列）を採用しつつ、Ｎ：Ｌｔ：Ｒｔ＝６：１：１配列へ視差画素を増分した画素を、それぞれ近赤外の３バンドの視差画素に割り当てる。以上のように割り当てることにより、図示するように、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１配列に可視光領域の２Ｄ−３Ｄシームレス画像を同時に高解像に分解する基本解像を担わせる。一方で、非可視画素としては、視差なし画素は採用せず、視差画素のみを追加している。このような配列において、非可視光領域の２Ｄ−３Ｄシームレス画像を同時に高解像出力するには、まず、非可視光の視差なし画像を可視光の視差なし画像の情報を反映させて、高解像度化する。その後に、非可視視差画素の情報を利用して、非可視の高解像な立体画像を生成する。したがって、非可視画素として視差なし画素が設けられていなくてもよい。

図８上段に示す配列は、図８下段に示す周波数解像をサンプリング時点で持つ。現像処理段階で、最も外側にまで高い解像を示す成分の情報を利用して、その他の成分の周波数解像をそこまで伸ばせる可能性を持つ。そのためには、可視視差画素と非可視視差画素の密度を低くしつつ、それらの画素を可視視差なし画素のダメージが最も少なくなるように纏まりなく離して配置するとよい。一方で、各々の色またはバンド、および視差を持つ各成分が図８下段の周波数解像をとるには、各成分を等方的に配置する必要がある。同時に、その色配列の基本構造は、Ｂａｙｅｒ配列を保つことが前提となる。そうすると、配列の基本法則は、各成分を等方的に配置しつつ、可視のＮ画素に対して纏まりなく配置するために、ある波長バンド成分の一方の視差画素を等方的に配置した上で、その波長バンドの他方の視差画素とは最も距離が離れるように配置することになる。更に、可視と非可視を区別せずに、６つの波長バンドを纏めて捉えたときに、同じ視点の視差画素同士が最も離れるように配置しつつ、非可視視差画素同士が最も離れるように配置し、かつ、可視視差画素同士も最も離れるように配置する。図９上段に示す配列についても同様のことがいえる。最後に述べた条件の優先順位の付け方によって、図８の配列をとったり、図９の配列をとったりすることになる。図８は非視差画素同士を離すことを優先した配列である。図９は同じ視点の視差画素同士が最も離れることを優先した配列である。

詳しくは後述するが、モノクロの立体撮像素子を可視と近赤外の２バンドの立体撮像素子に拡張した配列の例を図１１、図１２に示す。図１１および図１２に示す画素配列も上述の配置法則に則っている。

＜可視波長帯域と非可視波長帯域の混合立体現像＞
可視波長帯域と非可視波長帯域では、同じ光学系を用いても結像面の位置が異なるという性質を利用する点をもう少し詳しく説明する。この性質を利用して、可視帯域の立体現像において非可視帯域の視差情報を与えながら現像処理すると、新たに合焦位置でも視差が発生するという新しい効果が生み出される。可視画素のみの単眼立体撮像システムでは、合焦位置の被写体像では視差が発生せず、非合焦位置の被写体像でのみ視差が発生していた。この場合にも自然な立体視が可能になるが、人間の目においては、合焦位置でも右目と左目に写る像には視差が存在する。それでいて、焦点を合わせていない部分では、ぼんやりとしか認知していない。したがって、非可視光の結像位置が異なるという性質を利用することにより、より視覚系が捉える立体像に近い立体画像を生成する単眼立体撮像システムを提供することが可能になる。

一方で、非可視の波長帯域の立体現像では、撮像情報は極めて低解像なサンプリングしかされていない。しかしながら、非可視波長における被写体像も擬似的でもよいから空間解像の高い画像として見たいという要求がある。そこで、非可視の波長帯域の２Ｄ現像において、可視の波長帯域の２Ｄ解像を反映させた上で、立体現像においても非可視視差画素の情報だけでは不足するサンプリング情報を可視視差画素のサンプリング情報で補いながら高い解像度の非可視立体現像を可能とする。

なお、可視域での単眼立体撮像とその現像方法の説明を理解する上で、本出願と同一発明者の以下の特許文献が参考となる。
文献Ａ１：ＰＣＴ／ＪＰ２０１３／００１８１１
文献Ａ２：特開２０１３−２２９７６５
文献Ａ３：ＰＣＴ／ＪＰ２０１３／００１７４５

＜実施例１＞
−−−可視＋非可視６バンド疎な視差画素配列−−−
図８の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をｆとすると、ｋ＝２πｆで表される波数ｋのｋ空間で記述している。

図１０は、波長と分高感度との関係を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は分高感度を示す。図１０（ａ）、（ｂ）に示すように、可視光のＲＧＢカラーフィルタとして、一般的に使用される分光特性を有するカラーフィルタを用いる。一方で、近赤外光のＩ_１，Ｉ_２，Ｉ_３バンドパスフィルタとしては、図１０（ａ）に示すように、半値幅が広いバンドパスフィルタを用いてもよいし、図１０（ｂ）に示すように、半値幅が狭く特定の波長を透過させるバンドパスフィルタを用いてもよい。近赤外光のバンドパスフィルタとして互いに異なる３バンドのバンドパスフィルタを用いることができる。

以下の説明では、可視光の３色と近赤外の３バンドを、便宜上、６バンドとひとまとめに呼ぶ場合もある。また、可視光の色成分と近赤外のバンド成分とをまとめて色バンド成分と呼ぶ場合もある。波長の短いバンドから順に、Ｂ，Ｇ，Ｒ，Ｉ^Ｂ，Ｉ^Ｇ，Ｉ^Ｒという記号も用いる。

それぞれの色バンド成分で、視差なし画素にＮ、左視差画素にＬｔ、右視差画素にＲｔの下つきの添字を付けて区別する。
可視視差なし画素：Ｒ_Ｎ、Ｇ_Ｎ、Ｂ_Ｎ
可視左視差画素：Ｒ_Ｌｔ、Ｇ_Ｌｔ、Ｂ_Ｌｔ
可視右視差画素：Ｒ_Ｒｔ、Ｇ_Ｒｔ、Ｂ_Ｒｔ
近赤外左視差画素：Ｉ^Ｒ _Ｌｔ、Ｉ^Ｇ _Ｌｔ、Ｉ^Ｂ _Ｌｔ
近赤外右視差画素：Ｉ^Ｒ _Ｒｔ、Ｉ^Ｇ _Ｒｔ、Ｉ^Ｂ _Ｒｔ
なお、便宜的にＩ^Ｂ，Ｉ^Ｇ，Ｉ^Ｒを波長の短い順から名付けたが、実際にはこれらの役割を入れ替えても良い。すなわち、画素密度の多い成分を何れにとってもよいし、また、図８のＲ画素が存在する行に、必ずしも近赤外３バンドの中の最長波長側が位置していなくてもよい。

可視と非可視の非混合現像を説明する。処理の手順は、およそ以下の通りである。
１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の可視及び非可視視差画像の生成
４）左右の局所照度分布補正による可視視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）可視視差なし基準画像の生成
６）非可視視差なし基準画像の生成
７）実際の可視及び非可視視差画像の生成
８）可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。

１）色・視差多重化モザイク画像データ入力
図８の可視光及び近赤外の色バンドと視差の多重化された単板式モザイク画像をＭ（ｘ，ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをＲＡＷデータと呼ぶこともある。

２）色・視差モザイク画像のグローバル・ゲインバランス補正
左視差画素に入る照度と右視差画素に入る照度とは、絞りを絞るほど、単に左右間の相対的な分布の違いだけではなく、画像全体の平均信号レベルとしても大きな差が現実問題として生まれるので、この段階で全体的な明るさの整合をとるゲイン補正を行う。これは可視光でも近赤外光でも同様に生じる。そのために、撮影された被写体像をそのまま使って、視差なし画素の画素値の画像全体の平均値と、左視差画素の画素値の画像全体の平均値と、右視差画素の画素値の画像全体の平均値を算出する。可視光では３つの信号レベルが存在する。近赤外光では２つの信号レベルが存在する。

まず、左右間の基準点として、平均値に信号レベルを合わせるようにゲイン補正を行う。これは、例え視差があったとしても、左右の視差画素では同じような領域の被写体像を捉えていることから、一様面を撮影しなくても被写体像そのものから、レベル合わせに必要な信号情報を得ることができるとの仮定に基づく。左右間の基準点として、平均値に信号レベルを合わせるようにゲイン補正を行う。そのとき、基準点の取り方として相加平均と相乗平均の２通りが考えられる。その後、可視光については、左右平均された信号レベルと視差なし画素の信号レベルとの間で相乗平均をとって、その平均値に信号レベルを合わせるようにゲイン補正を行う。この手続きを、Ｒ、Ｇ、Ｂ、Ｉ^Ｒ、Ｉ^Ｇ、Ｉ^Ｂ各々の色バンド成分について行う。それぞれに対応する平均値を
と表す。

なお、全ての視差なし画素が全開口のマスクを持っているときに相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているときに相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。

便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、
可視Ｒ成分の視差なし画素の信号面をＲ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｒ成分の左視差画素の信号面をＲ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｒ成分の右視差画素の信号面をＲ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｇ成分の左視差画素の信号面をＧ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｇ成分の視差なし画素の信号面をＧ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｇ成分の右視差画素の信号面をＧ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｂ成分の視差なし画素の信号面をＢ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｂ成分の左視差画素の信号面をＢ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視Ｂ成分の右視差画素の信号面をＢ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
近赤外Ｉ^Ｒ成分の左視差画素の信号面をＩ^Ｒ _{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
近赤外Ｉ^Ｒ成分の右視差画素の信号面をＩ^Ｒ _{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
近赤外Ｉ^Ｇ成分の左視差画素の信号面をＩ^Ｇ _{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
近赤外Ｉ^Ｇ成分の右視差画素の信号面をＩ^Ｇ _{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
近赤外Ｉ^Ｂ成分の左視差画素の信号面をＩ^Ｂ _{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
近赤外Ｉ^Ｂ成分の右視差画素の信号面をＩ^Ｂ _{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）
と表すことにする。

以上のようにして、視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。

３）仮の可視及び非可視視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドの６色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた可視Ｇ色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めたＧ色面内の単純平均補間を行う。同様の処理をＲ，Ｇ，Ｂ，Ｉ^Ｒ，Ｉ^Ｇ，Ｉ^Ｂの６バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めたＧ色面内の単純平均補間を行う。同様の処理をＲ，Ｇ，Ｂの各々について行う。すなわち、Ｒ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｌｔ（ｘ，ｙ）を、Ｒ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｒｔ（ｘ，ｙ）を、Ｒ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｎ（ｘ，ｙ）を生成する。Ｇ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｌｔ（ｘ，ｙ）を、Ｇ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｒｔ（ｘ，ｙ）を、Ｇ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｎ（ｘ，ｙ)を生成する。Ｂ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｌｔ（ｘ，ｙ）を、Ｂ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｒｔ（ｘ，ｙ）を、Ｂ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｎ（ｘ，ｙ）を生成する。Ｉ^Ｒ _{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ^Ｒ _Ｌｔ（ｘ，ｙ）を、Ｉ^Ｒ _{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ^Ｒ _Ｒｔ（ｘ，ｙ）を、Ｉ^Ｇ _{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ^Ｇ _Ｌｔ（ｘ，ｙ）を、Ｉ^Ｇ _{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ^Ｇ _Ｒｔ（ｘ，ｙ）を、Ｉ^Ｂ _{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ^Ｂ _Ｌｔ（ｘ，ｙ）を、Ｉ^Ｂ _{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ^Ｂ _Ｒｔ（ｘ，ｙ）を生成する。

仮の可視Ｒ成分の視差なし画像をＲ_Ｎ（ｘ，ｙ）で表す。
仮の可視Ｇ成分の視差なし画像をＧ_Ｎ（ｘ，ｙ）で表す。
仮の可視Ｂ成分の視差なし画像をＢ_Ｎ（ｘ，ｙ）で表す。
仮の可視Ｒ成分の左視差画像をＲ_Ｌｔ（ｘ，ｙ）で表す。
仮の可視Ｇ成分の左視差画像をＧ_Ｌｔ（ｘ，ｙ）で表す。
仮の可視Ｂ成分の左視差画像をＢ_Ｌｔ（ｘ，ｙ）で表す。
仮の可視Ｒ成分の右視差画像をＲ_Ｒｔ（ｘ，ｙ）で表す。
仮の可視Ｇ成分の右視差画像をＧ_Ｒｔ（ｘ，ｙ）で表す。
仮の可視Ｂ成分の右視差画像をＢ_Ｒｔ（ｘ，ｙ）で表す。
仮の近赤外Ｉ^Ｒ成分の左視差画像をＩ^Ｒ _Ｌｔ（ｘ，ｙ）で表す。
仮の近赤外Ｉ^Ｇ成分の左視差画像をＩ^Ｇ _Ｌｔ（ｘ，ｙ）で表す。
仮の近赤外Ｉ^Ｂ成分の左視差画像をＩ^Ｂ _Ｌｔ（ｘ，ｙ）で表す。
仮の近赤外Ｉ^Ｒ成分の右視差画像をＩ^Ｒ _Ｒｔ（ｘ，ｙ）で表す。
仮の近赤外Ｉ^Ｇ成分の右視差画像をＩ^Ｇ _Ｒｔ（ｘ，ｙ）で表す。
仮の近赤外Ｉ^Ｂ成分の右視差画像をＩ^Ｂ _Ｒｔ（ｘ，ｙ）で表す。

なお、仮の可視視差なし画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を作るときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の４点、ないしは斜め４点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。

４）左右の照度分布補正による可視視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ２）で行ったグローバル・ゲイン補正と同様の考え方で、可視画像のＲＧＢ３バンドに限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいＢａｙｅｒ面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したＢａｙｅｒ面が出来上がる。これをＭ_Ｎ（ｘ，ｙ）と書くことにする。

この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅を全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅を半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。本実施形態では視差なし画素は全開口であるので、相加平均型を採用する。

さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。

なお、そのときに撮像素子配列における視差なし画素と視差画素との密度比を考慮に入れた相乗平均をとるようにする。すなわち、本実施例で用いている視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、可視画素のみを取り出すと、Ｎ：Ｌ：Ｒ＝１２：１：１、すなわち、Ｎ：（Ｌ＋Ｒ）＝６：１である。したがって、視差画素には６／７乗の重みを、視差なし画素には１／７乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。

以上のように、可視光３バンドについて、左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Ｂａｙｅｒ面のデータを書き換え、視差なしＢａｙｅｒ面の画像Ｍ_Ｎ（ｘ，ｙ）を出力する。なお、元々の撮像画素が近赤外画素であったデータもここで求めたデータにＢａｙｅｒ配列の色の規則に則って置き換えを行うものとする。

５）可視視差なし基準画像の生成
こうして可視ＲＧＢ各色成分の照度バランスが揃い、視差の消滅したＢａｙｅｒ面Ｍ_Ｎ（ｘ，ｙ）から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を２Ｄ画像として生成することができる。例えば、公知のＢａｙｅｒ補間技術の最も優れた例として、本出願と同一発明者のＵＳＰ８，２５９，２１３に示される補間アルゴリズムがある。

以上のようにして得られた視差なしのＲＧＢカラー画像をＲ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）によって表す。これらは線形階調で表されたＲＧＢデータである。

６）非可視視差なし基準画像の生成
次に、非可視光における近赤外の波長帯域の２Ｄ画像を高精細に生成する方法を説明する。生成する画像をＩ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）によって表すことにする。特に高精細に生成するのでなければ、これらは以下の式によって求まる。

しかし、非可視域における近赤外の画像であっても、実際にどのように物体が写っているのかをたとえ擬似的にであっても高解像の画像として生成したい場合がある。例えば、蛇は、人間が視認できる可視光とは違った赤外光によって物体を認知している。そのような像を作るために、可視光で捉えた高解像な２Ｄ画像の高周波情報を非可視光の近赤外の低解像度データに補正項として加える。そのときに、図８に示した配列で、近赤外と同じ視差画素密度である可視光の視差画素との差異を利用して、実際に不足している高周波成分を取り出す操作を行う。こうすることによって、無用な周波数帯域での過剰なエッジ強調のような弊害がでる恐れがなくなり、自然な近赤外光の高解像度化が図れる。

補正方法には２通りの演算が考えられる。すなわち、可視光の高解像度画像と低解像度画像との間で成り立つ関係が、比が一定のまま近赤外光の高解像度画像と低解像度画像の間でも成り立っていると仮定する方法と、差が一定のまま近赤外光の高解像度画像と低解像度画像の間でも成り立っている仮定する方法である。

なお、比が一定のタイプの場合、全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、比が一定の場合、本実施形態では相加平均型を採用する。

ただし、１／４乗や１／２乗、あるいは１／４倍や１／２倍の因子は、撮像素子の各色成分の画素密度の高さに合わせた信頼度の係数、すなわち重み係数である。

比が一定の方式では、線形階調空間のままの状態で演算を行うのが一般的である。一方の差が一定の方式では、一旦ガンマ変換によって対数に近い空間に持っていった上で、差が一定の補正を行いながら近赤外の高解像な２Ｄ画像を生成し、その後、逆ガンマ変換によって線形階調空間に戻す手続きを行うのが一般的である。そのガンマ変換の特性は、対数に限らず任意に設定でき、次の階調特性が優れる。ただし、ｘが入力信号、ｙが出力信号を表し、Ｘ：［０，１］、ｙ：［０，１］の範囲に規格化されているものとする。εの値は、低感度画像では零に近い値を設定し、撮像感度が大きくなるに従って大きく設定する。本出願と同一発明者のＵＳＰ７，９５７，５８８を参照されたい。

なお、比が一定の方式の相乗平均の式に対して対数をとれば、差が一定の場合の式と一致する。

７）実際の可視及び非可視視差画像の生成
可視画像に関して、ステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のカラー画像Ｒ'_Ｌｔ（ｘ，ｙ）、Ｇ'_Ｌｔ（ｘ，ｙ）、Ｂ'_Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像Ｒ'_Ｒｔ（ｘ，ｙ）、Ｇ'_Ｒｔ（ｘ，ｙ）、Ｂ'_Ｒｔ（ｘ，ｙ）を生成する。

近赤外画像に関しても、ステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｉ^Ｒ _Ｌｔ（ｘ，ｙ）、Ｉ^Ｇ _Ｌｔ（ｘ，ｙ）、Ｉ^Ｂ _Ｌｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像Ｉ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差の３バンド画像Ｉ'^Ｒ _Ｌｔ（ｘ，ｙ）、Ｉ'^Ｇ _Ｌｔ（ｘ，ｙ）、Ｉ'^Ｂ _Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差の３バンド画像Ｉ^Ｒ _Ｒｔ（ｘ，ｙ）、Ｉ^Ｇ _Ｒｔ（ｘ，ｙ）、Ｉ^Ｂ _Ｒｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像Ｉ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差の３バンド画像Ｉ'^Ｒ _Ｒｔ（ｘ，ｙ）、Ｉ'^Ｇ _Ｒｔ（ｘ，ｙ）、Ｉ'^Ｂ _Ｒｔ（ｘ，ｙ）を生成する。

すなわち、可視画像は可視画像の間の中で独立して閉じ、近赤外画像は近赤外画像の中で独立して閉じた視差変調を行う。ただし、可視波長の中では、波長バンド間の混合を行って多色視差変調をする。近赤外波長の中でも、波長バンド間の混合を行って多バンド視差変調をする。ここが後の実施例２と異なる考え方である。

視差変調の方式として、比一定に保つ方法と差一定に保つ方法との２通りが考えられる。更に、比が一定の場合には、相加平均を基準点にとる方法と相乗平均を基準点にとる方法との２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。

視差変調を行うときも、撮像素子配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、比が一定の変調の場合には、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。差が一定の変調の場合には、１／４倍、１／２倍、１／４倍の係数がそれぞれＲＧＢに掛かる。近赤外の３バンドについても同様である。

なお、比一定の視差変調は線形階調空間のままで行い、差一定の視差変調はガンマ空間で行う。ガンマ空間への変換と逆変換は、ステップ６）で定義した式と同じである。
なお、比が一定の方式の相乗平均の式に対して対数をとれば、差が一定の場合の式と一致する。

８）可視及び非可視画像の出力色空間への変換
こうして得られた可視光波長域の高解像な視差なしの中間カラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）と、高解像の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）と、高解像の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）とのそれぞれを、センサーの分光特性のカメラＲＧＢから標準的なｓＲＧＢ色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。

一方で、非可視光の波長帯域に関する標準的な色空間は存在しないので、特に非可視光画像に関しては、何も色変換をする必要はない。ただし、分光スペクトルが３バンドの間で重なっていて、その分離度をあげたい場合には、非可視光３バンド間の３ｘ３行列による線形演算が行われる。なお、可視光の波長帯域と近赤外光の波長帯域とが重なっている場合には、以下に示すように、６ｘ６行列によって同時に色空間変換を行う。なお、本実施形態においては、ＩＲカットフィルタは可視画素に対応して備えられるのに対し、非可視画素に備えられていない。また、ＩＲカットフィルタを可視画素に備えずに、可視画素においてＩＲに相当する画素値を減算することにより、ＩＲカットフィルタと同等の役割を果たすこともできる。
こうして結局、可視３色、近赤外３バンドからなる２種類の「カラー」画像として、高解像な２Ｄ画像と３Ｄ画像が生成される。

ここで、多色視差変調を行う画質的な効果を、実験事実に基づいて記載しておく。もし仮に、３色全てを用いずに単色成分のみで視差変調を行ったとする。そうした場合、色境界を持つ被写体像は、適切に視差変位を行うことができず、視差の過大変位や過小変位となって、立体像では色浮きや色沈み現象が発生することが明らかとなっている。特に、赤色の被写体が浮いて見える赤浮き現象が極めて顕著に認識される。また、レンズの軸上色収差が大きな光学系を用いて撮像した画像に対して、立体画像生成過程で単色視差変調を行ったときも、同様の現象を発生しうることが判明している。これに対し、多色視差変調を行った場合、これらの現象をほぼ完全に抑えることができるという極めて顕著な画質効果をもたらす。これは、色境界部においては、ある色成分が過大変位を起こしても別の色成分が過小変位を起こす場合が多く、実際には適正な視差変位量に相殺する機構が働くからである。軸上色収差も、ボケが大きい色成分と小さい色成分とが混在して存在するために、３つの色成分を用いると、３色の平均的なボケに落ち着いた視差変調を行う。単眼立体撮像においては、ボケと視差量は対応関係にあるから、通常、レンズの軸上色収差は色浮き・色沈み現象を発生させる。しかし、多色視差変調を行うと、色成分間に存在するボケ度合いの違いを平均化し、色浮き・色沈み現象を解消する効果も伴う。

上述した単眼立体撮像における単色視差変調の抱える課題と多色視差変調による解決策の関係は、ちょうど２Ｄ撮像における例えば、Ｂａｙｅｒ配列を色補間する時の単色外挿と多色外挿の関係に相似で現れているということができる。単色外挿とは、例えばＵＳＰ５，５４１，６５３に示されるようなＢａｙｅｒ配列のＲ成分の画素位置にＧ成分を補間するとき、周辺のＧ画素の平均値に中心のＲ画素と周辺のＲ画素の平均値の差分からなる外挿項で補正して補間値を算出する。このような単色外挿を行うと、色境界部分では過補正によるオーバーシュートを生じる問題があり、更には倍率色収差が存在するときにはブロック化現象を生じることが、本出願と同一発明者のＵＳＰ７，２３６，６２８に詳述されている。その解決手段として、多色による外挿補正を行うと、これらを全て解決することができることを、その発明の中で示している。したがって、２Ｄ画像のデモザイク処理における多色外挿補正は、３Ｄ画像のステレオ画像生成における多色視差変調とちょうど対応関係にあり、両者は共に色境界部で相補的に相殺効果として有効に機能するとともに、２Ｄ画像生成では倍率色収差の影響を防ぐ効果となって現れ、３Ｄ画像生成では軸上色収差の影響を防ぐ効果となって現れることになる。なお、上述の「多色」は、「複数の色成分を用いた」と同意である。

以上の効果については、可視における多色の色成分を非可視における多数のバンド成分に置き換えても同様のことが言える。前述のように、異なるバンド間の変調処理を行うとき、異なるバンドの画像同士が相互に同じような信号変化をし、差一定ないしは比一定の前提条件を満たすと仮定して、変調処理が行われる。この前提が崩れるとき、その崩れた領域と成り立っている領域の境界部辺りに不自然な偽像が生じることになる。しかしながら、あるバンドとあるバンドとの間が崩れていても、別のバンドはそれとは異なる状態で崩れている場合が多く、多バンドで変調処理を行うと仮定の崩れは相殺され、大部分の画像領域で、仮定が成立するような環境を構築することができる。

＜実施例２＞
−−−可視＋非可視６バンド疎な視差画素配列−−−
図８上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。

１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の可視及び非可視視差画像の生成
４）左右の局所照度分布補正による可視視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）可視視差なし基準画像の生成
６）非可視視差なし基準画像の生成
７）実際の可視及び非可視視差画像の生成
８）可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。全体的な処理の流れは、実施例１のフローチャートと同じである。ここでは、処理内容が異なる部分として、ステップ５およびステップ７を説明する。

５）可視視差なし基準画像の生成
実施例１で説明した通常のＢａｙｅｒ補間後、次の補正を加える。なぜなら、近赤外画素の撮像情報が全く使われていなければ、その分、いくら高性能なＢａｙｅｒ補間をしても通常のＢａｙｅｒ配列を補間したときに比べて、その現像画像には、ぼやけが生じているからである。よって、近赤外の信号面とも相関をとった補正項を加える。それには３通りの手法があり、それぞれ実施例１の中で説明した使い分け方に準ずる。

補正項として抽出している、近赤外の左右の視差画像の平均で生成した近赤外の視差なし画像面のエッジ成分は、サンプリング密度が低い。このため、補間により生成された画像領域は緩やかに変化するため抽出されず、サンプリング位置近傍での凹凸情報が抽出される。ゆえに、近赤外画素がサンプリングした撮像情報が可視光のＢａｙｅｒ補間結果に反映される。

７）実際の可視及び非可視視差画像の生成
可視画像に関して、ステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用い、更に、近赤外画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｉ^Ｒ _Ｌｔ（ｘ，ｙ）、Ｉ^Ｇ _Ｌｔ（ｘ，ｙ）、Ｉ^Ｂ _Ｌｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像Ｉ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）も用いて、実際に出力する解像力の高い左視差のカラー画像Ｒ'_Ｌｔ（ｘ，ｙ）、Ｇ'_Ｌｔ（ｘ，ｙ）、Ｂ'_Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用い、更に、近赤外画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｉ^Ｒ _Ｒｔ（ｘ，ｙ）、Ｉ^Ｇ _Ｒｔ（ｘ，ｙ）、Ｉ^Ｂ _Ｒｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像Ｉ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）も用いて、実際に出力する解像力の高い右視差のカラー画像Ｒ'_Ｒｔ（ｘ，ｙ）、Ｇ'_Ｒｔ（ｘ，ｙ）、Ｂ'_Ｒｔ（ｘ，ｙ）を生成する。

近赤外画像に関しても、ステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｉ^Ｒ _Ｌｔ（ｘ，ｙ）、Ｉ^Ｇ _Ｌｔ（ｘ，ｙ）、Ｉ^Ｂ _Ｌｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像Ｉ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）を用い、更に、可視画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）も用いて、実際に出力する解像力の高い左視差の３バンド画像Ｉ'^Ｒ _Ｌｔ（ｘ，ｙ）、Ｉ'^Ｇ _Ｌｔ（ｘ，ｙ）、Ｉ'^Ｂ _Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差の３バンド画像Ｉ^Ｒ _Ｒｔ（ｘ，ｙ）、Ｉ^Ｇ _Ｒｔ（ｘ，ｙ）、Ｉ^Ｂ _Ｒｔ（ｘ，ｙ）と、ステップ６）で中間処理として生成した解像力の高い視差なしの３バンド画像Ｉ^Ｒ _Ｎ（ｘ，ｙ）、Ｉ^Ｇ _Ｎ（ｘ，ｙ）、Ｉ^Ｂ _Ｎ（ｘ，ｙ）を用い、更に、可視画像のステップ３）で生成した解像力の低い仮の左視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）も用いて、実際に出力する解像力の高い右視差の３バンド画像Ｉ'^Ｒ _Ｒｔ（ｘ，ｙ）、Ｉ'^Ｇ _Ｒｔ（ｘ，ｙ）、Ｉ'^Ｂ _Ｒｔ（ｘ，ｙ）を生成する。

すなわち、可視画像は可視画像と近赤外画像と相互に混合し、近赤外画像も近赤外画像と可視画像を相互に混合した視差変調を行う。かつ、可視波長の中では波長バンド間の混合も行って多色視差変調もする。近赤外波長の中でも波長バンド間の混合も行って多バンド視差変調もする。以上によって、生成された立体画像は、全ての撮像時のサンプリング情報が反映され、高解像な可視及び近赤外の立体画像となる。

視差変調を行うときも、撮像素子配列における各視差画素同士の間でのＲＧＢ及びＩ^ＲＩ^ＧＩ^Ｂの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ：Ｉ^Ｒ：Ｉ^Ｇ：Ｉ^Ｂ＝１：２：１：１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ：Ｉ^Ｒ：Ｉ^Ｇ：Ｉ^Ｂ＝１：２：１：１：２：１であるので、比一定の変調の場合は、Ｒ成分とＩ^Ｒ成分による視差変調に１／８乗の重みを、Ｇ成分とＩ^Ｇ成分による視差変調に１／４乗の重みを、Ｂ成分とＩ^Ｂ成分による視差変調に１／８乗の重みを与えて、密度の高いＧ成分とＩ^Ｇ成分による視差変調を重視した配分をとる。差一定の視差変調の場合は１／４倍、１／２倍、１／４倍の係数がそれぞれＲＧＢとＩ^ＲＩ^ＧＩ^Ｂに掛かる。近赤外の３バンドについても同様である。

ここで、可視画像と近赤外画像の結像位置が異なる性質を利用して、合焦位置の結像画像に対しても立体画像に視差を発生させる原理をもう一度説明しておく。例えば、差一定の視差変調の場合、可視画像に合焦している被写体像の領域では、視差変調項が何れも零となる。しかしながら、近赤外の視差変調項は零とならないので、視差変調効果が生み出される。

＜実施例３＞
−−−可視モノクロ＋非可視１バンド疎な視差画素配列−−−
図１１および図１２、画素配列の一例としての実空間の配列とｋ空間を示す図である。各図の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。各図上段の配列図の基本格子においては、可視光はモノクロで撮像され、近赤外光は１バンドだけで撮像される。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、可視視差画素及び非可視視差画素の密度を疎な配置にし、残りの画素を可視視差なし画素にできるだけ割り当てた構造をした可視＋非可視モノバンド撮像素子である。以下では、図１２の配列を例に挙げて説明する。

なお、可視光と非可視光の２バンドを入れているので、ここでも便宜的にフローチャートのタイトルでは、これらを色と呼ぶことにする。ここでは、可視と非可視の相互混合現像を説明する。処理の手順は、およそ以下の通りである。ここでは、実施例２に対応する現像方法を例に挙げて説明する。実施例１に対応する現像方法に関しても基本的に同様のことがいえる。

１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の可視及び非可視視差画像の生成
４）左右の局所照度分布補正による可視視差なし基準画像の生成
（ローカル・ゲインバランス補正）
５）非可視視差なし基準画像の生成
６）実際の可視及び非可視視差画像の生成
７）可視及び非可視画像の出力色空間への変換
以下、詳細に説明する。

１）色・視差多重化モザイク画像データ入力
図１２に示す、視差が多重化された単板式の可視＋非可視モノバンドのモザイク画像をＭ（ｘ，ｙ）と表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。

便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、
可視視差なし画素の信号面をＷ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視左視差画素の信号面をＷ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
可視右視差画素の信号面をＷ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
非可視左視差画素の信号面をＩ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
非可視右視差画素の信号面をＩ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、
と表すことにする。

全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして可視視差なし画素が１つのゲイン係数で、可視左視差画素が１つのゲイン係数で、可視右視差画素が１つのゲイン係数で、非可視左視差画素が１つのゲイン係数で、非可視右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。

３）仮の可視及び非可視視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像および仮の右視差画像を可視バンドと近赤外バンドとの２色バンドのそれぞれについて生成する。例えば、単色バンドの左視差画素ばかりを集めた信号色面内の単純平均補間を行う。例えば、近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、単色バンドの右視差画素ばかりを集めた信号面内の単純平均補間を行う。この処理をＷとＩの２バンドについて行う。更に、可視単色バンドの視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ｗ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＷ_Ｌｔ（ｘ，ｙ）を、Ｗ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＷ_Ｒｔ（ｘ，ｙ）を、Ｗ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｎ（ｘ，ｙ）を、Ｉ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ_Ｌｔ（ｘ，ｙ）を、Ｉ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＩ_Ｒｔ（ｘ，ｙ）を生成する。

仮の可視視差なし画像をＷ_Ｎ（ｘ，ｙ）で表す。
仮の可視左視差画像をＷ_Ｌｔ（ｘ，ｙ）で表す。
仮の可視右視差画像をＷ_Ｒｔ（ｘ，ｙ）で表す。
仮の近赤外左視差画像をＩ_Ｌｔ（ｘ，ｙ）で表す。
仮の近赤外右視差画像をＩ_Ｒｔ（ｘ，ｙ）で表す。
なお、仮の可視視差なし画像Ｗ_Ｎ（ｘ，ｙ）を生成するときは、信号面内での方向判定を導入して高精細に行うのが好ましい。また、仮の視差画像の各々を生成するときも、上下左右の４点、ないしは斜め４点に囲まれた対称性の良い画素をまず縦横相関、ないしは斜め相関をみながら相関量の逆数加重比で補間し、残りの対称性のよい画素を順繰りにこの操作を繰り返して補間する方法がより好ましい。

４）左右の局所照度分布補正による可視視差なし基準画像の生成
（ローカル・ゲインバランス補正）
次に、ステップ２）で行ったグローバル・ゲイン補正と同様の考え方で、可視画像に限って、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい可視視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをＷ_Ｎ（ｘ，ｙ）と書くことにする。

なお、そのときに撮像素子配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとる。すなわち、本実施例で用いている可視視差なし画素（Ｗ_Ｎ）と可視左視差画素（Ｗ_Ｌｔ）と可視右視差画素（Ｗ_Ｒｔ）との比は、Ｗ_Ｎ：Ｗ_Ｌｔ：Ｗ_Ｒｔ＝１２：１：１、すなわち、Ｗ_Ｎ：（Ｗ_Ｌｔ＋Ｗ_Ｒｔ）＝６：１であるので、視差画素には６／７乗の重みを、視差なし画素には１／７乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。

このように左視点の可視画像と右視点の可視画像との平均値を更に視差のない可視基準視点の画像との平均値をとった画素値を新たな可視視差なし画素値として、可視単バンド面のデータを書き換え、可視視差なし単バンド面の画像Ｗ_Ｎ（ｘ，ｙ）を出力する。

なお、実施例２のステップ５）で記述した内容に合わせて、単バンドの可視光面と近赤外光面との相関をとって、可視視差なし画像を補正する処理を加えてもよい。その使い分け方は次ステップ６）の記載に準じる。

５）非可視視差なし基準画像の生成
次に、非可視光における近赤外の波長帯域の２Ｄ画像を高精細に生成する。生成する画像をＩ_Ｎ（ｘ，ｙ）によって表す。特に高精細に生成するのでなければ、これらは以下の式によって取得できる。

しかし、以下の補正を行って非可視画像の高解像度化を行うとよい。補正方法には２通りの演算が考えられる。比が一定の場合と差が一定の場合である。なお、比が一定の場合、全ての可視視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての可視視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、比が一定の場合、本実施形態では相加平均型を採用する。

６）実際の可視及び非可視視差画像の生成
可視画像について、ステップ３）で生成した解像力の低い仮の可視左視差画像Ｗ_Ｌｔ（ｘ，ｙ）と、ステップ４）で中間処理として生成した解像力の高い可視視差なし画像Ｗ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い可視左視差画像Ｗ_Ｌｔ'（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の可視右視差画像Ｗ_Ｒｔ（ｘ，ｙ）と、ステップ４）で中間処理として生成した解像力の高い可視視差なし画像Ｗ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い可視右視差画像Ｗ_Ｒｔ'（ｘ，ｙ）を生成する。

非可視画像についても、ステップ３）で生成した解像力の低い仮の非可視左視差画像Ｉ_Ｌｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い非可視視差なし画像Ｉ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い非可視左視差画像Ｉ_Ｌｔ'（ｘ，ｙ）を生成する。同様に、ステップ３）で生成した解像力の低い仮の非可視右視差画像Ｉ_Ｒｔ（ｘ，ｙ）と、ステップ５）で中間処理として生成した解像力の高い非可視視差なし画像Ｉ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い非可視右視差画像Ｉ_Ｒｔ'（ｘ，ｙ）を生成する。

視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法との２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。

７）可視及び非可視画像の出力色空間への変換
こうして得られた高解像な可視視差なし画像Ｗ_Ｎ（ｘ，ｙ）と、高解像の可視左視差画像Ｗ_Ｌｔ'（ｘ，ｙ）と、高解像の可視右視差画像Ｗ_Ｒｔ'（ｘ，ｙ）と、高解像な非可視視差なし画像Ｉ_Ｎ（ｘ，ｙ）と、高解像の非可視左視差画像Ｉ_Ｌｔ'（ｘ，ｙ）と、高解像の非可視右視差画像Ｉ_Ｒｔ'（ｘ，ｙ）とのそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。

＜実施例４＞
実施例２、３で説明した可視光と近赤外光の結像面の位置が異なることを最も有効に作用させるための撮像装置としてのカメラシステムを説明する。すなわち、実施例２ないし３に記載した撮像素子を搭載したカメラを通常の光学系、例えば、一眼レフの交換レンズを備えたシステムに組み込み、更にそのカメラのオートフォーカス機能は、従来の可視光のオートフォーカス機能をそのまま用いて、可視光の主要被写体に合焦させる。その上で、実施例２ないし３に記載の画像処理をカメラ内ないしは外部コンピュータのソフトウェアで実行する。ここで、重要なのは、可視光が撮像面に結像する位置にフォーカスを合わせるようにカメラを制御し、近赤外光はその光学系の特性で規定される量のボケ情報を同時に捉えることである。このボケ情報は、どのような光学系を用いても一定の範囲の中での可視光に対するずれを常に提供する。そうすると、最も人間の目に優しい可視光の立体画像が生成され、長時間鑑賞あるいは視聴しても頭痛のしない立体画像が楽しめることになる。

以上では、図８の配列の現像方法を説明したが、図９の現像方法も、既に説明した実施例１、および実施例２と共通である。また、非可視の波長帯域として、近赤外の波長帯域の例を示したが、近紫外の波長帯域にとることもできる。また、近赤外３バンドの組み合せではなく、近赤外と近紫外を組み合わせてもよい。

実施例２のステップ５）においては、可視視差なし基準画像を非可視画像の情報を用いて補正を行って、２Ｄカラー画像を生成すると説明した。実施例３の可視と非可視の単バンドずつの場合でも、ステップ４）において同様に説明した。これらは、何れも非可視画素を視差画素のみで構成した撮像素子を用いた説明であったが、そこで説明したサンプリングの不足分を埋める効果にとどまらずに、視差画素の有無にかかわらず、２Ｄ画像同士の可視と非可視画像の間で常に有益な効果をもたらす事実が存在することが実験的に判明した。その理由は、次に述べる。

図１３は、画素配列の一例としての実空間の配列とｋ空間を示す図である。図１３の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。ここでは、実施例１、２で説明した図８の配列において、非可視画素が全て視差画素ではなく、視差なし画素で構成される場合を示す。このような画素配列において、実施例２のステップ５）で行う演算式の対応式を記載する。
なお、＜＞は、局所平均を表す。

図１４は、画素配列の一例としての実空間の配列とｋ空間を示す図である。図１４の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。ここでは、実施例３で説明した図１２の配列において非可視画素が全て視差画素ではなく、視差なし画素で構成される場合を示す。このような画素配列において、実施例３のステップ４）で行う演算式の対応式を記載する。ただし、図１４では、可視画素の視差画素も全て視差なし画素で構成している。

前述したサンプリング不足を埋める以上に、可視画像と近赤外画像はそれぞれ、異なった焦点位置の被写体像を捉えているため、ボケ状態の異なる新しい光学情報を取得している。したがって、近赤外画像がボケた情報であるにもかかわらず、主要被写体にピントを合わせた可視画像を極めて高解像度化する能力を有することが実験的に判明した。それは、例えば、サンプリングが全画素について可視画像と近赤外画像の両方で２板式として撮像されていても成り立つ。なぜならば、サンプリングによるピント位置の被写体像のエイリアジング成分はボケ画像では生じておらず、ボケ画像の補正情報を通じて偽情報の補正も行われると考えられるからである。したがって、ボケ像には合焦画像には含まれない新しい有益な被写体に関する情報が含まれている。

上述した実施例１から３の画像処理の中で新しく取り入れた可視画像と非可視画像の間の相互に変調し合う概念は、その本質的な部分を、簡単のため可視単バンド、非可視単バンドのみからなる画像間の関係として取り出すと、以下のような関係式に要約される。ただし、実施形態では、非可視画像が視差画素のみの撮像から生成される場合を例に挙げて説明したが、ここでは、非可視画像が視差画素および視差なし画素の撮像から生成される場合を例に挙げて説明する。なお、説明をわかりやすくするために、比が一定の場合の相加平均を基準点とした変調のみを代表して記載する。

２Ｄ画像間の可視・非可視バンド間の相互変調において確認された新しい効果については、先程述べたが、３Ｄ画像生成における可視・非可視バンド間の相互視差変調によって次のような新しい作用が生まれることが、実験的に判明した。すなわち、手前、中間、奥の３つの位置に３つの物体が配置されているような状況を考える。可視光で中間物体にある被写体距離に光学系の焦点を合わせて単眼立体撮像を行うと、中間物体が置かれた合焦面内を垂直に横切る一本の軸を中心に画像全体が回転するかのように物体の視差がつく。右視差画像と左視差画像を交互に表示するとその様子が見える。一方の近赤外画像は、合焦位置が奥の方にずれるため奥の物体近辺に合焦面があり、その面内を垂直に横切る一本の軸を中心にした画像回転するような視差が近赤外画像の右視差画像と左視差画像には付いている。

異なるバンド間の相互視差変調は、この異なる回転軸の視差を相互混合する役割をなし、結果的に前述のような画像全体が回転する大局的視差から、１つ１つの物体単位で回転する局所的視差に移行する。バンド内視差変調を半分、バンド間視差変調を半分にすると、大局回転する視差と局所回転する視差とが同時に得られる。この物体単位で局所的に回転する視差は、実際に立体視してみると、不思議と正常に立体像として認識することができる。ただし、画像全体が大局回転する視差は、距離感の絶対基準が同定できるのに対し、物体単位で局所回転する視差は、距離感が相対的に認識されるものの絶対基準は人によってまちまちな位置に同定される特殊な効果を生む。例えば、物体単位で画像をトリミングすると、バンド内視差変調のみの場合とバンド間視差変調を用いた場合では、異なる視点からの画像が得られるような結果となる。

パーソナルコンピュータなどの機器を画像処理部２０５の機能を担う画像処理装置として機能させることもできる。この場合、画像処理装置は、カメラ等の他の装置から撮像素子の出力を取り込んでもよい。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、タブレット端末、ゲーム機器等が画像処理装置になり得る。なお、以上の説明において画像は、画像データを指す場合もあれば、フォーマットに従って展開され可視化された被写体像そのものを指す場合もある。また、以上の説明では、Ｒ：Ｇ：Ｂ＝１：２：１に対応させるべく、Ｉ_１：Ｉ_２：Ｉ_３＝１：２：１としたが、Ｉ_２は１以上であればよい。Ｉ_２は１よりも大きいことが好ましい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、１０１ マイクロレンズ、１０２ 光学フィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、３２２ 中心線、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (53)

1. 光電変換素子に、可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが可視域を受光する光電変換画素に対応づけられた可視視差画素と、
   前記光電変換素子に、非可視光の波長帯域の入射光束に対して互いに異なる部分光束を通過させるように位置づけられた開口をそれぞれ有する複数種類の開口マスクの何れかが非可視光域を受光する光電変換画素に対応づけられた非可視視差画素と、
   を備えた撮像素子。
2. 前記非可視視差画素は、２次元方向に等間隔で配置されていると共に、前記異なる種類の前記開口マスクが対応づけられた前記非可視視差画素同士の間の距離が互いに最も離れるように配置され、
   前記可視視差画素は、２次元方向に等間隔で配置されていると共に、前記異なる種類の前記開口マスクが対応づけられた前記可視視差画素同士の間の距離が互いに最も離れるように配置されている請求項１に記載の撮像素子。
3. 前記非可視視差画素と前記可視視差画素の同じ種類の開口マスクを持つ画素同士が互いに隣接しないように配置されている請求項２に記載の撮像素子。
4. 前記非可視視差画素は、互いに異なる波長帯域を通過させる複数種類のバンドパスフィルタの何れかが対応づけられ、
   前記非可視視差画素は、対応づけられた前記バンドパスフィルタの種類毎に、前記２次元方向に等間隔で配置されていると共に、前記バンドパスフィルタの種類毎に異なる種類の前記開口マスクが対応づけられた前記非可視視差画素同士の距離が互いに最も離れるように配置され、
   更に、
   前記可視視差画素は、互いに異なる波長帯域を通過させる複数種類のカラーフィルタの何れかが対応づけられ、
   前記可視視差画素は、対応づけられた前記カラーフィルタの種類毎に、前記２次元方向に等間隔で配置されていると共に、前記カラーフィルタの種類毎に異なる種類の前記開口マスクが対応づけられた前記可視視差画素同士の距離が互いに最も離れるように配置されている請求項２または３に記載の撮像素子。
5. 前記非可視視差画素が受光する波長帯域は、近赤外領域の波長帯域である請求項１に記載の撮像素子。
6. 前記非可視視差画素が受光する波長帯域は、近赤外領域の３種類の異なる波長帯域（Ｉ_１，Ｉ_２，Ｉ_３）であり、
   前記可視視差画素が受光する波長帯域は、可視領域の赤、緑、青の３種類の波長帯域（Ｒ，Ｇ，Ｂ）である請求項４に記載の撮像素子。
7. 前記光電変換素子に、前記開口に制限されることなく入射光束を導く視差なし画素をさらに備え、
   前記非可視視差画素は、対応づけられた前記開口マスクの種類毎に、他の前記開口マスクが対応づけられた前記非可視視差画素、前記可視視差画素、前記視差なし画素のいずれかまたは全てに挟まれて配置されており、
   前記可視視差画素は、対応づけられた前記開口マスクの種類毎に、他の前記開口マスクが対応づけられた前記可視視差画素、前記非可視視差画素、前記視差なし画素のいずれかまたは全てに挟まれて配置されている請求項１から６のいずれか１項に記載の撮像素子。
8. 前記視差なし画素は、前記可視光の波長帯域の入射光束を導き、可視域を受光する光電変換画素に対応づけられた可視視差なし画素である請求項７に記載の撮像素子。
9. 前記非可視視差画素と前記可視視差画素の画素密度は、前記可視視差なし画素の画素密度に対して疎な配列であり、前記非可視視差画素と前記可視視差画素の合計の画素密度が、前記可視視差なし画素の画素密度よりも小さい請求項８に記載の撮像素子。
10. 前記非可視視差画素と前記可視視差画素がそれぞれ右視差画素と左視差画素の２種類の開口マスクを有する時、前記可視視差なし画素に対する左視差画素と右視差画素の画素密度比が６：１：１で構成される請求項９に記載の撮像素子。
11. 前記非可視視差画素は、非可視領域の３種類の異なる波長帯域（Ｉ_１，Ｉ_２，Ｉ_３）の何れかを通過させるバンドパスフィルタが対応づけられ、かつ左開口の開口マスクを有する非可視左視差画素と右開口の開口マスクを有する非可視右視差画素の何れかからなり、
    前記可視視差画素と前記可視視差なし画素は、可視領域の赤、緑、青の３種類の波長帯域（Ｒ，Ｇ，Ｂ）の何れかを通過させるカラーフィルタがそれぞれ対応づけられ、かつ、前記可視視差画素が左開口の開口マスクを有する可視左視差画素と右開口の開口マスクを有する可視右視差画素の何れかからなるとき、
    前記非可視視差画素の間の各波長帯域毎の画素密度比は、非可視左視差画素と非可視右視差画素は共に、Ｉ_１：Ｉ_２：Ｉ_３＝１：２：１で構成され、
    前記可視視差画素の間の各波長帯域毎の画素密度比は、可視左視差画素と可視右視差画素と可視視差なし画素は共に、Ｒ：Ｇ：Ｂ＝１：２：１で構成される請求項８から１０のいずれか１項に記載の撮像素子。
12. 前記可視視差画素と前記可視視差なし画素と前記非可視視差画素は、何れもが光軸上の同じ撮像面の位置に光電変換部が配置された請求項８から１１のいずれか一項に記載の撮像素子。
13. 前記入射光束を導く１つの光学系を備え、前記光学系の合焦位置を可視光が捉える主要被写体に対して、オートフォーカス制御する制御部を備えた請求項１２に記載の撮像素子を組み込んだ撮像装置。
14. 請求項１から１２のいずれか１項に記載の撮像素子と、
    前記撮像素子の出力から、互いに視差を有する複数の可視視差画像データと、互いに視差を有する複数の非可視視差画像データとを生成する画像処理部と
    を備える撮像装置。
15. 一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、
    前記可視画像データおよび前記非可視画像データのうち一方を用いて他方を新たに算出する画像処理部と
    を備える画像処理装置。
16. 前記画像処理部は、前記可視画像データ及び前記非可視画像データのいずれか一方の、基準方向の視点による視差なし画像データと前記基準方向の視点とは異なる視差画像データを用いて、他方の前記基準方向の視点による視差なし画像データを新たに算出する請求項１５に記載の画像処理装置。
17. 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第１視点の可視第１視差画像データおよび第２視点の可視第２視差画像データとを含み、
    前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データを含む請求項１５または１６に記載の画像処理装置。
18. 前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との差が、前記可視視差なし画像データの前記対象画素位置における画素値と、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との差に対して相関を保つように算出する請求項１７に記載の画像処理装置。
19. 前記入力部は、前記可視光の波長帯域における複数の色成分のそれぞれについて、前記可視視差なし画像データ、前記可視第１視差画像データ、および前記可視第２視差画像データを入力し、
    前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との差が、少なくとも、（１）第１の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第１の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第１の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との差と、（２）第２の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第２の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第２の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との差との和に相関を保つように算出する請求項１７に記載の画像処理装置。
20. 前記非可視画像データは、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび前記第２視点の非可視第２視差画像データを含み、
    前記非可視第１視差画像データおよび前記非可視第２視差画像データの平均によって、前記非可視視差なし画像データを生成する生成部を備え、
    前記画像処理部は、前記非可視第１視差画像データの新たに算出する画素値を、前記非可視第１視差画像データの新たに算出する画素値と、前記非可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との差に対して相関を保つように算出する請求項１８または１９に記載の画像処理装置。
21. 前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との比が、前記可視視差なし画像データの前記対象画素位置における画素値と、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との比に対して相関を保つように算出する請求項１７に記載の画像処理装置。
22. 前記入力部は、前記可視光の波長帯域における複数の色成分のそれぞれについて、前記可視視差なし画像データ、前記可視第１視差画像データ、および前記可視第２視差画像データを入力し、
    前記画像処理部は、前記可視画像データを用いて前記非可視画像データを新たに算出する場合に、前記非可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との比が、少なくとも、（１）第１の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第１の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第１の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との比と、（２）第２の色成分における前記可視視差なし画像データの前記対象画素位置の画素値と、前記第２の色成分における前記可視第１視差画像データの前記対象画素位置の画素値と前記第２の色成分における前記可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との比との積に相関を保つように算出する請求項１７に記載の画像処理装置。
23. 前記非可視画像データは、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび前記第２視点の非可視第２視差画像データを含み、
    前記非可視第１視差画像データおよび前記非可視第２視差画像データの平均によって、前記非可視視差なし画像データを生成する生成部を備え、
    前記画像処理部は、前記非可視第１視差画像データの新たに算出する画素値を、前記非可視第１視差画像データの新たに算出する画素値と、前記非可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との比に対して相関を保つように算出する請求項２１または２２に記載の画像処理装置。
24. 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データを含み、
    前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データを含む請求項１５に記載の画像処理装置。
25. 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との差が、前記非可視視差なし画像データの前記対象画素位置における画素値と、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との差、または前記非可視視差なし画像データの前記対象画素位置における画素値と前記非可視視差なし画像データの前記対象画素位置における局所的な平均値との差に対して相関を保つように算出する請求項２４に記載の画像処理装置。
26. 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    前記入力部は、前記非可視光の波長帯域における複数のバンド成分のそれぞれについて、前記非可視視差なし画像データ、前記非可視第１視差画像データ、および前記非可視第２視差画像データを入力し、
    前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との差が、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第１のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との差と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第２のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との差との和、または、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との差と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との差との和に相関を保つように算出する請求項２４に記載の画像処理装置。
27. 前記可視画像データは、前記可視光の波長帯域における前記基準方向の視点とは異なる前記第１視点の可視第１視差画像データおよび前記第２視点の可視第２視差画像データとを含み、
    前記画像処理部は、前記可視第１視差画像データの新たに算出する画素値を、前記可視第１視差画像データの新たに算出する画素値と、前記可視視差なし画像データの新たに求めた画素値との差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との差に対して相関を保つように算出する請求項２５または２６に記載の画像処理装置。
28. 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との比が、前記非可視視差なし画像データの前記対象画素位置における画素値と、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との平均の画素値との比、または前記非可視視差なし画像データの前記対象画素位置における画素値と前記非可視視差なし画像データの前記対象画素位置における局所的な平均値との比に対して相関を保つように算出する請求項２４に記載の画像処理装置。
29. 前記非可視画像データは、前記非可視光の波長帯域における前記基準方向の視点とは異なる第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    前記入力部は、前記非可視光の波長帯域における複数のバンド成分のそれぞれについて、前記非可視視差なし画像データ、前記非可視第１視差画像データ、および前記非可視第２視差画像データを入力し、
    前記画像処理部は、前記非可視画像データを用いて前記可視画像データを新たに算出する場合に、前記可視視差なし画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との比が、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第１のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均の画素値との比と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視第１視差画像データの前記対象画素位置の画素値と前記第２のバンド成分における前記非可視第２視差画像データの前記対象画素位置の画素値との平均からなる画素値との比との積、または、少なくとも、（１）第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第１のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との比と、（２）第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の画素値と、前記第２のバンド成分における前記非可視視差なし画像データの前記対象画素位置の局所的な平均値との比との積に相関を保つように算出する請求項２４に記載の画像処理装置。
30. 前記可視画像データは、前記可視光の波長帯域における前記基準方向の視点とは異なる前記第１視点の可視第１視差画像データおよび前記第２視点の可視第２視差画像データとを含み、
    前記画像処理部は、前記可視第１視差画像データの新たに算出する画素値を、前記可視第１視差画像データの新たに算出する画素値と、前記可視視差なし画像データの新たに求めた画素値との比が、少なくとも、前記非可視第１視差画像データの前記対象画素位置の画素値と、前記非可視第２視差画像データの前記対象画素位置の画素値との比に対して相関を保つように算出する請求項２８または２９に記載の画像処理装置。
31. 前記非可視光の波長帯域は、近赤外領域である請求項１７から３０のいずれか１項に記載の画像処理装置。
32. 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間の差が、少なくとも、前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな可視第１視差画像を出力する画像処理装置。
33. 前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間の差が、少なくとも、
    １）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間の差と、
    ２）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな可視第１視差画像を出力する請求項３２に記載の画像処理装置。
34. 被写体像の可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間の差が、少なくとも、
    １）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    ２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項３２に記載の画像処理装置。
35. 前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間の差が、少なくとも、
    １）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間の差と、
    ２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間の差と、
    ３）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    ４）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項３４に記載の画像処理装置。
36. 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間の差が、少なくとも、前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間の差に対して相関を保つように算出し、新たな非可視第１視差画像を出力する画像処理装置。
37. 前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間の差が、少なくとも、
    １）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間の差と、
    ２）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな非可視第１視差画像を出力する請求項３６に記載の画像処理装置。
38. 被写体像の可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間の差が、少なくとも、
    １）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間の差と、
    ２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項３６に記載の画像処理装置。
39. 前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間の差が、少なくとも、
    １）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    ２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間の差と、
    ３）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間の差と、
    ４）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間の差
    との和に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項３８に記載の画像処理装置。
40. 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間で定義される比が、少なくとも、前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな可視第１視差画像を出力する画像処理装置。
41. 前記可視第１視差画像の新たに算出する画素値を、前記可視第１視差画像の新たに算出する画素値と前記可視視差なし画像の画素値との間で定義される比が、少なくとも、
    １）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間で定義される比と、
    ２）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな可視第１視差画像を出力する請求項４０に記載の画像処理装置。
42. 被写体像の可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間で定義される比が、少なくとも、
    １）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    ２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項４０に記載の画像処理装置。
43. 前記第１の色成分に関する可視第１視差画像の新たに算出する画素値を、前記第１の色成分に関する可視第１視差画像の新たに算出する画素値と前記第１の色成分に関する可視視差なし画像の画素値との間で定義される比が、少なくとも、
    １）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    ２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    ３）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    ４）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１の色成分に関する可視第１視差画像を出力する請求項４２に記載の画像処理装置。
44. 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間で定義される比が、少なくとも、前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間で定義される比に対して相関を保つように算出し、新たな非可視第１視差画像を出力する画像処理装置。
45. 前記非可視第１視差画像の新たに算出する画素値を、前記非可視第１視差画像の新たに算出する画素値と前記非可視視差なし画像の画素値との間で定義される比が、少なくとも、
    １）前記非可視第１視差画像の画素値と前記非可視第２視差画像の画素値との間で定義される比と、
    ２）前記可視第１視差画像の画素値と前記可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな非可視第１視差画像を出力する請求項４４に記載の画像処理装置。
46. 被写体像の可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する基準方向の視点の可視視差なし画像と、可視光の波長帯域の第１〜第m（m≧２）の複数の色成分に関する前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１〜第n（n≧２）の複数のバンド成分に関する第１視点と第２視点の非可視第１視差画像と非可視第２視差画像とを入力し、
    前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間で定義される比が、少なくとも、
    １）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    ２）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項４４に記載の画像処理装置。
47. 前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値を、前記第１のバンド成分に関する非可視第１視差画像の新たに算出する画素値と前記第１のバンド成分に関する非可視視差なし画像の画素値との間で定義される比が、少なくとも、
    １）前記第１のバンド成分に関する非可視第１視差画像の画素値と前記第１のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    ２）前記第２のバンド成分に関する非可視第１視差画像の画素値と前記第２のバンド成分に関する非可視第２視差画像の画素値との間で定義される比と、
    ３）前記第１の色成分に関する可視第１視差画像の画素値と前記第１の色成分に関する可視第２視差画像の画素値との間で定義される比と、
    ４）前記第２の色成分に関する可視第１視差画像の画素値と前記第２の色成分に関する可視第２視差画像の画素値との間で定義される比
    との積に対して相関を保つように算出し、新たな第１のバンド成分に関する非可視第１視差画像を出力する請求項４６に記載の画像処理装置。
48. 被写体像の可視光の波長帯域の基準方向の視点の可視視差なし画像と、可視光の波長帯域の前記基準方向の視点とは異なる第１視点と第２視点の可視第１視差画像と可視第２視差画像と、被写体像の非可視光の波長帯域の基準方向の視点の非可視視差なし画像と、非可視光の波長帯域の第１視点と第２視点の非可視第１視差画像と非可視第２視差画像は、いずれも１つの光学系を通して同じ撮像面上に結像した各波長帯域の像を撮像した画像からなる請求項３２から４７のいずれか１項に記載の画像処理装置。
49. 一度の撮影によって撮像素子の同一面から出力された画素信号から生成された可視画像データおよび非可視画像データを入力する入力部と、
    前記可視画像データおよび前記非可視画像データのうち少なくとも一方に含まれる視差成分を他方に重畳する画像処理部と
    を備える画像処理装置。
50. 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第１視点の可視第１視差画像データとを含み、
    前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    前記可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との間の差が、少なくとも、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との差に対して相関を保つように算出する請求項４９に記載の画像処理装置。
51. 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点とは異なる第１視点の可視第１視差画像データおよび第２視点の可視第２視差画像データを含み、
    前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データと、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データとを含み、
    前記非可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との間の差が、少なくとも、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との差に対して相関を保つように算出する請求項４９に記載の画像処理装置。
52. 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点の可視視差なし画像データと、前記可視光の波長帯域における前記基準方向の視点とは異なる第１視点の可視第１視差画像データとを含み、
    前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記第１視点の非可視第１視差画像データおよび第２視点の非可視第２視差画像データを含み、
    前記可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記可視視差なし画像データの前記対象画素位置における画素値との間の比が、少なくとも、前記非可視第１視差画像データの前記対象画素位置における画素値と前記非可視第２視差画像データの前記対象画素位置における画素値との比に対して相関を保つように算出する請求項４９に記載の画像処理装置。
53. 前記可視画像データは、入射光束のうち可視光の波長帯域における基準方向の視点とは異なる第１視点の可視第１視差画像データおよび第２視点の可視第２視差画像データを含み、
    前記非可視画像データは、前記入射光束のうち非可視光の波長帯域における前記基準方向の視点の非可視視差なし画像データと、前記非可視光の波長帯域における前記第１視点の非可視第１視差画像データとを含み、
    前記非可視第１視差画像データの対象画素位置における新たに算出する画素値を、前記新たに算出する画素値と前記非可視視差なし画像データの前記対象画素位置における画素値との間の比が、少なくとも、前記可視第１視差画像データの前記対象画素位置における画素値と前記可視第２視差画像データの前記対象画素位置における画素値との比に対して相関を保つように算出する請求項４９に記載の画像処理装置。