JPWO2012098599A1 - 撮像装置 - Google Patents

Abstract

３次元撮像装置は、透過率の波長依存性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部２と、固体撮像素子１と、固体撮像素子１の撮像面１ａに像を形成する結像部３とを備える。固体撮像素子１は、複数の単位要素から構成され、各単位要素はｎ個（ｎはｍ以上の整数）の光感知セル、およびそれらの光感知セルに対向するｎ個の透過フィルタを含んでいる。ｎ個の透過フィルタの透過率の波長依存性は互いに異なっている。波長をλとし、透過領域Ｃ１、Ｃ２の透過率をそれぞれＴｃ１（λ）、Ｔｃ２（λ）、２つの透過フィルタの透過率をＴｄ１（λ）、Ｔｄ２（λ）とし、積分区間を可視光全体の波長域とするとき、∫Tc1(λ)Td1(λ)dλ>0、 ∫Tc1(λ)Td2(λ)dλ>0、 ∫Tc2(λ)Td1(λ)dλ>0、 ∫Tc2(λ)Td2(λ)dλ>0、および ∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλを満足する。

Description

本発明は視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献１に開示されている。図１１は、この方式による撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。

以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルム２１に結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム２１上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色成分の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム２１上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。

特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１２は、この技術における光束制限板２２を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を、赤色光を検知するＲ画素、緑色光を検知するＧ画素、青色光を検知するＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。

また、特許文献３にも、図１２の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１３は、特許文献３に開示された光束制限板２３を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差を有する複数の画像を作ることができる。

特許文献４も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量を算出することができる。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。

特許文献５は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。

上記の特許文献１〜５に開示された技術によれば、光束制限板または絞りにＲＧＢ系統の色フィルタを配置することによって視差を有する複数の画像を生成することができる。しかしながら、ＲＧＢ系統の色フィルタを用いるため、入射光量が大きく減少する。また、視差量を大きくするためには複数の色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要がある。しかしながら、色フィルタの面積を小さくすると入射光量はさらに減少する。

以上の従来技術に対して、ＲＧＢの複数の色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献６に開示されている。この技術によれば、撮像素子は、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけを受け、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外れるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では複数視点画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。

特開平２−１７１７３７号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２０１０−３８７８８号公報 特開２０１０―７９２９８号公報 特開２００３−１３４５３３号公報

特許文献１〜５に開示された技術によれば、複数視点画像を取得することができるが、原色（ＲＧＢ系統）の色フィルタが用いられるため、撮像素子の受光量は大きく減少する。一方、特許文献６に開示された技術によれば、機械的駆動によって色フィルタを光路から外す機構を用いて光利用率の高い通常画像を取得できる。しかしながら、この技術においても複数視点画像を取得するためには原色の色フィルタが用いられるため、光利用率の高い複数視点画像を得ることはできない。また、この技術には装置の大型化および高コスト化を招くという課題もある。

従来技術では、撮像素子の各画素に入射した光の量に応じて生成される光電変換信号（画素信号）をそのまま用いて複数視点画像が生成され、それらの画像間の対応点マッチングなどを行うことによって距離情報が算出される。このため、原色型の色フィルタ配列を有する一般的な撮像素子を用いる場合、光束制限板または絞りにも原色型の色フィルタを設ける必要がある。光束制限板または絞りの色フィルタが原色型である場合、各色フィルタは自身の透過波長域に含まれる波長の光しか透過させないため、有彩色の被写体を撮影した際には、左右のフィルタを透過する光の量に差異が生じる。例えば、赤の波長域の光を主に反射させる物体を撮影した場合、物体から入射する光は赤フィルタを透過するが青フィルタを殆ど透過しないため、撮像素子におけるＲ画素の画素信号はＢ画素の画素信号よりも大きくなる。すなわち、Ｒ画素の画素信号から生成される画像とＢ画素の画素信号から生成される画像とでは、３次元空間中で同一の点を表す対応点同士であっても画素信号（濃淡）が大きく異なることとなる。その結果、これらの２枚の画像は、見た目の違和感が大きく、また、被写体の色が異なれば対応点における濃淡が異なるため、マッチングによる距離推定も難しくなる。このように、複数の原色フィルタが配置された絞りまたは光束制限板を用いる従来の技術では、単色光に近い光が入射した場合、視差情報を取得できないため、適用範囲が限られるという課題がある。

本発明は、機械的駆動を行うことなく、被写体から入射する光が単色光であったとしても複数視点画像を取得することが可能であり、光利用率の高い複数視点画像を取得し得る撮像技術を提供する。

本発明の３次元撮像装置は、透過率の波長依存性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、光感知セルアレイおよび前記光感知セルアレイに対向して配置された透過フィルタアレイを有し、前記光感知セルアレイおよび前記透過フィルタアレイは、複数の単位要素から構成され、各単位要素は、ｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるｎ個の透過フィルタを含む、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部とを備えている。波長をλとし、前記ｍ個の透過領域のうちの任意の２つの透過領域の透過率を示す関数をＴｃ１（λ）およびＴｃ２（λ）、前記ｎ個の透過フィルタのうちの任意の２つの透過フィルタの透過率を示す関数をＴｄ１（λ）およびＴｄ２（λ）とし、積分区間を可視光全体の波長域とするとき、
∫Tc1(λ)Td1(λ)dλ>0、
∫Tc1(λ)Td2(λ)dλ>0、
∫Tc2(λ)Td1(λ)dλ>0、
∫Tc2(λ)Td2(λ)dλ>0、および
∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλが成立する。

ある実施形態において、前記ｎ個の光感知セルのうち少なくともｍ個の光感知セルから出力される光電変換信号を用いて前記ｍ個の透過領域に入射した光によるｍ個の複数視点画像を生成する画像生成部をさらに備えている。

ある実施形態において、前記画像生成部は、各透過領域の透過率および各透過フィルタの透過率に基づいて決定されるｎ行ｍ列の行列を用いた演算により、前記ｍ個の複数視点画像を生成する。

ある実施形態において、ｍ＝２、ｎ＝２であり、前記画像生成部は、∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、および∫Tc2(λ)Td2(λ)dλを前記行列の要素とする２行２列の行列を用いて前記複数視点画像を生成する。

ある実施形態において、前記ｍ個の透過領域の少なくとも１つにおける透過率、および前記ｎ個の透過フィルタの少なくとも１つにおける透過率は、可視光の波長域において波長依存性を有しないように設計されている。

ある実施形態において、前記ｍ個の透過領域の少なくとも１つ、および前記ｎ個の透過フィルタの少なくとも１つは、透明である。

本発明によれば、機械的駆動を行うことなく、被写体から入射する光が単色光であったとしても複数視点画像を取得することが可能になる。さらに、本発明の好ましい実施形態によれば、従来よりも光利用率の高い複数視点画像を取得することが可能になる。

実施形態１における全体構成を示すブロック図 実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図 実施形態１における透光板の透過領域の配置を示す図 実施形態１における撮像素子の透過フィルタの基本構成を示す図 透光板における透過フィルタの分光透過率の例を示す図 撮像素子における透過フィルタの分光透過率の例を示す図 透光板における透過フィルタの分光透過率の他の例を示す図 撮像素子における透過フィルタの分光透過率の他の例を示す図 ｍ個の透過領域を有する透光板の一例を示す図 撮像素子の各単位要素におけるｎ個の色フィルタの配置の一例を示す図 特許文献１における撮像系の構成図 特許文献２における光束制限板の外観図 特許文献３における光束制限板の外観図

以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。

（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００から出力される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える撮像素子（イメージセンサ）１と、透過率の波長依存性（分光透過率）が互いに異なる２つの透過領域を有する透光板（光透過部）２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。

信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。

図２は、撮像部１００における透光板２、光学レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、光学レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、分光透過率が互いに異なる２つの透過領域Ｃ１、Ｃ２を有し、入射光を透過させる。光学レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。透光板２において透過領域Ｃ１、Ｃ２以外の領域は、遮光性部材で形成されており、光が透光板２の透過領域Ｃ１、Ｃ２以外は通過しないように構成されている。以下の説明において、図２に示すように、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、撮像面１ａに平行な平面上でｘ方向に垂直な方向をｙ方向とする座標を用いる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３と透光板２とが一体となって構成されていてもよい。

図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３の形状と同様、円形であるが、他の形状であってもよい。領域Ｃ１およびＣ２には、可視光Ｗの波長域に含まれる任意の波長の光についてその少なくとも一部を透過させる透過フィルタが配置される。いずれの透過フィルタも可視光の波長域に含まれる任意の波長の光を透過させるが、それらの分光透過率が異なるため、同じ光が領域Ｃ１を通過した場合と領域Ｃ２を通過した場合とで透過光の明るさ（輝度）は互いに異なる。各透過領域の分光透過率についての詳細は後述する。なお、各透過フィルタは、所望の透過率で光を透過させる機能を有していれば、どのような部材で構成されていてもよい。各透過フィルタは、例えば、ガラス、プラスチック、セロファンなどで構成され得る。なお、本実施形態では、透過領域Ｃ１、Ｃ２には互いに分光透過率の異なる透過フィルタが配置されるが、各領域は、所望の分光透過率を有する部材であれば何で構成されていてもよい。例えば、一方の透過領域を透明にする場合、その領域は空気で代用してもよい。ここで、「透明」とは、可視光の波長域において透過率の波長依存性がなく、光の吸収や散乱が生じない状態を意味するものとする。

領域Ｃ１および領域Ｃ２は、ｘ方向に一定の距離Ｌを隔てて配置される。距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ〜数ｃｍに設定され得る。透過領域Ｃ１、Ｃ２は、図３に示すように、光軸に対して左右（ｘ方向）に対称的に配置され、同一面積を有していることが好ましい。この構成により、左右の各領域Ｃ１、Ｃ２に入射する光の量がほぼ等しくなる。なお、透過領域Ｃ１、Ｃ２の配置は、図３に示す配置に限らず、用途に応じて適宜決定され得る。例えば、上下（ｙ方向）の視差情報を取得したい場合には、透過領域Ｃ１、Ｃ２をｙ方向に並べてもよい。また、透過領域Ｃ１、Ｃ２の透過率の差が大きい場合には、観測される画素値の差が大きくなるため、取得される２つの画像の明るさに差異が生じる。そのため、透過領域Ｃ１、Ｃ２の透過率の差が大きい場合、取得される２つの画像の明るさが近くなるように、領域Ｃ１、Ｃ２の面積を調整してもよい。

図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された透過フィルタアレイが形成されている。光感知セルアレイおよび透過フィルタアレイは、複数の単位要素から構成されている。本実施形態では、各単位要素は２つの光感知セルおよびそれらに対向する２つの透過フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードを含んでおり、光電変換によって各々の受光量に応じた電気信号（「光電変換信号」または「画素信号」と呼ぶ。）を出力する。各透過フィルタは、公知の顔料や誘電体多層膜などを用いて作製され、可視光の波長域に含まれる任意の波長の光について、少なくとも一部を透過させるように設計されている。

図４は、本実施形態における透過フィルタアレイの一部を模式的に示す上面図である。図示されるように、撮像面１ａ上には多数の透過フィルタ１１０が行列状に配列されている。上述のように、近接する２つの透過フィルタ１１０およびそれらに対向する２つの光感知セル１２０が１つの単位要素に含まれる。各単位要素が有する２つの透過フィルタＤ１、Ｄ２は、いずれも可視光の波長域に含まれる任意の波長の光を透過させるが、透過率の波長依存性が互いに異なる。これらの透過フィルタＤ１、Ｄ２の透過率の設定については、透光板２の透過領域Ｃ１、Ｃ２の透過率とあわせて後述する。

なお、図４に示す例では、２つの光感知セルを横（ｘ方向）に並べているが、光感知セル１２０の配列は他のどのような配列でもよい。例えば、縦（ｙ方向）に並んでいてもよいし、斜めに並んでいてもよい。また、１つの単位要素に含まれる光感知セル１２０の数は２個に限らず、３個以上でもよい。さらに、光感知セル１２０および透過フィルタ１１０は、ｘ方向およびｙ方向に沿って配列されている必要はなく、ｘ方向およびｙ方向に対して斜めに配列されていてもよい。

以上の構成により、露光中に撮像装置に入射した光は、透光板２、レンズ３、赤外カットフィルタ４、透過フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２の各々を透過した光のうち、対向する透過フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。

各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて複数視点画像を生成する。

以下、各光感知セルから出力される光電変換信号を説明する。透過領域Ｃ１、Ｃ２および透過フィルタＤ１、Ｄ２の透過率がどの波長についても１００％であると仮定した場合に、領域Ｃ１を通って着目する１つの画素に入射する光の強度を示す信号をＣｉ１、領域Ｃ２を通って着目する１つの画素に入射する光の強度を示す信号をＣｉ２で表すこととする。また、前提として、１つの単位要素に含まれる各光感知セルには同一の強度の光が入射するものとし、入射する光はすべて可視光であると仮定する。説明を簡単にするため、領域Ｃ１、Ｃ２に入射する光の強度の波長依存性を無視する。すなわち、被写体は無彩色であると仮定する。また、レンズ３および赤外カットフィルタ４を合わせた分光透過率をＴｗ、領域Ｃ１の分光透過率をＴｃ１、領域Ｃ２の分光透過率をＴｃ２とする。同様に、撮像素子１における透過フィルタD１、D２の分光透過率をそれぞれＴｄ１、Ｔｄ２と表す。

ここで、Ｔｗ、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２は、入射する光の波長λに依存する関数であるため、それぞれＴｗ（λ）、Ｔｃ１（λ）、Ｔｃ２（λ）、Ｔｄ１（λ）、Ｔｄ２（λ）と表す。透過フィルタＤ１、Ｄ２を透過してその対向する光感知セルで受光される光の強度を示す信号をそれぞれｄ１、ｄ２と表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫Ｔｗ（λ）Ｔｃ１（λ）Ｔｄ１（λ）ｄλなどを、ΣＴｗＴｃ１Ｔｄ１などと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、ｄ１は、Ｃｉ１ΣＴｗＴｃ１Ｔｄ１、Ｃｉ２ΣＴｗＴｃ２Ｔｄ２を合算した結果に比例する。同様に、ｄ２は、Ｃｉ１ΣＴｗＴｃ１Ｔｄ２、Ｃｉ２ΣＴｗＴｃ２Ｔｄ２を合算した結果に比例する。これらの関係における比例係数を１とすれば、ｄ１、ｄ２は、それぞれ以下の式１、２で表すことができる。
（式１）ｄ１＝Ｃｉ１ΣＴｗＴｃ１Ｔｄ１＋Ｃｉ２ΣＴｗＴｃ２Ｔｄ１
（式２）ｄ２＝Ｃｉ１ΣＴｗＴｃ１Ｔｄ２＋Ｃｉ２ΣＴｗＴｃ２Ｔｄ２

式１、２において、ΣＴｗＴｃ１Ｔｄ１、ΣＴｗＴｃ２Ｔｄ１、ΣＴｗＴｃ１Ｔｄ２、ΣＴｗＴｃ２Ｔｄ２を、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ２１、Ｍｘ２２と表すこととする。すると、式１は、行列を用いて以下の式３で表すことができる。

ここで、式３における要素Ｍｘ１１〜Ｍｘ２２からなる行列の逆行列の要素を、ｉＭ１１〜ｉＭ２２とすると、式３は次の式４に変形できる。すなわち、領域Ｃ１、Ｃ２に入射する光の強度を示す信号Ｃｉ１、Ｃｉ２を、光電変換信号ｄ１、ｄ２を用いて表すことができる。

以上の構成により、各画素の入射光量を示す信号ｄ１、ｄ２（観測画素値）を、透過領域Ｃ１、Ｃ２にそれぞれ入射する光の強度信号Ｃｉ１、Ｃｉ２に変換することができる。

図１に示す画像信号生成部７は、式４に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２を、単位要素ごとに生成する。単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２は、透過領域Ｃ１、Ｃ２のそれぞれに入射する光によって形成される２つの画像を表す。これらの２つの画像は、透過領域Ｃ１、Ｃ２の位置の違いに起因する視差を有する。このように、式４に基づく演算によって複数視点画像を生成することができる。

従来のように透過領域Ｃ１、Ｃ２が特定の波長の光しか透過させない場合（Ｃ１、Ｃ２に原色の色フィルタが配置された場合など）、領域Ｃ１、Ｃ２の少なくとも一方の透過波長域に含まれない波長の単色光が被写体から入射すると、ｄ１、ｄ２の少なくとも一方が０になるため、Ｃｉ１、Ｃｉ２が求められない。そこで、本実施形態では、式４により求められるＣｉ１およびＣｉ２が、Ｃｉ１＞０かつＣｉ２＞０を満足するように透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２を構成する。これにより、被写体から入射する光が単色光であったとしても視差（左右の光の強度信号）の取得が可能となる。

以下、本実施形態の撮像装置が対象とするシーン、被写体の条件、および透過領域Ｃ１、Ｃ２、透過フィルタＤ１、Ｄ２の分光透過率が満たすべき条件を説明する。

＜条件１＞：観測画素値ｄ１、ｄ２の条件
本実施形態では、上述のように透光板２の透過領域Ｃ１、Ｃ２の透過率、および撮像素子１の透過フィルタＤ１、Ｄ２の透過率は、可視光の波長域に含まれる任意の波長の光について０より大きい値を有する。これにより、可視光の全波長域で光量が０となる光が入射する場合を除いて、観測画素値が常に正の値になる。したがって、観測画素値ｄ１、ｄ２のいずれかが０になるのは、被写体の色が黒、あるいはシーンが暗い場合に限られる。

観測画素値がｄ１＝ｄ２＝０（被写体または撮影シーンが真っ黒）の場合、式４により、Ｃｉ１＝Ｃｉ２＝０となるため、複数視点画像が得られない。また、ｄ１＝０かつｄ２≠０の場合、式４より、Ｃｉ１＝ｄ２ｉＭｘ１２、Ｃｉ２＝ｄ２ｉＭｘ２２となり、Ｃｉ１＞０かつＣｉ２＞０となる。しかし、Ｃｉ１はＣｉ２の定数倍となるため、明るさの違いはあるが視差情報が得られない。ｄ１≠０かつｄ２＝０の場合も同様である。

以上のことから、本実施形態の撮像装置が対象とするシーンでは、観測画素値はｄ１＞０かつｄ２＞０であることが必要である。

＜条件２＞：観測画素値から複数視点画像信号に変換する変換行列の条件
次に、透光板２の透過領域Ｃ１、Ｃ２、および撮像素子１の透過フィルタＤ１、Ｄ２の分光透過率によって規定される変換行列（Ｍｘ１１、Ｍｘ１２、Ｍｘ２１、Ｍｘ２２）を用いて観測画素値ｄ１、ｄ２から複数視点画像信号Ｃｉ１、Ｃｉ２が求められる条件を説明する。複数視点画像信号Ｃｉ１、Ｃｉ２が求められる基本的な条件として、式３から式４に変換可能であることが必要である。式４を式３の変数で表現すると、次の式５が得ら
れる。

式５が成立するためには、行列式が０以外の値でなければならない。すなわち、以下の式６を満足する必要がある。
（式６） det ＝ Mx11Mx22―Mx12Mx21
＝ΣTwTc1Td1ΣTwTc2Td2―ΣTwTc2Td1ΣTwTc1Td2
≠0

＜条件３＞：入射光強度信号Ｃｉ１、Ｃｉ２が取りうる範囲に関する条件
信号Ｃｉ１、Ｃｉ２は、光の強度を示す信号であるため、Ｃｉ１＞０かつＣｉ２＞０を満たさなければならない。式３において任意のｄ１、ｄ２について、Ｃｉ１＞０かつＣｉ２＞０となる条件を求めるため、次の式変形を行う。まず、式５の両辺に、式５の右辺の２ｘ２行列の転置行列を左から掛けることにより、次の式７が得られる。

式７の右辺を変形すると、式８が得られる。

式８の右辺の行列は実対称行列である。この実対称行列を次の式９に示すようにＭａｔと表す。

ここで、式８の両辺が正になるためには、行列Ｍａｔが正値対称行列であればよい。ここで、実対称行列Ｍａｔに対応する二次形式ｘ^T（Ｍａｔ）ｘが正であるとき（すなわち任意の実数ベクトルｘに対してｘ^T（Ｍａｔ）ｘ＞０のとき）、その対称行列Ｍａｔを正値対称行列と呼ぶ。したがって、行列Ｍａｔの二次形式が正となる条件を示すことにより、任意のｄ１、ｄ２に対して、Ｃｉ１、Ｃｉ２が正となる条件を導くことができる。

式９の対称行列Ｍａｔを二次形式で表すと、上記条件から、次の式１０が得られる。

式１０を展開すると次の式１１が得られる。

任意のｄ１、ｄ２において、式１１が成り立つには、次の式１２が成立すればよい。
（式１２） ｄｅｔ^-1（Ｍｘ１２Ｍｘ２２＋Ｍｘ２１Ｍｘ１１）＜０

Ｍｘ１２、Ｍｘ２２、Ｍｘ２１、Ｍｘ１１は正値である分光透過率の積分値なので、常に正である。したがって、ｄｅｔ^-1＜０、すなわち、ｄｅｔ＜０となる条件を求めればよい。ここで、ｄｅｔ＝Ｍｘ１１Ｍｘ２２―Ｍｘ１２Ｍｘ２１であるので、ｄｅｔ＜０となるのは、次の式１３の条件を満たすときである。
（式１３） Ｍｘ１１Ｍｘ２２＜Ｍｘ１２Ｍｘ２１

ここで、各透過フィルタの分光透過率を設定し、Ｍｘ１１〜Ｍｘ２２が決まった後、Ｍｘ１１Ｍｘ２２＜Ｍｘ１２Ｍｘ２１を満たさない場合（Ｍｘ１１Ｍｘ２２＞Ｍｘ１２Ｍｘ２１の場合）には、行を入れ替えることにより、式１３を満たすように行列を変換できる。すなわち、ｄｅｔ≠０であれば、任意の分光透過率のフィルタについて、行列式の行の入れ替えにより正の値に変換できる。

以上のことから、信号Ｃｉ１、Ｃｉ２が、Ｃｉ１＞０かつＣｉ２＞０を満たすためには、ｄｅｔ≠０であればよい。これは、式６の条件と同じである。したがって、本実施形態における透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の分光透過率は、ｄｅｔ≠０を満足する値に設計される。

ここで、式６を積分記号を用いて変形すると、以下の式１４が得られる。

Ｔｗ（λ）は、レンズ３および赤外カットフィルタ４を合わせた分光透過率であるため、可視光の波長域では、波長λによらず一定であると考えることができる。したがって、式１４は、次の式１５に変形できる。

したがって、本実施形態における透過フィルタＣ１、Ｃ２、Ｃ３、Ｃ４は、式１５を満足するように設計される。これにより、式４に基づく演算によって画像信号Ｃｉ１、Ｃｉ２を求めることができる。

なお、同様の議論により、式３における行列の代わりに、Ｔｗを除去した、∫Tc1(λ)Td1(λ)dλ、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、∫Tc2(λ)Td2(λ)dλを要素とする行列を用いて上記の演算処理を行ってもよい。この場合、Ｔｗは単なる定数であるため、上記の結論に変わりはない。

以上の条件を満たす分光透過率をもつ透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の例を簡単に説明する。図５は、透光板２における透過領域Ｃ１、Ｃ２の分光透過率の例を示す図である。この例では、領域Ｃ１の分光透過率Ｔｃ１は可視光の波長域（約４００ｎｍ〜約７００ｎｍ）で１００％となる矩形波のような波形で表され、領域Ｃ２の分光透過率Ｔｃ２は可視光の波長域においてｃｏｓカーブのような波形で表される。一方、図６は、撮像素子１の透過フィルタＤ１、Ｄ２の分光透過率の例を示す図である。この例では、透過フィルタＤ１の分光透過率Ｔｄ１は矩形波のような波形で表され、透過フィルタＤ２の分光透過率Ｔｄ２はｓｉｎカーブのような波形で表される。各分光透過率が上記のように設計されている場合、ΣＴｃ１Ｔｄ１＞０、ΣＴｃ１Ｔｄ２＞０、ΣＴｃ２Ｔｄ１＞０、およびΣＴｃ２Ｔｄ２＞０が成立する。さらに、Ｔｃ１およびＴｄ１は、どの波長においても透過率が１００％であるため、光の減衰がない。このように、透光板２および撮像素子１に透過率が１００％となる透過領域（透過フィルタ）を含む構成であれば、最も光利用率がよくなるため、このような分光透過率を採用し、これを基準として他の分光透過率を設計することが望ましい。なお、上記の例ではＴｃ１、Ｔｄ１を可視光の波長域全体で１００％としたが、厳密に１００％である必要はなく、例えば９０％以上の透過率を有していれば、十分に高い特性を得ることができる。

各フィルタは、図５、図６に示す例に限らず、可視光の波長域に含まれる任意の波長の光について少なくとも一部を透過させ、Ｔｃ１とＴｃ２とが互いに異なり、Ｔｄ１とＴｄ２とが互いに異なるように設計されていればよい。例えば、図７、図８に示すように、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２が矩形波や三角関数以外の波形で表される場合であっても本発明を適用できる。

上記の所望の分光特性を有する透過フィルタは、例えば誘電体多層膜によって作製される。誘電体多層膜を用いることにより，例えば４５０ｎｍ、５５０ｎｍ、６５０ｎｍの波長に透過率のピークを有するマルチバンドパスフィルタを構成することができる。また、透過率の高いＲ、Ｇ、Ｂフィルタを複数枚重ね合わせることにより、透明とは波長依存性が異なるが、透過率の高い透過フィルタを構成することが可能である。

以上のように、本実施形態によれば、透光板２は２つの透過領域Ｃ１、Ｃ２を有し、領域Ｃ１、Ｃ２には、透過フィルタが配置されている。領域Ｃ１、Ｃ２は、ともに可視光の波長域に含まれる任意の波長の光を透過させるが、それらの透過率の波長依存性は互いに異なっている。また、撮像素子１の光感知セルアレイおよび透過フィルタアレイは、複数の単位要素から構成され、各単位要素は、２つの画素およびそれらに対向して配置された２つの透過フィルタＤ１、Ｄ２を含んでいる。透過フィルタＤ１、Ｄ２についても、ともに可視光の波長域に含まれる任意の波長の光を透過させるが、それらの透過率の波長依存性は互いに異なっている。さらに、透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の透過率は、画像信号生成部７が式４に基づく演算によって画像信号Ｃｉ１、Ｃｉ２を算出できるように、行列式ｄｅｔ≠０を満足するように設計されている。このような構成により、入射する光が仮に単色光であったとしても複数視点画像を生成することが可能となる。

なお、本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像信号を生成するが、信号演算による画像信号の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても本実施形態と同様の効果を得ることができる。

（実施形態２）
次に、本発明の第２の実施形態を説明する。

実施形態１の撮像装置では、透光板２は透過率の波長依存性が互いに異なる２つの透過フィルタを有し、撮像素子１の各単位要素も同様に透過率の波長依存性が互いに異なる２つの透過フィルタを有している。しかしながら、本発明はこのような実施形態に限定されるものではない。透光板２および撮像素子１の各単位要素は、３個以上の透過フィルタを有していてもよいし、それらの数が異なっていてもよい。以下、実施形態１の構成を一般化し、透光板２にｍ個（ｍは２以上の整数）の透過フィルタが配置され、撮像素子１の各単位要素にｎ個（ｎはｍ以上の整数）の透過フィルタが配置された構成例を説明する。本実施形態の撮像装置は、透光板２および撮像素子１の構成と、画像信号生成部７における処理を除いて実施形態１と同じである。以下の説明では、実施形態１と異なる点を中心に説明し、重複する事項についての説明を省略する。

図９は、本実施形態における透光板２の構成例を模式的に示す図である。本実施形態における透光板２は、ｍ個の透過領域Ｃ１、Ｃ２、・・・、Ｃｍを有しており、各透過領域には透過フィルタが配置されている。ｍ個の透過領域Ｃ１〜Ｃｍは、いずれも可視光の波長域に含まれる任意の波長の光を透過させるように設計され、それらの透過率の波長依存性は互いに異なっている。透光板２のうちｍ個の透過フィルタが配置された領域以外は、光を透過させない遮光領域である。なお、図９の構成では、各透過領域は円形であり、すべて同一の面積を有しているように描かれているが、各透過領域の形状およびサイズはこの例に限られるものではない。また、各透過領域の配置も図示される例に限らず、どのような配置であってもよい。透光板２の形状についても同様に、円形である必要はない。さらに、本実施形態では遮光領域を有しているが、遮光領域の部分を透光性部材で形成し、その領域も透過領域として扱ってもよい。

図１０は、本実施形態における撮像素子１の各単位要素４０に含まれるｎ個の透過フィルタの配置例を模式的に示す図である。撮像素子１の各単位要素４０は、ｎ個の光感知セルおよびそれらに対向するｎ個の透過フィルタを有している。ｎ個の透過フィルタＤ１、Ｄ２、・・・、Ｄｎは、いずれも可視光の波長域に含まれる任意の波長の光を透過させるように設計され、それらの透過率の波長依存性は互いに異なっている。なお、図１０に示す配列はあくまでも一例であり、単位要素４０内の画素配列は他の配列であってもよい。

以上の構成において、撮像素子１の透過フィルタＤ１、Ｄ２、・・・、Ｄｎから出力される画素信号をそれぞれｄ１、ｄ２、・・・、ｄｎとする。また、透過領域Ｃ１〜Ｃｍ、および透過フィルタＤ１〜Ｄｎの透過率が１００％であると仮定した場合に透過領域Ｃ１、Ｃ２、・・・、Ｃｍから各光感知セルに入射する光の強度を示す信号をそれぞれＣｉ１、Ｃｉ２、・・・、Ｃｉｍとする。すると、画素信号ｄ１、ｄ２、・・・、ｄｎと画像信号Ｃｉ１、Ｃｉ２、・・・、Ｃｉｍとの関係は、次の式１６で表される。

式１６において各要素が正、かつ行列式ｄｅｔ≠０であれば透光板２の各透過フィルタから入射する光の強度を求めることができる。実施形態１と同様、透光板２の各透過領域および撮像素子１の各透過フィルタは、可視光の波長域に含まれる任意の波長の光を透過させるように構成されているため、画素信号ｄ１〜ｄｎに基づいて、透光板２の各透過領域に入射した光による画像信号Ｃｉ１〜Ｃｉｎを算出することができる。

以下、画像信号Ｃｉ１〜Ｃｉｎを取得するための演算に必要な逆行列を求めることができる条件を説明する。まず、ｍ＞ｎの場合、独立な式がｎ個しかないため、Ｃｉ１〜Ｃｉｍを求めることはできない。すなわち、行列のランクがｍより小さくなるため、式１６の解が得られない。一方、ｎ≧ｍの場合は、独立な式がｍ個以上存在すれば解が得られる。したがって、行列のランクがｍとなる独立な式をｎ'個（ｍ≦ｎ'≦ｎ）選択すれば、最小二乗法により解を得ることができる。

式１６における行列のように多次元の行列においても行列式ｄｅｔ≠０であればランクがｍとなるため、行列式の値に基づいて解が算出できるか否かを判定できる。また、ランクを計算する方法は他にもあり、例えば、固有値解析（主成分分析や特異値分解、ＱＲ分解など）によって得られる固有値のうち値が０でないものの個数がランクとなる。したがって、行列の固有値解析によって得られる固有値のうち値が０でないものの個数がｍであることも上記の条件（ｄｅｔ≠０）と同値である。なお、ｎ＞ｍの場合は、式１６における行列（これをＡとする）とＡの転置行列（Ａ^t）との固有値が等しいことから、ＡとＡ^tを掛けて正方行列にしたのち、固有値解析をおこなうことで、ランクの計算が可能である。

ここで、波長をλとし、透光板２のｍ個の透過フィルタのうちの任意の２つの透過フィルタの透過率をＴｃ１（λ）、Ｔｃ２（λ）と表し、撮像素子１の各単位要素に含まれるｎ個の透過フィルタのうちの任意の２つの透過フィルタの透過率をＴｄ１（λ）、Ｔｄ２（λ）と表す。本実施形態における各透過フィルタは、∫Ｔｃ１（λ）Ｔｄ１（λ）ｄλ＞０、∫Ｔｃ１（λ）Ｔｄ２（λ）ｄλ＞０、∫Ｔｃ２（λ）Ｔｄ１（λ）ｄλ＞０、∫Ｔｃ２（λ）Ｔｄ２（λ）ｄλ＞０を満足するように設計される。さらに、各透過フィルタは、以下の式１７を満足するように設計される。

ただし、積分区間は可視光全体の波長域である。以上の条件を満足することにより、式１４に基づいて画像信号Ｃｉ１〜Ｃｉｍを求めることができる。

なお、本実施形態の撮像装置は、信号Ｃｉ１〜Ｃｉｍの全てを生成せずに、これらの信号のうち少なくとも２つの信号を生成するように構成されていてもよい。そのような構成であっても、視差を有する少なくとも２つの画像データを得ることができる。また、ｎ個の画素信号の全てを用いるのではなく、行列のランクがｍになるようにｍ個の画素信号を選択して用いることによってｍ個の複数視点画像を生成してもよい。

本実施形態において、ｍ個の透過領域の少なくとも１つ、およびｎ個の透過フィルタの少なくとも１つは、波長依存性のないフィルタであってもよい。特に、光利用率を高めるという観点からは、これらは透明であることが好ましい。

最後に、以上の各実施形態の撮像装置において、観測画素値から複数の入射光強度を算出する際の、解算出の安定性について説明する。なお、以下では実施形態１の構成を想定するが、実施形態２のように一般化された構成であっても同様の議論が成立する。まず、式５を、ノイズを考慮して再度定式化する。ここで、観測画素値ｄ１、ｄ２のそれぞれに付加されるノイズ量をΔｄ１、Δｄ２とする。ノイズには、画像の熱雑音、伝送路や撮像素子のショットノイズなどに加えて、分光透過率の測定誤差なども含まれ得る。このとき、式５は、次の式１８、１９に変形される。
（式１８） Ci1 = det^-1[Mx22(d1+Δd1)―Mx12(d2+Δd2)]
（式１９） Ci2 = det^-1[Mx21(d1+Δd1)―Mx11(d2+Δd2)]

ここで、ｄｅｔは行列式であり、ｄｅｔ＝Ｍｘ１１Ｍｘ２２−Ｍｘ１２Ｍｘ２１である。式１８における原信号ｄ１、ｄ２に関する項を左辺に移項すると、次の式２０が得られる。
（式２０） Ci1―det^-1(Mx22d1―Mx12d2) = det^-1(Mx22Δd1―Mx12Δd2)

式２０は誤差を表し、ノイズが無ければ０になるはずである。右辺のノイズ量は撮像素子１に起因するものは信号量に比例し、分光透過率の測定誤差に起因するものは一定のオフセットになる。どちらのノイズ量が多いかは撮影環境に依存するため、ここでは単に（Ｍｘ２２Δｄ１―Ｍｘ１２Δｄ２）＝Ｎとおく。すると、次の式２１が得られる。
（式２１） Ci1―det^-1(Mx22d1―Mx12d2) = det^-1N

式２１より、誤差は行列式に反比例することがわかる。すなわち，行列式の絶対値が小さいほど誤差の影響が大きく、行列式の絶対値が大きいほど誤差の影響は小さい。以上のことから、ノイズ量の測定は困難であるが、｜ｄｅｔ｜＝｜Ｍｘ１１Ｍｘ２２―Ｍｘ１２Ｍｘ２１｜ができるだけ大きくなるように各透過フィルタの分光透過率を設計することにより、ノイズに頑健な撮像装置を構築できる。例えば、カメラの感度をＩＳＯ１００に設定し、蛍光灯下で撮影する場合は、行列式の絶対値が０．１以上であれば安定して解が得られることが経験的に判明している。このような条件下で使用することが多いと想定される撮像装置においては、行列式の絶対値が０．１以上になるようにＴｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２が設定されていればよい。一方、さらにノイズが多くなる環境下で使用されることが想定される撮像装置では、行列式の絶対値がさらに大きくなるようにＴｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２を設定することが好ましい。

このように、撮影シーンの明るさやＩＳＯ感度などのカメラの設定によってノイズが増減する撮影環境において、行列式の絶対値が所定の閾値以上になるように各透過フィルタの分光透過率が設定されることが好ましい。このため、最適な分光透過率の組を選択できるように、透過特性が互いに異なる複数種類の透光板が撮像装置に設けられていてもよい。撮影環境から想定されるノイズ量に応じて複数の透光板の中から１つを自動または手動で選択できるように構成することにより、行列式の絶対値を所定の閾値よりも常に大きくすることが可能である。

本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２ 透光板
３ 光学レンズ
３ａ 透光板と光学レンズの機能が一体化された光学素子
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像信号生成部
８ インターフェース部
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
３０ メモリ
４０ 単位要素
１００ 撮像部
１１０ 透過フィルタ
１２０ 光感知セル
２００ 信号処理部

Claims (6)

1. 透過率の波長依存性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、
   前記光透過部を透過した光を受けるように配置された固体撮像素子であって、光感知セルアレイ、および前記光感知セルアレイに対向して配置された透過フィルタアレイを有し、前記光感知セルアレイおよび前記透過フィルタアレイは、複数の単位要素から構成され、各単位要素は、ｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された透過率の波長依存性が互いに異なるｎ個の透過フィルタを含む、固体撮像素子と、
   前記固体撮像素子の撮像面に像を形成する結像部と、
   を備え、
   波長をλとし、前記ｍ個の透過領域のうちの任意の２つの透過領域の透過率を示す関数をＴｃ１（λ）およびＴｃ２（λ）、前記ｎ個の透過フィルタのうちの任意の２つの透過フィルタの透過率を示す関数をＴｄ１（λ）およびＴｄ２（λ）とし、積分区間を可視光全体の波長域とするとき、
   ∫Tc1(λ)Td1(λ)dλ>0、
   ∫Tc1(λ)Td2(λ)dλ>0、
   ∫Tc2(λ)Td1(λ)dλ>0、
   ∫Tc2(λ)Td2(λ)dλ>0、および
   ∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ
   を満足する、３次元撮像装置。
2. 前記ｎ個の光感知セルのうち少なくともｍ個の光感知セルから出力される光電変換信号を用いて前記ｍ個の透過領域に入射した光によるｍ個の複数視点画像を生成する画像生成部をさらに備えている、請求項１に記載の３次元撮像装置。
3. 前記画像生成部は、各透過領域の透過率および各透過フィルタの透過率に基づいて決定されるｎ行ｍ列の行列を用いた演算により、前記ｍ個の複数視点画像を生成する、請求項２に記載の３次元撮像装置。
4. ｍ＝２、ｎ＝２であり、
   前記画像生成部は、∫Tc1(λ)Td1(λ)、∫Tc1(λ)Td2(λ)dλ、∫Tc2(λ)Td1(λ)dλ、および∫Tc2(λ)Td2(λ)dλを前記行列の要素とする２行２列の行列を用いて前記複数視点画像を生成する、請求項２または３に記載の３次元撮像装置。
5. 前記ｍ個の透過領域の少なくとも１つにおける透過率、および前記ｎ個の透過フィルタの少なくとも１つにおける透過率は、可視光の波長域において波長依存性を有しないように設計されている、請求項１から４のいずれかに記載の３次元撮像装置。
6. 前記ｍ個の透過領域の少なくとも１つ、および前記ｎ個の透過フィルタの少なくとも１つは、透明である、請求項５に記載の３次元撮像装置。

Images