JP5521854B2 - 撮像装置及び画像入力装置 - Google Patents

Description

本発明は、撮像装置及び画像入力装置に関し、画像を形成すると共に測距を行える撮像装置及び画像入力装置に関するものである。

障害物を避けながら移動するロボットや、人物認証を行う監視カメラ等の分野において、測定対象の３次元形状を把握するために３次元空間認識機能が必要とされている。３次元空間認識を行うためには、測定対象までの距離を把握する必要があるが、光の往復時間を測定して測定対象までの距離を算出する手法、いわゆるＴＯＦ(Time Of Flight)法が測距技術として広く知られている。この方法は、光の速度ｃが３.０×１０⁸[ｍ／ｓｅｃ]と既知であるため、その往復時間Δｔを測定することにより、次式で対象物までの距離Lを算出するものである。特許文献１には、変調された光（赤外光）を照射し、被写体からの反射光の位相を検出し、位相差によって被写体までの距離を計測するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサが開示されている。
Ｌ＝ｃ・Δｔ／２ （１）

ところで、特許文献２には、変調した（赤外）光を投光し、被写体からの反射光の遅延時間を検出し、且つ背景光除去機能も備えた距離画像センサが提案されている。

特開２００７−１２１１１６号公報 特開２００４−２９４４２０号公報

ここで、特許文献２の距離画像センサは、距離情報と画像とを同時に出力できるが、得られる画像はモノクロ画像であって、カラー画像ではない。しかるに、例えば人物認証等においては、人物の識別のためにカラーは有効な情報であるため、距離情報にカラー画像を対応づけたいという要請がある。ところが従来技術では、距離情報に対応するカラー画像を得るためには別途カラーカメラを隣接して設置する必要があるところ、設置位置の精度、大きさ、重量、価格等の点で課題があり、また２つのセンサ間の視差により距離情報にカラー画像を厳密に重ね合わせることができないという問題もある。

本発明は、上述の問題に鑑みてなされたものであり、シンプルな構成でありながら、１度の撮影で、被写体までの距離情報と、カラー画像信号とを得ることができる撮像装置及び画像入力装置を提供することを目的とする。

本発明の撮像装置は、
第１の光電変換部と、前記第１の光電変換部よりも光の入射方向に対して深い位置に配置された第２の光電変換部とを、光の入射方向に対して重なるように形成した光電変換領域と、
カラー画像を形成するために、前記光電変換領域に入射する光を帯域制限するフィルタ手段と、
所定の周波数で変調された変調光を出射する発光素子と、を有し、
前記発光素子から発光され、被写体から反射した変調光を前記光電変換領域で検出することにより、１回の撮像で、カラー画像を形成するための画素信号と前記被写体までの距離情報とを画素毎に求め、
前記少なくとも一方の光電変換部は、基板上に設けられた光電変換機能を持った薄膜であることを特徴とする。

本発明によれば、入射光の方向に重ねられた前記第１の光電変換部と前記第２の光電変換部の一方により、カラー画像を形成するための画素信号を取得し、他方の光電変換部より距離情報を取得することができるので、カラー画像に精度良く一致した距離情報を得ることが出来る。所定の周波数とは、例えばパルス幅５０ｎｓｅｃ程度、周期１００ｎｓｅｃの変調光を出射できる周波数をいう。

特に、可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記フィルタの特性に応じた波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記第１の光電変換部を通過した光について光電変換を行うので、短波長領域の光（例えば可視光）は、前記第１の光電変換部により光電変換され、前記第１の光電変換部を通過した残りの長波長領域の光（例えば赤外光）は、前記第２の光電変換部により光電変換される。即ち、第１の光電変換部と第２の光電変換部とを光の入射方向に対して重なるように積層した単一の固体撮像素子を用いることで、シンプルな構造ながら有効な波長分離機能を持たせることができるため、入射光に可視光の成分が多い場合でも、前記第２の光電変換部の画素が飽和することが抑制され、また入射光に赤外光の成分が多い場合でも、前記第１の光電変換部の画素が飽和することが抑制される。尚、前記第１の光電変換部全体により光電変換される可視光については、急峻なカットオフ特性を有する色フィルタを用いることで、各色成分毎に分離することができ、SNRの良い高画質な三原色信号を抽出することができる。又、前記第２の光電変換部全体で光電変換された赤外光を用いて、例えば赤外光専用センサと同等な解像度の赤外光画像を形成できる。また前記第１の光電変換部と前記第２の光電変換部は独立しているので、別個に露光制御を行うことも出来、最適な条件で光電変換された信号を取り出すことができる。

更に、本発明の一態様としては、前記第１の光電変換部と前記第２の光電変換部のうち少なくとも一方に設けられた、少なくとも２つの蓄積部と、前記発光素子から出射され、被写体から反射されてきた前記変調光を、前記少なくとも一方の光電変換部で光電変換し、変換された電気信号を所定のタイミングで切り替えて、前記少なくとも２つの蓄積部へ転送する転送手段と、前記少なくとも２つの蓄積部に蓄積された電気信号の差動演算を行う比較演算部と、前記差動演算部の比較演算結果に基づいて、被写体までの距離を求める距離判定部とを有すると好ましい。

本発明によれば、少なくとも一方の光電変換部に設けられた複数の蓄積部に、異なるタイミングで前記光電変換部に蓄積した電荷を転送し、かかる蓄積部に蓄積される電気信号を比較することで、被写体までの距離を求めることができる。

更に、本発明の一態様としては、前記少なくとも一方の光電変換部は、基板上に設けられた光電変換機能を持った薄膜であると好ましい。上段(浅い側)の光電変換部を有機光導電膜や、CIGS光導電膜などの薄膜を利用することもできる。両方の光電変換部を薄膜化することも可能である。薄膜化することで、光電変換部を浅いところに形成することができ、また、配線領域上に形成できるので開口が大きく取れる。これによりマイクロレンズを不要とすることができ、また、入射角度が大きくても良く、テレセン性の悪いレンズも使用でき、レンズの小型化、カメラの低背化に有利である。また、シリコン以外の光電変換材料を使用することで、シリコンでは実現できない機能を持たせることができる。例えば、赤外領域の感度はシリコンでは1100nm位までであるが、更に長波長側に感度を持たせることもできる。また、例えば青波長光のみ光電変換し、それ以外の波長の光は透過したり、緑波長光のみ光電変換し、それ以外の波長の光は透過したり、赤波長光のみ光電変換し、それ以外の波長の光は透過したり、といった特性を持たせることも可能である。

更に、本発明の一態様としては、前記フィルタ手段は、前記光電変換領域よりも光の入射側に配置された色フィルタを含み、可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記色フィルタの特性に応じて前記色フィルタを透過した波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記色フィルタと前記第１の光電変換部を通過した光について光電変換を行うと好ましい。これにより、前記光電変換領域に入射する入射光が、可視光、赤外光のいずれであるかを問わず画像を形成することができる。

更に、本発明の一態様としては、前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、緑色光とそれより長い波長の光を透過する画素フィルタＹｅｉと、赤色光とそれより長い波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していると好ましい。

更に、本発明の一態様としては、前記色フィルタは、更に赤外光の波長領域の光を透過する画素フィルタＩｒを、前記光電変換領域の画素に対応して配置していると好ましい。

更に、本発明の一態様としては、前記光電変換領域は、半導体基板内に前記第１の光電変換部と前記第２の光電変換部が一体的に形成されていると好ましい。

更に、本発明の一態様としては、前記光電変換領域は、半導体基板上に前記第１の光電変換部と前記第２の光電変換部がそれぞれ光電変換膜として形成されていると好ましい。

更に、本発明の一態様としては、前記光電変換領域は一体的に構成されており、前記第１の光電変換部は、半導体基板上に光電変換膜として形成され、前記第２の光電変換部は前記半導体基板内に形成されていると好ましい。

更に、本発明の一態様としては、前記第１の光電変換部は主として可視光の波長帯域の光を光電変換し、前記第２の光電変換部は主として赤外光の波長帯域の光を光電変換すると好ましい。

本発明の画像入力装置は、上述の撮像装置を用いると好ましい。

本発明によれば、シンプルな構成でありながら、１度の撮影で、被写体までの距離情報と、カラー画像信号とを得ることができる撮像装置及び画像入力装置を提供することができる。

第１の実施の形態に係る画像入力装置ＭＧの概略図である。 本実施の形態に係る撮像部１０２の１画素の断面構造を模式的に示す図である。 図２の撮像部１０２をA-A'線で切断した断面図である。 撮像部１０２のフィルタを用いない生の分光特性を示す図である。 撮像部１０２の全体の電気的構成を示す図である。 撮像部１０２の１画素分の回路構成を示す図である。 撮像部１０２の有するフィルタＦの一部を示す概略図である。 撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。 撮像部１０２の別なフィルタＦの一部を示す概略図である。 撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。 画像処理部１０６の詳細な構成を示すブロック図である。 別な実施の形態にかかる画像処理部１０６の詳細な構成を示すブロック図である。 撮像部１０２の内部構成のブロック図である。 撮像部１０２のタイミングチャートである。 画像処理例を示す図である。 変形例にかかる撮像部の１画素の断面構造を模式的に示す図である。 別な変形例にかかる撮像部の１画素の断面構造を模式的に示す図である。 別な変形例にかかる撮像部の１画素の断面構造を模式的に示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、第１の実施の形態に係る画像入力装置ＭＧの概略図である。かかる画像入力装置ＭＧは、ロボットカメラや監視カメラに用いることができるが、用途はそれに限られない。画像入力装置ＭＧは、レンズ１０１、撮像部１０２、切替／合成部１０３，差動演算部１０４，距離判定部１０５、画像処理部１０６、制御部１０７，タイミング制御部１０８，変調信号発生器１０９，発光素子１１０を備えている。尚、撮像部１０２、タイミング制御部１０８により固体撮像素子ＩＭを構成する。固体撮像素子ＩＭは、リニアログ特性を有すると好ましいが、それに限られない。又、切替／合成部１０３，差動演算部１０４，距離判定部１０５により信号処理部ＳＰを構成する。

詳細は後述する撮像部１０２は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像部１０２を駆動する駆動回路と、可視光用のＡ／Ｄ変換部と、赤外光用のＡ／Ｄ変換部とを含み、タイミング制御部１０８からのタイミング制御信号に同期して、光量に応じたレベルを有する原画像データを生成する。ここで、撮像部１０２としては、ＣＭＯＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

本実施の形態において、撮像部１０２は、受光部として、後述するように可視光を光電変換する第１の光電変換部と、赤外光を光電変換する第２の光電変換部とを、光の入射方向に積層して有する。第２の光電変換部は、電荷（電気信号）の読み出し用として２つの配線が接続され、一方は撮像部１０２内の第２蓄積部（図１３の１０２ｇ）に接続され、他方は撮像部１０２内の第３蓄積部（図１３の１０２ｈ）に接続されている。

切替／合成部１０３は、発光素子１１０から出射され、被写体から反射されてきた変調光を、第２の光電変換部で光電変換した際に、図１４を参照して後述する所定のタイミングで配線を切り変えるスイッチの機能を有する。配線が切り変わる前は、第２の光電変換部の電荷は第２蓄積部（１０２ｇ）に送られ、配線が切り換えられた後は第３蓄積部（１０２ｈ）に送られる。切替／合成部１０３は、更に、第２蓄積部（１０２ｇ）に蓄積された電荷と、第３蓄積部（１０２ｈ）に蓄積された電荷とを合計して、赤外光信号として画像処理部に送信する機能も有する。尚、図１４の波形は１サイクルのみ記載しているが、複数サイクル繰り返すことで、電気信号のS/N比を上げることができる。

差動演算部１０４は、第２蓄積部（１０２ｇ）に蓄積された電荷と、第３蓄積部（１０２ｈ）に蓄積された電荷の比（又は差分）をとる比較演算を行う機能を有する。距離判定部１０５は、第２蓄積部（１０２ｇ）に蓄積された電荷と、第３蓄積部（１０２ｈ）に蓄積された電荷の比（又は差分）から、被写体までの距離を画素毎に求めて距離情報を作成する機能を有する。これについては後述する。

画像処理部１０６は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像部１０２から出力されたデジタル信号及び距離判定部１０５から出力された距離情報を入力して、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する機能を有する。

制御部１０７は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置ＭＧの全体制御を司る機能を有する。

変調信号発生器１０９は、パルス変調された所定周波数の信号を発生し、発光素子１１０は、変調信号発生器１０９からの信号に応じて、間欠的にパルス赤外光を発生するようになっている。発光素子１１０は、パルス変調された赤外光を被写体に照射するＬＥＤで或ると好ましく、撮像部１０２に近い位置に、それを囲むように複数個配置することが望ましい。

画像入力装置ＭＧの動作を説明する。発光素子１１０から出射されたパルス赤外光の反射光を含む被写体光は、レンズ１０１を介して撮像部１０２の受光面に受光される。被写体光は、撮像部１０２の画素で光電変換され、可視光と赤外光それぞれについて、入射光量に応じたアナログ信号となって可視光用Ａ／Ｄ変換部，赤外光用Ａ／Ｄ変換部に入力され、それぞれデジタル信号に変換される。ここで、赤外光のデジタル信号は、距離情報を求めるのに使用される。撮像部１０２からのデジタル信号は、画像処理部１０６に入力され、カラー２次元画像信号（ＲＧＢ、ＹＣＣ等）として出力され、また被写体までの距離情報も出力され、更にカラー２次元画像信号に距離情報を組み合わせたカラー３次元画像信号として出力され、これらは不図示のモニタに表示されたり、メモリに記憶される。

一方、画像処理部１０６は、被写体の明るさ情報や波長情報に基づいて、撮像素子のポテンシャルを制御するための露光データや光源データを作成し、制御部１０７に入力する。露光データや光源データに基づいて、制御部１０７は、タイミング制御部１０８を制御して、タイミング信号を撮像部１０２に供給し、駆動制御するようになっている。

図２は、本実施の形態に係る撮像部１０２の１画素の断面構造を模式的に示す図である。この画素構造では、板状体であるｐ型の基板２の浅い部分に、第１の光電変換部となるｎ型領域を設けることで、第１のフォトダイオード４を形成し、更にｐ型の基板２の内部(深い部分)において、素子分離領域３によって区画された領域に、入射光の方向において第１のフォトダイオード４に重なるようにして、第２の光電変換部となるｎ型領域を設けることで、第２のフォトダイオード４’を形成したＣＭＯＳイメージセンサの例を示している。本実施形態の特徴は、第２のフォトダイオード４’が電荷取り出し口を２つ（３Ａ、３Ｂ）有し、タイミング制御部１０８の切換信号ＳＷ１，ＳＷ２の開閉により電荷を取り出せることである。第１のフォトダイオード４の領域と周囲のｐ領域でＰＤを構成、ｎ領域に電荷が蓄積される。第２のフォトダイオード４’についても同様である。但し、第２のフォトダイオード４’については蓄積領域が左右に２つあり、ゲートパルス（ＴＸ）の開閉タイミングで電荷の転送と制御する。第１のフォトダイオード４で主として可視光、第２のフォトダイオード４’で主として赤外光を受光する。

図３は、図２の撮像部１０２をA-A'線で切断した断面図であり、１画素のエネルギーポテンシャル分布を示す図である。第１のフォトダイオード４は、基板２の表面付近の第１のｎ型領域ポテンシャル井戸２１で形成されており、第２のフォトダイオード４’は、基板２の内部にある第２のｎ型領域ポテンシャル井戸２１’で形成されており、発生した電荷はこのポテンシャル井戸２１、２１’にそれぞれ蓄積される。この際、波長の短い光（可視光）は基板２の表面近くで吸収され、これにより発生した信号電荷は、第１のｎ型領域ポテンシャル井戸２１に蓄積し、波長の長い光（赤外光）は基板２の深い部分まで浸透し吸収され、これにより発生した信号電荷は、第２のｎ型領域ポテンシャル井戸２１’に蓄積される。このときの、撮像部１０２の生の分光特性を図４に示す。尚、バイアス電圧Ｂを変更する、あるいは、第2のn型領域の形成条件を変更することにより、たとえば境界ｄで表す、第１のフォトダイオード４のｎ型領域と第２のフォトダイオード４’のｎ型領域との間にあるｐ型領域２２の位置を光の入射方向に移動させることで、可視光と赤外光の分離特性を変更することができる。

図５は、撮像部１０２の全体の電気的構成を示す図であり、これが転送手段を示している。図６はその１画素分の回路構成を示す図である。これら図５および図６で示す構成と同等の機能を有するものであれば、図に示す構成に限らない。本例では垂直信号線ＬＶ１，ＬＶ２、ＬＶ３が独立している。図６を参照して、可視光を入射して第１のフォトダイオード４で得られた電荷は、転送ゲート８にハイレベルの転送パルスφＴＸ１が与えられることで、転送トランジスタ１１がＯＮしてＦＤ９へ転送され、このＦＤ９における容量で電圧値に変換されて、増幅トランジスタ１２に入力される。増幅トランジスタ１２において、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３のゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３がＯＮして、垂直信号線ＬＶ１へ出力される。一方、ＦＤ９に蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４のリセットゲート１９へハイレベルのリセットパルスφＲＳＴ１が与えられることで、該リセットトランジスタ１４がＯＮしてリセット電圧ＶＲＳＢ１にリセットされる。

一方、赤外光を入射して第２のフォトダイオード４’で得られた電荷は、転送ゲート８Ａにハイレベルの転送パルスφＴＸ２が与えられることで、転送トランジスタ１１ＡがＯＮしてＦＤ９Ａへ転送され、このＦＤ９Ａにおける容量で電圧値に変換されて、増幅トランジスタ１２Ａに入力される。増幅トランジスタ１２Ａにおいて、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３Ａのゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３ＡがＯＮして、垂直信号線ＬＶ２へ出力される。出力後、ＦＤ９Ａに蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４Ａのリセットゲート１９ＡへハイレベルのリセットパルスφＲＳＴ２が与えられることで、リセットトランジスタ１４ＡがＯＮしてリセット電圧ＶＲＳＢ２にリセットされる。

或いは、赤外光を入射して第２のフォトダイオード４’で得られた電荷は、転送ゲート８Ｂにハイレベルの転送パルスφＴＸ３（φＴＸ２と択一的に付与される）が与えられることで、転送トランジスタ１１ＢがＯＮしてＦＤ９Ｂへ転送され、このＦＤ９Ｂにおける容量で電圧値に変換されて、増幅トランジスタ１２Ｂに入力される。増幅トランジスタ１２Ｂにおいて、電源電圧ＶＤＤを用いて増幅された電圧は、行選択信号線ＬＨから行選択トランジスタ１３Ｂのゲートに選択信号φＶが与えられることで、該行選択トランジスタ１３ＢがＯＮして、垂直信号線ＬＶ３へ出力される。出力後、ＦＤ９Ｂに蓄積された電荷は、行選択信号線ＬＨからリセットトランジスタ１４Ｂのリセットゲート１９ＢへハイレベルのリセットパルスφＲＳＴ２が与えられることで、リセットトランジスタ１４ＢがＯＮしてリセット電圧ＶＲＳＢ２にリセットされる。

図５を参照して、撮像部１０２の中央部には、多数の画素が二次元に配列されており、周縁部に配置された垂直走査回路１５が前記行選択信号線ＬＨに選択出力を与え、それによって各画素から垂直信号線ＬＶ１，ＬＶ２に出力された電圧は、第１水平走査回路１６及び第２水平走査回路１６’の選択走査によって、第１読出し回路１７及び第２読出し回路１７Ａ、１７Ｂから順次読出される（出力１，出力２、出力３）。垂直走査回路１５および水平走査回路１６、１６’は、シフトレジスタなどで実現される。

図示していないが、読出し回路１７、１７Ａ、１７Ｂはそれぞれ、各列、すなわち前記垂直信号線ＬＶに接続される２つのサンプルホールド回路と、負荷トランジスタとを備えて構成される。各サンプルホールド回路は、２つのスイッチと、２つの容量と、２つのアンプとを備えて構成される。各垂直信号線ＬＶは、スイッチを介して容量に接続され、そのホールド電圧がアンプを介して引算器に与えられる。各列の各アンプは、水平走査回路１６、１６’によって駆動される。

このような読出し回路１７、１７Ａ、１７Ｂにおいて、相関二重サンプルを行うために、スイッチの一方がＯＮし、各画素に前記転送パルスφＴＸ１，φＴＸ２、φＴＸ３が与えられることで容量の一方に前記各画素からの出力電圧がホールドされる。また、スイッチの他方は、各画素に前記リセットパルスφＲＳＴ１、φＲＳＴ２が与えられたときにＯＮし、各画素からの出力電圧がホールドされる。そのホールド電圧は、水平走査回路１６、１６’によって、各アンプが一対で選択されて引算器に与えられ、こうして引算器からは、ノイズの影響の少ない前記相関二重サンプル値が順次出力されてゆく。このような読出し回路１７，１７Ａ、１７Ｂについては、例えば特開２００８−２８３０５７号公報に開示されている。

図７は、撮像部１０２の有するフィルタＦの一部を示す概略図である。図８は、撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。これらの構成と同等の機能を有するものであれば、図に示す構成に限らない。

図７に示すように、画素単位にマトリクス状に繰り返し配設されるフィルタは、３種類の画素フィルタ（光学フィルタ又は色フィルタともいう）Ｗｉ、Ｙｅｉ、Ｒｉからなっている。より具体的には、第１行第１列に画素フィルタＷｉが配列され、第２行第１列に画素フィルタＲｉが配列され、第１行第２列に画素フィルタＹｅｉが配列され、第２行第２列に画素フィルタＷｉが配列されるというように、繰り返し配列されている。但し、これは一例であり、他のパターンで繰り返し配列してもよい。尚、画素フィルタＷｉは素通し（開口）でもよく、その場合にはフィルタＦは２種類の光学フィルタからなるともいえる。

画素フィルタＷｉは、可視光と赤外光の波長領域の光を透過し、画素フィルタＹｅｉは緑色光から赤外光までを透過し、画素フィルタＲｉは赤色と赤外光とを透過し、画素フィルタＩｒは赤色光のみを透過する。これらの各フィルタは、それぞれ一つの画素に対応している。具体的には図８において、フィルタ（Ｗｉ，Ｙｅｉ，Ｒｉ）の分光特性の一例を示しているが、例えば画素フィルタＹｅｉは５００ｎｍ前後のカットオフ周波数を持ち、画素フィルタＲｉは６００ｎｍ前後にカットオフ周波数を持ち、画素フィルタＩｒは７００ｎｍ前後にカットオフ周波数を持つ。フィルタＷはカットオフ周波数を有していない。この様なフィルタＦは、通常、撮像素子の前面に配置される。ここでは、４００ｎｍ〜７００ｎｍを可視光波長領域とし、７００ｎｍ〜１１００ｎｍを赤外光波長領域とする。本実施の形態では、第２の光電変換部により取得された赤外光成分ＩＲ２も利用して、カラー画像信号を形成する。従って、画素フィルタＷｉを通過した光の信号をＷｉとし、画素フィルタＹｅｉを通過した光の信号をＹｅiとし、画素フィルタＲｉを通過した光の信号をＲiと、カラー画像信号を形成するＢ、Ｇ、Ｒ信号は、以下の式で表せる。但し、γは任意の係数である。本実施の形態によれば、第１の光電変換部に加え、赤外光成分を検出する第２の光電変換部を設けたので、図９，１０に示す実施の形態に対して、画素フィルタＩｒを省略でき、且つ画素フィルタＷｉを２倍にして千鳥配置（対角線配置）することで、空間解像度特性を向上させることができる。
Ｂ＝Ｗｉ−Ｙｅｉ
Ｇ＝Ｙｅｉ−Ｒｉ
Ｒ＝Ｒｉ−γ・ＩＲ２

図９は、撮像部１０２の有する別のフィルタＦの一部を示す概略図である。図１０は、撮像素子の分光感度特性を含むフィルタＦの分光特性を示す図である。これらの構成と同等の機能を有するものであれば、図に示す構成に限らない。本実施の形態では、第１の光電変換部の信号のみを用いてカラー画像を形成する。

図９に示すように、画素単位にマトリクス状に繰り返し配設されるフィルタは、４種類の画素フィルタ（光学フィルタ又は色フィルタともいう）Ｗｉ、Ｙｅｉ、Ｒｉ、Ｉｒからなっている。より具体的には、第１行第１列に画素フィルタＷｉが配列され、第２行第１列に画素フィルタＹｅｉが配列され、第１行第２列に画素フィルタＲｉが配列され、第２行第２列に画素フィルタＩｒが配列されるというように、繰り返し配列されている。但し、これは一例であり、他のパターンで繰り返し配列してもよい。尚、画素フィルタＷｉは素通し（開口）でもよく、その場合にはフィルタＦは３種類の光学フィルタからなるともいえる。

画素フィルタＷｉは、可視光と赤外光を全て透過し、画素フィルタＹｅｉは緑色光から赤外光までを透過し、画素フィルタＲｉは赤色と赤外光とを透過し、画素フィルタＩｒは赤色光のみを透過する。これらの各フィルタは、それぞれ一つの画素に対応している。具体的には図１０において、フィルタ（Ｗｉ，Ｙｅｉ，Ｒｉ，Ｉｒ）の分光特性の一例を示しているが、例えば画素フィルタＹｅｉは５００ｎｍ前後のカットオフ周波数を持ち、画素フィルタＲｉは６００ｎｍ前後にカットオフ周波数を持ち、画素フィルタＩｒは７００ｎｍ前後にカットオフ周波数を持つ。フィルタＷはカットオフ周波数を有していない。この様なフィルタＦは、通常、撮像素子の前面に配置される。ここでは、４００ｎｍ〜７００ｎｍを可視光波長領域とし、７００ｎｍ〜１１００ｎｍを赤外光波長領域とする。従って、画素フィルタＷｉを通過した光の信号をＷｉとし、画素フィルタＹｅｉを通過した光の信号をＹｅiとし、画素フィルタＲｉを通過した光の信号をＲiとし、画素フィルタＩｒを通過した光の信号をＩｒとすると、色のＢ、Ｇ、Ｒ信号は、以下の式で表せる。本実施の形態によれば、全ての画素フィルタを赤外光が通過するので、第２の光電変換部で検出する赤外光成分ＩＲ２は、モノクロ撮像装置と同様の解像度を得ることができる。
Ｂ＝Ｗｉ−Ｙｅｉ
Ｇ＝Ｙｅｉ−Ｒｉ
Ｒ＝Ｒｉ−Ｉｒ

図１１は、画像処理部１０６の詳細な構成を示すブロック図であり、図９に示すフィルタＦを用いた例を示す。画像処理部１０６は、可視光用露出補正部１０６ａ、赤外光用露出補正部１０６ａ’、輝度信号生成部１０６ｂ、色信号生成部１０６ｃ、色空間変換部１０６ｄ、及び露出制御部１０６ｅを備えている。

可視光用露出補正部１０６ａは、撮像部１０２から可視光の信号を入力して、可視光用露光データを生成して露出制御部１０６ｅを介して制御部１０７に出力する。制御部１０７（図１）は、可視光用露光データに基づき、露出が適正になるように第１のフォトダイオード４の露光時間等を調整する。但し、第１のフォトダイオード４からの信号が基準値以上の場合には、第１のフォトダイオード４の信号を用いて露光制御を行い、第１のフォトダイオード４からの信号が基準値を下回る場合には、第２のフォトダイオード４’の信号を用いて露光制御を行ってもよい。一方、赤外光用露出補正部１０６ａ’は、撮像部１０２から赤外光の信号を入力して、赤外光用露光データを生成して露出制御部１０６ｅを介して制御部１０７に出力する。制御部１０７（図１）は、赤外光用露光データに基づき、露出が適正になるように第２のフォトダイオード４’の露光時間等を調整する。このとき、色情報を重視する場合は、可視光量が最適になるよう露出制御する。

不図示の色補間部において、画素フィルタＹｅｉを通過した光束を受光した画素の出力信号である画像成分Ｙｅｉ、画素フィルタＲｉを通過した光束を受光した画素の出力信号である画像成分Ｒｉ、画素フィルタＩｒを通過した光束を受光した画素の出力信号である画像成分Ｉｒ、及び画素フィルタＷｉを通過した光束を受光した画素の出力信号である画像成分Ｗｉのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒｉ、画像成分Ｉｒ、画像成分Ｗｉ、及び画像成分Ｙｅｉのそれぞれを撮像部１０２の画素数と同一画素数からなる画像データにすることができる。補間処理としては、例えば線形補間処理を採用すればよい。

輝度信号生成部１０６ｂは、撮像部１０２から可視光の信号（Ｗｉ＋Ｙｅｉ＋Ｒｉ＋Ｉｒ）と、赤外光の信号ＩＲ２とを入力して、適切な重み付けを行って、式（１）に基づき輝度信号Ｙを出力する演算を行う。α、βは任意の係数である。但し、赤外光比率が高い撮影条件では、赤外光で輝度信号を求めることが望ましい（α＝０とする）。一方、可視光が比較的強い撮影条件では、画素Ｗｉの信号から輝度信号の高周波成分を抽出すると良い。
Ｙ＝α・（Ｗｉ＋Ｙｅｉ＋Ｒｉ＋Ｉｒ）＋β・ＩＲ２ ・・・（１）

色信号生成部１０６ｃは、色補間部により補間処理が施された画像成分Ｙｅｉと、画像成分Ｒｉと、画像成分Ｉｒと、画像成分Ｗｉとを式（２）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒｉ−Ｉｒ
ｄＧ＝Ｙｅｉ−Ｒｉ ・・・・・（２）
ｄＢ＝Ｗｉ−Ｙｅｉ

色空間変換部１０６ｄは、式（３）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、色差信号Ｃｂ’、Ｃｒ’とを含む色空間に変換する、ここで、色差信号Ｃｂ’は青の色差信号を示し、色差信号Ｃｒ’は赤の色差信号を示す。
Ｃｂ’＝ｄＢ−Ｙc
Ｃｒ’＝ｄＲ−Ｙc ・・・・・（３）
また、輝度信号Yは以下の式で求める。
Ｙc＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ ・・・（３’）
YcはYで置き換えるが、この時Cb,Crは以下のように計算しなおす。
Cｂ = Cｂ’*(Y/Yc)
Cｒ = Cｒ’*(Y/Yc)

更に、色空間変換部１０６ｄは、式（３）で求めた色差信号Ｃｂ、Ｃｒをスムージング処理しても良い。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。

また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場合いに平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。

このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。

尚、不図示のＲＧＢ色信号生成部が、式（３）、（３’）を逆変換することで、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂから色信号ｄＲ´、ｄＧ´、ｄＢ´を算出する。これを画像データとして、適切な画像を形成できる。

本実施の形態によれば、可視光と赤外光とを含む波長領域の光を入射したときに、第１のフォトダイオード４が、フィルタＦの特性に応じた可視光について光電変換を行い、第２のフォトダイオード４’が、第１のフォトダイオード４を通過した赤外光について光電変換を行うことができるので、シンプルな構造ながら有効な波長分離機能を持たせることができるため、入射光に可視光の成分が多い場合でも、第２のフォトダイオード４’の画素が飽和することが抑制され、また入射光に赤外光の成分が多い場合でも、第１のフォトダイオード４の画素が飽和することが抑制される。更に、第１のフォトダイオード４により光電変換される可視光については、急峻なカットオフ特性を有するフィルタＦを用いることで、各色成分毎に分離することができ、高画質なR、G、B画像を形成できる。又、第２のフォトダイオード４’全体で光電変換された赤外光を用いて、例えば赤外光専用センサと同等な解像度の赤外光画像を形成できる。第１のフォトダイオード４と第２のフォトダイオード４’は独立しているので、別個に露光制御を行うことも出来、最適な条件で光電変換された信号を取り出すことができる。

図１２は、別な画像処理部１０６の詳細な構成を示すブロック図であり、図７に示すフィルタＦを用いた例を示す。画像処理部１０６自体は、図１１に示す構成と同様であるが、処理する信号が異なっている。

不図示の色補間部において、画素フィルタＹｅｉを通過した光束を受光した画素の出力信号である画像成分Ｙｅｉ、画素フィルタＲｉを通過した光束を受光した画素の出力信号である画像成分Ｒｉ、及び画素フィルタＷｉを通過した光束を受光した画素の出力信号である画像成分Ｗｉのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒｉ、画像成分Ｗｉ、及び画像成分Ｙｅｉのそれぞれを撮像部１０２の画素数と同一画素数からなる画像データにすることができる。補間処理としては、例えば線形補間処理を採用すればよい。

輝度信号生成部１０６ｂは、撮像部１０２から可視光の信号（Ｗｉ＋Ｙｅｉ＋Ｒｉ）と、赤外光の信号ＩＲ２とを入力して、適切な重み付けを行って、式（１）に基づき輝度信号Ｙを出力する演算を行う。α’、β’は任意の係数である。但し、赤外光比率が高い撮影条件では、赤外光で輝度信号を求めることが望ましい（α’＝０とする）。一方、可視光が比較的強い撮影条件では、画素Ｗｉの信号から輝度信号の高周波成分を抽出すると良い。
Ｙ＝α’・（Ｗｉ＋Ｙｅｉ＋Ｒｉ）＋β’・ＩＲ２ ・・・（１’）

色信号生成部１０６ｃは、色補間部により補間処理が施された画像成分Ｙｅｉと、画像成分Ｒｉと、画像成分Ｉｒと、画像成分Ｗｉと、を式（２’）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。尚、γは任意の係数である。これ以降の処理は、上述した実施の形態と同様である。本例によれば、画素フィルタＷｉを千鳥配置とすることで、他の画素フィルタに対して、等価的に縦横２倍の数だけ設けたことになり、可視光領域での空間解像度を更に向上させることができる。
ｄＲ＝Ｒｉ−γ・ＩＲ２
ｄＧ＝Ｙｅｉ−Ｒｉ ・・・・・（２）
ｄＢ＝Ｗｉ−Ｙｅｉ

図１３は、撮像部１０２の内部構成のブロック図である。図１４は、撮像部１０２のタイミングチャートである。図１３において、撮像部１０２ａに入射した可視光は、第１の光電変換部１０２ａにより光電変換され、タイミング制御部１０８の信号により駆動される第０スイッチ１０２ｂに同期して電荷を取り込まれ、かかる電荷は第１蓄積部１０２ｃに蓄積された後、可視光信号として出力される。一方、撮像部１０２ａに入射した赤外光は、第２の光電変換部１０２ｄにより光電変換され、タイミング制御部１０８の信号ＳＷ１により駆動される第１スイッチ１０２ｅに同期して電荷を取り込まれ、またタイミング制御部１０８の信号ＳＷ２により駆動される第２スイッチ１０２ｆに同期して電荷を取り込まれる。第１スイッチ１０２ｅにより取り込まれた電荷は、第２蓄積部１０２ｇに蓄積された後、第１赤外光信号として出力され、第２スイッチ１０２ｆにより取り込まれた電荷は、第３蓄積部１０２ｈに蓄積された後、第２赤外光信号として出力される。

図１４に示すタイミングチャートにおいて、発光信号（ａ）と同時に発光素子１１０（図１）から照射された赤外光は、被写体より反射されて撮像部１０２に戻るが、撮像部１０２からの距離によって帰ってくるまでの時間が異なる（遅延する）。結果として、発光信号（ａ）と受光信号（ｂ）とは、位相がずれる（遅延する）ことになる。この位相のずれに応じて２つの蓄積部へ転送される電荷が変化する。

より具体的には、発光素子１１０の発光と同時に、タイミング制御部１０８から出力される信号ＳＷ１（ｃ）をＯＮとし、且つ信号ＳＷ２（ｄ）はＯＦＦとし、所定のタイミングとして発光終了時に、タイミング制御部１０８の信号ＳＷ１（ｃ）をＯＦＦとし、同時に信号ＳＷ２（ｄ）をＯＮとする。更に受光時に信号ＳＷ２（ｄ）をＯＦＦとする。これにより、第２の光電変換部１０２ｄで光電変換された受光信号の内、前半の受光信号Ｓｉｇ１（ｅ）は第２蓄積部１０２ｇに送られ、後半の受光信号Ｓｉｇ２（ｆ）は第３蓄積部１０２ｈに送られることとなる。ここで、被写体までの距離が遠くなるに連れ、前半の受光信号Ｓｉｇ１は減少する一方、後半の受光信号Ｓｉｇ２は増大することとなる。つまり、受光信号の差分（│Ｓｉｇ１−Ｓｉｇ２│）又は比（Ｓｉｇ１／Ｓｉｇ２）をとることで、それに応じて被写体までの距離を求めることができるのである。これを画素ごとに行うことにより、画素毎に距離信号（距離情報）を得ることができる。一方、第１の光電変換部は、赤外光の検出とは全く独立して、可視光を受光できる。つまり１度の撮像で、画素毎に距離信号を得ると同時に、カラー画像信号を取得することが出来るのである。尚、明らかであるが、受光信号の和（Ｓｉｇ１＋Ｓｉｇ２）は、赤外光信号となる。

図１５は、可視光信号と、赤外光信号と、距離信号とを用いた画像処理の概略を示す図である。本実施の形態によれば、距離信号とカラー画像信号から、３次元画像を生成することも可能である。具体的には、画像毎に、可視光信号にカラー信号処理を施してカラー画像信号を作成し、赤外光信号にモノクロ信号処理を施してモノクロ赤外画像信号を作成し、距離信号に距離信号処理を施して距離画像信号を作成する。このカラー画像信号と距離画像信号に３次元信号処理を施すことで、右目用画像と左目用画像を作成することが可能であり、これを３次元ディスプレイで見ることにより、カラーの被写体を立体的に鑑賞することができる。同様に、モノクロ赤外画像信号と距離画像信号に３次元信号処理を施すことで、右目用画像と左目用画像を作成することが可能であり、これを３次元ディスプレイで見ることにより、夜間のモノクロの被写体を立体的に鑑賞することができる。

本実施の形態によれば、距離画像信号とカラー画像信号を同一の撮像素子から１度の撮像で得ることができ、しかも、距離画像に対し画素位置ズレのないカラー画像を得ることができる。また、画素毎に測距を行うことで、被写体形状に依存しない距離画像を得ることができる。１画面の画像情報を得るために複数回撮影する必要が無く、動きの早い被写体でもリアルタイムで撮影が可能である。

又、本実施の形態によれば、第２の光電変換部に２つの蓄積部を設け、蓄積した電荷を短時間で振り分けることで、精度良く反射波の遅延を求めることができる。光電変換部や蓄積部は３つ以上設けても良い。

カラーフィルタとしては、例えばＷ、Ｙｅ、Ｒなど、すべての画素フィルタが赤外光を透過する構成が望ましい。これによりすべての画素で赤外光を受光することができ、感度のロスがないという利点がある。また、各画素フィルタを通過した光の信号の差分をとることで、ＲＧＢ信号を取り出すことができ、これらからカラー画像を作ることができる。

撮像部の上段（入射光に対し浅い側）の第１の光電変換部を有機光導電膜や、ＣＩＧＳ光導電膜などの薄膜を利用することもできる。両方の光電変換部を薄膜化することも可能である。薄膜化することで、光電変換部を浅いところに形成することができ、また、配線領域上に形成できるので開口が大きく取れる。これによりマイクロレンズを不要とすることができ、また、入射角度が大きくても良く、テレセン性の悪いレンズも使用でき、レンズの小型化、カメラの低背化に有利である。

上段の光電変換部と下段の光電変換部とで大きさを変えても良い。例えば上段の光電変換部の４画素に対して下段の光電変換部の１画素を対応させることができる。測距のために照射される（赤外）光は、背景光に比較して弱い（昼間など）ので、センサとしては感度が高いほうが有利である。画素が大きい方が感度が一般的に高い。これに対して、背景光を主として利用する上段の光電変換部では、投光する光よりも背景光の方が一般に強いので、小さな画素でも十分感度が確保できる。

図１６は、別の実施の形態に係る撮像部１０２’の１画素の断面構造を模式的に示す図である。上述の実施の形態においては、基板２に対して、光の入射側に、制御信号を付与する配線が接続される転送ゲート８、８Ａ，８Ｂ、ＦＤ９、９Ａ，９Ｂ、リセットトランジスタ１４、１４Ａ，１４Ｂ等の信号読出し部が設けられているが、このため画素に入射する光が通過する開口が制限されている。これに対し、本実施の形態では、基板２の裏面（図１６で下面）に配線層（配線領域ともいう）３２を形成して、ここに転送ゲート８、８Ａ，８Ｂ、ＦＤ９、９Ａ，９Ｂ、リセットトランジスタ１４、１４Ａ，１４Ｂ等を配置してなる。かかる場合、基板２の表面側には配線や信号読出し部が存在しないため、入射光を有効に取り込むことができる。このような撮像部１０２’は、シリコンウェハ上に積層してフォトダイオードを形成した後、シリコンウェハを研削して内部のフォトダイオードを露出させることで形成できる。それ以外の点では、上述した実施の形態と同様であるため、説明を省略する。尚、本例では、第２のフォトダイオード４’のｎ領域の両端の部分が電荷取り出し口になる。

本実施の形態で用いたフィルタＦの代わりに、図１６に示すように、全領域の波長の光を透過する画素フィルタＷｉと、青色の波長の光を透過する画素フィルタＢｉと、緑色の波長の光を透過する画素フィルタＧｉと、赤色の波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置したフィルタを用いることもできる。

更に、図２に示すように半導体基板内に第１の光電変換部と第２の光電変換部が一体的に形成されていても良いが、半導体基板上に第１の光電変換部と第２の光電変換部がそれぞれ光電変換膜として形成されていても良いし、光電変換領域が一体的に構成されており、第１の光電変換部は、半導体基板上に光電変換膜として形成され、第２の光電変換部は前記半導体基板内に形成されていても良い。

図１７に、半導体基板上に第１の光電変換部と第２の光電変換部がそれぞれ光電変換膜Ｍ１，Ｍ２として２層に形成されていている例を示す。ここで、電極ＥＴ４からのビアＶｉａ２が蓄積ダイオードＤ２に接続されている。蓄積ダイオードＤ２には蓄積領域が２つあり、電荷を振り分けて転送するようになっている。一方、蓄積ダイオードＤ１にビアＶｉａ１を介して接続されている電極ＥＴ２は、入射方向奥側に光電変換膜Ｍ２があるため必要な波長の光(赤外光)は透過する必要がある。配線領域下のSi基板、蓄積ダイオードは光の入射による不要な電荷の発生を防ぐ必要があり、電極ＥＴ４については、光を透過しない材料を使っている。あるいは電極ET４の下に遮光層を設けても良い。

図１８に、光電変換領域が一体的に構成されており、第１の光電変換部は、半導体基板上に光電変換膜Ｍとして形成され、第２の光電変換部は半導体基板内に形成されている例を示す。光電変換層の光入射側に透明電極ＥＴ１、奥側に画素ごとの電荷を取り出すための電極ＥＴ２が配置されている。電極ＥＴ２の面積が画素の開口に相当する。また、Si基板上に下層の光電変換部が形成されている。電極ＥＴ２から電荷を取り出すためのビアＶｉａが、基板上の蓄積ダイオードＤに接続されている。ビアＶｉａを通して電極ＥＴ２から蓄積ダイオードＤへ電荷が移動する。蓄積ダイオードの電荷はゲート(TX1)をONすることにより、読み出される。配線領域には光が入射しないように、遮光されている。

３ 素子分離領域
４、４’ フォトダイオード
８、８Ａ、８Ｂ 転送ゲート
１１、１１Ａ、１１Ｂ 転送トランジスタ
１２、１２Ａ、１２Ｂ 増幅トランジスタ
１３、１３Ａ、１３Ｂ 行選択トランジスタ
１４、１４Ａ、１４Ｂ リセットトランジスタ
１５ 垂直走査回路
１６ 水平走査回路
１７、１７Ａ、１７Ｂ 読出し回路
１９、１９Ａ、１９Ｂ リセットゲート
２１、２１’ ｎ型領域ポテンシャル井戸
２２ ｐ型領域
１０１ レンズ
１０２ 撮像部
１０３ 切替／合成部
１０４ 差動演算部
１０５ 距離判定部
１０６ 画像処理部
１０６ａ 可視光用露出補正部
１０６ａ’ 赤外光用露出補正部
１０６ｂ 輝度信号生成部
１０６ｃ 色信号生成部
１０６ｄ 色空間変換部
１０６ｅ 露出制御部
１０７ 制御部
１０８ タイミング制御部
１０９ 変調信号発生器
１１０ 発光素子
Ｆ フィルタ
ＬＨ 行選択信号線
ＬＶ 垂直信号線
ＭＧ 画像入力装置
ＳＨ１，ＳＨ２ サンプルホールド回路
ＶＤＤ 電源電圧

Claims (9)

1. 第１の光電変換部と、前記第１の光電変換部よりも光の入射方向に対して深い位置に配置された第２の光電変換部とを、光の入射方向に対して重なるように形成した光電変換領域と、
   カラー画像を形成するために、前記光電変換領域に入射する光を帯域制限するフィルタ手段と、
   所定の周波数で変調された変調光を出射する発光素子と、を有し、
   前記発光素子から発光され、被写体から反射した変調光を前記光電変換領域で検出することにより、１回の撮像で、カラー画像を形成するための画素信号と前記被写体までの距離情報とを画素毎に求め、
   前記少なくとも一方の光電変換部は、基板上に設けられた光電変換機能を持った薄膜であることを特徴とする撮像装置。
2. 前記第１の光電変換部と前記第２の光電変換部のうち少なくとも一方に設けられた、少なくとも２つの蓄積部と、
   前記発光素子から出射され、被写体から反射されてきた前記変調光を、前記少なくとも一方の光電変換部で光電変換し、変換された電気信号を所定のタイミングで切り替えて、前記少なくとも２つの蓄積部へ転送する転送手段と、
   前記少なくとも２つの蓄積部に蓄積された電気信号の比較演算を行う差動演算部と、
   前記差動演算部の比較演算結果に基づいて、被写体までの距離を求める距離判定部とを有することを特徴とする請求項１の撮像装置。
3. 前記光電変換領域は、半導体基板上に前記第１の光電変換部と前記第２の光電変換部がそれぞれ光電変換膜として形成されていることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記光電変換領域は一体的に構成されており、前記第１の光電変換部は、半導体基板上に光電変換膜として形成され、前記第２の光電変換部は前記半導体基板内に形成されていることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記フィルタ手段は、前記光電変換領域よりも光の入射側に配置された色フィルタを含み、可視光と赤外光とを含む波長領域の光を入射したときに、前記第１の光電変換部は、前記色フィルタの特性に応じて前記色フィルタを透過した波長帯域の光について光電変換を行い、前記第２の光電変換部は、前記色フィルタと前記第１の光電変換部を通過した光について光電変換を行うことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
6. 前記色フィルタは、可視光と赤外の波長領域の光を透過する画素フィルタＷｉと、緑色光とそれより長い波長の光を透過する画素フィルタＹｅｉと、赤色光とそれより長い波長の光を透過する画素フィルタＲｉとを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項５に記載の撮像装置。
7. 前記色フィルタは、更に赤外光の波長領域の光を透過する画素フィルタＩｒを、前記光電変換領域の画素に対応して配置していることを特徴とする請求項６に記載の撮像装置。
8. 前記第１の光電変換部は主として可視光の波長帯域の光を光電変換し、前記第２の光電変換部は主として赤外光の波長帯域の光を光電変換することを特徴とする請求項１〜７のいずれかに記載の撮像装置。
9. 請求項１〜８のいずれかに記載の撮像装置を用いたことを特徴とする画像入力装置。

Images