JP4453189B2

JP4453189B2 - Imaging device

Info

Publication number: JP4453189B2
Application number: JP2000332943A
Authority: JP
Inventors: 啓一山田
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2000-10-31
Filing date: 2000-10-31
Publication date: 2010-04-21
Anticipated expiration: 2020-10-31
Also published as: JP2002142228A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の固体撮像素子を用いたカラー撮像装置に関する。更に本発明は、近赤外光による撮像をも可能とした固体撮像装置に関する。
【０００２】
【従来の技術】
近赤外及び可視光に感度を有する固体撮像素子として、例えば従来、特開平５−１０３３３０号公報、特開平１０−６５１３５号公報、特開２０００−５９７９８号公報記載の技術が知られている。
【０００３】
特開平５−１０３３３０号公報記載の技術は、２次元状に配置構成された光感知セル群の前面に色識別フィルタを配設したカラー固体撮像素子が開示されている。色識別フィルタは色ベクトル上で直交関係にある２つの色差信号が得られるよう、４行２列で構成され、いずれの色識別フィルタも赤外光領域における分光透過率がほぼ等しいものである。４つの色識別フィルタの信号量はマゼンダ信号Ｓ_mg＋Ｓ_IR、緑信号Ｓ_g＋Ｓ_IR、シアン信号Ｓ_cy＋Ｓ_IR、黄信号Ｓ_ye＋Ｓ_IRであり、輝度信号をそれらの平均として求め、色差信号をマゼンダ信号−緑信号＋シアン信号−黄信号、及びマゼンダ信号−緑信号−シアン信号＋黄信号として求めている。
【０００４】
特開平１０−６５１３５号公報においては、ラインセンサにおいて、赤外カットフィルタで被覆した赤色フィルタＲ、緑色フィルタＧ及び青色フィルタＢ、並びに赤色フィルタＲと青色フィルタＢとを重ねたもの、の４種のフィルタ群から成る第１の構成が開示されている。また、エリアセンサにおいて、緑Ｇ、シアンＣｙ、マゼンダＭｇ、黄Ｙｅのフィルタを各画素に形成し、黄Ｙｅ又はマゼンダＭｇを、赤色フィルタＲと青色フィルタＢを重ねたものに置き替えた構成が示されている。
【０００５】
特開平２０００−５９７９８号公報においては、ＩＲカットフィルタを挿入／抜出を機構的行い、ＩＲカットフィルタを挿入している場合は近赤外光及び赤外光の影響のない可視光カラー画像を、ＩＲカットフィルタを抜き出している場合は可視光及び近赤外光の光強度を加算した画像を出力する構成が開示されている。
【０００６】
【発明が解決しようとする課題】
半導体素子により撮像装置を形成する際、可視光領域にのみ感度を有する画素を形成することは困難であり、フィルタを用いない場合は可視光領域及び近赤外光領域に感度を有することとなり、「擬似カラー画像」を撮像することとなる。上記３つの従来例においては、単に近赤外光及び赤外光を遮断する機構とするのではなく、昼間におけるカラー画像撮像とともに夜間等における近赤外光による撮像を可能とするための工夫が成されている。
【０００７】
しかし、特開平５−１０３３３０号公報の技術においては、色差信号に近赤外光が影響しない構成ではあるが、輝度信号には近赤外光の影響が出てしまう。即ち、近赤外光の影響を受けない可視光のみの画像が出力できない。また、昼間において、可視光の影響を受けない近赤外光のみの画像も出力できない。また、特開平１０−６５１３５号公報の技術においては、緑Ｇ、シアンＣｙ、マゼンダＭｇ、黄Ｙｅのフィルタをそれぞれ設けた画素により可視光画像を、赤色フィルタＲと青色フィルタＢを重ねて設けた画素により近赤外光画像を得るものであるが、当然空間解像度は低下する。ラインセンサの構成（赤外カットフィルタ＋Ｒ、赤外カットフィルタ＋Ｇ、赤外カットフィルタ＋Ｂ、Ｒ＋Ｂ）をエリアセンサに応用しても、原色系フィルタでは感度が低くなる。特開平２０００−５９７９８号公報の技術においては、ＩＲカットフィルタの挿入／抜出機構のため、装置が大がかりとなる他、ＩＲカットフィルタの操作は自動的に行えない。
【０００８】
本発明は、上記従来技術では成し得なかった、新たな可視光カラー画像及び近赤外光画像を独立に得る撮像装置を提供することを目的とする。また、可視光カラー画像及び近赤外光画像の自動切替を可能とする撮像装置を提供することをも目的とする。
【０００９】
【課題を解決するための手段】
本発明の第１の手段は、可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタは、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタであり、４種類の色フィルタの画素の出力をマトリクス演算することにより、青、緑、赤及び近赤外の強度を求め、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることを特徴とする。
また、第２の手段は、上記第１の手段において、可視光カラー画像の強度により、可視光カラー画像及び近赤外光画像を自動的に切り換えて出力することを特徴とする。
また、第３の手段は、上記第１又は第２の手段において、可視光カラー画像から色バランスを決定することを特徴とする。
また、下記の発明も考えられる。可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求める。
【００１０】
可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタのフィルタ特性を波長λの関数としてｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)、可視光の３原色の透過フィルタのフィルタ特性をｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)、近赤外光透過フィルタのフィルタ特性をｆ_IR(λ)とするとき、フィルタ特性ｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)、ｆ_IR(λ)がフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の線型結合で形成されるよう、４種類の色フィルタのフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)が調整されている。
【００１１】
フィルタ特性ｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)、ｆ_IR(λ)の組は、フィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の組とは一致しない。
【００１２】
４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求める。
【００１３】
可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタのフィルタ特性を波長λの関数としてｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)、可視光の３原色の各々を中心とする領域及び近赤外領域をλ_b≦λ≦λ_B、λ_g≦λ≦λ_G、λ_r≦λ≦λ_R、λ≧λ_IR、ただしλ_b＜λ_g≦λ_B＜λ_G，λ_g＜λ_r≦λ_G＜λ_R、λ_G≦λ_IRとして、λ_b≦λ≦λ_Bにのみ略０でない透過率を有するフィルタ特性ｆ_B(λ)と、λ_g≦λ≦λ_Gにのみ略０でない透過率を有するフィルタ特性ｆ_G(λ)と、λ_r≦λ≦λ_Rにのみ略０でない透過率を有するフィルタ特性ｆ_R(λ)と、λ≧λ_IRにのみ略０でない透過率を有するフィルタ特性ｆ_IR(λ)とについて、フィルタ特性ｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)のうち少なくとも２つはフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)のいずれとも一致せず、且つ、フィルタ特性ｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)、ｆ_IR(λ)が全てフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の線型結合で形成されるよう４種類の色フィルタのフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)を調整し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求める。
【００１４】
４種類の色フィルタのうち、３つは可視領域の透過光が３原色の各々の補色である補色系の色フィルタである。
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【作用及び発明の効果】
本発明によると、４種類の色フィルタとして、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタを用いるならば、囲まれた点の青の強度は、透過率がほぼ一定のフィルタを設けた画素と黄フィルタを設けた画素の出力差として求めることができる。同様に、囲まれた点の緑の強度は、透過率がほぼ一定のフィルタを設けた画素とマゼンダフィルタを設けた画素の出力差として、囲まれた点の赤の強度は、透過率がほぼ一定のフィルタを設けた画素とシアンフィルタを設けた画素の出力差として求めることができる。また、近赤外の強度は、透過率がほぼ一定のフィルタを設けた画素の出力から、青、赤、緑の強度を減じることで求めることができる。
本願の上記のいずれの発明も、近赤外光の影響をほぼ全く受けない可視光カラー画像を出力することができるので、その近赤外光の影響をほぼ全く受けない可視光輝度により、出力を可視光カラー画像と近赤外光画像のいずれにするかの切替を、人間による操作を必要とせず、自動的に行うことができる。
また、上記のいずれの発明も、可視光カラー画像から色バランスを決定することで、違和感の無いカラー画像を得ることができる。
また、可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算する撮像装置は、４種類の色フィルタのフィルタ特性を調節することにより近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３出力と、可視光の影響をほぼ全く受けない近赤外光像を形成するための出力を得ることができる。
【００２０】
これは、可視光の３原色の透過フィルタのフィルタ特性をｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)、近赤外光透過フィルタのフィルタ特性をｆ_IR(λ)がフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の線型結合で形成されるよう、４種類の色フィルタのフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)が調整されていることで可能となる。
【００２１】
フィルタ特性ｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)、ｆ_IR(λ)の組は、フィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の組とは一致しないならば、各画素の単なる出力ではなく、可視光の３原色と近赤外光の少なくとも１の出力は線型結合により求められる。
【００２２】
すると、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることが常時可能となる。
【００２３】
可視光の３原色である、青色を中心とする領域λ_b≦λ≦λ_B、緑色を中心とする領域λ_g≦λ≦λ_G、赤色を中心とする領域λ_r≦λ≦λ_Rにおいてのみ略０でない透過率を有するフィルタ特性ｆ_B(λ)、ｆ_G(λ)、ｆ_R(λ)が、４種類の色フィルタのフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の線型結合で形成されるならば、その４種類の色フィルタを規則的に配設した撮像装置は、任意の点について４種類の色フィルタを設けた各画素の出力を線型結合させることにより、近赤外光の影響をほぼ全く受けない可視光カラー画像を出力することが可能となる。また、近赤外領域λ≧λ_IRについてのみ略０でない透過率を有するフィルタ特性ｆ_IR(λ)が、４種類の色フィルタのフィルタ特性ｆ₁(λ)、ｆ₂(λ)、ｆ₃(λ)、ｆ₄(λ)の線型結合で形成されるならば、その４種類の色フィルタを規則的に配設した撮像装置は、任意の点について４種類の色フィルタを設けた各画素の出力を線型結合させることにより、可視光の影響をほぼ全く受けない近赤外光像を出力することが可能となる。即ち、本願の請求項５に記載の撮像装置は、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることができる。
【００２４】
尚、「略０でない透過率」或いは「影響をほぼ全く受けない」は、最終的に人間の視覚によることを考慮し、「一部０でない透過率」があっても良く、また、「影響を若干受ける」ことがあっても良いものである。即ち、一般的に人間の視覚によって明確な差が関知できない程度であれば、「一部０でない透過率」があても、「影響を若干受ける」ことがあっても良い。
【００２５】
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、４種類の色フィルタのうち、３つは可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。
【００２６】
【００２７】
【００２８】
【００２９】
【発明の実施の形態】
以下、本発明の具体的な実施例について、図を参照しながら説明する。尚、本願発明は以下の実施例に限定されるものではない。
【００３０】
図１は、本発明の具体的な一実施例に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、集光レンズ１、光学ローパスフィルタ２、色フィルタ群３、固体撮像素子駆動回路４、固体撮像素子５、画像切替回路６、信号処理回路７から成る。固体撮像素子５はマトリックス様に形成された光電変換画素群から成るＣＭＯＳ撮像素子で、可視光及び近赤外光に感度を有するものである。光学ローパスフィルタ２は、折り返し歪みを防ぐためにナイキスト周波数以上の高周波成分を遮断するためのものである。画像切替回路６は、信号処理回路７の出力を可視光カラー画像と近赤外光画像のいずれにするかの切替を指令する。この指令は撮像装置１００を操作する外部入力によっても良く、また、信号処理回路７の近赤外光のない可視光輝度により画像切替回路６が自動処理により切替を指令しても良い。また、信号処理回路７の出力は、近赤外光の影響をほぼ全く受けない可視光輝度により、出力をモノクロとしても良く、近赤外光の輝度を加算した擬似カラー画像としても良い。以下、色フィルタ群３における、個々の色フィルタのフィルタ特性とそれによる出力について説明する。「第ｎ実施例」とは、図１の撮像装置１００の色フィルタ群３についてのｎ番目の実施例という意味である。
【００３１】
〔第１実施例〕
図１は、具体的な第１の実施例に係る色フィルタの配置を示す平面図である。４つの色フィルタとして、黄(Ye)、マゼンダ(Mg)、シアン(Cy)、及びフィルタ無し(X)をマトリクス状に規則的に配置する。正方形で囲んだ部分は個々の色フィルタを示すとともに各画素を示している。また、４画素に囲まれた格子点(a,b)は、出力画素の座標を示す。いずれの格子点(a,b)を囲む４画素も、色フィルタ黄(Ye)、マゼンダ(Mg)、シアン(Cy)、及びフィルタ無し(X)１個ずつから成る。
【００３２】
色フィルタ黄(Ye)、マゼンダ(Mg)、シアン(Cy)の透過率は図２の（ａ）、（ｂ）、（ｃ）のようである。即ち、色フィルタ黄(Ye)の透過率は波長λが400〜500nmで略0、その他で略1、色フィルタマゼンダ(Mg)の透過率は波長λが500〜600nmで略0、その他で略1、色フィルタシアン(Cy)の透過率は波長λが600〜700nmで略0、その他で略1である。フィルタ無し(X)は全ての波長λで透過率が略1である。
【００３３】
以下、第７実施例まで、次のように表記を簡略化する。即ち、格子点(a,b)において、波長400〜500nmでの光強度をＢ、波長500〜600nmでの光強度をＧ、波長600〜700nmでの光強度をＲ、波長700nm以上での光強度をＩとする。即ち、可視光の３原色青、緑、赤の強度がＢ、Ｇ、Ｒであり、近赤外光強度がＩである。すると、格子点(a,b)を囲む４つの色フィルタを透過する光強度は、黄(Ye)透過光がＧ＋Ｒ＋Ｉ、マゼンダ(Mg)透過光がＢ＋Ｒ＋Ｉ、シアン(Cy)透過光がＢ＋Ｇ＋Ｉである。フィルタ無し(X)透過光はＢ＋Ｇ＋Ｒ＋Ｉとなる。これらを、次のように記す。
【数１】

【００３４】
式(1-1)、(1-2)、(1-3)及び(1-4)から、次の通り青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度が黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、フィルタ無し透過光強度Xの線型結合で求められる。
【数２】

【００３５】
良く知られているように、Ｂ、Ｇ、Ｒから、輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを求めることで通常のテレビジョンの画像信号とすることができる。輝度信号Ｙは、一般的に次の式が用いられる。
【数３】

【００３６】
よって、式(2-1)、(2-2)、(2-3)及び(3)から、輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cyで表せば、次のとおりとなる。
【数４】

【００３７】
式(4-1)、(4-2)、(4-3)をＮＴＳＣ映像信号にエンコードすれば良い。また、可視光におけるモノクロ画像を表示するには、式(4-1)の輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙをどちらも０として出力すれば良い。
【００３８】
輝度信号Ｙに代えて、以下の擬似輝度信号Ｙ₁を、色差信号Ｒ−Ｙ、Ｂ−Ｙに代えて擬似色差信号Ｒ−Ｙ₁、Ｂ−Ｙ₁を用いることで、近赤外光強度を輝度信号強度に含む擬似カラー画像とすることも可能である。即ち、次のとおりである。
【数５】

【００３９】
可視光から近赤外光までのモノクロ画像を表示するには、式(5-1)の擬似輝度信号Ｙ₁と、擬似色差信号Ｒ−Ｙ₁及びＢ−Ｙ₁をどちらも０として出力すれば良い。更に、近赤外光のみのモノクロ画像を表示するには、式(2-4)を輝度信号とし、２つの色差信号をどちらも０とすれば良い。
【００４０】
図２において、格子点(1,1)を囲む４個の色フィルタは、左上がMg、左下がYe、右下がCy、右上がXである。格子点(1,1)の右隣の格子点(1,2)を囲む４個の色フィルタは、左上がX、左下がCy、右下がYe、右上がMgである。格子点(1,1)の下隣の格子点(2,1)を囲む４個の色フィルタは、左上がYe、左下がMg、右下がX、右上がCyである。格子点(1,2)の下隣の格子点(2,2)を囲む４個の色フィルタは、左上がCy、左下がX、右下がMg、右上がYeである。このように、４種類の色フィルタは規則的に配置されている。よって各格子点について、上記の式(1-1)乃至(5-3)を適用する際は、その格子点を囲む４個のフィルタに覆われた画素の出力を用いる。
【００４１】
〔第２実施例〕
図３における黄(Ye)、マゼンダ(Mg)、シアン(Cy)の３つの色フィルタを重ねることで、波長700nm以上の近赤外光のみを透過するフィルタIRを形成することができる。この近赤外光のみを透過するフィルタIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図４に示す。任意の格子点について、それを囲む４つの色フィルタを透過する光強度は、黄(Ye)透過光がＧ＋Ｒ＋Ｉ、マゼンダ(Mg)透過光がＢ＋Ｒ＋Ｉ、シアン(Cy)透過光がＢ＋Ｇ＋Ｉであり、近赤外光フィルタ(IR)透過光はＩとなる。即ち、次のようである。
【数６】

【００４２】
式(6-1)、(6-2)、(6-3)及び(6-4)から、次の通り青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度が黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、近赤外光フィルタ透過光強度IRの線型結合で求められる。
【数７】

【００４３】
式(7-1)乃至(7-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００４４】
〔第３実施例〕
図３における黄(Ye)、マゼンダ(Mg)の２つの色フィルタを重ねることで、波長600nm乃至700nmの赤と、波長700nm以上の近赤外光を透過するフィルタRIRを形成することができる。このフィルタRIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図５に示す。透過光強度は式(8-1)乃至(8-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(9-1)乃至(9-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、赤色光及び近赤外光フィルタ透過光強度RIRの線型結合で求められる。
【数８】

【数９】

【００４５】
式(9-1)乃至(9-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００４６】
〔第４実施例〕
図３における黄(Ye)、シアン(Cy)の２つの色フィルタを重ねることで、波長500nm乃至600nmの緑と、波長700nm以上の近赤外光を透過するフィルタGIRを形成することができる。このフィルタGIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図６に示す。透過光強度は式(10-1)乃至(10-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(11-1)乃至(11-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、緑色光及び近赤外光フィルタ透過光強度GIRの線型結合で求められる。
【数１０】

【数１１】

【００４７】
式(11-1)乃至(11-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００４８】
〔第５実施例〕
図３におけるマゼンダ(Mg)、シアン(Cy)の２つの色フィルタを重ねることで、波長400nm乃至500nmの青と、波長700nm以上の近赤外光を透過するフィルタBIRを形成することができる。このフィルタBIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図７に示す。透過光強度は式(12-1)乃至(12-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(13-1)乃至(13-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、青色光及び近赤外光フィルタ透過光強度BIRの線型結合で求められる。
【数１２】

【数１３】

【００４９】
式(13-1)乃至(13-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００５０】
〔第６実施例〕
波長透過特性が図８の（ａ）のような波長400nm乃至600nmの可視光のみを透過するシアンフィルタ(Cy')と、波長400nm乃至700nmの可視光のみを透過する可視光フィルタ(V)とを用い、図９のように色フィルタ群３を構成しても良い。透過光強度は式(14-1)乃至(14-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(15-1)乃至(15-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy'、可視光透過光強度Vの線型結合で求められる。
【数１４】

【数１５】

【００５１】
式(15-1)乃至(15-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００５２】
〔第７実施例〕
第１乃至第６実施例において、固体撮像素子全体において輝度信号Ｙにより可視光の強度を判定するか、または、固体撮像素子全体において例えばＩ−（Ｂ＋Ｇ＋Ｒ）をもとめることにより可視光の強度と近赤外光の強度を比較した結果に基づいて、画像を可視光と擬似（可視光と近赤外光の和）と近赤外光とで切り換えても良い。尚、第１実施例においてはＩ−（Ｂ＋Ｇ＋Ｒ）＝３X-(Cy+Mg+Cy)、ただし全画素で加算する。その他の実施例においても同様に４種のフィルタ透過光強度の全画素での加算により導くことができる。
【００５３】
〔第１の変形例〕
図１０のように、フィルタ無し(X)、黄色光透過補色フィルタ(Ye)、赤色光・近赤外光透過フィルタ(RIR)、近赤外光透過・可視光非透過フィルタ(IR)を用いても良い。青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(16-1)乃至(16-4)の通り、フィルタ無し光強度X、黄色光透過光強度Ye、赤色光・近赤外光透過光強度RIR、近赤外光透過・可視光非透過光強度IRの線型結合で求められる。
【数１６】

【００５４】
〔第２の変形例〕
図１１のように、フィルタ無し(X)、可視光透過・近赤外光非透過フィルタ(V)、近赤外光非透過・シアン光透過補色フィルタ(Cy')、青色光透過原色フィルタ(B)を用いても良い。青色光透過原色フィルタ(B)のフィルタ特性は図１２のようである。青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(17-1)乃至(17-4)の通り、フィルタ無し光強度X、可視光透過・近赤外光非透過光強度V、近赤外光非透過・シアン光透過光強度Cy'、青色光透光強度Bの線型結合で求められる。
【数１７】

【００５５】
〔第３の変形例〕
第１乃至第７実施例においては、ほとんどの波長に対し、透過率が０又は１のフィルタを用いたが、図１３のような透過特性を有する３種のフィルタを用いて第１の実施例の補色系フィルタを代替したものも当然本願発明に包含される。図１３において、λ_B＝λ_r、λ_G＝λ_IRとしたが、本願はこれに限定されない。
【００５６】
以上述べたように、本願発明により原色系のフィルタ無しで可視光画像か得られる。よって、可視光画像を基にホワイトバランスを決定すれば、適切な色バランスが得られる。また、出力信号について、自動利得調整を行うＡＧＣ回路、ガンマ補正回路を通して処理するなど、公知のカメラ信号処理を加えても良い。また、固体撮像素子は可視光から近赤外光に渡って感度を有すれば良く、ＣＭＯＳ撮像素子に限定されない。色フィルタ群を形成する色フィルタの配置は図２、図４乃至図７、図９その他に限定されず、且つそれらを組み合わせても良い。映像出力信号はＮＴＳＣに限定されず、ＰＡｌ、ＲＧＢ信号でも良い。画像切替は１フレーム単位でなく、画面分割によっても良く、画素毎に切り換えても良い。色再現のために電子回路による色補正を加えても良い。
【図面の簡単な説明】
【図１】本発明の具体的な実施例に係る撮像装置の構成を示すブロック図。
【図２】本発明の具体的な第１実施例に係る色フィルタの配置を示す平面図。
【図３】本発明の具体的な第１実施例に係る３つの色フィルタの波長に対する透過率を示したグラフ図。
【図４】本発明の具体的な第２実施例に係る色フィルタの配置を示す平面図。
【図５】本発明の具体的な第３実施例に係る色フィルタの配置を示す平面図。
【図６】本発明の具体的な第４実施例に係る色フィルタの配置を示す平面図。
【図７】本発明の具体的な第５実施例に係る色フィルタの配置を示す平面図。
【図８】本発明の具体的な第６実施例に係る２つの色フィルタの波長に対する透過率を示したグラフ図。
【図９】本発明の具体的な第６実施例に係る色フィルタの配置を示す平面図。
【図１０】第１の変形例に係る色フィルタの配置を示す平面図。
【図１１】第２の変形例に係る色フィルタの配置を示す平面図。
【図１２】第２の変形例に係る色フィルタの波長に対する透過率を示したグラフ図。
【図１３】第３の変形例に係る３つの色フィルタの波長に対する透過率を示したグラフ図。
【符号の説明】
１レンズ
２光学ローパスフィルタ
３色フィルタ群
４固体撮像素子駆動回路
５固体撮像素子
６画像切替制御装置
７信号処理回路
B 青色光透過原色フィルタ
Ye 黄色光透過補色フィルタ
Mg マゼンダ光透過補色フィルタ
Cy シアン光透過補色フィルタ
Cy’近赤外光非透過・シアン光透過補色フィルタ
IR 近赤外光透過・可視光非透過フィルタ
RIR 赤色光・近赤外光透過フィルタ
GIR 緑色光・近赤外光透過フィルタ
BIR 青色光・近赤外光透過フィルタ
V 可視光透過・近赤外光非透過フィルタ[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a color imaging device using a solid-state imaging device such as a CCD. Furthermore, the present invention relates to a solid-state imaging device that can also perform imaging with near-infrared light.
[0002]
[Prior art]
  As solid-state imaging devices having sensitivity to near-infrared and visible light, for example, techniques described in JP-A-5-103330, JP-A-10-65135, and JP-A-2000-59798 are conventionally known.
[0003]
  Japanese Patent Application Laid-Open No. 5-103330 discloses a color solid-state imaging device in which a color identification filter is disposed in front of a photosensitive cell group arranged and configured in a two-dimensional manner. The color identification filter is composed of 4 rows and 2 columns so that two color difference signals orthogonal to each other on the color vector can be obtained, and each color identification filter has substantially the same spectral transmittance in the infrared light region. The signal amount of the four color identification filters is the magenta signal S._mg+ S_IR, Green signal S_g+ S_IR, Cyan signal S_cy+ S_IR, Yellow signal S_ye+ S_IRThe luminance signal is obtained as an average thereof, and the color difference signals are obtained as magenta signal−green signal + cyan signal−yellow signal and magenta signal−green signal−cyan signal + yellow signal.
[0004]
  In Japanese Patent Application Laid-Open No. 10-65135, there are four types of line sensors: a red filter R, a green filter G and a blue filter B coated with an infrared cut filter, and a red filter R and a blue filter B overlaid. The 1st structure which consists of these filter groups is disclosed. In the area sensor, a green G, cyan Cy, magenta Mg, and yellow Ye filter is formed in each pixel, and the yellow Ye or magenta Mg is replaced with a red filter R and a blue filter B overlaid. It is shown.
[0005]
  In Japanese Patent Laid-Open No. 2000-59798, an IR cut filter is mechanically inserted / extracted, and when an IR cut filter is inserted, a visible light color image that is not affected by near-infrared light and infrared light is displayed. In the case where the IR cut filter is extracted, a configuration is disclosed in which an image obtained by adding the light intensities of visible light and near infrared light is output.
[0006]
[Problems to be solved by the invention]
  When forming an imaging device with a semiconductor element, it is difficult to form a pixel having sensitivity only in the visible light region, and when a filter is not used, it has sensitivity in the visible light region and the near infrared light region, A “pseudo color image” is captured. In the above three conventional examples, not just a mechanism for blocking near-infrared light and infrared light, but also a device for enabling near-infrared light imaging at night as well as color image imaging in the daytime. It is made.
[0007]
  However, in the technique disclosed in Japanese Patent Application Laid-Open No. 5-103330, although the configuration is such that the near infrared light does not affect the color difference signal, the luminance signal is affected by the near infrared light. That is, it is impossible to output an image of only visible light that is not affected by near-infrared light. In addition, an image of only near infrared light that is not affected by visible light cannot be output in the daytime. In the technique disclosed in Japanese Patent Laid-Open No. 10-65135, a visible light image is provided by a pixel provided with green G, cyan Cy, magenta Mg, and yellow Ye filters, and a red filter R and a blue filter B are overlapped. Although a near-infrared light image is obtained with pixels, the spatial resolution naturally decreases. Even if the configuration of the line sensor (infrared cut filter + R, infrared cut filter + G, infrared cut filter + B, R + B) is applied to the area sensor, the sensitivity of the primary color filter is low. In the technique of Japanese Patent Laid-Open No. 2000-59798, the IR cut filter insertion / extraction mechanism makes the apparatus large and the IR cut filter cannot be operated automatically.
[0008]
  An object of the present invention is to provide an imaging apparatus that can independently obtain a new visible light color image and a near-infrared light image, which cannot be achieved by the above-described conventional technology. Another object of the present invention is to provide an imaging device that can automatically switch between a visible light color image and a near-infrared light image.
[0009]
[Means for Solving the Problems]
  According to a first aspect of the present invention, there is provided an imaging apparatus in which four types of color filters having separate filter characteristics are regularly arranged in each pixel of an imaging element having sensitivity to visible light and near infrared light. The four types of color filters are filters that have almost constant transmittance regardless of wavelength in the cyan, yellow, magenta, and visible and near infrared light regions, and perform matrix calculations on the pixel outputs of the four types of color filters. Thus, the intensities of blue, green, red, and near infrared are obtained, and the visible light color image and the near infrared light image are obtained independently.
  Further, the second means is characterized in that, in the first means, the visible light color image and the near-infrared light image are automatically switched and outputted according to the intensity of the visible light color image.
  Further, the third means is characterized in that, in the first or second means, the color balance is determined from the visible light color image.
  The following inventions are also conceivable.An image pickup apparatus in which four types of color filters having separate filter characteristics are regularly arranged in each pixel of an image pickup element having sensitivity to visible light and near infrared light, and the four types of color filters are arranged. By performing a matrix operation on the output of each pixel, a visible light color image and a near-infrared light image can be independently obtained.Ask.
[0010]
  VisibleAn image pickup apparatus in which four types of color filters having separate filter characteristics are regularly arranged in each pixel of an image sensor having sensitivity to light and near-infrared light. F as a function of wavelength λ₁(λ), f₂(λ), f_Three(λ), f_Four(λ), the filter characteristic of the transmission filter of the three primary colors of visible light is f_B(λ), f_G(λ), f_R(λ), the filter characteristic of the near infrared light transmission filter is f_IR(λ), filter characteristics f_B(λ), f_G(λ), f_R(λ), f_IR(λ) is the filter characteristic f₁(λ), f₂(λ), f_Three(λ), f_FourFilter characteristics f of four kinds of color filters so as to be formed by linear combination of (λ)₁(λ), f₂(λ), f_Three(λ), f_Four(λ) is adjusteding.
[0011]
  PhiRuta characteristics f_B(λ), f_G(λ), f_R(λ), f_IRThe set of (λ) is the filter characteristic f₁(λ), f₂(λ), f_Three(λ), f_FourIt matches the set of (λ)do not do.
[0012]
  4 typesThe visible light color image and the near-infrared light image are independent from each other by performing a matrix operation on the output of each pixel provided with a similar color filter.Ask for.
[0013]
  OKAn image pickup apparatus in which four types of color filters having separate filter characteristics are regularly arranged in each pixel of an image pickup element having sensitivity to visible light and near infrared light, and the filter characteristics of the four types of color filters As a function of wavelength λ₁(λ), f₂(λ), f_Three(λ), f_Four(λ), a region centered on each of the three primary colors of visible light and a near infrared region_b≦ λ ≦ λ_B, Λ_g≦ λ ≦ λ_G, Λ_r≦ λ ≦ λ_R, Λ ≧ λ_IR, But λ_b<Λ_g≦ λ_B<Λ_G, Λ_g<Λ_r≦ λ_G<Λ_R, Λ_G≦ λ_IRAs λ_b≦ λ ≦ λ_BFilter characteristic f having a transmittance that is not substantially zero_B(λ) and λ_g≦ λ ≦ λ_GFilter characteristic f having a transmittance which is not substantially 0 only in_G(λ) and λ_r≦ λ ≦ λ_RFilter characteristic f having a transmittance which is not substantially 0 only in_R(λ) and λ ≧ λ_IRFilter characteristic f having a transmittance which is not substantially 0 only in_IR(λ) and filter characteristics f_B(λ), f_G(λ), f_RAt least two of (λ) are filter characteristics f₁(λ), f₂(λ), f_Three(λ), f_Fourdoes not match any of (λ), and the filter characteristic f_B(λ), f_G(λ), f_R(λ), f_IR(λ) is all filter characteristics f₁(λ), f₂(λ), f_Three(λ), f_FourFilter characteristics f of four kinds of color filters so as to be formed by linear combination of (λ)₁(λ), f₂(λ), f_Three(λ), f_FourBy adjusting (λ) and performing matrix operation on the output of each pixel with four types of color filters, the visible light color image and the near-infrared light image are independent of each other.Ask for.
[0014]
  4 types3 of the similar color filters are complementary color filters in which the transmitted light in the visible region is a complementary color of each of the three primary colorsIt is.
[0015]
[0016]
[0017]
[0018]
[0019]
[Operation and effect of the invention]
  According to the present invention,If four types of color filters are used, which are cyan, yellow, magenta, and a filter having a substantially constant transmittance regardless of wavelength in the visible light and near infrared light regions, the intensity of blue at the enclosed point is the transmittance. Can be obtained as an output difference between a pixel provided with a substantially constant filter and a pixel provided with a yellow filter. Similarly, the green intensity at the enclosed point is the output difference between the pixel with the filter having a substantially constant transmittance and the pixel with the magenta filter, and the red intensity at the enclosed point has almost the transmittance. It can be obtained as an output difference between a pixel provided with a certain filter and a pixel provided with a cyan filter. The near-infrared intensity can be obtained by subtracting the intensities of blue, red and green from the output of a pixel provided with a filter with a substantially constant transmittance.it can.
  Any of the above-described inventions of the present application can output a visible light color image that is substantially unaffected by near-infrared light. Can be switched automatically between visible color image and near-infrared light image without human intervention.it can.
  Also,aboveIn any of the inventions, it is possible to obtain a color image without a sense of incongruity by determining the color balance from the visible light color image.
  Also,Four types of color filters having separate filter characteristics are provided for each pixel of the image sensor that is sensitive to visible light and near infrared light, and the output of each pixel provided with the four types of color filters is subjected to matrix calculation. The imaging device that adjusts the filter characteristics of the four color filters has three outputs for forming a visible light color image that is almost unaffected by near-infrared light, and is almost completely affected by visible light. No output to form near-infrared light imageit can.
[0020]
  This is the filter characteristic of the transmission filter of the three primary colors of visible light f_B(λ), f_G(λ), f_R(λ), the filter characteristic of the near infrared light transmission filter is f_IR(λ) is the filter characteristic f₁(λ), f₂(λ), f_Three(λ), f_FourFilter characteristics f of four kinds of color filters so as to be formed by linear combination of (λ)₁(λ), f₂(λ), f_Three(λ), f_FourPossible by adjusting (λ)It becomes.
[0021]
  Filter characteristics f_B(λ), f_G(λ), f_R(λ), f_IRThe set of (λ) is the filter characteristic f₁(λ), f₂(λ), f_Three(λ), f_FourIf it does not match the set of (λ), it is not a mere output of each pixel, but at least one output of the three primary colors of visible light and near infrared light is obtained by linear combination.It is done.
[0022]
  Then, it is always possible to obtain a visible light color image and a near-infrared light image independently by performing a matrix operation on the output of each pixel provided with four types of color filters.It becomes.
[0023]
  Region λ centered on blue, which is the three primary colors of visible light_b≦ λ ≦ λ_B, Region λ centered on green_g≦ λ ≦ λ_G, Region λ centered on red_r≦ λ ≦ λ_RFilter characteristic f having a non-zero transmittance only at_B(λ), f_G(λ), f_R(λ) is the filter characteristic f of the four color filters.₁(λ), f₂(λ), f_Three(λ), f_FourIf it is formed by linear combination of (λ), the imaging device in which the four types of color filters are regularly arranged will linearly combine the output of each pixel provided with the four types of color filters at an arbitrary point. As a result, it is possible to output a visible light color image that is hardly affected by near-infrared light. Also, the near infrared region λ ≧ λ_IRFilter characteristic f having a non-zero transmittance only for_IR(λ) is the filter characteristic f of the four color filters.₁(λ), f₂(λ), f_Three(λ), f_FourIf it is formed by linear combination of (λ), the imaging device in which the four types of color filters are regularly arranged will linearly combine the output of each pixel provided with the four types of color filters at an arbitrary point. As a result, it is possible to output a near-infrared light image that is hardly affected by visible light. That is, the imaging device according to claim 5 of the present application can independently obtain a visible light color image and a near-infrared light image.
[0024]
  Note that “transmittance that is not substantially zero” or “substantially unaffected” may have “transmittance that is not partly zero” in view of human vision, May be slightly affected. " That is, as long as a clear difference is generally not perceivable by human vision, there may be “a part of non-zero transmittance” or “somewhat affected”.
[0025]
  Since complementary color filters are more sensitive than primary color filters, three of the four color filters use complementary color filters whose transmitted light in the visible region is the complementary color of each of the three primary colors. To increase the sensitivity of the imaging deviceit can.
[0026]
[0027]
[0028]
[0029]
DETAILED DESCRIPTION OF THE INVENTION
  Specific embodiments of the present invention will be described below with reference to the drawings. The present invention is not limited to the following examples.
[0030]
  FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 100 according to a specific embodiment of the present invention. The imaging device 100 includes a condenser lens 1, an optical low-pass filter 2, a color filter group 3, a solid-state imaging device driving circuit 4, a solid-state imaging device 5, an image switching circuit 6, and a signal processing circuit 7. The solid-state image sensor 5 is a CMOS image sensor composed of a group of photoelectric conversion pixels formed in a matrix, and has sensitivity to visible light and near-infrared light. The optical low-pass filter 2 is for blocking high frequency components higher than the Nyquist frequency in order to prevent aliasing distortion. The image switching circuit 6 commands switching of whether the output of the signal processing circuit 7 is a visible light color image or a near infrared light image. This command may be an external input for operating the imaging device 100, or the image switching circuit 6 may command switching by an automatic process based on visible light luminance without near infrared light from the signal processing circuit 7. Further, the output of the signal processing circuit 7 may be a monochromatic output based on visible light luminance that is not substantially affected by near infrared light, or may be a pseudo color image obtained by adding the luminance of near infrared light. Hereinafter, the filter characteristics of the individual color filters in the color filter group 3 and the outputs thereof will be described. The “nth embodiment” means the nth embodiment for the color filter group 3 of the imaging device 100 of FIG.
[0031]
[First embodiment]
  FIG. 1 is a plan view showing the arrangement of color filters according to a specific first embodiment. As four color filters, yellow (Ye), magenta (Mg), cyan (Cy), and no filter (X) are regularly arranged in a matrix. A portion surrounded by a square represents each color filter and each pixel. A lattice point (a, b) surrounded by four pixels indicates the coordinates of the output pixel. The four pixels surrounding any grid point (a, b) are each composed of one color filter yellow (Ye), magenta (Mg), cyan (Cy), and no filter (X).
[0032]
  The transmittances of the color filters yellow (Ye), magenta (Mg), and cyan (Cy) are as shown in (a), (b), and (c) of FIG. That is, the transmittance of the color filter yellow (Ye) is approximately 0 when the wavelength λ is 400 to 500 nm, approximately 1 for the other, and the transmittance of the color filter magenta (Mg) is approximately 0 when the wavelength λ is 500 to 600 nm, and approximately 1. The transmittance of the color filter cyan (Cy) is approximately 0 when the wavelength λ is 600 to 700 nm, and is approximately 1 at the other. No filter (X) has a transmittance of about 1 at all wavelengths λ.
[0033]
  Hereinafter, up to the seventh embodiment, the notation is simplified as follows. That is, at the lattice point (a, b), the light intensity at a wavelength of 400 to 500 nm is B, the light intensity at a wavelength of 500 to 600 nm is G, the light intensity at a wavelength of 600 to 700 nm is R, and the light at a wavelength of 700 nm or more. The intensity is I. That is, the intensities of the three primary colors blue, green, and red of visible light are B, G, and R, and the near-infrared light intensity is I. Then, the light intensity transmitted through the four color filters surrounding the lattice point (a, b) is G + R + I for yellow (Ye) transmitted light, B + R + I for magenta (Mg) transmitted light, and B + G + I for cyan (Cy) transmitted light. . Unfiltered (X) transmitted light is B + G + R + I. These are described as follows.
[Expression 1]

[0034]
From the formulas (1-1), (1-2), (1-3), and (1-4), the intensity of blue B, green G, red R, and infrared I is as follows: , Magenta transmitted light intensity Mg, cyan transmitted light intensity Cy, and non-filtered transmitted light intensity X are obtained by linear combination.
[Expression 2]

[0035]
As is well known, a luminance signal Y and color difference signals RY and BY can be obtained from B, G, and R to obtain a normal television image signal. For the luminance signal Y, the following equation is generally used.
[Equation 3]

[0036]
Therefore, from the equations (2-1), (2-2), (2-3) and (3), the luminance signal Y and the color difference signals RY and BY are converted into yellow transmitted light intensity Ye and magenta transmitted light intensity. When expressed in terms of Mg and cyan transmitted light intensity Cy, it is as follows.
[Expression 4]

[0037]
Expressions (4-1), (4-2), and (4-3) may be encoded into an NTSC video signal. Further, in order to display a monochrome image in visible light, the luminance signal Y of the equation (4-1) and the color difference signals RY and BY may be output as 0.
[0038]
Instead of the luminance signal Y, the following pseudo luminance signal Y₁Instead of the color difference signals RY and BY, the pseudo color difference signal RY₁, BY₁By using, it is possible to obtain a pseudo color image including near-infrared light intensity in luminance signal intensity. That is, it is as follows.
[Equation 5]

[0039]
To display a monochrome image from visible light to near-infrared light, the pseudo-luminance signal Y of equation (5-1)₁And pseudo color difference signal RY₁And BY₁May be output as 0 in both cases. Further, in order to display a monochrome image only with near-infrared light, the equation (2-4) may be set as a luminance signal, and both of the two color difference signals may be set to zero.
[0040]
In FIG. 2, the four color filters surrounding the grid point (1,1) are Mg in the upper left, Ye in the lower left, Cy in the lower right, and X in the upper right. The four color filters surrounding the grid point (1,2) to the right of the grid point (1,1) are X in the upper left, Cy in the lower left, Ye in the lower right, and Mg in the upper right. The four color filters surrounding the lattice point (2,1) below the lattice point (1,1) are Ye in the upper left, Mg in the lower left, X in the lower right, and Cy in the upper right. The four color filters surrounding the grid point (2, 2) below the grid point (1, 2) are Cy in the upper left, X in the lower left, Mg in the lower right, and Ye in the upper right. Thus, the four types of color filters are regularly arranged. Therefore, when applying the above equations (1-1) to (5-3) for each grid point, the output of the pixels covered by the four filters surrounding the grid point is used.
[0041]
[Second Embodiment]
By superimposing the three color filters of yellow (Ye), magenta (Mg), and cyan (Cy) in FIG. 3, a filter IR that transmits only near-infrared light having a wavelength of 700 nm or more can be formed. FIG. 4 shows the configuration of the color filter group 3 in which the filter IR that transmits only the near-infrared light is arranged instead of the no filter (X) of the first embodiment. The light intensity transmitted through the four color filters surrounding an arbitrary lattice point is G + R + I for yellow (Ye) transmitted light, B + R + I for magenta (Mg) transmitted light, and B + G + I for cyan (Cy) transmitted light. The infrared light (IR) transmitted light is I. That is, it is as follows.
[Formula 6]

[0042]
From the formulas (6-1), (6-2), (6-3) and (6-4), the intensities of blue B, green G, red R and infrared I are as follows: , Magenta transmission light intensity Mg, cyan transmission light intensity Cy, and near infrared filter transmission light intensity IR.
[Expression 7]

[0043]
Based on the formulas (7-1) to (7-4), in the same manner as in the first embodiment, a visible light color image, a visible light monochrome image, a pseudo color image, and a monochrome image that are not affected by near-infrared light. It is possible to obtain a near-infrared monochrome image that is not affected by the image and visible light.
[0044]
[Third embodiment]
By overlapping the two color filters of yellow (Ye) and magenta (Mg) in FIG. 3, a filter RIR that transmits red with a wavelength of 600 nm to 700 nm and near-infrared light with a wavelength of 700 nm or more can be formed. FIG. 5 shows the configuration of the color filter group 3 in which this filter RIR is arranged instead of the no filter (X) of the first embodiment. Transmitted light intensity is expressed by equations (8-1) through (8-4), and blue B, green G, red R, and infrared I intensities are transmitted through yellow as expressed by equations (9-1) through (9-4). It is obtained by linear combination of light intensity Ye, magenta transmitted light intensity Mg, cyan transmitted light intensity Cy, red light and near-infrared light filter transmitted light intensity RIR.
[Equation 8]

[Equation 9]

[0045]
Based on the formulas (9-1) to (9-4), in the same manner as in the first embodiment, a visible light color image, a visible light monochrome image, a pseudo color image, and a monochrome image that are not affected by near-infrared light. A near-infrared monochromatic image without the influence of an image and visible light can be obtained.
[0046]
[Fourth embodiment]
By superimposing the two color filters of yellow (Ye) and cyan (Cy) in FIG. 3, a filter GIR that transmits green having a wavelength of 500 nm to 600 nm and near infrared light having a wavelength of 700 nm or more can be formed. FIG. 6 shows the configuration of the color filter group 3 in which this filter GIR is arranged instead of the no filter (X) of the first embodiment. The transmitted light intensity is expressed by equations (10-1) to (10-4), and the blue B, green G, red R, and infrared I intensities are transmitted through yellow as expressed by equations (11-1) to (11-4). It is obtained by linear combination of light intensity Ye, magenta transmitted light intensity Mg, cyan transmitted light intensity Cy, green light, and near-infrared light filter transmitted light intensity GIR.
[Expression 10]

## EQU11 ##

[0047]
Based on the equations (11-1) to (11-4), in the same manner as in the first embodiment, a visible light color image, a visible light monochrome image, a pseudo color image, and a monochrome It is possible to obtain a near-infrared monochrome image that is not affected by the image and visible light.
[0048]
[Fifth embodiment]
By superimposing the two color filters of magenta (Mg) and cyan (Cy) in FIG. 3, a filter BIR that transmits blue having a wavelength of 400 nm to 500 nm and near infrared light having a wavelength of 700 nm or more can be formed. FIG. 7 shows the configuration of the color filter group 3 in which this filter BIR is arranged instead of the no filter (X) of the first embodiment. Transmitted light intensity is expressed by equations (12-1) through (12-4), and blue B, green G, red R, and infrared I intensities are transmitted through yellow as expressed by equations (13-1) through (13-4). It is obtained by linear combination of light intensity Ye, magenta transmitted light intensity Mg, cyan transmitted light intensity Cy, blue light and near infrared light filter transmitted light intensity BIR.
[Expression 12]

[Formula 13]

[0049]
Based on the equations (13-1) to (13-4), in the same manner as in the first embodiment, a visible light color image, a visible light monochrome image, a pseudo color image, and a monochrome image that are not affected by near-infrared light. A near-infrared monochromatic image without the influence of an image and visible light can be obtained.
[0050]
[Sixth embodiment]
A cyan filter (Cy ′) that transmits only visible light having a wavelength transmission characteristic of 400 nm to 600 nm as shown in FIG. 8A, and a visible light filter (V) that transmits only visible light having a wavelength of 400 nm to 700 nm. The color filter group 3 may be configured as shown in FIG. Transmitted light intensity is expressed by equations (14-1) through (14-4), and blue B, green G, red R, and infrared I intensities are transmitted through yellow as expressed by equations (15-1) through (15-4). It is obtained by linear combination of light intensity Ye, magenta transmitted light intensity Mg, cyan transmitted light intensity Cy ′, and visible light transmitted light intensity V.
[Expression 14]

[Expression 15]

[0051]
  Based on the equations (15-1) to (15-4), in the same manner as in the first embodiment, a visible light color image, a visible light monochrome image, a pseudo color image, and a monochrome image that are not affected by near-infrared light. It is possible to obtain a near-infrared monochrome image that is not affected by the image and visible light.
[0052]
[Seventh embodiment]
  In the first to sixth embodiments, the intensity of visible light is determined based on the luminance signal Y in the entire solid-state image sensor, or near the intensity of visible light by obtaining, for example, I− (B + G + R) in the entire solid-state image sensor. The image may be switched between visible light, pseudo (sum of visible light and near infrared light), and near infrared light based on the result of comparing the intensity of infrared light. In the first embodiment, I− (B + G + R) = 3 × − (Cy + Mg + Cy), but addition is performed for all pixels. In the other embodiments, similarly, the four types of filter transmitted light intensities can be derived by addition in all pixels.
[0053]
[First Modification]
  As shown in FIG. 10, no filter (X), yellow light transmission complementary color filter (Ye), red light / near infrared light transmission filter (RIR), near infrared light transmission / visible light non-transmission filter (IR) are used. May be. Intensities of blue B, green G, red R, and infrared I are as shown in equations (16-1) to (16-4), light intensity without filter X, yellow light transmitted light intensity Ye, red light, near infrared It is obtained by linear combination of transmitted light intensity RIR, near-infrared light transmission / invisible light intensity IR.
[Expression 16]

[0054]
[Second Modification]
As shown in FIG. 11, no filter (X), visible light transmission / near infrared light non-transmission filter (V), near infrared light non-transmission / cyan light transmission complementary color filter (Cy '), blue light transmission primary color filter ( B) may be used. The filter characteristics of the blue light transmission primary color filter (B) are as shown in FIG. Intensities of blue B, green G, red R, and infrared I are as shown in equations (17-1) to (17-4). Light intensity without filter X, visible light transmission / near infrared light transmission intensity V , Near-infrared light non-transmission / cyan light transmission light intensity Cy ′ and blue light transmission intensity B are obtained by linear combination.
[Expression 17]

[0055]
[Third Modification]
In the first to seventh embodiments, a filter having a transmittance of 0 or 1 is used for most wavelengths. However, the first embodiment uses three types of filters having transmission characteristics as shown in FIG. Naturally, a substitute for the complementary color filter is also included in the present invention. In FIG. 13, λ_B= Λ_r, Λ_G= Λ_IRHowever, the present application is not limited to this.
[0056]
As described above, according to the present invention, a visible light image can be obtained without a primary color filter. Therefore, if the white balance is determined based on the visible light image, an appropriate color balance can be obtained. The output signal may be subjected to known camera signal processing such as processing through an AGC circuit that performs automatic gain adjustment and a gamma correction circuit. Further, the solid-state imaging device only needs to have sensitivity from visible light to near infrared light, and is not limited to a CMOS imaging device. The arrangement of the color filters forming the color filter group is not limited to FIGS. 2, 4 to 7, FIG. 9 and others, and they may be combined. The video output signal is not limited to NTSC, but may be a PAl or RGB signal. The image switching is not performed in units of one frame but may be performed by dividing the screen or may be performed for each pixel. Color correction by an electronic circuit may be added for color reproduction.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a specific embodiment of the present invention.
FIG. 2 is a plan view showing the arrangement of color filters according to a specific first embodiment of the present invention.
FIG. 3 is a graph showing transmittances with respect to wavelengths of three color filters according to a specific first embodiment of the present invention.
FIG. 4 is a plan view showing the arrangement of color filters according to a second specific example of the present invention.
FIG. 5 is a plan view showing the arrangement of color filters according to a specific third embodiment of the present invention.
FIG. 6 is a plan view showing the arrangement of color filters according to a specific fourth embodiment of the present invention.
FIG. 7 is a plan view showing the arrangement of color filters according to a specific fifth embodiment of the present invention.
FIG. 8 is a graph showing the transmittance with respect to wavelength of two color filters according to a sixth specific example of the present invention.
FIG. 9 is a plan view showing the arrangement of color filters according to a specific sixth embodiment of the present invention.
FIG. 10 is a plan view showing the arrangement of color filters according to a first modification.
FIG. 11 is a plan view showing an arrangement of color filters according to a second modification.
FIG. 12 is a graph showing transmittance with respect to wavelength of a color filter according to a second modification.
FIG. 13 is a graph showing transmittance with respect to wavelengths of three color filters according to a third modification.
[Explanation of symbols]
1 lens
2 Optical low-pass filter
3-color filter group
4 Solid-state image sensor drive circuit
5 Solid-state image sensor
6 Image switching control device
7 Signal processing circuit
B Blue light transmission primary color filter
Ye Yellow light transmission complementary color filter
Mg Magenta light transmission complementary color filter
Cy Cyan light transmission complementary color filter
Cy'Near-infrared light non-transmitting and cyan light transmitting complementary color filter
IR Near-infrared light transmission / non-transmission filter
RIR red / near infrared transmission filter
GIR green light / near infrared light transmission filter
BIR Blue light / Near infrared light transmission filter
V Visible light transmission / Near infrared light non-transmission filter

Claims

An imaging apparatus in which four types of color filters having separate filter characteristics are regularly arranged in each pixel of an imaging element having sensitivity to visible light and near-infrared light,
The four types of color filters are filters having substantially constant transmittance regardless of wavelength in the cyan, yellow, magenta, and visible light and near infrared light regions ,
A matrix operation is performed on the pixel outputs of the four types of color filters to obtain intensities of blue, green, red, and near infrared, and a visible light color image and a near infrared light image are independently obtained. An imaging device.

The imaging apparatus according to claim 1 , wherein the visible light color image and the near-infrared light image are automatically switched and output according to the intensity of the visible light color image.

The imaging apparatus according to claim 1 or claim 2, characterized in that to determine the color balance from the visible light color image.