上述の従来技術は、上述のように、ステップS5での輝度信号Yaddを用いることで、暗時における画像認識性能を向上しつつ、ステップS6で、その輝度信号Yaddと、ローパスフィルタ処理後の輝度低周波信号YLとの比Yadd/YLで、色差信号Cb,Crを正規化することで、カラーバランスも維持できるという優れた技術である。
しかしながら、前記正規化処理によって、前記比Yadd/YLが大きくなる、すなわちIr/YLの比が大きくなると、色差信号Cb,Crには、10倍や100倍という非常に大きなゲインが係ってしまうことになる。ここで、輝度信号Yaddについては、元々、ランダムノイズは少ない(たとえば、12bit階調の内の下位1〜2bit程度)のに対して、色差信号Cb,Crには、前記ランダムノイズのばらつきが多い。このため、前記比Yadd/YLが大きくなる程(大きい領域では)、前記色差信号Cb,Crのノイズが強調されてしまうという問題がある。
ここで、図7には、前記暗視装置のメカニズムを示す。車両101に搭載されるヘッドライト、すなわち可視光は、ロービーム時は、対向車や歩行者の幻惑を防止するために、図7(a)で示すように、下方気味に投光範囲W1が設定されている。したがって、運転者が認識するその可視光による画像は、図8で示すようになる。そこで、前記暗視装置は、図7(b)で示すように、光が不足する上方側の投光範囲W2に赤外光を投光し、図9で示すように、歩行者102などの認識を可能にする。
しかしながら、実際に暗視装置が表示する画像は、前記色差信号Cb,Crのランダムノイズの強調によって、図10で示すように、認識し難いものとなる。
一方、車載用の撮像装置には、入射光の広ダイナミックレンジに対応するために、撮像素子には、リニア−ログ特性を有するイメージセンサが用いられることが多い。図11は、そのリニア−ログセンサの入射光量の変化に対する出力信号強度の変化を示すグラフである。この図11で示すように、リニア−ログセンサでは、変曲点Pよりも低い入射光量域では、所定の光量変化量Δs1に対する出力信号の変化量ΔS1は、比例して得られるのに対して、前記変曲点Pよりも高い入射光量域では、前記光量変化量Δs1と同じ光量変化量Δs2に対する出力信号の変化量ΔS2は、比例しているものの、比例係数が小さく、圧縮されたものとなる。
ここで、同じ大きさNのノイズが、信号成分に重畳したとすると、ログ領域をリニアとなるように変換すると、信号成分が伸張されるとともに、ノイズも伸張され、リニア領域に比べてS/Nが大きく劣化する。そして、前記のような補色系のセンサは、赤外光IRから、赤色光R、黄色光Y、白色光Wとなるにつれ、透過波長域が、前記赤外光IRの長波長域から、順に短波長域側まで拡がるフィルタを用いており、図12で示すように、その検知結果の差分を求めることで、各色成分に分離している。したがって、長波長側の赤外光IRから、赤色光R、黄色光Y、白色光Wと短波長側をカバーするにつれて、ノイズの影響が大きくなる。このため、赤外光IRが多い被写体の場合、その赤外光IRによってセンサの変曲点Pを超えてログ域に入り、前記ノイズが強調されてしまうという問題がある。
図13に、そのリニア−ログセンサにおける赤外光IRの影響によるランダムノイズの発生の様子を示す。この図13の例は、前記撮像装置で先行車を撮影した例を示している。なお、赤外補助光は照射していない。この図13の例では、先行車103のテールランプ104から放射される赤外光IRによって、画面上半分部分に、ランダムノイズが発生している。詳しくは、テールランプ104の周囲に赤色光Rの放射領域ができ、その中に斑に前記ランダムノイズが生じている。また、モノクロ図面では表現できないが、値の低いG,B成分が、赤外光IRの影響で強調され、テールランプ104部分が白色Wに輝いている。
本発明の目的は、赤外光を用いることで暗時における画像認識性能を向上しつつ、該暗時における画像認識性能の向上に伴うランダムノイズを抑えることができる撮像装置を提供することである。
本発明の撮像装置は、被写体像を結像させる撮像光学系と、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも3種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも3種類の原画像成分を含んだ原画像データ(Ir+RGB,WYR,WYG,CMYG)を生成する撮像素子と、前記原画像データから、赤外波長成分(Ir)を含む輝度信号(Yadd)を生成する輝度信号生成部と、前記原画像データから、可視波長成分の色差信号(Cb,Cr)を生成する色差信号生成部と、前記原画像データから、可視波長域の輝度信号である可視輝度信号(Y)を生成する可視輝度信号生成部と、前記色差信号(Cb,Cr)の低周波成分である色差低周波信号(CbL,CrL)を生成する色差低周波信号生成部と、前記可視輝度信号(Y)の低周波成分である可視輝度低周波信号(YL)を生成する可視輝度低周波信号生成部と、前記輝度信号(Yadd)と、前記色差低周波信号(CbL,CrL)と、前記可視輝度低周波信号(YL)とに基づいて、前記輝度信号(Yadd)に対応する補正色差信号(Cbadd,Cradd)を生成する補正色差信号生成部と、前記輝度信号(Yadd)と、前記補正色差信号(Cbadd,Cradd)とに基づいて、カラー画像を生成するカラー画像生成部と、前記赤外波長成分(Ir)の量に応じて、前記色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を変化させるカットオフ周波数制御部を含むことを特徴とする。
上記の構成によれば、イメージセンサには、可視光の信号成分(RGB,WYR,WYG,CMYG)と共に、赤外光の信号成分(Ir)を捕捉することができる撮像素子を用いることで、赤外光を放射する補助光源からの赤外光を利用するなどして、暗時における画像認識性能を向上するようにした撮像装置において、その暗時における画像認識性能の向上に伴うノイズ増加を抑える。
具体的には、原画像データ(Ir+RGB,WYR,WYG,CMYG)の内、可視光の信号成分(RGB,WYR,WYG,CMYG)から、可視輝度信号生成部は輝度信号(Y)を生成し、色差信号生成部は色差信号(Cb,Cr)を生成する。一方、輝度信号生成部は、前記原画像データから、赤外波長成分(Ir)を含む輝度信号(Yadd)を生成する。こうして、原画像データ(Ir+RGB,WYR,WYG,CMYG)を輝度色度成分(Y,Cb,Cr)に分離して、輝度信号(Y)に赤外波長成分(Ir)を含む輝度信号(Yadd)を生成することで、前記のように暗時における画像認識性能を向上する。
一方、色差低周波信号生成部が、前記色差信号(Cb,Cr)の低周波成分である色差低周波信号(CbL,CrL)を生成し、可視輝度低周波信号生成部が、前記可視輝度信号(Y)の低周波成分である可視輝度低周波信号(YL)を生成する。すると、補正色差信号生成部が、前記輝度信号(Yadd)と、前記色差低周波信号(CbL,CrL)と、前記可視輝度低周波信号(YL)とに基づいて、前記輝度信号(Yadd)に対応する補正色差信号(Cbadd,Cradd)を生成する。この補正色差信号(Cbadd,Cradd)と、前記輝度信号(Yadd)とに基づいて、カラー画像生成部がカラー画像を生成することで、カラーバランスを維持する。このとき、元々、輝度信号(Yadd)のランダムノイズは少ない(たとえば、12bit階調の内の下位1〜2bit程度)のに対して、色差信号(Cb,Cr)には、前記ランダムノイズのばらつきが多く、そこに補正色差信号(Cbadd,Cradd)の処理によって、たとえば比(Yadd/YL)が大きくなる程(大きい領域では)、前記色差信号(Cb,Cr)のノイズが強調されてしまう。
そこで本発明では、前記輝度色度成分(Y,Cb,Cr)に変換された後、偽色抑制のために行われるローパスフィルタ処理に着目し、カットオフ周波数制御部を設け、該カットオフ周波数制御部は、前記撮像素子からの赤外光の信号成分(Ir)に応答して、該成分が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を低下させる。ここで、これらの色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を、ノイズを低減する低い値に固定しておいた場合は、可視光の信号成分(RGB,WYR,WYG,CMYG)が或る程度以上有る場合に、周辺色との混色によって変色するという問題がある。具体的には、例えば信号やテールランプの色が薄く(赤が白に)なる。
したがって、シーン(可視光に比べて赤外光が多い領域)に応じて、ローパスフィルタの適応的なカットオフ周波数制御を行うことで、暗時における画像認識性能の向上のための処理によって10倍や100倍の大きなゲインが加わっても、前記色差信号(Cb,Cr)のランダムノイズを抑えることができる。
好ましくは、前記撮像素子からの前記可視波長成分の信号(RGB,WYR,WYG,CMYG)に、露出補正、ホワイトバランス補正およびガンマ補正などの各種補正を行う補正部を備え、前記可視輝度信号生成部および色差信号生成部は、前記補正後の信号成分を前記可視輝度信号(Y)および色差信号(Cb,Cr)に変換する変換部であり、前記補正色差信号生成部は、前記輝度信号(Yadd)と前記可視輝度低周波信号(YL)との比に応じて、前記色差低周波信号(CbL,CrL)を正規化して前記補正色差信号(Cbadd,Cradd)を得る正規化演算部から成ることを特徴とする。
なお、撮像素子から出力される可視光の信号成分の形式は、原色フィルタを用いるRGBと、補色フィルタを用いるWYR,WYG,CMYGとのいずれであってもよく、輝度信号生成部において、前記赤外光の信号成分Irを加算するために、YCR変換を行う構成であればよい。また、カラー画像生成部からの出力信号成分の形式も、原色系のRGBと、補色系のYCRとのいずれであってもよい。
また、好ましくは、前記カットオフ周波数制御部は、画素毎に赤外光の信号成分(Ir)と可視光の所定色成分、たとえば白色成分(W)との比(Ir/W)を求め、その比(Ir/W)が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることを特徴とする。
さらにまた、好ましくは、前記カットオフ周波数制御部は、画素毎に赤外光の信号成分(Ir)および可視光の所定色成分、たとえば白色成分(W)を求め、それら2つの成分に対応して、2次元テーブルによって予め記憶しているカットオフ周波数を、前記色差低周波信号生成部および可視輝度低周波信号生成部に設定することを特徴とする。
また、本発明の撮像装置では、前記色差低周波信号生成部および可視輝度低周波信号生成部は、ウィンドウサイズ(タップ数)の変更によって、前記カットオフ周波数を変化することを特徴とする。
上記の構成によれば、前記カットオフ周波数制御部は、前記赤外光の信号成分(Ir)や、白色成分(W)に対する比(Ir/W)が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部におけるウィンドウサイズ(タップ数)を大きくすることで、該色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることができる。
さらにまた、本発明の撮像装置では、前記色差低周波信号生成部および可視輝度低周波信号生成部は、カーネルの値の変更によって、前記カットオフ周波数を変化することを特徴とする。
上記の構成によれば、前記カットオフ周波数制御部は、前記赤外光の信号成分(Ir)や、白色成分(W)に対する比(Ir/W)が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部における中心付近のウィンドウの係数を小さくすることで、該色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることができる。
また、本発明の撮像装置は、赤外光を放射する補助光源をさらに備えることを特徴とする。
上記の構成によれば、暗時に補助光源から前記赤外光を放射することで、前記赤外光の信号成分(Ir)を大きくし、前記輝度信号(Yadd)を大きくすることができる。これによって、暗時における画像認識性能を、一層向上することができる。
本発明の撮像装置は、以上のように、イメージセンサに、可視光の信号成分と共に、赤外光の信号成分を捕捉することができる撮像素子を用いることで、赤外光を放射する補助光源からの赤外光を利用するなどして、暗時における画像認識性能を向上するようにした撮像装置において、その赤外光の信号成分の加算を可能にするために、前記可視光の信号成分をYCC変換するとともに、カラーバランスを維持するために色度成分を正規化するにあたって、偽色抑制のために行われるローパスフィルタ処理におけるカットオフ周波数を、前記赤外光の信号成分が大きくなる程、低下する。
それゆえ、前記正規化処理によって10倍や100倍の大きなゲインが加わっても、前記色度成分のランダムノイズを抑えることができる。
図1は、本発明の実施の一形態に係る撮像装置1のブロック図である。この撮像装置1は、車載用の暗視装置として用いられ、暗時における画像認識性能を向上するために、赤外光Irを放射する補助光源2を備えている。被写体像3は、レンズ4などの撮像光学系を通して該撮像装置1に入射し、撮像素子であるイメージセンサ5に導かれる。
イメージセンサ5は、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも3種類の画素が配列され、前記被写体像3を撮像して、前記画素の各々から出力される少なくとも3種類の原画像成分を含んだ原画像データ(Ir+RGB,WYR,WYG,CMYG)を生成する(本実施の形態では、以下、WYRIrを用いるとする)。イメージセンサ5からの各信号WYRIrは、信号処理装置10に入力され、以下のような信号処理が施された後、外部の表示装置や、蓄積装置(ドライブレコーダ)などに出力される。
前記信号処理装置10は、アナログ信号処理部11と、アナログ/デジタル(A/D)変換部12と、色補間部13と、RGB算出部14と、露出補正・ホワイトバランス補正部15と、ガンマ補正部16と、YCC変換部17と、ローパスフィルタ部18と、RGB変換部19と、カットオフ周波数制御部20と、輝度信号生成部21と、全体制御部22とを備えて構成される。
前記アナログ信号処理部11は、イメージセンサ5から出力されるアナログの前記各信号WYRIrに所定のアナログ信号処理を施すもので、該信号WYRIrに含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)、および該信号WYRIrのレベル補正を行うAGC回路(オートゲインコントロール回路)などを備えて構成される。なおAGC回路は、適正露出が得られなかった場合等に、後段のA/D変換部12の入力電圧範囲に適合するように、該信号WYRIrを適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
A/D変換部12は、アナログ信号処理部11から出力されるアナログの各信号WYRIrを、例えば12ビットのデジタル画像信号(画像データ)に変換する。このA/D変換部12は、全体制御部22から入力されるA/D変換用のクロックに基づいて、アナログの各信号WYRIrを、デジタルの各信号WYRIrに変換する。
前記色補間部13は、前記の信号WYRIr毎に、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、上下左右などの実在する複数の隣接画素のデータを用いて、実在しない中間位置の画素データを補間して求めるものである。具体的には色補間部13は、高帯域まで画素を持つWの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルタを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、残余のYRIrの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
前記RGB算出部14は、後段の各種の補正のために、一旦、前記各信号成分WYRから、演算によって、RGBの信号成分に変換する。具体的には、前述の図12から、
B=W−Y
G=Y−R
R=R
である。
前記露出補正・ホワイトバランス補正部15は、得られたRGBの信号成分から、先ず自動露出(AE)制御、およびホワイトバランス(WB)制御等を行うに際してのベース値となる評価値、すなわちAE評価値およびWB評価値等を検出する。例えばAE制御を行う場合、被写体3の輝度レベルおよび輝度範囲を計測し、AE評価値として全体制御部22へ出力する。これに応答して、全体制御部22は、そのAE評価値が適正値となる出力がイメージセンサ5から得られるように、必要な露出制御量を算出し、図示しない絞りやイメージセンサ5のサンプリング期間を制御する。また、ホワイトバランス制御を行う場合、前記露出補正・ホワイトバランス補正部15は、全体制御部22から与えられる撮像ダイナミックレンジ情報と前記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各画素における各信号R,G,Bのデータのレベル変換を行う。なお本実施形態では、イメージセンサ5としてはリニア特性領域とログ特性領域とを備えるものを用いることから、それらの特性領域毎にWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
前記ガンマ補正部16は、表示装置などの出力装置のガンマ特性に対応した補正を行うものであり、例えば、γ=2.2である。
前記YCC変換部17は、可視輝度信号生成部および色差信号生成部となるものであって、後述の赤外光の信号Irの加算にあたって、マトリクス演算によって、上述のR,G,Bの各信号から、加算に適した輝度信号Yおよび色差信号Cb,Crに変換するものである。
前記ローパスフィルタ部18は、可視輝度低周波信号生成部および色差低周波信号生成部となるものであって、後に詳述するように、前記輝度信号Yおよび色差信号Cb,Crの平均値を求めるローパスフィルタ処理を行うとともに、輝度信号生成部21で求められた前記赤外光の信号成分Irを加算した輝度信号Yaddと、ローパスフィルタ処理後の輝度信号YLとの比Yadd/YLに応じて、前記ローパスフィルタ処理後の色差信号Cb,Crを正規化した補正色差信号Cbadd,Craddを求める正規化演算部としての機能も有する。
前記RGB変換部19は、カラー画像となるものであって、画像信号の出力にあたって、前記輝度信号Yaddと、正規化された補正色差信号Cbadd,Craddとから、マトリクス演算によって、R,G,Bの各信号成分に変換する。なお、後段の表示装置等が、Y,Cb,Crのコンポジット信号に適したものである場合は、このRGB変換部19は省略されてもよい。
前記輝度信号生成部21は、前記色補間部13で求められた各信号WYRIrを相互に加算することで、赤外光成分Irを加味した輝度信号Yaddを求める。
前記全体制御部22は、前記のA/D変換部12へのA/D変換用のクロックと共に、イメージセンサ5へのタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)などを作成する。前記イメージセンサ5は、前記タイミングパルスに応答して、例えば1/30(秒)毎にフレーム画像を取り込み、順次信号処理装置10に出力する。
注目すべきは、本実施の形態では、カットオフ周波数制御部20は、前記色補間部13で求められた信号Ir,Wに応答して、前記ローパスフィルタ部18でのカットオフ周波数fcを変化させることである。
図2は、上述のように構成される撮像装置1の信号処理装置10の動作を詳しく説明するためのフローチャートである。この図2の動作は、前述の図6で示す動作に類似し、対応する部分には同一のステップ番号を付して示す。イメージセンサ5によって、可視光の信号成分WYRおよび赤外光の信号成分Irが得られ、該信号処理装置10に入力されると、アナログ信号処理、A/D変換処理および色補間処理などを経た後、この図2の処理が開始される。
先ず、ステップS1では、前記RGB算出部14において、可視光の信号成分WYRは、信号成分RGBに変換される。次に、ステップS2では、前記露出補正・ホワイトバランス補正部15およびガンマ補正部16において、各種の補正処理が行われる。続いて、ステップS3では、YCC変換部17において、前記赤外光の信号成分Irの加算にあたって、前記可視光の信号成分RGBは、可視輝度信号Yおよび色差信号Cb,Crに変換される。さらにステップS4’では、前記ローパスフィルタ部18において、偽色抑制のためのローパスフィルタ処理が行われる。
一方、ステップS5では、前記輝度信号生成部21において、総ての信号成分である前記可視光の信号成分WYRおよび赤外光の信号成分Irが相互に加算されて、輝度信号Yaddが求められ、これによって、前述のように暗時における画像認識性能の向上が図られている。
そして、ステップS6では、前記ローパスフィルタ部18において、前記輝度信号Yaddと、ローパスフィルタ処理後の可視輝度低周波信号YLとの比Yadd/YLに応じて、前記ローパスフィルタ処理後の色差低周波信号CbL,CrLを正規化した補正色差信号Cbadd,Craddが求められ、この正規化によって、カラーバランスを維持するようになっている。その後、ステップS7では、前記RGB変換部19において、前記輝度信号Yaddと、前記正規化された補正色差信号Cbadd,Craddとから、前記原色フィルタによる可視光の信号成分RGBに変換され、出力される。以上の動作は、前述の図6で示す動作と同様である。
注目すべきは、本実施の形態では、ステップS10で、前記カットオフ周波数制御部20は、前記色補間部13で求められた信号成分Ir,Wに応答して、ステップS4’での前記ローパスフィルタ部18における処理で、カットオフ周波数fcを設定することである。
前記カットオフ周波数制御部20によるローパスフィルタ部18のカットオフ周波数fcの制御の一例としては、前記カットオフ周波数制御部20が、画素毎に赤外光の信号成分Irと可視光の白色成分Wとの比Ir/Wを求め、その比Ir/Wが大きくなる程、前記ローパスフィルタ部18でのカットオフ周波数fcを低下させるというものである。
例えば、前記カットオフ周波数制御部20が、画素毎に赤外光の信号成分Irおよび可視光の白色成分Wを求め、それら2つの成分に対応して、2次元テーブルによって予め記憶しているカットオフ周波数fcを、前記ローパスフィルタ部18に設定するというものである。図3には、その2次元テーブルを模式的に示す。前記信号成分Ir,Wの或る値でのカットオフ周波数をfc11とし、その値より可視光の白色成分Wが大きくなった場合のカットオフ周波数をfc12とし、赤外光の信号成分Irが大きくなった場合のカットオフ周波数をfc21とすると、fc21<fc11<fc12である。
前記カットオフ周波数制御部20によるローパスフィルタ部18のカットオフ周波数fcの制御の他の例としては、例えば、ウィンドウサイズ(タップ数)の変更、すなわち注目画素を中心として、その画素のデータに加味すべき周辺画素の範囲の変更によって行うことができる。具体的には、カットオフ周波数fcが最も高い状態でのローパスフィルタ処理のウィンドウが、図4(a)で示すように、3×3であるとき、前記比Ir/Wが大きくなると4×4に広げ(タップ数を大きく)、さらに前記比Ir/Wが大きくなると、図4(b)で示すように、5×5に広げる・・・という具合である。
或いは、前記ローパスフィルタ部18におけるカットオフ周波数fcの変更は、例えば、各ウィンドウに設定されるカーネルの値の変更、すなわち前記注目画素のデータに加味すべき各周辺画素の重みの変更によって行うことができる。具体的には、例えば、ウィンドウサイズ(タップ数)を5×5とするとき、カットオフ周波数fcが最も高い状態では、図5(a)で示すように、中心、すなわち前記注目画素のウィンドウのカーネルが16、その周囲の8個のウィンドウのカーネルが8、最外周の16個のウィンドウのカーネルが1である場合、前記比Ir/Wが大きくなると、図5(b)で示すように、中心のウィンドウのカーネルを8、その周囲の8個のウィンドウのカーネルを4に低下し、さらに前記比Ir/Wが大きくなると、図5(c)で示すように、総てのウィンドウのカーネルを1とするという具合である。
以上のように、本実施の形態の撮像装置1では、イメージセンサ5には、可視光の信号成分WYRと共に、赤外光の信号成分Irを捕捉することができる撮像素子を用いることで、赤外光を放射する補助光源2からの赤外光を利用するなどして、暗時における画像認識性能を向上するようにした撮像装置1において、先ず輝度信号生成部21において、その赤外光の信号成分Irを可視光の信号成分WYRに加算して輝度信号Yaddを求めることで、前記暗時における画像認識性能を向上する。次に、その輝度信号Yaddを使用可能にするために、YCC変換部17において、前記可視光の信号成分RGBから、可視輝度信号Yおよび色差信号Cb,Crに変換し、その内、色差信号Cb,Crを前記輝度信号Yaddに組合わせて使用するようにする。さらに、ローパスフィルタ部18において、前記色差信号Cb,Crについて、カラーバランスを維持するために正規化するとともに、その正規化にあたって、偽色抑制のためにローパスフィルタ処理を行う。そこで、カットオフ周波数制御部20が、ローパスフィルタ処理におけるカットオフ周波数fcを、前記赤外光の信号成分Irが大きくなる程、低下しておくので、暗時における画像認識性能の向上のために前記正規化処理によって10倍や100倍の大きなゲインが加わっても、前記色差信号Cb,Crのランダムノイズを抑えることができる。
詳しくは、輝度信号生成部21において、総ての信号成分WYRIrを加算して求められる輝度信号Yaddのランダムノイズは、元々少ない(たとえば、12bit階調の内の下位1〜2bit程度)のに対して、色差信号Cb,Crには、前記ランダムノイズのばらつきが多く、そこに正規化の処理によって、ローパスフィルタ処理後の可視輝度低周波信号をYLとするとき、比Yadd/YLが大きくなる程(大きい領域では)、前記色差信号Cb,Crのノイズが強調されてしまう。そこで、前記可視輝度信号Yおよび色差信号Cb,Crに変換された後、ローパスフィルタ部18において、偽色抑制のために行われるローパスフィルタ処理において、カットオフ周波数制御部20が、赤外光の信号成分Irが大きくなる程、前記ローパスフィルタ処理のカットオフ周波数fcを低下させる。ここで、ローパスフィルタのカットオフ周波数を、ノイズを低減する低い値に固定しておいた場合は、可視光の信号成分WYRが或る程度以上有る場合に、周辺色との混色によって変色するという問題がある。具体的には、信号やテールランプの色が薄く(赤が白に)なる。こうして、シーン(可視光に比べて赤外光が多い領域)に応じて、ローパスフィルタ部18の適応的なカットオフ周波数制御を行うことで、暗時における画像認識性能の向上のために前記正規化処理によって10倍や100倍の大きなゲインが加わっても、前記色差信号Cb,Crのランダムノイズを抑えることができる。例えば、図13の状況で、前記ランダムノイズを抑制すると、図14で示すようになる。
また、赤外光を放射する補助光源2をさらに備え、暗時に該補助光源2から前記赤外光を放射することで、前記赤外光の信号成分Irを大きくし、前記輝度信号Yaddを大きくすることができる。これによって、暗時における画像認識性能を、一層向上することができる。