JP5521927B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に、昼間だけでなく、夜間にも撮像（モニタ）可能な撮像装置に関する。

前記のような撮像装置は、従来から、自動車における歩行者の認識支援用の暗視装置などとして用いられており、たとえば、本件出願人による特許文献１および２などで提案されている。それらによれば、赤外光を放射する補助光源を備えるとともに、イメージセンサには、可視光の信号成分（ＲＧＢ；ＷＹＲ，ＷＹＧ，ＣＭＹＧ）と共に、前記赤外光の信号成分（Ｉｒ）を捕捉することができる撮像素子を用い、信号処理部において、前記可視光の信号成分（ＲＧＢ；ＷＹＲ，ＷＹＧ，ＣＭＹＧ）を輝度色度成分（Ｙ，Ｃｂ，Ｃｒ）に変換し、偽色抑制のためのローパスフィルタ処理を行う一方、前記輝度色度成分（Ｙ，Ｃｂ，Ｃｒ）の内の少なくとも輝度成分（Ｙ）に前記赤外光の信号成分（Ｉｒ）を加算した加算輝度の信号成分（Ｙａｄｄ）を得ることで、暗時における画像認識性能を向上している。

また、特許文献２では、さらに、前記信号処理部が、前記加算輝度の信号成分（Ｙａｄｄ）と、ローパスフィルタ処理後の輝度成分（Ｙ_Ｌ）との比（Ｙａｄｄ／Ｙ_Ｌ）に応じて、前記ローパスフィルタ処理後の色度成分（Ｃｂ，Ｃｒ）を正規化した色度成分（Ｃｂａｄｄ，Ｃｒａｄｄ）を得ることで、カラーバランスを維持するようにしている。

図６は、その特許文献２の従来技術による信号処理の手順を示すフローチャートである。なお、可視光の信号成分としては、Ｗ（ホワイト）、Ｙ（イエロー）、Ｒ（レッド）を用いるとする。撮像素子によって、補色フィルタによる前記可視光の信号成分ＷＹＲおよび赤外光の信号成分Ｉｒが得られると、色補間などの後、ステップＳ１で、原色フィルタによる可視光の信号成分ＲＧＢに変換され、ステップＳ２での各種補正処理が可能となる。ステップＳ２での補正処理は、露出補正、ホワイトバランス補正、ガンマ補正などである。続いて、ステップＳ３では、前記赤外光の信号成分Ｉｒの加算のために、前記可視光の信号成分ＲＧＢは、可視輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換され、さらにステップＳ４で、偽色抑制のためのローパスフィルタ処理が行われる。

一方、ステップＳ５では、総ての信号成分である前記可視光の信号成分ＷＹＲおよび赤外光の信号成分Ｉｒが相互に加算されて、輝度信号Ｙａｄｄが求められ、これによって、前述のように暗時における画像認識性能の向上が図られている。

そして、ステップＳ６では、前記輝度信号Ｙａｄｄと、ローパスフィルタ処理後の可視輝度低周波信号Ｙ_Ｌとの比Ｙａｄｄ／Ｙ_Ｌに応じて、前記ローパスフィルタ処理後の色差低周波信号Ｃｂ_Ｌ，Ｃｒ_Ｌを正規化した補正色差信号Ｃｂａｄｄ，Ｃｒａｄｄが求められ、この正規化によって、カラーバランスを維持するようになっている。その後、ステップＳ７では、前記輝度信号Ｙａｄｄと、前記正規化された補正色差信号Ｃｂａｄｄ，Ｃｒａｄｄとから、前記原色フィルタによる可視光の信号成分ＲＧＢに変換され、出力される。

国際特許出願第２００９／１３３９３１号（ＰＣＴ／ＪＰ２００９／０５８４９５） 特願２０１０−５８９９９号

上述の従来技術は、上述のように、ステップＳ５での輝度信号Ｙａｄｄを用いることで、暗時における画像認識性能を向上しつつ、ステップＳ６で、その輝度信号Ｙａｄｄと、ローパスフィルタ処理後の輝度低周波信号Ｙ_Ｌとの比Ｙａｄｄ／Ｙ_Ｌで、色差信号Ｃｂ，Ｃｒを正規化することで、カラーバランスも維持できるという優れた技術である。

しかしながら、前記正規化処理によって、前記比Ｙａｄｄ／Ｙ_Ｌが大きくなる、すなわちＩｒ／Ｙ_Ｌの比が大きくなると、色差信号Ｃｂ，Ｃｒには、１０倍や１００倍という非常に大きなゲインが係ってしまうことになる。ここで、輝度信号Ｙａｄｄについては、元々、ランダムノイズは少ない（たとえば、１２ｂｉｔ階調の内の下位１〜２ｂｉｔ程度）のに対して、色差信号Ｃｂ，Ｃｒには、前記ランダムノイズのばらつきが多い。このため、前記比Ｙａｄｄ／Ｙ_Ｌが大きくなる程（大きい領域では）、前記色差信号Ｃｂ，Ｃｒのノイズが強調されてしまうという問題がある。

ここで、図７には、前記暗視装置のメカニズムを示す。車両１０１に搭載されるヘッドライト、すなわち可視光は、ロービーム時は、対向車や歩行者の幻惑を防止するために、図７（ａ）で示すように、下方気味に投光範囲Ｗ１が設定されている。したがって、運転者が認識するその可視光による画像は、図８で示すようになる。そこで、前記暗視装置は、図７（ｂ）で示すように、光が不足する上方側の投光範囲Ｗ２に赤外光を投光し、図９で示すように、歩行者１０２などの認識を可能にする。

しかしながら、実際に暗視装置が表示する画像は、前記色差信号Ｃｂ，Ｃｒのランダムノイズの強調によって、図１０で示すように、認識し難いものとなる。

一方、車載用の撮像装置には、入射光の広ダイナミックレンジに対応するために、撮像素子には、リニア−ログ特性を有するイメージセンサが用いられることが多い。図１１は、そのリニア−ログセンサの入射光量の変化に対する出力信号強度の変化を示すグラフである。この図１１で示すように、リニア−ログセンサでは、変曲点Ｐよりも低い入射光量域では、所定の光量変化量Δｓ１に対する出力信号の変化量ΔＳ１は、比例して得られるのに対して、前記変曲点Ｐよりも高い入射光量域では、前記光量変化量Δｓ１と同じ光量変化量Δｓ２に対する出力信号の変化量ΔＳ２は、比例しているものの、比例係数が小さく、圧縮されたものとなる。

ここで、同じ大きさＮのノイズが、信号成分に重畳したとすると、ログ領域をリニアとなるように変換すると、信号成分が伸張されるとともに、ノイズも伸張され、リニア領域に比べてＳ／Ｎが大きく劣化する。そして、前記のような補色系のセンサは、赤外光ＩＲから、赤色光Ｒ、黄色光Ｙ、白色光Ｗとなるにつれ、透過波長域が、前記赤外光ＩＲの長波長域から、順に短波長域側まで拡がるフィルタを用いており、図１２で示すように、その検知結果の差分を求めることで、各色成分に分離している。したがって、長波長側の赤外光ＩＲから、赤色光Ｒ、黄色光Ｙ、白色光Ｗと短波長側をカバーするにつれて、ノイズの影響が大きくなる。このため、赤外光ＩＲが多い被写体の場合、その赤外光ＩＲによってセンサの変曲点Ｐを超えてログ域に入り、前記ノイズが強調されてしまうという問題がある。

図１３に、そのリニア−ログセンサにおける赤外光ＩＲの影響によるランダムノイズの発生の様子を示す。この図１３の例は、前記撮像装置で先行車を撮影した例を示している。なお、赤外補助光は照射していない。この図１３の例では、先行車１０３のテールランプ１０４から放射される赤外光ＩＲによって、画面上半分部分に、ランダムノイズが発生している。詳しくは、テールランプ１０４の周囲に赤色光Ｒの放射領域ができ、その中に斑に前記ランダムノイズが生じている。また、モノクロ図面では表現できないが、値の低いＧ，Ｂ成分が、赤外光ＩＲの影響で強調され、テールランプ１０４部分が白色Ｗに輝いている。

本発明の目的は、赤外光を用いることで暗時における画像認識性能を向上しつつ、該暗時における画像認識性能の向上に伴うランダムノイズを抑えることができる撮像装置を提供することである。

本発明の撮像装置は、被写体像を結像させる撮像光学系と、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データ（Ｉｒ＋ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）を生成する撮像素子と、前記原画像データから、赤外波長成分（Ｉｒ）を含む輝度信号（Ｙａｄｄ）を生成する輝度信号生成部と、前記原画像データから、可視波長成分の色差信号（Ｃｂ，Ｃｒ）を生成する色差信号生成部と、前記原画像データから、可視波長域の輝度信号である可視輝度信号（Ｙ）を生成する可視輝度信号生成部と、前記色差信号（Ｃｂ，Ｃｒ）の低周波成分である色差低周波信号（Ｃｂ_Ｌ，Ｃｒ_Ｌ）を生成する色差低周波信号生成部と、前記可視輝度信号（Ｙ）の低周波成分である可視輝度低周波信号（Ｙ_Ｌ）を生成する可視輝度低周波信号生成部と、前記輝度信号（Ｙａｄｄ）と、前記色差低周波信号（Ｃｂ_Ｌ，Ｃｒ_Ｌ）と、前記可視輝度低周波信号（Ｙ_Ｌ）とに基づいて、前記輝度信号（Ｙａｄｄ）に対応する補正色差信号（Ｃｂａｄｄ，Ｃｒａｄｄ）を生成する補正色差信号生成部と、前記輝度信号（Ｙａｄｄ）と、前記補正色差信号（Ｃｂａｄｄ，Ｃｒａｄｄ）とに基づいて、カラー画像を生成するカラー画像生成部と、前記赤外波長成分（Ｉｒ）の量に応じて、前記色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を変化させるカットオフ周波数制御部を含むことを特徴とする。

上記の構成によれば、イメージセンサには、可視光の信号成分（ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）と共に、赤外光の信号成分（Ｉｒ）を捕捉することができる撮像素子を用いることで、赤外光を放射する補助光源からの赤外光を利用するなどして、暗時における画像認識性能を向上するようにした撮像装置において、その暗時における画像認識性能の向上に伴うノイズ増加を抑える。

具体的には、原画像データ（Ｉｒ＋ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）の内、可視光の信号成分（ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）から、可視輝度信号生成部は輝度信号（Ｙ）を生成し、色差信号生成部は色差信号（Ｃｂ，Ｃｒ）を生成する。一方、輝度信号生成部は、前記原画像データから、赤外波長成分（Ｉｒ）を含む輝度信号（Ｙａｄｄ）を生成する。こうして、原画像データ（Ｉｒ＋ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）を輝度色度成分（Ｙ，Ｃｂ，Ｃｒ）に分離して、輝度信号（Ｙ）に赤外波長成分（Ｉｒ）を含む輝度信号（Ｙａｄｄ）を生成することで、前記のように暗時における画像認識性能を向上する。

一方、色差低周波信号生成部が、前記色差信号（Ｃｂ，Ｃｒ）の低周波成分である色差低周波信号（Ｃｂ_Ｌ，Ｃｒ_Ｌ）を生成し、可視輝度低周波信号生成部が、前記可視輝度信号（Ｙ）の低周波成分である可視輝度低周波信号（Ｙ_Ｌ）を生成する。すると、補正色差信号生成部が、前記輝度信号（Ｙａｄｄ）と、前記色差低周波信号（Ｃｂ_Ｌ，Ｃｒ_Ｌ）と、前記可視輝度低周波信号（Ｙ_Ｌ）とに基づいて、前記輝度信号（Ｙａｄｄ）に対応する補正色差信号（Ｃｂａｄｄ，Ｃｒａｄｄ）を生成する。この補正色差信号（Ｃｂａｄｄ，Ｃｒａｄｄ）と、前記輝度信号（Ｙａｄｄ）とに基づいて、カラー画像生成部がカラー画像を生成することで、カラーバランスを維持する。このとき、元々、輝度信号（Ｙａｄｄ）のランダムノイズは少ない（たとえば、１２ｂｉｔ階調の内の下位１〜２ｂｉｔ程度）のに対して、色差信号（Ｃｂ，Ｃｒ）には、前記ランダムノイズのばらつきが多く、そこに補正色差信号（Ｃｂａｄｄ，Ｃｒａｄｄ）の処理によって、たとえば比（Ｙａｄｄ／Ｙ_Ｌ）が大きくなる程（大きい領域では）、前記色差信号（Ｃｂ，Ｃｒ）のノイズが強調されてしまう。

そこで本発明では、前記輝度色度成分（Ｙ，Ｃｂ，Ｃｒ）に変換された後、偽色抑制のために行われるローパスフィルタ処理に着目し、カットオフ周波数制御部を設け、該カットオフ周波数制御部は、前記撮像素子からの赤外光の信号成分（Ｉｒ）に応答して、該成分が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を低下させる。ここで、これらの色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を、ノイズを低減する低い値に固定しておいた場合は、可視光の信号成分（ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）が或る程度以上有る場合に、周辺色との混色によって変色するという問題がある。具体的には、例えば信号やテールランプの色が薄く（赤が白に）なる。

したがって、シーン（可視光に比べて赤外光が多い領域）に応じて、ローパスフィルタの適応的なカットオフ周波数制御を行うことで、暗時における画像認識性能の向上のための処理によって１０倍や１００倍の大きなゲインが加わっても、前記色差信号（Ｃｂ，Ｃｒ）のランダムノイズを抑えることができる。

好ましくは、前記撮像素子からの前記可視波長成分の信号（ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）に、露出補正、ホワイトバランス補正およびガンマ補正などの各種補正を行う補正部を備え、前記可視輝度信号生成部および色差信号生成部は、前記補正後の信号成分を前記可視輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）に変換する変換部であり、前記補正色差信号生成部は、前記輝度信号（Ｙａｄｄ）と前記可視輝度低周波信号（Ｙ_Ｌ）との比に応じて、前記色差低周波信号（Ｃｂ_Ｌ，Ｃｒ_Ｌ）を正規化して前記補正色差信号（Ｃｂａｄｄ，Ｃｒａｄｄ）を得る正規化演算部から成ることを特徴とする。

なお、撮像素子から出力される可視光の信号成分の形式は、原色フィルタを用いるＲＧＢと、補色フィルタを用いるＷＹＲ，ＷＹＧ，ＣＭＹＧとのいずれであってもよく、輝度信号生成部において、前記赤外光の信号成分Ｉｒを加算するために、ＹＣＲ変換を行う構成であればよい。また、カラー画像生成部からの出力信号成分の形式も、原色系のＲＧＢと、補色系のＹＣＲとのいずれであってもよい。

また、好ましくは、前記カットオフ周波数制御部は、画素毎に赤外光の信号成分（Ｉｒ）と可視光の所定色成分、たとえば白色成分（Ｗ）との比（Ｉｒ／Ｗ）を求め、その比（Ｉｒ／Ｗ）が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることを特徴とする。

さらにまた、好ましくは、前記カットオフ周波数制御部は、画素毎に赤外光の信号成分（Ｉｒ）および可視光の所定色成分、たとえば白色成分（Ｗ）を求め、それら２つの成分に対応して、２次元テーブルによって予め記憶しているカットオフ周波数を、前記色差低周波信号生成部および可視輝度低周波信号生成部に設定することを特徴とする。

また、本発明の撮像装置では、前記色差低周波信号生成部および可視輝度低周波信号生成部は、ウィンドウサイズ（タップ数）の変更によって、前記カットオフ周波数を変化することを特徴とする。

上記の構成によれば、前記カットオフ周波数制御部は、前記赤外光の信号成分（Ｉｒ）や、白色成分（Ｗ）に対する比（Ｉｒ／Ｗ）が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部におけるウィンドウサイズ（タップ数）を大きくすることで、該色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることができる。

さらにまた、本発明の撮像装置では、前記色差低周波信号生成部および可視輝度低周波信号生成部は、カーネルの値の変更によって、前記カットオフ周波数を変化することを特徴とする。

上記の構成によれば、前記カットオフ周波数制御部は、前記赤外光の信号成分（Ｉｒ）や、白色成分（Ｗ）に対する比（Ｉｒ／Ｗ）が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部における中心付近のウィンドウの係数を小さくすることで、該色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることができる。

また、本発明の撮像装置は、赤外光を放射する補助光源をさらに備えることを特徴とする。

上記の構成によれば、暗時に補助光源から前記赤外光を放射することで、前記赤外光の信号成分（Ｉｒ）を大きくし、前記輝度信号（Ｙａｄｄ）を大きくすることができる。これによって、暗時における画像認識性能を、一層向上することができる。

本発明の撮像装置は、以上のように、イメージセンサに、可視光の信号成分と共に、赤外光の信号成分を捕捉することができる撮像素子を用いることで、赤外光を放射する補助光源からの赤外光を利用するなどして、暗時における画像認識性能を向上するようにした撮像装置において、その赤外光の信号成分の加算を可能にするために、前記可視光の信号成分をＹＣＣ変換するとともに、カラーバランスを維持するために色度成分を正規化するにあたって、偽色抑制のために行われるローパスフィルタ処理におけるカットオフ周波数を、前記赤外光の信号成分が大きくなる程、低下する。

それゆえ、前記正規化処理によって１０倍や１００倍の大きなゲインが加わっても、前記色度成分のランダムノイズを抑えることができる。

本発明の実施の一形態に係る撮像装置のブロック図である。 本発明の実施の一形態に係る撮像装置の信号処理動作を詳しく説明するためのフローチャートである。 ローパスフィルタ部のカットオフ周波数制御のために用いられる２次元テーブルを模式的に示す図である。 ローパスフィルタ部のカットオフ周波数制御を実現するウィンドウサイズの変更を説明するための図である。 ローパスフィルタ部のカットオフ周波数制御を実現するカーネルの変更を説明するための図である。 従来技術の撮像装置における信号処理部の動作を詳しく説明するためのフローチャートである。 車載用の暗視装置のメカニズムを示す図である。 運転者が夜間に認識する可視光による画像を模式的に示す図である。 図８の状態で、赤外線補助光を用いた暗視装置で期待される撮像画像を模式的に示す図である。 図８の状態で、赤外線補助光を用いた暗視装置で実際に得られる撮像画像を模式的に示す図である。 リニア−ログイメージセンサの入射光量に対する出力信号レベルの変化を示すグラフである。 補色系のセンサと原色光との関係を模式的に示す図である。 リニア−ログセンサにおける赤外光の影響によるランダムノイズの発生の様子を示す図である。 本実施の形態による図１３のノイズ改善の様子を示す図である。

図１は、本発明の実施の一形態に係る撮像装置１のブロック図である。この撮像装置１は、車載用の暗視装置として用いられ、暗時における画像認識性能を向上するために、赤外光Ｉｒを放射する補助光源２を備えている。被写体像３は、レンズ４などの撮像光学系を通して該撮像装置１に入射し、撮像素子であるイメージセンサ５に導かれる。

イメージセンサ５は、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像３を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データ（Ｉｒ＋ＲＧＢ，ＷＹＲ，ＷＹＧ，ＣＭＹＧ）を生成する（本実施の形態では、以下、ＷＹＲＩｒを用いるとする）。イメージセンサ５からの各信号ＷＹＲＩｒは、信号処理装置１０に入力され、以下のような信号処理が施された後、外部の表示装置や、蓄積装置（ドライブレコーダ）などに出力される。

前記信号処理装置１０は、アナログ信号処理部１１と、アナログ／デジタル（Ａ／Ｄ）変換部１２と、色補間部１３と、ＲＧＢ算出部１４と、露出補正・ホワイトバランス補正部１５と、ガンマ補正部１６と、ＹＣＣ変換部１７と、ローパスフィルタ部１８と、ＲＧＢ変換部１９と、カットオフ周波数制御部２０と、輝度信号生成部２１と、全体制御部２２とを備えて構成される。

前記アナログ信号処理部１１は、イメージセンサ５から出力されるアナログの前記各信号ＷＹＲＩｒに所定のアナログ信号処理を施すもので、該信号ＷＹＲＩｒに含まれるリセット雑音を低減するＣＤＳ回路（相関二重サンプリング回路）、および該信号ＷＹＲＩｒのレベル補正を行うＡＧＣ回路（オートゲインコントロール回路）などを備えて構成される。なおＡＧＣ回路は、適正露出が得られなかった場合等に、後段のＡ／Ｄ変換部１２の入力電圧範囲に適合するように、該信号ＷＹＲＩｒを適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。

Ａ／Ｄ変換部１２は、アナログ信号処理部１１から出力されるアナログの各信号ＷＹＲＩｒを、例えば１２ビットのデジタル画像信号（画像データ）に変換する。このＡ／Ｄ変換部１２は、全体制御部２２から入力されるＡ／Ｄ変換用のクロックに基づいて、アナログの各信号ＷＹＲＩｒを、デジタルの各信号ＷＹＲＩｒに変換する。

前記色補間部１３は、前記の信号ＷＹＲＩｒ毎に、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、上下左右などの実在する複数の隣接画素のデータを用いて、実在しない中間位置の画素データを補間して求めるものである。具体的には色補間部１３は、高帯域まで画素を持つＷの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン（中間値）フィルタを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、残余のＹＲＩｒの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。

前記ＲＧＢ算出部１４は、後段の各種の補正のために、一旦、前記各信号成分ＷＹＲから、演算によって、ＲＧＢの信号成分に変換する。具体的には、前述の図１２から、
Ｂ＝Ｗ−Ｙ
Ｇ＝Ｙ−Ｒ
Ｒ＝Ｒ
である。

前記露出補正・ホワイトバランス補正部１５は、得られたＲＧＢの信号成分から、先ず自動露出（ＡＥ）制御、およびホワイトバランス（ＷＢ）制御等を行うに際してのベース値となる評価値、すなわちＡＥ評価値およびＷＢ評価値等を検出する。例えばＡＥ制御を行う場合、被写体３の輝度レベルおよび輝度範囲を計測し、ＡＥ評価値として全体制御部２２へ出力する。これに応答して、全体制御部２２は、そのＡＥ評価値が適正値となる出力がイメージセンサ５から得られるように、必要な露出制御量を算出し、図示しない絞りやイメージセンサ５のサンプリング期間を制御する。また、ホワイトバランス制御を行う場合、前記露出補正・ホワイトバランス補正部１５は、全体制御部２２から与えられる撮像ダイナミックレンジ情報と前記ＷＢ評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各画素における各信号Ｒ，Ｇ，Ｂのデータのレベル変換を行う。なお本実施形態では、イメージセンサ５としてはリニア特性領域とログ特性領域とを備えるものを用いることから、それらの特性領域毎にＷＢ評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。

前記ガンマ補正部１６は、表示装置などの出力装置のガンマ特性に対応した補正を行うものであり、例えば、γ＝２．２である。

前記ＹＣＣ変換部１７は、可視輝度信号生成部および色差信号生成部となるものであって、後述の赤外光の信号Ｉｒの加算にあたって、マトリクス演算によって、上述のＲ，Ｇ，Ｂの各信号から、加算に適した輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換するものである。

前記ローパスフィルタ部１８は、可視輝度低周波信号生成部および色差低周波信号生成部となるものであって、後に詳述するように、前記輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒの平均値を求めるローパスフィルタ処理を行うとともに、輝度信号生成部２１で求められた前記赤外光の信号成分Ｉｒを加算した輝度信号Ｙａｄｄと、ローパスフィルタ処理後の輝度信号Ｙ_Ｌとの比Ｙａｄｄ／Ｙ_Ｌに応じて、前記ローパスフィルタ処理後の色差信号Ｃｂ，Ｃｒを正規化した補正色差信号Ｃｂａｄｄ，Ｃｒａｄｄを求める正規化演算部としての機能も有する。

前記ＲＧＢ変換部１９は、カラー画像となるものであって、画像信号の出力にあたって、前記輝度信号Ｙａｄｄと、正規化された補正色差信号Ｃｂａｄｄ，Ｃｒａｄｄとから、マトリクス演算によって、Ｒ，Ｇ，Ｂの各信号成分に変換する。なお、後段の表示装置等が、Ｙ，Ｃｂ，Ｃｒのコンポジット信号に適したものである場合は、このＲＧＢ変換部１９は省略されてもよい。

前記輝度信号生成部２１は、前記色補間部１３で求められた各信号ＷＹＲＩｒを相互に加算することで、赤外光成分Ｉｒを加味した輝度信号Ｙａｄｄを求める。

前記全体制御部２２は、前記のＡ／Ｄ変換部１２へのＡ／Ｄ変換用のクロックと共に、イメージセンサ５へのタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等）などを作成する。前記イメージセンサ５は、前記タイミングパルスに応答して、例えば１／３０（秒）毎にフレーム画像を取り込み、順次信号処理装置１０に出力する。

注目すべきは、本実施の形態では、カットオフ周波数制御部２０は、前記色補間部１３で求められた信号Ｉｒ，Ｗに応答して、前記ローパスフィルタ部１８でのカットオフ周波数ｆｃを変化させることである。

図２は、上述のように構成される撮像装置１の信号処理装置１０の動作を詳しく説明するためのフローチャートである。この図２の動作は、前述の図６で示す動作に類似し、対応する部分には同一のステップ番号を付して示す。イメージセンサ５によって、可視光の信号成分ＷＹＲおよび赤外光の信号成分Ｉｒが得られ、該信号処理装置１０に入力されると、アナログ信号処理、Ａ／Ｄ変換処理および色補間処理などを経た後、この図２の処理が開始される。

先ず、ステップＳ１では、前記ＲＧＢ算出部１４において、可視光の信号成分ＷＹＲは、信号成分ＲＧＢに変換される。次に、ステップＳ２では、前記露出補正・ホワイトバランス補正部１５およびガンマ補正部１６において、各種の補正処理が行われる。続いて、ステップＳ３では、ＹＣＣ変換部１７において、前記赤外光の信号成分Ｉｒの加算にあたって、前記可視光の信号成分ＲＧＢは、可視輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換される。さらにステップＳ４’では、前記ローパスフィルタ部１８において、偽色抑制のためのローパスフィルタ処理が行われる。

一方、ステップＳ５では、前記輝度信号生成部２１において、総ての信号成分である前記可視光の信号成分ＷＹＲおよび赤外光の信号成分Ｉｒが相互に加算されて、輝度信号Ｙａｄｄが求められ、これによって、前述のように暗時における画像認識性能の向上が図られている。

そして、ステップＳ６では、前記ローパスフィルタ部１８において、前記輝度信号Ｙａｄｄと、ローパスフィルタ処理後の可視輝度低周波信号Ｙ_Ｌとの比Ｙａｄｄ／Ｙ_Ｌに応じて、前記ローパスフィルタ処理後の色差低周波信号Ｃｂ_Ｌ，Ｃｒ_Ｌを正規化した補正色差信号Ｃｂａｄｄ，Ｃｒａｄｄが求められ、この正規化によって、カラーバランスを維持するようになっている。その後、ステップＳ７では、前記ＲＧＢ変換部１９において、前記輝度信号Ｙａｄｄと、前記正規化された補正色差信号Ｃｂａｄｄ，Ｃｒａｄｄとから、前記原色フィルタによる可視光の信号成分ＲＧＢに変換され、出力される。以上の動作は、前述の図６で示す動作と同様である。

注目すべきは、本実施の形態では、ステップＳ１０で、前記カットオフ周波数制御部２０は、前記色補間部１３で求められた信号成分Ｉｒ，Ｗに応答して、ステップＳ４’での前記ローパスフィルタ部１８における処理で、カットオフ周波数ｆｃを設定することである。

前記カットオフ周波数制御部２０によるローパスフィルタ部１８のカットオフ周波数ｆｃの制御の一例としては、前記カットオフ周波数制御部２０が、画素毎に赤外光の信号成分Ｉｒと可視光の白色成分Ｗとの比Ｉｒ／Ｗを求め、その比Ｉｒ／Ｗが大きくなる程、前記ローパスフィルタ部１８でのカットオフ周波数ｆｃを低下させるというものである。

例えば、前記カットオフ周波数制御部２０が、画素毎に赤外光の信号成分Ｉｒおよび可視光の白色成分Ｗを求め、それら２つの成分に対応して、２次元テーブルによって予め記憶しているカットオフ周波数ｆｃを、前記ローパスフィルタ部１８に設定するというものである。図３には、その２次元テーブルを模式的に示す。前記信号成分Ｉｒ，Ｗの或る値でのカットオフ周波数をｆｃ１１とし、その値より可視光の白色成分Ｗが大きくなった場合のカットオフ周波数をｆｃ１２とし、赤外光の信号成分Ｉｒが大きくなった場合のカットオフ周波数をｆｃ２１とすると、ｆｃ２１＜ｆｃ１１＜ｆｃ１２である。

前記カットオフ周波数制御部２０によるローパスフィルタ部１８のカットオフ周波数ｆｃの制御の他の例としては、例えば、ウィンドウサイズ（タップ数）の変更、すなわち注目画素を中心として、その画素のデータに加味すべき周辺画素の範囲の変更によって行うことができる。具体的には、カットオフ周波数ｆｃが最も高い状態でのローパスフィルタ処理のウィンドウが、図４（ａ）で示すように、３×３であるとき、前記比Ｉｒ／Ｗが大きくなると４×４に広げ（タップ数を大きく）、さらに前記比Ｉｒ／Ｗが大きくなると、図４（ｂ）で示すように、５×５に広げる・・・という具合である。

或いは、前記ローパスフィルタ部１８におけるカットオフ周波数ｆｃの変更は、例えば、各ウィンドウに設定されるカーネルの値の変更、すなわち前記注目画素のデータに加味すべき各周辺画素の重みの変更によって行うことができる。具体的には、例えば、ウィンドウサイズ（タップ数）を５×５とするとき、カットオフ周波数ｆｃが最も高い状態では、図５（ａ）で示すように、中心、すなわち前記注目画素のウィンドウのカーネルが１６、その周囲の８個のウィンドウのカーネルが８、最外周の１６個のウィンドウのカーネルが１である場合、前記比Ｉｒ／Ｗが大きくなると、図５（ｂ）で示すように、中心のウィンドウのカーネルを８、その周囲の８個のウィンドウのカーネルを４に低下し、さらに前記比Ｉｒ／Ｗが大きくなると、図５（ｃ）で示すように、総てのウィンドウのカーネルを１とするという具合である。

以上のように、本実施の形態の撮像装置１では、イメージセンサ５には、可視光の信号成分ＷＹＲと共に、赤外光の信号成分Ｉｒを捕捉することができる撮像素子を用いることで、赤外光を放射する補助光源２からの赤外光を利用するなどして、暗時における画像認識性能を向上するようにした撮像装置１において、先ず輝度信号生成部２１において、その赤外光の信号成分Ｉｒを可視光の信号成分ＷＹＲに加算して輝度信号Ｙａｄｄを求めることで、前記暗時における画像認識性能を向上する。次に、その輝度信号Ｙａｄｄを使用可能にするために、ＹＣＣ変換部１７において、前記可視光の信号成分ＲＧＢから、可視輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換し、その内、色差信号Ｃｂ，Ｃｒを前記輝度信号Ｙａｄｄに組合わせて使用するようにする。さらに、ローパスフィルタ部１８において、前記色差信号Ｃｂ，Ｃｒについて、カラーバランスを維持するために正規化するとともに、その正規化にあたって、偽色抑制のためにローパスフィルタ処理を行う。そこで、カットオフ周波数制御部２０が、ローパスフィルタ処理におけるカットオフ周波数ｆｃを、前記赤外光の信号成分Ｉｒが大きくなる程、低下しておくので、暗時における画像認識性能の向上のために前記正規化処理によって１０倍や１００倍の大きなゲインが加わっても、前記色差信号Ｃｂ，Ｃｒのランダムノイズを抑えることができる。

詳しくは、輝度信号生成部２１において、総ての信号成分ＷＹＲＩｒを加算して求められる輝度信号Ｙａｄｄのランダムノイズは、元々少ない（たとえば、１２ｂｉｔ階調の内の下位１〜２ｂｉｔ程度）のに対して、色差信号Ｃｂ，Ｃｒには、前記ランダムノイズのばらつきが多く、そこに正規化の処理によって、ローパスフィルタ処理後の可視輝度低周波信号をＹ_Ｌとするとき、比Ｙａｄｄ／Ｙ_Ｌが大きくなる程（大きい領域では）、前記色差信号Ｃｂ，Ｃｒのノイズが強調されてしまう。そこで、前記可視輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換された後、ローパスフィルタ部１８において、偽色抑制のために行われるローパスフィルタ処理において、カットオフ周波数制御部２０が、赤外光の信号成分Ｉｒが大きくなる程、前記ローパスフィルタ処理のカットオフ周波数ｆｃを低下させる。ここで、ローパスフィルタのカットオフ周波数を、ノイズを低減する低い値に固定しておいた場合は、可視光の信号成分ＷＹＲが或る程度以上有る場合に、周辺色との混色によって変色するという問題がある。具体的には、信号やテールランプの色が薄く（赤が白に）なる。こうして、シーン（可視光に比べて赤外光が多い領域）に応じて、ローパスフィルタ部１８の適応的なカットオフ周波数制御を行うことで、暗時における画像認識性能の向上のために前記正規化処理によって１０倍や１００倍の大きなゲインが加わっても、前記色差信号Ｃｂ，Ｃｒのランダムノイズを抑えることができる。例えば、図１３の状況で、前記ランダムノイズを抑制すると、図１４で示すようになる。

また、赤外光を放射する補助光源２をさらに備え、暗時に該補助光源２から前記赤外光を放射することで、前記赤外光の信号成分Ｉｒを大きくし、前記輝度信号Ｙａｄｄを大きくすることができる。これによって、暗時における画像認識性能を、一層向上することができる。

１ 撮像装置
２ 補助光源
３ 被写体像
４ レンズ
５ イメージセンサ
１０ 信号処理装置
１１ アナログ信号処理部
１２ アナログ／デジタル変換部
１３ 色補間部
１４ ＲＧＢ算出部
１５ 露出補正・ホワイトバランス補正部
１６ ガンマ補正部
１７ ＹＣＣ変換部
１８ ローパスフィルタ部
１９ ＲＧＢ変換部
２０ カットオフ周波数制御部
２１ 輝度ゲイン向上部
２２ 全体制御部

Claims (7)

1. 被写体像を結像させる撮像光学系と、
   赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
   前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
   前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
   前記原画像データから、可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、
   前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、
   前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、
   前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、
   前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部と、
   前記赤外波長成分の量に応じて、前記色差低周波信号生成部および可視輝度低周波信号生成部のカットオフ周波数を変化させるカットオフ周波数制御部を含むことを特徴とする撮像装置。
2. 前記撮像素子からの前記可視波長成分の信号に各種補正を行う補正部を備え、
   前記可視輝度信号生成部および色差信号生成部は、前記補正後の信号成分を前記可視輝度信号および色差信号に変換する変換部であり、
   前記補正色差信号生成部は、前記輝度信号と前記可視輝度低周波信号との比に応じて、前記色差低周波信号を正規化して前記補正色差信号を得る正規化演算部から成ることを特徴とする請求項１記載の撮像装置。
3. 前記カットオフ周波数制御部は、画素毎に赤外光の信号成分と可視光の所定色成分との比を求め、その比が大きくなる程、前記色差低周波信号生成部および可視輝度低周波信号生成部でのカットオフ周波数を低下させることを特徴とする請求項１または２記載の撮像装置。
4. 前記カットオフ周波数制御部は、画素毎に赤外光の信号成分および可視光の所定色成分を求め、それら２つの成分に対応して、２次元テーブルによって予め記憶しているカットオフ周波数を、前記色差低周波信号生成部および可視輝度低周波信号生成部に設定することを特徴とする請求項１または２記載の撮像装置。
5. 前記色差低周波信号生成部および可視輝度低周波信号生成部は、ウィンドウサイズの変更によって、前記カットオフ周波数を変化することを特徴とする請求項２〜４のいずれか１項に記載の撮像装置。
6. 前記色差低周波信号生成部および可視輝度低周波信号生成部は、カーネルの値の変更によって、前記カットオフ周波数を変化することを特徴とする請求項２〜４のいずれか１項に記載の撮像装置。
7. 赤外光を放射する補助光源をさらに備えることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。