JP5454572B2 - 画像入力装置 - Google Patents

Description

本発明は、撮像素子を備えた画像入力装置に関し、特に撮像素子の画素が飽和した場合でも、適切な画像を形成できる画像入力装置に関するものである。

近年、夜間のシーンをカラーで撮像する撮像装置が開発されており、更に監視カメラや、夜間走行時のドライバーの視覚をサポートする運転支援システムとして車両に搭載する研究などが行われている。しかし、一般的には撮像素子のダイナミックレンジに限度があるので、ハロゲン光の信号や車のランプなど輝度の高い発光体を撮像する際に、撮像素子のいずれかの画素が飽和してしまい、各色成分の値がともに最大値になり、色度信号が失われる場合がある。一旦、色度信号が失われてしまうと、カラー画像を適切に形成できなくなる。

これに対し特許文献１には、道路のカラー画像を取得し、該道路の路面標示を検出し、画像内で路面標示が含まれる領域である路面標示領域を特定し、路面標示領域の信号が、該信号の出力範囲内で設定された所定レベル以上であるときには、該信号が飽和していると判定して、所定時点の制御サイクルにおいて、次の制御サイクルにおける撮像手段の露出量を減少させる技術が開示されている。

特開２００７−２８２７９号公報

しかるに、特許文献１の従来技術によれば、露出量を減少させることで、飽和領域の色再現が改善されるが、飽和していない領域では露出量の減少により暗くなってしまい、全体的にカラー画像として不適切となる恐れがある。

本発明は、上述の問題に鑑みてなされたものであり、画素が飽和した場合でも、適切なカラー画像作成に必要な情報を得ることができる画像入力装置を提供することを目的とする。

請求項１に記載の画像入力装置は、
被写体像を撮像し、それに応じてカラー画像信号を出力する複数の画素を備えた撮像手段と、
前記撮像手段が出力したカラー画像信号を画像処理する処理手段と、
前記撮像手段のいずれかの画素が飽和したことを検出する検出手段と、を有し、
前記撮像手段が第１の露光時間で撮像を行ったときに、前記検出手段が、いずれかの画素が飽和したことを検出したときは、前記撮像手段は、前記第１の露光時間より短い第２の露光時間で撮像を行い、前記処理手段は、前記第２の露光時間の撮像により得られたカラー画像信号を用いて、前記第１の露光時間で撮像を行ったときに飽和した飽和画素から出力されたカラー画像信号を補正し、
前記撮像手段が撮像を行ったときに、いずれの画素も飽和しないように前記第２の露光時間が決定され、前記第２の露光時間で撮像を行ったとき、全ての画素のうち所定値以上の輝度を有する信号を出力した画素を高輝度画素とし、前記処理手段は、前記撮像手段が第１の露光時間で撮像を行ったときに飽和した飽和画素から出力されたカラー画像信号の少なくとも１つの成分を、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき補正し、
前記処理手段は、一部の前記飽和画素の画面上の位置と、前記高輝度画素の画面上の位置とが重なっていない場合、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき、重なっていない一部の前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を補正することを特徴とする。

本発明によれば、前記検出手段が、前記撮像手段が第１の露光時間で撮像を行ったときに、いずれかの画素が飽和したことを検出したときは、前記撮像手段は、前記第１の露光時間より短い第２の露光時間で撮像を行い、前記処理手段は、前記第２の露光時間の撮像により得られたカラー画像信号を用いて、前記第１の露光時間で撮像を行ったときに飽和した飽和画素から出力されたカラー画像信号を補正するので、例えば夜間の撮像であっても、飽和画素に結像した被写体像に本来の色を与えることができ、また他の画素からのカラー画像信号も有効に利用して、適切なカラー画像を形成することができる。飽和画素か否かの判定は、例えば特開２００７−２８２７９に記載された方法を用いることができる。

前記撮像手段が撮像を行ったときに、いずれの画素も飽和しないように前記第２の露光時間が決定され、前記第２の露光時間で撮像を行ったとき、全ての画素のうち所定値以上の輝度を有する信号を出力した画素を高輝度画素とし、前記処理手段は、前記撮像手段が第１の露光時間で撮像を行ったときに飽和した飽和画素から出力されたカラー画像信号の少なくとも１つの成分を、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき補正することにより、飽和画素から出力されたカラー画像信号を適切に補正できる。尚、「カラー画像信号の少なくとも１つの成分」とは、輝度、色度などをいう。又、「高輝度画素」の判別にあたっては、白キズ等の欠陥を除外すべく、所定値以上の輝度を有する信号を出力した画素が複数個連続して並んでいた場合、高輝度画素と判定するのが好ましい。

前記処理手段は、一部の前記飽和画素の画面上の位置と、前記高輝度画素の画面上の位置とが重なっていない場合、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき、重なっていない一部の前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を補正することにより、飽和画素から出力されたカラー画像信号を適切に補正できる。

請求項２に記載の画像入力装置は、前記処理手段は、前記飽和画素の画面上の位置と、前記高輝度画素の画面上の位置とが重なっている場合、前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を、重なっている前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき補正することを特徴とする。これにより、飽和画素から出力されたカラー画像信号を適切に補正できる。

請求項３に記載の画像入力装置は、前記処理手段は、前記高輝度画素が複数ある時は、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分の平均値に基づき、重なっていない一部の前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を補正することを特徴とする。これにより、飽和画素から出力されたカラー画像信号を精度良く補正できる。

請求項４に記載の画像入力装置は、前記処理手段は、前記高輝度画素から出力されたカラー画像信号中の輝度信号をＹ₁（ｘ、ｙ）、色度信号をＣｂ₁（ｘ、ｙ）、Ｃｒ₁（ｘ、ｙ）とし、前記飽和画素から出力されたカラー画像信号中の輝度信号をＹ₂（ｘ、ｙ）、色度信号をＣｂ₂（ｘ、ｙ）、Ｃｒ₂（ｘ、ｙ）としたときに、以下の式に基づいて補正された色度信号Ｃｂ₂’（ｘ、ｙ）、Ｃｒ₂’（ｘ、ｙ）を、前記飽和画素から出力されたカラー画像信号中の色度信号と置き換えるように補正することを特徴とする。

Ｃｂ’_２（ｘ，ｙ）＝Ｃｂ_１（ｘ，ｙ）×Ｙ_２（ｘ、ｙ）／Ｙ_１（ｘ，ｙ）・・（１）
Ｃｒ’_２（ｘ，ｙ）＝Ｃｒ_１（ｘ，ｙ）×Ｙ_２（ｘ，ｙ）／Ｙ_１（ｘ、ｙ）・・（２）
但し、（ｘ、ｙ）は撮像素子の撮像面上の座標を表す。

前記飽和画素から出力されたカラー画像信号を、前記高輝度画素から出力されたカラー画像信号に置き換えるだけでも良いが、合成された画像に違和感が生じる場合がある。これに対し、（１）、（２）式を満たすようにすれば、前記飽和画素から出力されたカラー画像信号中の輝度信号と、前記高輝度画素から出力されたカラー画像信号中の輝度信号との割合で、色度信号が補正されるため、違和感の少ない画像を得ることができる。

請求項５に記載の画像入力装置は、前記第１の露光時間に対して、露光時間を漸次短くしながら複数回の撮像を行い、いずれの画素も飽和しなくなった露光時間を、前記第２の露光時間として決定することを特徴とする。

請求項６に記載の画像入力装置は、前記第１の露光時間で所定回数の撮像を行った後、前記第２の露光時間で撮像を行うことを特徴とする。

本発明によれば、画素が飽和した場合でも、適切なカラー画像作成に必要な情報を得ることができる画像入力装置を提供することができる。

第１の実施の形態に係る画像入力装置ＭＧの概略図である。 画像入力装置ＭＧにより撮像した画像の一例を示す図である。 飽和画素と高輝度画素の重なり具合を示す図である。 複数枚の画像からなる一連のフレームを示す図である。 第２の実施の形態に係る画像入力装置ＭＧの概略図である。 色度座標を示す図である。 第３の実施の形態に係る画像入力装置ＭＧの概略図である。

（第１の実施の形態）
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、第１の実施の形態に係る画像入力装置ＭＧの概略図である。かかる画像入力装置ＭＧは、車載カメラに用いることができるが、用途はそれに限られず、例えば監視カメラであっても良い。画像入力装置ＭＧは、レンズ１０１、撮像手段である撮像素子１０２（Ａ／Ｄ変換部を含む），画像取得回路１０３、撮像枚数カウント回路１０４，露光量算出回路１０５、露光量制御回路１０６，検出手段である飽和／高輝度領域検出回路１０７，処理手段である飽和領域色補正回路１０８を備えている。

レンズ１０１を介して入射した被写体像は、不図示のＲＧＢカラーフィルタを介して撮像素子１０２の複数の画素に結像する。これによりアナログのカラー画像信号を発生させるので、Ａ／Ｄ変換部を介してデジタルのカラー画像信号に変換されて出力される。かかるカラー画像信号は、画像取得回路１０３に入力されてフレーム毎に１枚の画像を形成され、これに基づき撮像枚数カウント回路１０４で撮像枚数（撮像回数）がカウントされる、又，露光量算出回路１０５で露光量が算出され、これに基づき露光量制御回路１０６は，撮像素子１０２の露光量（シャッタスピード）を制御するようになっている。一方、画像取得回路１０３からの信号に基づいて、飽和／高輝度領域検出回路１０７で，飽和画素と高輝度画素とが検出され、更に飽和領域色補正回路１０８で、飽和画素からのカラー画像信号が補正され、不図示のディスプレイを介して表示されたり、不図示のメモリ等に記憶されるようになっている。

次に、画像入力装置ＭＧの具体的な画像処理（以下、補間画像処理という）について説明する。例えば図２に示すように、夜間のシーンにおいて、周囲が暗い中で、ハロゲン光を発する赤信号ＳＲや自動車ＶＨのブレーキランプＢＬなどの高輝度発光体を撮像すると、その被写体像が結像した画素は飽和する可能性が高い。しかしながら、画素が飽和すると色情報が失われてしまい、赤信号やブレーキランプの点灯を検出できないという問題がある。そこで、本実施の形態にかかる画像入力装置ＭＧは、以下のように補間画像処理を行う。

まず、予め設定された通常の第１のシャッタスピード（第１の露光量）で１枚の画像Ｉｍｇ０を撮像する。このとき、画像取得回路１０３から、画像Ｉｍｇ０に対応したカラー画像信号が出力される。かかるカラー画像信号を入力した飽和／高輝度領域検出回路１０７は、信号が飽和した飽和画素の有無を検出し、飽和画素がある場合には、撮像面上における飽和画素の座標を検出する。飽和画素としては、画素から出力される信号値（例えばＲ、Ｇ、Ｂ値）が最大値であるものを選択する。又、飽和画素に隣接している飽和画素がある場合、その全数ｎをカウントする。なお、画素から出力される信号値が最大値である画素のみならず、信号値が飽和闘値（例えばＲ、Ｇ、Ｂ値が最大値の９５％）以上の画素を飽和画素としてもよい。但し、飽和画素として認定するのは、信号値が飽和闘値以上の画素が所定数以上（例えばｎ≧５）連続して並んでいる場合とする。これは白キズなどを誤って飽和画素として判別することを回避するためである。

次いで、画像入力装置ＭＧは、露光量制御回路１０６の制御により、第１のシャッタスピードより速い第２のシャッタスピード（第１の露光量より少ない第２の露光量）を設定し、１枚の画像Ｉｍｇ１を撮像する。ここで、第２のシャッタスピードは、実験やシミュレーション等により、点灯した赤信号やブレーキランプを撮像しても飽和画素が発生しないと予めわかっているシャッタスピードとしても良いし、シャッタスピードを漸次速く（１／２，１／４、１／８・・・）しながら複数回の撮像を行って、その都度飽和画素を検出し、最初に飽和画素が検出されなくなった撮像におけるシャッタスピードを第２のシャッタスピードとしても良い。

更に、飽和／高輝度領域検出回路１０７が、第２のシャッタスピードで撮像を行って得られたカラー画像信号より、信号値が高輝度闘値（飽和閾値より低く、例えばＲ、Ｇ、Ｂ値が最大値の９５％未満、８０％以上）以上の画素を高輝度画素として、その座標を検出する。但し、高輝度画素として認定するのは、信号値が高輝度闘値以上の画素が所定数以上（例えばｎ≧５）連続して並んでいる場合とする。

次に、画像入力装置ＭＧは、シャッタスピードを第１のシャッタスピードに戻して撮像を行い、画像Ｉｍｇ２を得る。例えば車載カメラに組み込まれた画像入力装置ＭＧの場合、画像Ｉｍｇ２と画像Ｉｍｇ０との違いは、例えば車両の移動に応じて撮像シーンが変化することが主要因となって生じる。よって、シーン変化が少ない場合、画像Ｉｍｇ２を新たに撮像する代わりに、既に撮像した画像Ｉｍｇ０を用いても良い。

次に、飽和／高輝度領域検出回路１０７は、第１のシャッタスピードで撮像して得られた画像Ｉｍｇ２（又は画像Ｉｍｇ０）と、第２のシャッタスピードで撮像して得られた画像Ｉｍｇ１から、撮像面における飽和画素と高輝度画素の座標を比較する。同じ座標を持つ画素がある場合、これらは同じ被写体を撮像したものと推定し、飽和領域色補正回路１０８が、画像Ｉｍｇ１における高輝度画素からの信号に含まれる色度に合わせるように、同じ座標を持つ画像Ｉｍｇ２（又は画像Ｉｍｇ０）の飽和画素からの信号に含まれる色度を調整する。

また、飽和領域色補正回路１０８は、カラー画像信号Ｒ，Ｇ，Ｂを、輝度信号Ｙと色度信号Ｃｂ、Ｃｒとを含む色空間に変換する。

例えば、以下の式により輝度信号Ｙ、色度信号Ｃｂ、Ｃｒを算出する。色度信号ＣｂはＢと輝度信号Ｙの色度（色差）信号を示し、色度信号ＣｒはＲと輝度信号Ｙの色度（色差）信号を示す。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｃｂ＝−０．１７Ｒ−０．３３Ｇ＋０．５Ｂ
Ｃｒ＝０．５Ｒ−０．４２Ｇ−０．０８Ｂ
ここで、撮像面上ｘ行ｙ列に配置された画素の座標を（ｘ、ｙ）で表したとき、画像Ｉｍｇ１の高輝度画素の１つである画素Ｉ_１（ｘ，ｙ）の輝度信号はＹ_１（ｘ，ｙ）、色度信号はＣｂ_１（ｘ，ｙ）、Ｃｒ_１（ｘ，ｙ）とする。一方、画像Ｉｍｇ２（又は画像Ｉｍｇ０）の飽和画素において、同じ座標を持つ画素Ｉ_２（ｘ、ｙ）がある場合、画素Ｉ_２（ｘ，ｙ）の輝度信号はＹ_２（ｘ，ｙ）、色度信号はＣｂ_２（ｘ，ｙ）、Ｃｒ_２（ｘ，ｙ）であるが、信号値が飽和してしまっているため、各色成分の値がともに最大値になり、色度信号Ｃｂ_２（ｘ，ｙ）、Ｃｒ_２（ｘ，ｙ）が０に近い値になっている。そこで、画像Ｉｍｇ２（又は画像Ｉｍｇ０）の画素Ｉ_２（ｘ，ｙ）の新しい色度を以下の式で算出する。

Ｃｂ’_２（ｘ，ｙ）＝Ｃｂ_１（ｘ，ｙ）×Ｙ_２（ｘ、ｙ）／Ｙ_１（ｘ，ｙ）・・（１）
Ｃｒ’_２（ｘ，ｙ）＝Ｃｒ_１（ｘ，ｙ）×Ｙ_２（ｘ，ｙ）／Ｙ_１（ｘ、ｙ）・・（２）
ここで、図３（ａ）に示す画像Ｉｍｇ２（又は画像Ｉｍｇ０）と、図３（ｂ）に示す画像Ｉｍｇ１とは、撮像上で被写体の位置が若干ずれることが多い。しかるに、図３（ａ）にハッチングで示すように、画像Ｉｍｇ１の高輝度画素と同じ座標を持つ画像Ｉｍｇ２（又は画像Ｉｍｇ０）の飽和画素ＰＸ１（重合飽和画素という）の色度信号は、（１）、（２）式に基づいて、画像Ｉｍｇ１の高輝度画素からの信号を、更に高輝度画素の輝度信号と飽和画素の輝度信号の比で増大することによって補正することができる。

一方、図３（ａ）に白抜きで示すように、画像Ｉｍｇ１の高輝度画素と同じ座標を持っていない画像Ｉｍｇ２（又は画像Ｉｍｇ０）の飽和画素ＰＸ２（非重合飽和画素という）の色度信号は不明である。そこで、このような場合には、図３（ｂ）に示すように、重合飽和画素ＰＸ１と同じ座標を持たない（或いは全ての）高輝度画素ＰＸ３の色度信号の平均値を求め、（１）、（２）式に代入して、重合飽和画素ＰＸ１に隣接した非重合飽和画素ＰＸ２の色度信号に置き換えることで補正する。これは、飽和画素は、例えば赤信号やブレーキランプなど高輝度被写体から照射された単色光によって飽和されたと推定するからである。但し、重合飽和画素ＰＸ１に隣接した非重合飽和画素ＰＸ２の補正された色度信号を、重合飽和画素ＰＸ１の色度信号に置き換えても良い。

このようにして、画像Ｉｍｇ２（又は画像Ｉｍｇ０）において、全ての飽和画素の輝度信号Ｙ_２（ｘ，ｙ）及び補正された色度信号Ｃｂ’_２（ｘ，ｙ）、Ｃｒ’_２（ｘ，ｙ）を求めることができる。

更に、画像入力装置ＭＧは、画像Ｉｍｇ２（又は画像Ｉｍｇ０）の飽和画素以外の輝度を、画像Ｉｍｇ１の信号を用いて補正することもできる。かかる補正は、まず、画像Ｉｍｇ１の高輝度画素以外の画素（低輝度画素という）の座標と、画像Ｉｍｇ２（又は画像Ｉｍｇ０）の飽和画素以外の画素（非飽和画素という）の座標を比較することにより行う。同じ座標を持つ画素がある場合、非飽和画素の輝度信号を、それに対応する低輝度画素の輝度信号に置き換える。

一方、同じ座標を持つ画素がなければ、低輝度画素の周囲にある画素の輝度信号の平均値を求め、非飽和画素の輝度信号を、その平均値に置き換える。このようにして、画像Ｉｍｇ２（又は画像Ｉｍｇ０）において、全ての画素の輝度信号及び色度信号を求めることができたので、これからＲＧＢ値を算出して、適切なカラー画像信号を出力することができる。

画像入力装置ＭＧは、１フレーム毎に、第１のシャッタスピードと第２のシャッタスピードで繰り返し撮像することができる。図４に示すように、第１のシャッタスピードで撮像された画像Ａから飽和画素を検出し、第２のシャッタスピードで撮像された画像Ｂの高輝度画素の信号より、先の画像Ａの飽和画素の信号を補正する。このとき、画素が飽和しない画像Ｂを表示せず、補正された画像Ａのみを表示する。従って、１枚置きに動画のフレームを表示することになる。尚、１枚の画像Ｂの高輝度画素の信号より、複数枚（例えば２枚）の画像Ａを補正することも出来る。よって、この場合におけるフレームは、Ｂ，Ａ，Ａ，Ｂ，Ａ，Ａ・・・という順序で並ぶが、表示されるのは補正された画像Ａだけである。画像Ｂ、Ｂ間に３枚以上の画像Ａがあってもよい。

尚、撮像枚数カウント回路１０４が、第１のシャッタスピードで撮像された画像の枚数をカウントして、積算枚数が所定の枚数となったことを検出した場合、露光量制御回路１０６は、所定の枚数目の画像から検出された飽和領域が飽和しないように、第２のシャッタスピードで撮像を行うよう露光量を制御することができる。

以上の補間画像処理は、飽和／高輝度領域検出回路１０７が飽和画素を検出しない限り行う必要はない。無駄な処理をなくすためである。飽和／高輝度領域検出回路１０７が飽和画素を検出したときから、上記補間画像処理を行えばよい。

更に、被写体の動きを予想して、飽和画素と高輝度画素の撮像面上の位置合わせを行うことも可能である。例えば、車載カメラで撮像を行っている場合、信号機などの定地物は、車両の移動に応じて画面上を移動する。そこで、現在の車速とフレーム間隔とから、被写体の撮像面上の移動方向及び移動量を検出して、前後フレームでの位置ズレを抑制して、飽和画素と高輝度画素の位置合わせを精度良く行うことが出来る。

又、飽和画素の発生頻度が少ない（例えば、３０フレーム間における飽和画素の発生回数が閾値以下）場合には、上述した補間画像処理の頻度を減らすか、全く補間画像処理を行わなくても良い。飽和画素の発生頻度が少なければユーザーが気にならない場合もあるからであり、それにより処理の無駄を省くことができる。

更に、車両の速度に連動して、上述した補間画像処理の頻度を調整することもできる。例えば車両の速度が高い場合は、補間画像処理の頻度を小さくし、車両の速度が低い場合は、補間画像処理の頻度を高くする。これにより飽和画素と高輝度画素の補間をしやすくなり、前後フレームにおける同じ領域の画素の座標ズレを抑えることができる。
（第２の実施の形態）
図５は、第２の実施の形態に係る画像入力装置ＭＧの概略図である。画像入力装置ＭＧは、レンズ１０１、撮像手段である撮像素子１０２（Ａ／Ｄ変換部を含む），画像取得回路１０３、検出手段である飽和領域検出回路１１１，フレア領域検出回路１１２、処理手段である飽和領域色補正回路１１３を含む。撮像素子１０２，画像取得回路１０３は、上述した実施の形態と同様である。又、飽和画素の検出は、上述した処理と同様に行うことができる。

画像入力装置ＭＧの画像処理について説明する。例えば図２に示すように、夜間のシーンにおいて、周囲が暗い中で、ハロゲン光を発する赤信号ＳＲや自動車ＶＨのブレーキランプＢＬなどの高輝度発光体を撮像した場合、その被写体像が結像した画素が飽和したときは、その周囲の画素がフレア光ＦＬを検出する可能性が高い。フレア光は、高輝度の被写体を撮像した場合において、ゴーストや迷光が原因となって発生することが多い。

飽和領域検出回路１１１が、上述した第１の実施の形態と同様にして飽和画素を検出したときは、フレア領域検出回路１１２が、フレア光を受光した画素（フレア画素という）を検出する。尚、飽和画素に隣接した非飽和画素がある場合、フレア画素と推定できる。

更にフレア領域検出回路１１２は、フレア画素からの信号に含まれる輝度信号の平均値Ｙｆと、色度信号の平均値Ｃｂｆ、Ｃｒｆを算出する。

ここで、飽和領域色補正回路１１３は、記憶した図６に示すＪＩＳ規格の安全色光の色度座標系において、フレア画素からの信号に含まれる色度信号の平均値Ｃｂｆ、Ｃｒｆ（色度座標）を点Ｐとしてプロットする。更に、白色を示す領域ＷＲの中心を原点Ｏとし、原点Ｏから点Ｐに直線を引き、その直線の点Ｐ側を延長したときに、かかる延長線が赤色の領域ＲＲを通過した場合、飽和画素に結像した被写体光は本来的には赤色を含んでいると推定する。よって、ＪＩＳ規格の安全色光の赤色に従い、飽和画素の色度信号を補正することで、撮像された画像の適正なＲＧＢ値を得ることができる。明らかであるが、その延長線が黄色の領域ＹＲを通過した場合、飽和画素に結像した被写体光は本来的には黄色を含んでおり、その延長線が緑色の領域ＧＲを通過した場合、飽和画素に結像した被写体光は本来的には緑色を含んでいると推定出来、同様に補正できる。

一般的にフレア光は、高輝度光源の周囲で、その光源の色でにじんだような色を持つため、色度は必ずしも光源と一致しない。一方、ＪＩＳ規格では、信号機や自動車用ランプなどの色の色度座標の範囲を規定している。よって、飽和領域色補正回路１１３が、それらを予め記憶し、フレア画素からの平均色度信号を用いて、最も近い色度を飽和画素の信号における色度として推定するのである。

尚、飽和画素に隣接する画素のみならず、飽和画素から５画素以内で離れた非飽和画素をフレア画素と認定しても良い。

別の画像処理として、飽和領域色補正回路１１３は、飽和画素及びそれに隣接した（５画素以内を含む）非飽和画素を含む領域における画素からの信号を、平滑化フィルタを通過させることで平滑化信号を作成し、これを飽和画素からの信号に置き換えることもできる。飽和画素及びそれに隣接した非飽和画素を含む領域における画素からの信号を、平滑化フィルタを通過させると、周囲の色を飽和領域に惨ませることができるため、フレア光を用いずとも、ある程度本来の色を推定できるからである。かかる例では、フレア領域検出回路１１２は不要となる。
（第３の実施の形態）
図７は、第３の実施の形態に係る画像入力装置ＭＧの概略図である。画像入力装置ＭＧは、レンズ１０１、撮像手段である撮像素子１０２（Ａ／Ｄ変換部を含む），画像取得回路１０３、検出手段である信号機検出回路１１４及び点灯信号検出回路１１５、信号位置検出回路１１６，処理手段である信号色推定回路１１７及び信号色付与回路１１８を含む。撮像素子１０２，画像取得回路１０３は、上述した実施の形態と同様である。又、飽和画素の検出は、上述した処理と同様に行うことができる。

本実施の形態にかかる画像入力装置ＭＧは、パターン認識技術を用いて、信号機を検出するものである。具体的には、前記処理手段は、特定間隔で並んだ３つの円形パターンを記憶しており、信号機検出回路１１４は、画像取得回路１０３から出力されたカラー画像信号において、近距離にある大きさがほぼ等しい３つの円を含み、それらの重心が水平もしくは垂直に一直線で並んでいる被写体があった場合、かかる被写体を信号機として認識することができる。

ところで、夜間シーンにおいて、信号機のいずれかの色が発光していた場合、飽和画素が生じる恐れがあり、点灯している色がわからなくなる恐れがある。しかしながら、信号機は各国の規則により形状と点灯色が定まっている。例えば、日本国内では、点灯色は左から「青色、黄色、赤色」の順である。そこで、点灯信号検出回路１１５が１つの円形パターンに応じていずれかの画素が飽和したことを検出した場合には、信号色推定回路１１７が、３つの円に対応する画素のうち、左側の円に相当する画素が飽和画素である場合、かかる画素から青色の光が投射されていると判断し、中央の円に相当する画素が飽和画素である場合、かかる画素から黄色の光が投射されていると判断し、右側の円に相当する画素が飽和画素である場合、かかる画素から赤色の光が投射されていると判断できる。信号色付与回路１１８は、飽和画素からの色度信号を、図６に示す安全色光の色度座標系に従って青色、黄色、赤色のいずれかの色に補正して出力する。飽和画素の輝度信号は、検出された３つの円に対応した画素の輝度信号の平均値として良い。以上のようにして飽和画素の色度信号を補正することで、撮像された画像の適正なＲＧＢ値を得ることができる。

尚、信号位置検出回路１１６は、例えばＧＰＳ情報等から信号機の緯度・経度を求め、信号機が位置する緯度・経度付近を走行しているときにのみ、信号機検出回路１１４に信号機を検出させても良い。これにより、信号機の誤検出を抑制できる。

本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。

１０１ レンズ
１０２ 撮像素子
１０３ 画像取得回路
１０４ 撮像枚数カウント回路
１０５ 露光量算出回路
１０６ 露光量制御回路
１０７ 飽和／高輝度領域検出回路
１０８ 飽和領域色補正回路
１１１ 飽和領域検出回路
１１２ フレア領域検出回路
１１３ 飽和領域色補正回路
１１４ 信号機検出回路
１１５ 点灯信号検出回路
１１６ 信号位置検出回路
１１７ 信号色推定回路
１１８ 信号色付与回路
ＢＬ ブレーキランプ
ＦＬ フレア光
ＭＧ 画像入力装置
Ｏ 原点
Ｐ 点
ＰＸ１ 重合飽和画素
ＰＸ２ 非重合飽和画素
ＰＸ３ 高輝度画素
ＲＲ 赤色領域
ＳＲ 赤信号
ＶＨ 自動車
ＷＲ 白色領域

Claims (6)

1. 被写体像を撮像し、それに応じてカラー画像信号を出力する複数の画素を備えた撮像手段と、
   前記撮像手段が出力したカラー画像信号を画像処理する処理手段と、
   前記撮像手段のいずれかの画素が飽和したことを検出する検出手段と、を有し、
   前記撮像手段が第１の露光時間で撮像を行ったときに、前記検出手段が、いずれかの画素が飽和したことを検出したときは、前記撮像手段は、前記第１の露光時間より短い第２の露光時間で撮像を行い、前記処理手段は、前記第２の露光時間の撮像により得られたカラー画像信号を用いて、前記第１の露光時間で撮像を行ったときに飽和した飽和画素から出力されたカラー画像信号を補正し、
   前記撮像手段が撮像を行ったときに、いずれの画素も飽和しないように前記第２の露光時間が決定され、前記第２の露光時間で撮像を行ったとき、全ての画素のうち所定値以上の輝度を有する信号を出力した画素を高輝度画素とし、前記処理手段は、前記撮像手段が第１の露光時間で撮像を行ったときに飽和した飽和画素から出力されたカラー画像信号の少なくとも１つの成分を、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき補正し、
   前記処理手段は、一部の前記飽和画素の画面上の位置と、前記高輝度画素の画面上の位置とが重なっていない場合、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき、重なっていない一部の前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を補正することを特徴とする画像入力装置。
2. 前記処理手段は、前記飽和画素の画面上の位置と、前記高輝度画素の画面上の位置とが重なっている場合、前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を、重なっている前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分に基づき補正することを特徴とする請求項１に記載の画像入力装置。
3. 前記処理手段は、前記高輝度画素が複数ある時は、前記高輝度画素から出力されたカラー画像信号の少なくとも１つの成分の平均値に基づき、重なっていない一部の前記飽和画素から出力されたカラー画像信号の少なくとも１つの成分を補正することを特徴とする請求項１または２に記載の画像入力装置。
4. 前記処理手段は、前記高輝度画素から出力されたカラー画像信号中の輝度信号をＹ₁（ｘ、ｙ）、色度信号をＣｂ₁（ｘ、ｙ）、Ｃｒ₁（ｘ、ｙ）とし、前記飽和画素から出力されたカラー画像信号中の輝度信号をＹ₂（ｘ、ｙ）、色度信号をＣｂ₂（ｘ、ｙ）、Ｃｒ₂（ｘ、ｙ）としたときに、以下の式に基づいて補正された色度信号Ｃｂ₂’（ｘ、ｙ）、Ｃｒ₂’（ｘ、ｙ）を、前記飽和画素から出力されたカラー画像信号中の色度信号と置き換えるように補正することを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
   Ｃｂ’₂（ｘ，ｙ）＝Ｃｂ₁（ｘ，ｙ）×Ｙ₂（ｘ、ｙ）／Ｙ₁（ｘ，ｙ）・・（１）
   Ｃｒ’₂（ｘ，ｙ）＝Ｃｒ₁（ｘ，ｙ）×Ｙ₂（ｘ，ｙ）／Ｙ₁（ｘ、ｙ）・・（２）
   但し、（ｘ、ｙ）は撮像素子の撮像面上の座標を表す。
5. 前記第１の露光時間に対して、露光時間を漸次短くしながら複数回の撮像を行い、いずれの画素も飽和しなくなった露光時間を、前記第２の露光時間として決定することを特徴とする請求項１〜４のいずれかに記載の画像入力装置。
6. 前記第１の露光時間で所定回数の撮像を行った後、前記第２の露光時間で撮像を行うことを特徴とする請求項１〜５のいずれかに記載の画像入力装置。