JP5505718B2

JP5505718B2 - 画像入力装置

Info

Publication number: JP5505718B2
Application number: JP2010142364A
Authority: JP
Inventors: 清高
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2010-06-23
Filing date: 2010-06-23
Publication date: 2014-05-28
Anticipated expiration: 2030-06-23
Also published as: JP2012009983A

Description

本発明は、固体撮像素子を備えた画像入力装置に関し、特に夜間の撮像にも適した画像入力装置に関するものである。

近年、車載カメラや防犯カメラ等、昼夜を問わず撮像を行う画像入力装置が開発されている。このような画像入力装置を、例えば車載カメラとして用いる場合、夜間であっても標識の色などを読み取ることができればドライバーに迅速に警告情報を提示でき、一方、防犯カメラとして用いる場合、夜間であっても不審者の服装の色などを読み取ることができれば有力な捜査情報等となりうる。しかしながら従来の赤外線カメラでは、感度は優れていても色情報が失われてしまうため、カラー画像を得にくいという問題がある。

これに対し、以下に述べるようなカラー画像再生装置が開発されている。かかるカラー画像再生装置は、まず、Ｒ，Ｇ、Ｂのフィルタを備える画素により撮像された画像からＲ、Ｇ、Ｂの色成分からなる可視画像データを抽出する。次に、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する。これにより輝度情報と色情報とを求めて、力ラー画像を生成するものである。

かかる画像入力装置の動作を具体的に説明する。まず、ＲＧＢ色信号を輝度信号Ｙと色度信号Ｃｂ、Ｃｒを含む色空間に変換する。次に、輝度信号Ｙと赤外信号ＩＲの加算Ｙａｄｄを、変換対象となる色空間の輝度信号として算出する。ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため、減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。次に、色度信号Ｃｂ、Ｃｒをスムージング処理し、色度信号Ｃｂｓ、Ｃｒｓを算出する。ここで、色度信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色度信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。次に、輝度信号Ｙａｄｄの割合ＲＴ（ＲＴ＝Ｙａｄｄ／Ｙ)に応じて色度信号Ｃｒｓ、Ｃｂｓを補正し、以下の式に基づき色度信号Ｃｒｍ、Ｃｂｍを求める。
Ｃｒｍ＝Ｃｒｓ×Ｙａｄｄ／Ｙ
Ｃｂｍ＝Ｃｂｓ×Ｙａｄｄ／Ｙ
最後に、輝度信号Ｙａｄｄと、色度信号Ｃｒｍ、ＣｂｍとからＲＧＢ色信号を算出することができ、これによりカラー画像を形成できる。

特開平０６−１４２６８号公報

ところで、撮像に用いる一般的な固体撮像素子では、各画素の構造上からくる出力特性の不均一性が存在し、これにより各画素毎に感度が異なってしまい、たとえ均一光を照射したとしても各画素間の出力に差が生じるため、可視光信号には色度ノイズ、赤外光信号には輝度ノイズが重畳される場合が多く、これによりカラー画像の画質が低下する恐れがある。特に、夜間等の屋外撮影においては、赤外光成分に比べ可視光成分が非常に少ないので、色度の値が非常に小さくなることが多い。しかし、赤外光成分の値が大きい場合、可視光成分と赤外光成分を加算することで得られる輝度信号Ｙａｄｄが可視光の輝度信号Ｙより値が大きくなり、Ｙａｄｄに合わせて計算された色度信号Ｃｒｍ、Ｃｂｍも可視光の色度信号Ｃｂ，Ｃｒより高くなるため、可視光では色がほとんど見えない領域でも、処理後の画像では色が鮮やかになり、ノイズが強調されることがある。その結果、夜間撮影したときに、色情報がノイズによって正確に識別されない恐れがある。

加えて、車載カメラや防犯カメラなどは屋外で使用される場合が多いため、変化する環境温度に常に曝されることとなる。しかるに、固体撮影素子の出力特牲は環境温度により変化するため、これを考慮しないと更にノイズが増えてしまう恐れがある。また、固体撮像素子の特性が経年変化を生じる恐れもある。

これに対し特許文献１には、赤外線撮像素子の出力をゲイン調整回路によって予め定めた複数のゲインのうちの一つを選択することにより画像補正を行なうことが開示されている。また、欠陥画素については、あらかじめゲイン調整回路のゲインと対応させてその位置を記憶することにより、選択したゲインに対応したメモリの内容を読み出すことにより画像補間を行なうことが開示されている。しかしながら、かかる従来技術では、画像補正を行うためのゲインは予め定められており、固体撮像素子の特性の変化に対応することができないという問題がある。

本発明は、上述の問題に鑑みてなされたものであり、環境の変化等に対応して、昼夜を問わず適切なカラー画像を形成できる画像入力装置を提供することを目的とする。

本発明の画像入力装置は、
被写体からの可視光と赤外光とを受光して、可視光信号と赤外光信号とにそれぞれ変換する複数の画素を備えた固体撮像素子と、
前記可視光信号に対する前記固体撮像素子の画素毎の補正値を含む補正データを記憶する記憶手段と、
前記記憶手段に記憶された補正データに基づいて、前記固体撮像素子から出力された可視光信号を補正する補正手段と、
前記補正された可視光信号から色度情報を求め、前記補正された可視光信号と前記赤外光信号とから輝度情報を求めて、カラー画像信号を形成する形成手段と、を有し、
前記補正データは、所定のタイミングで更新され、
前記補正データは、前記固体撮像素子の画素に対して、光量を段階的に変化させながら基準光を照射したときに、画素から実際に出力される信号の値と、前記基準光の光量に応じて予め決められた基準値との差に応じた補正値を含み、前記基準光の光量は、暗部側で第１の光量差で変化し、明部側で前記第１の光量差より大きい第２の光量差で変化することを特徴とする。

本発明によれば、例えば固体撮像素子において環境温度変化が生じた場合でも、カラー画像信号を形成するために用いる、可視光信号と赤外光信号とを補正するための補正データを適宜更新することにより、適切なカラー画像を形成することができる。尚、「環境温度」とは画像入力装置又は固体撮像素子の周囲温度をいう。

本発明の別な態様による画像入力装置において、前記補正データは、環境温度に応じた補正値を有することを特徴とする。但し、補正データは環境温度に限らず、例えば製造時からの経過時間に応じて増減する補正値を有していても良い。

本発明の別な態様による画像入力装置において、前記画像入力装置は、環境温度を測定する温度測定手段を有し、前記温度測定手段が測定した環境温度に対応した前記補正データに更新することを特徴とする。これにより、環境温度が変化した場合には、適切な補正値を用いることができる。

本発明の別な態様による画像入力装置において、前記記憶手段は、着脱不能なメモリと、着脱可能なメモリとを有し、前記着脱可能なメモリには、環境温度に応じて異なる補正値を有する複数の前記補正データが記憶されており、そのうちの一つの前記補正データを選択して、前記着脱不能なメモリに記憶されている補正データと置換することで更新が行われるようになっており、前記補正手段は、前記着脱不能なメモリに記憶された補正データに基づいて、前記固体撮像素子から出力された可視光信号を補正することを特徴とする。補正データは、環境温度に応じた補正値を画素毎に有するため、そのデータ量は膨大である。一方、画像入力装置を制御するＡＳＩＣなどが有している一時メモリ等の着脱不能な容量は比較的小さく、環境温度に応じた補正データ全てを記憶することは困難であり、又例え補正データ全てを記憶できたとしても、画像処理速度が大幅に低下する恐れもある。これに対し、メモリカード等の着脱可能なメモリは、一般的に大容量のものを安価に入手しやいという利点がある。そこで、前記着脱可能なメモリに、複数の前記補正データを予め記憶しておき、例えば環境温度変化が生じた場合には、そのうちの一つの前記補正データを選択して、前記着脱不能なメモリに記憶されている補正データと置換するようにすれば、コストを抑え且つ画像処理速度を低下させることなく適切なカラー画像を得ることができる。

本発明の別な態様による画像入力装置において、前記更新は、所定の時間間隔で行われることを特徴とする。例えば、２４時間を２４分割し、１時間毎に温度測定を行って、それから１時間以内は、測定された温度に応じた補正データを選択して、前記固体撮像素子から出力された可視光信号を補正することで、常に適切なカラー画像を得ることができる。

本発明の別な態様による画像入力装置において、前記更新は、前記温度測定手段により測定された環境温度の変化が所定値を超えたときに行われることを特徴とする。例えば、随時温度測定を行い、温度変化が±２℃生じる前までは同じ補正データを用いることとし、温度変化が±２℃を超えた時点で、測定された温度に応じた補正データに置換すれば、補正データの置換回数を減らすことができるにも関わらず、常に適切なカラー画像を得ることができる。

本発明の別な態様による画像入力装置において、前記補正データは、前記固体撮像素子の画素に対して、光量を段階的に変化させながら基準光を照射したときに、画素から実際に出力される信号の値と、前記基準光の光量に応じて予め決められた基準値との差に応じた補正値を含み、前記基準光の光量は、暗部側で第１の光量差で変化し、明部側で前記第１の光量差より大きい第２の光量差で変化することを特徴とする。一般的に、固体撮像素子の特性として、暗部側で補正値が大きく変化することが多いからである。尚、「暗部側」とは、画素が飽和する受光量を１００％としたときに、少なくとも５０％以下、好ましくは３０％以下の光量の範囲をいう。「明部側」とは、少なくとも「暗部側」より高い光量の範囲をいう。

本発明によれば、環境の変化等に対応して、昼夜を問わず適切なカラー画像を形成できる画像入力装置を提供することができる。

第１の実施の形態に係る画像入力装置１の概略図である。固体撮像素子のフィルタ構成を示す図である。縦軸に補正値をとり、横軸に固体撮像素子の受光量をとって示すグラフである。縦軸に補正値をとり、横軸に固体撮像素子の受光量をとって示すグラフであり、暗部側を細かいステップで測定した例を示す。縦軸に補正値をとり、横軸に環境温度をとって示すグラフである。縦軸に固体撮像素子の受光量をとり、横軸に固体撮像素子の受光量をとって示すグラフである。画像入力装置ＭＧ１の動作を示すフローチャート図である。

以下、本発明にかかる実施の形態を、図面を参照して説明する。図１は、本実施の形態に係る画像入力装置１の概略図である。画像入力装置ＭＧ１は、レンズ２，撮像手段である固体撮像素子３、Ａ／Ｄ変換部４，画像処理部５，記憶部６，着脱不能なメモリである一時メモリ７，環境温度を測定する温度測定手段である温度センサ８を有し，更に着脱可能なメモリである外部メモリ（例えばメモリカード等であれば大容量であるにもかかわらず安価で入手しやすい）９を脱着自在となっている。ここで、画像処理部５が形成手段を構成し、一時メモリ７と外部メモリ９が記憶手段を構成する。

図２は、固体撮像素子３に設けられたフィルタＦの構成を示す図である。図２に示すように、フィルタＦは、４つの画素に対応して田字状に配置されたＲ、Ｇ、Ｂ、Ｉｒの４つのフィルタ要素を一組として、マトリクス状に並べてなる。可視光が固体撮像素子３に入射したときに、フィルタＲを通過した画素からの出力信号をＡ／Ｄ変換部４でＡＤ変換することによって（可視光）信号ｄＲが出力され、フィルタＧを通過した画素からの出力信号をＡ／Ｄ変換部４でＡＤ変換することによって（可視光）信号ｄＧが出力され、フィルタＢを通過した画素からからの出力信号をＡ／Ｄ変換部４でＡＤ変換することによって（可視光）信号ｄＢが出力されるようになっている。又、赤外光が固体撮像素子３に入射したときに、フィルタＩｒを通過した画素からは（赤外光）信号ｄＩｒが出力されるようになっている。

外部メモリ９には、複数の補正データが記憶されている。この補正データは、固体撮像素子３に固有のものであり、固体撮像素子３の完成後にそれぞれ試験を行って得られるものである。より具体的には、例えば１０段階に出射光量を変化させることができる光源を用意し、基準環境温度（例えば２０℃）において、かかる光源から光量が変化した出射光（可視光及び赤外光）を一定時間、固体撮像素子３に入射させ、その際の出力信号を各画素毎に求めて、同一露光時間、同一光量に対応する基準値と比較し、その差を補正値として記憶する。これを言い換えると、固体撮像素子３の画素に対して、光量を段階的に変化させながら基準光を照射したときに、画素から実際に出力される信号の値と、基準光の光量に応じて予め決められた基準値との差を、補正値とするのである。この補正値の集合が、基準補正データとして一時メモリ７に記憶される。

尚、精度良い補正を行うためには、出射光量を多段階で変化させて多数の補正値を得ることが望ましいと言えるが試験時間が長くかかる。そこで、図３に示すように、７段階で固体撮像素子３の受光量を変化させて、７点の補正値を得た後、得られた７点を用いて補間を行って近似曲線（図３（ｂ）参照）を求め、かかる近似直線を補正データとしても良い。但し、一般的な固体撮像素子３の特性として、受光量が少ない暗部側で補正値の変動が大きくなる傾向がある。そこで、図４に示すように、暗部側（例えば画素飽和受光量の５０％もしくは３０％以下の領域）では細かい第１の光量差Δ１で受光量を変化させて補正値を求め、それより受光量の大きい明部側では、より大きな第２の光量差Δ２（＞Δ１）で受光量を変化させて補正値を求めてもよい。

以上のようにして求めた補正値は、環境温度が変化すると変動することが多い（例えば図３に点線で示す補正データ）。そこで、図５（ａ）に示すように、基準環境温度に対して環境温度を変化させた状態で、更に光源から光量が変化した出射光を固体撮像素子３に入射させ、その際の出力信号を各画素毎に求めて、同一光量に対応する基準値と比較し、その差を補正値として記憶する。これにより基準補正データに対し、環境温度が異なる場合の補正データが得られる。尚、精度良い補正を行うためには、環境温度を多段階で変化させて多数の補正値を得ることが望ましいと言えるが試験時間が長くかかる。そこで、上述の受光量と同様に、例えば±１０℃ずつ環境温度を変化させて補正値を得た後、図５（ｂ）に示すように、補間によりその間の温度の補正値を、例えば２℃毎に求めるようにしても良い。

尚、より精密な補正データを得るために、より細かいステップで環境温度を変化させて補正値を得る必要が生じた場合においても、明部側は比較的変化が穏やかであることに鑑みて、図６に示すように、暗部側のみ±５℃ずつ環境温度を変化させて補正値を得るのに対し、明部側では±１０℃ずつ環境温度を変化させて補正値を得るようにしても良い。

以上のように暗部側で細かいステップで受光量を変化させて得られた補正値を含む補正データは、特にリニヤ・ログセンサにおいて有効である。リニヤ・ログセンサとは、入射光量に対し出力信号が暗部ではリニヤであり、明部ではログ（指数）特性を有するセンサをいう。

図７は、画像入力装置１の動作を示すフローチャート図である。尚、一時メモリ７は、予め基準補正データを記憶しているものとする。図７のステップＳ１において、可視光及び赤外光を受光した固体撮像素子３の画素から、Ａ／Ｄ変換部４を経て可視光信号及び赤外光信号を入力する。

画像処理部５は、ステップＳ２で一時メモリ７から基準補正データを読み出して、その補正値を加算することにより可視光信号を補正する。更に、画像処理部５は、ステップＳ３で、以下の式（１）に示すように、補正された可視光信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙと色度信号Ｃｂ、Ｃｒとを含む色空間に変換する。ここで、色度信号Ｃｂは青の色度信号を示し、色度信号Ｃｒは赤の色度信号を示す。
Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ
Ｃｂ＝−０．１７ｄＲ−０．３３ｄＧ＋０．５ｄＢ（１）
Ｃｒ＝０．５ｄＲ−０．４２ｄＧ−０．０８ｄＢ

更に、画像処理部５は、式（２）に示すように、輝度信号Ｙと赤外光信号ｄＩｒを加算することで得られる輝度信号Ｙａｄｄを、変換対象となる色空間の輝度信号（輝度情報ともいう）として算出する（ステップＳ４）。
Ｙａｄｄ＝Ｙ＋ｄＩｒ（２）

ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため。減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。

更に、画像処理部５は、式（１）で求めた色度信号（色度情報ともいう）Ｃｂ、Ｃｒをスムージング処理してもよい。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色度信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。

また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場含に平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる，

このように、色度信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色度信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色度信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。

更に、画像処理部５は、ステップＳ５において、式（３）に示すように、式（１）で求めた輝度信号Ｙに対する式（２）で求めた輝度信号Ｙａｄｄの割合ＲＴ（ＲＴ＝Ｙａｄｄ／Ｙ）に応じて色度信号Ｃｒ、Ｃｂを補正し、色度信号Ｃｒｍ，Ｃｂｍを求める。
Ｃｂｍ＝Ｃｂ×Ｙａｄｄ／Ｙ（３)
Ｃｒｍ＝Ｃｒ×Ｙａｄｄ／Ｙ

このように割合ＲＴを用いて色度信号Ｃｒ，Ｃｂを補正することで、変換対象となる色空間における色度信号と輝度信号とをバランス良く算出することができる。この処理を行なわないと、色信号ｄＲ’，ｄＧ’、ｄＢ’を計算したとき、輝度信号Ｙａｄｄが輝度信号Ｙよりも大きい場合には鮮やかさが矢われ、輝度信号Ｙａｄｄが輝度信号Ｙよりも小さい場合には鮮やかさが過剰になるという問題を引き起こす恐れがある。

更に、画像処理部５は、式（１）を逆変換することで、輝度信号Ｙａｄｄと、色度信号Ｃｒｍ、Ｃｂｍとから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する。具休的には、式（１）のＹをＹｍとし、ＣｂをＣｂｍとし、ＣｒをＣｒｍとし、ｄＲ、ｄＧ，ｄＢをｄＲ’、ｄＧ’，ｄＢ’として、式（１）を逆変換すればよい。このようにして得られた画像信号ｄＲ’、ｄＧ’，ｄＢ’は、記憶部６に記憶され、或いは不図示のモニタに出力されて画像を形成するようになっている。本実施の形態によれば、補正データにより適正に画像信号が補正されるので、夜間撮影時などにおいてもノイズを低減でき、高画質なカラー画像を得ることができる。

ところで、環境温度が変化すると、補正値が不適切となる場合がある。そこで、本実施の形態の画像入力装置１は、例えば所定のタイミングとして１時間おきに、温度センサ８が環境温度を測定し、測定された環境温度に対応した補正データを外部メモリ９から読み出して、一時メモリ７内の補正データと置換（更新）する。この時点から少なくとも１時間以内は、置換された補正データに基づき、画像信号が適切に補正されることとなる。外部メモリ９が抜き出されたような場合など、アクセスできないときは、初期の基準補正データが用いられることとなる。尚、夜間は比較的短い時間間隔で温度測定を行い、昼間はそれより長い時間間隔で温度測定を行ってもよい。又、熱帯、亜熱帯、寒帯などの地域に応じて、環境温度範囲が異なる補正データを用意しても良い。

以下に、補正データの更新例を示す。入力値は画素毎に対応する基準補正データであり、出力値は環境温度が変化した際の画素毎に対応する補正データである。
入力値出力値
0 6085
64 17282
72 17630
80 17988
88 18287
96 18593
104 18820
112 19085
120 19357
128 19629
136 19876
144 20093
152 20306
160 20503
168 20680
176 20839
184 21009
192 21179
200 21343
208 21499
216 21652
224 21796
232 21930
248 22185
264 22427
280 22655
296 22863
312 23057
328 23247
344 23420
360 23566
376 23716
392 23869
408 24021
440 24308
472 24580
504 24840
536 25077
568 25296
600 25504
632 25712
664 25902
696 26085
728 26264
760 26435
792 26597
824 26749
856 26904
888 27065
920 27201
984 27470
1048 27725
1112 27959
1176 28181
1240 28388
1304 28590
1368 28786
1432 28977
1496 29152
1560 29326
1624 29503
1688 29653
1752 29789
1816 29949
1880 30099
2008 30361
2136 30623
2264 30868
2392 31101
2520 31337
2648 31564
2776 31772
2904 31972
3032 32161
3160 32344
3288 32523
3416 32700
3544 32877
3672 33054
3800 33237
3928 33417
4056 33591
4184 33757
4312 33929
4440 34103
4568 34280
4696 34474
4824 34675
4952 34869
5080 35066
5208 35274
5336 35490
5464 35726
5592 35967
5720 36205
5848 36451
5976 36713
6104 36994
6232 37271
6360 37554
6488 37841
6616 37642
6744 37983
6872 38306
7000 38632
7128 38953
7256 39314
7384 39636
7512 39963
7640 40274
7768 40590
7896 40860
8024 41182
8152 41531
8280 41838
8408 42132
8536 42378
8664 42701
8792 43001
8920 43312
9048 43574
9176 43877
9304 44182
9432 44480
9560 44773
9688 45043
9816 45338
9944 45621
10072 45904
10200 46181
10328 46576
10456 46893
10584 47191
10712 47452
10840 47738
10968 48016
11096 48265
11224 48540
11352 48827
11480 49085
11608 49339
11736 49599
11864 49856
11992 50130
12120 50389
12248 50639
12376 50900
12504 51162
12632 51438
12760 51700
12888 51948
13016 52208
13144 52460
13272 52713
13400 52935
13528 53168
13656 53421
13784 53670
13912 53908
14040 54135
14168 54355
14296 54591
14424 54855
14552 55105
14680 55322
14808 55535
14936 55749
15064 55962
15192 56181
15320 56405
15448 59785
15576 60602
15704 63570
15832 63570
15960 63570
16088 63570
16216 63570
16344 63570
16472 63570

別な態様としては、例えば随時温度センサ８が環境温度を測定し、所定のタイミングとして環境温度が±５℃（所定値）以上変化したら、測定された環境温度に対応した補正データを外部メモリ９から読み出して、一時メモリ７内の補正データと置換（更新）するようにしても良い。加えて、例えば長期間の使用により固体撮像素子３の画素特性が経時劣化を生じるような場合、それを補正するための補正値を外部メモリ９に記憶しておき、所定時間毎に更新することもできる。更に、画像入力装置１がインターネットにアクセスできるような場合、外部メモリ９に補正データを記憶する代わりに、所定のタイミングで、補正データが記憶されているサーバーにアクセスして、必要な補正データをダウンロードして更新を行っても良い。補正データは、固体撮像素子３に固有なものであるから、メーカーのサーバー等にバックアップされていることが望ましい。

本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。又、赤外光信号についても、同様に補正データを記憶することが望ましい。補正された赤外光信号を用いてモノクロ画像を形成することもできる。

１画像入力装置
２レンズ
３固体撮像素子
４Ａ／Ｄ変換部
５画像処理部
６記憶部
７一時メモリ
８温度センサ
９外部メモリ

Claims

被写体からの可視光と赤外光とを受光して、可視光信号と赤外光信号とにそれぞれ変換する複数の画素を備えた固体撮像素子と、
前記可視光信号に対する前記固体撮像素子の画素毎の補正値を含む補正データを記憶する記憶手段と、
前記記憶手段に記憶された補正データに基づいて、前記固体撮像素子から出力された可視光信号を補正する補正手段と、
前記補正された可視光信号から色度情報を求め、前記補正された可視光信号と前記赤外光信号とから輝度情報を求めて、カラー画像信号を形成する形成手段と、を有し、
前記補正データは、所定のタイミングで更新され、
前記補正データは、前記固体撮像素子の画素に対して、光量を段階的に変化させながら基準光を照射したときに、画素から実際に出力される信号の値と、前記基準光の光量に応じて予め決められた基準値との差に応じた補正値を含み、前記基準光の光量は、暗部側で第１の光量差で変化し、明部側で前記第１の光量差より大きい第２の光量差で変化することを特徴とする画像入力装置。
前記補正データは、環境温度に応じた補正値を有することを特徴とする請求項１に記載の画像入力装置。
前記画像入力装置は、環境温度を測定する温度測定手段を有し、前記温度測定手段が測定した環境温度に対応した補正データに更新されることを特徴とする請求項２に記載の画像入力装置。
前記記憶手段は、着脱不能なメモリと、着脱可能なメモリとを有し、前記着脱可能なメモリには、環境温度に応じて異なる補正値を有する複数の前記補正データが記憶されており、そのうちの一つの前記補正データを選択して、前記着脱不能なメモリに記憶されている補正データと置換することで更新が行われるようになっており、前記補正手段は、前記着脱不能なメモリに記憶された補正データに基づいて、前記固体撮像素子から出力された可視光信号を補正することを特徴とする請求項２又は３に記載の画像入力装置。
前記更新は、所定の時間間隔で行われることを特徴とする請求項４に記載の画像入力装置。
前記記憶手段は、着脱不能なメモリと、着脱可能なメモリとを有し、前記着脱可能なメモリには、環境温度に応じて異なる補正値を有する複数の前記補正データが記憶されており、そのうちの一つの前記補正データを選択して、前記着脱不能なメモリに記憶されている補正データと置換することで更新が行われるようになっており、前記補正手段は、前記着脱不能なメモリに記憶された補正データに基づいて、前記固体撮像素子から出力された可視光信号を補正し、
前記更新は、前記温度測定手段により測定された環境温度の変化が所定値を超えたときに行われることを特徴とする請求項３に記載の画像入力装置。