JP6441771B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子を備えた撮像装置に関し、特に、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合であっても、適切なカラー画像を生成することができる撮像装置に関するものである。

近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間の暗闇と高輝度な信号灯や車両灯（ヘッドライトなど）とが同時に存在する、明暗の差が非常に大きくて視界不良となり得る状況において、高い監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別できるように、撮像装置において、広いダイナミックレンジと人間の色覚特性と合致した色再現性を両立することが課題となっている。

このような暗闇において、歩行者や車線の監視性能を向上させるための手段として、近赤外線を透過する色フィルタを用いて、近赤外光領域に感度を持ったまま色再現を行うＩＲカラーカメラ技術の開発が行われている。

ＩＲカラーカメラは、赤外線除去フィルタ（ＩＲカットフィルタ）を有していないため、近赤外光領域の光に対しても感度を有しており、観測対象から放射される近赤外光、または赤外投光器によって照射された近赤外光の反射光をＩＲカラーカメラで観測することによって、車両のヘッドライトが照射されていない暗い領域においても撮像を行うことが可能、すなわち、撮像可能な輝度範囲を拡大してダイナミックレンジを広げることが可能となる。

そして、このようなＩＲカラーカメラで撮像された画像の中から、可視光と近赤外光をともに含む輝度信号と、可視光と近赤外光をともに含む色信号の中から近赤外光成分のみを除去した色信号を得て、この輝度信号と色信号を適切に再合成することによって、広いダイナミックレンジ（高い感度）と人間の視覚に近い色再現性を両立した出力信号を得る撮像装置が提案されている（例えば、特許文献１）。

特開２０１４−１６５５２８号公報

しかしながら、特許文献１に記載された撮像装置にあっては、色信号の中から全ての近赤外光成分を除去していたため、例えば、近赤外光のみを発する光源を撮像したときには、光源が有する近赤外光成分が全て除去されてしまい、色信号は理想的には０となる。ところが、現実には、撮像された信号の中にノイズ成分が混入しているため、近赤外光成分を除去したときにこのノイズ成分が残留してしまう。こうして残留したノイズ成分を含む色信号は、近赤外光成分を含む輝度信号によってスケーリングされて再合成されるため、再合成された信号の中に残留したノイズ成分によって、色ノイズが発生してしまうという問題があった。

また、撮像素子の各画素から得られる色信号（Ｒ，Ｇ，Ｂ，Ｃ）を足し引きして、近赤外光成分を１００％除去する処理を行う場合を想定する。撮像素子のある画素から、近赤外光成分を含む色信号（Ｒ，Ｇ，Ｂ，Ｃ）が得られたとする。このとき、各色信号は式１〜式４に示す各成分を含んでいる。
［式１］ Ｒ＝ＮＩＲ＋ｒ＋Ｎ＿Ｒ
［式２］ Ｇ＝ＮＩＲ＋ｇ＋Ｎ＿Ｇ
［式３］ Ｂ＝ＮＩＲ＋ｂ＋Ｎ＿Ｂ
［式４］ Ｃ＝ＮＩＲ＋ｒ＋ｇ＋ｂ＋Ｎ＿Ｃ

ここで、ＮＩＲは近赤外光成分を表し、ｒ，ｇ，ｂは可視光の各色成分を表している。また、Ｎ＿Ｒ，Ｎ＿Ｇ，Ｎ＿Ｂ，Ｎ＿Ｃは、色信号（Ｒ，Ｇ，Ｂ，Ｃ）にそれぞれ含まれるノイズ成分を表している。なお、各ノイズ成分（Ｎ＿Ｒ，Ｎ＿Ｇ，Ｎ＿Ｂ，Ｎ＿Ｃ）の中には、定常的に発生する光電変換時の残留電荷やショットノイズ等と、画素毎にランダムに発生する電荷漏れや非線形センサにおける圧縮ノイズ等が含まれている。

前記した式１〜式４に対して、Ｒ−Ｇ−Ｂ＋Ｃなる演算を行うと、式５の結果が得られる。
［式５］ Ｒ−Ｇ−Ｂ＋Ｃ＝２ｒ＋Ｎ＿Ｒ＋Ｎ＿Ｇ＋Ｎ＿Ｂ＋Ｎ＿Ｃ
すなわち、近赤外光成分ＮＩＲを除去することはできるが、２倍の色成分（２ｒ）と４倍のノイズ成分（Ｎ＿Ｒ＋Ｎ＿Ｇ＋Ｎ＿Ｂ＋Ｎ＿Ｃ）が出力されるため、色成分のＳＮ比が半分に低下してしまう。

本発明は、上記課題に鑑みてなされたもので、撮像された画像信号の中に含まれる近赤外光成分の量によらずに、ノイズの影響を抑えて、広いダイナミックレンジ（高い感度）と人間の視覚に近い色再現性を持った色信号を得ることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像された光の中に含まれる近赤外光成分の量によらずに、広いダイナミックレンジ（高い感度）と人間の視覚に近い色再現性を持った色信号を得ることができるものである。

すなわち、本発明に係る撮像装置は、互いに異なる波長を有する可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタと、可視光領域の分光透過率が前記３種類のフィルタの各分光透過率の線形和で表わされて、かつ、近赤外領域において、前記３種類のフィルタの分光透過率と等しい分光透過率を持つ１種類のフィルタと、が所定のパターンで配列された光学フィルタと、前記光学フィルタを透過した光を受光して、入射光の輝度に応じた出力信号に変換して出力する複数の画素からなる撮像素子と、前記画素毎に、前記出力信号の中に含まれる近赤外光成分の比率を算出する近赤外光比率算出部と、前記近赤外光成分の比率に応じた割合で、前記画素毎に前記各出力信号の中から近赤外光成分を除去して赤外分離信号を生成する赤外分離部と、を有することを特徴とする。

このように構成された本発明に係る撮像装置によれば、互いに異なる波長の光を選択的に通す光学フィルタを透過して、複数の画素からなる撮像素子によって変換された出力信号の中から、近赤外光比率算出部によって、画素毎に算出された近赤外光成分の比率に応じた割合で、近赤外光成分分離部が、画素毎に近赤外光成分を除去して赤外分離信号を生成するため、撮像素子が受光した光の中の近赤外光成分の量に応じた近赤外光成分を除去することができる。これによって、受光した光の中に含まれる近赤外光成分の比率によらずに、広いダイナミックレンジと高い色再現性を両立した出力信号を得ることができる。

本発明の実施例１に係る撮像装置の概略構成を示すブロック図である。 本発明を適用するシーンの一例を示す図である。 撮像素子の入出力特性の概要を説明する図である。 本発明の実施例１で使用される撮像素子の入出力特性の一例を示す図である。 図４Ａの横軸を対数目盛とした図である。 本発明の実施例１で使用される撮像素子の色フィルタの配列の一例を示す図である。 図５Ａの色フィルタに、赤色光，緑色光，青色光，可視光全体をそれぞれ選択的に透過する色フィルタを当てはめたときのフィルタの配置例を示す図である。 図５Ｂの色フィルタを通して撮像された色信号に基づいて、欠落した色信号を算出する方法を説明する図である。 本発明の実施例１において、出力信号線形変換部で行われる信号変換処理について説明する図である。 本発明の実施例１で使用される光学フィルタの分光透過率特性の一例を示す図である。 図７Ａに示した分光透過率特性を、撮像素子の入力輝度と出力信号が線形関係になるように階調変換した後の分光透過率特性の一例を示す図である。 図７Ｂの信号から近赤外光成分を分離した後の分光透過率特性の一例を示す図である。 本発明の実施例１における色信号生成部の詳細構成を説明する図である。 近赤外光成分除去率テーブルの一例を示す第１の図である。 近赤外光成分除去率テーブルの一例を示す第２の図である。 代表的な光源における近赤外光成分の比率Ｒｒと、各光源に対して設定される近赤外光成分の除去率Ｅ（Ｒｒ）の一例を示す図である。 クリッピング処理の概要を説明する図である。 クリッピング処理の適用例を説明する図であり、クリッピング処理を行う前の階調の例を示す図である。 クリッピング処理を適用した後の階調の例を示す図である。 本発明の実施例１において、色輝度合成部で行われる色信号と輝度信号の合成処理について説明する図である。 本発明の実施例１における処理の流れを示すフローチャートである。

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。本実施例は、本発明に係る撮像装置を、車両周囲の監視を行って、撮像された画像または撮像された画像の認識結果に基づく警報や警告灯を、車両の乗員に提示する周囲監視装置に適用した例である。

（撮像装置の概略構成の説明）
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置１０は、図１に示すように車両（図示省略）に設置されて、被写体を観測する光学系１０１と、撮像素子１０２と、信号分離部１０３と、出力信号線形変換部１０４と、色信号生成部１０５ａと、輝度信号生成部１０７と、輝度信号補正部１０８と、色輝度合成部１０９と、画像出力部１１０を備えている。

光学系１０１は、レンズやミラー等の光学素子から構成されて、被写体から出射した光または被写体で反射した光を、後述する撮像素子１０２上に導く光学系である。光学系１０１は、車載監視用途の撮像装置の場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズを用いる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系を用いてもよいし、絞りやシャッターを備えたレンズ系を用いてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系を用いてもよい。

撮像素子１０２は複数の画素から構成されており、光学系１０１を通して観測された被写体の像が結像して、入力した光を、その輝度に応じた出力電圧信号ｅに光電変換する。光電変換された出力電圧信号ｅは、撮像素子１０２の内部に備えられたアンプ（図示省略）、更に同じく撮像素子１０２の内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、出力信号ＲＡＷ０が生成される。出力信号ＲＡＷ０として、例えば、１２ビット（０〜４０９５）にデジタル化された信号が出力される。撮像素子１０２としては、最大１２０ｄＢ程度の入力輝度のダイナミックレンジを有する、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子が用いられる。なお、撮像素子１０２を構成する各画素の上には、後述するように、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢ，透明フィルタＣ）が、それぞれ規則的に配列された光学フィルタを形成している。

信号分離部１０３は、撮像素子１０２に対して撮像を行うタイミングを指示するとともに、撮像素子１０２で撮像された出力信号ＲＡＷ０を受けて、同一の２つの出力信号ＲＡＷ０、ＲＡＷ０に分離する。

出力信号線形変換部１０４は、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０に対して階調変換（線形化）処理を行い、線形性を有する線形化出力信号ＲＡＷ１に変換する。ここで行われる変換処理の内容は後述する。

色信号生成部１０５ａは、出力信号線形変換部１０４で変換された線形化出力信号ＲＡＷ１を、Ｒ，Ｇ，Ｂ，Ｃの各色フィルタを透過した光にそれぞれ対応する４つの信号に分離する。このとき、撮像素子１０２のうち、例えば赤色フィルタＲが配置された画素Ｅからは赤色成分のみしか得られないため、画素Ｅの近傍の画素の出力を用いて線形補間を行い、画素Ｅにおける線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）を予測する。そして、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒｒを求めて、求められた近赤外光成分の比率Ｒｒに応じた量の近赤外光成分を分離して、線形性を有する赤外分離色信号を生成する。さらに、赤外分離色信号の色補正を行って線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を生成する。

また、色信号生成部１０５ａは、飽和画素に対してクリッピング処理を行うとともに、色飽和を起こしている飽和領域の検出を行う。そして、飽和領域を構成する画素であるか否かに応じて、適切な線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を出力する。なお、色信号生成部１０５ａは、図８に示す詳細構成を有しているが、その内容と、色信号生成部１０５ａで行われる具体的な処理内容については後述する。

輝度信号生成部１０７は、信号分離部１０３で分離された信号のうち他方の出力信号ＲＡＷ０から輝度信号Ｙ１を生成する。ここで行われる処理の内容は後述する。

輝度信号補正部１０８は、輝度信号生成部１０７で生成された輝度信号Ｙ１を必要に応じて補正して、輝度補正信号Ｙ２を生成する。ここで行われる処理の内容は後述する。

色輝度合成部１０９は、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と輝度補正信号Ｙ２を合成して映像信号（Ｒ２，Ｇ２，Ｂ２）を生成する。ここで行われる処理の内容は後述する。

画像出力部１１０は、例えば表示用モニタからなり、色輝度合成部１０９で合成された映像信号（Ｒ２，Ｇ２，Ｂ２）を視認可能な形で出力する。

以下、撮像装置１０の作用について、図面を用いて順に説明する。まず、図２に基づいて、撮像装置１０の具体的な利用シーンについて説明する。図２は、撮像装置１０を用いて夜間の道路を撮影したときに得られる画像の一例を表したものである。すなわち、道路上に存在する先行車２０１や対向車２０３・道路標識等による反射装置２０５，２０６・信号機２０７・歩行者２０８・レーンマーカ２０９などが撮像されて画像化された様子を示している。

図３は、線形の入出力特性を持つ一般的な撮像素子を用いて、図２に示す道路を撮像して画像化したときの入力輝度Ｉと出力電圧信号ｅの関係を表している。

すなわち、撮像素子１０２に対して、異なる２つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性３０１と、露光時間が短いときの入出力特性３０２、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せずに適切なカラー画像を生成することができると考えられる入出力特性３０３を示している。

図２に示したような夜間のシーンは、被写体の明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。

すなわち、図３に示した入力輝度帯域３０４のように、自車両のヘッドライトや道路照明が当たっていない領域、および自車両のヘッドライトや道路照明を反射し難い、レーンマーカ２０９や歩行者２０８の領域が見やすい明るさで映るように露光時間を決定して撮影すると、入出力特性３０１を設定するのが望ましい。しかし、入出力特性３０１を設定すると、ヘッドライト２０４に照らされた高輝度領域が多い入力輝度帯域３０７やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが飽和してしまうため、所謂「白飛び」と呼ばれる現象が生じてしまう（図３に示した領域Ｘ１が白飛びを起こす領域を表す）。

逆に、最も明るいヘッドライト２０４に照らされた高輝度領域が多い入力輝度帯域３０７が見やすい明るさで映るように露光時間を決定して撮影すると、入出力特性３０２を設定するのが望ましい。しかし、入出力特性３０２を設定すると、レーンマーカ２０９や歩行者２０８の分布頻度が多い入力輝度帯域３０４やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが黒潰れのラインを下回ってしまうため、所謂「黒潰れ」と呼ばれる現象が生じてしまう（図３に示した領域Ｘ２が黒潰れを起こす領域を表す）。

これに対して、図３に示した入出力特性３０３を設定して撮影すると、出力電圧信号ｅは、最も暗いレーンマーカ２０９から最も明るいヘッドライト２０４まで、一つの入出力特性３０３の白飛びも黒潰れもしない範囲に収めることができる。本実施例で用いる撮像素子１０２の入出力特性は、このような入出力特性３０３を有しているものとする。

（撮像素子の入出力特性の説明）
次に、撮像装置１０の作用について、順を追って説明する。撮像素子１０２は、図４Ａに示すように複数の入出力特性を備えており、入射光を受光した撮像素子１０２の各画素に蓄積される電荷のリセットタイミングやリセット電圧を変更することによって、入出力特性を変更することができる。

そして、この入出力特性は図４Ａに示すように、入力輝度Ｉに対して出力電圧信号ｅが非線形に変化する特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。

なお、図４Ｂは、図４Ａのグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Ｉのダイナミックレンジが変化することを示している。

すなわち、図４Ａ，図４Ｂにあっては、各入出力特性に付与した番号が大きいほど、入力輝度Ｉのダイナミックレンジが広い特性を有している。

なお、図４Ａに示した複数の入出力特性は、撮像シーンに応じて、撮像素子１０２に内蔵された露光制御部（非図示）によって１つ選択される。例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。

具体的には、撮像素子１０２に内蔵された露光制御部において、１フレーム毎に画像の出力統計情報が算出されて、白飛びや黒潰れの画素数が計測される。そして、白飛びが検出された場合には、よりダイナミックレンジが広い入出力特性が選択されて、白飛びが検出されない場合には、よりダイナミックレンジが狭い入出力特性が選択される。

一方、黒潰れが検出された場合には、よりダイナミックレンジが狭い入出力特性が選択されて、黒潰れが検出されない場合には、よりダイナミックレンジが広い入出力特性が選択される。

（撮像素子のフィルタ構成の説明）
撮像素子１０２は、図４Ａまたは図４Ｂに示す出力電圧信号ｅを出力する複数の画素を二次元的に備えている。各画素の受光面の上には、図５Ａに示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ３種類のフィルタＸ，Ｙ，Ｚと可視光の波長毎の透過率を３種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては３種類のフィルタと等しい透過率をもつ第４のフィルタＴが規則的に配列された光学フィルタが形成されている。

図７Ａは、このような特性を有する光学フィルタの例として、多くの撮像素子に用いられているＲＧＢフィルタを配列した撮像素子１０２の波長毎の出力値である分光感度Ｓを示している。すなわち、図５Ｂのように、前述した３種類のフィルタＸ，Ｙ，Ｚが、それぞれ、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢに対応し、第４のフィルタＴに対応するフィルタとして、近赤外光を含む可視光全体を透過する透明フィルタＣを適用した例である。

図７Ａにおいて、可視光と近赤外光の境目は曖昧であるが、一般的に約７００ｎｍ〜約８５０ｎｍの波長領域と考えてよく、この波長領域よりも高波長領域では、４種類のフィルタの分光透過率に差がないため、４種類のフィルタを透過した光がそれぞれ入射した画素の出力値は互いに漸近する。

本発明は、このような４種類のフィルタの特性を活用したものであり、撮像素子１０２の特性に基づき４種類の色フィルタの出力値が十分に漸近して一致するとみなした点（図７Ａの例では、波長８４０ｎｍ付近）を可視光領域と近赤外光領域の境界とみなして、撮像素子１０２の出力信号の中から、可視光領域に占める成分（可視光成分）を保持して、近赤外光領域に占める成分（近赤外光成分）のみを分離、除去することを特徴としている。

次に、この４種類のフィルタの特性に関して説明する。４種類のフィルタＸ，Ｙ，Ｚ，Ｔの可視光領域の任意の波長における透過率を、それぞれＸＴ，ＹＴ，ＺＴ，ＴＴとすると、それらの関係は式６のように表せる。
［式６］ ＴＴ＝αＸＴ＋βＹＴ＋γＺＴ

このように、第４のフィルタＴの透過率ＴＴは３種類のフィルタＸ，Ｙ，Ｚの各透過率ＸＴ，ＹＴ，ＺＴの線形和で表すことができ、正負を問わない係数α，係数β，係数γが一意に定まるものとする。すなわち、撮像装置１０は式１の条件を満たす４色のフィルタを使用する必要があるが、これは、前述したように、多くの撮像素子に利用されているＲＧＢフィルタを用いることによって実現できる。そして、さらに、第４のフィルタＴとして、近赤外光を含む可視光領域全体を透過する透明（Ｃｌｅａｒ）フィルタＣを用いればよい。

これら４種類のフィルタの波長λに対する分光特性から、図７Ａに示すような、撮像素子１０２の分光感度Ｓが得られる。そして、後述する階調変換処理によって、撮像素子１０２に対する入力輝度Ｉと撮像素子１０２から出力される出力電圧信号ｅとの関係を線形関係に変換することによって、図７Ｂに示す分光感度Ｓが得られる。そして、図７Ｂに示す分光感度Ｓから、式１に示した係数α，β，γの値を算出することができる。

係数α，β，γの値は、複数の異なる波長λの光に対して計測された分光感度Ｓから、最小二乗法を用いて、真値に対して許容範囲内に収まるような値を設定することができる。そして、本実施例は、ＲＧＢＣフィルタ配列に限らず、式１の関係式で表すことができる任意の４種類のフィルタ配列に適用することができる。

前記ＲＧＢＣフィルタを通して撮像素子１０２から出力された出力信号ＲＡＷ０（１２ビット）は、まず、信号分離部１０３において色信号処理と輝度信号処理に用いるための２つの信号に分離される分離処理が行われる。分離後の２つの信号は、分離前の出力信号ＲＡＷ０と全く同一のものである。

（線形変換処理の説明）
次に、信号分離部１０３によって分離された２つの出力信号ＲＡＷ０，ＲＡＷ０のうち、色信号処理に用いられる出力信号ＲＡＷ０に対して、出力信号線形変換部１０４において線形変換処理（線形化）を行う。すなわち、図６に示すように、入力輝度Ｉに対して、撮像素子１０２の出力電圧信号ｅが線形に変化する予測線形特性６１２を有するものと仮定して、入力輝度Ｉと出力電圧信号ｅとが非線形関係にある領域を、線形関係を有する信号になるように変換する。

撮像素子１０２は、図６の入出力特性６００に示すように、入力輝度Ｉが小さい領域では線形特性６０１を有し、この領域では、入力輝度Ｉに対して線形に変化する出力信号を出力する。

また、入力輝度Ｉが大きい領域では非線形特性６０２を有し、この領域では、入力輝度Ｉに対して非線形に変化する出力信号を出力する。

そして、線形特性６０１を有する領域と非線形特性６０２を有する領域とは、接続点６０５において連続している。なお、撮像素子１０２が出力する非線形特性６０２を有する出力電圧信号ｅを第１の出力信号Ｓ１とする。

ここで、撮像素子１０２の全入力輝度範囲に亘って、入出力特性の線形性が成り立つと仮定する。すなわち、図６の点線で示すように、入出力特性が予測線形特性６１２を呈すると仮定する。そして、撮像素子１０２から、この予測線形特性６１２に基づいて出力されると予測される出力電圧信号ｅを第２の出力信号Ｓ２とする。

出力信号線形変換部１０４では、撮像素子１０２が出力した第１の出力信号Ｓ１を、入出力特性が予測線形特性６１２をなすと仮定したときに、撮像素子１０２が出力すると予測される第２の出力信号Ｓ２に変換する処理を行う。

すなわち、図６の場合、入力輝度Ｉ１に対して入出力特性６００によって得られた出力電圧信号がｅ１であり、入出力特性が予測線形特性６１２をなすと仮定したときに、入力輝度Ｉ１に対して予測される出力電圧信号がｅ２であるとすると、出力電圧信号ｅ１をｅ２／ｅ１倍する処理が行われる。

線形化を行う方法には様々なものが考えられるが、例えば、ＬＵＴ（Look Up Table）を用いて変換すればよい。すなわち、あらかじめ撮像素子１０２の入出力特性を、図４Ａに示したような全ての入出力特性の数だけ測定しておき、ある入力輝度Ｉのときに得られた出力電圧信号ｅ１と、入出力特性が線形特性をなすと仮定したときに予想される出力電圧信号ｅ２の対応関係をＬＵＴに記憶しておく。階調変換処理時には、現在の入出力特性の番号と実際に計測された出力電圧信号ｅ１の値から、そこに対応するＬＵＴに記憶された出力電圧信号ｅ２の値を参照して階調変換を行えばよい。

なお、撮像装置１０における出力信号ＲＡＷ０および階調変換を行うために用いるＬＵＴに記憶される情報は、いずれもデジタル情報として取り扱う。実施例１において、これらの情報を漏れなく記憶しておくために必要なビット数は、例えば図４Ａの入出力特性を有する撮像素子１０２を用いる場合、入出力特性の総数は１０通りであるので、入出力特性の形態を漏れなく表現するのに必要なビット数は４ビット、撮像素子１０２の出力信号ＲＡＷ０は１２ビット、そして、ＬＵＴに必要なビット数（線形変換後の出力電圧値）は、入力輝度のダイナミックレンジが最大１２０ｄＢ（１：１０^６）程度であることを考慮して、２０ビット（＞１２０ｄＢ）となる。

そして、出力信号線形変換部１０４において行われる線形変換によって、１２ビットの出力信号ＲＡＷ０から、２０ビットの線形化出力信号ＲＡＷ１が得られる。

なお、この他の線形変換の方法として、撮像素子１０２の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など様々な方法が考えられ、そのいずれの方法を用いても構わない。

（色信号の線形補間処理の説明）
次に、色信号生成部１０５ａで行わる色再現処理の内容について、図８を用いて説明する。図８は、色信号生成部１０５ａの詳細な構成を示す図である。すなわち、色信号生成部１０５ａは、第１色分離部１０５１と、第１線形補間処理部１０５２と、赤外分離部１０５３（近赤外光成分分離部）と、赤外分離色信号補正部１０５４と、近赤外光比率算出部１０６０と、近赤外光成分除去率テーブル１０６２と、第２色分離部１０５５（飽和抑制部）と、第２線形補間処理部１０５６と、赤外含有色信号補正部１０５７と、飽和領域判定部１０５８ａ（色飽和検出部）と、色信号選択部１０５９を備えている。

出力信号線形変換部１０４（図１参照）によって変換された線形化出力信号ＲＡＷ１（２０ビット）は３つの信号に分離されて、第１色分離部１０５１と、第２色分離部１０５５（飽和抑制部）、および飽和領域判定部１０５８ａ（色飽和検出部）に入力される。このとき、分離後の３つの信号は、分離前の線形化出力信号ＲＡＷ１と全く同一のものである。

第１色分離部１０５１は、線形化出力信号ＲＡＷ１を、線形化出力信号ＲＡＷ１を構成する各色に対応する４つの線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）に分離する。このとき、信号がない画素は出力を０（空白）とする。

第１線形補間処理部１０５２は、第１色分離部１０５１において信号を分離する際に発生した空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ４つの線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）を生成する。

この線形補間の方法について、図５Ｃを用いて具体的に説明する。図５Ｃのように配列されたフィルタにおいて、例えば、Ｂ２２で示される画素には、青色光を透過するフィルタが配列されている。したがって、Ｂ２２で示される画素からは、青色に対応する出力電圧信号ｅのみが得られる。

したがって、Ｂ２２で示される画素から出力されると予想される赤色光，緑色光，白色光に対応する信号は、Ｂ２２で示される画素の周囲の出力電圧信号ｅを補間して予測する必要がある。

例えば、Ｂ２２で示される画素から出力されると予想される赤色光成分は、Ｂ２２で示される画素に隣接する画素のうち、赤色フィルタＲが配列された画素であるＲ１１，Ｒ１３，Ｒ３１，Ｒ３３で示されるそれぞれの画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

また、Ｂ２２で示される画素から出力されると予想される緑色光成分は、Ｂ２２で示される画素に隣接する画素のうち、緑色フィルタＧが配列された画素であるＧ１２，Ｇ３２で示されるそれぞれの画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

そして、Ｂ２２で示される画素から出力されると予想される白色光成分は、Ｂ２２で示される画素に隣接する画素のうち、透明フィルタＣが配列された画素であるＣ２１，Ｃ２３で示されるそれぞれの画素の出力電圧信号ｅの平均値を当てはめることによって予測する。

なお、このとき、単に補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施してもよい。

（赤外光分離処理の説明）
続いて、赤外光分離処理の内容について、図８を用いて説明する。まず、近赤外光比率算出部１０６０は、以下に示す式７によって、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒｒを算出する。
［式７］ Ｒｒ＝（Ｒ０＋Ｇ０＋Ｂ０−Ｃ０）／２Ｃ０

近赤外光成分除去率テーブル１０６２には、近赤外光成分の比率Ｒｒに対する近赤外光成分の除去率Ｅ（Ｒｒ）が記憶されている。具体的なテーブルの例は後述する。

赤外分離部１０５３は、第１線形補間処理部１０５２において得られた４つの線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中から、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒｒに基づいて、近赤外光成分除去率テーブル１０６２に定められた除去率（割合）Ｅ（Ｒｒ）の近赤外光成分を除去する。

すなわち、赤外分離部１０５３において、赤外分離色信号（Ｒａ，Ｇａ，Ｂａ）（赤外分離信号）を得る。具体的には、赤外分離色信号（Ｒａ，Ｇａ，Ｂａ）は近赤外光成分の比率Ｒｒを用いて、式８，式９，式１０によって算出することができる。なお、Ｉは近赤外光成分量を表す。
［式８］ Ｒａ＝Ｒ０−Ｉ＊Ｅ（Ｒｒ）
［式９］ Ｇａ＝Ｇ０−Ｉ＊Ｅ（Ｒｒ）
［式１０］ Ｂａ＝Ｂ０−Ｉ＊Ｅ（Ｒｒ）

図９Ａ，図９Ｂは、それぞれ、近赤外光の除去率Ｅ（Ｒｒ）が記憶された近赤外光成分除去率テーブル１０６２の一例である。図９Ａは、近赤外光成分の比率Ｒｒが、所定の比率、例えば１０％から９０％の間にあるときは近赤外光成分の除去率Ｅ（Ｒｒ）を１００％、すなわち全ての近赤外光成分を除去して、近赤外光成分の比率Ｒｒが１０％未満または９０％を超えるときには近赤外光成分の除去率Ｅ（Ｒｒ）を０％、すなわち全ての近赤外光成分を除去しないように設定した例を示している。

一方、図９Ｂは、図９Ａにおいて、近赤外光成分の比率Ｒｒが１０％および９０％の前後にあるとき、近赤外光成分の除去率Ｅ（Ｒｒ）を連続的で滑らかに変化するように設定した例を示している。図９Ａに示すような近赤外光の除去率Ｅ（Ｒｒ）を設定すると、除去率Ｅ（Ｒｒ）が大きく切り替わる部分において、大きな色の差が発生する虞があるため、図９Ｂに示すような除去率Ｅ（Ｒｒ）を設定するのが望ましい。

図１０に、代表的な光源における近赤外光成分の比率Ｒｒと、本実施例において、各光源に対して設定される近赤外光成分の除去率Ｅ（Ｒｒ）の一例を示す。図１０において、赤外ＬＥＤ（近赤外光成分の比率Ｒｒ＝９０〜１００％）にあっては、近赤外光成分の除去率Ｅ（Ｒｒ）＝０％、すなわち、近赤外光成分を除去しない設定とすることによって、発明が解決しようとする課題の欄で述べた、ノイズ成分の影響を抑制することができる。

また、白熱灯（Ｒｒ＝７０〜８９％），太陽光（Ｒｒ＝６０〜６９％），放電灯（Ｒｒ＝１０〜５９％）にあっては、Ｅ（Ｒｒ）＝１００％、すなわち、近赤外光成分を全て除去する設定とすることによって、正しい色再現を行うことができる。

さらに、ＬＥＤ（Ｒｒ＝０〜９％）にあっては、Ｅ（Ｒｒ）＝０％、すなわち、近赤外光成分を除去しない設定とすることによって、発明が解決しようとする課題の欄で述べた、ＳＮ比の低下を防止することができる。

赤外分離色信号補正部１０５４は、一般的な線形特性を持つ撮像素子を用いた撮像装置１０で実施されている技術（ターゲットカラーに基づくリニアマトリクス演算）により、撮像装置１０によって再現される色がターゲットカラーとなるように色信号補正処理を行う。

具体的には、赤外分離色信号補正部１０５４において、赤外分離部１０５３から出力された赤外分離色信号（Ｒａ，Ｇａ，Ｂａ）に対して、式１１を用いてリニアマトリクス演算を行い、出力が飽和していない非飽和画素（通常画素）で再現される色がターゲットカラーとなるように補正して、補正された３つの線形補正色信号（Ｘｃ，Ｙｃ，Ｚｃ）を出力する。
［式１１］

特に、前述したＲＧＢＣフィルタを備えた撮像素子１０２から得られた線形補正色信号を（Ｒ１，Ｇ１，Ｂ１）と呼ぶことにする。線形補正色信号（Ｒ１，Ｇ１，Ｂ１）は、式６において、Ｘ＝Ｒ，Ｙ＝Ｇ，Ｚ＝Ｂと置き換えることによって算出することができる。

（クリッピング処理の説明）
第２色分離部１０５５（飽和抑制部）は、第１色分離部１０５１と同様に、線形化出力信号ＲＡＷ１が入力されて、４つの色信号に分離（信号がない部分は空白０を挿入）されるが、分離前に、飽和信号レベル（１２ビットの場合は４０９５）に対して色信号毎に予め定められたクリップレベルを用いてクリッピングを行う。

クリッピング処理とは、線形化出力信号ＲＡＷ１が、予め決めておいた所定の値を超えていたときに、その画素値を予め決めておいた所定の値に設定する処理のことである。

クリッピング処理の１例を図１１Ａに示す。例えば、緑色フィルタＧが配列された画素から出力された信号が、予め決めた所定値Ｔｈｒよりも大きいときは、その画素に強制的に所定値Ｔｈｒを与える。

そして、このとき、同じ輝度の白色光が、赤色フィルタＲが配列された画素に入射したときに、その画素から出力される信号も飽和するように、赤色フィルタが配列された画素に対する所定値Ｒ＿Ｔｈｒが設定される
。ここで、Ｒ＿Ｔｈｒの値は、式１２によって算出する。
［式１２］
ここで、Ｇ＿Ｇａｉn，Ｒ＿Ｇａｉｎはそれぞれ、色温度を調整するパラメータであり、緑色の強さを表わすＧゲインと、赤色の強さを表わすＲゲインである。

同様にして、青色フィルタが配列された画素に対する所定値Ｂ＿Ｔｈｒが設定される。ここで、Ｂ＿Ｔｈｒの値は、式１３によって算出する。
［式１３］
ここで、Ｂ＿Ｇａｉnは、色温度を調整するパラメータであり、青色の強さを表わすＢゲインである。

その後、第２線形補間処理部１０５６で第１線形補間処理部１０５２と同様の線形補間処理を行う。また、赤外含有色信号補正部１０５７は、第２線形補間処理部１０５６から出力される近赤外光を含む４つの色信号に対して、式１４を用いてリニアマトリクス演算を行い、飽和領域で再現される色がターゲットカラーとなるように補正して、補正された４つの線形補正色信号（Ｘｓ，Ｙｓ，Ｚｓ，Ｔｓ）のうち、（Ｘｓ，Ｙｓ，Ｚｓ）の３信号を出力する。
［式１４］

なお、前述したＲＧＢＣフィルタを備えた撮像素子１０２の場合、式６において、Ｘ＝Ｒ，Ｙ＝Ｇ，Ｚ＝Ｂ，Ｔ＝Ｃと置き換えることによって、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）が算出される。こうして算出される線形補正色信号（Ｒ１，Ｇ１，Ｂ１）は、近赤外光が分離されていない赤外未分離色信号である。

（飽和領域判定処理の説明）
色信号選択部１０５９は、画素単位で並行して生成される前記２種類の線形補正色信号（赤外分離色信号、赤外未分離色信号）のうち、どちらの線形補正色信号を使用するかを選択するための判定を行う。そのため、まず、飽和領域判定部１０５８ａ（色飽和検出部）において、線形化出力信号ＲＡＷ１に対して、飽和画素、または飽和画素の周辺画素（線形補間で飽和画素の影響を受けている画素）のみを表わす二値信号を生成する。

具体的には、飽和信号レベル以上で飽和と判定された画素を１とし、それ以外を０とする二値画像に対して、線形補間処理を行った際のカーネルサイズに合わせたダイレーション（膨張）処理を行って、このダイレーション処理の結果得られた二値画像信号を、飽和画素を表わす飽和画素信号として色信号選択部１０５９へ入力する。このとき、領域の膨張処理を行うため、飽和画素とともに、飽和画素の影響を受けていると考えられる周辺画素も合わせて抽出される。

色信号選択部１０５９は、着目した画素が、飽和画素、またはその周辺画素として抽出されているか否かに従って、２種類の色信号のうち、どちらの色信号を出力するかの選択を行う。すなわち、前述した二値画像信号が０のときは、飽和画素ではなく、かつ飽和画素の周辺画素でもないと判断されて、赤外分離された線形補正色信号（Ｒ１，Ｇ１，Ｂ１）が選択される。

一方、二値画像信号が１のときは、飽和画素または、飽和画素の周辺画素と判断されて、クリッピング処理された赤外未分離の線形補正色信号（Ｒ１，Ｇ１，Ｂ１）が選択される。

以上により、線形化出力信号ＲＡＷ１（２０ビット）から、人間の色覚特性に一致するように、近赤外光成分が分離されて、彩度や色相などが調整された３つの線形補正色信号（Ｒ１，Ｇ１，Ｂ１）（符号付き２１ビット）が選択されて出力される。

この色信号の選択処理について図１１Ｂ，図１１Ｃを用いて説明する。図１１Ｂ，図１１Ｃに示すように、非飽和画素、またはクリッピング処理を行った飽和画素であれば、色補正後の信号は無彩色となる。これに対してクリッピング処理を行わない飽和画素では、色補正を行った際にＲＧＢのバランスが崩れて、図１１Ｃに示すように色ずれが発生する。したがって、前述したように、飽和画素信号であるときには、クリッピング処理を行った色信号を選択することによって、色ずれの発生を防止することができる。

（色輝度合成による色再現処理の説明）
信号分離部１０３によって分離された２つの出力信号ＲＡＷ０のうち、色信号処理に用いない出力信号ＲＡＷ０は、輝度信号処理に利用される。

輝度信号生成部１０７は、出力信号ＲＡＷ０から輝度信号Ｙ１（１２ビット）を生成する。処理の内容は、出力信号線形変換部１０４で行う処理と、色分離をしない点以外は同様であり、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施することも可能である。

輝度信号補正部１０８は、輝度信号Ｙ１に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ２（１２ビット）を生成する。

そして、線形補正色信号と輝度補正信号を用いて、色輝度合成部１０９おいて、画像出力部１１０に出力する映像信号を生成する。

（色輝度合成処理の説明）
以下、ＲＧＢＣフィルタを備えた撮像素子１０２から得られた線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と輝度補正信号Ｙ２を用いて、映像信号（Ｒ２，Ｇ２，Ｂ２）を生成する方法について、順を追って説明する。

図１２に色輝度合成部１０９の内部構成図を示す。まず、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を２つに分離し、処理ブロック１０９１において、分離した一方の線形補正色信号（Ｒ１，Ｇ１，Ｂ１）から、それらの輝度成分Ｙｃを式１５を用いて求める。
［式１５］ Ｙｃ＝０．２９９Ｒ１＋０．５８７Ｇ１＋０．１１４Ｂ１

式１０において、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）の各成分に積算される係数は、それぞれ、ＲＧＢ色度を輝度に変換する際の変換係数として求められた値の一例である。

式１０の演算は、入力される線形補正色信号（Ｒ１，Ｇ１，Ｂ１）（符号付き２１ビット）の値の範囲が広いため、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を浮動小数点に変換して、浮動小数点演算として行う。

次に、処理ブロック１０９２において、式１６，式１７，式１８で示すように、式１０で導出された輝度成分Ｙｃの値によって、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）の各成分をそれぞれ除算して、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）の正規化を行い、正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）を生成する。この演算も浮動小数点演算として行われる。
［式１６］ Ｒｃ＝Ｒ１／Ｙｃ
［式１７］ Ｇｃ＝Ｇ１／Ｙｃ
［式１８］ Ｂｃ＝Ｂ１／Ｙｃ

そして、処理ブロック１０９３において、式１９，式２０，式２１で示すように、正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）に対して、輝度信号補正部１０８によって生成された輝度補正信号Ｙ２を乗算して、色輝度合成部１０９の出力信号である映像信号（Ｒ２，Ｇ２，Ｂ２）が生成される。なお、このとき同時に演算結果の整数化が行われる。
［式１９］ Ｒ２＝Ｘｃ＊Ｙ２
［式２０］ Ｇ２＝Ｙｃ＊Ｙ２
［式２１］ Ｂ２＝Ｚｃ＊Ｙ２

ここで、留意すべきは、正規化色信号（Ｒｃ，Ｇｃ，Ｂｃ）は線形特性を持つ信号であり、輝度補正信号Ｙ２は非線形特性を持つ信号であるため、それらが合成された映像信号（Ｒ２，Ｇ２，Ｂ２）は非線形特性を持つ信号となることである。

このとき、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と輝度補正信号Ｙ２と映像信号（Ｒ２，Ｇ２，Ｂ２）の間には、式２２，式２３の関係式が成り立つ。但し、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と映像信号（Ｒ２，Ｇ２，Ｂ２）はともに飽和しておらず、なおかつ演算時のビット幅縮小に伴う誤差による影響は、十分小さいものとしている。
［式２２］ Ｙ２＝０．２９９Ｒ２＋０．５８７Ｇ２＋０．１１４Ｂ２
［式２３］ Ｒ１：Ｇ１：Ｂ１＝Ｒ２：Ｇ２：Ｂ２

式２２は、映像信号（Ｒ２，Ｇ２，Ｂ２）と輝度補正信号Ｙ２が３原色ベクトルとそれからなる輝度ベクトルの関係であることを表しており、映像信号（Ｒ２，Ｇ２，Ｂ２）が輝度補正信号Ｙ２の持つ広ダイナミックレンジの輝度情報を保持していることを示している。

また、式２３は、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と映像信号（Ｒ２，Ｇ２，Ｂ２）の色の組成比（色相）が同一であることを表していて、さらに、式２２と合わせて、輝度信号に対する信号強度（彩度）が同一であることを表している。すなわち、線形特性から非線形特性への変換の際に、線形色信号（Ｒ０，Ｇ０，Ｂ０）が有していた色再現性が保持されていることを示している。

こうして生成された映像信号（Ｒ２，Ｇ２，Ｂ２）は、画像出力部１１０に表示されて、車両の乗員に提示される。

（処理の流れの説明）

次に、図１３のフローチャートを用いて、実施例１の一連の処理の流れを説明する。

（ステップＳ１０）信号分離部１０３から撮像素子１０２に対して、撮像タイミングが指示されて、撮像が行われる。

（ステップＳ１２）撮像素子１０２は、光学系１０１を透過した光を受光して、光電変換を行い、出力信号ＲＡＷ０を出力する。

（ステップＳ１４）信号分離部１０３において、出力信号ＲＡＷ０を同一の２つの出力信号ＲＡＷ０，ＲＡＷ０に分離する。

（ステップＳ１６）出力信号線形変換部１０４において、一方の出力信号ＲＡＷ０を、線形性を有する線形化出力信号ＲＡＷ１に変換する。

（ステップＳ１８）第１色分離部１０５１において、線形化出力信号ＲＡＷ１をＲＧＢＣ各色に対応する４つの信号に分離する。さらに、第１線形補間処理部１０５２において、分離の際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行い、線形色信号（Ｒ０，Ｇ０，Ｂ０）を生成する。

（ステップＳ２０）近赤外光比率算出部１０６０において、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）の中に含まれる近赤外光成分の比率Ｒｒを算出する。

（ステップＳ２２）近赤外光成分除去率テーブル１０６２を参照して、近赤外光成分の比率Ｒｒに対応する近赤外光成分の除去率Ｅ（Ｒｒ）を算出する。

（ステップＳ２４）赤外分離部１０５３において、線形色信号（Ｒ０，Ｇ０，Ｂ０）から赤外光成分を分離して、赤外分離色信号を生成する。さらに、赤外分離色信号補正部１０５４で色補正を行って線形補正色信号（Ｒ１，Ｇ１，Ｂ１）を生成する。

（ステップＳ２６）第２色分離部１０５５（飽和抑制部）において、クリッピング処理を行い、さらに、第２線形補間処理部１０５６において、線形色信号（Ｒ０，Ｇ０，Ｂ０，Ｃ０）を生成する。

（ステップＳ２８）赤外含有色信号補正部１０５７において、第２線形補間処理部１０５６から出力される４つの色信号に対してリニアマトリクス演算を行い、色補正された４つの線形補正色信号を生成する。

（ステップＳ３０）飽和領域判定部１０５８ａ（色飽和検出部）において、線形化出力信号ＲＡＷ１に対して飽和判定を行い、飽和画素、または飽和画素の周辺画素のみを表わす二値画像を生成する。

（ステップＳ３２）輝度信号生成部１０７において、出力信号ＲＡＷ０から輝度信号Ｙ１を生成する。

（ステップＳ３４）輝度信号補正部１０８において、輝度信号Ｙ１に対してガンマ補正やヒストグラム補正等のコントラスト調整を実施して、輝度補正信号Ｙ２を生成する。

（ステップＳ３６）色輝度合成部１０９において、線形補正色信号（Ｒ１，Ｇ１，Ｂ１）と輝度補正信号Ｙ２を合成して映像信号（Ｒ２，Ｇ２，Ｂ２）を生成する。

（ステップＳ３８）生成された映像信号（Ｒ２，Ｇ２，Ｂ２）を、画像出力部１１０に出力する。

以上、説明したように、実施例１に係る撮像装置１０によれば、互いに異なる波長の光を選択的に通すフィルタを透過して、複数の画素からなる撮像素子１０２によって変換された出力信号ＲＡＷ０の中から、近赤外光比率算出部１０６０によって、画素毎に算出された近赤外光成分の比率Ｒｒに応じた除去率（割合）Ｅ（Ｒｒ）で、赤外分離部（近赤外光成分分離部）１０５３が、画素毎に近赤外光成分を除去して赤外分離信号（Ｒａ，Ｇａ，Ｂａ）を生成するため、撮像素子１０２が受光した光の中の近赤外光成分の量に応じた近赤外光成分を除去することができる。これによって、受光した光の中に含まれる近赤外光成分の比率Ｒｒによらずに、色ノイズの増大を抑制することができるとともに、色信号のＳＮ比の低下を抑えることができる。これによって、広いダイナミックレンジと高い色再現性を両立した出力信号を得ることができる。

さらに、可視光成分と近赤外光成分がともに含まれるハロゲン光源の信号機を観測するような場面にあっては、信号機の光軸正面に近い位置ほど入射光量が増加するため、接近中に色が変わってしまう虞があるが、実施例１に係る撮像装置１０によれば、近赤外光成分が含まれる比率Ｒｒに基づいて、近赤外光成分の除去率Ｅ（Ｒｒ）を設定するため、入射光量が変化したときであっても、同じ色で観測することができる。なお、このような場合、観測される可視光成分の量に応じて、色信号を補正（正規化）することも考えられるが、可視光成分の量が極端に少ない場合には、補正値が無限大になる等の計算上の弊害が発生する虞があるため、近赤外光成分の比率Ｒｒを用いて処理するのが望ましい。

また、実施例１に係る撮像装置１０によれば、赤外分離部（近赤外光成分分離部）１０５３は、出力信号の中の近赤外光成分の比率Ｒｒに対する近赤外光成分の除去率Ｅ（Ｒｒ）が記憶された近赤外光成分除去率テーブル１０６２に基づいて決定された除去率Ｅ（Ｒｒ）で、近赤外光成分を除去するため、少ない計算コストで簡便に除去率Ｅ（Ｒｒ）を決定することができる。

また、実施例１に係る撮像装置１０によれば、赤外分離部（近赤外光成分分離部）１０５３は、近赤外光成分の除去率Ｅ（Ｒｒ）を変化させる際には、除去率Ｅ（Ｒｒ）を近赤外光成分の比率Ｒｒに応じて連続的に変化させるため、近赤外光成分の除去率Ｅ（Ｒｒ）が大きく切り替わる部分において大きな色の差が発生して、空や路面のようにほぼ均一な輝度分布を有する領域の中に境目が生じるのを防止することができる。

なお、実施例１は、撮像素子１０２が、４種類のフィルタ（赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢ，透明フィルタＣ）からなる光学フィルタを有するものとして説明したが、この光学フィルタは、例えば、近赤外光を含む可視光全体を透過する透明フィルタＣの代わりに、近赤外光のみを透過する近赤外フィルタＩｒを有する構成としても同様の効果を奏する。

さらに、実施例１は撮像素子１０２が原色系の色フィルタを有するものとして説明したが、これは、補色系の色フィルタを用いても実現可能である。

また、実施例１は赤外分離色信号補正部１０５４、赤外含有色信号補正部１０５７において色補正処理を行い、輝度信号補正部１０８において輝度補正処理を行う構成としたが、この色補正と輝度補正は、必要に応じて適宜実施すればよい。

さらに、実施例１は全く同一の画像データである出力信号ＲＡＷ０を色信号と輝度信号に分離し、合成する例を示したが、色信号と輝度信号は全く同一の画像データから生成されなくてもよい。例えば、撮像素子側で色信号用と輝度信号用に入出力特性を連続的に切り替えて撮像を行い、撮像された異なる２枚の画像を用いて合成を行ってもよいし、また、撮像範囲がほぼ等しい２つの撮像素子を用いて、色信号用と輝度信号用に２つの異なる入出力特性の画像を撮像して、合成を行うことも可能である。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

Ｘ，Ｙ，Ｚ，Ｔ（Ｒ，Ｇ，Ｂ，Ｃ）・・・・・フィルタ（光学フィルタ）
１０，１２・・・・・・・・・撮像装置
１０２・・・・・・・・・・・撮像素子
１０５３・・・・・・・・・・赤外分離部（近赤外光成分分離部）
１０６０・・・・・・・・・・近赤外光比率算出部
１０６２・・・・・・・・・・近赤外光成分除去率テーブル
ＲＡＷ０・・・・・・・・・・出力信号
（Ｒａ，Ｇａ，Ｂａ）・・・・赤外分離色信号（赤外分離信号）
Ｒｒ・・・・・・・・・・・・比率
Ｅ（Ｒｒ）・・・・・・・・・除去率

Claims (2)

1. 互いに異なる波長を有する可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ３種類のフィルタと、可視光領域の分光透過率が前記３種類のフィルタの各分光透過率の線形和で表わされて、かつ、近赤外領域において、前記３種類のフィルタの分光透過率と等しい分光透過率を持つ１種類のフィルタと、が所定のパターンで配列された光学フィルタと、
   前記光学フィルタを透過した光を受光して、入射光の輝度に応じた出力信号に変換して出力する複数の画素からなる撮像素子と、
   前記画素毎に、前記出力信号の中に含まれる近赤外光成分の比率を算出する近赤外光比率算出部と、
   前記近赤外光成分の比率に応じた割合で、前記画素毎に前記各出力信号の中から近赤外
   光成分を除去して赤外分離信号を生成する赤外分離部と、を有し、
   前記赤外分離部は、前記近赤外光成分の除去率を変化させる際には、前記近赤外光成分の比率を０％付近と１００％付近とした際に０となるように前記除去率を連続的に変化させることを特徴とする撮像装置。
2. 前記赤外分離部は、前記出力信号の中の近赤外光成分の比率に対する近赤外光成分の除去率が記憶された近赤外光成分除去率テーブルに基づいて決定された除去率で、近赤外光成分を除去することを特徴とする請求項１に記載の撮像装置。