JPWO2015011824A1 - 撮像装置 - Google Patents

Abstract

可視光域及び近赤外光域に感度を持つ可視光画素と、近赤外光域に感度を持つ近赤外域画素を有する撮像部を備えた撮像装置において、可視光域の信号成分が飽和に近い場合の色再現性を改善する。可視光画素から得た、近赤外光域を含む信号から生成した色差信号と、近赤外高域の信号を除去して生成した色差信号とを、可視光域の信号成分の飽和度に応じた合成比率で合成して出力する。これにより、人が見た色に近い色で色相が再現できる。同様の処理を輝度信号に対して行っても良い。近赤外光域の信号を除去して生成した色差信号が、例えば負の値を示す場合は、近赤外光域の信号を再度加算しても良い。

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、下記の特許文献１がある。該公報の明細書の段落００２９には、「固体撮像素子１０から出力される信号ＳＲ，ＳＧ，ＳＢには赤外領域の光による電荷がノイズとして含まれる。したがって、これらの信号ＳＲ，ＳＧ，ＳＢをそのまま用いてカラー画像を構成すると、正しいカラー再現性を得ることができない。本実施の形態の構成では、信号処理部１４では、近赤外光フィルタが設けられた画素からの出力信号ＳＩＲに基づいて、出力信号ＳＲ，ＳＧ，ＳＢから近赤外光領域の成分を除去する処理を行うことができる。」と記載されている。

特開２００８−９２２４７号公報

一般的な画像の撮影に使用されるカメラの撮像素子においては、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）のうち、いずれか一つの波長領域の光を通過させるフィルタを備えている。これにより、人の目の視覚特性に近いＲＧＢ三原色信号が得られる。また、夜中に暗い場所を監視するための赤外線カメラでは、赤外光域におけるＩＲ（近赤外）の波長領域の光を使用して画像信号を得ている。

これに対して、例えば最近の車載用のカメラにおいては、明るい場所と暗い場所の双方で明瞭な画像を得るようにするため、各画素がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＩＲのうち、いずれか一つの信号を生成する。この場合、暗い場所ではＩＲ信号を用いた明瞭な画像信号を生成する一方、明るい場所ではＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの各信号からＩＲ信号を減算することで人の目の視覚特性に近いＲＧＢ三原色信号を生成している。

カラー画像を撮像する場合には、光量が低い箇所は輝度レベルが低く、光量が高い箇所は輝度レベルが高く撮像されることが好ましい。例えば、画像のハイライトと呼ばれる箇所の付近では多くの場合、輝度レベルが中央部ほど高く、周辺部では徐々に低くなるのが好ましい。しかし、実際には光量が高い中央部では画素レベルが飽和しやすく、徐々に光量が低くなる周辺部では画素レベルが飽和しにくい。

前記した車載用のカメラのような、可視光域及び近赤外光域に感度を持つ可視光画素と、近赤外光域に感度を持つ近赤外域画素からなる撮像部を用いる場合を考える。
例えば特許文献１では、近赤外光域の不要波長成分を除去する処理を実施した場合、固体撮像素子１０から出力されたＳＲ画素・ＳＧ画素・ＳＢ画素・ＳＩＲ画素の信号から、例えば下記のように輝度信号Ｙが求められる。

Ｒ’＝（ＳＲ−ＳＩＲ）
Ｇ’＝（ＳＧ−ＳＩＲ）
Ｂ’＝（ＳＢ−ＳＩＲ）
Ｙ ＝ｋ１＊Ｒ’＋ｋ２＊Ｇ’＋ｋ３＊Ｂ’
（ｋ１，ｋ２，ｋ３は任意係数）
このとき、光量を徐々に高くした場合に、ＳＲ・ＳＧ・ＳＢがＳＩＲよりも先に飽和するため、画像のハイライトの中央部付近で、輝度信号Ｙが低下する現象が発生するので、改善の余地がある。

さらに、カラー画像を撮像する場合、画面全体は人間が見た色と同じ色で再現されていることが好ましい。例えば、太陽のように光量が高く画素レベルが飽和する光源の付近は、光源の色と光源以外の被写体の色のみで表現されている方が好ましい。
前記と同様に、可視光域及び近赤外光域に感度を持つ可視光画素と、近赤外光域に感度を持つ近赤外域画素からなる撮像部を用いる場合を考える。
例えば特許文献１では、近赤外光域の不要波長成分を除去する処理を実施する場合、固体撮像素子１０から出力されたＳＲ画素・ＳＧ画素・ＳＢ画素・ＳＩＲ画素の信号から、例えば下記のようにＲ信号・Ｇ信号・Ｂ信号が求められる。

Ｒ＝（ＳＲ−ＳＩＲ）
Ｇ＝（ＳＧ−ＳＩＲ）
Ｂ＝（ＳＢ−ＳＩＲ）
このとき、光量が高く、ＳＲ・ＳＧ・ＳＢのいずれかの画素が飽和している場合、画像信号のバランスが崩れ、被写体にない色が生じる現象が発生するので、改善の余地がある。

そこで本発明は、色信号のバランスを改善することを目的とし、例えば、太陽のように光量の高い光源を含んだ被写体が、人間の見た色に近い色で再現されるように処理する撮像装置の提供を目的とする。
また実施形態によっては、さらに輝度信号を改善することを目的とし、例えば、ハイライト付近において、中央部ほど輝度レベルが高く、周辺部では輝度レベルが徐々に低くなるように処理する撮像装置の提供を目的とする。

上記目的を達成するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、色信号のバランスを改善した撮像装置を提供することができ、撮像装置の基本性能の向上に寄与することができる。
その他、実施形態に固有な効果については、以下の実施形態の説明で述べる。

実施例１における撮像装置の構成図。 実施例１と２における撮像部の画素の並び方の例を示す図。 実施例１と２における撮像部に含まれる画素の波長感度特性例を示す図。 実施例１と２における光量に対する輝度信号レベルの制御特性例を示す図。 実施例２における撮像装置の構成図。 実施例３における撮像システムの構成図。 実施例４における撮像装置の構成図。 実施例４における色信号処理部の構成図。 実施例４と５における飽和度の算出例を示す図。 実施例４と５における画像信号の例を示す図。 実施例４と５における被写体を表す図。 実施例５における撮像装置の構成図。 実施例５における色信号処理部の構成図。 実施例６における撮像システムの構成図。

以下、本発明の実施形態につき図面を用いて説明する。なお、本実施例においては撮像装置の色信号のバランスを改善することを第一の狙いとしているが、実施形態に応じては輝度信号を改善することもできる。そこで、実施例１から実施例３においては、比較的容易に理解できる輝度信号に対する処理について述べ、引続き実施例４から実施例６において、色信号に対する処理について述べる。

図１は、実施例１における撮像装置１００の構成図である。
撮像装置１００は、レンズ１０１、撮像部１０２、同時化部１０３、ホワイトバランス（ＷＢ）処理部１０４、輝度信号処理部１１５、輝度ガンマ部１１０、飽和度検出部１１１、色差信号生成部１１２、色差ガンマ部１１３、制御部１１４を有する。

レンズ１０１は、被写体から来る光を撮像部１０２に結像する。
撮像部１０２は、可視光域及び近赤外光域に感度を持つ可視光域画素と、主に近赤外光域に感度を持つ近赤外域画素から構成される。各画素においてレンズ１０１が結像した光を、撮像部１０２は光電変換及びＡ／Ｄ変換して、各画素におけるデジタル画像信号を同時化部１０３に出力する。

同時化部１０３は、撮像部１０２から出力された各画素からの信号に補間処理を施し、補間された画像信号をＷＢ処理部１０４に出力する。なお、補間処理の内容と同時化部という名称の由来については、図２を説明する際に述べる。
ＷＢ処理部１０４は、同時化部１０３から出力された画像信号に、光源の色温度に応じたゲインを積算してホワイトバランス調整を行い、得た画像信号を輝度信号処理部１１５に出力する。

輝度信号処理部１１５は、ＷＢ処理部１０４から出力された画像信号から輝度信号Ｙを演算して求め、輝度ガンマ部１１０に出力する。輝度信号処理部１１５は、第１輝度係数出力部１０５、第２輝度係数出力部１０６、第１輝度信号生成部１０７、第２輝度信号生成部１０８、輝度信号合成部１０９を有する。

第１輝度係数出力部１０５は、制御部１１４に制御されて輝度係数ｋｒ１、ｋｇ１、ｋｂ１、ｋｉ１を設定し、第１輝度信号生成部１０７に出力する。
第２輝度係数出力部１０６は、制御部１１４に制御されて輝度係数ｋｒ２、ｋｇ２、ｋｂ２、ｋｉ２を設定し、第２輝度信号生成部１０９に出力する。

第１輝度信号出力部１０７は、ＷＢ処理部１０４から出力された４つの画像信号と、第１輝度係数出力部１０５から出力された４つの輝度係数を積和演算し、輝度信号Ｙ１を出力する。
第２輝度信号出力部１０８は、ＷＢ処理部１０４から出力された４つの画像信号と、第２輝度係数出力部１０６から出力された４つの輝度係数を積和演算し、輝度信号Ｙ２を出力する。

輝度信号合成部１０９は、第１輝度信号生成部１０７から出力された輝度信号Ｙ１と、第２輝度信号生成部１０８から出力された輝度信号Ｙ２を、飽和度検出部１１１から出力される飽和度αの値に応じて合成し、輝度信号Ｙを輝度ガンマ部１１０に出力する。
輝度ガンマ部１１０は、輝度信号合成部１０９から出力された輝度信号Ｙに対して、外部の表示装置の特性を補正するためのガンマ処理を施して得た輝度信号を、撮像部１００の外部に出力する。

飽和度検出部１１１は、ＷＢ処理部１０４から出力された画像信号の飽和度αを検出して、輝度信号合成部１０９に出力する。
色差信号生成部１１２は、ＷＢ処理部１０４から出力された画像信号から、色差信号Ｐｒ及びＰｂを生成して、色差ガンマ部１１３に出力する。
色差ガンマ部１１３は、色差信号生成部１１２から出力された色差信号に対して、外部の表示装置の特性を補正するためのガンマ処理を施して得た色差信号を、撮像部１００の外部に出力する。

制御部１１４は、撮像装置１００の全体を制御し、撮像装置１００の外部から入力された、例えば操作者による動作指令を表す制御信号に基づいて、レンズ１０１、撮像部１０２、同時化部１０３、ＷＢ処理部１０４、輝度ガンマ部１１０、飽和度検出部１１１、色差信号生成部１１２、色差ガンマ部１１３を制御する。また、制御部１１４は、第１輝度係数出力部１０５、第２輝度係数出力部１０６に輝度係数を出力して制御する。

本実施例によれば、飽和度検出部１１１により検出された飽和度αに応じて、輝度信号合成部１０９を制御することにより、ハイライトの中央部付近で輝度信号が低下する現象を低減した撮像装置１００を提供できる。

次に、本実施例における撮像部１０２について説明する。
図２は、実施例１と２における撮像部１０２の画素の並び方の例を示す図である。図２では、（Ｒ＋Ｉ）画素４０１、（Ｇ＋Ｉ）画素４０２、（Ｉ）画素４０３、（Ｂ＋Ｉ）画素４０４の４つの画素が２×２画素サイズの単位構成を成しており、その単位構成が縦・横それぞれに繰り返し配置されている。なお、以下では先のＩＲを、Ｉと略記する。先の同時化部１０３は、例えば（Ｇ＋Ｉ）画素４０２の位置における（Ｒ＋Ｉ）（Ｉ）（Ｂ＋Ｉ）の３つの信号を、周辺の画素の信号から求めて補間処理する。これにより、撮像装置１００は撮像部１０２の画素数に応じた解像度が得られる。なお、同時化部１０３は、各画素における（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４つの信号が同時に存在するようにするので、同時化部と呼ばれる。

図３は、実施例１と２における撮像部１０２に含まれる画素の波長感度特性例を示す図である。撮像部１０２には、可視光域の赤色域（Ｒ）と近赤外光域（Ｉ）に感度を持つ可視光域画素である（Ｒ＋Ｉ）画素４０１と、可視光域の緑色域（Ｇ）と近赤外光域（Ｉ）に感度を持つ可視光域画素である（Ｇ＋Ｉ）画素４０２と、近赤外光域（Ｉ）に感度を持つ近赤外画素である（Ｉ）画素４０３と、可視光域の青色域（Ｂ）と近赤外光域に感度を持つ可視光域画素である（Ｂ＋Ｉ）画素４０４の４種類の画素が含まれる。

輝度信号を求める場合に、人間の目の輝度に対する感度特性を忠実に再現するという観点からは、例えば画像全体が明るい場合には近赤外光域（Ｉ）の成分は不要波長成分とされる場合がある。そのような場合には、図３の各画素に含まれる近赤外光域（Ｉ）に対する感度はほぼ同じであると仮定すると、例えば、可視光域画素（Ｒ＋Ｉ）画素から近赤外画素（Ｉ）を減算すれば、赤色域（Ｒ）のみに感度を持つ信号を得ることができる。緑色域（Ｇ）・青色域（Ｂ）についても同様である。また、もし各画素に含まれる近赤外画素（Ｉ）の感度が異なる場合であったとしても、減算する際の係数（後述する輝度係数）を調整することで、近赤外画素（Ｉ）の成分を少なくすることができる。

次に、本実施例の動作を説明する。ＷＢ処理部１０４から出力される画像信号はＲＧＢの各色信号を含む信号により表わされる。ここでは、画像信号を下記のような４つの画素レベルで表記する。
（Ｒ＋Ｉ）
（Ｇ＋Ｉ）
（Ｉ）
（Ｂ＋Ｉ）
このとき、第１輝度信号生成部１０７の出力する輝度信号Ｙ１は（式１）のように求められる。
Ｙ１ ＝ ｋｒ１×（Ｒ＋Ｉ）＋ｋｇ１×（Ｇ＋Ｉ）
＋ｋｂ１×（Ｂ＋Ｉ）＋ｋｉ１×（Ｉ） ・・・（式１）
ここで、ｋｒ１，ｋｇ１，ｋｂ１，ｋｉ１は第１輝度係数出力部１０５に制御部１１４が設定する係数（Ｙ１の輝度係数）である。（式１）を変形すると（式２）のようになる。
Ｙ１ ＝ ｋｒ１×（（Ｒ＋Ｉ）−（Ｉ））
＋ｋｇ１×（（Ｇ＋Ｉ）−（Ｉ））
＋ｋｂ１×（（Ｂ＋Ｉ）−（Ｉ））
＋（ｋｒ１＋ｋｇ１＋ｋｂ１＋ｋｉ１）×（Ｉ） ・・・（式２）
つまり、（ｋｒ１＋ｋｇ１＋ｋｂ１＝−ｋｉ１）であれば、輝度信号を求めるにあたって、近赤外光域の不要波長成分（Ｉ）を除去していることと等価になる。また、ｋｒ１，ｋｇ１，ｋｂ１に関しては、例えばＩＴＵ−Ｒ ＢＴ．７０９などの規格に基づくＲＧＢと輝度信号との変換式に応じて、係数を設定することができる。例えば、（式３）のように設定することで、（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、（Ｂ＋Ｉ）のいずれもが飽和していないときには、Ｙ１に近赤外光域の不要波長成分が現れる問題を防ぐことができる。
ｋｒ１＝０．２１２６， ｋｇ１＝０．７１５２
ｋｂ１＝０．０７２２， ｋｉ１＝−１．０ ・・・（式３）
また、第２輝度信号生成部１０８の出力する輝度信号Ｙ２は（式４）のように求められる。
Ｙ２ ＝ ｋｒ２×（Ｒ＋Ｉ）＋ｋｇ２×（Ｇ＋Ｉ）
＋ｋｂ２×（Ｂ＋Ｉ）＋ｋｉ２×（Ｉ） ・・・（式４）
ここで、ｋｒ２，ｋｇ２，ｋｂ２，ｋｉ２は第２輝度係数出力部１０６に制御部１１４が設定する係数（Ｙ２の輝度係数）である。ただし、Ｙ２の輝度係数については、後述する弊害を発生させないようにｋｉ２≧０）という制約をつける。例えば、ｋｒ２＝ｋｒ１，ｋｇ２＝ｋｇ１，ｋｂ２＝ｋｂ１，ｋｉ２＝０と変更した係数を設定する。具体的には例えば（式５）のように設定する。
ｋｒ２＝０．２１２６， ｋｇ１＝０．７１５２
ｋｂ２＝０．０７２２， ｋｉ１＝０．０ ・・・（式５）
図４は、実施例１と２における光量に対する輝度信号レベルの制御特性例を示す図である。この例では、（Ｒ＋Ｉ）・（Ｇ＋Ｉ）・（Ｂ＋Ｉ）・（Ｉ）の順に画素レベルが高く、早く光量を上げると、この順番で早く飽和する場合を想定している。
図４で、Ｙ１の特性は、３１２のようになる。すなわち、光量を０から徐々に上げていくと、光量が低い区間（ａ）では全ての画素が飽和していないので、光量に比例して輝度信号レベルが上がる。しかし、この例においては区間（ｂ）では（Ｒ＋Ｉ）の画素が飽和するので、輝度信号レベルは光量に比例しなくなる。

さらに、光量が高くなった区間（ｃ）では（Ｇ＋Ｉ）の画素が飽和し、区間（ｄ）では（Ｂ＋Ｉ）の画素が飽和するが、一方で（Ｉ）の画素はまだ飽和していない。このため、光量が増加するにもかかわらず輝度信号レベルが低下する。そして、すべての画素が飽和した区間（ｅ）では輝度信号レベルが０となる。

このため、被写体の中にハイライトがあった場合、ハイライトの中央部付近で輝度信号Ｙ１が低下する現象が発生し、仮にＹ１をそのまま輝度ガンマ部１１０の入力とした場合には、その出力ではガンマ補正の効果によって、実際には明るい部分がいっそう暗く見える画像になる。この弊害は、Ｙ１の輝度係数に、負の値が含まれているために発生する。輝度ガンマ部１１０は外部の表示装置の特性を補正するために必須な構成要素であるから、その前の段階で前記した輝度信号の低下を補正する処理が重要となる。

一方、Ｙ２の特性は、図４の３１１のようになる。すなわち、光量を０から徐々に上げていくと区間（ａ）（ｂ）（ｃ）では、区間に応じては一部の画素が飽和しながらも輝度信号レベルＹ２は単調増加する。そして、画素（Ｒ＋Ｉ）・（Ｇ＋Ｉ）・（Ｂ＋Ｉ）が飽和した区間（ｄ）（ｅ）では、輝度レベルＹ２は最大値となる。この場合には、被写体の中にハイライトがあった場合であっても、ハイライトの中央部付近で輝度信号が低下する現象は発生しない。ただし、このＹ２には、赤外光域の不要波長成分が含まれており、人の目の視覚特性には必ずしも忠実ではない。

そこで、本実施例では、近赤外光域の不要波長成分を除去したＹ１と、ハイライトの中央部付近でも輝度信号が低下しないＹ２を合成し、両方の利点を生かすようにしている。このために、撮像装置１００は、飽和度検出部１１１と輝度信号合成部１０９を備えている。本実施例において、飽和度とは、光量の増加に伴うＷＢ処理部１０４の出力信号における画素レベルの高さを意味する。

飽和度検出部１１１は、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４つの信号を入力とし、例えば、（Ｉ）画素の画素レベルに応じて飽和度αを決定する。飽和度αは、注目画素の飽和度を示す０．０から１．０の間の値である。飽和度が高いほど、注目画素が飽和に近いことを示している。

また、例えば、飽和度αの計算式を（式６）とすることで、光量の増加に対応する可視光域画素の飽和の程度を輝度に反映することができる。
α＝ｆ１（Ｒ＋Ｉ）＋ｆ２（Ｇ＋Ｉ）＋ｆ３（Ｂ＋Ｉ）
ただし、ｆ１〜ｆ３は単調増加関数 ・・・（式６）
また、例えば、飽和度αの計算式を（式７）とすることで、光量が高く全ての可視光域画素が飽和した区間（区間ｄ）であっても、光量の増加を検出して輝度に反映することができる。
α＝ｆ４（Ｉ） ただし、ｆ４は単調増加関数 ・・・（式７）
また、例えば、飽和度αの計算式を（式８）とすることで、光量の増加に対応する可視光域画素の飽和の程度と、可視光域画素が飽和した後の光量の増加の両方を検出して輝度に反映することができる。
α＝ｆ１（Ｒ＋Ｉ）＋ｆ２（Ｇ＋Ｉ）＋ｆ３（Ｂ＋Ｉ）＋ｆ４（Ｉ）
・・・（式８）
また、例えば、飽和度αの計算式を（式９）とすることで、光量の増加に対応する可視光域画素の飽和の程度を、簡素な式で求めて、輝度に反映することができる。
α＝ｆ５（Ｍａｘ（（Ｒ＋Ｉ），（Ｇ＋Ｉ），（Ｂ＋Ｉ）））
ただし、Ｍａｘは３値の最大値を求める関数 ・・・（式９）
輝度信号合成部１０９は（式１０）に示す演算をする。
Ｙ＝（１−α）×Ｙ１＋α×Ｙ２ ・・・（式１０）
（式１０）は、輝度信号Ｙ１と輝度信号Ｙ２を、αの割合に基づいて、内分してＹを求める演算となっている。飽和度αが高いほど、求める輝度信号Ｙに対する輝度信号Ｙ２の寄与が大きくなる。

図４の３１３は、輝度信号合成部１０９の出力する輝度信号Ｙの輝度レベルを示す。この輝度信号Ｙは、光量が低い区間（ａ）では、近赤外光域の不要波長成分が少ない。また、区間（ａ）から（ｄ）までで輝度信号Ｙが単調増加しているため、ハイライトの中央部付近で輝度信号が低下する現象が発生し難いという特徴がある。

図５は、実施例２における撮像装置２００の構成図である。
撮像装置２００は、レンズ１０１、撮像部１０２、同時化部１０３、ＷＢ処理部１０４、輝度信号処理部２０２、輝度ガンマ部１１０、飽和度検出部１１１、色差信号生成部１１２、色差ガンマ部１１３、制御部１１４から構成される。

図５のレンズ１０１、撮像部１０２、同時化部１０３、ＷＢ処理部１０４、輝度ガンマ部１１０、飽和度検出部１１１、色差信号生成部１１２、色差ガンマ部１１３、制御部１１４は、図１のものと同様で良い。
輝度信号処理部２０２は、ＷＢ処理部１０４から出力される画像信号から、輝度信号Ｙを演算して求め輝度ガンマ部１１０に出力する。輝度信号処理部２０２は、第１輝度係数出力部１０５、第１輝度信号生成部１０７、輝度信号合成部２０１を有する。

図５の第１輝度係数出力部１０５、第１輝度信号生成部１０７は図１のものと同様で良い。
輝度信号合成部２０２は、第１輝度信号生成部１０７から出力される輝度信号Ｙ１と、ＷＢ処理部１０４から出力される画像信号Ｉを、飽和度検出部１１１から出力される飽和度αに応じて合成して、輝度信号を出力する。

本実施例によれば、飽和度検出部１１１より検出された飽和度αに応じて、輝度信号合成部２０１を制御することにより、ハイライトの中央部付近で輝度信号が低下する現象が発生し難い撮像装置２００を提供できる。
さらに、図５では、実施例１の図１の構成と比較して、第２輝度係数出力部１０６及び第２信号生成部１０８が削減され、輝度信号合成部２０１も簡素化されているので、図１の場合よりも少ない回路規模で撮像装置２００を提供できる。

次に、本実施例の動作を説明する。
実施例２では、実施例１の場合と同様に、第１輝度信号生成部１０７の出力する輝度信号Ｙ１は、（式１１）のように計算される。
Ｙ１ ＝ ｋｒ１×（Ｒ＋Ｉ）＋ｋｇ１×（Ｇ＋Ｉ）
＋ｋｂ１×（Ｂ＋Ｉ）＋ｋｉ１×（Ｉ） ・・・（式１１）
具体的には、例えば、Ｙ１の輝度係数に関しては、実施例１の場合と同様に、（式３）のように設定することで、（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、（Ｂ＋Ｉ）のいずれもが飽和していないときには、Ｙ１に近赤外光域の不要波長成分が現れる問題を防ぐことができる。
ｋｒ１＝０．２１２６， ｋｇ１＝０．７１５２
ｋｂ１＝０．０７２２， ｋｉ１＝−１．０ ・・・（式３）
飽和度検出部１１１は、実施例１の場合と同様に、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４つの画像信号を入力とし、例えば、（Ｉ）画素の画素レベルに応じて飽和度αを決定する。飽和度αは、注目画素の飽和度を示す０．０から１．０の間の値である。飽和度が高いほど、注目画素が飽和に近いことを示している。

輝度信号合成部２０１は、（式１２）の計算を行う。
Ｙ＝Ｙ１＋α×（Ｉ） ・・・（式１２）
図５では、図１の場合と異なり、第２輝度積算部１０８の出力ではなく、ＷＢ処理部１０４の出力する画像信号の（Ｉ）が輝度信号合成部２０１へ入力されるようになっている。

図４の３１２は、輝度信号Ｙ１の輝度レベルを示す。
図４の３１３は、輝度信号合成部２０１の出力する輝度信号Ｙの輝度レベルを示す。実施例１の場合と同様に、この輝度信号Ｙは、光量が低い区間（ａ）では、近赤外光域の不要波長成分が少ない。また、区間（ａ）から（ｄ）まででは、飽和度αの増加に伴い（Ｉ）の画像信号がより多く加算されることにより、輝度信号Ｙが単調増加しているため、ハイライトの中央部付近で輝度信号が低下する現象が発生し難いという特徴がある。

また、別の構成例として、本実施例において、ｋｉ１＝０に固定し、光量の増加に対して、飽和度αが単調に増加するように、飽和度αの計算式を設定しても同様の効果を得ることができる。この場合、第１輝度信号生成部１０７からｋｉ１×（Ｉ）の項を除去することができるので、少ない回路規模で撮像装置２００を提供できる。

図６は、実施例３における撮像システム６００の構成図である。
撮像システム６００は、撮像装置１００、表示装置６０１、システム制御部６０２を有する。

撮像装置１００は、実施例１の図１の撮像装置１００と同様である。または、実施例２の図５の撮像装置２００と同様であっても良い。
表示装置６０１は、撮像部１００から出力された輝度信号及び色差信号に基づく画像を表示する、液晶モニタなどのカラー画像表示装置である。

システム制御部６０２は、撮像装置１００及び表示装置６０１を制御する。
本実施例によれば、撮像装置１００から出力される輝度信号に関して、ハイライトの中央部付近で輝度信号が低下する現象は発生し難いため、高画質な画像を表示装置６０１に表示する撮像システムを提供することができる。

図７は、実施例４における撮像装置７００の構成図である。
撮像装置７００は、レンズ１０１、撮像部１０２、同時化部１０３、輝度信号処理部７０１、輝度ガンマ部１１０、飽和度検出部１１１、色信号処理部７０２、色差ガンマ部１１３、制御部１１４を有する。

図７のレンズ１０１、撮像部１０２、同時化部１０３、輝度ガンマ部１１０、飽和度検出部１１１、色差ガンマ部１１３、制御部１１４は図１のものと同様で良い。
輝度信号処理部７０１は、図１の輝度信号処理部１１５、図５の輝度信号処理部２０２のいずれかと同様で良い。

図８は、実施例４における色信号処理部７０２の構成図であり、正確な色再現処理を実現するための新たな構成を有している。
色信号処理部７０２は、色マトリクス部８０１、Ｉ係数出力部８０２、Ｉ信号加算部８０３、ＷＢ処理部１０４Ａ及び１０４Ｂ、飽和度検出部８０４、Ｒ信号合成部８０５、Ｇ信号合成部８０６、Ｂ信号合成部８０７、色差マトリクス部８０８を有する。

図８のＷＢ処理部１０４Ａ及び１０４Ｂは、共に図１のＷＢ処理部１０４と同様である。本実施例におけるＷＢ処理部１０４Ａは、色マトリクス部８０１から出力された画像信号を入力とし、ＷＢ処理部１０４Ｂは同時化部１０３から出力された画像信号を入力とする。ＷＢ処理部が２つあるため、画像信号は、それぞれ独立した制御が可能となる。

色マトリクス部８０１は、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４つの入力信号に対して、制御部１１４から入力される制御信号に基づくマトリクス演算を行い、画像信号であるＲ１、Ｇ１、Ｂ１の三原色信号を生成し、ＷＢ処理部１０４Ａに出力する。
ＷＢ処理部１０４Ａは、色マトリクス部８０１から出力された画像信号Ｒ１、Ｇ１、Ｂ１に、光源の色温度に応じたゲインを積算してホワイトバランス調整を行い、得た画像信号Ｒ２、Ｇ２、Ｂ２の三原色信号をＩ信号加算部８０３に出力する。
Ｉ係数出力部８０２は、制御部１１４から制御されてＩ係数ｋｒｉ、ｋｇｉ、ｋｂｉを設定し、Ｉ信号加算部８０３に出力する。
Ｉ信号加算部８０３は、ＷＢ処理部１０４Ａから出力された画像信号に対し、Ｉ係数出力部８０２から出力されたＩ係数を積和演算し、得た画像信号Ｒ３、Ｇ３、Ｂ３の三原色信号を各々、Ｒ信号合成部８０５乃至Ｂ信号合成部８０７に出力する。

飽和度検出部８０４は、同時化部１０３から出力された画像信号の飽和度α２を検出してＲ信号合成部８０５乃至Ｂ信号合成部８０７に出力する。
Ｒ信号合成部８０５は、Ｉ信号加算部８０３から出力されたＲ３信号と、ＷＢ処理部１０４Ｂから出力されたＲ４信号を、飽和度検出部８０４から出力された飽和度α２に応じて合成し、Ｒ５信号を色差マトリクス部８０８に出力する。

Ｇ信号合成部８０６は、Ｉ信号加算部８０３から出力されたＧ３信号と、ＷＢ処理部１０４Ｂから出力されたＧ４信号を、飽和度検出部８０４から出力された飽和度α２に応じて合成し、Ｇ５信号を色差マトリクス部８０８に出力する。
Ｂ信号合成部８０７は、Ｉ信号加算部８０３から出力されたＢ３信号と、ＷＢ処理部１０４Ｂから出力されたＢ４信号を、飽和度検出部８０４から出力された飽和度α２に応じて合成し、Ｂ５信号を色差マトリクス部８０８に出力する。
色差マトリクス部８０８は、入力された画像信号Ｒ５、Ｇ５、Ｂ５に対して、制御部１１４から入力された制御信号に基づいてマトリクス演算を行い、色差信号Ｐｒ、Ｐｂを生成し、色信号処理部７０２の外部、即ち図７の色差ガンマ部１１３に出力する。

本実施例によれば、色マトリクス部８０１から出力された画像信号と、同時化部１０３から出力された画像信号が、２つのＷＢ処理部１０４Ａ及び１０４Ｂによって、光源の色温度に応じた色を再現する画像信号となっている。また、飽和度検出部８０４より検出された飽和度α２に応じて、Ｒ信号合成部８０５、Ｇ信号合成部８０６、Ｂ信号合成部８０７が制御されることから、光源の色温度に応じた画像信号が合成される。このため、色の薄い画像においては近赤外光域の不要波長成分が少ないのみならず、光量が高く画素レベルが飽和した画像においても、人間の見た色と同様な色で再現されるよう処理することができるという特徴がある。

次に、本実施例における動作について説明する。
色マトリクス部８０１は、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４色を入力とし、（式１３）乃至（式１５）に示す演算を行い、Ｒ１、Ｇ１、Ｂ１の画像信号を出力する。
Ｒ１ ＝ ｋｒ３×（Ｒ＋Ｉ）＋ｋｇ３×（Ｇ＋Ｉ）
＋ｋｂ３×（Ｂ＋Ｉ）＋ｋｉ３×（Ｉ） ・・・（式１３）
Ｇ１ ＝ ｋｒ４×（Ｒ＋Ｉ）＋ｋｇ４×（Ｇ＋Ｉ）
＋ｋｂ４×（Ｂ＋Ｉ）＋ｋｉ４×（Ｉ） ・・・（式１４）
Ｂ１ ＝ ｋｒ５×（Ｒ＋Ｉ）＋ｋｇ５×（Ｇ＋Ｉ）
＋ｋｂ５×（Ｂ＋Ｉ）＋ｋｉ５×（Ｉ） ・・・（式１５）
ここで、ｋｒ３、ｋｇ３、ｋｂ３、ｋｉ３、ｋｒ４、ｋｇ４、ｋｂ４、ｋｉ４、ｋｒ５、ｋｇ５、ｋｂ５、ｋｉ５は制御部１１４から出力される係数（Ｒ１、Ｇ１、Ｂ１の色係数）である。

色マトリクス部８０１は、不要波長成分である近赤外画素（Ｉ）の成分を減算した画像信号を出力する。例えば、色マトリクス部８０１は、（式１６）のように係数を設定することにより、不要波長成分を除いた（Ｒ）（Ｇ）（Ｂ）成分を出力することができる。
ｋｒ３＝１．００， ｋｇ３＝ ０．００
ｋｂ３＝０．００， ｋｉ３＝−１．００
ｋｒ４＝０．００， ｋｇ４＝ １．００
ｋｂ４＝０．００， ｋｉ４＝−１．００
ｋｒ５＝０．００， ｋｇ５＝ ０．００
ｋｂ５＝１．００， ｋｉ５＝−１．００ ・・・（式１６）
これに加えてＩ信号加算部８０３は、実施例４の最後に説明するような近赤外光域の不要波長成分を除去した場合に発生する問題を解決するため、入力された画像信号にＩ係数の値に応じた（Ｉ）成分を加算する。即ち、色マトリクス部８０１で（Ｉ）成分を減算し、ＷＢ処理部１０４Ａにより光源の色温度に応じたゲインを積算された画像信号に対して、制御部１１４から出力された所定の係数に応じた（Ｉ）信号が加算される。これにより、例えば、被写体の可視光域及び近赤外光域における光量が高く、色が無彩色に近い場合において、より人間の見た色に近い色を再現することができる。なお、この件については、実施例４の説明の最後に至るまでは特に意識せず、Ｉ信号加算部８０３の出力Ｒ３、Ｇ３、Ｂ３は近赤外光域の不要波長成分が除去された信号である場合、即ちｋｒｉ＝ｋｇｉ＝ｋｂｉ＝０とＩ係数が全て０である場合を考えれば良い。

飽和度検出部８０４は、（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）の４つの信号を入力とし、例えば、注目画素を中心とした３×３画素の領域において、画素レベルの最大値に応じて飽和度α２を決定する。飽和度α２は、注目画素の飽和度を示す０．０から１．０の間の値である。飽和度が高いほど、注目画素の信号が飽和に近いことを示す。

図９は、実施例４と５における飽和度の算出例を示す図である。
例えば、図９で示すように、画素レベルに対する閾値Ｐ１、Ｐ２と、飽和度α２に対するリミット値αｌｉｍ、ゲイン（区間（ｇ）での傾き）を示す制御信号を、制御部１１４が飽和度検出部８０４に入力する。これにより、画素レベルが低い区間（ｆ）では飽和度α２が低い値で一定であり、画素レベルが中間となる区間（ｇ）では飽和度α２がゲインの値に応じて単調増加し、画素レベルが高い区間（ｈ）では飽和度α２がリミット値としての一定値αｌｉｍであるように設定される。このような制御を行うことによって、画像信号で表現される色を被写体の持つ本来の色に近づけることができる。

Ｒ信号合成部８０５、Ｇ信号合成部８０６、Ｂ信号合成部８０７は（式１７）乃至（式１９）で示す演算を行う。
Ｒ５＝（１−α２）×Ｒ４＋α２×Ｒ３ ・・・（式１７）
Ｇ５＝（１−α２）×Ｇ４＋α２×Ｇ３ ・・・（式１８）
Ｂ５＝（１−α２）×Ｂ４＋α２×Ｂ３ ・・・（式１９）
（式１７）乃至（式１９）は、近赤外光域の不要成分を色マトリクス部８０１で除去した画像信号Ｒ３、Ｇ３、Ｂ３と、近赤外光域の不要成分を持つ画像信号Ｒ４、Ｇ４、Ｂ４を飽和度α２の値に基づいて、合成する演算となっている。このように、画像信号を合成することによって、以下で述べるように、近赤外光域成分を利用する本撮像装置において、可視光信号飽和付近の被写体の色が、実際の色とは異なる色になるという問題を低減することができる。

また本実施例では、図８において、可視光域と近赤外域を含む可視光域画素から近赤外域を除いた色マトリクス部８０１の出力Ｒ１、Ｇ１、Ｂ１に対するホワイトバランス処理と、（Ｒ１＋Ｉ）、（Ｇ１＋Ｉ）、（Ｂ１＋Ｉ）、Ｉに対するホワイトバランスがそれぞれ個別にＷＢ処理部１０４Ａと１０４Ｂによって行われる。即ち、各々に対して最適なホワイトバランス制御が行われる。このため、色再現性の良い色信号処理装置を提供できる。

次に、本実施例が解決する問題について、その詳細を示す。
図１０は、実施例４と５における画像信号の例を示す図であり、左半分に同時化部１０３から出力された画像信号（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）（Ｉ）、右半分に不要波長成分を除去した画像信号（Ｒ）（Ｇ）（Ｂ）を表している。
１１０１は、同時化部１０３から出力された画像信号の画素レベルが飽和していない場合を示す。

１１０２は、１１０１の示す画像信号から不要波長成分を除去した画像信号の例である。同時化部１０３から出力される画像信号がいずれも飽和していないため、画像信号のバランスが崩れていないことがわかる。
１１０３は、同時化部１０３から出力された画像信号の中で、（Ｒ＋Ｉ）の画素レベルが飽和している場合を示す。（Ｒ＋Ｉ）の画素レベルが飽和しているため、（Ｒ＋Ｉ）の画素レベルは飽和レベルとなり、実際の光量より低い値となる。

１１０４は、１１０３の示す画像信号から不要波長成分を除去した画像信号の例である。（Ｒ＋Ｉ）の画素レベルが飽和していることから、被写体本来の光量のバランスと画像信号のバランスが異なる。このため、画像信号によって表現される色が、被写体には存在しない色となっている。この問題は、色マトリクス部８０１が入力された画像信号から不要波長成分を除去したＲ１、Ｇ１、Ｂ１の画像信号を生成することによって発生する。

１１０５は、１１０３の示す（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）信号から不要波長成分を除去せずにＲ、Ｇ、Ｂ信号を求めた例である。この画像信号はＷＢ処理部１０４から出力されるＲ４、Ｇ４、Ｂ４の画像信号に対応する。
本実施例では、１１０２の示す画像信号と１１０５の示す画像信号を、飽和度に応じてＲ信号生成部８０５乃至Ｂ信号合成部８０７が合成することにより、被写体の持つ色を正確に再現できるようにしている。

図１１は、実施例４と５における被写体を表す図であり、太陽、空、建物、山を被写体とした時に表示される画像のイメージ図である。このイメージ図に対して以下の事を仮定する。
１３０１の示す領域は空であるため、青く見える。１３０３の示す領域は太陽を含んでいるため光量が高く、白く見える。１３０２の示す領域は太陽と空の間であるため、青と白が混ざった色で見える。

以上の領域を図１０の画像信号のイメージに対応させ、さらに、次のように仮定する。
１３０１においては、図１０の１１０１で示すように画素レベルが飽和していない。１３０２においては、図１０の１１０３で示すように画像信号のいずれかが飽和している。１３０３においては、画像信号が全て飽和している。

１３０１においては画素レベルが飽和していないため、不要波長成分を除去しても色のバランスが崩れない。１３０３においては画像信号全てが飽和しているため、無彩色となる。しかし、１３０２においては、飽和している画像信号によって、色のバランスが崩れる現象が発生する。

そこで、本実施例では、被写体の色をより忠実に再現するため、飽和度検出部８０４、Ｒ信号合成部８０５、Ｇ信号合成部８０６、Ｂ信号合成部８０７を用いて、近赤外光域の不要波長成分を除去したＲ１、Ｇ１、Ｂ１と、不要波長成分を持つＲ４、Ｇ４、Ｂ４を、飽和度α２に応じて比率を変化させながら合成している。即ち、飽和度が低い場合は不要波長成分を除去したＲ１、Ｇ１、Ｂ１を用いた方が色再現性は良好であり、いずれかの色が飽和した場合は不要波長成分が有ってもＲ４、Ｇ４、Ｂ４を用いた方が色再現性は良好である。このため、飽和度α２に応じて比率を変化させながら双方を合成して、色差マトリクス部８０８に出力する信号Ｒ５、Ｇ５、Ｂ５を生成している。

なお、先の輝度信号に関する処理を述べた場合と同様に、色信号においても色差ガンマ部１１３の前の段階で前記した処理を行うことにより、色再現性をいっそう良好にすることができる。
本実施例において、飽和度とは、光量の増加に伴う、同時化部１０３から出力される信号の画素レベルの高さを意味する。

さらに、同時化部１０３から出力される画像信号において、（Ｉ）成分が（Ｒ＋Ｉ）（Ｇ＋Ｉ）（Ｂ＋Ｉ）成分より画素レベルが高い場合、不要波長成分を除去した画像信号は負の値をとることになる。画像信号が負の値をとった場合、その画像信号の画素レベルは０に切り上げられるため、画像信号のバランスが崩れる現象が発生する。本実施例では、この問題を解決するため、前記したように、Ｉ信号加算部８０３によって、不要波長成分を除去した画像信号に改めて（Ｉ）成分をＩ係数に応じた分だけ加算し、画像信号のバランスが崩れる現象を防いでいる。

この場合も、Ｉ信号加算部８０３から出力される画像信号は、Ｒ信号合成部８０５、Ｇ信号合成部８０６、Ｂ信号合成部８０７で、飽和度検出部８０４で検出された飽和度α２の値に基づいて、不要波長成分を除去していないＲ４、Ｇ４、Ｂ４の画像信号と合成される。これにより、（Ｉ）成分が（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、或いは（Ｂ＋Ｉ）成分より大きい場合についても、赤外光域成分も利用する本撮像装置において、可視光信号飽和付近の被写体が、実際の色と異なる色になる問題を軽減することができる。

図１２は、実施例５における撮像装置９００の構成図である。
撮像装置９００は、レンズ１０１、撮像部１０２、色信号処理部９０１、同時化部９０２、輝度マトリクス部９０３、色差マトリクス部８０８、輝度ガンマ部１１０、色差ガンマ部１１３、制御部１１４を有する。

図１２のレンズ１０１、撮像部１０２、輝度ガンマ部１１０、色差ガンマ部１１３、制御部１１４は図１のものと同様である。ただし、本実施例では、撮像部１０２から出力される画像信号はＲＡＷ（未加工の生データという意味である）形式であると仮定する。ＲＡＷ形式の信号とは、座標位置によって色信号が変化する形式である。例えば、撮像部１０２の撮像素子の配列された画素において、偶数行の偶数列を（Ｒ＋Ｉ）成分の信号、偶数行の奇数列を（Ｇ＋Ｉ）成分の信号、奇数行の偶数列を（Ｉ）成分の信号，奇数行の奇数列を（Ｂ＋Ｉ）成分の信号を生成する画素とする。従って、先の図２で示した画素の配列を有する撮像部１０２が生成する画像信号に対し、同時化部１０３による画素補間を行わない場合はＲＡＷ形式の画像信号が得られる。

図１２の同時化部１０３は、図１のものと同様で良い。また、図１２の色差マトリクス部８０８は、図８のものと同様で良い。
撮像部１０２から出力されたＲＡＷ信号は、色信号処理部９０１に供給され、後記するような信号処理を受けて同時化部９０２に供給される。
同時化部９０２は、色信号処理部９０１から出力されたＲＡＷ信号（以下で述べるようにＲＡＷ４）に対し、補間処理を施し、画像信号Ｒ、Ｇ、Ｂを出力する。
輝度マトリクス部９０３は、同時化部９０２から出力された画像信号を輝度信号Ｙに変換する。

図１３は、実施例５における色信号処理部９０１の構成図である。
色信号処理部９０１は、同時化部１０３、色マトリクス部８０１、逆同時化部１００１、ＷＢ処理部１０４Ａ及び１０４Ｂ、飽和度検出部１００２、ＲＡＷ信号合成部１００３を有する。

逆同時化部１００１は、同時化部１０３によって同時化された画像信号をＲＡＷ形式の信号（ＲＡＷ１）として、ＷＢ処理部１０４Ａに出力する。
ＷＢ処理部１０４Ａは、逆同時化部１００１から出力されたＲＡＷ形式の画像信号（ＲＡＷ１）に、光源の色温度に応じたゲインを積算してホワイトバランス調整を行い、得たＲＡＷ形式の画像信号（ＲＡＷ２）をＲＡＷ信号合成部１００３に出力する。

ＷＢ処理部１０４Ｂは、色信号処理部９０２に入力されたＲＡＷ形式の画像信号（ＲＡＷ）に、光源の色温度に応じたゲインを積算してホワイトバランス調整を行い、得たＲＡＷ形式の画像信号（ＲＡＷ３）をＲＡＷ信号合成部１００３に出力する。
飽和度検出部１００２は、撮像部１０２から出力された画像信号の飽和度α３を検出して、ＲＡＷ信号合成部１００３に出力する。
ＲＡＷ信号合成部１００３は、入力された二つのＲＡＷ形式の画像信号を飽和度α３に応じて合成し、得たＲＡＷ形式の画像信号（ＲＡＷ４）を、図１２の同時化部９０２に出力する。

例えば同時化部９０２、輝度マトリクス部９０３、色差マトリクス部８０８が可視光域のみに感度を持つ画素を有する一般的な撮像部を用いることを前提として設計されたとする。本実施例ではその前段に、可視光域及び近赤外光域の双方に感度を持つ撮像部１０２及び色信号処理部９０１を設けている。これにより、光量が低い場面においても被写体を明るく撮像する撮像装置９００を提供できる。

さらに、本実施例では、飽和度検出部１００２より検出された飽和度α３に応じて、ＲＡＷ信号合成部１００３を制御する。これにより以下で述べるように、赤外光域成分も利用する撮像装置９００において、可視光信号が飽和する付近の被写体が、実際の色とは異なる色になる問題を軽減することができる。

次に、本実施例の動作について説明する。
本実施例では、実施例４と同様に、色マトリクス部８０９から出力される画像信号は以下のように計算される。
Ｒ１ ＝ ｋｒ３×（Ｒ＋Ｉ）＋ｋｇ３×（Ｇ＋Ｉ）
＋ｋｂ３×（Ｂ＋Ｉ）＋ｋｉ３×（Ｉ） ・・・（式１３）
Ｇ１ ＝ ｋｒ４×（Ｒ＋Ｉ）＋ｋｇ４×（Ｇ＋Ｉ）
＋ｋｂ４×（Ｂ＋Ｉ）＋ｋｉ４×（Ｉ） ・・・（式１４）
Ｂ１ ＝ ｋｒ５×（Ｒ＋Ｉ）＋ｋｇ５×（Ｇ＋Ｉ）
＋ｋｂ５×（Ｂ＋Ｉ）＋ｋｉ５×（Ｉ） ・・・（式１５）
具体的には、例えば、実施例４の場合と同様に、下記のように設定することで、（Ｒ＋Ｉ）、（Ｇ＋Ｉ）、或いは（Ｂ＋Ｉ）のいずれの信号も飽和していない場合には、画像信号に近赤外光域の不要波長成分が現れるのを防ぐことができる。
ｋｒ３＝１．００， ｋｇ３＝ ０．００
ｋｂ３＝０．００， ｋｉ３＝−１．００
ｋｒ４＝０．００， ｋｇ４＝ １．００
ｋｂ４＝０．００， ｋｉ４＝−１．００
ｋｒ５＝０．００， ｋｇ５＝ ０．００
ｋｂ５＝１．００， ｋｉ５＝−１．００ ・・・（式１６）
逆同時化部１００１は、色マトリクス部８０１から出力される画像信号Ｒ１、Ｇ１、Ｂ１と、同時化部１０３から出力される（Ｉ）成分の信号をＲＡＷ形式の信号（ＲＡＷ１）へ変換し、ＷＢ処理部１０４Ａに出力する。
飽和度検出部１００２は、例えば、撮像部１０２から出力されるＲＡＷ信号の画素レベルに応じて飽和度α３を決定する。飽和度α３は、注目画素の飽和度を示す０．０から１．０の間の値である。飽和度が高いほど、注目画素が飽和に近いことを示している。

例えば、飽和度を図１の飽和度検出部１１１と同様の計算式で算出することも可能であり、図８の飽和度検出部８０４と同様の制御信号を用いて算出することも可能である。
ＲＡＷ信号合成部１００３は、（式２０）の演算を行う。
ＲＡＷ４＝（１−α３）×ＲＡＷ２＋α３×ＲＡＷ３ ・・・（式２０）
（式１９）は、ＲＡＷ２信号とＲＡＷ３信号を、飽和度α３に基づいて合成する演算となっている。
なお、図１３に示した色信号処理部９０１は、色信号処理装置として単体で装置を構成できることは言うまでもない。
本実施例によれば、可視光域のみに感度を持つ画素を有する一般的な撮像部を用いる場合と比較して、光量が低い場面においても被写体を明るく撮像可能な撮像装置９００を提供できる。

さらに、本実施例によれば、飽和度検出部１００２より検出された飽和度α３に応じて、ＲＡＷ信号合成部１００３を制御することにより、赤外光域成分も利用する本撮像装置において、可視光信号が飽和する付近の被写体が、実際の色と異なる色になる問題を軽減することができる。

図１４は、実施例６における撮像システム１４００の構成図である。
撮像システム１４００は、撮像装置１４０１、表示装置６０１、システム制御部６０２を有する。撮像装置１４０１は、実施例４で示した撮像装置７００、または実施例５で示した撮像装置９００と同様で良い。表示装置６０１、システム制御部６０２は図６に示したものと同様で良い。

システム制御部６０２は、撮像装置１４０１及び表示装置６０１を制御する。
本実施例によれば、撮像装置１４０１から出力される色信号に関し、赤外光域成分も利用する本撮像装置においても、可視光信号が飽和する付近の被写体が、実際の色と異なる色になる問題を軽減でき、例えば、明るい被写体と暗い被写体の双方に対して高品質な画像を要求される車載向けの撮像システムとすることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：撮像装置、１０１：レンズ、１０２：撮像部、１０３：同時化部、１０４：ＷＢ処理部、１０５：第１輝度係数出力部、１０６：第２輝度信号生成部、１０７：第１輝度係数出力部、１０８：第２輝度信号生成部、１０９：輝度信号合成部、１１０：輝度ガンマ部、１１１：飽和度検出部、１１２：色差信号生成部、１１３：色差ガンマ部、１１４：制御部、１１５：輝度信号処理部、２００：撮像装置、２０１：輝度信号合成部、２０２：輝度信号処理部、４０１：（Ｒ＋Ｉ）画素、４０２：（Ｇ＋Ｉ）画素、４０３：（Ｉ）画素、４０４：（Ｂ＋Ｉ）画素、６００：撮像システム、６０１：表示装置、６０２：システム制御部、７００：撮像装置、７０１：輝度信号処理部、７０２：色信号処理部、８０１：色マトリクス部、８０２：I係数出力部、８０３：I信号加算部、８０４：飽和度検出部、８０５：Ｒ信号合成部、８０６：Ｇ信号合成部、８０７：Ｂ信号合成部、８０８：色差マトリクス部、９００：撮像装置、９０１：色信号処理部、９０２：同時化部、９０３：輝度マトリクス部、１００１：逆同時化部、１００２：飽和度検出部、１００３：ＲＡＷ信号合成部、１４００：撮像システム。

Claims (7)

1. 被写体を撮像する撮像装置であって、
   可視光域及び近赤外光域の光に応じた第１の画像信号と近赤外光域の光に応じた第２の画像信号とを出力する撮像部と、
   該撮像部が出力した第１の画像信号と第２の画像信号とに基づき画像信号の飽和度を検出する飽和度検出部と、
   前記撮像部が出力した第１の画像信号と第２の画像信号とが供給され、前記第１の画像信号から前記近赤外光域の光に応じた信号を除去して第１の色信号を生成する第１の色信号生成部と、前記第１の画像信号から第２の色信号を生成する第２の色信号生成部と、前記飽和度検出部が検出した飽和度に応じて前記第１の色信号と第２の色信号を前記飽和度が高いほど前記第２の色信号の第１の色信号に対する比率を高めて合成し出力する色信号合成部を備えた色信号処理部
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記色信号処理部は、
   前記第１の色信号のホワイトバランスを調整して前記色信号合成部に供給する第１のホワイトバランス処理部と、
   前記第２の色信号のホワイトバランスを調整して前記色信号合成部に供給する第２のホワイトバランス処理部
   を有することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、前記色信号処理部は、
   第１の信号生成部が生成した第１の色信号の値がゼロ又は負の値である場合には、前記第１の色信号に前記近赤外光域の光に応じた信号を加算して前記色信号合成部に供給する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、前記第１の色信号及び第２の色信号は三原色信号であることを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、前記第１の色信号及び第２の色信号は、前記撮像部の画素における画素補間処理を施さない状態であるＲＡＷ形式の色信号であることを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記色信号処理部は、前記色信号合成部が出力した色信号を色差信号に変換して出力する色差マトリクス部を有し、
   前記撮像装置は、前記色差マトリクス部が出力した色差信号に対して該色差信号を表示する装置の特性を補正するためのガンマ補正を施す色差ガンマ部
   を有することを特徴とする撮像装置。
7. 被写体を撮像する撮像装置であって、
   可視光域及び近赤外光域の光に応じた第１の画像信号と近赤外光域の光に応じた第２の画像信号とを出力する撮像部と、
   該撮像部が出力した第１の画像信号と第２の画像信号とに基づき画像信号の飽和度を検出する飽和度検出部と、
   前記撮像部が出力した第１の画像信号と第２の画像信号とが供給され、前記第１の画像信号から前記近赤外光域の光に応じた信号を除去して第１の輝度信号を生成する第１の輝度信号生成部と、前記第１の画像信号から第２の輝度信号を生成する第２の輝度信号生成部と、前記飽和度検出部が検出した飽和度に応じて前記第１の輝度信号と第２の輝度信号を前記飽和度が高いほど前記第２の輝度信号の第１の輝度信号に対する比率を高めて合成し出力する輝度信号合成部を備えた輝度信号処理部
   を有することを特徴とする撮像装置。

Images