JP4397724B2 - 撮像装置、カメラ、及び信号処理方法 - Google Patents

Description

この発明は、撮像装置に関し、特に赤外除去フィルタ（ＩＲＣＦ）を用いずに比視感度補正を行う信号処理手段を具備した撮像装置に関する。本発明はまた、そのような撮像装置を備えたカメラに関するものである。本発明はさらに、そのような撮像装置における信号処理方法に関する。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の画像信号を得る信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）センサを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マジェンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。

一方、人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）を設ける必要があった。

一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、近赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に近赤外光を受光させるほうが良い。

そこで、色再現性を必要とするときはＩＲＣＦを撮像素子の前に設置し、感度を優先するときは近赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。
また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。

特開２００１−３６８０７公報 特開２００３−１３４５２２公報 特開２００３−２６４８４３公報

しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、撮像素子の電子シャッタを用いて光量調整を行う簡易的な撮像装置（例えば、ピーシーカメラ（ＰＣカメラ）、携帯電話用カメラ、トイカメラ（ＴＯＹカメラ）、民生用監視カメラ）は絞り機構を有していないことが多いため、新たにＩＲＣＦを着脱する機構手段を設けなければならない。

また、特許文献２及び３に挙げた撮像装置は白黒の映像信号を得るときは問題ないが、カラーの映像信号を得るときは、色信号はホワイトバランスを合わせるのみであり、さらに輝度信号も人間の比視感度特性が考慮されていない色信号比であるため、そのカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値と異なった映像信号、すなわちカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値に対する色差ΔＥ＊ａｂ（ＪＩＳ Ｚ８７３０）の大きな映像信号となり、正確な色再現性が得られない。

本発明は、上述のような課題を解消するためになされたもので、ＩＲＣＦを用いることなく、近赤外光が入射されたときでも、色再現性の良好なカラーの映像信号を得るとともに、暗時には感度の高い映像信号が得られる信号処理方式および撮像装置を提供するものである。

本発明は、
入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段と、
前記第１の赤、緑、青の色信号と前記第１の赤、緑、青の色信号に予め定めた第１の定数を指数としてべき乗することによって得られる色信号と、前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正手段とを備え、
前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている
ことを特徴とする撮像装置を提供する。

本発明によれば、ＩＲＣＦを用いなくても、良好な色再現性を得ることができる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す概略構成図である。図示のように、この撮像装置は、撮像手段１と、増幅手段２と、Ａ／Ｄ変換器（ＡＤＣ）３と、直流成分再生手段（ＤＣ再生手段）４と、ホワイトバランス手段５と、分光感度特性補正手段６と、ガンマ（γ）補正手段７と、輝度色差信号生成手段８とを含む。

撮像手段１は、例えば図２（ａ）、（ｂ）に示すように、レンズ１０ａと、２次元的に配列された複数の光電変換素子を有する撮像素子１１と、色分離手段としての色フィルタ１０ｂとを有する。
撮像素子１１の複数の光電変換素子は、例えば図２（ａ）に示すようにベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光透過率を有する色フィルタ１０ｂで覆われている。

レンズ１０ａから入射した光は、撮像素子１１の受光面上に結像する。撮像素子１１は、上記のように、色フィルタ１０ｂで覆われており、各光電変換素子からは、色フィルタ１０ｂの分光透過率に対応した色成分、即ちＲ、Ｇ、Ｂのアナログ映像信号Ｒ１、Ｇ１、Ｂ１が出力される。

このようにして、撮像手段１から出力されるＲ、Ｇ、Ｂのアナログ信号（以下、それぞれ「Ｒ信号」、「Ｇ信号」、「Ｂ信号」と言うことがある）は、増幅手段２によって増幅される。増幅手段２から出力された映像信号はＡＤＣ３によってディジタル信号に変換される。ディジタル信号に変換された映像信号はＤＣ再生手段４により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。

積算手段９は、ＤＣ再生手段４から出力されるＲ信号、Ｇ信号、及びＢ信号をそれぞれ複数の画素に亘って、例えば画面全体に亘って積算し、Ｒ信号の積算値ΣＲ、Ｇ信号の積算値ΣＧ、及びＢ信号の積算値ΣＢ及びを求める。

次に、ホワイトバランス（ＷＢ）手段５は、それぞれＲ、Ｇ、Ｂ信号を増幅する３つの増幅手段（図示しない）を有し、ＤＣ再生手段４からのＲ、Ｇ、Ｂ信号を受けて、さらに、積算手段９から積算値ΣＲ、ΣＧ、ΣＢを受けて、映像信号の撮像条件に応じて被写体の白の箇所のＲ、Ｇ、Ｂ信号の値が等しくなる（すなわち白の箇所が無彩色になる）ような処理を施す。通常、ホワイトバランス手段５は一般被写体の、画面内のすべての画素についての積算した色は無彩色であるというエバンスの原理に基づき、積算値ΣＲ、ΣＢ、ΣＧの値が等しくなるように３つの増幅手段の利得を変化させてホワイトバランスを行う。

上記の撮像手段１、増幅手段２、ＡＤＣ３、ＤＣ再生手段４、ホワイトバランス手段５、及び積算手段９により、入射光を受けて、入射光に対応したＲ、Ｇ、Ｂの色信号を出力する色信号生成手段２０が構成されている。

分光感度特性補正手段６は、ホワイトバランス手段５から出力されたホワイトバランス後のＲ、Ｇ、Ｂ信号Ｒ５、Ｇ５、Ｂ５を入力とし、それぞれの信号を後述するマトリクス演算することにより撮像手段１の近赤外領域の感度特性による色再現性への影響を補正したカラー信号Ｒ６、Ｇ６、Ｂ６を出力する。

ガンマ補正手段７は分光感度特性補正手段６から出力された映像信号Ｒ６、Ｇ６、Ｂ６に非線形の階調変換を行う。

輝度色差信号生成手段８はガンマ補正手段７から出力されたＲ、Ｇ、Ｂ信号Ｒ７、Ｇ７、Ｂ７を輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。輝度色差信号生成手段８は、この変換（ＹＣｒＣｂ変換）においては、通常３行３列の係数マトリクスを掛ける、下記の式（２）の線形マトリクス演算を行ってＹ、Ｃｒ、Ｃｂ信号を生成する。

式（２）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１）に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定める。

分光感度特性補正手段６についてその構成と原理を以下に説明する。
分光感度特性補正手段６は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するためのものである。

図３は分光感度特性補正手段６の構成を示す概略構成図である。ホワイトバランス手段５から出力されたＲ、Ｇ、Ｂの色信号Ｒ５、Ｇ５、Ｂ５は分光感度特性補正手段６に入力される。分光感度特性補正手段６は入力信号をべき乗するべき乗手段（６１，６２，６３，６４，６５，６６）と入力される各信号に予め定めた係数で乗算し、加算する３行９列マトリクス演算手段６７とを有する。

べき乗手段６１、６３、６５は、１より小さい実数ｉを指数とするべき乗を行うもので、その出力は入力のｉ乗またはこれに比例した値であり、べき乗手段６２、６４、６６は、１より大きい実数ｊを指数とするべき乗を行うもので、その出力は入力のｊ乗またはこれに比例した値ある。より具体的には、３つのべき乗手段６１、６３、６５の入出力特性は互いに同じであり、入力信号をｘとし、出力信号をｙとし、それらの取り得る値の最大値をＭＡＸとすると、ｘとｙとの間には、
（ｙ／ＭＡＸ）＝（ｘ／ＭＡＸ）^ｉ
の関係がある。
ｘ、ｙが８ビットで表される場合、ＭＡＸは２^８−１＝２５５である。
また、３つのべき乗手段６２、６４、６６の入出力特性は互いに同じであり、入力信号をｘとし、出力信号をｚとし、それらの取り得る値の最大値をＭＡＸとすると、ｘとｚとの間には、
（ｚ／ＭＡＸ）＝（ｘ／ＭＡＸ）^ｊ
の関係がある。
ｘ、ｚが８ビットで表される場合、ＭＡＸは２^８−１＝２５５である。
但し、以下の説明では、簡略化のため、Ｒ５、Ｇ５、Ｂ５を入力とするべき乗手段の出力をＲ５^ｉ、Ｒ５^ｊ、Ｇ５^ｉ、Ｇ５^ｊ、Ｂ５^ｉ、Ｂ５^ｊと表す。

Ｒ信号Ｒ５はそのままマトリクス演算手段６７の入力端子６０１に入力されるとともに、べき乗手段６１及び６２に入力され、これらの出力（Ｒ５^ｉ、Ｒ５^ｊ）がマトリクス演算手段６７の入力端子６０２、６０３に入力される。
同様に、Ｇ信号Ｇ５はそのままマトリクス演算手段６７の入力端子６０４に入力されるとともに、べき乗手段６３及び６４に入力され、これらの出力（Ｇ５^ｉ、Ｇ５^ｊ）がマトリクス演算手段６７の入力端子６０５、６０６に入力される。
同様に、Ｂ信号Ｂ５はそのままマトリクス演算手段６７の入力端子６０７に入力されるとともに、べき乗手段６５及び６６に入力され、これらの出力（Ｂ５^ｉ、Ｂ５^ｊ）がマトリクス演算手段６７の入力端子６０８、６０９に入力される。

マトリクス演算手段６７は、３行９列のマトリクス係数を掛けるマトリクス演算を行うものであり、３行９列の係数マトリクスを用いてマトリクス演算を行い、Ｒ、Ｇ、Ｂの色信号Ｒ６、Ｇ６、Ｂ６を生成する。演算により求められたＲ、Ｇ、Ｂ信号Ｒ６、Ｇ６、Ｂ６はそれぞれ、端子６５１、６５２、６５３から出力される。

マトリスク手段６７は、例えば以下の式（１）のマトリクス演算を行うものである。

式（１）において、ｒ１乃至ｒ９、ｇ１乃至ｇ９、及びｂ１乃至ｂ９は予め定めた係数である。

定数ｉ、ｊ及び係数ｒ１乃至ｒ９、ｇ１乃至ｇ９、及びｂ１乃至ｂ９は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている。

マトリクス演算手段６７は、例えば図４に示すように構成される。図示のようにこのマトリクス演算手段６７は、２７個の乗算手段（６１１乃至６３９）と３個の加算手段（６４１、６４２、６４３）とを有する。

乗算手段６１１乃至６１９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、Ｒ５^ｉ、Ｇ５^ｉ、Ｂ５^ｉ、Ｒ５^ｊ、Ｇ５^ｊ、Ｂ５^ｊに所定の係数ｒ１、ｒ２、ｒ３、ｒ４、ｒ５、ｒ６、ｒ７、ｒ８、ｒ９を掛けて、乗算結果を加算手段６４１に出力する。加算手段６４１は入力の総和を求め、信号Ｒ６として出力する。
乗算手段６２１乃至６２９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、Ｒ５^ｉ、Ｇ５^ｉ、Ｂ５^ｉ、Ｒ５^ｊ、Ｇ５^ｊ、Ｂ５^ｊに所定の係数ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、ｇ７、ｇ８、ｇ９を掛けて、乗算結果を加算手段６４２に出力する。加算手段６４２は入力の総和を求め、信号Ｇ６として出力する。
乗算手段６３１乃至６３９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、Ｒ５^ｉ、Ｇ５^ｉ、Ｂ５^ｉ、Ｒ５^ｊ、Ｇ５^ｊ、Ｂ５^ｊに所定の係数ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６、ｂ７、ｂ８、ｂ９を掛けて、乗算結果を加算手段６４３に出力する。加算手段６４３は入力の総和を求め、信号Ｂ６として出力する。

なお、図４に示したマトリクス演算手段は式（１）で示した演算を実現するための一例であり、他の構成の演算手段で式（１）の演算を実現しても同様の効果が得られる。

マトリクス演算手段６７の乗算手段６１１乃至６３９で用いられる係数は、以下のように定められる。

まず、本発明の分光感度特性補正手段６による補正の原理を説明する。
図５に人間の色覚特性を表した分光感度特性を示す。図５に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は色順応などの機能を無視し、簡単に表せば図５に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図５に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、７００ｎｍより長波長側ではほとんど感度特性がない。

それに対して、撮像手段１は光電変換を行うフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、感度特性は可視域から近赤外領域（１０００ｎｍ近辺）まで感度特性を有する。よって、撮像手段１に色分解を行うＲＧＢの色フィルタ１０ｂを設けた場合、色フィルタの分光特性とフォトダイオードの感度特性の積に応じたＲ、Ｇ、Ｂの信号が撮像手段１から出力される。

図６に撮像手段１のＲ，Ｇ，Ｂ信号の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）を実線で示す。図６に示すようにＲの色フィルタは近赤外領域の透過率も比較的高いため、近赤外線を撮像素子１１に入射させる。また、Ｂの光を入射するためのＢの色フィルタや、Ｇの光を入射するためのＧの色フィルタも同様に近赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から近赤外領域に掛けて再び透過率が上がる特性を有しているためである。

図６に実線で示した撮像手段１のＲＧＢの分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）は図５に示した等色関数とは異なり、特に近赤外領域では著しく異なるため、通常の撮像装置では近赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子の前に設けている。ＩＲＣＦの分光透過特性ＩＲＣＦ（λ）も図６に実線で示されている。ＩＲＣＦ（λ）とＲＧＢの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が従来のＩＲＣＦを具備した場合の撮像手段１のＲＧＢ信号に対応するそれぞれの色の分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）となり、図６の破線でその特性を示す。

また、従来の撮像装置では図６の破線で表した分光感度特性とした場合でも、図５で示した負の特性は実現できないため、撮像手段から得られたＲＧＢ信号を式（３）で示すように３行３列の係数マトリクスを掛けるマトリクス演算を行いその色補正を行っていた。

しかしながら、ＩＲＣＦを用いない場合には、近赤外線による感度特性によって出力される信号が色再現性に与える影響が大きく、上記のような３行３列の係数マトリクスを掛ける線形マトリクス演算を行っても良好な色再現性が得られない。これに対して、本発明では図６に実線で示した、ＩＲＣＦを用いない場合の撮像素子１の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）の、近赤外領域のＲＧＢそれぞれの感度特性相互間の差を利用して良好な色再現性を実現している。

図７に図６に示した分光感度特性の近赤外領域の拡大図を示す。Ｒ、Ｇ、Ｂのフィルタとフォトダイオードを組合せたものの分光感度特性は略８５０ｎｍから８６０ｎｍ近辺でその感度が一致して、それより波長が長くなるにつれて、同様に減衰していく。また、Ｇの分光感度特性は略６５０ｎｍ近辺まで一旦減衰しその後透過率を上げて略８５０ｎｍ近辺をピークに減衰していく。Ｂの分光感度特性は略７６０ｎｍ近辺から透過率を上げ同様に略８５０ｎｍ近辺でピークとなり、それより長い波長領域では次第に減衰していく。

このように、略６５０ｎｍから８００ｎｍまでの領域においてＲの分光感度特性ｒ（λ）とＧの分光感度特性ｇ（λ）とＢの分光感度特性ｂ（λ）との間にそれぞれ差異が生じるため、この差異を利用して近赤外領域におけるＲＧＢの色分離を行うことができ、近赤外線の影響による色再現性に補正を加えることができることとなる。

具体的には、マトリクスの演算に非線形の演算を含ませる。
例えば図８にＧの分光感度特性をｇ（λ）として示す。また、図８に前記のＧの分光感度特性のｉを指数とするべき乗、例えば０．３乗し、その最大値で正規化した特性をｇ^ｉ（λ）として示す。さらに図８に前記Ｇの分光感度特性のｊを指数とするべき乗、例えば２乗し、その最大値で正規化した特性をｇ^ｊ（λ）示す。図８に示すように１より小さい値を指数としてべき乗をした場合には、不必要とする近赤外側の分光感度特性と必要とする可視域の分光感度特性との感度差は小さくなり、１より大きい値を指数としてべき乗をした場合には、不必要とする近赤外側の分光感度特性と必要とする可視域の分光感度特性との感度差は大きくなる。よって、１より大きな値を指数としてべき乗を行う演算と１より小さな値を指数としてべき乗を行う演算を含む非線形マトリクス演算により、赤外領域を含む赤外光を入射した際にも、適切な色補正を行い、良好な色再現性を得ることができる。
ここでの色再現性とは人間の目で見える色に略一致させることであり、かつ目で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する。

例えば、色信号生成手段２０と分光感度特性補正手段６における補正の総合的な特性が、ＣＩＥ１９３１等色関数又はＣＩＥ１９３１等色関数を線形変換することにより得られた等色関数に近似したものとなるように上記のマトリクス演算で用いられる係数ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９及び定数ｉ、ｊを定めることとする。

なお、上記の実施の形態における分光感度特性補正手段のべき乗手段（６１，６２，６３，６４，６５，６６）は、入出力がべき乗の関係となるＬＵＴ（ルックアップテーブル）で構成しても良い。

また、上記の実施の形態では、ＡＤＣ３を設け、それ以降の演算をディジタル信号処理にて行ったが、アナログ信号処理を用いても同様の効果が得られる。
アナログ信号で処理する場合には、べき乗をべき乗値に近似する値の信号を出力するように、入力信号レベルに応じて利得を変化させる増幅手段で構成してもよい。これは、例えばトランジスタと演算増幅器とを組み合わせた回路で実現することができる。

さらにまた、上記の実施の形態では、撮像手段１が１枚の撮像素子１１からなるもの、即ち単板式のものであり、色フィルタ１０ｂで色分離を行うものとして説明した。
代わりに、図９に示すように、撮像手段１として３枚の撮像素子１１ｒ、１１ｇ、１１ｂを備えたものを用い、撮像素子１１ｒ、１１ｇ、１１ｂの前であって、レンズ１０ａの後に設けたダイクロイックプリズム１０ｃで色分解することにより得られるＲ、Ｇ、Ｂの光を撮像素子１１ｒ、１１ｇ、１１ｂに入射させ、それぞれの撮像素子１１ｒ、１１ｇ、１１ｂからＲ，Ｇ，Ｂの色信号を得るように構成することもできる。

上記の実施の形態によれば、ＩＲＣＦを用いなくても、良好な色再現性を得ることができ、また非線形マトリクス演算を行うことで、等色条件を高精度に近似し、良好な色再現性を得ることができることができる。

実施の形態２．
図１０はこの発明の実施の形態２による撮像装置を示す概略構成図である。図１０において、図１と同じ符号は同様の部材を示す。図１に示した撮像装置と異なる点は、分光感度特性補正手段６の内容が異なること、除算手段１２と、係数生成手段１３とが付加されていることである。

図１０の分光感度特性補正手段６は、図１の分光感度特性補正手段６と同様であるが、マトリクス演算手段６７におけるマトリクス演算で用いられるマトリクス係数ｒ１乃至ｒ９、ｂ１乃至ｂ９、ｇ１乃至ｇ９が定数ではなく変数であり、係数生成手段１３から供給された値を用いる点で異なる。

除算手段１２は、積算手段９からＲ信号の積算値ΣＲ又はＢ信号の積算値ΣＢ及びＧ信号の積算値ΣＧを受けて、これらの積算値の相互間の比ΣＲ／ΣＧ又はΣＢ／ΣＧを算出して出力する。図では、Ｒ信号の積算値ΣＲ及びＧ信号の積算値ΣＧを受けて、これらの積算値の相互間の比ΣＲ／ΣＧを算出するものとして図示している。

係数生成手段１３は、除算手段１２の出力に基いて係数を決定する。
係数生成手段１３は、除算手段１２で求めた積算値の比に応じて係数を算出して出力するものであっても良く、また、予め数種の定数の組を記憶しておき、比に応じてそれらから最適のものを選択して出力するものであっても良い。
図１０の分光感度特性補正手段６のマトリクス演算手段６７は、係数生成手段１３から出力された係数を用いて、マトリクス演算を行う。

以下、マトリクス演算手段６７で用いられる係数の変更の意義について説明する。
撮像手段１から出力されるＲ、Ｇ、Ｂ信号Ｒ１、Ｇ１、Ｂ１は被写体の分光反射特性と、照明の分光特性と、撮像手段１の分光感度特性の積で求まるため、撮像時の照明が変わるとその分光特性も変わる。従って、（これに対する補正を加えなければ）撮像装置から得られる色再現性も照明ごとに異なることになる。
通常撮像装置と人間の色彩に関する分光感度特性（等色関数）が完全に一致していなくても人間の分光感度特性の線形変換で成り立つルータ条件を満たしていればよい。

通常撮像手段１の分光感度特性は、たとえＩＲＣＦを具備したとしても、人間の分光感度特性とは異なる。そこで、従来の撮像装置では、特定の代表的な照明のときのみ良好な色再現性が得られるように前述した式（３）にて示した３行３列のマトリクス演算手段によって人間の見た色に近づくように色調整を行っているが、撮像手段１と人間の目の分光感度特性が一致していないため当然、被写体の照明が異なれば撮像装置の色再現性は異なることになる。なお、特定の照明条件下のみで色再現性が合うことを条件等色という。

ただし、例えば、撮像素子１の分光特性ｒ（λ）、ｇ（λ）、ｂ（λ）（図６に実線で示す）とＩＲＣＦの分光特性とを掛けあわせた分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）（図６に破線で示す）と、人間の目の分光感度特性は著しく異なっているわけではないため、照明が変わっても大きく色再現性に破綻をきたすことは無く、撮像装置には測色機なみの性能が要求されるわけではなく、従来の民生品などはそれで良しとされている。

一方、本実施の形態にして示す撮像素子１の分光感度特性はＩＲＣＦを具備しないため、図６に実線で示した特性であり、人間の目の分光感度特性と近赤外領域において著しくその特性が異なる。そのため照明が異なると大きく色再現性が異なってしまう。例えば、図１１は黒体輻射による３０００Ｋの色温度を有する光源の分光特性である。図１２は黒体輻射による６５００Ｋの色温度を有する光源の分光特性である。図１１に示した光源において、分光反射特性が平坦な白色の被写体を撮像し、Ｒ、Ｇ、Ｂの分光感度特性の積算した面積が等しくなるようにホワイトバランスを行った分光感度特性を図１３に示す。次に図１２に示した光源において、分光反射特性が平坦な白色の被写体を撮像し、Ｒ、Ｇ、Ｂの分光感度特性の積算した面積が等しくなるようにホワイトバランスを行った分光感度特性を図１４に示す。図１３と図１４に示されるように、分光特性が大きく異なり、従って、これら２種の分光感度特性では色再現性も大きく異なる。これより照明が異なれば色再現性も大きく異なることが分かる。

そこで、本実施の形態では、積算手段９から得たＲ又はＢ、及びＧの積算値に応じて除算手段１２及び係数生成手段１３により補正マトリクス６の３行９列のマトリクス係数を変化させる。図１５に太陽光などの自然光とほぼ同じ演色性を実現する黒体輻射による色温度によるＲ、Ｇ、Ｂの積算値の比を示す。図１５に示すように、積算値の比ΣＲ／ΣＧに対して、積算値の比ΣＢ／ΣＧは一義的に得られる関係となっている。

よって、ΣＲ／ΣＧもしくはΣＢ／ΣＧが分かれば光源の色温度を推定することができ、それに応じた適切なマトリクス係数を求めることができる。

適切なマトリクス係数の求め方の一例を示す。例えば、被写体として現存する色を代表するカラーパッチを多く含み、かつ人間の記憶色（肌色、植物の緑、空の青等）を重視した２４種のカラーパッチを有するマクベスカラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ（登録商標））が挙げられる。また、カラーターゲットとすべきＲＧＢの分光感度特性として、図１６に示すＩＥＣ（ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＥＬＥＣＴＲＯＴＥＣＨＮＩＣＡＬ ＣＯＭＭＩＳＳＩＯＮ）６１９６６−２で定められている機器相互間で標準となる等色関数としてｓＲＧＢが挙げられる。

そこで、図１１、図１２に例示するように種々の色温度の互いに異なる照明の分光特性（既知の値）と上記ｓＲＧＢの等色関数（既知の値）とカラーパッチのそれぞれのパッチの分光反射特性（既知の値）を掛けあわせ、全波長領域に渡り積算した各パッチのＲＧＢ値に対して、ホワイトバランスを行った後の各パッチの色（Ｒ，Ｇ，Ｂ値）がカラーターゲットとなる色再現性とする。

そして、図６に実線で示した撮像素子１の分光感度特性と、図１１、図１２に例示するように種々の色温度の互いに異なる照明の分光特性（既知の値）と、カラーパッチのそれぞれのパッチの分光反射特性（既知の値）を掛け合わせ、全波長領域に対して積算したカラーパッチのＲＧＢ値に対して、分光感度特性補正手段６によってマトリクス演算を行うことにより得られるＲＧＢ値が、上記のカラーターゲットとしてのＲＧＢ値に最も近くなるように分光感度特性補正手段６の３行９列のマトリクス係数を求める。

カラーターゲットとしてのＲＧＢ値と、分光感度特性補正手段６によって求めたＲＧＢ値とが最も近いかどうかの判定は、最小二乗法により、即ち両者のそれぞれ対応する値の差の二乗の総和を求めて、この総和が最小かどうかを判定することにより行われる。

上記の方法により求めたマトリクス係数の一例を図１７乃至図１９に示す。ｉ＝０．３、ｊ＝２．０のとき比ΣＲ／ΣＧに対してそれぞれのマトリクス係数を図示するように変化させることで照明に応じて常に良好な色再現性が得られる。

図２０には本実施の形態による色再現性の例を示す。ここで、定数ｉ、ｊはそれぞれｉ＝０．３、ｊ＝２．０である。図６に示した撮像素子の分光感度特性（図６の実線）にＩＲＣＦの特性を掛け合わせ赤外領域での色覚補正を行った場合（図６破線）と、ＩＲＣＦを備えない撮像素子の分光感度特性（図６の実線）と、本実施の形態に示す分光感度特性補正手段６によるマトリクス演算を行った場合の、それぞれのカラーパッチの色と、カラーターゲットとしたカラーパッチの色との色差ΔＥ＊ａｂ（ＪＩＳ Ｚ８７３０−１９９６）を示している。

マクベスカラーチェッカーには、２４種のカラーパッチがあり、それぞれについて色差値の平均が平均値として示され、２４種のカラーパッチの中で最大の色差値が最大値として示されている。マトリクス係数は前記の最小二乗法で誤差が最小となる係数を選択している。色差ΔＥ＊ａｂの値が小さいほうがターゲットカラーの色に近く、０の場合完全に一致していることを意味する。また色差ΔＥ＊ａｂが大きくなるにつれて色再現性の、目標とすべき色からの隔たりが大きくなっていることを意味している。

図２０に示した結果からわかるように、ＩＲＣＦを有さない撮像素子の分光感度特性（図６の実線）のときと比べ著しく色再現性が改善されており、ＩＲＣＦを有した場合に比べても色差ΔＥ＊ａｂが小さいことからほとんど差異のない色再現性が実現できていることが分かる。

なお、図１７乃至図１９はΣＲ／ΣＧに対してそれぞれのマトリクス係数を記述したが、比ΣＢ／ΣＧは比ΣＲ／ΣＧに対して一義的に求められるため、ΣＢ／ΣＧに対してそれぞれのマトリクス係数を求めても同様の効果は得られる。

また、上記の例では、積算手段９がＤＣ再生手段４の出力を積算しているが、ＡＤＣ３の出力を積算するようにしても良く、ホワイトバランス手段５の出力を積算するようにしても良い。

なお、上記の実施の形態では、もともとホワイトバランス手段５における演算のために必要な積算値ΣＲ、ΣＧ、ΣＢを求める積算手段９の出力を用いて除算手段１２における演算を行っている。この場合、積算手段９は、色信号生成手段２０の一部であるとともに、それとは異なる役割をも有している。

除算手段１２は、上記のように、比ΣＲ／ΣＧ及び比ΣＢ／ΣＧのいずれか一方を求めればよいので、除算手段１２のために積算手段９とは別の積算手段を設ける場合には、Ｒ信号の積算値ΣＲとＢ信号の積算値ΣＢのいずれか一方と、Ｇ信号の積算値ΣＧとを求めるものとすればよい。

上記の実施の形態によれば、照明の色温度に応じてマトリクス係数を変えて、照明の色温度によらず常に良好な色再現性を得ることができる。

実施の形態３．
図２１はこの発明の実施の形態３による撮像装置を示す概略構成図である。図２１において、図１０と同じ符号は同様の部材を示す。図１０に示した撮像装置と異なる点は、輝度色差信号生成手段８の代わりに、輝度色差信号生成手段２８が設けられていること、加算手段１４と、判定手段１５と、特定マトリクス生成手段１６と、選択手段１７と、係数生成手段１８とが付加されていることである。

加算手段１４は、積算手段９が出力するＲ信号の積算値ΣＲ、Ｇ信号の積算値ΣＧ、およびＢ信号の積算値ΣＢの総和ΣＲＧＢを求める。

判定手段１５は、加算手段１４の出力が所定値より大きいか小さいかの判定を行い、所定値よりも大きいときは、第１のモードを指定する信号を生成し、所定値よりも小さいときは第２のモードを指定する信号を生成する。

特定マトリクス生成手段１６は、特定の係数から成るマトリクスを生成する。特定マトリクスは、例えば式（１）における係数マトリクスにおいて、ｒ１＝ｇ２＝ｂ３＝１とするとともに、他のマトリクス係数をすべて０としたものである。

選択手段１６は、判定手段１５の判定結果に基いて、係数生成手段１３の出力又は特定マトリクス生成手段１６の出力のいずれかを選択して出力する。即ち、判定手段１５が第１のモードを指定する信号を生成しているときは、係数生成手段１３の出力を選択して出力し、判定手段１５が第２のモードを指定する信号を生成しているときは、特定マトリクス生成手段１６の出力を選択して出力する。

係数生成手段１８は、判定手段１５の出力に基いて係数を決定する。即ち、判定手段１５が第１のモードを指定する信号を出力しているとき（加算手段１４の出力が所定値より大きいと判定されたとき）は、第１のマトリクス係数を出力し、判定手段１５が第２のモードを指定する信号を出力しているとき（加算手段１４の出力が所定値より小さいと判定されたとき）は、第１のマトリクス係数とは異なる第２のマトリクス係数を出力する。

輝度色差信号生成手段２８は、マトリクス演算で用いられるマトリクス係数ｙ１乃至ｙ３、ｃｒ１乃至ｃｒ３、ｃｂ１乃至ｃｂ３が定数ではなく変数であり、係数生成手段１８から供給される係数を用いる点で輝度色差信号生成手段８とは異なる。

判定手段１５が第１のモードを指定する信号を出力しているときは、選択手段１６が係数生成手段１３の出力を分光感度特性補正手段６に供給するので、分光感度特性補正手段６の動作は、実施の形態２で説明したのと同様である。
一方、判定手段１５が第２のモードを指定する信号を出力しているときは、選択手段１６が特定マトリクス生成手段１６の出力を選択して出力するので、分光感度特性補正手段６の出力はその入力と等しいものとなる。

輝度色差信号生成手段２８で用いられる係数も判定手段１５が第１のモードを指定する信号を出力しているか第２のモードを指定する信号を出力しているかによって変更される。以下のその変更の意義について説明する。
上記の式（２）に示したマトリクス係数はＲＧＢ信号からＹＣｒＣｂへの変換マトリクスであり、輝度信号（Ｙ信号）の生成に当たっては、人間の目の比視感度特性に近似するようにＲ，Ｇ，Ｂ信号の混合比を選択している。

図２２に比視感度特性の一例をＹ１（λ）として示す。Ｙ信号を人間の目の比視感度特性に近似させることにより、ＹＣｒＣｂにてカラー信号を表示するときは色再現性が正しく表示され、Ｙ信号だけ表示するときは白黒の画像として人間の比視感度特性に近似した形で表示されるため人間の目の特性に合った適切な表示が行われる。

一方、照明による照度が低く、撮像装置の通常の感度では撮像が困難な場合には、増幅手段２の増幅利得が大きくなるため映像信号に対してノイズが大きくなりＳ/Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）の良くない画像となる。積算手段９から得られたＲ又はＢ及びＧの積算値が小さいとき、即ち、加算手段１４の出力が所定値よりも小さいときは、葉被写体照度が低いと判断し、輝度色差信号生成手段２８の輝度信号Ｙを求めるためのマトリクス係数を変え、見かけ上の感度を向上させる。例えば、図２３に示すように近赤外側に感度のピークをもつ分光特性に近似させた特性が得られるように輝度色差信号生成手段９のマトリクス係数を変える。その場合、Ｒの成分を多く含む混合比とするため、例えば、Ｙ＝０．１Ｂ＋０．４Ｇ＋０．５Ｒとすれば、全波長における積算値は大きくなるため、感度が相対的に向上することになる。また、そのときにはＹ信号が人間の目の比視感度特性と異なるため、色再現性の差異が気にならないようにＣｒ、Ｃｂの出力信号を０の白黒画像とし、色再現性が大きくずれることを防ぐ。

即ち、輝度色差信号生成手段２８は、通常撮像時（加算手段１４の出力ΣＲＧＢが所定値よりも大きいとき）には、マトリクス係数をｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３にて演算を行い、暗時（加算手段１４の出力ΣＲＧＢが所定値よりも小さいとき）には、ｙ１＝０．１、ｙ２＝０．４、ｙ３＝０．５、ｃｒ１＝０．０、ｃｒ２＝０．０、ｃｒ３＝０．０、ｃｂ１＝０．０、ｃｂ２＝０．０、ｃｂ３＝０．０のマトリクス係数にて演算を行う。
ここに挙げた暗時のマトリクス係数は一例であり、Ｒ信号の混合比を増やしていけば相対的に感度が向上するので適切なマトリクス係数を選択すればよい。

以上のように、加算手段１４の出力に応じて分光感度特性補正手段６における演算内容を切り換え、輝度色差信号生成手段２８におけるマトリクス演算に用いる係数を変更することで、従来の監視カメラのように通常のカラー画像を撮像するときにはＩＲＣＦを装着し、暗時に白黒画像を撮像するときはＩＲＣＦをはずす着脱の必要が無くなり、分光感度特性補正手段６および輝度色差信号生成手段２８のマトリクス係数を変化させることで両方の撮像を可能とすることができ、かつ通常撮像時でもＩＲＣＦの必要もなくない。

なお、上記の実施の形態では、判定手段１５によって、加算手段１４の出力が所定値よりも小さいとの判定がなされたときは、選択手段１７で特定マトリクス生成手段１６の出力を選択するようにしているが、このようにする代わりに、分光感度特性補正手段６の入力側端子と出力側端子とを短絡するように構成しても良い。

実施の形態４．
以上の実施の形態１乃至３において、さらに、分光感度特性補正手段６以降の処理は、特に静止画の場合には、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。

実施の形態５．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用できる。

図２４は、その一例として、図１の撮像装置を用いたデジタルスチルカメラを構成した場合の概略図を示す。
図１にように、このディジタルカメラは、図１に示した撮像装置を構成する各要素のうち、撮像手段１の代わりに撮像手段２１を備え、さらにシャッタボタン１９、シャッタ駆動手段３２、表示駆動手段３３、ビューファインダ３４、画像圧縮手段３５、及び書き込み手段３６を付加したものである。

撮像手段２１が、撮像手段１と異なるのは、図示しないシャッタを備えている点である。
シャッタ駆動手段３２は、シャッタボタン１９の操作に応じてシャッタを駆動する。
表示駆動手段３３は、輝度色差信号生成手段８の出力を受けてビューファインダ３４に画像を表示させる。
ビューファインダ３４は、例えば液晶表示装置で構成され、表示駆動手段３３に駆動されて、撮像手段１で撮像されている画像を表示する。
画像圧縮手段３５は、輝度色差信号生成手段８の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。
書き込み手段３６は、画像圧縮手段３５で圧縮されたデータを記録媒体３７に書き込む。

撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、輝度色差信号生成手段の出力をエンコードしてＮＴＳＣ信号を生成して出力する。

この発明の実施の形態１を示す撮像装置を示す図である。 （ａ）及び（ｂ）は、色フィルタを備えた単板撮像素子の一部を示す図である。 図１の分光感度特性補正手段の構成を示す図である。 図３の３行９列のマトリクス演算手段の構成を示す図である。 ＣＩＥ１９３１に示す等色関数を示す図である。 撮像手段、ＩＲＣＦ、およびそれらを乗算した分光感度特性を示す図である。 図６に示した分光感度特性の近赤外領域を拡大した図である。 撮像手段のｇ（λ）の分光感度特性を非線形変換したときの分光感度特性を示す図である。 ３板撮像素子の光学系の構成を示した図である。 この発明の実施の形態２を示す撮像装置を示す図である。 黒体輻射における３０００Ｋ時の分光特性を示す図である。 黒体輻射における６５００Ｋ時の分光特性を示す図である。 ３０００Ｋの照明下における撮像素子と照明の分光感度を掛け合わせた分光感度特性を示す図である。 ６５００Ｋの照明下における撮像素子と照明の分光感度を掛け合わせた分光感度特性を示す図である。 ＲＧＢの積算値の比相互間の関係を示す図である。 ｓＲＧＢ（ＩＥＣ６１９６６−９）の分光特性を示す図である。 ΣＲ／ΣＧとマトリクス係数との関係を示す表である。 ΣＲ／ΣＧとマトリクス係数との関係を示す表である。図である。 ΣＲ／ΣＧとマトリクス係数との関係を示す表である。図である。 照明の色温度に対する、本発明による色差と従来の撮像装置における色差とを示した表である。 この発明の実施の形態３を示す撮像装置を示す図である。 撮像手段の分光感度特性と比視感度特性を示した図である。 撮像手段の分光感度特性と暗時の輝度信号の分光感度特性を示した図である。 図１の撮像装置を備えたディジタルカメラの構成例を示すブロック図である。

符号の説明

１、２１ 撮像手段、 ２ 増幅手段、 ３ Ａ／Ｄ変換器（ＡＤＣ）、 ４ 直流成分（ＤＣ）再生手段、 ５ ホワイトバランス（ＷＢ）手段、 ６ 分光感度特性補正手段、 ６７ マトリクス演算手段、 ６１１乃至６３９ 乗算手段、 ６４１、６４２、６４３ 加算手段、 ７ ガンマ（γ）補正手段、 ８、２８ 輝度色差信号生成手段、 ９ 積算手段、 １０ａ レンズ、 １０ｂ カラーフィルタ、 １０ｃ ダイクロイックプリズム、 １１ 撮像素子、 １１ｒ Ｒの光を受光する撮像素子、 １１ｇ Ｇの光を受光する撮像素子、 １１ｂ Ｂの光を受光する撮像素子、 １２ 除算手段、 １３ 係数生成手段、 １４ 加算手段、 １５ 判定手段、 １６ 特定マトリクス生成手段、 １７ 選択手段、 １８ 係数生成手段、 ３１ シャッタボタン、 ３２ シャッタ駆動手段、 ３３ 表示駆動手段、 ３４ ビューファインダ、 ３５ 画像表示手段、 ３６ 書き込み手段、 ３７ 記録媒体。

Claims (29)

1. 入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段と、
   前記第１の赤、緑、青の色信号と、前記第１の赤、緑、青の色信号に予め定めた第１の定数を指数としてべき乗することによって得られる色信号と、前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正手段とを備え、
   前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている
   ことを特徴とする撮像装置。
2. 前記第１の定数は１より小さく、前記第２の定数は１より大きいことを特徴とする請求項１に記載の撮像装置。
3. 第１の赤、緑、青の色信号をＲ５、Ｇ５、Ｂ５とし、前記第２の赤、緑、青の色信号をＲ６、Ｇ６、Ｂ６とするとき、前記分光感度特性補正手段は下記の式（１）、即ち、
   

   

   （ここで、ｉ＜１、ｊ＞１、
   ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９は係数）
   の演算を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記係数は色信号生成手段の赤、緑、青の分光感度特性における、可視領域から近赤外領域のそれぞれの分光感度特性の差を利用して、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められていることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記可視領域から近赤外領域が略６５０ｎｍから１１００ｎｍの領域であることを特徴とする請求項４に記載の撮像装置。
6. 前記色信号生成手段が、
   入射光を、赤、緑、青の互いに異なる３つの光に分離する色分離手段と、
   色分離された光を受けて、赤、緑、青の色信号を出力する撮像素子と
   を備えた撮像手段
   を有することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記撮像手段が１枚の撮像素子を有し、
   前記色分離手段が、前記撮像素子上に形成された画素毎の赤、緑、青の３種の色フィルタを含むことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像手段が３枚の撮像素子を有し、
   前記色分離手段が、入射光を受けて赤、緑、青の３つの光に分離して前記３枚の撮像素子に導くダイクロイックプリズムを含む
   ことを特徴とする請求項６に記載の撮像装置。
9. 前記色信号生成手段内の前記撮像手段から得られた赤、緑、青の色信号又はこれに対応する色信号を画面内の複数の画素にわたって積算し、赤の色信号の積算値ΣＲ又は青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求める積算手段と、
   前記積算手段により求められた赤の色信号の積算値ΣＲ又は青の色信号の積算値ΣＢと緑の色信号の積算値ΣＧの比ΣＲ/ΣＧ又は比ΣＢ/ΣＧを算出する除算手段と、
   前記比ΣＲ/ΣＧ又は比ΣＢ/ΣＧの値に応じて前記分光感度特性補正手段の前記係数を変化させる手段をさらに備える
   ことを特徴とする請求項６に記載の撮像装置。
10. 前記色信号生成手段が、前記撮像手段から出力された色信号の直流成分を再生する直流成分再生手段を有し、前記積算手段が前記直流成分再生手段から出力される色信号の積算値を求めることを特徴とする請求項９に記載の撮像装置。
11. 前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、ＣＩＥ１９３１等色関数又はＣＩＥ１９３１等色関数を線形変換することにより得られた等色関数に近似したものとなるように前記係数を定めることにより、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなるようにすることを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
12. 前記分光感度特性補正手段から得られた第２の赤、緑、青の色信号と、係数との乗算を含むマトリクス演算を行うことにより、輝度信号および２つの色差信号を算出する輝度色差信号生成手段をさらに有し、
    第１のモードにおいては、
    前記分光感度特性補正手段が、上記のように、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなるように補正演算を行い、
    前記輝度色差信号生成手段が、前記第２の色信号の色の情報を保持したまま色差信号を生成するように前記係数を定め、
    第２のモードにおいては、
    前記分光感度特性補正手段が、前記第２の赤、緑、青の色信号が前記第１の赤、緑、青の色信号と等しいものとなるようにし、
    前記輝度色差信号生成手段が、色差信号をゼロとし、輝度信号のみを出力を行うように前記係数を定める
    ことを特徴とする
    請求項１乃至１１のいずれかに記載の撮像装置。
13. 前記輝度色差信号生成手段によるマトリクス演算が、前記第２の赤、緑、青の色信号に３行３列の係数マトリクスを掛ける線形マトリクス演算であることを特徴とする請求項１２に記載の撮像装置。
14. 前記分光感度特性補正手段が前記第２の動作モードにおいては前記第１のモードとは異なる係数を用いてマトリクス演算を行うことにより前記第２の色信号を前記第１の色信号と等しいものにすることを特徴とする請求項１２又は１３に記載の撮像装置。
15. 前記色信号生成手段から得られる赤、緑、青の色信号の複数の画素についての積算値が予め定められた値より大きいときは、前記分光感度特性補正手段及び前記輝度色差信号生成手段が前記第１のモードで動作し、
    前記色信号生成手段から得られる赤、緑、青の色信号の複数の画素についての積算値が予め定められた値より小さいときは、前記分光感度特性補正手段及び前記輝度色差信号生成手段が前記第２のモードで動作する
    ことを特徴とする請求項１２又は１３に記載の撮像装置。
16. 請求項１乃至１５のいずれかに記載の撮像装置と、
    前記撮像装置から出力される画像データを記録媒体に書き込む手段とを備えた
    カメラ。
17. 入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を生成する色信号生成手段を備えた撮像装置における信号処理方法であって、
    前記第１の赤、緑、青の色信号と、前記第１の赤、緑、青の色信号に予め定めた第１の定数を指数としてべき乗することによって得られる色信号と、前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正工程を有し、
    前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段における色信号生成と前記分光感度特性補正工程における補正の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められている
    ことを特徴とする信号処理方法。
18. 前記第１の定数は１より小さく、前記第２の定数は１より大きいことを特徴とする請求項１７に記載の信号処理方法。
19. 第１の赤、緑、青の色信号をＲ５、Ｇ５、Ｂ５とし、前記第２の赤、緑、青の色信号をＲ６、Ｇ６、Ｂ６とするとき、前記分光感度特性補正工程は下記の式（１）、即ち、
    

    

    （ここで、ｉ＜１、ｊ＞１、
    ｒ１乃至ｒ９、ｇ１乃至ｇ９およびｂ１乃至ｂ９は係数）
    の演算を行うことを特徴とする請求項１７に記載の信号処理方法。
20. 前記係数は色信号生成手段の赤、緑、青の分光感度特性における、可視領域から近赤外領域のそれぞれの分光感度特性の差を利用して、前記色信号生成手段における色信号生成と前記分光感度特性補正工程における補正の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められていることを特徴とする請求項１７乃至１９のいずれかに記載の信号処理方法。
21. 前記可視領域から近赤外領域が略６５０ｎｍから１１００ｎｍの領域であることを特徴とする請求項２０に記載の信号処理方法。
22. 前記色信号生成手段が、
    入射光を、赤、緑、青の互いに異なる３つの光に分離する色分離手段と、
    色分離された光を受けて、赤、緑、青の色信号を出力する撮像素子と
    を備えた撮像手段を利用して行われることを特徴とする請求項１７乃至２１のいずれかに記載の信号処理方法。
23. 前記色信号生成手段内の前記撮像手段から得られた赤、緑、青の色信号又はこれに対応する色信号を画面内の複数の画素にわたって積算し、赤の色信号の積算値ΣＲ又は青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求める積算工程と、
    前記積算工程により求められた赤の色信号の積算値ΣＲ又は青の色信号の積算値ΣＢと緑の色信号の積算値ΣＧの比ΣＲ/ΣＧ又は比ΣＢ/ΣＧとを算出する除算工程と、
    前記比ΣＲ/ΣＧ又は比ΣＢ/ΣＧの値に応じて前記分光感度特性補正工程の前記係数を変化させる工程と
    をさらに有することを特徴とする請求項２２に記載の信号処理方法。
24. 前記色信号生成手段が、前記撮像手段から出力された色信号の直流成分を再生する直流成分再生工程を有し、前記積算工程が前記直流成分再生工程の結果生成される色信号の積算値を求めることを特徴とする請求項２３に記載の信号処理方法。
25. 前記色信号生成手段における色信号生成と前記分光感度特性補正工程における補正の総合的な特性が、ＣＩＥ１９３１等色関数又はＣＩＥ１９３１等色関数を線形変換することにより得られた等色関数に近似したものとなるように前記係数を定めることにより、前記色信号生成手段における色信号生成と前記分光感度特性補正工程における補正の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなるようにすることを特徴とする請求項１７乃至２４のいずれかに記載の信号処理方法。
26. 前記分光感度特性補正工程から得られた第２の赤、緑、青の色信号と、係数との乗算を含むマトリクス演算を行うことにより、輝度信号および２つの色差信号を算出する輝度色差信号生成工程をさらに有し、
    第１のモードにおいては、
    前記分光感度特性補正工程が、上記のように、前記色信号生成手段における色信号生成と前記分光感度特性補正工程における補正の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなるように補正演算を行い、
    前記輝度色差信号生成工程が、前記第２の色信号の色の情報を保持したまま色差信号を生成するように前記係数を定め、
    第２のモードにおいては、
    前記分光感度特性補正工程が、前記第２の赤、緑、青の色信号が前記第１の赤、緑、青の色信号と等しいものとなるようにし、
    前記輝度色差信号生成工程が、色差信号をゼロとし、輝度信号のみを生成するように前記係数を定める
    ことを特徴とする請求項１７乃至２５のいずれかに記載の信号処理方法。
27. 前記輝度色差信号生成工程によるマトリクス演算が、前記第２の赤、緑、青の色信号に３行３列の係数マトリクスを掛ける線形マトリクス演算であることを特徴とする請求項２６に記載の信号処理方法。
28. 前記分光感度特性補正工程が前記第２の動作モードにおいては前記第１のモードとは異なる係数を用いてマトリクス演算を行うことにより前記第２の色信号を前記第１の色信号と等しいものにすることを特徴とする請求項２６又は２７に記載の信号処理方法。
29. 前記色信号生成手段から得られる赤、緑、青の色信号の複数の画素についての積算値が予め定められた値より大きいときは、前記分光感度特性補正工程及び前記輝度色差信号生成工程が前記第１のモードで動作し、
    前記色信号生成手段から得られる赤、緑、青の色信号の複数の画素についての積算値が予め定められた値より小さいときは、前記分光感度特性補正工程及び前記輝度色差信号生成工程が前記第２のモードで動作する
    ことを特徴とする請求項２６又は２７に記載の信号処理方法。

Images