JP3933651B2 - 撮像装置及びその信号処理方法 - Google Patents

Description

この発明は、撮像装置における比視感度補正のために必要とする赤外除去フィルタを用いずに比視感度補正を行い、色再現性の良好な画像が得られる信号処理を具備した撮像装置及び信号処理方法に関するものである。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の映像信号を得る映像信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｔｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。

これに対し、人間の色に対する感度特性である色覚特性及び明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）を設ける必要があった。

一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、近赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に近赤外光を受光させるほうが良い。

そこで、色再現性を重視したカラー画像の撮像と、高感度撮像のいずれにも対応できるようにするため、色再現性を重視するときはＩＲＣＦを撮像素子の前に設置し、感度を重視するときは近赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。

また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。

特開２００１−３６８０７公報（第３−４頁、第１、第２図） 特開２００３−１３４５２２公報（第４−５頁、第１図） 特開２００３−２６４８４３公報（第4頁、第１図）

しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、ＩＲＣＦを用いない構成とすることが望まれている。
また、撮像素子の電子シャッタを用いて光量調整を行う簡易な撮像装置（例えば、ピーシー（ＰＣ）カメラ、携帯電話用カメラ、トイ（ＴＯＹ）カメラ、民生用監視カメラ）は絞り機構を有していないことが多いため、新たにＩＲＣＦを着脱する機構を設けなければならない。

さらに、特許文献２、３に挙げた撮像装置は白黒の映像信号を得るときは問題ないが、カラーの映像信号を得るときは、色信号はホワイトバランスを合わせるのみであり、さらに輝度信号も人間の比視感度特性が考慮されていない色信号比であるため、そのカラーの映像信号は人間の色覚特性またはその線形変換から得られる分光感度特性から得られるにより決まるＲ、Ｇ、Ｂ値と異なった、すなわち色差ΔＥ＊ａｂ（ＪＩＳ Ｚ８７３０）の大きな映像信号となり、正確な色再現性が得られない。

さらにまた、絵の具の緑などに対しては適切に分光感度補正を行うことができても、絵の具の緑と、人間の目には同じ色（等色）に見える、自生している木の葉の緑の色などに対して適切に分光感度補正を行うことができないという問題があった。

本発明は、上述のような課題を解消するためになされたもので、ＩＲＣＦなしで、絵の具の緑などや、自生している木の葉の緑などのいずれに対して適切に分光感度補正を行うことができ、良好な色再現性を得ることができる撮像装置及び信号処理方法を提供することを目的とする。

この発明は、
赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタと、前記第１乃至第３のカラーフィルタの一つと可視領域において相関性を有し、かつ分光透過率が最大となる波長が前記一つのカラーフィルタの分光透過率が最大となる波長よりも短く、かつ近赤外領域では前記一つのカラーフィルタと略同一の分光透過率を有する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の色信号を出力する色信号生成手段と、
前記第１乃至第４の色信号のうち、少なくとも３つの色信号に対してマトリクス係数を掛けるマトリクス演算を行うことにより、補正された色信号を生成する分光感度補正手段と、
前記色信号生成手段から出力された前記第１乃至第４の色信号を受けて、これらの組み合わせが予め定めた特定の例外色を表すものであるかどうかを判定し、判定結果に応じて前記マトリクス係数を切り換える係数設定手段と
を有する撮像装置を提供するものである。

本発明によれば、ＩＲＣＦなしで、近赤外線領域の感度を補正し、しかも、人間の目で同じ色（等色）に見える、絵の具の緑と、自生している木の葉の緑の色などのいずれに対しても、良好な色再現を実現することができる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置の概略構成を示す図である。図示のように、この撮像装置は、色信号生成手段２と、分光感度補正手段４と、係数設定手段６、映像信号処理手段８とを有する。

色信号生成手段２は、入射光を受けて、入射光に対応する第１の映像信号、例えば第１ないし第４の色信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、Ｂｂを出力する。
分光感度補正手段４は、色信号生成手段２から出力される第１の映像信号から、近赤外成分、すなわち、色信号生成手段２が近赤外領域において分光感度を有することによって第１の映像信号に含まれる信号成分を除去して、第２の映像信号、例えば赤、緑、青の色信号Ｒｃ、Ｇｃ、Ｂｃを生成する。
係数設定手段６は、色信号生成手段２から出力される第１乃至第４の色信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、Ｂｂを受けて、これらの組み合わせが予め定めた特定の例外色を表すものであるかどうかを判定し、判定結果に応じて係数マトリクスを切り換える。
映像信号処理手段８は、分光感度補正手段４から出力される第２の映像信号を、外部に出力するのに適した信号（第３の映像信号）に変換するものである。

色信号生成手段２は、例えば図１に示すように、撮像手段１１と、増幅手段１２と、Ａ／Ｄ変換器（ＡＤＣ）１３と、直流成分再生手段（ＤＣ再生手段）１４と、前ホワイトバランス（ＷＢ）手段１５とを有する。

撮像手段１１は、例えば図２及び図３に示すように、レンズを含む光学系２１と、２次元的に配列され、それぞれ画素を構成する複数の光電変換素子を有する撮像素子２２とを有する。撮像素子２２の複数の光電変換素子は、例えば図２に示すように、色分離手段としての色フィルタ群２３で覆われている。
複数の光電変換素子は第１乃至第４の群に分けられている。
色フィルタ群２３は、第１の群の光電変換素子の各々に対して設けられた複数の赤フィルタ（Ｒフィルタ）２６と、第２の群の光電変換素子の各々に対して設けられた複数の緑フィルタ（Ｇ１フィルタ）２７と、第３の群の光電変換素子の各々に対して設けられた複数の青フィルタ（Ｂフィルタ）２８と、第４の群の光電変換素子の各々に対して設けられた複数の緑フィルタ（Ｇ２フィルタ）２９とを含み、これらが図示のように配列されている。

図２に示すように、一つおきの行（図２で上から１番目、３番目及び５番目の行）では、Ｂフィルタ２８とＧ１フィルタ２７又はＧ２フィルタ２９が交互に、即ち「Ｂ−Ｇ１−Ｂ−Ｇ２」を繰り返すように設けられ、上記の一つおきの行の間に位置する行（図２で上から２番目及び４番目の列）では、Ｇ２フィルタ２９又はＧ１フィルタ２７とＲフィルタ２６が交互に、即ち、「Ｇ２−Ｒ−Ｇ１−Ｒ」を繰り返すように設けられている。
また一つおきの列（図２で左から１番目、３番目及び５番目の列）では、Ｂフィルタ２８とＧ２フィルタ２９又はＧ１フィルタ２７が交互に、即ち「Ｂ−Ｇ２−Ｂ−Ｇ１」を繰り返すように設けられ、上記の一つおきの列の間に位置する列（図２で左から２番目及び４番目の列）では、Ｇ１フィルタ２７又はＧ２フィルタ２９とＲフィルタ２６が交互に、即ち、「Ｇ１−Ｒ−Ｇ２−Ｒ」を繰り返すように設けられている。

Ｒフィルタ２６は、主として赤に対応する第１の波長帯域の光のみを通過させるものであり、Ｇ１フィルタ２７は、主として緑に対応する第２の波長帯域の光のみを通過させるものであり、Ｂフィルタ２８は、主として青に対応する第３の波長帯域の光のみを通過させるものであり、Ｇ２フィルタ２９は、主として緑に対応する第４の波長帯域の光のみを通過させるものである。

図４には、Ｒフィルタが設けられた光電変換素子の分光感度特性（即ち、Ｒフィルタと画素の組合せの分光感度特性）ｒ（λ）、Ｇ１フィルタが設けられた光電変換素子の分光感度特性ｇ１（λ）、Ｂフィルタが設けられた光電変換素子の分光感度特性ｂ（λ）、Ｇ２フィルタが設けられた光電変換素子の分光感度特性ｇ２（λ）が示されている。
図４に示した分光感度特性は、カラーフィルタの透過率と撮像手段１１の各画素を構成する光電変換素子、例えばフォトダイオードの分光感度特性との組合せの特性である。撮像手段１１の各画素を構成する光電変換素子は１０００ｎｍ近辺まで感度を有するので、ｒ（λ）、ｇ１（λ）、ｇ２（λ）、ｂ（λ）は、略カラーフィルタの分光透過率に対応したものである。

Ｇ１フィルタ２７とＧ２フィルタ２９は上記のようにともに緑に対応する波長領域の光を透過させるものであり、人間の目に見える可視領域（略４００ｎｍから略７００ｎｍ）の波長範囲ではｇ１（λ）とｇ２（λ）が強い相関を有している（エンベロープの形状が似ている）が、ｇ２（λ）はｇ１（λ）にくらべそのピーク位置（分光透過率が最大となる波長）が短波長側に略５０ｎｍシフトしている。そのため、Ｇ２フィルタ２９は、Ｇ１フィルタ２７にくらべ、ややシアンよりの領域に透過率を有することとなる。一方、略７００ｎｍ以上ではＧ１フィルタ２７とＧ２フィルタ２９とは略同一の透過率特性を有する。

レンズを含む光学系２１から入射した光は、撮像素子２２の受光面上に結像する。撮像素子２２は、上記のように、色フィルタ群２３で覆われており、各光電変換素子からは、色フィルタ群２３の分光透過率に対応した色成分、即ちＲ、Ｇ１、Ｇ２、Ｂのアナログ映像信号が出力される。

このようにして、撮像手段１１から出力されるＲ、Ｇ１、Ｇ２、Ｂのアナログ信号（以下、それぞれ「Ｒ信号」、「Ｇ１信号」、「Ｇ２信号」、「Ｂ信号」と言うことがある）は、増幅手段１２によって増幅される。増幅手段１２から出力された映像信号はＡＤＣ１３によってディジタル信号に変換される。

ディジタル信号に変換された映像信号はＤＣ再生手段１４により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ１３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。ＤＣ再生手段１４の出力Ｒａ、Ｇ１ａ、Ｇ２ａ、Ｂａが前ホワイトバランス手段１５に供給される。

前ホワイトバランス手段１５は、図５に示されるように、それぞれ信号Ｒａ、Ｇ１ａ、Ｇ２ａ、Ｂａを増幅して増幅された信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、Ｂｂを出力する４つの増幅手段３１ｒ、３１ｇ１、３１ｇ２、３１ｂと、増幅された信号Ｒｂ、Ｇ１ｂ、Ｂｂをそれぞれ一画面内のすべての画素について積算して積算値ΣＲｂ、ΣＧ１ｂ、ΣＢｂを出力する積算手段３２ｒ、３２ｇ１、３２ｂと、積算手段３２ｒ、３２ｇ１、３２ｂから出力される積算値ΣＲｂ、ΣＧ１ｂ、ΣＢｂに基づいて、例えば、積算値ΣＲｂ、ΣＧ１ｂ、ΣＢｂをそれぞれ積算の対象となった画素の数で割った値が互いに等しくなるように、増幅手段３１ｒ、３１ｇ１、３１ｂの増幅率を制御するとともに、増幅手段３１ｇ２の増幅率を増幅手段３１ｇ１の増幅率と同じ値に制御する利得制御手段３３とを有する。

ホワイトバランス手段は、通常、被写体の無彩色の部分に対応する、Ｒ、Ｇ、Ｂ信号が互いに等しくなるようにするものであり、通常、ホワイトバランスは一般被写体の場合、一画面中の色は平均すれば無彩色に近くなる（エバンスの原理）という統計的結果を利用して、画面内のすべての画素について積算値が互いに等しくなるように、それぞれの色の信号に対する増幅率を制御して行う。

但しこれは、Ｒ、Ｇ、Ｂ信号がそれぞれ人の色覚特性に対応することを前提としており、ホワイトバランス処理の対象となるＲ、Ｇ１、Ｂ信号が図４に示すように、近赤外領域において分光感度特性を有する場合、Ｒ、Ｇ１、Ｂ信号の積算値が互いに等しくなるようにしても、人間の目で見える可視域内でホワイトバランスをとっているわけではなく、色再現性は必ずしも良好ではない。前ホワイトバランス手段１５によるホワイトバランスは色再現性を良好にすることではなく、様々な色温度の照明に対して、Ｒ、Ｇ１、Ｇ２、Ｂの比率を揃えることにある。

即ち、Ｒ、Ｇ１、Ｇ２、Ｂの値は、撮像素子の分光感度と被写体の反射率、そして照明の分光特性の積の総和に対応するので、同じ無彩色の被写体を撮像していてもＲ、Ｇ１、Ｇ２、Ｂ信号の比は、照明の色温度の変化に伴って変化するが、前ホワイトバランス手段１５によるホワイトバランス処理によって、照明の色温度による影響を除去することができる。

分光感度補正手段４は前ホワイトバランス手段１５から出力されたホワイトバランス後のＲ、Ｇ１、Ｇ２、Ｂ信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、Ｂｂを入力とし、この入力信号に対し後に詳述するマトリクス演算をすることにより撮像素子の近赤外の感度特性による色再現性への影響を補正したカラー信号Ｒ、Ｇ、Ｂ信号Ｒｃ、Ｇｃ、Ｂｃを得る。

映像信号処理手段８は、上記のように、分光感度補正手段４から出力される信号Ｒｃ、Ｇｃ、Ｂｃを、外部に出力するのに適した信号に変換するものであり、例えば、図１に示すように、後ホワイトバランス手段１６と、ガンマ（γ）補正手段１７と、輝度色差信号生成手段１８とを有する。

後ホワイトバランス手段１６は、分光感度補正手段４によって補正されたＲ、Ｇ、Ｂ信号Ｒｃ、Ｇｃ、Ｂｃに対しホワイトバランス処理を行うものであり、図６に示すように、それぞれＲｃ、Ｇｃ、Ｂｃ信号を増幅して信号Ｒｄ、Ｇｄ、Ｂｄを出力する３つの増幅手段５１ｒ、５１ｇ、５１ｂと、信号Ｒｄ、Ｇｄ、Ｂｄをそれぞれ位置画面内のすべての画素について積算して積算値ΣＲｄ、ΣＧｄ、ΣＢｄを出力する積算手段５２ｒ、５２ｇ、５２ｂと、積算手段５２ｒ、５２ｇ、５２ｂから出力された積算値ΣＲｄ、ΣＧｄ、ΣＢｄに基づいて、例えば積算値ΣＲｄ、ΣＧｄ、ΣＢｄをそれぞれ積算対象となった画素の数で割ることにより得られる値が互いに等しくなるように、増幅手段５１ｒ、５１ｇ、５１ｂの増幅率を制御する利得制御手段５３とを有する。

ここで、増幅手段５１ｒ、５１ｇ、５１ｂに入力されるＲ、Ｇ、Ｂ信号Ｒｃ、Ｇｃ、Ｂｃは、分光感度補正手段４によって近赤外の感度特性が補正された信号であり、殆ど可視領域の成分のみからなる。従って、後ホワイトバランス手段１６によるホワイトバランス処理によって得られるＲｄ、Ｇｄ、Ｂｄ信号は良好な色再現性を有する。

ガンマ補正手段１７は後ホワイトバランス手段１６から出力された映像信号Ｒｄ、Ｇｄ、Ｂｄに対し非線形な階調変換を行う。

輝度色差信号生成手段１８はガンマ補正手段１７から出力されたＲ、Ｇ、Ｂ信号Ｒｅ、Ｇｅ、Ｂｅを輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。
輝度色差信号生成手段１８は、この変換（ＹＣｒＣｂ変換）においては、通常３行３列の係数マトリクスを掛ける、下記の式（１）の線形マトリクス演算を行ってＹ、Ｃｒ、Ｃｂ信号を生成する。

式（１）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定められる。

以下、分光感度補正手段４についてその構成と原理を以下に説明する。
分光感度補正手段４は、例えば下記の式（２）に示す３行４列のマトリクス係数を掛けるマトリクス演算を行い、Ｒ、Ｇ１、Ｇ２、Ｂ信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、ＢｂからＲ、Ｇ、Ｂ信号Ｒｃ、Ｇｃ、Ｂｃを生成する。式（２）において、ｅ１１乃至ｅ３４は予め定めた定数である。

尚、Ｒ、Ｇ、Ｂ信号Ｒｃ、Ｇｃ、Ｂｃを生成するために、Ｒ、Ｇ１、Ｇ２、Ｂの４つ信号を用いることは必須ではなく、Ｒ、Ｇ１、Ｂあるいは、Ｒ、Ｇ２、Ｂの３つの信号からＲ、Ｇ、Ｂ信号を生成することも可能である。Ｒ、Ｇ１、Ｂの３つの信号だけを用いる場合は、式（２）において、ｅ１３＝ｅ２３＝ｅ３３＝０とすればよい。また、Ｒ、Ｇ２、Ｂの３つの信号だけを用いる場合は、式（２）において、ｅ１２＝ｅ２２＝ｅ３２＝０とすればよく、いずれの場合でも、式(２)で一般的に表現することができる。

次に、本発明の分光感度補正手段４による補正について詳しく説明する。
図７に人間の色覚特性を表した分光感度特性を示す。図７に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は、色順応などの機能を無視し、簡単に表せば図７に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図７に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、特に、４００ｎｍから７００ｎｍの範囲内の感度が高く、７００ｎｍより長波長側では殆ど感度がない。

それに対して、撮像手段１１に色分解を行う色フィルタ群２３を設けた場合、色フィルタの分光透過率と撮像素子の分光感度の積に応じた信号が撮像手段１１から出力されるが、撮像手段は光電変換を行う撮像素子例えばフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、可視域から近赤外領域（１０００ｎｍ近辺）まで分光感度を有する。また、Ｒの色フィルタは近赤外領域の透過率も比較的高いため、近赤外線を撮像素子２２に入射させる。さらに、Ｂの光を入射するためのＢの色フィルタや、Ｇの光を入射するためのＧの色フィルタも同様に近赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から近赤外領域に掛けて再び透過率が上がる特性を有しているためである。

従って、これらの積によって与えられる撮像手段の分光感度特性は、図８に実線ｒ（λ）、ｇ（λ）、ｂ（λ）で示すごとくとなる。また、本実施の形態のように緑のフィルタが２種類設けられている場合には、撮像手段１１の分光感度特性は、図４に実線でｒ（λ）、ｇ１（λ）、ｇ２（λ）、ｂ（λ）で示すごとくとなる。

図８に実線で示した撮像手段の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）や、図４に実線で示した撮像手段１１の分光感度特性ｒ（λ）、ｇ１（λ）、ｇ２（λ）、ｂ（λ）は、図７に示した等色関数とは異なり、特に近赤外領域では著しく異なるため、通常の撮像装置では近赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子の前に設けて分光感度の補正を行っていた。ＩＲＣＦの分光透過特性ＩＲＣＦ（λ）も図８に実線で示されている。ＩＲＣＦ（λ）とＲＧＢの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が、従来のＩＲＣＦを具備した場合の撮像手段のＲＧＢ信号に対応するそれぞれの色の分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）となり、図８に破線でその特性を示す。

また、従来の撮像装置では図８の破線で表した分光感度特性とした場合でも、図７で示した負の特性（ｒ（λ）の略４５０ｎｍから５４０ｎｍまでの負の値）は実現できないため、撮像手段から得られたＲＧＢ信号に対し、式（３）で示すように３行３列の係数マトリクスを掛けるマトリクス演算を行い、これにより色補正を行うこともあった。

しかしながら、ＩＲＣＦを用いない場合には、近赤外線による感度特性によって出力される信号が色再現性に与える影響が大きく、上記のような３行３列の係数マトリクスを掛ける線形マトリクス演算を行っても良好な色再現性が得られない場合があった。

撮像手段から得られた信号に対する処理により、近赤外領域から得られる余分な信号成分を元の信号から除去することができれば、ＩＲＣＦを用いずに良好な色再現性を実現することができる。

本実施の形態において、色信号生成手段２で緑の色信号としてＧ１信号とＧ２信号の２つを生成し、分光感度補正手段４で上記の式（２）で表されるマトリクス演算による補正を行なうのはそのためである。上記の式（２）のマトリクス演算で用いられるマトリクス係数は、以下のようにして定められる。

図８や図４に実線で示した撮像手段の分光感度特性と、カラーターゲットとする図８に破線で示した分光感度特性とは特に近赤外の領域においてその分光特性が大きく異なるが、式（２）で示したマトリクス係数を適切に定めることで条件等色を満たし良好な色再現性を得ることができる。ここで、条件等色とは分光特性の異なる２つの色刺激が、特定の観測条件で等しい色に見えることである。そこで、マトリクス係数は、特定の照明を用いて特定の被写体を撮像したときの色再現性が最も良くなるように、すなわち、ＩＲＣＦを用いなくてもＩＲＣＦを用いたときと略等しい信号が分光感度補正手段４の出力側に得られるように、定められる。

具体的なマトリクス係数の求め方は例えば、以下の通りである。
照明としては、特定の色温度、例えば５０００Ｋの照明を用いる。図９に５０００Ｋの色温度の照明の分光特性を示す。
被写体としては、標準的なカラーチャート、例えばマクベスカラーチェッカーが用いられる。以下マクベスのカラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色のカラーパッチ（色票）を用いる。

マクベスカラーチェッカーは、被写体として現存する色を代表し、かつ人間の記憶色（肌色、植物の緑、空の青等）を重視して選択された２４色のカラーパッチを含むものであり、２４色のカラーパッチの３００ｎｍから１２００ｎｍの分光反射率が図１０に示されている。図１０でカラーパッチの番号１乃至２４はそれぞれ以下の色に対応する。

１：暗い肌色（Ｄａｒｋ ｓｋｉｎ）、
２：明るい肌色（Ｌｉｇｈｔ Ｓｋｉｎ）、
３：青空の色（Ｂｌｕｅ ｓｋｙ）、
４：草の色（Ｆｏｌｉａｇｅ）、
５：青色の花（Ｂｌｕｅ ｆｌｏｗｅｒ）、
６：青みの緑色（Ｂｌｕｉｓｈ ｇｒｅｅｎ）、
７：オレンジ色（Ｏｒａｎｇｅ）、
８：紫みの青色（Ｐｕｒｐｌｉｓｈ ｂｌｕｅ）、
９：中程の赤色（Ｍｏｄｅｒａｔｅ ｒｅｄ）、
１０：紫色（Ｐｕｒｐｌｅ）、
１１：黄緑色（Ｙｅｌｌｏｗ ｇｒｅｅｎ）、
１２：オレンジみの黄色（Ｏｒａｎｇｅ ｙｅｌｌｏｗ）、
１３：青色（Ｂｌｕｅ）、
１４：緑色（Ｇｒｅｅｎ）、
１５：赤色（Ｒｅｄ）、
１６：黄色（Ｙｅｌｌｏｗ）、
１７：マゼンタ（Ｍａｇｅｎｔａ）、
１８：シアン（Ｃｙａｎ）、
１９：白色（Ｗｈｉｔｅ）、
２０：グレイ８（Ｎｅｕｔｒａｌ ８）、
２１：グレイ６．５（Ｎｅｕｔｒａｌ ６．５）、
２２：グレイ５（Ｎｅｕｔｒａｌ ５）、
２３：グレイ３．５（Ｎｅｕｔｒａｌ ３．５）、
２４：黒色（Ｂｌａｃｋ）
である
（なお、上記した各カラーパッチの和訳は、新編色彩化学ハンドブック第２版、日本色彩学会編による。）

図９に示した特定の照明の分光特性と、図１０に示した被写体の分光反射率と、図８に破線に示した分光感度特性との積算値を求める。

図１の撮像装置でマクベスカラーチェッカーの各カラーパッチを撮像したときに分光感度補正手段４の出力側に得られる信号は、照明の分光特性（例えば図９に示されるもの）と、マクベスカラーチェッカーの各カラーパッチの分光反射率（図１０に示される）と、映像信号生成手段２の分光感度特性（図４に実線で示した分光感度特性に略等しい）と、分光感度補正手段４の応答特性との積を、全波長に亘って積算することにより求められる。
一方、図１の撮像装置でマクベスカラーチェッカーの各カラーパッチを撮像したときに分光感度補正手段４の出力側に得られるべき信号（ターゲット信号）Ｒｔ、Ｇｔ、Ｂｔは、照明の分光特性（例えば図９に示されるもの）と、マクベスカラーチェッカーの２４色のカラーパッチの分光反射率（図１０に示される）と、図８の破線で示される分光感度特性との積を、全波長に亘って積算することにより求められる。
そこで、上記したターゲット信号Ｒｔ、Ｇｔ、Ｂｔの値に、分光感度補正手段４の出力側に得られる信号Ｒｃ、Ｇｃ、Ｂｃの値が最も近くなるように、係数ｅ１１乃至ｅ３４の値を定める。最も近いかどうかの判定は、最小二乗誤差法により、即ち両者のそれぞれ対応する値の差の二乗の総和を求めて、この総和が最小かどうかを判定することにより行われる。

このように、通常の色に対するマトリクス係数は、例えばマクベスのカラーチェッカー２４色に対して、図４の分光感度特性及び式（２）に示したマトリクス係数を用いたマトリクス演算を介した得られたＲＧＢ値が、同じマクベスのカラーチェッカー２４色に対してターゲットとする分光感度特性（例えば、図８の破線）を介して得られたＲＧＢ値に最も近くなるように最小二乗誤差法でマトリクス係数を算出する。

なお、式（２）には３行４列のマトリクス係数が示されているが、Ｇ１だけを入力項として用いる３行３列のマトリクス係数でも実現することができる。マトリクス係数を３行３列のマトリクス係数とする場合には、上記ターゲットとする分光特性（例えば、図８の破線）を介して得られたＲＧＢ値に近似するようにＲ、Ｇ１（又はＧ２）、Ｂを入力光として同様に最小二乗誤差法で算出することができる。

従来の撮像装置がＲＧＢ値の３種類の色フィルタを具備しているように、Ｇ１だけを用いた３行３列のマトリクス係数であってもターゲットカラーとすべきＲＧＢ値に近似することは可能であるが、Ｇ１とＧ２の両方を入力項として３行４列のマトリクス係数とする場合は、Ｇ２がシアン側に分光感度特性のピークがシフトしているため、Ｇ２のマトリクス係数を負にすると、図７に示した等色関数のＲの値が負となる部分の特性を実現しやすく、色再現性において、色差ΔＥを小さくできると言う利点がある。

しかし、上記のように定めたマトリクス係数は被写体として標準的なカラーチャート、例えばマクベスカラーチェッカーを用いて算出したものであり、実際のすべての被写体の色について必ずしも妥当ではない。特にマクベスのカラーチェッカーは自然界に存在する特徴的な色をできるだけ網羅して作成されたものであるが、その特性は可視域だけを考慮して作成されているといえる。それに対して、近赤外の領域まで考慮した場合、マクベスカラーチェッカーの色とは異なる色もあり得る。マクベスカラーチェッカーはチャートであるため、そのカラーパッチは絵の具などの顔料が用いられている。それに対して、例えば、可視域では同じ緑色に見える木の葉などは絵の具の緑とは異なった分光反射率を有する。

図１１及び図１２に、マクベスカラーチェッカーで緑色の例として挙げられている「草の色（Ｆｏｌｉａｇｅ）」、「黄緑色（Ｙｅｌｌｏｗ ｇｒｅｅｎ）」、「緑色（Ｇｒｅｅｎ）」と自然界に自生している２種類の木の葉の分光反射特性を示す。例えば「草の色（Ｆｏｌｉａｇｅ）」は木の葉の色を再現するために作成されたカラーパッチであるが、その分光特性は実際の木の葉とは異なり、特に近赤外領域である７００ｎｍから異なり、木の葉は７００ｎｍから急激にその反射率が高くなる特徴を持つ。先に述べたように人間の目は７００ｎｍからほとんど感度を有さないため、カラーパッチの色と木の葉の色はほぼ同じ色として見えるが、近赤外領域の光線に感応する図８や図４に示した撮像手段の分光感度特性では得られる色再現が大きく異なり、具体的にはＲ信号が必要以上の大きくなるため緑が茶色の色再現となる。

このように絵の具やペンキなどの顔料で表される被写体の色は、上記のマトリクス係数で良好な色再現性を実現することができるが、２４色のカラーパッチについて色差が小さくなるように式（２）のマトリクス係数を定めても、木の葉の色などは７００ｎｍ以上の範囲で分光反射率が著しく異なるため、ターゲットカラーとは著しく異なり、色再現性が悪いということになる。すなわち、木の葉の色を表すものとして作成された図１１に示す緑のカラーパッチと等色になるように、式（２）のマトリクス係数を定めても、自生している葉を撮像して、上記の定められたマトリクス係数を用いて補正を行った場合、色再現性が悪い。

そこで、木の葉の色など、７００ｎｍから大きな反射率を有する色を例外色とし、例外色のために、通常色のマトリクス係数とは別のマトリクス係数を定めてこれを適用することで、木の葉に対しても良好な色再現性を実現する。

例外色に適したマトリクス係数は、例外色に対して、図４の分光感度特性及び式（２）に示したマトリクス係数を用いたマトリクス演算を介して得られたＲＧＢ値が、同じ例外色に対してカラーターゲットとする分光感度特性（例えば、図８の破線）を介して得られたＲＧＢ値に、最も近くなるように、最小二乗誤差法で算出することができる。
区別のため、通常色のために上記のようにして求めたマトリクス係数を第１のマトリクス係数と呼び、例外色のために求めたマトリクス係数を第２のマトリクス係数と呼ぶ。

なお、第２のマトリクス係数も第１のマトリクス係数と同様３行４列のマトリクス係数でも実現する代わりに、Ｒ、Ｇ１（又はＧ２）、Ｂを用いて３行３列のマトリクス係数で実現することもできる。

係数設定手段６は、色信号生成手段２から出力される第１乃至第４の色信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、Ｂｂを受けて、これらの組み合わせが予め定めた例外色を表すものであるかどうかを判定し、例外色であると判定したときは、第２のマトリクス係数を選択し、そうでないときは第１のマトリクス係数を選択し、選択されたマトリクス係数を分光感度補正手段４に供給する。
係数設定手段６は、例えば図１に示すように、色識別手段４２と、係数決定手段４３とを有する。
色識別手段４２は色信号生成手段２から出力される第１乃至第４の色信号Ｒｂ、Ｇ１ｂ、Ｇ２ｂ、Ｂｂを受けて、これらが、予め定められた条件を満たすかどうかの判定を行い、判定結果を示す判別信号ＤＳを出力する。即ち、予め定められた条件を満たすときは、例外色であると判定して、判別信号ＤＳを第１の値、例えば「１」とする。それ以外のときは、判別信号を第２の値、例えば「０」とする。
係数決定手段４３は色識別手段４２から供給される判別信号の値に応じて適切なマトリクス係数を分光感度補正手段４へ出力する。

色識別手段４２は、例えば、以下の不等式（４）及び（５）の双方が満たされるときに例外色であると判定する。
Ｒｂ／Ｇ１ｂ＞ｋ１ …（４）
Ｇ１ｂ／Ｇ２ｂ＞ｋ２ …（５）
式（４）、式（５）においてｋ１、ｋ２は予め定められた定数である。

以下、このような判定で、例外色を適切に検出できる理由を説明する。
木の葉は７００ｎｍからその反射率が急激に高くなるため、図４に示した撮像手段１１の分光感度のｇ１（λ）による値Ｇ１ｂとｒ（λ）による値Ｒｂとの比で、顔料による緑色か、自生している葉の緑色かを区別することが可能である。すなわち、Ｒｂ／Ｇ１ｂが予め定めておいた値より大きいときは例外色と判別することができる。

一方、図４に示すｒ（λ）の分光感度の帯域は略５７０ｎｍから１０００ｎｍと非常に広いため、前記Ｒｂ／Ｇ１ｂ＞ｋ１の判別式だけを用いると他の色も葉の緑色と判別されてしまう可能性がある。例えば、肌色（「明るい肌色」）や茶色（「暗い肌色」）などの色の分光反射率を図１３に示す。７００ｎｍまでの分光反射率だけを見た場合、明るい肌色と木の葉の色は明らかに異なるが、近赤外までを含んだ場合、いずれの色も良く似た色となり、Ｒ／Ｇ１の値もほぼ同様の値を持つ。一方、ｇ１（λ）の領域（５４０ｎｍ付近）とｇ２（λ）の領域（シアン寄りの領域、即ち５００ｎｍ付近）で比較すると、木の葉の場合には、ｇ１（λ）の領域における値が、ｇ２（λ）の領域における値よりも大きいが、「明るい肌色」や「暗い肌色」の場合にはそのような傾向がない。即ち、「明るい肌色」の場合には、ｇ１（λ）の領域における値よりもｇ２（λ）の領域における値の方が大きい。また、「暗い肌色」の場合には、ｇ１（λ）の領域における値とｇ２（λ）の領域における値とがほぼ同じである。そこで、Ｇ１ｂがＧ２ｂよりも大きいかどうかで木の葉と「明るい肌色」や「暗い肌色」との区別をすることができる。

色識別手段４２は上記の式（４）及び式（５）によって色の判別を行い、例外色（木の葉）と判断したときは識別信号を係数決定手段４３へ出力する。係数決定手段４３は、例外色のときは第２のマトリクス係数を分光感度補正手段４に供給し、例外色でないときは、第１のマトリクス係数を分光感度補正手段４に供給する。

分光感度補正手段４は係数決定手段４３から供給されたマトリクス係数を用いてマトリクス演算を行い、これにより、分光感度補正を行う。即ち、通常は第１のマトリクス係数を用いてマトリクス演算を行い、例外色のときは、第２のマトリクス係数を用いてマトリクス演算を行う。

このように木の葉のように顔料とは異なる色を例外色として扱い、係数決定手段４３によって例外色のマトリクス係数を適切なマトリクス係数に切り替えることで、すべての色に対して適切な色再現性を実現することができ、近赤外線が入射した不要な信号を補正することが可能となる。

なお、上記の例では、係数決定手段４３が色識別手段４２の検出信号に応じて第１のマトリクス係数又は第２のマトリクス係数を出力し、分光感度補正手段４は、供給されたマトリクス係数を用いてマトリクス演算を行っているが、このように構成する代わりに、第１のマトリクス係数及び第２のマトリクス係数を分光感度補正手段４内に記憶しておき、色識別手段４２の検出信号に応じて、第１のマトリクス係数及び第２のマトリクス係数のうちのいずれかを選択してマトリクス演算に用いることとしても良い。この場合には、係数設定手段６には、係数決定手段４３を設けなくても良い。しかし、この場合、係数決定手段が分光感度補正手段４に内蔵されていると見ることもできる。

上記の例では、前ホワイトバランス手段１５及び後ホワイトバランス手段１６が色信号を一画面分積算しているが、一画面以上にわたって積算することとしても良い。

また、上記の例では、第４のカラーフィルタとして、緑の光を抽出する第２のカラーフィルタと可視領域における相関性が強く、かつ分光透過率のピークが第２のカラーフィルタカラーフィルタの分光透過率よりも短い波長側にあり、かつ近赤外領域では第２のカラーフィルタと略同一の分光透過率を有するものを用いたが、第１のカラーフィルタ或いは第３のカラーフィルタに対して上記のような関係を有するフィルタを第４のカラーフィルタとして用いても良い。

さらにまた、上記の例では、撮像手段１１が図８に破線で示す分光感度特性を有する場合に得られる信号をターゲット信号としたが、撮像手段１１が図７の等色関数に等しい分光感度特性を有する場合に選られる信号をターゲット信号としても良い。すなわち、色信号生成手段２から分光感度補正手段４までの総合的な特性がＣＩＥ１９３１等色関数又はそれを線形変換することによって得られる等色関数に近似した分光感度特性、或いは人間の色覚特性又はそれを線形変換することによって得られる分光感度特性を有するときに得られる色信号をターゲット信号としても良い。

実施の形態２．
上記の実施の形態１において、処理の対象が例えば静止画の場合には、特に前ホワイトバランス手段１５以降の処理は、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。

実施の形態３．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用できる。

以下デジタルスチルカメラに適用した場合の構成を、図１４を参照して説明する。図１４に示すように、このデジタルカメラは、図１に示した撮像装置を構成する各要素のうち、色信号生成手段２の代わりに色信号生成手段６１を備え、さらにシャッタボタン６２、シャッタ駆動手段６３、表示駆動手段６４、モニタ６５、画像圧縮手段６６、及び書込み手段６７を付加したものである。

シャッタ駆動手段６３は、シャッタボタン６２の操作に応じて色信号生成手段６１内のシャッタを駆動する。表示駆動手段６４は、映像信号処理手段８の出力を受けてビューファインダーとしてのモニタ６５に画像を表示させる。モニタ６５は、例えば液晶表示装置で構成され、表示駆動手段６４に駆動されて、色信号生成手段６１内の撮像手段で撮像されている画像を表示する。画像圧縮手段６６は、映像信号処理手段８の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。書込み手段６７は、画像圧縮手段６６で圧縮されたデータを記録媒体６８に書き込む。

なお、撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、映像信号処理手段８の出力をエンコードしてＮＴＳＣ信号を生成して出力する。

この発明の実施の形態１の撮像装置を示すブロック図である。 図１の撮像装置の撮像手段１１内の撮像素子２２上のカラーフィルタの配列を示した図である。 撮像素子２２とカラーフィルタ、光学系の配置を示す図である。 図２のカラーフィルタ２６、２７、２８、２９を用いた撮像手段１１の分光感度特性を示す図である。 図１の前ホワイトバランス手段１５の構成を示すブロック図である。 図１の後ホワイトバランス手段１６の構成を示すブロック図である。 ＣＩＥ１９３１に示す等色関数を示す図である。 従来の撮像素子、ＩＲＣＦ、およびその乗じた分光感度特性を示す図である。 黒体輻射における５０００Ｋの場合の照明の分光特性を示す図である。 マクベスチャートの各カラーパッチの分光反射率特性を示す図である。 マクベスカラーチェッカーで緑色の例として挙げられている「草の色（Ｆｏｌｉａｇｅ）」、「黄緑色（Ｙｅｌｌｏｗ ｇｒｅｅｎ）」、「緑色（Ｇｒｅｅｎ）」の分光反射特性を示す図である。 自然界に自生している木の葉の分光反射特性を示す図である。 肌色（「明るい肌色」や茶色（「暗い肌色」）分光反射率を示す図である。 実施の形態３のカメラの構成を示すブロック図である。

符号の説明

２ 色信号生成手段、 ４ 分光感度補正手段、 ６ 係数設定手段、 ８ 映像信号処理手段、 １１ 撮像手段、 １２ 増幅手段、 １３ ＡＤＣ、 １４ ＤＣ再生手段、 １５ 前ホワイトバランス手段、 １６ 後ホワイトバランス手段、 １７ ガンマ補正手段、 １８ 輝度色差信号生成手段、 ２２ 撮像素子、 ２３ フィルタ群、 ２６ 赤のカラーフィルタ、 ２７ 緑（Ｇ１）のカラーフィルタ、 ２８ 青のカラーフィルタ、 ２９ 緑（Ｇ２）のカラーフィルタ、 ３１ｒ、３１ｇ１、３１ｇ２、３１ｂ 増幅手段、 ３２ｒ、３２ｇ１、３２ｇ２、３２ｂ 積算手段、 ３３ 利得制御手段、 ４２ 色識別手段、 ４３ 係数決定手段、 ５１ｒ、５１ｇ、５１ｂ 増幅手段、 ５２ｒ、５２ｇ、５２ｂ 積算手段、 ５３ 利得制御手段。

Claims (14)

1. 赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタと、前記第１乃至第３のカラーフィルタの一つと可視領域において相関性を有し、かつ分光透過率が最大となる波長が前記一つのカラーフィルタの分光透過率が最大となる波長よりも短く、かつ近赤外領域では前記一つのカラーフィルタと略同一の分光透過率を有する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の色信号を出力する色信号生成手段と、
   前記第１乃至第４の色信号のうち、少なくとも３つの色信号に対してマトリクス係数を掛けるマトリクス演算を行うことにより、補正された色信号を生成する分光感度補正手段と、
   前記色信号生成手段から出力された前記第１乃至第４の色信号を受けて、これらの組み合わせが予め定めた特定の例外色を表すものであるかどうかを判定し、判定結果に応じて前記マトリクス係数を切り換える係数設定手段と
   を有する撮像装置。
2. 前記分光感度補正手段は、前記色信号生成手段から前記分光感度補正手段までの総合的な分光感度特性が、人間の色覚特性若しくはそれを線形変換することによって得られる分光感度特性、又はＣＩＥ１９３１等色関数若しくはそれを線形変換することによって得られる分光感度特性に近似したものとなるような補正を行って前記補正された色信号を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のカラーフィルタは赤の光を通過させるカラーフィルタであり、
   前記第２のカラーフィルタは緑の光を通過させるカラーフィルタであり、
   前記第３のカラーフィルタは青の光を通過させるカラーフィルタであり、
   前記第４のカラーフィルタは、その分光透過率が略７００ｎｍまでは前記第２のカラーフィルタと相関性を有しており、かつその分光透過率が最大となる波長が、前記第２のカラーフィルタより略５０ｎｍ分短波長側にシフトしており、略７００ｎｍの波長を越えると前記第２のカラーフィルタと略同一の分光透過率を有することを特徴とする請求項１に記載の撮像装置。
4. 前記分光感度補正手段は、前記色信号生成手段から出力される第１乃至第４の色信号Ｒｂ、Ｇ１ｂ、Ｂｂ、Ｇ２ｂに対して以下の式
   

   

   
   による演算を行って、前記補正された色信号Ｒｃ、Ｇｃ、Ｂｃを生成することを特徴とする請求項１に記載の撮像装置。
5. 前記係数設定手段は、
   前記色信号生成手段から出力される前記第１乃至第４の色信号が所定の条件を満たすかどうかの判定により、前記色信号生成手段から出力される前記第１乃至第４の色信号で表される色が前記例外色であるかどうかの判定を行う色識別手段と、
   前記色識別手段における判定結果に基づいてマトリクス係数を定める係数決定手段とを備えることを特徴とする請求項１に記載の撮像装置。
6. 前記色識別手段は、
   前記第３の色信号Ｒｂの前記第２の色信号Ｇ１ｂ対する比Ｒｂ／Ｇ１ｂが第１の所定値（ｋ１）よりも大きく、前記２の色信号Ｇ１ｂの前記第４の色信号Ｇ２ｂに対する比Ｇ１ｂ／Ｇ２ｂが第２の所定値（ｋ２）よりも大きいときに、前記色信号生成手段から出力される前記第１乃至第４の色信号で表される色が前記例外色であると判定することを特徴とする請求項５に記載の撮像装置。
7. 前記色信号生成手段から前記第１乃至第４の色信号が前記例外色を表すものであるときは、例外色のためのマトリクス係数が用いられ、
   前記色信号生成手段から前記第１乃至第４の色信号が前記例外色を表すものでないときは、通常色のためのマトリクス係数が用いられ、
   前記通常色のために定められたマトリクス係数は、標準的なカラーチャートを用いて定められ、
   前記例外色のためのマトリクス係数は、例外色を用いて予め定められている
   ことを特徴とする請求項１に記載の撮像装置。
8. 赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタと、前記第１乃至第３のカラーフィルタの一つと可視領域において相関性を有し、かつ分光透過率が最大となる波長が前記一つのカラーフィルタの分光透過率が最大となる波長よりも短く、かつ近赤外領域では前記一つのカラーフィルタと略同一の分光透過率を有する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の色信号を出力する色信号生成手段を備える撮像装置の信号処理方法において、
   前記第１乃至第４の色信号のうち、少なくとも３つの色信号に対してマトリクス係数を掛けるマトリクス演算を行うことにより、補正された色信号を生成する分光感度補正工程と、
   前記色信号生成手段から出力された前記第１乃至第４の色信号を受けて、これらの組み合わせが予め定めた特定の例外色を表すものであるかどうかを判定し、判定結果に応じて前記マトリクス係数を切り換える係数設定工程と
   を有する信号処理方法。
9. 前記分光感度補正工程は、前記色信号生成手段における色信号生成から前記分光感度補正工程における分光感度補正までの総合的な分光感度特性が、人間の色覚特性若しくはそれを線形変換することによって得られる分光感度特性、又はＣＩＥ１９３１等色関数若しくはそれを線形変換することによって得られる分光感度特性に近似したものとなるような補正を行って前記補正された色信号を生成することを特徴とする請求項８に記載の信号処理方法。
10. 前記第１のカラーフィルタは赤の光を通過させるカラーフィルタであり、
    前記第２のカラーフィルタは緑の光を通過させるカラーフィルタであり、
    前記第３のカラーフィルタは青の光を通過させるカラーフィルタであり、
    前記第４のカラーフィルタは、その分光透過率が略７００ｎｍまでは前記第２のカラーフィルタと相関性を有しており、かつその分光透過率が最大となる波長が、前記第２のカラーフィルタより略５０ｎｍ分短波長側にシフトしており、略７００ｎｍの波長を越えると前記第２のカラーフィルタと略同一の分光透過率を有することを特徴とする請求項８に記載の信号処理方法。
11. 前記分光感度補正工程は、前記色信号生成手段から出力される第１乃至第４の色信号Ｒｂ、Ｇ１ｂ、Ｂｂ、Ｇ２ｂに対して以下の式
    

    

    
    による演算を行って、前記補正された色信号Ｒｃ、Ｇｃ、Ｂｃを生成することを特徴とする請求項８に記載の信号処理方法。
12. 前記係数設定工程は、
    前記色信号生成手段から出力される前記第１乃至第４の色信号が所定の条件を満たすかどうかの判定により、前記色信号生成手段から出力される前記第１乃至第４の色信号で表される色が前記例外色であるかどうかの判定を行う色識別工程と、
    前記色識別工程における判定結果に基づいてマトリクス係数を定める係数決定工程とを備えることを特徴とする請求項８に記載の信号処理方法。
13. 前記色識別工程は、
    前記第３の色信号Ｒｂの前記第２の色信号Ｇ１ｂ対する比Ｒｂ／Ｇ１ｂが第１の所定値（ｋ１）よりも大きく、前記２の色信号Ｇ１ｂの前記第４の色信号Ｇ２ｂに対する比Ｇ１ｂ／Ｇ２ｂが第２の所定値（ｋ２）よりも大きいときに、前記色信号生成手段から出力される前記第１乃至第４の色信号で表される色が前記例外色であると判定することを特徴とする請求項１２に記載の信号処理方法。
14. 前記色信号生成手段から前記第１乃至第４の色信号が前記例外色を表すものであるときは、例外色のためのマトリクス係数が用いられ、
    前記色信号生成手段から前記第１乃至第４の色信号が前記例外色を表すものでないときは、通常色のためのマトリクス係数が用いられ、
    前記通常色のために定められたマトリクス係数は、標準的なカラーチャートを用いて定められ、
    前記例外色のためのマトリクス係数は、例外色を用いて予め定められている
    ことを特徴とする請求項８に記載の信号処理方法。

Images