JP4298595B2 - 撮像装置及びその信号処理方法 - Google Patents

Description

この発明は、撮像装置における比視感度補正のために必要とする赤外除去フィルタを用いずに比視感度補正を行い、色再現性の良好な画像が得られる信号処理を具備した撮像装置及び信号処理方法に関するものである。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の映像信号を得る映像信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｔｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外領域で感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。

これに対し、人間の色に対する感度特性である色覚特性及び明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）を設ける必要があった。

一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、近赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に近赤外光を受光させるほうが良い。

そこで、色再現性を重視したカラー画像の撮像と、高感度撮像のいずれにも対応できるようにするため、色再現性を重視するときはＩＲＣＦを撮像素子の前に設置し、感度を重視するときは近赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。

また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。

特開２００１−３６８０７公報（第３−４頁、第１図、第２図） 特開２００３−１３４５２２公報（第４−５頁、第１図） 特開２００３−２６４８４３公報（第４頁、第１図）

しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、ＩＲＣＦを用いない構成とすることが望まれている。
また、撮像素子の電子シャッタを用いて光量調整を行う簡易的な撮像装置（例えば、ピーシー（ＰＣ）カメラ、携帯電話用カメラ、トイ（ＴＯＹ）カメラ、民生用監視カメラ）は絞り機構を有していないことが多いため、新たにＩＲＣＦを着脱する機構手段を設けなければならない。

さらに、特許文献２、３に挙げた撮像装置は白黒の映像信号を得るときは問題ないが、カラーの映像信号を得るときは、色信号はホワイトバランスを合わせるのみであり、さらに輝度信号も人間の比視感度特性が考慮されていない色信号比であるため、そのカラーの映像信号は人間の色覚特性またはその線形変換から得られる分光感度特性から得られるにより決まるＲ、Ｇ、Ｂ値と異なった、すなわち色差ΔＥ＊ａｂ（ＪＩＳ Ｚ８７３０）の大きな映像信号となり、正確な色再現性が得られない。

さらにまた、絵の具の緑などに対しては適切に分光感度補正を行うことができても、絵の具の緑と、人間の目には同じ色（等色）に見える、自生している木の葉の緑や化学繊維の布の色などに対して適切に分光感度補正を行うことができないという問題があった。

本発明は、上述のような課題を解消するためになされたもので、ＩＲＣＦなしで、絵の具の緑などや、自生している木の葉の緑や化学繊維の布の色などのいずれに対して適切に分光感度補正を行うことができ、良好な色再現性を得ることができる撮像装置及び信号処理方法を提供することを目的とする。

この発明は、
入射光を受けて、入射光を少なくとも３つの色成分に分離し、前記少なくとも３つの色成分に対応する第１乃至第３の色信号を出力する色信号生成手段と、
前記色信号生成手段から出力される前記第１乃至第３の色信号とマトリクス係数との乗算を含むマトリクス演算を行うことにより、前記色信号生成手段が有する近赤外領域での応答特性を補正する分光感度補正手段と、
前記色信号生成手段から出力される前記第１乃至第３の色信号を受けて、これらの組み合わせが予め定めた例外色を表すものであるかどうかを判定し、判定結果に応じて前記マトリクス係数を切り換える係数設定手段と
を備えることを特徴とする撮像装置を提供する。

本発明によれば、ＩＲＣＦなしで、人間の目で同じ色（等色）に見える、絵の具の緑と、自生している木の葉の緑や化学繊維の布の色などのいずれに対しても、良好な色再現を実現することができる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置の概略構成を示す図である。図示のように、この撮像装置は、色信号生成手段２と、分光感度補正手段４と、係数設定手段６、映像信号処理手段８とを有する。

色信号生成手段２は、入射光を受けて、入射光に対応する映像信号（第１の映像信号）、例えば赤、緑、青の色信号Ｒ２、Ｇ２、Ｂ２を出力するものである。
分光感度補正手段４は、色信号生成手段２から出力される色信号Ｒ２、Ｇ２、Ｂ２とマトリクス係数との乗算を含むマトリクス演算により、近赤外成分、すなわち、色信号生成手段２が近赤外領域において分光感度を有することによって第１の映像信号に含まれる信号成分を除去して、第２の映像信号、例えばＲ３、Ｇ３、Ｂ３の色信号を生成するものである。
係数設定手段６は、色信号生成手段２から出力される色信号Ｒ２、Ｇ２、Ｂ２を受けて、これらの組み合わせが予め定めた特定の例外色を表すものであるかどうかを判定し、判定結果に応じてマトリクス係数を切り換える。
映像信号処理手段８は、分光感度補正手段４から出力される第２の映像信号を、外部に出力するのに適した信号（第３の映像信号）に変換するものである。

色信号生成手段２は、例えば図１に示すように、撮像手段１１と、増幅手段１２と、Ａ／Ｄ変換器（ＡＤＣ）１３と、直流成分再生手段（ＤＣ再生手段）１４と、ホワイトバランス（ＷＢ）手段１５とを有する。

撮像手段１１は、例えば図２及び図３に示すように、レンズを含む光学系２１と、２次元的に配列され、それぞれ画素を構成する複数の光電変換素子を有する撮像素子２２とを有する。撮像素子２２の複数の光電変換素子は、例えば図２に示すように、色分離手段としての色フィルタ群２３で覆われている。
複数の光電変換素子は第１乃至第３の群に分けられている。
色フィルタ群２３は、第１の群の光電変換素子の各々に対して設けられた複数の赤のフィルタ（Ｒフィルタ）２６と、第２の群の光電変換素子の各々に対して設けられた複数の緑のフィルタ（Ｇフィルタ）２７と、第３の群の光電変換素子の各々に対して設けられた複数の青のフィルタ（Ｂフィルタ）２８とを有し、これらが例えば図示のように即ちベイヤ型に配列されている。

図４にはそれぞれＲ、Ｇ、Ｂの色フィルタ２６、２７、２８が設けられた光電変換素子の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）を示す。図４に示した分光感度特性は、色フィルタの透過率と撮像手段１１の各画素を構成する光電変換素子の分光感度特性との組合せの特性である。撮像手段１１の各画素を構成する光電変換素子は１０００ｎｍ近辺まで感度を有するので、ｒ（λ）、ｇ（λ）、ｂ（λ）は、略色フィルタの分光透過率に対応したものである。即ち、Ｒフィルタ２６は、略５６０ｎｍから透過率が大きくなる分光透過率特性を有し、Ｇフィルタ２７は、略４５０ｎｍから６００ｎｍまで透過率が大きく、略７００ｎｍから再び透過率が大きくなる分光透過率特性を有し、Ｂフィルタ２８は、略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる分光透過率特性を有する。

レンズを含む光学系２１から入射した光は、撮像素子２２の受光面上に結像する。撮像素子２２は、上記のように色フィルタ群２３で覆われており、各光電変換素子からは、色フィルタ群２３の分光透過率に対応した色成分、即ちＲ、Ｇ、Ｂのアナログ映像信号が出力される。

このようにして、撮像手段１１から出力されるＲ、Ｇ、Ｂのアナログ信号（以下、それぞれ「Ｒ信号」、「Ｇ信号」、「Ｂ信号」と言うことがある）は、増幅手段１２によって増幅される。増幅手段１２から出力された映像信号はＡＤＣ１３によってＲ、Ｇ、Ｂのデジタル色信号に変換される。

ＡＤＣ１３からのＲ、Ｇ、Ｂのデジタル色信号はＤＣ再生手段１４により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ１３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。

ホワイトバランス手段１５は、図５に示されるように、ＤＣ再生手段１４から出力される色信号Ｒ１、Ｇ１、Ｂ１を増幅し、色信号Ｒ２、Ｇ２、Ｂ２を出力する３つの増幅手段３１ｒ、３１ｇ、３１ｂと、色信号Ｒ１、Ｇ１、Ｂ１をそれぞれ一画面内のすべての画素について積算して積算値ΣＲ１、ΣＧ１、ΣＢ１を出力する積算手段３２と、積算手段３２の出力ΣＲ１、ΣＧ１、ΣＢ１に基づいて、積算値の比ΣＲ１／ΣＧ１及びΣＢ１／ΣＧ１を求める除算手段３３と、除算手段３３の出力に基いて増幅手段３１ｒ、３１ｇ、３１ｂの増幅率を制御する利得制御手段３４とを有する。

なお、積算値の比はその分母をΣＧ１としたが、逆数であっても問題ない。但し、以下では、ΣＧ１を分母とした比を用いるものとして説明する。
利得制御手段３４は積算値の比ΣＲ１／ΣＧ１及びΣＢ１／ΣＧ１を入力とし、理想とする色信号Ｒｔ、Ｇｔ、Ｂｔの少なくとも一画面にわたる積算値の比ΣＲｔ／ΣＧｔ及びΣＢｔ／ΣＧｔへ変換し、ホワイトバランス手段１５のホワイトバランス係数を算出し、ホワイトバランス係数を増幅手段３１ｒ乃至３１ｂへ出力する。上記した理想とする色信号とは本発明による撮像装置にて良好な色再現を実現するにターゲットとするＲ、Ｇ、Ｂ信号であり、近赤外光による不要な信号が含まれていない良好な色再現性を実現する信号である。変換の方法については後述する。

ホワイトバランス手段は、一般被写体の場合、一画面中の色は平均すれば無彩色に近くなるという統計的結果（エバンスの原理）を利用して、画面内のすべての画素について積算値が互いに等しくなるように、それぞれの色の信号に対する増幅率を制御して行う。ホワイトバランス手段１５の出力が色信号生成手段２の出力（第１の映像信号）となる。

分光感度補正手段４は、上記のように、色信号生成手段２から出力される色信号Ｒ２、Ｇ２、Ｂ２から、色信号生成手段２、特にその撮像手段１１が近赤外領域において分光感度を有することによって、信号Ｒ２、Ｇ２、Ｂ２に含まれる信号成分（この信号成分を「近赤外成分」と呼ぶ）を除去して、言い換えると、色信号生成手段２が近赤外領域に分光感度を有することによる影響を取り除いて、色信号（第２の映像信号）Ｒ３、Ｇ３、Ｂ３を生成するものである。
分光感度補正手段４は、マトリクス演算によってそのような補正を行うものであり、マトリクス演算に用いられる係数が、上記のような条件を満たすように定められている。マトリクス係数の定め方については後述する。

映像信号処理手段８は、上記のように、分光感度補正手段４から出力される信号Ｒ３、Ｇ３、Ｂ３を、外部に出力するのに適した信号に変換するものであり、例えば、図１に示すように、ガンマ（γ）補正手段１６と、輝度色差信号生成手段１７とを有する。
ガンマ補正手段１６は分光感度補正手段４から出力された色信号Ｒ３、Ｇ３、Ｂ３に非線形の階調変換を行って、ガンマ補正された色信号Ｒ４、Ｇ４、Ｂ４を出力する。

輝度色差信号生成手段１７はガンマ補正手段１６から出力された色信号Ｒ４、Ｇ４、Ｂ４を、輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。輝度色差信号生成手段１７は、この変換（ＹＣｒＣｂ変換）のため、通常３行３列のマトリクス係数を掛ける、下記の式（１）の線形マトリクス演算を行う。

式（１）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１）に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定められる。

分光感度補正手段４による分光感度補正について以下にその詳細を説明する。
図６に人間の色覚特性を表した分光感度特性を示す。図６に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は、色順応などの機能を無視し、簡単に表せば図６に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図６に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、７００ｎｍより長波長側ではほとんど感度がない。

それに対して、撮像手段１１に色分解を行うＲＧＢの色フィルタ２３を設けた場合、色フィルタの分光透過率と撮像素子の分光感度の積に応じたＲ、Ｇ、Ｂの信号が撮像手段１１から出力されるが、撮像手段１１は光電変換を行う撮像素子例えばフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、可視域から近赤外領域（１０００ｎｍ近辺）まで分光感度を有する。また、図４を参照して説明したように、Ｒフィルタ２６は、略５６０ｎｍから透過率が大きくなる分光透過率特性を有し、Ｇフィルタ２７は、略４５０ｎｍから６００ｎｍまで透過率が大きく、略７００ｎｍから再び透過率が大きくなる分光透過率特性を有し、Ｂフィルタ２８は、略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる分光透過率特性を有する。さらに、Ｒフィルタ２６は、近赤外領域の透過率も比較的高いため、近赤外線を撮像素子２２に透過させる。また、Ｇフィルタ２７や、Ｂフィルタ２８も同様に近赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から近赤外領域に掛けて再び透過率が上がる特性を有しているためである。

図４に示した撮像素子２２のＲ、Ｇ、Ｂの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））は図６に示した等色関数とは異なり、特に近赤外領域（７００ｎｍから１１００ｎｍ）では著しく異なるため、従来の撮像装置では近赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子２２の前に設けている。ＩＲＣＦは図７にＩＲＣＦ（λ）で示すように、略７００ｎｍで急激に透過率を低下させる分光透過率特性を有している。ＩＲＣＦ（λ）とＲ、Ｇ、Ｂの色フィルタの分光透過率特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が従来のＩＲＣＦを具備した場合の撮像手段のＲ、Ｇ、Ｂ信号に対応するそれぞれの色の分光感度特性であり、図７に破線ｒ’（λ）、ｇ’（λ）、ｂ’（λ）で示されている。

なお、ＩＲＣＦはその材質によって分光透過率の特性が異なり、光の干渉を利用して複数の薄膜を重ねたタイプのＩＲＣＦは急峻なカットオフ特性を実現できるため図７に示した特性となる。一方、光の吸収を利用した通常青ガラスと呼ばれるＩＲＣＦは急峻なカットオフ特性を実現できないため、半値が略６５０ｎｍであるが、いずれのタイプにしても目的は等色関数にあわせるためであり、７００ｎｍ以上の透過をなくすための特性を有している。

従来の撮像装置はＩＲＣＦの使用により、図７に破線で示した撮像手段の分光感度特性にて撮像を行うが、厳密には図７の破線で示した分光感度特性は図６で示した等色関数とは異なるため、図７の破線の分光感度特性では、図６の等色関数から得られる画像とまったく同値の色再現性は得られない。しかし、ほぼ同等の色再現性が得られるため、従来の撮像装置では本特性にて充分であるとしていた。ここでの色再現性とは人間の目で見える色に略一致させることであり、かつ目で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する。
また、更に厳密に色再現性の精度を上げるためにはＲ、Ｇ、Ｂ信号に対して３行３列のマトリクス演算を行うことにより、更に等色関数への近似を行い色再現性を向上させるという信号処理も行われていた。

上記のように従来は近赤外領域における撮像素子２２の分光感度特性が人間の感度特性と異なるため、ＩＲＣＦを挿入し、分光感度特性を近似させていた。
撮像手段１１から得られた信号に対する処理により、近赤外領域から得られる余分な信号成分を元の信号から除去することができれば、ＩＲＣＦを用いずに良好な色再現性を実現することができる。

分光感度補正手段４はその目的で用いられるものであり色信号生成手段２から出力される色信号Ｒ２、Ｇ２、Ｂ２に対して後述の式（２）で示されるマトリクス演算を行って補正された色信号Ｒ３、Ｇ３、Ｂ３を出力する。

以下の説明では、分光感度補正手段４の出力として理想とすべき信号をＲｔ、Ｇｔ、Ｂｔで表す。理想とすべき色信号Ｒｔ、Ｇｔ、Ｂｔは、色信号生成手段２が近赤外領域に分光感度を持たない場合に、たとえば色信号生成手段２の撮像手段１１がＩＲＣＦを備えたものである場合に、色信号生成手段２の出力側に得られる信号である。

分光感度補正手段４の前段に設けられたホワイトバランス手段１５はＤＣ再生手段１４から出力された信号Ｒ１、Ｇ１、Ｂ１に対してＲｔ、Ｇｔ、Ｂｔを基準としたホワイトバランスを行う。これは最終的に得るターゲットの色信号がＲｔ、Ｇｔ、Ｂｔであり、Ｒｔ、Ｇｔ、Ｂｔに対するホワイトバランスを行うことで、後段の分光感度補正手段４における補正のためのマトリクス演算が、照明光の色温度に影響されないようにすることができる。具体的には以下のように行う。図８、図９及び図１０に黒体輻射に準ずる照明（太陽光、フィラメント発光）の色温度に応じた分光特性を例として示す。図１１には完全反射体（全波長において分光反射率が均一な反射体）を被写体とし、光源としてハロゲンや太陽光など黒体輻射を行う照明を用いた場合、除算手段３３から得られる積算値の比ΣＲ１／ΣＧ１とΣＢ１／ΣＧ１の関係を○印の点を結ぶ破線（ａ）にて示す。図１１に示すように積算値の比は黒体輻射に準ずる照明（太陽光、フィラメント発光）の色温度の値に応じて線上の軌跡で表せるため、積算値の比のいずれかが分かれば、他方の積算値の比及び色温度は一義的に求まる。

一方、カラーターゲットとすべきＲｔ、Ｇｔ、Ｂｔの分光感度特性は、図７の破線（撮像素子２２の特性にＩＲＣＦの特性を乗算したもの）に示される。図７の破線の分光感度特性と完全反射体と照明の分光特性を掛け合わせ、全波長において積算した和から求められる色信号（Ｒｔ、Ｇｔ、Ｂｔ）において、画像全画面の積算値の比ΣＲｔ／ΣＧｔ及びΣＢｔ／ΣＧｔの値は同じく図１１内にて●印の点を結ぶ実線（ｂ）で表すことができる。撮像素子２２の分光感度特性及びＩＲＣＦの分光感度特性は既知であるので、図７の破線で示す分光感度特性は計算により求めることができる。図７の破線の分光感度特性が求まれば、図１１の実線（ｂ）は色温度に応じた照明の分光特性と上記の図７の破線の分光感度特性との積により計算により求めることができる。また、図１１の破線（ａ）も予め求めておくことができる。よって、図１１上で、例えば、３０００Ｋの照明のときに得られる値は破線（ａ）上でも、実線（ｂ）上でも知ることができるため除算手段３３から得られるΣＲ１／ΣＧ１（又はΣＢ１／ΣＧ１）は図１１からΣＲｔ／ΣＧｔ（又はΣＢｔ／ΣＧｔ）へ１対１の関係で値を変換することができる。上記値の変換は例えば、利得制御手段３４が図１１に示す２曲線の特性をＬＵＴ（Ｌｏｏｋ ｕｐ Ｔａｂｌｅ）などでデータとして記憶しておくことで変換が可能である。

利得制御手段３４は上述した積算値の比の変換を行い、ホワイトバランス係数を増幅手段３１ｒ乃至３１ｇへ出力する。ホワイトバランス係数は、Ｇの色信号を基準として、Ｇの色信号のための増幅手段３１ｇの利得を「１」に固定し、Ｒの色信号のための増幅手段３１ｒに対しては、上記の積算値ΣＲｔ／ΣＧｔの比の逆数ΣＧｔ／ΣＲｔの値をその利得として設定する。Ｂの色信号のための増幅手段３１ｂに対しては、上記の積算値ΣＢｔ／ΣＧｔの比の逆数ΣＧｔ／ΣＢｔの値をその利得として設定する。

今、Ｒ２、Ｇ２、Ｂ２から不要な赤外線による信号が除かれたものがＲｔ、Ｇｔ、Ｂｔであることを考えると、図７に示される破線と実線との差が不必要な近赤外領域での信号成分の積算値を表すこととなり、上述したホワイトバランス手段１５により、Ｒｔ、Ｇｔ、Ｂｔのホワイトバランスがなされたと考えることができる。

なお、上記のホワイトバランスは被写体を完全反射体（無彩色の被写体）で説明したが、撮像した一般の被写体を一画面にて積算した色は無彩色に近くなるという統計的結果（エバンスの原理）があり、上述したホワイトバランスはこの原理にもとづいて処理を行うことができるため、画面全体を積算することは完全反射体（無彩色の被写体）を撮像していると等価である。
さらに付け加えると、ホワイトバランスは元来照明の色温度が異なる場合に、白い被写体が白く写るようにＲチャンネル、Ｇチャンネル、Ｂチャンネルの利得を調整するものであり、色再現性をすべて補正できるものではない。例えば、色温度の低い（赤い）照明下で撮影した被写体は全体的に赤く写り、ホワイトバランスを行うことで白い被写体が白く写るようにすることはできる。しかし、例えばマクベスのカラーチェッカーを例に挙げると、撮像素子の不適切な分光感度特性により赤色がややマゼンタがかったり、黄色がやや緑がかったりする色再現性の場合、上記ホワイトバランスではこれらに対する補正を行うことができず、後述するマトリクス演算による色再現性の補正を行う。

分光感度補正手段４はホワイトバランス手段１５から出力される色信号Ｒ２、Ｇ２、Ｂ２を入力し以下の式（２）で示されるマトリクス演算を行い、補正された信号Ｒ３、Ｇ３、Ｂ３を算出する。

式（２）において、ｅ１１乃至ｅ３３はマトリクス係数である。

図４に示した撮像手段１１の分光感度特性と、図７に破線で示した分光感度特性とは特に近赤外の領域においてその分光特性が大きく異なるが、式（２）で示したマトリクス係数を適切に定めることで条件等色を満たし良好な色再現性を得ることができる。ここで、条件等色とは分光特性の異なる２つの色刺激が、特定の観測条件で等しい色に見えることである。
すなわち、特定の照明を用いて特定の被写体を撮像したときの色再現性が最も良くなるように、すなわち、ＩＲＣＦを用いなくてもＩＲＣＦを用いたときと略等しい信号が分光感度補正手段４の出力側に得られるように、マトリクス係数を定める。

具体的なマトリクス係数の求め方は例えば、以下の通りである。
照明としては、例えば図９に示す５０００Ｋの色温度を有する照明を用いる。
被写体としては、標準的なカラーチャート、例えばマクベスカラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色のカラーパッチ（色票）を用いる。

マクベスカラーチェッカーは、被写体として現存する色を代表し、かつ人間の記憶色（肌色、植物の緑、空の青等）を重視して選択された２４色のカラーパッチを含むものであり、２４色のカラーパッチの３００ｎｍから１２００ｎｍの分光反射率が図１２に示されている。図１２でカラーパッチの番号１乃至２４はそれぞれ以下の色に対応する。

１：暗い肌色（Ｄａｒｋ ｓｋｉｎ）、
２：明るい肌色（Ｌｉｇｈｔ Ｓｋｉｎ）、
３：青空の色（Ｂｌｕｅ ｓｋｙ）、
４：草の色（Ｆｏｌｉａｇｅ）、
５：青色の花（Ｂｌｕｅ ｆｌｏｗｅｒ）、
６：青みの緑色（Ｂｌｕｉｓｈ ｇｒｅｅｎ）、
７：オレンジ色（Ｏｒａｎｇｅ）、
８：紫みの青色（Ｐｕｒｐｌｉｓｈ ｂｌｕｅ）、
９：中程の赤色（Ｍｏｄｅｒａｔｅ ｒｅｄ）、
１０：紫色（Ｐｕｒｐｌｅ）、
１１：黄緑色（Ｙｅｌｌｏｗ ｇｒｅｅｎ）、
１２：オレンジみの黄色（Ｏｒａｎｇｅ ｙｅｌｌｏｗ）、
１３：青色（Ｂｌｕｅ）、
１４：緑色（Ｇｒｅｅｎ）、
１５：赤色（Ｒｅｄ）、
１６：黄色（Ｙｅｌｌｏｗ）、
１７：マゼンタ（Ｍａｇｅｎｔａ）、
１８：シアン（Ｃｙａｎ）、
１９：白色（Ｗｈｉｔｅ）、
２０：グレイ８（Ｎｅｕｔｒａｌ ８）、
２１：グレイ６．５（Ｎｅｕｔｒａｌ ６．５）、
２２：グレイ５（Ｎｅｕｔｒａｌ ５）、
２３：グレイ３．５（Ｎｅｕｔｒａｌ ３．５）、
２４：黒色（Ｂｌａｃｋ）
である
（なお、上記した各カラーパッチの和訳は、新編色彩化学ハンドブック第２版、日本色彩学会編による。）

図９に示した照明の分光特性と、図１２に示した各カラーパッチの分光反射率と、図７に破線に示した分光感度特性の積を全波長にわたって積算することで各カラーパッチに対応するＲ、Ｇ、Ｂ信号を算出し、Ｒ、Ｇ、Ｂのそれぞれの色信号の画面全体にわたる積算値が等しくなるように、または、白基準とするチェッカー内のグレイの部分の積算値が等しくなるようにホワイトバランスを行い、Ｒｔ、Ｇｔ、Ｂｔを算出する。
次に図９に示した照明の分光特性と、図１２に示した各カラーパッチの分光反射率と、図４に示した分光感度特性との積を全波長にわたって積算することで各カラーパッチに対応するＲ、Ｇ、Ｂ信号を算出し、カラーターゲットとすべき分光感度特性（図７破線）で求めたときのホワイトバランス係数の値をＲ、Ｇ、Ｂの色信号に掛け合わせることでホワイトバランスを行い、Ｒ２、Ｇ２、Ｂ２を算出する。
このようにして、Ｒｔ、Ｇｔ、Ｂｔ及びＲ３、Ｇ３、Ｂ３は２４パッチ分算出でき、これらの値から式（２）の係数ｅ１１乃至ｅ３３の値を最小二乗誤差法にて算出することができる。

上記のようにして求められたマトリクス係数を用い式（２）に示すマトリクス演算に用いることにより得られたＲ３、Ｇ３、Ｂ３と、図７の破線の分光感度特性を介して算出されるＲｔ、Ｇｔ、Ｂｔとの色差を図１３に示す。用いたマトリクス係数は
ｅ１１＝０．３２８８、ｅ１２＝０．４４５４、ｅ１３＝−０．３０８０、ｅ２１＝−０．１９８１、ｅ２２＝１．１２９４、ｅ２３＝−０．１５９４、ｅ３１＝−０．１４２１、ｅ３２＝０．１４９５、ｅ３３＝０．７８５７である。色差ΔＥ＊ａｂは

で算出している（ＪＩＳ Ｚ８７３０−１９９５）。図１３に示すように平均の色差は３．０であり、人間の目にはほとんど同色の色再現性を実現することができている。

しかし、上記マトリクス係数は被写体として標準的なカラーチャート例えばマクベスカラーチェッカーを用いて算出したものであり、実際のすべての被写体の色について必ずしも妥当ではない。特にマクベスカラーチェッカーは自然界に存在する特徴的な色をできるだけ網羅して作成されたものであるが、その特性は可視域だけを考慮して作成されているといえる。それに対して、近赤外の領域まで考慮した場合、マクベスカラーチェッカーの色とは異なる色もあり得る。マクベスカラーチェッカーはチャートであるため、そのカラーパッチは絵の具などの顔料が用いられている。それに対して、例えば、可視域では同じ緑色に見える木の葉などは絵の具の緑とは異なった分光反射率を有する。図１４にマクベスカラーチェッカーで緑色の例として挙げられている「草の色（Ｆｏｌｉａｇｅ）」、「青みの緑色（Ｂｌｕｉｓｈ ｇｒｅｅｎ）」、「黄緑色（Ｙｅｌｌｏｗ ｇｒｅｅｎ）」、「緑色（Ｇｒｅｅｎ）」と自然界に自生している木の葉の２つの特性（「木の葉（１）」、「木の葉（２）」）を示す。例えば「草の色（Ｆｏｌｉａｇｅ）」は木の葉の色を再現するために作成されたカラーパッチであるが、その分光特性は実際の木の葉とは異なり、特に近赤外領域である７００ｎｍから異なり、木の葉は７００ｎｍから急激にその反射率が高くなる特徴を持つ。先の述べたように人間の目は７００ｎｍからほとんど感度を有さないため、カラーパッチの色と木の葉の色はほぼ同じ色として見えるが、近赤外領域の光線に感応する図４に示した撮像手段１１の分光感度特性では得られる色再現が大きく異なり、例えばＲ信号が必要以上の大きくなるため緑が茶色の色再現となる。

同様に化学繊維の布なども、顔料の分光反射率とは近赤外領域で異なるため、可視域では同じ色に見えても近赤外光を入射すると大きく色再現性が異なる。図１５に化学繊維の青色の布と、マクベスカラーチェッカーの「青色（Ｂｌｕｅ）」の分光反射率を示す。化学繊維の布も木の葉と同様に７００ｎｍから急激にその反射率が高くなる特徴を持つ。よって、人間の目にはほぼ同じ色として見えるが、近赤外領域の光線に感応する図４に示した撮像手段１１で得られる色再現が大きく異なり、たとえばＲ信号が必要以上の大きくなり青色の布が紫色に見える色再現となる。

このように絵の具やペンキなどの顔料で表される被写体の色は、上記のマトリクス係数で良好な色再現性を実現することができるが、木の葉や化学繊維の布の色などは７００ｎｍ以上の範囲で分光反射率が著しく異なるため、色再現性が悪い。
図１６に自然の木の葉２種類（「木の葉（１）」、「木の葉（２）」）と、化学繊維の青色、赤色、黒色（「青布」、「赤布」、「黒布」）の分光反射率を例として示す。この５色をマクベスカラーチェッカー２４パッチに加え合計２９色で、上述した最小二乗法であらたにマトリクス係数を算出したときの色差ΔＥ＊ａｂを図１７に示す。ここでマトリクス係数は
ｅ１１＝０．２９２５、ｅ１２＝０．５１８４、ｅ１３＝−０．３５２２、ｅ２１＝−０．２１１８、ｅ２２＝１．１５８７、ｅ２３＝−０．１８０４、ｅ３１＝−０．１５４１、ｅ３２＝０．１７６２、ｅ３３＝０．７６６３を用いた。マクベスカラーチャートのカラーパッチの色差の平均値（色番号１乃至２４）は２．９と、２４パッチだけで求めたときとほぼ同値の良好な色再現性を実現しているが、新たに加えた５パッチについては色差が大きく、特に化学繊維の赤を除けば色差は９以上と大きな値となっている。

そこで、木の葉や化学繊維の色など、カラーターゲットとしている分光感度特性（図７の破線）では感度の無い７００ｎｍから大きな反射率を有する色を例外色として、例外色に応じたマトリクス係数を適用させることで、木の葉や化学繊維の色に対しても良好な色再現性を実現する。

例外色に適したマトリクス係数は、例外色の分光反射率特性を図４の分光感度特性を介して得られた値が、例外色の分光反射率特性を図７の破線で示すカラーターゲットとする分光感度特性を介して得られた値に近くなるように、最小二乗誤差法で算出することができる。

これにより、マトリクス係数として、ｅ１１＝０．４６２４、ｅ１２＝−０．１６６９、ｅ１３＝−０．４６３２、ｅ３１＝−０．１２２９、ｅ２２＝０．８４０２、ｅ２３＝−０．２５３１、ｅ３１＝−０．０７９８、ｅ３２＝−０．０７６９、ｅ３３＝０．６８６７が得られた。このような例外色のためのマトリクス係数を第２のマトリクス係数と呼び、上記した顔料などの色に対するマトリクス係数、例えば、ｅ１１＝０．３２８８、ｅ１２＝０．４４５４、ｅ１３＝−０．３０８０、ｅ２１＝−０．１９８１、ｅ２２＝１．１２９４、ｅ２３＝−０．１５９４、ｅ３１＝−０．１４２１、ｅ３２＝０．１４９５、ｅ３３＝０．７８５７を区別のため第１のマトリクス係数と呼ぶ。

第１及び第２のマトリクス係数は予め定められ、係数設定手段６内に記憶されており、係数設定手段６は、色信号生成手段２から出力される第１乃至第３の色信号Ｒ２、Ｇ２、Ｂ２を受けて、これらの組み合わせが予め定めた例外色を表すものであるかどうかを判定し、例外色であると判定したときは、第２のマトリクス係数を選択し、そうでないときは第１のマトリクス係数を選択し、選択されたマトリクス係数を分光感度補正手段４に供給する。
分光感度補正手段４は、係数設定手段６から供給されるマトリクス係数を用いて分光感度補正のためのマトリクス演算を行う。

係数設定手段６は、例えば図１に示すように、識別信号生成手段４１と、色識別手段４２と、係数決定手段４３とを有する。
識別信号生成手段４１は信号Ｒ２、Ｇ２、Ｂ２を入力し、予め定めた対象とする色を識別するために必要な複数の、例えば３つ以上の信号（識別信号）を算出する。
色識別手段４２は識別信号生成手段４１から出力された複数の識別信号の組合せが、予め定められた条件を満たすかどうかの判定を行い、判定結果を示す判別信号ＤＳを出力する。即ち、予め定められた条件を満たすときは、例外色であると判定して、判別信号ＤＳを第１の値、例えば「１」とする。それ以外のときは、判別信号ＤＳを第２の値、例えば「０」とする。
係数決定手段４３は色識別手段４２から供給される判別信号ＤＳの値に応じて適切なマトリクス係数を分光感度補正手段４へ出力する。

以下より具体的に説明する。
識別信号生成手段４１は、識別信号として、信号Ｒ２とＧ２を加算することにより第１の和信号Ｙｅを生成し、信号Ｇ２とＢ２を加算することにより第２の和信号Ｃｙを生成し、信号Ｒ２とＢ２を加算して第３の和信号Ｍｇを生成する。さらに、信号Ｒ２とＧ２とＢ２とを一定の比率ａ：ｂ：ｃで加算して第４の和信号Ｚを生成し、これを信号レベルの基準とする。識別信号生成手段４１は入力したＲ２、Ｇ２、Ｂ２と新たに生成したＭｇ、Ｃｙ、Ｙｅ、Ｚを色識別手段４２へ出力する。ａ、ｂ、ｃは任意の値とすれば良いが、一例として、
ａ：ｂ：ｃ＝０．７：０．２：０．１として、
Ｚ＝０．７Ｒ２＋０．２Ｇ２＋０．１Ｂ２
によってＺを求める。

色識別手段４２は、入力されるＲ２、Ｇ２、Ｂ２、Ｍｇ、Ｃｙ、Ｙｅ、Ｚの７個の信号から、顔料の色（通常色）と例外色とを予め定めた判断基準に照らし合わせて判別する。例外色かどうかの判別を行う基準の一例を式（３）から式（５）に示す。これら式（３）、式（４）、式（５）を全て満たす色が例外色と判定される。

上記の式（３）では、和信号Ｃｙの和信号Ｚに対する比Ｃｙ／Ｚが第１の所定値（１．０）以上であるかどうかの判定をしており、上記の式（４）では、和信号Ｙｅの和信号Ｍｇ信号に対する比Ｙｅ／Ｍｇと色信号Ｒ２の和信号Ｃｙ信号の比Ｒ２／Ｃｙとの差の絶対値が第２の所定値（０．２）以下であるかどうかの判定をしており、上記の式（５）では、色信号Ｒ２の和信号Ｃｙに対する比Ｒ２／Ｃｙと色信号Ｇ２と色信号Ｂ２に対する比Ｇ２／Ｂ２との差の絶対値が第３の所定値以上であるかどうかの判定をしている。

図１８にマクベスカラーチェッカーの２４色と、例外色である５色に対して、Ｙｅ／Ｍｇ、Ｒ／Ｃｙ、Ｇ／Ｂを示す。図１９には各パッチに対するＣｙ／Ｚを示す。マクベスカラーチェッカーの各カラーパッチについては色番号は先に示したマクベスカラーチェッカーの番号と同一であり、色番号２５は化学繊維の黒（「黒布」）、色番号２６は木の葉（１）、色番号２７は化学繊維の赤（「赤布」）、色番号２８は木の葉（２）、色番号２９は化学繊維の青色（「青布」）である。これら色ごとに色の特徴を上記した７個の信号で把握することにより、顔料から成り立つ色（マクベスカラーチェッカーのカラーパッチ）と例外色である木の葉や化学繊維の色の大部分を分離することができる。例外色の内、化学繊維の赤は式（３）から式（５）では判別することができなかったが、図１７に示したように化学繊維の赤は従来のマトリクス係数でも色差が２．０であるため、例外色として判断されなくても問題は無いと考えることができる。

色識別手段４２は上記判別基準に基づいて色の判別を行い、例外色と判断したときは判別信号ＤＳの値を「１」とする。

係数決定手段４３は色識別手段４２からの供給される判別信号ＤＳの値に応じて、第１のマトリクス係数又は第２のマトリクス係数を選択して出力する。即ち、判別信号ＤＳの値が「０」のときは、上記のように定めた第１のマトリクス係数を出力し、判別信号ＤＳの値が「１」のとき（例外色のとき）は、第２のマトリクス係数を出力する。

分光感度補正手段４は係数決定手段４３から供給された第１のマトリクス係数又は第２のマトリクス係数を用いてマトリクス演算を行う。

図２０に上記したマトリクス演算によって算出されたマクベスカラーチェッカー２４色と例外色である５色について、ターゲットカラーからの色差ΔＥ＊ａｂを示す。図２０に示すように色番号２５から２９の色の平均が３．８と、図１７に示した色番号２５から２９の色差の平均１１．３に比べ小さくなっており、例外色の色再現性が大きく改善していることがわかる。このように係数設定手段６によって例外色かどうかに応じてマトリクス係数を切り替えることで、如何なる色に対しても適切な色再現性を実現することができ、近赤外線が入射した不要な信号を補正することが可能となる。

なお、上記の例では、係数決定手段４３が色識別手段４２の検出信号に応じて第１のマトリクス係数又は第２のマトリクス係数を出力し、分光感度補正手段４は、供給されたマトリクス係数を用いてマトリクス演算を行っているが、このように構成する代わりに、第１のマトリクス係数及び第２のマトリクス係数を分光感度補正手段４内に記憶しておき、色識別手段４２の検出信号に応じて、第１のマトリクス係数及び第２のマトリクス係数のうちのいずれかを選択してマトリクス演算に用いることとしても良い。この場合には、係数設定手段６には、係数決定手段４３を設けなくても良い。但し、この場合は、係数決定手段が分光感度補正手段４に内蔵されていると見ることもできる。

また、上記の例では、分光感度補正手段４に３行３列のマトリクス演算を用いたが、分光感度補正手段４で行うマトリクス演算は、３行３列のものに限られるわけではなく、例えば、入力信号のＲ２、Ｇ２、Ｂ２のべき乗を用いて式（６）に示すように３行９列のマトリクス演算を行う場合もあり、この場合にも、通常の顔料などの色に適切な第１のマトリクス係数と木の葉や化学繊維の色などの例外色に適した第２のマトリクス係数を用意しておき、切替え手用いることで同様の効果が得られる。

上記の式でｒ１〜ｒ９、ｇ１〜ｇ９、ｂ１〜ｂ９はマトリクス係数である。また、ｉは「１」より大きな定数、ｊは「１」より小さい定数である。

上記の例では、ホワイトバランス手段１５が色信号を一画面分積算しているが、一画面以上にわたって積算することとしても良い。同様にターゲット信号の積算値の比ΣＲｔ／ΣＧｔ及びΣＢｔ／ΣＧｔも一画面以上にわたる積算値の比であっても良い。

また、上記の例では、撮像手段１１が図７に破線で示す分光感度特性を有する場合に得られる信号をターゲット信号としたが、撮像手段１１が図６の等色関数に等しい分光感度特性を有する場合に選られる信号をターゲット信号としても良い。すなわち、色信号生成手段２から分光感度補正手段４までの総合的な特性が、ＣＩＥ１９３１等色関数又はそれを線形変換することによって得られる等色関数に近似した分光感度特性、或いは人間の色覚特性又はそれを線形変換することによって得られる分光感度特性を有するときに得られる色信号をターゲット信号としても良い。

実施の形態２．
図２１には本発明の実施の形態２の撮像装置の概略構成を示す。
実施の形態２の撮像装置は、実施の形態１の撮像装置と概して同じであるが、
分光感度補正手段４と、映像信号処理手段６の間に後ホワイトバランス（後ＷＢ）手段１８と、３行３列の調整用マトリクス演算手段１９とが挿入されている点で異なる。
なお、図２１では、色信号生成手段２及び係数設定手段６の内部構成の図示が省略されている。
後ホワイトバランス手段１８との区別のため、色信号生成手段２内のホワイトバランス手段１５を前ホワイトバランス手段と呼ぶことがある。

後ホワイトバランス手段１８は分光感度補正手段４から出力された信号Ｒ３、Ｇ３、Ｂ３に対してホワイトバランス処理を行って信号Ｒ５、Ｇ５、Ｂ５を出力する。
後ホワイトバランス手段１８は、図２２に示すように、色信号Ｒ３、Ｇ３、Ｂ３を増幅して色信号Ｒ５、Ｇ５、Ｂ５を生成する増幅手段５１ｒ、５１ｇ、５１ｂと、色信号Ｒ３、Ｇ３、Ｂ３を積算して積算値ΣＲ３、ΣＧ３、ΣＢ３を生成する積算手段５２と、積算値の比ΣＲ３／ΣＧ３及びΣＢ３／ΣＧ３を求める除算手段５３と、除算手段５３から出力される積算値の比ΣＲ３／ΣＧ３及びΣＢ３／ΣＧ３に基づいて増幅手段５１ｒ、５１ｇ、５１ｂの増幅率を制御する利得制御手段５４とを有する。

上記のように、分光感度補正手段４は得られたＲ２、Ｇ２、Ｂ２信号をマトリクス演算によって色補正を行い、図７に破線で示したカラーターゲットとすべき分光感度特性における色の信号を得るための処理を行うが、カラーターゲットとする信号とまったく同じ値が得られるわけではなく図２０に示したように各パッチに対して誤差が生じる。
そのため、ホワイトバランスもホワイトバランス手段１５で予め行っているが、上記した誤差の分に対してホワイトバランスの誤差も若干生じるため、これを補正するため、再度、信号の画面全体の積算値を積算手段５２によって算出し、除算手段５３により算出した積算値の比を用いて、利得制御手段５４は積算値の比が等しくなるように、ホワイトバランス処理を行う。これにより、より正確なホワイトバランスを行うことができる。

さらに、調整用マトリクス手段１９は、３行３列のマトリクス演算を行い色再現性を変更する。本発明では図７に破線で示した分光感度特性を介して得られた色信号をカラーターゲットとすべき信号Ｒｔ、Ｇｔ、Ｂｔであるとしたが、図７に破線で示した分光感度特性と、人間の色彩に関する分光感度特性（等色関数）はまったく一致しているわけではない。

通常撮像装置と人間の色彩に関する分光感度特性（等色関数）がまったく一致もしくは、人間の分光感度特性の線形変換で成り立つルータ条件を満たしていればよいが、人間の分光感度特性とは異なるため、特定の代表的な照明のときのみ良好な色再現性が得られるように、例えば調整用マトリクス手段１９によって人間の見た色に近づくように色調整を行っている。実際には撮像装置は完全な測色機ではないため従来の民生品などはそれで良しとされているが、人間の目で見える色との差が気になる場合には３行３列のマトリクス演算を行い、更に色再現性を改善する。
このような改善を行うことによって得られた色信号Ｒ６、Ｇ６、Ｂ６がガンマ補正手段１５に入力される。

実施の形態３．
図２３は、実施の形態３の撮像装置の概略を示す図である。
実施の形態３の撮像装置は、実施の形態１の撮像装置と概して同じであり、図２３は、図１と類似であるが、図２３には、図５に示したのと同様の、ホワイトバランス手段１５の内部構成が示されている。一方、映像信号処理手段８の内部構成の図示は省略されている。
実施の形態３の撮像装置は、実施の形態１の撮像装置と比べ、ホワイトバランス手段１５の除算手段３３の出力ΣＲ１／ΣＧ１が係数決定手段４３に入力されている点で異なり、また、係数決定手段４３は、複数の互いに異なる色温度の値に応じて異なるマトリクス係数の組を記憶しており、除算手段３３の出力ΣＲ１／ΣＧ１の値に応じて、複数組のマトリクス係数のうちの一組のマトリクス係数を選択し、選択された組のうち、色識別手段４２の出力に応じて第１のマトリクス係数及び第２のマトリクス係数を選択して出力する。

実施の形態３は、分光感度補正手段４で用いるマトリクス係数を、照明の色温度によって変えることで、照明の色温度に拘らず良好な色再現性を実現するものである。
撮像手段の分光感度特性（図４）が、理想の分光感度特性と異なるため、被写体への照明の色温度が異なるとその色再現性も異なるものとなる。つまり、色補正のマトリクス係数はある色温度の照明下において、理想の分光感度特性から得られた色再現と同じになるように求めた係数であり、条件等色である。そのため、照明の色温度が異なる場合には、その色温度の照明下において、得られた色からターゲットとすべき色へ変換（色補正）するためのマトリクス係数を異なるものとする必要がある。

色温度は図１１で示したグラフを元に、ΣＲ１／ΣＧ１（又はΣＢ１／ΣＧ１）から知ることができる。そこで、マトリクス係数を照明の色温度によって変える場合、式（２）の代わりに、下記の式（７）を用いて、補正マトリクス演算を行うことになる。

なお、ｃｔは色温度を表し、ｅ１１（ｃｔ）〜ｅ３３（ｃｔ）は、ｅ１１〜ｅ３３がｃｔに依存することを表す。同様に、ｅ１１（ΣＲ１／ΣＧ１）〜ｅ３３（ΣＲ１／ΣＧ１）はｅ１１〜ｅ３３がΣＲ１／ΣＧ１に依存することを表す。

異なる色温度に対するマトリクス係数ｅ１１（ΣＲ１／ΣＧ１）〜ｅ３３（ΣＲ１／ΣＧ１）は以下のようにして求めることができる。例えば、マクベスカラーチェッカー２４色に対して、照明の色温度毎に、図４の分光感度特性を介して得られるＲＧＢの色信号の値に対して、上述したホワイトバランス処理を行うことにより得られる信号Ｒ２、Ｇ２、Ｂ２の値と、理想とする分光感度特性（図７の破線）を介して得られるＲＧＢの色信号の値に対してホワイトバランス処理を行うことにより得られる値Ｒｔ、Ｇｔ、Ｂｔとが等しくなるように、最小二乗法によりマトリクス係数を算出する。例外色についても同様に第２のマトリクス係数を各色温度に対して算出する。これにより、算出した色温度の数だけ第１及び第２のマトリクス係数の組ができる。異なる色温度の数が多ければそれだけ細やかに色補正を行うことができ、また、色温度に応じて変化する度合いを数式化して実現することもできる。
上記のように、比ΣＲ１／ΣＧ１は、各色温度に対応するので、各色温度の対応する比ΣＲ１／ΣＧ１に対して、通常色についてのマトリクス係数（第１のマトリクス係数）と、例外色についてのマトリクス係数（第２のマトリクス係数）を組にして係数決定手段４３に予め記憶させておく。従って、係数決定手段４３は、複数の色温度に対して、複数組のマトリクス係数を記憶していることになる。
除算手段３３は積算された色信号の比ΣＲ１／ΣＧ１及びΣＢ１／ΣＧ１を計算し、利得制御手段３４に出力するが、本実施の形態では、ΣＲ１／ΣＧ１を係数決定手段４３へも出力を行う。
係数決定手段４３は、除算手段３３から供給されたΣＲ１／ΣＧ１の値に応じて、複数組のマトリクス係数のうちの一組のマトリクス係数を選択し、さらに色識別手段４２の出力に基づいて、選択された組のマトリクス係数のうちの第１のマトリクス係数又は第２のマトリクス係数を選択して、選択したマトリクス係数を分光感度補正手段４へ出力する。分光感度補正手段４では、係数決定手段４３から供給されるマトリクス係数を用いて補正マトリクス演算を行う。これにより、照明の色温度に応じ、かつ例外色かどうかに応じて適切な補正マトリクスを選択することができ、良好な色再現性を実現することができる。

なお、分光感度補正手段４が色温度に応じて複数組の第１及び第２のマトリクス係数を記憶し、色識別手段４２からの識別信号及び除算手段３３からのΣＲ１／ΣＧ１の値に応じて、第１のマトリクス係数又は第２のマトリクス係数の選択、及び複数組のマトリクス係数のうちの一組のマトリクス係数の選択を行うようにしても良い。

また、上記の例では、「各色温度に対応する比ΣＲ１／ΣＧ１」に対応するマトリクス係数の組を用いているが、「各色温度に対応する比ΣＢ１／ΣＧ１」を用い、これに対応するマトリクス係数の組を用いて良い。ΣＲ１／ΣＧ１とΣＢ１／ΣＧ１とは対応関係があるので、どちらを用いても実質的に同じことである。また、これらの逆数を用いても実質的に同じことである。

実施の形態４．
以上の実施の形態１乃至３において、処理の対象が例えば静止画の場合には、特にホワイトバランス手段１５以降の処理は、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。

実施の形態５．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用できる。

以下デジタルスチルカメラに適用した場合の構成を、図２４を参照して説明する。図２４に示すように、このデジタルカメラは、図１に示した撮像装置を構成する各要素のうち、色信号生成手段２の代わりに色信号生成手段６１を備え、さらにシャッタボタン６２、シャッタ駆動手段６３、表示駆動手段６４、モニタ６５、画像圧縮手段６６、及び書込み手段６７を付加したものである。

シャッタ駆動手段６３は、シャッタボタン６２の操作に応じて色信号生成手段６１内のシャッタを駆動する。表示駆動手段６４は、映像信号処理手段８の出力を受けてビューファインダーとしてのモニタ６５に画像を表示させる。モニタ６５は、例えば液晶表示装置で構成され、表示駆動手段６４に駆動されて、色信号生成手段６１内の撮像手段で撮像されている画像を表示する。画像圧縮手段６６は、映像新語処理手段８の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。書込み手段６７は、画像圧縮手段６６で圧縮されたデータを記録媒体６８に書き込む。

なお、撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、輝度色差手段１７の出力をエンコードしてＮＴＳＣ信号を生成して出力する。

この発明の実施の形態１の撮像装置を示すブロック図である。 図１の撮像装置の撮像手段１内の撮像素子２２上のカラーフィルタの配列を示した図である。 撮像素子２２とカラーフィルタ、光学系の配置を示す図である。 撮像手段の分光感度特性を示す図である。 図１のホワイトバランス手段１５の一構成例を示すブロック図である。 ＣＩＥ１９３１による等色関数を示す図である。 撮像手段、ＩＲＣＦ、及びそれらを乗算した分光感度特性を示す図である。 黒体輻射における３０００Ｋの場合の分光特性を示す図である。。 黒体輻射における５０００Ｋの場合の分光特性を示す図である。 黒体輻射における６５００Ｋの場合の分光特性を示す図である。 ＲＧＢ信号の積算値の比を示した図である。 マクベスカラーチェッカーの各カラーパッチの分光反射率特性を示す図である。 マクベスカラーチェッカーの２４色の色票から求めたマトリクス係数による色差を示す図である。 木の葉とマクベスカラーチェッカーの緑色との分光反射率を示す図である。 化学繊維の青とマクベスカラーチェッカーの青色との分光反射率とを示す図である。 例外色の分光反射率を示す図である。 マクベスカラーチェッカーの２４色の色票と５つの例外色から求めたマトリクス係数による色差を示す図である。 色識別に用いる信号の比Ｙｅ／Ｍｇ、Ｒ／Ｃｙ、Ｇ／Ｂを示す図である。 色識別に用いる信号の比Ｃｙ／Ｚを示す図である。 第１及び第２のマトリクス係数を切り換えて用いた場合の色差を示す図である。 この発明の実施の形態２の撮像装置を示すブロック図である。 図２１のホワイトバランス手段１８の一構成例を示すブロック図である。 この発明の実施の形態３の撮像装置を示すブロック図である。 実施の形態５のカメラの構成を示すブロック図である。

符号の説明

２ 色信号生成手段、 ４ 分光感度補正手段、 ６ 係数設定手段、 ８ 映像信号処理手段、 １１ 撮像手段、 １２ 増幅手段、 １３ ＡＤＣ、 １４ ＤＣ再生手段、 １５ ホワイトバランス手段、 １６ ガンマ補正手段、 １７ 輝度色差信号生成手段、 １８ ホワイトバランス手段、 １９ 調整用マトリクス演算手段、 ２２ 撮像素子、 ３１ｒ、３１ｇ、３１ｂ 増幅手段、 ３２ 積算手段、 ３３ 除算手段、 ３４ 利得制御手段、 ４１ 識別信号生成手段、 ４２ 色識別手段、 ４３ 係数決定手段、 ５１ｒ、５１ｇ、５１ｂ 増幅手段、 ５２ 積算手段、 ５３ 除算手段、 ５４ 利得制御手段。

Claims (18)

1. 入射光を受けて、入射光を少なくとも３つの色成分に分離し、前記少なくとも３つの色成分に対応する第１乃至第３の色信号を出力する色信号生成手段と、
   前記色信号生成手段から出力される前記第１乃至第３の色信号とマトリクス係数との乗算を含むマトリクス演算を行うことにより、前記色信号生成手段が有する近赤外領域での応答特性を補正する分光感度補正手段と、
   前記色信号生成手段から出力される前記第１乃至第３の色信号を受けて、これらの組み合わせが予め定めた例外色を表すものであるかどうかを判定し、判定結果に応じて前記マトリクス係数を切り換える係数設定手段と
   を備えることを特徴とする撮像装置。
2. 前記係数設定手段は、
   前記色信号生成手段から出力される前記第１乃至第３の色信号から、前記例外色の識別に用いられる識別信号を生成する識別信号生成手段と、
   前記識別信号が所定の条件を満たすかどうかの判定により、前記色信号生成手段から出力される前記第１乃至第３の色信号で表される色が前記例外色であるかどうかの判定を行う色識別手段と、
   前記色識別手段における判定結果に基づいてマトリクス係数を定める係数決定手段とを備えることを特徴とする請求項１に記載の撮像装置。
3. 前記識別信号生成手段は、
   前記色信号生成手段から出力される前記第１乃至第３の色信号Ｒ２、Ｇ２、Ｂ２に基づいて、
   前記第１の色信号Ｒ２と前記第２の色信号Ｇ２を加算して得られる第１の和信号Ｙｅと、
   前記第２の色信号Ｇ２と前記第３の色信号Ｂ２を加算して得られる第２の和信号Ｃｙと、
   前記第１の色信号Ｒ２と前記第３の色信号Ｂ２を加算して得られる第３の和信号Ｍｇと
   を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記識別信号生成手段は、さらに、
   前記第１乃至第３の色信号を所定の比率で加算して第４の和信号Ｚを生成し、
   前記色識別手段は、
   前記第２の和信号Ｃｙの前記第４の和信号Ｚに対する比Ｃｙ／Ｚが第１の所定値以上であり、
   前記第１の和信号Ｙｅの前記第３の和信号Ｍｇ信号に対する比Ｙｅ／Ｍｇと前記第１の色信号Ｒ２の前記第２の和信号Ｃｙ信号の比Ｒ２／Ｃｙとの差の絶対値が第２の所定値以下であり、
   前記第１の信号Ｒ２の前記第２の和信号Ｃｙに対する比Ｒ２／Ｃｙと前記第２の色信号Ｇ２と前記第３の色信号Ｂ２に対する比Ｇ２／Ｂ２との差の絶対値が第３の所定値以上であるときに
   前記色信号生成手段から出力される前記第１乃至第３の色信号で表される色が前記例外色であると判定することを特徴とする請求項３に記載の撮像装置。
5. 前記色信号生成手段は、
   赤、緑、青の光を抽出する第１乃至第３のカラーフィルタを有し、赤、緑、青の光に対応する信号を得る撮像手段を有し、
   と、
   前記第１のカラーフィルタの分光透過率は略５６０ｎｍから透過率が大きくなる特性を有しており、
   前記第２のカラーフィルタの分光透過率は略４５０ｎｍから６００ｎｍまで透過率が大きくなり、略７００ｎｍから再び透過率が前記第１のカラーフィルタの透過率より大きくなる特性を有しており、
   前記第３のカラーフィルタの分光透過率は略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる特性を有している
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記色信号生成手段は、
   赤、緑、青の光を抽出する第１乃至第３のカラーフィルタを有し、赤、緑、青の光に対応する信号を得る撮像手段と、
   前記撮像手段から得られた第１乃至第３の信号に対してホワイトバランス調整を行うホワイトバランス手段とを有する
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記ホワイトバランス手段は、
   前記撮像手段から出力される赤、緑、青の信号を少なくとも一画面の積算を行い、赤、緑、青の信号の積算値を生成する積算手段と、
   前記積算手段から得られた赤の信号の積算値と緑の信号の積算値の比、及び青の信号の積算値と緑の信号の積算値の比を算出する除算手段と、
   前記除算手段から得られた積算値の比から、目標とすべき赤、青、緑の信号の積算値の比へ変換し、ホワイトバランス係数を算出する利得制御手段と、
   前記利得制御手段で算出されたホワイトバランス係数により、前記撮像手段から出力される赤、緑、青の信号に対する利得を調整し、ホワイトバランス調整を行う増幅手段と
   を備えることを特徴とする請求項６に記載の撮像装置。
8. 前記色信号生成手段から前記第１乃至第３の色信号が前記例外色を表すものであるときは、例外色のためのマトリクス係数が用いられ、
   前記色信号生成手段から前記第１乃至第３の色信号が前記例外色を表すものでないときは、通常色のためのマトリクス係数が用いられ、
   前記通常色のために定められたマトリクス係数は、標準的なカラーチャートのカラーパッチを用いて定められ、
   前記例外色のためのマトリクス係数は、例外色を用いて予め定められている
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記例外色は、前記標準的なカラーチャートのカラーパッチの一つと、略４００ｎｍから７００ｎｍまでは分光反射率が略同一であり、７００ｎｍから分光反射率が異なるものであることを特徴とする請求項８に記載の撮像装置。
10. 前記分光感度補正手段は、前記色信号生成手段から前記分光感度補正手段までの総合的な分光感度特性が、人間の色覚特性若しくはそれを線形変換することによって得られる分光感度特性、又はＣＩＥ１９３１等色関数若しくはそれを線形変換することによって得られる分光感度特性に近似したものとなるような補正を行うことを特徴とする請求項１に記載の撮像装置。
11. 入射光を受けて、入射光を少なくとも３つの色成分に分離し、前記少なくとも３つの色成分に対応する第１乃至第３の色信号を出力する色信号生成手段を備えた撮像装置の信号処理方法において、
    前記色信号生成手段から出力される前記第１乃至第３の色信号とマトリクス係数との乗算を含むマトリクス演算を行うことにより、前記色信号生成手段が有する近赤外領域での応答特性を補正する分光感度補正工程と、
    前記色信号生成手段から出力される前記第１乃至第３の色信号を受けて、これらの組み合わせが予め定めた例外色を表すものであるかどうかを判定し、判定結果に応じて前記マトリクス係数を切り換える係数設定工程と
    を備えることを特徴とする信号処理方法。
12. 前記係数設定工程は、
    前記色信号生成手段から出力される前記第１乃至第３の色信号から、前記例外色の識別に用いられる識別信号を生成する識別信号生成工程と、
    前記識別信号が所定の条件を満たすかどうかの判定により、前記色信号生成手段から出力される前記第１乃至第３の色信号で表される色が前記例外色であるかどうかの判定を行う色識別工程と、
    前記色識別工程における判定結果に基づいてマトリクス係数を定める係数決定工程とを備えることを特徴とする請求項１１に記載の信号処理方法。
13. 前記識別信号生成工程は、
    前記色信号生成手段から出力される前記第１乃至第３の色信号Ｒ２、Ｇ２、Ｂ２に基づいて、
    前記第１の色信号Ｒ２と前記第２の色信号Ｇ２を加算して得られる第１の和信号Ｙｅと、
    前記第２の色信号Ｇ２と前記第３の色信号Ｂ２を加算して得られる第２の和信号Ｃｙと、
    前記第１の色信号Ｒ２と前記第３の色信号Ｂ２を加算して得られる第３の和信号Ｍｇと
    を生成することを特徴とする請求項１２に記載の信号処理方法。
14. 前記識別信号生成工程は、さらに、
    前記第１乃至第３の色信号を所定の比率で加算して第４の和信号Ｚを生成し、
    前記色識別工程は、
    前記第２の和信号Ｃｙの前記第４の和信号Ｚに対する比Ｃｙ／Ｚが第１の所定値以上であり、
    前記第１の和信号Ｙｅの前記第３の和信号Ｍｇ信号に対する比Ｙｅ／Ｍｇと前記第１の色信号Ｒ２の前記第２の和信号Ｃｙ信号の比Ｒ２／Ｃｙとの差の絶対値が第２の所定値以下であり、
    前記第１の信号Ｒ２の前記第２の和信号Ｃｙに対する比Ｒ２／Ｃｙと前記第２の色信号Ｇ２と前記第３の色信号Ｂ２に対する比Ｇ２／Ｂ２との差の絶対値が第３の所定値以上であるときに
    前記色信号生成手段から出力される前記第１乃至第３の色信号で表される色が前記例外色であると判定することを特徴とする請求項１３に記載の信号処理方法。
15. 前記色信号生成手段は、
    赤、緑、青の光を抽出する第１乃至第３のカラーフィルタを有し、赤、緑、青の光に対応する信号を得る撮像手段を有し、
    と、
    前記第１のカラーフィルタの分光透過率は略５６０ｎｍから透過率が大きくなる特性を有しており、
    前記第２のカラーフィルタの分光透過率は略４５０ｎｍから６００ｎｍまで透過率が大きくなり、略７００ｎｍから再び透過率が前記第１のカラーフィルタの透過率より大きくなる特性を有しており、
    前記第３のカラーフィルタの分光透過率は略３８０ｎｍから５５０ｎｍまで透過率が大きくなり、略８００ｎｍから再び透過率が大きくなる特性を有している
    ことを特徴とする請求項１１に記載の信号処理方法。
16. 前記色信号生成手段から前記第１乃至第３の色信号が前記例外色を表すものであるときは、例外色のためのマトリクス係数が用いられ、
    前記色信号生成手段から前記第１乃至第３の色信号が前記例外色を表すものでないときは、通常色のためのマトリクス係数が用いられ、
    前記通常色のために定められたマトリクス係数は、標準的なカラーチャートのカラーパッチを用いて定められ、
    前記例外色のためのマトリクス係数は、例外色を用いて予め定められている
    ことを特徴とする請求項１１に記載の信号処理方法。
17. 前記例外色は、前記標準的なカラーチャートのカラーパッチの一つと、略４００ｎｍから７００ｎｍまでは分光反射率が略同一であり、７００ｎｍから分光反射率が異なるものであることを特徴とする請求項１６に記載の信号処理方法。
18. 前記分光感度補正工程は、前記色信号生成手段における色信号生成から前記分光感度補正工程における分光感度補正までの総合的な分光感度特性が、人間の色覚特性若しくはそれを線形変換することによって得られる分光感度特性、又はＣＩＥ１９３１等色関数若しくはそれを線形変換することによって得られる分光感度特性に近似したものとなるような補正を行うことを特徴とする請求項１１に記載の信号処理方法。

Images