JP5906755B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本明細書で議論される実施態様は、カラー画像の撮像技術に関するものである。

カラー画像の撮像を行う撮像装置には、赤外領域での撮像素子の分光感度の特性を人の錐体感度の特性に近づけて色の再現性を向上させるために、可視光は透過するが赤外光は遮断する赤外カットフィルタが装備されているものがある。

また、監視カメラ等の赤外線照射型の撮像装置の多くには赤外カットフィルタが装備されている。このような監視カメラでは、昼間には赤外カットフィルタを使用して撮像が行われる一方、夜間には、高感度での撮像を行うために、赤外カットフィルタを外して撮影を行うことが一般的に行われている。このような撮影を行うために備えられている、赤外カットフィルタを撮像光路に対して挿抜するための機構が、撮像装置の小型化・低コスト化を阻害する要因となっている。

また、近赤外発光ダイオード等を用いて、発光させた赤外光を照射した眼の赤外画像を撮像装置で撮像し、この撮像画像を用いて人の視線を検出する視線検出装置というものが知られている。このような用途のための赤外画像の撮影機能と通常の可視画像の撮影機能との両方をＰＣや携帯通信機器等に装備するには、これらの機器に搭載する撮像装置で赤外カットフィルタを使用しないようにすることが、装置の小型化・低コスト化の観点から望まれる。

このような要請に応える技術として、赤外カットフィルタを外した撮像装置で撮像した画像に対し、色の補正を行う画像処理を施す技術が幾つか知られている。そのような技術のうちのひとつとして、撮像素子から出力される各色の色信号と所定の補正係数とのマトリクス演算を行って、上述の色補正を行うという技術が知られている。

特許第４４０７４４８号公報 特開２００８−２８９００１号公報 特開２００４−３２２４３公報 特開２０１１−１０１００６号公報

豊田善隆、外３名、「カラー撮像可能な近赤外線撮像装置の研究−比視感度補正信号処理方式の開発−」、映像情報メディア学会誌、社団法人映像情報メディア学会、２０１０年１月、第６４巻、第１号、ｐ．１０１−１１０

赤外カットフィルタを外した撮像装置での撮像により得られる画像は、撮像対象物の色の赤外領域での反射率が可視領域での反射率に対して高くなるほど、その色が元の色から大きく乖離したものとなる。

図１及び図２について説明する。
図１は、ある撮像素子の分光感度特性を表したグラフである。このグラフにおいて、「Ｒ成分」、「Ｇ成分」、及び「Ｂ成分」のグラフは、それぞれ、光の三原色である赤色、緑色、及び青色の各色についての分光感度特性を表している。

図２に色サンプルの分光反射率特性を表したグラフである。なお、この色サンプルは、マクベスカラーチェッカにおける２４色のカラーサンプルである。
この撮像素子では、赤外カットフィルタを外した状態では、色サンプルの赤外領域での反射率が可視領域での反射率に対して高いほど、赤外領域のスペクトルを多く検知してしまう。この場合、撮像素子により検知される、Ｒ成分、Ｇ成分、及びＢ成分の各々の明るさの差は小さくなるため、得られる画像は、赤外カットフィルタを用いた撮像により得られる画像と比べると、色彩が薄くなる（無彩色の画像に近づく）。

図３について説明する。図３は、マクベスカラーチェッカの撮像画像例である。ここで、［Ａ］の画像は、赤外カットフィルタを使用して撮像したものであり、［Ｂ］の画像は、赤外カットフィルタを使用しないで撮像したものである。なお、どちらの画像も、赤外光が多く含まれている白熱電球による照明の下で撮像されたものである。

図３の画像を参照すると、サンプルの色によって色の濃さが異なっていることが分かる。これは、図２のグラフで示されているように、分光反射率特性が色サンプル毎に異なるために生じる。なお、図３はカラーの画像でないために分かり難いが、画像全体の傾向として、［Ｂ］の画像は［Ａ］の画像よりも色が薄くなってしまっている。

このように、赤外カットフィルタを外した撮像素子による撮像では、赤外カットフィルタを使用した場合と比べて、撮像画像に大幅な色の劣化が見られる。
この撮像画像での色の劣化は、前述した、撮像素子から出力される各色の色信号と所定の補正係数とのマトリクス演算による色補正の技術を用いることで改善させることができる。しかしながら、この技術による色補正を試みたところ、補正後の画像にノイズが多量に含まれてしまうことが判明した。従って、画質の良好な画像を得るためには、このノイズを抑制することが必要である。

上述した問題に鑑み、本明細書で後述する撮像装置は、赤外画像の撮影機能と可視光画像の撮影機能とに共用してもノイズが抑制された良好な画質の画像の取得を可能にする。

本明細書で後述する撮像装置のひとつに、赤外光源と、撮像素子部と、光学フィルタと、色補正部とを備えるというものがある。ここで、赤外光源は、特定の波長帯域内の赤外光を発光する。撮像素子部は、入射した光に対応する色信号を出力する。光学フィルタは、撮像素子部への光路中に常時挿入されており、当該特定の波長帯域外の波長の赤外光を減衰させる。そして、色補正部は、撮像素子部から出力される、赤外光源により発光される赤外光の波長帯域外の波長の赤外光を光学フィルタが減衰させて得られた光に対応する色信号を補正して、撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる。

また、本明細書で後述する撮像方法のひとつは、まず、撮像装置が備える光学フィルタが、入射光のうちから、当該撮像装置が備えている赤外光源が発光する赤外光の波長が含まれる特定の波長帯域外の波長の赤外光を減衰させる。次に、この入射光のうち光学フィルタを通過した光が撮像装置の備える撮像素子部に入射したときに、当該光学フィルタを通過した光に対応する色信号を当該撮像素子部が出力する。そして、撮像素子部から出力される、赤外光源により発光される赤外光の波長帯域外の波長の赤外光を光学フィルタが減衰させて得られた光に対応する色信号を、撮像装置の備える色補正部が補正して、撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる。

また、本明細書で後述するプログラムのひとつは、以下の処理をコンピュータに行わせる。この処理は、まず、入射光のうちから、撮像装置が備えている赤外光源が発光する赤外光の波長が含まれる特定の波長帯域外の赤外光を、当該撮像装置が備える光学フィルタが減衰させることによって得られた光に対応している３種の色信号を補正する。ここで、この３種の色信号は、光学フィルタを通過した光を撮像装置の備える撮像素子部に入射させたときに当該撮像素子部から出力される信号である。また、この補正は、撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる補正であり、当該３種の色信号と、予め設定された補正係数とのマトリクス演算を行うことによって行われる。そして、その後に、当該補正後の色信号で構成されている画像を表示装置に表示させる。

本明細書で後述する撮像装置は、赤外画像の撮影機能と可視光画像の撮影機能とに共用してもノイズが抑制された良好な画質の画像の取得を可能にするという効果を奏する。

撮像素子の分光感度特性を表したグラフである。 色サンプルの分光特性を表したグラフである。 マクベスカラーチェッカの撮像画像例である。 撮像装置の一実施例の構成図である。 図４の撮像装置に使用することのできる近赤外発光ダイオードの波長特性の一例を表した図である。 図４の撮像装置に使用することのできる光学フィルタ１３の特性の一例を表した図である。 画像処理部のハードウェア構成図である。 画像処理の処理内容を図解したフローチャートである。 マトリクス演算による色補正を、赤外カットフィルタを使用しないで撮像した色信号に対して施した場合の画像の例、及び、実施例の光学フィルタ１３を使用して撮像した色信号に対して施した場合の画像の例である。 特許文献１に記載されている撮像装置に使用されている光フィルタを用いた場合に得られる画像のシミュレーション結果である。

本願発明者は、赤外カットフィルタを外したことで近赤外に感度を持つ撮像素子を用いて通常の可視画像の撮影を行った場合に生じる、前述のノイズの発生メカニズムを詳細に調査した。その結果、このノイズは、前述した色補正のためのマトリクス演算におけるマトリクス係数の値の大きさに起因し、その値が大きいほど、ノイズ量が増大することが確認された。その結果、このノイズを抑制するためには、赤外光の受光量を小さくして色補正の補正量を少なくすることで、マトリクス係数の値を小さくすることが重要であることが見出された。

また、前述したように、赤外画像の撮影機能と通常の可視画像の撮影機能との両方をＰＣや携帯通信機器等に装備する場合、赤外画像の撮影に用いる赤外光源は特定の波長を用いることになる。その一方で、通常の可視画像の撮影においての照明として用いられる白熱電球や太陽光に含まれる赤外光は、前述した色補正でのノイズを誘発する要因となる。但し、この赤外光は連続スペクトルである。

そこで、これより説明する撮像装置の一実施例では、赤外画像の撮影に用いる赤外光の波長は透過し、その赤外光の波長から外れた波長の赤外光は遮断する光学フィルタを使用するようにして、色補正でのノイズの発生を抑制するようにしている。

図４について説明する。図４は、撮像装置の一実施例の構成図である。
撮像装置１は、赤外光源１１、レンズユニット１２、光学フィルタ１３、撮像素子１４、Ａ／Ｄ変換部１５、画素補間部１６、ＷＢ調整部１７、色補正部１８、γ補正部１９、画質調整部２０、表示・保存処理部２１、表示部２２、及び記録媒体２３を備える。

赤外光源１１は、特定の波長帯域内の赤外光を発光する光源であり、例えば近赤外発光ダイオードを赤外光源１１として使用する。本実施例では、監視カメラ等の赤外照射型のアクティブセンサで多く用いられている、８００ｎｍから９００ｎｍ付近の波長の近赤外光を発光する近赤外発光ダイオードを使用する。この赤外光源１１は、例えば、前述した視線検出機能のために使用される、人の眼の赤外画像の撮像を行う場合に点灯させ、通常の可視画像の撮像を行う場合には消灯させる。

図５は、撮像装置１に使用することのできる近赤外発光ダイオードの波長特性の一例を表したものである。この近赤外発光ダイオードは、発光する近赤外光の波長が、ほぼ８５０±２５ｎｍ（半値幅）の特性を有している。

レンズユニット１２は、レンズ等の複数の光学部品を組み合わせたユニットであり、被写体からの光を集光させて当該被写体の像を撮像素子１４の受光面に結像させる。
光学フィルタ１３は、赤外光のうち、前述の特定の波長帯域外の赤外光を減衰させる。

図６は、撮像装置１に使用することのできる光学フィルタ１３の特性の一例である。この特性は、図５の波長特性を有する近赤外発光ダイオードを赤外光源１１として使用する場合に合わせた特性であり、ほぼ８５０±２５ｎｍの波長帯域の外の赤外光を減衰させ、当該波長帯域内のものは透過させる特性である。

なお、前述した、８００ｎｍから９００ｎｍの波長の近赤外光を発光する近赤外発光ダイオードを赤外光源１１として使用する場合は、この８００ｎｍから９００ｎｍまでの波長帯域外の赤外光を減衰させる特性を有する光学フィルタ１３を使用するようにする。

なお、人間の色覚は、波長が略７００ｎｍよりも長波長の領域では可視光領域であってもほとんど感度特性がないといわれている（例えば特許文献１参照）。そこで、光学フィルタ１３が減衰させる光の波長の下限を７００ｎｍとし、この下限よりも短波長の光と前述の特定の波長帯域内の赤外光とを透過させる特性を、光学フィルタ１３に持たせるようにしてもよい。

なお、上述したような特性を有する光学フィルタ１３は、例えば、広く知られている、光学薄膜を積層する手法で作成することができる（引用文献３参照）。この手法は、二酸化チタンや二酸化ケイ素などの無機材料を過熱して生成される蒸発粒子の石英やガラス基板への真空蒸着を繰り返すことで、光学薄膜を積層させるというものである。ここで、光学薄膜の屈折率や厚み、積層数などを調整することで、所望の特性を有する光学フィルタ１３を作成することができる。

なお、光学フィルタ１３は、レンズユニット１２から撮像素子１４への光路中に常時挿入されており、光学フィルタ１３の光路に対する挿抜は行わない。
撮像素子１４は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、光学フィルタ１３を通過して受光面に入射した光を電気信号に変換して出力する。なお、この撮像素子１４は、可視領域及び赤外領域に対して感度を有している。

Ａ／Ｄ変換部１５は、撮像素子１４から出力される、アナログ信号である電気信号をデジタル画像信号に変換する。
画素補間部１６は、Ａ／Ｄ変換部１５から出力される画像信号に対して画素補間処理を行うことで、画像を構成する各画素についてのＲ成分（赤色成分）、Ｇ成分（緑色成分）、及びＢ成分（青色成分）の信号（色信号）を出力する。

なお、以下の説明では、撮像素子１４と、Ａ／Ｄ変換部１５と、画素補間部１６とを組み合わせた構成を、「撮像素子部」と称することとする。
ＷＢ（White Balance ）調整部１７は、画素補間部１６から出力された３色の各成分の色信号に対してゲイン調整を行うことで、ホワイトバランスを調整する。

色補正部１８は、ＷＢ調整部１７から出力された色信号を補正して、前述した特定の波長帯域内における撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させることによって赤外線混入による色劣化を抑制する。本実施例では、色補正部１８は、撮像素子部から出力される３種の色信号と予め設定された補正係数とのマトリクス演算を行うことによって、この補正を行う。より具体的には、色補正部１８は、下記の［数１］式のマトリクス演算を行う。

なお、［数１］式において、Ｒｉｎ、Ｇｉｎ、及びＢｉｎはＷＢ調整部１７から色補正部１８に入力されるＲＧＢ各成分の色信号の値であり、Ｒｏｕｔ、Ｇｏｕｔ、及びＢｏｕｔは色補正部１８から出力される補正後のＲＧＢ各成分の色信号の値である。また、αｒ、αｇ、αｂ、βｒ、βｇ、βｂ、γｒ、γｇ、及びγｂは補正係数である。

この補正係数の導出について説明する。この補正係数の導出は、撮像装置１の開発工程若しくは製造工程において行われる。
まず、複数のカラーサンプルの各々について、補正前のＲＧＢ各成分の値と、補正後のＲＧＢの各成分の目標値との取得が行われる。本実施例では、カラーサンプルとして、前述した、マクベスカラーチェッカにおける２４色のカラーサンプルを使用するものとする。ここで、補正前のＲＧＢ各成分の値は、撮像装置１の撮像素子１４と同様の特性を有する撮像素子を用い、更に、撮像装置１に使用される、前述した特性を有する光学フィルタ１３を用いて、各カラーサンプルを撮像することで得られる。また、補正後のＲＧＢの各成分の目標値は、同じ撮像素子を用い、更に、可視光は透過するが、赤外光はその波長域の全体に亙って遮断する赤外カットフィルタを用いて、各カラーサンプルを撮像することで得られる。

次に、複数のカラーサンプルの各々について取得した、補正前のＲＧＢ各成分の値と、補正後のＲＧＢの各成分の目標値とを下記の［数２］式に代入して、補正係数を求める。

なお、［数２］式において、Ｒｉｎ＿１、Ｒｉｎ＿２、…、Ｒｉｎ＿２４は、２４色の各カラーサンプルの補正前のＲ成分の値である。また、Ｇｉｎ＿１、Ｇｉｎ＿２、…、Ｇｉｎ＿２４は、２４色の各カラーサンプルの補正前のＧ成分の値である。そして、Ｂｉｎ＿１、Ｂｉｎ＿２、…、Ｂｉｎ＿２４は、２４色の各カラーサンプルの補正前のＢ成分の値である。一方、Ｒｏｕｔ＿１、Ｒｏｕｔ＿２、…、Ｒｏｕｔ＿２４は、２４色の各カラーサンプルの補正後のＲ成分の目標値である。また、Ｇｏｕｔ＿１、Ｇｏｕｔ＿２、…、Ｇｏｕｔ＿２４は、２４色の各カラーサンプルの補正後のＧ成分の目標値である。そして、Ｂｏｕｔ＿１、Ｂｏｕｔ＿２、…、Ｂｏｕｔ＿２４は、２４色の各カラーサンプルの補正後のＢ成分の目標値である。

これらの値を［数２］式に代入することによって、行列の各成分について各補正係数を未知数とする方程式が得られるので、最小二乗法を用いて方程式の解を推定する。こうして、各補正係数の値が求まる。

なお、色補正部１８による色補正の処理は、通常の可視画像の撮像を行う場合、すなわち、赤外光源１１による赤外光の発光が行われていない場合に、行われる。赤外光源１１を点灯させて赤外画像の撮像を行う場合には、色補正部１８は、色補正の処理を行わずに、ＷＢ調整部１７からの色信号をそのままγ補正部１９に出力する。

γ補正部１９は、色補正部１８から出力された色信号に対してγ（ガンマ）補正を施す。
画質調整部２０は、γ補正部１９から出力された色信号に対し、例えば画像の彩度やコントラスト等の画質の調整処理を施す。

表示・保存処理部２１は、画質調整部２０から出力された色信号で構成されている画像信号を、画像表示用の信号に変換して表示部２２に出力する。
表示部２２は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどの表示デバイスであり、表示・保存処理部２１から出力された信号で表されている画像を表示する。

また、表示・保存処理部２１は、画質調整部２０から出力された色信号で構成されている画像信号を、Ｒａｗデータとして出力し、若しくは、ＪＰＥＧ（Joint Photographic Experts Group）方式などの所定の圧縮方式によって圧縮符号化して出力する。出力された画像データは、記録媒体２３に記録される。

図４の撮像装置１は以上のように構成されている。
なお、この撮像装置１のうちの構成要素の一部を、図７にハードウェア構成を図解した画像処理部３０を用いて構成してもよい。

図７の画像処理部３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、インタフェース部３４、及び記録媒体駆動装置３５を備えている。なお、これらの構成要素は、バスライン３６を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）３１は、画像処理部３０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この制御プログラムを撮像装置１の起動時に読み出して実行することにより、この画像処理部３０の各構成要素の動作制御が可能となり、更に、後述する制御処理を行えるようにもなる。

ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

インタフェース装置３４は、撮像装置１の他の構成要素との間で行われる各種のデータの授受の管理を行うものであり、例えば、Ａ／Ｄ変換部１５から出力される画像信号の取り込みや、画像表示用の信号の表示部２２への出力を行う。

記録媒体駆動装置３５は、記録媒体２３に対するデータの書き込み及び読み出しを行うものであり、例えば、撮像装置１で撮像された画像を表している画像データの記録媒体２３への書き込みを行う。

上述した構成により、ＭＰＵ３１を、画素補間部１６、ＷＢ調整部１７、色補正部１８、γ補正部１９、画質調整部２０、及び表示・保存処理部２１として機能させることができる。このためには、まず、撮像装置１の各構成要素により行われる画像処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはＲＯＭ３２に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１を、上述した各構成要素として機能させることが可能となる。

また、ＲＯＭ３２としてフラッシュメモリを使用すると共に、前述した制御プログラムは記録媒体２３に記録させておくようにし、この制御プログラムを記録媒体駆動装置３５で記録媒体２３から読み出してＲＯＭ３２に書き込むようにしてもよい。なお、記録媒体２３としては、フラッシュメモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などが利用可能である。

次に、ＭＰＵ３１によって行われる画像処理の詳細について、図８のフローチャートに沿って説明する。
この画像処理が開始されると、まず、Ｓ１０１において、ＭＰＵ３１は画像信号取得処理を行う。この処理は、Ａ／Ｄ変換部１５から出力される画像信号を、インタフェース部３４を介して取得する処理である。

次に、Ｓ１０２において、ＭＰＵ３１は画素補間処理を行う。この処理は、Ｓ１０１の処理によって取得した画像信号に対して画素補間を行って、画像を構成する各画素についてのＲＧＢ各成分の色信号を得る処理であり、図４の構成では画素補間部１６によって行われる処理である。

次に、Ｓ１０３において、ＭＰＵ３１はＷＢ調整処理を行う。この処理は、Ｓ１０２の処理により得られた３色の各成分の色信号に対してゲイン調整を行うことで、ホワイトバランスを調整する処理であり、図４の構成ではＷＢ調整部１７によって行われる処理である。

次に、Ｓ１０４において、ＭＰＵ３１は色補正処理を行う。この処理は、Ｓ１０３の処理による調整後の色信号を補正して、光学フィルタ１３が透過させる、赤外光の波長域のうちの前述した特定の波長帯域内における撮像素子部の各色の分光感度特性を、人間の錐体の特性に近似させる処理である。より具体的には、この処理では、Ｓ１０３の処理による調整後のＲＧＢ各成分の色信号と、前掲の［数２］式を用いて求めた各補正係数とを前掲の［数１］式に代入してマトリクス演算を行って、上述の補正を行う。なお、このＳ１０４の処理は、図４の構成では色補正部１８によって行われる処理である。

次に、Ｓ１０５において、ＭＰＵ３１はγ補正処理を行う。この処理は、Ｓ１０４の処理によって色補正が施された色信号に対してγ補正を施す処理であり、図４の構成ではγ補正部１９によって行われる処理である。

次に、Ｓ１０６において、ＭＰＵ３１は画質調整処理を行う。この処理は、Ｓ１０５の処理によってγ補正が施された色信号に対し、例えば画像の彩度やコントラスト等の画質の調整処理を施す処理であり、図４の構成では画質調整部２０によって行われる処理である。

次に、Ｓ１０７において、ＭＰＵ３１は表示処理を行う。この処理は、Ｓ１０６の処理によって画質調整が行われた色信号で構成されている画像信号を画像表示用の信号に変換して、インタフェース部３４を介して表示部２２に出力して表示させる処理である。この処理は、図４の構成では表示・保存処理部２１によって行われる処理である。

次に、Ｓ１０８では、画像の保存指示を取得したか否かを判定する処理をＭＰＵ３１が行う。なお、画像の保存指示は、撮像装置１の使用者が、撮像装置１に備えられている不図示のスイッチを操作することによって画像処理部３０に与えられる。ここで、ＭＰＵ３１は、画像の保存指示を取得したと判定したとき（判定結果がＹｅｓのとき）にはＳ１０９に処理を進める。一方、ＭＰＵ３１は、画像の保存指示を取得していないと判定したとき（判定結果がＮｏのとき）にはＳ１０１へ処理を戻し、Ｓ１０１以降の処理を繰り返す。

Ｓ１０９では、ＭＰＵ３１は保存処理を行う。この処理は、記録媒体駆動装置３５を制御して、Ｓ１０６の処理によって画質調整が行われた色信号で構成されている画像を表現している画像データを記録媒体２３に記録させる処理であり、図４の構成では表示・保存処理部２１によって行われる処理である。ＭＰＵ３１は、このＳ１０９の処理を終えたときにはＳ１０１へ処理を戻し、Ｓ１０１以降の処理を繰り返す。

以上までの画像処理をＭＰＵ３１が行うことで、ＭＰＵ３１が、画素補間部１６、ＷＢ調整部１７、色補正部１８、γ補正部１９、画質調整部２０、及び表示・保存処理部２１として機能する。

次に、この撮像装置１による撮像結果について説明する。
図９は、マトリクス演算による色補正を、赤外カットフィルタを使用しないで撮像した色信号に対して施した場合の画像の例、及び、実施例の光学フィルタ１３を使用して撮像した色信号に対して施した場合の画像の例である。

図９において、［Ａ］の画像例は、マトリクス演算による色補正を、赤外カットフィルタを使用しないで撮像した色信号に対して施して得られる画像を、コンピュータによる数値計算を行って作成したものである。一方、［Ｂ］の画像例は、マトリクス演算による色補正を、実施例の特性を有する光学フィルタ１３を使用して撮像した色信号に対して施して得られる画像を、コンピュータによる同様の数値計算を行って作成したものである。

また、図９において、［Ｃ］の画像例は、マトリクス演算による色補正を、赤外カットフィルタを使用しないで撮像した色信号に対して施して得られた、マクベスカラーチェッカの実際の撮像画像である。一方、［Ｄ］の画像例は、マトリクス演算による色補正を、実施例の特性を有する光学フィルタ１３を使用して撮像した色信号に対して施して得られた、マクベスカラーチェッカの実際の撮像画像である。

なお、図９の各画像の下には、色補正のためのマトリクス演算に使用した補正係数の値を記し、更に、係数の値の最大値と自乗平均値とを記した。
図９の［Ａ］の画像例において使用した係数値と［Ｂ］の画像例において使用した係数値とを対比すると、実施例の特性を有する光学フィルタ１３を使用した場合の方が、赤外カットフィルタを使用しない場合よりも、係数の値が顕著に小さいことが分かる。また、このことは、［Ｃ］の画像例において使用した係数値と［Ｄ］の画像例において使用した係数値とを対比しても分かる。

更に、［Ｃ］の画像例と［Ｄ］の画像例とを対比すると、［Ｃ］の画像例では、各カラーサンプルの像においてノイズによるざらつきが顕著に表れていることが分かる。このように、実施例の特性を有する光学フィルタ１３を使用することによってマトリクス演算に使用される補正係数の値を小さくすると、撮像画像に含まれるノイズの低減に優れた効果があることが、これらの撮像画像例からも分かる。

参考までに、マトリクス演算による色補正を、前掲した特許文献１に記載されている撮像装置で使用されている光フィルタを用いた場合の補正係数を図１０に示した。
図１０において、［Ａ］のグラフは、この撮像装置で使用されている撮像素子の分光感度特性を表しており、［Ｂ］は、この撮像装置で使用されている光フィルタの特性を表している。また、［Ｃ］の画像例は、マトリクス演算による色補正を、［Ｂ］の特性を有する光フィルタを使用して撮像した色信号に対して施して得られる画像を、コンピュータによる数値計算を行って作成したものである。なお、［Ｃ］の画像例の右横には、色補正のためのマトリクス演算に使用した補正係数の値を記し、更に、係数の値の最大値と自乗平均値とを記した。

特許文献１に記載されている撮像装置では、［Ａ］の特性の撮像素子では、７００〜７８０ｎｍの付近はＲ信号の感度がＧ信号又はＢ信号に対して必要以上に高いため、［Ｂ］の特性を有する光フィルタを使用することによって色再現性の向上を図っている。

この［Ｂ］の特性を有する光フィルタを使用した場合の補正係数の値は、図９の［Ｂ］の画像例において使用した係数に比べて顕著に大きいことが分かる。従って、図１０の［Ｂ］の特性を有する光フィルタを使用した場合よりも、実施例の特性を有する光学フィルタ１３を使用した場合の方が、撮像画像に含まれるノイズが少なくなると考えられる。

１ 撮像装置
１１ 赤外光源
１２ レンズユニット
１３ 光学フィルタ
１４ 撮像素子
１５ Ａ／Ｄ変換部
１６ 画素補間部
１７ ＷＢ調整部
１８ 色補正部
１９ γ補正部
２０ 画質調整部
２１ 表示・保存処理部
２２ 表示部
２３ 記録媒体
３０ 画像処理部
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ インタフェース部
３５ 記録媒体駆動装置
３６ バスライン

Claims (7)

1. 特定の波長帯域内の赤外光を発光する赤外光源と、
   入射した光に対応する色信号を出力する撮像素子部と、
   前記撮像素子部への光路中に常時挿入されており、前記特定の波長帯域外の波長の赤外光を減衰させる光学フィルタと、
   前記撮像素子部から出力される、前記赤外光源により発光される赤外光の波長帯域外の波長の赤外光を前記光学フィルタが減衰させて得られた光に対応する色信号を補正して、前記撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる色補正部と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子部は、入射した光に対応する３種の色信号を出力し、
   前記色補正部は、前記撮像素子部から出力される３種の色信号と予め設定された補正係数とのマトリクス演算により前記補正を行う、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記特定の波長帯域が８００ｎｍから９００ｎｍの範囲であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記光学フィルタが減衰させる光の波長の下限が７００ｎｍであることを特徴とする請求項１から３のうちのいずれか一項に記載の撮像装置。
5. 前記色補正部は、前記赤外光源による赤外光の発光が行われていないときに、前記補正を行うことを特徴とする請求項１から４のうちのいずれか一項に記載の撮像装置。
6. 撮像装置が備える光学フィルタが、入射光のうちから、該撮像装置が備えている赤外光源が発光する赤外光の波長が含まれる特定の波長帯域外の波長の赤外光を減衰させ、
   前記入射光のうち前記光学フィルタを通過した光が前記撮像装置の備える撮像素子部に入射したときに、該光学フィルタを通過した光に対応する色信号を該撮像素子部が出力し、
   前記撮像素子部から出力される、前記赤外光源により発光される赤外光の波長帯域外の波長の赤外光を前記光学フィルタが減衰させて得られた光に対応する色信号を、前記撮像装置の備える色補正部が補正して、前記撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる、
   ことを特徴とする撮像方法。
7. 入射光のうちから、撮像装置が備えている赤外光源が発光する赤外光の波長が含まれる特定の波長帯域外の赤外光を、該撮像装置が備える光学フィルタが減衰させることによって得られた光に対応している３種の色信号であって、該得られた光を前記撮像装置の備える撮像素子部に入射させたときに該撮像素子部から出力される該３種の色信号と、予め設定された補正係数とのマトリクス演算を行うことによって該３種の色信号を補正して、該撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させ、
   該補正後の色信号で構成されている画像を表示装置に表示させる、
   処理を演算処理装置に行わせるためのプログラム。