JP4895385B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子を用いて得られた輝度信号及び色差信号に基づいて赤外カットフィルタの自動挿脱を行う撮像装置に関する。

上記のような赤外カットフィルタの自動挿脱機能を有した撮像装置としては、特許文献１にて開示されたものがある。この撮像装置では、撮像素子から得られる輝度信号と色信号とに基づいて、可視光(カラー)撮像モードと赤外(白黒)撮像モードとを切り換えるための赤外カットフィルタの自動挿脱を行う。

具体的には、現在の撮像モードがカラー撮像モードである場合は、輝度信号Ｙと予め設定された閾値Ｙ２との大小判別によって白黒撮像モードに移行するか否かを決定する。また、現在の撮像モードが白黒撮像モードである場合は、輝度信号Ｙと予め設定された閾値Ｙ１との大小判別によってカラー撮像モードに移行するか否かを決定する。閾値Ｙ１とＹ２に、Ｙ１＞Ｙ２の関係を持たせることで、赤外カットフィルタの除去によって輝度が増加して、カラー撮像モードと白黒撮像モードとの切り換えが繰り返えされるハンチングを防止している。

また、上記特許文献１の撮像装置では、現在、白黒撮像モードである場合は、色信号の分析も行う。具体的には、赤色信号／緑色信号の色比と青色信号／緑色信号の色比とを求め、該２つの色比が特定範囲内に入るか否かによって撮像信号が赤外光(近赤外光)によるものか否かを判断する。

ここで、特許文献１では、撮像素子は８００ｎｍ付近よりも長波長側においては色にかかわらずほぼ感度が同一になり、撮像信号が赤外光による場合は該２つの色比が特定範囲内に収まると述べている。そして、撮像信号が赤外光によるものと判断した場合は、白黒撮像モードを維持する。

なお、特許文献１には、色信号の分析に関して、撮像範囲全体の色信号の平均値を利用してもよいし、撮像範囲を複数のブロックに分割し、各ブロックで得られた色信号の平均値を用いてもよいと述べられている。
特開２００３−２１９２５４号公報

しかしながら、特許文献１の撮像装置では、赤外カットフィルタを除去した状態で得られる色信号の分布範囲に基づいて撮像信号が赤外光によるものか否かを判別する。このため、被写体に含まれる色が赤外光に対応する色信号の範囲に含まれる場合には、被写体を照らす光源(以下、撮像光源という)に赤外光が含まれていないにも関わらず、撮像光源が赤外光であると判別してしまい、撮像モードが適切に設定されなくなる。

また、特許文献１の撮像装置では、６５０〜８００ｎｍの赤外光を検出できないために、白熱灯や太陽光等の赤外光成分を多く含む撮像光源下では、上述したハンチングを起こす可能性がある。

さらに、特許文献１の撮像装置では、撮像光源が赤外光か否かのみの判定を行っており、撮像光源に含まれる赤外光成分の割合を検出できない。したがって、赤外光成分及び可視光成分の両方を含む混合光源下においては、赤外カットフィルタを除去した状態から挿入したときにカラー撮像範囲の輝度が不安定となる。

本発明は、被写体に含まれる色や光源の種類にかかわらず安定的な赤外カットフィルタの挿脱を行うことができるようにした撮像装置を提供する。

本発明の一側面としての撮像装置は、カラーフィルタを有し、被写体像を光電変換する撮像素子と、赤外カットフィルタと、撮像素子への光路に対する赤外カットフィルタ移動手段と、該フィルタ移動手段を制御する制御手段と、赤外カットフィルタが光路内に配置される状態で撮像素子により得られる輝度信号と色差信号との比を第１の比とし、赤外カットフィルタが光路外に配置される状態で撮像素子により得られる輝度信号と色差信号との比を第２の比とし、第１の比に対する第２の比の変化量を求める処理手段と、変化量と撮像光源に含まれる赤外光成分の割合との関係を示す所定の情報を記憶部に記憶させる記憶制御手段と、記憶される情報を参照し、求められる変化量に対応する赤外光成分の割合を算出する赤外光成分算出手段と、算出される赤外光成分の割合をＰとして１−Ｐを演算することで、撮像光源に含まれる可視光成分の割合を算出する可視光成分算出手段と、撮像範囲の輝度と可視光成分算出手段により算出される可視光成分の割合とを乗算することで、可視光成分の輝度を算出する輝度算出手段と、を有する。制御手段は、輝度算出手段により算出される輝度が所定の閾値を超える場合には、赤外カットフィルタを光路内に配置させ、輝度算出手段により算出される輝度が所定の閾値を超えない場合には、赤外カットフィルタを光路外に配置させるように、フィルタ移動手段を制御することを特徴とする。

本発明によれば、被写体に含まれる色や光源の種類にかかわらず安定的な赤外カットフィルタの挿脱、つまりは撮像モードの切り換えを行う撮像装置を実現することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、実施例の基本的な考え方について説明する。本実施例の撮像装置は、赤外カットフィルタを撮像光学系から撮像素子に至る光路内に配置した状態でカラーフィルタ付き撮像素子により得られた輝度信号と色差信号との比（第１の比）を求める。さらに、赤外カットフィルタを上記光路外に配置した状態で得られた輝度信号と色差信号との比（第２の比）を求める。そして、第１の比に対する第２の比の変化量に基づいて、赤外カットフィルタを光路内に配置するか光路外に配置するか、すなわち挿脱を決定（制御）する。

より具体的には、上記変化量から撮像光源（被写体を照らす光源）に含まれる赤外光成分の割合を算出し、該算出した赤外光成分の割合から可視光成分の光量を算出する。そして、可視光成分の光量に基づいて、赤外カットフィルタの挿脱を決定する。

上記変化量は、撮像素子に設けられたカラーフィルタの分光透過特性に応じた赤外波長領域の光が分布する輝度信号と色差信号の比の範囲に対して、赤外カットフィルタを光路外に配置した状態での該比がどれだけ近づいたかを評価する指標である。

ここにいう赤外波長領域は、赤色成分が多く透過される第１の赤外波長領域と、赤色成分（Ｒ）、緑色成分（Ｇ）及び青色成分（Ｂ）の３色成分がほぼ同量ずつ透過される第２の赤外波長領域とに分けるとよい。言い換えれば、カラーフィルタにおいて、赤色成分に対する透過率が他の色成分の透過率よりも大きい第１の赤外波長領域と、該第１の赤外波長領域に比べて３色成分に対する透過率の差が小さい第２の赤外波長領域での上記変化量をそれぞれ求めるとよい。

ここで、第１及び第２の赤外波長領域は、原色又は補色カラーフィルタの赤外波長領域における分光透過特性に基づいて定義される。図１には、原色カラーフィルタの分光透過特性を示す。

原色カラーフィルタは、６５０〜８２０ｎｍ付近の波長領域では赤色信号Ｒが最も透過率が高く、緑色信号Ｇ及び青色信号Ｂの透過率は低い。このため、この波長領域の光が原色カラーフィルタ付き撮像素子に入射した場合に得られる色情報は、赤色成分が支配的となる。この赤色成分が支配的となる波長領域を第１の赤外波長領域とする。

また、８２０ｎｍ付近よりも長波長側の波長領域では３色成分がほぼ同量ずつ透過されるため、この波長領域の光が原色カラーフィルタ付き撮像素子に入射した場合に得られる色情報は無彩色を示す信号となる。このように無彩色の色情報が得られる波長領域を第２の赤外波長領域とする。

図２には、補色カラーフィルタの分光透過特性を示す。補色カラーフィルタは、６５０〜８２０ｎｍ付近の波長領域ではイエローＹｅ（Ｒ＋Ｇ）及びマゼンダＭｇ（Ｒ＋Ｂ）の透過特性がほぼ同一で、かつ透過率が最も高い。そして、シアンＣｙ（Ｇ＋Ｂ）の透過率のみが低い。このため、この波長領域の光が補色カラーフィルタ付き撮像素子に入射した場合に得られる色情報も、赤色成分が支配的となる。この赤色成分が支配的となる波長領域を第１の赤外波長領域とする。また、８２０ｎｍ付近よりも長波長側の波長領域では、３色成分がほぼ同量ずつ透過されるため、この波長領域の光が補色カラーフィルタ付き撮像素子に入射した場合に得られる色情報は、無彩色を示す信号となる。この無彩色の色情報が得られる波長領域を第２の赤外波長領域とする。

第１及び第２の赤外波長領域の帯域幅は、撮像素子のカラーフィルタの分光透過特性によって若干変わる。しかし、一般的な撮像素子のカラーフィルタにおける赤外波長領域では、赤色成分が多く透過される第１の赤外波長領域と、３色成分がほぼ同量ずつ透過される第２の赤外波長領域とに大別することができる。

ここで本実施例では、第１及び第２の赤外波長領域の光によってどのような信号が出力されるかを検出するために、原色及び補色カラーフィルタに単波長光を照射し、波長毎に輝度信号と色差信号を取得する。色差信号のレベルは輝度信号のレベルにほぼ比例した関係を有する。このため、色差信号と輝度信号の比であるＲ−Ｙ／Ｙ軸とＢ−Ｙ／Ｙ軸からなる直交座標系に色差信号を変換することで、輝度信号のレベルによらない色情報のみを評価することが可能である。

以下、色差信号と輝度信号の比であるＲ−Ｙ／Ｙ及びＢ−Ｙ／Ｙを、色差輝度比という。

原色及び補色カラーフィルタにおける各波長の色差輝度比の分布例を図３及び図４に示す。

図３に示す原色カラーフィルタの場合、第１の赤外波長領域の色差輝度比は、６５０〜７７０ｎｍ付近までは赤色から黄色の直線上に分布し、７７０〜８２０ｎｍ付近までは黄色から無彩色の直線上に分布している。この第１の赤外波長領域の色差輝度比が分布する範囲を、以下、第１の赤外色分布範囲という。また、第２の赤外波長領域の色差輝度比は、８２０ｎｍ以降すべて無彩色を示す座標中心にのみ分布している。この第２の赤外波長領域の色差輝度比が分布する範囲を、以下、第２の赤外色分布範囲という。

一方、図４に示す補色カラーフィルタの場合、色差輝度比は、原色カラーフィルタにおける第１の赤外色分布範囲に相当する６５０〜８２０ｎｍ付近では、赤色から無彩色の直線上に分布している。また、原色カラーフィルタにおける第２の赤外色分布範囲に相当する８２０ｎｍ以降では、原色カラーフィルタと同様に、すべて無彩色を示す座標中心にのみ分布している。

本実施例における第１の赤外色分布範囲は、撮像素子に設けられた原色又は補色カラーフィルタの分光透過特性によって形状が変化するため、カラーフィルタ毎の分光透過特性から算出もしくは測定しておく必要がある。

撮像光源に赤外波長領域の光が含まれると、可視波長領域の光での撮像により得られた色差輝度比と比較して、色差輝度比に変化が生じる。補色カラーフィルタにおいて、撮像光源の可視波長成分と赤外波長成分との割合を変化させた場合の色差輝度比の推移を図５及び図７に示す。

図５には、可視波長成分に対して第１の赤外波長成分の割合Ｐ_ＩＲ１を変化させた場合の色差輝度比の推移を示す。第１の赤外波長成分の割合Ｐ_ＩＲ１が増えるにしたがって、色差輝度比は第１の赤外色分布範囲に近づいていく特性を有する。色差輝度比の第１の赤外色分布範囲に対する距離Ｌ_ＩＲ１と第１の赤外波長成分の割合Ｐ_ＩＲ１との関係は、図６Ａのような特性を示す。

また、第１の赤外波長成分を含まない可視波長成分のみの撮像光源下での色差輝度比と第１の赤外色分布範囲との距離Ｌ_Ｖ１を基準とした場合、各色差輝度比が第１の赤外色分布範囲に近づく距離比率Ｌ_ＩＲ１／Ｌ_Ｖ１は、図６Ｂに示すようにほぼ一定の関係を有する。

図７には、可視波長成分に対して第２の赤外波長成分の割合Ｐ_ＩＲ２を変化させた場合の色差輝度比の推移を示す。第２の赤外波長成分の割合Ｐ_ＩＲ２が増えるにしたがって、色差輝度比は第２の赤外色分布範囲近傍に近づいていく特性を有する。色差輝度比の第２の赤外色分布範囲に対する距離Ｌ_ＩＲ２と第２の赤外波長成分の割合Ｐ_ＩＲ２との関係は、図８Ａのような特性を示す。

また、第２の赤外波長成分を含まない可視波長成分のみの撮像光源下での色差輝度比と第２の赤外色分布範囲との距離Ｌ_Ｖ２を基準とした場合、各色差輝度比が第２の赤外色分布範囲に近づく距離比率Ｌ_ＩＲ２／Ｌ_Ｖ２は、図８Ｂに示すようにほぼ一定の関係を有する。

撮像光源に第１及び第２の赤外波長成分が含まれている場合の色差輝度比の特性より、第１及び第２の赤外波長成分の割合Ｐ_ＩＲを、色差輝度比の赤外色分布範囲に対する距離比率Ｌ_ＩＲ／Ｌ_Ｖの近似関数Ｐ_ＩＲ＝Ｆ（Ｌ_ＩＲ／Ｌ_Ｖ）のように表わすことが可能である。この近似関数Ｐ_ＩＲ＝Ｆ（Ｌ_ＩＲ／Ｌ_Ｖ）は、撮像素子のカラーフィルタによって変化するため、カラーフィルタ毎に検出する必要がある。

検出方法としては、図５に示すように、代表的な色の色チャートに対して撮像光源の可視波長成分と赤外波長成分の割合を変化させ、図６Ａに示すようなデータベースを構築する。さらに、該データベースに基づいて、図６Ｂに示すような赤外波長成分の割合Ｐ_ＩＲ１と、距離比率Ｌ_ＩＲ１／Ｌ_Ｖ１との関係を導き出すことが望ましい。

近似関数Ｐ_ＩＲ＝Ｆ（Ｌ_ＩＲ／Ｌ_Ｖ）を用いれば、以下のようにして撮像光源に含まれる第１及び第２の赤外波長成分の割合Ｐ_ＩＲをそれぞれ算出することができる。すなわち、基準となる可視波長成分のみでの撮像時、つまり赤外カットフィルタを挿入した状態での被写体の色差輝度比と、赤外カットフィルタを除去した状態での被写体の色差輝度比との距離比率Ｌ_ＩＲ／Ｌ_Ｖに基づいて、上記割合Ｐ_ＩＲを算出することができる。距離比率Ｌ_ＩＲ／Ｌ_Ｖは、言い換えれば、赤外カットフィルタを挿入した状態での色差輝度比と赤外カットフィルタを除去した状態での色差輝度比との変化量である。

そして、このような第１及び第２の赤外波長成分のそれぞれの割合を算出することにより、赤外カットフィルタを除去した状態において、撮像範囲（撮像範囲）の全光量のうち赤外光成分がどの程度の割合を占めるかを算出することができる。このため、赤外カットフィルタを除去した状態においても、可視光成分の光量、すなわち赤外カットフィルタを挿入した状態における撮像範囲の輝度を予測することができる。したがって、予測した輝度に基づいて赤外カットフィルタの挿入のタイミングを決定することにより、赤外カットフィルタの自動挿入動作を安定化させることができる。

言い換えれば、被写体及び光源の種類にかかわらず、撮像光源に含まれる赤外及び可視波長成分の光量を検出することができる。このため、検出した可視波長成分の光量に応じて赤外カットフィルタの挿脱を行うことで、誤動作なく適切な明るさにおいて赤外カットフィルタの自動挿脱が可能となる。

赤外光成分の割合の算出機能及び赤外カットフィルタの自動挿脱機能を有する撮像装置の実施例１について説明する。図９には、実施例１の撮像装置の構成を示す。なお、本実施例及び後述する他の実施例では撮像光学系を一体的に有する撮像装置について説明するが、本発明の実施例としては、撮像光学系（交換レンズ）の着脱が可能な撮像装置もある。

撮像光学系１において、不図示の被写体からの光（撮像光源から射出して被写体で反射した光）は、光路長補正フィルタ２又は赤外カットフィルタ３を透過し、撮像素子５の前面に設けられたカラーフィルタ４を透過して撮像素子５に入射する。撮像素子５は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、撮像光学系１により形成された被写体像を光電変換する。撮像素子５から出力されたアナログ撮像信号は、増幅器７によって増幅され、Ａ／Ｄ変換器８によってデジタル撮像信号に変換される。

光路長補正フィルタ２及び赤外カットフィルタ３は、フィルタ保持枠１５により保持されている。フィルタ保持枠１５は、フィルタ移動手段としてのフィルタ駆動モータ６によって撮像光学系１の光軸に対して直交する方向に駆動される。フィルタ駆動モータ６は、後述するマイクロコンピュータ２００内の撮像モード決定部２０５からのフィルタ切り換え信号を受けたフィルタ制御回路９によって駆動される。

これにより、赤外カットフィルタ３が撮像光学系１から撮像素子５に至る光路内に配置（挿入）された状態と赤外カットフィルタ３が光路外に配置（除去又は退避）された状態とに切り換えることができる。赤外カットフィルタ３が除去された状態では、その代わりに光路長補正フィルタ２が光路内に挿入される。赤外カットフィルタ３が光路内に挿入された状態は、カラー撮像モード（以下、単にカラーモードともいう）に相当し、赤外カットフィルタ３が光路外に除去された状態は、白黒撮像モード（以下、単に白黒モードともいう）に相当する。

なお、マイクロコンピュータ２００及びフィルタ制御回路９は、制御手段に相当する。

Ａ／Ｄ変換器８からのデジタル撮像信号は、映像信号処理回路１００における色分離マトリクス（ＭＴＸ）１０１において、赤色信号Ｒ、青色信号Ｂ及び緑色信号Ｇに分解されてＷＢ回路１０２に入力される。ＷＢ回路１０２は、撮像信号のＲゲイン及びＢゲインを、適切なホワイトバランスが得られるように調整する。

色分離マトリクス（ＭＴＸ）１０３は、ＷＢ回路１０２によって適正なホワイトバランスに調整された赤色信号Ｒ、青色信号Ｂ及び緑色信号Ｇを、色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙに変換する。色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、映像信号合成部１０４により映像信号として合成され、外部へ出力される。

映像信号合成部１０４は、赤外カットフィルタ３が挿入されている状態では、色分離マトリクス１０３から得られる色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを合成し、カラー映像を出力する。ただし、赤外カットフィルタ３が除去されて光路長補正フィルタ２が挿入されている状態では、映像信号の色バランスが赤外光の混入によって崩れてしまう。このため、赤外カットフィルタ除去状態では、色分離マトリクス１０３から得られる色差信号Ｒ−Ｙ、Ｂ−Ｙを破棄して輝度信号Ｙのみの白黒映像を出力する。

変換された撮像信号である色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、平均値演算部１０５において平均化され、撮像範囲全体の平均色差信号及び平均輝度信号に変換される。

平均化された色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、マイクロコンピュータ２００における色差信号補正部２０１に入力される。平均化された色差信号Ｒ−Ｙ、Ｂ−Ｙは、ＷＢ回路１０２において調整されたホワイトバランス値によって同一色であっても値が変わってしまう。このため、色差信号補正部２０１において現在のホワイトバランス値をＷＢ回路１０２より読み込み、規定のホワイトバランス値に再変換する。また、色差信号Ｒ−Ｙ、Ｂ−Ｙは、輝度信号Ｙに対してほぼ比例関係を有するため、色情報のみを評価可能な色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙに変換する。

メモリ２０２は、撮像モード決定部２０５からのモード決定信号がカラーモードを示す場合は、赤外カットフィルタ３を介した可視波長成分のみの撮像であると見なす。この場合、被写体の色を基準として色差信号補正部２０１で変換した色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙ及び輝度信号Ｙを格納する。格納したデータは、色差信号補正部２０１からデータを取得するごとに更新してもよいし、取得した複数のデータを一定時間毎に平均化して更新してもよい。

メモリ２０２には、予め第１及び第２の赤外色分布範囲を示す色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙも記憶されている。記憶されているデータは、図３又は図４に示すように、カラーフィルタ４の特性に基づき測定又は算出したものである。

波長成分割合演算部２０３は、色差信号補正部２０１からの色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙ、及びメモリ２０２に格納されている被写体の色差輝度比基準データに基づいて、第１及び第２の赤外波長成分の割合を検出する。図１０に、波長成分割合演算部２０３において行う具体的な処理を示す。

なお、波長成分割合演算部２０３の処理は、マイクロコンピュータ２００内の不図示のプログラム格納メモリに格納されたコンピュータプログラムに従って実行される。このことは、マイクロコンピュータ２００内の他の処理部で行われる処理についても同じである。

図１０のステップＳ５００において、波長成分割合演算部２０３（マイクロコンピュータ２００）は、撮像モード決定部２０５からのモード決定信号に基づいて、現在の撮像モードがカラーモードか白黒モードかを判別する。現在の撮像モードがカラーモードであった場合は、ステップＳ５０１の処理に移る。

ステップＳ５０１では、メモリ２０２に格納されている被写体の色差輝度比基準データを読み込む。

次に、ステップＳ５０２では、第１の赤外色分布範囲と被写体の色差輝度比基準データとの距離Ｌ１を算出する。次に、ステップＳ５０３では、第２の赤外色分布範囲と被写体の色差輝度比基準データとの距離Ｌ２を算出する。なお、ステップＳ５０２及びＳ５０３の処理順序はどちらが先でもよい。また、撮像環境に応じて第１又は第２の赤外波長成分を検出する必要がない場合は、該当するステップを省いてもよい。

第１の赤外色分布範囲と色差輝度比基準データとの距離Ｌ１は、撮像光源が可視波長成分のみ、つまり第１の赤外波長成分の割合が０％であったときに相当する。このため、近似関数Ｐ_ＩＲ１＝Ｆ（Ｌ_ＩＲ１／Ｌ_Ｖ）にＬ_Ｖ＝Ｌ１を代入することで、図１１に示すような色差輝度比の距離Ｌ_ＩＲ１の変化量を測定するのみで、撮像光源に含まれる第１の赤外波長成分の割合を検出できるデータベースを作成することができる。

第２の赤外色分布範囲と色基準データとの距離Ｌ２は、光源が可視波長成分のみ、つまり第２の赤外波長成分の割合が０％であったときに相当する。このため、近似関数Ｐ_ＩＲ２＝Ｆ（Ｌ_ＩＲ２／Ｌ_Ｖ２）にＬ_Ｖ２＝Ｌ２を代入することで、色差輝度比の距離Ｌ_ＩＲ２の変化量を測定するのみで、撮像光源に含まれる第２の赤外波長成分の割合を検出できるデータベースを作成することができる。

ステップＳ５０４では、距離Ｌ１及び近似関数Ｐ_ＩＲ１＝Ｆ（Ｌ_ＩＲ１／Ｌ_Ｖ１）を用いて、第１の赤外波長成分の割合を検出するデータベースを作成し、メモリ２０２に格納する。

ステップＳ５０５では、距離Ｌ２及び近似関数Ｐ_ＩＲ２＝Ｆ（Ｌ_ＩＲ２／Ｌ_Ｖ２）を用いて、第２の赤外波長成分の割合を検出するデータベースを作成し、メモリ２０２に格納する。

ステップＳ５０５の処理が終わると、ステップＳ５００に戻り、撮像モードがカラーモードであり続ける限り、ステップＳ５０１〜Ｓ５０５までの処理を繰り返して赤外波長成分の割合を検出するデータベースを更新し続ける。

ステップＳ５００において撮像モードが白黒モードであった場合は、ステップＳ５０６の処理を行う。ステップＳ５０６では、色差信号補正部２０１より現在の撮像範囲の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙを取得してメモリ２０２に格納する。

次に、ステップＳ５０７では、第１の赤外色分布範囲と現在の撮像範囲の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙとの距離Ｌ１′を算出する。

ステップＳ５０８では、第２の赤外色分布範囲と現在の撮像範囲の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙとの距離Ｌ２′を算出する。なお、ステップＳ５０７及びＳ５０８の処理順序はどちらが先でもよい。また、撮像環境によって第１又は第２の赤外波長成分を検出する必要がない場合は、該当するステップを省いてもよい。

ステップＳ５０９では、ステップＳ５０７にて算出した距離Ｌ１′とステップＳ５０４にてメモリ２０２に格納した第１の赤外波長成分の割合を検出するデータベースとを参照して、撮像光源に含まれる第１の赤外波長成分の割合Ｐ_ＩＲ１を検出する。

ステップＳ５１０では、ステップＳ５０８にて算出した距離Ｌ２′とステップＳ５０５にてメモリ２０２に格納した第２の赤外波長成分の割合を検出するデータベースとを参照して、撮像光源に含まれる第２の赤外波長成分の割合Ｐ_ＩＲ２を検出する。以上が波長成分割合演算部２０３において行われる処理である。

可視波長成分輝度演算部２０４及び撮像モード決定部２０５は、波長成分割合演算部２０３において検出した第１及び第２の赤外波長成分の割合Ｐ_ＩＲ１、Ｐ_ＩＲ２に基づいて、撮像モードの切り換えを決定する。

可視波長成分輝度演算部２０４及び撮像モード決定部２０５における処理を、図１２に示す。ここでは、撮像モードとして、白黒モードが設定されているものとする。

ステップＳ７００では、可視波長成分輝度演算部２０４は、波長成分割合演算部２０３から得られる第１及び第２の赤外波長成分の割合値Ｐ_ＩＲ１、Ｐ_ＩＲ２より、１−（Ｐ_ＩＲ１＋Ｐ_ＩＲ２）を演算処理する。これにより、撮像光源に含まれる第１及び第２の赤外波長成分以外の波長成分、すなわち可視波長成分の割合を算出する。

次に、ステップＳ７０１では、色差信号補正部２０１より撮像範囲全体の平均輝度Ｙを取得する。

次に、ステップＳ７０２では、取得した平均輝度ＹとステップＳ７００において演算した可視波長成分の割合とを乗算することで、撮像光源に含まれる可視波長成分の輝度Ｙ_Ｖを演算する。演算された可視波長成分の輝度Ｙ_Ｖは、撮像モード決定部２０５へ入力される。

ステップＳ７０３では、撮像モード決定部２０５は、予め設定された撮像モード切り換え閾値Ｙ_Ｄと可視波長成分の輝度Ｙ_Ｖとの比較を行う。可視波長成分の輝度Ｙ_Ｖが撮像モード切り換え閾値Ｙ_Ｄの値を上回っていれば撮像モードのカラーモードへの切り換えを決定する。可視波長成分の輝度Ｙ_Ｖが撮像モード切り換え閾値Ｙ_Ｄの値以下であれば、そのまま本処理を終了（白黒モードを維持）する。

撮像モードの切り換えを決定した場合、ステップＳ７０４において、撮像モード決定部２０５は、フィルタ制御回路９にフィルタ切り換え信号を出力する。また、ステップＳ７０５において、映像信号合成部１０４に色差信号Ｒ−Ｙ、Ｂ−Ｙの破棄を中止してカラー映像信号の合成処理を行うよう信号を出力する。

フィルタ制御回路９は、撮像モード決定部２０５からのフィルタ切り換え信号を受けてフィルタ駆動モータ６にフィルタ駆動のための制御信号を送る。また、映像信号合成部１０４は、撮像モード決定部２０５からの信号を受け、色差信号Ｒ−Ｙ、Ｂ−Ｙの破棄を中止し、色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを合成したカラー映像信号を出力する。

以上説明した実施例１によれば、撮像光源に含まれる可視波長成分の輝度Ｙ_Ｖを検出することができ、可視波長成分の輝度Ｙ_Ｖと予め設定した撮像モード切り換え閾値Ｙ_Ｄに基づいて撮像モードを決定することできる。したがって、撮像光源に含まれる赤外波長成分の量に関わらず、赤外カットフィルタを除去した状態から挿入した後のカラー撮像範囲の輝度を、撮像モード切り換え閾値Ｙ_Ｄ付近の値に安定化させることができる。

また、本実施例では、可視波長成分のみの撮像時の被写体色を基準としているため、被写体の色によって赤外波長成分の割合及び可視波長成分の輝度の検出を誤る可能性が少ない。したがって、撮像光源に赤外光が含まれていないにも関わらず撮像光源が赤外光であると判断して撮像モードが適切に切り換らないといった問題を回避することができる。

実施例１における赤外波長成分の割合算出は、撮像範囲全体で平均化した色差及び輝度信号を用いている。このため、平均化した色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙが、第１又は第２の赤外色分布範囲に非常に近い場合には、第１又は第２の赤外波長成分の影響による色の変化量が微小であるため、算出精度が低下する可能性がある。

そこで、本実施例では、撮像範囲中の複数の領域について輝度及び色差信号を平均化して抽出し、各領域での輝度信号と色差信号の比の変化量に基づいてそれぞれの領域における赤外波長成分の割合を算出する。そして、複数の領域での赤外波長成分の割合を平均化することで、上述した算出精度の低下を回避する。

図１３には被写体の例を示す。また、図１４には、図１３に示した被写体に含まれる色を撮像範囲全体で平均化した場合の色差輝度比を示す。さらに、図１５には、図１３に示した被写体に含まれる色を、撮像範囲を複数の領域に分割して抽出した場合の色差輝度比を示す。

図１３の被写体に含まれる色を撮像範囲全体で平均化した場合に、図１４におけるＡ点の座標に位置したとする。Ａ点は第１の赤外色分布範囲に非常に近いため、撮像光源における第１の赤外波長成分が増加した場合の色差輝度比の座標Ａ′点と比較して、第１の赤外色分布範囲からの距離がほとんど変わらない。

赤外カットフィルタが除去された状態では、撮像環境は暗い低輝度であり、撮像素子から得られる出力は、ＡＧＣ回路によって増幅される。増幅された撮像信号は、実際の撮像素子の出力に対してノイズの割合が高いため、Ａ点及びＡ′点のような非常に微小な位置関係は検出しにくい。このため、撮像範囲全体を平均化したＡ点及びＡ′点の位置関係に基づいた赤外波長成分の割合の算出の精度が低下する可能性があると言える。

一方、図１３の被写体に含まれる色差輝度比を、撮像範囲を複数の領域に分割して抽出した場合、色差輝度比は図１５のようにばらつきを持って分布する。これは撮像範囲を分割することにより、各領域に含まれる色が異なってくるためである。

図１６には、撮像範囲の分割数を増やすことによって、各領域において抽出される色が異なっていく様子を示す。分割数が少ないと、抽出される色は被写体の色と背景色との混合色となる。分割数が十分な数に達すると、被写体の色及び背景色を、純色又は純色に近い混合色で抽出することが可能となる。

図１５に示すように、撮像範囲を複数の領域に分割して抽出した色差輝度比のうち、例えばＢ点に着目する。Ｂ点は図１４のＡ点に対して第１の赤外色分布範囲から遠い距離に位置している。撮像光源における第１の赤外波長成分が増加した場合の色差輝度比の座標をＢ′点とすると、第１の赤外色分布範囲からの距離はＢ点とＢ′点では大きな変化量が存在する。

Ｂ点及びＢ′点のような位置関係であると、ノイズの割合が撮像信号の変化量に対して相対的に小さくなるため検出しやすい。このため、撮像範囲を分割して抽出したＢ点及びＢ′点の位置関係に基づいた赤外波長成分の割合の算出は、精度が低下する可能性は低い。

また、本実施例における赤外波長成分の割合算出では、赤外カットフィルタの挿入状態における色差輝度比を基準として赤外波長成分の割合を算出する。このため、赤外カットフィルタの挿入状態と除去状態において、被写体が移動又は撮像装置のパン、チルト又はズーム動作等によって被写体に含まれる色が大きく変化した場合に、基準とした色差輝度比自体が変わってしまうため算出精度が低下する可能性がある。

そこで、本実施例では、撮像範囲中の複数の領域のうち、特定数以下の領域に関して色差信号の変化量に変化があった場合には、被写体が移動したものと見なす。この場合、基準となる赤外カットフィルタを挿入した状態での色差信号を変更（補正）することで、算出精度の低下を回避する。

また、パン、チルト又はズーム動作によって撮像範囲が変化した場合には、撮像光源の赤外光成分の割合は一定で被写体が変化したものと見なす。この場合も、基準となる赤外カットフィルタを挿入した状態での色差信号を変更（補正）することで、算出精度の低下を回避する。

色差信号の変更（補正）は、色差信号や撮像範囲の変化前と変化後における色差輝度比の変化量に基づいて行う。

例えば、赤外カットフィルタを挿入した状態での被写体の例を図１７Ａに示す。一定時間経過後、撮像環境の明るさが低下し、赤外カットフィルタを除去した状態に移行したときの被写体を図１７Ｂに示す。次に、図１７Ｃに示すように、被写体の一部（自動車）が移動した（撮像範囲から外れた）とする。

このとき、撮像範囲を複数の領域に分割して抽出した色差輝度比は、図１８Ａ〜図１８Ｃに示すように変化する。図１７Ａの状態での色差輝度比は、図１８Ａのような分布を示す。また、図１７Ｂに示す、赤外カットフィルタは除去されたが被写体は図１７Ａと同じ状態での色差輝度比は、図１８Ｂのような分布となる。そして、赤外カットフィルタが除去され、かつ図１７Ｂの状態から被写体が移動した図１７Ｃの状態での色差輝度比は、図１８Ｃのような分布となる。

例えば、撮像光源に含まれる波長成分のうち第１の赤外波長成分が３０％を占めていたとする。この場合、赤外カットフィルタ除去状態での色差輝度比の分布（図１８Ｂ）では、赤外カットフィルタ挿入状態での色差輝度比の分布（図１８Ａ）に対して、複数の領域全てにおいて色差輝度比がほぼ一定の比率で第１の赤外色分布範囲に近づく特性を示す。この特性が、赤外波長成分の割合が変化した場合の特性である。

また、被写体が移動した場合（図１７Ｂ→図１７Ｃ）、移動した物体が存在していた位置に該当する領域の色差輝度比のみが図１８Ｃに示すように変化し、他の領域における色差輝度比にはほとんど変化がない。このように、被写体が移動した場合は、特定の領域のみの色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙに変化が起こる特性を有する。そして、特定の領域のみの色差輝度比に変化が起きた場合、該変化が起きた領域、つまり移動した物体が存在していた位置に該当する領域の色差輝度比の基準値を変更（補正）する必要がある。

図１９には、色差輝度比の基準値の補正方法を示す。

図１９中の実線グラフは、物体が移動する前の該当領域における第１の赤外波長成分の割合Ｐ_ＩＲ１と、色差輝度比の第１の赤外色分布範囲からの距離Ｌ_ＩＲ１との関係を示す。第１の赤外色分布範囲からの距離がＬ５であるときに被写体の移動が起き、該距離がＬ３に変化したとする。このとき、物体が移動している間、撮像光源に含まれる第１の赤外波長成分は一定と見なし、色差輝度比の基準距離Ｌ_Ｖ１の補正処理を行う。

第１の赤外色分布範囲からの距離がＬ５であるときの第１の赤外波長成分の割合Ｐ_ＩＲ１（例えば、３０％）は、被写体が移動した後の距離Ｌ３でも同値である。このため、補正すべき色差輝度比の基準距離をＬ_Ｖ１′とすると、近似関数Ｐ_ＩＲ１＝Ｆ（Ｌ５／Ｌ_Ｖ１）＝Ｆ（Ｌ３／Ｌ_Ｖ１′）が成り立つ。このため、補正基準値Ｌ_Ｖ１′＝Ｌ_Ｖ１×Ｌ３／Ｌ５を導き出すことができる。

また、図１９中の破線グラフは、導き出した補正基準値Ｌ_Ｖ１′に基づいて再構築した第１の赤外光成分の割合Ｐ_ＩＲ１と、色差輝度比の第１の赤外色分布範囲からの距離Ｌ_ＩＲ１との関係を示す。

基準値の補正処理は、第２の赤外波長成分の割合を算出する場合においても同様に行う。

このように基準値の補正処理を行えば、赤外カットフィルタを挿入した状態から被写体が移動してしまっても、赤外波長成分の割合の算出を誤ることを回避できる。

次に、パン、チルト又はズーム動作が行われた場合について説明する。パンチルトズーム動作が行われた場合、撮像範囲中の被写体がシフト又は拡大・縮小されるため、被写体が移動したのと同様に考えることができる。また、パン、チルト及びズーム動作は、一般に短時間で行われるので、該動作中における撮像光源に含まれる赤外波長成分の割合はほぼ一定であると見なしてよい。このため、パン、チルト又はズーム動作が行われた場合においても上記基準値の補正処理を同様に行えばよい。

なお、パン、チルト又はズーム動作が行われたか否かは、撮像装置に設けられた振れセンサ（加速度センサ等）やズーム駆動回路からの信号に基づいて検出することができる。本実施例では、パン、チルト又はズーム動作が行われたことを検出するＰＴＺ制御回路１０を設けている。

このように基準値の補正処理を行うことで、赤外カットフィルタが挿入された状態からパン、チルト又はズーム動作が行われても、赤外波長成分の割合の算出を誤ることなく行うことができる。

以上説明した、撮像範囲を複数の領域に分割して各領域で平均化した色差輝度比を抽出し、被写体の移動やパン、チルト又はズーム動作があった場合において色差輝度比の基準値を補正処理する撮像装置の構成について、図２０を用いて説明する。

なお、実施例１の撮像装置と共通する構成要素については、実施例１と同符号を付す。また、マイクロコンピュータ２００′及びフィルタ制御回路９は、制御手段に相当する。

実施例１と同様に、撮像素子５から出力されたアナログ撮像信号は、増幅器７によって増幅され、Ａ／Ｄ変換器８によってデジタル撮像信号に変換される。Ａ／Ｄ変換器８からのデジタル撮像信号は、映像信号処理回路１００′における色分離マトリクス（ＭＴＸ）１０１において、赤色信号Ｒ、青色信号Ｂ及び緑色信号Ｇに分解されてＷＢ回路１０２に入力される。ＷＢ回路１０２は、撮像信号のＲゲイン及びＢゲインを、適切なホワイトバランスが得られるように調整する。

色分離マトリクス（ＭＴＸ）１０３は、ＷＢ回路１０２によって適正なホワイトバランスに調整された赤色信号Ｒ、青色信号Ｂ及び緑色信号Ｇを、色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙに変換する。色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、映像信号合成部１０４により映像信号として合成され、外部へ出力される。

映像信号合成部１０４は、赤外カットフィルタ３が挿入されている状態では、色分離マトリクス１０３から得られる色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを合成し、カラー映像を出力する。ただし、赤外カットフィルタ３が除去されて光路長補正フィルタ２が挿入されている状態では、映像信号の色バランスが赤外光の混入によって崩れてしまう。このため、赤外カットフィルタ除去状態では、色分離マトリクス１０３から得られる色差信号Ｒ−Ｙ、Ｂ−Ｙを破棄して輝度信号Ｙのみの白黒映像を出力する。

色分離マトリクス（ＭＴＸ）１０３にて変換された撮像信号である色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、映像信号合成部１０４に入力されるとともに、撮像範囲分割部１５１に入力される。撮像範囲分割部１５１は、撮像範囲を複数の領域に分割し、領域ごとの色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを抽出する。領域ごとの色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、平均値演算部１５２に入力される。

平均値演算部１５２は、領域ごとの色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙをそれぞれ平均化し、領域ごとの平均色差信号Ｒ−Ｙ、Ｂ−Ｙ及び平均輝度信号Ｙを生成する。

平均色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙは、マイクロコンピュータ２００′における色差信号補正部２５１に入力される。平均色差信号Ｒ−Ｙ、Ｂ−Ｙは、ＷＢ回路１０２において調整されたホワイトバランス値によって同一色であっても値が変わってしまう。このため、色差信号補正部２５１は、現在のホワイトバランス値をＷＢ回路１０２から読み込み、規定のホワイトバランス値に再変換する。また、色差信号Ｒ−Ｙ、Ｂ−Ｙは、輝度信号Ｙに対してほぼ比例関係を有するため、色情報のみを評価可能な色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙに変換する。

メモリ２５２は、撮像モード決定部２０５からのモード決定信号がカラー撮像モードであった場合、赤外カットフィルタ３を介した可視波長成分のみの撮像であると見なす。この場合、被写体の色差輝度比の基準として、色差信号補正部２５１で変換した各領域の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙ及び輝度信号Ｙをそれぞれ格納する。格納したデータは、色差信号補正部２５１からデータを取得するごとに更新してもよいし、取得した複数のデータを一定時間毎に平均化して更新してもよい。

また、メモリ２５２は、撮像モード決定部２０５からのモード決定信号が白黒モードであった場合、後述する動体検知のため所定時間毎に、色差信号補正部２５１で変換した各領域の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙ及び輝度信号Ｙを格納する。

メモリ２５２には、予め第１及び第２の赤外色分布範囲を示す色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙも記憶されている。記憶されているデータは、図６又は図７に示すように、カラーフィルタ４の特性に基づき測定又は算出したものである。

波長成分割合演算部２５３は、色差信号補正部２５１からの各領域の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙ、及びメモリ２５２に格納されている被写体の色差輝度比基準データに基づいて、第１及び第２の赤外波長成分の割合を検出する。図２１に、波長成分割合演算部２５３において行う具体的な処理を示す。

図２１のステップＳ５５０では、波長成分割合演算部２５３は、撮像モード決定部２０５からのモード決定信号に基づいて現在の撮像モードがカラーモードか白黒モードかを判別する。現在の撮像モードがカラーモードである場合は、ステップＳ５５１の処理に移る。

ステップＳ５５１では、メモリ２５２に格納されている各領域の被写体の色差輝度比基準データを読み込む。

次に、ステップＳ５５２では、第１の赤外色分布範囲と各領域の被写体の色差輝度比基準データとの距離Ｌ１をそれぞれ算出する。

次に、ステップＳ５５３では、第２の赤外色分布範囲と各領域の被写体の色差輝度比基準データとの距離Ｌ２をそれぞれ算出する。なお、ステップＳ５０２及びＳ５０３の処理順序はどちらが先でもよい。また、撮像環境によって第１又は第２の赤外波長成分を検出する必要がない場合は、該当するステップを省いてもよい。

第１の赤外色分布範囲と各領域の色差輝度比基準データとの距離Ｌ１は、撮像光源が可視波長成分のみ、つまりは第１の赤外波長成分の割合が０％であったときに相当する。このため、近似関数Ｐ_ＩＲ１＝Ｆ（Ｌ_ＩＲ１／Ｌ_Ｖ１）にＬ_Ｖ１＝Ｌ１を代入することで、図１１に示す色差輝度比の距離Ｌ_ＩＲ１を測定するのみで、撮像光源に含まれる第１の赤外波長成分の割合を検出できるデータベースを各領域について作成することができる。

第２の赤外色分布範囲と各領域の色差輝度比基準データとの距離Ｌ２は、撮像光源が可視波長成分のみ、つまり第２の赤外波長成分の割合が０％であったときに相当する。このため、近似関数Ｐ_ＩＲ２＝Ｆ（Ｌ_ＩＲ２／Ｌ_Ｖ２）にＬ_Ｖ２＝Ｌ２を代入することで、色差輝度比の距離Ｌ_ＩＲ２を測定するのみで、撮像光源に含まれる第２の赤外波長成分の割合を検出できるデータベースを各領域について作成することができる。

ステップＳ５５４では、各領域の距離Ｌ１及び近似関数Ｐ_ＩＲ１＝Ｆ（Ｌ_ＩＲ１／Ｌ_Ｖ１）を用いて、第１の赤外波長成分の割合を検出するデータベースを領域毎にそれぞれ作成し、メモリ２５２に格納する。

さらに、ステップＳ５５５では、各領域の距離Ｌ２及び近似関数Ｐ_ＩＲ２＝Ｆ（Ｌ_ＩＲ２／Ｌ_Ｖ２）を用いて、第２の赤外波長成分の割合を検出するデータベースを領域毎にそれぞれ作成し、メモリ２５２に格納する。

ステップＳ５５５の処理が終わると、ステップＳ５５０まで戻り、撮像モードがカラーモードであり続ける限り、ステップＳ５５１〜Ｓ５５５までの処理を繰り返して赤外波長成分の割合を検出するデータベースを更新し続ける。

ステップＳ５５０において撮像モードが白黒モードであった場合は、ステップＳ５５６の処理が行われる。ステップＳ５５６では、色差信号補正部２５１から現在の撮像範囲の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙを取得してメモリ２５２に格納する。

次に、ステップＳ５５７では、第１の赤外色分布範囲と、現在の撮像範囲における各領域の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙとの距離Ｌ_ＩＲ１を算出する。

また、ステップＳ５５８では、第２の赤外色分布範囲と、現在の撮像範囲における各領域の色差輝度比Ｒ−Ｙ／Ｙ、Ｂ−Ｙ／Ｙとの距離Ｌ_ＩＲ２を算出する。ステップＳ５５７及びＳ５５８の処理順序はどちらが先でもよい。また、撮像環境によって第１又は第２の赤外波長成分を検出する必要がない場合は、該当するステップを省いてもよい。

ステップＳ５５９では、ステップＳ５５７で算出した領域ごとの距離Ｌ_ＩＲ１とステップＳ５５４にてメモリ２５２に格納した領域ごとのデータベースを参照して、領域ごとの撮像光源に含まれる第１の赤外波長成分の割合Ｐ_ＩＲ１を検出する。検出した領域ごとの第１の赤外波長成分の割合は、ステップＳ５６０にて平均化される。平均化することで、領域ごとの距離Ｌ_ＩＲ１に含まれるノイズ誤差を軽減できる。

なお、第１の赤外波長成分の割合が他の領域と比較して極端に異なる領域が存在した場合は、その領域における第１の赤外波長成分の割合を平均化から除外する処理をステップＳ５６０に含めてもよい。

ステップＳ５６１では、ステップＳ５５８に算出した各領域の距離Ｌ_ＩＲ２とステップＳ５５５にてメモリ２５２に格納した領域ごとデータベースを参照して、領域ごとの撮像光源に含まれる第２の赤外波長成分の割合Ｐ_ＩＲ２を検出する。検出した領域ごとの第２の赤外波長成分の割合は、ステップＳ５６２において平均化される。平均化することで、各領域の距離Ｌ_ＩＲ２に含まれるノイズ誤差を軽減できる。

なお、第２の赤外波長成分の割合が他の領域と比較して極端に異なる領域が存在した場合は、その領域における第２の赤外波長成分の割合を平均化から除外する処理をステップＳ５６２に含めてもよい。以上が、波長成分割合演算部２５３において行われる処理である。

動体検知部２５６は、撮像モード決定部２０５からのモード決定信号と、色差信号補正部２５１からの色差輝度比と、ＰＴＺ制御回路１０からの信号とに基づいて 図２２に示す処理を行う。ここでは、メモリ２５２に格納されている赤外カットフィルタを挿入した状態での各領域の色差輝度比の基準値を補正する。

ステップ６００では、動体検知部２５６は、撮像モード決定部２０５からのモード決定信号から現在の撮像モードがカラーモードか白黒モードかを判別する。現在の撮像モードが白黒モードである場合は、ステップＳ６０１に移る。現在の撮像モードがカラーモードである場合は、処理を終了する。

ステップＳ６０１では、色差信号補正部２５１から、複数の領域のそれぞれにおける現在の色差輝度比を取得してメモリ２５２に格納する。

ステップＳ６０２では、複数の領域における色差輝度比と第１の赤外色分布範囲との距離Ｌ３をそれぞれ算出する。

ステップＳ６０３では、複数の領域における色差輝度比と第２の赤外色分布範囲との距離Ｌ４をそれぞれ算出する。なお、ステップＳ６０２及びＳ６０３の処理順序はどちらが先でもよい。また、撮像環境によって、第１又は第２の赤外波長成分を検出する必要がない場合は、該当するステップを省いてもよい。

次に、ステップＳ６０４では、メモリ２５２から複数の領域のそれぞれにおける過去の色差輝度比を取得して格納する。

ステップＳ６０５では、複数の領域における色差輝度比と第１の赤外色分布範囲との距離Ｌ５をそれぞれ算出する。

ステップＳ６０６では、複数の領域における色差輝度比と第２の赤外色分布範囲との距離Ｌ６をそれぞれ算出する。ステップＳ６０５及びＳ６０６の処理順序はどちらが先でもよい。また、撮像環境によって、第１又は第２の赤外波長成分を検出する必要がない場合は、該当するステップを省いてもよい。

ステップＳ６０７では、ステップＳ６０２及びＳ６０５において算出したＬ３とＬ５との比であるＬ３／Ｌ５が、L_{ＩＲ１Ｍａｘ}≧Ｌ３／Ｌ５≧L_{ＩＲ１Ｍin}のように規定の範囲内か否かを判別する。被写体の変化がない場合は、Ｌ３／Ｌ５はほぼ１に近い値となるため、動体検知の感度を高くするにはL_{ＩＲ１Ｍax}及びL_{ＩＲ１Ｍin}を１に近く設定すればよい。また、Ｌ３／Ｌ５が規定範囲外である領域に関しては、その領域の数Ｎをカウントする。

ステップＳ６０８では、ステップＳ６０３及びＳ６０６において算出したＬ４とＬ６との比であるＬ４／Ｌ６が、L_{ＩＲ２Ｍａｘ}≧Ｌ４／Ｌ６≧L_{ＩＲ２Ｍin}のように規定の範囲内か否かを判別する。被写体の変化がない場合は、Ｌ４／Ｌ６はほぼ１に近い値となるため、動体検知の感度を高くするにはL_{ＩＲ２Ｍax}及びL_{ＩＲ２Ｍin}を１に近く設定すればよい。また、Ｌ４／Ｌ６が規定範囲外である領域に関しては、その領域の数Ｍをカウントする。

ステップＳ６０９では、ステップＳ６０７及びＳ６０８でカウントしたＮ及びＭが特定数以下であるか否かを判別する。Ｎ及びＭが特定数以下の場合は、被写体が変化したものと見なして、ステップＳ６１１の処理に移る。Ｎ及びＭが特定数より多い場合には、撮像光源の赤外波長成分の割合が変化したか、あるいはパン、チルト又はズーム動作が行われたものと見なして、ステップＳ６１０の処理に移る。

ステップＳ６１０では、ＰＴＺ制御回路１０からの信号に基づいて、パン、チルト又はズーム動作が行われたか否かを判別する。パン、チルト又はズーム動作が行われた場合は、ステップＳ６１１の処理に移る。パン、チルト又はズーム動作が行われていない場合は、撮像光源の赤外波長成分の割合が変化したものとして処理を終了する。

ステップＳ６１０において、被写体が移動した又はパン、チルトもしくはズーム動作が行われた、つまりは動体検知がなされた場合にのみステップＳ６１１の処理が行われる。ステップＳ６１１では、動体検知がなされた領域に関して、メモリ２５２から、基準距離Ｌ_Ｖ１及びＬ_Ｖ２をそれぞれ読み込む。

ステップＳ６１２では、ステップＳ６１１にて読み込んだ基準距離Ｌ_Ｖ１及びＬ_Ｖ２を現在の被写体に合わせて補正する。ここでは、前述した補正方法により、第１の赤外波長成分の割合を算出するための補正基準距離Ｌ_Ｖ１′＝Ｌ_Ｖ１×（Ｌ３／Ｌ５）を用いた計算を行う。また、第２の赤外波長成分の割合を算出するための補正基準距離Ｌ_Ｖ２′＝Ｌ_Ｖ２×（Ｌ４／Ｌ６）を用いた計算を行う。こうして、補正基準距離Ｌ_Ｖ１′及びＬ_Ｖ２′を動体検知がなされた領域ごとに算出し、メモリ２５２に格納する。以上が、動体検知部２５６において行われる処理である。

可視波長成分輝度演算部２０４及び撮像モード決定部２０５は、波長成分割合演算部２５３において検出した第１及び第２の赤外波長成分の割合Ｐ_ＩＲ１、Ｐ_ＩＲ２に基づいて、撮像モードの切り換えを決定する。

可視波長成分輝度演算部２０４及び撮像モード決定部２０５における処理は、実施例１で図１２を用いて説明したものと同様であり、ここでは図１２を用いて該処理を説明する。ここでは、撮像モードとして、白黒モードが設定されているものとする。

ステップＳ７００では、可視波長成分輝度演算部２０４は、波長成分割合演算部２５３から得られる第１及び第２の赤外波長成分の割合値Ｐ_ＩＲ１、Ｐ_ＩＲ２より、１−（Ｐ_ＩＲ１＋Ｐ_ＩＲ２）を演算処理する。これにより、撮像光源に含まれる第１及び第２の赤外波長成分以外の波長成分、すなわち可視波長成分の割合を算出する。

次に、ステップＳ７０１では、色差信号補正部２５１より撮像範囲全体の平均輝度Ｙを取得する。

次に、ステップＳ７０２では、取得した平均輝度ＹとステップＳ７００において演算した可視波長成分の割合とを乗算することで、撮像光源に含まれる可視波長成分の輝度Ｙ_Ｖを演算する。演算された可視波長成分の輝度Ｙ_Ｖは、撮像モード決定部２０５へ入力される。

ステップＳ７０３では、撮像モード決定部２０５は、予め設定された撮像モード切り換え閾値Ｙ_Ｄと可視波長成分の輝度Ｙ_Ｖとの比較を行う。可視波長成分の輝度Ｙ_Ｖが撮像モード切り換え閾値Ｙ_Ｄの値を上回っていれば撮像モードのカラーモードへの切り換えを決定する。可視波長成分の輝度Ｙ_Ｖが撮像モード切り換え閾値Ｙ_Ｄの値以下であれば、そのまま本処理を終了（白黒モードを維持）する。

撮像モードの切り換えを決定した場合、ステップＳ７０４において、フィルタ制御回路９にフィルタ切り換え信号を出力する。また、ステップＳ７０５において、映像信号合成部１０４に色差信号Ｒ−Ｙ、Ｂ−Ｙの破棄を中止してカラー映像信号の合成処理を行うよう信号を出力する。

フィルタ制御回路９は、撮像モード決定部２０５からのフィルタ切り換え信号を受けてフィルタ駆動モータ６にフィルタ駆動のための制御信号を送る。また、映像信号合成部１０４は、撮像モード決定部２０５からの信号を受け、色差信号Ｒ−Ｙ、Ｂ−Ｙの破棄を中止し、色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを合成したカラー映像信号を出力する。

以上説明した実施例２によれば、撮像光源に含まれる可視波長成分の輝度Ｙ_Ｖを検出することができ、可視波長成分の輝度Ｙ_Ｖと予め設定した撮像モード切り換え閾値Ｙ_Ｄに基づいて撮像モードを決定することできる。したがって、撮像光源に含まれる赤外波長成分の量に関わらず、赤外カットフィルタを除去状態から挿入した後のカラー撮像範囲の輝度を、撮像モード切り換え閾値Ｙ_Ｄ付近の値で安定化させることができる。

また、本実施例では、可視波長成分のみの撮像時の被写体色を基準としているため、被写体の色によって赤外波長成分の割合及び可視波長成分の輝度の検出を誤る可能性が少ない。したがって、撮像光源に赤外光が含まれていないにも関わらず、撮像光源が赤外光であると判断して撮像モードが適切に切り換らないといった問題を回避することができる。

さらに本実施例では、撮像範囲を複数の領域に分割して動体検知及び基準とした被写体色の補正処理が可能である。このため、赤外カットフィルタを挿入した状態から被写体が変化した場合においても、赤外波長成分の割合及び可視波長成分の輝度の検出を誤ること可能性が少ない。また、撮像中にパン、チルト又はズーム動作が行われた場合においても、基準とした被写体色の補正処理が可能である。このため、赤外波長成分の割合及び可視波長成分の輝度の検出を誤る可能性が少ない。

なお、上記実施例１及び２で説明した赤外カットフィルタの挿脱（撮像モードの切り換え）の決定方法は例にすぎない。すなわち、赤外カットフィルタの挿入状態で得た色差輝度比に対する赤外カットフィルタの除去状態で得た色差輝度比の変化量に基づいて赤外カットフィルタの挿脱を決定する方法であれば、他の方法を採用することもできる。

原色カラーフィルタの分光透過特性を示す図。 補色カラーフィルタの分光透過特性を示す図。 原色カラーフィルタに赤外波長成分の単波長光を照射した場合における波長別の色差輝度比を示す図。 補色カラーフィルタに赤外波長成分の単波長光を照射した場合における波長別の色差輝度比を示す図。 撮像光源に含まれる第１の赤外波長成分の割合を変化させたときの色差輝度比の推移を示す図。 色差輝度比の第１の赤外色分布範囲との距離と第１の赤外波長成分の割合との関係を示す図。 可視波長成分のみの撮像光源下での色差輝度比と第１の赤外色分布範囲との距離を基準とした場合における各色差輝度比と第１の赤外色分布範囲との距離比率と、第１の赤外波長成分の割合との関係を示す図。 撮像光源に含まれる第２の赤外波長成分の割合を変化させたときの色差輝度比の推移を示す図。 色差輝度比の第２の赤外色分布範囲との距離と第２の赤外波長成分の割合との関係を示す図。 可視波長成分のみの撮像光源下での色差輝度比と第２の赤外色分布範囲との距離を基準とした場合における各色差輝度比と第２の赤外色分布範囲との距離比率と、第２の赤外波長成分の割合との関係を示す図。 本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における波長成分割合演算部での処理を示すフローチャート。 実施例１における赤外波長成分の割合を算出するためのデータベースを示す図。 実施例１における可視波長成分輝度演算部及び撮像モード決定部での処理を示すフローチャート。 被写体の例を示す図。 撮像範囲全体を平均した場合の被写体の色差輝度比を示す図。 撮像範囲を複数の領域に分割した場合の被写体の色差輝度比を示す図。 領域分割数別の被写体抽出色の推移を示す図。 赤外カットフィルタを挿入した状態での被写体の例を示す図。 赤外カットフィルタを除去した状態での被写体の例を示す図。 図１７Ｂの状態から被写体の一部が移動した状態を示す図。 図１７Ａの状態での色差輝度比を示す図。 図１７Ｂの状態での色差輝度比を示す図。 図１７Ｃの状態での色差輝度比を示す図。 動体検知がなされた領域での基準とする色差輝度比の補正例を示す図。 本発明の実施例２である撮像装置の構成を示すブロック図。 実施例２における波長成分割合演算部での処理を示すフローチャート。 実施例２における動体検知部での処理を示すフローチャート。

符号の説明

１ 撮像光学系
２ 光路長補正フィルタ
３ 赤外カットフィルタ
４ カラーフィルタ
５ 撮像素子
６ フィルタ駆動モータ
１００，１００′ 映像信号処理回路
２００，２００′ マイクロコンピュータ

Claims (6)

1. カラーフィルタを有し、被写体像を光電変換する撮像素子と、
   赤外カットフィルタと、
   前記撮像素子への光路に対する前記赤外カットフィルタの出し入れを行うフィルタ移動手段と、
   該フィルタ移動手段を制御する制御手段と、
   前記赤外カットフィルタが前記光路内に配置される状態で前記撮像素子により得られる輝度信号と色差信号との比を第１の比とし、前記赤外カットフィルタが前記光路外に配置される状態で前記撮像素子により得られる輝度信号と色差信号との比を第２の比とし、前記第１の比に対する前記第２の比の変化量を求める処理手段と、
   前記変化量と撮像光源に含まれる赤外光成分の割合との関係を示す所定の情報を記憶部に記憶させる記憶制御手段と、
   前記記憶される情報を参照し、前記求められる変化量に対応する赤外光成分の割合を算出する赤外光成分算出手段と、
   前記算出される赤外光成分の割合をＰとして１−Ｐを演算することで、前記撮像光源に含まれる可視光成分の割合を算出する可視光成分算出手段と、
   撮像範囲の輝度と前記可視光成分算出手段により算出される可視光成分の割合とを乗算することで、前記可視光成分の輝度を算出する輝度算出手段と、
   を有し、
   前記制御手段は、前記輝度算出手段により算出される輝度が所定の閾値を超える場合には、前記赤外カットフィルタを前記光路内に配置させ、前記輝度算出手段により算出される輝度が所定の閾値を超えない場合には、前記赤外カットフィルタを前記光路外に配置させるように、前記フィルタ移動手段を制御することを特徴とする撮像装置。
2. 前記情報は、前記撮像光源に含まれる赤外光成分の割合に対する、前記第１の比に対する前記第2の比の変化量の関数であることを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段は、前記カラーフィルタにおいて、赤色、緑色及び青色成分のうち赤色成分に対する透過率が他の色成分の透過率よりも大きい第１の波長領域での前記変化量と、該第１の波長領域に比べて赤色、緑色及び青色成分に対する透過率の差が小さい第２の波長領域での前記変化量とをそれぞれ求め、
   前記情報は、前記第１の波長領域での前記変化量と前記撮像光源に含まれる赤外光成分の割合との関係を示す情報と、前記第２の波長領域での前記変化量と前記撮像光源に含まれる赤外光成分の割合との関係を示す情報とを含み、
   前記赤外光成分算出手段は、前記記憶される情報を参照し、前記求められる前記第１の波長領域での前記変化量に対応する赤外光成分の割合と前記求められる前記第２の波長領域での前記変化量に対応する赤外光成分の割合とをそれぞれ算出し、
   前記Ｐは、前記赤外光成分算出手段により算出される前記第１の波長領域での赤外光成分の割合と前記赤外光成分算出手段により算出される前記第２の波長領域での赤外光成分の割合との加算により算出されることを特徴とする請求項２に記載の撮像装置。
4. 前記処理手段は、撮像範囲における複数の領域のそれぞれについて前記変化量を求め、
   前記赤外光成分算出手段は、前記記憶される情報を参照し、前記複数の領域のそれぞれについて求められる変化量のそれぞれに対応する赤外光成分の割合を平均化することにより、前記撮像光源に含まれる赤外光成分の割合を算出することを特徴とする請求項１に記載の撮像装置。
5. 前記処理手段は、前記被写体の一部が撮像範囲から外れた場合は、前記第１の比を、該変化前の前記変化量と該変化後の前記変化量とが等しくなるように変更することを特徴とする請求項１に記載の撮像装置。
6. 前記処理手段は、撮像範囲が変化した場合は、前記第１の比を、該変化前の前記変化量と該変化後の前記変化量とが等しくなるように変更することを特徴とする請求項１に記載の撮像装置。