JP4310317B2 - 可視成分割合算出方法、およびそれを用いた光学機器 - Google Patents

Description

本発明は、可視波長領域から赤外波長領域の波長光を撮像して得られる撮像信号に基づいて、光源に含まれる波長成分の割合を算出する可視成分割合算出方法と、それを用いた撮像装置等の光学機器に関する。

可視波長領域から赤外波長領域まで撮影領域を拡張した撮像装置に関する従来例として、特許文献１に記載された「撮像装置」や特許文献２に記載された「撮影モード切換え機能付きカメラ」がある。これらは赤外カットフィルタの挿抜を自動的に行い、撮影モードを切り換える赤外／可視共用カメラに関するもので、撮像素子から得られる輝度信号と色信号に基づいて撮影モードを決定するとしている。

上記特許文献において、撮影モードの決定方法は、現在の撮影モードがカラー撮影モードの場合、輝度信号Ｙと予め設定された閾値Ｙ２との大小判別によって撮影モードの決定を行う。また、白黒撮影モードの場合、輝度信号Ｙと予め設定された閾値Ｙ１との大小判別によって撮影モードの決定を行っている。なお閾値Ｙ１とＹ２は、Ｙ１＞Ｙ２と設定することで、赤外カットフィルタの除去により輝度信号が増加し、カラー撮影モード→白黒撮影モード→カラー撮影モード・・・を繰返すハンチングを防止している。

さらに、現在の撮影モードが白黒撮影モードである場合、輝度信号のほかに色信号の分析を行い撮影モードの決定をしている。色信号の分析は、赤色信号／緑色信号及び青色信号／緑色信号の２つの色比を求め、２つの色比が規定した分布範囲内に入るか否かによって撮像信号が近赤外光によるものか否かを判断している。ここで撮像素子の色別の感度特性に着目すると、８００［ｎｍ］付近から長波長に対しては、色の種類にかかわらずほぼ感度が同一になる特徴を有するため、撮像信号が近赤外光によるものの場合は、前記２つの色比が規定した分布範囲内に収まるとしている。撮像信号が近赤外光によるものと判断した場合、白黒撮影モードのままとする。

特許文献２に記載された「撮影モード切換え機能付きカメラ」においては、広域を撮像している場合、撮影画面全体の色信号としては平均化されてしまい、特徴点が抽出できなくなってしまう。そのため、撮影画面を複数のブロックに分け、ブロックごとに撮像信号が近赤外光によるものか否かの判断を行い、近赤外光であるブロックをカウントし、撮像信号が可視光によるものか近赤外光によるものかを判断している。
特開２０００−２２４４６９号公報 特開２００３−２１９２５４号公報

従来の赤外カットフィルタの挿抜を自動的に行うカメラでは、白熱灯や太陽光などの可視成分と赤外成分の両方を含む混合光源下において、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度が不安定となる問題がある。例えば、白熱灯光源下で緑色や青色の被写体を撮影していた場合、十分、被写体輝度が明るくなっても赤外光源下であると誤判断してしまい、カラー撮影モードに切り換わらなかったり、混合光源下でハンチングをしてしまう、等の問題である。
本発明は、上述の従来例における問題点を解消することを課題とする。

すなわち、本発明は、白熱灯、太陽光、赤外照明下等の可視成分と赤外成分の両方を含む混合光源下において、赤外カットフィルタの挿抜を安定して行うための波長成分割合算出方法、および、それを用いた撮像装置を提供することを課題とする。

上記の課題を解決するため、本発明の波長成分割合算出方法では、被写体像を撮像素子により撮像信号に変換し、該撮像信号から撮影画面中の複数の領域について色信号を生成し抽出し、前記抽出された複数の領域の色信号に基づいて、複数の領域毎に波長成分割合を算出し、前記算出された波長成分割合に基づいて可視成分割合が相対的に大きい1つ以上の領域を選択し、前記選択された領域の可視成分割合に基づいて所定の演算を行い、前記演算結果をもって、前記撮影画面の可視成分割合と決定する。
上記の課題を解決するため、本発明の光学機器は、上述の波長成分割合算出方法で可視成分割合を算出する可視成分割合算出手段を有する。

本発明において好ましくは、前記複数の各領域のうち、輝度信号レベルが所定範囲内にある領域についてのみ前記選択を行う。または、前記選択の対象となる複数の各領域のうち、前記可視成分割合が最大である領域の可視成分割合を前記撮影画面の可視成分割合とする。あるいは、前記複数の各領域のうち、前記可視成分割合が所定数以上となる割合の値を前記撮影画面の可視成分割合とする。
本発明においては、前記複数の領域毎の波長成分割合及び可視成分割合を算出する際、前記撮像信号のホワイトバランスを調整するための色信号ゲインを固定値に設定することが好ましい。また、前記複数の領域毎の可視成分割合を、前記色信号を所定時間の間、平均した平均色信号を用いて算出することが好ましい。

上記従来例における問題は、上記従来例が６５０［ｎｍ］〜８００［ｎｍ］までの赤外光源下か否かの検出、及び光源に含まれる可視成分と赤外成分の割合を算出できないために起きていた。

本発明の可視成分割合算出方法は、光源に含まれる可視波長領域から赤外波長領域の波長成分の割合を算出できる。また、撮影画面中の複数領域の中から波長成分の割合の算出を行うため、被写体の特徴点が周囲に埋もれることなく抽出でき、様々なシーンにおいても波長成分の割合を正確に算出することが可能となる。

したがって、赤外カットフィルタ切り換え機能付きカメラに、本発明に係る波長成分割合算出手段を備えることで、赤外カットフィルタを除去した状態において、赤外カットフィルタ挿入時の輝度を予測できる。そのため、撮影光源の種類にかかわらず赤外カットフィルタの自動挿抜を、ハンチングを起すことなく、適切なタイミングで行うことができる。

本発明の好ましい実施の形態に係る光学機器は、前記撮像信号から撮影画面中の複数の領域について色信号を生成し抽出する色信号抽出手段を有する。また、前記色信号抽出手段で抽出された複数の領域の色信号に基づいて、複数の領域毎に波長成分割合を検出する領域波長成分割合算出手段を有する。ここで、領域波長成分割合算出手段は、色座標系において、波長成分の割合に応じて、色信号の存在し得る範囲を設定する色座標範囲分割手段を有する。そして、該色座標領域分割手段で設定された色信号の存在し得る範囲と前記各領域の色信号の前記色座標系における位置とに基づいて、前記波長成分割合の算出を行う。

前記色座標範囲分割手段は、色信号の存在し得る範囲を、例えば、定義線もしくは規定座標との位置関係に基づき算出する。ここで、定義線は、色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙの比を２軸とする直交座標系における近赤外光の波長対位置座標軌跡を意味し、規定座標は、該直交座標系における可視光の波長対可視成分割合曲線上の位置座標を意味する。

前記選択は、前記複数の各領域のうち、輝度信号レベルが所定範囲内にある領域についてのみ行うことが好ましい。
また、撮影画面の可視成分割合としては、前記選択の対象となる複数の各領域のうち、前記可視成分割合が最大である領域の可視成分割合を採用する。あるいは、前記選択の対象となる複数の各領域のうち、前記可視成分割合が所定値以上の領域を選択し、その領域が所定数以上である場合、該所定値を前記撮影画面の可視成分割合としてもよい。

本発明の好ましい実施の形態において、前記光学機器は撮像装置である。この撮像装置は、さらに、前記撮像素子上に形成され、少なくとも可視波長領域から赤外波長領域の波長光を透過するカラーフィルタと、撮像光学系の光路上に設けられ特定波長帯を選別する波長帯選別手段(赤外線フィルタ)とを有する。また、前記波長帯選別手段を前記光路中から挿抜する挿抜手段と、被写体の輝度信号に応じて、前記挿抜手段を制御し、撮影モードの切り換えを行う撮影モード切り換え手段を有する。そして、前記画面可視成分割合算出手段からの可視成分割合と被写体輝度に応じて、撮影モードの切り換えを行うことを特徴とする。ここで、前記撮影モード切り換え手段は、前記画面可視成分割合算出手段からの可視成分割合に基づいて、被写体の輝度信号と撮影モードの切り換え閾値の少なくとも一つの補正を行う。

また、領域波長成分割合算出手段は、例えばホワイトバランスを調整するための色信号ゲインを固定値に設定して前記波長成分割合を算出する。また、色信号を所定時間の間、平均した平均色信号を用いて前記波長成分割合の算出を行う。

以下、本発明の実施例を、図面を用いて説明する。
［実施例１］
本発明の一実施例に係る撮像装置のブロック図を図１に示す。この撮像装置は、本発明の一実施例に係る可視成分割合算出方法を適用して可視光成分を算出し、赤外カットフィルの挿抜を行うものである。

図１において、撮像光学系１を介して撮像した被写体からの反射光は光路長補正フィルタ２を透過し、撮像素子カラーフィルタ４を介して撮像素子５に入射される。撮像素子５からのアナログ撮像信号はＡＧＣ７によって増幅され、Ａ／Ｄ変換器８によってデジタル撮像信号に変換される。色分離マトリクス２０１は、Ａ／Ｄ変換器８からの撮像信号を赤色信号Ｒ、青色信号Ｂ、緑色信号Ｇに分離する。ＷＢ回路２０２は色分離マトリクス２０１から入力された赤色信号Ｒ、青色信号Ｂ、緑色信号Ｇを用いてＲゲイン及びＢゲインを調整し、適切なホワイトバランスに調整する。色差マトリクス２０３は、適正なホワイトバランスに調整された赤色信号Ｒ、青色信号Ｂ、緑色信号Ｇを、色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙに変換する処理部である。映像信号出力選択部２０５は、撮影モード判定部３０２によって決定された撮影モードがカラー撮影モードの場合は、色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを出力し、白黒撮影モードの場合は輝度信号Ｙのみを出力する。

画面可視成分割合算出部１００は、映像信号処理回路２００において得られる色差信号Ｒ−Ｙ、Ｂ−Ｙを用いて波長成分の割合を算出する。画面可視成分割合算出部１００は、映像信号処理回路２００及びマイクロコンピュータ３００における演算処理の一部で構成される。色分離マトリクス２０１〜色差マトリクス２０３の構成及び動作は前述したとおりである。

色差マトリクス２０３において変換された色差信号Ｒ−Ｙ、Ｂ−Ｙ、輝度信号Ｙは画面ブロック分割部２０４に入力される。画面ブロック分割部２０４は撮影画面中の色差信号Ｒ−Ｙ、Ｂ−Ｙ、輝度信号Ｙを複数の領域ごとに算出する処理部である。

ここで、画面ブロック分割部２０４において、撮影画面の分割数を増やし領域を細分化するほど、色差信号の抽出精度が向上する。図２に画面分割数の増加に伴う、各領域における抽出色の変化の様子を図示する。分割数が少ないと抽出される色は被写体の色と背景色との混合色となる。分割数が増えるにしたがって、被写体の色と背景色との分離が明確になっていき、分割数が十分な数に達すると被写体の色及び背景色を、純色または純色に近い混合色で抽出できるようになる。よって撮影画面中に含まれる被写体の色を正確に抽出できる確率を上げるには、撮影画面の分割数を増やし、可能な限り領域を細分化して色差信号を抽出することが望ましい。

図１の色差成分正規化部３０３は画面ブロック分割部２０４から入力されたブロックごとの色差信号（Ｒ−Ｙ）ｉｊ、（Ｂ−Ｙ）ｉｊを輝度信号Ｙｉｊで除算し、正規化する処理部である。色差信号が輝度信号に応じてばらついてしまうのを防止するための処理である。輝度によりばらつきが起こらず、色成分のみに基づいて色差信号が出力される場合には、省略することも可能である。添字ｉｊは、ｉ列ｊ行のブロックの信号またはデータであることを示す。

波長成分割合算出部３０４は、入力された正規化色差信号（Ｒ−Ｙ）ｉｊ／Ｙｉｊ、（Ｂ−Ｙ）ｉｊ／Ｙｉｊ、ＷＢ回路２０２におけるホワイトバランスゲイン、およびメモリ３０５における格納データを参照して波長成分の割合を演算する。メモリ３０５には、可視成分の割合に応じた色差信号の分布範囲のデータが記憶され、波長成分の割合算出時に読み出される。時間的に平均された色信号に基づいて波長成分の割合を算出する場合には、過去数Ｖ（Ｖは１垂直偏向期間、すなわち１フレーム）間の色差信号もメモリ３０５に記憶される。可視成分輝度演算部３０１は、輝度信号Ｙと波長成分割合演算部３０４で演算された可視成分割合Ｐｖから可視成分輝度Ｙｖを演算する。演算された可視成分輝度Ｙｖは、撮影モード判定部３０２に入力される。

撮影モード判定部３０２は、入力された可視成分輝度Ｙｖとあらかじめ設定された撮影モード切り換え閾値Ｙ_D、Ｙ_Nとを比較し、撮影モードを切り換えるか否かを決定する。撮影モード切り換え閾値Ｙ_Dは白黒撮影モードからカラー撮影モードへ切り換える閾値、Ｙ_Nはカラー撮影モードから白黒撮影モードへ切り換える閾値である。通常は、ハンチング防止のため、Ｙ_NとＹ_Dはヒステリシスを持たせている。Ｙ_D＞Ｙ_Nである。

ヒステリシスを持たせただけの従来例では、白黒撮影モード時に可視成分割合が非常に少なく、且つヒステリシス以上の赤外成分を含む光源下においてはハンチングが発生してしまうという問題があった。本実施例では、後述する方法により、波長成分割合を算出して、白黒撮影モードからカラー撮影モードへの切り換えを行う。

映像信号出力選択部２０５において、撮影モード判定部３０２で決定された撮影モードがカラー撮影モードのときは、フィルタ駆動回路９は赤外カットフィルタ３を挿入し、映像信号出力選択部２０５はカラー映像を出力する。白黒撮影モードであるときは、フィルタ駆動回路９は、赤外カットフィルタ３を抜くとともに、映像信号出力選択部２０５は白黒映像を出力する。フィルタ駆動モータ６は、フィルタ駆動回路９からの信号に応じて赤外カットフィルタ３を挿抜する。

続いて、撮影モードの決定方法、及び、波長成分割合算出方法について説明する。
まず、撮影モードの決定方法を図３のフローチャートを用いて説明する。
撮影モード判定部３０２において、現在の撮影モードがカラー撮影モードか白黒撮影モードかの判定を行う（Ｓ１０１）。カラー撮影モードである場合、輝度信号Ｙとカラー撮影モードから白黒撮影モードへの切り換え閾値Ｙ_Nと比較する（Ｓ１０７）。輝度信号Ｙが白黒撮影モードへの切り換え閾値Ｙ_N以下の状態が所定時間Ｔｗａｉｔ経過後、赤外カットフィルタを抜き、白黒撮影モードへ切り換えを行う（Ｓ１０８、Ｓ１０９）。これが、白黒撮影モードからカラー撮影モードへの切り換え方法である。撮影モードの切り換えを行う際に所定時間Ｔｗａｉｔの間、判定を行うのは、車のヘッドライトなどの突発的な光によるハンチング等の誤判定を防止するためである。

撮影モードが白黒撮影モードである場合、つまり白黒撮影モードからカラー撮影モードへの切り換え方法について説明する。まず、波長成分割合演算部３０４にて全波長域に対する可視成分割合Ｐｖが演算される（Ｓ１０２）。波長成分割合算出方法に関しては後で詳しく説明する。可視成分輝度演算部３０１において、輝度信号Ｙと可視成分割合Ｐｖを用いて、下式の可視成分輝度Ｙｖを算出する（Ｓ１０３）。

なお、本実施例においては、可視成分割合Ｐｖを用いて可視成分割合Ｙｖの算出を行ったが、波長成分割合算出部３０４において赤外成分割合Ｐｉｒを算出し、

のように可視成分輝度Ｙｖを算出しても構わない。

撮影モード判定部３０２において、可視成分輝度Ｙｖが白黒撮影モードからカラー撮影モードへの切り換え閾値Ｙ_D以上であるかの判定を行う（Ｓ１０４）。可視成分輝度Ｙｖがカラー撮影モード切り換え閾値以上の状態が所定時間Ｔｗａｉｔ経過後、赤外カットフィルタを挿入し、カラー撮影モードへの切り換えを行う。

続いて、波長成分割合演算部３０４における波長成分割合算出方法について図４、図５、図６を用いて説明する。

図４−１は補色フィルタにおけるフィルタの分光特性を、図４−２は原色フィルタにおけるフィルタの分光特性を示す。補色フィルタ、原色フィルタともに波長がおおよそ８２０［ｎｍ］以上になると、補色ならＣｙ、Ｙｅ、Ｍｇ、Ｇの感度、原色ならＲ、Ｇ、Ｂの感度がそれぞれ等しくなる。そのため、図５−１のように赤外光源下（おおよそ８２０［ｎｍ］以上）での被写体の色差信号はＷＢゲイン固定時には定点に集まる。

そこで、赤外光源下で、色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙの比がＲ−Ｙ／Ｙ軸とＢ−Ｙ／Ｙ軸とからなる直交座標系（以降、色座標系）において、原点にくるようにＷＢゲインを固定する。すると、赤外光源下での全ての被写体は色座標系において図５−１のように原点に集まり、可視光源下（４００［ｎｍ］〜６５０［ｎｍ］）では、被写体の色に応じてＲ、Ｙｅ、Ｇ、Ｃｙ、Ｂ、Ｍｇが図５−２のように分布する。可視・赤外混合光源下では、可視光と赤外光の比に応じて、色信号の分布が変化する（図５−２）。つまり、可視成分の割合が大きいときは、色座標系の原点から遠くに分布する点が存在するが、赤外成分の割合が大きくなるにつれ、赤外成分が支配的になり、原点に寄っていく（図５−３）。本実施例においては、ＷＢゲインを赤外光源下で原点にくるように固定したが、それに限ったものではなく、可視光源下での白が原点、太陽光源下など特定のＷＢゲインに固定されていればかまわない。

可視光源と赤外光源の混合比に応じた各色の分布範囲を図５−４に示す。本実施例では、図５−４のように可視成分に応じて、特定の領域内に全ての色が収まってしまう特徴を利用する。
すなわち、撮影画面をブロック分けし、ブロックごとに抽出色から可視成分割合を算出し、算出されたブロックごとの可視成分割合のうち、可視成分割合の多く算出されたブロックを撮影画面の可視成分割合とする。可視成分割合の最も多く算出されたブロックの可視成分割合を撮影画面の可視成分割合とすれば、撮影画面内の特徴点を見逃さずに可視成分割合を算出できる。

また、撮影画面内においてブロックごとで光源の種類が異なっている場合も考えられる。その場合には、以下の方法が有効である。すなわち、所定以上の可視成分割合が算出されたブロックが所定数以上になった場合、所定以上の可視成分割合を撮影画面の可視成分割合とする。可視成分割合の大きい複数のブロックの可視成分割合に基づき撮影画面の可視成分を決定する等の方法である。上記方法を用いれば、ブロックごとで光源の種類が異なっている場合にも撮影画面内の特徴点を見つけ、撮影画面の可視成分割合を算出することができる。

ここで、波長成分割合算出方法の流れを図６のフローチャートを用いて説明する。
まず、図５−３のような可視成分の割合に応じた色差信号Ｒ−Ｙ、Ｂ−Ｙの分布範囲を求める（Ｓ２０１）。可視成分に割合に応じた色信号の分布範囲は、撮像素子のフィルタ特性、ＷＢゲイン、色信号の種類などにより異なるため、各カメラの撮像系に応じてあらかじめデータ化してメモリ３０５に記憶しておく。今回は色信号として色差信号を用いたが、これに限ったものではなく、色差信号変換前の赤色信号Ｒ、青色信号Ｂに基づいてもかまわない。

ブロックごとの色信号からブロックごとに可視成分の割合を算出する（Ｓ２０３）。全てのブロックで可視成分の算出を行い、ブロックごとの可視成分のうち、可視成分の大きな領域のブロックの可視成分を画面全体の可視成分とする（Ｓ２０５）。
本実施例では色信号として色差信号を用いたが、これに限ったものではなく、色差信号変換前の赤色信号Ｒ、青色信号Ｂに基づいてもかまわない。

このときに輝度信号Ｙｉｊが所定以下のブロック、極端に大きいブロックである場合には、ノイズ成分の影響が大きかったり、色差成分がきちんと算出されていなかったりする場合がある。そのため、極端に輝度信号の小さい、もしくは大きいブロックは除外し、輝度成分が所定範囲内にあるブロックのみを用いて判定することにより、より正確に可視成分の演算が行える。また、撮影モードの切り換え動作は低照度下で行われるため、ＡＧＣなどのゲインも多くかかっており、ノイズ成分も多く存在する。そのため、時間的に平均化することにより、ランダムノイズによる影響を軽減することが可能となる。

本実施例の方法によれば、可視成分の割合に応じて各色の分布範囲を分けることにより、従来技術のように可視光源下か赤外光源下かの選択ではなく、可視成分の割合を算出できる。また、最も可視成分の多く算出されたブロックの可視成分を撮影画面の可視成分とすることにより、撮影画面の中から特徴点を抽出しやすいため、可視成分を正確に算出することを可能となる。
［実施例２］
本実施例２は実施例１において異なる波長成分割合算出方法を用いて、波長成分を演算したものである。以下、実施例１と異なる部分についてのみ説明を行う。

定義線を用いて、近赤外光（６５０［ｎｍ］〜８２０［ｎｍ］）の波長成分割合を算出する方法について図７−１、図７−２、図７−３を用いて説明する。

図７−１は単波長成分を照射したときの各波長における色差信号の分布を示している。このとき、ＷＢゲインは固定されている。近赤外光源（６５０［ｎｍ］〜８２０［ｎｍ］）下における被写体の色差信号は定義線Ｌｉｒ上にしか分布しない。可視光と近赤外光（６５０［ｎｍ］〜８２０［ｎｍ］）の混合光源下における被写体は、近赤外光の割合が可視光に比べ、大きくなると、定義線Ｌｉｒに集中していく（図７−２）。そのため、定義線Ｌｉｒからの距離に応じて、近赤外光と可視光の割合を算出することが可能となる。また、近赤外光と可視光の比により色成分の分布範囲が決まってしまう。そのため、撮影画面をブロック分けし、ブロックごとに近赤外成分と可視成分の比を算出し、算出されたブロックごとの可視成分のうち、可視成分の多く算出されたブロックを撮影画面の可視成分とすることが可能となる。

実施例１と同様に、色信号Ｒ−Ｙ、Ｂ−ＹはＷＢゲインよって値が異なるため、波長成分割合演算を行う場合には、ＷＢゲインを固定にするか、ＷＢゲインを考慮して行わねばならない。

ここで、定義線を用いた波長成分割合算出方法の流れを図８のフローチャートを用いて説明する。
まず、図７−３のような可視成分の割合に応じた色差信号Ｒ−Ｙ、Ｂ−Ｙの分布範囲を求める（Ｓ３０１）。可視成分に割合に応じた色信号の分布範囲は、撮像素子のフィルタ特性、ＷＢゲイン、色信号の種類などにより異なるため、各カメラの撮像系に応じてあらかじめデータ化してメモリ３０５に記憶しておく。今回は色信号として色差信号を用いたが、これに限ったものではなく、色差信号変換前の赤色信号Ｒ、青色信号Ｂに基づいてもかまわない。

ブロックごとの色信号からブロックごとに可視成分の割合を算出する（Ｓ３０３）。全てのブロックで可視成分の算出を行い、ブロックごとの可視成分のうち、可視成分の大きな領域のブロックの可視成分を画面全体の可視成分とする（Ｓ３０５）。ここで前述のように、可視成分割合の最も多く算出されたブロックの可視成分割合を撮影画面の可視成分割合とすれば、撮影画面内の特徴点を見逃さずに可視成分割合を算出できる。

また、撮影画面内においてブロックごとで光源の種類が異なっている場合も考えられる。その場合には、以下の方法が有効である。すなわち、所定以上の可視成分割合が算出されたブロックが所定数以上になった場合、所定以上の可視成分割合を撮影画面の可視成分割合とする。可視成分割合の大きい複数のブロックの可視成分割合に基づき撮影画面の可視成分を決定する等の方法である。上記方法を用いれば、ブロックごとで光源の種類が異なっている場合にも撮影画面内の特徴点を見つけ、撮影画面の可視成分割合を算出することができる。

本実施例２では色信号として色差信号を用いたが、これに限ったものではなく、色差信号変換前の赤色信号Ｒ、青色信号Ｂに基づいてもかまわない。

このときに輝度信号Ｙｉｊが所定以下のブロック、極端に大きいブロックである場合には、ノイズ成分の影響が大きかったり、色差成分がきちんと算出されていなかったりする場合がある。そのため、極端に輝度信号の小さい、もしくは大きいブロックは除外し、輝度成分が所定範囲内にあるブロックのみを用いて判定することにより、より正確に可視成分の演算が行える。また、撮影モードの切り換え動作は低照度下で行われるため、ＡＧＣなどのゲインも多くかかっており、ノイズ成分も多く存在する。そのため、時間的に平均化することにより、ランダムノイズによる影響を軽減することが可能となる。

本実施例２の方法によれば、分布が定義線からの距離に基づき、各色の分布範囲を分けることにより、近赤外光源下（６５０［ｎｍ］〜８２０［ｎｍ］）においても、従来技術のように可視光源下か赤外光源下かの選択ではなく、可視成分の割合を算出できる。また、最も可視成分の多く算出されたブロックの可視成分を撮影画面の可視成分とすることにより、撮影画面の中から特徴点を抽出しやすいため、可視成分を正確に算出することを可能となる。
［実施例３］
本実施例３は、実施例１における赤外光成分割合算出方法と実施例２における近赤外光成分割合算出方法との両者を用いて波長成分割合を演算するものである。そのため、実施例１、２と異なる部分についてのみ説明を行う。

実施例１、実施例２の方法を用いれば赤外光と可視光の比、近赤外光と可視光の比をそれぞれ図５−４、図７−３のように算出することができる。白熱灯光源下や太陽光源下のように、波長成分が可視光〜近赤外光〜赤外光のように連続している場合には、実施例１、実施例２の波長成分割合演算方法を併用することにより、可視成分の割合をより正確に算出することが可能となる。

本実施例３の波長成分割合算出方法を図１０のフローチャートを用いて説明する。
まず実施例１の方法で赤外成分割合領域（８２０［ｎｍ］〜）を算出する（Ｓ４０１）。次に、実施例２の方法で近赤外成分割合領域を算出する（Ｓ４０２）。Ｓ４０３にて、可視成分の割合に応じた色差信号Ｒ−Ｙ、Ｂ−Ｙの分布範囲を算出する。

色差信号の分布範囲の算出方法としては、可視成分の割合に応じて、色差信号の収束する範囲を算出する必要がある。そこで、図５−３、図７−４の赤外光、近赤外光による色差信号の分布範囲を算出を重ね合わせ、重なりあっている範囲には可視成分の少ない方の割合を適用する。このようにすると、可視成分の割合による色差信号の存在範囲は図９のようになる。色差信号の存在範囲の算出後、ブロックごとに色差成分の分布から、可視成分の割合を算出し、全てのブロックのうち可視成分の多く算出されたブロックの可視成分を画面全体の可視成分とする（Ｓ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０７）。

なお、本実施例３では色信号として色差信号を用いたが、これに限ったものではなく、色差信号変換前の赤色信号Ｒ、青色信号Ｂに基づいてもかまわない。輝度信号Ｙｉｊが所定以下のブロック、極端に大きいブロックである場合には、ノイズ成分の影響が大きかったり、色差成分がきちんと算出されていなかったりする場合がある。そのため、極端に輝度信号の小さいか、または大きいブロックは除外し、輝度成分が所定範囲内にあるブロックのみを用いて判定することにより、より正確に可視成分の演算が行える。また、撮影モードの切り換え動作は低照度下で行われるため、ＡＧＣなどのゲインも多くかかっており、ノイズ成分も多く存在する。そのため、時間的に平均化することにより、ランダムノイズによる影響を軽減することが可能となる。

本実施例３の方法によれば、近赤外成分（６５０［ｎｍ］〜８２０［ｎｍ］）、赤外成分（８２０［ｎｍ］〜）各々に、可視成分の割合に応じて色信号の分布する範囲を設定する。そして、ブロックごとに算出された可視成分の割合のうち可視成分の大きなものを画面全体の可視成分とすることにより画面全体の可視成分を算出できる。そのため、白熱灯や太陽光のように可視光〜近赤外光〜赤外光ように連続している光源下においても可視光成分を正確に算出し、撮影モード切り換えにおける誤動作を防止することが可能となる。

本発明の一実施例に係る撮像装置の回路構成を示すブロック図である。 画面分割数による色差信号の抽出精度を説明する図である。 本発明の実施例１に係る撮影モード切り換えフローチャートである。 補色カラーフィルタの分光透過特性図である。 原色カラーフィルタの分光透過特性図である。 赤外光源下における色信号の分布の説明図である。 可視光源下における色信号の分布の説明図である。 可視光・赤外光混合光源下における色信号の分布の説明図である。 可視光・赤外光の比に応じた色成分の分布範囲の説明図である。 可視光・赤外光混合光源下における可視成分算出フローチャートである。 近赤外光源下における色信号の分布の説明図である。 可視光・近赤外混合光源下における色信号の分布の説明図である。 可視光・近赤外光の比に応じた色成分の分布範囲の説明図である。 可視光・近赤外光混合光源下における可視成分算出フローチャートである。 可視光・近赤外光・赤外光の比に応じた色成分の分布範囲の説明図である。 可視光・近赤外光・赤外光混合光源下における可視成分算出フローチャートである。

符号の説明

１ 撮像光学系
２ 光路長補正フィルタ
３ 赤外カットフィルタ
４ 撮像素子カラーフィルタ
５ 撮像素子
６ フィルタ駆動モータ
７ ＡＧＣ
８ Ａ／Ｄ変換器
９ フィルタ駆動回路
１００ 画面可視成分割合算出部
２００ 映像信号処理回路
２０１ 色分離マトリクス
２０２ ＷＢ回路
２０３ 色差マトリクス
２０４ 画面ブロック分割部
２０５ 映像信号出力選択部
３００ マイクロコンピュータ
３０１ 可視成分輝度演算部
３０２ 撮影モード判定部
３０３ 色差成分正規化部
３０４ 波長成分割合算出部
３０５ メモリ

Claims (13)

1. 被写体像を撮像素子により撮像信号に変換し、
   該撮像信号から撮影画面中の複数の領域について色信号を生成し抽出し、
   前記抽出された複数の領域の色信号に基づいて、複数の領域毎に波長成分割合を算出し、
   前記算出された波長成分割合に基づいて可視成分割合が相対的に大きい1つ以上の領域を選択し、前記選択された領域の可視成分割合に基づいて所定の演算を行い、前記演算結果をもって、前記撮影画面の可視成分割合と決定する、
   ことを特徴とする可視成分割合算出方法。
2. 前記複数の領域のうち、輝度信号レベルが所定範囲内にある領域についてのみ前記選択を行うことを特徴とする請求項１に記載の可視成分割合算出方法。
3. 前記選択された領域のうち、前記可視成分割合が最大である領域の可視成分割合を前記撮影画面の可視成分割合と決定することを特徴とする請求項１または２に記載の可視成分割合算出方法。
4. 前記選択された領域のうち、前記可視成分割合が所定割合以上となる領域の割合の値を前記撮影画面の可視成分割合と決定することを特徴とする請求項１または２に記載の可視成分割合算出方法。
5. 前記複数の領域毎の波長成分割合及び可視成分割合を算出する際、前記撮像信号のホワイトバランスを調整するための色信号ゲインを固定値に設定することを特徴とする請求項１〜４のいずれか１つに記載の可視成分割合算出方法。
6. 前記複数の領域毎の可視成分割合を、前記色信号を所定時間の間、平均した平均色信号を用いて算出することを特徴とする請求項１〜５のいずれか１つに記載の可視成分割合算出方法。
7. 前記請求項１〜６の方法で可視成分割合を算出する可視成分割合算出手段を有する光学機器。
8. 前記可視成分割合算出手段は、色座標系において、波長成分の割合に応じて、色信号の存在し得る範囲を設定する色座標範囲分割手段を有し、該色座標領域分割手段で設定された色信号の存在し得る範囲と前記各領域の色信号の前記色座標系における位置とに基づいて、前記波長成分割合の算出を行うことを特徴とする請求項７に光学機器。
9. 前記色座標範囲分割手段における色信号の存在し得る範囲は、色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙの比を２軸とする直交座標系における近赤外光の波長対位置座標軌跡または前記直交座標系における可視光の波長対可視成分割合曲線との位置関係に基づき算出されることを特徴とする請求項８に記載の光学機器。
10. ホワイトバランス調整手段を有し、前記領域波長成分割合算出手段は、前記ホワイトバランスを調整するための色信号ゲインを固定値に設定して前記波長成分割合を算出することを特徴とする請求項７〜９のいずれか１つに記載の光学機器。
11. 前記可視成分割合算出手段は、色信号を所定時間の間、平均した平均色信号を用いて前記波長成分割合の算出を行うことを特徴とする請求項７〜１０のいずれか１つに記載の光学機器。
12. 特定波長帯の光を選別透過または遮光する光学フィルタと、
    前記撮像光学系の光路に対し前記光学フィルタを挿抜する挿抜手段と、
    前記挿抜手段を制御し、撮影モードの切り換えを行う撮影モード切り換え手段と
    を有し、
    前記撮影モード切り換え手段は、前記可視成分割合算出手段から出力される可視成分割合と前記被写体の輝度信号とに応じて、前記撮影モードの切り換えを行うことを特徴とする請求項７〜１１のいずれか１つに記載の光学機器。
13. 前記撮影モード切り換え手段は、前記画面可視成分割合算出手段からの可視成分割合に基づいて、被写体の輝度信号と撮影モードの切り換え閾値の少なくとも一方の補正を行うことを特徴とする請求項１２に記載の光学機器。

Images