JP7057221B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、所謂オートデイナイト機能を有する撮像装置に関する。

一般に、人間の色に対する感度特性である色覚特性と明るさに対する感度特性である比視感度特性において、可視域である３８０ｎｍから７８０ｎｍまでの感度を有している。一方、これらの特性においては７００ｎｍより長波長域ではほとんど感度を有していない。そこで、デジタルカメラなどの撮像装置では、色再現性を人間の色覚特性に合わせるため、撮像素子の前に近赤外領域の光を通過させない視感度補正用の赤外カットフィルタが配置されている。

ところが、このような撮像装置において、被写体照度が低下する低照度下では、しばしば赤外カットフィルタを光路から取り除いて近赤外領域の光を通過させて感度を上昇させることが行われている。

但し、近赤外領域の光が通過すると、色バランスが崩れるので、撮像装置においてカラー画像（デイモード）から白黒画像（ナイトモード）に撮影モードを切り換える必要がある。

このような撮影モードの切り換え手法の一つとして、被写体照度に応じてデイモードおよびナイトモードの切り換えを行うオートデイナイトと呼ばれる手法がある。例えば、この手法においては、被写体照度を、撮像素子から出力される撮像信号（輝度信号）およびＥＶ値（シャッタースピード、絞り値、ゲイン）などに基づいて決定している。

ところで、撮像装置に内蔵された赤外照明装置又は撮像装置と別の赤外照明装置を用いて被写体を赤外光で照射して、低照度下においても確実に被写体を撮影ようにした撮像装置がある。この際、デイモードとナイトモードとにおいて輝度が大きく変動するので、短時間にモード切り換えを繰り返す所謂ハンチングが発生する。

一方、ハンチングを防止するため、ナイトモードからデイモードに切り換える閾値を設定すると、被写体照度が上昇してもデイモードに切り替わらず、ナイトモードで撮影を継続してしまう恐れがある。

また、赤外照明によるオートデイナイトの動作を安定させるため、撮像光学系とは別に可視光のみを測光する光センサを設けて、当該光センサの出力に基づいてオートデイナイトを行う手法があるが、この手法を用いると、光センサの分、撮像装置がコストアップしてしまう。

このような問題を回避するため、例えば、撮像信号から得られる輝度信号および色信号に基づいてオートデイナイトを行う撮像装置が知られている（特許文献１）。特許文献１においては、赤色信号／緑色信号の色比と青色信号／緑色信号の色比とを求めて、当該２つの色比が特定範囲に収まるか否かに応じて、赤外光（近赤外光）による撮像が行われているか否かを判定する。

なお、特許文献１においては、撮像素子は８００ｎｍ付近よりも長波長側においては色に拘わらずほぼ感度が同一となり、撮像信号が赤外光による場合には前述の２つの色比が特定範囲に収まるとしている。そして、撮像信号が赤外光によると判定した場合には白黒撮像モードを維持してハンチングを防止している。

特開２００３－２１９２５４号公報

しかしながら、特許文献１に記載の撮像装置では、撮像素子における色の感度が同一ではない６５０～８００ｎｍの光については赤外光と判定しない。このため、例えば、白熱灯又は太陽光などのように６５０～８００ｎｍの光を多く含む光源下においては不可避的にハンチングが発生してしまう。

そこで、本発明の目的は、低コストで確実にハンチングを防止し、かつ最適なタイミングでオートデイナイトの切り換えを行うことができる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、撮像光学系を介して結像した光学像に応じた画像信号を出力する撮像素子と、前記撮像素子に入射する光学像における赤外光をカットする赤外カットフィルタと、を備える撮像装置であって、前記画像信号における被写体輝度と第１の閾値とを比較して第１の比較結果を得るとともに、前記画像信号における可視光レベルと第２の閾値とを比較して第２の比較結果を得て、前記第１の比較結果および前記第２の比較結果に基づいて前記赤外光カットフィルタを前記撮像光学系の光路に対して挿抜するか否かを判定する判定手段と、前記赤外カットフィルタを前記光路から抜去した状態で、前記画像信号に占める赤外光と可視光の度合を示す情報を得る取得手段と、前記情報に基づいて前記第１の閾値および前記第２の閾値を設定する設定手段と、を有することを特徴とする。

本発明によれば、低コストで確実にハンチングを防止し、かつ最適なタイミングでオートデイナイトの切り換えを行うことができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラにおける可視光レベルの取得について説明するための図である。 図１に示すカメラで行われるオートデイナイト処理の一例を説明するためのフローチャートである。 本発明の第２の実施形態によるカメラで行われるオートデイナイト処理の一例を説明するためのフローチャートである。 本発明の第３の実施形態によるカメラの一例についてその構成を示すブロック図である。 図５に示すカメラで行われるオートデイナイト処理におけるメイン処理を説明するためのフローチャートである。 図６に示す赤外用オートデイナイト処理を説明するためのフローチャートである。 図６に示す可視光用オートデイナイト処理を説明するためのフローチャートである。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、全体制御部（ＣＰＵ）１１を有している。全体制御部１１は、不揮発性メモリ（ＲＯＭ）１２に記憶されたプログラムを不揮発性メモリ（ＲＡＭ）１３に展開して実行しカメラ全体を制御する。なお、ＲＡＭ１３は全体制御部１１のワークエリアとしても用いられる。

撮像光学系１を介して入射した光学像（被写体像）は、赤外光カットフィルタ（以下赤外カットフィルタと呼ぶ）２を通過して撮像素子３に結像する。そして、撮像素子３は光学像に応じた画像信号を出力する。当該画像信号は露出制御部４および画像処理部１００に出力される。

露出制御部４は、画像信号に基づいて被写体輝度が適切となるように絞り値、シャッタースピード、およびゲイン値を制御する。被写体輝度取得部５は露出制御部４から被写体輝度を取得する。

画像処理部１００には色分離マトリクス１０１が備えられており、色分離マトリクス１０１は画像信号を赤色信号Ｒ、青色信号Ｂ、および緑色信号Ｇに分離する。そして、ＷＢ回路１０２は赤色信号Ｒ、青色信号Ｂ、および緑色信号Ｇに基づいてＲゲインおよびＢゲインを調整してホワイトバランス（ＷＢ）を調整する。

色差マトリクス１０３は、ＷＢが調整された赤色信号Ｒ、青色信号Ｂ、および緑色信号Ｇを、色差信号Ｒ－ＹおよびＢ－Ｙと輝度信号Ｙに変換する。画像信号出力選択部１０４は、後述するデイナイト切換え判定部７によって決定された撮影モードがデイモードであると、色差信号Ｒ－ＹおよびＢ－Ｙと輝度信号Ｙとに応じてカラーの画像データを出力する。

一方、デイナイト切換え判定部７によって決定された撮影モードがナイトモードであると、画像信号出力選択部１０４は輝度信号Ｙに応じて白黒（モノクロ）の画像データを出力する。

画面ブロック分割部１１０５は、色差信号Ｒ－ＹおよびＢ－Ｙが示す画像を複数ブロックに分割し、ブロック分割された色差信号Ｒ－ＹおよびＢ－Ｙを可視光レベル取得部６に送る。そして、可視光レベル取得部６は、ブロック分割された色差信号Ｒ－ＹおよびＢ－Ｙに基づいて、後述するように可視光レベルを得る。

デイナイト切換え判定部７は、被写体輝度取得部５から送られた被写体輝度と可視光レベル取得部６から送られた可視光レベルとに基づいてデイモードおよびナイトモードのいずれかに切り換える切換え判定を行って判定結果を得る。そして、デイナイト切換え判定部７は当該判定結果を画像信号出力選択部１０４およびフィルタ駆動部８に送る。

前述のように、画像信号出力選択部１０４は判定結果に応じてカラーの画像データ又は白黒の画像データを出力する。また、フィルタ駆動部８は判定結果に基づいて赤外カットフィルタ２を撮像光学系１の光路から挿抜する。

ここで、可視光レベルについて説明する。可視光レベルとは、撮像素子３に入射した光に含まれる可視光の度合い（割合）を示す値である。従って、赤外光が支配的である程、可視光レベルは低くなり、可視光が支配的である程、可視光レベルは高くなる。

図２は、図１に示すカメラにおける可視光レベルの取得について説明するための図である。そして、図２（ａ）はブロック毎の色差信号Ｒ－ＹおよびＢ－Ｙの分布を示す図であり、図２（ｂ）は撮像素子における波長と感度との関係（感度特性）を示す図である。また、図２（ｃ）は可視光照明の照度と可視光レベルとの関係を示す図である。

図２（ａ）においては、波長が８５０ｎｍである赤外照明装置によって被写体を照射しつつ、可視光照明装置の照度を変化させた際のブロック毎の色差信号Ｒ－ＹおよびＢ－Ｙの分布が示されている。

可視光照明装置の照度がゼロ（つまり、赤外照明のみ）の場合には、図中参照番号２Ａで示すように色差信号Ｒ－ＹおよびＢ－Ｙは１：１の比率直線（以下ＩＲ直線という）上に分布する。これは、撮像素子３の感度特性において、波長８００ｎｍ付近よりも長波長側においては色に拘わらずほぼ感度が同一となるためである（図２（ｂ）参照）。

可視光照明装置の照度がゼロの状態から可視光を増加させると、可視光の増加に伴って、図２（ａ）に参照番号２Ｂおよび２Ｃで示すように、色差信号Ｒ－ＹおよびＢ－Ｙは徐々にＩＲ直線から外れるように分布する。つまり、色差信号Ｒ－ＹおよびＢ－Ｙの分布がＩＲ直線に近い程、赤外光が支配的であり、ＩＲ直線から遠い程、可視光が支配的であるといえる。ここでは、ブロック毎の色差信号Ｒ－ＹおよびＢ－ＹについてＩＲ直線との距離を求めて、ブロック毎の距離の総和値（又は平均値）を可視光レベルとする。

いま、ＩＲ直線をｙ＝ｍｘ＋ｎで表すと、当該ＩＲ直線と点（Ｒｙ，Ｂｙ）との距離ｄは次の式（１）によって求めることができる。

前述のように、ＩＲ直線は色差信号Ｒ－ＹおよびＢ－Ｙが１：１の比率となる直線であるので、傾きｍ＝１、切片ｎ＝０となる。但し、これらの値は撮像素子３の感度特性および色差信号の実測値に応じて調整するようにしてもよい。

図２（ｃ）に示すように、可視光照明照度がゼロ（＝赤外照明のみ）の場合には、可視光レベルはゼロ相当になる。そして、可視光が増加するに伴って、可視光レベルが上昇する。

但し、図２（ａ）に示す色差分布において、可視光源が元来有する色差分布以上にＩＲ直線からの距離が大きくなることはない。このため、可視光照明照度が高くなる程、可視光レベルの上昇率は低くなる傾向となる。

図３は、図１に示すカメラで行われるオートデイナイト処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は全体制御部１１の制御下で行われる。

オートデイナイト処理が開始されると、被写体輝度取得部５は画像信号に応じて得られた被写体輝度を被写体輝度Ｙ１として取得する（ステップＳ５０１）。さらに、可視光レベル取得部６は視光レベル（総和又は平均値）を可視光レベルＶＬ１として取得する（ステップＳ５０２）。

続いて、全体制御部１１はモード設定部（図示せず）などで設定された現在の撮影モードがデイモードであるか否かを判定する（ステップＳ５０３）。全体制御部１１によってデイモードであると判定されると（ステップＳ５０３において、ＹＥＳ）、デイナイト切換え判定部７は被写体輝度Ｙ１と所定のＤＮ閾値とを比較して比較結果を得る。そして、デイナイト切換え判定部７は、当該比較結果に応じてＹ１＜ＤＮ閾値であるか否かを判定する（ステップＳ５０４）。

なお、ＤＮ閾値は被写体輝度Ｙ１に応じてデイモードからナイトモードに切り換えを行う際に用いられる閾値である。

Ｙ１≧ＤＮ閾値であると判定すると（ステップＳ５０４において、ＮＯ）、デイナイト切換え判定部７はオートデイナイト処理を終了する。

一方、Ｙ１＜ＤＮ閾値であると判定すると（ステップＳ５０４において、ＹＥＳ）、デイナイト切換え判定部７は暗いと決定する。そして、デイナイト切換え判定部７はナイトモードへの切換えを示す判定結果を画像信号出力選択部１０４およびフィルタ駆動部８に送る。

これによって、画像信号出力選択部１０４およびフィルタ駆動部８はナイトモードへの切換えを行う（ステップＳ５０５）。つまり、赤外カットフィルタ２の光路からの抜去および白黒画像の出力が行われる。

ナイトモードに切換えの後、再度、被写体輝度取得部５は画像信号に応じて得られた被写体輝度を被写体輝度Ｙ２として取得する（ステップＳ５０６）。さらに、可視光レベル取得部６は視光レベルを可視光レベルＶＬ２として取得する（ステップＳ５０７）。

続いて、デイナイト切換え判定部７は被写体輝度Ｙ１およびＹ２と可視光レベルＶＬ２とに基づいて赤外光が多いか否かを判定する（ステップＳ５０８）。つまり、デイナイト切換え判定部７は、赤外カットフィルタ２を撮像光学系１の光路から抜去した状態で、画像信号に応じて赤外光と可視光との比率を示す比率情報を得る取得手段として機能する。

なお、本実施形態としては、赤外光と可視光の正確な比率情報を得るだけでなく、撮像時の環境に占める赤外光の度合と可視光の度合に関する情報を得る構成であってもよい。即ち、本実施形態としては、赤外光と可視光の正確な比率を得る構成に限定されず、赤外光と可視光のいずれかが支配的な環境であるかを判断可能な程度に、撮像環境における赤外光の度合と可視光の度合を得る構成を含むものである。

ここでは、デイナイト切換え判定部７は、第１の条件として、Ｙ２－Ｙ１＞第１の所定値であるか否かを判定する。また、デイナイト切換え判定部７は、第２の条件として、ＶＬ２＜第２の所定値であるか否かを判定する。さらに、デイナイト切換え判定部７は、第３の条件として、Ｙ２＞第３の所定値であるか否かを判定する。

第１の条件において、被写体輝度Ｙ２と被写体輝度Ｙ１との差分が第１の所定値よりも大きい場合には、赤外カットフィルタ２の抜去によって被写体輝度が高くなったことになる。つまり、可視光に対して相対的に赤外光の量が増えたことになる。

第２の条件において、可視光レベルＶＬ２が第２の所定値未満である場合には、可視光に対して相対的に赤外光が多いことになる。前述のように、可視光レベルが低い程、赤外光が支配的となる。

第１の条件および第２の条件が満足された場合に、例えば、被写体輝度Ｙ１がゼロに等しい状態でナイトモードに切り換わると、赤外光量が少ない状態でも赤外光が支配的になってしまい赤外光が多いとされることになる。よって、第３の条件として、被写体輝度Ｙ２が第３の所定値を超えるか否かを判定する。これによって、赤外光量が多いか否かを判定することができる。

なお、第１～第３の条件は一例であり、例えば、赤外照明に関する情報を取得可能な場合には、当該赤外照明情報に基づいて、赤外光が多いか否かを判定するようにしてもよい。例えば、赤外照明装置が点灯しているか又はその点灯強度が指定の閾値以上である場合に赤外光が多いと判定する。

第１～第３の条件が満たされると、デイナイト切換え判定部７は赤外光が多いと判定する。赤外光が多い場合、つまり、赤外光の割合が可視光の割合よりも多い場合（ステップＳ５０８において、ＹＥＳ）、デイナイト切換え判定部７は、被写体輝度と比較する第１のＮＤ閾値（ＤＮ閾値１）を設定する（ステップＳ５０９）。

さらに、デイナイト切換え判定部７は、可視光レベルと比較する第２のＮＤ閾値（ＤＮ閾値２）を設定する（ステップＳ５１０）。これらＮＤ閾値１およびＮＤ閾値２は、ナイトモードからデイモードに切り換える際に用いられる閾値である。

一方、赤外光が少ない場合、つまり、可視光の割合が赤外光の割合以上の場合（ステップＳ５０８において、ＮＯ）、デイナイト切換え判定部７は、ＤＮ閾値１を設定し（ステップＳ５１１）、続いて、ＤＮ閾値２を設定する（ステップＳ５１２）。

ここで、ＮＤ閾値１およびＮＤ閾値２の設定について説明する。まず、ハンチングを確実に防止するためには、被写体輝度Ｙ２又は可視光レベルＶＬ２を基準としてヒステリシスを考慮してＮＤ閾値１およびＮＤ閾値２を設定することが望ましい。つまり、ヒステリシスを考慮してＮＤ閾値１およびＮＤ閾値２を設定すれば、ナイトモードに切換えた直後にデイモードへの切換え判定条件が満たされることを回避することができる。

ここでは、ステップＳ５１１において、ＮＤ閾値１についてヒステリシスを考慮して、例えば、式（２）で示すようにヒステリシス係数αを乗じてＮＤ閾値１を設定する。
ＮＤ閾値１＝Ｙ２×α（１≦α） （２）

また、ステップＳ５１０において、ＮＤ閾値２についてヒステリシスを考慮して、例えば、式（３）で示すようにヒステリシス係数βを乗じてＮＤ閾値２を設定する。
ＮＤ閾値２＝ＶＬ２×β（１≦β） （３）

ところで、基準となる被写体輝度Ｙ２および可視光レベルＶＬ２が高い状態でヒステリシスを設けると、ＮＤ閾値１およびＮＤ閾値２が過度に高くなってデイモードに切り換わらない恐れがある。そこで、被写体輝度Ｙ２が高く、可視光レベルＶＬ２が低い赤外光が多いシーンでは、前述のように、ＮＤ閾値２にのみヒステリシスを設ける。一方、ＮＤ閾値１については被写体輝度Ｙ２以下とする。

なお、図示の例では、ＮＤ閾値１を被写体輝度Ｙ２とする。これによって、可視光が増加することなく、赤外光が減少して可視光レベルＶＬ２が上昇した場合に、デイモードに切り換わることを確実に防止することができる。

また、被写体輝度Ｙ２が低く、可視光レベルＶＬ２が高くなる赤外光が少ないシーンでは、ＮＤ閾値１のみにヒステリシスを設けて、ＮＤ閾値２については可視光レベルＶＬ２以下とする。

なお、図示の例では、ＮＤ閾値２を可視光レベルＶＬ２とする。これによって。赤外光が増加することによって被写体輝度Ｙ２が上昇した場合に、デイモードに切り換わることを確実に防止することができる。

ＮＤ閾値２を設定する際に用いるヒステリシス係数βについては可変とすることが望ましい。図２（ｃ）に示すように、可視光照明照度が高い程、可視光レベルの上昇率は低くなる傾向にある。よって、同一のヒステリシスを設けたとしても、可視光照明照度が高い程、デイモードに切り換わるタイミングが遅くなるので、ヒステリシス係数βを可変とする。

ここでは、可視光レベルが大きい程又は被写体輝度Ｙ２およびＹ１の差分が小さい程ステリシス係数βを小さくする。これによって、無用にナイトモードで撮影する時間を削減することができる。

ステップＳ５１０又はＳ５１２の処理の後、デイナイト切換え判定部７は、ＮＤ閾値１およびＮＤ閾値２に関して下限値処理を行う（ステップＳ５１３）。前述のステップＳ５０９～ステップ５１２において設定したＮＤ閾値１及び２が小さ過ぎると、デイモードに切り変わっても、明るさの増加が不十分で再びナイトモードに切り換わることがある。

そこで、ＮＤ閾値１およびＮＤ閾値２がそれぞれ所定の第１の下限値および第２の下限値未満である場合には、デイナイト切換え判定部７は当該第１の下限値および第２の下限値をＮＤ閾値１およびＮＤ閾値２として設定する。

なお、この場合、第１の下限値はＤＮ閾値以上とされる。ステップＳ５１３の処理の後、デイナイト切換え判定部７はオートデイナイト処理を終了する。

このように、ＮＤ閾値１およびＮＤ閾値を赤外光量の判定に応じて設定することによって、確実にハンチングを防止して、かつ最適なタイミングでオートデイナイトの切換えを行うことができる。

全体制御部１１によってナイトモードであると判定されると（ステップＳ５０３において、ＮＯ）、デイナイト切換え判定部７は被写体輝度Ｙ１とＤＮ閾値１とを比較する。そして、デイナイト切換え判定部７は、Ｙ１＞ＤＮ閾値１であるか否かを判定する（ステップＳ５１４）。

Ｙ１＞ＤＮ閾値１であると判定すると（ステップＳ５１４において、ＹＥＳ）、デイナイト切換え判定部７は明るいと決定する。この場合、デイナイト切換え判定部７は、赤外照明によって被写体輝度が明るい場合においてハンチングが発生する恐れがあるとして、次のステップＳ５１５の処理を行う。

デイナイト切換え判定部７は可視光レベルＶＬ１とＮＤ閾値２とを比較する。そして、デイナイト切換え判定部７は、ＶＬ１＞ＤＮ閾値２であるか否かを判定する（ステップＳ５１５）。ＶＬ１＞ＮＤ閾値２であると判定すると（ステップＳ５１５において、ＹＥＳ）、デイナイト切換え判定部７は可視光が多く含まれると判定する。そして、デイナイト切換え判定部７はデイモードへの切換えを示す判定結果を画像信号出力選択部１０４およびフィルタ駆動部８に送る。

これによって、画像信号出力選択部１０４およびフィルタ駆動部８はデイモードへの切換えを行う（ステップＳ５１６）。つまり、赤外カットフィルタ２の光路への挿入およびカラー画像の出力が行われる。その後、デイナイト切換え判定部７はオートデイナイト処理を終了する。

なお、Ｙ１≦ＤＮ閾値１であると判定すると（ステップＳ５１４において、ＮＯ）、デイナイト切換え判定部７はオートデイナイト処理を終了する。また、ＶＬ１≦ＮＤ閾値２であると判定すると（ステップＳ５１５において、ＮＯ）、デイナイト切換え判定部７はオートデイナイト処理を終了する。

このように、本発明の第１の実施形態では、低コストで確実にハンチングを防止し、かつ最適なタイミングでオートデイナイトの切り換えを行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態におけるカメラの構成は図１に示すカメラと同様である。

図４は、本発明の第２の実施形態によるカメラで行われるオートデイナイト処理の一例を説明するためのフローチャートである。なお、図４において、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ５０８において赤外光が多い場合（ステップＳ５０８において、ＹＥＳ）、デイナイト切換え判定部７は赤外フラグ（赤外情報）をオン（ＯＮ）とする（ステップＳ６０１）。なお、この赤外フラグはステップＳ５０８による判定結果を記憶するためのフラグである。そして、デイナイト切換え判定部７はステップＳ５１０の処理に進む。

一方、赤外光が少ない場合（ステップＳ５０８において、ＮＯ）、デイナイト切換え判定部７は赤外フラグをオフ（ＯＦＦ）とする（ステップＳ６０２）。そして、デイナイト切換え判定部７はステップＳ５１２の処理に進む。

ステップＳ５０３において、全体制御部１１によってナイトモードであると判定されると（ステップＳ５０３において、ＮＯ）、デイナイト切換え判定部７は赤外フラグがＯＮであるか否かを判定する（ステップＳ６０３）。

赤外フラグがＯＮであると（ステップＳ６０３において、ＹＥＳ）、デイナイト切換え判定部７は赤外光量が多いことによって被写体輝度Ｙ１は可視光照明照度に関して相違が生じ信頼性は低くなるとする。このため、デイナイト切換え判定部７は被写体輝度Ｙ１とＮＤ閾値１との比較を行うことなく、可視光レベルＶＬ１とＮＤ閾値２との比較のみを行う。そして、デイナイト切換え判定部７はＶＬ１＞ＮＤ閾値２であるか否かを判定する（ステップＳ６０４）。

ＶＬ１＞ＮＤ閾値２であると（ステップＳ６０４において、ＹＥＳ）、デイナイト切換え判定部７はステップＳ５１６の処理に進む。ＶＬ１≦ＮＤ閾値２であると（ステップＳ６０４において、ＮＯ）、デイナイト切換え判定部７はオートデイナイト処理を終了する。

赤外フラグがＯＦＦであると（ステップＳ６０３において、ＮＯ）、デイナイト切換え判定部７は赤外光量が少ないことによって画像信号に乗算されるゲインが多くなってノイズが発生するとする。そして、デイナイト切換え判定部７はノイズが発生すると色差信号を用いて得られる可視光レベルが安定せず信頼性が低くなるとする。被写体輝度Ｙ１は可視光照明照度に関して相違が生じ信頼性は低くなるとする。

このため、デイナイト切換え判定部７は、可視光レベルＶＬ１とＮＤ閾値２との比較を行うことなく、被写体輝度Ｙ１とＮＤ閾値１との比較のみを行う。そして、デイナイト切換え判定部７はＹ１＞ＮＤ閾値１であるか否かを判定する（ステップＳ６０５）。

Ｙ１＞ＮＤ閾値１であると（ステップＳ６０５において、ＹＥＳ）、デイナイト切換え判定部７はステップＳ５１６の処理に進む。Ｙ１≦ＮＤ閾値１であると（ステップＳ６０４５おいて、ＮＯ）、デイナイト切換え判定部７はオートデイナイト処理を終了する。

このように、本発明の第２の実施形態では、赤外光量の判定結果に応じて、ＮＤ閾値設定処理および比較処理を省略するようにしたので、処理量を削減することができる。さらには、第１の実施形態と同様に、低コストで確実にハンチングを防止し、かつ最適なタイミングでオートデイナイトの切り換えを行うことができる。

［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。

図５は、本発明の第３の実施形態によるカメラの一例についてその構成を示すブロック図である。なお、図５において、図１に示すカメラと同一の構成要素については同一の参照番号を付す。

図示のカメラは、赤外照明装置（以下単に赤外照明と呼ぶ）７０１、赤外照明設定部７０２、および赤外照明制御部７０３を有している。そして、赤外照明制御部７０３は全体制御部１１によって制御される。図示のカメラでは、赤外照明７０１によって被写体に赤外光を照射し、低照度の際においてもナイトモードで明るくて撮影を行うことができる。

ユーザーは赤外照明７０１を用いるか否かを赤外照明設定部７０２によって選択する。赤外照明設定部７０２で設定された赤外照明設定情報はデイナイト切換え判定部７に送られる。そして、デイナイト切換え判定部７は当該赤外照明設定情報に応じて赤外照明制御部７０３によって赤外照明７０１を制御する。

具体的には、赤外照明設定情報が赤外照明７０１を用いることを示していると、デイナイト切換え判定部７はナイトモードに切換えた際には、赤外照明制御部７０３によって赤外照明７０１を点灯する。また、デイナイト切換え判定部７はデイモードに切り替えた際には、赤外照明制御部７０３によって赤外照明７０１を消灯する。

一方、赤外照明設定情報が赤外照明７０１を用いないことを示していると、デイナイト切換え判定部７は、赤外照明制御部７０３によって常時赤外照明７０１を消灯する。

なお、赤外照明７０１はカメラに備えられていなくてもよい。例えば、赤外照明７０１をカメラの近傍に設置して、当該赤外照明７０１の点灯および消灯を制御するようにしてもよい。

図６は、図５に示すカメラで行われるオートデイナイト処理におけるメイン処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は全体制御部１１の制御下で行われる。

メイン処理を開始すると、デイナイト切換え判定部７は、赤外照明設定部７０２で設定された赤外照明設定を取得する（ステップＳ８０１）。そして、デイナイト切換え判定部７は、赤外照明設定が赤外照明７０１を使用する設定であるか否かを判定する（ステップＳ８０２）。

赤外照明７０１を使用する設定であると（ステップＳ８０２において、ＹＥＳ）、デイナイト切換え判定部７は、後述する赤外用オートデイナイト（ＡＮＤ）処理を行う（ステップＳ８０３）。そして、デイナイト切換え判定部７はメイン処理を終了する。

一方、赤外照明７０１を使用しない設定であると（ステップＳ８０２において、ＮＯ）、デイナイト切換え判定部７は、後述する可視光用ＡＮＤ処理を行う（ステップＳ８０３）。そして、デイナイト切換え判定部７はメイン処理を終了する。

図７は、図６に示す赤外用オートデイナイト処理を説明するためのフローチャートである。なお、図７において、図３に示すフローチャートのステップと同一のステップについてはと同一の参照符号を付して説明を省略する。

ステップＳ５０５の処理の後、デイナイト切換え判定部７は赤外照明制御部７０３によって赤外照明７０１を点灯する（ステップＳ９０１）。そして、デイナイト切換え判定部７はステップＳ５０６の処理に進む。

また、ステップＳ５１６の処理の後、デイナイト切換え判定部７は赤外照明制御部７０３によって赤外照明７０１を消灯する（ステップＳ９０２）。そして、デイナイト切換え判定部７は赤外用ＡＮＤ処理を終了する。

なお、図７に示す赤外照明７０１の点灯および消灯制御を図４に示すオートデイナイト処理に加えるようにしてもよい。

図８は、図６に示す可視光用オートデイナイト処理を説明するためのフローチャートである。なお、図８において、図３に示すフローチャートのステップと同一のステップについては同一の参照符号を付す。

図８においては、ステップＳ５０１の処理の後、デイナイト切換え判定部７はステップＳ５０３の処理を行う。また、ステップＳ５０６の処理の後、デイナイト切換え判定部７はステップＳ５１１の処理を行い、続いて、ステップＳ５１３の処理を行う。

さらに、ステップＳ５１４において、Ｙ１＞ＤＮ閾値１であると判定すると（ステップＳ５１４において、ＹＥＳ）、デイナイト切換え判定部７はステップＳ５１６の処理を行う。

このように、本発明の第３の実施形態では、赤外用ＡＮＤ処理においては、可視光レベルを用いた処理を行うことによって赤外照明環境下においてもオートデイナイトを確実に行うことができる。

さらには、可視光用ＡＮＤ処理においては、赤外照明を使用しないので可視光レベルを用いることなく安定してオートデイナイト処理を行うことができる。そして、可視光レベルを算出する際の処理負荷を低減して、可視光レベルに対するノイズの影響を考慮する必要がない。

以上のように、本発明の第３の実施形態においても低コストで確実にハンチングを防止し、かつ最適なタイミングでオートデイナイトの切り換えを行うことができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像光学系
２ 赤外カットフィルタ
３ 撮像素子
４ 露出制御部
５ 被写体輝度取得部
６ 可視光レベル取得部
７ デイナイト切換え判定部
８ フィルタ駆動部
１１ 全体制御部
１００ 画像処理部

Claims (14)

1. 撮像光学系を介して結像した光学像に応じた画像信号を出力する撮像素子と、前記撮像素子に入射する光学像における赤外光をカットする赤外カットフィルタと、を備える撮像装置であって、
   前記画像信号における被写体輝度と第１の閾値とを比較して第１の比較結果を得るとともに、前記画像信号における可視光レベルと第２の閾値とを比較して第２の比較結果を得て、前記第１の比較結果および前記第２の比較結果に基づいて前記赤外光カットフィルタを前記撮像光学系の光路に対して挿抜するか否かを判定する判定手段と、
   前記赤外カットフィルタを前記光路から抜去した状態で、前記画像信号に占める赤外光と可視光の度合を示す情報を得る取得手段と、
   前記情報に基づいて前記第１の閾値および前記第２の閾値を設定する設定手段と、
   を有することを特徴とする撮像装置。
2. 前記設定手段は前記情報において前記可視光の割合が赤外光の割合以上である場合には、前記被写体輝度に第１のヒステリシス係数を乗じて前記第１の閾値を設定し、前記可視光レベルに基づいて前記第２の閾値を設定する第１の設定処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は前記情報において前記赤外光の割合が前記可視光の割合を超える場合には、前記被写体輝度に基づいて前記第１の閾値を設定し、前記可視光レベルに第２のヒステリシス係数を乗じて前記第２の閾値を設定する第２の設定処理を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記判定手段は、前記第１の比較結果において前記被写体輝度が前記第１の閾値を超え、かつ前記可視光レベルが前記第２の閾値を超えている際に、前記赤外光カットフィルタを前記光路に挿入すると判定することを特徴とする請求項３に記載の撮像装置。
5. 前記設定手段は前記情報において前記可視光の割合が赤外光の割合以上である場合には、赤外光が多いことを示す赤外情報をオフとして前記被写体輝度に第１のヒステリシス係数を乗じて前記第１の閾値を設定することを特徴とする請求項１に記載の撮像装置。
6. 前記設定手段は前記情報において前記赤外光の割合が前記可視光の割合を超える場合には、前記赤外情報をオンとして前記可視光レベルに第２のヒステリシス係数を乗じて前記第２の閾値を設定することを特徴とする請求項５に記載の撮像装置。
7. 前記判定手段は、前記赤外情報がオフである場合に、前記第１の比較結果において前記被写体輝度が前記第１の閾値を超えていると、前記赤外光カットフィルタを前記光路に挿入すると判定し、前記赤外情報がオンである場合に、前記第２の比較結果において前記可視光レベルが前記第２の閾値を超えていると、前記赤外光カットフィルタを前記光路に挿入すると判定することを特徴とする請求項６に記載の撮像装置。
8. 撮影の際に被写体を赤外光で照明することが選択された場合、前記設定手段は前記赤外光による照明が行われた状態で前記第１の設定処理および前記第２の設定処理を行うことを特徴とする請求項３に記載の撮像装置。
9. 前記判定手段は、前記第１の比較結果において前記被写体輝度が前記第１の閾値を超え、かつ前記可視光レベルが前記第２の閾値を超えている際に、前記赤外光カットフィルタを前記光路に挿入すると判定し、さらに前記赤外光による照明を消灯すると判定することを特徴とする請求項８に記載の撮像装置。
10. 撮影の際に被写体を赤外光で照明することが選択されない場合、前記被写体輝度に第１のヒステリシス係数を乗じて前記第１の閾値を設定することを特徴とする請求項１に記載の撮像装置。
11. 前記判定手段は、前記第１の比較結果のみを用いて前記第１の比較結果において前記被写体輝度が前記第１の閾値を超えている場合に前記赤外光カットフィルタを前記光路に挿入すると判定することを特徴とする請求項１０に記載の撮像装置。
12. 前記画像信号に所定の画像処理を行って画像データを得る画像処理手段を備え、
    前記画像処理手段は、前記赤外光カットフィルタが前記光路から抜去された際には、前記画像データをモノクロとし、前記赤外光カットフィルタが前記光路に挿入された際には前記画像データをカラーとすることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 撮像光学系を介して結像した光学像に応じた画像信号を出力する撮像素子と、前記撮像素子に入射する光学像における赤外光をカットする赤外カットフィルタと、を備える撮像装置の制御方法であって、
    前記画像信号における被写体輝度と第１の閾値とを比較して第１の比較結果を得るとともに、前記画像信号における可視光レベルと第２の閾値とを比較して第２の比較結果を得て、前記第１の比較結果および前記第２の比較結果に基づいて前記赤外光カットフィルタを前記撮像光学系の光路に対して挿抜するか否かを判定する判定ステップと、
    前記赤外カットフィルタを前記光路から抜去した状態で、前記画像信号に占める赤外光と可視光の度合を示す情報を得る取得ステップと、
    前記情報に基づいて前記第１の閾値および前記第２の閾値を設定する設定ステップと、
    を有することを特徴とする制御方法。
14. 撮像光学系を介して結像した光学像に応じた画像信号を出力する撮像素子と、前記撮像素子に入射する光学像における赤外光をカットする赤外カットフィルタと、を備える撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記画像信号における被写体輝度と第１の閾値とを比較して第１の比較結果を得るとともに、前記画像信号における可視光レベルと第２の閾値とを比較して第２の比較結果を得て、前記第１の比較結果および前記第２の比較結果に基づいて前記赤外光カットフィルタを前記撮像光学系の光路に対して挿抜するか否かを判定する判定ステップと、
    前記赤外カットフィルタを前記光路から抜去した状態で、前記画像信号に占める赤外光と可視光の度合を示す情報を得る取得ステップと、
    前記情報に基づいて前記第１の閾値および前記第２の閾値を設定する設定ステップと、
    を実行させることを特徴とする制御プログラム。

Images