JP5539079B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置の感度を向上させるための技術に関するものである。

従来、撮像装置の映像信号は、レンズを通過した光を赤外線カットフィルタ（以下、ＩＲＣＦと称す）を介して、撮像素子上で結像させていた。ＩＲＣＦは人の目ではとらえられない赤外光が撮像素子に入ってくることを防ぎ、赤外光により映像が赤味がかってしまうことを防いでいる。そして撮像装置は、赤外光がカットされた光を撮像素子で映像信号に変換し、その映像信号からホワイトバランス（以下、ＷＢと称す）調整を行い、ＲＧＢ（赤、緑、青）成分のバランスとりを行ってカラー画像として出力する。

さらに、撮像素子の感度向上を図るために、撮像素子の前段にあるＩＲＣＦを光路上から抜き出すことでＩＲＣＦによってカットされていた赤外光を撮像素子に取り込み、感度を向上させることが行われていた。しかし、ＩＲＣＦを抜くことにより映像信号のＲＧＢのバランスが崩れ、ＷＢをとることが困難になる。そのため、ＩＲＣＦを抜く際にはカラー画像の出力からモノクロ画像の出力に切り換えられ、モノクロ画像であるが感度の向上した画像を撮影するといった手法が用いられている。このような手法により、画像の輝度をアップさせて低照度の被写体に対しても視認性良く撮影することが可能となる。

従来から感度向上の方法として様々な手法が考えられており、ＩＲＣＦの挿抜に関係なく暗くなった画像を明るくする手法として、次のような技術が知られている。特許文献１では、ＷＢ調整を行う前後の画像の輝度値を覚えておき、その差分をＷＢ調整後の画像に加えることで、ＷＢ調整による輝度落ちを解消する方法が開示されている。

特開２００９−１５９０１７号公報

しかしながら、特許文献１にはＷＢ調整を行うことにより生じる輝度降下を補正することが開示されているだけで、それ以上の感度向上を図ることはできなかった。また、従来のＩＲＣＦ挿抜動作による感度向上の方法では、挿抜動作に伴う光学フィルタの移動時間を要し、感度を向上させるモードに移行する際の応答性が悪かった。さらに、ＩＲＣＦ挿抜時にはＩＲＣＦの保持枠が撮像素子を横切るため、ＩＲＣＦ挿抜時には見難い画像となってしまっていた。

そこで本発明の目的は、従来の感度向上の方法よりもさらに感度を上げ、低照度下でも良好な画像を得ることにある。

また本発明の他の目的は、感度を上げる際にも応答性を良くし、保持枠の横切りをなるべく行わないで見苦しいシーンを減らすことにある。

本発明の撮像装置は、撮像手段と、前記撮像手段より出力される画像データのホワイトバランスの調整を行うホワイトバランス調整手段と、被写体の明るさを判定する判定手段と、所定の波長成分の光を前記撮像手段に対して入射させないためのフィルタを制御するフィルタ制御手段と、前記判定手段により前記被写体が所定の明るさより暗いと判定された場合、前記ホワイトバランス調整手段によって前記画像データの各色のゲインを増幅させる第１のモードと、前記フィルタ制御手段によって前記所定の波長成分の光が前記撮像手段に対して入射するように前記フィルタを制御する第２のモードの両方を実行させる制御手段とを有することを特徴とする。

本発明によれば、従来の感度向上の方法よりもさらに感度を上げることが可能となり、低照度下でも良好な画像を得ることができる。

また本発明によれば、感度を上げる際にも応答性を良くすることが可能となるとともに、保持枠の横切りをなるべく行わないで見苦しいシーンを減らすことができる。

本発明の実施形態に係る撮像装置の構成を示す図である。 撮像素子の感度及びＩＲＣＦの透過率と波長との関係を示す図である。 ＲＧＢの各色ゲイン制御を説明するための図である。 本発明の第１の実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。 本発明の第１の実施形態におけるナイトモードからデイモードに切り換えられる際の処理を説明するための図である。 本発明の第２の実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。 本発明の第３の実施形態に係る撮像装置の設置環境の一例を示す図である。 本発明の第３の実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。 本発明の第３の実施形態に係る撮像装置であるプリセット巡回カメラの処理を示すフローチャートである。 本発明の第４の実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。 本発明の第５の実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。 本発明の第６の実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１において、レンズ群１０１は、被写体から入射した光を撮像素子１０４上に集光する光学系である。撮像装置内に入射した光は、レンズ群１０１を介して光学フィルタ１０２を通過し、撮像素子１０４の受光面の画素毎に所定の順序で配列されたカラーフィルタ１０３を通り、撮像素子１０４で受光される。ここで、光学フィルタ１０２には、ＩＲＣＦ１０２−１とダミーガラス１０２−２とが配置されている。ＩＲＣＦ１０２−１は、赤外光が撮像素子１０４に入るのを防ぐために赤外域の波長成分の光（赤外光）を入射光から落とすものである。これにより、本来人の目ではとらえきれない赤外光が撮像素子１０４に入ることを防ぎ、画像が赤みがからないようにしている。

図２は、撮像素子１０４の感度及びＩＲＣＦ１０２−１の透過率と波長との関係を示す図である。カラーフィルタ１０３を通過した光は、例えば原色のカラーフィルタであった場合、撮像素子１０４には赤緑青（ＲＧＢ）の各光の成分が取り込まれる。各光の成分は図２に示すような感度で取りこまれるが、その際、図２に示すＩＲＣＦ１０２−１の透過率に応じて各光の成分が取り込まれる。各光の成分の中で波長の長い成分を含む赤に対し、ＩＲＣＦ１０２−１は長波長側で透過率が悪くなっている。これは、赤成分に対して感度を落としていることを示している。このように人の目ではとらえきれない赤外領域と呼ばれる波長を切ることで、画像が赤みがかることを防いでいる。

一方、ダミーガラス１０２−２は、ＩＲＣＦ１０２−１が光路上から抜けた場合の光路長の変化を抑える役割がある。低照度時にＩＲＣＦ１０２−１を光路上から抜き、赤外光を撮像素子１０４に取り込むことで感度を向上させるときにＩＲＣＦ１０２−１が抜けたことによる光路長の変化を補正している。撮像素子１０４は、被写体像の画像信号をアナログ信号で出力する。Ａ／Ｄ変換部１０６は、撮像素子１０４から出力されたアナログ信号をデジタル信号に変換する。

画像処理部１０７は、Ａ／Ｄ変換部１０６から出力されたデジタル信号の画像データに所定の処理を施し、画素毎の輝度信号及び色信号を出力する。また画像処理部１０７は、出力用の画像データを生成するとともに、撮像装置を制御するためのパラメータを作成している。このパラメータとしては、絞りの制御やピント合わせの制御等で使用されるものが挙げられる。その他、本実施形態では、ホワイトバランス（以下、ＷＢと称す）調整を行うためのパラメータと、画像データの明るさを判定し、それに応じてＩＲＣＦ１０２−１の挿抜を行うためのパラメータとを使用している。

明るさ判定部１０９は、画像処理部１０７より導き出されたＡＧＣ、シャッタスピード、絞り、輝度、照度、色情報等のパラメータのうちの少なくとも一つを用いて撮影画面内の輝度情報を算出し、画像データの明暗を判定する。明るさ判定部１０９において画像データが暗いと判定されると、フィルタ制御部１１０によって光路上にダミーガラス１０２−２が挿入される。一方、明るさ判定部１０９において画像データが明るいと判定されると、フィルタ制御部１１０によって光路上にＩＲＣＦ１０２−１が挿入される。そして、画像処理部１０７は、ＩＲＣＦ１０２−１が挿入されているか否かに応じて、画像をカラー表示するモードとモノクロ表示するモードとの間で切り換える。これにより、画像処理部１０７によって生成された画像データは、モードに応じた表現で画像出力部１１１から出力される。

以下の説明においては、ＩＲＣＦ１０２−１が光路上に挿入され、色表現が整っているためにカラー表現している状態をデイモードと称す。また、ＩＲＣＦ１０２−１が光路上から抜かれてダミーガラス１０２−２が挿入され、感度は高いが色表現が適正にできないためにモノクロ表現をしている状態をナイトモードと称す。

本実施形態における特徴は、感度の向上を図るためにＩＲＣＦ１０２−１挿抜だけではなく、ＷＢ調整のためのＲＧＢ各色のゲインを、ＷＢを無視してそれぞれを持ち上げるようにしている。これにより、ＩＲＣＦ１０２−１挿抜だけの感度の向上以上の効果を得ることができる。

図３は、ＲＧＢの各色ゲイン制御を説明するための図である。図３（ａ）は、一般的なＷＢ調整を説明するための図である。図３（ａ）の例では、Ｇゲインが固定され、ＲとＢとの２つのゲインが調整されることでＷＢ調整が行われている。従来は、図３（ａ）に示すようにＲＧＢ各色のゲインを調整することによりＷＢ調整が行われていた。これに対し、本実施形態におけるＷＢ調整部（ホワイトバランス調整部）１０８は、ＲＧＢ各色のゲインをＷＢ調整のためにだけに使用するのではなく、感度向上のために使用する。図３（ｂ）は、本実施形態におけるＷＢ調整部１０８の機能を説明するための図である。即ち図３（ｂ）に示すように、ＷＢ調整部１０８は、画像データの明るさに応じて、Ｂゲイン、Ｇゲイン、Ｒゲインの各値を増幅させていくことで輝度をアップさせる。その結果、ＷＢがとれていない画像データとなるが、ナイトモードでモノクロ表現している状態でこの処理を行うことにより、画像の色味がおかしくなることを防いでいる。このように、ＩＲＣＦ１０２−１を光路上から抜くととともに、ＲＧＢ各色のゲインを上げることで、従来よりもさらに感度を向上させることができる。

説明の便宜上、以下では、ナイトモードの区別として、ＩＲＣＦ１０２−１を光路上から抜くことによって感度向上を図るモードをアナログナイトモード（ＡＮ）と称す。また、ＲＧＢ各色のゲインを上げることによって感度の向上を図るモードをデジタルナイトモード（ＤＮ）と称す。なお、上記ＡＮは本発明における第２のモードの適用例となる構成であり、上記ＤＮは本発明における第１のモードの適用例となる構成である。

本実施形態においては、画像データが暗くなってきた場合、感度を上げるためにＤＮとＡＮとの両方を実行する(ＤＮ＋ＡＮ)。また、逆に明るくなってきた場合、ＤＮ＋ＡＮ状態からデイモードに戻す。

図４は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を説明するための図である。図４（ａ）の矢印５０１で示すように、時間とともに画像データが暗くなっていくような環境であった場合、従来の手法では、図４（ａ）の点線５０２で示すように、画像データが所定の暗さ（ＴＨ）になると、ＩＲＣＦ１０２−１を光路上から抜くことで感度向上を図っていた。これに対して本実施形態では、図４（ａ）の実線５０３で示すように、画像データが所定の暗さ（ＴＨ）になると、ＤＮとＡＮとの両方を使用して感度向上を図る（ＤＮ＋ＡＮ）。従って、従来のようにＩＲＣＦ１０２−１を光路上から抜くことのみで感度向上を図る手法に比べ、本実施形態ではＤＮとＡＮとの両方を実行しているため、より感度を向上させることができる。

図４（ｂ）は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を示すフローチャートである。以下、図４（ｂ）を用いて、本実施形態におけるデイモードからナイトモードに切り換える際の処理について説明する。

先ず明るさ判定部１０９は、画像データが所定値よりも暗いか否かを判定する（ステップＳ６０１）。画像データが所定値よりも暗い場合、ＷＢ調整部１０８及びフィルタ制御部１１０は、ＤＮとＡＮとの両方を使用して感度向上を図る（ステップＳ６０２）。

本実施形態では、モードの切り換えが行われて十分な明るさが得られた場合には、適正露光を保つような処理が実行され、輝度が一定となる。ここでは説明の簡略化のためにその過程を図示及び説明していないが、本実施形態の構成として含まれるものである。以降の説明においても、この部分の図示及び説明は省略する。

図５は、本実施形態におけるナイトモードからデイモードへ切り換える際の処理を説明するための図である。図５（ａ）の矢印７０１で示すように、時間とともに画像データが明るくなっていくような環境であった場合、従来の手法では、図５（ａ）の点線７０２で示すように、画像データが所定の明るさ（ＴＨ）になると、ＩＲＣＦ１０２−１を光路上に挿入し、ナイトモードからデイモードに遷移させていた。これに対して本実施形態では、画像データが所定の明るさ（ＴＨ）になると、図５（ａ）の実線７０３で示すように、ＤＮ＋ＡＮ状態をオフし、デイモードに切り換える。これにより、従来と同様の明るさの画像データを出力することができる。なお、本実施形態では、画像データの明るさが所定の明るさ（ＴＨ）に至る途中で画像データが十分明るくなってきた場合、図５（ａ）の７０４に示すように、ナイトモード中にＤＮのゲインを調整しながら適正な露出を保つ処理が実行される。

図５（ｂ）は、本実施形態におけるナイトモードからデイモードに切り換える際の処理を示すフローチャートである。以下、図５（ｂ）を用いて、本実施形態におけるナイトモードからデイモードに切り換える際の処理について説明する。

先ず明るさ判定部１０９は、画像データが所定値よりも明るいか否かを判定する（ステップＳ８０１）。画像データが所定値よりも明るい場合、ＷＢ調整部１０８及びフィルタ制御部１１０は、ＤＮとＡＮとの両方の処理を中止し（ステップＳ８０２）、デイモードに切り換える。

次に、本発明の第２の実施形態について説明する。図６は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を説明するための図である。図６（ａ）の矢印９０１で示すように、時間とともに画像データが暗くなっていくような環境であった場合、従来の手法では、図６（ａ）の点線９０２で示すように、画像データが所定の暗さ（ＴＨ）になると、ＩＲＣＦ１０２−１を光路上から抜くことで感度向上を図っていた。これに対して本実施形態では、図６（ａ）の実線９０３で示すように、画像データが所定値（ＴＨ）より暗くなった場合、段階的に感度向上を行うようにしている。

図６（ｂ）は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を示すフローチャートである。以下、図６（ｂ）を用いて、本実施形態におけるデイモードからナイトモードに切り換える際の処理について説明する。なお、本実施形態に係る撮像装置の構成は、図１に示した第１の実施形態に係る撮像装置の構成と同様である。

先ず撮像装置は、現在のモードを判定する（ステップＳ１００１）。ここでいうモードの判定とは、現在デイモードなのかナイトモードなのかの判定であり、さらにナイトモードと判定された場合、さらにＤＮ、ＡＮ及びＡＮ＋ＤＮのうちのどのナイトモードであるかの判定まで含むものである。

図６（ａ）の矢印９０１で示すように、時間とともに画像データが暗くなっていくような環境において、現在のモードがデイモードである場合、明るさ判定部１０９は、画像データが所定値より暗いか否かを判定する（ステップＳ１００２）。画像データが所定値より暗い場合、ＷＢ制御部１０８はＤＮをオンにし（ステップＳ１００３）、感度向上を図る。このとき、画像処理部１０７は画像をモノクロ表示するモードに切り換える。これにより、ＡＮによって感度向上を図る従来の手法に比べ、ＩＲＣＦ１０２−１挿抜に伴う保持枠の移動による画像の見えにくさを抑えることができるとともに、ＩＲＣＦ１０２−１挿抜に伴うモード切り換え遷移時間の応答性も改善することができる。

撮像装置は、ＤＮをオンにした後、現在のモードを判定する（ステップＳ１００１）。現在のモードはＤＮであるため、処理はステップＳ１００４に移行する。明るさ判定部１０９は、画像データが所定値より暗いか否かを判定する（ステップＳ１００４）。さらに時間が経過して画像データが所定値より暗くなった場合、ＷＢ制御部１０８はＤＮをオフするとともに、フィルタ制御部１１０はＡＮをオンにする（ステップＳ１００５）。これにより、赤外光が撮像素子１０４に取り込まれるので感度向上を図ることができる。このとき、画像処理部１０７は画像をカラー表示するモードに切り換える。

撮像装置は、ＡＮをオンにした後、現在のモードを判定する（ステップＳ１００１）。現在のモードはＡＮであるため、処理はステップＳ１００６に移行する。明るさ判定部１０９は、画像データが所定値より暗いか否かを判定する（ステップＳ１００６）。さらに時間が経過して画像データが所定値より暗くなった場合、ＷＢ調整部１０８はＤＮをオンにする。その結果、モードはＤＮ＋ＡＮに移行する。これにより、ＤＮ＋ＡＮとの両方によって感度アップを図ることができ、例えばＡＮのみで感度アップを図る従来の手法に比べ、低照度性能の高い撮像装置を実現することができる。なお、ステップＳ１００２、Ｓ１００４、Ｓ１００６において、画像データが所定値より暗くないと判定された場合、モードの切り換えは行われず、ステップＳ１００１のモード判定処理に戻る。また、ナイトモードからデイモードへの切り換え処理に関しては、第１の実施形態において説明した処理と同様であるためここでは省略する。

以上のように本実施形態によれば、ＩＲＣＦ１０２−１の挿抜による見苦しさを抑えるとともに、応答性よく感度向上を図ることが可能となる。ＤＮ＋ＡＮとの両方によって感度アップを図ることができ、例えばＡＮのみで感度アップを図る従来の手法に比べ、低照度性能の高い撮像装置を実現することができる。

次に、本発明の第３の実施形態について説明する。図７は、本実施形態に係る撮像装置の設置環境の一例を示す図である。図７は、撮像装置がエリアＡとエリアＢとを交互にプリセット巡回しながら撮影をしている様子を模式的に示したものである。エリアＡは照明がなく時間とともに暗くなるエリアであり、エリアＢは照明がついており、時間に関係なく常に一定の明るさのエリアである。このような環境下において、本実施形態に係る撮像装置であるプリセット巡回カメラがエリアＡ、エリアＢを交互に巡回するため、巡回時間がある程度短い場合、エリアＢからエリアＡ、エリアＡからエリアＢへ移動した際、その状況に相応しい感度切り換え処理が適用しきれない問題がある。感度の切り換えには、一般的に切り換えを行うべきか否かの判定が必要であり、その処理に時間がかかってしまう。そこで、本実施形態ではかかる問題に対応すべく、前回のプリセット位置での明るさを記憶しておき、そのときの明るさに応じた適切な感度切り換えモードを行うものである。

図８は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を説明するための図である。先ずプリセット巡回カメラは、エリアＡ、エリアＢにおいてともにデイモードでカラー画像を出力する。そして図８（ａ）の矢印１２０１に示すようにエリアＡが時間の経過ととともに徐々に暗くなっていき、また、１２０２に示すようにエリアＢが時間の経過に関わらず一定の明るさである場合、エリアＡとエリアＢとの間で明るさに差が出てくる。エリアＡにおいては明るさ毎にＤＮ、ＡＮ、ＤＮ＋ＡＮの３つの領域があり、その各領域に属する明るさとなった場合、感度を向上させるモードを段階的に切り換えるのではなく、予め最適なモードで感度を向上させる。これにより、応答性良く最適な輝度管理が行えるようになる。

図９は、本実施形態に係る撮像装置であるプリセット巡回カメラの処理を示すフローチャートである。以下、図９を用いて、本実施形態に係る撮像装置の処理について説明する。なお、本実施形態に係る撮像装置の構成は、図１に示した第１の実施形態に係る撮像装置の構成と同様である。

先ず、撮像装置がエリアＡに位置し、前回エリアＡに位置したときに設定されていたモードがデイモードであった場合について説明する。撮像装置は、現在のエリアとしてエリアＡを確認する（ステップＳ１３０１）。次に撮像装置は、前回と同じエリアＡでのモードであるデイモードを設定する（ステップＳ１３０２）。次に撮像装置は、現在設定されているモードを確認する（ステップＳ１３０３）。現在設定されているモードはデイモードであるため、処理はステップＳ１３０４に移行する。ステップＳ１３０４において、明るさ判定部１０９は、画像データが所定値（ＴＨ）よりも暗いか否かを判定する。画像データが所定値よりも暗い場合、ＷＢ調整部１０８はＤＮをオンにする（ステップＳ１３０５）。一方、画像データが所定値よりも暗くない場合、モードの切り換えは行われない。次に撮像装置は、現在のエリアＡと現在のモード（デイモード又はＤＮ）とを記憶する（ステップＳ１３０６）。

次に、撮像装置がエリアＡに位置し、前回エリアＡに位置したときに設定されていたモードがＤＮであった場合について説明する。撮像装置は、現在のエリアとしてエリアＡを確認する（ステップＳ１３０１）。次に撮像装置は、前回と同じエリアＡでのモードであるＤＮを設定する（ステップＳ１３０２）。次に撮像装置は、現在設定されているモードを確認する（ステップＳ１３０３）。現在設定されているモードはＤＮであるため、処理はステップＳ１３０７に移行する。ステップＳ１３０７において、明るさ判定部１０９は、画像データが所定値（ＴＨ）よりも暗いか否かを判定する。画像データが所定値よりも暗い場合、ＷＢ調整部１０８はＤＮをオフするとともに、フィルタ制御部１１０は、ＡＮをオンにする（ステップＳ１３０８）。一方、画像データが所定値よりも暗くない場合、モードの切り換えは行われない。次に撮像装置は、現在のエリアＡと現在のモード（ＤＮ又はＡＮ）とを記憶する（ステップＳ１３０６）。

次に、撮像装置がエリアＡに位置し、前回エリアＡに位置したときに設定されていたモードがＡＮであった場合について説明する。撮像装置は、現在のエリアとしてエリアＡを確認する（ステップＳ１３０１）。次に撮像装置は、前回と同じエリアＡでのモードであるＡＮを設定する（ステップＳ１３０３）。次に撮像装置は、現在設定されているモードを確認する（ステップＳ１３０３）。現在設定されているモードはＡＮであるため、処理はステップＳ１３０９に移行する。ステップＳ１３０９において、明るさ判定部１０９は、画像データが所定値（ＴＨ）よりも暗いか否かを判定する。画像データが所定値よりも暗い場合、ＷＢ調整部１０８はＤＮをオンにする（ステップＳ１３１０）。これにより、ＤＮ＋ＡＮのモードに移行する。一方、画像データが所定値よりも暗くない場合、モードの切り換えは行われない。次に撮像装置は、現在のエリアＡと現在のモード（ＡＮ又はＤＮ＋ＡＮ）とを記憶する（ステップＳ１３０６）。

なお、上述した説明では、時間の経過とともに明るさが変化するエリアＡに撮像装置が位置した場合についてのみ説明した。撮像装置が時間の経過に関わらず一定の明るさのエリアＢに位置する場合には、図９のステップＳ１３０４、Ｓ１３０７、Ｓ１３０９の判定において画像データが所定値（ＴＨ）よりも暗くないと判定される。そのため、モードの切り換えは行われず、常に前回エリアＢに位置したときのモードが設定されることになる。

また、周辺が明るくなってくるような図８（ｂ）に示すナイトモードからデイモードに切り換わっていく状況であった場合も、図９で説明した処理を同様に行うことにより、各撮影シーンに適した明るさで撮影することができる。なお、図８（ｂ）において、１４０１はエリアＡが時間の経過とともに明るくなっていくエリアであることを示しており、１４０２はエリアＢが時間の経過に関わらず常に一定の明るさのエリアであることを示している。

以上のように本実施形態においては、図７で示したような明るさに違いがあるエリアＡ、エリアＢを撮影するような場合、撮影位置とそれに対応したモードとを記憶するようにしている。これにより、撮影対象の環境に適した感度向上を図るためのモードを応答性良く反映することができる。

次に、本発明の第４の実施形態について説明する。図１０は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を説明するための図である。図１０（ａ）では、輝度の急激な変化があった場合の処理の一例として、デイモードからＤＮ＋ＡＮへのモード切り換えが行われる処理を示している。

急激な明暗の差が生まれたときに、段階的なモード切り換えでは迅速な対応ができない場合が想定される。そこで、本実施形態においては、所定量以上の大幅な輝度変化があった場合、段階的に感度を向上させるのではなく、始めからＤＮ+ＡＮへのモード切り換えを行うことにより、応答性良く感度を向上させる。

例えば、図１０（ａ）のＴＨ１、ＴＨ２に示すように、予めナイトモードに移行する閾値を複数決めておく。これらの閾値は、通常の段階的なナイトモードの遷移で十分な輝度変化か、始めからＤＮ＋ＡＮモード切り換えで対応できる輝度変化かを判定するための閾値である。ここでは、ＴＨ１は通常の段階的な処理を行う閾値であり、ＴＨ２はＤＮ＋ＡＮを行う閾値であるとする。そして、輝度変化が各閾値のどれかに当てはまったら、対応した感度向上のためのモードに移行させる。図１０（ａ）の矢印１５０１で示すように、時間とともに画像データが暗くなっていくような環境において、図１０（ａ）の１５０２で示すように、画像データが急激にＴＨ２で表される暗さにまでなると、ＤＮ＋ＡＮのモードに一気に移行させて迅速に感度を向上させる。一方、図１０（ａ）の１５０３で示すように、急激な変化ではなく、暗さが緩やかにＴＨ１まで変化していった場合には、段階的にモードを移行させて感度を向上させていく。なお、上記ＴＨ１は、本発明における第２の値の適用例となる構成であり、上記ＴＨ２は、本発明における第１の値の適用例となる構成である。

図１０（ｂ）は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を示すフローチャートである。以下、図１０（ｂ）を用いて、本実施形態におけるデイモードからナイトモードに切り換える際の処理について説明する。なお、本実施形態に係る撮像装置の構成は、図１に示した第１の実施形態に係る撮像装置の構成と同様である。

先ず明るさ判定部１０９は、画像データが閾値ＴＨ２より暗いか否かを判定する（ステップＳ１６０１）。画像データが閾値ＴＨ２より暗い場合、撮像装置は、通常の段階的なモード切り換えでは迅速な対応ができないと判断し、ＷＢ調整部１０８及びフィルタ調整部１１０によりＤＮ＋ＡＮに一気にモードを切り換える（ステップＳ１６０２）。一方、画像データが閾値ＴＨ２より暗くない場合、明るさ判定部１０９は、画像データが閾値ＴＨ１より暗いか否かを判定する（ステップＳ１６０３）。画像データが閾値ＴＨ１より暗い場合、即ち、画像データが閾値ＴＨ２以上の明るさで且つ、閾値ＴＨ１より暗い程度の変化であった場合、撮像装置は通常の段階的なモード切り換えで感度の向上を図る（ステップＳ１６０４）。一方、画像データが閾値ＴＨ１ほどの暗さになっていない場合、撮像装置は、モードを変更することなく現状を維持する。なお、ナイトモードからデイモードへの切り換え処理に関しては、第１の実施形態において説明した処理と同様であるためここでは省略する。

以上のように本実施形態によれば、図１０（ａ）に示したような急激な明るさの変化があった場合でも、撮影対象の環境に適したモードを応答性良く反映することができる。

次に、本発明の第５の実施形態について説明する。図１１は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を説明するための図である。図１１（ａ）の矢印１７０１で示すように、時間とともに画像データが暗くなっていくような環境であった場合、従来の手法では、図１１（ａ）の点線１７０２で示すように、画像データが所定の暗さ（ＴＨ）になると、ＩＲＣＦ１０２−１を光路上から抜くことで感度を向上させていた。これに対して本実施形態においては、画像データの明るさが所定の暗さ（ＴＨ）になると、感度を上げるために先ずＤＮに移り、さらに暗くなった場合にはＤＮとＡＮとを併せて行うようにしている（ＤＮ＋ＡＮ）。また、逆に画像データが明るくなってきた場合には、ＤＮ＋ＡＮ状態からデイモードに戻すようにしている。

以上の処理により、感度の向上に際してＩＲＣＦ１０２−１の保持枠の出入りの頻度を抑えることができるとともに、応答性良く感度を向上させることができる。ＤＮ＋ＡＮとの両方によって感度アップを図ることができ、例えばＡＮのみで感度アップを図る従来の手法に比べ、低照度性能の高い撮像装置を実現することができる。

図１１（ｂ）は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を示すフローチャートである。以下、図１１（ｂ）を用いて、本実施形態におけるデイモードからナイトモードに切り換える際の処理について説明する。なお、本実施形態に係る撮像装置の構成は、図１に示した第１の実施形態に係る撮像装置の構成と同様である。

先ず撮像装置は、現在のモードを判定する（ステップＳ１８０１）。図１１（ａ）の矢印１７０１で示すように、時間とともに画像データが暗くなっていくような環境において、現在のモードがデイモードである場合、明るさ判定部１０９は、画像データが所定値（ＴＨ）より暗いか否かを判定する（ステップＳ１８０２）。画像データが所定値より暗い場合、ＷＢ制御部１０８はＤＮをオンにし（ステップＳ１８０３）、感度を向上させる。

撮像装置は、ＤＮをオンにした後、現在のモードを判定する（ステップＳ１８０１）。現在のモードはＤＮであるため、処理はステップＳ１８０４に移行する。明るさ判定部１０９は、画像データは所定値（ＴＨ）より暗いか否かを判定する（ステップＳ１８０４）。画像データが所定値より暗い場合、フィルタ制御部１１０はＡＮをオンにする（ステップＳ１８０５）。その結果、モードはＤＮ＋ＡＮに移行する。なお、ステップＳ１８０２、Ｓ１８０４において、画像データが所定値より暗くないと判定された場合、モードの切り換えは行われず、ステップＳ１８０１のモード判定処理に戻る。なお、ナイトモードからデイモードへの切り換え処理に関しては、第１の実施形態において説明した処理と同様であるためここでは省略する。

次に、本発明の第６の実施形態について説明する。図１２は、本実施形態におけるデイモードからナイトモードに切り換えられる際の処理を説明するための図である。図１２（ａ）の矢印１９０１に示すように、時間とともに画像データが暗くなっていくような環境であった場合、従来の手法では、図１２（ａ）の点線１９０２で示すように、画像データが所定の暗さ（ＴＨ）になると、ＩＲＣＦ１０２−１から抜くことで感度を向上させていた。これに対して本実施形態においては、画像データの明るさが所定の暗さ（ＴＨ）になると、感度を上げるために先ずＡＮに移り、さらに暗くなった場合にはＤＮとＡＮとを併せて行うようにしている（ＤＮ＋ＡＮ）。また、逆に画像データが明るくなってきた場合には、ＤＮ＋ＡＮ状態からデイモードに戻すようにしている。

以上の処理により、感度の向上に際してＳ／Ｎが悪化するのを極力抑えて感度向上を果たすことができる。また、ＤＮ＋ＡＮとの両方によって感度アップを図ることができ、例えばＡＮのみで感度アップを図る従来の手法に比べ、低照度性能の高い撮像装置を実現することができる。

図１２（ｂ）は、本実施形態におけるデイモードからナイトモードに切り換える際の処理を示すフローチャートである。以下、図１２（ｂ）を用いて、本実施形態におけるデイモードからナイトモードに切り換える際の処理について説明する。なお、本実施形態に係る撮像装置の構成は、図１に示した第１の実施形態に係る撮像装置の構成と同様である。

先ず撮像装置は、現在のモードを判定する（ステップＳ２００１）。図１２（ａ）の矢印１９０１で示すように、時間とともに画像データが暗くなっていくような環境において、現在のモードがデイモードである場合、明るさ判定部１０９は、画像データが所定値（ＴＨ）より暗いか否かを判定する（ステップＳ２００２）。画像データが所定値より暗い場合、フィルタ制御部１１０はＡＮをオンにし（ステップＳ２００３）、感度を向上させる。

撮像装置は、ＡＮをオンにした後、現在のモードを判定する（ステップＳ２００１）。明るさ判定部１０９は、画像データが所定値（ＴＨ）より暗いか否かを判定する（ステップＳ２００４）。画像データが所定値より暗い場合、ＷＢ調整部１０８はＤＮをオンにする（ステップＳ２００５）。その結果、モードはＤＮ＋ＡＮに移行する。なお、ステップＳ２００２、Ｓ２００４において、画像データが所定値より暗くないと判定された場合、モードの切り換えは行われず、ステップＳ２００１のモード判定処理に戻る。なお、ナイトモードからデイモードへの切り換え処理に関しては、第１の実施形態において説明した処理と同様であるためここでは省略する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２−１：ＩＲＣＦ、１０４：撮像素子、１０７：画像処理部、１０８：ＷＢ調整部、１０９：明るさ判定部、１１０：フィルタ制御部

Claims (7)

1. 撮像手段と、
   前記撮像手段より出力される画像データのホワイトバランスの調整を行うホワイトバランス調整手段と、
   被写体の明るさを判定する判定手段と、
   所定の波長成分の光を前記撮像手段に対して入射させないためのフィルタを制御するフィルタ制御手段と、
   前記判定手段により前記被写体が所定の明るさより暗いと判定された場合、前記ホワイトバランス調整手段によって前記画像データの各色のゲインを増幅させる第１のモードと、前記フィルタ制御手段によって前記所定の波長成分の光が前記撮像手段に対して入射するように前記フィルタを制御する第２のモードの両方を実行させる制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記判定手段により前記被写体が前記所定の明るさより暗いと判定されるのに伴って、前記第１のモードと前記第２のモードとを段階的に実行させていくことを特徴とする請求項１に記載の撮像装置。
3. 当該撮像装置の現在の位置を判定する判定手段と、
   前記判定手段により判定された位置において前回前記制御手段により制御されていたモードを設定する設定手段を更に有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記所定の明るさに対応する第１の明るさより前記被写体が暗い場合、前記第１のモードと前記第２のモードの両方を実行させ、前記第１の明るさより前記被写体が明るく、且つ、前記第１の明るさより明るい第２の明るさより前記被写体が暗い場合、前記第１のモードと前記第２のモードとを段階的に実行させることを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記第１のモードと前記第２のモードの両方が実行されており、且つ、前記所定の明るさより前記被写体が明るくなった場合、前記第１のモードと前記第２のモードをともにオフすることを特徴とする請求項１に記載の撮像装置。
6. 撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段より出力される画像データのホワイトバランスの調整を行うホワイトバランス調整ステップと、
   被写体の明るさを判定する判定ステップと、
   所定の波長成分の光を前記撮像手段に対して入射させないためのフィルタを制御するフィルタ制御ステップと、
   前記判定ステップにより前記被写体が所定の明るさより暗いと判定された場合、前記ホワイトバランス調整ステップによって前記画像データの各色のゲインを増幅させる第１のモードと、前記フィルタ制御ステップによって前記所定の波長成分の光が前記撮像手段に対して入射するように前記フィルタを制御する第２のモードの両方を実行させる制御ステップとを含むことを特徴とする撮像装置の制御方法。
7. 撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記撮像手段より出力される画像データのホワイトバランスの調整を行うホワイトバランス調整ステップと、
   被写体の明るさを判定する判定ステップと、
   所定の波長成分の光を前記撮像手段に対して入射させないためのフィルタを制御するフィルタ制御ステップと、
   前記判定ステップにより前記被写体が所定の明るさより暗いと判定された場合、前記ホワイトバランス調整ステップによって前記画像データの各色のゲインを増幅させる第１のモードと、前記フィルタ制御ステップによって前記所定の波長成分の光が前記撮像手段に対して入射するように前記フィルタを制御する第２のモードの両方を実行させる制御ステップとをコンピュータに実行させるためのプログラム。

Images