JP7277236B2 - 撮像装置、撮像システム、プログラム、記録媒体、及び制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関するものである。

監視用途などの撮像装置においては、夜間などの低照度時にも鮮明な被写体像を取得することが要求される。低照度時にも鮮明な被写体像を取得できる撮像装置として、可視光に感度を有する撮像素子に加えて、赤外光に感度を有する撮像素子を備え、これら二つの撮像素子で取得した画像を合成して表示する撮像装置が提案されている。

特許文献１では、周囲環境の検出結果に応じて可視画像と遠赤外画像とを合成するための合成パラメータを変更し、変更されたパラメータを用いて可視画像と遠赤外画像とを合成し、合成画像を生成している。

また、監視用途などの撮像装置においては、明部と暗部が混在するシーンでも鮮明な被写体像を取得することも要求される。特許文献２では、蓄積時間の異なる複数フレーム分の画像を取得し、複数フレームの画像を合成することで、画像のダイナミックレンジを拡大する撮像装置が提案されている。

特開２０１３－２４７４９２号公報 特開２０００－１３８８６８号公報

しかしながら、特許文献１では、ダイナミックレンジが狭いため、白とびや黒つぶれが発生しうる。一方、特許文献２では、このような問題に対し対処されているが、赤外光に感度を有する撮像素子を備えないため、低照度時において、被写体像を取得するのが困難である。

可視光に感度を有し、第１の画像信号を出力する第１の撮像素子と、
赤外光に感度を有し、第２の画像信号と、前記第２の画像信号とは異なる露光条件で取得された第３の画像信号を、前記第１の撮像素子の第１のフレームレートよりも高い第２のフレームレートで出力する第２の撮像素子と、
前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号および前記第３の画像信号とを含む合成を行い、第４の画像信号を生成する合成処理手段と、を備え、
前記合成処理手段は、前記第１の画像信号に基づく色差信号と、前記第２の画像信号を及び前記第３の画像信号に基づく輝度信号と、を合成することにより前記第４の画像信号を生成し、
前記第１の画像信号における１フレーム毎の蓄積時間は、前記第２の画像信号の１フレーム毎の蓄積時間、または前記第３の画像信号の１フレーム毎の蓄積時間よりも長いことを特徴とする。

可視光に感度を有し、第１の画像信号を出力する第１の撮像素子と、赤外光に感度を有し、第２の画像信号と、第２の画像信号とは異なる露光条件で取得された第３の画像信号を、第１の撮像素子の第１のフレームレートよりも高い第２のフレームレートで出力する第２の撮像素子と、第１の撮像素子から出力された第１の画像信号と、第２の撮像素子から出力された第２の画像信号および第３の画像信号とを含む合成を行い、第４の画像信号を生成する合成処理手段と、を備えることを特徴とする。

本発明によれば、低照度下で撮影する場合の画質低下を抑制しつつ、画像のダイナミックレンジを拡大することができる。

実施形態１に係る撮像装置の構成を示す概略図である。 波長選択プリズムのスペクトル分布図である。 ダイナミックレンジを拡大する方法の一例を説明する図である。 実施形態１の撮像装置と比較例の駆動タイミングチャートを示す図である。 実施形態１における動作を示すフローチャートである。 実施形態２に係る撮像装置の構成を示す概略図である。 実施形態２の撮像装置の駆動タイミングチャートの例を示す図である。 実施形態２の撮像装置の駆動タイミングチャートの他例を示す図である。 駆動モードを変更する基準の一例を示す図である。 モード設定処理の一例を示すフローチャートである。 撮像装置を用いた監視システムの構成図である。

以下、図面を用いて、本発明の実施形態における撮像装置について説明する。そのとき、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

＜実施形態１＞
本実施形態における撮像装置を図１に示す。図１は、実施形態１に係る撮像装置１００の構成を示す概略図である。撮像装置１００は、結像光学系１０１、光分離部１０２、第１の撮像素子１０３、第２の撮像素子１０４、合成処理部１０５、制御部１０６を有する。

光分離部１０２は、結像光学系１０１を通って入射した光を、第１の撮像素子１０３と第２の撮像素子１０４に分離している。具体的には、光分離部１０２は波長選択プリズムから構成されており、特定の閾値の波長よりも短い波長の光（可視光）は波長選択プリズムを透過し、特定の閾値の波長よりも長い波長の光（赤外光）は波長選択プリズムで反射されるように構成されている。なお、ここで透過する／反射するとは８０％以上の光が透過する／反射することを意味する。

即ち、可視光は第１の撮像素子１０３に入射し、赤外光は第２の撮像素子１０４に入射するように構成されている。ここで、特定の閾値は６００ｎｍ以上７５０ｎｍ以下である。即ち、可視光と赤外光の境目は６００ｎｍ以上７５０ｎｍ以下と定義する。また、赤外光とは特定の閾値から２５００ｎｍまでの波長の光を意味する。図２は、波長選択プリズムの分光透過スペクトルと分光反射スペクトルの例を示す図である。実線が透過、点線が反射である。

第１の撮像素子１０３は少なくとも可視光に感度を有し、第２の撮像素子１０４は少なくとも赤外光に感度を有している。例えば、光電変換部の材料としてＳｉを使用すれば、波長３８０ｎｍ以上波長１１００ｎｍ以下の光に感度を有する撮像素子が実現できる。従って、第１の撮像素子１０３、第２の撮像素子１０４ともに、光電変換部をＳｉで形成すればよい。なお、第１の撮像素子１０３、第２の撮像素子１０４としては、例えばＣＣＤやＣＭＯＳタイプの撮像素子などを用いることができる。

第１の撮像素子１０３中の画素は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えており、第１の撮像素子１０３から出力されるＲＧＢ形式の画像信号には輝度情報と色情報の両方が含まれている。一方、第２の撮像素子１０４から出力される画像信号には、輝度情報のみが含まれている。なお、第１の撮像素子１０３は可視光をメインとした感度分布を持っていればよく、可視光以外の感度分布を持っていてもよい。また、第２の撮像素子１０４は赤外光をメインとした感度分布を持っていればよく、赤外光以外の光に対しても感度分布を持っていてもよい。

第１の撮像素子１０３、第２の撮像素子１０４の駆動および画像信号の読み出しは、制御部１０６が制御している。即ち、制御部１０６は、第１の撮像素子１０３および第２の撮像素子１０４における、フレームレートの設定や、蓄積時間の設定等も行う。制御部１０６にはＣＰＵなどのコンピュータや、メモリが含まれている。なお、メモリには、ＣＰＵによって後述のフローチャートの動作を実行させるためのコンピュータプログラムが記憶されている。また、制御部１０６にはＣＰＵからの指示に基づき各種回路の動作を制御するための駆動回路も内蔵されている。

合成処理部１０５は、第１の撮像素子１０３から出力される第１の画像信号１０７と、第２の撮像素子１０４から出力される第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂと、を合成して、第４の画像信号１０９を生成する。なお、以下、第２の撮像素子１０４から出力される露光条件の異なる複数の画像信号を総称して画像信号１０８とする。第２の撮像素子１０４から出力される第２の画像信号１０８Ａと第３の画像信号１０８Ｂとは、異なる露光条件で取得された画像信号である。ここでは、一例として、第２の画像信号１０８Ａの蓄積時間を、第３の画像信号１０８Ｂの蓄積時間よりも長くしている。

合成処理とは、例えば以下のような処理である。まず、ＲＧＢ形式で読み出された、異なるフレームにおいて取得された第２の画像信号１０８Ａ、第３の画像信号１０８Ｂを現像してＹＵＶ形式に変換する。（実際には、第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂは色情報を有さず、ＵとＶの値はゼロである。）図３は、ダイナミックレンジを拡大する方法の一例を説明する図である。その後、暗部については第３の画像信号１０８Ｂ、明部については第２の画像信号１０８Ａを用いて、ダイナミックレンジの広いＹ信号を生成する。このときのダイナミックレンジの広いＹ信号をＹ_２とする。同様に、ＲＧＢ形式で読み出された第１の画像信号１０７をデモザイク処理し、現像してＹＵＶ形式の画像信号に変換する。このときの第１の画像信号１０７から得られたＹＵＶ信号を各々、Ｙ_１、Ｕ_１、Ｖ_１とする。

次に、Ｙ_１信号とＹ_２信号を合成して、第４の画像信号１０９を生成する。具体的には、第４の画像信号１０９のＹＵＶ信号を各々、Ｙ_３、Ｕ_３、Ｖ_３とした時、以下のような式を用いて第４の画像信号１０９を生成する。
Ｙ_３＝Ｙ_２ （式１）
Ｕ_３＝Ｕ_１ （式２）
Ｖ_３＝Ｖ_１ （式３）

即ち、第４の画像信号１０９は、第１の画像信号１０７の内の色信号（Ｕ_１、Ｖ_１）と、第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂの内の輝度信号（Ｙ_２）を合成することによって生成されている。

図４は、実施形態１の撮像装置１００の第１の撮像素子１０３、第２の撮像素子１０４の駆動タイミングチャートと、比較例の駆動タイミングチャートを示す図である。図４（Ａ）は比較例１、図４（Ｂ）は比較例２、図４（Ｃ）は比較例３を示している。比較例１は、可視用画像、赤外用画像のいずれにおいてもダイナミックレンジの拡大を行わない場合の例である。比較例２および比較例３は、ダイナミックレンジの拡大を行う場合の例である。比較例２と比較例３の違いは、比較例１に対してフレームレートを合わせた場合が比較例２、比較例１に対して可視用の撮像素子の最大蓄積時間を合わせた場合が比較例３である。図４（Ｄ）は、本実施形態の撮像装置１００のタイミングチャートである。

図４（Ａ）と図４（Ｂ）とを比較してわかるように、比較例１に対してフレームレートを低下させずに画像のダイナミックレンジを拡大すると、可視用の撮像素子の最大蓄積時間が短くなってしまう。

画像信号のＳＮ比は、画素に入射する光量が少ないほど低下するため、可視用の撮像素子の最大蓄積時間が短くなってしまうと、低照度時の第１の画像信号（Ｙ_１、Ｕ_１、Ｖ_１）のＳＮ比が低下してしまう。その結果、（式１）～（式３）よりわかるように、合成後の第４の画像の色差信号（Ｕ_３、Ｖ_３）のＳＮ比が低下してしまう。即ち、低照度下の画質が低下してしまう。

図４（Ａ）と図４（Ｃ）とを比較してわかるように、比較例１に対して最大蓄積時間を短くすることなく、画像のダイナミックレンジを拡大すると、フレームレートが低下してしまう。その結果、動きの速い被写体を撮影したときの画質が低下してしまう。

このように、比較例１に対し、ダイナミックレンジ拡大の技術を組み合わせた場合、低照度下かつ、動きの速い被写体を撮影した場合に画質が低下してしまう。

それに対し、本実施形態の撮像装置１００は、第１の撮像素子１０３においては最大蓄積時間を保ったまま、第２の撮像素子１０４において複数フレームによるダイナミックレンジ拡大を行っている。これにより、低照度下かつ、動きの速い被写体を撮影する場合の画質低下を抑制しつつ、画像のダイナミックレンジを拡大することができる。以下で、詳細な説明を行う。

本実施形態に係る撮像装置１００の駆動について説明する。図４（Ｄ）は、本実施形態の撮像装置１００の駆動タイミングチャートである。図４（Ｄ）よりわかるように、本実施形態の撮像装置１００では、第１の撮像素子１０３と第２の撮像素子１０４で異なる駆動モードを使用している。

可視用の第１の撮像素子１０３は、比較例１と同じフレームレート、同じ最大蓄積時間で駆動している。前述したように、合成後の第４の画像信号１０９の色差信号（Ｕ_３、Ｖ_３）のＳＮ比は、第１の撮像素子１０３の最大蓄積時間で決定される。従って、図４（Ｄ）に示す本実施形態の撮像装置１００は、図４（Ａ）に示す、比較例１に対して、色差信号のＳＮ比の低下が発生していない。また、図４（Ｄ）に示す本実施形態の撮像装置１００は、図４（Ａ）に示す、比較例１の撮像装置と同じフレームレートで、色差信号（Ｕ_３、Ｖ_３）を取得することができている。

一方、赤外用の第２の撮像素子１０４は、図４（Ａ）の１フレーム分を２フレームに分割して、各々のフレームで蓄積時間の異なる第２の画像信号１０８Ａ、第３の画像信号１０８Ｂを取得するように駆動している。そして、これらを合成することで、図４（Ａ）の１フレーム毎に、ダイナミックレンジの広いＹ信号（Ｙ_２）を生成している。（式１）よりわかるように、合成後の第４の画像信号１０９の輝度信号（Ｙ_３）は、Ｙ_２と一致しているため、図４（Ａ）の１フレーム毎に、ダイナミックレンジの広い輝度信号（Ｙ_３）を取得することができる。

以上より、図４（Ｄ）に示す本実施形態の撮像装置１００は、図４（Ａ）に示す、比較例１の撮像装置と同じフレームレートで、ダイナミックレンジの広い輝度信号（Ｙ_３）および、色差信号（Ｕ_３、Ｖ_３）を取得することができる。即ち、図４（Ｄ）に示す本実施形態の撮像装置１００は、図４（Ａ）に示す、比較例１の撮像装置に対して、フレームレートの低下を抑制することができている。

図５は、実施形態１における動作を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、制御部１０６によって実行されうる。まず、Ｓ５０１において、制御部１０６は、第１の撮像素子１０３から画像信号を取得するときのフレームレート（第１のフレームレート）および第２の撮像素子１０４から画像信号を取得するときのフレームレート（第２のフレームレート）を設定する。第２のフレームレートは、第１のフレームレートより高くなるように設定される。ここでは、前述したように、第１のフレームレートの１フレームに対して、２フレーム、すなわち、第２のフレームレートは第１フレームレートに対して２倍となるように設定される。

次に、Ｓ５０２において、制御部１０６は、第１の画像信号１０７、第２の画像信号１０８Ａ、および第３の画像信号１０８Ｂのそれぞれに対し露光条件を設定する。ここでは、それぞれ異なる蓄積時間を設定する。上述したように、可視用の撮像素子の最大蓄積時間が短くなってしまうと合成後の第４の画像の色差信号（Ｕ_３、Ｖ_３）のＳＮ比が低下してしまうため、ここでは、第１の画像信号１０７の最大蓄積時間は長く設定する。第２の画像信号１０８Ａ、および第３の画像信号１０８Ｂについては、第２の画像信号１０８Ａの蓄積時間を、第３の画像信号１０８Ｂの蓄積時間よりも長く設定する。

なお、色差信号のＳＮ比の低下を発生させないためには、第１の撮像素子１０３の最大蓄積時間を、図４（Ａ）に示す比較例１の撮像装置の１フレーム分とすることが好ましい。しかしながら、色差信号のＳＮ比の低下を抑制するためには、第１の撮像素子１０３の最大蓄積時間が比較例１の撮像装置の１フレーム分よりも短くても良い。具体的には、図４（Ｂ）と図４（Ｄ）を比較してわかるように、図４（Ｂ）に示す撮像装置と比較して、色差信号のＳＮ比を向上させるためには、第２のフレームレートの逆数よりも、第１の撮像素子１０３の最大蓄積時間の方が長くなっていればよい。

図５に戻り、その後、Ｓ５０３において、第１の撮像素子１０３から第１の画像信号１０７を出力する。また、それと並行して、Ｓ５０４において、第２の撮像素子１０４からそれぞれ蓄積時間の異なる第２の画像信号１０８Ａと第３の画像信号１０８Ｂとを出力する。

Ｓ５０５において、合成処理部１０５は、第１の撮像素子１０３から出力された第１の画像信号１０７と、第２の撮像素子１０４から出力された第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂとを合成する。これにより、ダイナミックレンジの広い第４の画像信号１０９が生成される。

このように、本実施形態の撮像装置１００は、低照度下かつ、動きの速い被写体を撮影する場合の画質低下を抑制しつつ、画像のダイナミックレンジを拡大することが可能となる。

なお、第２の撮像素子１０４において、本実施形態では、蓄積時間が互いに異なる２フレーム（２種類）の画像信号を用いたが、蓄積時間が互いに異なる、３フレーム（３種類）以上の画像信号を用いてもよい。合成に用いる画像信号の種類が多いほど、ダイナミックレンジを拡大できるため、好ましい。第２の撮像素子１０４から出力される画像信号のうち、整数（Ｎ）フレーム分の画像信号を１つの合成画像に用いる場合、第２の撮像素子１０４のフレームレートを、第１の撮像素子１０３のフレームレートの整数（Ｎ）倍とする。そして、第２の撮像素子１０４において、整数（Ｎ）種類の蓄積時間を使用する。そして、整数（Ｎ）種類の画像信号を第２の撮像素子１０４から取得すればよい。言い換えると、第２の撮像素子１０４は、第１の撮像素子１０３の１フレーム間で、第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂを含む複数の画像信号を取得する。

＜実施形態２＞
実施形態２の撮像装置２００は、実施形態１に示す撮像装置１００に対し、赤外光を照射する赤外照明部２１０を有している点が異なる。図６は、実施形態２に係る撮像装置２００の構成を示す概略図である。撮像装置２００は、結像光学系１０１、光分離部１０２、第１の撮像素子１０３、第２の撮像素子１０４、合成処理部１０５、制御部１０６、そして赤外照明部２１０を有している。赤外照明部２１０は赤外光を照射する光源であり、例えばＡｌＧａＡｓなどの化合物半導体から構成されるＬＥＤである。赤外照明部２１０を用いて赤外光を照射することで、低照度の環境下における画質を向上することができる。

また、実施形態１の撮像装置１００では、第２の撮像素子１０４の複数フレーム間で露光条件を異ならせる方法として、蓄積時間の長短を制御していたが、撮像装置２００では異なる方法で露光条件を異ならせる。撮像装置２００では、第２の撮像素子１０４の複数フレーム間で赤外照明部２１０の出力の大小を制御して、露光条件を異ならせる。

図７は、実施形態２の撮像装置２００の第１の撮像素子１０３、第２の撮像素子１０４、赤外照明部２１０の駆動タイミングチャートの一例を示す図である。図７（Ａ）では、赤外照明部２１０の出力を、第２の撮像素子１０４における複数フレーム間で変更している。つまり、第２の画像信号１０８Ａの蓄積時間中の赤外照明部２１０の出力と、第３の画像信号１０８Ｂの蓄積時間中の赤外照明部２１０の出力と、を異ならせている。ここでは、一例として、第２の画像信号１０８Ａの蓄積時間中の赤外照明部２１０の出力を、第３の画像信号１０８Ｂの蓄積時間中の赤外照明部２１０の出力よりも小さくしている。そして、明部においては、第２の撮像素子１０４が、赤外照明部２１０の出力が相対的に小さいフレームで取得した第２の画像信号１０８Ａを使用する。暗部においては、赤外照明部２１０の出力が相対的に大きいフレームで取得した第３の画像信号１０８Ｂを使用する。

このようにしてダイナミックレンジの広い第２の撮像素子１０４から出力された画像信号（第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂ）を取得する。そして、第２の画像信号１０８Ａおよび第３の画像信号１０８Ｂと、第１の撮像素子１０３で取得した第１の画像信号１０７を合成することで、ダイナミックレンジの広い第４の画像信号１０９を生成することができる。

なお、赤外照明部２１０の出力をＯＦＦにした場合は、出力を０に変更したと解釈できるため、赤外照明部２１０の出力のＯＮＯＦＦを制御することで、複数フレーム間での露光条件を異ならせても良い。

また、図７（Ａ）では、各フレームの開始と終了が、赤外照明部２１０の出力の大小を変化させるタイミングと重なっていたが、ずれていても良いし、第２の撮像素子１０４における各フレーム内で赤外照明部２１０の出力を変化させても良い。但し、フラッシュバンドの発生を抑制するために、第２の撮像素子１０４の蓄積時間中は、赤外照明部２１０の出力が一定であるほうが好ましい。ここで、出力が一定であるとは、出力の変動が元々の出力に対して、ＲＭＳで５０％以下であることを意味する。

具体的な駆動タイミングチャートを図７（Ｂ）に示した。図７（Ｂ）では、赤外照明部２１０の出力の変化させるタイミングを蓄積時間の開始と終了と合わせている。赤外照明部２１０の出力は、蓄積時間中に一定であるほうが好ましい。このため、第２の撮像素子１０４における、フレームの蓄積時間の終了時から、次のフレームの蓄積時間の開始時までの間の期間ｔ１～ｔ３において、赤外照明部２１０の出力が変化されるのが好ましい。具体的には、まず、第２の撮像素子１０４における、ｆｌａｍｅ１の蓄積時間（第２の画像信号１０８Ａの蓄積時間）の終了時から、次のｆｌａｍｅ２の蓄積時間（第３の画像信号１０８Ｂの蓄積時間）の開始時までの間の期間ｔ１において赤外照明部２１０の出力を変更する。次に、ｆｌａｍｅ２の蓄積時間（第３の画像信号１０８Ｂの蓄積時間）の終了時から、次のｆｌａｍｅ３の蓄積時間（第２の画像信号１０８Ａの蓄積時間）の開始時までの間の期間ｔ２において赤外照明部２１０の出力を変更する。そして、再びｆｌａｍｅ３の蓄積時間（第２の画像信号１０８Ａの蓄積時間）の終了時から、次のｆｌａｍｅ４の蓄積時間（第３の画像信号１０８Ｂの蓄積時間）の開始時までの間の期間ｔ３において赤外照明部２１０の出力を変更する。

赤外照明部２１０の出力によって露光条件を異ならせる場合、赤外照明部２１０の出力が相対的に大きくなっているときは第１の撮像素子１０３への電荷を蓄積せず、相対的に小さくなっているときにのみ、第１の撮像素子１０３への電荷を蓄積した方が好ましい。以下で理由を説明する。

図２よりわかるように、光分離部１０２を通った赤外光の大部分は反射されるものの、一部は透過してしまう。光分離部１０２を透過した赤外光は、第１の撮像素子１０３の各画素に入射する。即ち、赤外照明部２１０の出力が大きい状態で、第１の撮像素子１０３への電荷蓄積を行っていた場合、赤外照明部２１０の射出光の一部が、第１の撮像素子１０３の各画素に混入してしまう可能性がある。

ここで、第１の撮像素子１０３の各色の画素に対し、可視光に対する感度に関する要請はあるものの、赤外光に対する感度に関する要請は無い。そのため、一般的には、可視光取得用の固体撮像素子の感度は、赤外光の波長帯域において、赤画素、緑画素、青画素が同程度になっている。そのため、赤外照明部の射出光の一部が第１の撮像素子１０３中の各画素に混入した場合、相対的に緑画素の出力が小さく、赤画素や青画素の出力が高くなり、第１の画像信号１０７においてマゼンタの色味が強くなってしまう。（式１）～（式３）で示したように、第４の画像信号１０９の色差信号（Ｕ_３、Ｖ_３）は、第１の画像信号１０７の色差信号（Ｕ_１、Ｖ_１）と一致しているため、結果的に第４の画像信号１０９おいてマゼンタの色味が強くなってしまう。

以上のように、赤外照明部２１０の出力が大きい状態で、第１の撮像素子１０３への電荷蓄積を行う場合、生成される第４の画像信号１０９のマゼンタの色味が強くなってしまう。そのため、赤外照明部２１０の出力が相対的に小さいときにのみ、第１の撮像素子１０３に電荷を蓄積した方が好ましい。

具体的な駆動タイミングチャートをについて説明する。図８は、撮像装置２００の第１の撮像素子１０３、第２の撮像素子１０４、赤外照明部２１０の駆動タイミングチャートの他例を示す図である。図８（Ａ）では、赤外照明部２１０の出力が相対的に小さくなっているときは第１の撮像素子１０３への電荷蓄積を行っている。ここで、赤外照明部２１０の出力が相対的に小さくなっているときは、図８（Ａ）の第２の撮像素子１０４におけるｆｒａｍｅ１および３に対応するタイミングとなっている。一方、赤外照明部２１０の出力が相対的に大きくなっているときは第１の撮像素子１０３中の全ての画素をリセットし続けることで、電荷蓄積を行わないようにしている。ここで、赤外照明部２１０の出力が相対的に大きくなっているときは、図８（Ａ）の第２の撮像素子１０４におけるｆｒａｍｅ２および４と対応するタイミングとなっている。

なお、第２の撮像素子１０４において、赤外照明部２１０の出力が互いに異なる３フレーム（３種類）以上の画像信号を用いる場合は、例えば、赤外照明部２１０の出力に対する閾値を設けても良い。赤外照明部２１０の出力が、閾値未満となっているときにのみ第１の撮像素子１０３への電荷蓄積を行っても良い。

また、図８（Ａ）では、赤外照明部２１０の出力が相対的に小さくなっているときにおける、第１の撮像素子１０３の蓄積時間と、第２の撮像素子１０４の蓄積時間が等しい場合を示した。しかし、このときに第１の撮像素子１０３と、第２の撮像素子１０４で蓄積時間が異なっていても良い。

図８（Ｂ）に一例を示す。図８（Ｂ）では、赤外照明部２１０の出力が相対的に小さくなっているとき（第２の撮像素子１０４におけるｆｒａｍｅ１および３に対応するタイミング）において、第２の撮像素子１０４の蓄積時間が、第１の撮像素子１０３の蓄積時間よりも短くなっている。このように、同じフレームで異なる蓄積時間の画像を取得し、それらを比較することで、被写体の動き情報を取得することができる。

図８のように、赤外照明部２１０の出力が相対的に小さくなっているときのみ、第１の撮像素子１０３に電荷を蓄積することで、第４の画像信号１０９のマゼンタの色味が強くなることを抑制できる。一方、図７のように、赤外照明部２１０の出力が大きくなっているとき、小さくなっているとき、共に電荷を蓄積した場合には、第１の撮像素子１０３の電荷蓄積時間が長いため、色差信号のＳＮ比が向上する。従って、赤外照明部２１０を使用した場合、カラーバランスの維持と色差信号のＳＮ比のどちらを重視するかに応じて、図７の駆動モードを選択するか、図８の駆動モードを選択するかを変更しても良い。

図９は、駆動モードを変更する基準の一例を示す図である。図９では、制御部１０６が被写体の照度に応じて、駆動モードを切り替えている。なお、被写体の照度は、第１の画像信号１０７の輝度値（Ｙ_１）と、第１の撮像素子の露光条件（所謂ＥＶ値）から求めることができる。

まず、照度が第１の閾値１１１以上の場合には、第１の画像の輝度信号（Ｙ_１）のＳＮ比が十分に高い。従って、第１の撮像素子１０３のみを、図４（Ｂ）の駆動モードで駆動し、露光条件の異なる複数フレームにおける第１の画像信号を合成して、ダイナミックレンジの広い画像を生成すればよい。これが、図９のモードＡに相当する。モードＡでは、第２の撮像素子１０４を駆動する必要が無い。また、第１の撮像素子１０３から出力された画像信号（第１の画像信号１０７）と第２の撮像素子１０４から出力された画像信号（第２の画像信号１０８Ａまたは第３の画像信号１０８Ｂ）を合成する必要もない。すなわち、モードＡでは、第１の撮像素子１０３のみを駆動し、互いに露光条件の異なる複数種類の第１の画像信号を合成することで、ダイナミックレンジの拡大を行う。

照度が第１の閾値１１１未満まで低下し、第１の撮像素子１０３から出力される輝度信号（Ｙ_１）のＳＮ比が不十分になった場合について説明する。この場合、第２の撮像素子１０４から出力される輝度信号（Ｙ_２）と、第１の撮像素子１０３から出力される色差信号（Ｕ_１、Ｖ_１）の合成を行う。このようにすることにより、輝度信号のＳＮ比を向上させた方が好ましい。但し、赤外照明部２１０を使用すると、カラーバランスの維持と色差信号のＳＮ比のトレードオフが発生してしまうことがある。このため、赤外照明部２１０を使用せずに、十分なＳＮ比の輝度信号（Ｙ_２）が第２の撮像素子１０４から得られるのであれば、赤外照明部２１０を使用しない方が好ましい。

従って、照度が第１の閾値１１１よりも小さい第２の閾値１１２以上である場合には、図４（Ｄ）の駆動モードを使用する。これが、図９のモードＢに相当する。モードＢでは、赤外照明部２１０を使用せず、蓄積時間の異なる露光条件で取得された画像信号（ここでは、第２の画像信号１０８Ａと第３の画像信号１０８Ｂ）を第２の撮像素子１０４から取得する。

照度が第２の閾値１１２未満まで低下し、赤外照明部２１０を使用しなければ、第２の撮像素子１０４から十分なＳＮ比の画像の輝度信号（Ｙ_２）が得られなくなった場合、赤外照明部２１０を使用する。但し、赤外照明部２１０の出力が大きいほどマゼンタの色味が強くなる問題が発生しやすくなるため、赤外照明部２１０の出力は必要最小限に抑える方が好ましい。

従って、照度が第２の閾値１１２よりも小さい第３の閾値１１３以上の場合には、色差信号のＳＮ比を重視して、図７の駆動モードを使用する。これが、図９のモードＣに相当する。モードＣでは、赤外照明部２１０の出力の大小で露光条件を制御し、赤外照明部２１０の出力が相対的に大きくなっているとき、相対的に小さくなっているときの両方で、第１の撮像素子１０３に電荷を蓄積する。

そして、照度が第３の閾値１１３未満の場合には、十分なＳＮ比の輝度信号（Ｙ_２）を第２の撮像素子１０４から得るために、マゼンタの色味が強くでてしまいカラーバランスの崩れが目立ってしまうレベルの赤外照明部２１０の出力を必要とする。このため、図８の駆動モードを使用する。これが、図９のモードＤに相当する。モードＤでは、赤外照明部２１０の出力の大小で露光条件を制御する。モードＤでは、赤外照明部２１０の出力が相対的に大きくなっているときは、第１の撮像素子１０３への電荷蓄積を行わず、赤外照明部２１０の出力が相対的に小さくなっているときのみ、第１の撮像素子１０３への電荷蓄積を行う。

図１０は、モード設定処理の一例を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、制御部１０６によって実行されうる。まず、Ｓ４０１において、制御部１０６は、照度が第１の閾値以上か判定する。照度が第１の閾値以上であると判断した場合（Ｙｅｓ）、制御部１０６は、Ｓ４０２においてモードＡを設定する。照度が第１の閾値未満であると判断した場合（Ｓ４０１、Ｎｏ）、制御部１０６は、Ｓ４０３において照度が第１の閾値よりも小さい第２の閾値以上か判定する。照度が第２の閾値以上であると判断した場合（Ｙｅｓ）、制御部１０６は、Ｓ４０４においてモードＢを設定する。照度が第２の閾値未満であると判断した場合（Ｓ４０３、Ｎｏ）、制御部１０６は、Ｓ４０５において照度が第２の閾値よりも小さい第３の閾値以上か判定する。照度が第３の閾値以上であると判断した場合（Ｙｅｓ）、制御部１０６は、Ｓ４０６においてモードＣを設定する。照度が第３の閾値未満であると判断した場合（Ｓ４０５、Ｎｏ）、制御部１０６は、Ｓ４０７においてモードＣを設定する。

以上のフローにより、照度に応じて適切なモードを選択することが可能になり、高照度のときには、画質の高い画像を取得でき、低照度下かつ、動きの速い被写体を撮影する場合の画質低下を抑制しつつ、画像のダイナミックレンジを拡大することが可能となる。

なお、モードＣおよびモードＤにおいては、赤外照明部２１０の出力の大小の制御と、第２の撮像素子１０４の蓄積時間の長短の制御を組み合わせてもよい。例えば、第２の撮像素子１０４において、赤外照明部２１０の出力が相対的に大きいフレームの蓄積時間を、赤外照明部２１０の出力が相対的に小さいフレームの蓄積時間よりも、長くする。これにより、赤外照明部２１０の出力の大小のみを制御した場合よりも、更にダイナミックレンジを拡大することができる。

また、本実施形態では、撮像装置２００が、被写体の照度に応じて自動で駆動モードを切り替える場合を示したが、ユーザーに駆動モードを選択させても良い。あるいは、ユーザーに赤外照明部２１０の出力の大小を制御させ、その出力に応じて、駆動モードを切り替えても良い。この場合、ユーザーが赤外照明部２１０の出力の大小を設定するインターフェースを備えており、赤外照明部２１０の出力が所定の出力以上の場合にはモードＣ、所定の出力未満の場合にはモードＤを選択すればよい。

＜撮像システムの実施形態＞
本実施形態では、実施形態１に示す撮像装置を用いた監視システム（撮像システム）について説明する。図１１は、撮像装置５０３を用いた監視システム５００の構成図である。監視システム５００に用いる撮像装置５０３としては実施形態１および２のいずれの撮像装置を用いても良い。

撮像装置５０３とクライアント装置５０１は、ネットワーク５０２を介して相互に通信可能な状態に接続されている。クライアント装置５０１（情報処理装置）は、撮像装置５０３を制御する各種コマンドを送信する。それを受けて、撮像装置５０３は、コマンドに対するレスポンスや撮像した画像データをクライアント装置５０１に送信する。撮像装置５０３の撮影パラメータは、クライアント装置５０１を介してユーザーが選択できるようになっている。

クライアント装置５０１は、例えばＰＣやスマートフォンなどの外部機器であり、ネットワーク５０２は、有線ＬＡＮ、無線ＬＡＮ等により構成されうる。また、ネットワーク５０２を介して撮像装置５０３に電源を供給する構成となっていても良い。

＜その他の実施形態＞
なお、上記実施形態においては光分離部１０２により第１の撮像素子と第２の撮像素子に異なる分光特性の光を導くように構成しているが、例えば、第１の撮像素子と第２の撮像素子のそれぞれの前に異なる分光特性のフィルタが配置されていてもよい。また、第１の撮像素子と第２の撮像素子は光分離部１０２を介さずに別々の独立した光学系を介した光を受光する２眼タイプであってもよい。更には第１の撮像素子と第２の撮像素子は、一つの撮像素子内に例えば第１の撮像素子用の分光特性フィルタを配置した画素と第２の撮像素子用の分光特性フィルタを配置した画素を交互に配置したものであってもよい。また、図２では、可視光を透過し、赤外光を反射するような光分離部を使用したが、可視光を反射し、赤外光を透過するような光分離部を使用しても良い。

また、本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００，２００，５０３ 撮像装置
１０３ 第１の撮像素子
１０４ 第２の撮像素子
１０５ 合成処理部
１０６ 制御部
１０７ 第１の画像信号
１０８Ａ 第２の画像信号
１０８Ｂ 第３の画像信号
１０９ 第４の画像信号
１１１ 第１の閾値
１１２ 第２の閾値
１１３ 第３の閾値
２０３ 第１の撮像部
２１０ 赤外照明部
５００ 監視システム
５０１ クライアント装置
５０２ ネットワーク

Claims (7)

1. 可視光に感度を有し、第１の画像信号を出力する第１の撮像素子と、
   赤外光に感度を有し、第２の画像信号と、前記第２の画像信号とは異なる露光条件で取得された第３の画像信号を、前記第１の撮像素子の第１のフレームレートよりも高い第２のフレームレートで出力する第２の撮像素子と、
   前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号および前記第３の画像信号とを含む合成を行い、第４の画像信号を生成する合成処理手段と、を備え、
   前記合成処理手段は、前記第１の画像信号に基づく色差信号と、前記第２の画像信号を及び前記第３の画像信号に基づく輝度信号と、を合成することにより前記第４の画像信号を生成し、
   前記第１の画像信号における１フレーム毎の蓄積時間は、前記第２の画像信号の１フレーム毎の蓄積時間、または前記第３の画像信号の１フレーム毎の蓄積時間よりも長いことを特徴とする撮像装置。
2. 前記第２のフレームレートを、前記第１のフレームレートの整数倍とし、前記第２の撮像素子は、前記第１の撮像素子の１フレーム間で、前記第２の画像信号および前記第３の画像信号を含む複数の画像信号を取得することを特徴とする、請求項１に記載の撮像装置。
3. 前記第２の画像信号の前記蓄積時間と、前記第３の画像信号の前記蓄積時間とを異ならせることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第２のフレームレートの逆数よりも、前記第１の撮像素子の最大蓄積時間を長くすることを特徴とする、請求項１乃至３のいずれか１項に記載の撮像装置。
5. 請求項１乃至４のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
7. 可視光に感度を有し、第１の画像信号を出力する第１の撮像素子と、赤外光に感度を有し、第２の画像信号と、前記第２の画像信号とは異なる露光条件で取得された第３の画像信号を出力する第２の撮像素子と、を少なくとも有する撮像装置の制御方法であって、
   前記第１の撮像素子の第１のフレームレートよりも前記第２の撮像素子の第２のフレームレートを高く設定する設定工程と、
   前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号および前記第３の画像信号とを含む合成を行い、第４の画像信号を生成する合成処理工程と、を有し、
   前記合成処理工程では、前記第１の画像信号に基づく色差信号と、前記第２の画像信号を及び前記第３の画像信号に基づく輝度信号と、を合成することにより前記第４の画像信号を生成し、
   前記第１の画像信号における１フレーム毎の蓄積時間は、前記第２の画像信号の１フレーム毎の蓄積時間、または前記第３の画像信号の１フレーム毎の蓄積時間よりも長いことを特徴とする撮像装置を制御するための制御方法。
   

Images