JP7025223B2

JP7025223B2 - 撮像装置及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP7025223B2
Application number: JP2018006684A
Authority: JP
Inventors: 愛彦沼田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-18
Filing date: 2018-01-18
Publication date: 2022-02-24
Anticipated expiration: 2038-01-18
Also published as: JP2019125979A; US20190222734A1; CN110062175B; US10834302B2; CN110062175A

Description

本発明は、監視などの用途に使用可能な撮像装置に関するものである。

近年、複数のカメラを有し、それらを連携することで新しい機能を実現する撮像装置が提案されている（例えば、特許文献１）。

特開２００７－６２８５号公報

特許文献１に開示されている撮像装置では、複数のカメラの各々が固体撮像素子を有しており、各々の固体撮像素子から同一のフレームレートで信号を読み出しつつ、各々が独自に露出条件を設定している。しかしながら、複数のカメラとして感度が異なる複数のカメラを使用した場合、以下のような問題が発生する。

一般に、固体撮像素子の電荷蓄積時間の上限は、固体撮像素子から一枚の画像分の画素信号を読み出す、信号読み出し頻度で決定される。そのため、感度が異なる複数のカメラ間で共通の信号読み出し頻度を使用した場合、露出レベル制御の自由度が低下してしまう。その結果、特に照度の低い環境下において、相対的に感度の低いカメラで撮影した画像の品質が低下してしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は、感度の異なる複数のカメラを有する撮像装置において、相対的に感度の低いカメラで撮影した画像の品質を向上させることである。

本発明に係わる撮像装置は、撮影範囲の一部が重複するように配置され、各々が固体撮像素子を有する複数の撮像部を有する第１の撮像手段と、固体撮像素子を有し、前記第１の撮像手段の撮影範囲の一部を撮影して詳細画像を生成する第２の撮像手段と、前記複数の撮像部で撮影した画像を合成して広角画像を生成する合成処理を行う合成処理手段と、前記合成処理手段により合成された広角画像を外部に転送する転送処理を行う転送手段と、前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記第２の撮像手段における固体撮像素子に設定可能な最大の電荷蓄積時間よりも大きくなるように制御する制御手段と、を備え、前記制御手段は、前記第１の撮像手段における複数の撮像部の固体撮像素子の電荷蓄積時間を、前記合成処理にかかる時間と、前記転送処理にかかる時間のどちらか長い方の時間以下となるように制御することを特徴とする。
また、本発明に係わる撮像装置は、撮影範囲の一部が重複するように配置され、各々が固体撮像素子を有する複数の撮像部を有する第１の撮像手段と、固体撮像素子を有し、前記第１の撮像手段の撮影範囲の一部を撮影して詳細画像を生成する第２の撮像手段と、前記複数の撮像部で撮影した画像を合成して広角画像を生成する合成処理を行う合成処理手段と、前記合成処理手段により合成された広角画像および前記詳細画像を外部に転送する転送処理を行う転送手段と、前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記第２の撮像手段における固体撮像素子に設定可能な最大の電荷蓄積時間よりも大きくなるように制御する制御手段と、を備え、前記転送手段は、前記広角画像を転送する時間の方が、前記詳細画像を転送する時間よりも長いことを特徴とする。

本発明によれば、感度の異なる複数のカメラを有する撮像装置において、相対的に感度の低いカメラで撮影した画像の品質を向上させることが可能となる。

本発明の第１の実施形態の撮像装置を示す図。本発明の第１の実施形態の監視システムを示す図。本発明の第１の実施形態の撮像装置のブロック構成を示す図。従来の撮像装置における画素信号読み出し動作を示すタイミングチャート。第１の実施形態の撮像装置における画素信号読み出し動作を示すタイミングチャート。第１の実施形態の撮像装置における画素信号読み出し動作の変形例を示すタイミングチャート。従来の撮像装置における画素信号読み出し動作を示すタイミングチャート。第２の実施形態の撮像装置における画素信号読み出し動作を示すタイミングチャート。第４の実施形態の撮像装置のブロック構成を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、各実施形態の図において同一の機能を有する部分については、同一の符号を付して、繰り返しの説明は省略する。

（第１の実施形態）
図１乃至図３は、本発明の第１の実施形態の撮像装置、およびそれを用いた監視システムを示す図である。図１は撮像装置１００を斜めから見た斜視図、図２は撮像装置１００を上側（＋Ｚ側）から見た配置図、図３は撮像装置１００の内部の機能ブロック図である。

図１乃至図３において、撮像装置１００は、広角画像１０１を取得する第１の撮像部１１０と、第１の撮像部１１０の撮影範囲の一部を撮影し、詳細画像１０２を取得する第２の撮像部１２０とを有する。そして更に、第１の撮像部１１０および第２の撮像部１２０の動作を制御する制御部１３０、広角画像１０１および詳細画像１０２を外部に転送する転送部１４０を備えている。

転送部１４０は、有線または無線などのネットワークを介して、外部のクライアント装置に接続されており、広角画像１０１、詳細画像１０２を、スイッチで切り替えることによって、同一のネットワークに対して順番に転送している。

外部のクライアント装置は、撮像装置１００を制御するコマンドを、ネットワークを介して転送部１４０に送信し、それを受けて、撮像装置１００は、コマンドに対するレスポンスをクライアント装置に送信する。クライアント装置は例えばＰＣ（パーソナルコンピュータ）などの外部機器であり、ネットワークは、有線ＬＡＮ、無線ＬＡＮ等により構成されている。また、ネットワークを介して撮像装置１００に電源を供給する構成であってもよい。

第１の撮像部１１０は、撮影範囲の一部が重複するように配置された複数の撮像部１１１ａ，１１１ｂ，１１１ｃ，１１１ｄを有し、撮像部１１１ａ～１１１ｄで取得した画像を、合成処理部１１４において合成することにより広角画像１０１を生成する。具体的には、隣接する複数の撮像部（例えば１１１ａと１１１ｂ）で取得した画像の重複部分をずらしながら相関係数を求める、所謂パターンマッチングの技術を適用することで、複数の画像間の位置合わせを行い、広角画像１０１を生成している。

複数の撮像部１１１ａ～１１１ｄは、それぞれ結像光学系１１２ａ～１１２ｄおよび、固体撮像素子１１３ａ～１１３ｄを有している。そして、結像光学系１１２ａ～１１２ｄを介して被写体像を固体撮像素子１１３ａ～１１３ｄ上に結像させることにより、画像を取得する。

それぞれの固体撮像素子１１３ａ～１１３ｄの駆動と信号の読み出しは、制御部１３０によって制御される。固体撮像素子１１３ａ～１１３ｄの画素への電荷蓄積時間を制御することにより、第１の撮像部１１０中の各々の撮像部１１１ａ～１１１ｄの露出レベルが制御される。

第２の撮像部１２０は、単一の撮像部１２１から構成され、結像光学系１２２、固体撮像素子１１３ａ～１１３ｄよりも高い感度の固体撮像素子１２３を有する。ここで、感度が高いとは、同一の環境下で撮影を行った場合の、画像のＳＮ比が高いことを意味する。第１の撮像部１１０と同様に、固体撮像素子１２３の駆動と信号読み出しは、制御部１３０によって制御される。

上記のような構成において、本実施形態の撮像装置１００では、第１の撮像部１１０中の固体撮像素子１１３ａ～１１３ｄに設定可能な最大の電荷蓄積時間を、第２の撮像部１２０中の固体撮像素子１２３に設定可能な最大の電荷蓄積時間よりも長くしている。

このような構成とすることにより、相対的に感度の低い第１の撮像部１１０で取得した画像から生成した広角画像１０１の品質の低下を抑制することができる。以下で、従来の撮像装置と比較して説明を行う。

＜従来例の説明＞
図４は、比較のために示した従来の撮像装置１０００における、画素信号の読み出しタイミングを示すタイミングチャートである。従来の撮像装置１０００の構成は、図１に示す本実施形態の撮像装置１００に対して、第１の撮像部中の複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間と、第２の撮像部中の固体撮像素子に設定可能な最大の電荷蓄積時間が等しい点のみが異なる。なお、従来の撮像装置１０００の各部には、１０００番代の符号を付して、本実施形態の構成と区別する。また、図４では、照度が十分低く、第１の撮像部および第２の撮像部の露出レベルを、最大の電荷蓄積時間に設定した場合を示している。図中の実線は１フレーム目、点線は２フレーム目を意味する。

まず、図４に示す従来の撮像装置１０００におけるタイミングチャートについて説明する。固体撮像素子１０１３ａ～１０１３ｄおよび、固体撮像素子１０２３は時刻ｔ１１において同時に電荷蓄積が開始され、時刻ｔ１１から最大の電荷蓄積時間ｔｍ２だけ経過した時刻ｔ１２において、同時に電荷蓄積を終了する。

固体撮像素子１０１３ａ～１０１３ｄから読み出された画素信号は、合成処理部１０１４において合成され、広角画像１００１として、転送部１０４０に転送される。ここで、合成処理に必要な時間をｔｓとすると、時刻ｔ１２から時間ｔｓだけ経過した時刻ｔ１３において、転送部１０４０に広角画像１００１のデータが到着する。そして、広角画像１００１のデータを、ネットワークを介して転送するのに必要な時間をｔｎ１とすると、時刻ｔ１３から更に時間ｔｎ１だけ経過した時刻ｔ１４において、１フレーム分の広角画像１００１の、クライアント装置へのデータ転送が完了する。

ここで、１フレーム目の合成処理が終了する時刻ｔ１３と、２フレーム目の合成処理を開始する時刻ｔ２２が重なるように、次フレームでの固体撮像素子への電荷蓄積を開始する。即ち、次フレームの電荷蓄積開始時刻は図に示すｔ２１１であり、広角画像１００１のフレームレートは、図４に示す時間ｔｆ１の逆数となる。

一方、固体撮像素子１０２３から読み出された画素信号は、合成処理を行うことなくそのまま詳細画像１００２として、転送部１０４０に送られ、ネットワークを介してクライアント装置に転送される。ここで、転送部１０４０は、広角画像１００１のデータと詳細画像１００２のデータの転送頻度を切り替えることによって、詳細画像１００２を転送するのに必要な時間ｔｎ２を、広角画像を転送するのに必要な時間ｔｎ１と等しくしているものとする。以下、時間ｔｎ１およびｔｎ２を、共にｔｎと呼ぶ。時刻ｔ１２から時間ｔｎだけ経過した時刻ｔ１５において、クライアント装置は、１フレーム分の詳細画像１００２のデータ取得を完了する。

その後、１フレーム目の電荷蓄積終了時刻ｔ１２と２フレーム目の電荷蓄積開始時刻ｔ２１２が重なるように、次フレームでの固体撮像素子への電荷蓄積を開始する。即ち、詳細画像１００２のフレームレートは、図４に示す時間ｔｆ２の逆数となる。

次に、図５に示す本発明の第１の実施形態の撮像装置１００における、画素信号の読み出しタイミングチャートについて説明する。固体撮像素子１２３から読み出される画素信号については、従来の撮像装置１０００の固体撮像素子１０２３から読み出される画素信号と同じである。

一方、固体撮像素子１１３ａ～１１３ｄにおいて、電荷蓄積を開始する時刻ｔ１０は、固体撮像素子１２３において電荷蓄積を開始する時刻ｔ１１よりも早い時刻としている。即ち、固体素子１１３ａ～１１３ｄの電荷蓄積時間は、固体撮像素子１２３の電荷蓄積時間よりも長くなっている。このような構成とすることで、相対的に感度の低い第１の撮像部１１０で取得した画像から生成した広角画像１０１の品質を向上させることができる。

なお、図４と図５を比較してわかるように、本実施形態の撮像装置１００と、従来の撮像装置１０００では、時間ｔｆ１の長さが等しい。言い換えると、本実施形態の撮像装置１００は、従来の撮像装置１０００に対して、フレームレートを低下させずに、広角画像の品質を向上させることができている。この理由についてさらに説明する。

図４に示す従来の撮像装置１０００の場合、１フレーム目の電荷蓄積が終了する時刻ｔ１２から、２フレーム目の電荷蓄積を開始する時刻ｔ２１１までの間で、固体撮像素子は電荷蓄積動作を行っていない。一方、本実施形態の撮像装置１００では、１フレーム目の電荷蓄積が終了する時刻ｔ１２と、２フレーム目の電荷蓄積を開始する時刻ｔ２１が一致している。即ち、本実施形態の撮像装置１００では、従来の撮像装置１０００で固体撮像素子への電荷蓄積を行っていない時間においても、電荷蓄積を行うことによって、フレームレートを低下させることなく、最大の電荷蓄積時間を大きくしている。

フレームレートを低下させずに電荷蓄積時間を長くするための、電荷蓄積時間ｔｍ１の上限は、合成処理部１１４における合成処理に必要な時間ｔｓである。なぜならば、電荷蓄積時間ｔｍ１を時間ｔｓよりも長く設定してしまうと、合成処理部において、合成処理を行わない「待ち時間」が発生してしまうためである。言い換えると、電荷蓄積時間ｔｍ１は合成処理時間ｔｓ以下（合成処理にかかる時間以下）である方が好ましい。特に、時間ｔｍ１と時間ｔｓを等しくした場合、固体撮像素子１１３ａ～１１３ｄにおいても、合成処理部１１４においても、「待ち時間」が発生しなくなるため、好ましい。

図５では、固体撮像素子１１３ａ～１１３ｄの電荷蓄積のタイミングが一致している場合を示したが、各々の固体撮像素子１１３ａ～１１３ｄの間で電荷蓄積のタイミングを異ならせてもよい。図６に、具体例を示す。図６に示すタイミングチャートのように固体撮像素子を駆動することにより、第１の撮像部１１０の各々の撮像部１１１ａ～１１１ｄで画素信号を取得してから、クライアント装置に画像を転送するまでの遅延時間が短くなるため、好ましい。以下、具体的に説明する。

図２、図３に示す撮像装置１００から広角画像１０１を生成するには、撮像部１１１ａと１１１ｂの間の合成、撮像部１１１ｂと１１１ｃの間の合成、撮像部１１１ｃと１１１ｄの間の合成、の３つの合成処理が必要である。即ち、図５に示すｔｓは、各々の合成処理に必要な時間ｔｃの３倍の時間である。

図５に示す信号処理では、全ての撮像部１１１ａ～１１１ｄで取得した画像のデータを合成処理部１１４に転送してから、合成処理を行っていた。その結果、撮像部１１１ａ～１１１ｄにおける電荷蓄積終了時刻ｔ１２から、転送部１４０における転送終了時刻ｔ１４までの間に、ｔｓ＋ｔｎの遅延時間が発生していた。

一方、図６に示す信号処理では、固体撮像素子１１３ａ～１１３ｄの電荷蓄積のタイミング（開始時刻ｔ１１ａ～ｔ１１ｄおよび終了時刻ｔ１２ａ～ｔ１２ｄ）を時間ｔｃだけずらしている。そして、合成処理部１１４における合成処理を、３回に分けて行うことにより、遅延時間を短くしている。

具体的には、固体撮像素子１１３ａ，１１３ｂにおける電荷蓄積が終了した時刻ｔ１２ｂから、撮像部１１１ａで取得した画像と、撮像部１１１ｂで取得した画像の合成処理を行う。同様に、固体撮像素子１１３ｂ，１１３ｃにおける電荷蓄積が終了した時刻ｔ１２ｃから、撮像部１１１ｂ，１１１ｃ間の合成処理を、固体撮像素子１１３ｃ，１１３ｄにおける電荷蓄積が終了した時刻ｔ１２ｄから、撮像部１１１ｃ，１１１ｄ間の合成処理を行う。

その結果、固体撮像素子１１３ａ～１１３ｃにおける電荷蓄積終了時刻ｔ１２ａ～ｔ１２ｃから、転送部１４０における転送終了時刻ｔ１４ａｂ，ｔ１４ｂｃ，ｔ１４ｃｄまでの遅延時間を、２×ｔｃ＋ｔｎまで短くすることができる。同様に、固体撮像素子１１３ｄにおける電荷蓄積終了時刻ｔ１２ｄから、転送部１４０における転生終了時刻ｔ１４ｃｄまでの遅延時間は、ｔｃ＋ｔｎまで短くすることができる。即ち、第１の撮像部１１０の各々の撮像部１１１ａ～１１１ｄで画素信号を取得してから、クライアント装置に画像を転送するまでの遅延時間を短くすることができる。

このように、本実施形態の撮像装置１００では、第２の撮像部１２０よりも感度の低い第１の撮像部１１０で撮影した画像によって生成する広角画像１０１の品質を、従来の撮像装置１０００よりも向上させることができる。言い換えると、本実施形態の撮像装置を用いた場合、広角画像１０１を取得するための第１の撮像部１１０に、従来の撮像装置１０００よりも、感度の低い固体撮像素子を使用することができる。その結果、撮像装置として、以下のようなメリットが生じる。順番に説明する。
（１）低コストの固体撮像素子を使用可能
一つ目はコストが低下する、というメリットである。一般に、固体撮像素子の感度を向上させるためには、画素構造や回路構成を最適化したり、より精密なプロセスルールを使用したりする必要がある。その結果、固体撮像素子の製造コストが増加したり、歩留まりが低下したりして、撮像装置全体のコストも増大してしまう。本実施形態の撮像装置１００では、感度の低い固体撮像素子を使用したとしても品質の高い画像が取得できるため、従来の撮像装置１０００に対してコストが削減できるというメリットがある。
（２）小型の固体撮像素子を使用可能
二つ目は装置の小型化を図ることができる、というメリットである。一般に、固体撮像素子中の画素が大きいほど、固体撮像素子の感度は高くなる。本実施形態の撮像装置１００では、感度の低い固体撮像素子を使用したとしても品質の高い画像が取得できるため、従来の撮像装置１０００よりも、画素の小さい撮像素子、即ち小型の固体撮像素子を使用することができる。小型の固体撮像素子が使用できれば、結像光学系も小型化できるため、撮像装置１００を小型化できる、というメリットがある。撮像装置１００の大きさは、複数の撮像部から構成される第１の撮像部１１０の大きさによって主に決定されている。そのため、第２の撮像部１２０を小型化するよりも、第１の撮像部１１０の複数の撮像部を小型化する方が、撮像装置全体を小型化することができる。
（３）画素数の多い固体撮像素子を使用可能
三つ目は画像の解像度を向上させることができる、というメリットである。固体撮像素子の大きさを一定とした場合、固体撮像素子の感度を稼ぐために画素のサイズを大きくすると、固体撮像素子の画素数が低下してしまう。本実施形態の撮像装置１００では、感度の低い固体撮像素子を使用したとしても品質の高い画像を取得できるため、従来の撮像装置１０００よりも、画素数の多い固体撮像素子を使用することができる。その結果、広角画像１０１の解像度を向上させることができる、というメリットがある。特に、広角画像１０１は詳細画像１０２よりも広い範囲を撮影しているため、詳細画像１０２の解像度よりも広角画像１０１の解像度を向上させた方が効果的である。
（４）動きボケの低減
四つ目は動きボケの影響を低減させることができる、というメリットである。一般に、固体撮像素子への電荷蓄積時間が長いほど、また、撮影画角が狭いほど、動きボケが発生しやすい。

第２の撮像部１２０の感度が第１の撮像部１１０の複数の撮像部の感度よりも低い場合、第２の撮像部１２０における固体撮像素子の電荷蓄積時間を、第１の撮像部１１０の複数の撮像部における固体撮像素子の電荷蓄積時間よりも長くする必要がある。その結果、相対的に撮影範囲が狭い詳細画像を取得する固体撮像素子の電荷蓄積時間が長くなり、詳細画像において動きボケが発生しやすくなってしまう。

それに対し、本実施形態の撮像装置１００のように、第１の撮像部１１０の複数の撮像部の感度が第２の撮像部１２０の感度よりも低い場合、第１の撮像部１１０の固体撮像素子の電荷蓄積時間を、第２の撮像部１２０の固体撮像素子の電荷蓄積時間よりも長くすればよい。その結果、相対的に撮影範囲が狭く、動きボケが発生しやすい詳細画像１０２を取得するための固体撮像素子１２３の電荷蓄積時間は短いままとすることができる。一方、第１の撮像部１１０の固体撮像素子への電荷蓄積時間を長くしたとしても、広角画像１０１は相対的に撮影範囲が広いため、動きボケが目立ちにくい。

以上説明したように、本実施形態の撮像装置１００は、感度の異なる複数の撮像部の各々で取得する画素信号レベルを、単に各々の固体撮像素子の蓄積時間の制御によって制御しているわけではない。相対的に画角が広く、合成によって画像を生成する第１の撮像部の複数の撮像部の感度が、第２の撮像部の感度よりも低い構成において、第１の撮像部の固体撮像素子の電荷蓄積時間を、第２の撮像部の電荷蓄積時間よりも長くする。この構成により、前述した様々な効果が得られる。

なお、図２、図３では、第１の撮像部１１０が４つの撮像部１１０ａ～１１０ｄから構成されている場合を示したが、必ずしも４つの撮像部から構成されていなくてもよい。例えば、第１の撮像部が２つや３つの撮像部から構成されていてもよいし、５つ以上の撮像部から構成されていてもよい。また、第１の撮像部の撮影範囲は図２に示す範囲でなくてもよく、例えば３６０度全周が撮影範囲であってもよい。

また、図３では、同一の転送部１４０を用い、広角画像１０１と詳細画像１０２をスイッチで切り替えることによって、同一のネットワークに順番に転送する場合を示したが、必ずしもこのような構成でなくてもよい。但し、同一のネットワークを介して配信した方が、広角画像１０１と詳細画像１０２間の対応関係が把握しやすいため、好ましい。

また、図３では、撮像装置１００が転送部１４０を備え、画像をクライアント装置側に転送するとともに、クライアント装置側からの命令で動作する例を示した。しかし、撮像装置１００が画像データを保存するメモリ、画像を表示するビューアー、ユーザーの命令を受け付けるインターフェース部のいずれかを有していてもよい。また、これらを併せ持っていてもよい。

また、上記では、複数の撮像部１１１ａ～１１１ｄの露出レベルを制御する方法として、固体撮像素子１１３ａ～１１３ｄの画素への電荷蓄積時間を制御する例を示したが、必ずしもこの方法を使用しなくてもよい。例えば、固体撮像素子１１３ａ～１１３ｄにおける信号増幅係数（ゲイン）を制御することにより、露出レベルを制御してもよい。固体撮像素子１１３ａ～１１３ｄが、内部にＡＤ変換の機能を有している場合、ＡＤ変換前の信号増幅係数（アナログゲイン）を制御する方が好ましい。また、複数の撮像部１１１ａ～１１１ｄ中の結像光学系１１２ａ～１１２ｄが絞り機構を有しており、制御部１３０によって絞り機構を制御することで複数の撮像部１１１ａ～１１１ｄの露出レベルを制御してもよい。更に、結像光学系１１２ａ～１１２ｄが光吸収フィルタおよびその挿抜機構を有しており、光吸収フィルタを挿抜することで露出レベルを制御してもよい。あるいは、光吸収フィルタが液晶などから構成される透過率可変フィルタであって、透過率可変フィルタに印加する電圧を制御することで露出レベルを制御してもよい。さらに、以上の方法の内の複数の方法を組み合わせてもよい。

（第２の実施形態）
第１の実施形態の撮像装置１００は、合成処理部１１４における合成処理に必要な時間ｔｓによって、電荷蓄積時間ｔｍ１の上限を決定していた。それに対し、第２の実施形態の撮像装置２００は、広角画像２０１の解像度の方が詳細画像２０２よりも高くなっており、転送部２４０における転送時間によって、電荷蓄積時間ｔｍ１の上限を決定している。なお、この第２の実施形態の撮像装置の外見上の構成は、図３に示す第１の実施形態の撮像装置の構成と同様であるため、特に図としては示さないが、第２の実施形態の各ブロックには、２００番代の符号を記載して第１の実施形態と区別する。

第２の実施形態の撮像装置２００の転送部２４０は、広角画像２０１と詳細画像２０２を一定の割合で切り替えて転送するように構成されている。即ち、図７、図８に示すように、解像度が高く、画像を構成するデータ量の大きい広角画像２０１を転送するのに必要な時間ｔｎ１が、解像度が低く画像を構成するデータ量の小さい詳細画像２０２を転送するのに必要な時間ｔｎ２よりも、長くなっている。

図７は、第２の実施形態の撮像装置２００と比較するために示した従来の撮像装置２０００における、画素信号の読み出しタイミングチャートである。従来の撮像装置２０００の外見上の構成は、第２の実施形態の撮像装置の構成と同様であるため、特に図としては示さないが、従来の撮像装置２０００の各ブロックには、２０００番代の符号を記載して第２の実施形態と区別する。

従来の撮像装置２０００の構成は、撮像装置２００に対して、第１の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間と、第２の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間が等しい点のみが異なる。なお、図７では、照度が十分低く、第１の撮像部および第２の撮像部の露出レベルを、最大の電荷蓄積時間に設定した場合を示している。図中の実線は１フレーム目、点線は２フレーム目を意味する。

図７に示すタイミングチャートは、図４に示すタイミングチャートに対して、合成処理に必要な時間ｔｓおよび、広角画像２００１のデータを、ネットワークを介して転送するのに必要な時間ｔｎ１、詳細画像２００２のデータを、ネットワークを介して転送するのに必要な時間ｔｎ２が異なっている。

そして、第２の実施形態の撮像装置２００では、図８に示すように、第１の撮像部２１０の固体撮像素子２１３ａ～２１３ｄが電荷蓄積を開始する時刻ｔ１０は、第２の撮像部２２０の固体撮像素子２２３が電荷蓄積を開始する時刻ｔ１１よりも早い時刻としている。即ち、固体素子２１３ａ～２１３ｄの電荷蓄積時間は、固体撮像素子２２３の電荷蓄積時間よりも長くなっている。このような構成とすることで、相対的に感度の低い第１の撮像部で取得した画像から生成した合成画像の品質を向上させることができる。

図７に示す従来の撮像装置２０００の場合、１フレーム目の電荷蓄積が終了する時刻ｔ１２から、２フレーム目の電荷蓄積を開始する時刻ｔ２１１までの間で、固体撮像素子は電荷蓄積動作を行っていない。一方、本実施形態の撮像装置２００では、１フレーム目の電荷蓄積が終了する時刻ｔ１２と、２フレーム目の電荷蓄積を開始する時刻ｔ２１が一致している。即ち、第２の実施形態に示す撮像装置２００も、第１の実施形態に示す撮像装置１００と同様に、フレームレートを低下させることなく、最大の電荷蓄積時間を大きくすることができている。

第２の実施形態に示す撮像装置２００の場合、フレームレートを低下させずに電荷蓄積時間を長くするための、電荷蓄積時間ｔｍ１の上限は、図８に示すように広角画像２０１を転送するのに必要な時間ｔｎ１である。なぜならば、電荷蓄積時間ｔｍ１を時間ｔｎ１よりも長く設定してしまうと、転送部２４０において、転送処理を行わない「待ち時間」が発生してしまうためである。言い換えると、電荷蓄積時間ｔｍ１は広角画像転送時間ｔｎ１以下（転送処理にかかる時間以下）である方が好ましい。特に、時間ｔｍ１と時間ｔｎ１を等しくした場合、固体撮像素子２１３ａ～２１３ｄにおいても、転送部２１４においても、「待ち時間」が発生しなくなるため、好ましい。

即ち、電荷蓄積時間ｔｍ１の上限は、合成処理部における合成処理時間ｔｓと、転送部における広角画像転送時間ｔｎ１のうち、長い方の時間で決定される。第１の実施形態の撮像装置１００では、図５に示すように、時間ｔｓが時間ｔｎ１よりも長いために、時間ｔｍ１の上限は時間ｔｓで決定される。一方、第２の実施形態の撮像装置２００では、図７に示すように、時間ｔｎ１が時間ｔｓよりも長いために、時間ｔｍ１の上限が時間ｔｎ１で決定される。

なお、広角画像転送時間ｔｎ１は、広角画像２０１を構成するデータ量に依存する。画像を構成するデータ量は、画像の解像度の他に画像の明るさや被写体の動き量によっても変化する。そのため、電荷蓄積時間ｔｍ１の上限を、広角画像２０１から得られる情報を用いて、フレーム毎に変化させてもよい。例えば、広角画像２０１から明るさ情報を取得して、広角画像転送時間ｔｎ１を予測し、予測した広角転送時間ｔｎ１を用いて、フレーム毎に電荷蓄積時間ｔｍ１の上限を変化させてもよい。あるいは、複数フレームの広角画像２０１の差分から被写体の動き情報を取得して、広角画像転送時間ｔｎ１を予測し、予測した広角画像転送時間ｔｎ１を用いて、フレーム毎に電荷蓄積時間ｔｍ１の上限を変化させてもよい。

（第３の実施形態）
第３の実施形態の撮像装置３００の外見上の構成は、図３に示す第１の実施形態の撮像装置の構成と同様であるため、特に図としては示さないが、第３の実施形態の各ブロックには、３００番代の符号を記載して第１の実施形態と区別する。撮像装置３００は、第１の実施形態の撮像装置１００に対して、第２の撮像部の構成が異なる。具体的には、撮像装置３００の第２の撮像部３２０の結像光学系３２２は絞り制御機構を有しており、第２の撮像部３２０では、固体撮像素子３２３への電荷蓄積時間に加えて、絞りを制御することによって露出レベルを制御している。このような構成とすることにより、撮像装置３００を小型化しつつ、環境光のフリッカによる影響を低減することができる。

一般に、環境光によるフリッカは、固体撮像素子の電荷蓄積時間が短いほど発生しやすい。従って、フリッカを抑制するには、固体撮像素子の電荷蓄積時間を長くする方が好ましい。第３の実施形態の撮像装置３００では、相対的に感度が高い第２の撮像部３２０において絞りを絞ることによって、露出レベルを下げることができるため、高照度環境下においても、電荷蓄積時間を長く保ったまま、適正な露出レベルで撮影することができる。即ち、フリッカを抑制しつつ、適正な露出レベルでの撮影が可能である。

一方、結像光学系に絞りを有していない第１の撮像部３１０は、相対的に感度が低い。そのために、高照度環境下においても、最適な露出レベルを実現するための電荷蓄積時間が、第２の撮像部３２０よりも長くなる。従って、第１の撮像部３１０においては、絞りによる露出レベルの制御を行わずに、電荷蓄積時間の制御のみで、フリッカを抑制することが可能である。

このように、第３の実施形態の撮像装置３００では、相対的に感度が高い第２の撮像部３２０のみに、絞り制御機構を設ける構成としている。その結果、第１の撮像部３１０の複数の撮像部の結像光学系を小型化することができる。前述したように、撮像装置３００の大きさは、主に複数の撮像部から構成される第１の撮像部３１０の大きさで決定される。そのため、第２の撮像部３２０を小型化するよりも、第１の撮像部３１０の複数の撮像部を小型化する方が、撮像装置全体を小型化することができる。

（第４の実施形態）
第４の実施形態の撮像装置４００は、第１の実施形態の撮像装置１００に対して、第１の撮像部および第２の撮像部の構成が異なる。図９は、第５の実施形態の撮像装置４００の機能ブロック図である。第４の実施形態の撮像装置３００の外見上の構成は、図３に示す第１の実施形態の撮像装置の構成と似ているが、第４の実施形態の各ブロックには、４００番代の符号を記載して第１の実施形態と区別する。

撮像装置４００における第１の撮像部４１０の複数の撮像部４１１ａ～４１１ｄおよび第２の撮像部４２０は可視光を選択的に透過し、近赤外光を選択的に吸収可能な赤外カットフィルタ４１５ａ～４１５ｄおよび４２５を有している。ここで、可視光とは波長３８０ｎｍから７５０ｎｍまでの波長の光、近赤外光とは７５０ｎｍから１１００ｎｍの波長の光のことを意味する。

加えて、第２の撮像部４２０は、制御部４３０によって制御され、赤外カットフィルタ４２５を光路上に挿抜するための挿抜機構４２６を有している。そして、夜間などの低照度時には赤外カットフィルタ４２５を光路から抜去し、可視光と近赤外光の両方を取り込むことによって、画像のＳＮ比を向上させている（以下、ナイトモード）。一方、昼間などの十分な照度が得られる場合には、赤外カットフィルタ４２５を光路に挿入し、可視光のみによる画像を取得することによって、画像の色再現性を向上させている（以下、デイモード）。このような構成とすることにより、撮像装置４００を小型化しつつ、夜間などの低照度時においても高い品質の画像を取得可能としている。

まず、撮像部の感度について説明する。撮像装置４００をデイモードで使用する場合、第２の撮像部４２０の感度は、第１の撮像部４１０の複数の撮像部の感度よりも低くなっている。そのため、夜間などの低照度時にデイモードのまま撮影を行った場合、詳細画像４０２の品質が低下してしまう。そこで、ナイトモードに移行することで、詳細画像４０２の品質を向上させる。ナイトモードにおいては、可視光に加えて近赤外光が第２の撮像部４２０の固体撮像素子４２３に入射するため、第２の撮像部４２０の感度は、第１の撮像部４１０の感度よりも高くなる。

そのため、第４の実施形態の撮像装置４００では、ナイトモード時に、第１の撮像部４１０の固体撮像素子４１３ａ～４１３ｄに設定可能な最大の電荷蓄積時間を、第２の撮像部４２０の固体撮像素子４２３に設定可能な最大の電荷蓄積時間よりも大きくする。このような構成とすることで、相対的に感度の低い第１の撮像部４１０で取得した画像から生成した広角画像４０１の品質を向上させることができる。

このように、第４の実施形態の撮像装置４００では、第２の撮像部４２０のみに、赤外カットフィルタ挿抜機構４２６を設ける構成としている。そして、赤外カットフィルタ４２５を抜去することで、第２の撮像部４２０の感度を、第１の撮像部４１０の複数の撮像部の感度よりも高くする。その結果、第１の撮像部４１０の複数の撮像部４１１ａ～４１１ｄを小型化することができる。前述したように、撮像装置４００の大きさは、主に複数の撮像部から構成される第１の撮像部４１０の大きさで決定されている。そのため、第２の撮像部４２０を小型化するよりも、第１の撮像部４１０の複数の撮像部を小型化する方が、撮像装置全体を小型化することができる。

第２の撮像部４２０をデイモードで使用するか、ナイトモードで使用するかの切り替えは、環境光の照度（可視光成分の強度）で判定すればよい。第２の撮像部４２０が、環境光の照度を測定する照度センサを有していてもよいし、撮像装置４００で取得した画像から照度を推定してもよい。

具体的には、広角画像４０１を用いて環境光の照度を推定する方が好ましい。第２の撮像部４２０は、デイモード時には可視光のみを、ナイトモード時には可視光と赤外光の双方を固体撮像素子４２３に取り込んでいる。そのため、詳細画像４０２を用いて環境光の照度を推定する場合、特にナイトモード時において、可視光成分の強度を推定することが困難である。一方、第１の撮像部４１０の複数の撮像部４１１ａ～４１１ｄは、環境光の照度によらず、赤外カットフィルタ４１５ａ～４１５ｄを挿入したまま撮影を行っている。そのため、広角画像４０１を用いて環境光の照度を推定する方が、可視光成分の強度を正確に推定できる。

即ち、広角画像４０１から求めた環境光の照度が特定の閾値以上の場合、第２の撮像部の赤外カットフィルタを挿入し、環境光の照度が特定の閾値未満の場合、第２の撮像部の赤外カットフィルタを抜去すればよい。

また、第１の撮像部４１０の複数の撮像部４１１ａ～４１１ｄが赤外カットフィルタ４１５ａ～４１５ｄを有さずに、可視光用の画素と近赤外光用の画素を有する固体撮像素子４１３ａ～４１３ｄを使用してもよい。具体的には、ＲＧＢベイヤー配列の一部の画素のオンチップカラーフィルタを、近赤外光のみ透過可能なカラーフィルタに置き換えた固体撮像素子を使用すればよい。

このような構成とすることで、第２の撮像部４２０のみに、赤外カットフィルタ挿抜機構４２６を設ける構成として、撮像装置４００全体の小型化を実現しつつ、低照度時における広角画像４０１および詳細画像４０２の品質を向上できる。

なお、第２の撮像部が撮影方向を変更可能な駆動機構や、撮影画角を変更可能なズーム制御機構、合焦距離を変更可能なフォーカス制御機構などを有しているほうが好ましい。このような構成とすることで、広角画像中から監視対象を発見し、第２の撮像部を用いて監視対象を追尾する、といった使い方が可能となる。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像装置、１０１：広角画像、１０２：詳細画像、１１０：第１の撮像部、１２０：第２の撮像部、１１１：撮像部、１１２：結像光学系、１１３：固体撮像素子、１１４：合成処理部、１３０：制御部、１４０：転送部

Claims

撮影範囲の一部が重複するように配置され、各々が固体撮像素子を有する複数の撮像部を有する第１の撮像手段と、
固体撮像素子を有し、前記第１の撮像手段の撮影範囲の一部を撮影して詳細画像を生成する第２の撮像手段と、
前記複数の撮像部で撮影した画像を合成して広角画像を生成する合成処理を行う合成処理手段と、
前記合成処理手段により合成された広角画像を外部に転送する転送処理を行う転送手段と、
前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記第２の撮像手段における固体撮像素子に設定可能な最大の電荷蓄積時間よりも大きくなるように制御する制御手段と、を備え、
前記制御手段は、前記第１の撮像手段における複数の撮像部の固体撮像素子の電荷蓄積時間を、前記合成処理にかかる時間と、前記転送処理にかかる時間のどちらか長い方の時間以下となるように制御することを特徴とする撮像装置。
前記制御手段は、前記第１の撮像手段における複数の撮像部の固体撮像素子の電荷蓄積時間を、前記合成処理にかかる時間と、前記転送処理にかかる時間のどちらか長い方の時間と等しくなるように制御することを特徴とする請求項１に記載の撮像装置。
前記第１の撮像手段における複数の撮像部の固体撮像素子の感度の方が、前記第２の撮像手段における固体撮像素子の感度よりも低いことを特徴とする請求項１または２に記載の撮像装置。
前記第１の撮像手段における複数の撮像部の固体撮像素子の画素が、前記第２の撮像手段における固体撮像素子の画素よりも小さいことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記第１の撮像手段における複数の撮像部の固体撮像素子の画素数が、前記第２の撮像手段における固体撮像素子の画素数よりも多いことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の撮像手段における複数の撮像部の固体撮像素子の間で、電荷蓄積のタイミングが異なるように、前記第１の撮像手段を制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記転送手段は、さらに前記詳細画像を外部に転送し、前記転送手段において前記広角画像を転送する時間の方が、前記詳細画像を転送する時間よりも長いことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記広角画像から得られる情報を用いて、フレーム毎に変化させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記第２の撮像手段が絞りを有し、前記第１の撮像手段における複数の撮像部が絞りを有さないことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記第１の撮像手段における複数の撮像部が赤外カットフィルタを有し、前記第２の撮像手段が赤外カットフィルタと該赤外カットフィルタを光路上に挿抜する挿抜機構とを有することを特徴とする請求項１乃至９いずれか１項に記載の撮像装置。
前記第１の撮像手段における複数の撮像部の固体撮像素子が可視光用の画素と近赤外光用の画素を有し、前記第２の撮像手段が赤外カットフィルタと該赤外カットフィルタを光路上に挿抜する挿抜機構とを有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
前記広角画像から求めた環境光の照度が特定の閾値以上の場合、前記挿抜機構は前記第２の撮像手段の赤外カットフィルタを光路上に挿入し、前記広角画像から求めた環境光の照度が特定の閾値未満の場合、前記挿抜機構は前記第２の撮像手段の赤外カットフィルタを光路上から抜去することを特徴とする請求項１０または１１に記載の撮像装置。
撮影範囲の一部が重複するように配置され、各々が固体撮像素子を有する複数の撮像部を有する第１の撮像手段と、固体撮像素子を有し、前記第１の撮像手段の撮影範囲の一部を撮影して詳細画像を生成する第２の撮像手段と、を備える撮像装置を制御する方法であって、
前記複数の撮像部で撮影した画像を合成して広角画像を生成する合成処理を行う合成処理工程と、
前記合成処理工程において合成された広角画像を外部に転送する転送処理を行う転送工程と、
前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記第２の撮像手段における固体撮像素子に設定可能な最大の電荷蓄積時間よりも大きくなるように制御する制御工程と、を備え、
前記制御工程では、前記第１の撮像手段における複数の撮像部の固体撮像素子の電荷蓄積時間を、前記合成処理にかかる時間と、前記転送処理にかかる時間のどちらか長い方の時間以下となるように制御することを特徴とする撮像装置の制御方法。
請求項１３に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項１３に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
撮影範囲の一部が重複するように配置され、各々が固体撮像素子を有する複数の撮像部を有する第１の撮像手段と、
固体撮像素子を有し、前記第１の撮像手段の撮影範囲の一部を撮影して詳細画像を生成する第２の撮像手段と、
前記複数の撮像部で撮影した画像を合成して広角画像を生成する合成処理を行う合成処理手段と、
前記合成処理手段により合成された広角画像および前記詳細画像を外部に転送する転送処理を行う転送手段と、
前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記第２の撮像手段における固体撮像素子に設定可能な最大の電荷蓄積時間よりも大きくなるように制御する制御手段と、を備え、
前記転送手段は、前記広角画像を転送する時間の方が、前記詳細画像を転送する時間よりも長いことを特徴とする撮像装置。
撮影範囲の一部が重複するように配置され、各々が固体撮像素子を有する複数の撮像部を有する第１の撮像手段と、固体撮像素子を有し、前記第１の撮像手段の撮影範囲の一部を撮影して詳細画像を生成する第２の撮像手段と、を備える撮像装置を制御する方法であって、
前記複数の撮像部で撮影した画像を合成して広角画像を生成する合成処理を行う合成処理工程と、
前記合成処理工程において合成された広角画像および前記詳細画像を外部に転送する転送処理を行う転送工程と、
前記第１の撮像手段における複数の撮像部の固体撮像素子に設定可能な最大の電荷蓄積時間を、前記第２の撮像手段における固体撮像素子に設定可能な最大の電荷蓄積時間よりも大きくなるように制御する制御工程と、を備え、
前記転送工程では、前記広角画像を転送する時間の方が、前記詳細画像を転送する時間よりも長いことを特徴とする撮像装置の制御方法。
請求項１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。