JP6921632B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

デジタルカメラ等の撮像装置を用いて長時間露光撮影をすると、走る自動車などのヘッドライトやテールランプの高輝度の被写体は光の線となり、波打つ水面は鏡面のように写る。そして、低照度の被写体は、より鮮明に映し出され、芸術的な写真の撮影を行うことができる。長時間露光撮影は、露光時間が数１０分に及ぶ場合があり、露光時間が長い場合は三脚などでカメラを固定しブレを防いで撮影することが一般的である。しかし、長時間露光中に意図せずしてカメラまたは三脚に接触して揺らしてしまったり、三脚の足の固定が不十分で沈んでいってしまったり、意図せずして光が写り込んでしまったりする場合がある。このように、撮影者が意図せずして発生する事象を、存外の事象または外乱と記述する。存外の事象が発生すると、撮影が台無しになってしまい、長時間露光撮影では撮影のやり直しも長時間を要するので、撮影を失敗した場合の負荷が大きい。

特許文献１は、長時間露光撮影をする際に、一定時間おきに複数の画像を撮影し、外乱が検知された場合は、分割した時間区間のうち外乱が混入した時間区間の画像データを除外して画像データを合成して生成する撮像装置を開示している。

特開２０１５−１５９３５３号公報

特許文献１が開示する撮像装置では、露光時間が長くなるほど多くの画像を合成する必要があり、カメラに大きな記憶領域を必要する。また、この撮像装置は、多くの画像を合成するので、処理時間が長くかかる。また、露光時間が長いほど画像のつなぎ目が増え、露光できない時間区間が増加し、高品位の画像を生成することができない。さらに、この撮像装置は、多数の画像をイメージセンサから読みだすので、読み出しノイズが多く発生する。本発明は、長時間露光中に存外の事象が発生しても、撮像された画像への影響を短い処理時間で低減することができる撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する制御手段と、外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する補正手段と、前記外乱が検知されたことに応じて、前記第１の撮像手段の露光と前記第２の撮像手段の露光とを同期して停止する露光停止手段とを備え、前記補正手段は、前記第１の撮像手段の露光と前記第２の撮像手段の露光とが同期して停止した際に得られる第２の画像を前記第１の画像から減算することを特徴とする。
また、本発明の一実施形態の撮像装置は、第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する制御手段と、外乱を検知する検知手段と、前記外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する補正手段とを備え、前記検知手段は、ジャイロセンサの出力に基づいて、前記撮像装置の振れを前記外乱として検知すること、連続的に得られた複数の前記第２の画像を比較することにより、前記撮像装置の振れを前記外乱として検知すること、および、連続的に得られた複数の前記第２の画像を比較することにより、輝度値の変化に基づいて、露出異常を前記外乱として検知すること、の少なくともいずれかを行うことを特徴とする。
また、本発明の一実施形態の撮像装置は、第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する制御手段と、外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する補正手段とを備え、前記制御手段は、外乱が検知された後に前記外乱が検知されなくなった場合に、前記第１の撮像手段の露光と前記第２の撮像手段の露光とを同期して再開することを特徴とする。

本発明の撮像装置によれば、長時間露光中に存外の事象が発生しても、撮像する画像への影響を短い処理時間で低減することができる。また、撮像装置を構成する記憶領域は、小さな記憶領域で構成することができる。

実施例１の撮像装置の構成を示す図である。 長時間撮影モード設定時の撮像装置の動作を説明する図である。 長時間撮影モード設定時の撮像装置の動作を説明する図である。 撮像装置による露光制御のタイムチャートを説明する図である。 実施例２の撮像装置が有するイメージセンサを説明する図である。

（実施例１）
以下に、本実施形態の撮像装置について説明する。本実施形態の撮像装置は、デジタルカメラである。まず、本実施形態の撮像装置の動作処理の概要について説明する。撮像装置は、第１のイメージセンサを長時間露光し、第１の露光画像（以下、「第１の画像」と記述）を読み出す。また、撮像装置は、第２のイメージセンサを第１のイメージセンサより短い露光時間で露光してループ撮影し、第２の露光画像（以下、「第２の画像」と記述）を読み出す。撮像装置は、カメラ振れまたは露出異常を検知すると、第１のイメージセンサの露光、第２のイメージセンサの露光を同期して停止する。そして、撮像装置は、第１の画像と第２の画像を取得する。取得される第１の画像は、カメラ振れによる画像のブレ成分または露出異常の成分を含んでいる。撮像装置は、この第１の画像を第２画像で補正し、第１の画像に含まれる画像のブレ成分または露出異常の成分を除去する。

図１は、実施例１の撮像装置の構成を示す図である。
以下の説明では、撮像装置を単に「カメラ」とも記述する。図１に示すカメラは、撮像部１乃至表示部３７を備える。

システム制御部２１は、ＣＰＵ（Central Processing Unit ）を有し、記憶部３３内に記憶されたプログラムに従ってカメラの各部を制御する。撮像部１は、第１のレンズ２、第１のシャッタ３、第１のイメージセンサ４、第２のレンズ５、第２のシャッタ６、第２のイメージセンサ７を備える。第１のレンズ２は、第１のイメージセンサ４に被写体の光学像を結像する。第１のレンズ２内には、露出量を調節するための絞り値を決定する絞りが設けられている。また、第１のシャッタ３は、開閉動作により、第１のイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。

図１に示す例では、第１のイメージセンサ４と第２のイメージセンサ７とは、異なる撮像光学系に設けられている。第１のイメージセンサ４は、第１の撮像手段として機能する。第１のイメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、第１のレンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、共通バス３１を介して、画像データを画像処理部１０と記憶部３３に出力する。本実施形態においては、第１のイメージセンサ４は、破壊読み出し型である。なお、第２のレンズ５、第２のシャッタ６、第２のイメージセンサ７は、それぞれ、第１のレンズ２、第１のシャッタ３、第１のイメージセンサ４と同様の機能を有する。第１のイメージセンサ４は、予め設定した第１の露光時間に従い長時間露光される。第２のイメージセンサは、第２の撮像手段として機能し、第１の露光時間よりも短い第２の露光時間で繰り返し露光される。共通バス３１は、各ブロック間で信号の送受信を行うための信号線である。露光制御部２０は、撮像部１に設けられた第１のイメージセンサ４と第２のイメージセンサ７の露光の制御を行う。

画像処理部１０は、第１のイメージセンサ４と第２のイメージセンサ７から出力された画像データに画像処理を施す。画像処理部１０は、画像補正部１１、レジストレーション部１２、画像合成部１３および現像処理部１４を有する。画像補正部１１は、第１のイメージセンサから読み出された第１の露光画像から第２のイメージセンサから読み出された第２の露光画像を減算する画像減算部として機能する。長時間露光撮影中に後述する検知部により存外の事象（外乱）が検知された場合は、外乱が混入した第１の露光画像から第２のイメージセンサによる露光画像を画像減算することで、第１の露光画像から外乱を補正除去することができる。

レジストレーション部１２は、複数の画像データから基準画像データを決定し、他の画像データを基準画像データの位置に合うように画像変換する位置合わせ部として機能する。レジストレーション処理は、画像位置を少しずつずらして類似度を計算し、類似度が最大となる位置に画像を並行異動する処理であってもよい。類似度の指標は正規化相互相関または差分二乗和であってもよい。長時間露光撮影中に検知部により外乱が検知された場合には、レジストレーション部１２は、画像補正部１１によって補正された第１の露光画像と、外乱が検知されなくなって露光が再開された後に得られる第１の露光画像とをレジストレーションする。画像合成部１３は、レジストレーション部１２によってレジストレーションされた第１の露光画像を合成する画像データ合成部として機能する。現像処理部１４は、画像合成部１３によって生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。

検知部１５は、カメラ振れ検知部１６と露出異常検知部１７を有する。この検知部１５は、撮影中に発生する外乱を検知する検知部として機能する。カメラ振れ検知部１６は、露光中のカメラ振れを外乱として検知し、ジャイロセンサの出力に基づいてカメラ振れが発生しているか検知してもよい。また、カメラ振れ検知部１６は、ループ撮影している第２のイメージセンサから連続的に読み出された複数の露光画像を比較して、被写体像のブレの有無からカメラ振れを外乱として検知してもよい。カメラ振れ検知部１６は、カメラ振れによる被写体像のずれ情報をレジストレーション部１２に渡し、レジストレーション部１２は、被写体像のずれ情報を用いて画像のレジストレーションを行う。また、第１のレンズ２または第２のレンズ５に防振機構が備わっている場合には、防振制御した結果としての振れをカメラ振れとしてもよい。

露出異常検知部１７は、第２のイメージセンサ７によってループ撮影された画像データの輝度値を解析し、輝度の変化を検知する。具体的には、露出異常検知部１７は、分割露光したそれぞれの画像データの出力値に基づいて輝度値を算出し、画像データ同士の輝度値を比較して、輝度値の急激な変化を露出異常として検知する。例えば、露出異常検知部１７は、他の撮影者によるストロボ発光や、通りがかりの車のヘッドライト等による輝度値の急激な変化を検知する。共通バス３１には、撮像部１、画像処理部１０、検知部１５の他に、記憶部３３、外部メモリ３６、表示部３７、露光制御部２０、システム制御部２１が接続されている。

記憶部３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。記憶部３３は、フラッシュメモリ、ＳＤＲＡＭ等の書き換え可能な不揮発性のメモリによって構成される。外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体である。外部メモリ３６は、例えば、ＳＤカードやＣＦカード等である。外部メモリ３６は、現像処理部１４で現像処理された画像データを記録し、再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）を有し、現像処理部１４によって現像された画像を表示する。

図２および図３は、長時間撮影モード設定時の撮像装置の動作を説明する図である。長時間撮影モードには表示部３７に表示されたユーザーインターフェースを不図示の操作部を用いて操作することで設定する。なお、操作部を操作せずに、設定される露光時間の長さや三脚使用の有無等をカメラ自身が判定して長時間撮影モードを設定するようにしてもよい。
図２のＳ１において、システム制御部２１が、ライブビュー表示を行う。具体的には、画像処理部１０が、第１のイメージセンサ４からの画像信号に対して、ライブビュー表示用に画像処理を行い、表示部３７が、ライブビュー画像を表示する。ライブビュー表示においては、所定時間間隔でイメージセンサ４から画像信号が読み出される度にライブビュー画像が更新される。表示部３７がライブビュー画像を表示すると、撮影者が、ライブビュー画像を確認しながら、構図、ピント位置、撮影条件を被写体に合わせて設定する。

Ｓ２において、露光制御部２０が、第１のイメージセンサの露光時間として、露光時間Ｔ１を設定する。これにより、長時間露光撮影における露光時間が、撮影者の好みに応じて設定される。Ｓ３において、露光制御部２０が、第２のイメージセンサの露光時間、露光時間Ｔ２を設定する。第２のイメージセンサは、露光時間Ｔ２で繰り返し露光されて、ループ撮影が行われる。第２のイメージセンサで撮像された画像は、第１のイメージセンサで撮像された第１の画像に含まれるブレ成分をキャンセルするために用いられる。

図４は、撮像装置による露光制御のタイムチャートを説明する図である。
本実施形態の撮像装置は、第１のイメージセンサの露光（第１の露光（ｘ) ）と第２のイメージセンサの露光（第２の露光（ｙ））を並列して実施する。つまり、露光制御部２０は、第１のイメージセンサ４の露光中に第２のイメージセンサ７を露光する。第１の露光の開始タイミングは図４のｐで示す。終了タイミングはｑで示す。第２の露光では、露光時間Ｔ２（ｇ）でセンサのキャパシタがリセット（ｆ）され、ループ撮影される。なお、ループ撮影の方法としては、定期的に撮像部１から読み出した信号を記憶部３３に記憶させるようにしてもよい。この場合、読み出した信号を記憶部３３における同一の記憶領域に記憶させることで、必要な記憶容量を低減することができる。

露光制御部２０が第１の露光と第２の露光を実施中に、外乱として、例えばカメラ振れを検知した場合には、露光制御部２０は、露光停止手段として機能する。すなわち、露光制御部２０は、第１の露光と第２の露光を同期して停止し、外乱が検知されなくなった後（例えば、振れがおさまった後）に、露光を再開する。図４でカメラ振れが生じている期間はａであり、露光ストップするタイミングがｂ、露光を再びスタートするタイミングがｃである。なお、露光を再びスタートするタイミングはカメラの振れが停止したタイミングが好ましい。図４においてはカメラ振れの時間の間に第１の露光及び第２の露光は停止しているが、この間においても第１の露光または第２の露光を行うようにしてもよい。特に第２の露光を継続することによって、カメラ振れの時間においても露光画像を比較して、被写体像のブレの有無からカメラ振れを外乱として検知することができる。

図４に示す例では、カメラ振れが生じてから露光がストップするまでの時間（手遅れ期間ｄ）に第１の露光により得られる第１の画像に、カメラ振れによる画像ブレの信号（ブレ信号）が混入してしまっていることがわかる。システム制御部２１は、第１の画像に含まれるブレ信号を除去するため、カメラ振れの期間に同時に行っている露光時間ｅの第２の露光により得られる第２の画像を減算して補正する。したがって、露光制御部２０が、露光時間Ｔ２を、カメラ振れが生じてから露光制御部２０が露光を停止するまでの時間より長い時間に設定することが望ましい。

また、露光時間Ｔ２に含まれるブレのない信号も補正時に第１の画像から減算されるので、露光時間Ｔ２に含まれるブレのない信号は露光抜けとなる。したがって、露光時間Ｔ２は露光抜けが画像に影響しない程度に短いことが望ましい。

Ｓ４において、システム制御部２１が、撮影者のレリーズ操作がされたかを判断する。レリーズ操作がされていない場合は、処理がＳ１に戻る。レリーズ操作がされた場合は、露光制御部２０が、第１の露光（Ｓ５−１）と第２の露光（Ｓ５−２）を同期して開始する。具体的には、露光制御部２０が、第１のイメージセンサ４と第２のイメージセンサ７を同期して露光する。これにより、被写体の光学像が画素毎に電気信号に変換され、キャパシタに電荷蓄積される。

Ｓ６−１とステップＳ６−２において、システム制御部２１が、検知部１５によって外乱が検知されたかを判断する。外乱が検知されない場合は、処理が、図３のＳ１１−１，Ｓ９に進む。検知部１５がカメラ振れ、または露出異常のいずれかを外乱として検知した場合には、処理がＳ７に進む。Ｓ７において、システム制御部２１が、検知部１５による検知信号をトリガとして第１のイメージセンサ４の第１の露光と第２のイメージセンサ７の第２の露光とを、同期して停止する。なお、カメラ振れ検知部１６によるカメラ振れの検知は、ジャイロセンサの出力に基づいて行ってもよい。また、カメラ振れ検知部１６は、第２のイメージセンサ７から連続的に読み出された複数の露光画像を比較し、被写体像のブレの有無に基づいて、カメラ振れを検知してもよい。また、露出異常検知部１７が、第２のイメージセンサ７から連続的に読み出された複数の露光画像を比較し、輝度値の変化に基づいて露出異常を検知してもよい。

Ｓ８において、システム制御部２１が、第１のイメージセンサ４と第２のイメージセンサ７から画像信号を読み出し、読み出しによって得られる画像信号を、共通バス３１を介して記憶部３３に記憶する。また、第１のイメージセンサ４は、第２のイメージセンサ７は、破壊読み出し型のセンサであるので、画像読み出しが完了すると、信号電荷蓄積用のキャパシタはリセットされる。その後、Ｓ４でレリーズ操作がされたと判断された後の状態に戻り、露光制御部２０が、再び第１のイメージセンサ４の第１の露光と第２のイメージセンサ７の第２の露光を同期して開始する。

次に、図３のＳ９において、露光制御部２０が、第２のイメージセンサ７の第２の露光がループ撮影の露光時間Ｔ２を経過したかを判定する。第２の露光が露光時間Ｔ２を経過した場合は、処理がＳ１０に進む。第２の露光が露光時間Ｔ２を経過していない場合は、処理がＳ１１−２に進む。Ｓ１０において、露光制御部２０が、第２のイメージセンサ７のキャパシタをリセットし、次のフレームの露光を開始する。

Ｓ１１−２において、露光制御部２０が、第１のイメージセンサ４の第１の露光が露光時間Ｔ１を経過したかを判定する。第１の露光が露光時間Ｔ１を経過した場合には、処理がＳ１２に進む。第１の露光が露光時間Ｔ１を経過していない場合は、処理が図２のＳ６−２に進む。

また、Ｓ１１−１において、露光制御部２０が、第１のイメージセンサ４の第１の露光が露光時間Ｔ１を経過したかを判定する。第１の露光が露光時間Ｔ１を経過した場合には、処理がＳ１２に進む。第１の露光が露光時間Ｔ１を経過していない場合は、処理が図２のＳ６−１に進む。

次に、Ｓ１２において、露光制御部２０が、第１の露光と第２の露光とを同期して停止する。続いて、Ｓ１３において、システム制御部２１が、第１のイメージセンサ４、第２のイメージセンサ７から画像を読み出し、共通バス３１を介して、記憶部３３に記憶する。

なお、本実施例では、露光制御部２０は、正味の露光時間を記憶部に記憶し、正味の露光時間の合計値が露光時間Ｔ１を経過したかを判定する。これにより、外乱の発生中に露光が停止している期間を除いて露光時間を計算することができ、外乱の発生期間によらず、正確に露光時間を制御することができる。また、第１の露光が露光時間Ｔ１を経過していない場合には、第１の露光は継続し、処理が図２の６−１に戻る。また、第２の露光も継続し、図２のＳ６−２に戻る。

次に、Ｓ１４において、画像補正部１１が、第１のイメージセンサ４から読み出された第１の画像から第２の画像を画像減算して補正する。これにより、第１の画像に含まれる画像のブレ成分または露出異常の成分が除去される。本実施例では、図４の手遅れ時間ｄによって混入した、外乱の成分が、第１の画像から除去される。

次に、Ｓ１５において、レジストレーション部１２が、補正後の第１の画像と、露光が再開された後に読み出された第１の画像とをレジストレーション（位置合わせ）する。外乱が複数回生じ、第１の画像が個数存在する場合には、複数回のレジストレーションが実行される。

Ｓ１６において、画像合成部１３が、Ｓ１５でレジストレーションされた第１の画像を合成する。画像合成部１３が合成する画像の枚数は、外乱の数プラス１であり、一定の露光時間で画像を分割して撮像して合成する方法に比べて、少ない画像数で、かつ短い処理時間で合成することができる。また、撮像装置を少ない記憶領域で構成することができる。

Ｓ１７において、現像処理部１４が、Ｓ１６で合成された画像を現像処理する。現像処理された画像は、共通バス３１を介して記憶部３３に保存される。続いて、Ｓ１８において、システム制御部２１が、Ｓ１７で現像処理された画像を表示部３７に表示する。そして、Ｓ１９において、システム制御部２１が、Ｓ１７で現像処理された画像を外部メモリ３６に保存する。

実施例１によれば、長時間露光中に、カメラ振れもしくは露出異常など外乱が発生しても、撮像する画像への影響を短い処理時間で低減することができる。また、撮像装置を構成する記憶領域は、小さな記憶領域で構成することができる。また、第１のイメージセンサからの画像の読み出しは、外乱が発生した時点と、露光時間に達した時点に限られるので、一定の露光時間で画像を分割して撮像し合成する従来技術に比べて、読み出しノイズを小さく抑えることができる。

（実施例２）
図５は、実施例２の撮像装置が有するイメージセンサを説明する図である。
実施例１の撮像装置は、図１に示すように、撮像部１が２つの撮像光学系を有する形態であったが、実施例２の撮像装置は、撮像部が単一の撮像光学系を有する。単一の撮像光学系が有するイメージセンサ（ｅ）を構成する第１のラインセンサ（ａ）が、図１の第１のイメージセンサ４に対応する。また、第２のラインセンサ（ｂ）が、図１の第２のイメージセンサ７に対応する。第１のラインセンサと第２のラインセンサとは、交互に配置されている。なお、実施例２の撮像装置は、イメージセンサ以外は実施例１の撮像装置と同様の構成である。

第１のラインセンサから読み出された画像は露光時間が第１の露光時間の第１の画像（ｃ）を形成する。また、第２のラインセンサから読み出された画像は、露光時間が第２の露光時間の第２の画像（ｄ）を形成する。そして、第１の画像、第２の画像は、実施例１と同様に処理される。

実施例２の撮像装置によれば、単一の撮像光学が有するイメージセンサに、第１のラインセンサ、第２のラインセンサを交互に設置することにより、より単純な構成で長時間露光中の外乱の影響を低減することができる。なお、実施例２には一つの撮像素子においてラインごとに異なる露光時間を設定する例を示したがこれに限定されない。例えば、レンズからの光を光電変換するための複数の光電変換部を積層する積層型の撮像素子においては、積層している層ごとに露光時間を異ならせてもよい。また、画像処理部１０を撮像部１と同じパッケージ内に積層する構成としてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像部
１０ 画像処理部

Claims (10)

1. 第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する制御手段と、
   外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する補正手段と、
   前記外乱が検知されたことに応じて、前記第１の撮像手段の露光と前記第２の撮像手段の露光とを同期して停止する露光停止手段とを備え、
   前記補正手段は、前記第１の撮像手段の露光と前記第２の撮像手段の露光とが同期して停止した際に得られる第２の画像を前記第１の画像から減算する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記第２の露光時間を、前記外乱が生じてから前記露光停止手段が露光を停止するまでの時間より長い時間に設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する制御手段と、
   外乱を検知する検知手段と、
   前記外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する補正手段とを備えた撮像装置であって、
   前記検知手段は、
   ジャイロセンサの出力に基づいて、前記撮像装置の振れを前記外乱として検知すること、
   連続的に得られた複数の前記第２の画像を比較することにより、前記撮像装置の振れを前記外乱として検知すること、および、
   連続的に得られた複数の前記第２の画像を比較することにより、輝度値の変化に基づいて、露出異常を前記外乱として検知すること、の少なくともいずれかを行う
   ことを特徴とする撮像装置。
4. 前記第１の撮像手段と前記第２の撮像手段とは、異なる撮像光学系に設けられている
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の撮像手段は、単一の撮像光学系が有する撮像素子を構成する第１のラインセンサであり、
   前記第２の撮像手段は、前記撮像素子を構成する第２のラインセンサである
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する制御手段と、
   外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する補正手段とを備え、
   前記制御手段は、外乱が検知された後に前記外乱が検知されなくなった場合に、前記第１の撮像手段の露光と前記第２の撮像手段の露光とを同期して再開する
   ことを特徴とする撮像装置。
7. 前記補正された後の第１の画像と、前記露光が再開された後に得られる第１の画像とを合成する合成手段を備える
   ことを特徴とする請求項６に記載の撮像装置。
8. 第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する工程と、
   外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する工程と、
   前記外乱が検知されたことに応じて、前記第１の撮像手段の露光と前記第２の撮像手段の露光とを同期して停止する工程とを有し、
   前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する工程では、前記第１の撮像手段の露光と前記第２の撮像手段の露光とが同期して停止した際に得られる第２の画像を前記第１の画像から減算する
   ことを特徴とする撮像装置の制御方法。
9. 第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する工程と、
   外乱を検知する工程と、
   前記外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する工程とを有する撮像装置の制御方法であって、
   前記外乱を検知する工程では、
   ジャイロセンサの出力に基づいて、前記撮像装置の振れを前記外乱として検知すること、
   連続的に得られた複数の前記第２の画像を比較することにより、前記撮像装置の振れを前記外乱として検知すること、および、
   連続的に得られた複数の前記第２の画像を比較することにより、輝度値の変化に基づいて、露出異常を前記外乱として検知すること、の少なくともいずれかを行う
   ことを特徴とする撮像装置の制御方法。
10. 第１の撮像手段を第１の露光時間で露光し、前記第１の撮像手段の露光中に、第２の撮像手段を前記第１の露光時間より短い第２の露光時間で露光する工程と、
    外乱が検知された場合に、前記第１の撮像手段の露光で得られた第１の画像を前記第２の撮像手段の露光で得られた第２の画像で補正する工程と、
    前記外乱が検知された後に前記外乱が検知されなくなった場合に、前記第１の撮像手段の露光と前記第２の撮像手段の露光とを同期して再開する工程と、を有する
    ことを特徴とする撮像装置の制御方法。

Images