JP6034740B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、デジタルスチルカメラ等の電子撮像装置において、特に、比較明合成によりバルブ撮影画像を生成することが可能で、かつ露光時間が任意に調整可能な撮像装置および撮像方法に関する。

従来、一眼レフレックス式の撮像装置においては、被写体像の観察は光学ファインダにより行っていた。しかし、最近では光学ファインダをなくし、イメージセンサから読み出した画像を、背面液晶モニタ等によって表示するライブビュー表示によって、被写体像を観察する撮像装置が市販されている。また、光学ファインダの代わりに、ライブビュー表示による画像を、背面液晶モニタ等とは別に、電子ビューファインダを用いて表示し、上述の背面液晶モニタによる表示と電子ビューファインダによる表示を切替可能とした撮像装置も市販されている。

従来、光学ファインダであっても電子ビューファインダであっても、バルブ撮影のような長時間撮影時には、露出中にイメージセンサから画像データを読み出すことができないために、被写体の状態や露出状態を確認することができず、撮影が終了してから画像を確認していた。このため、撮影者にとって、絞りやＩＳＯ感度等の露出設定や露出開始と終了のタイミング決定は、被写体の明るさなどから撮影者自身が推定して決めなければならず、露出不足または露出過多による撮影失敗することなく、所望の撮影画像を得ることは容易ではなかった。

そこで、このような不具合を解決するために、特許文献１に開示の撮像装置は、所定の時間間隔でイメージセンサから画像データを読み出し、この画像データをイメージセンサから読み出す毎に単純に画像データの累積加算を行い、これによって得られた画像を液晶モニタ等に表示し、露出経過を表示できるようにしている。

また、特許文献２に開示の撮像装置は、連続的にイメージセンサから画像データを読み出し、比較明合成により、バルブ撮影画像データを生成している。この比較明合成は、画像データの画素毎の輝度レベルを比較し、大きい方を選択し、合成後の輝度レベルとする画像合成である。

特開２００５−１１７３９５号公報 特許第４１４８５８６号公報

特許文献１に開示の撮像装置では、バルブ撮影中に、現在の露光情報を撮影者に経過情報として告知することができ、露出不足や露出過多等の失敗を軽減することが可能である。しかし、バルブ撮影の対象として、一般的である夜空に打ち上げられた花火の光跡や、星の光跡を撮影する場合、露光時間が長い程、光跡の長さが延びていくと共に背景（これらの場合には夜空）の明るさが変化する場合がある。このような場合には、背景の明るさが露光過多または露光不足にならないような露光時間で撮影を終了する必要があり、光跡の長さが、撮影者の意図とは無関係に背景の明るさによって決まってしまう。

これに対して、特許文献２に開示の撮像装置では、連続的に撮像素子から読み出した画像データを、画像データの画素毎の輝度レベルを比較し、明るい方の画素を選択し、合成後の輝度レベルとする比較明合成により撮像画像データを生成している。このため、露光時間に無関係に背景の明るさは合成前の一枚の画像の明るさに維持され、撮影者の作意意図に合うように露光時間を設定して、光跡を写し込むことができる。

しかし、特許文献１、２に開示の撮像装置はいずれも、撮影者が背景の明るさと光跡の長さ・明るさのそれぞれを意図通りに撮影するには、被写体の明るさに合わせて、絞り、ＩＳＯ感度、および合成前の一枚の画像を撮影する露光時間を調整する必要がある。この調整は、長年の撮影経験や試写による明るさ確認等が必要であり、高度な撮影技術を要する。

また、星や花火などは暗い環境下で撮影を行うため、撮影後、昼間や部屋など明るい環境下で画像を確認すると、撮影画像は撮影時とは異なった明るさに見えるため、撮影意図にそぐわない明るさで撮影してしまうことが多々ある。

本発明は、このような事情を鑑みてなされたものであり、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能とする撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、イメージセンサと、上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、上記累積比較明合成画像データを再構成する比較明合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理部と、上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか小さい方の画素データを新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理部と、上記累積比較明合成画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの差を演算して新たな差分画像データを生成する差分画像合成部と、上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成部と、を備える。

第２の発明に係る撮像装置は、イメージセンサと、上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較明合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較明合成画像データを再構成する比較明画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理部と、上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理部と、上記累積比較明合成画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれの画素データの差を演算して新たな差分画像データを生成する差分画像合成部と、上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成部と、を備える。

第３の発明に係る撮像装置は、上記第１または第２の発明において、複数回の撮影を行って得られた画像データを加算する画像加算合成部を更に備え、上記第１画像データは適正露光となる露出時間で撮影して得られたものであり、上記適正露光となる露出時間よりも短い露出時間で複数回の撮影を行って得られた第３画像データを上記画像加算合成部で加算した加算画像データと上記第１画像データの差が所定範囲内であるときの上記加算画像データを、上記第２画像データとする。

第４の発明に係る撮像方法は、イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、上記累積比較明合成画像データを再構成する比較明合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理ステップと、上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか小さい方の画素データを新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理ステップと、上記累積比較明合成画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの差を演算して新たな差分画像データを生成する差分画像合成ステップと、上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成ステップと、を含む。

第５の発明に係る撮像方法は、イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較明合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較明合成画像データを再構成する比較明画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理ステップと、上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理ステップと、上記累積比較明合成画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれの画素データの差を演算して新たな差分画像データを生成する差分画像合成ステップと、上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成ステップと、を含む。

本発明によれば、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能とする撮像装置および撮像方法を提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラにおいて、バルブモードで比較明合成モードが選択されている場合の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラにおいて、バルブモードで比較明合成モードが選択されている場合の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラにおいて、露出調整の際の操作画面を示す図である。 本発明の第１実施形態に係るカメラにおいて、比較明・暗合成を示す図である。 本発明の第１実施形態に係るカメラにおいて、露出調整を説明する図である。 本発明の第２実施形態に係るカメラにおいて、バルブモードが選択されている場合の動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子から読み出される画像データに基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、バルブ撮影モードとして比較明合成モードを設定すると、バルブ撮影中に、画像データの画素毎に明るい方の画素を用いた比較明合成による比較明合成画像データを生成し、この画像データを用いてバルブ撮影中に露光状態の経過表示を行うことができる。

さらに、このカメラは、画像データの画素毎に暗い方の画素を用いた比較暗合成による比較暗合成画像データを生成し、前述の比較明合成画像データと比較暗合成画像データから差分出力画像データを生成している。生成した比較暗合成画像データを背景出力画像データとし、また差分出力画像データを光跡出力画像データとして、それぞれ明るさを調整し、調整後の各画像データを合成することにより、基準となる比較明合成画像データに対して、背景の明るさ、光跡の明るさを、それぞれ独立に調整可能である。

図１は、本発明の好ましい実施形態としての第１実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。

レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。

画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施し、画像比較合成部１１、画像平均合成部１２、差分画像合成部１３、画像加算合成部１４、画像合成部１５、および現像処理部１６を有する。

画像比較合成部１１は、イメージセンサ４から連続的に読み出された画像データと、内部メモリ３３に保存された画像データの画素毎の出力を比較し、画素毎に比較明処理及び比較暗合成処理を行い、これらの処理によって生成された比較明合成画像データおよび比較暗合成画像データを用いて合成画像データを生成する。

すなわち、画像比較合成部１１における比較明処理では、最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データを比較明合成画像データとして内部メモリ３３に記憶する。次に、イメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較明合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果、その差が所定値以上の場合には、いずれか大きい方、すなわち明るい方の画素データを検出し、この明るい方の画素データを用いて、累積比較明合成画像データを再構成する。一方、画像比較合成部１１は、それぞれ対応する画素データを比較した結果、その差が所定値よりも小さい場合には、対応する画素データを画像平均合成部１２により算出された平均値に置き換える。この処理をイメージセンサ４から画像データが読み出されるたびに繰り返し行う。比較明処理を行うことにより、夜空の星の光跡の画像を得ることができる（後述する図５（ｂ）参照）。

また、画像比較合成部１１における比較暗処理では、最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データを比較明合成画像データとして内部メモリ３３に記憶する。次にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較暗合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果、その差が所定値以上の場合には、いずれか小さい方、すなわち暗い方の画素データを検出し、この暗い方の画素データを用いて、累積比較暗合成画像データを再構成する。一方、画像比較合成部１１は、それぞれ対応する画素データを比較した結果、その差が所定値よりも小さい場合には、対応する画素データを画像平均合成部１２により算出された平均値に置き換える。この処理をイメージセンサ４から画像データが読み出されるたびに繰り返し行う。比較暗処理を行うことにより、夜空の星の光跡を消去し、背景の画像を得ることができる（後述する図５（ｃ）参照）。

画像平均合成部１２は、累積比較明合成画像データまたは累積比較暗合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較した結果、その差が所定値よりも小さい場合に、対応する画素データの平均値を算出する。

差分画像合成部１３は、比較明合成画像データと比較暗合成画像データの画素毎の差分出力を算出し、差分画像データを生成する。すなわち、差分画像データは、比較明合成画像データから比較暗合成画像データを画素データ毎に差分を算出して得た画像データであり、背景画像データが消失し、光跡のみの画像データである（後述する図５（ｄ）参照）。

画像加算合成部１４は、画素毎の出力を加算し、加算合成データを生成する。すなわち、所定周期でイメージセンサ４から画像データが読み出される毎に、画像加算合成部１４は、画像データを加算し、加算合成データを生成する。この加算合成データに基づいて表示を行うことにより、バルブ撮影時の撮影経過表示を行うことができる。なお、後述するフローチャート（図２，３参照）においては、この加算合成データに基づく撮影経過表示を省略している。

画像合成部１５は、比較暗合成画像データと差分画像データのそれぞれにゲインを乗算し、加算処理を行う。画像比較合成部１１によって生成された比較暗合成画像データは移動する明るい部分は消失し、背景のみからなる画像データであり（図５（ｃ）参照）、また差分画像データ移動する明るい部分、すなわち光跡からなる画像データである（図５（ｄ）参照）。これらの画像データにそれぞれゲインを乗算して加算処理を行うことにより、光跡部分と背景部分の明るさをそれぞれ独立して調整することができる。この調整については、図４ないし図６、および図３のＳ４３〜Ｓ５５を用いて後述する。

現像処理部１６は、画像合成部１５において生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。

内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＤＲＡＭ等の不揮発性のメモリによって構成される。

外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１６で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。

表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１６によって現像された画像を表示する。

入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。

露出判定部３４は、イメージセンサ４から読み出される画像データまたは各合成部で生成された画像データの出力から適正露出か否かを判定する。比較部３５は、比較合成する複数の画像データの画素毎の出力差を比較する。また画素毎の出力差と所定値（スレッシュレベル）を比較することも可能である。

システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの全体制御を行う。また、システム制御部２０は、露光時間算出部２１および露光時間制御部２２を有する。露光時間算出部２１は露出判定部３４における露出判定結果から最適な露光時間（シャッタ速度）を算出する。露光時間制御部２２は露出時間算出部２１における算出結果に応じてメカシャッタ３の開閉タイミング処理を制御する。露光時間算出部２１および露光時間制御部２２は、ソフトウエアによって処理してもよく、またハードウエアによって処理してもよい。

次に、図１に示したカメラの動作の概要を述べる。システム制御部２０による制御に基づいて、レンズ２を構成するフォーカスレンズの調整が行われ、絞りが所定値に設定され、メカシャッタ３が開いて、イメージセンサ４により光学像が電気信号に変換される。イメージセンサ４から読み出された画像データは、画像処理部１０において所定の画像処理が施され、外部メモリ３６に記録される。また画像処理部１０で所定の画像処理が施された画像データはリサイズされたのち表示部３７において表示される。

システム制御部２０は、入力ＩＦ３８を介してユーザからの指示を受け、イメージセンサ４の露出開始、信号読出等のタイミング制御、メカシャッタ３の開閉タイミング制御、レンズ２の絞り制御やオートフォーカス制御を行う。また、システム制御部２０は、画像処理部１０から画像データを受け取り、表示部３７による画像表示や、外部メモリ３６に画像データの保存等の制御を行う。

次に、図２および図３に示すフローチャートを用いて、本実施形態に係るカメラの処理の流れを説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。

このフローチャートでは、ユーザが入力ＩＦによりバルブ撮影モードを選択し、かつバルブ撮影モード中の比較明合成モードを選択している場合のシーケンスを図示している。バルブ撮影モードであっても、露光中の経過表示を行わない通常のバルブ撮影や、露光中の経過表示を加算画像で行う加算合成表示モードについては、省略してある。なお、経過表示モードの一種である加算合成表示モードが選択されると、バルブ撮影中に所定の周期でイメージセンサ４から画像データを読み出し、この読み出された画像データを順次加算することにより、露光時間の経過に応じて徐々に画面が明るくなっていくことを表示部３７に表示することができる。また、経過表示モードの一種である比較明合成モードは、露光時間によらず背景の明るさは一定で、露光時間に応じて光跡の長さを調整可能である。

ユーザは、バルブ撮影を行うにあたって予め表示部３７や光学ファインダ（不図示）を確認して撮影したい被写体を撮影できるように、カメラの向きやレンズの焦点距離（ズーム）を調節しておく。また必要に応じて、釦やタッチパネル等の入力ＩＦ３８を介して、フォーカスレンズの位置、絞り値、ＩＳＯ感度等の撮影情報を設定してもよい。

図２に示すフローに入ると、システム制御部２０は、レリーズスイッチの最初の押圧動作に応じて１ｓｔレリーズスイッチがオンとなったか否かを判定する（Ｓ１）。この判定の結果、オンでなければ、待機状態となる。

ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンであれば、次に、ＡＦおよびＡＥを行う（Ｓ３）。ここでは、システム手制御部２０は、ＡＦ（オートフォーカス）を行い、被写体にピントを合わせる。ＡＦにあたっては、システム制御部２０は、イメージセンサ４から繰り返し読み出される画像データのコントラスト値が最大値になるように、レンズ２内のフォーカスレンズを駆動する。また、ＡＥ（自動露出制御）を行い、適正露光となる露出時間や絞り等を算出する。

ＡＦとＡＥを行うと、次に、２ｎｄレリーズスイッチがオンであるか否かを判定する（Ｓ５）。ここでは、システム制御部２０は、最初の押圧動作よりも相対的に強い押圧動作がなされ、２ｎｄレリーズスイッチがオンになったかを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなければ、ステップＳ３に戻り、ＡＦ・ＡＥ動作を繰り返す。

ステップＳ５における判定の結果、２ｎｄレリーズスイッチがオンであれば、比較明合成モードによる比較明合成を行う。まず、画像読み出し周期Ｔを反映させる（Ｓ７）。この周期Ｔは、イメージセンサ４から画像データを読み出す周期であり、ユーザが手動で設定した値でもよく、またステップＳ３におけるＡＥにおいて算出した適正露光時間に応じた値でもよい。

画像読み出し周期Ｔを反映させると、次に、露出を開始する（Ｓ９）。ここでは、システム制御部２０は、イメージセンサ４に対して、露出を開始させる。露出を開始させると、次に、露出時間Ｔが経過したか否かを判定する（Ｓ１１）。ここでは、ステップＳ９における露出開始後、時間Ｔが経過したかを判定する。時間Ｔが経過するまで待機状態となる。

ステップＳ１１における判定の結果、露出時間Ｔが経過すると、次に、画像データを読み出すと共に、次のコマの露出を開始する（Ｓ１３）。続いて、ステップＳ１３において読み出された画像データを内部メモリ３３に保存する（Ｓ１５）と同時に、次回の撮影のための露出を開始する。

内部メモリ３３に画像データを保存すると、次に、比較明・暗合成処理を行う（Ｓ１７）。但し、比較明合成モードで最初にイメージセンサ４から画像データを読み出した場合には、比較明・暗合成処理はスキップし、２コマ目以降において比較明・暗合成処理を行う。この２コマ目以降の比較明・暗合成処理は、後述するステップＳ２５における判定の結果がＮｏであった場合に、時間Ｔが経過後に、ステップＳ１３において読み出した画像データと内部メモリ３３に記憶されている画像データ（累積比較明合成画像データおよび累積比較暗合成データ）に対して行う。

２コマ目の比較明・暗合成処理は、以下のようにして行う。内部メモリ３３には、１コマ目と２コマ目の画像データが一時記憶されている。システム制御部２０は、内部メモリ３３に一時記憶された１コマ目と２コマ目の読み出し画像データを、比較部３５に転送し、２枚の画像の同じアドレスの画素出力同士を比較し、大きい方の画素データを合成後の画像の画素データとして選択し、比較明合成画像データ（累積比較明合成画像データ）とする。また、２枚の画像の同じアドレスの画素出力同士を比較し、小さい方の画素データを合成後の画像の画素データとして選択し、比較暗合成画像データ（累積比較暗合成画像データ）とする。

ステップＳ１７において生成された比較明合成画像データと比較暗合成画像データは、内部メモリ３３に保存する（Ｓ１９）。

内部メモリに保存すると、次に、現像処理を行う（Ｓ２１）。ここでは、システム制御部２０は、内部メモリ３３に一時記憶された画像データに対して、現像処理部１６によって、デモザイキング処理、γ補正処理、ノイズリダクション処理、ＹＣ信号生成処理、リサイズ処理等の現像処理を行わせる。なお、リサイズ処理は、読み出された画像データの画素数は、液晶表示や電子ビューファインダの表示画素よりも大きいため、表示素子の表示画素数に合わせるためである。

現像処理を行うと、次に、現像画像の表示を行う（Ｓ２３）。ここでは、システム制御部２０は、現像処理部１６によって現像処理された比較明合成画像を、露光経過画像として、表示部３７に表示させる。ユーザは、バルブ撮影時の経過画像として確認することができる。

現像画像の表示を行うと、次に、２ｎｄレリーズスイッチのオフを検知したか否かを判定する（Ｓ２５）。本実施形態においては、ユーザがレリーズ釦を強く押し込んでから離すまで、すなわち２ｎｄレリーズスイッチがオンになるとバルブ撮影を開始し、２ｎｄレリーズスイッチがオフになるとバルブ撮影が終了する。なお、最初、２ｎｄレリーズスイッチがオンした後、オフしてもバルブ撮影を続行し、再度、２ｎｄレリーズスイッチがオンした際に、バルブ撮影を終了するようにしても勿論かまわない。

ステップＳ２５における判定の結果、２ｎｄレリーズスイッチがオフでなかった場合には、ステップＳ１１に戻る。３コマ目以降の画像データも露出時間Ｔ経過後にイメージセンサから読み出され（Ｓ１３）、内部メモリ３３に保存される（Ｓ１５）。比較部３５で、イメージセンサ４から読み出された画像データと、内部メモリ３３に保存されたそれまでの累積比較明合成画像データ（３コマ目の合成画像データであれば、１，２コマ目の比較明合成画像データ）を比較明合成処理し（Ｓ１７）、累積比較明合成画像データとして内部メモリ３３に保存する（Ｓ１９）。この保存された累積比較明合成画像データは現像処理が施され（Ｓ２１）、露光経過画像として表示部３７に表示される（Ｓ２３）。また、同様に、イメージセンサ４から読み出された画像データと累積比較暗合成画像データ（３コマ目の合成画像データであれば、１，２コマ目の比較暗合成画像データ）を比較暗合成処理し（Ｓ１７）、累積比較暗合成画像データとして内部メモリ３３に保存される（Ｓ１９）。

このように、バルブ撮影中は、時間Ｔが経過するたびに、イメージセンサ４から画像データが読み出され、比較明合成処理と比較暗合成処理が行われ、比較明合成処理された画像が表示部３７に露光経過画像として表示される。

ステップＳ２５における判定の結果、２ｎｄレリーズスイッチのオフを検知すると、バルブ撮影の終了処理を行う。

次に、ステップＳ４３以下において、露出調整処理を行う。この露出調整処理では、最終撮影画像の背景と光跡の部分の明るさを、それぞれ独立して調整することができる。まず、背景・光跡の明るさを調整するか否かの判定を行う（Ｓ４３）。このステップでは、調整要否画面（例えば、図４（ａ）に示すような露出調整要否画面）が表示部３７に表示されることから、ユーザはこの露出調整要否画面を見て、背景と光跡の明るさが意図通りかを確認する。意図通りである場合には、入力ＩＦ３８によって、露出調整「しない」を選択する（Ｓ４３→Ｎｏ）。この場合には、累積比較明合成画像データ及びその現像処理画像データを外部メモリに保存し、撮影を完了する。

一方、ステップＳ４３における判定の結果、露出調整「する」を選択した場合には（Ｓ４３→Ｙｅｓ）、表示部に背景・光跡の明るさ調整画面（例えば、図４（ｂ）に示すような露出調整操作画面）が表示部３７に表示される。

この状態で、露出調整ゲイン設定操作がなされると、その設定操作量を取得する（Ｓ４５）。図４（ｂ）に示す例では、背景と光跡のそれぞれについて、調整インジケータを表示する。ユーザがインジケータを右にスライド操作することによって輝度を明るく、または左にスライド操作することによって輝度を暗くすることを指示すると、システム制御部２０は、入力ＩＦ３８中のタッチパネルを介して、ユーザの指示を入力する。

システム制御部２０は、ユーザの操作によって入力された背景、光跡の明るさ調整量を、表示されている画像に対して、何倍の明るさに変更するかを調整ゲインに変更する。背景の調整ゲインをα、光跡の調整ゲインをβとすると、例えば、背景を＋１段、光跡を−１段の明るさ調整したい旨の入力があった場合は、α＝２、β＝０．５と変換する。

次に、露出調整ゲイン設定操作を行うと、次に差分出力画像データの生成を行う（Ｓ４７）。ここでは、システム制御部２０は、差分画像合成部１３に比較明合成画像データと比較暗合成画像データを入力させ、下記（１）式によって差分出力画像データを生成し、内部メモリ３３に保存する。
差分出力画像データ＝比較明合成画像データ−比較暗合成画像データ ・・・（１）

ここで、図５のように、露光時間Ｔで読み出された合成前のそれぞれの画像データは、背景の明るさが変わるところがなければ、比較暗合成画像データ（図５（ｃ））は光跡を除いた背景の明るさを反映した画像データに相当する。一方、差分出力画像データ（図５（ｄ））は、比較明合成画像データ（図５（ｂ））から背景（比較暗合成画像データ）（図５（ｃ））を減算した画像データであるので、光跡のみを写し込んだ画像データとなる。

ステップＳ４７において、差分出力画像データを生成すると、次に合成画像データの生成を行う（Ｓ４９）。ここでは、システム制御部２０は、内部メモリ３３に保存した比較暗合成画像データと差分出力画像データを画像合成部１５に出力させ、以下に示す式（２）に従って合成画像データを生成する。すなわち、比較暗合成画像データに調整ゲインαを乗算した画像データと、差分出力画像データに調整ゲインβを乗算した画像データの２つの画像データの加算合成を行い、合成画像データを生成する。この生成された合成画像データを内部メモリ３３に保存する。
合成画像データ＝（比較暗合成画像データ×α）＋（差分出力画像データ×β） ・・・（２）
ここで、Ａ＋Ｂは、画像データＡと画像データＢの加算合成画像データを示す。

上述の合成により、背景の明るさ調整画像データ（比較暗合成画像データ×α）と光跡の明るさ調整画像データ（差分出力画像データ×β）を合成した画像データが生成され、ユーザの操作に応じて明るさが調整された画像データが生成される。

ステップＳ４９において、合成画像データが生成されると、次に、現像処理を行い（Ｓ５１）、表示部３７に画像表示を行う（Ｓ５３）。画像表示を行うと、次に、明るさがＯＫか否かを判定する（Ｓ５５）。ここでは、図４に示したように、再度、調整画面が表示されるので、ユーザは明るさ調整された画像を確認し、再調整が必要であれば、露出調整「する」をタッチ操作する。合成画像の明るさが不十分または過度であれば、ステップＳ４５に戻り、明るさ調整値の入力後、再度、背景・光跡の明るさ調整を行う。

図６に、背景・光跡調整の例を示す。図６（ａ）は、光跡の明るさ調整の例であり、ここでは、軌跡の本数を調整する。画像Ｐ２は基準画像であり、画像Ｐ１はマイナス補正を施し、画像Ｐ３はプラス補正を施している。図６（ａ）から分かるように、背景の明るさは変化させないで、光跡のみを調整することができる。

また、図６（ｂ）は、背景の明るさ調整の例である。画像Ｐ５は基準画像であり（Ｐ２と同じ画像）、画像Ｐ４はマイナス補正を施し、画像Ｐ６はプラス補正を施している。図６（ｂ）から分かるように、光跡の明るさは変化させないで、背景の明るさのみを調整することができる。

一方、ステップＳ５５において、ユーザが意図通りの明るさに調整されたと判断した場合には、入力ＩＦ３８を介して、露出調整「しない」をタッチ操作する。この場合には、ステップＳ５５における判定の結果が、明るさＯＫとなり、合成画像及びその現像処理画像を外部メモリ３６に保存し（Ｓ５７）、撮影を完了する。

このように、本発明の第１実施形態においては、図６に示したように、撮影後に比較明合成画像を確認しながら、ユーザは作意意図に合わせて、背景と光跡について、それぞれ明るさを調整することができる。このため、難易度の高いバルブ撮影の露出失敗による撮影失敗を防止すると共に、撮影者の意図に沿った写真撮影が可能となる。

次に、本発明の第１実施形態の変形例について説明する。第１実施形態においては、画像比較合成部１１における比較明・暗合成を行う際に、比較部３５で画素毎に画素データを比較し、大きいか小さいかを判定していた。これに対して、本変形例では、比較する画素データ出力同士の差分画素データを算出し、その差分画素データを比較部３５において、スレッシュレベル（所定値）ＴＨと比較し、スレッシュレベルよりも大きい画素データは画像比較合成部１１で比較明・暗合成した値とし、またスレッシュレベルより小さい画素は画像平均合成部１２で平均値を算出し、この平均値を合成後の画像出力とする。すなわち、下記に示す処理を行う。
差分画素データ≧ＴＨ → 比較明・暗合成
差分画素データ＜ＴＨ → 平均合成

イメージセンサ４から読み出された画像データにはランダムノイズが含まれる。輝度の変化しない背景については複数の画像データの比較明合成ではランダムノイズの最大値が、累積比較明合成画像データに反映され、また比較暗合成ではランダムノイズの最小値が、累積比較暗合成画像データに反映される。このため、本変形例においては、スレッシュレベルＴＨをランダムノイズ程度の値に設定することにより、ランダムノイズによる画質悪化を抑制し、最終的な合成画像の画質を改善することができる。

次に、本発明の第２実施形態について、図７を用いて説明する。第１実施形態においては、イメージセンサ４からの１コマの露出時間（読出周期Ｔ）は、バルブ撮影中、一定であった。これに対して、第２実施形態においては、イメージセンサ４からの１コマの露出時間は、周囲の明るさに応じて変化させている。

すなわち、第１実施形態においては、２ｎｄレリーズスイッチがオンになってからオフとなるまでの撮影の途中で、背景の明るさが変化した場合、例えば、夕暮れ時や夜明け時の天体撮影や、大きな花火が打ちあがり、背景の明るさが変化した場合には、最終的な累積比較明合成には、背景が最も明るく写った際の背景が反映される。一方、累積比較暗合成画像データには背景が最も暗く写った際の背景が反映される。差分合成画像データは、これらの画像データの差分であることから、光跡の出力と共に背景の明るさの変化の差分が含まれてしまう。

この差分合成画像データを用いて、撮影者が第１実施形態において説明したような背景・光跡の明るさ調整を行う場合には、光跡の明るさだけではなく背景の輝度も変化することになり、撮影者の意図しない合成画像データが生成されてしまう。そこで、第２実施形態においては、この不具合を解決するために、１コマの露出時間を周囲の明るさの変化に応じて変えることにより、比較明・暗合成する際の画像の明るさ変化を極力小さくするようにしている。

本実施形態における構成は、第１実施形態に係る図１に示すブロック図と同様であり、図２に示したフローチャートを図７に置き換えるだけである。また、図７のフローチャートは、図２に示したフローチャートにステップＳ１６Ａ〜Ｓ１６Ｅを追加しているだけであるから、この相違点を中心に説明する。

図７に示すフローに入り、ステップＳ７において画像読み出し周期Ｔを反映させ、露出を開始し（Ｓ９）、１コマ目の露出時間Ｔが経過すると（Ｓ１１）、画像データを読み出すと共に、次回撮影のための露出を開始し（Ｓ１３）、読み出した画像データを内部メモリ３３に保存する（Ｓ１５）。

ステップＳ１５において画像データを内部メモリに保存すると、２コマ目以降の露出時間がＴ／Ｎを経過したか否かを判定する（Ｓ１６Ａ）。ここで、Ｎは整数であり、Ｔ／Ｎは時間Ｔよりも短い時間となる。イメージセンサ４は、１コマ目は時間Ｔで露光を行い、２コマ目以降は時間Ｔ／Ｎで露光を行う。

ステップＳ１６Ａにおける判定の結果、露出時間Ｔ／Ｎが経過すると、画像データを読み出すと共に、次回の撮影のための露出を開始する（Ｓ１６Ｂ）。読み出された画像データは、内部メモリ３３に保存される（Ｓ１６Ｃ）。

内部メモリに保存すると、次に、加算画像処理を行う（Ｓ１６Ｄ）。ここでは、画像加算合成部１４において、２コマ目以降の読み出した画像データを加算する。すなわち、ステップＳ１６Ｂにおいて、画像データが読み出されるたびに、画像データが加算されていく。この加算画像データは内部メモリ３３に保存し、次の加算画像処理の際に使用する。

加算画像処理を行うと、次に、この加算画像データとステップＳ１５にて内部メモリ３３に記憶された１コマ目の画像データとの露出差が１／Ｎよりも小さいか否かを判定する（Ｓ１６Ｅ）。ここでは、比較部３５が、１コマ目の露出によって取得した画像データの露出量と、加算画像処理によって取得した画像データの露出量の比較を行う。比較は比較部３５にて、以下に示す（３）式において露出差を算出して行う。
露出差＝｛（１コマ目の画像データの露出量）−（加算合成画像データの露出量）｝／（１コマ目の画像データ露出量） ・・・（３）

露出量の算出は、近年、デジタルカメラに搭載されているＡＥ（測光）の手法を用いて画像画素出力平均値を算出すればよい。

ステップＳ１６Ｅにおける判定の結果、露出差が１／Ｎ以上の場合は、ステップＳ１６Ａに戻り、上述した加算合成処理を繰り返し行う。これにより、徐々に加算合成画像データの露出量が大きくなっていく。

ステップＳ１６Ｅにおける判定の結果、露出差が１／Ｎ以下になったところで、加算合成画像データを内部メモリ３３に保存し、この加算合成画像データと１コマ目の読み出し画像データを用いて比較明・暗合成を行い（Ｓ１７）、それぞれ累積比較明合成画像データと累積比較暗合成画像データとして内部メモリ３３に保存する（Ｓ１９）。

以後、２ｎｄレリーズスイッチがオフされるまでは、時間Ｔ／Ｎ（Ｎは整数）ごとに読み出した画像データに対して、上述したシーケンスで、１コマ目との露出差が１／Ｎ以下となる加算合成画像データを生成し、累積比較明合成、累積比較暗合成と比較合成処理を行う。ステップＳ２５における判定の結果、２ｎｄレリーズスイッチがオフされると、図３に示すステップＳ３１以下を実行する。このフローは、第１実施形態と同様であることから、説明を省略するが、撮影者の意図に合わせて背景・光跡の明るさを調整し、最終的な画像データを外部メモリ３６に保存する。

このように、第２実施形態においては、背景の明るさが１コマ目の撮影画像の明るさに近い（露出差１／Ｎ以下）加算合成画像データを比較明合成と比較暗合成することで、背景の明るさが変化した場合でも、撮影者の意図しない合成画像データ生成されることを防止することができる。

以上説明したように、本発明の各実施形態や変形例においては、イメージセンサから所定時間間隔で連続的に読み出された画像データを用いて、画像データの画素毎に暗い方の画素を用いた比較暗合成による比較暗合成画像データを生成し、また画像データの画素毎に明るい方の画素を用いた比較明合成による比較明合成画像データを生成し、比較明合成画像データと比較暗合成画像データから差分出力画像データを生成している（図３のＳ３５、Ｓ４７、図５（ｂ）（ｃ）（ｄ）参照）。そして、生成した比較暗合成画像データを背景画像データとし、また差分出力画像データを光跡出力画像データとして、それぞれ明るさを調整し、調整後の各画像データを加算合成することにより、基準となる比較明合成画像データに対して、背景の明るさ、光跡の明るさを、それぞれ独立して調整可能としている。このため、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能としている。

また、比較暗合成画像データと比較明画像データの合成の生成にあたっては、同じアドレスの画素データ同士の比較を行い、大きいまたは小さい方の画素データを用いて行うようにしている。このため、構成が単純であり、迅速に処理することができる。また、比較暗合成画像データと比較明画像データの合成にあたっては、画素データ同士の差分が所定値を超えている場合には、大きいまたは小さい画素データを用いて比較暗合成画像データまたは比較明合成画像データを生成し、画素データ同士の差分が所定値以下の場合には、画素データの平均値を用いて比較暗合成画像データまたは比較明合成画像データを生成している。差分値を用いて判定していることにより、画素ノイズの影響を低減することができる。

なお、本発明の各実施形態や変形例においては、比較明・暗合成処理を行うと、最新の累積比較明合成画像データ・累積比較暗合成画像データのみを記憶していたが（図２のステップＳ１９、図３のＳ３７、図７のＳ１９）、過去の一連の累積明合成画像データ・累積暗合成画像データを記憶しておき、バルブ撮影の終了後に、これらの画像データに基づいて、それぞれ差分出力画像データを生成し、ユーザが意図する画像データを選択するようにしてもよい。

また、本発明の各実施形態や変形例においては、画像表示として比較明合成画像を表示していたが、これに限らず、ユーザが選択すれば比較暗合成画像、差分出力画像を表示するようにしても良い。

また、本発明の各実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、バルブ撮影が可能な撮影のための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・画像比較合成部、１２・・・画像平均合成部、１３・・・差分画像合成部、１４・・・画像加算合成部、１５・・・画像合成部、１６・・・現像処理部、２０・・・システム制御部、２１・・・露光時間算出部、２２・・・露光時間制御部、３１・・・バス、３３・・・内部メモリ、３４・・・露出判定部、３５・・・比較部、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ

Claims (5)

1. イメージセンサと、
   上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、上記累積比較明合成画像データを再構成する比較明合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理部と、
   上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか小さい方の画素データを新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理部と、
   上記累積比較明合成画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの差を演算して新たな差分画像データを生成する差分画像合成部と、
   上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成部と、
   を備えたことを特徴とする撮像装置。
2. イメージセンサと、
   上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較明合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較明合成画像データを再構成する比較明画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理部と、
   上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理部と、
   上記累積比較明合成画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれの画素データの差を演算して新たな差分画像データを生成する差分画像合成部と、
   上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成部と、
   を備えたことを特徴とする撮像装置。
3. 複数回の撮影を行って得られた画像データを加算する画像加算合成部を更に備え、
   上記第１画像データは適正露光となる露出時間で撮影して得られたものであり、上記適正露光となる露出時間よりも短い露出時間で複数回の撮影を行って得られた第３画像データを上記画像加算合成部で加算した加算画像データと上記第１画像データの差が所定範囲内であるときの上記加算画像データを、上記第２画像データとすることを特徴とする請求項１又は２に記載の撮像装置。
4. イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、上記累積比較明合成画像データを再構成する比較明合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理ステップと、
   上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較し、いずれか小さい方の画素データを新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理ステップと、
   上記累積比較明合成画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの差を演算して新たな差分画像データを生成する差分画像合成ステップと、
   上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成ステップと、
   を含むことを特徴とする撮像方法。
5. イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較明合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較明合成画像データを再構成する比較明画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較明合成処理ステップと、
   上記イメージセンサから読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、上記イメージセンサから読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データの差を所定値と比較し、上記差が上記所定値以上のときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとし、上記差が上記所定値より小さいときは、上記イメージセンサから読み出された画像データを基に生成された上記第２画像データを構成する画素データと上記累積比較暗合成画像データを構成する画素データのそれぞれ対応する画素データの平均値を新たな画素データとして、上記累積比較暗合成画像データを再構成する比較暗画像合成処理を上記イメージセンサから読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う比較暗合成処理ステップと、
   上記累積比較明合成画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれの画素データの差を演算して新たな差分画像データを生成する差分画像合成ステップと、
   上記累積比較暗合成画像データに任意のゲイン値を乗算した画像データと、上記差分画像データに任意のゲイン値を乗算した画像データを合成する画像合成ステップと、
   を含むことを特徴とする撮像方法。