JP5952975B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、デジタルスチルカメラ等の電子撮像装置において、特に、比較明合成、比較暗合成によりバルブ撮影画像を生成することが可能でかつ露光時間が任意に調整可能な撮像装置および撮像方法に関する。

従来、一眼レフレックス式の撮像装置においては、被写体像の観察は光学式ファインダにより行っていた。しかし、最近では光学式ファインダをなくし、イメージセンサから読み出した画像を、液晶モニタ等によって表示するライブビュー表示によって、被写体像を観察する撮像装置が知られている。また、光学ファインダの代わりに、ライブビュー表示による画像を、液晶モニタとは別に電子ビューファインダを用いて表示し、液晶モニタと電子ビューファインダを切り換え可能にした撮像装置が市販されている。

従来、光学ファインダの場合も電子ビューファインダの場合もバルブ撮影のような長時間撮影時には、露出中にイメージセンサからの画像信号読出しを行うことができなかったため、被写体の状態や露出状態を確認することができず、撮影が終了してから画像を確認していた。このため、撮影者にとっては、露出設定や露出時間は、被写体の明るさなどから撮影者自身で推定し、露出の開始や終了を決定することとなり、露出不足や過多による撮影失敗をすることなく、所望の撮影画像を得ることは容易ではなかった。

そこで、所定の時間間隔でイメージセンサから画素信号を読み出し、この画像信号をイメージセンサから読み出す毎に単純に累積加算して得られた画像を液晶モニタに表示する撮像装置が提案されている（特許文献１参照）。この撮像装置によれば、バルブ撮影等の長時間撮影時に、途中経過が表示されることから撮影の失敗を減らすことができる。また、連続的にイメージセンサから画像信号を読み出し、比較明合成（画像データの画素毎の輝度レベルを比較し、大きい方を選択し合成後の輝度レベルとする合成方式）により、バルブ撮影画像を生成する撮像装置が提案されている（特許文献２参照）。

特開２００５−１１７３９５号公報 特許第４１４８５８６号公報

バルブ撮影では、数秒〜数分に亘る長時間での露光による撮影が行われる。イメージセンサの特性として、長秒撮影時にイメージセンサの画素を構成するフォトダイオードで暗電流成分が発生し、固定パターンノイズが発生する。暗電流の発生量は画素毎にバラツキがあり、露光時間に比例して増加する。また、イメージセンサの温度が高いほど増加する特性があり、画像には欠陥状のノイズや、画像濃度ムラとして現れる。

この暗電流による固定パターンノイズはシャッタを開けて、露光した状態での撮影でも、遮光した状態での撮影でも無関係に露光時のイメージセンサ温度と露光時間にのみ依存して発生するため、現在市販されているデジタルカメラにおいては、バルブ撮影時はユーザが撮影後（撮影画像を明時画像とする）に自動で同じシャッタ速度で遮光画像を撮影し、イメージセンサ後段の画像処理回路にて明時画像データと遮光画像データの減算処理を行うことにより固定パターンノイズを補正するＦＰＮ（Fixed Pattern Noise：固定パターンノイズ）キャンセル処理が行われている。

しかし、特許文献１、２記載の撮像装置や、また近年市販されているデジタルカメラを用いてユーザがバルブ撮影を行う際には、撮影前にライブビュー表示された像を確認しながら、構図の確認や、ピント調節、その他の撮影設定をした後に撮影を開始している。また、ユーザがライブビュー表示と肉眼で直接被写体を見るのと違和感を感じることなく構図合わせ等撮影に集中できるように、ライブビューではイメージセンサから高速（１秒に３０コマ、６０コマまたはそれ以上）なフレームレートで画像を表示させている。

一方、バルブ撮影が開始されると、露光動作中はイメージセンサからの読み出し動作の回数が減少し、イメージセンサ内部の一部回路については電力消費が抑えられた動作を行うこととなり、ライブビューでの動作と比較すると消費電力、つまりはイメージセンサからの発熱が大分抑制された状態となる。また画像読み出しが行われない期間は画像処理回路で処理も行われず、ライブビュー画像の表示更新も行われないため、カメラ全体としては発熱が抑制される。そこで環境温度の変化ない場所で撮影を行った場合にはバルブ撮影開始時に温度が高く、露光するほど温度が減少する傾向がある。

特許文献１、２に記載の撮像装置や一般に市販されているライブビュー機能搭載のデジタルカメラでは、明時画像撮影後に暗時画像を撮影するため、暗時画像はさらにイメージセンサが低い状態で撮影を行うことになる。固定パターンノイズの原因である暗時電流はイメージセンサの温度が高くなるほど増加するため、明時画像の方が暗画像よりも固定パターンノイズが大きくなり、ＦＰＮキャンセル処理を行っても補正ができない。

本発明は、このような事情を鑑みてなされたものであり、イメージセンサから連続的に読み出した画像信号を比較合成（比較明合成または比較暗合成）してバルブ撮影画像を生成する際に、ＦＰＮキャンセルの補正効果が高くなるように補正を行い、画質を向上させた撮像装置および撮像方法を提供することを目的とする。

本発明の第１の態様に係わる撮像装置は、撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして上記累積比較明合成画像データを再構成する比較明合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置であって、上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部と、上記暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正する補正部と、を備え、上記補正部は、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も高いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正する。

本発明の第２の態様に係わる撮像装置は、撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして上記累積比較暗合成画像データを再構成する比較暗合成処理を、上記撮像素子から読み出された画像データを基に生成される２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置において、上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部と、上記暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する補正部と、を備え、上記補正部は、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も低いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する。

本発明の第３の態様に係わる撮像方法は、撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして上記累積比較明合成画像データを再構成する比較明合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像方法であって、上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像ステップと、上記暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正する補正ステップと、を含み、上記補正ステップは、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も高いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正する。

本発明の第４の態様に係わる撮像方法は、撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして上記累積比較暗合成画像データを再構成する比較暗合成処理を、上記撮像素子から読み出された画像データを基に生成される２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像方法であって、上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像ステップと、上記暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する補正ステップと、を含み、上記補正ステップは、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も低いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する。

本発明によれば、イメージセンサから連続的に読み出した画像信号を比較合成（比較明合成または比較暗合成）してバルブ撮影画像を生成する際に、ＦＰＮキャンセルの補正効果が高くなるように補正を行い、画質を向上させた撮像装置および撮像方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、比較合成モードが設定されている場合の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、比較合成モードが設定されている場合の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、比較明合成処理時の動作を示すタイミングチャートである。 本発明の一実施形態に係るカメラにおいて、比較暗合成処理時の動作を示すタイミングチャートである。

以下、本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子（イメージセンサ４）から読み出される画像データに基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、撮影時の明時画像から、撮像素子の撮像面に入射する光線を遮光した状態で取得した暗時画像を差し引くことによりＦＰＮ補正を行う。このＦＰＮ補正にあたって、補正対象となる明時画像を取得した時の温度と、暗時画像取得時の温度がなるべく等しくなるように暗時画像取得のタイミングを調整するようにしている。

すなわち、本実施形態においては、イメージセンサ４から連続的に読み出した画像信号を比較合成してバルブ撮影画像を生成するにあたって、比較合成として比較明合成（画像データの画素毎に輝度レベルを比較し、大きい方を選択し合成後の輝度レベルとする画像合成）を行う場合には（図２のＳ２１参照）、明時画像撮影前に撮影した暗時画像をもちいて、ＦＰＮキャンセルを行う（図２のＳ２５参照）。また、比較合成として、比較暗合成（画像データの画素毎に輝度レベルを比較し、小さい方を選択し合成後の輝度レベルとする画像合成）を行う場合には、明時画像を撮影後に撮影した暗時画像を用いてＦＰＮキャンセルを行うことで合成画像の固定パターンノイズを精度よく補正し、画質を向上させる（図３のＳ４１参照）。また、明時画像撮影前に撮影した暗時画像を用いて合成途中の画像についてもＦＰＮキャンセルを行い、ライブビュー表示や途中経過の記録画像の画質も向上させるようにしている（図２のＳ２５、図３のＳ３１参照）。

図１は、本発明の好ましい実施形態としての一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、レンズ２は、カメラ本体と一体に構成されているが、交換レンズとしても勿論かまわない。

撮像部１内には、レンズ２、メカシャッタ３、イメージセンサ４、温度センサ５を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。メカシャッタ３を閉じることにより、イメージセンサ４は遮光され、この状態で取得された画像データは暗時画像データと称す。

イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。メカシャッタ３およびイメージセンサ４は、第１画像データ（第１画像データはイメージセンサ４から読み出された画像データを基に最初に生成された画像データ）を取得する前または最後に取得した第２画像データ（第２画像データは第１画像データを生成した後、イメージセンサ４から読み出された画像データを基に生成された画像データ）の後に、イメージセンサ４の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部として機能する。

温度センサ５は、イメージセンサ４の近傍に配置され、イメージセンサ４の周囲の温度に応じた信号をシステム制御部２０に出力する。後述するように、温度センサ５は、イメージセンサ４から読み出された画像データを基に最初に生成された第１画像データを取得する時、およびイメージセンサ４から読み出された画像データを基に最後に生成された第２画像データを取得する時の温度データを少なくともシステム制御部２０に出力する。

画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施す。この画像処理部１０は、画像合成部１１、ＦＰＮキャンセル処理部１２、現像処理部１３を有する。

画像合成部１１は、比較明合成部１１ａおよび比較暗合成部１１ｂを有し、イメージセンサ４から連続的に読み出された画像や内部メモリ３３に保存された画像データの内、それぞれ対応する画素毎に出力を比較し、画素毎に比較明合成処理および比較暗合成処理によって合成画像を生成する。

比較明合成部１１ａは、以下のような比較明合成処理を行う。最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データが累積比較明合成画像データとして内部メモリ３３に記憶される。次に、イメージセンサ４から画像データが読み出されると、比較明合成部１１ａは、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較明合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果に応じて、いずれか大きい方、すなわち明るい方の画素データを検出し、この明るい方の画素データを用いて、累積比較明合成画像データを再構成する。この処理をイメージセンサ４から画像データが読み出されるたびに繰り返し行う。なお、例えば、天体写真を撮影した場合に比較明合成処理を行うと、夜空の星の光跡の画像を得ることができる。

比較暗合成部１１ｂは、以下のような比較暗合成処理を行う。最初にイメージセンサ４から読み出された画像データを基に生成された画像データを構成する画素データが累積比較暗合成画像データとして内部メモリ３３に記憶される。次に、イメージセンサ４から画像データが読み出されると、比較暗合成部１１ｂは、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ３３に記憶されている累積比較暗合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較する。そして、それぞれ対応する画素データを比較した結果、いずれか小さい方、すなわち暗い方の画素データを検出し、この暗い方の画素データを用いて、累積比較暗合成画像データを再構成する。なお、例えば、天体写真を撮影した場合に比較暗合成処理を行うと、夜空の星の光跡を消去し、背景の画像を得ることができる。

ＦＰＮキャンセル処理部１２は、明時撮影画像（メカシャッタ３が開かれている際に撮影された撮影画像）と暗時撮影画像（メカシャッタ３が閉じられている際に撮影され、暗時画像データを取得するための画像）の画素データ毎の出力の減算処理を行い、固定パターンノイズを補正する。ＦＰＮキャンセル処理部１２は、暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正する補正部として機能する。この補正部は、第１画像データを取得する前に取得した暗時画像データ、または最後に取得した第２画像データの後に取得した暗時画像データのうち、第１画像データまたは第２画像データを取得する時の撮像素子の温度が最も高いと想定される時に最も近い時に取得した暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正する。

またＦＰＮキャンセル処理部１２は、暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する補正部として機能する。この補正部は、第１画像データを取得する前に取得した暗時画像データ、または最後に取得した第２画像データの後に取得した暗時画像データのうち、第１画像データまたは第２画像データを取得する時の撮像素子の温度が最も低いと想定される時に最も近い時に取得した暗時画像データを用いて累積比較暗合成画像データ中の固定パターンノイズを補正する。

現像処理部１３は、画像合成部１０で生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。

バス３１には、前述の画像処理部１０の他、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ（インターフェース：Interface）３８、システム制御部２０が接続されている。

内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＳＤＲＡＭ等の不揮発性のメモリによって構成される。

外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１３で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。

表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）を有し、現像処理部１３によって現像された画像を表示する。

入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。

システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの各部を制御することにより全体制御を行う。

また、システム制御部２０は、前述の比較明合成処理の全体制御を行う。この比較明合成処理では、イメージセンサ４から読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎにイメージセンサ４から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして累積比較明合成画像データを再構成する比較明合成処理を、撮像素子から読み出された画像データを基に生成された２コマ目以降の第２画像データに対して順次に繰り返し行う。

また、システム制御部２０は、前述の比較暗合成処理の全体制御を行う。この比較暗合成処理では、イメージセンサ４から読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎにイメージセンサ４から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして累積比較暗合成画像データを再構成する比較暗合成処理を、撮像素子から読み出された画像データを基に生成される２コマ目以降の第２画像データに対して順次に繰り返し行う。

次に、図１に示したカメラの動作の概要を述べる。システム制御部２０による制御に基づいて、レンズ２を構成するフォーカスレンズの調整が行われ、絞りが所定値に設定され、メカシャッタ３が開いて、イメージセンサ４により光学像が電気信号に変換される。イメージセンサ４から読み出された画像データは、画像処理部１０において所定の画像処理が施され、外部メモリ３６に記録される。また画像処理部１０で所定の画像処理が施された画像データはリサイズされたのち表示部３７において表示される。

システム制御部２０は、入力ＩＦ３８を介してユーザからの指示を受け、イメージセンサ４の露出開始、信号読出等のタイミング制御、メカシャッタ３の開閉タイミング制御、レンズ２の絞り制御やオートフォーカス制御を行う。また、システム制御部２０は、画像処理部１０から画像データを受け取り、表示部３７による画像表示や、外部メモリ３６に画像データの保存等の制御を行う。

次に、図２および図３に示すフローチャートを用いて、本実施形態に係るカメラの処理の流れを説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。

このフローチャートでは、ユーザが入力ＩＦ３８によりバルブ撮影モードを選択し、かつバルブ撮影モード中の比較合成モードを選択している場合のシーケンスを図示している。バルブ撮影モードであっても、露光中の経過表示を行わない通常のバルブ撮影や、露光中の経過表示を加算画像で行う加算合成表示モードについては省略し、連続的に読み出した画像データを比較合成しては順次、撮影経過として表示する経過表示動作について説明する。比較合成には、比較明合成と比較暗合成がある。ユーザの撮影意図に応じて選択できるようにする。カメラの内部処理としては、比較明合成と比較暗合成を並列して同時に行っても構わない。なお、比較明合成モードが設定されると、露光時間によらず背景の明るさは一定で、露光時間に応じて光跡の長さを調整可能であり、また、比較暗合成モードが設定されると、移動する光跡は消去され、背景画像のみとなる。

図２に示すフローに入ると、まず、ライブビュー表示を行う（Ｓ１）。このステップでは、メカシャッタ３を開放状態とし、イメージセンサ４から所定のフレームレートで読み出された画像データに基づいて、表示部３７にライブビュー表示を行う。ライブビュー表示がなされると、ユーザはライブビュー画像（または光学ファインダによる被写体像）を確認し、撮影したい被写体を撮影できるように、カメラの向きやレンズ２の焦点距離（ズーム）やピントを調節する。また、必要に応じて、ユーザは操作釦やタッチパネル等、入力ＩＦ部３８を介して、経過表示モード、比較明合成モード、比較暗合成モード等の設定を行うことができる。

ライブビュー表示を行うと、次に１ｓｔレリーズがなされた場合の処理を行う（Ｓ３）。ここでは、システム制御部２０は、レリーズ釦の半押しによってオンとなる１ｓｔレリーズスイッチの状態を判定し、オンであれば、ＡＦ（自動焦点制御）とＡＥ（自動露出制御）を行う。ＡＦは、イメージセンサ４から繰り返し読み出される画像信号に基づくコントラスト信号が最大値になるように、レンズ２中のフォーカスレンズの駆動制御を行い、ピントを合わせる。またＡＥは、イメージセンサン４から繰り返し読み出される画像信号の出力が適正レベルになるように、絞り値、ＩＳＯ感度、露光時間Ｔを自動制御する。カメラの設定によっては、ＡＦ、ＡＥの機能の両方または片方をオフとし、ユーザが手動で入力ＩＦ３８等を介してフォーカスレンズの位置（ピント調節）、絞り値、ＩＳＯ感度、露出時間Ｔ等を設定するようにしてもよい。

１ｓｔレリーズ処理を行うと、次に、２ｎｄレリーズがオンか否かを判定する（Ｓ５）。構図やピントが合うと撮影を開始するために、ユーザはレリーズ釦を押圧するので、このステップでは、レリーズ釦に連動する２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、オンでなかった場合には、ステップＳ１に戻り、ライブビュー表示を繰り返し行い、２ｎｄレリーズスイッチがオンになるまで、１ｓｔレリーズスイッチがオンになるたびにＡＦ、ＡＥ動作を行う。

ステップＳ５における判定の結果、２ｎｄレリーズスイッチがオンになると、ステップＳ７以下において、バルブ撮影を開始する。まず、暗時画像_１撮影を行う（Ｓ７）。ここでは、システム制御部２０は、メカシャッタ３を閉じ、遮光状態で露光時間Ｔで暗時画像_１を撮影する。

暗時画像_１の撮影を行うと、次に、暗時画像_１の画像データを内部メモリに保存する（Ｓ９）。ここでは、ステップＳ７において撮影した暗時画像_１の画像データをイメージセンサ４から読み出し、内部メモリ３３に保存する。この保存された暗時画像データは、後にＦＰＮ処理に使用される（Ｓ２１、Ｓ４１参照）。

暗時画像_１の画像データを内部メモリ３３に保存すると、次に、露出を開始する（Ｓ１１）。ここでは、システム制御部２０は、メカシャッタ３を開き、イメージセンサ４は１コマ目の露光を開始し、また露出時間を計測するためのタイマをリセットし計時動作を開始する。

露出を開始すると、次に、露出時間Ｔが経過したか否かを判定する（Ｓ１３）。露出時間Ｔは、イメージセンサの画像読み出し周期（露出時間）であり、ユーザが事前に手動で設定、またはＡＥ機能で自動設定される。１コマ目の場合には、ステップＳ１１において計時動作を開始したタイマの経過時間に基づいて判定し、２コマ目以降は後述するステップＳ１５において計時動作を開始したタイマの経過時間に基づいて判定する。この判定の結果、露出時間Ｔが経過していない場合には、露出を続行しながら、露出時間Ｔが経過するのを待つ。

ステップＳ１３における判定の結果、露出時間Ｔが経過すると、画像信号を読み出し、また露出を再開する（Ｓ１５）。ここでは、システム制御部２０は、イメージセンサ４から画像信号を読み出し、画像信号の読み出し終了後に、露出を再開する。この露出の再開にあたっては、メカシャッタ３は開いたままで、イメージセンサ４の電子シャッタ制御によって、画像信号の蓄積を再開する。また、露出時間を計時するためのタイマをリセットし、計時動作を再開する。

また、ステップＳ１５において、画像信号の読み出しを行うと、内部メモリに保存する（Ｓ１７）。このステップでは、イメージセンサ４から読み出された画像信号を、デジタルの画像データとして内部メモリ３３に記憶する。内部メモリ３３への画像データの記録と同時に読み出しが完了すると、間をおかずに次のコマの露出を開始している。このため、連続して取り込む画像同士の露光抜けを最小限に抑えることができ、最終的に合成される画像の光跡が途切れることを最小限にすることができる。デジタルカメラのイメージセンサとして一般的に用いられるＣＭＯＳイメージセンサでは、１ライン毎に読み出し、露光開始を順次制御することができるため、連続するコマとコマの間の露光抜けの時間は１ラインの読み出し時間程度となる。この時間は、数１０〜１００μ秒程度と非常に短いため、光跡が途切れた画像として視認されることはない

ステップＳ１７において画像信号を内部メモリに保存すると、次に、１コマ目の処理か否かを判定する（Ｓ１９）。比較合成処理は、２コマ目の画像データを取得してから行うことから、１コマ目の画像データの取得時か、２コマ目以降の画像データ取得時かの判定を行う。ステップＳ１９における判定の結果、１コマ目の処理の場合には、ステップＳ２３に進み、合成処理は行わない。

ステップＳ１９における判定の結果、１コマ目処理でなかった場合（すなわち、２コマ目以降の処理の場合）には、次に、合成画像と読み出し画像から比較合成を行う（Ｓ２１）。ここでは、比較明合成処理および比較暗合成処理（いずれか一方のみでもよい）を、ユーザの設定に従って行う。今、２コマ目の画像データが読み出された直後とすると、内部メモリ３３には、１コマ目と２コマ目の画像データが一時記憶されている。システム制御部２０は、内部メモリ３３に一時記憶された１コマ目と２コマ目の読み出し画像データを用いて、２枚の画像の同じアドレスの画素出力同士を比較し、大きい方の画素データを合成後の画像の画素データとして選択し、比較明合成画像データ（累積比較明合成画像データ）とする。また、２枚の画像の同じアドレスの画素出力同士を比較し、小さい方の画素データを合成後の画像の画素データとして選択し、比較暗合成画像データ（累積比較暗合成画像データ）とする。３コマ目以降では、同様に、イメージセンサ４から読み出された画像データと、内部メモリ３３に保存されたそれまでの累積比較明合成画像データまたは累積比較暗合成画像データを用いて、比較明合成処理・比較暗合成処理を行う。比較合成処理の詳細については後述する。

ステップＳ２１において比較合成処理を行うと、次に、内部メモリに保存を行う（Ｓ２３）。ここでは、１コマ目の場合には、ステップＳ１５で読み出した画像信号を保存し、２コマ目以降の場合には、ステップＳ２１において比較合成処理を行った合成画像の画像データを保存する。

内部メモリに保存すると、次に、ＦＰＮ処理を行う（Ｓ２５）。ここでは、ＦＰＮキャンセル処理部１２にて、内部メモリ３３に保存されている合成画像データと、ステップＳ７、９において取得した暗時画像_１の画像データを用いて、合成画像を構成する複数の画素データと、暗時画像_１を構成する複数の画素データについて、それぞれ対応する画素データ差分（合成画像-暗時画像_１）を算出する。

ＦＰＮ処理を行うと、次に現像処理を行う（Ｓ２７）。ここでは、内部メモリ３３に記憶された画像データ（１コマ目の画像データ、または合成画像の画像データ）に対して、現像処理部１３がデモザイキング処理、γ補正処理、ノイズリダクション処理、ＹＣ信号生成処理、リサイズ処理等の現像処理を施す。リサイズ処理は、イメージセンサ４から読み出された画像信号の画素数は表示部３７の表示モニタの表示画素よりも大きいため、表示モニタの表示画素数に合わせるためである。

現像処理を行うと、次に、現像画像の表示を行う（Ｓ３１）。ここでは、ステップＳ２７において現像処理された画像データに基づく画像を、表示部３７に表示する。ステップＳ１３において、露出時間Ｔが経過するたびに、合成処理された画像が、露光経過画像として表示されるので、ユーザは長時間露光によって次第に露光が進んでいく画像を確認することができる。現像画像の表示を行う際に、ＦＰＮ処理されたＲＡＷ画像データ、現像処理画像データを途中経過の画像データとして外部メモリ３６に保存するようにしてもよい。

現像表示を行うと、次に、２ｎｄレリーズがオフか否かを検知する（Ｓ３３）。ユーザは、ステップＳ５においてレリーズ釦を押圧することによりバルブ撮影を開始した後、バルブ撮影を終了する場合には、レリーズ釦の押圧を解除する。そこで、このステップでは、レリーズスイッチがオフになったか否かを判定する。この判定の結果、オフでない場合（オンの場合）には、ステップＳ１３に戻り、ステップＳ１５においてタイマをリセットしてから時間Ｔが経過すると、ステップＳ１５〜Ｓ３１における処理を実行する。

ステップＳ３３における判定の結果、２ｎｄレリーズがオフの場合には、露出時間Ｔが経過していなくても、オフされたタイミングで露光を終了する。このため、イメージセンサ４から画像データの読み出しは行わず、内部メモリ３３に保存された累積合成画像データを処理する。２ｎｄレリーズスイッチがオフと判定された場合には、まず、ユーザにより設定された比較合成方法が比較明合成か比較暗合成かを判別する（Ｓ３５）。比較明合成か比較暗合成かは、ユーザが入力ＩＦ３８を介して設定するので、このステップでは設定状態に基づいて判定する。なお、比較明合成と比較暗合成の両方を設定された場合には、それぞれの合成画像に対して異なる処理を施す。

ステップＳ３５における判定の結果、比較明合成が設定されていた場合には、外部メモリに最終合成画像から暗時画像_１を減算したものを保存する（Ｓ４５）。イメージセンサ４から画像データを読み出す毎に、ステップ２１において比較明合成を行っていることから、このステップでは、内部メモリ３３に保存されている比較明合成による最終合成画像の画像データを、外部メモリ３６に保存する。

ステップＳ３５における判定の結果、比較暗合成が設定されている場合には、ステップＳ３７〜Ｓ４３において、比較暗合成の画像データに対してＦＰＮ処理を行う。まず、暗時画像_２を撮影する（Ｓ３７）。ここでは、システム制御部２０は、メカシャッタ３を閉じ、遮光状態で露光時間Ｔで暗時画像_２を撮影する。

暗時画像_２を撮影すると、次に、暗時画像_２の画像データを内部メモリに保存する（Ｓ３９）。ここでは、ステップＳ３９において撮影した暗時画像_２の画像データをイメージセンサ４から読み出し、内部メモリ３３に保存する。

内部メモリに保存すると、次に、最終合成画像から暗時画像_２を減算することにより、ＦＰＮ処理を行う（Ｓ４１）。ここでは、ステップＳ２３において内部メモリ３３に保存した比較暗合成によって生成した最終合成画像の画像データから、ステップＳ３７で撮影した暗時画像_２の画像データについて、それぞれ対応する画素データ同士で減算演算を行う。

ＦＰＮ処理を行うと、外部メモリに保存する（Ｓ４３）。ここでは、ステップＳ４１においてＦＰＮ処理を行った画像データを、最終的な撮影画像データとして、外部メモリ３６に保存する。

ステップＳ４３またはステップＳ４５において外部メモリに保存すると、記録画像の画像表示を行う（Ｓ４７）。ここでは、外部メモリ３６に保存した撮影画像データに基づく画像を表示部３７に表示する。記録画像の表示を行うと、比較合成モードにおける動作を終了する。

このように、図２および図３に示すフローチャートは、比較明合成を行う場合には、最初に画像データを取得する前に暗時画像データ（暗時画像_１の画像データ、Ｓ７、Ｓ９）を、イメージセンサ４の温度が最も高いと想定される時に最も近い時に取得した暗時画像データとし、この暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正している（Ｓ２５、Ｓ４５参照）。

また、比較暗合成を行う場合には、最後に画像データを取得する後に暗時画像データ（暗時_２の画像データ、Ｓ３７、Ｓ３９）を、イメージセンサ４の温度が最も低いと想定される時に最も近い時に取得した暗時画像データとし、この暗時画像データを用いて累積比較暗合成画像データ中の固定パターンノイズを補正している（Ｓ４１、Ｓ４３参照）。

次に、比較合成処理について説明する。今、画像データの２次元のアドレスを（ｘ，ｙ）とし、Ｎ枚目（Ｎは整数）の良い出し画像をＮ（ｘ，ｙ）とする。Ｎ−１枚目までの合成画像をＮ−１＿ｃｏｍ（ｘ，ｙ）とすると、Ｎ枚目の比較合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）は、Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）のアドレス（ｘ，ｙ）の出力データを比較したものとなる。なお、ｘは１〜イメージセンサのｘ方向の画素数、ｙは１〜ｙ方向の画素数である。

このときの比較明合成は、同じアドレスの画素出力Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）の大きさを比較して、大きい方を選択し、合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）の画素出力とする。なお、大きさが等しい場合には、その値を反映する。

また、比較暗合成は、同じアドレスの画素出力Ｎ（ｘ，ｙ）とＮ−１＿ｃｏｍ（ｘ，ｙ）の大きさを比較して、小さい方を選択し、合成画像Ｎ＿ｃｏｍ（ｘ，ｙ）の画素出力とする。なお、大きさが等しい場合には、その値を反映する。

次に、図４および図５を用いて、比較合成処理について説明する。両図において、最上段はイメージセンサ４の近傍の温度の時間的変化を示す。次段はイメージセンサ４（撮像素子）の動作を示し、その次段は比較合成処理の時間的変化を示す。この段において、「合」は比較明合成処理を示し、「−」はＦＰＮキャンセル処理を示す。画像処理の次段は表示画像の時間的変化を示し、表示画像の次段は記録画像の時間的変化を示す。

比較明合成処理を示す図４において、撮影を開始すると、暗時画像_１を取得し（図２のＳ７）、続いて明時画像_１を取得する（Ｓ１５）。明時画像_１と暗時画像_１の画像データを用いてＦＰＮ処理がなされ（Ｓ２５）、ＦＰＮ処理なされた画像データに基づいて表示がなされ、また合成画像１として保存される（Ｓ３１）。続いて明時画像_２が取得されると（Ｓ１５）、暗時画像_１を用いてＦＰＮ処理がなされ（Ｓ２５）、ＦＰＮ処理なされた画像データに基づいて表示がなされ、また合成画像２として保存される（Ｓ３１）。以後、明時画像が取得されるたびに、同様の処理がなされ、撮影が終了すると、最後に取得された明時画像_ＮについてＦＰＮ処理がなされた合成画像_Ｎが表示され、記録される。

比較暗合成処理を示す図５において、撮影を開始から撮影終了時の画像の表示までは、比較明合成処理と同様である。撮影の終了時には、最後に取得された明時画像_ＮについてＦＰＮ処理がなされた合成画像_Ｎが表示されるが、これと共に暗時画像_２が取得される（図３の３７、Ｓ３９）。暗時画像_２が取得されると、明時画像_Ｎの取得時に比較暗合成された画像データに対して、暗時画像_２を用いてＦＰＮ処理を施し、このＦＰＮ処理を施した画像データを最終記録画像として外部メモリ３６に記録する。

次に、図４および図５を用いて、実際の撮影時に画像に発生する固定パターンノイズ（ＦＰＮ）について説明する。露光時間が同じ場合は撮影時のイメージセンサ４の温度が高い方がＦＰＮが大きくなる。図４に示すように、ライブビュー動作では高速な読み出し処理、画像処理、表示処理に伴い、イメージセンサ４の温度は上昇する。その後、撮影が開始されると、ライブビューのフレームレートよりも遅い周期Ｔでイメージセンサ４から読み出し処理、画像処理、表示処理が行われるため、撮影開始から徐々にイメージセンサ４の温度は低下していく。この場合は最初に読み出した明時画像_１と最後に撮影した明時画像_Ｎでは、明時画像＿Ｎの撮影時の方が温度が低いためにＦＰＮが小さい。

比較明合成では、画素出力が大きい画素の出力が画素出力として反映されるため、比較合成する画像同士の露出（被写体の明るさ）が等しい場合は、温度の高い（ノイズの大きい）ときに撮影した画像の画素データが反映される。つまり、明時画像_１から明時画像_Ｎを比較明合成していくと、一般的に温度の一番高い明時画像_１のＦＰＮ（固定パターンノイズ）が合成画像に反映される。

一方、比較暗合成では、画素出力が小さい画素の出力が暗合成処理の結果、画素出力として反映されるため、比較合成する画像同士の露出（被写体の明るさ）が等しい場合は、温度の低い（ノイズの小さい）ときに撮影した画像の画素データが反映される。つまり、明時画像_１から明時画像_Ｎを比較暗合成していくと、一般的に温度の一番低い暗時画像_ＮのＦＰＮ（固定パターンノイズ）が合成画像に反映される。

そこで、図４および図５に示すように、比較明合成では最終的に記録する明時画像_１から明時画像_Ｎまでの合成画像は最初に明時画像撮影前に撮影した暗時画像_１でＦＰＮキャンセル処理を行うことで、合成画像と暗時画像のＦＰＮが近い大きさとなり、精度の高いＦＰＮの補正ができる。また、明時画像が合成されるたびに、暗時画像_１でＦＰＮキャンセル処理を施すことで、露光経過画像に含まれるＦＰＮも補正することができる。

また、比較暗合成画像に対しては、明時画像_１から明時画像_Ｎまでの合成画像は明画像撮影後に撮影した暗時画像_２でＦＰＮキャンセル処理を施すことで、合成画像と暗時画像のＦＰＮが近い大きさとなり、精度の高いＦＰＮの補正ができる。また、明時画像が合成されるたびに暗時画像_１でＦＰＮキャンセル処理を施すことで、露光経過画像の画像に含まれるＦＰＮも補正することができる。

以上、説明したように、本発明の一実施形態においては、バルブ撮影等の長時間露光を行うにあたって、シャッタを開いて明時画像を取得する前に、シャッタを遮光した状態で暗時画像_１を取得し、また長時間露光が終了した後に、シャッタを遮光した状態で暗時画像_２を取得している。そして、比較明合成処理を行う場合には、暗時画像_１を用いてＦＰＮ処理を行い、一方、比較暗合成処理を行う場合には、暗時画像_２を用いてＦＰＮ処理を行っている。このため、ＦＰＮキャンセルの補正効果が高くなるように補正を行うことができ、画質を向上させることができる。

次に、本発明の一実施形態の変形例について説明する。環境温度が撮影中に変化した場合や、露光時間Ｔを高速に処理したい場合や、カメラの電源オンした直後に撮影を開始した場合や、カメラ自体の放熱効果が低い場合には、撮影が開始されても、図４、図５に示すように、徐々に温度が低下せず、逆に上昇することが想定される。このような場合に、本発明の一実施形態のような方法で補正を行うと、合成画像に含まれるＦＰＮと、暗時画像のＦＰＮが異なってしまうことから、補正が十分に行われないおそれがある。そこで、本変形例においては、温度センサ５によって、イメージセンサ４の温度をモニタし、撮影中のイメージセンサ温度を測定し、ＦＰＮ処理を行う暗時画像を選択する。

本変形例においては、比較明合成時も比較暗合成時も、明時画像撮影前に撮影する暗時画像_１と、明時画像撮影後に撮影する暗時画像_２を撮影しておき、撮影時のイメージセンサ温度を検出しておく。比較明合成時には、明時画像撮影中の最高温度Ｔ＿ｈｉと暗時画像_１の撮影時の温度Ｔ＿１と、暗時画像_２の撮影時の温度Ｔ＿２を比較し、Ｔ＿ｈｉに撮影時の温度が近い方の暗時画像を用いて最終的な記録画像のＦＰＮキャンセル処理を行う。

比較暗合成時には、明時画像撮影中の最低温度Ｔ＿Ｌｏと暗時画像_１の撮影時の温度Ｔ＿１と、暗時画像_２の撮影時の温度Ｔ＿２を比較し、Ｔ＿Ｌｏに撮影時の温度が近い方の暗時画像を用いて、最終的な記録画像のＦＰＮキャンセル処理を行う。

このように、本変形例においては、第１画像データおよび第２画像データを取得する時のイメージセンサ４の温度を検出する温度センサ５を設け、温度センサ５で検出した温度に基づいて固定パターンノイズ（ＦＰＮ）を補正するようにしている。このため、合成画像と暗時画像の固定パターンノイズ（ＦＰＮ）の大きさが近く、補正精度の高いＦＰＮキャンセル処理が可能となる。

以上説明したように、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、比較明合成処理を次の処理によって行っている。すなわち、撮像素子（例えば、イメージセンサ４）から読み出された画像データ（例えば、図２のＳ１５）を基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎに撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして累積比較明合成画像データを再構成する比較明合成処理を、撮像素子から読み出された画像データを基に生成された２コマ目以降の第２画像データに対して順次に繰り返し行っている（例えば、図２のＳ２１、図４参照）。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、比較暗合成処理を次の処理によって行っている。すなわち、撮像素子（イメージセンサ４）から読み出された画像データ（例えば、図２のＳ１５）を基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎに撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして累積比較暗合成画像データを再構成する比較暗合成処理を、撮像素子から読み出された画像データを基に生成される２コマ目以降の第２画像データに対して順次に繰り返し行っている（例えば、図２のＳ２１、図５参照）。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、第１画像データを取得する前または最後に取得した第２画像データの後に、撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部（例えば、メカシャッタ３、イメージセンサ４、システム制御部２０等）と、暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正する補正部（例えば、ＦＰＮキャンセル処理部１２）を設けている。また、補正部は、第１画像データを取得する前に取得した暗時画像データ、または最後に取得した第２画像データの後に取得した暗時画像データのうち、第１画像データまたは第２画像データを取得する時の撮像素子の温度が最も高いと想定される時に最も近い時に取得した暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正している（例えば、図２のＳ２５）。このため、イメージセンサから連続的に読み出した画像信号を比較明合成して撮影画像を生成する際に、ＦＰＮキャンセルの補正効果が高くなるように補正を行い、画質を向上させることができる。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、第１画像データを取得する時の撮像素子の温度が最も高いと想定している。すなわち、比較明合成を行う際に、明時画像を撮影する前に取得した暗時画像_１が、撮像素子の温度が最も高い時に取得した暗時画像として想定して使用している。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、第１画像データ、第２画像データおよび暗時画像データを取得する時の撮像素子の温度を検出する温度センサ５を設け、補正部（例えば、ＦＰＮキャンセル処理部１２）は、温度センサ５で検出した温度に基づいて固定パターンノイズ（ＦＰＮ）を補正している。このため、実際の温度変化に対応した固定パターンノイズの補正を行うことができる。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、第１画像データを取得する前または最後に取得した第２画像データの後に、撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部（例えば、メカシャッタ３、イメージセンサ４、システム制御部２０等）と、暗時画像データを用いて累積比較暗合成画像データ中の固定パターンノイズを補正する補正部（例えば、ＦＰＮキャンセル処理部１２）を設けている。また、補正部は、第１画像データを取得する前に取得した暗時画像データ、または最後に取得した第２画像データの後に取得した暗時画像データのうち、第１画像データまたは第２画像データを取得する時の撮像素子の温度が最も低いと想定される時に最も近い時に取得した暗時画像データを用いて累積比較明合成画像データ中の固定パターンノイズを補正している（例えば、図３のＳ４１）。このため、イメージセンサから連続的に読み出した画像信号を比較暗合成して撮影画像を生成する際に、ＦＰＮキャンセルの補正効果が高くなるように補正を行い、画質を向上させることができる。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、第２画像データを取得する時の撮像素子の温度が最も低いと想定している。すなわち、比較暗合成を行う際に、最後の明時画像を撮影した後に取得した暗時画像_２が、撮像素子の温度が最も低い時に取得した暗時画像として想定して使用している。

また、本発明の一実施形態や変形例に係るカメラ（撮像装置）は、補正部（例えば、ＦＰＮキャンセル処理部１２）は、第１画像データを取得する前に取得した暗時画像データ（例えば、暗時画像_１）を用いて累積比較合成画像データ中の固定パターンノイズを補正し（例えば、図２のＳ２５）、撮像装置は固定パターンノイズが補正された累積比較合成画像データによって表わされる画像を表示する（例えば、図３のＳ３１）。このため、合成途中の画像を順次露光経過としてライブビュー表示を行なったり、途中経過画像として保存する場合にも、ライブビュー画像、途中経過画像の固定パターンノイズを補正することができる。すなわち、明時画像撮影前に撮影した暗時画像をもちいて合成途中の画像についてもＦＰＮキャンセルを行うことで、ライブビュー表示や途中経過の記録画像の画質も向上することができる。

なお、本発明の一実施形態や変形例においては、レリーズ釦を押圧することにより撮影を開始し、押圧を解除することにより撮影を停止していたが、これに限らず、レリーズ釦を押圧することにより撮影を開始し、一旦撮影を開始後に押圧を解除しても撮影が続行され、再度、レリーズ釦を押圧すると撮影を停止するようにしても勿論かまわない。

また、本発明の各実施形態や変形例においては、比較明合成と比較暗合成の両方が設定可能であったが、これに限らず、一方のみでもよく、またバルブ撮影時の途中経過表示は比較明のみ、または比較暗のみでもよく、また単純に加算画像を表示するようにしてもよい。

また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、長時間露光が可能な撮影のための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、５・・・温度センサ、１０・・・画像処理部、１１・・・画像合成部、１１ａ・・・比較明合成部、１１ｂ・・・比較暗合成部、１２・・・ＦＰＮキャンセル処理部、１３・・・現像処理部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ

Claims (9)

1. 撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして上記累積比較明合成画像データを再構成する比較明合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置において、
   上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部と、
   上記暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正する補正部と、
   を備え、
   上記補正部は、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も高いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正することを特徴とする撮像装置。
2. 上記第１画像データを取得する時の上記撮像素子の温度が最も高いと想定することを特徴とする請求項１に記載の撮像装置。
3. 上記第１画像データ、上記第２画像データおよび上記暗時画像データを取得する時の上記撮像素子の温度を検出する温度センサをさらに備え、
   上記補正部は、上記温度センサで検出した温度に基づいて上記固定パターンノイズを補正することを特徴とする請求項１に記載の撮像装置。
4. 撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして上記累積比較暗合成画像データを再構成する比較暗合成処理を、上記撮像素子から読み出された画像データを基に生成される２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像装置において、
   上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像部と、
   上記暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する補正部と、
   を備え、
   上記補正部は、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も低いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正することを特徴とする撮像装置。
5. 上記最後に取得した上記第２画像データを取得する時の上記撮像素子の温度が最も低いと想定することを特徴とする請求項４に記載の撮像装置。
6. 上記第１画像データ、上記第２画像データおよび上記暗時画像データを取得する時の上記撮像素子の温度を検出する温度センサをさらに備え、
   上記補正部は、上記温度センサで検出した温度に基づいて上記固定パターンノイズを補正することを特徴とする請求項４に記載の撮像装置。
7. 上記撮像装置は該固定パターンノイズが補正された上記累積比較明合成画像データ又は上記累積比較暗合成画像データによって表わされる画像を表示する表示部を備えたことを特徴とする請求項１または請求項４に記載の撮像装置。
8. 撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較明合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較明合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか大きい方の画素データを新たな画素データとして上記累積比較明合成画像データを再構成する比較明合成処理を、上記撮像素子から読み出された画像データを基に生成された２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像方法において、
   上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像ステップと、
   上記暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正する補正ステップと、
   を含み、
   上記補正ステップは、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も高いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較明合成画像データ中の固定パターンノイズを補正することを特徴とする撮像方法。
9. 撮像素子から読み出された画像データを基に最初に生成された第１画像データを累積比較暗合成画像データとして記憶し、つぎに上記撮像素子から読み出された画像データを基に生成された第２画像データを構成する複数の画素データと上記累積比較暗合成画像データを構成する複数の画素データのそれぞれ対応する画素データを比較していずれか小さい方の画素データを新たな画素データとして上記累積比較暗合成画像データを再構成する比較暗合成処理を、上記撮像素子から読み出された画像データを基に生成される２コマ目以降の上記第２画像データに対して順次に繰り返し行う撮像方法において、
   上記第１画像データを取得する前または最後に取得した上記第２画像データの後に、上記撮像素子の撮像面に入射する光線を遮光した状態で暗時画像データを取得する暗時画像データ撮像ステップと、
   上記暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正する補正ステップと、
   を含み、
   上記補正ステップは、上記第１画像データを取得する前に取得した暗時画像データ、または上記最後に取得した上記第２画像データの後に取得した暗時画像データのうち、上記第１画像データまたは上記第２画像データを取得する時の撮像素子の温度が最も低いと想定される時に最も近い時に取得した暗時画像データを用いて上記累積比較暗合成画像データ中の固定パターンノイズを補正することを特徴とする撮像方法。

Images