JP6508294B2 - 撮像装置 - Google Patents

Description

本発明は、撮像センサに光学像を結像させて画像を取得する撮像装置に関する。

近年、デジタルカメラの技術進歩と普及に伴い、デジタルカメラを様々な撮影用途に使用し、フィルムカメラ時代には存在しなかった新たな映像表現方法が多々生まれている。その中の一つに、デジタルカメラを三脚に固定し、インターバル撮影を行って得られた多数枚の（一般的に数百枚を超える）静止画を利用し、新たな映像を作成する手法がある。具体的には、撮影画面内を移動している蛍の光跡を増やした写真や、地球の日周運動に起因し夜空を移動する星の光跡を残した写真を作成するために、比較明合成という合成処理がなされる場合がある。

比較明合成処理は、例えば以下の手順で行われる。まず、処理を行うべき多数枚の静止画の１枚目を、合成用メモリ領域に初期値としてセットする。そして、２枚目の静止画と合成用メモリ領域にセットされた１枚目の静止画について同じ画素の輝度を比較し、輝度が高い方の画素を合成用メモリ領域に書き戻す。この処理を全画素について行って合成用メモリ領域に１枚目の静止画と２枚目の静止画との合成画像を保持させる。その後、３枚目以降の静止画については、合成用メモリ領域の合成画像と処理すべき静止画の同じ画素の輝度を比較し、輝度が高い方の画素を合成用メモリ領域に書き戻す処理を全画素について行い、処理すべき静止画すべてについて上記の工程を繰り返す。

デジタルカメラのインターバル撮影により得られた多数枚の静止画を用いて上記のような比較明合成処理を行うことで、あたかも長時間露光を行ったような合成画像が得られる。比較明合成処理は、一般的に、パーソナルコンピュータ（以下、ＰＣという。）にインストールされたソフトウェアにより実行される。つまり、撮影者は、デジタルカメラを用いてインターバル撮影を行い、得られた多数枚の画像をＰＣに取り込んで、ＰＣのソフトウェアによって比較明合成処理を行うのが一般的である。

以下、従来のフィルムカメラの長時間露光、デジタルカメラの通常の長時間露光、デジタルカメラの加算処理による長時間露光、および、ＰＣを用いた比較明合成処理のそれぞれについて、利点と欠点とを説明する。なお、デジタルカメラの加算処理による長時間露光は、例えば特許文献１に記載された技術を利用した長時間露光である。

（１）フィルムカメラの長時間露光
＜利点＞
・低照度の被写体に対しては、長時間の露出を行うと、露出時間を２倍とすれば、露出１段分明るく撮影できるという法則が成り立たなくなり、感光しにくくなる（一般に、「相反則不軌」と呼ばれる特性を持つ）。この特性を利用して、暗い環境で時間オーダの長時間露出を行うことができる (ただし、環境に左右されるが、日本国内では夜空が明るいためＩＳＯ １００のフィルムで最長、１時間〜２時間が限界) 。夜空であれば、星の背景となる低照度部分は明るくなりすぎずに、星の光跡が残る写真を撮影することが可能となる。
＜欠点＞
・相反則不軌により、露出決定に経験値が必要となる。
・色被りが生じやすい。
・輝度差が激しい被写体が混在した環境では、輝度が高い部分については白飛びとなってしまう（市街地の風景とともに星の光跡を１時間も残すような撮影は不可能）。
・長い光跡を残そうと思うほど、絞り値を大きくしたり、低感度のフィルムを使用することとなるため、暗い星（微光星）の光跡は残らない（一般に限界等級、極限等級などとよばれる法則による）。
・途中経過が分からない。
・撮影終了直後に結果が分からない。

（２）デジタルカメラの通常の長時間露光
＜利点＞
・低照度の被写体に対しても相反則不軌という特性がないため、露光時間を２倍とすれば１段明るく撮影できる。
・広角レンズで２０秒以内の露出時間とし、ＩＳＯ感度を高感度側に設定することで、星の動きを止めた撮影をするという用途には向く。
・色の補正が容易である。
・撮影直後の結果が分かる。
＜欠点＞
・相反則不軌という特性がないため、時間オーダの撮影自体に不向きである（全体が白飛びするので事実上不可能）。
・撮像素子の能力、撮影環境にもよるが、冷却機構をもたない場合、画面内に斑な熱ノイズが発生する。冷却を行っても、冷却による結露防止機構等も併せて持つ必要があり高価で、大きな機材となる傾向にある。
・ランダムノイズを低減することが困難である。
・露光途中の経過が分からない。

（３）デジタルカメラの加算処理による長時間露光
＜利点＞
・一定時間毎に、撮像素子の読み出しを行ってデジタル化を行うため、デジタルカメラの通常の長時間露光よりは長い露光を行っても、諧調を保つことは可能である。
・色の補正が容易である。
・露光途中の経過を知ることができる。
・撮影直後の結果が分かる。
＜欠点＞
・相反則不軌という特性がないため、時間オーダの撮影自体に不向きである（全体が白飛びするので事実上不可能）。
・ランダムノイズを低減することが困難である。
・全体の露光時間の途中に、短時間とはいえ、センサからのデータ読み出し時間が必要となるため時間連続性がなくなる（星の光跡を残す撮影の場合、広角側の焦点距離では問題とならないが、焦点距離が長くなるほど問題となる）。

（４）ＰＣを用いた比較明合成処理
＜利点＞
・１枚の撮影で決定した露出がほぼ維持されるような合成方法であるため、露出決定が容易である。
・色の補正が容易である。
・輝度差が激しい被写体が混在した環境においても白飛びしにくい（市街地の風景とともに星の光跡を残す撮影である場合、撮影開始時には予測できなかった光が入るといったハプニングが起きない限り、朝を迎えるまで、何時間でも光跡を延ばすことが可能）。
・露出は一枚で決定できるため、高感度撮影を行うことが可能であり、フィルムでは不可能であった暗い星（微光星）の光跡をも残すこともできる。
・熱ノイズが画質に影響を及ぼすほどの露光は行わないため、熱ノイズを無視できる。特殊な冷却機構を持たなくてもよい。
・合成枚数が多いほど、他方式とは比較にならないほどランダムノイズを低減できる。
・あえて時間連続性をなくすことで、蛍が増えたような合成を自然に表現することが可能である。星の光跡撮影の場合においても、あえて不連続性を生かす表現がされる場合がある。
＜欠点＞
・全体の露光時間の途中に、短時間とはいえ、センサからのデータ読み出し時間が必要となるため時間連続性がなくなる（星の光跡を残す撮影の場合、広角側の焦点距離では問題とならないが、焦点距離が長くなるほど問題となる）。
・撮影後、ＰＣにて比較明合成処理を行うため、途中経過が分からない。
・撮影後、ＰＣにて比較明合成処理を行うため、撮影終了直後に結果が分からない。

上記の通り、従来のデジタルカメラの長時間露光（上記の（２）および（３））は、相反則不軌という特性がないことが主要因となり、フィルムカメラの長時間露光（上記の（１））に遠く及ばなかった。また、フィルムカメラによる長時間露光においても、多くの不都合があった。

本発明は、上記に鑑みてなされたものであって、撮影処理を行いながら比較明合成処理を行い、ユーザにとってより使い勝手のよい機能を実現することができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像センサと、記憶部と、表示部と、を備えた撮像装置において、前記撮像センサの露光および読み出しを所定の周期で繰り返し行って複数枚の画像を順次取得する処理であるインターバル撮影処理を行うインターバル撮影手段と、前記インターバル撮影処理により順次取得される複数枚の画像のうち、１枚目の画像と２枚目の画像とを用いて比較明合成処理を行って処理結果を合成画像として前記記憶部に記憶し、３枚目以降の画像については、該画像と前記記憶部に記憶された合成画像とを用いて前記比較明合成処理を行って処理結果を新たな合成画像として前記記憶部に記憶する処理を繰り返し行う比較明合成手段と、を備え、前記インターバル撮影手段は、マニュアルで焦点が設定されるモードと、自動で焦点が設定されるモードとを有し、自動で焦点が設定されるモードの場合は、１枚目の画像を撮影する際に使用された自動焦点の結果を用いて２枚目以降の画像の撮像を行い、前記比較明合成手段は、所定の操作が行われた場合に、前記インターバル撮影処理を停止させることなく、前記所定の操作が行われた後に前記インターバル撮影処理によって最初に取得された画像と次に取得された画像とを用いて前記比較明合成処理を行って処理結果を合成画像として前記記憶部に記憶し、その後に取得された画像については、該画像と前記記憶部に記憶された合成画像とを用いて前記比較明合成処理を行って処理結果を新たな合成画像として前記記憶部に記憶する処理を繰り返すことを特徴とする。

本発明によれば、撮影処理を行いながら比較明合成処理を行い、ユーザにとってより使い勝手のよい機能を実現することができるという効果を奏する。

図１−１は、実施形態に係るデジタルカメラの上面図である。 図１−２は、実施形態に係るデジタルカメラの正面図である。 図１−３は、実施形態に係るデジタルカメラの裏面図である。 図２は、実施形態に係るデジタルカメラの制御系の構成を示すブロック図である。 図３は、比較明合成処理により得られる合成画像の一例を示す図である。 図４は、インターバル合成撮影の初期設定画面とボタン操作による画面遷移を説明する図である。 図５は、インターバル合成撮影に関わるＣＰＵブロックの機能構成を示す機能ブロック図である。 図６は、インターバル撮影処理の処理手順を示すフローチャートである。 図７は、比較明合成処理の処理手順を示すフローチャートである。 図８は、撮影設定確定処理の処理手順を示すフローチャートである。 図９は、インターバル画像ファイル出力処理の処理手順を示すフローチャートである。 図１０は、合成途中画像表示処理の処理手順を示すフローチャートである。 図１１は、合成バッファ初期化処理の処理手順を示すフローチャートである。 図１２−１は、インターバル合成撮影を実施している間の処理状態を示すタイミングチャートである。 図１２−２は、インターバル合成撮影を実施している間の処理状態を示すタイミングチャートである。 図１２−３は、インターバル合成撮影を実施している間の処理状態を示すタイミングチャートである。 図１２−４は、インターバル合成撮影を実施している間の処理状態を示すタイミングチャートである。 図１３−１は、インターバル合成撮影を実施している間に第１の操作が行われた場合の処理状態を示すタイミングチャートである。 図１３−２は、インターバル合成撮影を実施している間に第２の操作が行われた場合の処理状態を示すタイミングチャートである。 図１３−３は、インターバル合成撮影を実施している間に第２の操作が行われた場合の処理状態を示すタイミングチャートである。

以下に添付図面を参照して、この発明に係る撮像装置の実施の形態を詳細に説明する。以下で示す実施形態は、本発明をデジタルカメラに適用した例である。

まず、本実施形態に係るデジタルカメラの構成について説明する。図１は、本実施形態に係るデジタルカメラの外観を示す図であり、図１−１は同デジタルカメラの上面図、図１−２は同デジタルカメラの正面図、図１−３は同デジタルカメラの裏面図である。

本実施形態に係るデジタルカメラは、図１−１に示すように、その上面に、サブＬＣＤ１と、レリーズボタン２と、モードダイヤル３とを有する。サブＬＣＤ１は、例えば撮影可能枚数などを表示するための表示部である。レリーズボタン２は、２段階に押し込むことができるボタンであり、１段階目の押し込みでＡＦ（オートフォーカス）動作、２段階目まで押し込むと撮影というような動作をさせることができる。モードダイヤル３は、画像を撮影（記録）する撮影モードや記録された画像を再生する再生モード、カメラ設定のためのＳＥＴＵＰモードなどの各種モードの切替えの際に操作される。

また、本実施形態に係るデジタルカメラは、図１−２に示すように、その正面に、ストロボ発光部４と、図示しないリモコン端末からの赤外線信号を受信するリモコン受光部６と、鏡胴ユニット７と、光学ファインダ（正面）８とを有する。また、本実施の形態に係るデジタルカメラの側面には、後述するメモリカード８０を挿入するメモリカードスロットや電池を収容する電池収容部が設けられており、これらメモリカードスロットや電池収容部は蓋体９により閉塞されている。

また、本実施形態に係るデジタルカメラは、図１−３に示すように、その裏面に、オートフォーカスＬＥＤ（ＡＦＬＥＤ）１０と、ストロボＬＥＤ１１と、ＬＣＤモニタ１２と、光学ファインダ（裏面）１３とを有する。ＡＦＬＥＤ１０は、オートフォーカス作動時に点灯するＬＥＤである。ストロボＬＥＤ１１は、ストロボ発光時に点灯するＬＥＤである。ＬＣＤモニタ１２は、各種設定画面の表示や再生画像の表示および撮影時の電子ファインダとして用いられる表示部である。

さらに、本実施形態に係るデジタルカメラの裏面には、広角側ズーム時に操作されるＺＯＯＭ（ＷＩＤＥ）スイッチ１４および望遠側ズーム時に操作されるＺＯＯＭ（ＴＥＬＥ）スイッチ１５と、電源スイッチ１６と、再生スイッチ１７と、セルフタイマの作動時および画像を削除する際に操作されるセルフタイマ／削除スイッチ１８と、メニュー選択や選択した事項を確定させる際に操作されるＭＥＮＵ／ＯＫスイッチ１９と、ＬＣＤモニタ１２上のカーソルを左移動させる場合や撮影した画像をＬＣＤモニタ１２で確認する際に操作される左／画像確認スイッチ２０と、ＬＣＤモニタ１２上のカーソルを右移動させる場合等に操作される右スイッチ２１と、ＬＣＤモニタ１２上のカーソルを下移動させる場合やマクロ撮影を行う際に操作される下／マクロスイッチ２２と、ＬＣＤモニタ１２上のカーソルを上移動させる場合やストロボのモードを切り替える際に操作される上／ストロボスイッチ２３と、ＬＣＤモニタ１２の表示の切替え時に操作されるＤＩＳＰＬＡＹスイッチ２４とが設けられている。

図２は、本実施形態に係るデジタルカメラの制御系の構成を示すブロック図である。本実施形態に係るデジタルカメラは、上述した鏡胴ユニット７を介して入射した光を光電変換して電気信号として出力するＣＣＤ１０１と、ＣＣＤ１０１から出力されるアナログの電気信号を前処理してデジタル信号として出力するＦ／Ｅ（フロントエンド）−ＩＣ１０２と、Ｆ／Ｅ−ＩＣ１０２からのデジタル信号を処理してデジタルカメラの各種動作を実行制御するデジタルカメラプロセッサ（以下、単に「プロセッサ」という。）１０４とを備える。

鏡胴ユニット７は、被写体の光学画像を取り込むためのズームレンズ７１ａおよびズームモータ７１ｂからなるズーム光学系７１、フォーカスレンズ７２ａおよびフォーカスモータ７２ｂからなるフォーカス光学系７２、絞り７３ａおよび絞りモータ７３ｂからなる絞りユニット７３、メカシャッタ７４ａおよびメカシャッタモータ７４ｂからなるメカシャッタユニット７４、各モータを駆動するモータドライバ７５を有する。モータドライバ７５は、プロセッサ１０４内の後述するＣＰＵブロック１０４３からの駆動指令によって駆動制御される。

ＣＣＤ１０１は、鏡胴ユニット７を介して入射した光を受光し、その光学画像を光電変換して光学画像に対応した画像データを出力する撮像センサである。なお、本実施形態に係るデジタルカメラでは、撮像センサとしてＣＣＤ１０１を用いているが、ＣＣＤ１０１の代わりにＣＭＯＳイメージセンサなどの他の撮像センサを用いるようにしてもよい。撮像センサとしてＣＭＯＳイメージセンサを用いる場合は制御系の構成が多少変わることになるが、ここではその説明は省略する。

Ｆ／Ｅ−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２１、利得調整を行うＡＧＣ１０２２、アナログ信号をデジタル信号に変換するＡ／Ｄ１０２３、プロセッサ１０４内の後述する第１のＣＣＤ信号処理ブロック１０４１から供給される垂直同期信号（ＶＤ信号）および水平同期信号（ＨＤ信号）に基づいてＣＣＤ１０１やＣＤＳ１０２１、ＡＧＣ１０２２、Ａ／Ｄ１０２３の駆動タイミング信号を発生するＴＧ（Timing Generator）１０２４を有する。このＦ／Ｅ−ＩＣ１０２における各部の動作は、プロセッサ１０４内の後述するＣＰＵブロック１０４３によって制御される。

プロセッサ１０４は、第１のＣＣＤ信号処理ブロック１０４１、第２のＣＣＤ信号処理ブロック１０４２、ＣＰＵブロック１０４３、ローカルＳＲＡＭ１０４４、ＵＳＢブロック１０４５、シリアルブロック１０４６、ＪＰＥＧ・ＣＯＤＥＣブロック１０４７、ＲＥＳＩＺＥブロック１０４８、ＴＶ信号表示ブロック１０４９、メモリカードコントローラブロック１０４１０を有している。プロセッサ１０４における上記各部は、相互にバスラインで接続されている。

第１のＣＣＤ信号処理ブロック１０４１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を介して入力された画像データに対してホワイトバランス補正やガンマ補正を行い、また、画像データのタイミングを制御する上述したＶＤ信号およびＨＤ信号をＴＧ１０２４に供給する。第２のＣＣＤ信号処理ブロック１０４２は、入力された画像データに対するフィルタリング処理によって輝度データ・色差データへの変換を行う。

ＣＰＵブロック１０４３は、本実施形態に係るデジタルカメラの各部の動作制御を司るものである。具体的には、ＣＰＵブロック１０４３は、音声記録回路１１５１による音声記録動作を制御する。音声記録回路１１５１は、マイク１１５３で変換されてマイクアンプ１１５２により増幅された音声信号を、ＣＰＵブロック１０４３からの指令に応じて記録する。また、ＣＰＵブロック１０４３は、音声再生回路１１６１による音声再生動作も制御する。音声再生回路１１６１は、ＣＰＵブロック１０４３からの指令により、適宜のメモリに記録されている音声信号を再生してオーディオアンプ１１６２に入力し、スピーカ１１６３から音声を出力させる。また、ＣＰＵブロック１０４３は、ストロボ回路１１４の動作を制御することによって、ストロボ発光部４から照明光を発光させる。そのほか、ＣＰＵブロック１０４３は、本実施形態において特徴的な機能として、インターバル撮影処理を行いながら比較明合成処理を行う機能（以下、インターバル合成撮影という。）を実現するための各種処理を実行するが、これについては詳細を後述する。

ＣＰＵブロック１０４３は、プロセッサ１０４の外部に配置されたサブＣＰＵ１０９と接続されている。サブＣＰＵ１０９は、ＬＣＤドライバ１１１を介してサブＬＣＤ１による表示を制御する。また、サブＣＰＵ１０９は、ＡＦＬＥＤ１０、ストロボＬＥＤ１１、リモコン受光部６、ブザー１１３、操作キーユニット９０に接続されている。操作キーユニット９０は、上述したレリーズボタン２、モードダイヤル３、ＺＯＯＭ（ＷＩＤＥ）スイッチ１４、ＺＯＯＭ（ＴＥＬＥ）スイッチ１５、電源スイッチ１６、再生スイッチ１７、セルフタイマ／削除スイッチ１８、ＭＥＮＵ／ＯＫスイッチ１９、左／画像確認スイッチ２０、右スイッチ２１、下／マクロスイッチ２２、上／ストロボスイッチ２３、ディスプレイスイッチ２４の各種スイッチを含む。サブＣＰＵ１０９は、この操作キーユニット９０やリモコン受光部６からの出力信号をユーザの操作情報として、ユーザ操作情報に応じてＡＦＬＥＤ１０、ストロボＬＥＤ１１、ブザー１１３の動作を制御し、また、ユーザ操作情報をプロセッサ１０４内のＣＰＵブロック１０４３に伝達する。

ローカルＳＲＡＭ１０４４は、制御に必要なデータ等を一時的に保存するメモリである。ＵＳＢブロック１０４５は、ＵＳＢコネクタ１２２に接続されたコンピュータ端末などの外部機器との間でＵＳＢ通信を行う。また、シリアルブロック１０４６は、ＲＳ−２３２Ｃコネクタ１２３２に接続されたコンピュータ端末などの外部機器との間で、シリアルドライバ回路１２３１を介してシリアル通信を行う。

ＪＰＥＧ・ＣＯＤＥＣブロック１０４７は、撮影された画像データをＪＰＥＧ形式で圧縮し、またＪＰＥＧ形式で圧縮された記録画像のデータを伸長する処理を行う。また、ＲＥＳＩＺＥブロック１０４８は、画像データのサイズを補間処理によって拡大・縮小する処理を行う。

ＴＶ信号表示ブロック１０４９は、画像データをＬＣＤモニタ１２やＴＶなどの外部表示機器に表示させるためのビデオ信号に変換する。ＴＶ信号表示ブロック１０４９にはＬＣＤドライバ１１７が接続されており、ＬＣＤドライバ１１７により駆動されるＬＣＤモニタ１２に画像を表示させる。また、ＴＶ信号表示ブロック１０４９にはビデオＡＭＰ１１８が接続されており、ビデオジャック１１９がＴＶなどの外部表示機器に接続されている場合に、この外部表示機器に画像を表示させる。

メモリカードコントローラブロック１０４１０は、メモリカードスロットル１２１に接続され、このメモリカードスロットル１２１に挿入されたメモリカード８０や汎用のＰＣＭＣＩＡなどの制御を行う。

また、プロセッサ１０４の外部には、ＳＤＲＡＭ１０３、ＲＡＭ１０７、ＲＯＭ１０８、内蔵メモリ１２０が配置されており、これらはプロセッサ１０４とバスラインによって接続されている。

ＳＤＲＡＭ１０３は、プロセッサ１０４で画像処理を施す際に画像データを一時的に保存するメモリである。保存される画像データは、例えば、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を介してプロセッサ１０４に入力され、第１のＣＣＤ信号処理ブロック１０４１でホワイトバランス補正、ガンマ補正が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」や、第２のＣＣＤ信号処理ブロック１０４２で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ・ＣＯＤＥＣブロック１０４７でＪＰＥＧ形式に圧縮された「ＪＰＥＧ画像データ」などである。また、ＳＤＲＡＭ１０３は、後述のインターバル合成撮影において利用される第１メモリ領域および第２メモリ領域も含む。

ＲＯＭ１０８には、ＣＰＵブロック１０４３にて解読可能なコードで記述された制御プログラムや制御のためのパラメータが格納されている。なお、これらのパラメータは内蔵メモリ１２０に格納されていてもよい。デジタルカメラの電源がオン状態になると、プログラムは不図示のメインメモリにロードされ、ＣＰＵブロック１０４３はそのプログラムに従って各部の動作を制御するとともに、制御に必要なデータ等を一時的にＲＡＭ１０７およびプロセッサ１０４内のローカルＳＲＡＭ１０４４に保存する。また、本実施形態では、後述のインターバル合成撮影を行うためのプログラムもＲＯＭ１０８に格納されている。なお、本実施形態においては、インターバル合成撮影をプログラムにより実現するものとして説明するが、処理を高速化するために、例えば比較明合成処理などの一部の処理を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実施するようにしてもよい。

内蔵メモリ１２０は、メモリカードスロットル１２１にメモリカード８０が挿入されていない場合に、撮影した画像データを記録しておくためのメモリである。また、ＲＡＭ１０７は、ＣＰＵブロック１０４３が各種プログラムを実行する際のワークエリアとして利用されるメモリである。

次に、本実施形態に係るデジタルカメラにおいて特徴的なインターバル合成撮影について説明する。インターバル合成撮影は、上述したように、インターバル撮影処理を行いながら比較明合成処理を行う機能である。

インターバル撮影処理とは、撮像センサであるＣＣＤ１０１の露光および読み出し（画素データの読み出し）を所定の周期で繰り返し行って複数枚の画像を順次取得する処理である。

比較明合成処理とは、複数の画像を用いて同じ位置の画素ごとに輝度を比較し、輝度の高い方を選択して合成画像を生成する処理である。比較明合成処理は、上述したように、最初は１枚目の画像と２枚目の画像とを用いて処理が行われ、その処理結果が合成画像として記憶される。その後、３枚目以降の画像については、当該画像と前回の処理結果である合成画像とを用いて処理が行われ、その処理結果が新たな合成画像データとして記憶される。以上の処理が、処理すべきすべての画像に対して繰り返し行われ、最終的な合成画像が得られる。

本実施形態に係るデジタルカメラでは、比較明合成処理を行うために、ＳＤＲＡＭ１０３内の２つのメモリ領域を利用する。２つのメモリ領域はそれぞれ画像１枚分のデータを保持するフレームメモリである。以下、２つのメモリ領域の一方を第１メモリ領域といい、他方を第２メモリ領域という。第１メモリ領域は、比較明合成処理の合成バッファとして用いられるメモリであり、比較明合成処理の結果である合成画像を格納する。第２メモリ領域は、合成前の静止画のバッファとして用いられるメモリであり、インターバル撮影処理によって取得される画像が順次格納される。

図３は、比較明合成処理により得られる合成画像の一例を示す図である。図の左側が処理の対象となる画像群を示し、図の右側がこれら画像群を対象に比較明合成処理を行うことで得られた合成画像を示している。比較明合成処理によって得られた合成画像は、各画素それぞれ、画像群の最大輝度を持つ画素となる。図３の例のように、風景と星空を収めた画像であっても、地球の日周運動に起因する星の光跡が延びつつ、星の無い夜空の部分や、明るさのある風景が真っ白にならずに共存し、あたかも長時間露出を行ったような合成画像が得られる。なお、図３の左側に示す画像群は、図示を簡略化するために画像の枚数を限定しているが、実際には３００枚強の画像を用いて図の右側に示す合成画像が生成される。

インターバル合成撮影では、比較明合成処理の対象となる画像群がインターバル撮影処理によって順次取得される画像であり、インターバル撮影処理によって画像が得られるたびにその画像を用いた比較明合成処理が行われる。つまり、インターバル撮影処理と比較明合成処理とが同時進行で行われる。これにより、後述するようなユーザにとって使い勝手のよい様々な機能を実現することができる。

本実施形態に係るデジタルカメラは、撮影モードの１つとして、インターバル合成撮影を行う動作モード（以下、インターバル合成撮影モードという。）を備える。インターバル合成撮影モードは、例えば、モードダイヤル３の操作などによって選択することができる。まず、インターバル合成撮影の初期設定について、図４を参照して説明する。図４は、インターバル合成撮影の初期設定画面とボタン操作による画面遷移を説明する図である。

ユーザが、電源スイッチ１６の操作によりデジタルカメラの電源をオンして、モードダイヤル３の操作などによりインターバル合成撮影モードを選択し、各種撮影に関する設定を好みの状態とした後に、ＭＥＮＵ／ＯＫスイッチ１９を押すと、ＬＣＤモニタ１２に、図４に示すインターバル合成撮影の初期設定画面が表示される。ユーザは、この初期設定画面上で、左／画像確認スイッチ２０や右スイッチ２１を操作して項目を選択し、下／マクロスイッチ２２や上／ストロボスイッチ２３を操作して各項目の設定内容を選択することで、インターバル合成撮影に関する各種の設定を行うことができる。なお、以下では便宜上、左／画像確認スイッチ２０、右スイッチ２１、下／マクロスイッチ２２、上／ストロボスイッチ２３をそれぞれ左ボタン、右ボタン、下ボタン、上ボタンと表記する。

図４（ａ）は、インターバル撮影処理による個々の画像の撮影間隔（つまり、露光開始から次の撮影の露光開始をデジタルカメラに指示する時間。以下、この時間をインターバル時間という）の「時間の桁」を設定できる状態の画面例を示している。この図４（ａ）の状態で上ボタンや下ボタンを操作することにより数値を変更することができる。また、右ボタンを操作すると、図４（ａ）の画面が図４（ｂ）の画面に遷移し、左ボタンを操作すると、図４（ａ）の画面が図４（ｅ）の画面に遷移する。

図４（ｂ）は、インターバル時間の「分の桁」を設定できる状態の画面例を示している。この図４（ｂ）の状態で上ボタンや下ボタンを操作することにより数値を変更することができる。また、右ボタンを操作すると、図４（ｂ）の画面が図４（ｃ）の画面に遷移し、左ボタンを操作すると、図４（ｂ）の画面が図４（ａ）の画面に遷移する。

図４（ｃ）は、インターバル時間の「秒の桁」を設定できる状態の画面例を示している。この図４（ｃ）の状態で上ボタンや下ボタンを操作することにより数値を変更することができる。また、右ボタンを操作すると、図４（ｃ）の画面が図４（ｄ）の画面に遷移し、左ボタンを操作すると、図４（ｃ）の画面が図４（ｂ）の画面に遷移する。

図４（ｄ）は、インターバル合成撮影の途中で比較明合成処理のリセットを行って比較明合成処理の合成バッファとして用いる第１メモリ領域を初期化する際に、第１メモリ領域に保持されているデータ、つまり、それまでの処理で生成された合成画像を保存するか否かを設定できる状態の画面例を示している。この図４（ｄ）の状態で上ボタンや下ボタンを操作することにより、「合成リセット時ファイル出力設定」の項目を「リセット前合成画像を残す」または「何も残さない」のいずれかに選択することができる。また、右ボタンを操作すると、図４（ｄ）の画面が図４（ｅ）の画面に遷移し、左ボタンを操作すると、図４（ｄ）の画面が図４（ｃ）の画面に遷移する。「リセット前合成画像を残す」は、比較明合成処理をリセットする直前までの合成画像を画像ファイルとして出力してメモリカード８０などに保存する設定であり、「何も残さない」は、比較明合成処理をリセットする直前までの合成画像を保存しない設定である。

図４（ｅ）は、インターバル合成撮影に用いる各画像を保存するか否かを設定できる状態の画面例を示している。この図４（ｅ）の状態で上ボタンや下ボタンを操作することにより、「インターバル画像ファイル出力設定」の項目を、「通常静止画を残す」、「合成静止画を残す」、「通常動画を残す」、「合成動画を残す」、「何も残さない」のいずれかに選択することができる。また、右ボタンを操作すると、図４（ｅ）の画面が図４（ａ）の画面に遷移し、左ボタンを操作すると、図４（ｅ）の画面が図４（ｄ）の画面に遷移する。「通常静止画を残す」は、インターバル撮影処理によって画像が取得されるたびに、合成前の画像（静止画）を画像ファイルとして出力してメモリカード８０などに保存する設定である。「合成静止画を残す」は、インターバル撮影処理によって画像が取得されるたびに、その時点までの合成画像（静止画）を画像ファイルとして出力してメモリカード８０などに保存する設定である。「通常動画を残す」は、インターバル撮影処理によって画像が取得されるたびに、合成前の画像（静止画）を動画の１コマとして動画ファイルを生成し、メモリカード８０などに保存する設定である。「合成動画を残す」は、インターバル撮影処理によって画像が取得されるたびに、その時点までの合成画像（静止画）を動画の１コマとして動画ファイルを生成し、メモリカード８０などに保存する設定である。「何も残さない」は、インターバル合成撮影に用いる各画像を保存しない（ただし、「合成リセット時ファイル出力設定」の項目が「リセット前合成画像を残す」に設定されていれば、リセット直前の合成画像は保存される。）設定である。

ＬＣＤモニタ１２に表示されている初期設定画面が図４（ａ）〜（ｅ）のどの画面であっても、ＭＥＮＵ／ＯＫスイッチ１９を押すことによって、各項目の設定内容を確定することができる。その後、レリーズボタン２が２段階目まで押し込まれる（全押し操作）ことにより、インターバル合成撮影が開始される。

図５は、インターバル合成撮影に関わるＣＰＵブロック１０４３の機能構成を示す機能ブロック図である。インターバル合成撮影における各処理は、上述したように、一例としてプログラムにより実現される。ＣＰＵブロック１０４３は、これらインターバル合成撮影における各処理を実行する機能構成として、インターバル撮影手段５１と、撮影設定確定手段５２と、インターバル画像ファイル出力手段５３と、比較明合成手段５４と、合成途中画像表示手段５５と、合成バッファ初期化手段５６と、を備える。

インターバル撮影手段５１は、「インターバル撮影処理」を実行する。インターバル撮影手段５１により実行される「インターバル撮影処理」の具体的な処理手順については、図６を用いて後述する。

撮影設定確定手段５２は、「撮影設定確定処理」を実行する。撮影設定確定手段５２により実行される「撮影設定確定処理」の具体的な処理手順については、図８を用いて後述する。

インターバル画像ファイル出力手段５３は、「インターバル画像ファイル出力処理」を実行する。インターバル画像ファイル出力手段５３により実行される「インターバル画像ファイル出力処理」の具体的な処理手順については、図９を用いて後述する。

比較明合成手段５４は、「比較明合成処理」を実行する。比較明合成手段５４により実行される「比較明合成処理」の具体的な処理手順については、図７を用いて後述する。

合成途中画像表示手段５５は、「合成途中画像表示処理」を実行する。合成途中画像表示手段５５により実行される「合成途中画像表示処理」の具体的な処理手順については、図１０を用いて後述する。

合成バッファ初期化手段５６は、「合成バッファ初期化処理」を実行する。合成バッファ初期化手段５６により実行される「合成バッファ初期化処理」の具体的な処理手順については、図１１を用いて後述する。

本実施形態に係るデジタルカメラにおいて、インターバル合成撮影モード時にＣＰＵブロック１０４３が実行する上記の各処理のうち、「撮影設定確定処理」と「インターバル画像ファイル出力処理」については、「インターバル撮影処理」から関数呼び出しのような形式でシーケンシャルに実行される。また、その他の「比較明合成処理」、「合成途中画像表示処理」、「合成バッファ初期化処理」については、マルチタスクにより並行して実行される。

以下、図６〜図１１のフローチャートを用いて、インターバル合成撮影の動作について説明する。

図６は、ＣＰＵブロック１０４３のインターバル撮影手段５１により実行される「インターバル撮影処理」の処理手順を示すフローチャートである。この図６のフローはインターバル合成撮影のメインルーチンとなり、「インターバル撮影処理」を行いつつ「比較明合成処理」を開始するタイミングなどを司る。

まず、ステップＳ１０１において、合成処理中フラグをクリアする処理が行われ、ステップＳ１０２において、合成枚数カウンタを０に初期化する処理が行われる。合成処理中フラグは、「比較明合成処理」が実行中であるか否かを示すフラグである。合成枚数カウンタは、「比較明合成処理」が何枚目の画像の合成を行っているかを示すカウンタである。これらステップＳ１０１およびステップＳ１０２の処理は、プログラム内の変数を初期化する処理である。

次に、ステップＳ１０３において、「撮影設定確定処理」が行われる。「撮影設定確定処理」は、一連のインターバル撮影を行う前に、ＡＦ（自動焦点合わせ）処理やＡＥ（自動露出制御）処理を行い、フォーカス位置、露出を決定する処理である。「撮影設定確定処理」は上述したように「インターバル撮影処理」から関数呼び出しのような形式で呼び出され、サブルーチンとして実行される。「撮影設定確定処理」の処理手順は後述する。

次に、ステップＳ１０４において、インターバル時間の計測を開始する処理が行われる。この処理は、インターバル時間の計測を行うために内部タイマを作動させる処理である。

次に、ステップＳ１０５において、露光処理が行われる。露光処理は、撮像センサであるＣＣＤ１０１の露光を行う処理である。この処理では、露光が終わってもＣＣＤ１０１からのデータ読み出しは行われない。

次に、ステップＳ１０６において、合成処理中フラグがセットされているか否かの判定が行われる。この処理は、一連のインターバル撮影処理で前回撮影された画像の合成処理が終わっているか否かを、プログラム内の変数を参照して判定する処理である。前回撮影された画像の合成処理が終わっておらず、合成処理中フラグがセットされた状態であれば（ステップＳ１０６：Ｙｅｓ）、合成処理が終わるまで待機する。そして、前回撮影された画像の合成処理が終わり、合成処理中フラグがクリアされた状態であれば（ステップＳ１０６：Ｎｏ）、次の処理に進む。

次に、ステップＳ１０７において、撮像センサであるＣＣＤ１０１からデータを読み出す処理が行われる。この処理は、ＣＣＤ１０１の露光により得られる画像をＣＣＤ１０１から読み出して第２メモリ領域へ格納する処理である。

次に、ステップＳ１０８において、上述した初期設定によりインターバル合成撮影に用いる画像の保存が設定されているか否かの判定が行われる。インターバル合成撮影に用いる画像の保存が設定されている場合は（ステップＳ１０８：Ｙｅｓ）、「インターバル画像ファイル出力処理」が行われ、インターバル合成撮影に用いる画像の保存が設定されていない場合は（ステップＳ１０８：Ｎｏ）、「インターバル画像ファイル出力処理」がスキップされる。

次に、ステップＳ１０９において、「インターバル画像ファイル出力処理」が行われる。「インターバル画像ファイル出力処理」は、ユーザによる初期設定に基づいて、インターバル合成撮影に用いる画像を保存する処理である。「インターバル画像ファイル出力処理」は上述したように「インターバル撮影処理」から関数呼び出しのような形式で呼び出され、サブルーチンとして実行される。「インターバル画像ファイル出力処理」の処理手順は後述する。

次に、ステップＳ１１０において、合成処理中フラグをセットする処理が行われる。この処理は、プログラム内の変数をセットする処理である。

次に、ステップＳ１１１において、「比較明合成処理」の開始を指示する処理が行われる。この処理は、マルチタスクにより「インターバル撮影処理」と並行して実行される「比較明合成処理」を開始させる処理である。「比較明合成処理」の処理手順は後述する。

次に、ステップＳ１１２において、インターバル撮影処理を終了させる操作が行われたか否かの判定が行われる。インターバル撮影処理を終了させる操作は、例えば、レリーズボタン２を２段階目まで押し込む操作（全押し操作）などである。インターバル撮影処理を終了させる操作が行われていた場合（ステップＳ１１２：Ｙｅｓ）、インターバル撮影処理を終了する。インターバル撮影処理を終了させる操作が行われていなかった場合は（ステップＳ１１２：Ｎｏ）、次の処理に進む。

次に、ステップＳ１１３において、インターバル時間が経過したか否かの判定が行われる。この処理は、上述した初期設定によりユーザが指定したインターバル時間に基づき、次の画像の撮影タイミングが訪れたか否かの判定を行う処理である。インターバル時間が経過しておらず、次の撮影タイミングが訪れていない場合は（ステップＳ１１３：Ｎｏ）、インターバル時間が経過するまで待機する。そして、インターバル時間が経過して次の撮影タイミングが訪れたら（ステップＳ１１３：Ｙｅｓ）、ステップＳ１０４に戻ってインターバル時間の計測を開始し、次の画像の撮影を行う。

図７は、ＣＰＵブロック１０４３の比較明合成手段５４により実行される「比較明合成処理」の処理手順を示すフローチャートである。この図７のフローは、マルチタスクによって図６のフローと並行して動作する。なお、比較明合成処理の詳細は既に説明したため、ここでは説明を省略する。

まず、ステップＳ２０１において、合成枚数カウンタが０であるか否かの判定が行われる。この処理は、合成用バッファとして用いる第１メモリ領域の初期化を行うか否かを判断する処理である。合成枚数カウンタは、「インターバル撮影処理」を開始した後の最初の撮影時、または、後述する「合成バッファ初期化処理」の後の最初の撮影時に０となる。合成枚数カウンタが０、つまり「インターバル撮影処理」を開始した後の最初の撮影時または「合成バッファ初期化処理」の後の最初の撮影時であれば（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に進む。一方、合成枚数カウンタが０でない、つまり「インターバル撮影処理」を開始した後の最初の撮影時でも「合成バッファ初期化処理」の後の最初の撮影時でもない場合は（ステップＳ２０１：Ｎｏ）、ステップＳ２０３に進む。

ステップＳ２０２では、第２メモリ領域に格納されている画像、つまり「インターバル撮影処理」によって取得された画像を第１メモリ領域にコピーする処理が行われる。

ステップＳ２０３では、第２メモリ領域に格納されている画像、つまり「インターバル撮影処理」によって取得された画像と、第１メモリ領域に格納されている合成画像、つまり前回の比較明合成処理によって生成された合成画像とを用いて、比較明合成処理が実施され、処理結果である新たな合成画像が第２メモリ領域に格納される。

次に、ステップＳ２０４において、合成枚数カウンタを１加算する処理が行われる。

次に、ステップＳ２０５において、合成処理中フラグをクリアする処理が行われる。

図８は、ＣＰＵブロック１０４３の撮影設定確定手段５２により実行される「撮影設定確定処理」の処理手順を示すフローチャートである。この図８のフローは、図６のフローから呼び出されるサブルーチンである。

まず、ステップＳ３０１において、ＡＦモードがオンになっているか否かの判定が行われる。ＡＦモードは、撮影時にＡＦ（自動焦点合わせ）処理を行うか否かを指定するモードであり、ＡＦモードがオンであればＡＦ処理を行うことを示し、ＡＦモードがオフであればマニュアル（手動）で焦点合わせを行うことを示している。ＡＦモードがオンとなっていれば（ステップＳ３０１：Ｙｅｓ）ステップＳ３０２に進み、ステップＳ３０２においてＡＦ処理が行われる。一方、ＡＦモードがオフであれば（ステップＳ３０１：Ｎｏ）、ステップＳ３０２のＡＦ処理をスキップしてステップＳ３０３に進む。

次に、ステップＳ３０３において、ＡＥモードがオンになっているか否かの判定が行われる。ＡＥモードは、撮影時にＡＥ（自動露出制御）処理を行うか否かを指定するモードであり、ＡＥモードがオンであればＡＥ処理を行うことを示し、ＡＥモードがオフであればマニュアル（手動）で露出制御を行うことを示している。ＡＥモードがオンとなっていれば（ステップＳ３０３：Ｙｅｓ）ステップＳ３０４に進み、ステップＳ３０４においてＡＥ処理が行われる。一方、ＡＥモードがオフであれば（ステップＳ３０３：Ｎｏ）、そのまま処理を終了する。

図８のフローで示す「撮影設定確定処理」は、「インターバル撮影処理」による最初の画像の取得時に行われる。ＡＦモードがオンの場合、最初の画像の取得時にＡＦ処理が行われてその処理結果が保持される。そして、２枚目以降の画像の取得時には、最初の画像の取得時のＡＦ処理の結果がそのまま用いられる。また、ＡＥモードがオンの場合、最初の画像の取得時にＡＥ処理が行われてその処理結果が保持される。そして、２枚目以降の画像の取得時には、最初の画像の取得時のＡＥ処理の結果がそのまま用いられる。

図９は、ＣＰＵブロック１０４３のインターバル画像ファイル出力手段５３により実行される「インターバル画像ファイル出力処理」の処理手順を示すフローチャートである。この図９のフローは、図６のフローから呼び出されるサブルーチンである。

まず、ステップＳ４０１において、上述した初期設定において設定された「インターバル画像ファイル出力設定」の項目（図４参照）の設定内容を確認する処理が行われる。「インターバル画像ファイル出力設定」の項目の設定内容が「通常静止画を残す」である場合はステップＳ４０２に進み、「合成静止画を残す」である場合はステップＳ４０３に進み、「通常動画を残す」である場合はステップＳ４０４に進み、「合成動画を残す」である場合はステップＳ４０５に進み、「何も残さない」である場合はそのまま処理を終了する。

ステップＳ４０２では、第２メモリ領域に格納されているデータ、つまり「インターバル撮影処理」により取得された合成前の画像を静止画ファイルとして出力して、メモリカード８０などに保存する処理が行われる。

ステップＳ４０３では、第１メモリ領域に格納されているデータ、つまり「比較明合成処理」によりその時点までに生成された合成画像を静止画ファイルとして出力して、メモリカード８０などに保存する処理が行われる。

ステップＳ４０４では、第２メモリ領域に格納されているデータ、つまり「インターバル撮影処理」により取得された合成前の画像を動画の１コマとする動画ファイルを生成し、メモリカード８０などに保存する処理が行われる。この動画ファイルは、「インターバル撮影処理」により新たな画像が取得されるたびに、その画像が動画の１コマとして追加されていく。

ステップＳ４０５では、第１メモリ領域に格納されているデータ、つまり「比較明合成処理」によりその時点までに生成された合成画像を動画の１コマとする動画ファイルを生成し、メモリカード８０などに保存する処理が行われる。この動画ファイルは、「インターバル撮影処理」により新たな画像が取得されるたびに、その時点までの合成画像が動画の１コマとして追加されていく。

図１０は、ＣＰＵブロック１０４３の合成途中画像表示手段５５により実行される「合成途中画像表示処理」の処理手順を示すフローチャートである。この図１０のフローは、インターバル合成撮影の動作中に、予め定めた第１の操作、例えばレリーズボタン２を１段階目まで押し込む操作（半押し操作）が行われることで開始され、マルチタスクによって図６のフローや図７のフローと並行して動作する。

まず、ステップＳ５０１において、合成処理中フラグがセット中であるか否かの判定が行われる。この処理は、合成処理中フラグがクリアされるまで次の処理を待つための処理である。合成処理中フラグがセットされている期間は（ステップＳ５０１：Ｙｅｓ）、ポーリング処理が行われる。合成処理中フラグがクリアされると（ステップＳ５０１：Ｎｏ）ステップＳ５０２に進む。

次に、ステップＳ５０２において、合成枚数カウンタが０か否かの判定が行われる。この処理は、合成枚数カウンタが０以外の値になるまで（表示すべき画像が発生するまで）次の処理を待つための処理である。合成枚数カウンタが０の期間は（ステップＳ５０２：Ｙｅｓ）、ポーリング処理が行われる。合成枚数カウンタが０以外の値になると（ステップＳ５０２：Ｎｏ）ステップＳ５０３に進む。

次に、ステップＳ５０３において、第１メモリ領域に格納されているデータ、つまり「比較明合成処理」によりその時点までに生成された合成画像を、合成枚数カウンタの値、つまりその合成画像を生成するのに用いた静止画の枚数とともにＬＣＤモニタ１２に表示する処理が行われる。

次に、ステップＳ５０４において、表示時間が経過したか否かの判定が行われる。表示時間は予め定めた固定の値であってもよいし、ユーザが設定するようにしてもよい。表示時間の経過は、例えば、ステップＳ５０３での表示開始時に内部タイマを作動させて、その内部タイマの値を見ればよい。表示時間が経過していない期間は（ステップＳ５０４：Ｎｏ）、ＬＣＤモニタ１２の表示が維持された状態（無処理）とする。表示時間が経過すると（ステップＳ５０４：Ｙｅｓ）ステップＳ５０５に進む。

ステップＳ５０５では、ＬＣＤモニタ１２の表示を終了させる処理が行われる。

図１１は、ＣＰＵブロック１０４３の合成バッファ初期化手段５６により実行される「合成バッファ初期化処理」の処理手順を示すフローチャートである。この図１１のフローは、インターバル合成撮影の動作中に、予め定めた第２の操作、例えばセルフタイマ／削除スイッチ１８を押す操作が行われることで開始され、マルチタスクによって図６のフローや図７のフローと並行して動作する。

まず、ステップＳ６０１において、合成処理中フラグがセット中であるか否かの判定が行われる。この処理は、合成処理中フラグがクリアされるまで次の処理を待つための処理である。合成処理中フラグがセットされている期間は（ステップＳ６０１：Ｙｅｓ）、ポーリング処理が行われる。合成処理中フラグがクリアされると（ステップＳ６０１：Ｎｏ）ステップＳ６０２に進む。

ステップＳ６０２では、合成枚数カウンタを０に初期化する処理が行われる。この処理によって図７に示したフローのステップＳ２０１の分岐がＹｅｓとなり、「比較明合成処理」がリセットされることになる。

次に、ステップＳ６０３において、上述した初期設定において設定された「合成リセット時ファイル出力設定」の項目（図４参照）の設定内容を確認する処理が行われる。「合成リセット時ファイル出力設定」の項目の設定内容が「リセット前合成画像を残す」である場合はステップＳ６０４に進み、「何も残さない」である場合はそのまま処理を終了する。

ステップＳ６０４では、第１メモリ領域に格納されているデータ、つまり「比較明合成処理」をリセットする直前までの合成画像を画像ファイルとして出力して、メモリカード８０などに保存する処理が行われる。

図１２−１〜図１２−４は、インターバル合成撮影を実施している間の処理状態を示すタイミングチャートである。本実施形態では、「比較明合成処理」をソフトウェア（プログラム）により実施するため約１秒程度の処理時間がかかるものとしたが、専用のハードウェアを用いて「比較明合成処理」を行うようにすれば、処理時間の短縮を図ることができる。図１２−１〜図１２−４のタイミングチャートは、上記の「比較明合成処理」の処理時間がほぼ安定な時間であるとして、インターバル時間の設定や、露光時間の設定により、インターバル合成撮影を実施している間の処理状態がどのようになるかを示している。

第２メモリ領域は、上述したように、インターバル撮影処理によって取得される画像が順次格納されるメモリ領域である。図中の「書き込み」と示された期間は、撮像センサであるＣＣＤ１０１から第２メモリ領域への書き込みが行われている。また、図中の「出力可能」と示されている期間は、メモリリード中に値が変化するようなことはないため、メモリリードやファイル出力が可能な期間である。

第１メモリ領域は、上述したように、「比較明合成処理」の結果である合成画像を格納するメモリ領域である。図中の「コピー処理」または「合成処理中」と示された期間は、「比較明合成処理」によりメモリの内容が変更されている可能性がある期間である。また、図中の「出力可能」と示されている期間は、メモリリード中に値が変化するようなことはないため、メモリリードやファイル出力が可能な期間である。

図１２−１は、露光時間が比較的長めであり、インターバル時間の設定は、それよりさらに長いような場合におけるタイミングチャートを示している。夜間であり、撮影と撮影の間は空いても構わない、蛍の光を重ねるような表現に向いた設定におけるタイミングチャートである。

図１２−２は、露光時間が比較的長めであり、インターバル時間の設定は、撮影可能な最短サイクルよりも短い場合におけるタイミングチャートを示している。夜間であり、撮影と撮影の間を極力短く撮影する、星の光跡を残すような表現に向いた設定におけるタイミングチャートである。

図１２−３は、露光時間が比較的短めであり、インターバル時間の設定は、図１２−１の例のように長めである場合におけるタイミングチャートを示している。昼間であり、時間的な繋がりを必要としない表現に向いている。

図１２−４は、露光時間が比較的短めであり、インターバル時間の設定は、撮影可能な最短サイクルよりも短い場合におけるタイミングチャートを示している。昼間であり、時間的な繋がりを必要としない表現でありながら、図１２−３の例よりは速く変化するような事象を１枚の画像として記録することに向いている。

図１３−１〜図１３−３は、インターバル合成撮影を実施している間に上述した第１の操作（例えばレリーズボタン２の半押し操作）や第２の操作（例えばセルフタイマ／削除スイッチ１８の押圧操作）が行われた場合の処理状態を示すタイミングチャートである。

図１３−１は、インターバル合成撮影を実施している間に第１の操作（例えばレリーズボタン２の半押し操作）が行われ、「インターバル撮影処理」を停止させることなく図１０に示した「合成途中画像表示処理」を行う場合のタイミングチャートである。第１メモリ領域の状態が「出力可能」の状態であるとき、第１の操作を行えば、直ちに第１メモリ領域に格納されているデータ、つまり「比較明合成処理」によりその時点までに生成された合成画像がＬＣＤモニタ１２に表示されることを示している。また、第１メモリ領域の状態が「合成処理中」の状態であるとき、第１の操作を行った場合は、合成処理が終わるまで表示が待たされることを示している。

図１３−２は、第１メモリ領域の状態が「出力可能」の状態であるとき、第２の操作（例えばセルフタイマ／削除スイッチ１８の押圧操作）が行われ、「インターバル撮影処理」を停止させることなく図１１に示した「合成バッファ初期化処理」を行う場合のタイミングチャートである。この場合、第２の操作を行うと、直ちに合成枚数カウンタの初期化が行われる。しかし、合成枚数カウンタの初期化後、初めてのコピー処理が完了するまでの間に第１の操作を行っても、表示動作は待たされることを示している。

図１３−３は、第１メモリ領域の状態が「合成処理中」の状態であるとき、第２の操作（例えばセルフタイマ／削除スイッチ１８の押圧操作）が行われ、「インターバル撮影処理」を停止させることなく図１１に示した「合成バッファ初期化処理」を行う場合のタイミングチャートである。この場合、第２の操作を行うと、「比較明合成処理」が終わるまで合成枚数カウンタの初期化処理が待たされる。さらに、合成枚数カウンタの初期化後、初めてのコピー処理が完了するまでの間に第１の操作をおこなっても、表示動作は待たされることを示している。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係るデジタルカメラによれば、インターバル撮影処理を行いながら比較明合成処理を行うインターバル合成撮影の機能を備えることで、以下のようなことが行えるようになる。

まず、インターバル撮影処理を継続しながら途中の合成画像をＬＣＤモニタ１２に表示できるので、撮影者は、撮影中に仕上がりのイメージを持つことができる。

また、インターバル撮影処理を継続しながら比較明合成処理をリセットでき、また、それまでの比較明合成処理により得られる各画像を保存できるので、撮影中に不要な光（意図せず入り込んだ車のライトや飛行機の光跡）が入り込んだとしても、後に動画像を作成するデータにはそのような光も生かして時間的繋がりを保持しつつ、光跡を残す静止画像としては合成処理を仕切りなおすということが、現場で撮影をしながらにして行うことができる。

また、後に動画像を作成するデータをできるだけ長時間のものとしつつ、同じ撮影データから、ユーザが目視で確認した所望の長さの光跡をもった静止画像を複数枚作成することができる。

また、デジタルカメラの内蔵メモリ１２０やメモリカード８０などの記録媒体の空き容量が少ない場合には合成結果のみを記録し、空き容量に余裕がある場合には全てのインターバル撮影データを残すといった使い分けができる。

また、星の光跡を残すような撮影の場合であれば、星の光跡が徐々に延びていくような動画像を容易に作成するための元データを得ることができる。ヘビーユーザの場合、動画データを作成する前に静止画の微調整を行う傾向が強いが、そのような要望にも耐えられる。

また、ＰＣでの後処理を苦手とするようなユーザでも、長時間にわたる映像を短時間に間引きしたような動画（いわゆる微速度動画）を、デジタルカメラのみで撮影することができる。

また、ＰＣでの後処理を苦手とするユーザでも、星の光跡を残すような撮影の場合であれば、星の光跡が徐々に延びていくような動画像を、デジタルカメラのみで撮影することができる。

また、撮影者は、第１メモリ領域に保持されている合成画像だけでなく、その合成画像が何枚の画像を合成したものであるかを、撮影をしながらに容易に把握できる。

また、一連のインターバル合成撮影を行っている中で、ＡＦ機能、ＡＥ機能が、意図せず一時的に撮影視野へ入り込んだ被写体に反応し、一連の撮影画像の一部分だけ制御値を変えてしまい、比較明合成処理により得られる静止画や動画に違和感が生じてしまう問題を回避することができる。

なお、本実施形態に係るデジタルカメラにおいて特徴的なインターバル合成撮影の機能は、上述したように、一例としてＣＰＵブロック１０４３が実行するプログラムにより実現される。インターバル合成撮影の機能を実現するためのプログラムは、例えば、デジタルカメラのＲＯＭ１０８などに予め組み込まれて提供される。また、インターバル合成撮影の機能を実現するためのプログラムを、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、インターバル合成撮影の機能を実現するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターバル合成撮影の機能を実現するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態に係るデジタルカメラにおいてインターバル合成撮影の機能を実現するためのプログラムは、上述したインターバル撮影手段５１、撮影設定確定手段５２、インターバル画像ファイル出力手段５３、比較明合成手段５４、合成途中画像表示手段５５および合成バッファ初期化手段５６の各処理機能を含むモジュール構成となっており、実際のハードウェアとしては、ＣＰＵブロック１０４３が上記ＲＯＭ１０８からプログラムを読み出して実行することにより、上記各処理機能がメインメモリ（例えばＳＤＲＡＭ１０３）上にロードされ、上記各処理機能がメインメモリ上に生成されるようになっている。

以上、本発明の具体的な実施の形態について説明したが、本発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形を加えて具体化することができる。つまり、上述したデジタルカメラの構成や動作はあくまで具体的な一例を例示したものであり、用途や目的に応じて様々な変形が可能である。

１２ ＬＣＤモニタ
５１ インターバル撮影手段
５２ 撮影設定確定手段
５３ インターバル画像ファイル出力手段
５４ 比較明合成手段
５５ 合成途中画像表示手段
５６ 合成バッファ初期化手段
１０１ ＣＣＤ
１０３ ＳＤＲＡＭ
１０４３ ＣＰＵブロック

特開２００９−２３９６００号公報

Claims (7)

1. 撮像センサと、記憶部と、表示部と、を備えた撮像装置において、
   前記撮像センサの露光および読み出しを所定の周期で繰り返し行って複数枚の画像を順次取得する処理であるインターバル撮影処理を行うインターバル撮影手段と、
   前記インターバル撮影処理により順次取得される複数枚の画像のうち、１枚目の画像と２枚目の画像とを用いて比較明合成処理を行って処理結果を合成画像として前記記憶部に記憶し、３枚目以降の画像については、該画像と前記記憶部に記憶された合成画像とを用いて前記比較明合成処理を行って処理結果を新たな合成画像として前記記憶部に記憶する処理を繰り返し行う比較明合成手段と、を備え、
   前記インターバル撮影手段は、マニュアルで焦点が設定されるモードと、自動で焦点が設定されるモードとを有し、自動で焦点が設定されるモードの場合は、１枚目の画像を撮影する際に使用された自動焦点の結果を用いて２枚目以降の画像の撮像を行い、
   前記比較明合成手段は、所定の操作が行われた場合に、前記インターバル撮影処理を停止させることなく、前記所定の操作が行われた後に前記インターバル撮影処理によって最初に取得された画像と次に取得された画像とを用いて前記比較明合成処理を行って処理結果を合成画像として前記記憶部に記憶し、その後に取得された画像については、該画像と前記記憶部に記憶された合成画像とを用いて前記比較明合成処理を行って処理結果を新たな合成画像として前記記憶部に記憶する処理を繰り返すことを特徴とする撮像装置。
2. 前記インターバル撮影処理により画像が取得されるたびに、取得された画像を画像ファイルとして出力する第１の画像ファイル出力手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記インターバル撮影処理により画像が取得されるたびに、その時点で前記記憶部に記憶されている合成画像を画像ファイルとして出力する第２の画像ファイル出力手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記インターバル撮影処理により画像が取得されるたびに、取得された画像を動画の１コマとして動画ファイルを生成する第１の動画ファイル生成手段をさらに備えることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記インターバル撮影処理により画像が取得されるたびに、その時点で前記記憶部に記憶されている合成画像を動画の１コマとして動画ファイルを生成する第２の動画ファイル生成手段をさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
6. 第１の操作が行われた場合に、前記インターバル撮影処理を停止させることなく、前記記憶部に記憶された合成画像を前記表示部に表示させる合成画像表示手段をさらに備えることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
7. ２段階に押し込むことができるレリーズボタンをさらに備え、
   前記第１の操作は、前記レリーズボタンの１段目まで押し込む操作であることを特徴とする請求項６に記載の撮像装置。