JP6274780B2 - 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、インターバル撮影が可能な撮像装置に関する。

近年、複数の画像を一連の撮像動作により生成し、生成された複数の画像に対して比較明合成処理を行う撮像装置が知られている。比較明合成処理とは、例えば、連続撮影で取得された複数の画像を比較して基準画像に対して明るい画素だけを用いて合成画像を生成する処理である。

特許文献１には、インターバル撮影中に比較明合成処理を行い、合成途中の画像を表示する撮像装置が開示されている。また特許文献２には、複数の合成画像を生成する際に、生成の進捗状況に関する情報をプログレスバーとして表示部に表示させる構成が開示されている。

特開２０１３−６２７４０号公報 特開２０１１−２２３２９２号公報

しかしながら、特許文献１のデジタルスチルカメラにおいて、インターバル撮影を長時間続けると、撮像素子の温度が上昇してしまう。その結果、ＬＣＤモニタに表示させる合成途中画像が徐々に明るくなる現象（黒浮き）が発生し、蛍や星などの微細な明かりを確認できないこと場合がある。

そこで本発明は、インターバル撮影によって得られた画像に合成処理を行って表示及び記録を行う画像処理装置を備えて記録画像及び途中画像を高品位に表示可能な撮像装置を提供する。また、そのような撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、画像を撮影する撮像素子と、前記画像を記憶する記憶手段と、前記撮像素子を用いて複数の画像を順次撮影する撮影制御手段と、前記撮影制御手段により順次撮影された画像に対して順次合成処理を行う合成手段と、前記合成手段により順次生成される合成画像に対して、前記合成画像のオプティカルブラック値に基づく補正処理を行う画像処理手段と、前記撮影制御手段による前記複数の画像の撮影中に、前記合成手段により順次生成される前記画像処理手段による補正処理後の第１の合成画像を表示手段に表示させる表示制御手段と、前記複数の画像が合成された第２の合成画像を前記記憶手段に記憶させる記憶制御手段とを有する。

本発明の他の側面としての撮像システムは、撮像光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、撮像素子を用いて複数の画像を順次撮影する撮影ステップと、前記撮影ステップにて順次撮影された画像に対して順次合成処理を行う合成ステップと、前記合成ステップにより順次生成される合成画像に対して、前記合成画像のオプティカルブラック値に基づく補正処理を行う画像処理ステップと、前記撮影ステップによる前記複数の画像の撮影中に、前記合成ステップにて順次生成される前記画像処理ステップによる補正処理後の第１の合成画像を表示手段に表示させる表示制御ステップと、前記複数の画像が合成された第２の合成画像を記憶手段に記憶する記憶ステップとを有する。

本発明の他の側面としてのプログラムは、前記撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムである。

本発明の他の側面としての記憶媒体は、コンピュータに、前記撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体である。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、インターバル撮影によって得られた画像に合成処理を行って表示及び記録を行う画像処理手段を備えて記録画像及び途中画像を高品位に表示可能な撮像装置を提供することができる。また、そのような撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

本実施例における撮像装置の構成を示すブロック図である。 本実施例における撮像装置の制御方法（画像処理方法）を示すフローチャートである。 本実施例における撮像装置によるインターバル撮影を示すフローチャートである。 本実施例における撮像装置による比較明合成処理を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本実施例における撮像装置（デジタルカメラ）の構成について説明する。図１は、本実施例における撮像装置の構成を示すブロック図である。

撮像装置１００において、１０は撮影レンズ（撮像光学系）、１２は絞り機能を備える機械式シャッター、１４は被写体像（光学像）を光電変換して電気信号（アナログ信号）を出力する撮像素子である。撮像素子１４は、画像を撮影する。１６は、撮像素子１４から出力されたアナログ信号をディジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、Ａ／Ｄ変換器１６、および、Ｄ／Ａ変換器２６にクロック信号および制御信号を供給するタイミング発生回路であり、メモリ制御回路２２およびシステム制御回路５０により制御される。本実施例において、機械式シャッター１２に代えて、撮像素子１４のリセットタイミングを制御する電子シャッターを用いて蓄積時間を制御することができ、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータまたはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理、色変換処理、ノイズ除去処理、エッジ強調処理などを行う。また画像処理回路２０は、メモリ制御回路２２からの画像データに対して、顔検出のためのウェーブレット変換処理などを行う。また画像処理回路２０は、ＡＷＢ（オートホワイトバランス）処理を行うために撮像画像（画像データ）を用いて所定の演算処理を行う。そして、得られた演算結果をＷＢ（ホワイトバランス）評価値として算出し、算出されたＷＢ評価値に基づいて画像データの色変換などを行う。更に、画像処理回路２０は、ＡＦ処理、ＡＥ処理、および、ＥＦ処理をそれぞれ行うためのＡＦ評価値、ＡＥ評価値、および、ＥＦ評価値を算出するため、撮像画像（画像データ）を用いて所定の演算処理を行う。システム制御回路５０は、得られたＡＦ評価値、ＡＥ評価値、および、ＥＦ評価値に基づいて、所定のアルゴリズムに従って露光制御手段４０および測距制御手段４２を制御する。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０（記憶手段）、および、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデータ（画像信号）は、画像処理回路２０およびメモリ制御回路２２を介して、または、直接メモリ制御回路２２を介して、画像表示メモリ２４またはメモリ３０に記憶される。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ−ＬＣＤなどを備えて構成される画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８（表示手段）に表示される。画像表示部２８を用いて撮像画像（画像データ）を逐次表示することにより、電子ファインダ機能を実現することが可能である。また画像表示部２８は、システム制御回路５０の指示に基づいて、任意に表示のＯＮ／ＯＦＦを行うことが可能である。画像表示部２８は、その表示をＯＦＦにした場合、撮像装置１００（画像処理装置）の電力消費を低減することができる。

３０は、撮影した静止画像や動画像などの画像を記憶するメモリ（記憶手段）であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。またメモリ３０は、システム制御回路５０の作業領域としても使用可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理したデータをメモリ３０に書き込む。４０は、絞り機能を備える機械式シャッター１２を制御する露光制御手段である。露光制御手段４０は、フラッシュ４８と連携することによりフラッシュ調光機能を有する。４２は、撮影レンズ１０のフォーカシングを制御する測距制御手段である。４４は、撮影レンズ１０のズーミングを制御するズーム制御手段である。４６は、バリアとしての保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、および、フラッシュ調光機能を有する。露光制御手段４０および測距制御手段４２は、ＴＴＬ方式を用いて制御されている。システム制御回路５０は、画像処理回路２０による撮像画像（画像データ）の演算結果に基づいて、露光制御手段４０および測距制御手段４２を制御する。

５０は、撮像装置１００（画像処理装置）の全体を制御するシステム制御回路（制御手段）である。システム制御回路５０は、インターバル撮影手段５０ａ（撮影制御手段）、比較明合成手段５０ｂ（合成手段）、画像処理手段５０ｃ、および、表示制御手段５０ｄを有する。インターバル撮影手段５０ａは、撮像素子１４を用いて複数の画像を順次撮影する。比較明合成手段５０ｂは、インターバル撮影手段５０ａにより順次撮影された複数の画像に対して、順次、比較明合成処理（合成処理）を行う。比較明合成処理とは、インターバル撮影手段５０ａにより順次撮影された画像に対して順次合成処理を行う際に、画像を比較して信号レベルの低くない方を選択的に用いて合成画像を生成する処理である。

画像処理手段５０ｃは、インターバル撮影手段５０ａにより順次撮影されるタイミングに同期して、比較明合成手段５０ｂにより順次生成される合成画像（合成途中画像）に対して、所定の画像処理を行う。所定の画像処理とは、例えば、合成画像のオプティカルブラック値に基づく補正処理である。表示制御手段５０ｄは、インターバル撮影手段５０ａによる複数の画像の撮影中に、比較明合成手段５０ｂにより順次生成される画像処理手段５０ｃによる補正処理後の合成画像（合成途中画像、第１の合成画像）を画像表示部２８（表示手段）に表示させる。

５２は、システム制御回路５０の動作用の定数、変数、プログラムなどを記憶するメモリである。５４は、システム制御回路５０によるプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを表示する液晶表示装置やスピーカーなどを備えて構成される表示部である。表示部５４は、撮像装置１００（画像処理装置）の操作部近傍の視認し易い位置に設置され、例えばＬＣＤやＬＥＤ、発音素子などの組み合わせにより構成されている。また表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤなどに表示される内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤眼緩和表示、マクロ撮影表示も可能である。更に、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示なども可能である。また表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭを用いて構成される。

６０、６２、６４、６６、７０、７２、７４は、システム制御回路５０の各種の動作指示を入力するための操作手段である。これらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置などの単数または複数の組み合わせにより構成される。以下、これらの操作手段について具体的に説明する。

６０はモードダイアルスイッチである。モードダイアルスイッチ６０は、電源オフ、静止画撮影モード、パノラマ撮影モード、動画撮影モード、スナップ動画撮影モード、再生モード、マルチ画面再生、ＰＣ接続モード、テレビ受信モードなどの各機能モードを切り替え設定することができる。６２は第１シャッタースイッチ（ＳＷ１）である。第１シャッタースイッチ６２は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などの撮影準備動作開始を指示する。

６４は第２シャッタースイッチ（ＳＷ２）である。第２シャッタースイッチ６４は、シャッターボタンの操作完了でＯＮとなり、一連の処理の動作開始を指示する。この一連の処理において、まず、撮像素子１４から読み出された信号（画像データ）をＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に書き込む画像取り込み処理が行われる。また、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、および、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮処理を行う処理が行われる。そして、記録媒体２００または記録媒体２１０に画像データを書き込む記録処理が行われる。

６６は、表示切替スイッチであり、画像表示部２８の表示切替を行うことができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ−ＬＣＤなどを備えて構成される画像表示部２８への電流供給を遮断して省電力を図ることが可能となる。７０は、各種ボタンやタッチパネルなどを備えて構成される操作部である。操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンなどを備えている。また操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなども備えている。

７２は、ユーザが撮像画像の倍率変更の指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチ、および、撮像画角を広角側に変更させるワイドスイッチを備えて構成される。ズームスイッチ７２を操作は、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示して光学ズーム操作を行うためのトリガとなる。また、ズームスイッチ７２の操作は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的な変更のトリガともなる。７４は、動画再生指示部である。動画撮影後の所定期間内に動画再生指示部７４を操作することにより、撮影動画の再生を開始することができる。

８０は電源制御手段である。電源制御手段８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを備えて構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御手段８０は、それらの検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００、２０１を含む各部へ供給する。８２、８４はそれぞれコネクタである。８６は、アルカリ電池やリチウム電池などの一次電池、または、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、および、ＡＣアダプターなどを備えて構成される電源手段である。

９０、９４は、メモリカードやハードディスクなどの記録媒体とのインタフェース（Ｉ／Ｆ）である。９２、９６は、メモリカードやハードディスクなどの記録媒体と接続を行うコネクタである。なお本実施例において、記録媒体を取り付けるインタフェースおよびコネクタを２系統有する場合について説明しているが、これに限定されるものではない。記録媒体を取り付けるインタフェースおよびコネクタは、単数または２以外の複数の系統を備えていてもよい。また、異なる規格のインタフェースおよびコネクタを組み合わせた構成としても構わない。インタフェースおよびコネクタとして、ＳＤカード、ＰＣＭＣＩＡカード、ＣＦ（コンパクトフラッシュ（登録商標））カードなどの規格に準拠したものを用いて構成することもできる。このような構成において、ＬＡＮカード、モデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、ＳＣＳＩカード、ＰＨＳなどの通信カードなどの各種通信カードを接続する。これにより、他のコンピュータやプリンタなどの周辺機器との間で画像データや画像データに付属した管理情報を双方向に転送することができる。

１０２は、撮像装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する保護手段（バリア）である。１０４は光学ファインダである。撮像装置１００は、画像表示部２８による電子ファインダ機能を用いることなく、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダ１０４には、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示など、表示部５４の一部の機能が設けられている。

１１０は通信手段である。通信手段１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信などの各種通信機能を有する。１１２は、通信手段１１０により撮像装置１００（画像処理装置）を他の機器と接続するコネクタまたは無線通信を用いる場合のアンテナである。２００は、メモリカードやハードディスクなどの記録媒体である。記録媒体２００は、半導体メモリや磁気ディスクなどを備えて構成される記録部２０２、撮像装置１００とのインタフェース２０４（Ｉ／Ｆ）、および、撮像装置１００と接続を行うコネクタ２０６を備えている。２１０は、メモリカードやハードディスクなどの記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスクなどを備えて構成される記録部２１２、撮像装置１００とのインタフェース２１４、および、撮像装置１００と接続を行うコネクタ２１６を備えている。

なお、本実施例の撮像装置１００は、撮影レンズ１０を一体化して構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に着脱可能な撮影レンズ（撮像光学系）とを組み合わせて構成される撮像システムにも適用可能である。

次に、本実施例における比較明合成処理について説明する。撮影機能の一つとして、デジタルカメラを三脚に固定した状態でインターバル撮影を行って得られた複数枚の静止画を撮影し、合成画像を作成する手法がある。具体的には、撮影画面内を移動している蛍の光跡を映しこんだ写真や、地球の日周運動に起因する夜空を移動する星の光跡を表現した写真を作成するため、比較明合成処理が行われる場合がある。

本実施例における比較明合成処理は、以下の手順で行われる。まず、ユーザの指示に従って、インターバル撮影を開始する。撮影を開始すると、複数枚撮影の最初の静止画（１枚目の画像）を撮影し、合成用に用意したメモリ領域（メモリ３０）に基準画像として格納する。次に、インターバル撮影の２枚目の静止画（２枚目の画像）を撮影し、２枚目の静止画を、合成用メモリ領域に格納された１枚目の静止画と比較する。具体的には、対応する画素の輝度を比較し、輝度が低くない方の画素の値を合成用メモリ領域に書き戻す。この処理を全画素について行い、合成用メモリ領域に１枚目の静止画と２枚目の静止画との合成画像を保持させる。その後、３枚目以降の静止画（画像）については、合成用メモリ領域の合成画像と処理すべき静止画の対応する画素の輝度を比較し、輝度が低くない方の画素を合成用メモリ領域に書き戻す処理を全画素について行う。処理すべき全ての静止画について上記工程を繰り返すことで、順次、画像合成処理を行う。

デジタルカメラのインターバル撮影により得られた多数枚の静止画を用いて上記のような比較明合成処理を行うことで、あたかも長時間露光を行ったような合成画像が得られる。

しかし、多数枚の静止画の撮影時間が長時間になるに従い、撮像素子１４の暗電流が増加し、撮像センサに光が当たっていない画素からも画素信号が出力されてしまう。その結果、前述の比較明合成処理を行うと、合成画像の暗い部分が徐々に信号値を持って浮いてきてしまう（黒浮き現象）という課題が生じた。

そこで、撮像素子１４の暗電流対策として黒引き処理を行う。黒引き処理とは、撮影の前後で実際に撮像素子１４を使用して本撮影と暗黒撮影を行い、減算処理を行うことにより本撮影で撮影した画像から暗電流で発生した信号分を差し引く処理である。具体的には、まず本撮影（本画像の撮影）を行う。続いて、本撮影と同じ露光時間および露光感度などを同条件に揃えて撮像素子を遮光して暗黒撮影を行う。これにより、撮像素子１４からの信号の暗電流分を導出し、先に撮影した本撮影から減算処理を行うことにより黒引き処理が行われる。しかし、前述のとおり、蛍の光跡の撮影や星の光跡の撮影でこの黒引き処理のための遮光状態での暗黒撮影を行うと、暗黒撮影を行う時間帯の光跡の画像をデジタルカメラに取り込むことができない。このため、蛍の光跡や星の光跡が途切れて撮影されてしまう。その結果、蛍の光跡や星の光跡が破線状になってしまうため、比較明合成処理を行うインターバル撮影では撮影毎に黒引き処理を行うのは好ましくない。

そこで、本実施例におけるデジタルカメラ（撮像装置１００）においては、上記現象を軽減するため、本画像（撮影記録画像）に対して比較明合成を行うインターバル撮影が終了したときに、暗黒撮影を行って黒画像（第２の画像）を取得する。そして、比較明合成画像との間で黒引き処理を行う。すなわちインターバル撮影手段５０ａは、複数の画像を撮影した後に、撮像素子１４を遮光した状態で第２の画像を撮影する。そして画像処理手段５０ｃは、第２の合成画像から第２の画像を減算する黒引き処理を行う。この処理を行うことにより、最終的に残される比較明合成画像については黒浮き現象が低減される。

また本実施例では、インターバル撮影を行っている間、表示部に比較明合成の途中画像（合成画像）を表示させることで、撮影及び画像処理の経過を確認できるようにしている。しかし、合成途中の画像に対しては暗黒撮影を行うことができない。そこで、本実施例ではさらに、本画像（撮影記録画像）の撮影であるインターバル撮影の前に暗黒撮影を行って得られる黒画像（第１の画像）を用いて比較明合成の途中画像に対して減算処理を行い、黒浮き現象を低減させる。

しかし、比較明合成の途中画像は、比較明合成を行うインターバル撮影の撮影枚数が増加するに従い、徐々に暗電流も増え、黒浮きしてきてしまう。そこで本実施例では、比較明合成の途中画像について、各撮影で取得される撮像素子１４上の有効画素領域の外側に配され、撮影時は常に遮光状態にあるＯＢ（オプティカルブラック）領域から求めた暗電流の値（ＯＢ値）の減算処理（ＯＢ減算）を行う。この減算処理は、比較明合成の途中画像を表示用画像に処理する前に行われる。このことにより、表示画像の黒浮きを低減する。このため、より好ましい比較明合成の途中画像（合成画像）を表示することができる。

この場合、ＯＢ領域から求められた暗電流の値を減算するだけでなく、例えば、撮影開始前に予め暗黒撮影した画像から減算処理を行ってもよい。または、色変換処理回路を利用して任意に画像処理を行っても同様な効果を得ることができる。

図２を参照して、本実施例における撮像装置１００の制御方法（画像処理方法）について説明する。図２は、撮像装置１００の制御方法（画像処理方法）を示すフローチャートである。図２のステップＳ１０５〜Ｓ１０８のフローは、本実施例における途中画像の経過観察用画像にＯＢ減算して表示するシーケンスである。図２の各ステップは、システム制御回路５０の指令あるいはシステム制御回路５０の指示に従って各部で実行される。

まずステップＳ１０１において、システム制御回路５０は、インターバル撮影を行う前に、撮像素子１４を遮光した状態での暗黒撮影を行い、黒画像（黒引き画像、第１の画像）をメモリ領域に格納する。この黒画像はインターバル撮影の途中経過を確認するための途中画像に見えてしまう画素傷などを見えにくくするために、後のステップにて各撮影画像から減算される。続いてステップＳ１０２において、システム制御回路５０は、ユーザの指示に従ってインターバル撮影を開始する。これにより、インターバル撮影手段５０ａは、順次、複数の画像が撮影される。なおインターバル撮影の詳細については、図３を参照して後述する。並行して、ステップＳ１０３において、システム制御回路５０（比較明合成手段５０ｂ）によって、インターバル撮影で得られた複数の画像に対して比較明合成処理が進められる。なお、本実施例における比較明合成処理の詳細については、図４を参照して後述する。

次に、ステップＳ１０４において、システム制御回路５０は、インターバル撮影の終了動作が行われてインターバル撮影が終了したか、あるいは設定された時間が経過してインターバル撮影が終了したか否かを判定する。インターバル撮影が終了した場合、ステップＳ１０９に移行する。一方、ステップＳ１０４にてインターバル撮影が終了していない場合、システム制御回路５０は、インターバル撮影を続行する。そしてステップＳ１０５において、システム制御回路５０は、途中画像表示機能がオンに設定されているか否か、すなわち途中画像表示を行うように設定されているか否かを判定する。途中画像表示を行うように設定されていない場合、ステップＳ１０２に戻り、システム制御回路５０はインターバル撮影を続行する。一方、レックビュー用画像表示を行うように設定されている場合、ステップＳ１０６に移行する。ここで、インターバル撮影自体は途中用画像の表示の有無に関わらず一定の間隔で撮影が行われなければならないので、Ｓ１０５〜Ｓ１０８とＳ１０２の処理は並行して行われていてもよい。

ステップＳ１０６において、システム制御回路５０は、途中画像を作成する。このとき、システム制御回路５０（画像処理手段５０ｃ）は、比較明合成手段５０ｂにより生成された合成画像に対して、オプティカルブラック値（ＯＢ値）に基づく補正処理（所定の画像処理）を行う。この補正処理は、インターバル撮影手段５０ａにより順次撮影されるタイミングに同期して行われる。より具体的には、システム制御回路５０は、インターバル撮影で得られた画像のＯＢ領域からＯＢ値を読み出し、撮影画像（画像信号）からそのＯＢ値を減算することにより、合成画像に対してＯＢ値に基づく補正処理を行う（ＯＢ減算を行う）。続いてステップＳ１０７において、システム制御回路５０は、ステップＳ１０６にて減算処理された画像に対して現像処理を行う。続いてステップＳ１０８において、システム制御回路５０は、ステップＳ１０７にて現像処理した画像をＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）（画像表示部２８）に表示するためのサイズに縮小（リサイズ）する。そして、縮小画像（リサイズした画像）を画像表示部２８に表示させる。すなわちシステム制御回路５０（表示制御手段５０ｄ）は、画像処理手段５０ｃによる画像処理後の途中合成画像を画像表示部２８に表示させる。縮小画像を表示した後、ステップＳ１０２に戻る。

ステップＳ１０４にてインターバル撮影が終了した場合、ステップＳ１０９において、システム制御回路５０は、暗黒撮影を行って本画像（記録画像）の黒引き処理のための黒画像（黒引き画像）をメモリ領域に格納する。これは、撮影終了時は処理に時間の余裕があるためである。続いてステップＳ１１０において、システム制御回路５０は、比較明合成画像から黒引き処理を行い、画像の黒浮きを低減する。そしてステップＳ１１１において、システム制御回路５０は、比較明合成画像に対して現像処理を行い、その画像を最終の比較明合成画像とする。これにより本フローは終了する。図２に示されるシーケンスにより、ユーザは比較明合成の途中画像を確認することができ、より使い勝手が向上する。

次に、図３を参照して、本実施例におけるインターバル撮影（図２のステップＳ１０２）について詳述する。図３は、インターバル撮影を示すフローチャートである。図３のフローチャートは、インターバル撮影のメインルーチンであり、インターバル撮影を行いつつ比較明合成処理を開始するタイミングなどを示している。図３の各ステップは、主にシステム制御回路５０（インターバル撮影手段５０ａ）により実行される。

まずステップＳ２０１において、システム制御回路５０は、合成処理中フラグを初期化する。続いてステップＳ２０２において、システム制御部５０は、一連のインターバル撮影を行う前にフォーカス情報や露出情報（露出条件）などを確定して設定する。１回のインターバル撮影における２枚目以降の撮影の際にはステップＳ２０２はスルーされる。合成処理中フラグは、「比較明合成処理」が実行中であるか否かを示すフラグである。

次にステップＳ２０３において、システム制御回路５０は、インターバル撮影間隔の計測を開始する。この処理は、インターバル撮影間隔の計測を行うために内部タイマを作動させる処理である。続いてステップＳ２０４において、システム制御回路５０は、露光制御手段４０を用いて露光処理を行う。露光処理は、撮像素子１４の露光を行う処理である。このとき、比較明合成処理が同時に行われている可能性がある。このためシステム制御回路５０は、露光が完了した場合でも、すぐに撮像素子１４からのデータ読み出しを行わない。

続いてステップＳ２０５において、システム制御回路５０は、合成処理中フラグがセットされているか否かを判定する。すなわちシステム制御回路５０は、一連のインターバル撮影処理で前回撮影された画像の合成処理が終了しているか否かを、プログラム内の変数を参照して判定する。前回撮影された画像の合成処理が終了しておらず、合成処理中フラグがセットされた状態である場合（ステップＳ２０５にて「Ｙｅｓ」の場合）、合成処理が終了するまで待機する。一方、前回撮影された画像の合成処理が終了して、合成処理中フラグがクリアされた状態である場合（ステップＳ２０５にて「Ｎｏ」の場合）、ステップＳ２０６に移行する。

次にステップＳ２０６において、システム制御回路５０は、メモリ制御回路２２（タイミング発生回路１８）を制御して撮像センサ（撮像素子１４）からデータを読み出す。この処理は、撮像センサの露光により得られる画像を撮像センサから読み出してメモリ領域（メモリ３０）へ格納する処理である。またこのとき、同時にステップＳ１０１にて取得しメモリに記憶されている黒画像（第１の画像）を読み出した画像から減算する黒引き処理を行う。すなわち画像処理手段５０ｃは、インターバル撮影手段５０ａにより複数の画像の撮影前に撮像素子１４が遮光された状態で撮影された第１の画像を、インターバル撮影手段５０ａにより順次撮影される画像毎に減算する黒引き処理を行う。これにより、各画像に存在する画素傷やノイズ成分が合成後の画像に表れるのを軽減させることができる。

続いてステップＳ２０７において、システム制御回路５０は、合成処理中フラグをセットする。この処理は、他のプログラムにおいて合成処理が実行中であるか否かを判定するための合成処理中フラグをプログラム内の変数としてセットする処理である。

続いてステップＳ２０８において、システム制御回路５０は、比較明合成処理を開始する。比較明合成処理は、マルチタスクにより、インターバル撮影と並行して実行される。比較明合成処理の詳細については後述する。

続いてステップＳ２０９において、システム制御回路５０は、インターバル撮影を終了させる操作が行われたか否かを判定する。インターバル撮影を終了させる操作がユーザから指示された場合、インターバル撮影時間を経過した場合、または、電池が所定値以上に消耗した場合などにおいて（ステップＳ２０９にて「Ｙｅｓ」の場合）、システム制御回路５０はインターバル撮影を終了させる。一方、インターバル撮影を終了させる操作が行われていない場合であって、トータルのインターバル撮影時間が経過しておらず、かつ、次の撮影タイミングがきていない場合（ステップＳ２０９にて「Ｎｏ」の場合）、インターバル撮影時間が経過するまで待機する。そして、インターバル撮影時間が経過して次の撮影タイミングが訪れた場合、ステップＳ２０３に戻り、インターバル撮影時間の計測を開始し、次の画像を撮影する。

次に、図４を参照して、本実施例における比較明合成処理（図２のステップＳ１０３）について詳述する。図４は、比較明合成処理を示すフローチャートである。図４の各ステップは、システム制御回路５０の指令に基づいて実行される。

まずステップＳ３０１において、システム制御回路５０は、撮影が１枚目の撮影であるか否かを判定する。この処理は、合成用のワークメモリとして利用するメモリ領域を判定するために実行される処理である。この判定は、一般的には、撮影枚数カウンタを設けて判定される。撮影枚数カウンタは、インターバル撮影を開始した後の最初の撮影時に初期化される。ステップＳ３０１にて撮影が１枚目の撮影であると判定された場合、システム制御部５０は、１枚目の撮影画像用のワークメモリ領域（メモリ３０）に画像を記憶させる。一方、撮影が２枚目以降の撮影である場合、ステップＳ３０３に移行する。

ステップＳ３０３において、システム制御回路５０は、撮影画像を、１枚目のワークメモリ領域とは異なるワークメモリ領域（メモリ３０）に記憶させる。続いてステップＳ３０４において、システム制御回路５０は、１枚目の撮影画像および２枚目の撮影画像を用いて比較明合成の処理を行う。本実施例において、比較明合成した画像は、１枚目のワークメモリ領域に上書きされる。続いてステップＳ３０５において、システム制御回路５０は、撮影枚数カウンタをインクリメント（＋１）する。そしてステップＳ３０６において、システム制御回路５０は、合成処理フラグをクリアして、本フローを終了する。

以上のように、本実施例では、インターバル撮影に依って得られる画像を合成して表示、記録する画像処理装置であって、記録画像に対してはインターバル撮影後に取得される黒画像によって黒引き処理を行う。これにより、画素傷や暗電流の影響を軽減した画像を生成している。また、インターバル撮影中に途中画像を表示する場合、インターバル撮影前に取得した黒画像によって撮影画像を黒引き処理をすることで、途中画像での画素傷などの影響を軽減することができる。また、途中画像（撮影が終わった画像までが合成された合成画像）に対してオプティカルブラック値に基づく補正処理（所定の画像処理）を行うことで、途中画像での暗電流による黒浮きの影響を軽減することができる。

本実施例において、画像処理手段５０ｃによる所定の画像処理はオプティカルブラック値に基づく補正処理であるが、これに限定されるものではない。例えば、所定の画像処理として、合成画像に対する色変換処理を行ってもよい。

より好ましくは、比較明合成手段５０ｂは、インターバル撮影手段５０ａにより順次撮影された複数の画像のうち、１枚目の画像および２枚目の画像を用いて比較明合成処理を行い、比較明合成処理の結果を第１の合成画像としてメモリ３０に記憶させる。そして３枚目の画像に関しては、この画像およびメモリ３０に記憶された合成画像（第１の合成画像）を用いて比較明合成処理を行い、比較明合成処理の結果を第２の合成画像としてメモリ３０に記憶させる。このように、システム制御回路５０（記憶制御手段）は、複数の画像が合成された第２の合成画像をメモリ３０（記憶手段）に記憶させる。なお、４枚目以降の画像に関しても同様に、この画像およびメモリ３０に記憶された合成画像（１〜３枚目の画像を合成した画像）を新たに合成画像として更新する。

好ましくは、表示制御手段５０ｄは、インターバル撮影手段５０ａにより順次撮影されるタイミングに同期して、インターバル撮影手段５０ａの処理を停止させることなく、画像処理後の合成画像を画像表示部２８に表示させる。また好ましくは、画像処理手段５０ｃは、メモリ３０に記憶された合成画像に対して所定の画像処理を行う。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

本実施例によれば、インターバル撮影中に比較明合成処理を行って高品位な合成画像を表示可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１４ 撮像素子
３０ メモリ
５０ システム制御回路
５０ａ インターバル撮影手段
５０ｂ 比較明合成手段
５０ｃ 画像処理手段
５０ｄ 表示制御手段
１００ 撮像装置

Claims (10)

1. 画像を撮影する撮像素子と、
   前記画像を記憶する記憶手段と、
   前記撮像素子を用いて複数の画像を順次撮影する撮影制御手段と、
   前記撮影制御手段により順次撮影された画像に対して順次合成処理を行う合成手段と、
   前記合成手段により順次生成される合成画像に対して、前記合成画像のオプティカルブラック値に基づく補正処理を行う画像処理手段と、
   前記撮影制御手段による前記複数の画像の撮影中に、前記合成手段により順次生成される前記画像処理手段による補正処理後の第１の合成画像を表示手段に表示させる表示制御手段と、
   前記複数の画像が合成された第２の合成画像を前記記憶手段に記憶させる記憶制御手段と、を有することを特徴とする撮像装置。
2. 前記画像処理手段は、前記撮影制御手段により前記複数の画像の撮影前に前記撮像素子が遮光された状態で撮影された第１の画像を、前記撮影制御手段により順次撮影される画像毎に減算する黒引き処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮影制御手段は、前記複数の画像を撮影した後に、前記撮像素子を遮光した状態で黒画像を撮影し、
   前記画像処理手段は、前記第２の合成画像から前記黒画像を減算する黒引き処理を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記合成手段は、前記撮影制御手段により順次撮影された画像に対して順次合成処理を行う際に、画像を比較して信号レベルの低くない方を選択的に用いて合成画像を生成する比較明合成処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像光学系を備えたレンズ装置と、
   請求項１乃至４のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
6. 撮像素子を用いて複数の画像を順次撮影する撮影ステップと、
   前記撮影ステップにて順次撮影された画像に対して順次合成処理を行う合成ステップと、
   前記合成ステップにより順次生成される合成画像に対して、前記合成画像のオプティカルブラック値に基づく補正処理を行う画像処理ステップと、
   前記撮影ステップによる前記複数の画像の撮影中に、前記合成ステップにて順次生成される前記画像処理ステップによる補正処理後の第１の合成画像を表示手段に表示させる表示制御ステップと、
   前記複数の画像が合成された第２の合成画像を記憶手段に記憶する記憶ステップと、を有することを特徴とする撮像装置の制御方法。
7. 請求項６に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
8. コンピュータに、請求項６に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
9. 撮像手段によるインターバル撮影で得られた複数の画像を合成して生成した第２の合成画像を記録手段に記録する画像処理装置であって、
   インターバル撮影の途中において、前記撮像手段から得られた画像を合成して第１の合成画像を順次生成する合成手段と、
   前記第１の合成画像が生成される度に前記第１の合成画像に対して前記撮像手段のオプティカルブラック値を用いて補正する補正手段と、
   前記補正手段による補正後の第１の合成画像を表示手段に順次出力する出力手段と、
   を備えることを特徴とする画像処理装置。
10. 前記インターバル撮影後に前記撮像手段を遮光した状態で撮影して得られた黒画像を用いて、前記第２の合成画像に対して黒引き処理を行うことを特徴とする請求項９に記載の画像処理装置。