JP4544332B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理のためのプログラムに関するものである。

特開２００５−３５４１６６号公報

写真や画像の撮影／撮像手法の１つとして長時間露光が知られている。これは、数秒から数十秒、場合によっては数十分に及ぶ時間、継続して露光を行う手法である。
この長時間露光は、被写体の明るさに対応するためだけでなく、写真の表現技法としても用いられている。
例えば夜景等の撮影で長時間露光が行われるが、これは、光量が少ないので、映像を得るのに十分な量の光を集めるために露光時間を長くすることが行われる。
また、意図的に絞りを暗く設定したり、撮像感度を低くしたりして、被写体の動きを表現したり、動いている被写体の中で静止している被写体の存在を浮かび上がらせたり、といった目的で行われる場合もある。
また、長時間露光中にフラッシュ（閃光装置）を用いることにより、先幕シンクロ／後幕シンクロ／マルチ発光などの効果を得る撮影手法も知られている。

しかしながら、長時間露光／先幕シンクロ／後幕シンクロ／マルチ発光などの特殊な画像効果を与えた撮像画像として、ユーザが意図した画像を得ることはなかなか困難であった。
これらの特殊効果画像として、満足のいく画像を得るためには、適切な露出設定、露光時間、シャッタータイミング、フラッシュ発光タイミング、フラッシュ光量などが必要であり、自分の経験と勘でこれらを決定しなければならず、実際上、熟練者でなければ困難である。

そこで本発明では、特に熟練を必要とせずに、一般ユーザが、多様な画像効果、特に長時間露光や長時間露光を利用した先幕シンクロ／後幕シンクロ／マルチ発光などの画像効果と同様の静止画像を、撮像等により容易に得ることができるようにすることを目的とする。

本発明の画像処理装置は、撮像による画像取得動作として、時間的な連続性を有する複数フレームの画像データを取得する画像取得部と、上記画像取得部による画像取得動作中に、上記画像取得部で得られる各フレームの画像データをバッファリング記憶する記憶部と、合成処理を行うモードを指示する操作に応じて、上記画像取得部に上記撮像による画像取得動作を開始させるとともに、該画像取得動作中に、逐次、上記記憶部にバッファリング記憶された複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成し、合成画像データを表示用のデータとし、さらに、記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを記録媒体に記録する処理を行う演算制御部とを備える。

また上記演算制御部は、記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを、静止画データとして記録媒体に記録する処理を行う。
また上記演算制御部は、１フレーム期間又は複数フレーム期間としての所定期間毎に、バッファリング記憶された複数フレームの画像データのうちで最新のフレームを含む所定フレーム数の画像データを用いて合成画像データを生成し、表示用のデータとする。
また上記演算制御部は、合成処理対象とする各画像データに対して均等な重み係数を与えて合成処理を行う。
また上記演算制御部は、合成処理対象とする各画像データのうちで、最新のフレームの画像データに対して高い重み係数、他のフレームの画像データに対して低い重み係数を与えて合成処理を行う。
また上記演算制御部は、合成処理対象とする各画像データのうちで、最古のフレームの画像データに対して高い重み係数、他のフレームの画像データに対して低い重み係数を与えて合成処理を行う。
また上記演算制御部は、合成処理対象とする各画像データについて、周期的に高い重み係数と低い重み係数を与えて合成処理を行う。

また上記演算制御部は、上記画像取得動作中に、逐次、上記記憶部にバッファリング記憶される複数フレームの画像データを用いて画像合成処理を行って複数種類の合成画像データを生成し、生成した複数種類の合成画像データを表示用のデータとする。
この場合、上記演算制御部は、記録操作入力に応じて、その記録操作入力タイミングに対応して生成された複数種類の合成画像データの全部又は一部を、静止画データとして記録媒体に記録する処理を行う。

また上記演算制御部は、上記画像取得動作中に、逐次、上記記憶部にバッファリング記憶される複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成するとともに、生成した合成画像データを動画を構成する１フレームの画像データとして記録媒体に記録する処理を行う。
また上記演算制御部は、生成した合成画像データを、表示用のデータとする。

上記画像取得部は、撮像動作により時間的な連続性を有する複数フレームの画像データを取得する撮像部とされる。
或いは上記画像取得部は、再生動作により時間的な連続性を有する複数フレームの画像データを取得する再生部とされる。
或いは上記画像取得部は、受信動作により時間的な連続性を有する複数フレームの画像データを取得する受信部とされる。
また、上記演算制御部で生成される合成画像データを表示出力する表示部をさらに備える。
また上記演算制御部で生成される合成画像データを送信出力する送信部をさらに備える。

本発明の画像処理方法は、合成処理を行うモードを指示する操作に応じて、撮像による画像取得動作を開始し、該画像取得動作により時間的な連続性を有する複数フレームの画像データを取得するステップと、上記画像取得動作中に取得される各フレームの画像データをバッファリング記憶するステップと、逐次、バッファリング記憶された複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成するステップと、合成画像データを表示用のデータとして出力するステップと、記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを記録媒体に記録するステップとを備える。
本発明のプログラムは、合成処理を行うモードを指示する操作に応じて、撮像による画像取得動作を開始させ、該画像取得動作により時間的な連続性を有する複数フレームの画像データを取得するステップと、上記画像取得動作中に取得される各フレームの画像データをバッファリング記憶させるステップと、逐次、バッファリング記憶された複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成するステップと、合成画像データを表示用のデータとして出力するステップと、記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを記録媒体に記録するステップと、を演算処理装置に実行させるプログラムである。

このような本発明は、例えば被写体画像の撮像時や、映像再生時などにおいて、その撮像モニタ或いは再生モニタ等としての表示データとして、逐次得られるフレームの画像について所定フレーム期間合成して得た合成画像データを生成する。合成画像データは、長時間露光効果を与えた画像、或いは先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの効果を与えた画像となる。
そして例えば１フレーム期間毎に、最新の１フレームから所定フレーム数の合成画像を生成し、表示用の１フレーム画像とする。これを継続すれば、各フレーム期間での合成画像データが動画の１フレームとされた画像表示が行われることになる。つまり撮像時や再生時のモニタ表示として、長時間露光効果の画像が動画的に表示されることになる。
このような特殊効果の動画表示により、ユーザは自分が特殊な画像効果が与えられた画像を、撮像の際や再生の際にリアルタイムで確認できる。例えばこのような特殊な効果が与えられた画像をモニタしてシャッタタイミングを待つことができる。
そしてユーザのシャッタ操作等の記録操作に応じて、そのタイミングでの合成画像データを記録媒体に記録すれば、ユーザの望んだシーンでの望んだ特殊効果の画像を得ることができる。
このような本発明の画像処理装置、画像処理方法は、例えばデジタルスチルカメラなどの撮像装置や、パーソナルコンピュータなどの情報処理装置等の各種機器において実施可能である。

本発明によれば、例えば長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などの効果を与えた画像が、撮像時（シャッタタイミングを狙っている際）や、再生時などに、表示されることになるため、ユーザは特殊効果の画像がどのようなものであるか、或いはどのような感じの画像であるかを実際にリアルタイムで確認することができる。そして望みの場面で記録操作（シャッタ操作やキャプチャ操作）を行うことで、実際に確認していた望みの効果の画像を、静止画として取得できる。
これによって従来は熟練者でなければできなかった静止画としての画像表現が、一般ユーザにより手軽かつ容易に実行でき、例えば写真表現としての可能性の拡大やおもしろさの向上を促進できる。

また、各合成画像が動画を構成する各フレームの画像データとして記録されることで、長時間露光効果等を与えた特殊な動画記録を行うことができる。これにより、従来無い動画記録が、一般ユーザにより手軽に実行できる。

以下、本発明の実施の形態について、次の順序で説明していく。
［１．撮像装置の構成］
［２．ライブ画像合成モードの動作例］
［３．ライブ画像合成モードの他の動作例］
［４．特殊動画撮像モードの動作例］
［５．情報処理装置での適用例］

［１．撮像装置の構成］
本発明の実施の形態として、例えばデジタルスチルカメラとしての撮像装置の構成を図１，図２で説明する。

図２（ａ）（ｂ）は、本例の撮像装置１を正面側及び背面側から見た外観例を示している。図示のとおり撮像装置１は、例えば特に熟練者ではない一般ユーザでも通常使用されるデジタルスチルカメラとされればよい。
撮像装置１には、正面側に撮像レンズ部２１ａ、フラッシュ発光部１５などが設けられ、また背面側に液晶パネルや有機ＥＬ（Electroluminescence）パネルなどによる表示パネル６が形成されている。また、各所にユーザ操作のための操作子が形成される。例えば操作キー５ａ、５ｂ、５ｃ、５ｄ、５ｆ、５ｇは、それぞれシャッター操作キー、モード操作キー、ワイド／テレ操作キー、メニュー操作キー、露出補正指示キー、再生キーなど、各種の操作機能のためのキーとして割り当てられている。また操作子として、ダイヤル操作部５ｈや、十字キー５ｉも設けられる。ダイヤル操作部５ｈは、例えば撮像モードの選択などに用いられる。十字キー５ｉは、例えば表示パネル６に表示される操作メニュー項目の選択／決定を始めとして各種操作に用いられる。

例えばこのような撮像装置１の構成例を図１で説明する。
図１に示すように撮像装置１は、撮像系２、制御系３、カメラＤＳＰ（Digital Signal Processor）４、操作部５、表示パネル６、表示コントローラ７、外部インターフェース８、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）９、媒体インターフェース１０を備える。

撮像系２は、撮像動作を実行する部位とされ、レンズ機構部２１，絞り／ＮＤフィルタ機構２２、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５、レンズ駆動部２６、レンズ位置検出部２７、タイミング生成回路２８、ブレ検出部１３、発光駆動部１４、フラッシュ発光部１５、レンズ駆動ドライバ１７、絞り／ＮＤ駆動ドライバ１８、撮像素子ドライバ１９を備える。

被写体からの入射光は、レンズ機構部２１及び絞り／ＮＤフィルタ機構２２を介して撮像素子部２３に導かれる。
レンズ機構部２１は、上記図２（ａ）の撮像レンズ部２１の内部構成であり、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。またレンズ駆動部２６は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。レンズ駆動部２６はレンズ駆動ドライバ１７によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するＣＰＵ（Central Processing Unit）３１はレンズ駆動ドライバ１７を制御することで、焦点制御やズーム動作を実行させる。

絞り／ＮＤフィルタ機構２２は、絞り機構と、レンズ光学系内に挿入されることによって入射光量を減衰させる（調整する）ＮＤフィルタ機構を有し、光量調整を行う。
絞り／ＮＤ駆動ドライバ１８は、絞り機構の開閉により入射光量の調節を行う。また絞り／ＮＤ駆動ドライバ１８は、ＮＤフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。ＣＰＵ３１は、絞り／ＮＤ駆動ドライバ１８を制御して絞り機構やＮＤフィルタを駆動させることで入射光量制御（露光調整制御）を行うことができる。

被写体からの光束はレンズ機構部２１、絞り／ＮＤフィルタ機構２２を通過し、撮像素子部２３上に被写体像が結像される。
撮像素子部２３は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部２３は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部２４に出力する。撮像素子部２３としては、例えばＣＣＤ（Charge Coupled Device）センサアレイ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイなどが用いられる。

アナログ信号処理部２４は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、撮像素子部２３から入力される画像信号に対して所定のアナログ処理を行う。
Ａ／Ｄ変換部２５は、アナログ信号処理部２４で処理されたアナログ信号をデジタル信号に変換し、カメラＤＳＰ４に供給する。

タイミング生成回路２８は、ＣＰＵ３１により制御され、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５の各動作のタイミングを制御する。
即ちタイミング生成回路２８は、撮像素子部２３の撮像動作タイミングを制御するために、露光／電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ１９を介して撮像素子部２３に供給する。またアナログ信号処理部２４で、撮像素子部２３での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部２４にも供給する。
ＣＰＵ３１は、タイミング生成回路２８により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御（フレーム内の露光時間可変制御）を行うことができる。またＣＰＵ３１は、例えばタイミング生成回路２８を介してアナログ信号処理部２４にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。

ブレ検出部１３は、手ぶれ量を検出する。例えば加速度センサ、振動センサなどで構成され、ブレ量としての検出情報をＣＰＵ３１に供給する。
フラッシュ発光部１５は発光駆動部１４によって発光駆動される。ＣＰＵ３１は、ユーザの操作その他による所定タイミングで、発光駆動部１４にフラッシュ発光を指示し、フラッシュ発光部１５を発光させることができる。

カメラＤＳＰ４は、撮像系２のＡ／Ｄ変換部２５から入力される撮像画像信号に対して、各種のデジタル信号処理を行う。
このカメラＤＳＰ４では、例えば図示のように画像信号処理部４１，圧縮／解凍処理部４２、ＳＤＲＡＭコントローラ４３、情報生成部４４等の処理機能が内部のハードウエア及びソフトウエアにより実現される。

画像信号処理部４１は入力される撮像画像信号に対する処理を行う。例えば撮像画像信号を用いた撮像系２の駆動制御用の演算処理として、オートフォーカス（ＡＦ）用処理、オートアイリス（ＡＥ）用処理などを行い、また入力される撮像画像信号自体に対する処理としてオートホワイトバランス（ＡＷＢ）処理などを行う。

例えばオートフォーカス用処理としては、画像信号処理部４１は入力される撮像画像信号についてコントラスト検出を行い、検出情報をＣＰＵ３１に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストＡＦと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちＣＰＵ３１は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部４１で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
また、撮像中のフォーカス制御としては、いわゆるウォブリングＡＦと呼ばれる検出方式が実行できる。ＣＰＵ３１は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部４１で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部２６における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部２７は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてＣＰＵ３１に供給することができる。これによってＣＰＵ３１は、合焦状態としている主たる被写体までの距離を判別できる。

カメラＤＳＰ４の画像信号処理部４１が実行するオートアイリス用処理としては、例えば被写体輝度の算出が行われる。例えば入力される撮像画像信号の平均輝度を算出し、これを被写体輝度情報、即ち露光量情報としてＣＰＵ３１に供給する。平均輝度の算出としては例えば１フレームの撮像画像データの全画素の輝度信号値の平均値、或いは画像の中央部分に重みを与えた輝度信号値の平均値の算出など、各種の方式が考えられる。
ＣＰＵ３１は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、ＮＤフィルタ、或いは撮像素子部２３における電子シャッタ制御、アナログ信号処理部２４へのゲイン制御により、露光調整を行うことができる。

カメラＤＳＰ４の画像信号処理部４１は、これらのオートフォーカス動作、オートアイリス動作に用いる信号生成処理の他、撮像画像信号自体の信号処理として、オートホワイトバランス、γ補正、エッジ強調処理、手ブレ補正処理等を行う。

カメラＤＳＰ４における圧縮／解凍処理部４２は、撮像画像信号に対する圧縮処理や、圧縮された画像データに対する解凍処理を行う。例えばＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)などの方式による圧縮処理／解凍処理を行う。

ＳＤＲＡＭコントローラ４３は、ＳＤＲＡＭ９に対する書込／読出を行う。ＳＤＲＡＭ９は、例えば撮像系２から入力された撮像画像信号の一時保存、画像処理部４１や圧縮／解凍処理部４２での処理過程における保存やワーク領域の確保、情報生成部４４で得られた情報の保存などに用いられ、ＳＤＲＡＭコントローラ４３は、これらのデータについてＳＤＲＡＭ９に対する書込／読出を行う。

情報生成部４４は、後述する合成処理としての各種動作に使用する情報を生成する。例えば撮像画像信号の画面内の各被写体までの距離を示す距離分布情報を生成する。例えば主たる被写体だけでなく各画素単位での各被写体までの距離の情報である。これはデプスマップ（Depth Map）とも呼ばれる情報である。
距離分布情報の生成のための、各画素単位での距離情報の判定は、上記のウォブリングＡＦの際のボケ量の解析などで実行可能である。あるいは、図示しないが非可視光の特定波長とされた補助光を発光する発光部を設け、その特定波長の光が発光後の戻り時間を測定することで、各画素単位での被写体までの距離を判定することも可能である。

制御系３は、ＣＰＵ３１、ＲＡＭ３２、フラッシュＲＯＭ３３、時計回路３４を備える。制御系の各部、及びカメラＤＳＰ４、撮像系２の各部、表示コントローラ７、外部インターフェース８、媒体インターフェース１０は、システムバスによって相互に画像データや制御情報の通信が可能とされている。

ＣＰＵ３１は、撮像装置１の全体を制御する。即ちＣＰＵ３１は内部のＲＯＭ等に保持したプログラム及び操作部５によるユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。また後述する画像合成のための演算処理、画像解析処理なども行う。
ＲＡＭ（Random Access Memory）３２は、カメラＤＳＰ４で処理された撮像画像信号（各フレームの画像データ）の一時的な保存（バッファリング）や、後述する合成処理により生成された合成画像データの一時的な保存（バッファリング）、さらには、その他ＣＰＵ３１の各種処理に応じた情報が記憶される。
フラッシュＲＯＭ３３は、撮像画像としての（ユーザが静止画又は動画として撮像した）画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置１の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路３４は、現在日時情報（年月日時分秒）を計数する。

操作部５は、図２に示した各種操作子及びその操作に基づく信号発生部からなる。各種操作子によるユーザの操作情報は、操作部５からＣＰＵ３１に伝達される。
なお、操作部５としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。即ち表示パネル６にタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。

表示コントローラ７は、ＣＰＵ３１の制御に基づいて、表示パネル６に所要の表示動作を実行させる。表示パネル６における表示動作としては、撮像時のモニタ表示（いわゆるライブビュー表示）や、記録媒体９０やフラッシュＲＯＭから読み出した再生画像表示、操作メニュー表示、各種アイコン表示、時刻表示などが行われる。

媒体インタフェース１０は、ＣＰＵ３１の制御に基づいて、撮像装置１の内部にセットされたメモリカード（カード状のリムーバブルメモリ）等の記録媒体９０に対してデータの読出／書込を行う。例えば媒体インタフェース１０は、撮像結果としての静止画データや動画データについて記録媒体９０に記録する動作を行う。
また、記録した静止画データや動画データを記録媒体９０から読み出す動作を行う。
なお、ここでは記録媒体９０として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、ＨＤＤ（Hard Disk Drive）を搭載して記録するようにしてもよい。

外部インタフェース８は、例えばＵＳＢ（Universal Serial Bus）などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。もちろんＵＳＢ方式に限らず、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４方式など、他の規格による外部インターフェースとしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース８を構成しても良い。
撮像装置１は、この外部インターフェース８を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像画像データを外部機器に転送することができる。

このような本例の撮像装置１において、ＣＰＵ３１は、撮像動作制御その他の各種動作のための演算・制御を内部に保持するプログラム及び操作部５からのユーザ操作に基づいて実行する。ＣＰＵ３１は演算・制御動作としては以下のような処理を行う。

ＣＰＵ３１は撮像制御を行う。即ちＣＰＵ３１は、撮像系２の各部やカメラＤＳＰ４を制御して被写体画像の撮像を実行させる。またオートフォーカス処理、自動露光調整処理、フラッシュ発光制御処理なども行う。撮像に際してはユーザは後述する各種の撮像モードを選択できるが、ＣＰＵ３１は選択された撮像モードに応じて、撮像系２の動作を制御する。

またＣＰＵ３１は画像の合成処理を行う。撮像動作時には、撮像系２によって撮像され、カメラＤＳＰ４で処理されたフレーム毎の画像データが転送され、ＲＡＭ３２にバッファリングされるが、特に後述する「ライブ画像合成」という撮像モードでは、その際にバッファリングされた複数フレームの画像データを合成し、長時間露光効果等の特殊効果を表現する合成画像データを生成する。
例えばＣＰＵ３１は、撮像され、フレーム期間毎に次々とバッファリングされる、時間的な連続性を有する画像データのうちで、最新のフレームの画像データから所定フレーム分の画像データについて加重平均による合成処理を行い、合成画像データを生成する。
複数フレームの画像データを合成する際には、各フレームの画像データに均等な重み係数を与えたり、特定の画像データに高い重み係数を与えることで、所要の画像効果を得るようにする。

またＣＰＵ３１は表示制御を行う。即ちＣＰＵ３１は表示コントローラ７に指示し、また表示用のデータを与えて表示パネル６に所要の表示を実行させる。例えば撮像時のモニタ表示や再生画像の表示を実行させる。特には、撮像モニタ用の毎フレームのデータとして、上記の合成処理により生成した合成画像データを表示コントローラ７に供給することで、特殊な画像効果を得たモニタ動画（ライブビュー動画）を表示させることができる。

またＣＰＵ３１は、記録／再生／送信制御を行う。即ち媒体インターフェース１０を指示して記録媒体９０からの読み出しや、記録媒体９０への書込を制御する。例えばユーザのシャッタ操作に応じて、バッファリングされている或るフレームの画像データ、もしくは合成画像データを、保存すべき静止画データとして、媒体インターフェース１０に指示して記録媒体９０に記録させる。また、バッファリングされるフレーム毎の撮像画像データ、もしくは合成画像データを、動画データとして媒体インターフェース１０に指示して記録媒体９０に記録させることもできる。
またＣＰＵ３１は、撮像した画像データ、合成画像データ、記録媒体９０から読み出させた画像データ等を、外部インターフェース８を介して外部機器に送信させる処理を行う。

またＣＰＵ３１は操作検知処理を行い、ユーザによる操作入力情報を検知する。即ち操作部５からの入力情報を検知する。この操作検知処理で検知された操作入力情報に基づいて、ＣＰＵ３１は撮像動作制御、撮像時の合成処理、画像データの記録／再生／送信制御等を実行する。

［２．ライブ画像合成モードの動作例］

本例の撮像装置１の特徴的な動作としてのライブ画像合成モードの動作例を説明する。
ユーザは、撮像装置１を用いて撮像を行う際、各種の用意された撮像モードを選択することができる。
例えばオートモード、ポートレートモード、風景モード、マクロモード、スポーツモード、夕景モード、夜景モード、動画撮像モードなどがある。

オートモードは、最適な絞り値、シャッター速度、ＩＳＯ感度などの設定を撮像装置１が自動的に行う撮像モードである。
ポートレートモードは、人物撮像に適した設定で撮像が行われる撮像モードである。
風景モードは、風景撮像に適した設定で撮像が行われる撮像モードである。
マクロモードは、近接撮像を行う場合に適した設定で撮像が行われる撮像モードである。マクロモードとしては、特にネイチャーマクロモードとして、花や虫などの近接撮像において、色鮮やかに撮るためのモードが設けられる場合もある。
スポーツモードは、動きのある被写体に適した設定で撮像が行われる撮像モードである。
夕景モードは、夕景撮像に適した設定で撮像が行われる撮像モードである。
夜景モードは、夜景撮像に適した設定で撮像が行われる撮像モードである。
動画撮像モードは、動画撮像を行う撮像モードである。
これら以外にも、夜の景色と人物を一緒に撮像するのに適した夜景＆人物モード、花火の撮像に適した花火モードなどが用意される場合もある。

ユーザは、これらの撮像モードのうちで任意の撮像モードを選択し、撮像操作を行うことで、被写体や状況に適した撮像画像を得ることができる。
そして本例では、この撮像モードの１つとして「ライブ画像合成」モードが用意されている。

ＣＰＵ３１は、ユーザに撮像モードを選択させる際には、図３のようなモード選択画面を表示パネル６に表示させるようにする。
この場合、オートモード撮像、ポートレートモード撮像、夕景モード撮像、マクロモード撮像などの通常の撮像モードとともに、ライブ画像合成モードが、そのイメージ画像と共に表示されるようにしている。ライブ画像合成モードのイメージ画像としては、例えば長時間露光効果が与えられた画像が用いられる。そしてユーザはカーソルＫを移動させていくことで撮像目的に合わせた任意のモードを選択できる。各モードのイメージ画像を表示させることは、不慣れなユーザにとってモード選択に適したものとなる。特に長時間露光効果などの特殊効果画像を知らない人にとっては、ライブ画像合成モードのイメージ画像により、そのモードがどのようなものであるかを紹介することにもなる。
なおモード選択の操作は、例えば図２（ｂ）に示したダイヤル操作部５ｈにより行うこととしてもよい。

ユーザが撮像モードの選択操作を行った場合は、ＣＰＵ３１は選択された撮像モードに応じて動作設定を行う。例えば撮像系２の各部について、露光量、露光方式、電子シャッタ設定、フレームレート設定、ゲイン設定などの制御を行う。

以下、ユーザがライブ画像合成モードを選択した場合の動作例を詳述する。
ユーザがライブ画像合成モードを選択する操作を行った場合、ＣＰＵ３１は図４の処理を開始する。まずステップＦ１０１で撮像動作開始制御を行う。ＣＰＵ３１は、撮像系２の各部及びカメラＤＳＰ４について撮像動作を開始させる。これによって、被写体画像についての毎フレームの画像データの取込が開始される。

ＣＰＵ３１は、ステップＦ１０２でユーザのシャッタ操作の監視、及びステップＦ１０３でライブ画像合成モードの終了操作を監視し、特にこれらの操作が無い期間はステップＦ１０４に進む。
ステップＦ１０４では、撮像系２で撮像されてカメラＤＳＰ４で処理された１フレームの画像データをＲＡＭ３２に取り込む。
なお、ＲＡＭ３２には、図５（ａ）に示すようにフレーム画像バッファ領域３２ａと合成画像バッファ領域３２ｂが確保されている。
フレーム画像バッファ領域３２ａは、ステップＦ１０１での撮像動作開始以後、１フレーム期間毎にカメラＤＳＰ４から転送されてくる各フレームの画像データをバッファリングする領域とされる。ステップＦ１０４では、カメラＤＳＰ４から転送されてきた１フレームの画像データをフレーム画像バッファ領域３２ａに一時記憶することになる。

続いてＣＰＵ３１はステップＦ１０５での合成処理、ステップＦ１０６での合成画像データのバッファリング、ステップＦ１０７での合成画像データの表示制御を行う。そしてステップＦ１０２，Ｆ１０３を介して、再びステップＦ１０４〜Ｆ１０７の処理を行う。
即ちＣＰＵ３１は、シャッタ操作がされていない期間は、１フレーム期間毎にステップＦ１０４〜Ｆ１０７の処理を行うことになる。ＲＡＭ３２のフレーム画像バッファ領域３２ａには、その領域の容量に応じて、現在のフレームから過去の所定フレーム数の画像データがバッファリングされる状態となる。なお、動作が継続していくと、フレーム画像バッファ領域３２ａが一杯になるが、その場合は、バッファリングされているうちで最も古い画像データを消去しながら新たなフレームの画像データを記憶していけばよい。

ステップＦ１０５〜Ｆ１０７の処理は例えば次のように行われる。
まずステップＦ１０５では、その時点でフレーム画像バッファ領域３２ａに一時記憶されているフレームの内、最新のフレーム（直前にステップＦ１０４で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行う。
図６に合成処理のイメージを示す。
フレーム画像バッファ領域３２ａに取り込まれる各フレームの画像データを画像データ＃１、＃２、＃３・・・として示す。また合成処理に用いる画像データ範囲は最新のフレームを含めた７フレームであるとする。もちろんこの７フレームとは、ここでの説明のための例としたフレーム数にすぎない。

今、時点ｔ７の撮像フレームとして、ステップＦ１０４で画像データ＃７が取り込まれたとする。この場合、ステップＦ１０５の合成処理として、最新の画像データ＃７を含む７フレームの画像データ（＃１〜＃７）を合成範囲Ａ１とする。
そして、この合成範囲Ａ１の画像データ（＃１〜＃７）を用い、重み係数の設定や加重平均処理を行って、合成画像データを生成する。
ここでは、４つの合成画像データ（ＧＬ，ＧＳ，ＧＡ、ＧＭ）を生成する。図６では合成画像データＧＬ１、ＧＳ１、ＧＡ１、ＧＭ１として示している。

合成画像データＧＬは長時間露光効果を得る合成画像データであるとする。長時間露光効果とは、図７の合成画像として例示するように、例えば動きのある被写体に対して長時間の露光を続けることで表現される効果である。
例えば画像データ＃１〜＃７から長時間露光効果の合成画像データＧＬ１を生成するには、各画像データ＃１〜＃７に均等の重みを与えて合成する。図７では、各画像データ＃１〜＃７に与える重み係数ｗ１〜ｗ７を模式的に示している。これは高さが重み係数の値をあらわすものとする。このように各画像データ＃１〜＃７に均等の重みを与え、加重平均により合成画像を生成する。即ち各画像データ＃１〜＃７においてそれぞれ対応する各画素の値を加算し、加算された画像データの枚数（この場合「７」）で除算するという合成を行う。これにより図示するような長時間露光効果の合成画像が得られる。
例えば一連の画像データ＃１〜＃７が、被写体が右から左に移動している画像であった場合、図示のように合成画像として右から左に移動している被写体について長時間露光を行ったような画像の合成画像データが生成される。

合成画像データＧＳは先幕シンクロ効果を得る合成画像データであるとする。先幕シンクロ効果とは、長時間露光の開始タイミングのみにフラッシュを焚くことで、時間的に最初の状態が明瞭に表現されるような撮像技法である。
図８に先幕シンクロ効果の合成画像例を示す。
本例では合成範囲とされた連続するフレームの画像データのうちで、最初のフレームの画像データに対して高い重み係数、後続の他のフレームの画像データに低い重み係数を与えて合成することで、このような先幕シンクロ効果を得る。
即ち各画像データ＃１〜＃７について、画像データ＃１に高い重み係数ｗ１を与え、他の画像データ＃２〜＃７には低い重み係数ｗ２〜ｗ７を与える。そして加重平均により合成画像データＧＳ１を生成すると、図示するような先幕シンクロ効果の合成画像が得られる。

合成画像データＧＡは後幕シンクロ効果を得る合成画像データであるとする。後幕シンクロ効果とは、長時間露光の終了タイミングのみにフラッシュを焚くことで、時間的に最後の状態が明瞭に表現されるような撮像技法である。
図９に後幕シンクロ効果の合成画像例を示す。
本例では合成範囲とされた連続するフレームの画像データのうちで、最後のフレームの画像データに対して高い重み係数、他のフレームの画像データに低い重み係数を与えて合成することで、このような後幕シンクロ効果を得る。
即ち各画像データ＃１〜＃７について、画像データ＃７に高い重み係数ｗ７を与え、他の画像データ＃１〜＃６には低い重み係数ｗ１〜ｗ６を与える。そして加重平均により合成画像データＧＡ１を生成すると、図示するような後幕シンクロ効果の合成画像が得られる。

合成画像データＧＭはマルチ発光効果を得る合成画像データであるとする。マルチ発光効果とは、長時間露光の間に周期的にフラッシュを焚くことで、周期的に被写体の状態が明瞭に表現されるような撮像技法である。
図１０にマルチ発光効果の合成画像例を示す。
本例では、合成範囲内の連続するフレームの画像データに対して周期的に高い重み係数と低い重み係数を与えて合成することで、このようなマルチ発光効果を得る。
例えば画像データ＃１〜＃７について、画像データ＃１，＃４，＃７に高い重み係数ｗ１、ｗ４，ｗ７を与え、他の画像データ＃２，＃３，＃５，＃６には低い重み係数ｗ２，ｗ３，ｗ５，ｗ６を与える。そして加重平均により合成画像データＧＭ１を生成すると、図示するようなマルチ発光効果の合成画像が得られる。

ＣＰＵ３１は、図６の時点ｔ７で画像データ＃７が取り込まれた際のステップＦ１０５では、このようにバッファリングされている画像データ＃１〜＃７を用いて、これらの合成画像データＧＬ１、ＧＳ１、ＧＡ１、ＧＭ１を生成する。
そしてステップＦ１０６でＣＰＵ３１は、この合成画像データＧＬ１、ＧＳ１、ＧＡ１、ＧＭ１を、ＲＡＭ３２の合成画像バッファ領域３２ｂに一時記憶する。
さらにステップＦ１０７でＣＰＵ３１はこの合成画像データＧＬ１、ＧＳ１、ＧＡ１、ＧＭ１を表示データとして表示コントローラ７に出力し、表示パネル６に所定のモニタ表示を実行させる（表示例は後述）。

次に図６のｔ８時点で、次のフレームの画像データ＃８がＲＡＭ３２に取り込まれる（Ｆ１０４）。この場合もＣＰＵ３１はステップＦ１０５で、同様の合成処理を行う。この場合は、図６に合成範囲Ａ２として示すように、最新の画像データ＃８を含む７フレームの画像データ（＃２〜＃８）を用いて合成処理を行い、４つの合成画像データＧＬ２、ＧＳ２、ＧＡ２、ＧＭ２を生成する。
そしてステップＦ１０６でＣＰＵ３１は、この合成画像データＧＬ２、ＧＳ２、ＧＡ２、ＧＭ２を、ＲＡＭ３２の合成画像バッファ領域３２ｂに一時記憶する。
さらにステップＦ１０７でＣＰＵ３１はこの合成画像データＧＬ２、ＧＳ２、ＧＡ２、ＧＭ２を表示データとして表示コントローラ７に出力し、表示パネル６に所定のモニタ表示を実行させる。

さらに次に図６のｔ９時点で、次のフレームの画像データ＃９がＲＡＭ３２に取り込まれる（Ｆ１０４）。この場合もＣＰＵ３１はステップＦ１０５で、同様の合成処理を行う。この場合は、図６に合成範囲Ａ３として示すように、最新の画像データ＃９を含む７フレームの画像データ（＃３〜＃９）を用いて合成処理を行い、４つの合成画像データＧＬ３、ＧＳ３、ＧＡ３、ＧＭ３を生成する。
そしてステップＦ１０６でＣＰＵ３１は、この合成画像データＧＬ３、ＧＳ３、ＧＡ３、ＧＭ３を、ＲＡＭ３２の合成画像バッファ領域３２ｂに一時記憶する。
さらにステップＦ１０７でＣＰＵ３１はこの合成画像データＧＬ３、ＧＳ３、ＧＡ３、ＧＭ３を表示データとして表示コントローラ７に出力し、表示パネル６に所定のモニタ表示を実行させる。

以上のような処理を、シャッタ操作が行われるか、或いはライブ画像合成モードの終了操作（他のモードへの切り換え操作）が行われるまで継続する。
ステップＦ１０６の処理によってＲＡＭ３２の合成画像バッファ領域３２ｂに上記の各合成画像データが一時記憶される様子を図５（ｂ）に模式的に示している。なお、上記処理が繰り返されていき、合成画像バッファ領域３２ｂが一杯になった場合は、最古の合成画像データを消去しながら新たな合成画像データを一時記憶するようにすればよい。

このステップＦ１０４〜Ｆ１０７が繰り返される期間とは、ユーザがシャッタチャンスを狙っている期間である。即ちユーザは表示パネル６を見ながらシャッタチャンスをうかがう。
ここで、ステップＦ１０７の処理によれば、４種類の合成画像データ（ＧＬ，ＧＳ，ＧＡ、ＧＭ）が表示用のデータとして表示コントローラ７に供給される。表示コントローラ７は、合成画像データ（ＧＬ，ＧＳ，ＧＡ、ＧＭ）を用いて、例えば図１１のような表示を表示パネル６において実行させる。

この場合の表示内容としては選択画像６１を最も大きく表示する。
また４種類の合成画像データ（ＧＬ，ＧＳ，ＧＡ、ＧＭ）のそれぞれを並べて表示する。即ち合成画像データＧＬに基づく長時間露光効果画像６２、合成画像データＧＳに基づく先幕シンクロ効果画像６３、合成画像データＧＡに基づく後幕シンクロ効果画像６４、合成画像データＧＭに基づくマルチ発光効果画像６５を表示する。
また、合成内容表示６６として、例えば合成時間が表示される。例えば図示する「合成時間２秒」とは、上記のような合成処理として、最新のフレームから過去２秒間のフレームについて合成処理を行っていることを示す。例えば１秒間に３０フレームのフレームレートで撮像しているとすれば６０フレームの合成処理を行うことを表す。

４種類の各画像効果の画像６２，６３，６４，６５については、カーソルＫの操作によりユーザが所望の画像を選択できる。図４の処理としては示していないが、ＣＰＵ３１はユーザのカーソル操作に応じて、表示コントローラ７にカーソルＫの表示位置を伝え、カーソルＫによる選択状態が、表示パネル６上で表現されるようにする。

また、画面上での選択表示６１とは、カーソルＫによって選択中となっている画像を大きく表示するものとする。
例えば図１１では、カーソルＫが長時間露光効果画像６２が選択中であり、この場合は、選択画像６１として、その長時間露光効果が与えられた合成画像が表示される。
また図１２は、カーソルＫで先幕シンクロ効果画像６３を選択している状態であり、この場合は、選択画像６１として、先幕シンクロ効果が与えられた合成画像が表示される。
また図１３は、カーソルＫで後幕シンクロ効果画像６４を選択している状態であり、この場合は、選択画像６１として、後幕シンクロ効果が与えられた合成画像が表示される。
また図１４は、カーソルＫでマルチ発光効果画像６５を選択している状態であり、この場合は、選択画像６１として、マルチ発光効果が与えられた合成画像が表示される。

上述のようにステップＦ１０７の処理で、１フレーム期間毎に、４種類の合成画像データＧＬ、ＧＳ、ＧＡ、ＧＭが表示データとして表示コントローラ７に出力される。
つまり長時間露光効果画像６２の表示のためには、１フレーム期間毎に合成画像データＧＬ１，ＧＬ２，ＧＬ３・・・が用いられる。
また先幕シンクロ効果画像６３の表示のためには、１フレーム期間毎に合成画像データＧＳ１，ＧＳ２，ＧＳ３・・・が用いられる。
また後幕シンクロ効果画像６４の表示のためには、１フレーム期間毎に合成画像データＧＡ１，ＧＡ２，ＧＡ３・・・が用いられる。
またマルチ発光効果画像６５の表示のためには、１フレーム期間毎に合成画像データＧＭ１，ＧＭ２，ＧＭ３・・・が用いられる。
従って、表示パネル６においては、現在の被写体のモニタ画面としてのリアルタイム動画（被写体光景をそのままスルー画（ライブビュー）としての動画）が、長時間露光効果を与えた画像、先幕シンクロ効果を与えた画像、後幕シンクロ効果を与えた画像、マルチ発光効果を与えた画像として表示されることになる。
また選択画像６１としては、それらのうちでユーザによって選択されたいずれかが表示される。
このためユーザは、シャッタチャンスを狙っている際に、これらの画像効果を与えた場合どのような画像となるかを実際に見ることができる。つまり、実際に特殊効果を与えるとどのようになるかを確認しながらシャッタチャンスをねらえるものとなる。

なお、図１４のように、マルチ発光効果画像６５が選択され、選択画像６１として表示される際には、発光間隔表示６７を行うようにすることが考えられる。
マルチ発光効果とは、周期的にフラッシュ発光を行ったような画像効果であるが、その発光周期によって、画像の印象は異なるものとなる。このため発光間隔、つまり本例の場合は合成処理の際に図１０のように高い重み係数を与えるフレーム間隔を、ユーザが任意に変更できるようにするとよい。そこで、図１５に示すようにカーソルＫによって発光間隔表示６７を選択できるようにし、ユーザが所定の操作によって、発光間隔を変更できるようにする。例えば０．５秒、０．７５秒、１秒、１．２５秒、１．５秒、２秒などを切り換えることができるようにすればよい。もちろん、より細かい時間間隔で設定変更できるようにしてもよい。
発光間隔の切り換え操作が行われた場合は、ＣＰＵ３１は図４のステップＦ１０５での合成処理で合成画像データＧＭを生成する際の、高い重み係数を与える周期を変更する。これによって、表示上でもマルチ発光効果画像６５（選択中の場合は選択画像６１）のマルチ発光効果も調整され、ユーザが確認できる。

また、合成時間表示６６についても、同様にユーザがカーソルＫ及び所定操作で変更できるようにすると良い。例えば合成時間として０．５秒、１秒、１．５秒、２秒、２．５秒、３秒などと変更できるようにする。もちろん、より細かい時間間隔で設定変更できるようにしてもよい。
変更操作が行われた場合、ＣＰＵ３１は図４のステップＦ１０５での合成処理で用いる合成範囲（フレーム数）を、その変更された合成時間値に応じて変更すればよい。

ユーザは、以上のように表示パネル６の表示として、被写体光景にリアルタイムで長時間露光効果等を与えたモニタ画像を見ながら、任意のタイミングでシャッタ操作を行う。
ＣＰＵ３１は、ユーザのシャッタ操作を検知したら、処理をステップＦ１０２からＦ１０８に進める。そして、このシャッタタイミングの合成画像を記録媒体９０に記録する処理を行う。シャッタタイミングの合成画像とは、そのシャッタ操作検知の直前にステップＦ１０５で生成し、ステップＦ１０６で一時記憶した合成画像データＧＬ、ＧＳ，ＧＡ，ＧＭとすればよい。
そして例えば、その時点でユーザが選択している合成画像、即ち表示パネル６の選択画像６１として表示されている合成画像を、実際に静止画として保存する合成画像データとする。例えば図１１のように長時間露光効果の合成画像が選択されているのであれば、ＣＰＵ３１は、当該長時間露光効果の合成画像ＧＬ（ｘ）を、媒体インターフェース１０に転送し、記録媒体９０に記録させる。
これによって、ユーザは、所望の光景の長時間露光効果の合成画像を、１枚の撮像写真（静止画）として保存させることができる。

ＣＰＵ３１は、ステップＦ１０９では、ユーザに撮像画像を確認させるため、表示コントローラ７を制御し、記録媒体９０に記録させた当該合成画像データを、表示パネル６に表示させる。例えば２秒〜５秒程度、画面全体に、記録した合成画像を表示させる。
そして、表示を終えたら、ステップＦ１０２〜Ｆ１０７の処理を再開する。
これによって、再び長時間露光効果等の画像がリアルタイムモニタとして表示され、ユーザは次のシャッタチャンスを狙うことができる。
ユーザがライブ画像合成モードを終了させる操作を行ったことを検知したら、ＣＰＵ３１はステップＦ１０３から、この図４の処理を終える。

なお、ステップＦ１０８の撮像画像の記録処理としては、次のような例も考えられる。
例えば、選択画像６１として表示されている選択中の合成画像だけでなく、４種類の合成画像を全て記録媒体９０に記録するようにしてもよい。即ち、１回のシャッタ操作により、それぞれ長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果の４枚の静止画データが記録媒体９０に記録されるようにしてもよい。

また、シャッタタイミングの合成画像として、その直前のステップＦ１０５で生成された合成画像データとしたが、ステップＦ１０２でシャッタ操作を検知した直後に得られるフレームを含めて合成画像データＧＬ、ＧＳ，ＧＡ，ＧＭを生成し、それらをシャッタタイミングの合成画像データとして記録媒体９０に記録するようにしてもよい。
またその場合に、選択中の合成画像のみを生成して記録しても良い。例えば図１４のように長時間露光効果が選択されている場合にシャッタ操作を検知したら、ステップＦ１０８に進む段階で、そのシャッタ操作直後のフレームを最新のフレームとして、長時間露光効果の合成画像データＧＬを生成し、該合成画像データＧＬを記録媒体９０に記録するようにしてもよい。

また、シャッタタイミングの合成画像だけでなく、或る程度の時間範囲の合成画像データを記録媒体９０に記録するようにしてもよい。図５（ｂ）に示したように、各フレーム期間毎に生成される合成画像データＧＬ、ＧＳ，ＧＡ，ＧＭは、合成画像バッファ領域３２ｂに一時保存されている。
このため、シャッタタイミングから、或る程度遡った過去までの合成画像データについても、撮像画像として記録媒体９０に記録することができる。例えば数フレーム期間前までの合成画像データをまとめて記録するようにしても良い。

また、合成画像データを記録するだけでなく、フレーム画像バッファ領域３２ａにバッファリングされている画像データ、例えば記録する合成画像データを生成する元となった複数フレームの画像データについても、記録媒体９０に記録するようにしても良い。

なお本例では、撮像結果としての画像データの保存は記録媒体９０に行われるものとして説明しているが、記録媒体９０ではなく、フラッシュＲＯＭ３３において保存を行っていくようにしてもよい良い。また、通常は記録媒体９０に記録するが、記録媒体９０が装填されていない場合はフラッシュＲＯＭ３３に記録するような動作方式でも良い。

以上の本例の動作によれば、長時間露光／先幕シンクロ／後幕シンクロ／マルチ発光といった効果を加えた合成画像を生成して、表示することによって、撮像前（シャッタ操作前）にもユーザに対して画像合成による画像効果を示し、ユーザーがそれらの画像効果を狙って撮像操作を行うことが可能な撮像装置１を実現できる。
しかも、被写体光景にリアルタイムで上記各効果を与えた画像を表示するため、長時間露光／先幕シンクロ／後幕シンクロ／マルチ発光の各効果として最適なシャッタタイミングを容易に狙えることになり、熟練者でなくとも、多様かつ適切な特殊撮像を行うことができる。

しかも４種類の画像効果を同時に確認できることで、ユーザが望む効果を、自分の好みや被写体光景に応じて、より的確に選択できる。
また、上記したように、合成画像データも合成画像バッファ領域３２ｂにバッファリングしておくことで、シャッタ操作したとき、そのタイミングでの表示画像だけでなく、前後のタイミングでの合成画像を記録することもできる。これにより、よりシャッタタイミングをミスしない特殊撮影効果画像を得ることができるカメラを提供することができる。

なお、上記例ではステップＦ１０５として、毎フレーム期間毎に４種類の合成画像データを生成したが、もちろん１種類、２種類、３種類、或いは５種類以上の画像効果を与えた合成画像を生成してもよい。
また必ずしもステップＦ１０５〜Ｆ１０７の処理は、毎フレーム期間毎に行われなくても良い。例えばステップＦ１０５〜Ｆ１０７の処理を２フレーム期間に１回、３フレーム期間に１回など、間欠的に行ってもよい。特に合成処理の時間の高速化が困難な場合などは、ステップＦ１０５〜Ｆ１０７の処理を間欠的に行うようにすることが好適である。
例えば図６の例で言えば、合成範囲Ａ１で合成処理を行ったら、次は合成範囲Ａ３で合成処理を行うような処理例である。

また合成処理に時間がかかる場合、合成処理に要する時間よりも長い時間の画像データをフレーム画像バッファ領域３２ａに溜めるようにすることによって、対応可能である。
また、合成処理及び合成画像データの表示処理のためのＣＰＵ３１の処理負荷を軽減させるために、ステップＦ１０５〜Ｆ１０７の処理は低い解像度の合成画像データを生成及び表示するようにしてもよい。
或いは、表示パネル６に表示される長時間露光効果画像６２、先幕シンクロ効果画像６３、後幕シンクロ効果画像６４、マルチ発光効果画像６５としては、それらの画像効果を表現する所定のプリセット画像（静止画又は動画）とし、実際の被写体光景のモニタは選択画像６１としてのみ表示されるようにしてもよい。この場合、表示用としてはカーソルＫで選択されている１種類の合成画像データのみについて処理すればよいものとなる。
また本例では、表示パネル６において上記図１４等に示した表示を行うものとしているが、例えば表示画像データを外部インターフェース８から外部の表示機器に転送し、その表示機器で図１４等の画像を表示させるようにしてもよい。

ところで本例のような動作は、撮像装置１をデジタル一眼レフカメラとした場合にも適用できる。公知のとおり、一眼レフカメラの場合、撮像光学系におけるいわゆるミラーダウン状態で被写体光をファインダーに供給しており、シャッタ操作時はミラーアップして被写体光を撮像素子部に供給し、露光を行う。ここで、上記のようなライブ画像合成モードが選択された場合については、常時ミラーダウン状態として、シャッタ操作時以外も撮像素子部に被写体光を供給するようにすればよい。そして撮像素子部で得られた画像データについて合成処理を行い、合成画像を表示させることで、上記同様の動作が実現される。以下に述べる各動作例の場合も、同様にデジタル一眼レフカメラでも適用できる。

［３．ライブ画像合成モードの他の動作例］

続いて図１６、図１７，図１８でライブ画像合成モードの他の動作例を説明する。
図１６に撮像モードの選択画面を示す。上記例の場合、撮像モードの選択は図３に示した選択画面において「ライブ画像合成モード」を選択するようにしたが、この例は、図１６のように、通常の撮像モード（オートモード、ポートレートモード等）とともに、「長時間露光効果」「先幕シンクロ効果」「後幕シンクロ効果」「マルチ発光効果」の各モードを予め選択できるようにする。ユーザはカーソルＫの操作により、所望の撮像モードを選択する。
例えば図示するようにカーソルＫを長時間露光効果に合わせてモード決定操作を行った場合、ＣＰＵ３１は、長時間露光効果モードとして図１７の処理を行うようにする。

図１７の処理を説明する。
ユーザが例えば「長時間露光効果」モードを選択する操作を行った場合、ＣＰＵ３１は図１７の処理を開始する。まずステップＦ２０１で撮像動作開始制御を行う。ＣＰＵ３１は、撮像系２の各部及びカメラＤＳＰ４について撮像動作を開始させる。これによって、被写体画像についての毎フレームの画像データの取込が開始される。

ＣＰＵ３１は、ステップＦ２０２でユーザのシャッタ操作の監視、及びステップＦ２０３で長時間露光効果モードの終了操作を監視し、特にこれらの操作が無い期間はステップＦ２０４に進む。
ステップＦ２０４では、撮像系２で撮像されてカメラＤＳＰ４で処理された１フレームの画像データをＲＡＭ３２のフレーム画像バッファ領域３２ａに取り込む。

続いてＣＰＵ３１はステップＦ２０５での合成処理、ステップＦ２０６での合成画像データのバッファリング、ステップＦ２０７での合成画像データの表示制御を行う。そしてステップＦ２０２，Ｆ２０３を介して、再びステップＦ２０４〜Ｆ２０７の処理を行う。
即ちＣＰＵ３１は、シャッタ操作がされていない期間は、１フレーム期間毎にステップＦ２０４〜Ｆ２０７の処理を行うことになる。ＲＡＭ３２のフレーム画像バッファ領域３２ａには、その領域の容量に応じて、現在のフレームから過去の所定フレーム数の画像データがバッファリングされる状態となる。

ステップＦ２０５〜Ｆ２０７の処理は例えば次のように行われる。
まずステップＦ２０５では、その時点でフレーム画像バッファ領域３２ａに一時記憶されているフレームの内、最新のフレーム（直前にステップＦ２０４で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行う。
この場合、合成画像データＧＬとして長時間露光効果を得る合成画像データを生成する。
そしてステップＦ２０６でＣＰＵ３１は、この合成画像データＧＬを、ＲＡＭ３２の合成画像バッファ領域３２ｂに一時記憶する。
さらにステップＦ２０７でＣＰＵ３１はこの合成画像データＧＬを表示データとして表示コントローラ７に出力し、表示パネル６に所定のモニタ表示を実行させる。

このような処理を、シャッタ操作が行われるか、或いは長時間露光効果モードの終了操作（他のモードへの切り換え操作）が行われるまで継続する。
このステップＦ２０４〜Ｆ２０７が繰り返される期間とは、ユーザがシャッタチャンスを狙っている期間である。即ちユーザは表示パネル６を見ながらシャッタチャンスをうかがう。
ここで、ステップＦ２０７の処理によれば、毎フレーム期間毎に長時間露光効果の合成画像データＧＬが表示用のデータとして表示コントローラ７に供給される。表示コントローラ７は、合成画像データＧＬを用いて、例えば図１８のような表示を表示パネル６において実行させる。
即ちこの場合の表示内容としては、合成画像データＧＬを画面全体に表示する。
また、合成内容表示６６として、例えば合成時間を表示させる。
このためユーザは、シャッタチャンスを狙っている際に、長時間露光効果を与えた場合にどのような画像となるかを実際に見ることができる。

ユーザは、この表示パネル６の表示として、被写体光景にリアルタイムで長時間露光効果を与えたモニタ画像を見ながら、任意のタイミングでシャッタ操作を行う。
ＣＰＵ３１は、ユーザのシャッタ操作を検知したら、処理をステップＦ２０２からＦ２０８に進める。そして、このシャッタタイミングの合成画像を記録媒体９０に記録する処理を行う。シャッタタイミングの合成画像とは、そのシャッタ操作検知の直前にステップＦ２０５で生成し、ステップＦ２０６で一時記憶した合成画像データＧＬとすればよい。ＣＰＵ３１は、当該長時間露光効果の合成画像ＧＬ（ｘ）を、媒体インターフェース１０に転送し、記録媒体９０に記録させる。
これによって、ユーザは、所望の光景の長時間露光効果の合成画像を、１枚の撮像写真（静止画）として保存させることができる。

ＣＰＵ３１は、ステップＦ２０９では、ユーザに撮像画像を確認させるため、表示コントローラ７を制御し、記録媒体９０に記録させた当該合成画像データを、表示パネル６に所定時間表示させる。
そして、表示を終えたら、ステップＦ２０２〜Ｆ２０７の処理を再開する。
これによって、再び長時間露光効果の画像がリアルタイムモニタとして表示され、ユーザは次のシャッタチャンスを狙うことができる。
ユーザが長時間露光効果モードを終了させる操作を行ったことを検知したら、ＣＰＵ３１はステップＦ２０３から、この図１７の処理を終える。

なお、ステップＦ２０８の撮像画像の記録処理としては、次のような例も考えられる。
例えば、シャッタタイミングの合成画像として、その直前のステップＦ２０５で生成された合成画像データとしたが、ステップＦ２０２でシャッタ操作を検知した直後に得られるフレームを含めて合成画像データＧＬを生成し、それをシャッタタイミングの合成画像データとして記録媒体９０に記録するようにしてもよい。
また、シャッタタイミングの合成画像だけでなく、その時点で合成画像バッファ領域３２ｂに一時保存されている或る程度の時間範囲の複数の合成画像データＧＬを記録媒体９０に記録するようにしてもよい。
また、合成画像データＧＬを記録するだけでなく、フレーム画像バッファ領域３２ａにバッファリングされている画像データ、例えば記録する合成画像データＧＬを生成する元となった複数フレームの画像データについても、記録媒体９０に記録するようにしても良い。

なお、図１７はユーザが長時間露光効果モードを選択した場合の処理としているが、ユーザが先幕シンクロ効果モード、後幕シンクロ効果モード、マルチ発光効果モードのいずれかを選択した場合は、図１７と同様の処理で対応できる。例えば先幕シンクロ効果モードの場合は、ステップＦ２０５の合成処理で先幕シンクロ効果の合成画像データＧＳを生成するようにし、ステップＦ２０７では当該先幕シンクロ効果の合成画像データＧＳを用いた表示が図１８のように行われればよい。

以上の本例の処理によれば、ユーザが選択した画像効果を加えた合成画像を生成して、表示することによって、撮像前（シャッタ操作前）に、ユーザは、自身で選択した画像効果によるモニタ表示を見ながら、シャッタチャンスを狙うことができる。これによって容易に、所望の画像効果を与えた撮像画像を得ることができる。
また、特にＣＰＵ３１の処理負担を、図４で説明した処理の場合より、著しく低減できる。即ち予めユーザが選択した特定の種類の合成画像データについてのみ、生成、表示を行えばよいためである。

なお、この例の場合も、必ずしもステップＦ２０５〜Ｆ２０７の処理は、毎フレーム期間毎に行われなくても良い。例えばステップＦ２０５〜Ｆ２０７の処理を２フレーム期間に１回、３フレーム期間に１回など、間欠的に行ってもよい。特に合成処理の時間を高速化が困難な場合などは、ステップＦ２０５〜Ｆ２０７の処理を間欠的に行うようにすることが好適である。
また合成処理に時間がかかる場合、合成処理に要する時間よりも長い時間の画像データをフレーム画像バッファ領域３２ａに溜めるようにすることによって、対応可能である。
また、合成処理及び合成画像データの表示処理のためのＣＰＵ３１の処理負荷をより軽減させるために、ステップＦ２０５〜Ｆ２０７の処理は低い解像度の合成画像データを生成及び表示するようにしてもよい。
また、表示パネル６において上記図１８に示した表示を行うものとしているが、例えば表示画像データを外部インターフェース８から外部の表示機器に転送し、その表示機器で図１８の画像を表示させるようにしてもよい。

［４．特殊動画撮像モードの動作例］

続いて、特殊動画撮像を行う例を図１９，図２０で説明する。ここでいう特殊動画撮像とは、長時間露光効果等の画像を動画として記録することである。即ち、上記各例では、長時間露光効果等の効果を与えた合成画像データを各フレーム期間毎に表示することで、被写体光景の動画モニタ表示上で特殊効果を与えるようにしたものであるが、そのような動画を記録媒体９０に記録することをいう。

通常の動画撮像と、特殊動画撮像の違いを図２０に示す。
図２０（ｂ）は通常の動画撮像の場合を示している。通常の動画データは、撮像される各フレーム画像＃１、＃２、＃３・・・が動画を構成する各フレームデータとされる。
一方、本例の特殊動画撮像の場合、図２０（ａ）のように、上述した例えば長時間露光効果を与えた合成画像データＧＬ１，ＧＬ２、ＧＬ３・・・を、動画を構成する各フレームデータとするものである。
この図２０（ａ）のような特殊動画記録を行うことで、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果等を与えた動画記録が可能となる。

図１９に特殊動画撮像モードとされた場合のＣＰＵ３１の処理例を示す。
ここではユーザが例えば「長時間露光効果」としての特殊動画記録を行うモード選択操作を行った場合を例とする。
ＣＰＵ３１はまずステップＦ３０１で撮像動作開始制御を行う。ＣＰＵ３１は、撮像系２の各部及びカメラＤＳＰ４について撮像動作を開始させる。これによって、被写体画像についての毎フレームの画像データの取込が開始される。

ＣＰＵ３１は、ステップＦ３０２でユーザの記録開始操作の監視、及びステップＦ３０３で特殊動画撮像モードの終了操作を監視し、特にこれらの操作が無い期間はステップＦ３０４に進む。
ステップＦ３０４では、撮像系２で撮像されてカメラＤＳＰ４で処理された１フレームの画像データをＲＡＭ３２のフレーム画像バッファ領域３２ａに取り込む。

続いてＣＰＵ３１はステップＦ３０５での合成処理、ステップＦ３０６での合成画像データの表示制御を行う。そしてステップＦ３０２，Ｆ３０３を介して、再びステップＦ３０４〜Ｆ３０６の処理を行う。
即ちＣＰＵ３１は、記録開始操作がされていない期間（記録スタンバイ期間）は、１フレーム期間毎にステップＦ３０４〜Ｆ３０６の処理を次のように行う。

ステップＦ３０５では、その時点でフレーム画像バッファ領域３２ａに一時記憶されているフレームの内、最新のフレーム（直前にステップＦ３０４で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行う。この場合、合成画像データＧＬとして長時間露光効果を得る合成画像データを生成する。
そしてステップＦ３０６でＣＰＵ３１はこの合成画像データＧＬを表示データとして表示コントローラ７に出力し、表示パネル６に所定のモニタ表示を実行させる。

記録スタンバイ期間に、この処理が繰り返されることで、毎フレーム期間毎に長時間露光効果の合成画像データＧＬが表示用のデータとして表示コントローラ７に供給される。表示コントローラ７は、合成画像データＧＬを用いて、例えば図１８のような表示を表示パネル６において実行させる。
ユーザは、このような長時間露光効果を与えた被写体光景の動画像をモニタしながら記録開始のチャンスを狙う。

ユーザが記録開始操作を行ったことを検知した場合、ＣＰＵ３１の処理はステップＦ３０２からＦ３０７に進み、記録終了操作を検知するまで、ステップＦ３０８からＦ３１１の処理を繰り返す。
ステップＦ３０８では、撮像系２で撮像されてカメラＤＳＰ４で処理された１フレームの画像データをＲＡＭ３２のフレーム画像バッファ領域３２ａに取り込む。
ステップＦ３０９では、その時点でフレーム画像バッファ領域３２ａに一時記憶されているフレームの内、最新のフレーム（直前にステップＦ３０８で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行う。この場合、合成画像データＧＬとして長時間露光効果を得る合成画像データを生成する。
ステップＦ３１０でＣＰＵ３１はこの合成画像データＧＬを表示データとして表示コントローラ７に出力し、表示パネル６に所定のモニタ表示を実行させる。
さらにステップＦ３１１では、この合成画像データＧＬを、動画を構成する１フレームのデータとして、媒体インターフェース１０に転送し、記録媒体９０に記録させる。

つまり、記録開始操作が行われた時点から、記録終了操作が行われる時点までの間、図２０（ａ）に示したように、合成画像データＧＬが１フレームのデータとされた動画記録が行われることになる。

ＣＰＵ３１は、ステップＦ３０７で記録終了操作を検知したら、ステップＦ３０２に戻る。そして上記したスタンバイ期間としての処理を行う。
ユーザが長時間露光効果モードを終了させる操作を行ったことを検知したら、ＣＰＵ３１はステップＦ３０３から、この図１９の処理を終える。

以上の処理により、長時間露光効果を与えた動画記録が実現される。これによってユーザは、従来無い動画撮像を容易に実現できる。
また、記録した動画を再生することで、長時間露光効果等を与えた動画を楽しむことができる。

図１９では長時間露光効果としての特殊動画撮像の処理を説明したが、先幕シンクロ効果モード、後幕シンクロ効果モード、マルチ発光効果モードによる特殊動画撮像も図１９と同様の処理で対応できる。例えば先幕シンクロ効果モードの場合は、ステップＦ３０５、Ｆ３０９の合成処理で先幕シンクロ効果の合成画像データＧＳを生成するようにし、ステップＦ３０６、Ｆ３１０では当該先幕シンクロ効果の合成画像データＧＳを用いた表示が図１８のように行われればよい。ステップＦ３１１では当該先幕シンクロ効果の合成画像データＧＳが、動画の１フレームとして記録されればよい。

なお、合成画像データによる動画の記録とともに、図２０（ｂ）のような通常の動画としての記録を平行して記録媒体９０に行うようにしても良い。
また、表示パネル６において上記図１８に示した表示を行うものとしているが、例えば表示画像データを外部インターフェース８から外部の表示機器に転送し、その表示機器で図１８の画像を表示させるようにしてもよい。
また記録媒体９０ではなく、フラッシュＲＯＭ３３等に特殊動画データとしての記録を行うようにしてもよい。

また、この動画撮像の場合、ユーザは記録開始操作と記録終了操作を行うことになるが、この操作は、例えば次の（１）（２）のような操作例が考えられる。
（１）ユーザがシャッタ操作を行うことを記録開始操作とし、再度シャッタ操作を行うことを記録終了操作とする。
（２）ユーザがシャッタ操作を継続している（シャッタを押し続けている）間に録画を行う。即ちユーザがシャッタ操作を開始した場合を記録開始操作とし、ユーザがシャッタを放した時点を記録終了操作と認識する。

［５．情報処理装置での適用例］

以上の実施の形態は、撮像装置１で撮像及び合成処理を行うものとして述べたが、本発明は撮像装置１以外の装置でも適用できる。
図２１には他の装置の例としての情報処理装置、例えばパーソナルコンピュータ２００を挙げている。
図２１のパーソナルコンピュータ（以下「ＰＣ」）は図示するように、ＣＰＵ（Central Processing Unit）２１１、メモリ部２１２、ネットワークインターフェース部２１３、ディスプレイコントローラ２１４、入力機器インターフェース部２１５、ＨＤＤインターフェース部２１６、キーボード２１７、マウス２１８、ＨＤＤ２１９、表示装置２２０、バス２２１、外部機器インターフェース部２２２、メモリカードインターフェース部２２３などを有する。

ＰＣ２００のメインコントローラであるＣＰＵ２１１は、メモリ部２１２に格納されているプログラムに応じて、各種の制御処理を実行する。ＣＰＵ２１１は、バス２２１によって他の各部と相互接続されている。
バス２２１上の各機器にはそれぞれ固有のメモリアドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ２１１はこれらアドレスによって機器アクセスが可能となっている。バス２２１の一例はＰＣＩ（Peripheral Component Interconnect）バスである。

メモリ部２１２は揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ（Read Only Memory）、演算ワーク領域や各種一時記憶のためのＲＡＭ（Random Access Memory）、ＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリを含む。
このメモリ部２１２には、ＣＰＵ２１１において実行されるプログラムコードやＰＣ２００に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。

ネットワークインターフェース部２１３は、イーサネット（Ethernet：登録商標）などの所定の通信プロトコルに従って、ＰＣ２００をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。ＣＰＵ２１１はネットワークインターフェース部２１３を介して、ネットワーク接続された各機器と通信を行うことができる。

ディスプレイコントローラ２１４は、ＣＰＵ２１１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイコントローラ２１４において処理された描画データは、例えばフレームバッファ（図示しない）に一旦書き込まれた後、表示装置２２０に画面出力される。表示装置２２０は、例えば、有機ＥＬ（Electroluminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶表示ディスプレイ（Liquid Crystal Display）などとして形成される。

入力機器インターフェース部２１５は、キーボード２１７やマウス２１８などのユーザ入力機器をＰＣ２００としてのコンピュータシステムに接続するための装置である。
即ちＰＣ２００に対するユーザの操作入力がキーボード２１７及びマウス２１８を用いて行われ、その操作入力情報が、入力機器インターフェース部２１５を介してＣＰＵ２１１に供給される。

ＨＤＤインターフェース部２１６は、ハードディスクドライブ（ＨＤＤ）２１９に対する書込／読出のインターフェース処理を行う。
ＨＤＤ２１９は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェアプログラムを実行可能な状態でＨＤＤ２１９上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ２１９には、ＣＰＵ２１１が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
ＨＤＤ２１９に格納されている各種プログラムは、ＰＣ２００の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいた処理を行う。

外部機器インターフェース部２２２は、例えばＵＳＢ規格（Universal Serial Bus）などにより接続された外部機器とのインターフェースである。
本例の場合、外部機器としては、例えばデジタルスチルカメラやビデオカメラ、ビデオプレーヤなどが想定される。
ＰＣ２００は、この外部機器インターフェース部２２２を介した通信により、デジタルスチルカメラ等からの画像データの取込などが可能となる。
なお、外部機器インターフェース部２２２は、ＵＳＢ規格に限らず、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４など、他のインターフェース規格であってもよい。

メモリカードインターフェース部２２３は、メモリカード等の記録媒体９０に対するデータの書込／読出を行う。
例えば上述した撮像装置１のようなデジタルスチルカメラ、或いはビデオカメラ等で用いられた記録媒体９０を装着することで、その記録媒体９０から画像データを読み込むこともできる。

このようなＰＣ２００では、ＣＰＵ２１１におけるソフトウエア構造、即ちアプリケーションプログラム、ＯＳ（Operating System）、デバイスドライバなどのソフトウエアに基づく演算処理／制御動作を行うことで、各種動作が実行される。
本例の場合、例えば後述する図２２，図２３の処理が実行できるようにするが、これらの処理を行うためのプログラムは、例えばＨＤＤ２１９にインストールされ、起動時にメモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいて必要な演算処理や制御処理を実行し、図２２，図２３の処理を実現する。

なお、図２２，図２３等の処理をＣＰＵ２１１に実行させるプログラムは、ＰＣ２００等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

このようなＰＣ２００においては、例えばＨＤＤ２１９に、各種の画像コンテンツを格納することができる。例えばユーザがデジタルスチルカメラやビデオカメラで撮像した画像コンテンツを取り込んでＨＤＤ２１９に格納することで、ユーザは、このＰＣ２００を用いて撮像した画像を再生させて楽しむこともできる。
例えば上記撮像装置１の外部インターフェース８とＰＣ２００の外部インターフェース部２２２の間を接続し、撮像装置１で撮像された画像データをＰＣ２００に転送させて取り込むことができる。
もちろん撮像装置１で使用していた記録媒体９０（メモリカード）を、メモリカードインターフェース部２２３に装着して、記録媒体９０から撮像装置１で撮像された画像データをＰＣ２００に取り込むこともできる。
また、ユーザが撮像した画像コンテンツだけでなく、例えば外部のビデオプレーヤ等で再生され外部インターフェース部２２２から取り込んだ画像コンテンツ、或いはネットワークインターフェース部２１３によりネットワーク経由で外部サーバからダウンロードした画像コンテンツもＨＤＤ２１９に格納し、再生させることができる。

そして本例の場合、動画コンテンツを再生する際に、図２２，図２３の処理を行うことで、長時間露光効果画像等の静止画データ、或いは上述した特殊動画データを記録することができるようにする。
なお「動画コンテンツ」とは、このＰＣ２００で再生できるあらゆる動画データのことをいうこととする。
例えばビデオカメラや動画撮像機能を持つデジタルスチルカメラで撮像され、ＰＣ２００に取り込んだ動画データ、ネットワーク経由でダウンロードした動画データ、記録媒体９０に記録された動画データなどを含む。
さらに図２１には示していないが、ＤＶＤドライブ、ブルーレイディスクドライブなどが接続されることで、ＤＶＤやブルーレイディスクなどの光ディスクに記録された動画データや、テレビジョン放送チューナ等を搭載、又は接続しているのであれば、放送コンテンツとしての動画データも含む。接続したビデオプレーヤ等から入力した動画データなども含む。
即ち、どのような態様であるかを問わず、ＰＣ２００において再生し、表示装置２２０で表示させることのできる動画データであれば、以下にいう「動画コンテンツ」に該当する。

そして動画コンテンツを再生する際に、ＣＰＵ２１１が図２２の処理を実行することで、ユーザは、長時間露光効果、先幕シンクロ効果、後幕シンクロ効果、マルチ発光効果などを付加した画像データ（静止画データ）を生成させ、記録（保存）することができる。

図２２の処理を説明する。
ここではユーザが例えば「長時間露光効果」モードとしての動作を指示したとする。
その場合、ＣＰＵ２１１は図２２の処理を開始し、まずステップＦ４０１で再生開始制御を行う。例えばＣＰＵ３１は、ＨＤＤ２１９等に記録されている動画コンテンツの再生開始制御を行う。なお、ここでいう「再生」とは、ＨＤＤ２１９等から動画コンテンツを読み出す場合のみでなく、例えばネットワーク経由のストリーミング再生、外部機器からの入力画像の再生表示、チューナ装備の場合のテレビジョン放送の受信動画の再生表示なども含むものとする。

ＣＰＵ２１１は、ステップＦ４０２でユーザのキャプチャ操作の監視、及びステップＦ４０３で再生終了を監視する。再生終了とは、動画コンテンツの再生完了による終了やユーザの再生終了操作による終了となる。
再生が行われている期間は、ＣＰＵ２１１の処理はステップＦ４０４に進む。
ステップＦ４０４では、再生によって得られた画像データの１フレームをバッファリングする。例えばメモリ部２１２にフレーム画像バッファ領域を設定して、その領域に取り込む。

続いてＣＰＵ２１１はステップＦ４０５での合成処理、ステップＦ４０６での合成画像データのバッファリング、ステップＦ４０７での合成画像データの表示制御を行う。
そしてステップＦ４０２，Ｆ４０３を介して、再びステップＦ４０４〜Ｆ４０７の処理を行う。
即ちＣＰＵ２１１は、キャプチャ操作が検知されていない期間は、１フレーム期間毎にステップＦ４０４〜Ｆ４０７の処理を行うことになる。メモリ部２１２のフレーム画像バッファ領域には、再生している動画コンテンツについての現在のフレームから過去の所定フレーム数の画像データがバッファリングされる状態となる。

ステップＦ４０５〜Ｆ４０７の処理は例えば次のように行われる。
まずステップＦ４０５では、その時点でメモリ部２１２のフレーム画像バッファ領域に一時記憶されているフレームの内、最新のフレーム（直前にステップＦ４０４で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行う。
この場合、合成画像データＧＬとして長時間露光効果を得る合成画像データを生成する。
そしてステップＦ４０６でＣＰＵ２１１は、この合成画像データＧＬを、メモリ部２１２に用意した合成画像バッファ領域に一時記憶する。
さらにステップＦ４０７でＣＰＵ２１１はこの合成画像データＧＬを表示データとしてディスプレイコントローラ２１４に出力し、表示装置２２０で表示させる。

このような処理により、表示装置２２０では、動画コンテンツの通常の再生表示ではなく、各フレームが長時間露光効果とされた動画再生表示が行われることになる。
ユーザは表示装置２２０の画面を見ながらキャプチャタイミングをうかがう。

ＣＰＵ２１１は、ユーザのキャプチャ操作を検知したら、処理をステップＦ４０２からＦ４０８に進める。そして、このキャプチャタイミングの合成画像を記録する処理を行う。例えばＨＤＤ２１９や記録媒体９０に記録する。
キャプチャタイミングの合成画像とは、そのキャプチャ操作検知の直前にステップＦ４０５で生成し、ステップＦ４０６で一時記憶した合成画像データＧＬとすればよい。
これによって、ユーザは、長時間露光効果の再生画像を見ながら、任意のシーンを１枚の静止画データとして保存させることができる。

ＣＰＵ２１１は、ステップＦ４０９では、ユーザにキャプチャ画像を確認させるため、ディスプレイコントローラ２１４を制御し、ＨＤＤ２１９等に記録させた当該合成画像データを、表示装置２２０の画面に所定時間表示させる。
そして、表示を終えたら、ステップＦ４０２〜Ｆ４０７の処理を再開する。
再生終了となったら、ＣＰＵ２１１はステップＦ４０３からこの図２２の処理を終える。

この図２２はユーザが長時間露光効果モードを選択した場合の処理としているが、ユーザが先幕シンクロ効果モード、後幕シンクロ効果モード、マルチ発光効果モードのいずれかを選択した場合は、図２２と同様の処理で対応できる。例えば先幕シンクロ効果モードの場合は、ステップＦ４０５の合成処理で先幕シンクロ効果の合成画像データＧＳを生成するようにし、ステップＦ４０７では当該先幕シンクロ効果の合成画像データＧＳを用いた表示が行われればよい。

このような処理によれば、ユーザは任意の動画コンテンツを選択して再生させながら、その或るシーンについて選択した画像効果を加えた合成画像を得ることができる。これによって容易に多様な画像を生成して楽しむことができる。
なお、以上の処理例以外にも、図４で述べたように多種類の画像効果の画像を同時に表示させる処理を行うようにもすることができる。

続いて図２３の処理を説明する。
ここでは「長時間露光効果」としての特殊動画記録を行う処理を述べる。
ＣＰＵ２１１はまずステップＦ５０１で動画コンテンツの再生開始制御を行う。
ＣＰＵ２１１は、ステップＦ５０２でユーザの記録開始操作の監視、及びステップＦ５０３で動画コンテンツの再生終了を監視する。記録開始操作が無い期間は、ステップＦ５０４に進む。ステップＦ５０４では、再生されている動画コンテンツの１フレームの画像データをメモリ部２１２のフレーム画像バッファ領域に取り込む。

ステップＦ５０５では、その時点でメモリ部２１２のフレーム画像バッファ領域に一時記憶されているフレームの内、最新のフレーム（直前にステップＦ５０４で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行う。
この場合、合成画像データＧＬとして長時間露光効果を得る合成画像データを生成する。
そしてステップＦ５０６でＣＰＵ２１１は、この合成画像データＧＬを表示データとしてディスプレイコントローラ２１４に出力し、表示装置２２０で表示させる。

ＣＰＵ２１１が、記録開始操作がされていない期間（記録スタンバイ期間）は、１フレーム期間毎にステップＦ５０４〜Ｆ５０６の処理を行うことで、表示装置２２０では、動画コンテンツの通常の再生表示ではなく、各フレームが長時間露光効果とされた動画再生表示が行われることになる。

ユーザが記録開始操作を行ったことを検知した場合、ＣＰＵ２１１の処理はステップＦ５０２からＦ５０７に進み、記録終了操作を検知するまで、或いはステップＦ５０８で再生終了を検知するまで、ステップＦ５０９からＦ５１２の処理を繰り返す。
ステップＦ５０９では、再生された動画コンテンツの１フレームの画像データをメモリ部２１２のフレーム画像バッファ領域に取り込む。
ステップＦ５１０では、その時点でメモリ部２１２のフレーム画像バッファ領域に一時記憶されているフレームの内、最新のフレーム（直前にステップＦ５０９で取り込まれたフレーム）の画像データから過去に遡る所定数のフレームを用いて合成処理を行い、合成画像データＧＬとして長時間露光効果を得る合成画像データを生成する。
ステップＦ５１１でＣＰＵ２１１は、この合成画像データＧＬを表示データとしてディスプレイコントローラ２１４に出力し、表示装置２２０で表示させる。
さらにステップＦ５１２では、この合成画像データＧＬを、動画を構成する１フレームのデータとして、例えばＨＤＤ２１９等に記録させる。

つまり、記録開始操作が行われた時点から、記録終了操作が行われる時点までの間、上記図２０（ａ）に示したように、合成画像データＧＬが１フレームのデータとされた動画記録が行われることになる。

ＣＰＵ３１は、ステップＦ５０７で記録終了操作を検知したら、ステップＦ３０２に戻る。そして上記したスタンバイ期間としての処理を行う。
またステップＦ５０３若しくはＦ５０８で再生終了を検知したら、ＣＰＵ３１はこの図２３の処理を終える。

以上の処理により、再生されている動画コンテンツについて、長時間露光効果を与えた動画記録が実現される。これによってユーザは、従来無い動画コンテンツを作成することができる。
また、記録した動画を再生することで、長時間露光効果等を与えた動画を楽しむことができる。
図２３では長時間露光効果としての特殊動画記録の処理を説明したが、先幕シンクロ効果モード、後幕シンクロ効果モード、マルチ発光効果モードによる特殊動画記録も図２３と同様の処理で対応できる。例えば先幕シンクロ効果モードの場合は、ステップＦ５０５、Ｆ５１０の合成処理で先幕シンクロ効果の合成画像データＧＳを生成するようにし、ステップＦ５０６、Ｆ５１１では当該先幕シンクロ効果の合成画像データＧＳを用いた表示が行われれるようにすればよい。ステップＦ５１２では当該先幕シンクロ効果の合成画像データＧＳが、動画の１フレームとして記録されればよい。

以上のように、ＰＣ２００において、動画コンテンツの再生を行わせ、その動画コンテンツから長時間露光効果等の画像効果を与えた静止画データや動画データを作成することができる。
なお本例では情報処理装置としてパーソナルコンピュータを例に挙げたが、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機器、ビデオ再生機、その他画像データを用いる多様な情報処理装置においても同様の処理を実行できるようにすることができる。

本発明の実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像モード選択画面の説明図である。 実施の形態のライブ画像合成モード処理のフローチャートである。 実施の形態のバッファ領域の説明図である。 実施の形態の合成処理の説明図である。 実施の形態の長時間露光効果の合成処理の説明図である。 実施の形態の先幕シンクロ効果の合成処理の説明図である。 実施の形態の後幕シンクロ効果の合成処理の説明図である。 実施の形態のマルチ発光効果の合成処理の説明図である。 実施の形態のライブ画像合成モードでの表示の説明図である。 実施の形態のライブ画像合成モードでの表示の説明図である。 実施の形態のライブ画像合成モードでの表示の説明図である。 実施の形態のライブ画像合成モードでの表示の説明図である。 実施の形態のライブ画像合成モードでの表示の説明図である。 実施の形態の他の撮像モード選択画面の説明図である。 実施の形態の他のライブ画像合成モード処理のフローチャートである。 実施の形態のライブ画像合成モードでの表示の説明図である。 実施の形態の特殊動画撮像モード処理のフローチャートである。 実施の形態の特殊動画撮像モードの説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の情報処理装置での長時間露光効果モード処理のフローチャートである。 実施の形態の情報処理装置での特殊動画記録モード処理のフローチャートである。

符号の説明

１ 撮像装置、２ 撮像系、３ 制御系、４ カメラＤＳＰ、５ 操作部、６ 表示パネル、７ 表示コントローラ、８ 外部インターフェース、９ ＳＤＲＡＭ、１０ 媒体インターフェース、１３ ブレ検出部、１４ 発光駆動部、１５ フラッシュ発光部、１７ レンズ駆動ドライバ、１８ 絞り／ＮＤ駆動ドライバ、１９ 撮像素子ドライバ、２１ レンズ機構部、２２ 絞り／ＮＤフィルタ機構、２３ 撮像素子部、２４ アナログ信号処理部、２５ Ａ／Ｄ変換部、２８ タイミング生成回路、２６ レンズ駆動部、２７ レンズ位置検出部、３１ ＣＰＵ、３２ ＲＡＭ、３３ フラッシュＲＯＭ、３４ 時計回路、４１ 画像信号処理部，４２ 圧縮／解凍処理部、４３ ＳＤＲＡＭコントローラ、４４ 情報生成部、９０ メモリカード、２００ ＰＣ、２１１ ＣＰＵ、２１２ メモリ部、２１４ ディスプレイコントローラ、２１９ ＨＤＤ、２２０ 表示装置

Claims (16)

1. 撮像による画像取得動作として、時間的な連続性を有する複数フレームの画像データを取得する画像取得部と、
   上記画像取得部による画像取得動作中に、上記画像取得部で得られる各フレームの画像データをバッファリング記憶する記憶部と、
   合成処理を行うモードを指示する操作に応じて、上記画像取得部に上記撮像による画像取得動作を開始させるとともに、該画像取得動作中に、逐次、上記記憶部にバッファリング記憶された複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成し、合成画像データを表示用のデータとし、さらに、記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを記録媒体に記録する処理を行う演算制御部と、
   を備えた画像処理装置。
2. 上記演算制御部は、上記記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを、静止画データとして記録媒体に記録する処理を行う請求項１に記載の画像処理装置。
3. 上記演算制御部は、１フレーム期間又は複数フレーム期間としての所定期間毎に、バッファリング記憶された複数フレームの画像データのうちで最新のフレームを含む所定フレーム数の画像データを用いて合成画像データを生成し、表示用のデータとする請求項２に記載の画像処理装置。
4. 上記演算制御部は、合成処理対象とする各画像データに対して均等な重み係数を与えて合成処理を行う請求項３に記載の画像処理装置。
5. 上記演算制御部は、合成処理対象とする各画像データのうちで、最新のフレームの画像データに対して高い重み係数、他のフレームの画像データに対して低い重み係数を与えて合成処理を行う請求項３に記載の画像処理装置。
6. 上記演算制御部は、合成処理対象とする各画像データのうちで、最古のフレームの画像データに対して高い重み係数、他のフレームの画像データに対して低い重み係数を与えて合成処理を行う請求項３に記載の画像処理装置。
7. 上記演算制御部は、合成処理対象とする各画像データについて、周期的に高い重み係数と低い重み係数を与えて合成処理を行う請求項３に記載の画像処理装置。
8. 上記演算制御部は、上記画像取得動作中に、逐次、上記記憶部にバッファリング記憶される複数フレームの画像データを用いて画像合成処理を行って複数種類の合成画像データを生成し、生成した複数種類の合成画像データを表示用のデータとする請求項１に記載の画像処理装置。
9. 上記演算制御部は、記録操作入力に応じて、その記録操作入力タイミングに対応して生成された複数種類の合成画像データの全部又は一部を、静止画データとして記録媒体に記録する処理を行う請求項８に記載の画像処理装置。
10. 上記演算制御部は、上記画像取得動作中に、逐次、上記記憶部にバッファリング記憶される複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成するとともに、生成した合成画像データを動画を構成する１フレームの画像データとして記録媒体に記録する処理を行う請求項１に記載の画像処理装置。
11. 上記演算制御部は、生成した合成画像データを、表示用のデータとする請求項１０に記載の画像処理装置。
12. 上記演算制御部で生成される合成画像データを表示出力する表示部をさらに備えた請求項１に記載の画像処理装置。
13. 上記演算制御部で生成される合成画像データを送信出力する送信部をさらに備えた請求項１に記載の画像処理装置。
14. 上記演算制御部は、１フレーム期間又は複数フレーム期間としての所定期間毎に、バッファリング記憶された複数フレームの画像データのうちで最新のフレームを含む所定フレーム数の画像データを用いて合成画像データを生成し、表示用のデータとする請求項１に記載の画像処理装置。
15. 合成処理を行うモードを指示する操作に応じて、撮像による画像取得動作を開始し、該画像取得動作により時間的な連続性を有する複数フレームの画像データを取得するステップと、
    上記画像取得動作中に取得される各フレームの画像データをバッファリング記憶するステップと、
    逐次、バッファリング記憶された複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成するステップと、
    合成画像データを表示用のデータとして出力するステップと、
    記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを記録媒体に記録するステップと、
    を備えた画像処理方法。
16. 合成処理を行うモードを指示する操作に応じて、撮像による画像取得動作を開始させ、該画像取得動作により時間的な連続性を有する複数フレームの画像データを取得するステップと、
    上記画像取得動作中に取得される各フレームの画像データをバッファリング記憶させるステップと、
    逐次、バッファリング記憶された複数フレームの画像データを用いて画像合成処理を行って合成画像データを生成するステップと、
    合成画像データを表示用のデータとして出力するステップと、
    記録操作入力に応じて、その記録操作入力タイミングに対応する合成画像データを記録媒体に記録するステップと、
    を演算処理装置に実行させるプログラム。

Images