JP6597734B2 - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

従来から、連続して撮影された複数の画像データを用いて、長時間露光により撮影された画像データと同等の効果を有する静止画データを生成する撮像装置が知られている（たとえば特許文献１）。

特開２００９−２３２３８３号公報

しかしながら、静止画データのため、視覚上の効果が限定される。

本発明の第１の態様による画像処理装置は、複数の第１画像データのそれぞれから特徴領域を抽出して複数の第２画像データを生成する生成部と、前記複数の第２画像データのそれぞれの画像データの前記特徴領域を合成した第１合成画像データを生成し、前記第１合成画像データと前記複数の第１画像データのうちの１つとを合成して第２合成画像データを生成する合成部と、前記第２合成画像データと、前記複数の第１画像データの少なくとも１つとによる画像を表示部に動画形式で再生する再生部と、を備える。
本発明の第２の態様による撮像装置は、被写体を撮像して連続して画像信号を出力する撮像部と、前記画像信号により、連続する複数の第１画像データを生成する画像生成部と、第１の態様による画像処理装置と、を備える。
本発明の第３の態様による画像処理プログラムは、複数の第１画像データのそれぞれから特徴領域を抽出して複数の第２画像データを生成する生成処理と、前記複数の第２画像データのそれぞれの画像データの前記特徴領域を合成した第１合成画像データを生成し、前記第１合成画像データと前記複数の第１画像データのうちの１つとを合成して第２合成画像データを生成する合成処理と、前記第２合成画像データと、前記複数の第１画像データの少なくとも１つとによる画像を表示部に動画形式で再生する再生処理と、をコンピュータに実行させる。

本発明によれば、時間的に連続する複数の画像データを用いて、特徴領域を軌跡状に表現する第２合成画像データを生成し、この第２合成画像データと、複数の画像データの少なくとも１つとに基づいて動画像データを生成し、表示部に動画形式で再生することができる。

本発明の実施の形態によるデジタルカメラの要部構成を説明するブロック図 実施の形態による画像処理部が備える機能を説明するブロック図 第１の実施の形態による軌跡画像の生成処理を説明する概念図 実施の形態によるデジタルカメラの動作を説明するフローチャート 第１の実施の形態によるデジタルカメラの軌跡画像の生成処理を説明するフローチャート 第１の実施の形態によるデジタルカメラの再生処理を説明する概念図 第２の実施の形態によるデジタルカメラの処理を説明する概念図 第３の実施の形態によるデジタルカメラの処理を説明する概念図 第４の実施の形態によるデジタルカメラの撮影動作を説明する概念図 第４の実施の形態によるデジタルカメラの軌跡画像の生成処理を説明する概念図 第４の実施の形態によるデジタルカメラの処理を説明する概念図 第４の実施の形態の変形例における処理を説明する概念図 第５の実施の形態における処理を説明する概念図 変形例における画像処理装置の構成を示すブロック図

−第１の実施の形態−
図面を参照して、本発明の第１の実施の形態における撮像装置として、レンズ交換式デジタルカメラを例に挙げて説明する。なお、レンズ固定式デジタルカメラについても本発明の一態様に含まれる。
図１はデジタルカメラ１の要部構成を示すブロック図である。デジタルカメラ１は、交換レンズ２００とカメラボディ１００とから構成され、交換レンズ２００がマウント部（不図示）を介してカメラボディ１００に装着される。

交換レンズ２００は、撮影レンズ２０１と、レンズ制御部２０２とを備えている。撮影レンズ２０１は、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含んで構成される。なお、図１では撮影レンズ２０１を１枚のレンズで代表して表している。レンズ制御部２０２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、各種のデータ処理を実行したりする演算回路である。レンズ制御部２０２は、データ処理の結果に基づいて、撮影レンズ２０１や絞り（不図示）の駆動を制御したり、マウント部（不図示）に設けられた電気接点２１１を介してカメラボディ１００との間で状態情報やレンズ情報の送信とカメラ情報の受信とを行ったりする。

カメラボディ１００は、撮像素子１０１、制御回路１０２、バッファメモリ１０３、ＬＣＤ駆動回路１０４、液晶表示部１０５、操作部１０６、メモリカードインタフェース１０７およびマイク１０８を備えている。撮像素子１０１には、ＣＣＤやＣＭＯＳ等の撮像画素が二次元状（行と列）に配置され、後述する制御回路１０２の制御に応じて駆動して、撮影レンズ２０１を通して入力される被写体像を撮像し、撮像して得た撮像信号を出力する。撮像素子１０１の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１０１がカラーフィルタを通して被写体像を撮像するため、撮像素子１０１から出力される撮像信号はＲＧＢ表色系の色情報を有する。

制御回路１０２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御プログラムは、制御回路１０２内の不図示の不揮発性メモリに格納されている。制御回路１０２は、画像処理部１１２を機能として備え、撮像素子１０１から出力された撮像信号に対して、たとえばホワイトバランス調整やガンマ補正等の種々の画像処理を施して画像データを生成して、所定の圧縮処理を施して後述するメモリカード１０９へ記録する。また、画像処理部１１２は、撮像素子１０１から出力された撮像信号や、後述するメモリカード１０９に記録されている画像データに基づいて、後述する液晶表示部１０５に表示するための表示画像データを生成する。なお、画像処理部１１２の機能の詳細については、説明を後述する。

バッファメモリ１０３は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、メモリカード１０９へ記録する前の画像ファイルを記憶したり、メモリカード１０９から読み出した画像ファイルを記憶したりするために使用される。マイク１０８は、後述する動画モードにて動画撮影中に、音声を入力し、増幅等の処理を行って音声データとして制御回路１０２へ出力する。

ＬＣＤ駆動回路１０４は、制御回路１０２の命令に基づいて液晶表示部１０５を駆動する回路である。液晶表示部１０５は、画像処理部１１２で作成された表示画像データに対応する画像の表示を行う。液晶表示部１０５には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。

操作部１０６はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御回路１０２へ出力する。操作部材は、たとえばレリーズボタンや、液晶表示部１０５にメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、動画撮影モードと静止画撮影モードとを含む撮影モードと再生モードとの間でデジタルカメラ１の動作を切替えるモード切替ボタン等を含む。また、操作部１０６の操作により、動画モードの際に後述する合成軌跡画像を生成する軌跡画像生成モードが選択可能に構成されている。

メモリカードインタフェース１０７は、メモリカード１０９が着脱可能なインタフェースである。メモリカードインタフェース１０７は、制御回路１０２の制御に基づいて、画像ファイルをメモリカード１０９に書き込んだり、メモリカード１０９に記録されている画像ファイルを読み出すインタフェース回路である。メモリカード１０９はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

次に、本発明の特徴的なモードである軌跡画像生成モードについて説明する。ユーザによる操作部１０６の操作によって、動画モードのうちの軌跡画像生成モードが設定されると、画像処理部１１２は、撮像素子１０１から出力された撮像信号を用いて動画像データを生成する。そして、画像処理部１１２は、動画像データの各フレーム画像データを用いて、画像上の特徴領域の１つである被写体の高輝度部分が光線状の軌跡を描く動きのある軌跡画像データを生成する。

図２は、上記の軌跡画像データを生成するために画像処理部１１２が有する機能を説明するためのブロック図である。図２に示すように、画像処理部１１２は、設定部１２０と、生成部１２１と、第１画像合成部１２２と、第２画像合成部１２３と、再生部１２４とを機能として備えている。設定部１２０は、動画像データを構成する時間的に連続する複数のフレーム画像データのうちの１つのフレーム画像データを基準画像データとして設定する。基準画像データは、軌跡画像データに対応する画像が再生表示される場合に、高輝度部分の光線軌跡の起点または終点となるフレームに相当する。

生成部１２１は、複数のフレーム画像データのそれぞれについて所定の特徴量（本実施の形態では輝度値）を超える領域を抽出して、各フレーム画像データに対応して複数の高輝度画像データをそれぞれ生成する。第１画像合成部１２２は、複数の高輝度画像データのうちの１つの高輝度画像データの画素値と、他の１つの高輝度画像データの画素値とを比較して、輝度値が高い画素を選択して合成することにより高輝度合成画像データを生成する。第２画像合成部１２３は、第１画像合成部１２２により生成された高輝度合成画像データと基準画像データとを合成して軌跡画像データを生成する。再生部１２４は、第２画像合成部１２３により生成された軌跡画像データと、複数のフレーム画像データとを組み合わせて、液晶表示部１０５に動画形式にて再生する。

軌跡画像データの生成処理と、再生処理とに分けて説明する。なお、以下では、図３（ａ）に示すように、動画像データのうちの第Ｎ番目〜第（Ｎ＋Ａ）番目までのフレーム画像データを用いて軌跡画像データを生成する場合を一例として説明を行う。なお、軌跡画像データを生成するために用いるフレーム画像データの個数については、ユーザがメニュー画面等から指定可能に構成されているものとする。また、図３（ａ）に示す動画像データは、テールライトを灯して去っていく列車を撮影したものである。

−軌跡画像データの生成処理−
図３（ｂ）に示す動作概念図を参照しながら軌跡画像データの生成について説明する。軌跡画像データの生成には、大きく分けて次の４つの処理が含まれる。
１．基準画像データの設定
２．高輝度画像データの生成
３．高輝度合成画像データの生成
４．軌跡画像データの生成

１．基準画像データの設定
設定部１２０は、指定された第Ｎ番目〜第（Ｎ＋Ａ）番目までのフレーム画像データの中から１つのフレーム画像データを基準画像データとして設定する。このとき、設定部１２０は、ユーザが操作部１０６を操作して選択したフレーム画像データを基準画像データとして設定する。なお、以下の説明では、第（Ｎ＋Ａ）番目のフレーム画像データが基準画像データとして設定された場合を例として説明する。

２．高輝度画像データの生成
基準画像データが設定されると、生成部１２１は、軌跡を生成する区間として、第Ｎ番目〜第（Ｎ＋Ａ−１）番目のフレーム画像データを指定する。そして、生成部１２１は、指定した第Ｎ番目〜第（Ｎ＋Ａ−１）番目のフレーム画像データのそれぞれについて、高輝度領域の抽出、すなわち低輝度カット処理と、ぼかし処理とを施して、第Ｎ番目〜第（Ｎ＋Ａ−１）番目までの高輝度画像データを生成する。

この場合、生成部１２１は、まず、第Ｎ番目のフレーム画像データの各画素の輝度値が所定輝度値以下であるか否かを判定する。そして、生成部１２１は、輝度値が所定輝度値以下の画素については、輝度値を０に設定することにより低輝度カット処理を行う。なお、輝度値が０〜２５５の２５６階調で表される場合に、たとえば１２８階調を所定輝度値として設定することができるが、この例に限定されるものではなく、主要被写体に対する背景の明るさに応じて生成部１２１が設定してもよいし、ユーザの操作に応じて設定してもよい。

生成部１２１は、低輝度カット処理が施されたフレーム画像データのエッジ部分に対して、公知のぼかし処理を施すことにより、低輝度カット処理により抽出された高輝度領域の境界をソフトにして、高輝度領域を拡大させる。主要被写体の移動速度が速い場合には、撮影時のフレームレートとの関係で、軌跡画像データ上の軌跡が途切れる場合が考えられる。生成部１２１によりぼかし処理を施して高輝度領域を拡大させることにより、このような軌跡の途切れの発生を防いでいる。上記の処理の結果、第Ｎ番目のフレーム画像データから第Ｎ番目の高輝度画像データが生成される。生成部１２１は、第（Ｎ＋１）番目〜第（Ｎ＋Ａ−１）番目のフレーム画像データに対しても同様の処理を行うことによって、第（Ｎ＋１）番目〜第（Ｎ＋Ａ−１）番目の高輝度画像データを生成する。

３．高輝度合成画像データの生成
第１画像合成部１２２は、生成部１２１により生成された第Ｎ番目〜第（Ｎ＋Ａ−１）番目までの高輝度画像データを用いて、１つの高輝度合成画像データを生成する。まず、第１画像合成部１２２は、第Ｎ番目の高輝度画像データと第（Ｎ＋１）番目の高輝度画像データとに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出する。第Ｎ番目および第（Ｎ＋１）番目の高輝度画像データを構成するすべての画素について輝度値の比較と、高輝度の画素の抽出が終了すると、第１画像合成部１２２は、抽出したすべての画素を合成して１つの画像データを生成する。以後、この画像データを処理済画像データと呼ぶ。

次に、第１画像合成部１２２は、処理済画像データと、第（Ｎ＋２）番目の高輝度画像データとに対して、上述したようにして、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出する。そして、第１画像合成部１２２は、抽出したすべての画素を合成して、新たな処理済画像データを生成する。以下、第１画像合成部１２２は、順次生成される処理済画像データと第（Ｎ＋３）番目以降の高輝度画像データとに対して同様の処理を繰り返す。その結果、第（Ｎ＋Ａ−１）番目の高輝度画像データを用いて合成された処理済画像データは、第Ｎ番目〜第（Ｎ＋Ａ−１）番目の高輝度画像データにおいて、同位置に配列された画素のうちの輝度値が最大となる画素をそれぞれ抽出して、１つの画像データを構成するように合成されたものとなる。以後、この処理済画像データを高輝度合成画像データと呼ぶ。

図３（ｂ）の画像Ｘは、第（Ｎ＋Ａ−１）番目の高輝度画像データに対して上記の処理が行われることにより生成された高輝度合成画像データに対応する画像である。画像Ｘは、第Ｎ番目〜第（Ｎ＋Ａ−１）番目のフレーム画像データのうちの高輝度の画素を合成して生成されているので、高輝度の部分、すなわち列車のテールライトが列車の移動に従って光線状の軌跡を描いた画像となる。

４．軌跡画像データの生成
第２画像合成部１２３は、第（Ｎ＋Ａ−１）番目までの高輝度画像データを用いて合成された高輝度合成画像データと、第（Ｎ＋Ａ）番目のフレーム画像データ、すなわち基準画像データとを合成する。この場合、第２画像合成部１２３は、第１画像合成部１２２と同様に、高輝度合成画像データと第（Ｎ＋Ａ）番目のフレーム画像データとに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出する。高輝度画像データおよび第（Ｎ＋Ａ）番目のフレーム画像データを構成するすべての画素について輝度値の比較と、高輝度の画素の抽出が終了すると、第２画像合成部１２３は、抽出したすべての画素を合成して１つの画像データを生成する。

第２画像合成部１２３は、上記のようにして合成した画像データの主要被写体（図３の例では列車）の形状が認識しやすくなるように、次の処理を行う。第２画像合成部１２３は、第（Ｎ＋Ａ）番目のフレーム画像データである基準画像データの透過率を所定値に設定した後、上記のようにして合成した画像データに重畳させることによって軌跡画像データを生成する。なお、透過率は、一例として２５パーセントに設定することができるが、ユーザにより設定可能に構成されることが好ましい。上記の処理の結果、閃光装置等を用いることなく、第（Ｎ＋Ａ）番目のフレームを基準とした後幕スローシンクロによって撮影された画像に相当する画像が生成される。

また、基準画像データを重畳しない場合でも主要被写体の形状が十分に認識可能であれば、処理負荷等を軽減する目的から、透過率が所定値に設定された基準画像データを重畳する処理を行わなくてもよい。この場合は、第２合成画像生成部１２３により高輝度合成画像データおよび基準画像データから合成されて生成された画像データが軌跡画像データとなる。

第（Ｎ＋Ａ）番目のフレーム画像データに代えて、第Ｎ番目のフレーム画像データを基準画像データとして設定することにより、第Ｎ番目のフレームを基準とした先幕スローシンクロによって撮影された画像に相当する画像を生成することもできる。また、使用者が所望する効果を得るために、第Ｎ番目〜第（Ｎ＋Ａ）番目のフレーム画像データのうち任意のフレーム画像データを基準画像データとして設定することが可能である。

画像処理部１１２は、上記のようにして生成された軌跡画像データと、撮影により取得された動画像データとにより構成される動画ファイルを生成し、メモリカード１０９に記録する。なお、軌跡画像データと動画像データとが関連付けされてメモリカード１０９に記録されるものについても本発明の一態様に含まれる。

図４、５のフローチャートを参照しながら、本実施の形態のデジタルカメラ１の動画モードにおける軌跡画像生成モードでの動作を説明する。図４、５に示す各処理は、制御回路１０２でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、ユーザにより軌跡画像生成モードが設定されると制御回路１０２により起動され、実行される。

ステップＳ１においては、レリーズボタンが全押し操作されたか否かを判定する。ユーザによるレリーズボタンの全押し操作に応じて操作部１０６から操作信号が出力された場合には、ステップＳ１が肯定判定されてステップＳ２へ進む。レリーズボタンの全押し操作が行われず操作部１０６から操作信号が出力されていない場合には、ステップＳ１が否定判定されて、焦点調節、測光、ホワイトバランス調整等の処理を行った後、当該判定処理を繰り返す。

ステップＳ２では、撮像素子１０１から出力された撮像信号を用いて動画像データを生成してステップＳ３へ進む。ステップＳ３においては、生成された動画像データを構成する各フレーム画像データをバッファメモリ１０３に格納してステップＳ４へ進む。ステップＳ４においては、画像処理部１１２は、軌跡画像データの生成処理を行ってステップＳ５へ進む。なお、ステップＳ４における軌跡画像データの生成処理の詳細については、図５のフローチャートを用いて後述する。ステップＳ５においては、生成された軌跡画像データと動画像データとからなる動画ファイルをメモリカード１０９に記録して処理を終了する。

次に、図５のフローチャートを参照しながら、ステップＳ４における軌跡画像データの生成処理について説明する。
ステップＳ１０では、第Ｎ番目〜第（Ｎ＋Ａ）番目までのフレーム画像データのうち、第（Ｎ＋Ａ）番目のフレーム画像データを基準画像データに設定してステップＳ１１へ進む。ステップＳ１１では、軌跡を生成する区間として、第Ｎ番目〜第（Ｎ＋Ａ−１）番目のフレーム画像データを指定してステップＳ１２へ進む。ステップＳ１２においては、指定されたフレーム画像データの１つのフレーム画像データに対して低輝度カット処理を施してステップＳ１３へ進む。ステップＳ１３では、低輝度カット処理が施されたフレーム画像データに対してぼかし処理を施して高輝度画像データを生成してステップＳ１４へ進む。

ステップＳ１４においては、指定された第Ｎ番目〜第（Ｎ＋Ａ−１）番目までのフレーム画像データの全てに対応する高輝度画像データが生成されたか否かを判定する。指定された全てのフレーム画像データに対応する高輝度画像データが生成された場合には、ステップＳ１４が肯定判定されてステップＳ１５へ進む。指定された全てのフレーム画像データに対応する高輝度画像データが生成されていない場合には、ステップＳ１４が否定判定されてステップＳ１２へ戻る。

ステップＳ１５では、第Ｎ番目〜第（Ｎ＋Ａ−１）番目の高輝度画像データを用いて、高輝度合成画像データを生成してステップＳ１６へ進む。ステップＳ１６では、高輝度合成画像データと基準画像データとに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出して合成することにより画像データを生成する。ステップＳ１７では、基準画像データの非透過率を所定値である２５パーセントに設定した後、ステップＳ１６にて生成された画像データに重畳させて軌跡画像データを生成して、図５に示す軌跡画像データの生成処理を終了する。

−再生処理−
図６に示す動作概念図を参照しながら軌跡画像の再生について説明する。
再生部１２４は、第２画像合成部１２３により生成された軌跡画像データと、動画像データを構成する第Ｎ番目〜第（Ｎ＋Ａ）番目のフレーム画像データとを組み合わせて、液晶表示部１０５に動画形式にて再生する。図６に示すように、再生部１２４は、第Ｎ番目〜第（Ｎ＋Ａ）番目のフレーム画像データを動画として再生している際に、軌跡画像データを重畳させて表示する。ただし、再生部１２４は、軌跡画像データの透過率を、動画の再生時間に応じて変化させる。

図６に示す例では、動画像データに対応する動画が再生を開始した時刻ｔ１においては、軌跡画像データは透過率が０パーセントの状態、すなわち軌跡画像データに対応する画像が観察されない状態で動画像データに重畳されている。そして、再生時間の経過に応じて、軌跡画像データの透過率が徐々に増加し、第（Ｎ＋Ａ）番目のフレーム画像データに対応する動画が再生されるとき、すなわち動画の再生終了時刻ｔ２の時点においては、軌跡画像データの透過率が１００パーセントの状態で動画像データに重畳されている。動画の再生終了時刻ｔ２以降は、軌跡画像データの透過率が１００パーセントに設定され、軌跡画像データに対応する画像のみが表示される。

以上で説明した第１の実施の形態によれば、以下の作用効果が得られる。
（１）生成部１２１は、時間的に連続する複数のフレーム画像データのうち使用者によって指定された複数のフレーム画像データのそれぞれについて所定の輝度値を超える高輝度領域を抽出して、複数の高輝度画像データを生成する。第１画像合成部１２２は、複数の高輝度画像データのうちの１つの高輝度画像データの画素値と、少なくとも他の１つの高輝度画像データの画素値とを比較して、輝度値が大きい画素を選択して合成することにより高輝度合成画像データを生成する。第２画像合成部１２３は、複数のフレーム画像データのうちの１の画像データ（基準画像データ）と、高輝度合成画像データとを合成して、高輝度領域を軌跡状に表現する軌跡画像データを生成する。そして、再生部１２４は、フレーム画像データと軌跡画像データとを、液晶表示部１０５に動画形式で再生する。したがって、動画像データを構成する複数のフレーム画像データを用いて、使用者が煩雑な編集作業を行うことなく、また、撮影時に閃光装置等を用いることなくスローシンクロと同等の効果を有する軌跡画像を生成することができる。さらに、軌跡画像を動画形式にて再生できるので、静止画で表現されたスローシンクロ画像とは異なる視覚上の効果を表現できる。

（２）設定部１２０は、複数のフレーム画像データの中から、軌跡状に表現された高輝度領域の起点となる基準画像データを設定するようにした。したがって、使用者が所望するフレームを起点としたスローシンクロと同等の効果を有する軌跡画像データを生成できるので、軌跡画像生成をする際の起点を設定する際の自由度が高くなり、様々な視覚上の効果を表現できる。

（３）第２画像合成部１２３は、高輝度合成画像データに、基準画像データの透過率を変更させて重畳するようにした。したがって、軌跡画像上においても主要被写体の形状が認識可能な程度に再現できるので、画質の低下を抑制できる。

（４）再生部１２４は、複数のフレーム画像データに対応する動画の再生に重畳させて軌跡画像を表示するようにした。したがって、生成された静止画データである軌跡画像データに対応する軌跡画像を、動画的な視覚上の効果を有するように再生できる。特に、再生部１２４は、軌跡画像の透過率を動画の再生時間の経過に応じて変化させながら表示するようにした。したがって、動画の再生に応じて、光源等の軌跡が徐々に現れるという視覚上の効果を、作業者が煩雑な編集作業を行うことなく表現できる。

以上で説明した第１の実施の形態によるデジタルカメラを以下のように変形できる。
第２画像合成部１２３は、生成された高輝度合成画像データに基準画像データを合成するものに代えて、各フレーム画像データから生成された高輝度画像データをそれぞれ基準画像データに合成して軌跡画像データを生成してもよい。この場合も、第２画像合成部１２３は、各処理済画像データと基準画像データとに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出して合成する。

−第２の実施の形態−
本発明の第２の実施の形態によるデジタルカメラについて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、複数の軌跡画像データを生成し、複数の軌跡画像データを動画形式にて再生する点で第１の実施の形態とは異なる。

本実施の形態では、主要被写体が移動した後に軌跡が残像として残り、かつその軌跡が主要被写体の移動に伴って徐々に長くなるような動画が再生される。上記のような動画を再生するために、軌跡画像データの生成処理が第１の実施の形態とは異なっている。

図７に示す動作概念図を参照しながら軌跡画像データの生成処理について説明する。なお、本実施の形態においても、図３（ａ）に示す第Ｎ番目〜第Ｎ＋Ａ番目のフレーム画像データにより構成される動画像データを用いて軌跡画像データを生成するものとして説明する。

設定部１２０は、第Ｎ番目〜第（Ｎ＋Ａ）番目までのフレーム画像データのうち第Ｎ番目のフレーム画像データを基準画像データとして設定する。なお、この基準画像データは、後述するように、第２画像合成部１２３が軌跡画像データを生成する際に、第１フレーム目の軌跡画像データとして設定される。基準画像データが設定されると、生成部１２１は、第Ｎ番目〜第（Ｎ＋Ａ）番目のフレーム画像データのそれぞれについて、高輝度領域の抽出、すなわち低輝度カット処理と、ぼかし処理とを施して、第Ｎ番目〜第（Ｎ＋Ａ）番目までの高輝度画像データを生成する。低輝度カット処理とぼかし処理とは第１の実施の形態の場合と同様に行われる。

第１画像合成部１２２は、生成部１２１により生成された第Ｎ番目〜第（Ｎ＋Ａ）番目までの高輝度画像データを用いて、Ａ個の高輝度合成画像データを生成する。まず、第１画像合成部１２２は、第Ｎ番目の高輝度画像データと第（Ｎ＋１）番目の２つの高輝度画像データとに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出し、抽出した画素を合成して１つの高輝度合成画像データを生成する。なお、この高輝度合成画像データは、第２画像合成部１２３が軌跡画像データを生成する際に、第２フレーム目の軌跡画像データとして設定される。

次に、第１画像合成部１２２は、第Ｎ番目〜第（Ｎ＋２）番目の３つの高輝度画像データのそれぞれに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が最も高い画素を抽出し、抽出した画素を合成して１つの高輝度合成画像データを生成する。なお、この高輝度合成画像データは、第２画像合成部１２３が軌跡画像データを生成する際に、第３フレーム目の軌跡画像データとして設定される。

以後、第１画像合成部１２２は、第Ｎ番目〜第（Ｎ＋３）番目の４つの高輝度画像データ、第Ｎ番目〜第（Ｎ＋４）番目の５つの高輝度画像データ、・・・、第Ｎ番目〜第（Ｎ＋Ａ−１）番目のＡ個の高輝度画像データ、第Ｎ番目〜第（Ｎ＋Ａ）番目の（Ａ＋１）個の高輝度画像データのそれぞれについて同様の処理を行うことにより、高輝度合成画像データを生成する。この結果、合成された高輝度画像データの枚数がそれぞれ異なるＡ個の高輝度合成画像データが生成される。

第２画像合成部１２３は、上記の基準画像データと、Ａ個の高輝度合成画像データを用いて（Ａ＋１）個のフレームからなる軌跡画像データを生成する。第２画像合成部１２３は、基準画像データを第１フレームの軌跡画像データ、第Ｎ番目〜第（Ｎ＋１）番目の高輝度画像データから生成された高輝度合成画像データを第２フレームの軌跡画像データ、第Ｎ番目〜第（Ｎ＋２）番目の高輝度画像データから生成された高輝度合成画像データを第３フレームの軌跡画像データ、・・・第Ｎ番目〜第（Ｎ＋Ａ−１）番目の高輝度画像データから生成された高輝度合成画像データを第Ａフレームの軌跡画像データ、第Ｎ番目〜第（Ｎ＋Ａ）番目の高輝度画像データから生成された高輝度合成画像データを第（Ａ＋１）フレームの軌跡画像データとして設定する。そして、第２画像合成部１２３は、Ａ個の軌跡画像データを１つの動画像データとしてメモリカード１０９に記録する。

再生部１２４は、第２画像合成部１２３により生成されたＡ個の軌跡画像データをフレーム番号の順序で順次動画として再生し、最終フレームである第（Ａ＋１）フレームの軌跡画像データを静止画として表示する。図７に示す例では、再生時刻ｔ１にて第１フレーム目の軌跡画像データから再生が開始され、フレーム番号の順序、すなわち高輝度画像データが合成された個数が少ない軌跡画像データから、順次切り替わって表示され、動画として再生される。第（Ａ＋１）フレームの軌跡画像データが再生されて再生終了時刻ｔ２となると、軌跡画像データの動画としての再生が終了する。動画の再生終了時刻ｔ２以降は、第（Ａ＋１）フレームの軌跡画像データに対応する画像のみが静止画として表示される。

以上で説明した第２の実施の形態によれば、第１の実施の形態により得られる（１）、（２）の作用効果に加えて、以下の作用効果が得られる。
第１画像合成部１２２は、異なる個数の時間的に連続する高輝度画像データを合成して、複数の軌跡画像データのそれぞれを生成し、再生部１２４は、高輝度画像データが合成された個数の少ない順序で順次、動画形式にて再生するようにした。この結果、主要被写体が移動した後に軌跡が徐々に長さを増加させるような動画を再生することができるので、使用者が煩雑な編集作業等を行うことなく、所望する視覚上の効果を表現することができる。

−第３の実施の形態−
本発明の第３の実施の形態によるデジタルカメラについて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、複数の軌跡画像データを生成し、複数の軌跡画像データを動画形式にて再生する点で第１の実施の形態とは異なる。

本実施の形態では、主要被写体が移動した後に軌跡が残像として残り、かつその軌跡が一定の長さを保って主要被写体の移動に伴って随伴するような動画が再生される。上記のような動画を再生するために、軌跡画像データの生成処理を第１および第２の実施の形態とは異ならせている。

図８に示す動作概念図を参照しながら軌跡画像データの生成処理について説明する。なお、本実施の形態においても、図３（ａ）に示す第Ｎ番目〜第Ｎ＋Ａ番目のフレーム画像データにより構成される動画像データを用いて軌跡画像データを生成するものとして説明する。

設定部１２０は、第Ｎ番目〜第（Ｎ＋Ａ）番目までのフレーム画像データのうち第Ｎ番目のフレーム画像データを基準画像データとして設定する。なお、この基準画像データは、後述するように、第２画像合成部１２３が軌跡画像データを生成する際に、第１フレーム目の軌跡画像データとして設定される。生成部１２１は、第Ｎ番目〜第（Ｎ＋Ａ）番目のフレーム画像データのそれぞれについて、高輝度領域の抽出、すなわち低輝度カット処理と、ぼかし処理とを施して、第Ｎ番目〜第（Ｎ＋Ａ）番目までの高輝度画像データを生成する。低輝度カット処理とぼかし処理とは第１の実施の形態の場合と同様に行われる。

第１画像合成部１２２は、生成部１２１により生成された第Ｎ番目〜第（Ｎ＋Ａ）番目までの高輝度画像データを用いて、Ａ個の高輝度合成画像データを生成する。本実施の形態では、再生される動画上における軌跡が一定の長さとなるような軌跡画像データを生成するために、所定個数であるＭ個（Ｍ：整数、０＜Ｍ＜Ａ）の高輝度画像データを用いて、１個の高輝度合成画像データを生成する。なお、第Ｎ番目〜第（Ｎ＋Ｍ−２）番目までの高輝度画像データについては、高輝度画像データの個数がＭ個に満たないため、第２の実施の形態と同様にして高輝度合成画像データが生成される。すなわち、第１画像合成部１２２は、合成された高輝度画像データの個数がそれぞれ異なる（Ｍ−２）個の高輝度合成画像データを生成する。

第（Ｎ＋Ｍ−１）番目〜第（Ｎ＋Ａ）番目までの高輝度画像データについては、高輝度画像データの個数がＭ個以上となるため、第１画像合成部１２２は、Ｍ個の高輝度画像データを用いて、各高輝度合成画像データを生成する。すなわち、第１画像合成部１２２は、第Ｎ番目〜第（Ｎ＋Ｍ−１）番目のＭ個の高輝度画像データ、第（Ｎ＋１）番目〜第（Ｎ＋Ｍ）番目のＭ個の高輝度画像データ、・・・、第（Ｎ＋Ａ−Ｍ）番目〜第（Ｎ＋Ａ−１）番目のＭ個の高輝度画像データ、第（Ｎ＋Ａ−Ｍ＋１）番目〜第（Ｎ＋Ａ）番目のＭ個の高輝度画像データのそれぞれについて同様の処理を行うことにより、高輝度合成画像データ（第Ｍフレームから第（Ａ＋１）フレームまでの軌跡画像データ）を生成する。この結果、Ｍ個の高輝度画像データが合成された（Ａ−Ｍ＋２）個の高輝度合成画像データがそれぞれ生成される。

第２画像合成部１２３は、上記の基準画像データと、Ａ個の高輝度合成画像データを用いて（Ａ＋１）個のフレームからなる軌跡画像データを生成する。第２画像合成部１２３は、基準画像データを第１フレームの軌跡画像データ、第Ｎ番目〜第（Ｎ＋１）番目の高輝度画像データから生成された高輝度合成画像データを第２フレームの軌跡画像データ、第Ｎ番目〜第（Ｎ＋２）番目の高輝度画像データから生成された高輝度合成画像データを第３フレームの軌跡画像データ、・・・第Ｎ番目〜第（Ｎ＋Ａ−１）番目の高輝度画像データから生成された高輝度合成画像データを第Ａフレームの軌跡画像データ、第Ｎ番目〜第（Ｎ＋Ａ）番目の高輝度画像データから生成された高輝度合成画像データを第（Ａ＋１）フレームの軌跡画像データとして設定する。そして、第２画像合成部１２３は、Ａ個の軌跡画像データを１つの動画像データとしてメモリカード１０９に記録する。

再生部１２４は、第２画像合成部１２３により生成されたＡ個の軌跡画像データをフレーム番号の順序で順次、動画として再生し、最終フレームである第（Ａ＋１）フレームの軌跡画像データを静止画として表示する。図８に示す例では、再生時刻ｔ１にて第１フレーム目の軌跡画像データから再生が開始され、フレーム番号に従って順次軌跡画像データが切り替わって表示され、動画として再生される。第（Ａ＋１）フレームの軌跡画像データが再生されて再生終了時刻ｔ２となると、軌跡画像データの動画としての再生が終了する。動画の再生終了時刻ｔ２以降は、第（Ａ＋１）フレームの軌跡画像データに対応する画像のみが静止画として表示される。

この結果、第１〜第（Ｍ−１）フレームの軌跡画像データに対応する動画の再生中には、主要被写体が移動した後に軌跡が徐々に長さを増加させながら再生される。そして、第Ｍフレーム以降の軌跡画像データに対応する動画が再生される際には、軌跡が一定の長さを保って主要被写体の移動に伴って、軌跡が一定の長さを保って随伴するような動画が再生される。

以上で説明した第３の実施の形態によれば、第１の実施の形態により得られる（１）、（２）の作用効果に加えて、以下の作用効果が得られる。
第１画像合成部１２２は、所定個数の時間的に連続する高輝度画像データを合成して複数の高輝度合成画像データを生成し、第２画像合成部１２３は、生成された複数の高輝度合成画像データから軌跡画像データを生成するようにした。その結果、移動する主要被写体の後を一定の長さを保った軌跡が随伴するような動画を再生することができるので、使用者が煩雑な編集作業等を行うことなく、所望する視覚上の効果を表現することができる。

以上で説明した第３の実施の形態によるデジタルカメラを以下のように変形できる。
軌跡の長さを一定に保つために、第１〜第（Ｍ−１）フレームの軌跡画像データを生成しなくてもよい。すなわち、第２画像合成部１２３は、第Ｎ番目〜第（Ｎ＋Ｍ−１）番目のフレーム画像データを第１〜第（Ｍ−１）フレームとしてそのまま再生し、第Ｍフレーム以降については、上述のようにして軌跡画像データを生成して再生する。この結果、第Ｍフレーム以降の軌跡画像データに対応する動画が再生されるときに、所定の長さを一定の保った軌跡が主要被写体の移動に随伴して再生される。

第２および第３の実施の形態によるデジタルカメラを以下のように変形できる。
最終フレームである第（Ａ＋１）フレームの軌跡画像データが再生された後、徐々に軌跡の長さが短くなり、最終的に軌跡が消去するような動画を再生してもよい。この場合、第２画像合成部１２３は、基準画像データと合成させる高輝度画像データの個数をそれぞれ減少させながら複数個の軌跡画像データを生成する。そして、再生部１２４は、第（Ａ＋１）フレームの軌跡画像データの再生が終了した後、第（Ａ＋１）フレームの軌跡画像データを静止画として表示することに代えて、新たに第２画像合成部１２３により生成された軌跡画像データを再生すればよい。

−第４の実施の形態−
本発明の第４の実施の形態によるデジタルカメラについて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、動画と動画の撮影期間中に撮影された静止画とを用いて軌跡画像データを生成する点で第１の実施の形態とは異なる。

まず、図９に示す動画撮影時に静止画を撮影する場合の動作概念図を参照しながら、第４の実施の形態による軌跡画像生成モードにおける画像データの取得動作から説明する。
ユーザによるレリーズボタンの半押し操作に応じて操作部１０６から操作信号が出力される（図９における時刻ｔ１０）と、制御回路１０２は、撮像素子１０１から所定の周期（たとえば６０ｆｐｓ）にて撮像信号を出力させる。画像処理部１１２は、所定の周期ごとに出力される撮像信号を用いて１フレームの画像データを生成して、バッファメモリ１０３に順次格納（バッファリング）する。

上記の処理を繰り返して行っている際に、ユーザによるレリーズボタンの全押し操作に応じて操作部１０６から操作信号が出力される（図９における時刻ｔ１１）と、画像処理部１１２は、このタイミングで出力された撮像信号を用いて静止画データを生成する。なお、本実施の形態においては、画像処理部１１２は、静止画データをたとえば３８４０×２１６０画素の解像度にて生成する。さらに、画像処理部１１２は、時刻ｔ１１以前に生成された所定フレーム分の画像データを用いて動画像データを生成する。本実施の形態では、一例として９６フレーム分の画像データを用いて動画像データが生成されるものとする。すなわち、静止画データの生成が指示された時刻ｔ１１までの１．６秒の間に取得された画像データが動画像データの生成のために使用される。なお、本実施の形態においては、画像処理部１１２は、１フレームの動画像データをたとえば１９２０×１０８０画素の解像度にて生成する。

上述したように、撮像素子１０１からは６０ｆｐｓのフレームレートにて撮像信号が出力されているので、動画像データの生成に使用される９６フレーム分の画像データも６０ｆｐｓのフレームレートとなっている。画像処理部１１２は、６０ｆｐｓのフレームレートを、たとえば２４ｆｐｓ等に低速化させて、動画像データとして再生した場合の再生時間が実際の撮影時間よりも長くなるようにする。本実施の形態の場合では、１．６秒の間に撮影された画像データが、２４ｆｐｓのフレームレートに低速化されることにより、動画として４．０秒間再生されることになる。なお、上記の解像度、フレーム数、フレームレートの値は一例であり、この値に限定されるものではない。

画像処理部１１２は、上記の静止画データと動画像データとを用いて軌跡画像データの生成処理を行い、生成した軌跡画像データを用いて再生処理を行う。
−軌跡画像データの生成処理−
図１０に示す動作概念図を用いて、本実施の形態による軌跡画像データの生成について説明する。設定部１２０は、生成された静止画データを基準画像データとして設定する。生成部１２１は、第１〜第９６番目までの９６フレームの動画像データのそれぞれについて、第１の実施の形態の場合と同様にして、低輝度カット処理と、ぼかし処理とを施して、第１番目〜第９６番目までの高輝度画像データを生成する。

第１画像合成部１２２は、生成部１２１により生成された第１番目〜第９６番目までの高輝度画像データを用いて、第１の実施の形態の場合と同様にして、１つの高輝度合成画像データを生成する。第２画像合成部１２３は、第１画像合成部１２２により生成された高輝度合成画像データと、静止画データ、すなわち基準画像データとを合成する。この場合、第２画像合成部１２３は、高輝度合成画像データと静止画データとに対して、互いに対応する位置における画素の輝度値を比較して、輝度値が高い画素を抽出し、高輝度の画素を合成して１つの画像データを生成する。上記の処理の結果、静止画データが取得されたタイミングを基準とした後幕スローシンクロによって撮影された画像に相当する画像が生成される。

第２画像合成部１２３は、基準画像データの非透過率を所定値に設定した後、上記のようにして合成した画像データに重畳させることによって軌跡画像データを生成する。その結果、主要被写体の形状を認識しやすくすることができる。なお、本実施の形態においても、非透過率は、一例として２５パーセントとして設定されたものとするが、ユーザにより設定可能に構成されることが好ましい。また、基準画像データを重畳しない場合でも主要被写体の形状が十分に認識で可能であれば、処理負荷等を軽減する目的から、非透過率が所定値に設定された基準画像データを重畳する処理を行わなくてもよい。この場合は、第２画像合成部１２３により高輝度画像データおよび基準画像データから合成されて生成された画像データが軌跡画像データとなる。

画像処理部１１２は、上記のようにして生成された軌跡画像データと、撮影により取得された静止画データおよび動画像データとにより構成される動画ファイルを生成し、メモリカード１０９に記録する。なお、軌跡画像データと静止画データと動画像データとが関連付けされてメモリカード１０９に記録されるものについても本発明の一態様に含まれる。

−再生処理−
図１１に示す動作概念図を参照しながら再生処理について説明する。
再生部１２４は、第２画像合成部１２３により生成された軌跡画像データと、撮影により生成された静止画データおよび動画像データとを用いて、液晶表示部１０５に動画形式にて再生を行う。

図１１に示すように、再生部１２４は、時刻ｔ２０から時刻ｔ２１までの４．０秒間、動画像データに対応する動画を再生する。なお、動画の再生が終了する時刻ｔ２１の所定時間前から、再生部１２４は動画のフェードアウトを開始する。動画の再生が終了した時刻ｔ２１にて、再生部１２４は、フェードインしながら静止画データに対応する静止画の表示を開始する。このとき、再生部１２４は、静止画の透過率を徐々に変化させながら、すなわち時刻ｔ２１〜時刻ｔ２２の間で静止画が徐々に観察可能となるように遷移させながら表示する。そして、再生部１２４は、時刻ｔ２２では、静止画が１００パーセント観察可能となるように表示し、以後、静止画の表示を継続する。

動画の再生が終了した時刻ｔ２１にて、再生部１２４は、フェードインしながら、軌跡画像データに対応する軌跡画像の表示を開始する。再生部１２４は、時刻ｔ２１〜ｔ２２の間で軌跡画像の透過率を徐々に変化させながら、すなわち時間の経過とともに軌跡画像が消去するように遷移させながら表示し、時刻ｔ２２では軌跡画像の表示を終了する。なお、図１１においては、時刻ｔ２１〜時刻ｔ２２までは６．０秒の場合、すなわち動画の再生開始から軌跡画像の表示終了までの時間は１０．０秒間となる。また、時刻ｔ２０〜時刻ｔ２２までの１０．０秒の間、たとえばＢＧＭ等が出力可能に構成されていてもよい。

以上で説明した第４の実施の形態によれば、基準画像データとして静止画データを用いた場合であっても、第１の実施の形態により得られる作用効果と同様の作用効果が得られる。さらに再生時には、以下の作用効果が得られる。
再生部１２４は、複数のフレーム画像データを動画形式にて再生した後、静止画データに対応する静止画と、第２画像合成部１２３により生成された軌跡画像データとを重畳して表示するようにした。特に、再生部１２４、静止画データに対応する静止画については時間の経過とともに透過率を増加させ、軌跡画像データに対応する画像については時間の経過とともに透過率を減少させて表示するようにした。この結果、動画の再生後には光源等の軌跡が徐々に消去し、最終的には軌跡の無い主要被写体のみが表示されるという視覚上の効果を、使用者が煩雑な編集作業を行うことなく表現できる。

本実施の形態は、図１１の示す動作概念図に示す軌跡画像の再生方法に限定されるものではない。たとえば、図１２の動作概念図に示すように、動画再生後に静止画が表示された状態から徐々に軌跡画像の表示に遷移してもよい。この場合、再生部１２４は、時刻ｔ２１で静止画を表示した状態から、時刻ｔ２１〜時刻ｔ２２の間で静止画が徐々に消去するように透過率を変化させながら表示する。そして、再生部１２４は、時刻ｔ２１〜ｔ２２の間で軌跡画像の透過率を徐々に変化させながら、すなわち時間の経過とともに軌跡画像が観察可能となるように遷移させながら表示し、時刻ｔ２２では軌跡画像が観察可能となるように表示し、以後、軌跡画の表示を継続する。

−第５の実施の形態−
本発明の第５の実施の形態によるデジタルカメラについて説明する。以下の説明では、第４の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第４の実施の形態と同じである。本実施の形態では、軌跡画像の再生処理が第４の実施の形態とは異なる。

本実施の形態では、動画が再生されている期間では、第１の実施の形態の場合と同様に、再生中の動画に軌跡画像が徐々に重畳されるように表示する。動画の再生が終了すると、軌跡画像の表示から静止画の表示に徐々に遷移する（クロスフェード）。軌跡画像の表示が終了した後は、静止画のみの表示が継続される。

図１３に示す動作概念図を参照しながら再生処理について説明する。図１３に示す例では、再生部１２４は、時刻ｔ３０にて、動画像データに対応する動画の再生を開始し、軌跡画像データに対応する軌跡画像の透過率を０パーセントの状態、すなわち軌跡画像が観察できない状態で動画像データに重畳して表示する。そして、再生時刻の経過に応じて、再生部１２４は、透過率を徐々に増加させることにより、軌跡画像が徐々に観察可能となるように表示する。この場合、再生部１２４は、第９６番目のフレーム画像データに対応する動画を再生するとき、すなわち動画の再生終了時刻ｔ３１の時点において、軌跡画像の透過率が１００パーセントの状態となるように遷移させながら動画に重畳して表示する。

動画の再生終了時刻ｔ３１以降は、再生部１２４は、軌跡画像の透過率を０パーセントの状態から徐々に増加させ、時刻ｔ３２にて透過率が１００パーセントとなるように遷移させながら表示する。すなわち、軌跡画像が徐々に観察されなくなるように表示される。さらに、再生部１２４は、再生終了時刻ｔ３１にて静止画データに対応する静止画の表示を開始する。時刻ｔ３２以降は、静止画のみが表示される。

以上で説明した第５の実施の形態によれば、第４の実施の形態と同様に、基準画像データとして静止画データを用いた場合であっても、第１の実施の形態により得られる作用効果と同様の作用効果が得られる。さらに再生時には、以下の作用効果が得られる。
再生部１２４は、複数のフレーム画像データを動画形式にて再生中に、軌跡画像データに対応する軌跡画像を重畳して表示し、複数のフレーム画像データを動画形式にて再生した後、静止画データに対応する静止画と、軌跡画像データに対応する軌跡画像とを重畳して表示するようにした。特に、再生部１２４は、複数のフレーム画像データを動画形式にて再生中には、軌跡画像の透過率を時間の経過とともに増加させて重畳し、複数のフレーム画像データを動画形式にて再生した後、静止画を表示させるとともに、軌跡画像については時間の経過とともに透過率を減少させて表示するようにした。この結果、動画の再生中に光源等の軌跡が徐々に再生され、動画の再生後には再生された軌跡が徐々に消去し、最終的には軌跡の無い主要被写体のみが表示されるという視覚上の効果を、使用者が煩雑な編集作業を行うことなく表現できる。

なお、上述した第４および第５の実施の形態においては、図１１〜図１２に示すような再生処理を行うものとして説明したが、第１〜第３の実施の形態の何れかの再生処理を行うものについても本発明の一態様に含まれる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）第１〜第５の実施の形態においては、動画モードにて取得されたフレーム画像データを用いて軌跡画像データを生成するものに代えて、高速連写により取得された複数の静止画データを用いて軌跡画像データを生成するものも本発明の一態様に含まれる。

（２）軌跡画像生成モードが選択された場合には、撮影時に光源が輝度限界となり背景が暗くなるような露出設定となる露出プログラムを採用することにより、軌跡画像上にて所定の輝度値以上の光源のみからなる軌跡が描写されるようにできる。この場合、実験等に基づいて決定された露出プログラムが予め所定の記憶領域に格納され、制御回路１０２は、撮影時にこの露出プログラムに従って露出を制御すればよい。

（３）生成部１２１は、高輝度画像データを生成する際に、各画素の輝度値を輝度変換してもよい。この場合、生成部１２１は、所定の輝度値以下の輝度を圧縮し、所定の輝度値を超える輝度を伸張させればよい。その結果、軌跡画像上にて所定の輝度値以上の光源のみからなる軌跡が描写されるようになる。なお、輝度と圧縮量または伸張量とは、たとえばＬＵＴ形式等により予め所定の記憶領域に格納され、生成部１２１は、高輝度画像データを生成する際に、このＬＵＴを参照すればよい。

（４）主要被写体の移動速度が速い場合には、撮影時のフレームレートとの関係で、軌跡画像データ上の軌跡が途切れる場合が考えられる。このように、軌跡画像において軌跡上に低輝度の部分領域が存在する場合には、画像処理部１１２は、この低輝度の部分領域を軌跡に含まれる近接する画素の輝度値に置換して、軌跡が途切れることなく延伸するようにしてもよい。

（５）軌跡画像上にて輝度を特徴とした軌跡を描くものに限定されない。たとえば、特徴として彩度等の色の軌跡が軌跡を描くものであってもよい。
（６）生成された軌跡画像データをメモリカード１０９に記録するものに代えて、フレーム画像データのみをメモリカード１０９に記録してもよい。この場合、画像処理部１１２は、軌跡画像を再生するごとに、メモリカード１０９から読み出したフレーム画像データを用いて実施の形態にて説明した方法により軌跡画像データを生成し、動画形式にて再生すればよい。

（７）実施の形態においては、デジタルカメラ１を一例として説明したが、カメラと表示部とを備えるタブレット等の携帯情報表示端末等にも適用できる。
（８）デジタルカメラ１により軌跡画像データの生成処理および再生処理を行うものに代えて、画像処理装置（たとえばパーソナルコンピュータ等）により軌跡画像データの生成処理および／または再生処理を行ってもよい。

図１４に、画像処理装置としてパーソナルコンピュータを一例としたブロック図を示す。画像処理装置３００は、デジタルカメラ１で撮像した被写体像の画像データの表示や編集、画像データの保存を行う。画像処理装置３００は、制御回路３０１、ＨＤＤ３０２、モニタ制御回路３０３、モニタ３０４、バッファメモリ３０５、入力装置３０６、メモリカードインタフェース３０７、および外部インタフェース３０８を備える。外部インタフェース３０８は、所定のケーブルや無線伝送路を介してデジタルカメラ１等の外部装置とデータ通信を行う。

入力装置３０６は、ユーザによって操作され、たとえばキーボードやマウスなどで構成される。ＨＤＤ３０２には、たとえばデジタルカメラ１で撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース３０８は、たとえば画像処理装置３００にデジタルカメラ１などの外部機器を接続するＵＳＢインタフェースである。画像処理装置３００は、メモリカードインタフェース３０７や外部インタフェース３０８を介してメモリカード１０９や外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路３０１によりＨＤＤ３０２に記録される。上述したデジタルカメラ１で生成された画像ファイルも、同様にＨＤＤ３０２に記録される。

制御回路３０１は、画像処理装置３００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路３０１は、画像処理部３２０を機能として備える。画像処理部３２０は、入力された画像ファイルに基づいて、モニタ３０４に表示するための表示画像データを生成する。また、画像処理部３２０は、設定部３２１と、生成部３２２と、第１画像合成部３２３と、第２画像合成部３２４と、再生部３２５とを機能として備え、デジタルカメラ１の設定部１２０と、生成部１２１と、第１画像合成部１２２と、第２画像合成部１２３と、再生部１２４と同一の機能をそれぞれ有している。

メモリカード１０９を介して軌跡画像データと動画像データとを含む動画ファイルが入力された場合には、再生部３２５は、入力した軌跡画像データと動画像データとを用いて、第１〜第５の実施の形態にて説明したようにして、軌跡画像データと動画像データとを組み合わせて、モニタ３０４上に動画形式にて再生すればよい。メモリカード１０９を介して動画像データが入力された場合には、設定部３２１と、生成部３２２と、第１画像合成部３２３と、第２画像合成部３２４と、第１〜第５の実施の形態にて説明したようにして、軌跡画像データを生成する。そして、再生部３２５は、生成した軌跡画像データと動画像データとを組み合わせて、モニタ３０４上に動画形式にて再生すればよい。再生方法は、第１〜第５の実施の形態において説明した再生方法のいずれの方法を用いてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…デジタルカメラ、３００…画像処理装置、
１０２、３０１…制御回路、１０３、３０５…バッファメモリ、
１０６…操作部、１１２、３２０…画像処理部、
１２０、３２１…設定部、１２１、３２２…生成部、
１２２、３２３…第１画像合成部、１２３、３２４…第２画像合成部、
１２４、３２５…再生部、３０６…入力装置

Claims (11)

1. 複数の第１画像データのそれぞれから特徴領域を抽出して複数の第２画像データを生成する生成部と、
   前記複数の第２画像データのそれぞれの画像データの前記特徴領域を合成した第１合成画像データを生成し、前記第１合成画像データと前記複数の第１画像データのうちの１つとを合成して第２合成画像データを生成する合成部と、
   前記第２合成画像データと、前記複数の第１画像データの少なくとも１つとによる画像を表示部に動画形式で再生する再生部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記生成部は、前記複数の第１画像データのそれぞれの低輝度画像を除去した画像を前記特徴領域として抽出する画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記再生部は、前記複数の第１画像データの再生時間の経過によって前記第２合成画像データの透過率を変化させて再生する画像処理装置。
4. 請求項１から請求項３までのいずれか一項に記載の画像処理装置において、
   前記第１合成画像データは、前記特徴領域の軌跡を表す画像を示し、
   前記合成部は、前記複数の第１画像データのうちの前記軌跡の起点に対応する前記第１画像データと前記第１合成画像データとを合成する画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記合成部は、前記第１合成画像データに、透過率を変更した前記複数の第１画像データのうちの少なくとも１つを重畳して合成する画像処理装置。
6. 請求項１から請求項５までのいずれか一項に記載の画像処理装置において、
   前記合成部は、それぞれ異なる数の前記第２画像データを合成した複数の前記第１合成画像データを生成する画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記再生部は、前記第２画像データが合成された数の少ない前記第１合成画像データから順次、動画形式で再生する画像処理装置。
8. 請求項１から請求項５までのいずれか一項に記載の画像処理装置において、
   前記合成部は、同数の異なる前記第２画像データを合成した複数の前記第１合成画像データを生成する画像処理装置。
9. 被写体を撮像して連続して画像信号を出力する撮像部と、
   前記画像信号により、連続する複数の第１画像データを生成する画像生成部と、
   請求項１乃至８の何れか一項に記載の画像処理装置と、
   を備える撮像装置。
10. 請求項９に記載の撮像装置において、
    前記画像生成部は、撮影指示のタイミングによって出力された前記画像信号を用いて静止画データを生成し、前記撮影指示のタイミング以前の時間に生成した前記複数の第１画像データを用いて動画像データを生成する撮像装置。
11. 複数の第１画像データのそれぞれから特徴領域を抽出して複数の第２画像データを生成する生成処理と、
    前記複数の第２画像データのそれぞれの画像データの前記特徴領域を合成した第１合成画像データを生成し、前記第１合成画像データと前記複数の第１画像データのうちの１つとを合成して第２合成画像データを生成する合成処理と、
    前記第２合成画像データと、前記複数の第１画像データの少なくとも１つとによる画像を表示部に動画形式で再生する再生処理と、
    をコンピュータに実行させる画像処理プログラム。

Images