JP5991495B2 - 画像生成装置、撮像装置およびプログラム - Google Patents

Description

本発明は、画像生成装置、撮像装置およびプログラムに関する。

静止画像にて情報を取込み記憶させた後に、動画像へと変換を行う技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平１１−２３１３８５号公報

複数の静止画データを動画化して再生すると、見にくい映像になってしまう場合がある。例えば、静止画撮像時のシャッタスピードが速いと、被写体の変化が滑らかに見えない動画になってしまう。また、撮像時の露出にばらつきがあると、ちらつきが大きく見える動画になってしまう。

本発明の第１の態様においては、画像生成装置は、予め定められた時間間隔で撮像することにより取得された複数の静止画データを取得する画像取得部と、複数の静止画データのうちの第１静止画データと第２静止画データとを合成して第１合成画像データを生成し、複数の静止画データのうちの第３静止画データと第４静止画データとを合成して第２合成画像データを生成する合成画像生成部と、第１合成画像データおよび第２合成画像データを用いて、合成画像データの再生間隔が予め定められた時間間隔より短い時間間隔で再生される動画データを生成する動画生成部と、を備える。

本発明の第２の態様においては、撮像装置は、予め定められた時間間隔で複数の静止画を撮像する撮像部と、複数の静止画の静止画データを用いて動画データを生成する上記画像生成部と、を備える。

本発明の第３の態様においては、プログラムは、予め定められた時間間隔で撮像することにより取得された複数の静止画データを取得するステップと、複数の静止画データのうちの第１静止画データと第２静止画データとを合成して第１合成画像データを生成し、複数の静止画データのうちの第３静止画データと第４静止画データとを合成して第２合成画像データを生成するステップと、第１合成画像データおよび第２合成画像データを用いて、合成画像データの再生間隔が予め定められた時間間隔より短い動画データを生成するステップと、をコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態にかかるカメラ２のブロック構成を示す。 微速度撮影に関する設定画面の一例を示す。 微速度撮影で得られた静止画データおよび動画のフレームを模式的に示す。 静止画データに対する合成処理の一例を示す。 静止画データに対する更なる他の合成処理の一例を示す。 静止画データに対する他の合成処理の一例を示す。 カメラ２の起動から終了までの処理フローを示す。 撮像を伴う処理フローの一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態にかかるカメラ２のブロック構成を示す。レンズ交換式カメラの一例である一眼レフレックスカメラとしてのカメラ２は、レンズ４、ミラー１２、ファインダ部８、撮像素子２６、Ａ／Ｄ変換回路３０、タイミングジェネレータ２８、画像処理ブロック２２、ＣＰＵ１６、表示装置１８、操作部材２０、画像表示装置３６、記録媒体４４を備える。画像処理ブロック２２は、イメージメモリ３４、表示回路３８、画像処理回路２４を有する。

撮像準備段階では、被写体光束はミラー１２によりファインダ部８に導かれ、被写体像をユーザに提示させることができる。ファインダ部８には被写体光束を測光する測光素子が設けられており、測光素子の出力は適正露出の算出に用いられる。ユーザ等から撮像指示を受けると、ミラー１２がアップするとともにシャッタ１３が開くことによって、レンズ４により結像した被写体光束が撮像素子２６に投影される。

撮像素子２６は、レンズ４で結像した被写体光束を電気信号に変換する。撮像素子２６としては、ＣＭＯＳ、ＣＣＤ等の固体撮像素子を例示することができる。撮像素子２６は、タイミングジェネレータ２８により与えられるタイミング信号により、蓄積電荷のアナログ信号を生成して出力する。Ａ／Ｄ変換回路３０は、撮像素子２６から出力された信号を、画像データを示すデジタル信号に変換して画像処理ブロック２２に出力する。

イメージメモリ３４は、撮像素子２６が撮像することにより得られた画像データを一時的に記憶する。撮像素子２６が複数回の撮像動作を行った場合、各回の撮像動作に対応する複数の画像データがイメージメモリ３４に記憶される。カメラ２が静止画を撮像した場合、静止画の画像データがイメージメモリ３４に記憶される。カメラ２が動画としての複数の画像を撮像した場合、撮像された複数の画像に対応する複数の画像データが、動画データを構成する複数のフレームとしてイメージメモリ３４に記憶される。

画像処理回路２４は、イメージメモリ３４に記憶されている画像データに対して各種画像処理を行う。表示回路３８は、撮像により得られた画像データを、画像表示装置３６に画像として表示させる。また、表示回路３８は、カメラ２の動作を設定する各種設定メニューを、画像表示装置３６に表示させる。画像表示装置３６は、表示回路３８にて生成された信号に従って、画像や各種設定メニューを表示する。画像表示装置３６としては、ＴＦＴ液晶等のカラーの液晶デバイスを例示することができる。

記録媒体４４は、画像処理回路２４で処理された画像データを記録する。記録媒体４４は、不揮発性の記録媒体であってよい。記録媒体４４としては、半導体メモリ等の、カメラ２に対して着脱可能なメモリーカードを例示することができる。

例えば、記録媒体４４は、画像処理回路で生成された画像データを記録する。例えばカメラ２が静止画を撮像した場合、静止画の画像データである静止画データは、ＪＰＥＧ等の静止画データ用の符号化方式で符号化され、静止画ファイルのデータとして記録媒体４４に記録される。記録媒体４４は、静止画データをＲＡＷ形式のデータとして記録してもよい。静止画データが記録媒体４４に記録される場合、Ｅｘｉｆ形式の画像ファイルのデータとして記録されてよい。撮像時刻等の情報が、Ｅｘｉｆのヘッダ情報に含めて記録されてよい。ヘッダ情報に含まれる撮像時刻の情報は、後述する微速度撮影で得られた画像ファイルであるか否かを判断する場合に用いられてよい。なお、静止画を撮像して記録することができる動作モードを静止画モードと呼び、微速度撮影を行う動作モードを微速度撮影モードと呼ぶ。

記録媒体４４は、動画データを構成する複数のフレームを、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｈ．２６４等の規格に準拠した動画データとして記録してよい。一例としてカメラ２は、動画を構成する画像を撮像する場合には１秒間に２４〜６０コマ程度の撮像レートで撮像する。撮像により得られた複数のフレームは、撮像レートと同じ表示レートで表示される動画データに符号化されてよい。なお、動画を構成する画像を撮像して動画データを記録することができる動作モードを動画モードと呼ぶ。

ＣＰＵ１６は、カメラ２の全体の制御を行う。表示装置１８は、カメラ２の状態等を表示する。表示装置１８は、簡易的な表示を行う液晶デバイス等であってよい。操作部材２０は、ユーザからの指示を取得する。操作部材２０としては、電源スイッチ、レリーズボタン、ライブビューボタン等を例示することができる。ＣＰＵ１６は、操作部材２０が取得したユーザ指示に従って、カメラ２の各部を制御する。

カメラ２は、上述した静止画や動画を構成する画像を撮像しデータとして記録することの他に、微速度撮影をすることができる。例えばカメラ２の位置および撮像方向が固定された状態で、比較的にゆっくり変化する現象を静止画データとして記録する場面で微速度撮影が用いられる。微速度撮影では、撮像素子２６は、予め定められた時間間隔で複数の静止画を撮像する。微速度撮影においては、カメラ２は、撮像することにより得られた複数の静止画データを動画化する。例えば、静止画の撮像レートよりも高い表示レートの動画データを生成する。この動画化により、事象の変化をユーザに短時間で観察させることができる。本実施形態にかかるカメラ２の動作のうち、微速度撮影で得られた複数の静止画データから動画データを生成する場合の動作について主として説明される。

ここで、動画モードと微速度撮影モードとの違いについて簡単に説明する。微速度撮影は、撮像を継続した時間である継続時間よりも再生時間が短く定義される動画データを生成するために行われる。動画モードで１秒あたりのフレーム取得数を例えば３０フレームに設定して撮像すると、生成された動画データは、再生時においても標準で１秒間に３０フレームの表示レートで再生される。つまり、撮像時における時間軸と再生時における時間軸とは実質的に一致する。動画モードでは、いわば表示の実時間に同期して撮像される。一方、微速度撮影モードでは、例えば４秒間隔で１コマの静止画を撮像して動画データを生成する。例えば１時間の微速度撮影によって、９００フレームの動画データが生成される。しかし、本動画データは、再生時には標準で１秒間に３０フレームの表示レートで再生され、３０秒で再生が完了する。つまり、撮像時における時間軸が再生時において圧縮される。換言すれば、微速度撮影によれば、撮像時の撮像間隔が通常の動画モード時の撮像間隔と比較して長いといえる。なお、微速度撮影における撮像の継続時間は、撮像を開始してから撮像を終了するまでの時間で表す。例えば微速度撮影の継続時間を１時間とした場合、上記のように４秒間隔で１コマの静止画を撮像するときは、９００フレーム分の静止画データが得られる。すなわち微速度撮影の継続時間には、静止画を撮像する間の、撮像素子２６で露光していない時間が含まれる。

静止画モードでは、ミラー１２がアップされ、シャッタ１３が閉じるまでの間、撮像素子２６は被写体光を電荷として蓄積する。電荷の蓄積が終了するとミラー１２はダウンされて被写体光束中に挿入される。上述したように、蓄積電荷のアナログ信号Ａ／Ｄ変換回路３０に出力され、Ａ／Ｄ変換回路３０から画像データを示すデジタル信号が出力される。画像データは画像処理ブロック２２に供給され、ホワイトバランスの調整、ガンマ補正等の画像処理が施される。画像データは、更にＪＰＥＧ等の符号化方式で符号化処理が施されて、記録媒体４４に静止画ファイルのデータとして記録される。

動画モードでは、ミラー１２をアップさせた状態でシャッタ１３を開いた状態とされる。したがって、被写体光束は撮像素子２６に常時投影される。静止画モードとは異なり動画モードでは、撮像素子２６はいわゆるローリングシャッタ方式により順次にラインが露光される。ローリングシャッタ方式で取り込まれた被写体像のフレームに対して、ホワイトバランスの調整、ガンマ補正等の画像処理が施される。画像データは、更にＪＰＥＧ等の符号化方式で符号化処理が施されて、記録媒体４４にＭｏｔｉｏｎ ＪＰＥＧ等のファイルとして記録されていく。本動作は、動画モードを終了する操作がなされるまで継続される。フレームには、Ｈ．２６４等の符号化方式でフレーム内符号化、フレーム間符号化等の符号化処理が施されてよいことは言うまでもない。

動画モードの動作設定としては、１秒間の撮像回数を設定するフレームレート設定、画質を設定する画質設定等を含む。例えば１秒間に３０回撮像する場合、フレームレートとして例えば３０ｆｐｓが選択される。この場合、表示レートとして３０ｆｐｓでフレームが再生される動画データが生成される。また高画質設定では、例えば１９２０×１０８０の画素数を持つフレームが生成される。

微速度撮影を行う場合、撮像素子２６は静止画モードと同様に駆動される。具体的には、撮像素子２６は、いわゆるインターバルタイマ方式によって、予め定められた時間間隔で複数の静止画を撮像する。そして、画像処理回路２４は、得られた複数の静止画データを、後述するように微速度撮影に適した方式で動画データに変換する。一例として、微速度撮影で得られた複数の静止画データは、動画用の動作設定に従って動画化される。例えば３０ｆｐｓの動画データを生成するようフレームレートが設定されている場合、微速度撮影で３０コマの静止画を撮像すると、再生時間が１秒の動画データが生成される。

微速度撮影用のパラメータとしては、静止画の撮像間隔、複数の静止画の撮像を継続する継続時間、再生時間、フレームレートの４つのパラメータが存在する。継続時間は、複数の静止画を撮像するトータルの期間であり、撮像開始から撮像終了までの時間であってよい。例えば、フレームレートとして３０ｆｐｓ、継続時間として１時間、再生時間として３０秒が設定された場合は、撮像間隔は４秒に設定される。

図２は、微速度撮影のパラメータを設定する設定画面の一例を示す。フレームレートは動画再生時の表示レートであり、２４ｆｐｓ、２５ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、６０ｆｐｓの中から選択することができる。本例では３０ｆｐｓが指定されている。その他の撮像間隔、継続時間、再生時間は、２つが指定されれば残りの１つは自動的に設定される。たとえば継続時間が１時間に指定され、再生時間が３０秒に指定された場合、撮像される静止画の数は９００となり、撮像間隔は４秒に設定される。なお、撮像間隔および継続時間を指定すれば再生時間が、撮像間隔および再生時間を指定すれば継続時間が決まる。ＣＰＵ１６は、操作部材２０を通じて設定された各パラメータに従って、撮像および動画データの生成を制御する。

図３は、微速度撮影で得られた静止画データおよび動画のフレームを模式的に示す。本例では、Ｎコマの静止画データが取得されたとする。上述したように静止画データはＭｏｔｉｏｎ ＪＰＥＧ、Ｈ．２６４等の符号化方式を適用して動画のフレームに変換され、ユーザに映像として提示可能な動画データとして記録される。ここで、図２に例示したパラメータでは、４秒間隔で静止画を撮像する。このように微速度撮影では、通常の動画のフレームの撮像間隔より長い時間間隔で静止画が撮像されるので、得られた複数の静止画データをそれぞれ動画のフレームとして適用すると、その間の被写体の動きによって、滑らかに見える映像にはならない。また、例えば日差しの変化等によって露出が変化した場合、ちらつき感のある映像となる。

そこで、画像処理回路２４は、複数の静止画データを合成して１つの合成画像データを生成し、生成した合成画像データを動画のフレームとして適用する。本図において、１コマ目の静止画データ３００−１と２コマ目の静止画データ３００−２を合成して第１フレーム３１０−１とする。同様に、２コマ目の静止画データ３００−２と３コマ目の静止画データ３００−３を合成して第２フレーム３１０−２とする。これを繰り返して、Ｎ−１個のフレームを生成する。画像処理回路２４は、複数の静止画データ３００のいずれの静止画データ３００も動画のフレームとして使用することなく、動画データを生成してよい。画像処理回路２４は、生成したＮ−１個のフレーム３１０のみを動画のフレームとして使用して動画データを生成してよい。なお、Ｎ個のフレームを含む動画データを生成するためには、Ｎ＋１個の静止画を撮像すればよい。

本例で示すように複数の静止画データを合成して動画の各フレームを生成することで、それぞれのフレーム内では被写体像にぶれが生じる場合があるが、動画を再生した場合には滑らかな映像となる。また連続して生成した静止画データを撮像する間に露出に変化があった場合でも、露出が平均化されるので、映像のちらつきを低減することができる。カメラ２によれば、動画モード時よりも露光時間を短くしても、ちらつきの少ない滑らかな映像を提供できる。

図４は、静止画データに対する合成処理の一例を示す。図３に関連して説明したように、画像処理回路２４は、連続する２コマの静止画データを合成して１つのフレームとする。例えば、図３に関連して説明したように、期間４００−１の撮像で得られた静止画データ３００−１と静止画データ３００−２とを合成して第１フレーム３１０−１を生成し、期間４００−２の撮像で得られた静止画データ３００−２と静止画データ３００−３とを合成して第２フレーム３１０−２を生成する。また、期間４００−３の撮像で得られた３コマ目の静止画データ３００−３と４コマ目の静止画データ３００−４とを合成して第３フレーム３１０−３を生成する。また、期間４００−４の撮像で得られた４コマ目の静止画データ３００−４と５コマ目の静止画データ３００−５とを合成して第４フレーム３１０−４を生成する。ここで、画像処理回路２４は、１コマ目の静止画データには合成の重みとしてｗ１を適用し、２コマ目の静止画データには合成の重みとしてｗ２を適用する。具体的には、画像処理回路２４は、２コマの静止画データの対応する画素値を、対応する重みで重みづけ加算して、動画のフレームの画素値に適用する。一例として、ｗ１およびｗ２を１／２としてよい。この場合、２コマの静止画データをゲイン１／２で合成することができ、撮像時の露出に適合した明るさにすることができる。合計が１となるように重みを適用することで、露出を平均化することができる。

図５は、静止画データに対する更なる他の合成処理の一例を示す。図４の例では連続する２コマの静止画データを合成したが、本例では、１コマ置きに２コマの静止画データを合成して１つのフレームとする。

具体的には、画像処理回路２４は、期間５００−１の撮像で得られた静止画データのうち１コマ目の静止画データ３００−１および３コマ目の静止画データ３００−３を合成して第１フレーム５１０−１とする。同様に、画像処理回路２４は、期間５００−２の撮像で得られた静止画データのうち２コマ目の静止画データ３００−２および４コマ目の静止画データ３００−４を合成して第２フレーム５１０−２とし、期間５００−３の撮像で得られた静止画データのうち３コマ目の静止画データ３００−３および５コマ目の静止画データ３００−５を合成して第３フレーム５１０−３とする。これを繰り返して、Ｎ−２個のフレームを生成する。Ｎ個のフレームを含む動画データを生成するためには、Ｎ＋２個の静止画を撮像すればよい。

ここで、画像処理回路２４は、１フレームを生成するのに用いる２コマの静止画データに、合成の重みとしてそれぞれｗ１およびｗ２を適用する。例えば、ｗ１＋ｗ２＝１となるように重みを設定する。重みの合計が１となるように重みを設定することで、露出を平均化することができる。一例として、ｗ１およびｗ２に１／２を設定してよい。この場合、２コマの静止画データをゲイン１／２で合成することができ、撮像時の露出に適合した明るさにすることができる。

本例によれば、図４の例と比べて、長い時間範囲内で撮像されて得られた静止画データから１つのフレームを生成することができる。このため、被写体の明るさ変化が大きい場合でも映像のちらつきを低減することができる。

図６は、静止画データに対する他の合成処理の一例を示す。図４の例では連続する２コマの静止画データを合成したが、本例では、連続する３コマの静止画データを合成して１つのフレームとする。合成に用いる静止画データを選択する時間範囲は、図５の例と同一であるが、１フレームを生成するために用いる静止画データの数は図５の例と比較して多い。

具体的には、画像処理回路２４は、期間６００−１の撮像で得られた１コマ目から３コマ目の静止画データ３００−１〜３を合成して第１フレーム６１０−１とする。同様に、画像処理回路２４は、期間６００−２の撮像で得られた２コマ目から４コマ目の静止画データ３００−２〜４を合成して第２フレーム６１０−２とし、期間６００−３の撮像で得られた３コマ目から５コマ目の静止画データ３００−３〜５を合成して第３フレーム６１０−３とする。これを繰り返して、Ｎ−２個のフレームを生成する。Ｎ個のフレームを含む動画データを生成するためには、Ｎ＋２個の静止画を撮像すればよい。

画像処理回路２４は、１フレームの生成に用いる３コマの静止画データを含む各静止画データ群について、１コマ目、２コマ目および３コマ目の静止画データに、合成の重みとしてそれぞれｗ１、ｗ２およびｗ３を適用する。例えば、ｗ１＋ｗ２＋ｗ３＝１となるように重みを設定する。重みの合計が１となるように重みを設定することで、露出の違いを平均化することができる。一例として、ｗ１、ｗ２およびｗ３に１／３を設定してよい。この場合、３コマの静止画データをゲイン１／３で合成することができ、撮像時の露出に適合した明るさにすることができる。

本例によれば、図５の例と比べて、多くの静止画データから１つのフレームを生成することができる。このため、被写体の明るさ変化が大きい場合でも映像のちらつきをより低減することができる。なお、図４から図６に関連して説明した合成処理のうちいずれの合成処理を微速度撮影に適用するかを、ユーザに選択させてよい。

以上に説明したように、画像処理回路２４は、予め定められた時間間隔で撮像することによって得られた複数の静止画データを取得して、複数の静止画データのうちの第１静止画データと第２静止画データとを合成して第１合成画像データを生成し、複数の静止画データのうちの第３静止画データと第４静止画データとを合成して第２合成画像データを生成する。そして、画像処理回路２４は、第１合成画像データおよび第２合成画像データを用いて、合成画像データの再生間隔が予め定められた時間間隔より短い動画データを生成する。画像処理回路２４は、動画データを構成する画像データとして複数の静止画データを使用することなく、動画データを生成する。画像処理回路２４は、複数の合成画像データのみを画像データとして使用して動画データを生成してよい。ここで、図４に例示したように、第１合成画像データおよび第２合成画像データを含む複数の合成画像データの生成に用いられる静止画データの撮像時刻を含むべき複数の時間範囲は、連続する時間範囲であってよい。また、図５または図６に例示したように複数の時間範囲は一部期間が重複してよい。すなわち、第２静止画データおよび第３静止画データは同一の静止画データであってよい。

図４から図６に関連して説明したように、画像処理回路２４は、複数の静止画データを合成する場合に、合成される複数の静止画データに、それぞれ合成における重みを設定する。図４から図６の例では、合成の重みを一定とした。しかし、画像処理回路２４は、各時間範囲の中心時刻に撮像時刻がより近い静止画データに、重みとしてより大きい値を設定してよい。例えば、図６の例において、各静止画データ群における１コマ目および３コマ目の静止画データより、２コマ目の静止画データに、大きい重みづけを設定してよい。例えば、ｗ１およびｗ３を０．２５とし、ｗ２を０．５としてよい。また、最大の重みが設定されるタイミングは時間範囲の中心のタイミングやその近傍のタイミングでなくともよく、時間範囲において予め定められた基準のタイミングであってよい。例えば、１コマ目の静止画データに最大の重みを設定してよい。具体的には、ｗ１、ｗ２、ｗ３をそれぞれ０．５、０．３、０．２としてよい。３コマ目の静止画データに最大の重みを設定してよいことはいうまでもない。すなわち、画像処理回路２４は、各時間範囲内で漸減または漸増する重みを設定してよい。このように、画像処理回路２４は、複数の時間範囲のうち少なくともいずれかの時間範囲において、予め定められた時刻に撮像時刻がより近い静止画データに、重みとしてより大きい値を設定してよい。このため、基準となる時刻の被写体の様子を比較的に強くフレームに反映させつつ、前または後の少なくとも一方のフレームを加味することで、ちらつきが少なく、かつ、滑らかに見える映像を提供することができる。

なお、１フレームの生成に用いる静止画データの数である使用数や、１フレームの生成に用いる静止画データを選択する時間範囲は、ユーザに設定させてよい。しかし、画像処理回路２４が、当該使用数および時間範囲の少なくとも一方を、被写体の変化に応じて自動的に設定してよい。例えば、画像処理回路２４は、複数のフレームのうち少なくともいずれかのフレームの生成に用いられる複数の静止画データの数を、複数の静止画データにおける画像変化が大きいほど多く設定してよい。また、画像処理回路２４は、複数の時間範囲のうち少なくともいずれかの時間範囲を、複数の静止画データにおける画像変化が大きいほど長く設定してよい。ここで、画像変化は、複数の静止画データにおける明るさ変化に基づいて決定されてよい。明るさ変化に基づいて使用数および時間範囲の少なくとも一方を設定することで、映像としてのちらつきを低減することができる。

なお、画像処理回路２４は、複数のフレームにおける明るさ変化が予め定められた値より小さくなるように、複数の時間範囲の長さを設定してよい。例えば、静止画データが表す画像の明るさ変化が予め定められた値より大きい期間が存在する場合、明るさの変化が予め定められた値より小さい期間を含むように時間範囲を設定することで、複数のフレームにおける明るさ変化が予め定められた値より小さくなるようにすることができる。

画像処理回路２４は、時間範囲を設定することに代えて、または、時間範囲を設定することに加えて、複数のフレームにおける明るさ変化が予め定められた値より小さくなるように、合成の重みを設定してもよい。例えば、連続または一部期間が重複する第１の時間範囲および第２の時間範囲において、複数の静止画データの明るさの平均値が第１の時間範囲より第２の時間範囲の方が明るい場合、画像処理回路２４は、各静止画データが表す画像の明るさを考慮して、複数のフレームにおける明るさ変化が予め定められた値より小さくなるように重みを設定してよい。例えば、画像処理回路２４は、第１の時間範囲においては、より明るい画像の静止画データにより大きい重みを設定し、第２の時間範囲内においては、より暗い画像の静止画データにより大きい重みを設定してよい。以上に説明した重み設定または時間範囲の設定により、映像としてのちらつきを低減することができる場合がある。

図７は、カメラ２の起動から終了までの処理フローを示す。本フローは、電源スイッチがＯＮされた場合に、開始される。

ステップＳ７００において、ＣＰＵ１６は初期設定を行う。例えば、ＣＰＵ１６は、カメラ２を制御するための各種パラメータ等を、ＣＰＵ１６の内部に設けられた不揮発性のシステムメモリから内部ＲＡＭに展開する。各種パラメータとしては、図２に関連して説明した微速度撮影のパラメータを例示することができる。ＣＰＵ１６は、内部ＲＡＭに展開された各種パラメータに基づき、カメラ２の各部の動作条件を設定する。

続いて、ステップＳ７０２において、画像表示装置３６に設定結果を表示する。例えば、ＣＰＵ１６は、ステップＳ７００で設定した設定結果を、画像表示装置３６に表示させる。

続いて、ステップＳ７０４において、ＣＰＵ１６は、操作部材２０に対するユーザ操作の内容を判断する。例えば、操作部材２０に対して諸設定を実行するユーザ操作がなされた場合、ＣＰＵ１６が主体となって、指示された設定処理を行う（ステップＳ７０６）。設定処理としては、微速度撮影のパラメータを設定する処理、画素数を設定する処理、撮像動作を伴う動作モードを設定する処理等を例示することができる。動作モードとしては、微速度撮影モード等を例示することができる。微速度撮影モードを設定するユーザ操作がなされた場合、動作モードを微速度撮影モードに設定する。また、本ステップにおいて、図４から図６に関連して説明した合成処理のうちいずれの合成処理を適用するかをユーザ操作に従って選択してよい。

ステップＳ７０４において、操作部材２０に対して画像の再生を指示するユーザ操作があった場合、再生処理を実行する（ステップＳ７２２）。再生処理としては、記録媒体４４に記録された画像データを読み出してサムネイル表示する処理、ユーザにより指示された画像データを画像表示装置３６に表示する処理等を例示することができる。

ステップＳ７０４において、操作部材２０に対して撮像実行に関するユーザ操作があった場合、撮像を伴う処理を行う（ステップＳ７１２）。なお、撮像実行に関するユーザ操作としては、レリーズボタン、ライブビューボタン等に対する操作を例示することができる。動作モードが微速度撮影モードに設定されていない場合に、レリーズボタンが押下された場合、静止画の撮像を行う。ライブビューボタンが押下された場合、ライブビュー動作を開始する。ライブビュー動作では、撮像素子２６における撮像に並行して、撮像された画像を画像表示装置３６に表示する。そして、ライブビュー動作中にレリーズボタンの操作があった場合は、静止画を撮像して静止画データを記録する。ライブビュー動作中に操作部材の一部としての動画ボタンの操作があった場合は、動画モードで動作する。動作モードが微速度撮影モードに設定されている場合の動作については、図８に関連して説明する。

ステップＳ７０４においてユーザ指示がない場合は、ファインダ部８が有する測光素子による測光処理を行う（ステップＳ７３２）。具体的には、測光素子による測光と現在の適正露出値の決定を一定の時間間隔で実行する。ステップＳ７３２で決定した現在の露出値を示す情報は、画像表示装置３６にリアルタイムに表示され、ユーザに提示される。

ステップＳ７０６、ステップＳ７１２、ステップＳ７２２、ステップＳ７３２の処理が完了すると、ステップＳ７０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源スイッチがＯＦＦ位置に切り替えられた場合や、電源スイッチがＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦする旨を判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ７０４に処理を移行させる。

図８は、撮像を伴う処理フローの一例を示す。すなわち、図７のステップＳ７１２における内部処理の一例である。特に、微速度撮影における撮像動作を含む処理フローを示す。具体的には、動作モードが微速度撮影モードに設定されている場合に、予め定められたユーザ操作がなされた場合の処理フローを示す。

ステップＳ８０２において、レンズ４の焦点調節を行う。例えば、ＣＰＵ１６は、レリーズボタンが一段階押し込まれた場合に、予め設定された焦点検出領域に対してレンズ４の焦点調節を行う。レリーズボタンが更に深く押し込まれた場合、ステップＳ８０４以降の微速度撮影の動作に進む。

ステップＳ８０４において、静止画を撮像して静止画データを取得する。具体的には、ＣＰＵ１６の全体制御の下、ミラー１２をアップさせ、タイミングジェネレータ２８から供給されるタイミング信号に従って、シャッタ１３を開けて撮像素子２６で露光し、シャッタ１３を閉じて、ミラー１２をダウンさせる。撮像によって得られた１コマの静止画データは、イメージメモリ３４に記憶される。続いて、画像処理回路２４は、イメージメモリ３４に記憶された静止画データに対して、ホワイトバランス補正、ガンマ補正等の画像処理を施し、画像処理が施された静止画データがイメージメモリ３４に記憶される（ステップＳ８０６）。

ステップＳ８０８において、１フレームの生成に用いるコマ数の静止画データが取得されたか否かを判断する。例えば、３コマの静止画データを合成して１フレームを生成する場合、フレームの生成に用いる３コマの静止画データが少なくともイメージメモリ３４に記憶されたか否かを判断する。１フレームの生成に用いるコマ数の静止画データが取得されていない場合、ステップＳ８１４に処理を進める。

１フレームの合成に用いるコマ数の静止画データが取得されている場合、静止画データを合成してフレームを生成する（ステップＳ８１０）。例えば、図４から図６に関連して説明した合成処理のいずれかを適用してフレームを生成する。生成されたフレームは、例えばＪＰＥＧの符号化方式で符号化されてイメージメモリ３４に記憶される（ステップＳ８１２）。

ステップＳ８１４において、静止画データを更に取得するか否かを判断する。例えば、図２等に関連して説明したコマ数の静止画データが取得されたか否かを判断する。予め定められたコマ数の静止画データが取得されていない場合、次の撮像タイミングまでウェイトする（ステップＳ８１６）。例えば、前回の撮像タイミングから予め定められた時間間隔だけ後のタイミングで次回の撮像が開始されるようウェイトする。次回の撮像動作は、タイマ等の制御によって、前回の撮像タイミングから予め定められた期間経過した場合にトリガされ、開始されてよい。ウェイトが完了すると、ステップＳ８０４に処理を移行させる。

ステップＳ８１４の判断において、予め定められたコマ数の静止画データを取得したと判断された場合、イメージメモリ３４に記憶されている複数のフレームを用いて動画データを生成し（ステップＳ８１８）、生成した動画データを記録媒体４４に記録する（ステップＳ８２０）。例えば、Ｍｏｔｉｏｎ ＪＰＥＧフォーマットの動画データを生成する。記録媒体４４への記録が完了すると、本フローは終了する。

なお、本フローにおいて、複数の静止画データを合成して得られたフレームだけでなく、複数の静止画データも記録媒体４４に記録してよい。また、カメラ２は、記録媒体４４に記録された複数の静止画データを記録媒体４４から取得して合成することにより、フレームを生成してもよい。

以上の説明において、カメラ２が撮像から動画データの生成までの処理を行うとした。しかし、カメラで撮像することによってカメラで取得された複数の静止画の静止画データをパーソナルコンピュータ等のコンピュータに転送して、コンピュータ上でアプリケーションソフト等のプログラムを動作させて、動画データを生成してもよい。以上のように、本実施形態のカメラ２に関連して説明した処理によれば、微速度撮影で得られた複数の静止画データを合成して動画化することで、ちらつきやギクシャク感を抑えた映像を提供することができる。

なお、図８のステップＳ８１８においては、複数のフレームを用いて生成した動画データに加えて、イメージメモリ３４に記憶された複数の静止画データを用いて動画データを生成してもよい。この場合、ステップＳ８２０においては、複数のフレームを用いて生成した動画データである第１動画データを記録媒体４４に記録するとともに、複数の静止画データを用いて生成した動画データである第２動画データを記録媒体４４に記録してよい。第２動画データは、例えばＭｏｔｉｏｎ ＪＰＥＧフォーマットで記録される。ここで第２動画データは、静止画データの再生間隔が予め定められた時間間隔より短い時間間隔で再生される動画データである。第１動画データおよび第２動画データは、微速度撮影で得られた画像データとして、互いに対応づけられて記録媒体４４に記録されてよい。第１動画データおよび第２動画データが生成されて記録媒体４４に記録されている場合、図７に例示したステップＳ７２２において微速度撮影で得られた画像データの再生が指示されたときは、第１動画データおよび第２動画データのうち再生させるべき一つの動画データをユーザに選択させ、選択された動画データを再生してよい。

また、ステップＳ８１８において、第１動画データを生成することなく、第２動画データを生成してよい。この場合、ステップＳ８２０においては、微速度撮影で得られた画像データとして、第２動画データが記録媒体４４に記録されてよい。微速度撮影で得られた画像データとして第２動画データが記録媒体４４に記録されている場合、図７に例示したステップＳ７２２において微速度撮影で得られた画像データの再生が指示されたときに、第２動画データを再生するべきか、合成処理が適用された再生を行うべきかをユーザに選択させてよい。第２動画データを再生するべき旨が選択された場合は第２動画データを再生し、合成処理が適用された再生を行うべき旨が選択された場合には、合成処理が適用されたフレームを生成して再生してよい。ここで、合成処理の適用対象となる静止画データは、記録媒体４４に記録されている第２動画データから生成してもよい。例えば、Ｍｏｔｉｏｎ ＪＰＥＧフォーマットの第２動画データを復号して得られた複数の静止画データに対して、図４から図６等に関連して説明した合成処理を適用して得られたフレームを順次に再生してよい。なお、第１動画データを生成することなく第２動画データを生成して記録媒体４４に記録する場合、撮像動作によりイメージメモリ３４に記録された複数の静止画データを、記録媒体４４に更に記録してもよい。そして、ステップＳ７２２において、合成処理が適用された再生を行うべき旨が選択された場合には、記録媒体４４に記録されている複数の静止画データに対して、図４から図６等に関連して説明した合成処理を適用して得られたフレームを順次に再生してよい。複数の静止画データを記録媒体４４に更に記録するか否かは、予めユーザにより選択されていてよい。例えば、図７に例示したステップＳ７０６において、予め設定されてよい。

図８の処理フローで例示したように、第２動画データを生成することなく第１動画データを生成して記録媒体４４に記録する場合、撮像動作によりイメージメモリ３４に記録された複数の静止画データを、記録媒体４４に更に記録してもよい。この場合、図７に例示したステップＳ７２２において微速度撮影で得られた画像データの再生が指示されたときに、第１動画データを再生するべきか、記録媒体４４に記録されている複数の静止画データを動画として再生するべきかをユーザに選択させてよい。第１動画データを再生するべき旨が選択された場合は第１動画データを再生し、記録媒体４４に記録されている複数の静止画データを動画として再生するべき旨が選択された場合には、記録媒体４４に記録されている静止画データを、予め定められた時間間隔より短い時間間隔で再生する。

また、第１動画データおよび第２動画データのいずれも生成せずに、撮像動作によりイメージメモリ３４に記録された複数の静止画データを、記録媒体４４に記録してもよい。この場合、図７に例示したステップＳ７２２において、微速度撮影で得られた画像データの再生が指示されたときに、合成処理が適用された再生を行うべきか、記録媒体４４に記録されている複数の静止画データを動画として再生するべきかをユーザに選択させてよい。記録媒体４４に記録されている複数の静止画データを動画として再生するべき旨が選択された場合には、記録媒体４４に記録されている静止画データを、予め定められた時間間隔より短い時間間隔で再生する。合成処理が適用された再生を行うべき旨が選択された場合には、記録媒体４４に記録されている複数の静止画データに対して、図４から図６等に関連して説明した合成処理を適用して得られたフレームを順次に再生する。

第１動画データおよび第２動画データを生成して記録するか、第１動画データを生成することなく第２動画データを生成して記録するか、第２動画データを生成することなく第１動画データを生成して記録するか、第１動画データおよび第２動画データのいずれも生成せずイメージメモリ３４に記録された複数の静止画データを記録するかは、予めユーザにより選択されてよい。例えば、図７に例示したステップＳ７０６において、予め設定されてよい。また、記録媒体４４に記録されている動画データ、静止画データ等の画像データをパーソナルコンピュータ等のコンピュータに転送して、コンピュータで動画として再生させる場合には、コンピュータ上で動作するプログラムの制御により、図７のステップＳ７２２に関連して説明した処理と同様の処理をコンピュータが実行してよい。

本実施形態のカメラ２に関連して説明した処理は、カメラ２の各部、例えばＣＰＵ１６等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。

本実施形態において、レンズ交換式の一眼レフレックスカメラであるカメラ２を取り上げて、撮像装置の一例を説明した。撮像装置としては、コンパクトデジタルカメラ等のレンズ非交換式のカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

２ カメラ、４ レンズ、８ ファインダ部、１２ ミラー、１３ シャッタ、１６ ＣＰＵ、１８ 表示装置、２０ 操作部材、２２ 画像処理ブロック、２４ 画像処理回路、２６ 撮像素子、２８ タイミングジェネレータ、３０ Ａ／Ｄ変換回路、３４ イメージメモリ、３６ 画像表示装置、３８ 表示回路、４４ 記録媒体

Claims (13)

1. 複数の静止画データを取得する画像取得部と、
   前記複数の静止画データのうちの第１静止画データと第２静止画データとを合成して第１合成画像データを生成し、前記複数の静止画データのうちの第３静止画データと第４静止画データとを合成して第２合成画像データを生成する合成画像生成部と、
   前記第１合成画像データおよび前記第２合成画像データの少なくとも一方の生成に用いられる静止画データの数を、前記複数の静止画データにおける画像変化が大きいほど多く設定する画像数設定部と、
   前記第１合成画像データおよび前記第２合成画像データを用いて動画データを生成する動画生成部と、
   を備える画像生成装置。
2. 複数の静止画データを取得する画像取得部と、
   前記複数の静止画データのうちの第１静止画データと第２静止画データとを合成して第１合成画像データを生成し、前記複数の静止画データのうちの第３静止画データと第４静止画データとを合成して第２合成画像データを生成する合成画像生成部と、
   前記第１合成画像データおよび前記第２合成画像データの少なくとも一方の生成に用いられる静止画データの撮像時刻を含む時間範囲を、前記複数の静止画データにおける画像変化が大きいほど長く設定する時間範囲設定部と、
   前記第１合成画像データおよび前記第２合成画像データを用いて動画データを生成する動画生成部と、
   を備える画像生成装置。
3. 前記画像取得部は、予め定められた時間間隔で撮像することにより取得された複数の静止画データを取得し、
   前記動画生成部は、前記第１合成画像データおよび前記第２合成画像データを用いて合成された合成画像データの再生間隔が前記予め定められた時間間隔より短い動画データを生成する
   請求項１または２に記載の画像生成装置。
4. 前記画像変化は、前記複数の静止画データにおける明るさ変化に基づいて決定される
   請求項１から３のいずれか一項に記載の画像生成装置。
5. 前記合成に使用される静止画データに、それぞれ前記合成における重みを設定する重み設定部
   をさらに備える請求項１から４のいずれか一項に記載の画像生成装置。
6. 前記重み設定部は、前記第１合成画像データおよび前記第２合成画像データの少なくとも一方の生成に用いられる静止画データの撮像時刻を含むべき時間範囲において、予め定められた時刻に撮像時刻がより近い静止画データに、前記重みとしてより大きい値を設定する
   請求項５に記載の画像生成装置。
7. 前記重み設定部は、前記時間範囲における中心時刻に撮像時刻がより近い静止画データに、前記重みとしてより大きい値を設定する
   請求項６に記載の画像生成装置。
8. 前記時間範囲設定部は、前記第１合成画像データおよび前記第２合成画像データにおける明るさ変化が予め定められた値より小さくなるように、前記時間範囲の長さを設定する
   請求項２に記載の画像生成装置。
9. 前記重み設定部は、前記第１合成画像データおよび前記第２合成画像データにおける明るさ変化が予め定められた値より小さくなるように、前記重みを設定する
   請求項５に記載の画像生成装置。
10. 前記第１合成画像データの生成に用いられる静止画データの少なくとも一つと前記第２合成画像データの生成に用いられる静止画データの少なくとも一つは同じ静止画データである
    請求項１から９のいずれか一項に記載の画像生成装置。
11. 前記動画データを不揮発性の記録媒体に記録する記録部
    をさらに備える請求項１から１０のいずれか一項に記載の画像生成装置。
12. 予め定められた時間間隔で撮像することにより前記複数の静止画データを生成する撮像部と、
    前記複数の静止画データを用いて前記動画データを生成する請求項１から１１のいずれか一項に記載の画像生成装置と、
    を備える撮像装置。
13. 複数の静止画データを取得するステップと、
    前記複数の静止画データのうち、前記複数の静止画データにおける画像変化の大きさによって選択された第１静止画データと第２静止画データとを合成して第１合成画像データを生成し、前記複数の静止画データのうち、前記複数の静止画データにおける画像変化の大きさによって選択された第３静止画データと第４静止画データとを合成して第２合成画像データを生成するステップと、
    前記第１合成画像データおよび前記第２合成画像データを用いて動画データを生成するステップと、
    をコンピュータに実行させるプログラム。

Images