JP5333522B2 - 動画生成装置、動画生成方法、および、プログラム - Google Patents

Description

本発明は、動画生成装置、動画生成方法、および、プログラムに関する。

従来より、デジタルカメラ等の撮像素子としてＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が採用されている。このような撮像素子のダイナミックレンジ（Dynamic Range）は、肉眼や銀塩フィルムと比べて狭くなっている。そのため、明暗の差が激しい被写体を従来のデジタルカメラ等で撮影すると、背景が白く飛んだり、被写体が黒くつぶれてしまうとった問題があった。

このような問題を解決するために、ハイダイナミックレンジ（High Dynamic Range）の画像を得る技術が開発されている。この技術は、長い露光時間にて撮影した明るい画像と、短い露光時間にて撮影した暗い画像とを合成することで、ハイダイナミックレンジの画像を得るというものである。
最近では、この技術が動画生成にも応用されつつある。例えば、特許文献１には、撮像素子に届く光の強度を周期的に変化させる減光装置を用いて、ハイダイナミックレンジ動画を取得する発明が開示されている。

特開２００７−２７４２８５号公報

しかしながら、上述した特許文献１の発明では、減光装置という特別な機構が必要となるだけでなく、撮影中に画角が変化したり、被写体が動いてしまうと、合成ブレが生じてしまい、高品質のハイダイナミックレンジ動画を得ることが難しいという問題があった。
そのため、特別な機構を設けることなく、また、撮影画角の変化や被写体の動きがあっても高品質のハイダイナミックレンジ動画を生成できる技術が求められていた。

本発明は、上記実状に鑑みてなされたもので、高品質のハイダイナミックレンジ動画を生成することのできる動画生成装置、動画生成方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る動画生成装置は、
撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成手段と、
前記生成手段によって生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定手段と、
前記判定手段による判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータ又は第２のフレームデータと、これに隣り合う露光時間が前記判定対象のフレームデータと略等しいフレームデータとから、第３のフレームデータを生成して当該隣り合う第１のフレームデータ又は第２のフレームデータを補間する補間手段と、
前記判定手段によって前記判定対象となる２つのフレームデータにおいて、画像の変化の度合いが所定の閾値を超えていないと判定した場合は、これらのフレームデータを順次合成して、一方、所定の閾値を超えていると判定した場合は、前記補間手段が補間した第３のフレームデータと、前記第１のフレームデータ又は前記第２のフレームデータのうち前記補間手段が補間した期間に相当する撮影タイミングと略同じで且つ露光時間が異なるほうと、を順次合成して、ハイダイナミックレンジのフレームデータを生成する合成手段と、
前記合成手段によって合成されたフレームデータで構成される動画を生成する動画生成手段と、
を備えることを特徴とする。

本発明によれば、高品質のハイダイナミックレンジ動画を生成することができる。

本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。 露光時間の異なるフレームを生成する様子を説明するための模式図である。 補完フレームを生成する様子を説明するための模式図である。 ハイダイナミックレンジ合成フレームを生成する様子を説明するための模式図である。 本発明の実施形態に係る動画生成処理を説明するためのフローチャートである。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明を動画撮影可能なデジタルカメラ（以下、デジタルカメラ１００）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１００は、レンズブロック１０１、イメージセンサブロック１０２、画像処理エンジン１０３、液晶表示部１０４、バス１０５、外部メモリ１０６、ＳＤＲＡＭ１０７、フラッシュメモリ１０８、ＣＰＵ１０９、音声ブロック１１０、マイコン１１１、操作ＩＦ部１１２、電源制御ブロック１１３、及び、バッテリ１１４を備えて構成される。

レンズブロック１０１は、ズームレンズやフォーカスレンズ等の光学系、及び、当該光学系を駆動させるための駆動機構（モータやアクチュエータ等）から構成される。レンズブロック１０１は、駆動機構により制御された光学系により、入射光を集光するとともに、焦点距離や絞り、画角やピント、露出などにかかる光学的要素の調整を行う。

イメージセンサブロック１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、及び、当該撮像素子を動作させるためのドライバ回路（垂直・水平制御回路等）から構成される。イメージセンサブロック１０２は、撮像素子の受光面がレンズブロック１０１の光軸上に配置されており、レンズブロック１０１を介して被写体の像（つまり、光学像）が結像される。そして、ドライバ回路の制御によって、光学像に応じた撮像信号を画像処理エンジン１０３に供給する。

このイメージセンサブロック１０２は、電荷転送タイミングを制御することで、撮像素子で電荷が蓄積される時間（露光時間）を適宜変化させることが可能となっている。例えば、動画撮像モードにおいて、長短交互に露光時間を変化させたフレームデータを順次生成する。
具体的には、図２に示すように、奇数フレームにおいて、露光時間の長いフレーム（Ａ１，Ａ３，Ａ５，Ａ７、・・・）を生成し、偶数フレームにおいて、露光時間の短いフレーム（Ｂ２，Ｂ４，Ｂ６，・・・）を生成する。そして、イメージセンサブロック１０２は、このように順次生成した撮像信号（フレームデータ）を画像処理エンジン１０３に供給する。

図１に戻って、画像処理エンジン１０３は、画像処理回路等から構成され、イメージセンサブロック１０２から供給された撮像信号（フレームデータ）を画像処理する。
例えば、画像処理エンジン１０３は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、及び、画素補間といった画品質向上のための画像処理を行う。そして、画像処理エンジン１０３は、変換したＹＵＶデータを順次ＳＤＲＡＭ１０７に供給して格納させる。また、スルー画像（ファインダ画像）を表示するモードであれば、１フレーム分のデータが蓄積される毎にビデオ信号に変換し、液晶表示部１０４に供給する。

また、動画撮像モードにおいて、画像処理エンジン１０３は、フレームデータ間における画像の変化の度合いが、所定の閾値を超えている場合に、補間フレームを生成する。
例えば、撮影画角の変化や被写体の動きが大きい場合に、画像処理エンジン１０３は、図３に示すように、補間フレーム（Ａ２，Ａ４，Ａ６，Ｂ３，Ｂ５，Ｂ７，・・・）を生成する。具体的に説明すると、被写体の動きが大きい（速い）場合、フレームＡ１とフレームＢ２とが異なった画像となる。そのため、画像処理エンジン１０３は、露光時間の長いフレームＡ１とフレームＡ３とから、露光時間の長いフレームＡ２を補間して生成する。

そして、画像処理エンジン１０３は、露光時間の長いフレームと露光時間の短いフレームとを合成して、図４に示すようなハイダイナミックレンジ合成フレーム（Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，・・・）を生成する。具体的に説明すると、被写体の動きが大きい（速い）場合に、露光時間の長い補間フレームＡ２と露光時間の短いフレームＢ２とを合成して、ハイダイナミックレンジ合成フレームＣ２を生成する。一方、被写体の動きがない（小さい）場合に、補間フレームを使用することなく、露光時間の長いフレームＡ１と露光時間の短いフレームＢ２とをそのまま合成して、ハイダイナミックレンジ合成フレームＣ２を生成する。

また、画像処理エンジン１０３は、生成したハイダイナミックレンジ合成フレームについて、コントラスト強調処理や彩度強調処理を行う。

図１に戻って、液晶表示部１０４は、ＬＣＤ（Liquid Crystal Display）パネル、及び、その駆動回路から構成される。液晶表示部１０４は、画像処理エンジン１０３から供給されるビデオ信号に応じて、撮影した画像や、所定のメニュー画像等を表示する。

バス１０５は、画像処理エンジン１０３、外部メモリ１０６、ＳＤＲＡＭ１０７、フラッシュメモリ１０８、及び、ＣＰＵ１０９を相互に結ぶデータ経路である。各種データは、このバス１０５を介して、送受信される。

外部メモリ１０６は、取り外し可能なメモリカード等から構成され、撮影された画像データを記録可能となっている。例えば、外部メモリ１０６には、ＣＰＵ１０９により圧縮された画像データ（所定フォーマットの静止画ファイルや動画ファイル等）が記録される。

ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１０７は、撮影された画像データを一時的に記憶する。例えば、画像処理エンジン１０３にて生成されたフレームデータを順次記憶する。

フラッシュメモリ１０８は、デジタルカメラ１００の動作に必要なプログラムやデータを記憶する。

ＣＰＵ（Central Processing Unit）１０９は、デジタルカメラ１００全体を制御する。例えば、動画撮像モードにおいて、ＣＰＵ１０９は、フラッシュメモリ１０８に記憶されたプログラムを読み出し、後述する動画生成処理を実行する。つまり、ＣＰＵ１０９は、以下に示すように、画像処理エンジン１０３等を制御して、ハイダイナミックレンジ動画を生成する。

まず、ＣＰＵ１０９は、画像処理エンジン１０３により生成されたフレームデータ間における画像の変化の度合いが所定の閾値を超えているかどうかを判定する。一例として、ＣＰＵ１０９は、上述した図２における、露光時間の長いフレームＡ１とフレームＡ３とにおける特定の画像領域の変化が、閾値を超えているかどうかを判定する。

具体的には、画角内における被写体同士を比較し、閾値を超える動きがあるかどうかを判定する。一例として、被写体が人物の場合であれば、顔認識等により、人物の画像を特定し、互いのフレームにおけるその人物の動きの大きさを判別し、その動きが閾値を超えているかどうかを判定する。その際、複数の人物を同時に認識できる場合では、各人物毎に動きを特定し、何れかの動きが閾値を超えているかどうかを判定する。このような人物等の動きを判定する手法は、一例であり、他の手法により、動きを判定するようにしてもよい。
また、このように特定の画像領域の変化を判別するのではなく、画像全体の変化を判定してもよい。例えば、画角内における画像領域全体同士を比較し、閾値を超える動きがあるかどうかを判定する。
この際、閾値を超える動きがあると判定すると、ＣＰＵ１０９は、画像処理エンジン１０３を制御して、補間フレームを生成させる。つまり、上述した図３のように、画像処理エンジン１０３を制御して、例えば、露光時間の長いフレームＡ１とフレームＡ３とから、露光時間の長いフレームＡ２を補間して生成させる。

そして、ＣＰＵ１０９は、画像処理エンジン１０３を制御して、ハイダイナミックレンジ合成フレームを生成させる。つまり、上述した図４のように、画像処理エンジン１０３を制御して、例えば、被写体の動きが大きい場合に、露光時間の長い補間フレームＡ２と露光時間の短いフレームＢ２とを合成させ、ハイダイナミックレンジ合成フレームＣ２を生成させる。なお、被写体の動きがない場合には、補間フレームを使用することなく、露光時間の長いフレームＡ１と露光時間の短いフレームＢ２とをそのまま合成させ、ハイダイナミックレンジ合成フレームＣ２を生成させる。
ＣＰＵ１０９は、このように生成されたハイダイナミックレンジ合成フレームから、動画ファイルを生成する。つまり、生成したハイダイナミックレンジ合成フレームについて、コントラスト強調処理や彩度強調処理を行った後、フレーム間を圧縮し、所定フォーマットの動画ファイルを生成して外部メモリ１０６に格納する。

音声ブロック１１０は、音声処理回路等から構成され、音声データを処理する。例えば、外部メモリ１０６に記憶された動画ファイルを再生する際に、音声ブロック１１０は、圧縮音声データを伸張し、図示せぬスピーカ等を介してその音声を出力する。

マイコン１１１は、１チップマイコン等から構成され、操作ＩＦ部１１２からの入力に応じた指示等をＣＰＵ１０９に伝達する。また、マイコン１１１は、電源制御ブロック１１３を制御して、必要な電力を各部に供給させる。

操作ＩＦ（InterFace）部１１２は、各種のスイッチやキーが適宜配列されており、ユーザの操作を受け付ける。例えば、操作ＩＦ部１１２は、電源スイッチ、モード選択キー、シャッターキー、及び、ズームキー等を含んでいる。そして、これらの何れか（複数の場合もある）がユーザにより操作（押下等）されると、その操作内容に応じた操作信号をマイコン１１１へ供給する。例えば、モード選択キーにより、動画撮影モードが選択されると、その操作信号をマイコン１１１へ供給する。なお、シャッターキーは、半押しと全押しとが可能な所謂ハーフシャッター機能を有するものとなっている。

電源制御ブロック１１３は、マイコン１１１に制御され、バッテリ１１４からの電力を各部に供給する。

バッテリ１１４は、充電可能な二次電池（リチウムイオン電池やニッケル水素電池等）からなり、電源制御ブロック１１３を介して、各部に電力を供給する。

このような構成のデジタルカメラ１００の動作について以下に説明する。ここでは、動画撮影モードにおいて、デジタルカメラ１００により実行される動画生成処理について図５を参照して説明する。図５は、動画生成処理の流れを示すフローチャートである。この動画生成処理は、例えば、操作ＩＦ部１１２がユーザにより操作され、動画撮影モードが選択されたことを契機に開始される。

動画撮影モードが選択されると、デジタルカメラ１００は、長短交互に露光時間を変化させたフレームデータを順次生成する（ステップＳ２０１）。すなわち、イメージセンサブロック１０２は、上述した図２に示すように、奇数フレームにおいて、露光時間の長いフレーム（Ａ１，Ａ３，Ａ５，Ａ７、・・・）を生成し、偶数フレームにおいて、露光時間の短いフレーム（Ｂ２，Ｂ４，Ｂ６，・・・）を生成する。

デジタルカメラ１００は、生成されたフレームデータ間における画像の変化の度合いが所定の閾値を超えているかどうかを判定する（ステップＳ２０２）。すなわち、ＣＰＵ１０９は、例えば、フレームデータ間における特定の画像領域の変化が、閾値を超えているかどうかを判定する。一例として、ＣＰＵ１０９は、上述した図２における、露光時間の長いフレームＡ１とフレームＡ３とにおける特定の画像領域の変化が、閾値を超えているかどうかを判定する。なお、上述したように、フレームＡ１とフレームＡ３とにおける画像全体の変化が、閾値を超えているかどうかを判定してもよい。

デジタルカメラ１００は、変化の度合いが閾値を超えていないと判定すると（ステップＳ２０２；Ｎｏ）、後述するステップＳ２０４に処理を進める。

一方、変化の度合いが閾値を超えていると判定した場合（ステップＳ２０２；Ｙｅｓ）に、デジタルカメラ１００は、補間フレームを生成する（ステップＳ２０３）。すなわち、画像処理エンジン１０３は、上述した図３に示すように、補間フレーム（Ａ２，Ａ４，Ａ６，Ｂ３，Ｂ５，Ｂ７，・・・）を生成する。一例として、被写体の動きが大きい場合に、フレームＡ１とフレームＢ２とが異なった画像となる。そのため、画像処理エンジン１０３は、露光時間の長いフレームＡ１とフレームＡ３とから、露光時間の長いフレームＡ２を補間して生成する。

デジタルカメラ１００は、ハイダイナミックレンジ合成フレームを生成する（ステップＳ２０４）。すなわち、画像処理エンジン１０３は、露光時間の長いフレームと、露光時間の短いフレームとを合成して、ハイダイナミックレンジ合成フレームを生成する。一例として、被写体の動きが大きい場合に、画像処理エンジン１０３は、上述した図４に示すように、露光時間の長い補間フレームＡ２と露光時間の短いフレームＢ２とを合成し、ハイダイナミックレンジ合成フレームＣ２を生成する。一方、被写体の動きがない場合に、補間フレームを使用することなく、画像処理エンジン１０３は、露光時間の長いフレームＡ１と露光時間の短いフレームＢ２とをそのまま合成し、ハイダイナミックレンジ合成フレームＣ２を生成する。

デジタルカメラ１００は、ハイダイナミックレンジ合成フレームから動画ファイルを生成する（ステップＳ２０５）。すなわち、ＣＰＵ１０９は、このようにして生成されたハイダイナミックレンジ合成フレームから、所定フォーマットの動画ファイルを生成する。つまり、生成したハイダイナミックレンジ合成フレームについて、コントラスト強調処理や彩度強調処理を行った後、フレーム間を圧縮し、動画ファイルを生成して外部メモリ１０６に格納する。

このような動画生成処理により、フレームデータ間における画像の変化の度合いが判定され、適切な露光時間の長いフレームと露光時間の長いフレームとが合成され、ハイダイナミックレンジ動画が生成される。このため、特別な機構を設けることなく、また、撮影画角の変化や被写体の動きがあっても高品質のハイダイナミックレンジ動画を生成できる。

以上のように、本実施形態によれば、高品質のハイダイナミックレンジ動画を生成することができる。

なお、本発明を上記実施形態で例示したデジタルカメラ１００のような撮像装置（動画生成装置）で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、ＣＰＵ１０９等と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。

なお、上記実施形態では、撮像装置の例として、動画撮像機能を有するデジタルカメラを示したが、撮像装置の形態は任意であり、単体のデジタルビデオカメラやデジタルスチルカメラで実現可能であることはもとより、これと同様の撮像機能を備えた種々の電子機器（例えば、携帯電話など）に本発明を適用してもよい。

このような場合においても、プログラムを適用することで、既存の装置を本発明にかかる撮像装置として機能させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

（付記１）
長短交互に露光時間を変えたフレームデータを順次生成する生成手段と、
前記生成手段によって生成されるフレームデータ間における画像の変化の度合いを判定する判定手段と、
前記判定手段による判定結果に基づいて、露光時間の長いフレームデータ同士から補完した露光時間の長い補完フレームデータを生成する補完手段と、
前記判定手段による判定結果に基づいて、前記生成手段により生成された露光時間の長いフレームデータと露光時間の短いフレームデータと、若しくは、前記補完手段により生成された露光時間の長いフレームデータと前記生成手段により生成された露光時間の短いフレームデータとを合成する合成手段と、
前記合成手段によって合成されたフレームデータから動画を生成する動画生成手段と、
を備えることを特徴とする動画生成装置。

（付記２）
前記判定手段は、露光時間の長いフレームデータ同士を比較し、画角内における特定の画像領域の変化が所定の閾値を超えているかどうかを判定する、
ことを特徴とする付記１に記載の動画生成装置。

（付記３）
前記判定手段は、露光時間の長いフレームデータ同士を比較し、画角内における画像領域全体の変化が所定の閾値を超えているかどうかを判定する、
ことを特徴とする付記１に記載の動画生成装置。

（付記４）
生成部、判定部、補完部、合成部、及び、動画生成部を有する動画生成装置における画像生成方法であって、
前記生成部が、長短交互に露光時間を変えたフレームデータを順次生成する生成ステップと、
前記判定部が、前記生成ステップによって生成されるフレームデータ間における画像の変化の度合いを判定する判定ステップと、
前記補完部が、前記判定ステップによる判定結果に基づいて、露光時間の長いフレームデータ同士から補完した露光時間の長い補完フレームデータを生成する補完ステップと、
前記合成部が、前記判定ステップによる判定結果に基づいて、前記生成ステップにより生成された露光時間の長いフレームデータと露光時間の短いフレームデータと、若しくは、前記補完ステップにより生成された露光時間の長いフレームデータと前記生成ステップにより生成された露光時間の短いフレームデータとを合成する合成ステップと、
前記動画生成部が、前記合成ステップによって合成されたフレームデータから動画を生成する動画生成ステップと、
を備えることを特徴とする動画生成方法。

（付記５）
コンピュータに、
長短交互に露光時間を変えたフレームデータを順次生成する生成ステップと、
前記生成ステップによって生成されるフレームデータ間における画像の変化の度合いを判定する判定ステップと、
前記判定ステップによる判定結果に基づいて、露光時間の長いフレームデータ同士から補完した露光時間の長い補完フレームデータを生成する補完ステップと、
前記判定ステップによる判定結果に基づいて、前記生成ステップにより生成された露光時間の長いフレームデータと露光時間の短いフレームデータと、若しくは、前記補完ステップにより生成された露光時間の長いフレームデータと前記生成ステップにより生成された露光時間の短いフレームデータとを合成する合成ステップと、
前記合成ステップによって合成されたフレームデータから動画を生成する動画生成ステップと、
を行わせることを特徴とするプログラム。

以上説明したように、本発明によれば、高品質のハイダイナミックレンジ動画を生成できる動画生成装置、動画生成方法、および、プログラムを提供することができる。

１００・・・デジタルカメラ、１０１・・・レンズブロック、１０２・・・イメージセンサブロック、１０３・・・画像処理エンジン、１０４・・・液晶表示部、１０５・・・バス、１０６・・・外部メモリ、１０７・・・ＳＤＲＡＭ、１０８・・・フラッシュメモリ、１０９・・・ＣＰＵ、１１０・・・音声ブロック、１１１・・・マイコン、１１２・・・操作ＩＦ部、１１３・・・電源制御ブロック、１１４・・・バッテリ

Claims (8)

1. 撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成手段と、
   前記生成手段によって生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定手段と、
   前記判定手段による判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータ又は第２のフレームデータと、これに隣り合う露光時間が前記判定対象のフレームデータと略等しいフレームデータとから、第３のフレームデータを生成して当該隣り合う第１のフレームデータ又は第２のフレームデータを補間する補間手段と、
   前記判定手段によって前記判定対象となる２つのフレームデータにおいて、画像の変化の度合いが所定の閾値を超えていないと判定した場合は、これらのフレームデータを順次合成して、一方、所定の閾値を超えていると判定した場合は、前記補間手段が補間した第３のフレームデータと、前記第１のフレームデータ又は前記第２のフレームデータのうち前記補間手段が補間した期間に相当する撮影タイミングと略同じで且つ露光時間が異なるほうと、を順次合成して、ハイダイナミックレンジのフレームデータを生成する合成手段と、
   前記合成手段によって合成されたフレームデータで構成される動画を生成する動画生成手段と、
   を備えることを特徴とする動画生成装置。
2. 前記判定手段は、時間的に隣り合う第１のフレームデータ間における特定の画像領域について、変化の度合いが所定の閾値を超えているか否かを判定することを特徴とする請求項１に記載の動画生成装置。
3. 顔認識手段と、
   前記顔認識手段によって前記生成手段によって生成された第１のフレームデータ、または、第２のフレームデータに人物画像が含まれるか否かを判定する画像判定手段と、
   前記画像判定手段によって人物画像が含まれると判定すると、前記判定手段はこの人物画像を前記特定の画像領域とし、この人物画像について変化の度合いが所定の閾値を超えているか否かを判定することを特徴とする請求項２に記載の動画生成装置。
4. 前記判定手段は、時間的に隣り合う第１のフレームデータ間における画像全体の変化の度合いが所定の閾値を超えているか否かを判定することを特徴とする請求項１に記載の動画生成装置。
5. 前記合成手段によって合成されたハイダイナミックレンジのフレームデータについて、コントラスト強調処理を行う第１の処理手段を更に備えたことを特徴とする請求項１乃至４の何れかに記載の動画生成装置。
6. 前記合成手段によって合成されたハイダイナミックレンジのフレームデータについて、彩度強調処理を行う第２の処理手段を更に備えたことを特徴とする請求項１乃至４の何れかに記載の動画生成装置。
7. 撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成ステップと、
   前記生成ステップにて生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定ステップと、
   前記判定ステップでの判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータ又は第２のフレームデータと、これに隣り合う露光時間が前記判定対象のフレームデータと略等しいフレームデータとから、第３のフレームデータを生成して当該隣り合う第１のフレームデータ又は第２のフレームデータを補間する補間ステップと、
   前記判定ステップにて前記判定対象となる２つのフレームデータにおいて、画像の変化の度合いが所定の閾値を超えていないと判定した場合は、これらのフレームデータを順次合成して、一方、所定の閾値を超えていると判定した場合は、前記補間ステップにて補間された第３のフレームデータと、前記第１のフレームデータ又は前記第２のフレームデータのうち前記補間ステップにて補間された期間に相当する撮影タイミングと略同じで且つ露光時間が異なるほうと、を順次合成して、ハイダイナミックレンジのフレームデータを生成する合成ステップと、
   前記合成ステップにて合成されたフレームデータで構成される動画を生成する動画生成ステップと、
   を含むことを特徴とする動画生成方法。
8. コンピュータを、
   撮像により第１のフレームデータと、この第１のフレームデータよりも露光時間の短い、第２のフレームデータとを順次交互に生成する生成手段、
   前記生成手段によって生成される第１のフレームデータと、当該第１のフレームデータに撮影タイミングにおいて隣り合う第１のフレームデータ又は第２のフレームデータと、を含む判定対象となる２つのフレームデータにおいて、画像の変化の度合いが、所定の閾値を超えているか否かを判定する判定手段、
   前記判定手段による判定の結果、前記変化の度合いが所定の閾値を超えていると判断されると、判定対象となった第１のフレームデータ又は第２のフレームデータと、これに隣り合う露光時間が前記判定対象のフレームデータと略等しいフレームデータとから、第３のフレームデータを生成して当該隣り合う第１のフレームデータ又は第２のフレームデータを補間する補間手段、
   前記判定手段によって前記判定対象となる２つのフレームデータにおいて、画像の変化の度合いが所定の閾値を超えていないと判定した場合は、これらのフレームデータを順次合成して、一方、所定の閾値を超えていると判定した場合は、前記補間手段が補間した第３のフレームデータと、前記第１のフレームデータ又は前記第２のフレームデータのうち前記補間手段が補間した期間に相当する撮影タイミングと略同じで且つ露光時間が異なるほうと、を順次合成して、ハイダイナミックレンジのフレームデータを生成する合成手段、
   前記合成手段によって合成されたフレームデータで構成される動画を生成する動画生成手段、
   として機能させることを特徴とするプログラム。

Images