JP6797566B2 - 撮像装置、撮像装置の制御方法、および、画像処理装置 - Google Patents

Description

本発明は、画像撮影を行う撮像装置、撮像装置の制御方法、撮影画像に対して信号処理を行う画像処理装置、およびプログラムに関する。

手ブレなどによる撮影動画の変動を電子的に安定化させる技術として、従来から、撮影動画から撮影軌跡を推定し、その推定された撮影軌跡の軌跡変動が低減するように補正を行い、その補正後の撮影軌跡に対応した動画を生成する技術が提案されている。以下、補正後の撮影軌跡に対応して生成された動画を「安定化動画」と表記する。例えば、特許文献１には、撮影情報に応じて、撮影軌跡を補正するための安定化フィルタのパラメータを調整する技術が開示されている。

また、通常、安定化動画の再生速度は撮影動画の再生速度と同じであるが、撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成することで、撮影された長時間の動画を短時間のダイジェスト動画として楽しむ、といったことも盛んに行われている。以下、撮影動画の再生速度に対してＮ倍速となされた安定化動画を「Ｎ倍速安定化動画」と表記する。

特開２０１５−１２６４３６号公報

しかしながら、上述の特許文献１に開示された従来技術では、通常のデジタルカメラで撮影された長時間動画から短時間ダイジェスト動画を生成した場合、動画の各フレームにおけるブレが目立って、ブレの不快感が増大してしまう。ここで、例えば撮影者の頭部などに設置されて利用される小型カメラの場合、撮影者のフレーミング動作が無くても周囲の状況を撮影できるように広角レンズが装着されていることが多いため、動画の各フレーム画像のブレは少ない。

一方、通常のデジタルカメラでは、例えば撮影者の頭部等に設置される小型カメラよりも長い焦点距離の標準画角レンズが装着されていることが多く、この場合、動画の各フレームのブレが大きくなる。また、通常のデジタルカメラで撮影された動画からＮ倍速安定化動画を生成した場合には、ブレの不快感が更に増大してしまい、許容できないレベルになってしまうことがある。

そこで、本発明は、ブレによる不快感を低減できる動画の撮像を可能にすることを目的とする。

本発明は、撮像部と、前記撮像部による撮像を制御する制御手段と、を有し、前記制御手段は、前記撮像部に対し、第１の露光時間による第１のフレーム画像の撮像の合間に前記第１の露光時間より短い第２の露光時間による撮像を所定周期毎に行わせて、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成するレンダリング処理に用いる第２のフレーム画像を撮像させて、前記第１のフレーム画像及び前記第２のフレーム画像により構成される動画を出力させ、前記第２の露光時間については前記撮像部が備える光学系のレンズの焦点距離に応じて制御することを特徴とする。

本発明によれば、ブレによる不快感を低減できる動画の撮像が可能になる。

第１の実施形態のデジタルカメラの概略的な機能構成を示す図である。 第１の実施形態の撮像部の露光時間制御の説明に用いる図である。 画像処理部の概略的な機能構成を示す図である。 フレーム画像間の変動量検出の説明に用いる図である。 通常速安定化動画生成の際のカメラ軌跡の補正の説明に用いる図である。 通常速安定化動画生成の際のレンダリングの説明に用いる図である。 動きブレ付与部の概略的な機能構成を示す図である。 動きブレ付与部の動作説明に用いる図である。 Ｎ倍速安定化動画生成の際のカメラ軌跡の補正の説明に用いる図である。 Ｎ倍速安定化動画生成の際のレンダリングの説明に用いる図である。 焦点距離に応じた露光時間制御の説明に用いる図である。 第２の実施形態のデジタルカメラの概略的な機能構成を示す図である。 第２の実施形態の撮像部の露光時間制御の説明に用いる図である。 画像変動量に応じた露光時間制御の説明に用いる図である。 画像変動量に応じた露光時間の切り替え制御の説明に用いる図である。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
本実施形態の撮像装置及び画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどに適用可能である。本実施形態では、撮像装置及び画像処理装置の一例として、デジタルカメラへの適用例を挙げて説明する。また、本実施形態のデジタルカメラは、撮影した動画から手ブレ等に起因する撮影画像のブレを安定化させた安定化動画を生成する機能を有している。さらに、本実施形態のデジタルカメラは、撮影した動画から短時間のダイジェスト動画を生成する機能を有している。ダイジェスト動画は、撮影動画の再生速度に対してＮ倍速（Ｎは整数）に相当する安定化動画として生成される。以下、撮影動画と同じ再生速度の安定化動画を通常速安定化動画と表記し、撮影動画の再生速度に対してＮ倍速の安定化動画をＮ倍速安定化動画と表記する。本実施形態では、撮影動画が第１の動画、Ｎ倍速安定化動画が第２の動画、通常速安定化動画が第３の動画の一例である。

＜第１の実施形態＞
図１は、第１の実施形態のデジタルカメラ１００の概略的な機能構成を示す図である。
図１において、ＲＯＭ１０２は、デジタルカメラ１００が備える各部の動作プログラムや、各部の動作に必要なパラメータ、設定値等のデータを記憶した、書き換え可能な不揮発性メモリである。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、ＲＯＭ１０２から読み出された動作プログラムが展開される。また、ＲＡＭ１０３は、撮影された動画等のデータや通常速安定化動画のデータ、Ｎ倍速安定化動画のデータ等の一時記憶の他、デジタルカメラ１００が備える各部が用いるデータ等を一時的に記憶する記憶領域としても用いられる。

制御部１０１は、例えばＣＰＵであり、ＲＯＭ１０２から動作プログラムを読み出してＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００が備える各部の動作を制御する。

光学系１０４は、レンズや絞り、シャッター等を有して構成されている。撮像部１０５は、ＣＭＯＳセンサ等の撮像センサであり、光学系１０４により撮像センサの撮像面上に結像された光学像を光電変換して得られたアナログ画像信号を、Ａ／Ｄ変換部１０６に出力する。なお、動画撮影が行われている場合、撮像部１０５では連続的な撮像が行われ、撮像部１０５から出力されるアナログ画像信号は動画を構成する各フレームの画像信号となる。Ａ／Ｄ変換部１０６は、入力された動画の各フレームのアナログ画像信号にＡ／Ｄ（アナログ／デジタル）変換処理を行う。Ａ／Ｄ変換部１０６から出力される各フレームのデジタル画像データは、本実施形態に係る第１の動画データとしてＲＡＭ１０３に記憶される。

記録媒体１０８は、着脱可能なメモリカード等である。記録媒体１０８には、Ａ／Ｄ変換部１０６でＡ／Ｄ変換されてＲＡＭ１０３に一時記憶されている動画データや、画像処理部１０７で後述するような処理が行われてＲＡＭ１０３に一時記憶されている動画データなどが、記録動画データとして記録される。

画像処理部１０７は、ＲＡＭ１０３に記憶された第１の動画データから、撮影がなされた際の撮影軌跡を推定して、その推定した撮影軌跡の軌跡変動を低減するような補正処理を行い、その補正後の撮影軌跡に対応した第２の動画データを生成する。本実施形態では、第２の動画データが安定化動画のデータとなる。詳細は後述するが、本実施形態の場合、画像処理部１０７は、安定化動画として、通常安定化動画とＮ倍速安定化動画を生成可能となされている。なお、画像処理部１０７は、例えば他の撮像装置等により撮像されて記録媒体１０８に記憶されている動画データや、ネットワーク等を介して取得された動画データから安定化動画を生成することも可能となされている。

図２は、図１の制御部１０１による撮像部１０５の露光時間制御の説明に用いる図であり、動画のフレーム番号１〜１２１までの各フレームにおける露光時間を表している。各フレームの露光時間は、撮像センサの光電変換素子の電荷がリセットされる行リセットタイミング２０１から、蓄積された電荷が読み出される行読み出しタイミング２０２までの期間である。また、本実施形態において、撮像部１０５から出力される動画のフレームレートは、例えば６０ｆｐｓ（フレーム／秒）であるとする。ここで、本実施形態の場合、動画の撮像の際には、第１の露光時間による第１のフレーム画像の撮像が６０ｆｐｓで連続的に行われるが、所定周期毎に１回、第１の露光時間より短い第２の露光時間による第２のフレーム画像が撮像される。本実施形態では、一例として、第１の露光時間は１／６０秒、第２の露光時間は１／５００秒となされ、所定周期は例えば６０フレームに１回の周期となされている。図２の例では、フレーム番号６０と１２０のフレームが１／５００秒の第２の露光時間による第２のフレームとなされ、それ以外は１／６０秒の第１の露光時間による第１のフレームとなっている。

図３は、図１の画像処理部１０７の概略的な構成例を示す図である。入力動画データ３０８は、例えば撮像部１０５により撮像されてＲＡＭ１０３に一時的に記憶された後に読み出された、前述の図２で説明した第１の動画データである。入力動画データ３０８は、カメラ軌跡推定部３０１及びレンダリング部３０３と、カメラ軌跡推定部３０５及びレンダリング部３０７とに送られる。

詳細については後述するが、カメラ軌跡推定部３０１とカメラ軌跡補正部３０２とレンダリング部３０３とからなる構成は、入力動画データ３０８から通常速安定化動画データを生成する。動きブレ付与部３０４は、通常速安定化動画の各フレーム画像のうち、前述した露光時間が１／５００秒の第２のフレーム画像に対しては、１／６０秒のフレーム画像のブレに相当する動きブレを付与して出力する。なお、動きブレ付与部３０４は、露光時間が１／６０秒の第１のフレーム画像についてはそのまま出力する。動きブレ付与部３０４から出力された通常速安定化動画データ３０９は、例えばＲＡＭ１０３に一時的に記憶された後に読み出されて例えば記録媒体１０８に記録される。通常速安定化動画を生成する手法としては、例えば特許文献１に開示されているような手法を用いることができる。

また詳細は後述するが、カメラ軌跡推定部３０５とカメラ軌跡補正部３０６とレンダリング部３０７とからなる構成は、入力動画データ３０８からＮ倍速安定化動画データ３１０を生成する。Ｎ倍速安定化動画データ３１０は、例えばＲＡＭ１０３に一時的に記憶された後に読み出されて例えば記録媒体１０８に記録される。

以下、図４、図５（ａ）〜図５（ｃ）、図６を用いて、カメラ軌跡推定部３０１とカメラ軌跡補正部３０２とレンダリング部３０３とからなる構成による通常速安定化動画の生成動作について説明する。
カメラ軌跡推定部３０１は、図４に示すように、時間軸上で隣接した現フレーム画像４０１（フレーム番号ｎ）と次フレーム画像４０２（フレーム番号ｎ＋１）の絵柄のマッチング処理を行って画像間の動き量を求め、それら画像間の画像変動量ａｘを検出する。

図５（ａ）は、カメラ軌跡推定部３０１がフレーム毎に検出した画像変動量ａｘを、フレーム番号順に時系列に並べた図である。図５（ａ）のフレーム毎の画像変動量ａｘは、それぞれ１本の矢印で表現されているが、この１本の矢印で水平及び垂直の２成分の画像変動量を表現するものとする。そして、カメラ軌跡推定部３０１は、図５（ａ）に示した各フレームの画像変動量ａｘを時間方向に累積して、図５（ｂ）に示すような累積画像変動量ｐを求める。この累積画像変動量ｐは、各フレーム画像が撮像されたときのカメラの撮影軌跡に相当する。カメラ軌跡推定部３０１は、この累積画像変動量ｐ（カメラ軌跡）の情報を、カメラ軌跡補正部３０２に出力する。

カメラ軌跡補正部３０２は、図５（ｂ）に示した累積画像変動量ｐに対し、１フレーム毎の変化が滑らかになるように安定化フィルタ処理を施して、図５（ｃ）に示すような補正カメラ軌跡Ｐを生成する。カメラ軌跡補正部３０２により生成された補正カメラ軌跡Ｐの情報は、レンダリング部３０３に送られる。

レンダリング部３０３は、入力動画データ３０８のフレーム毎に、図５（ｃ）の補正カメラ軌跡Ｐに応じた画角領域の画像を、そのフレーム画像内から読み出し、その読み出された画像を通常速安定化動画のフレーム画像とするようなレンダリング処理を行う。具体的には、レンダリング部３０３は、図６に示すように、フレーム番号ｎのフレーム画像６０１から、そのフレーム番号ｎの補正カメラ軌跡Ｐに応じた図中点線で示す画角領域の画像６０２を読み出す。そして、レンダリング部３０３は、この読み出された画像６０２を、通常速安定化動画のフレーム番号ｎのフレーム画像６０３とする。同様に、レンダリング部３０３は、フレーム番号ｎ＋１のフレーム画像６１１から、そのフレーム番号ｎ＋１の補正カメラ軌跡Ｐに応じた図中点線で示す画角領域の画像６１２を読み出す。この読み出された画像６１２が、通常速安定化動画のフレーム番号ｎ＋１のフレーム画像６１３となされる。フレーム番号ｎ＋２のフレーム画像６２１についても同様に、補正カメラ軌跡Ｐに応じた画角領域の画像６２２が読み出されて、それが通常速安定化動画のフレーム番号ｎ＋２のフレーム画像６２３となされる。以下、図示しないフレーム番号ｎ＋３以降の各フレーム画像についても同様の処理を行うことにより、通常速安定化動画データが生成される。このように、レンダリング部３０３は、入力動画データ３０８から、補正カメラ軌跡Ｐに対応した通常速安定化動画を再構成するようなレンダリング処理を行う。レンダリング部３０３から出力された通常速安定化動画データは、図３の動きブレ付与部３０４に送られる。

図７は、動きブレ付与部３０４の概略的な構成例を示す図である。
図７の動きブレ付与部３０４には、レンダリング部３０３から出力された通常速安定化動画データ７０５が入力される。この通常速安定化動画データ７０５は、動きベクトルマップ生成部７０１とフレーム補間部７０２とフレーム選択部７０４とに送られる。

動きベクトルマップ生成部７０１は、現フレーム（例えばフレーム番号ｎ）と前フレーム（フレーム番号ｎ−１）の画像間の絵柄を、それらフレーム内の局所領域毎にマッチングさせて、それら画像間の画素毎の変動量（動きベクトル）を検出する。動きベクトルマップ生成部７０１による変動量の検出動作の詳細は後述する。動きベクトルマップ生成部７０１により検出された画素毎の変動量（動きベクトル）の情報は、フレーム補間部７０２に送られる。

フレーム補間部７０２は、現フレームの画像と前フレームの画像とを用い、画素毎の変動量に応じた補間処理を行って、それら現フレームと前フレームとの間を時間分割した各分割時間に対応した複数の中間フレーム画像を生成する。フレーム補間部７０２による複数の中間フレーム画像の生成動作の詳細は後述する。フレーム補間部７０２がフレーム補間により生成した複数の中間フレーム画像のデータは、合成部７０３に送られる。

合成部７０３は、フレーム補間により生成された複数の中間フレーム画像を加算平均して動きブレ付与フレーム画像を生成する。動きブレ付与フレーム画像は、第３のフレーム画像の一例である。合成部７０３により生成された動きブレ付与フレーム画像のデータは、フレーム選択部７０４に送られる。

フレーム選択部７０４は、通常速安定化動画データ７０５の動画の各フレーム画像のうち、露光時間が１／６０秒の第１のフレーム画像のデータについてはそのまま選択して出力する。一方、フレーム選択部７０４は、通常速安定化動画データ７０５の動画の各フレームのうち、露光時間が１／５００秒の第２のフレーム画像については、合成部７０３で生成された動きブレ付与フレーム画像のデータを選択して出力する。このフレーム選択部７０４の出力データ７０６が、図３で説明した通常速安定化動画データ３０９となる。

図８（ａ）〜図８（ｄ）は、図７に示した動きブレ付与部３０４の動作の説明に用いる図である。
図８（ａ）は、図７の通常速安定化動画データ７０５の現フレーム（フレーム番号ｎ）のフレーム画像８０１と、現フレームに対して１フレーム分の時間だけ前のフレーム（フレーム番号ｎ−１）のフレーム画像８０２の例を示している。また、フレーム画像８０１は露光時間が１／５００秒の第２のフレーム画像であり、フレーム画像８０２は露光時間が１／６０秒の第１のフレーム画像であるとする。フレーム画像８０１内の実線で示された画像８０３は、現フレームにおける被写体像であるとする。同様に、フレーム画像８０２内の実線で示された画像８０４は前フレームにおける被写体像であるとする。また、前フレームの被写体像（画像８０４）を現フレームのフレーム画像８０１内に描いた場合、その画像８０４の位置は、図中点線で示される位置になるとする。なお、図８（ａ）の例の場合、被写体は例えば図の右から左に水平方向に移動しており、したがって、現フレームの被写体像８０３は、前フレームの被写体像８０４に対して左に例えば８画素分だけ水平方向にずれた位置にあるとする。

図７の動きベクトルマップ生成部７０１は、現フレームと前フレームの画像間で、フレーム内の局所領域毎に絵柄をマッチングさせ、それら画像間の画素毎の動きベクトル（変動量）を検出して、現フレームの動きベクトルマップを生成する。ここで、本実施形態の場合、動きベクトルマップ生成部７０１は、現フレームの動きベクトルマップを、例えば符号なしの８ビットのＲＧＢ画像形式のデータとして出力する。具体的には、動きベクトルマップ生成部７０１は、Ｒ画像が動きベクトルのＸ成分を表し、Ｇ画像が動きベクトルのＹ成分を表し、Ｂ画像が未使用となされた、動きベクトルマップを生成する。この動きベクトルマップにおいて、例えば、Ｒ画像の画素値の"１２８"はＸ成分の動きなしを表し、画素値の"１２７"以下は負のＸ成分、画素値の"１２９"以上は正のＸ成分を表しているとする。同様に、Ｇ画像の画素値の"１２８"はＹ成分の動きなし、画素値の"１２７"以下は負のＹ成分、画素値の"１２９"以上は正のＹ成分を表しているとする。

図８（ｂ）は、図７の動きベクトルマップ生成部７０１の出力例を示しており、図８（ａ）に示した現フレームのフレーム画像８０１における動きベクトルマップの例を表している。ここで、図８（ａ）で説明したように、現フレームの被写体像８０３は、前フレームの被写体像８０４に対して左に８画素分だけ水平方向にずれるように移動した像となっている。このため、現フレームのフレーム画像８０１内の被写体像８０３の動きベクトルは、水平方向であるＸ成分が"８"で垂直方向のＹ成分が"０"の、ベクトル（８，０）となる。したがって、図８（ａ）のフレーム画像８０１の場合の動きベクトルマップは、図８（ｂ）に示すように、被写体像８０３においては、Ｒ画像８０５の画素値が"１３６"（＝１２８＋８）、Ｇ画像８０６の画素値が"１２８"（＝１２８＋０）となる。なお、被写体像８０３を除く背景領域の動きベクトルはＸ成分が"０"でＹ成分が"０"のベクトル（０，０）であるとする。この背景領域においては、Ｒ画像８０５の画素値が"１２８"（＝１２８＋０）、Ｇ画像８０６の画素値が"１２８"（＝１２８＋０）となる。Ｂ画像８０７は未使用となされているが、本実施形態では、Ｂ画像８０７の画像全面にわたって画素値が"１２８"に設定されているとする。

図８（ｃ）は、図７のフレーム補間部７０２の出力例を示している。本実施形態では、露光時間が１／５００秒の第２のフレーム画像に対して動きブレを付与するようになされているため、現フレーム画像が第２のフレーム画像である場合、この現フレームに対してフレーム補間処理が行われることになる。また、１／５００秒の露光時間の８倍は８／５００＝１／６２．５秒≒１／６０秒となり、本実施形態では、この８／５００≒１／６０秒を、フレーム補間処理の際の目標の露光時間とする。そして、フレーム補間部７０２は、図８（ｃ）に示すように、前フレームが撮像された時から現フレームが撮像された時までの間の時間を、目標の露光時間に応じて時間分割する。さらに、フレーム補間部７０２は、各分割時間に各々対応した各中間フレーム画像を、前述した動きベクトルマップの動きベクトルに応じた補間処理により生成する。図８（ｃ）は、各分割時間に対応した各中間フレーム画像として、フレーム画像８０８からフレーム画像８１４までの７フレームの画像例を示している。なお、フレーム画像８０８からフレーム画像８１４は、フレーム画像８０８が現フレーム画像８０１に最も時間的に近い画像で、以下、フレーム画像８０９，８１０，・・・，８１４の順に前フレーム画像８０２に近くなっているとする。８個目のフレーム画像は現フレーム画像８０１となる。ここで、フレーム補間部７０２は、動きベクトルマップ（Ｒ画像８０５、Ｇ画像８０６、Ｂ画像８０７）を参照することで、被写体像８０３に対して右に８画素ずれた位置に被写体像８０４がいることが分かっている。したがって、フレーム補間部７０２は、被写体像８０３を水平方向の右に１画素（＝８画素／８等分）ずつずらすようにして補間処理を行い、各中間フレーム画像８０８〜８１４におけるそれぞれの被写体像８１５〜８２１を生成する。フレーム補間部７０２からは、この図８（ｃ）に示したような各中間フレーム画像８０８〜８１４のデータが出力されて、図７の合成部７０３に送られる。

図７の合成部７０３は、図８（ｄ）に示すように、それら中間フレーム画像８０８〜フレーム画像８１４の７フレーム画像に、現フレーム画像８０１を合わせた８フレームの画像を合成することにより、動きブレ付与フレーム画像８２２を生成する。

図７の動きブレ付与部３０４は、前述のような処理を行うことにより、６０フレームに１回だけ挿入されている１／５００秒のフレームに対し、１／６０秒相当の動きブレを付与することが可能となる。これにより、通常速安定化動画は、１／５００秒の第２のフレーム画像と、それ以外の１／６０秒の第１のフレーム画像との間の動きブレの違いによる違和感が解消された動画となる。

以下、図９（ａ）〜図９（ｄ）、図１０、図１１を用いて、図３のカメラ軌跡推定部３０５とカメラ軌跡補正部３０６とレンダリング部３０７からなる構成によるＮ倍速安定化動画の生成動作について説明する。

カメラ軌跡推定部３０５は、前述した図４で説明したのと同様に、時間軸上で隣接した現フレーム（フレーム番号ｎ）と次フレーム（フレーム番号ｎ＋１）の絵柄をマッチングさせてフレーム画像間の画像変動量ａｘ（画像の動き量）を検出する。

図９（ａ）は、カメラ軌跡推定部３０５がフレーム毎に検出した画像変動量ａｘを、フレーム番号順に時系列に並べた図である。図９（ａ）のフレーム毎の画像変動量ａｘは、図５（ａ）の例と同様に、それぞれ１本の矢印で表現されているが、この１本の矢印で水平及び垂直の２成分の画像変動量を表現するものとする。カメラ軌跡推定部３０５は、図９（ａ）に示した各フレームの画像変動量ａｘを時間方向に累積して、図９（ｂ）に示すような累積画像変動量ｐを求める。この累積画像変動量ｐは、前述の図５（ｂ）と同様に各フレームの画像撮影が行われたときのカメラの撮影軌跡に相当する。

ここで、カメラ軌跡推定部３０５は、図９（ｂ）に示した累積画像変動量ｐから、図９（ｃ）に示すような長時間にわたる累積画像変動量Ｌｐを求める。なお、図９（ｃ）の累積画像変動量Ｌｐは、長時間にわたって図９（ｂ）の累積画像変動量ｐを求めた結果を表しているものである。図９（ｃ）では、６０フレームに１回挿入される１／５００秒の露光時間による第２のフレームが図中黒丸で示され、１／６０秒の露光時間の各第１のフレームが図中実線で示されている。カメラ軌跡推定部３０５は、この図９（ｃ）に示したような累積画像変動量Ｌｐの情報を、カメラ軌跡補正部３０６に出力する。

カメラ軌跡補正部３０６は、図９（ｃ）に示した累積画像変動量Ｌｐに対し、露光時間が１／５００秒の第２のフレーム毎の変化が滑らかになるように安定化フィルタ処理を施して、図９（ｄ）に示すような補正カメラ軌跡ＬＰを生成する。カメラ軌跡補正部３０６により生成された補正カメラ軌跡ＬＰの情報は、レンダリング部３０７に送られる。

レンダリング部３０７は、入力動画データ３０８から、補正カメラ軌跡ＬＰに対応したＮ倍速安定化動画を再構成するようなレンダリング処理を行う。すなわち、レンダリング部３０７は、入力動画データ３０８の中で露光時間が１／５００秒の第２のフレーム毎に、図９（ｄ）の補正カメラ軌跡ＬＰに応じた画角領域の画像を読み出してＮ倍速安定化動画のフレーム画像とするレンダリング処理を行う。ここで、例えば図１０に示すように、フレーム番号ｎ、フレーム番号ｎ＋６０、フレーム番号ｎ＋１２０、・・・が、それぞれ１／５００秒の露光時間の第２のフレームであるとする。この例の場合、レンダリング部３０７は、フレーム番号ｎのフレーム画像１００１から、そのフレーム番号ｎの補正カメラ軌跡ＬＰに応じた図中点線で示す画角領域の画像１００２を読み出す。そして、レンダリング部３０７は、この読み出された画像１００２を、Ｎ倍速安定化動画のフレーム番号ｎのフレーム画像１００３とする。同様に、レンダリング部３０７は、フレーム番号ｎ＋６０のフレーム画像１０６１から、そのフレーム番号ｎ＋６０の補正カメラ軌跡ＬＰに応じた図中点線で示す画角領域の画像１０６２を読み出す。この読み出された画像１０６２が、Ｎ倍速安定化動画のフレーム画像６１３（フレーム番号ｎ＋６０）となされる。フレーム番号ｎ＋１２０のフレーム画像１１２１についても同様に、補正カメラ軌跡ＬＰに応じた画角領域の画像１１２２が読み出されて、それがＮ倍速安定化動画のフレーム画像１１２３（フレーム番号ｎ＋１２０）となされる。以下、図示しないフレーム番号ｎ＋１８０以降の各フレーム画像についても同様の処理を行うことにより、Ｎ倍速安定化動画データが生成される。

このように、Ｎ倍速安定化動画を生成する際には、露光時間が１／５００秒の第２のフレーム画像のみが用いられる。露光時間が１／５００秒のように高速シャッタースピードで撮像された第２のフレーム画像は、画像のブレが少ない。このため、それら１／５００秒の露光時間のフレームのみから形成されるＮ倍速安定化動画は、画像のブレが少なく、動画のブレの不快感が非常に少ない動画となる。

前述の実施形態では、６０フレーム毎に１回挿入される第２のフレーム画像の第２の露光時間が１／５００秒の画像となされているが、例えば、図１の光学系１０４のレンズの焦点距離ｆに応じて、第２のフレーム画像の第２の露光時間が制御されてもよい。

図１１は、所定周期毎（６０フレーム毎）に１回挿入される第２のフレーム画像における第２の露光時間Ｔｖと、光学系１０４のレンズの焦点距離ｆとの関係を説明するための図である。この図１１に示すように、制御部１０１は、焦点距離ｆが長い場合には、第２のフレーム画像の露光時間Ｔｖを短くし、焦点距離ｆが短くなるにつれて、第２のフレーム画像の露光時間Ｔｖを長くするように、撮像部１０５を制御する。なお、焦点距離ｆに応じて第２の露光時間Ｔｖを変更する場合、その第２の露光時間Ｔｖの長さは、第１の露光時間を長さの上限とし、第１の露光時間より長くしないように制御される。

ここで、例えばレンズの焦点距離ｆが短い場合には、第２のフレーム画像の露光時間Ｔｖを長くしても、そのときの第２のフレーム画像に生ずるブレの量は少ないので、前述のようにして生成されるＮ倍速安定化動画のブレの不快感が増大することはない。一方で、第２のフレームの露光時間Ｔｖを長くした場合、通常速安定化動画の生成の際に付与される動きブレ付与フレームの数（補間フレームの数）を抑えることができる。例えば、第２の露光時間Ｔｖが１／５００秒の場合には前述したように７（＝５００／６０−１）フレームの補間フレームが必要になるが、第２の露光時間Ｔｖが１／１２５秒の場合には補間フレーム数は１（＝１２５／６０−１）フレームに抑えることができる。そして、生成する補間フレーム数が少なくなれば、補間フレームを生成する際の動きブレ付与部３０４の消費電力を抑えることが可能となる。このように、図１の光学系１０４のレンズの焦点距離ｆに応じて、第２のフレーム画像の露光時間Ｔｖを制御することにより、Ｎ倍速安定化動画のブレの不快感の低減や、通常速安定化動画生成の際の消費電力の低減が可能となる。

＜第２の実施形態＞
図１２は、第２の実施形態のデジタルカメラ１２００の概略的な機能構成を示す図である。図１２において、制御部１０１〜記録媒体１０８は前述の図１と同様のものであるため、それらの詳細な説明は省略する。

第２の実施形態のデジタルカメラ１２００において、光学系１２０１は、レンズや絞り、シャッター等を有して構成されており、第２の実施形態の場合にはレンズは単焦点レンズであるとする。また、第２の実施形態の場合、画像変動量検出部１２０２が、前述の図４で説明したのと同様にして、時間軸上で隣接したフレーム間の絵柄のマッチング処理により、被写体像等の動き量を検出して画像変動量を求める。

図１３は、第２の実施形態のデジタルカメラ１２００における露光時間制御の説明に用いる図であり、前述の図２の例と同様に動画のフレーム番号１〜１２１までの各フレームにおける露光時間を表している。また、図１３の例でも前述の図２と同様に、各フレームの露光時間は、撮像センサの光電変換素子の電荷がリセットされる行リセットタイミング２０１から、蓄積された電荷が読み出される行読み出しタイミング２０２までの期間である。撮像部１０５から出力される動画のフレームレートは６０ｆｐｓ（フレーム／秒）であるとする。

ここで、第２の実施形態の場合、第２のフレーム画像における第２の露光時間Ｔｖは、その第２のフレーム画像の直前の第１のフレーム画像について画像変動量検出部１２０２が検出した被写体像等の動き量、つまり画像変動量の大きさＭｖに応じて制御される。

図１４は、第２のフレーム画像における第２の露光時間Ｔｖと、その直前の第１のフレーム画像で検出された画像変動量の大きさＭｖとの関係を説明するための図である。この図１４に示すように、制御部１０１は、直前の第１のフレーム画像から検出された画像変動量の大きさＭｖが大きい場合には、第２のフレーム画像における第２の露光時間を短くするように、撮像部１０５を制御する。一方、制御部１０１は、直前の第１のフレームの画像変動量の大きさＭｖが小さくなるにつれて、第２のフレーム画像における第２の露光時間Ｔｖを長くするように、撮像部１０５を制御する。なお、第２の露光時間Ｔｖを変更する場合、その第２の露光時間Ｔｖの長さは、第１の露光時間を長さの上限とし、第１の露光時間より長くしないように制御される。このように、第２の実施形態では、直前の第１のフレーム画像の画像変動量の大きさＭｖが大きい場合は、第２のフレーム画像の第２の露光時間Ｔｖを短くすることで、フレーム画像のブレを小さくする。一方、直前の第１のフレーム画像の画像変動量の大きさＭｖが小さい場合には、第２のフレーム画像の第２の露光時間Ｔｖは長くなるが、このときの画像変動量は小さいので、そのフレーム画像のブレは小さい。

また、第２の実施形態において、制御部１０１は、第２のフレーム画像が挿入される所定周期を制御するようにしてもよい。具体的には、制御部１０１は、第２のフレーム画像の第２の露光時間Ｔｖを、図１５に示すように１／５００秒と１／６０秒の２種類を切り替えることにより、第２のフレーム画像が挿入される所定周期を制御する。例えば、直前の第１のフレーム画像の画像変動量の大きさＭｖが例えば閾値以下になる場合には、そのフレームの次のフレーム（第２のフレーム）に対する露光時間を、第１の露光時間と同じ１／６０秒の露光時間Ｔｖを用いるようにする。図１５の例の場合、画像変動量の大きさＭｖが、閾値の一例として設定されている１２画素分以下（Ｍｖ≧１２画素）になった場合、次のフレームの露光時間が１／６０秒の露光時間Ｔｖになされる。この場合、実質的に第２のフレーム画像の挿入が１回分キャンセルされることになるため、第２のフレーム画像の挿入間隔、つまり所定周期が伸ばされたことになる。すなわち、直前の第１のフレーム画像の画像変動量の大きさＭｖが小さい場合は、第２のフレーム画像の挿入時間間隔（所定周期）を伸ばすような制御が行われることになる。直前の第１のフレーム画像の画像変動量の大きさＭｖが小さい場合には、次のフレーム画像の画像変動量も小さい可能性が高く、露光時間Ｔｖを長くしたとしても、そのフレーム画像のブレは目立たない。このため、生成されるＮ倍速安定化動画のブレの不快感が増大することはない。また、直前の第１のフレーム画像の画像変動量の大きさＭｖが大きい場合だけ、第２のフレームの第２の露光時間Ｔｖが短く制御されるので、通常速安定化動画生成の際には、動きブレ付与で生成する補間フレーム数を低減でき、消費電力の低減が可能となる。

第２の実施形態では、画像変動量の大きさＭｖに応じて、第２の露光時間Ｔｖの制御、第２のフレーム画像が挿入される所定周期の制御をそれぞれ行う例を挙げたが、これらは組み合わされて両方が行われてもよい。また、第２の実施形態において、前述の第１の実施形態で説明した焦点距離ｆに応じた第２の露光時間の制御を組み合わせることも可能である。

＜その他の実施形態＞
前述の第１、第２の実施形態では、６０フレーム毎に１回、１／５００秒のような露光時間が短い第２のフレーム画像を挿入し、その挿入された第２のフレーム画像を用いてＮ倍速安定化動画を生成する例を挙げた。このため、前述したＮ倍速は６０倍速となるが、例えば３フレーム毎に１回、第２のフレーム画像を挿入するようにした場合には、その３フレームに１回の第２のフレーム画像を用いて３倍速安定化動画を生成することができる。また、３フレームに１回の各第２のフレーム画像のうち、例えば一つおきの第２のフレーム画像を用いるようにすれば６倍速安定化動画を生成でき、例えば二つおきの第２のフレーム画像を用いるようにすれば９倍速安定化動画を生成できる。このように、Ｎフレームに１回、第２のフレーム画像を挿入した場合、Ｎの倍数の倍速安定化動画を生成することができる。なお、Ｎフレームに１回、第２のフレーム画像を挿入する際の「Ｎ」の値については、例えばユーザが任意に設定することも可能である。

また、前述の実施形態では、デジタルカメラ１００の画像処理部１０７が通常速安定化動画やＮ倍速安定化動画のような第２の動画を生成している例を挙げたが、第２の動画は外部の画像処理装置により生成されてもよい。この場合、デジタルカメラ１００は、第１のフレーム画像と第２のフレーム画像により構成される第１の動画を出力する。そして、外部の画像処理装置は、前述の画像処理部１０７と同様の処理により、第１の動画から撮影軌跡を推定してその変動を補正して第２の動画を生成する。

また、前述の第１、第２の実施形態では、ハードウェア構成を例示したが、前述の図１の画像処理部１０７、図１２の画像処理部１０７や画像変動量検出部１２０２等の機能を、例えばＣＰＵがプログラムの実行により実現することも可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００，１２００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４，１２０１：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録媒体、１２０２：画像変動量検出部

Claims (18)

1. 撮像部と、
   前記撮像部による撮像を制御する制御手段と、を有し、
   前記制御手段は、
   前記撮像部に対し、第１の露光時間による第１のフレーム画像の撮像の合間に前記第１の露光時間より短い第２の露光時間による撮像を所定周期毎に行わせて、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成するレンダリング処理に用いる第２のフレーム画像を撮像させて、前記第１のフレーム画像及び前記第２のフレーム画像により構成される動画を出力させ、
   前記第２の露光時間については前記撮像部が備える光学系のレンズの焦点距離に応じて制御する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記焦点距離が短いほど、前記第２の露光時間を長く制御することを特徴とする請求項１に記載の撮像装置。
3. 撮像部と、
   前記撮像部による撮像を制御する制御手段と、を有し、
   前記制御手段は、
   前記撮像部に対し、第１の露光時間による第１のフレーム画像の撮像の合間に前記第１の露光時間より短い第２の露光時間による撮像を所定周期毎に行わせて、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成するレンダリング処理に用いる第２のフレーム画像を撮像させて、前記第１のフレーム画像及び前記第２のフレーム画像により構成される動画を出力させ、
   前記第２の露光時間については撮像された被写体像の動き量に応じて制御する
   ことを特徴とする撮像装置。
4. 前記制御手段は、前記動き量が小さいほど、前記第２の露光時間を長く制御することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記第２の露光時間を長く制御する際には、前記第１の露光時間を上限とした制御を行うことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記制御手段は、撮像された被写体像の動き量に応じて、前記第２のフレーム画像を撮像させる前記所定周期を制御することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記制御手段は、前記動き量が小さいほど、前記所定周期を長く制御することを特徴とする請求項６に記載の撮像装置。
8. 前記第１のフレーム画像及び前記第２のフレーム画像により構成される第１の動画から、前記第１の動画の撮像がなされた際の撮影軌跡を推定する推定手段と、
   前記第１の動画の前記撮影軌跡の変動を低減させるように補正する補正手段と、
   前記補正された撮影軌跡に対応した第２の動画を、前記第１の動画の前記第２のフレーム画像を用いた前記レンダリング処理により生成する処理手段と、を有することを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
9. 前記推定手段は、前記第１の動画の前記第１のフレーム画像及び前記第２のフレーム画像を用いて前記撮影軌跡を推定することを特徴とする請求項８に記載の撮像装置。
10. 前記処理手段は、前記補正された撮影軌跡に対応した第３の動画を、前記第１の動画の前記第１のフレーム画像及び前記第２のフレーム画像を用いて生成することを特徴とする請求項８又は９に記載の撮像装置。
11. 前記処理手段は、前記第３の動画の前記第２のフレーム画像に対し、前記第１のフレーム画像の動きブレに相当する動きブレを付与した第３のフレーム画像を生成して、前記第１のフレーム画像及び前記第３のフレーム画像により構成される前記第３の動画を出力することを特徴とする請求項１０に記載の撮像装置。
12. 前記処理手段は、時間軸上で隣接した前記第１のフレーム画像と前記第２のフレーム画像から検出される画素毎の変動量を、前記第１のフレーム画像の前記動きブレとして求めることを特徴とする請求項１１に記載の撮像装置。
13. 前記処理手段は、時間軸上で隣接した前記第１のフレーム画像と前記第２のフレーム画像との間の時間を、目標の露光時間に応じて時間分割し、前記第２のフレーム画像から、前記画素毎の変動量に応じた補間処理により各分割時間に対応した複数の中間フレーム画像を生成し、前記複数の中間フレーム画像を合成して前記第３のフレーム画像を生成することを特徴とする請求項１２に記載の撮像装置。
14. 撮像部の露光時間を制御する制御ステップと、
    前記制御ステップにより制御された露光時間で前記撮像部に撮像を行わせる撮像ステップと、を含み、
    前記制御ステップでは、
    前記撮像部に対し、第１の露光時間による第１のフレーム画像の撮像の合間に前記第１の露光時間より短い第２の露光時間による撮像を所定周期毎に行わせて、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成するレンダリング処理に用いる第２のフレーム画像を撮像させて、前記第１のフレーム画像及び前記第２のフレーム画像により構成される動画を出力させ、
    前記第２の露光時間については前記撮像部が備える光学系のレンズの焦点距離に応じて制御する
    ことを特徴とする撮像装置の制御方法。
15. 撮像部の露光時間を制御する制御ステップと、
    前記制御ステップにより制御された露光時間で前記撮像部に撮像を行わせる撮像ステップと、を含み、
    前記制御ステップでは、
    前記撮像部に対し、第１の露光時間による第１のフレーム画像の撮像の合間に前記第１の露光時間より短い第２の露光時間による撮像を所定周期毎に行わせて、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成するレンダリング処理に用いる第２のフレーム画像を撮像させて、前記第１のフレーム画像及び前記第２のフレーム画像により構成される動画を出力させ、
    前記第２の露光時間については撮像された被写体像の動き量に応じて制御する
    ことを特徴とする撮像装置の制御方法。
16. 第１の露光時間により撮像された複数の第１のフレーム画像と、前記第１のフレーム画像の撮像の合間に前記第１の露光時間より短い第２の露光時間による撮像が所定周期毎に行われた複数の第２のフレーム画像とにより構成される第１の動画から、前記第１の動画の撮像がなされた際の撮影軌跡を推定する推定手段と、
    前記第１の動画の前記撮影軌跡の変動を低減させるように補正する補正手段と、
    前記補正された撮影軌跡に対応した第２の動画を、前記第１の動画の前記第２のフレーム画像を用いたレンダリング処理によって通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成する処理手段と、
    を有することを特徴とする画像処理装置。
17. コンピュータを、請求項１乃至１３の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項１６に記載の画像処理装置の各手段として機能させるためのプログラム。

Images