JP7263001B2 - 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法 - Google Patents

Description

本発明は撮像される画像に生じる被写体ブレを報知するための技術に関する。

移動する被写体を被写体ブレを起こさずにカメラで撮像するためには適切なシャッタースピードに設定して撮像する必要がある。

特許文献１には、準備撮影中において、撮影者が動き領域を目視確認できる技術が開示されている。ここで、準備撮影とは撮像装置の電子ビューファインダーや背面液晶を見ながら構図合わせや撮影条件の設定を行う撮影のことである。特許文献１では、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。

特開２００８－１７２６６７号公報

しかしながら、準備撮影中の電子ビューファインダーや背面液晶に表示される画像を目視確認したとしても、設定したシャッタースピードで動きブレが発生するか否かを確認することは非常に困難である。具体的には、準備撮影中において、走者の手足などの小さい領域の動きブレを目視確認することは困難である。また、本撮影と準備撮影のシャッタースピードが異なる場合は、本撮影と準備撮影とで発生する動きブレも異なるため、準備撮影中の画像を目視確認したとしても本撮影の動きブレを確認することは困難である。例えば、準備撮影ではブレていない走者に、準備撮影とは異なる、予め設定したシャッタースピードで本撮影を行うと、本撮影のシャッタースピードでは走者の動きの速さに対して低速なため、本撮影後に記録した画像では走者がブレてしまっていることがある。これは、準備撮影と本撮影という関係に限らず、撮影パラメータが独立して設定可能な複数の撮像との間で同様の課題が生じる。

本発明は上記問題点に鑑み、第１の撮像で得られる撮影画像を表示する際に第１の撮像とは独立した撮影パラメータで撮像された場合に発生する被写体の動きブレを容易に確認することができる情報処理装置および情報処理方法を提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、第１の撮影パラメータで複数の第１の撮像を行うことにより得られた複数の第１の撮影画像及び該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、前記動き情報および前記第２の撮影パラメータから、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、前記動きブレを報知する報知手段と、を有し、前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および前記被写体の最新の動き情報から推定される値であることを特徴とする。

また本発明の撮像装置は、撮像手段を有し、前記撮像手段において第１の撮影パラメータで複数の第１の撮像により複数の第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置であって、前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出手段と、前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定手段と、前記動き情報と前記第２の撮影パラメータとに基づいて、前記第２の撮影画像における動きブレを推定する推定手段と、前記推定手段により推定される動きブレを、前記撮影指示を受け付ける前に報知する報知手段と、を有し、前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および前記最新の動き情報から推定される値であることを特徴とする。

また本発明の情報処理方法は、第１の撮影パラメータで複数の第１の撮像により得られた複数の第１の撮影画像及び該複数の第１の撮影画像それぞれにおける被写体の動き情報を取得する取得ステップと、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定ステップと、前記動き情報および前記第２の撮影パラメータから、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定ステップと、前記動きブレを報知する報知ステップと、を有し、前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および前記被写体の最新の動き情報から推定される値であることを特徴とする。

また本発明の撮像装置の制御方法は、撮像手段において第１の撮影パラメータで複数の第１の撮像により得られた複数の第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置の制御方法であって、前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出ステップと、前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定ステップと、前記動き情報と前記第２の撮影パラメータとに基づいて、前記第２の撮影画像における動きブレを推定する推定ステップと、前記推定手段により推定される動きブレを、前記撮影指示を受け付ける前に報知する報知ステップと、を有し、前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および最新の動き情報から推定される値であることを特徴とする。

本発明によれば、第１の撮像で得られる撮影画像を表示する際に第１の撮像とは独立して設定される撮影パラメータで撮像された場合に発生する被写体の動きブレを容易に確認することができる。

第１の実施形態における撮像装置を示す図 第１の実施形態におけるデジタルカメラの撮影処理フローを示す図 第１の実施形態における動きブレ報知画像生成部の構成例を示す図 第１の実施形態における動きブレ報知画像を生成する処理フローを示す図 第１の実施形態における準備撮影画像及び動きベクトルを示す図 第１の実施形態における動きベクトルと推定動きブレを示すイメージ図 第１の実施形態における動きブレ報知方法を示す図 第２の実施形態における動きブレ報知画像を生成する処理フローを示す図

［第１の実施形態］
以下、図面を参照しながら本発明の好適な実施の形態について説明する。

本実施形態では、第１の撮像を行う際に取得した被写体の動き情報に基づいて、第１の撮像とは独立に設定された撮影パラメータで撮像される場合に発生する動きブレを推定し、推定した動きブレの報知を行う。

図１は、本実施形態における情報処理装置および撮像装置の一例として、撮像部を備えたデジタルカメラを示すブロック図である。本発明でいう情報処理装置は、撮像された画像を処理することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、デジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、デジタルカメラ１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、各種画像処理を行う。具体的には、例えば光学系１０４や撮像素子に起因する画素の欠陥補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理を適用する。

また、画像処理部１０７は、動きブレ報知画像生成部３００を具備する。本実施形態では、動きブレ報知画像生成部３００はＲＡＭ１０３に記憶されている画像データに対して、取得した被写体の動きブレの情報に基づいて動きブレが容易に確認できる画像プレーンを生成し重畳することで、動きブレ報知画像を生成する。

記録／出力部１０８は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録したり、データを外部インターフェースを介して外部装置に出力したりする。記録／出力部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。

表示部１０９は、ＬＣＤ等の表示デバイスを含み、ＲＡＭ１０３に記憶されている画像や記録／出力部１０８に記録されている画像を表示デバイスに表示する。また表示部１０９は、ユーザーからの指示を受け付けるための操作ユーザーインターフェイスの表示等も行う。さらに表示部１０９は、例えばＥＶＦ（電子ビューファインダー）と撮影者側（背面）に設けられた背面モニタなど、複数の表示デバイスを有していても良い。表示部１０９は複数の表示デバイスに対して同時出力が可能であっても良いし、切替えて選択的に表示するような構成であってもよい。

指示入力部１１０は、タッチパネルやシャッターボタン等の各種物理的な操作部材を含む入力インターフェースであり、ユーザーによる指示の入力を受け付ける。

角速度検出部１１１は、例えば角速度センサー等であり、手振れやカメラワークによるヨー方向及びピッチ方向のデジタルカメラ１００本体の角速度を検出する。角速度検出部１１１による角速度検出方法は、既存の方法を用いるものとし、詳細な説明は省略する。

また、デジタルカメラ１００は制御部１０１の制御によって、撮像部１０５から逐次出力されるアナログ画像信号をＡ／Ｄ変換部１０６、ＲＡＭ１０３、画像処理部１０７、表示部１０９を介して逐次表示デバイスに表示する準備撮影（ライブビュー撮影）を行う。準備撮影の際には、記録媒体への記録や外部装置への出力などを想定した本撮影に向けて構図を合わせたり、露光時間（Ｔｖ値）、絞り値（Ａｖ値）、ＩＳＯ感度等の本撮影時の撮影パラメータを変更したりと撮影の準備をすることができる。

次に、本実施形態におけるデジタルカメラ１００の処理について図２のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示によりデジタルカメラ１００の各部が実行する。

ユーザーがデジタルカメラ１００の電源を入れると、ステップＳ２０１において、制御部１０１はデジタルカメラ１００の電源が入れられたことに応じて、光学系１０４、撮像部１０５を制御して準備撮影を開始する。準備撮影期間中は、デジタルカメラ１００は逐次画像を撮像して逐次取得し、取得した撮影画像は表示部１０９の表示デバイスに表示される。ユーザーは逐次表示される準備撮影画像を確認しながら構図合わせなどを行える。尚、後述するステップＳ２０２、２０３、２０４、２０５及び２０６の処理は準備撮影期間中に行う。

ステップＳ２０２において、ユーザーは指示入力部１１０を用いシミュレート用の撮影パラメータを入力する。制御部１０１は、指示入力部１１０からの入力に従い、準備撮影のための撮影パラメータとは独立してシミュレート用の撮影パラメータを設定する。ここで、制御部１０１は公知の画像解析、被写体解析などを用いて、例えば検出された被写体モデルに適すると思われる撮影パラメータを自動で設定するようにしてもよい。本実施形態では、シミュレート用の撮影パラメータとして露光時間が設定可能である。

また本実施形態では、制御部１０１が設定するシミュレート用の撮影パラメータは、後述するシャッターボタンの押下げ（本撮影の指示）が検出された後、本撮影の撮影パラメータとして用いられるものとする。しかしこれに限らず、制御部１０１は、本撮影のパラメータをさらに別途独立してユーザーによる指示に基づいてあるいは自動で設定するように構成されてもよい。

ステップＳ２０３において、制御部１０１は、動きブレ報知がＯＮ設定かＯＦＦ設定かを判定する。動きブレ報知のＯＮかＯＦＦかの設定は、例えば、ユーザーが指示入力部１１０を用い設定してもよいし、何らかの撮影条件に基づいて自動でＯＮかＯＦＦが設定されてもよい。１つの物理的な操作部材（ボタン、バー等）あるいはタッチデバイス上の１つのアイコンによってＯＮ、ＯＦＦの設定を可能とし、ユーザーが準備撮影中の任意のタイミングでＯＮ、ＯＦＦを設定できるようにしてもよい。さらに周期的に表示のＯＮ、ＯＦＦを切替えて表示する設定が可能であってもよい。

ステップＳ２０３において制御部１０１が動きブレ報知がＯＮの設定であると判定した場合は、ステップＳ２０４にすすむ。ステップＳ２０４では、動きブレ報知画像生成部３００が、準備撮影画像に対して、本撮影における撮影パラメータで撮像された場合に被写体に生じる動きブレ（あるいは生じないこと）を報知する動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。そして、ステップＳ２０５において、制御部１０１は動きブレ報知画像を表示部１０９の表示デバイスに表示する。

ステップＳ２０３において制御部１０１が動きブレ報知がＯＦＦの設定であると判定した場合は、ステップＳ２０５において、動きブレ報知プレーンが重畳されていない準備撮影画像を表示部１０９に表示する。

ステップＳ２０６において、制御部１０１はユーザー操作により指示入力部１１０のシャッターボタンが押下げられたか否かを判定する。ここで、シャッターボタンの押下げ入力が撮影準備動作を指示する半押しと本撮影を指示する全押しなどの２段階の入力方法を受け付ける構成である場合には、全押しがなされたか否かを判定するものとする。単純な１段階の入力のみを受け付ける場合には、当該１段階の入力がなされたか否かを判定する。

制御部１０１は、シャッターボタンが押下げられていないと判定した場合、ステップＳ２０２に戻り、ステップＳ２０２～ステップＳ２０５までの処理を繰り返す。これによりユーザーは、準備撮影中でありながら、現在設定されている撮影パラメータで本撮影が行われた場合に被写体に生じる動きブレを容易に確認することができる。もし、動きブレが確認されユーザーの好みの動きブレになっていない（動きブレが生じて欲しくない）場合は、ユーザーはシャッターボタンを押下せずに本撮影のシャッタースピード（露光時間）を再設定すればよい。

このように、準備撮影中において被写体の動きブレを報知することで、ユーザーは表示部１０９に表示される動きブレ報知画像を確認しながら、好みの動きブレになるまで本撮影の露光時間の設定を繰り返すことができる。その後、適切な動きブレに対応する露光時間の設定になった状態でシャッターチャンスを迎えることができる。

制御部１０１はステップＳ２０６にてシャッターボタンが押下げられたと判定した場合、本撮影の撮影指示を受けたとして、ステップＳ２０７に進み、光学系１０４、撮像部１０５等を制御して、準備撮影までに設定された撮影パラメータに基づいて本撮影を行う。本撮影によって得られた本撮影画像は、ステップＳ２０８にて、制御部１０１によって表示部１０９および記録／出力部１０８に出力され、表示部１０９の表示デバイスへの表示及び記録／出力部１０８での記録媒体への記録あるいは外部装置への出力が行われる。

次に、本発明の特徴である画像処理部１０７が具備する動きブレ報知画像生成部３００の構成例について、図３を参照して説明する。

図３は、動きブレ報知画像生成部３００の構成例を示す図である。動きブレ報知画像生成部３００は、画像間の比較から被写体の動きベクトルを算出する動きベクトル算出部３０１、前記算出した動きベクトルおよび、ＲＡＭ１０３に記憶されている動き統計量を基に、動き統計量の更新処理を行う動き統計量更新部３０２を含む。さらに更新された動き統計量に基づいて本撮影時の被写体の動きブレを推定する推定動きブレ推定部３０２を含む。さらに推定された被写体の動きブレに基づいて動きブレを報知するためのデータを作成する報知プレーン生成部３０３、そして本実施形態では該動きブレ報知プレーンを撮影画像に重畳するため、重畳処理を行う画像重畳部３０４を含む。各部の動作の詳細については後述する。

なお、図３に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

次に、図２のステップＳ２０４にて実行される、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理について、図４のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部３００を含めたデジタルカメラ１００の各部が実行する。

ステップＳ４０１において、制御部１０１は、撮像部１０５が逐次撮像する準備撮影画像と、本撮影の際に用いる撮影パラメータを動きブレ報知画像生成部３００に入力する。

ステップＳ４０２において、動きベクトル算出部３０１は、画像間の比較処理によって、被写体の動き情報としての準備撮影画像の画像間における動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の移動量をベクトルとして表したものである。本実施形態では２次元画像間の平面における被写体の動きベクトルを算出する。しかし本発明はこれに限らず、例えば各準備撮影画像において被写体の奥行方向の深さ情報（被写体距離、デフォーカス量など）を取得し、３次元空間上の被写体の動きベクトルを算出するようにしてもよい。

動きベクトル算出部３０１は、複数の準備撮影画像をそれぞれ基準フレーム、参照フレームとし、基準フレーム内の基準ブロックを用いて参照フレーム内の対象領域の各ブロックと相関演算を行う。相関演算の結果、相関の最も高いブロックと基準ブロックの位置関係から動きベクトルを算出する。相関値の算出方法は差分絶対値和や差分二乗和、正規相互相関値に基づく方法など特に限定されず、また動きベクトルの算出方法そのものも勾配法など、他の手法を用いてもよい。

図５（ａ）は犬５０１が左方向に走っているところを撮像している準備撮影画像を示しており、このとき算出される動きベクトルのイメージ図を図５（ｂ）に示す。図５（ｂ）の例では、走っている犬５０１は所定値以上の大きさの動きベクトルが左方向の動きベクトルとして検出され、それ以外の止まっている犬５０２や背景の柵は動きベクトルが０もしくは所定値より小さい。

尚、動きベクトル算出部３０１は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。

ステップＳ４０３において、動き統計量更新部３０２は、前記算出した動きベクトルおよび、ＲＡＭ１０３に記憶されている動き統計量を基に、動き統計量の更新処理を行う。ここで、前記統計量とは、時間的な統計量のことであり、過去の動きベクトルの履歴に基づく統計値である。

ここでステップＳ４０３にて制御部１０１および動き統計量更新部３０２によって行われる更新処理の詳細を図８のフローチャートを参照して説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により動き統計量更新部３０２を含めたデジタルカメラ１００の各部が実行する。

図８のステップＳ８０１において、動きベクトルの読み込みを行う。ここで読み込んだ動きベクトルは、動きベクトル算出部３０１で算出した現在の動きベクトルである。

図８のステップＳ８０２において、制御部１０１は、動き統計量が初期状態であるかを判定する。初期状態とは、過去の動きベクトルの履歴が存在しない状態のことを指す。ここで、動き統計量が初期状態であると判定された場合は、現在の動きベクトルを初期値とする（Ｓ８０３）。一方、動き統計量が初期状態でないと判断された場合は、ステップＳ８０４において、制御部１０１は、ＲＡＭ１０３に記憶されている動き統計量の読み込み処理を行う。次いで、ステップＳ８０５において、動き統計量の更新処理を行う。

ここで動き統計量の更新方法は、動き統計量をどのように算出するかによって異なる。本実施形態では、動き統計量を過去Ｎフレームの動きベクトルの大きさの最大値として算出する。ここで、Ｎは２以上の整数であり、Ｎが大きいほど過去の動きの影響を受ける。

動き統計量は、以下の式（Ａ）に従って更新される。
ＭＯＶ＿ＴＯＴ＝ＭＡＸ（ＭＯＶ＿ＰＲＥ，ＭＯＶ＿ＣＵＲ）・・・式（Ａ）

ここで、式（Ａ）において、ＭＯＶ＿ＰＲＥは過去の動き統計量であり、ＭＯＶ＿ＣＵＲは現在の動きベクトルの大きさである。その最大値を、次の更新処理の際には新たな動き統計量ＭＯＶ＿ＴＯＴとして式（Ａ）の演算を行う。式（Ａ）に基づく動き統計量の更新処理を、動きベクトルの算出単位毎に行う。本実施例では動きベクトルを画素単位で算出しているので、画素単位での算出を行う。仮に動きベクトルを所定サイズのブロックごとに算出している場合は、そのブロック単位で行う。

図８のステップＳ８０６において、ステップＳ８０５で更新された動き統計量をＲＡＭ１０３に上書き保存してフローを終了する。また、ステップＳ８０２で初期状態と判断された場合は、現在の動きベクトルを初期値として保存してフローを終了する。

図４のステップＳ４０４において、推定動きブレ算出部３０２は、撮影条件として、図２のステップＳ２０２で設定した本撮影の露光時間及び準備撮影における画像間の時間間隔（フレームレート）を取得する。

ステップＳ４０５において、推定動きブレ算出部３０２は、ステップＳ４０４で取得した本撮影の露光時間及び準備撮影における画像間の時間間隔に基づき、ステップＳ３０２で算出した画素毎の動きベクトルから本撮影における被写体の動きブレを推定する。

本撮影における被写体の動きブレに推定する方法について、図６を参照して詳しく説明する。図６は、準備撮影における動きベクトルと、本撮影の動きブレに推定した推定動きブレとの関係を示す図である。図６では、撮影条件として、準備撮影の画像間の時間間隔は１／６０秒、本撮影の露光時間は１／１２０秒と１／３０秒を例として示している。

推定動きブレ算出部３０２は、式（１）及び式（２）に示すような換算式に基づき、画素毎の動きベクトルを本撮影の動きブレに推定する。
ＣＯＮＶ＿ＧＡＩＮ＝ＥＸＰ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ・・・式（１）
ＣＯＮＶ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＯＮＶ＿ＧＡＩＮ・・・式（２）

ここで、式（１）において、ＣＯＮＶ＿ＧＡＩＮは準備撮影の動きベクトルの大きさを本撮影における動きベクトルの大きさに換算するための推定ゲインを示し、ＥＸＰ＿ＴＩＭＥは本撮影の露光時間を示し、ＩＮＴ＿ＴＩＭＥは準備撮影の画像間の時間間隔を示す。また、式（２）において、ＣＯＮＶ＿ＢＬＵＲは本撮影における被写体の動きブレを示し、ＶＥＣ＿ＬＥＮは準備撮影における動きベクトルの大きさを示す。

式（１）において、推定ゲインは本撮影の露光時間を準備撮影の画像間の時間間隔で除算することにより算出する。そして、式（２）において、本撮影における被写体の動きブレは、動きベクトルの大きさに推定ゲインを乗算することにより算出する。

具体的には、図６のように準備撮影における動きベクトルの長さが１０画素の場合、本撮影の露光時間が１／１２０秒の推定動きブレは、推定ゲインが１／２倍になるため５画素となる。また、本撮影の露光時間が１／３０秒の推定動きブレは、推定ゲインが２倍になるため２０画素となる。

ステップＳ４０６において、報知プレーン生成部３０３は、ステップＳ４０５において算出した画素毎の動きブレに基づき、動きブレを報知するための画像プレーンを生成する。例えば、所定のブレ量以上の動きブレに対応する画素を強調表示するなど区別可能に報知するための画像プレーンを生成する。

また、図２のステップＳ２０６にてシャッターボタンの押下げが検知され本撮影が行われるまでの間、ユーザーは所望の動きブレの本撮影の撮影画像を得るためにシャッタースピード等の撮影パラメータを変更できる。撮影パラメータが変更されると、推定動きブレ算出部３０２は動きブレの推定を再度行う。報知プレーン生成部３０３は、再度推定された動きブレに基づき、再度画像プレーンを生成する。

ステップＳ４０７において、画像重畳部３０４は、準備撮影画像にステップＳ４０５において生成した報知プレーンを例えばＲＡＭ１０３上で重畳し、動きブレ報知画像を生成する。

ここで、報知プレーン生成部３０３により生成される、被写体の動きブレを報知するための報知プレーンの生成方法と、該報知プレーンを重畳した動きブレ報知画像の生成方法について、図７を参照して詳しく説明する。図７は、動きブレ報知画像として３つの例を示している。これらの例では、準備撮影中に動きブレ報知画像を表示部１０９に表示することにより、ユーザーは被写体の動きブレを容易に確認することができる。

図７（ａ）は、アイコン表示により動きブレを報知する例を示す。ステップＳ４０６において、制御部１０１は、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、報知プレーン生成部３０３は図７（ａ）に示すような動きブレアイコン９０１を動きブレ報知プレーンとして生成し、画像重畳部３０４が準備撮影画像に重畳することにより図７（ａ）のような動きブレ報知画像を生成する。

図７（ｂ）は、動きブレ枠の表示によって動きブレを報知する例を示す。ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。ステップＳ４０６において、制御部１０１は、分割領域内の画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が分割領域全体に占める割合を算出する。その割合が所定割合以上の分割領域に対して、報知プレーン生成部３０３は図７（ｂ）に示すような動きブレ枠９０２を動きブレ報知プレーンとして作成し、画像重畳部３０４が準備撮影画像に重畳することにより図７（ｂ）のような動きブレ報知画像を生成する。分割領域毎の動きブレを報知するか否かの判定は分割領域における画素毎の推定動きブレの平均値や中央値などの統計値に基づいて判断されてもよい。

図７（ｃ）は、動きブレが発生した被写体のエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。ステップＳ４０５において、報知プレーン生成部３０３は、準備撮影画像のエッジ強度を検出する。エッジ強度の検出は、ソーベルフィルタなどの公知の方法を用いればよく、詳細な説明は省略する。そして、報知プレーン生成部３０３は、過去Ｎフレームの中の少なくとも１フレームにおいてエッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する（例えば上記フィルタ結果を所定値以上でクリップする）。抽出した画素に対して、図７（ｃ）の９０３に示すように動きブレが生じている被写体のエッジを強調表示するような動きブレ報知プレーンを生成し、準備撮影画像に重畳することにより図７（ｃ）のような動きブレ報知画像を生成する。図７（ｃ）９０３の例では、動きブレエッジを太くする例を示している。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出し、抽出した画素を赤くするなど、色相・彩度・明るさを変える強調表示の方法が挙げられる。本実施例では、換算動きブレ算出に用いる動き統計量は、過去Ｎフレームの動きベクトルの時間的な統計量として算出している。従って、図１０に示す報知画像も、過去Ｎフレームの動き検出の結果が反映されている。特に図１０（ｂ）および（ｃ）では、現在表示されている画像の被写体部分以外にも動きブレを示す表示が行われているが、本表示は過去の動きに基づく表示であり、図１０では被写体が向かって左方向に動いているため、被写体の右側にこのような表示が行われる。また、本実施例では、Ｎ＝５としている。このような表示を行うことによって、撮影者は現在だけでなく過去の動きブレ量も確認しながら、より容易に所望のシャッター速度を設定することができる。

以上の通り、本実施形態では、第１の撮影の動きブレから第２の撮影での動きブレを推定し、推定した動きブレを報知することにより、第１の撮影で得られる画像を表示する際に第２の撮影で発生する被写体の動きブレを容易に確認することを可能とした。ユーザーは第１の撮影の時点で現在の第２の撮影に用いる撮影パラメータで所望の動きブレで撮影が可能なのかを確認し、第２の撮影に向けて所望の撮影パラメータを設定することができる。さらに過去の動きブレ量の統計量に基づいて動きブレの報知を行うことで、動きの変化が激しい被写体に対しても所望のブレを有する画像を取得するためのシャッター速度をより容易に設定することが可能となる。

本実施形態では、推定動きブレが所定値以上の場合に動きブレを報知する例について説明したが、推定動きブレが所定値以下の場合に報知しても良い。これにより、動きブレを動感として表現したい長秒露光撮影の場合に、動きブレの不足を準備撮影期間中に確認しやすくなる。

また本実施形態では、デジタルカメラ１００の電源がＯＮにされた後の準備撮影開始を以て動きブレ報知が開始されていた。しかし、これに限らず、例えば準備撮影中にシャッターボタンが半押しされた場合に、半押しされている期間中あるいは所定期間にわたって動きブレ報知を行うようにしてもよい。また、準備撮影中に動きブレ報知のＯＮ、ＯＦＦを自由に切替えられる操作部材を設けていてもよい。

また本実施形態では、準備撮影における動きベクトルに基づき本撮影の動きブレを推定していた。しかし、これに限らず、例えば、準備撮影における動きベクトルに応じて本撮影の動きベクトルを予測し、該予測した動きベクトルに基づき本撮影の動きブレを推定してもよい。本撮影の動きベクトルの予測方法は、例えば準備撮影における動きベクトルの時間的変化と本撮影までの時間に基づき、予測する。セルフタイマー撮影やシャッターチャンスを撮像装置が判別し自動的に撮影を行う自動撮影など、準備撮影から本撮影までの時間が決まっている場合に特に有効である。

また本実施形態では、異なる撮影パラメータとして露光時間を考慮し、第１の撮影（準備撮影）における動きブレを第２の撮影（本撮影）における動きブレに換算することで第２の撮影における動きブレを推定した。しかし、考慮する撮影パラメータとしては露光時間に限らず、より明るい方が動きブレが目立ちやすくなるため、画像の露出値（Ｅｖ値）に基づいて、露出が高い方が露出が低い画像よりも、報知する動きブレかどうかを判定する閾値が低くなるようにしてもよい。

また本実施形態では、動きブレ報知の方法として、動きブレアイコン表示、動きブレ枠表示、動きブレエッジの強調表示の３つの例について説明したが、動きブレ報知の方法はこれに限ったものではない。例えば、平坦な領域も含め、動きブレが発生している領域を強調表示しても良い。具体的には、報知プレーン生成部３０３は、画素毎の推定動きブレが所定値以上の画素を赤く塗るような強調表示を行う。このようにエッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。

また本実施形態では、動きブレの報知方法として、表示部１０９に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音や光や振動により動きブレを報知しても良い。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音、報知光、報知振動を発生させる。この実施形態では、報知プレーン生成部３０３や画像重畳部３０４の構成、ステップＳ４０５、ステップＳ４０６の処理フローは不要となる。代わりにデジタルカメラ１００内にスピーカーを備え、ステップＳ２０５において、表示部１０９への準備撮影画像の表示に併せて、制御部１０１が報知音をスピーカーで鳴らしたり、報知光を点灯させたり、報知振動を起こすとよい。

また、本実施形態では、本撮影画像において発生する被写体の動きブレを準備撮影画像を表示する際に報知する例を示したが、２つの撮影画像あるいは撮影パラメータの関係はこれに限られない。すなわち、複数の撮像素子に撮像される条件下で、１つの撮像素子において第１の撮影パラメータで第１の撮像により第１の撮影画像が出力され、他の撮像素子において第２の撮影パラメータで第２の撮像により第２の撮影画像が出力される実施形態でもよい。この場合も、第１の撮影画像の動き情報に基づいて第２の撮影画像における被写体の動きブレが推定され、報知する。複数の撮像素子は複数の撮像装置に別個に設置されていてもよい。

本発明では、動き統計量更新部３０２において、動き統計量を過去Ｎフレームの動きベクトルの大きさの最大値として算出したが、他の方法で算出しても良い。例えば過去Ｎフレームの動きベクトルの大きさの平均値や、動きベクトルの大きさに応じた重みを用いた加重平均値でも良い。また、前回のシャッターレリーズ時など、所定のタイミングの動きベクトルの大きさを保持しておいても良い。

本発明では、動き統計量算出の際に参照する過去フレーム数をＮ＝５で固定としたが、参照フレーム数はこれに限ったものではない。例えば、被写体の動きブレ量や本撮影時のシャッター速度（露光時間）に応じてＮを決定してもよい。被写体の動きブレ量が所定値より小さい場合、例えば被写体が行う本来止めたい動きをまだ被写体が行っていないタイミングの可能性があるため、動きブレ量が所定値より大きい場合に比べてＮを大きく設定する。また本撮影時のシャッター速度（露光時間）が所定速度より遅い（露光時間が所定値よりも長い）場合、例えばより被写体の動きブレが生じやすいので、所定速度より速い場合に比べてＮを大きく設定する。撮影者の指示によってＮの値を与えても良い。また、Ｎの値が所定値より大きくなり参照する過去フレームが増える場合は、Ｎの値が所定値より小さい場合に比べて参照するフレームの間隔を間引いてもよい。

（変形例）
ステップＳ４０５において推定動きブレ算出部３０３によって動きブレを推定する際に、表示画像において動きブレが生じた様子をより滑らかに表示するための処理例を示す。

画像間の動き情報の検出結果がバラツキをもってしまうと、動きブレの報知結果が時間方向にちらついて見え、目視確認が困難になる。そこで、図４のステップ４０５において、推定動きブレ補正部３０３は、現在の準備撮影の画像より時間的に前後の準備撮影の画像を基準として算出した画素毎の換算動きブレの結果を用いて補正する処理を行う。

ここで現在の準備撮影の画像Ｔを基準として換算した動きブレをＣＯＮＶ＿ＢＬＵＲ（Ｔ）、現在の準備撮影の画像Ｔよりも時間的に前の準備撮影の画像Ｔ－１を基準として換算した動きブレをＣＯＮＶ＿ＢＬＵＲ（Ｔ－１）とする。また、現在の準備撮影の画像Ｔよりも時間的に後の準備撮影の画像Ｔ＋１を基準として換算した動きブレをＣＯＮＶ＿ＢＬＵＲ（Ｔ＋１）とする。さらに、現在の準備撮影の画像Ｔを基準として換算した動きブレの補正結果をＣＯＲＲ＿ＣＯＮＶ＿ＢＬＵＲ（Ｔ）とすると、補正方法は、加重平均による式（３）の様になる。Ｋ（Ｔ）、Ｋ（Ｔ－１）、Ｋ（Ｔ＋１）は加重係数であり、合計で１になる係数である。
ＣＯＲＲ＿ＣＯＮＶ＿ＢＬＵＲ（Ｔ）
＝Ｋ（Ｔ）×ＣＯＮＶ＿ＢＬＵＲ（Ｔ）＋Ｋ（Ｔ－１）×ＣＯＮＶ＿ＢＬＵＲ（Ｔ－１）＋Ｋ（Ｔ＋１）×ＣＯＮＶ＿ＢＬＵＲ（Ｔ＋１）・・・式（３）

本実施例では、Ｋ（Ｔ）＝０．５、Ｋ（Ｔ－１）＝Ｋ（Ｔ＋１）＝０．２５だが、これに限らず、時間方向にローパスフィルタがかかる様な値の係数であれば良い。

また、前記の様に加重平均方式ではなく、最大値選択方式や、最小値選択方式、または中央値選択方式を用いても良い。また、本撮影や準備撮影の露光時間に応じて、参照フレーム数や加重係数を調整しても良い。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００ 撮像装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録部
１０９ 表示部
１１０ 指示入力部
１１１ 角速度検出部
３００ 動きブレ報知画像生成部
３０１ 動きベクトル算出部
３０２ 推定動きブレ算出部
３０３ 報知プレーン生成部
３０４ 画像重畳部
８０１ 画像動き情報変換部

Claims (23)

1. 第１の撮影パラメータで複数の第１の撮像を行うことにより得られた複数の第１の撮影画像及び該複数の第１の撮影画像における被写体の動き情報を取得する取得手段と、
   前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、
   前記動き情報および前記第２の撮影パラメータから、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
   前記動きブレを報知する報知手段と、を有し、
   前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および前記被写体の最新の動き情報から推定される値であることを特徴とする情報処理装置。
2. 前記推定手段は、前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて前記動きブレを推定することを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、複数の前記第１の撮影画像の間で画像の比較を行うことで前記動き情報を算出し、取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記推定手段は、前記動き情報に基づき算出した前記第１の撮影画像における被写体の動きブレを、前記第１の撮影パラメータと前記第２の撮影パラメータの違いに基づき前記第２の撮影画像における動きブレに換算することで、前記第２の撮影画像における動きブレを推定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記推定手段は、前記動き情報と複数の前記第１の撮像における画像間の時間間隔及び前記第２の撮影パラメータとして設定される露光時間に基づき、前記第２の撮影画像における動きブレを推定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記報知手段は、前記動きブレに対応する情報を表示部に表示することで前記動きブレを報知することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記報知手段は、前記動きブレに対応する情報を前記第１の撮影画像に重畳して表示部に表示することで前記動きブレを報知することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記取得手段は、前記第１の撮影画像の複数の領域に対応する動き情報を取得し、前記推定手段は、前記複数の領域に対応する動き情報から前記第２の撮影画像の複数の領域における動きブレを推定し、
   前記報知手段は、前記動きブレを対応する複数の領域毎に報知することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記報知手段は、前記第１の撮影画像において、前記第２の撮影画像における動きブレが所定のブレ量以上であると推定された領域毎に枠を表示することで動きブレを報知することを特徴とする請求項８に記載の情報処理装置。
10. 前記報知手段は、前記第１の撮影画像において、前記第２の撮影画像における動きブレが所定のブレ量以上であると推定された領域毎にエッジ領域を区別可能に表示することで動きブレを報知することを特徴とする請求項８に記載の情報処理装置。
11. 前記第１の撮像は前記第２の撮像の前に行われ、
    前記報知手段は、前記取得手段が前記第１の撮影画像を逐次取得している間に前記動きブレを報知することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記推定手段は、前記設定手段により前記第２の撮像の撮影パラメータが変更されると前記動きブレの推定を再度行い、
    前記報知手段は、前記推定手段により再度推定された動きブレを報知することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記設定手段は、前記第１の撮影画像に基づいて前記第２の撮影パラメータを設定することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記動きブレの推定には、前記複数の第１の撮影画像における動きブレの平均値を用いることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記動きブレの推定には、前記複数の第１の撮影画像における動きブレの最大値を用いることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
16. 前記動きブレの推定に用いる第１の撮影画像の数は、前記第２の撮像における露光時間に基づいて決定されることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
17. 前記動きブレの推定に用いる第１の撮影画像の数は、ユーザーによる前記数を入力する操作によって決定されることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
18. 前記第１の撮像を行う撮像手段と、
    請求項１乃至１７のいずれか１項に記載の情報処理装置と、
    を有することを特徴とする撮像装置。
19. 撮像手段を有し、前記撮像手段において第１の撮影パラメータで複数の第１の撮像により複数の第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置であって、
    前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出手段と、
    前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定手段と、
    前記動き情報と前記第２の撮影パラメータとに基づいて、前記第２の撮影画像における動きブレを推定する推定手段と、
    前記推定手段により推定される動きブレを、前記撮影指示を受け付ける前に報知する報知手段と、を有し、
    前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および最新の動き情報から推定される値であることを特徴とする撮像装置。
20. 第１の撮影パラメータで複数の第１の撮像により得られた複数の第１の撮影画像及び該複数の第１の撮影画像それぞれにおける被写体の動き情報を取得する取得ステップと、
    前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定ステップと、
    前記動き情報および前記第２の撮影パラメータから、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定ステップと、
    前記動きブレを報知する報知ステップと、を有し、
    前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および前記被写体の最新の動き情報から推定される値であることを特徴とする情報処理方法。
21. 撮像手段において第１の撮影パラメータで複数の第１の撮像により得られた複数の第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置の制御方法であって、
    前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出ステップと、
    前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定ステップと、
    前記動き情報と前記第２の撮影パラメータとに基づいて、前記第２の撮影画像における動きブレを推定する推定ステップと、
    前記推定ステップにより推定される動きブレを、前記撮影指示を受け付ける前に報知する報知ステップと、を有し、
    前記動きブレは前記複数の第１の撮影画像それぞれにおける前記動き情報の統計量および最新の動き情報から推定される値であることを特徴とする撮像装置の制御方法。
22. コンピュータを、請求項１乃至１７のいずれか１項に記載の情報処理装置の各手段として実行させるためのプログラム。
23. コンピュータを、請求項１乃至１７のいずれか１項に記載の情報処理装置の各手段として実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images