JP7475846B2 - 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法 - Google Patents

Description

本発明は撮像される画像に生じる被写体ブレを報知するための技術に関する。

移動する被写体を被写体ブレを起こさずにカメラで撮像するためには適切なシャッタースピードに設定して撮像する必要がある。

特許文献１には、準備撮影中において、撮影者が動き領域を目視確認できる技術が開示されている。ここで、準備撮影とは撮像装置の電子ビューファインダーや背面液晶を見ながら構図合わせや撮影条件の設定を行う撮影のことである。特許文献１では、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。

特開２００８－１７２６６７号公報

しかしながら、準備撮影中の電子ビューファインダーや背面液晶に表示される画像を目視確認したとしても、設定したシャッタースピードで動きブレが発生するか否かを確認することは非常に困難である。具体的には、準備撮影中において、走者の手足などの小さい領域の動きブレを目視確認することは困難である。また、本撮影と準備撮影のシャッタースピードが異なる場合は、本撮影と準備撮影とで発生する動きブレも異なるため、準備撮影中の画像を目視確認したとしても本撮影の動きブレを確認することは困難である。例えば、準備撮影ではブレていない走者に、準備撮影とは異なる、予め設定したシャッタースピードで本撮影を行うと、本撮影のシャッタースピードでは走者の動きの速さに対して低速なため、本撮影後に記録した画像では走者がブレてしまっていることがある。これは、準備撮影と本撮影という関係に限らず、撮影パラメータが独立して設定可能な複数の撮像との間で同様の課題が生じる。

本発明は上記問題点に鑑み、第１の撮影パラメータによる第１の撮像で得られる撮影画像を表示する際に異なる撮影パラメータで撮像された場合に発生する被写体の動きブレを容易に確認することができる情報処理装置、撮像装置、情報処理方法を提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、第１の撮影パラメータで第１の撮像により得られた第１の撮影画像及び該第１の撮影画像における被写体の動き情報を取得する取得手段と、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、前記動きブレを報知する報知手段と、を有することを特徴とする。

また本発明の撮像装置は、撮像手段を有し、前記撮像手段において第１の撮影パラメータで第１の撮像により第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置であって、前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出手段と、前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定手段と、前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影画像における動きブレを推定する推定手段と、を有することを特徴とする。

また本発明の情報処理方法は、第１の撮影パラメータで第１の撮像により得られた第１の撮影画像及び該第１の撮影画像における被写体の動き情報を取得する取得ステップと、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定ステップと、前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定ステップと、を有することを特徴とする。

また本発明の撮像装置の制御方法は、撮像手段を有し、前記撮像手段において第１の撮影パラメータで第１の撮像により第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置の制御方法であって、前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出ステップと、前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定ステップと、前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影画像における動きブレを推定する推定ステップと、を有することを特徴とする。

本発明によれば、第１の撮像で得られる撮影画像を表示する際に第１の撮像とは独立して設定される撮影パラメータで撮像された場合に発生する被写体の動きブレを容易に確認することができる。

第１の実施形態における撮像装置を示す図 第１の実施形態におけるデジタルカメラの撮影処理フローを示す図 第１の実施形態における動きブレ報知画像生成部の構成例を示す図 第１の実施形態における動きブレ報知画像を生成する処理フローを示す図 第１の実施形態における準備撮影画像及び動きベクトルを示す図 第１の実施形態における動きベクトルと推定動きブレを示すイメージ図 第１の実施形態における動きブレ報知方法を示す図 第２の実施形態における動きブレ報知画像生成部の構成例を示す図 第２の実施形態における動きブレ報知画像を生成する処理フローを示す図 第３の実施形態における動きブレ報知画像生成部の構成例を示す図 第３の実施形態における動きブレ報知画像を生成する処理フローを示す図 第３の実施形態における動きベクトルを示す図 第３の実施形態における動き強度、エッジ強度及び動きエッジ強度を示す図 第４の実施形態における準備撮影画像内の被写体とその断面の位置を示す図 第４の実施形態における準備撮影画像上の位置座標とエッジ強度の関係を示す図 第４の実施形態における動きブレ報知画像生成部の構成例を示す図 第４の実施形態における第２の報知プレーン生成の処理フローを示す図 第４の実施形態における変更後のエッジ強度閾値とエッジ強度の関係を示す図 第４の実施形態における補正後のエッジ強度を示す図

［第１の実施形態］
以下、図面を参照しながら本発明の好適な実施の形態について説明する。

本実施形態では、第１の撮像を行う際に取得した被写体の動き情報に基づいて、第１の撮像とは独立に設定された撮影パラメータで撮像される場合に発生する動きブレを推定し、推定した動きブレの報知を行う。

図１は、本実施形態における情報処理装置および撮像装置の一例として、撮像部を備えたデジタルカメラを示すブロック図である。本発明でいう情報処理装置は、撮像された画像を処理することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、デジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、デジタルカメラ１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、各種画像処理を行う。具体的には、例えば光学系１０４や撮像素子に起因する画素の欠陥補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理を適用する。

また、画像処理部１０７は、動きブレ報知画像生成部３００を具備する。本実施形態では、動きブレ報知画像生成部３００はＲＡＭ１０３に記憶されている画像データに対して、取得した被写体の動きブレの情報に基づいて動きブレが容易に確認できる画像プレーンを生成し重畳することで、動きブレ報知画像を生成する。

記録／出力部１０８は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録したり、データを外部インターフェースを介して外部装置に出力したりする。記録／出力部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。

表示部１０９は、ＬＣＤ等の表示デバイスを含み、ＲＡＭ１０３に記憶されている画像や記録／出力部１０８に記録されている画像を表示デバイスに表示する。また表示部１０９は、ユーザーからの指示を受け付けるための操作ユーザーインターフェイスの表示等も行う。さらに表示部１０９は、例えばＥＶＦ（電子ビューファインダー）と撮影者側（背面）に設けられた背面モニタなど、複数の表示デバイスを有していても良い。表示部１０９は複数の表示デバイスに対して同時出力が可能であっても良いし、切替えて選択的に表示するような構成であってもよい。

指示入力部１１０は、タッチパネルやシャッターボタン等の各種物理的な操作部材を含む入力インターフェースであり、ユーザーによる指示の入力を受け付ける。

角速度検出部１１１は、例えば角速度センサー等であり、手振れやカメラワークによるヨー方向及びピッチ方向のデジタルカメラ１００本体の角速度を検出する。角速度検出部１１１による角速度検出方法は、既存の方法を用いるものとし、詳細な説明は省略する。

また、デジタルカメラ１００は制御部１０１の制御によって、撮像部１０５から逐次出力されるアナログ画像信号をＡ／Ｄ変換部１０６、ＲＡＭ１０３、画像処理部１０７、表示部１０９を介して逐次表示デバイスに表示する準備撮影（ライブビュー撮影）を行う。準備撮影の際には、記録媒体への記録や外部装置への出力などを想定した本撮影に向けて構図を合わせたり、露光時間（Ｔｖ値）、絞り値（Ａｖ値）、ＩＳＯ感度等の本撮影時の撮影パラメータを変更したりと撮影の準備をすることができる。

次に、本実施形態におけるデジタルカメラ１００の処理について図２のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示によりデジタルカメラ１００の各部が実行する。

ユーザーがデジタルカメラ１００の電源を入れると、ステップＳ２０１において、制御部１０１はデジタルカメラ１００の電源が入れられたことに応じて、光学系１０４、撮像部１０５を制御して準備撮影を開始する。準備撮影期間中は、デジタルカメラ１００は逐次画像を撮像して逐次取得し、取得した撮影画像は表示部１０９の表示デバイスに表示される。ユーザーは逐次表示される準備撮影画像を確認しながら構図合わせなどを行える。尚、後述するステップＳ２０２、２０３、２０４、２０５及び２０６の処理は準備撮影期間中に行う。

ステップＳ２０２において、ユーザーは指示入力部１１０を用いシミュレート用の撮影パラメータを入力する。制御部１０１は、指示入力部１１０からの入力に従い、準備撮影のための撮影パラメータとは独立してシミュレート用の撮影パラメータを設定する。ここで、制御部１０１は公知の画像解析、被写体解析などを用いて、例えば検出された被写体モデルに適すると思われる撮影パラメータを自動で設定するようにしてもよい。本実施形態では、シミュレート用の撮影パラメータとして露光時間が設定可能である。

また本実施形態では、制御部１０１が設定するシミュレート用の撮影パラメータは、後述するシャッターボタンの押下げ（本撮影の指示）が検出された後、本撮影の撮影パラメータとして用いられるものとする。しかしこれに限らず、制御部１０１は、本撮影のパラメータをさらに別途独立してユーザーによる指示に基づいてあるいは自動で設定するように構成されてもよい。

ステップＳ２０３において、制御部１０１は、動きブレ報知がＯＮ設定かＯＦＦ設定かを判定する。動きブレ報知のＯＮかＯＦＦかの設定は、例えば、ユーザーが指示入力部１１０を用い設定してもよいし、何らかの撮影条件に基づいて自動でＯＮかＯＦＦが設定されてもよい。１つの物理的な操作部材（ボタン、バー等）あるいはタッチデバイス上の１つのアイコンによってＯＮ、ＯＦＦの設定を可能とし、ユーザーが準備撮影中の任意のタイミングでＯＮ、ＯＦＦを設定できるようにしてもよい。さらに周期的に表示のＯＮ、ＯＦＦを切替えて表示する設定が可能であってもよい。

ステップＳ２０３において制御部１０１が動きブレ報知がＯＮの設定であると判定した場合は、ステップＳ２０４にすすむ。ステップＳ２０４では、動きブレ報知画像生成部３００が、準備撮影画像に対して、本撮影における撮影パラメータで撮像された場合に被写体に生じる動きブレ（あるいは生じないこと）を報知する動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。そして、ステップＳ２０５において、制御部１０１は動きブレ報知画像を表示部１０９の表示デバイスに表示する。

ステップＳ２０３において制御部１０１が動きブレ報知がＯＦＦの設定であると判定した場合は、ステップＳ２０５において、動きブレ報知プレーンが重畳されていない準備撮影画像を表示部１０９に表示する。

ステップＳ２０６において、制御部１０１はユーザー操作により指示入力部１１０のシャッターボタンが押下げられたか否かを判定する。ここで、シャッターボタンの押下げ入力が撮影準備動作を指示する半押しと本撮影を指示する全押しなどの２段階の入力方法を受け付ける構成である場合には、全押しがなされたか否かを判定するものとする。単純な１段階の入力のみを受け付ける場合には、当該１段階の入力がなされたか否かを判定する。

制御部１０１は、シャッターボタンが押下げられていないと判定した場合、ステップＳ２０２に戻り、ステップＳ２０２～ステップＳ２０６までの処理を繰り返す。これによりユーザーは、準備撮影中でありながら、現在設定されている撮影パラメータで本撮影が行われた場合に被写体に生じる動きブレを容易に確認することができる。もし、動きブレが確認されユーザーの好みの動きブレになっていない（動きブレが生じて欲しくない）場合は、ユーザーはシャッターボタンを押下せずに本撮影のシャッタースピード（露光時間）を再設定すればよい。

このように、準備撮影中において被写体の動きブレを報知することで、ユーザーは表示部１０９に表示される動きブレ報知画像を確認しながら、好みの動きブレになるまで本撮影の露光時間の設定を繰り返すことができる。その後、適切な動きブレに対応する露光時間の設定になった状態でシャッターチャンスを迎えることができる。

制御部１０１はステップＳ２０６にてシャッターボタンが押下げられたと判定した場合、本撮影の撮影指示を受けたとして、ステップＳ２０７に進み、光学系１０４、撮像部１０５等を制御して、準備撮影までに設定された撮影パラメータに基づいて本撮影を行う。本撮影によって得られた本撮影画像は、ステップＳ２０８にて、制御部１０１によって表示部１０９および記録／出力部１０８に出力され、表示部１０９の表示デバイスへの表示及び記録／出力部１０８での記録媒体への記録あるいは外部装置への出力が行われる。

次に、本発明の特徴である画像処理部１０７が具備する動きブレ報知画像生成部３００の構成例について、図３を参照して説明する。

図３は、動きブレ報知画像生成部３００の構成例を示す図である。動きブレ報知画像生成部３００は、画像間の比較から被写体の動きベクトルを算出する動きベクトル算出部３０１、算出された動きベクトルに基づいて本撮影時の被写体の動きブレを推定する推定動きブレ算出部３０２を含む。さらに推定された被写体の動きブレに基づいて動きブレを報知するためのデータを作成する報知プレーン生成部３０３、そして本実施形態では該動きブレ報知プレーンを撮影画像に重畳するため、重畳処理を行う画像重畳部３０４を含む。各部の動作の詳細については後述する。

なお、図３に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

次に、図２のステップＳ２０４にて実行される、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理について、図４のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部３００を含めたデジタルカメラ１００の各部が実行する。

ステップＳ４０１において、制御部１０１は、撮像部１０５が逐次撮像する準備撮影画像と、本撮影の際に用いる撮影パラメータを動きブレ報知画像生成部３００に入力する。

ステップＳ４０２において、動きベクトル算出部３０１は、画像間の比較処理によって、被写体の動き情報としての準備撮影画像の画像間における動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の移動量をベクトルとして表したものである。本実施形態では２次元画像間の平面における被写体の動きベクトルを算出する。しかし本発明はこれに限らず、例えば各準備撮影画像において被写体の奥行方向の深さ情報（被写体距離、デフォーカス量など）を取得し、３次元空間上の被写体の動きベクトルを算出するようにしてもよい。

動きベクトル算出部３０１は、複数の準備撮影画像をそれぞれ基準フレーム、参照フレームとし、基準フレーム内の基準ブロックを用いて参照フレーム内の対象領域の各ブロックと相関演算を行う。相関演算の結果、相関の最も高いブロックと基準ブロックの位置関係から動きベクトルを算出する。相関値の算出方法は差分絶対値和や差分二乗和、正規相互相関値に基づく方法など特に限定されず、また動きベクトルの算出方法そのものも勾配法など、他の手法を用いてもよい。

図５（ａ）は犬５０１が左方向に走っているところを撮像している準備撮影画像を示しており、このとき算出される動きベクトルのイメージ図を図５（ｂ）に示す。図５（ｂ）の例では、走っている犬５０１は所定値以上の大きさの動きベクトルが左方向の動きベクトルとして検出され、それ以外の止まっている犬５０２や背景の柵は動きベクトルが０もしくは所定値より小さい。

尚、動きベクトル算出部３０１は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。

図４のステップＳ４０３において、推定動きブレ算出部３０２は、撮影条件として、図２のステップＳ２０２で設定した本撮影の露光時間及び準備撮影における画像間の時間間隔（フレームレート）を取得する。

ステップＳ４０４において、推定動きブレ算出部３０２は、ステップＳ４０３で取得した本撮影の露光時間及び準備撮影における画像間の時間間隔に基づき、ステップＳ４０２で算出した画素毎の動きベクトルから本撮影における被写体の動きブレを推定する。

本撮影における被写体の動きブレに推定する方法について、図６を参照して詳しく説明する。図６は、準備撮影における動きベクトルと、本撮影の動きブレに推定した推定動きブレとの関係を示す図である。図６では、撮影条件として、準備撮影の画像間の時間間隔は１／６０秒、本撮影の露光時間は１／１２０秒と１／３０秒を例として示している。

推定動きブレ算出部３０２は、式（１）及び式（２）に示すような換算式に基づき、画素毎の動きベクトルを本撮影の動きブレに推定する。
ＣＯＮＶ＿ＧＡＩＮ＝ＥＸＰ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ・・・式（１）
ＣＯＮＶ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＯＮＶ＿ＧＡＩＮ・・・式（２）

ここで、式（１）において、ＣＯＮＶ＿ＧＡＩＮは準備撮影の動きベクトルの大きさを本撮影における動きベクトルの大きさに換算するための推定ゲインを示し、ＥＸＰ＿ＴＩＭＥは本撮影の露光時間を示し、ＩＮＴ＿ＴＩＭＥは準備撮影の画像間の時間間隔を示す。また、式（２）において、ＣＯＮＶ＿ＢＬＵＲは本撮影における被写体の動きブレを示し、ＶＥＣ＿ＬＥＮは準備撮影における動きベクトルの大きさを示す。

式（１）において、推定ゲインは本撮影の露光時間を準備撮影の画像間の時間間隔で除算することにより算出する。そして、式（２）において、本撮影における被写体の動きブレは、動きベクトルの大きさに推定ゲインを乗算することにより算出する。

具体的には、図６のように準備撮影における動きベクトルの長さが１０画素の場合、本撮影の露光時間が１／１２０秒の推定動きブレは、推定ゲインが１／２倍になるため５画素となる。また、本撮影の露光時間が１／３０秒の推定動きブレは、推定ゲインが２倍になるため２０画素となる。

ステップＳ４０５において、報知プレーン生成部３０３は、ステップＳ４０４において算出した画素毎の動きブレに基づき、動きブレを報知するための画像プレーンを生成する。例えば、所定のブレ量以上の動きブレに対応する画素を強調表示するなど区別可能に報知するための画像プレーンを生成する。

また、図２のステップＳ２０６にてシャッターボタンの押下げが検知され本撮影が行われるまでの間、ユーザーは所望の動きブレの本撮影の撮影画像を得るためにシャッタースピード等の撮影パラメータを変更できる。撮影パラメータが変更されると、推定動きブレ算出部３０２は動きブレの推定を再度行う。報知プレーン生成部３０３は、再度推定された動きブレに基づき、再度画像プレーンを生成する。

ステップＳ４０６において、画像重畳部３０４は、準備撮影画像にステップＳ４０５において生成した報知プレーンを例えばＲＡＭ１０３上で重畳し、動きブレ報知画像を生成する。

ここで、報知プレーン生成部３０３により生成される、被写体の動きブレを報知するための報知プレーンの生成方法と、該報知プレーンを重畳した動きブレ報知画像の生成方法について、図７を参照して詳しく説明する。図７は、動きブレ報知画像として３つの例を示している。これらの例では、準備撮影中に動きブレ報知画像を表示部１０９に表示することにより、ユーザーは被写体の動きブレを容易に確認することができる。

図７（ａ）は、アイコン表示により動きブレを報知する例を示す。ステップＳ４０５において、制御部１０１は、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、報知プレーン生成部３０３は図７（ａ）に示すような動きブレアイコン９０１を動きブレ報知プレーンとして生成し、画像重畳部３０４が準備撮影画像に重畳することにより図７（ａ）のような動きブレ報知画像を生成する。

図７（ｂ）は、動きブレ枠の表示によって動きブレを報知する例を示す。ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。ステップＳ４０５において、制御部１０１は、分割領域内の画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が分割領域全体に占める割合を算出する。その割合が所定割合以上の分割領域に対して、報知プレーン生成部３０３は図７（ｂ）に示すような動きブレ枠９０２を動きブレ報知プレーンとして作成し、画像重畳部３０４が準備撮影画像に重畳することにより図７（ｂ）のような動きブレ報知画像を生成する。分割領域毎の動きブレを報知するか否かの判定は分割領域における画素毎の推定動きブレの平均値や中央値などの統計値に基づいて判断されてもよい。

図７（ｃ）は、動きブレが発生した被写体のエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。ステップＳ４０５において、報知プレーン生成部３０３は、準備撮影画像のエッジ強度を検出する。エッジ強度の検出は、ソーベルフィルタなどの公知の方法を用いればよく、詳細な説明は省略する。そして、報知プレーン生成部３０３は、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出する（例えば上記フィルタ結果を所定値以上でクリップする）。抽出した画素に対して、図７（ｃ）の９０３に示すように動きブレが生じている被写体のエッジを強調表示するような動きブレ報知プレーンを生成し、準備撮影画像に重畳することにより図７（ｃ）のような動きブレ報知画像を生成する。図７（ｃ）９０３の例では、動きブレエッジを太くする例を示している。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出し、抽出した画素を赤くするなど、色相・彩度・明るさを変える強調表示の方法が挙げられる。

以上の通り、本実施形態では、第１の撮影の動きブレから第２の撮影での動きブレを推定し、推定した動きブレを報知することにより、第１の撮影で得られる画像を表示する際に第２の撮影で発生する被写体の動きブレを容易に確認することを可能とした。ユーザーは第１の撮影の時点で現在の第２の撮影に用いる撮影パラメータで所望の動きブレで撮影が可能なのかを確認し、第２の撮影に向けて所望の撮影パラメータを設定することができる。

本実施形態では、推定動きブレが所定値以上の場合に動きブレを報知する例について説明したが、推定動きブレが所定値以下の場合に報知しても良い。これにより、動きブレを動感として表現したい長秒露光撮影の場合に、動きブレの不足を準備撮影期間中に確認しやすくなる。

また本実施形態では、デジタルカメラ１００の電源がＯＮにされた後の準備撮影開始を以て動きブレ報知が開始されていた。しかし、これに限らず、例えば準備撮影中にシャッターボタンが半押しされた場合に、半押しされている期間中あるいは所定期間にわたって動きブレ報知を行うようにしてもよい。また、準備撮影中に動きブレ報知のＯＮ、ＯＦＦを自由に切替えられる操作部材を設けていてもよい。

また本実施形態では、準備撮影における動きベクトルに基づき本撮影の動きブレを推定していた。しかし、これに限らず、例えば、準備撮影における動きベクトルに応じて本撮影の動きベクトルを予測し、該予測した動きベクトルに基づき本撮影の動きブレを推定してもよい。本撮影の動きベクトルの予測方法は、例えば準備撮影における動きベクトルの時間的変化と本撮影までの時間に基づき、予測する。セルフタイマー撮影やシャッターチャンスを撮像装置が判別し自動的に撮影を行う自動撮影など、準備撮影から本撮影までの時間が決まっている場合に特に有効である。

また本実施形態では、異なる撮影パラメータとして露光時間を考慮し、第１の撮影（準備撮影）における動きブレを第２の撮影（本撮影）における動きブレに換算することで第２の撮影における動きブレを推定した。しかし、考慮する撮影パラメータとしては露光時間に限らず、より明るい方が動きブレが目立ちやすくなるため、画像の露出値（Ｅｖ値）に基づいて、露出が高い方が露出が低い画像よりも、報知する動きブレかどうかを判定する閾値が低くなるようにしてもよい。

また本実施形態では、動きブレ報知の方法として、動きブレアイコン表示、動きブレ枠表示、動きブレエッジの強調表示の３つの例について説明したが、動きブレ報知の方法はこれに限ったものではない。例えば、平坦な領域も含め、動きブレが発生している領域を強調表示しても良い。具体的には、報知プレーン生成部３０３は、画素毎の推定動きブレが所定値以上の画素を赤く塗るような強調表示を行う。このようにエッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。

また本実施形態では、動きブレの報知方法として、表示部１０９に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限ったものではない。例えば、音や光や振動により動きブレを報知しても良い。具体的には、画素毎の推定動きブレのうち、所定値以上の推定動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音、報知光、報知振動を発生させる。この実施形態では、報知プレーン生成部３０３や画像重畳部３０４の構成、ステップＳ４０５、ステップＳ４０６の処理フローは不要となる。代わりにデジタルカメラ１００内にスピーカーを備え、ステップＳ２０５において、表示部１０９への準備撮影画像の表示に併せて、制御部１０１が報知音をスピーカーで鳴らしたり、報知光を点灯させたり、報知振動を起こすとよい。

また本実施形態では、本撮影画像において発生する被写体の動きブレを準備撮影画像を表示する際に報知する例を示したが、２つの撮影画像あるいは撮影パラメータの関係はこれに限られない。すなわち、複数の撮像素子に撮像される条件下で、１つの撮像素子において第１の撮影パラメータで第１の撮像により第１の撮影画像が出力され、他の撮像素子において第２の撮影パラメータで第２の撮像により第２の撮影画像が出力される実施形態でもよい。この場合も、第１の撮影画像の動き情報に基づいて第２の撮影画像における被写体の動きブレが推定され、報知する。複数の撮像素子は複数の撮像装置に別個に設置されていてもよい。

また本実施形態では、推定した動きブレを報知する例を示したが、これに限らず、推定した動きブレを撮影指示の判定に用いるなど、撮像制御に用いてもよい。例えば所望の動きブレ量に達していない場合は撮影開始指示を受け付けないなどの制御が考えられる。

［第２の実施形態］
本実施形態では、手ブレなど撮像装置の動きによっても、動きブレにより所望の画像が得られないことに鑑み、第１の撮影における撮像装置の動き情報から、第２の撮影における撮像装置の動きに起因する被写体の動きブレを推定し、動きブレの報知を行う。尚、第１の実施形態と同じ符号のものは第１の実施形態と同様の動作、処理を行うものとし、説明は省略する。

図８は、画像処理部１０７に含まれる動きブレ報知画像生成部８００の構成例を示す図である。動きブレ報知画像生成部８００は、画像動き情報変換部８０１、推定動きブレ算出部３０２、報知プレーン生成部３０３及び画像重畳部３０４より構成する。画像動き情報変換部８０１以外の動作及び処理は本発明実施例１と同様のため説明は省略する。

次に、動きブレ報知画像生成部８００が動きブレ報知画像を生成する処理について、図９のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部８００を含めたデジタルカメラ１００の各部が実行する。

ステップＳ９０１において、画像動き情報変換部８０１は、角速度検出部１１１が検出した角速度情報を画像上の動き情報に変換する。角速度を画像上の動き情報に変換するための近似変換式を式（３）及び式（４）に示す。

ＭＯＶ＿ｙａｗはヨー方向の移動量を示し、ＭＯＶ＿ｐｉｔｃｈはピッチ方向の移動量を示す。また、ｆは焦点距離を示し、ω＿ｙａｗはヨー方向の角速度を示し、ω＿ｐｉｔｃｈはピッチ方向の角速度を示し、ｆｐｓは準備撮影のフレームレートを示し、ｐｐは撮像部１０５の画素ピッチを示す。式（３）及び式（４）に示す変換式では、準備撮影における画像間の時間間隔で移動した角度と焦点距離に基づき撮像面上の移動量を算出し、画素ピッチで除算することにより画像上の移動量（移動画素数）を算出している。尚、ここで算出した画像上の移動量は、画素毎に異なる移動量ではなく、全画素一様な移動量である。

画像動き情報変換部８０１は、ヨー方向の移動量を水平方向の移動量、ピッチ方向の移動量を垂直方向の移動量とみなし、全画素一様の動きベクトルとして推定動きブレ算出部３０２に出力する。

ステップＳ９０１で算出された動きベクトルを用いて、第１の実施形態と同様に、ステップＳ４０４にて推定動きブレ算出部３０２により本撮影での動きブレが推定され、ステップＳ４０５にて報知プレーン生成部３０３により動きブレ報知プレーンが生成される。その後、ステップＳ４０６にて画像重畳部３０４によって動きブレ報知画像を生成される。以上の通り、本実施形態では、第１の撮影における撮像装置の動き情報から、第２の撮影における撮像装置の動きに起因する被写体の動きブレを推定し、動きブレの報知を行う。これにより、手ブレなど撮像装置の動きに起因する動きブレを第１の撮影画像取得時に確認できる。ユーザーは確認後、所望の動きブレを有する（動きブレを有さないものを含む）撮影画像を取得できるように撮影パラメータを変更することができる。

尚、本実施形態では、準備撮影における画像間の時間間隔で移動した角度と焦点距離に基づき撮像面上の移動量を算出し、画素ピッチで除算することにより画像上の移動量を算出する例について説明したが、画像上の移動量の算出方法はこれに限ったものではない。準備撮影における画像の露光期間に移動した角度と焦点距離に基づき撮像面上の移動量を算出し、画素ピッチで除算することにより画像上の移動量を算出しても良い。具体的には、角速度検出部１１１が準備撮影における画像の露光期間の角速度を検出し、その角速度に基づき、動きブレ報知画像生成部８００が動きブレ報知画像を生成する。尚、この場合、推定動きブレ算出部３０２は、本撮影の露光時間及び準備撮影における画像の露光時間に基づき、画素毎の動きベクトルを本撮影の動きブレに推定する。

［第３の実施形態］
本実施形態では、動きブレ報知プレーンの解像度（画素数）が小さい場合に、手足などの小さい領域の動きブレを目視確認し難くなることを課題とする。そこで本実施形態では、第１の撮影における被写体の領域毎の動きベクトルに基づき推定した動きブレと、さらに動きベクトルを求める各領域をそれぞれ複数のブロック領域に分割してブロック領域毎の動きエッジ強度を求めてそれらに応じて動きブレの報知を行う。尚、第１及び第２の実施形態と同じ符号のものは第１及び第２の実施形態と同様の動作、処理を行うものとし、説明は省略する。

図１０は、画像処理部１０７に含まれる動きブレ報知画像生成部１０００の構成例を示す図である。動きブレ報知画像生成部１０００は、動きベクトル算出部１００１、動き強度算出部１００２、推定動きブレ算出部３０２、報知プレーン生成部１００３及び画像重畳部３０４より構成する。尚、推定動きブレ算出部３０２及び画像重畳部３０４の動作及び処理は本発明第１の実施形態と同様のため、説明は省略する。

次に、動きブレ報知画像生成部１０００が動きブレ報知画像を生成する処理について、図１１のフローチャートを参照して詳しく説明する。本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により動きブレ報知画像生成部１０００を含めたデジタルカメラ１００の各部が実行する。

ステップＳ１１０１において、動きベクトル算出部１００１は、単位領域毎に画像間の比較処理を行うことによって、被写体の動き情報としての準備撮影画像の画像間における動きベクトルを算出する。単位領域の最小単位としては１画素も可能であるが、本実施形態では動きベクトル算出にかかる処理負荷を軽減するために少なくとも通常動作時は複数画素を単位領域とする。単位領域は指示入力部１１０を介したユーザー操作により動きブレの検出精度や処理速度を決定する操作として指示されてもよい。例えば動きブレの検出精度が高精度に設定された場合には低精度に設定された場合よりも単位領域は小さくなる。

またステップＳ１１０１において、動き強度算出部１００２は、動きベクトルを算出する単位領域をさらに分割して複数のブロック領域としたときのブロック領域毎に撮影画像間の比較処理を行うことで動き強度を算出する。ブロック領域の最小単位も画素とし、本実施形態では画素毎に動き強度を算出するものとする。本発明における第１の実施形態では、動き情報として、動きベクトル算出部３０１が画素毎に動きベクトルを算出する例を説明した。それに対し、本発明における第３の実施形態では、動き情報として、動きベクトル算出部１００１が単位領域毎に動きベクトルを算出し、動き強度算出部１００２が画素毎に動き強度を算出する例について説明する。

まず、動きベクトル算出部１００１について、図１２を参照して詳しく説明する。

図１２は、図５（ａ）に示す準備撮影画像において、動きベクトル算出部１００１が算出する動きベクトル及び動きベクトルを算出する単位領域を示す図である。図１２において、矢印が動きベクトルを示し、矩形の実線で囲まれている領域が動きベクトルを算出する単位領域を示す。図１２の例では、走っている犬５０１は所定値以上の大きさの動きベクトルが左方向の動きベクトルとして検出され、それ以外の止まっている犬５０２や背景の柵は動きベクトルが０もしくは所定値より小さい。

動きベクトル算出部１００１は、動きベクトルを算出する単位領域１３００毎に１つの動きベクトルを算出し、単位領域内の全画素に算出した１つの動きベクトルと同じ動きベクトルを割り当てる。このような動きベクトル算出処理を行う事により、例えば、単位領域１３００のように左方向に移動している動きベクトルが算出された単位領域では、走っている犬の顔も静止している地面も左方向に移動している動きベクトルとなる。

このように単位領域毎に１つの動きベクトルを算出し、該動きベクトルと同じ動きベクトルを単位領域内の全画素に割り当てることにより、本発明の第１の実施形態のように全画素の動きベクトルを算出するよりも処理量を削減することができる。

具体的な動きベクトル算出方法は、本発明の第１の実施形態と同様の動作、処理を行うものとし、説明は省略する。

次に、動き強度算出部１００２について、図１３を参照して詳しく説明する。

図１３（ａ）は、図５（ａ）に示す準備撮影画像において、動き強度算出部１００２が算出する動き強度を示す図である。動き強度算出部１００２は、準備撮影画像の画像間における同一座標の画素値の差を動き強度として算出する。図１３（ａ）の例では、図５（ａ）に示す準備撮影画像における走っている犬５０１は、画像間の画素値の差が大きいため、動き強度が大きくなっている。一方、走っている犬以外の止まっている犬５０２や背景の柵は、画像間の画素値の差が小さいため、動き強度が小さくなっている。このように、画像間の画素値の差に基づき画素毎に動き強度を算出する処理は、画素毎に動きベクトルを算出する処理よりも少ない処理量で動き領域を検出することができる。

尚、本実施形態の動き強度算出部１００２は、画素毎に動き強度を算出する例について説明するが、動き強度の算出単位はこれに限ったものではなく、動きベクトルを算出する単位領域よりも小さい領域であれば良い。

ステップＳ１１０２において、報知プレーン生成部１００３は、ステップＳ４０４において算出した画素毎の動きブレに基づき、動きブレを報知するための画像プレーンを生成する。例えば、所定のブレ量以上の動きブレに対応する画素を強調表示するなど区別可能に報知するための画像プレーンを生成する。

ここで、報知プレーン生成部１００３により生成される、被写体の動きブレを報知するための報知プレーンの生成方法について、図１３を参照して詳しく説明する。図１３（ｂ）は、図５（ａ）に示す準備撮影画像におけるエッジ強度を示す図であり、図１３（ｃ）は、動きエッジ強度を示す図である。本発明の第３の実施形態では、図７（ｃ）のように動きブレが発生した被写体のエッジを強調表示することにより動きブレを報知する例について説明する。

報知プレーン生成部１００３は、準備撮影画像のエッジ強度を検出する。報知プレーン生成部１００３が検出したエッジ強度を図１３（ｂ）に示す。具体的なエッジ強度の検出方法は、本発明の第１の実施形態と同様のため説明は省略する。そして、報知プレーン生成部１００３は、同一座標の動き強度とエッジ強度を画素毎に乗算し、動きエッジ強度を算出する。報知プレーン生成部１００３が算出した動きエッジ強度を図１３（ｃ）に示す。動きエッジ強度は、エッジ強度が大きく動き強度も大きい画素ほど大きい値となる。そして、報知プレーン生成部１００３は、動きエッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出する。抽出した画素に対して、図７（ｃ）の９０３に示すように動きブレが生じている被写体のエッジを強調表示するような動きブレ報知プレーンを生成し、準備撮影画像に重畳することにより図７（ｃ）のような動きブレ報知画像を生成する。このように動きエッジ強度を用いて動きブレ報知プレーンを生成することにより、単位領域１３００のように走っている犬と静止している地面に対して、同じ左方向の動きベクトルを割り当てたとしても、走っている犬のエッジのみ強調表示することが可能となる。

尚、本実施形態では、同一座標の動き強度とエッジ強度を画素毎に乗算することにより動きエッジ強度を算出例について説明したが、動きエッジ強度の算出方法はこれに限ったものではない。例えば、同一座標の動き強度とエッジ強度を画素毎に加算することにより動きエッジ強度を算出しても良い。

尚、動きベクトル算出部１００１が動きベクトルを算出する単位領域が十分小さい場合は、本発明の第１の実施形態のように、動きベクトルのみの動き情報に応じて動きブレを報知しても良い。動きベクトルを算出する単位領域が十分小さい場合は、手足などの小さい領域の動きブレを目視確認できるためである。

［第４の実施形態］
第３の実施形態では、検出したエッジ強度と、同一座標の動き強度とを画素毎に乗算し、動きエッジ強度を算出していた。しかしながら、動きブレが発生するような撮影シーンにおいて、準備撮影画像上のエッジ強度が低下し、適切にブレ報知出来ない場合があった。

前記課題の具体例を、図１４、図１５を参照して説明する。図１４は、図５に示した準備入力画像内の犬５０１の画像であり、図１４内の断面１４０１におけるエッジ強度の推移を図１５に示す。

図１５の横軸は断面１４０１での水平方向の位置座標を表し、縦軸は検出されたエッジ強度を表す。

準備撮影画像上にブレがない場合、断面１４０１では、図１５（ａ）のようなエッジ強度が検出される。

しかし、準備撮影画像上にブレがある場合、断面１４０１におけるエッジ強度は、図１５（ｂ）のように低下する。

上記課題を考慮し、本実施形態により、被写体の動きベクトルに応じて前記エッジ領域の判別のためのエッジ強度閾値を設定し、判別結果を基にエッジ強度を補正し、動きブレを報知する。

図１６、図１７、図１８を用いて説明する。

尚、第３の実施形態と同じ符号のものは前述しているものと同様の動作、処理を行うものとし、説明は省略する。

また、第３の実施形態における動きブレ報知画像生成部と、第４の実施形態における第２の動きブレ報知画像生成部以外、実施形態に相違はないため、説明は省略する。

まず、図１６は、画像処理部１０７に含まれる第２の動きブレ報知画像生成部１５００の構成例を示す図である。

第２の動きブレ報知画像生成部１５００は、動きベクトル算出部１００１、動き強度算出部１００２、推定動きブレ算出部３０２、画像重畳部３０４、エッジ強度算出部１５０１、エッジ領域判別部１５０２、動きエッジ強度算出部１５０３、特定画素抽出部１５０４より構成される。

尚、動きベクトル算出部１００１、動き強度算出部１００２、推定動きブレ算出部３０２及び画像重畳部３０４の動作及び処理は第１の実施形態及び第３の実施形態と同様のため、説明は省略する。

エッジ強度算出部１５０１は、準備撮影画像を取得し、該画像のエッジ強度を算出する。具体的なエッジ強度の検出方法は、本発明の第１の実施形態と同様のため説明は省略する。

エッジ領域判別部１５０２は、前記エッジ領域の判別のためのエッジ強度閾値を設定し、該エッジ強度閾値をもって前記エッジ強度はエッジ強度閾値以上かを判別し、エッジ強度閾値以上のエッジ強度であればエッジ強度の補正を行う。エッジ領域判別部１５０２の詳細な動作については後述する。

動きエッジ強度算出部１５０３は、前記エッジ強度と前記動き強度を乗算もしくは加算することで、動きエッジ強度を算出する。具体的な動きエッジ強度の算出方法は、本発明の第３の実施形態と同様のため説明は省略する。

特定画素抽出部１５０４は、前記動きエッジ強度が所定値以上、且つ、推定動きブレが所定値以上の画素を抽出する。具体的な抽出方法は本発明の第３の実施形態と同様のため説明は省略する。

次に、エッジ領域判別部１５０２が、検出されたエッジ強度に対してエッジ強度閾値によるエッジ領域の判別と補正を行う処理について、図１７のフローチャートを参照して詳しく説明する。

本フローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示によりエッジ領域判別部１５０２を含めたデジタルカメラ１００の各部が実行する。

本実施形態では、動きベクトルの大きさの最大値に基づいてエッジ強度閾値を算出する例について説明する。

ステップＳ１６０１において、エッジ領域判別部１５０２は、エッジ強度算出部１５０１が算出したエッジ強度を取得し、図１４から図１５（ｂ）を得る。

ステップＳ１６０２において、エッジ領域判別部１５０２は、動きベクトル算出部１００１が図１４より算出した単位領域ごとの動きベクトルを取得する。

ステップＳ１６０３において、エッジ領域判別部１５０２は、前記取得した単位領域ごとの動きベクトルから、エッジ強度閾値Ｔｈを算出する。

まず、エッジ領域判別部１５０２は、前記取得した単位領域ごとの動きベクトルから、ベクトルの大きさの最大値を算出する。

尚、本実施形態では単位領域ごとの動きベクトルの大きさの最大値を算出したが、算出する値はこれに限ったものではない。

例えば、準備撮影画像内に占める割合が多い被写体に対して適切な動きブレの報知を行う場合には、単位領域ごとの動きベクトルの最頻値を用いても良い。

次に、前記算出した動きベクトルの最大値に基づいて、エッジ領域の判別に用いるためのエッジ強度閾値Ｔｈを算出する。

エッジ強度閾値Ｔｈは、一次関数の関係に従って下記式（５）によって算出される。

ここで、式（５）におけるマイナスの定数Ａは、動きベクトルとエッジ強度の低下の関係度によって定まる比例定数を示した係数である。本実施形態では、あらかじめＲＯＭ１０２保持されるものとする。

尚、本実施形態ではエッジ強度閾値を算出する例に一次関数を用いて説明したが、エッジ強度閾値の算出はこれに限ったものではない。動きブレによるエッジ強度の低下の関係性が近似できれば良い。例えば、二次関数に従ってしたがってエッジ強度閾値を算出しても良い。

ステップＳ１６０４において、エッジ領域判別部１５０２は、前記ステップＳ１６０３で算出したエッジ強度閾値に基づいて、エッジ領域を判別する。判別は、ステップＳ１６０１で取得したエッジ強度がステップＳ１６０３で算出されたエッジ強度閾値以上かどうかで行う。エッジ強度閾値以上であればステップＳ１６０５を行った後、ステップＳ１６０６を行う。

エッジ強度閾値未満であればステップＳ１６０６に進む。

ステップＳ１６０４におけるエッジ領域の判別について、図１８を参照して説明する。

図１８は、図１５（ｂ）のエッジ強度に対して、本実施形態によりエッジ領域の判別を適用した場合の図である。図１５と同様に、図１８は、縦軸は検出されたエッジ強度を表し、横軸は図１４の断面１４０１における準備撮影画像上での位置座標を示す。図１５（ｂ）のような動きブレが生じて強度が低下している場合でも、エッジと判別される。

次に、ステップＳ１６０５において、エッジ領域判別部１５０２は、エッジ強度閾値以上と判別されたエッジ強度に対して補正処理を行う。

エッジ強度は以下式（６）に従って補正される。

前記式（６）による補正を図１８に対して行った結果を図１９に示す。エッジ強度閾値を越えていたエッジ強度のみが、式（６）で示されるエッジ強度閾値の比によって、動きブレがない場合のエッジ強度と同等の強度に補正される。

尚、本実施形態ではエッジ強度閾値同士の比により補正を行ったが、補正式はこれに限ったものではない。

例えば、補正前のエッジ強度がほぼすべて同等であった場合には、エッジ強度閾値同士の差分をエッジ強度に加算しても良い。

次に、ステップＳ１６０６において、エッジ領域判別部１５０２は、全画素においてエッジ領域の判別とエッジ強度の補正が終わったかを判別する。終わっていなければステップＳ１６０４へと戻り、終わっているなら処理を終了する。

このように、準備撮影画像上に発生する動きブレに応じてエッジ領域の判別のためのエッジ強度閾値を設定し、判別結果を基にエッジ強度を補正しすることで、動きブレによりエッジ強度が低下するような被写体においても、動きブレを報知できる。

尚、本実施形態では動きベクトルの大きさに基づいてエッジ強度閾値を定めたが、例えば流し撮り撮影のように、被写体が一方向にのみ動く場合、少なくとも被写体の動きベクトルの方向成分に基づいてエッジ強度閾値を定めても良い。

また、本実施形態では単位領域ごとの動きベクトルから、一つのエッジ強度閾値を定めた。しかし、準備撮影画像内には異なる動きをする被写体が複数存在する場合、それぞれの単位領域各々で算出された動きベクトルを用いて該単位領域毎にエッジ強度閾値を定めても良い。

［他の実施形態］
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００ 撮像装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録部
１０９ 表示部
１１０ 指示入力部
１１１ 角速度検出部
３００ 動きブレ報知画像生成部
３０１ 動きベクトル算出部
３０２ 推定動きブレ算出部
３０３ 報知プレーン生成部
３０４ 画像重畳部
８０１ 画像動き情報変換部
１００１ 動きベクトル算出部
１００２ 動き強度算出部
１００３ 報知プレーン作成部
１５０１ エッジ強度算出部
１５０２ エッジ領域判別部
１５０３ 動きエッジ強度算出部
１５０４ 特定画素抽出部

Claims (29)

1. 第１の撮影パラメータで第１の撮像により得られた第１の撮影画像及び該第１の撮影画像における被写体の動き情報を取得する取得手段と、
   前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、
   前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
   を有することを特徴とする情報処理装置。
2. 前記推定手段は、前記第１の撮影パラメータおよび前記第２の撮影パラメータの違いに基づいて前記動きブレを推定することを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、複数の前記第１の撮影画像の間で画像の比較を行うことで前記動き情報を算出し、取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記推定手段は、前記動き情報に基づき算出した前記第１の撮影画像における被写体の動きブレを、前記第１の撮影パラメータと前記第２の撮影パラメータの違いに基づき前記第２の撮影画像における動きブレに換算することで、前記第２の撮影画像における動きブレを推定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記推定手段は、前記動き情報と複数の前記第１の撮像における画像間の時間間隔及び前記第２の撮影パラメータとして設定される露光時間に基づき、前記第２の撮影画像における動きブレを推定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記動きブレを報知する報知手段と、を
   さらに有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記報知手段は、前記動きブレに対応する情報を表示部に表示することで前記動きブレを報知することを特徴とする請求項６に記載の情報処理装置。
8. 前記報知手段は、前記動きブレに対応する情報を前記第１の撮影画像に重畳して表示部に表示することで前記動きブレを報知することを特徴とする請求項６または７に記載の情報処理装置。
9. 前記取得手段は、前記第１の撮影画像の複数の領域に対応する動き情報を取得し、前記推定手段は、前記複数の領域に対応する動き情報から前記第２の撮影画像の複数の領域における動きブレを推定し、
   前記報知手段は、前記動きブレを対応する複数の領域毎に報知することを特徴とする請求項６乃至８のいずれか１項に記載の情報処理装置。
10. 前記報知手段は、前記第１の撮影画像において、前記第２の撮影画像における動きブレが所定のブレ量以上であると推定された領域毎に枠を表示することで動きブレを報知することを特徴とする請求項９に記載の情報処理装置。
11. 前記報知手段は、前記第１の撮影画像において、前記第２の撮影画像における動きブレ
    が所定のブレ量以上であると推定された領域毎にエッジ領域を区別可能に表示することで
    動きブレを報知することを特徴とする請求項９に記載の情報処理装置。
12. 前記第１の撮像は前記第２の撮像の前に行われ、
    前記報知手段は、前記取得手段が前記第１の撮影画像を逐次取得している間に前記動きブレを報知することを特徴とする請求項６乃至１１のいずれか１項に記載の情報処理装置。
13. 前記推定手段は、前記設定手段により前記第２の撮像の撮影パラメータが変更されると前記動きブレの推定を再度行い、
    前記報知手段は、前記推定手段により再度推定された動きブレを報知することを特徴とする請求項６乃至１２のいずれか１項に記載の情報処理装置。
14. 前記設定手段は、前記第１の撮影画像に基づいて前記第２の撮影パラメータを設定することを特徴とする請求項６乃至１３のいずれか１項に記載の情報処理装置。
15. 前記取得手段は、複数の前記第１の撮像で得られる複数の前記第１の撮影画像から前記第１の撮影画像の複数の領域においてそれぞれ動きベクトルを取得し、
    前記複数の領域のそれぞれにおいて、複数のブロック領域に分割して該ブロック領域ごとに前記第１の撮影画像間の画素値の差を算出し、
    前記推定手段は、
    前記動きベクトルおよび前記画素値の差から前記ブロック領域毎に前記被写体の動きブレを割り当てることを特徴とする請求項６乃至１４のいずれか１項に記載の情報処理装置。
16. 前記報知手段は、前記第１の撮影画像において、前記第２の撮影画像における動きブレが所定のブレ量以上であると推定された領域毎にエッジ領域を区別可能に表示することで動きブレを報知することを特徴とする請求項１５に記載の情報処理装置。
17. 前記推定手段は、前記動きベクトルを算出する複数の領域の大きさが閾値以上の場合に、前記動きベクトル及び前記画素値の差から前記ブロック領域ごとに前記被写体の動きブレを割り当て、前記動きベクトルを算出する複数の領域の大きさが閾値より小さい場合に、前記動きベクトルから前記複数の領域ごとに前記被写体の動きブレを推定することを特徴とする請求項１５に記載の情報処理装置。
18. 前記報知手段が、前記エッジ領域を判別するための閾値を、前記動き情報に応じて、切り替えることを特徴とする請求項１５乃至１７のいずれか１項に記載の情報処理装置。
19. 前記報知手段が、前記エッジ領域を判別するための閾値を、前記動きベクトルより算出された統計値に基づいて変更することを特徴とする請求項１８に記載の情報処理装置。
20. 前記統計値は、少なくとも前記動きベクトルの大きさの最大値から算出されることを特徴とする請求項１９に記載の情報処理装置。
21. 前記統計値は、少なくとも前記動きベクトルの大きさの最頻値から算出されることを特徴とする請求項１９に記載の情報処理装置。
22. 前記報知手段は、前記エッジ領域を判別するための閾値を、前記動きベクトルの少なくとも一つの方向の成分に基づいて変更することを特徴とする請求項１９に記載の情報処理装置。
23. 前記報知手段は、前記エッジ領域を判別するための閾値を、第１の撮影画像の複数の領域においてそれぞれ変更することを特徴とする請求項１９に記載の情報処理装置。
24. 前記第１の撮像を行う撮像手段と、
    請求項１乃至２３のいずれか１項に記載の情報処理装置と、
    を有することを特徴とする撮像装置。
25. 撮像手段を有し、前記撮像手段において第１の撮影パラメータで第１の撮像により第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置であって、
    前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出手段と、
    前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定手段と、
    前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影画像における動きブレを推定する推定手段と、
    を有することを特徴とする撮像装置。
26. 第１の撮影パラメータで第１の撮像により得られた第１の撮影画像及び該第１の撮影画像における被写体の動き情報を取得する取得ステップと、
    前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定ステップと、
    前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定ステップと、
    を有することを特徴とする情報処理方法。
27. 撮像手段を有し、前記撮像手段において第１の撮影パラメータで第１の撮像により第１の撮影画像が逐次出力される間にユーザーによる撮影指示がある場合、該撮影指示に応じて第２の撮影パラメータで第２の撮像により第２の撮影画像を出力する撮像装置の制御方法であって、
    前記撮像手段から出力される複数の前記第１の撮影画像に基づいて動き情報を算出する算出ステップと、
    前記第１の撮影パラメータとは独立して前記第２の撮影パラメータを設定する設定ステップと、
    前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて、前記第２の撮影画像における動きブレを推定する推定ステップと、
    を有することを特徴とする撮像装置の制御方法。
28. コンピュータを、請求項１乃至２３のいずれか１項に記載の情報処理装置の各手段として実行させるためのプログラム。
29. コンピュータを、請求項１乃至２３のいずれか１項に記載の情報処理装置の各手段として実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images