JP7296750B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像される画像に生じる被写体ブレを報知するための技術に関する。

従来、移動している主被写体に追従してカメラをパンニングさせながら撮影することにより、主被写体以外の背景領域にブレを生じさせ、主被写体のスピード感を表現する流し撮りと呼ばれる撮影手法が知られている。流し撮りにおいて主被写体のスピード感を表現するためには、主被写体の移動の速度とカメラのパンニング速度とを一致させた状態で撮影を行い、主被写体にはブレを生じさせず、背景領域にのみにブレを生じさせることが重要である。

この点に関して、特許文献１には、流し撮り撮影を行う撮影者に対する補助表示として、適切なカメラのパンニングの速度を撮影者が把握できるようにＵＩ表示を行う技術が開示されている。具体的には、撮影者はカメラのパンニングの状態を表すアイコン表示の表示位置関係に応じて、カメラのパンニングの速さが速すぎるのか、遅すぎるのかを把握することができる。

特開２０１６－２２００２４号公報

しかしながら、特許文献１の表示方法の場合、主被写体領域の全体に対して、カメラのパンニング速度が適切であるか否かをアイコン表示によって把握することはできる。しかし、主被写体領域の各部分において動きの速さや方向が異なる場合には、それぞれの部分領域に対してカメラのパンニング速度が適切であるか否かを判断することができないという課題があった。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、主被写体の各領域におけるブレの状態や、適切なカメラのパンニング速度を容易に確認することができる撮像装置を提供することである。

本発明に係わる撮像装置は、第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および該第１の撮影画像における被写体の動き情報を取得する取得手段と、前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、前記動き情報および前記第２の撮影パラメータを用いて、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、推定された前記動きブレを報知する報知手段と、前記撮像装置の動きを検出する検出手段と、を備え、前記報知手段は、前記検出手段により、前記撮像装置のパンニング動作が検出された場合に、画像の部分領域ごとの動きブレの大きさおよび向きの少なくとも一方に基づいて、前記部分領域ごとに表示形態を変更して前記動きブレを報知することを特徴とする。

本発明によれば、主被写体の各領域におけるブレの状態や、適切なカメラのパンニング速度を容易に確認することができる撮像装置を提供することが可能となる。

第１の実施形態における撮像装置の構成を示す図。 第１の実施形態における撮像装置の撮影処理フローを示す図。 第１の実施形態における動きブレ報知画像生成部の構成を示す図。 第１の実施形態における動きブレ報知画像を生成する処理フローを示す図。 第１の実施形態における準備撮影画像及び動きベクトルを示す図。 第１の実施形態における動きベクトルを算出する処理フローを示す図。 第１の実施形態における動きベクトルの算出方法を示す図。 第１の実施形態における動きベクトルと換算動きブレを示す図。 第１の実施形態における動きブレ報知方法を示す図。 第２の実施形態における動きブレ報知画像生成部の構成を示す図。 第２の実施形態における動きブレ報知画像を生成する処理フローを示す図。 第２の実施形態における動きブレ報知方法を示す図。 第３の実施形態における動きブレ報知画像生成部の構成を示す図。 第３の実施形態における動きブレ報知画像を生成する処理フローを示す図。 第３の実施形態における準備撮影画像及び動きベクトルを示す図。 第３の実施形態における画像中の動きベクトルの絶対値とその頻度を示す図。 第３の実施形態における動きブレ報知方法を示す図。 第４の実施形態における撮像装置の構成を示す図。 第４の実施形態における動きブレ報知画像生成部の構成を示す図。 第４の実施形態における動きブレ報知画像を生成する処理フローを示す図。 第５の実施形態における撮像装置の構成を示す図。 第５の実施形態における動きブレ報知画像生成部の構成を示す図。 第５の実施形態における動きブレ報知画像を生成する処理フローを示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
本発明の第１の実施形態は、ライブビューなどの準備撮影中において、画像から算出した被写体の動き情報と、撮像装置に備えられた角速度センサーを用いて検出した撮像装置本体の動き情報との比較結果に基づいて、動きブレの報知を行う。

図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。

図１において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

光学系（撮影レンズ）１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像させる。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子を備え、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述の動きブレ報知画像生成部３００を備え、ＲＡＭ１０３に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。

記録部１０８は、着脱可能なメモリカード等である。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。

表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザーからの指示を受け付けるための操作ユーザーインターフェイスの表示等を行う。また、表示部１０９は、準備撮影中に構図合わせ等のために撮像部１０５が撮像した画像を表示する。指示入力部１１０は、タッチパネルやマウス等であり、ユーザーによる指示を入力する。

角速度センサー１１１は、例えばジャイロセンサーなどであって、撮像装置１００の移動量や移動方向を表す角速度を周期的に検出し、電気信号に変換して画像処理部１０７へ出力する。以上、撮像装置１００の構成と基本動作について説明した。

次に、撮像装置１００の処理について図２のフローチャートを参照して説明する。本フローチャートの各ステップは、制御部１０１の指示により撮像装置１００の各部が実行する。

ユーザーが撮像装置１００の電源を入れると、ステップＳ２０１において、制御部１０１はデジタルカメラ１００の電源が入れられたことに応じて、光学系１０４、撮像部１０５を制御して準備撮影を開始する。準備撮影期間中は、撮像装置１００は逐次画像を撮像して逐次取得し、取得した撮影画像は表示部１０９の表示デバイスに表示される。ユーザーは逐次表示される準備撮影画像を確認しながら構図合わせなどを行うことができる。なお、後述するステップＳ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６の処理は準備撮影期間中に行われる。

ステップＳ２０２において、ユーザーは指示入力部１１０を用いて本撮影時の露光時間を設定する。なお、本撮影時の露光時間は制御部１０１が自動で設定してもよい。

ステップＳ２０３において、制御部１０１は、動きブレ報知がＯＮ設定かＯＦＦ設定かを判断する。動きブレ報知のＯＮかＯＦＦかの設定は、例えば、ユーザーが指示入力部１１０を用いて設定するものとし、一度設定すれば設定値が保持されるものとする。

ステップＳ２０３において動きブレ報知がＯＮ設定の場合は、ステップＳ２０４へ進み、動きブレ報知がＯＦＦ設定の場合は、ステップＳ２０６へ進む。そして、ステップＳ２０６において、準備撮影画像を表示部１０９に表示する。

ステップＳ２０４において、制御部１０１は、角速度センサー１１１において撮像装置１００の一定の方向への動き、すなわち、撮影者によるカメラのパンニング動作が検出されたか否かを判定する。パンニング動作が検出された場合には、流し撮りの準備撮影が開始されたと判定し、ステップＳ２０５へ進む。そして、ステップＳ２０６において、動きブレ報知画像を表示部１０９に表示する。パンニング動作が検出されない場合には、ステップＳ２０６へ進む。そして、ステップＳ２０６において、準備撮影画像を表示部１０９に表示する。

ステップＳ２０５において、動きブレ報知画像生成部３００が準備撮影画像に対して動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。

ステップＳ２０７において、ユーザーは表示部１０９に表示された画像を見ながらシャッターチャンス時にシャッターボタンを押下する。表示部１０９に動きブレ報知画像を表示している場合は、ユーザーは、流し撮りの準備撮影中において容易に主被写体のブレの状態（ブレ量）や、カメラの適切なパンニング速度に対する目安を確認することができる。もし、カメラのパンニング速度が、主被写体の移動速度と合致していない場合は、ユーザーはカメラのパンニング速度を調整してからシャッターボタンを押下することにより、流し撮りを適切に行うことができる。

ステップＳ２０７においてシャッターボタンが押下されると、撮像装置１００は本撮影を行い、本撮影画像を記録部１０８に記録する。

次に、図３は、画像処理部１０７が備える動きブレ報知画像生成部３００の構成を示す図である。図３において、動きブレ報知画像生成部３００は、動きベクトル算出部３０１、換算動きブレ算出部３０２、カメラ動きベクトル算出部３０３、動きベクトル比較部３０４、動きブレ報知プレーン作成部３０５、画像重畳部３０６を備える。

このように構成される動きブレ報知画像生成部３００の動作について説明する。図４は、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理を示すフローチャートである。

ステップＳ４０１において、動きブレ報知画像生成部３００には、撮像装置１００が準備撮影中に撮像した準備撮影画像が入力される。準備撮影画像の例を図５（ａ）に示す。本実施形態では、図５（ａ）に示すように、右から左に走っている犬５０１を流し撮りで撮影する例について説明する。この場合、流し撮り時のカメラのパンニング動作も、右から左への動きとなる。

ステップＳ４０２において、動きブレ報知画像生成部３００の動きベクトル算出部３０１は、動き情報として準備撮影画像の画像間における動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図６及び図７を参照して説明する。

図６は、動きベクトル算出部３０１による動きベクトルの算出処理を示すフローチャートである。なお、本実施形態では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

ステップＳ６０１において、動きベクトル算出部３０１には、時間的に隣接する２枚の準備撮影画像が入力される。そして、動きベクトル算出部３０１は、Ｍ番目のフレームの準備撮影画像を基準フレームに設定し、Ｍ＋１番目のフレームの準備撮影画像を参照フレームに設定する。

ステップＳ６０２において、動きベクトル算出部３０１は、図７のように、基準フレーム７０１において、Ｎ×Ｎ画素の基準ブロック７０２を配置する。

ステップＳ６０３において、動きベクトル算出部３０１は、図７のように、参照フレーム７０３に対し、基準フレーム７０１の基準ブロック７０２の中心座標と同じ座標の点７０４の周囲の（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲７０５として設定する。

ステップＳ６０４において、動きベクトル算出部３０１は、参照フレーム７０３の探索範囲７０５内に存在するＮ×Ｎ画素の参照ブロック７０６を探索範囲７０５内で移動させながら、基準フレーム７０１の基準ブロック７０２との相関演算を行い、相関値を算出する。相関値は、基準ブロック７０２及び参照ブロック７０６の画素に対するフレーム間差分絶対値和に基づき算出する。つまり、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図７の例では、図７に示した参照ブロック７０６の位置が最も相関が高いことを示しているものとする。

ステップＳ６０５において、動きベクトル算出部３０１は、ステップＳ６０４で求めた最も高い相関値を示す参照ブロックの座標に基づき動きベクトルを算出する。図７の例の場合、参照フレーム７０３の探索範囲７０５の中で、基準フレーム７０１の基準ブロック７０２の中心座標に対応した座標７０４と、参照ブロック７０６の中心座標とに基づき動きベクトルが求められる。つまり、座標７０４から参照ブロック７０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。

ステップＳ６０６において、動きベクトル算出部３０１は、基準フレーム７０１の全画素について動きベクトルを算出したか否かを判定する。動きベクトル算出部３０１は、ステップＳ６０６において全画素の動きベクトルを算出していないと判定した場合には、ステップＳ６０２に処理を戻す。そして、ステップＳ６０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム７０１にＮ×Ｎ画素の基準ブロック７０２が配置される。そして、以下前述同様に、ステップＳ６０３からステップＳ６０５の処理が行われる。すなわち、動きベクトル算出部３０１は、図７の基準ブロック７０２を移動させながら、ステップＳ６０２からステップＳ６０５までの処理を繰り返して、基準フレーム７０１の全画素の動きベクトルを算出する。

動きベクトルの例を図５（ｂ）、（ｃ）に示す。図５（ｂ）、（ｃ）では、それぞれ、動きベクトルの方向が（ｂ）右向き、（ｃ）左向きの場合を例にとって図示している。図では、動きベクトルの方向が一定の場合で図示しているが、領域毎に動きベクトルの方向が異なる場合でも構わないことは言うまでもない。

また、本実施形態での流し撮り補助表示においては、主被写体領域での動きブレの状態に着目しているため、背景領域における動きブレの補助表示は不要である。このため、算出した動きベクトルの絶対値が、カメラ動きベクトル算出部３０３が算出するカメラ本体の動きを表すカメラ動きベクトルの絶対値に比べて小さい領域にのみ、動きブレ報知を行うよう制御する場合を図示している。なお、動きブレ報知を行う対象領域の決定は、既知の方法を用いた主被写体判別を行い、動きベクトルの算出処理や動きブレ報知処理を、主被写体領域に対してのみ行うよう制御してもよい。

ここで、理想通りの流し撮りができている場合、すなわち、主被写体の移動速度とカメラのパンニング速度とが完全に合致している場合には、主被写体である犬５０１の領域に対する動きベクトルの大きさはゼロとなる。しかし、実際には、被写体の移動速度に対して、カメラのパンニング速度が速すぎたり、遅すぎたりするために、主被写体に対して動きブレが生じてしまう場合がある。

なお、動きベクトル算出部３０１は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。

以上の処理により、動きベクトル算出部３０１は、時間的に隣接する準備撮影画像間における動きベクトルを算出する。以上、動きベクトル算出部３０１が動きベクトルを算出する処理について説明した。

図４の説明に戻って、ステップＳ４０３において、換算動きブレ算出部３０２は、撮影条件（独立した撮影パラメータ）として、図２のステップＳ２０２で設定した本撮影の露光時間及び準備撮影における画像間の時間間隔を取得する。

ステップＳ４０４において、換算動きブレ算出部３０２は、ステップＳ４０３で取得した本撮影の露光時間及び準備撮影における画像間の時間間隔に基づき、ステップＳ４０２で算出した画素毎の動きベクトルを本撮影の動きブレに換算する。

本撮影の動きブレに換算する方法について、図８を参照して説明する。図８は、準備撮影における動きベクトルと、本撮影の動きブレに換算した換算動きブレを示す図である。図８では、撮影条件として、準備撮影の画像間の時間間隔は１／６０秒、本撮影の露光時間は１／１２０秒と１／３０秒を例として示している。

換算動きブレ算出部３０２は、式（１）及び式（２）に示すような換算式に基づき、画素毎の動きベクトルを本撮影の動きブレに換算する。

ＣＯＮＶ＿ＧＡＩＮ＝ＥＸＰ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ …式（１）
ＣＯＮＶ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＯＮＶ＿ＧＡＩＮ …式（２）
ここで、式（１）において、ＣＯＮＶ＿ＧＡＩＮは準備撮影の動きベクトルを本撮影の動きベクトルに換算するための換算ゲインを示し、ＥＸＰ＿ＴＩＭＥは本撮影の露光時間を示し、ＩＮＴ＿ＴＩＭＥは準備撮影の画像間の時間間隔を示す。また、式（２）において、ＣＯＮＶ＿ＢＬＵＲは本撮影の換算動きブレを示し、ＶＥＣ＿ＬＥＮは準備撮影における動きベクトルの長さを示す。

式（１）において、換算ゲインは本撮影の露光時間を準備撮影の画像間の時間間隔で除算することにより算出する。そして、式（２）において、本撮影の換算動きブレは、動きベクトルの長さに換算ゲインを乗算することにより算出する。

具体的には、図８のように準備撮影における動きベクトルの長さが１０画素の場合、本撮影の露光時間が１／１２０秒の換算動きブレは、換算ゲインが１／２倍になるため５画素となる。また、本撮影の露光時間が１／３０秒の換算動きブレは、換算ゲインが２倍になるため２０画素となる。

図４のステップＳ４０５において、カメラ動きベクトル算出部３０３は、角速度センサー１１１から、撮像装置１００の角速度情報を取得し、その結果を画像上の動き情報に変換して、撮像装置１００の動いている方向を表すカメラ動きベクトルを算出する。角速度を画像上の動き情報に変換するための近似変換式を式（３）及び式（４）に示す。

ＭＯＶ＿ｙａｗはヨー方向の移動量を示し、ＭＯＶ＿ｐｉｔｃｈはピッチ方向の移動量を示す。また、ｆは焦点距離を示し、ω＿ｙａｗはヨー方向の角速度を示し、ω＿ｐｉｔｃｈはピッチ方向の角速度を示し、ｆｐｓは準備撮影のフレームレートを示し、ｐｐは撮像部１０５の画素ピッチを示す。式（３）及び式（４）に示す変換式では、準備撮影における画像間の時間間隔で撮像装置１００が移動した角度と焦点距離に基づき撮像面上の移動量を算出し、画素ピッチで除算することにより画像上の移動量（移動画素数）を算出している。なお、ここで算出した画像上の移動量は、画素毎に異なる移動量ではなく、全画素一様な移動量である。

カメラ動きベクトル算出部３０３は、ヨー方向の移動量を水平方向の移動量、ピッチ方向の移動量を垂直方向の移動量とみなし、全画素一様のカメラ動きベクトルとして動きベクトル比較部３０４に出力する。

なお、カメラ動きベクトル算出部３０３は、背景領域における被写体の動きベクトルに基づいてカメラ動きベクトルを算出するようにしてもよい。すなわち、背景領域の被写体が静止していると見なすと、背景領域において算出された被写体の動きベクトルの始点と終点を逆転させたものが、カメラ動きベクトルに対応する。

図４のステップＳ４０６において、動きベクトル比較部３０４は、換算動きベクトル算出部３０２が算出した被写体の動きベクトルと、カメラ動きベクトル算出部３０３が算出したカメラ動きベクトルとの比較を行う。ここでの処理内容について、図５を用いて具体的に説明する。

図５（ｄ）、（ｅ）に示したのは、それぞれ、図５（ｂ）、（ｃ）に対応する動きベクトルの比較の方法を図示したものである。図５（ｄ）、（ｅ）において、５０２はカメラ動きベクトルを例示しており、５０３、５０４は、被写体の動きベクトルを例示している。動きベクトルの始点を揃えて図示した場合のベクトルの成す角をθで表す。なお、撮像装置の動きベクトル５０２はその大きさを所定の単位に正規化して図示しているものとする。本実施形態では、右から左へ走る犬に追従してカメラをパンニングしているため、カメラ動きベクトルは左向きである。

次に、動きベクトルの比較によって、カメラのパンニング速度に対する判定を行う方法について説明する。

図５（ｂ）では、主被写体である犬５０１が、図５（ａ）よりも右側にずれていることで示されている通り、カメラのパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度よりも速い場合に対応している。この場合、図５（ｄ）に示した通り、カメラ動きベクトル５０２と被写体の動きベクトル５０３とが反対方向（角度θの絶対値が９０度より大きい）となる。

図５（ｃ）では、主被写体である犬５０１が、図５（ａ）よりも左側にずれていることで示されている通り、カメラのパンニング速度が、主被写体の移動速度と合致する適切なパンニング速度よりも遅い場合に対応している。この場合、図５（ｅ）に示した通り、カメラ動きベクトル５０２と被写体の動きベクトル５０３とが同方向（角度θの絶対値が９０度より小さい）となる。

動きベクトル比較部３０４は、上記の比較処理を、主被写体領域に対応する被写体の動きベクトルに対して順次行い、比較結果（適切なパンニング速度よりも速いか、遅いか）を流し撮りブレ報知プレーン作成部３０５へ出力する。

図４のステップＳ４０７において、動きブレ報知プレーン作成部３０５は、ステップＳ４０６において判定した動きベクトルの比較結果に基づき、動きブレを報知するための画像プレーンを作成する。

図４のステップＳ４０８において、画像重畳部３０６は、準備撮影画像にステップＳ４０７において作成した動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。

ここで、動きブレ報知画像の生成方法について、図９を参照して説明する。図９では、動きブレの報知画像として２つの例を示している。

図９（ａ）、（ｂ）は、動きブレ枠表示により動きブレを報知する例を示しており、図９（ａ）、（ｂ）は、それぞれ、図５（ｂ）、（ｃ）に対応している。

ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。動きブレ報知プレーン作成部３０５は、ステップＳ４０６における比較結果に基づいて、各分割領域に含まれる画素のうち、適切なパンニング速度よりも速いことを示す換算動きブレの画素数と、適切なパンニング速度よりも遅いことを示す換算動きブレの画素数とを比較する。動きブレ報知プレーン作成部３０５は、画素数の多い方の動きブレの状態を、その分割領域内での被写体動きブレの状態として判定し、その結果に基づいて、動きブレ枠９０１を作成する。すなわち、動きブレ枠は、適切なパンニング速度よりも速いか、遅いかによって表示様式を変える。例えば、図９（ａ）では、パンニング速度が、適切なパンニング速度よりも速いので、動きブレ枠を実線で表示する。また、図９（ｂ）では、パンニング速度が、適切なパンニング速度よりも遅いので、動きブレ枠を点線で表示する。これらの表示により、ユーザーが現在のパンニング速度が速すぎるか、遅すぎるかを把握することができる。動きブレ報知プレーン作成部３０５は、動きブレ枠９０１を動きブレ報知プレーンとして作成し、準備撮影画像に重畳することにより図９（ａ）、（ｂ）のような動きブレ報知画像を生成する。

図９（ｃ）、（ｄ）は、動きブレが発生したエッジ（輪郭）を強調表示（表示形態）することにより動きブレを報知する例を示しており、図９（ｃ）、（ｄ）は、それぞれ、図５（ｂ）、（ｃ）に対応している。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。

動きブレ報知プレーン作成部３０５は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、動きブレ報知プレーン作成部３０５は、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。抽出した画素に対して、図９（ｃ）、（ｄ）の９０２に示すように動きブレエッジを強調表示するような動きブレ報知プレーンを作成し、準備撮影画像に重畳することにより図９（ｃ）のような動きブレ報知画像を生成する。図９（ｃ）の９０２の例では、動きブレエッジを太くする例を示している。

加えて、動きブレ報知プレーン作成部３０５は、ステップＳ４０６における比較結果に基づいて、対象画素の動きブレの状態が、適切なパンニング速度よりも速いことを示すか、適切なパンニング速度よりも遅いことを示すかを判定し、その結果に応じてエッジ強調の強調度合いを変える。例えば、図９（ｃ）では、パンニング速度が、適切なパンニング速度よりも速いので、動きブレエッジを実線で太く表示する。また、図９（ｄ）では、パンニング速度が、適切なパンニング速度よりも遅いので、動きブレエッジを点線で太く表示する。

強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出し、抽出した画素を着色するような強調表示が挙げられる。この場合、動きベクトルの比較結果に基づいて、パンニング速度が適正値より速いか遅いかで、色を変えて着色するようにすればよい。

以上、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理について説明した。

本実施形態では、動きブレ報知の方法として、動きブレ枠表示、動きブレエッジの強調表示の２つの例について説明したが、動きブレ報知の方法はこれに限られるものではない。例えば、平坦な領域も含め、動きブレが発生している領域を強調表示してもよい。具体的には、動きブレ報知プレーン作成部３０５は、画素毎の換算動きブレが所定値以上の画素を、動きブレの方向に応じて色を変えて塗るような強調表示を行う。このようにエッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。

また、動きブレ報知の方法として、カメラの動きベクトルの方向と被写体の動きベクトルの方向とが所定の角度以上異なる領域に対しては、動きブレ報知を行わないよう制御してもよい。このようにすることで、走っている人物の胴体と手足のように、領域間で動きの方向の異なる被写体に対して流し撮りを行う際に、撮影者が着目してカメラを追従させている領域のみに動きブレ報知が表示されるようになり、撮影者が着目領域の動きブレを確認しやすくなる。

本実施形態では、動きブレの報知方法として、表示部１０９に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法はこれに限られるものではない。例えば、音により動きブレを報知してもよい。具体的には、画素毎の換算動きブレのうち、所定値以上の換算動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音を発生させる。加えて、動きブレの方向の比較結果に基づいて、発生させる報知音を変えるようにする。

（第２の実施形態）
以下、図１０を用いて、本発明の第２の実施形態の撮像装置について説明する。第１の実施形態では、被写体の動きベクトルと、カメラ本体の動きベクトルとの方向を比較することによって、動きブレの報知を制御する場合について説明した。これに対し、第２の実施形態では、被写体の動きベクトルの方向に基づいて、動きブレの報知を制御する場合について説明する。なお、第１の実施形態と同じ機能を有する要素には第１の実施形態と同じ符号を付し、説明を省略する。

図１０は、第２の実施形態における動きブレ報知画像生成部３００の構成を示す図である。動きブレ報知画像生成部３００は、動きベクトル算出部３０１、換算動きブレ算出部３０２、動きブレ報知プレーン作成部３０５、画像重畳部３０６を備える。第１の実施形態における図３に示した構成と比べて、カメラの動き情報を取得するための構成が除かれている点が異なる。

撮像装置１００の処理フローは、図２に示した第１の実施形態の場合と同様であるため、説明は省略する。ただし、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理内容が第１の実施形態の場合とは異なるため、その内容について説明する。

図１１は、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理のフローチャートである。図１１のステップＳ１１０１～ステップＳ１１０４の各ステップにおける処理は、第１の実施形態での図４のステップＳ４０１～ステップＳ４０４の各ステップにおける処理内容と同様であるため、説明は省略する。

図１１のステップＳ１１０５において、動きブレ報知プレーン作成部３０５は、ステップＳ１１０４で算出した動きベクトルの方向に基づいて、動きブレを報知するための画像プレーンを作成する。

ステップＳ１１０６において、画像重畳部３０６は、準備撮影画像にステップＳ１１０５において作成した動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。

ここで、動きブレ報知画像の生成方法について、図１２を参照して説明する。図１２（ａ）、（ｂ）は、本実施形態における準備撮影画像と、算出した動きベクトルを例示している。図示した通り、主被写体の部分領域毎に動きベクトルの方向が異なる場合を例にとっている。

図１２（ｃ）は、動きブレ枠表示により動きブレを報知する例を示す。ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。ステップＳ１１０５において、動きブレ報知プレーン作成部３０５は、分割領域内の画素毎の換算動きブレのうち、所定値以上の換算動きブレを示す画素数が分割領域全体に占める割合を算出する。その割合が所定割合以上の分割領域に対して、図１２（ｃ）に示すような動きブレ枠１２０１を動きブレ報知プレーンとして作成する。ただし、動きブレ報知プレーン作成部３０５は、動きブレの方向に応じて、動きブレ枠の表示様式を変える。具体的には、動きブレ報知プレーン作成部３０５は、分割領域内の画素毎の換算動きブレのうち、所定値以上の換算動きブレに対して、動きブレの方向（動きベクトルの方向）の平均値を算出し、その平均値に基づいて動きブレ報知の表示様式を決定する。例えば、図９（ｃ）では、動きブレ方向が水平方向である場合に動きブレ枠を実線で、それ以外の方向である場合に動きブレ枠を点線で表示している。

図１２（ｄ）は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。ステップＳ１１０５において、動きブレ報知プレーン作成部３０５は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、動きブレ報知プレーン作成部３０５は、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。抽出した画素に対して、図１２（ｄ）の１２０２に示すように動きブレエッジを強調表示するような動きブレ報知プレーンを作成し、準備撮影画像に重畳することにより図１２（ｄ）のような動きブレ報知画像を生成する。

ただし、動きブレ報知プレーン作成部３０５は、対象画素の動きブレの方向に応じて、エッジの強調表示の表示様式を変える。例えば、図１２（ｄ）の例では、動きブレ方向が水平方向である場合にエッジの強調表示を実線で、それ以外の方向である場合にエッジの強調表示を点線で表示している。

強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出し、抽出した画素を赤色や青色などの強調表示色で塗るような強調表示が挙げられる。この場合においても、動きブレの方向に応じて、強調表示色を変える。例えば、水平方向の動きブレであれば赤色、垂直方向の動きブレであれば青色で着色するように制御する。また、動きベクトルの角度を所定の区間（例えば３０度毎）に分割し、分割した区間毎に着色する色を予め設定しておき、動きベクトルの方向に応じて予め設定した色で着色するようにしてもよい。

以上、本実施形態における動きブレ報知画像の生成方法について説明した。このように、動きブレの方向に基づいて、動きブレの報知表示を制御することにより、ユーザーは被写体の動きブレが所望の状態となっているかを簡単に確認することができる。例えば、流し撮りの場合にカメラのパンニング方向とは異なる方向の動きブレが検出された場合には、手振れなどの影響が有ることを確認することができる。また、被写体の部分領域毎に動きブレの方向が異なる場合に、ユーザーの着目領域における動きブレの方向を確認することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態は、準備撮影中において、画像から算出した動き情報を本撮影相当の動きブレに換算し、動きブレの報知を行う。

本実施形態における撮像装置の構成及びその全体動作は、図１、図２に示した第１の実施形態の撮像装置１００の構成及び全体動作と同様であるため、説明を省略する。

図１３は、画像処理部１０７が備える動きブレ報知画像生成部１３００の構成を示す図である。図１３において、動きブレ報知画像生成部１３００は、動きベクトル算出部１３０１、画像動き情報変換部１３０２、領域分割部１３０３、第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７、画像重畳部１３０８を備える。

次に、このように構成される動きブレ報知画像生成部１３００の動作について説明する。図１４は、動きブレ報知画像生成部１３００が動きブレ報知画像を生成する処理を示すフローチャートである。

図１４のステップＳ１４０１において、動きブレ報知画像生成部１３００には、撮像装置１００が準備撮影中に撮像した準備撮影画像が入力される。本実施形態では、図１５に示すように左に走る走者１５０１を流し撮りする例について説明する。図１５（ａ）は流し撮りの成功例を示す図である。走者１５０１にブレは確認できず、背景領域にはカメラワークによるブレが確認できる。図１５（ｂ）は走者１５０１にブレが残ってしまった流し撮りの失敗例を示す図である。また、図１５（ｃ）は本撮影よりも短秒露光時間で撮影した撮影準備画像を示す。

ステップＳ１４０２において、動きブレ報知画像生成部１３００の動きベクトル算出部１３０１は、動き情報として準備撮影画像の画像間における動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトル算出部１３０１における動きベクトルの算出方法は、図６、図７を用いて前述した第１の実施形態における算出方法と同様であるため、説明を省略する。

ここで、図１５（ｃ）のように被写体が移動している場合の動きベクトルの代表例を図１５（ｄ）に示す。図１５（ｄ）の例では、走っている走者１５０１は左方向の動きベクトルとして検出され、それ以外の背景はカメラワークによるカメラの動き方向とは逆の右方向の動きベクトルとして検出される。

図１４のステップＳ１４０３において、画像動き情報変換部１３０２は、角速度センサー１１１が検出した角速度情報を画像上の動き情報に変換する。角速度を画像上の動き情報に変換するための近似変換式は、第１の実施形態で前述した式（３）及び式（４）と同じである。

画像動き情報変換部１３０２は、式（３）及び式（４）により算出されたヨー方向の移動量を水平方向の移動量、ピッチ方向の移動量を垂直方向の移動量とみなし、全画素一様の動きベクトルとして領域分割部１３０３に出力する。

図１４のステップＳ１４０４において、動きベクトル算出部１３０１で算出した画素毎の動きベクトルと、画像動き情報変換部１３０２で算出した全画素一様の動きベクトルを用いて画像の領域を分割する。

画像分割の方法について図１６を参照して説明する。図１６は横軸が動きベクトルの絶対値、縦軸が頻度を示しており、動きベクトル算出部１３０１で算出した画素毎の動きベクトルの絶対値毎の頻度を示すヒストグラムである。画像動き情報変換部１３０２で算出した全画素一様の動きベクトルの絶対値（画像動きベクトル絶対値）から所定の値ＷＩＤＴＨだけ差し引いた値を領域分割閾値とする。領域分割閾値以下の動きベクトル絶対値を有する画素を第１領域、領域分割閾値以上の動きベクトル絶対値を有する画素を第２領域として、それぞれの動きベクトルを第１領域換算動きブレ算出部１３０４と第２領域換算動きブレ算出部１３０５に出力する。

ここで、所定の値ＷＩＤＴＨは撮影者が定めた固定値でもよいし、画像動きベクトル絶対値の周囲のヒストグラムの分布に基づいて設定してもよい。例えば、第２の領域の動きベクトル絶対値の平均値が画像動きベクトル絶対値になるようなＷＩＤＴＨの設定をしてもよい。また、図１６の横軸を動きベクトルの絶対値としたが、ある方向のみに着目したい場合、横軸をある方向の単位ベクトルと動きベクトルの内積値としてもよい。例えば水平左向きの方向（－１，０）のみに注目したい場合、動きベクトル算出部１３０１で求めた各画素の動きベクトル（ｘ，ｙ）と（－１，０）の内積値と、画像動き情報変換部１３０２で算出した全画素一様の動きベクトル（ｘ’，ｙ’）と（－１，０）の内積値を用いてもよい。

図１４のステップＳ１４０５において、第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５は、撮影条件として、図２のステップＳ２０２で設定した本撮影の露光時間及び準備撮影における画像間の時間間隔を取得する。

ステップＳ１４０６において、第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５は、ステップＳ１４０３で取得した本撮影の露光時間及び準備撮影における画像間の時間間隔に基づき、ステップＳ１４０２で算出した画素毎の動きベクトルを本撮影の動きブレに換算する。本撮影の動きブレに換算する方法は、第１の実施形態において、図８を用いて算出した方法と同様である。つまり、前述した式（１）、式（２）を用いて、ＣＯＮＶ＿ＢＬＵＲを算出する。

ステップＳ１４０７において、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７は、ステップＳ１４０４において算出した画素毎の換算動きブレに基づき、動きブレを報知するための画像プレーンを作成する。

ステップＳ１４０８において、画像重畳部１３０８は、準備撮影画像にステップＳ１４０７において作成した動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。

ここで、動きブレ報知画像の生成方法について、図１７を参照して説明する。図１７は、動きブレ報知画像として３つの例を示している。準備撮影中に動きブレ報知画像を表示部１０９に表示することにより、ユーザーは動きブレを容易に確認することができる。さらに、ユーザーは領域分割部１３０３で分割した領域それぞれに報知画像を生成するか、どちらか一方にのみ報知画像を生成するかを選ぶことができる。それぞれに報知画像を生成する場合、報知画像の色や大きさや向きを変えて区別することにより、ユーザーは異なる動きをする領域毎にブレの程度を容易に確認することができる。

図１７（ａ）は、アイコン表示により動きブレを報知する例を示す。ここで、アイコン表示による動きブレ報知画像の生成方法について説明する。ステップＳ１４０８において、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７は、画素毎の換算動きブレのうちそれぞれ異なる所定の範囲内の換算動きブレを示す画素数が画面全体に占める割合を算出する。その割合がそれぞれ所定割合以上の場合に、図１７（ａ）に示すような動きブレアイコン１００１を第１領域動きブレ報知プレーンとして作成し、動きブレアイコン１００２を第２領域動きブレ報知プレーンとして作成する。そして、準備撮影画像に重畳することにより図１７（ａ）のような動きブレ報知画像を生成する。

図１７（ｂ）は、動きブレ枠表示により動きブレを報知する例を示す。ここで、動きブレ枠表示による動きブレ報知画像の生成方法について説明する。ステップＳ１４０８において、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７は、画素毎の換算動きブレのうちそれぞれ異なる所定の範囲内の換算動きブレを示す画素数が画面全体に占める割合を算出する。その割合がそれぞれ所定割合以上の分割領域に対して、図１７（ｂ）に示すような動きブレ枠１００３を第１領域動きブレ報知プレーンとして作成し、動きブレ枠１００４を動き第２領域ブレ報知プレーンとして作成する。そして、準備撮影画像に重畳することにより図１７（ｂ）のような動きブレ報知画像を生成する。

図１７（ｃ）は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレエッジの強調表示による動きブレ報知画像の生成方法について説明する。ステップＳ１４０８において、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７は、準備撮影画像のそれぞれの領域においてエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７は、それぞれのエッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。抽出した画素に対して、図１７（ｃ）の１００５に示すような第１領域動きブレエッジ強調線、１００６に示すような第２領域動きブレエッジ強調線を、それぞれ第１領域ブレ報知プレーン、第２領域ブレ報知プレーンとして作成する。この第１領域ブレ報知プレーン、第２領域ブレ報知プレーンを準備撮影画像に重畳することにより図１７（ｃ）のような動きブレ報知画像を生成する。図１７（ｃ）の例では、動きブレエッジの色の濃さを変える例を示している。強調表示する方法の他の例としては、第１領域と第２領域のそれぞれにおいて、それぞれエッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出し、抽出した画素をそれぞれ赤と青に塗るような強調表示や、太さを変える強調表示などが挙げられる。

以上、動きブレ報知画像生成部３００が動きブレ報知画像を生成する処理について説明した。

本実施形態では、換算動きブレが所定値以上の場合に動きブレを報知する例について説明したが、換算動きブレが所定値以下の場合に報知してもよい。これにより、動きブレを動感として表現したい長秒露光撮影の場合に、動きブレの不足を準備撮影期間中に確認しやすくなる。

本実施形態では、動きブレ報知の方法として、動きブレアイコン表示、動きブレ枠表示、動きブレエッジの強調表示の３つの例について説明したが、動きブレ報知の方法はこれに限られるものではない。例えば、平坦な領域も含め、動きブレが発生している領域を強調表示してもよい。具体的には、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７は、画素毎の換算動きブレが所定値以上の画素をそれぞれ赤と青に塗るような強調表示を行う。このようにエッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。

本実施形態では、動きブレの報知方法として、表示部１０９に動きブレを報知する表示を行う例について説明したが、動きブレの報知方法としてはこれに限られるものではない。例えば、音により動きブレを報知してもよい。具体的には、画素毎の換算動きブレのうち、所定値以上の換算動きブレを示す画素数が画面全体に占める割合が所定割合以上の場合に、動きブレ報知音を発生させる。

（第４の実施形態）
本発明の第４の実施形態は、準備撮影中において、撮像装置の動き情報ではなく、撮影中のズーム操作による焦点距離の変化（焦点距離検出）を本撮影相当の動きブレに換算し、動きブレを報知する領域を分割する。

なお、第１乃至第３の実施形態と同じ符号の要素は第１乃至第３の実施形態と同様の動作、処理を行うものとして、説明は省略する。

図１８は、第４の実施形態における撮像装置の構成を示すブロック図である。図１８において、撮像装置１１００は、第１の実施形態の撮像装置１００と画像処理部１１０１の構成が異なる。画像処理部１１０１以外の構成及び動作は撮像装置１００と同様であるものとし、説明は省略する。

図１９は、本実施形態における画像処理部１１０１が備える動きブレ報知画像生成部１２００の構成を示す図である。動きブレ報知画像生成部１２００は、動きベクトル算出部１３０１、画像動き情報推定部１２０１、領域分割部１３０３、第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７、画像重畳部１３０８を備える。画像動き情報変換部１２０１以外の動作及び処理は第３の実施形態と同様であるため説明は省略する。

次に、動きブレ報知画像生成部１２００が動きブレ報知画像を生成する処理について、図２０のフローチャートを参照して説明する。図２０のフローチャートは、ステップＳ２００１のみが、第３の実施形態の図１４のフローチャートと異なる。

図２０のステップＳ２００１において、画像動き情報推定部１２０１は、各画素の焦点距離の変化から、ズーム動作による画像上の動き情報を推定する。各画素の焦点距離の変化から画像上の動き情報を推定するための近似変換式を式（５）に示す。

ここで、ＭＯＶ＿ｆ（ｘ，ｙ）は画像中の座標（ｘ，ｙ）における像高方向の変化を示す。また、ｆ＿ｐｒｅは準備撮影画像の露光開始時の焦点距離を示し、ｆ＿ｐｏｓｔは準備撮影画像の露光終了時の焦点距離を示す。Ｈｉｇｈｔ（ｘ，ｙ）は画像中の座標（ｘ，ｙ）におけるピクセル単位の像高値を示す。式（５）に示す変換式では、準備撮影における画像間の時間間隔で移動した焦点距離の変化率に基づき撮像面上の像高方向の移動量を算出している。画像動き情報推定部１２０１は、これを各画素の推定動きベクトルとして領域分割部１２０２に出力する。

領域分割部１２０２では画像動き情報推定部１２０１で推定した画素毎の像高方向の動きベクトルと動きベクトル算出部１３０１で算出した画素毎の動きベクトルを比較し、類似度の高い画素と類似度の低い画素で領域を分割する。例えば、画像動き情報推定部１２０１で推定した動きベクトルをＶ１、動きベクトル算出部１３０１で算出した動きベクトルをＶ２としたとき、二つのベクトルの内積が閾値未満である領域を第１の領域、閾値以上である領域を第２の領域として領域分割し、それぞれの動きベクトルＶ１，Ｖ２を第１領域換算動きブレ算出部１３０４と第２領域換算動きブレ算出部１３０５に出力する。その後の第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７、画像重畳部１３０８の動作は第３の実施形態と同様であるため、説明は省略する。

以上、動きブレ報知画像生成部１２００が動きブレ報知画像を生成する処理について説明した。

このようにして撮影中のズーム操作によるブレの領域と、それとは異なる動きをする被写体の領域を撮影者が容易に区別することができる。

（第５の実施形態）
本発明の第５の実施形態では、準備撮影中において、撮像装置と被写体の距離に応じて動きブレを報知する領域を分割する。

図２１は、第５の実施形態における撮像装置１４００の構成を示すブロック図である。図２１において、撮像装置１４００は、第１の実施形態の撮像装置１００と測距部１４０１、主被写体検出部１４０２を有する点と、画像処理部１４０３の構成が異なる点が異なる。測距部１４０１、主被写体検出部１４０２、画像処理部１４０３以外の構成及び動作は撮像装置１００と同様であるものとし、説明は省略する。

測距部１４０１は、撮影時の被写体までの距離情報を取得し距離マップを生成する。距離マップとは、撮影した画像の画素単位での被写体までの距離情報を示す二次元情報である。測距方法は既存の方法を用いるものとし、説明は省略する。

主被写体検出１４０２は、撮像した画像中から特定の被写体、例えば人物の顔といった被写体の座標を検出する。被写体検出は既存の方法を用いるとし、説明は省略する。

図２２は、第５の実施形態における画像処理部１４０３が備える動きブレ報知画像生成部１５００の構成を示す図である。動きブレ報知画像生成部１５００は、動きベクトル算出部１３０１、領域分割部１５０１、第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７、画像重畳部１３０８を備える。領域分割部１５０１以外の動作及び処理は第３の実施形態と同様であるため、説明は省略する。

次に、動きブレ報知画像生成部１５００が動きブレ報知画像を生成する処理について、図２３のフローチャートを参照して説明する。図２３のフローチャートは、ステップＳ２３０１，Ｓ２３０２のみが、第３の実施形態の図１４のフローチャートと異なる。

図２３のステップＳ２３０１において、撮像装置１４００の測距部１４０１で生成された距離マップと主被写体検出部１４０２で検出された主被写体座標が、領域分割部１５０１に入力される。

次に、ステップＳ２３０２において、領域分割部１５０１は距離マップを参照し各画素における撮像装置１４００から被写体までの距離値と、主被写体座標の距離値を取得する。各画素の距離値と、主被写体座標の距離値の差を算出し、距離値の差が所定の値よりも小さい画素を第１の領域とし、距離値の差が所定の値以上の画素を第２の領域として領域を分割する。そして、それぞれの領域の動きベクトルを第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５に出力する。その後の第１領域換算動きブレ算出部１３０４、第２領域換算動きブレ算出部１３０５、第１領域動きブレ報知プレーン作成部１３０６、第２領域動きブレ報知プレーン作成部１３０７、画像重畳部１３０８の動作は第３の実施形態と同様であるため、説明は省略する。

以上、動きブレ報知画像生成部１５００が動きブレ報知画像を生成する処理について説明した。

このようにして主被写体の領域とそうでない被写体の領域を、撮影者が容易に区別しながら動きブレの状態を確認することができる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像装置、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録部、１０９：表示部、１１０：指示入力部、３００：動きブレ報知画像生成部、３０１：動きベクトル算出部、３０２：換算動きブレ算出部、３０３：カメラ動きベクトル算出部、３０４：動きベクトル比較部、３０５：動きブレ報知プレーン作成部、３０６：画像重畳部

Claims (22)

1. 撮像装置であって、
   第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および該第１の撮影画像における被写体の動き情報を取得する取得手段と、
   前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定手段と、
   前記動き情報および前記第２の撮影パラメータを用いて、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定手段と、
   推定された前記動きブレを報知する報知手段と、
   前記撮像装置の動きを検出する検出手段と、を備え、
   前記報知手段は、前記検出手段により、前記撮像装置のパンニング動作が検出された場合に、画像の部分領域ごとの動きブレの大きさおよび向きの少なくとも一方に基づいて、前記部分領域ごとに表示形態を変更して前記動きブレを報知することを特徴とする撮像装置。
2. 前記推定手段は、前記動き情報、前記第１の撮影パラメータおよび前記第２の撮影パラメータに基づいて前記動きブレを推定することを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、複数の前記第１の撮影画像の間で画像の比較を行うことにより前記動き情報を算出し、取得することを特徴とする請求項１または２に記載の撮像装置。
4. 前記推定手段は、前記動き情報に基づき算出した前記第１の撮影画像における被写体の動きブレを、前記第１の撮影パラメータと前記第２の撮影パラメータの違いに基づき前記第２の撮影画像における動きブレに換算することにより、前記第２の撮影画像における動きブレを推定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記推定手段は、前記動き情報と複数の前記第１の撮像における画像間の時間間隔及び前記第２の撮影パラメータとして設定される露光時間に基づき、前記第２の撮影画像における動きブレを推定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記報知手段は、前記動きブレに対応する情報を表示部に表示することにより前記動きブレを報知することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記報知手段は、前記動きブレに対応する情報を前記第１の撮影画像に重畳して表示部に表示することにより前記動きブレを報知することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の撮像とは、本撮影であり、前記第１の撮像とは、前記本撮影の前に行う準備撮影であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記報知手段は、前記動きブレが生じている部分領域を強調表示することにより前記動きブレを報知することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記報知手段は、前記動きブレの方向に応じて表示形態を変更した枠を表示することにより前記動きブレを報知することを特徴とする請求項９に記載の撮像装置。
11. 前記報知手段は、前記動きブレの大きさおよび向きの少なくとも一方に基づいて、前記動きブレが生じている部分領域ごとに、被写体の輪郭を強調表示することを特徴とする請求項９に記載の撮像装置。
12. 前記報知手段は、前記動きブレの方向により、前記動きブレが生じている部分領域の強調表示の程度を変更することを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
13. 前記報知手段は、前記動きブレが生じている部分領域にアイコンを表示することにより前記動きブレを報知することを特徴とする請求項９に記載の撮像装置。
14. 前記報知手段は、前記検出手段により検出された前記撮像装置の動きの向きと、前記動きブレの向きとを比較した結果に基づいて、前記部分領域ごとに表示形態を変更して前記動きブレを報知することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記報知手段は、前記撮像装置の動きの向きと、前記動きブレの向きとが、所定の角度以上異なる場合に、前記動きブレの報知を行わないことを特徴とする請求項１４に記載の撮像装置。
16. 前記報知手段は、前記動きブレの大きさが、前記撮像装置の動きの大きさよりも小さい前記部分領域に対して、動きブレの報知を行うことを特徴とする請求項１４または１５に記載の撮像装置。
17. 前記検出手段により検出された動き量と、前記動きブレの大きさに基づき、撮像した画像を前記部分領域に分割する分割手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
18. 撮影レンズの焦点距離の変化を検出する焦点距離検出手段をさらに備え、前記分割手段は、検出した焦点距離の変化と、前記動きブレ量とに基づき、撮像した画像を前記部分領域に分割することを特徴とする請求項１７に記載の撮像装置。
19. 前記撮像装置から被写体までの距離を測る測距手段をさらに備え、前記分割手段は、測距した情報と、前記動きブレ量とに基づき、撮像した画像を前記部分領域に分割することを特徴とする請求項１７に記載の撮像装置。
20. 撮像装置の制御方法であって、
    第１の撮影パラメータで第１の撮像により得られた第１の撮影画像および該第１の撮影画像における被写体の動き情報を取得する取得工程と、
    前記第１の撮影パラメータとは独立して第２の撮影パラメータを設定する設定工程と、
    前記動き情報および前記第２の撮影パラメータを用いて、前記第２の撮影パラメータで第２の撮像が行われる場合に得られる第２の撮影画像における被写体の動きブレを推定する推定工程と、
    推定された前記動きブレを報知する報知工程と、
    前記撮像装置の動きを検出する検出工程と、を有し、
    前記報知工程では、前記検出工程において、前記撮像装置のパンニング動作が検出された場合に、画像の部分領域ごとの動きブレの大きさおよび向きの少なくとも一方に基づいて、前記部分領域ごとに表示形態を変更して前記動きブレを報知することを特徴とする撮像装置の制御方法。
21. 請求項２０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
22. 請求項２０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images