JP4940164B2

JP4940164B2 - 撮像装置及び撮像方法

Info

Publication number: JP4940164B2
Application number: JP2008028029A
Authority: JP
Inventors: 英治古川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-02-07
Filing date: 2008-02-07
Publication date: 2012-05-30
Anticipated expiration: 2028-02-07
Also published as: JP2009188837A; US20090207260A1

Description

複数枚の画像間の位置合わせ処理を行う撮像装置及び撮像方法に関する。特に、画像のブレ補正等における画像の重ね合わせの際に使用する位置合わせ処理を行う撮像装置及び撮像方法に関する。

従来、画像のブレ補正等において画像の動きベクトルを検出する手段として、ブロックマッチング法や相関演算に基づく相関法が知られている。

ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック（例えば８画素×８ライン）に分割し、このブロックの単位で、現在のフィールド（又はフレーム）と前のフィールドとの画素値の差分を計算する。さらに、この差分に基づいて、現在のフィールドのあるブロックに対して相関の高い前のフィールドのブロックを探索する。そして、画面間の相対的なズレが、ブロックの動きベクトルとなる。

ブロックマッチングでの相関の高いブロックの探索方法として、画素値の差分の自乗和である誤差自乗和ＳＳＤ、画素値の差分の絶対値和である誤差絶対値和ＳＡＤによって相関を評価することが行われる。ＳＳＤ、ＳＡＤが小さいほど相関が高いと評価する。現在のフィールドのマッチングの基準ブロック領域Ｉ内の画素位置ｐ、前のフィールドの対象とするブロック領域Ｉ'内の画素位置ｑ（画素位置ｐに対応する位置）、さらに画素位置ｐ、ｑの画素値をＬｐ、Ｌｑとすると、ＳＳＤとＳＡＤは、それぞれ以下の数式（１）、（２）で表される。

ここで、ｐ及びｑは、２次元の値を持つ量であり、Ｉ、Ｉ'は、それぞれ、現在のフィールドと前のフィールドの２次元の領域を示し、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていること、ｑ∈Ｉ'は、座標ｑが領域Ｉ'に含まれていることを示す。

一方、相関演算に基づく相関法では、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'のそれぞれに含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ave(Lp)、Ave(Lq)を算出し、各ブロックに含まれる画素値とこの平均値の差分を以下の数式（３）により計算する。

続いて、正規化相互相関ＮＣＣを数式（４）により計算する。

正規化相互相関ＮＣＣの大きいブロックを相関の高いブロックと評価し、最も相関の高いブロックＩ'とＩの間のズレを動きベクトルとする。

画像に含まれている被写体や撮影対象が静止している場合は、個々の領域での動きと画像全体の動きは一致しており、上記の相関演算を行うブロックは任意の固定位置に配置して、その動きベクトルを算出すれば良い。

尚、ノイズの影響により信頼性の高い動きベクトルが得られない場合や、ブロックが、平坦部、又はブロックに比べて大きい構造のエッジ部にかかっており信頼性の高い動きベクトルが得られない場合がある。この様な場合を排除する為に、動きベクトルを算出する際の信頼性判定を行う技術が、例えば特許文献１や特許文献２に開示されている。

また、画像に含まれている被写体や撮影対象に複数の動きが含まれている場合は、例えばブレ補正を目的として、画像全体の動きベクトルを算出することが課題となる。特許文献３では、被写体を複数の領域に分割し、複数の領域のうちで動きベクトルの大きさや領域の大きさなどで重要な領域を選択し、その領域を全体の動きとしている。

この場合、領域選択手段は、（i）複数の領域のうち最も範囲が大きな領域を選択す
るようにしたり、（ii）複数の領域のうち最も動きベクトルが小さな領域を選択するよ
うにしたり、（iii）複数の領域のうち前回選択した領域に重なる範囲が最も大きな領域
を選択するようにしたり、（iv）最も範囲が大きな領域と、最も動きベクトルが小さな
領域と、前回選択した領域に重なる範囲が最も大きな領域の何れかを選択するようにしている。
特開平８−１６３５７３号公報特許第３１６４１２１号公報特開平８−２５１４７４号公報

しかし、前述の特許文献３に記載の公知技術は、領域の大きさや、ベクトルの安定度を指標にした代表的な動きベクトルの選択方法である。動画像のブレ補正においては、このような方法で効果が得られるが、この方法では被写体の重要度を考慮しておらず、領域の大きさや、動きベクトルとして安定していることに基づいて選択した代表ベクトルが、使用者が撮影意図を有する主要被写体の動きベクトルに必ずしも一致しない。

また、特許文献１、２では、動きベクトルのデータの信頼度を算出しているが、この例においても、動きベクトルの信頼度が高い領域と主要被写体の領域が一致する保障はない。被写界深度の深い撮影の場合、信頼性の高い多数領域での動きベクトルに基づいて代表的な動きベクトルを求めるだけでは、背景の動きの影響が大きく主要被写体を静止させることが難しい。

なお、主要被写体を静止させるために、主要被写体領域を検出し、その領域の動きベクトルを考慮してブレ補正することも考えられるが、露光量が不足するシーンにおいては主要被写体の検出精度が悪くなり、ブレ補正が適切にされない場合がある。

本発明は、上記の問題点に鑑みて発明されたものであり、露光量が不足する場合にも対応しつつ、主要被写体の重要度を考慮して、主要被写体のブレを低減させるような代表的な動きベクトル（補正ベクトル）を算出することを目的とする。

複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う撮像装置において、被写体を撮像する際の露光量を算出する露光量算出手段と、前記複数枚の画像のいずれか一枚の画像の撮影時に、前記露光量に応じて閃光装置を発光させて撮影を行う閃光撮影手段と、動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定手段と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手段と、夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出手段と、前記閃光撮影手段により撮影された前記画像から主要領域を検出する主要領域検出手段と、前記信頼度を考慮して前記複数の動きベクトル測定領域の動きベクトルに基づいて、画像間の補正ベクトルを算出する動きベクトル統合処理手段と、を備える。前記動きベクトル統合処理手段は、夫々の動きベクトル測定領域と前記主要領域との位置関係から夫々の動きベクトルの寄与度を算出する寄与度算出手段を有し、前記信頼度と前記寄与度に応じて前記複数の動きベクトル測定領域の動きベクトルを統合する。

画像のブレの補正や複数枚の画像の位置あわせによる画像の重ね合わせを行う際、露光量不足のシーンでも、複数枚撮影中に閃光装置を発光させて撮影した１枚の画像からの主要領域（主要被写体）の位置情報に基づいて、各領域の動きベクトルの寄与度を算出し、さらに、この寄与度を考慮して複数枚の画像間の代表的な動きベクトルを算出する。従って、背景のような多くの面積を占める領域に支配されるグローバルな動きの算出では無く、閃光装置を発光させて明確に把握した主要領域のブレを低減させることが可能となる。

図１を参照して、第一実施形態について説明する。図１は、フレーム間の動きを算出して、画像間の位置合わせと加算処理を行う撮像装置を示す。本実施形態では、撮像装置は、電子カメラである。

メインコントローラ１００は全体の動作の制御を行い、例えばＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵが用いられる。図１において、点線は制御信号、一点鎖線はストロボ撮影（閃光を使用した撮影）で取得した画像データの流れ、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。

撮像部１０１から連写撮影（連続写真撮影）等により入力された複数枚の画像は、すべてフレームメモリ１０２に格納される。画像を取得する撮像部１０１は、レンズ系や、ＣＣＤ（電荷結合素子）アレイ等の撮像素子などから構成されている。露光量算出部（露光量算出手段）１１２は、フレームメモリ１０２に格納された画像の輝度値（画素値）のデータに基づいて、被写体を撮像する際の撮像素子の露光量を算出する。

ストロボ発光部１１１（閃光装置）は、閃光を発して、撮像時に被写体を照明する。メインコントローラ１００は、ストロボ発光部１１１が上記の算出された露光量に応じて発光するようにストロボ発光部１１１を制御する。具体的には、算出された露光量が閾値以下の場合にのみ、メインコントローラ１００は、ストロボ発光部１１１を発光させる。さらに、メインコントローラ１００は、発光する場合に、算出された露光量に応じて、ストロボ発光部１１１の発光量を調整してよい。撮像部１０１、メインコントローラ１００、及びストロボ発光部１１１は、閃光撮影手段を構成する。

ストロボ撮影された画像データは、撮像部１０１からフレームメモリ１０２へいったん格納される。その後、主要領域検出部１１３は、主要領域（主要被写体の領域など）の検出を行う。検出された主要領域の位置情報データは、主要領域設定部１０８へ送出される。ここでの主要領域の位置情報データとしては、主要領域に対応する基準フレームのブロックを示すものなどでよい。

領域設定部１０３は、基準となる基準フレーム（基準画像）と対象フレーム（対象画像）の間の動きを算出するため、フレームメモリ中の基準フレームに対して、所定の動きベクトル測定領域を設定する。領域設定部１０３は、動きベクトル測定領域として、基準フレーム中にブロック領域（動きベクトル測定ブロック）を格子状に設定する。動きベクトル算出部１０４は、フレームメモリに格納された基準フレームと対象フレームの画像データと、領域設定部１０３で設定されたブロック領域に関するデータを使って、誤差自乗和ＳＳＤ、誤差絶対値和ＳＡＤ、正規化相互相関ＮＣＣ等の相関演算を用いて、基準フレームのブロック領域に対して、対象フレーム中の相関の高いブロックの位置を算出する。

動きベクトル信頼度算出部１０５は、動きベクトルの信頼度を算出する。主要領域設定部１０８は、主要領域検出部１１３からの位置情報（主要領域に対応する基準フレームのブロックなど）をもとに、主要領域の位置情報（重心座標、大きさ等）を設定する。動きベクトル統合処理部１０６では、基準フレーム中のブロック領域と主要領域との位置関係に応じて動きベクトルのデータの統合を行って、フレーム間の動きベクトルの代表値（補正ベクトル）を算出する。フレーム加算部１０９は、フレームメモリ中の基準フレームと対象フレームの画像データ、及び、補正ベクトルのデータを用いてフレーム加算を行う。

次に、図２Ａと図２Ｂを参照して、複数枚の画像のうち主要領域検出用の画像（ストロボ撮影された画像）と基準画像の取得方法の例を示す。図２Ａと図２Ｂは、シャッター信号、ＡＦロック信号、ストロボ発光信号、フレームメモリへの画像の書き込み信号を示すタイムチャートである。

図２Ａの例では、ユーザーがシャッターボタン（図示しない）を半押しし、ＡＦ（自動焦点機構）ロック後にシャッターを全押しすると複数枚の連写撮影を開始し、最初の１枚目の撮影時にストロボ発光する。主要領域検出用に使用する画像は、最初の１枚目のストロボ発光時の画像である。主要領域検出部１１３で１枚目の画像から主要領域を検出したら、その位置情報を主要領域設定部１０８に送る。さらに、その位置情報を他の画像に伝搬するべく、１枚目の以外の画像（後の２枚目など）を基準フレームとして、１枚目の画像の主要領域に対応する領域に基準フレームの主要領域を設定する。動きベクトル統合処理部１０６において、この基準フレームの主要領域から、１枚目のストロボ撮影した画像以外の複数枚画像に対して画像間の補正ベクトルを算出し、ブレ補正などを行う。なお、主要領域検出用に使用したこの１枚目の画像は、ストロボ発光により他の画像より輝度が大幅に増加しており、画像間の比較ができず、ブロックマッチングなどによる動きベクトルの算出はできない。このため、１枚目の画像は、ブレ補正などに用いず、主要領域検出用のみに用いている。

なお、上記において、メインコントローラ１００は、連写撮影の開始直前の露出量が閾値以下であることが検出された場合に、連写撮影の開始時の１枚目の画像の撮影時にストロボ発光するようストロボ発光部１１１を制御してよい。

図２Ｂの例では、ユーザーがシャッターを半押しし、ＡＦロック後にシャッターを全押しすると複数枚連写撮影を開始し、連写撮影の途中の７枚目の撮影時にストロボ発光する。主要領域検出用に使用する画像は、ストロボ発光時の７枚目を使用する。主要領域検出部１１３で７枚目の画像から主要領域を検出したら、その位置情報を主要領域設定部１０８に送る。動きベクトル統合処理部１０６において、７枚目とそれ以外の画像における露光量（輝度値）の差が小さければ、主要領域検出用に使用した７枚目を含む連写撮影時の複数枚画像に対して、７枚目の画像を基準フレームとして、画像間の補正ベクトルを検出しブレ補正を行う。

また、動きベクトル統合処理部１０６において、７枚目とそれ以外の画像間の露光量（輝度値）の差が大きければ、図２Ａと同様に主要領域の位置情報を７枚目以外の他の画像に伝搬し、７枚目の以外の画像（前の６枚目や後の８枚目等）を基準フレームとして、７枚目の画像の主要領域に対応する領域に基準フレームの主要領域を設定する。動きベクトル統合処理部１０６は、７枚目以外の画像を使って、画像間の補正ベクトルを検出しブレ補正などを行う。

なお、上記において、メインコントローラ１００は、連写撮影の開始直前の露出量が閾値以下であることが検出された場合に、所定枚数目（７枚目）の撮影時にストロボ発光するよう予め設定してよい。或いは、連写撮影の途中で、所定枚数目（７枚目）の撮影直前に露出量が閾値以下であることが検出された場合に、この所定枚数目（７枚目）の撮影時にストロボ発光させてよい。

次に、動きベクトル信頼度算出部１０５で行っている動きベクトルの信頼度の算出の概要を説明する。

動きベクトルの信頼度の算出は、ブロック単位でのフレーム間（画像間）の相関値の統計性に基づいて信頼度を求めるものや、フレーム内での相関値の統計性に基づいて信頼度を求めるものなどがある。

フレーム間の相関値の統計性に基づいて信頼度を求める場合において、基準フレームの動きベクトル測定領域とこれに対応する対象フレームの画像領域との間の相関値として、例えば、基準フレーム（基準画像）のブロックIiと対象フレーム（対象画像）のブロックIjに含まれる画素値の差分の自乗の和ＳＳＤ（以下の数式（５）で表される）を用いる。

ここで、座標（bxi,byi）は、領域設定部１０３で設定されたi番目のマッチングブロックIiの重心位置（又は中心座標）を示し、ブロックの番号iの数だけ用意されている。h,vは、それぞれ、マッチングブロックの水平、垂直方向の大きさである。座標（bxj,byj）は、ｊ番目の対象ブロックの重心位置を示し、ブロックマッチングの探索範囲に対応して用意されている。

i番目のブロックのSSD(i,j)は対象ブロックの番号ｊによって種々の値をとるが、i
番目のブロックの信頼度Siは、SSD(i,j)の最小値および平均値との差分に基づいて求められる。簡単には、信頼度Siは、SSD(i,j)の最小値および平均値との差分そのままとすればよい。

なお、相関値ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の概念で対応付けられる。（i）エッジ構造が鮮鋭な領域の場合に、動きベクトルの信頼度が高く、
結果として、ＳＳＤの最小値を示す対象ブロックの位置の誤差は少ない。ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さなＳＳＤが集中する。従って、ＳＳＤの最小値と平均値の差分が大きい。（ii）テクスチャや平坦な構造の場合、ＳＳ
Ｄのヒストグラムが平坦になり、結果としてＳＳＤの最小値と平均値の差が小さく、信頼度は低い。（iii）繰り返し構造の場合、ＳＳＤの最小値と最大値を示す位置が近く、
ＳＳＤが小さい値を示す位置が分散している。結果として最小値と平均値の差が小さく、信頼度は低い。この様に、SSD(i,j)の最小値および平均値との差分に基づいて、i番目のブロックに対応した、信頼度の高い動きベクトルを選択する。

フレーム内での相関値の統計性に基づいて信頼度を求める場合において、基準画像の一つの動きベクトル測定領域と前記基準画像の他の動きベクトル測定領域との間の相関値を算出し、相関値の最小値に基づいて信頼度Siを算出する（特開２００５−２６０４８１号公報参照）。

なお、信頼性に関して、上記特許文献２に記載の様に各ブロックにエッジの量で信頼性を判定することもできる。

図３において、動きベクトル統合処理部１０６の詳細な構成を示す。位置関係算出部１０６１は基準フレームの主要領域の位置情報（重心座標 (bx0,by0)、領域の大きさh0,v0）と動きベクトル測定領域の位置情報（重心座標 (bxi,byi)、領域の大きさh,v）などを用いて位置関係を算出する。寄与度算出部１０６２では位置関係の情報を用いて夫々の動きベクトル測定ブロックの動きベクトルの寄与度を算出する。

図４は、動きベクトル測定領域の主要領域との包含関係を用いて寄与度を算出するフローチャートを示す。すなわち、i番目の動きベクトル測定領域（動きベクトル測定ブロック）の重心座標（bxi,byi）が主要領域に含まれているか否かを、次式（６）のように判定する(Ｓ１１)。

結果が正で有れば寄与度Ki=1とし(Ｓ１２)、否であればKi=0とする(Ｓ１３)。

また、上記の寄与度算出の変形例としては、主要領域とｉ番目の動きベクトル測定領域の重なる面積によって、閾値処理を行っても良い。即ち、主要領域とｉ番目の動きベクトル測定ブロックの重なる面積が所定値以上であれば、Ki=1とし、否であればKi=0とする。

図５は、他の方法で寄与度を算出するフローチャートを示す。以下の数式（７）で表される、主要領域と夫々の動きベクトル測定領域の距離（重心座標間の距離）を算出する（Ｓ２１）。当該距離の自乗が大きくなるほど寄与度が小さくなる関数（数式（８））により寄与度を算出する（Ｓ２２）。

図６は、統合演算処理部１０６３が行う処理のフローチャートを示している。ステップＳ３１では信頼度Siの閾値処理を行い、信頼度Siが閾値S_Thrより大きいか否か判断している。閾値より大きい信頼度Siのブロックの寄与をそのままにして（Ｓ３２）、閾値以下の信頼度Siのブロックの寄与を０として（Ｓ３３）、補正ベクトルV_frameの演算に用いられる最終的な信頼度STiを求めている。これにより、動きベクトルの統合結果が安定する。

フレーム補正ベクトルV_Frameは、最終的な信頼度STi、寄与度Ki、i番目の動きベクトル測定領域の動きベクトルの測定結果Viとを用いて、複数の動きベクトル測定領域の動きベクトルを重み付け加算（又は重み付け平均）することにより、数式（９）のように算出される（Ｓ３４）。

ここで、右辺の分母は正規化の係数である。重み係数は、信頼度Siと寄与度Kiの積に応じて設定されている。

なお、上記において、主要領域設定部１０８は、主要領域検出部１１３からの被写体認識（例えば、公知の顔認識）による主要被写体の位置情報や、コントラストの強弱に基づく主要被写体の位置情報を用いて、ストロボ発光により撮影された画像において主要領域の位置を設定する。

また、別の変形例としては、主要領域設定部１０８の情報と動きベクトル測定領域設定部１０３の情報を用いてあらかじめ選択された領域に対して動きベクトルを算出し、その中での信頼度に従って動きベクトルのデータを統合し、補正ベクトルを算出しても良い。

次に、第二実施形態について、図７と図８を参照して説明する。上記第一実施形態では、重み付け加算（数式（９））によって補正ベクトルを求めたが、これと異なる方法を採用する。第二実施形態では、信頼度Siが閾値S_Thr以上であり、寄与度Kiが所定値K_Thr以上の動きベクトルVi（数式（１０））に関して、ヒストグラム処理を行いベクトル量 (向き、および大きさ)を適当なビンで分割し、頻度が高いベクトルを補正ベクトルとして採用する。

ここで、ビンとは、ヒストグラムにおける分割幅であり、ｘ軸方向の幅がbin_xで、ｙ軸方向の幅がbin_yである。

図７に示すように、動きベクトルの水平・垂直方向座標をx,yとして、x,yがs番目(s=0…N|(N=l×m))のビンに入った場合に、ビンの頻度を１つ増加させる。なお、座標位置からビンの番号sは、数式（１１）で与えられる。

ここで、floorは床関数である。ｌは、ヒストグラムを測定する水平方向の範囲を表している。

ビンの頻度のカウントは、動きベクトルViがs番目のビンに入るごとにs番目のビンの頻度Hist(s)を数式（１２）のように増加させて行う。

以上のカウントを、SiがS_Thr以上、且つ、KiがK_Thr以上の全ての動きベクトルViについて行う。

図７では、ベクトルのヒストグラムを求めるためのビンの配列と、上記の数式（１２）の処理を模式化し、ビンの中に入るベクトルの数Hist(s)をカウントしている様子を示している。

フレーム間の補正ベクトルV_frameは、数式（１３）のように最も頻度が大きいビンsを代表するベクトル（例えば、ビンの重心ベクトル）とする。

ここで、V_bin__sはそれぞれのビンを代表するベクトルであり、s=sup_s(Hist(s))は、頻度が最も高いビンの番号sである。

図８は、ヒストグラム処理により複数の動きベクトルの統合する補正ベクトル算出処理のフローチャートである。ここでは、閾値S_Thr以上の信頼度、閾値K_Thr以上の寄与度を持つブロックiについてのみヒストグラム処理を行う。このため、ステップＳ５１において、信頼度Siが閾値S_Thr以上であるか判断し、ステップＳ５２において、寄与度Kiが閾値S_Thr以上であるか判断する。信頼度Siが閾値S_Thr未満、又は、寄与度Kiが閾値S_Thr未満である動きベクトルViに対してはヒストグラム処理を行わず除外する。ステップＳ５３において、上記のヒストグラム処理を行い、動きベクトルViをビンに割り当てる。上記のステップＳ５１−Ｓ５３を繰り返して、ヒストグラムを作成する。ステップＳ５４において、上記のように頻度が最大となるビンの代表ベクトルを画像間の補正ベクトルとして設定する。

次に、図９を参照して、第三実施形態について説明する。第三実施形態において、主要領域は人物の顔の領域であり、主要領域設定部として、人物の顔を検出する顔検出部（顔検出手段）９０８を用いている。顔検出部９０８は、ストロボ発光部１１１の発光時に撮影された画像中の人物の顔の領域に重なるブロック１００３を算出する。顔の領域１００２の検出方法としては、例えば、Paul Viola, Michael Jones :Robust Realtime Object Detection Second International Workshop on Statistical and Computational Theories of Vision-Modeling, Learning, Computing and Sampling 2001に記載されている方式およびその応用が用いられる。この方式のアルゴズムでは、顔の位置とおよその大きさを算出することができる。なお、この他の方式によって、顔検出を行ってもよい。

図１０（ａ）は、領域設定部１０３で設定される動きベクトル測定領域１００１を示す。図１０（ｂ）は、顔検出により検出された領域１００２を示す。図１０（ｃ）に示したように、動きベクトルの計測と顔検出の二つの情報の統合によって、特に、顔の領域に対応するブロック１００３で優先的に動きベクトルデータを考慮して、補正ベクトルを算出する。寄与度の計算は、図４、５に示した方法や、領域の重なり面積を考慮した方法が用いられる。動きベクトルの信頼度と顔領域と動きベクトル測定領域との位置関係から算出された寄与度を考慮して、図６の統合演算を行いフレーム間の補正ベクトルを算出する（数式（９））。

次に、図１１を参照して、第四実施形態について説明する。第四実施形態において、ストロボ撮影された画像中の主要領域は、鮮鋭度の高い領域であり、主要領域検出部として、イメージャＡＦに用いられる鮮鋭度検出部（コントラスト検出部）１１０８を用いている。鮮鋭度の検出には、エッジ特徴量（例えば、隣接画素値の差分）を検出するフィルタ手段（微分フィルタ等）が用いられる。鮮鋭度は、コントラスト値（例えば、最近隣の同色の画素値の差分の絶対値の総和）であってよい。鮮鋭度が所定値以上の基準フレームのブロック領域が、主要領域と設定できる。

図１２（ａ）は、領域設定部１０３で設定されている動きベクトル測定領域１００１を示す。図１２（ｂ）は、鮮鋭度検出を行う複数の領域１２０２を示している。動きベクトルの計測と鮮鋭度計測の二つの情報の統合によって、図１２（ｃ）に示したように、特に、鮮鋭度の高い領域１２０３で優先的に動きベクトルデータを考慮して、補正ベクトルを算出する。寄与度の計算は図４、５に示した方法や、領域の重なり面積を考慮した方法が用いられる。動きベクトルの信頼度、及び、コントラストが高い領域と動きベクトル計測領域との位置関係から算出された寄与度を考慮して、図６に示した統合演算を行いフレーム間の補正ベクトルを算出する（数式（９））。

本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

第一実施形態に係る撮像装置の構成の一例を示す図である。シャッター信号、ＡＦロック信号、ストロボ発光信号、フレームメモリへの画像の書き込み信号を示すタイムチャートである。シャッター信号、ＡＦロック信号、ストロボ発光信号、フレームメモリへの画像の書き込み信号を示す他のタイムチャートである。動きベクトル統合処理部の構成を示す図である。寄与度の算出処理の一例を示すフローチャートである。寄与度の算出処理の他の例を示すフローチャートである。動きベクトル統合処理部の統合演算処理部が行う処理（補正ベクトル算出）の一例を示すフローチャートである。第二実施形態による動きベクトルのヒストグラムの作成を示す図である。第二実施形態による動きベクトル統合処理部が行う処理（補正ベクトル算出）の一例を示すフローチャートである。第三実施形態に係る撮像装置の構成を示す図である。第三実施形態に係る主要領域の設定を示す図である。第四実施形態に係る撮像装置の構成を示す図である。第四実施形態に係る主要領域の設定を示す図である。

符号の説明

１００メインコントローラ
１０１撮像部
１０３領域設定部（動きベクトル測定領域設定手段）
１０４動きベクトル算出部（動きベクトル算出手段）
１０５動きベクトル信頼度算出部（動きベクトル信頼度算出手段）
１０６動きベクトル統合処理部（動きベクトル統合処理手段）
１０８主要領域設定部（主要領域設定手段）
１１１ストロボ発光部
１１２露光量算出部（露光量算出手段）
１０６１位置関係算出部
１０６２寄与度算出部（寄与度算出手段）
１０６３統合演算処理部

Claims

複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う撮像装置において、
被写体を撮像する際の露光量を算出する露光量算出手段と、
前記複数枚の画像のいずれか一枚の画像の撮影時に、前記露光量に応じて閃光装置を発光させて撮影を行う閃光撮影手段と、
動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定手段と、
前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手段と、
夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出手段と、
前記閃光撮影手段により撮影された前記画像から主要領域を検出する主要領域検出手段と、
前記信頼度を考慮して前記複数の動きベクトル測定領域の動きベクトルに基づいて、画像間の補正ベクトルを算出する動きベクトル統合処理手段と、を備え、
前記動きベクトル統合処理手段は、夫々の動きベクトル測定領域と前記主要領域との位置関係から夫々の動きベクトルの寄与度を算出する寄与度算出手段を有し、前記信頼度と前記寄与度に応じて前記複数の動きベクトル測定領域の動きベクトルを統合することを特徴とする撮像装置。
前記閃光撮影手段が、前記露光量が閾値以下の場合に、前記閃光装置を発光させることを特徴とする請求項１に記載の撮像装置。
前記動きベクトル統合処理手段は、前記信頼度と前記寄与度に応じて重み係数を設定して、前記複数の動きベクトル測定領域の動きベクトルを前記重み係数に応じて重み付け加算することにより、画像間の補正ベクトルを算出することを特徴とする請求項１に記載の撮像装置。
前記動きベクトル統合処理手段は、前記動きベクトル信頼度算出手段により算出された前記信頼度が閾値より小さい場合に当該信頼度をゼロに再設定することを特徴とする請求項３に記載の撮像装置。
前記動きベクトル統合処理手段は、i番目の動きベクトル測定領域の動きベクトルをVi、信頼度をSTi、寄与度をKiとして、i番目の動きベクトル測定領域の動きベクトルの前記重み係数を信頼度STiと寄与度Kiの積に基づいて計算し、
さらに、前記補正ベクトルV_Frameを
により算出することを特徴とする請求項３又は４に記載の撮像装置。
前記動きベクトル統合処理手段は、前記信頼度と前記寄与度に応じて選択した動きベクトルに対するヒストグラム処理を行い、頻度が最大となるビンの代表ベクトルを画像間の補正ベクトルとして設定することを特徴とする請求項１に記載の撮像装置。
前記動きベクトル測定領域の中心座標が前記主要領域に含まれている場合に、前記寄与度が大きく、前記動きベクトル測定領域の中心座標が前記主要領域に含まれていない場合に、前記寄与度が小さく設定されていることを特徴とする請求項１に記載の撮像装置。
前記動きベクトル測定領域と前記主要領域の重なる面積が大きいほど、前記寄与度が大きく設定されていることを特徴とする請求項１に記載の撮像装置。
前記動きベクトル測定領域と前記主要領域との間の距離が大きいほど、前記寄与度が減少することを特徴とする請求項１に記載の撮像装置。
前記主要領域設定手段が、前記閃光撮影手段により撮影された前記画像の特定被写体の領域を検出し、検出した前記特定被写体の領域に基づいて前記主要領域を設定することを特徴とする請求項１から９のいずれか一つに記載の撮像装置。
前記主要領域設定手段が、前記閃光撮影手段により撮影された前記の鮮鋭度を検出し、当該鮮鋭度に基づいて前記主要領域を設定することを特徴とする請求項１から９のいずれか一つに記載の撮像装置。
複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う撮像方法において、
被写体を撮像する際の露光量を算出する露光量算出ステップと、
前記複数枚の画像のいずれか一枚の画像の撮影時に、前記露光量に応じて閃光装置を発光させて撮影を行う閃光撮影ステップと、
動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定ステップと、
前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出ステップと、
夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出ステップと、
前記閃光撮影ステップにより撮影された前記画像から主要領域を検出する主要領域検出ステップと、
前記信頼度を考慮して前記複数の動きベクトル測定領域の動きベクトルに基づいて、画像間の補正ベクトルを算出する動きベクトル統合処理ステップと、を備え、
前記動きベクトル統合処理ステップは、夫々の動きベクトル測定領域と前記主要領域との位置関係から夫々の動きベクトルの寄与度を算出する寄与度算出ステップを有し、前記信頼度と前記寄与度に応じて前記複数の動きベクトル測定領域の動きベクトルを統合することを特徴とする撮像方法。