JP5048542B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

複数枚の画像間の位置合わせ処理を行う画像処理装置及び画像処理プログラムに関する。特に、画像のブレ補正等における画像の重ね合わせの際に使用する位置合わせ処理に関する。

従来、画像のブレ補正等において画像の動きベクトルを検出する手段として、ブロックマッチング法や相関演算に基づく相関法が知られている。

ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック（例えば８画素×８ライン）に分割し、このブロックの単位で、現在のフィールド（又はフレーム）と前のフィールドとの画素値の差分を計算する。さらに、この差分に基づいて、現在のフィールドのあるブロックに対して相関の高い前のフィールドのブロックを探索する。そして、画面間の相対的なズレが、ブロックの動きベクトルとなる。

ブロックマッチングでの相関の高いブロックの探索方法として、画素値の差分の自乗和である誤差自乗和ＳＳＤ、画素値の差分の絶対値和である誤差絶対値和ＳＡＤによって相関を評価することが行われる。ＳＳＤ、ＳＡＤが小さいほど相関が高いと評価する。現在のフィールドのマッチングの基準ブロック領域Ｉ内の画素位置ｐ、前のフィールドの対象とするブロック領域Ｉ'内の画素位置ｑ（画素位置ｐに対応する位置）、さらに画素位置ｐ、ｑの画素値をＬｐ、Ｌｑとすると、ＳＳＤとＳＡＤは、それぞれ以下の数式（１）、（２）で表される。

ここで、ｐ及びｑは、２次元の値を持つ量であり、Ｉ、Ｉ'は、それぞれ、現在のフィールドと前のフィールドの２次元の領域を示し、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていること、ｑ∈Ｉ'は、座標ｑが領域Ｉ'に含まれていることを示す。

一方、相関演算に基づく相関法では、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'のそれぞれに含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ave(Lp)、Ave(Lq)を算出し、各ブロックに含まれる画素値とこの平均値の差分を以下の数式（３）により計算する。

続いて、正規化相互相関ＮＣＣを数式（４）により計算する。

正規化相互相関ＮＣＣの大きいブロックを相関の高いブロックと評価し、最も相関の高いブロックＩ'とＩの間のズレを動きベクトルとする。

画像に含まれている被写体や撮影対象が静止している場合は、個々の領域での動きと画像全体の動きは一致しており、上記の相関演算を行うブロックは任意の固定位置に配置して、その動きベクトルを算出すれば良い。

尚、ノイズの影響により信頼性の高い動きベクトルが得られない場合や、ブロックが、平坦部、又はブロックに比べて大きい構造のエッジ部にかかっており信頼性の高い動きベクトルが得られない場合がある。この様な場合を排除する為に、動きベクトルを算出する際の信頼性判定を行う技術が、例えば特許文献１や特許文献２に開示されている。

また、画像に含まれている被写体や撮影対象に複数の動きが含まれている場合は、例えばブレ補正を目的として、画像全体の動きベクトルを算出することが課題となる。特許文献３では、被写体を複数の領域に分割し、複数の領域のうちで動きベクトルの大きさや領域の大きさなどで重要な領域を選択し、その領域を全体の動きとしている。

この場合、領域選択手段は、（i）複数の領域のうち最も範囲が大きな領域を選択
するようにしたり、（ii）複数の領域のうち最も動きベクトルが小さな領域を選択する
ようにしたり、（iii）複数の領域のうち前回選択した領域に重なる範囲が最も大きな領
域を選択するようにしたり、（iv）最も範囲が大きな領域と、最も動きベクトルが小さ
な領域と、前回選択した領域に重なる範囲が最も大きな領域の何れかを選択するようにしている。
特開平８−１６３５７３号公報 特許第３１６４１２１号公報 特開平８−２５１４７４号公報

しかし、前述の特許文献３に記載の公知技術は、領域の大きさや、ベクトルの安定度を指標にした代表的な動きベクトルの選択方法である。動画像のブレ補正においては、このような方法で効果が得られるが、この方法では被写体の重要度を考慮しておらず、領域の大きさや、動きベクトルとして安定していることに基づいて選択した代表ベクトルが、使用者が撮影意図を有する主要被写体の動きベクトルに必ずしも一致しない。

また、特許文献１、２では、動きベクトルのデータの信頼度を算出しているが、この例においても、動きベクトルの信頼度が高い領域と主要被写体の領域が一致する保障はない。被写界深度の深い撮影の場合、信頼性の高い多数領域での動きベクトルに基づいて代表的な動きベクトルを求めるだけでは、背景の動きの影響が大きく主要被写体を静止させることが難しい。

本発明は、上記の問題点に鑑みて発明されたものであり、被写体の重要度を考慮して、主要被写体のブレを低減させるような代表的な動きベクトル（補正ベクトル）の算出を可能することを目的とする。

複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理装置において、動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定手段と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手段と、夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出手段と、前記複数枚の画像の少なくとも１枚の画像に対して、主要領域を設定する主要領域設定手段と、前記信頼度を考慮して前記複数の動きベクトル測定領域の動きベクトルを統合し、画像間の補正ベクトルを算出する動きベクトル統合処理手段と、を備え、前記動きベクトル統合処理手段は、夫々の動きベクトル測定領域と前記主要領域との位置関係から夫々の動きベクトルの寄与度を算出する寄与度算出手段と、前記信頼度と前記寄与度から算出された指標が、所定の閾値より大きいか否かを判定する判定手段と、を有し、前記指標が閾値以下の場合は、前記信頼度のみから前記補正ベクトルを算出し、前記指標が閾値より大きい場合は、前記信頼度と前記寄与度に応じて前記補正ベクトルを算出することを特徴とする。

本発明では、動きベクトルの信頼度の他に、主要領域（例えば、物体認識、コントラスト、焦点検出等から設定することができる）の位置情報から算出した寄与度を考慮して、複数の画像（又はフレーム）間の代表的な動きベクトルを算出する。従って、背景のような多くの面積を占める領域に支配されるグローバルな動きの算出ではなく、主要被写体のブレを低減させるような動きベクトルの算出が可能になる。

また、本発明の実施形態においては、従来技術３のような領域分割・選択の演算を必要とせず、動きベクトル測定領域と主要領域との位置関係から夫々の動きベクトルの寄与度を算出することで、画像全体の動きベクトルを求めている。従って、計算コストを低減することができる。

図１−図８を参照して、第一実施形態について説明する。図１は、フレーム間の動きを算出して、画像間の位置合わせと加算処理を行う画像処理装置を示す。

メインコントローラ１００は全体の動作の制御を行う、例えばＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵが用いられる。図１において、点線は制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。

画像入力部１０１から入力された画像は、フレームメモリ１０２にいったん格納される。領域設定部１０３は、基準となる基準フレーム（基準画像）と対象フレーム（対象画像）の間の動きを算出するため、フレームメモリ中の基準フレームに対して、所定の動きベクトル測定領域を設定する。領域設定部１０３は、動きベクトル測定領域として、基準画像中にブロック領域（動きベクトル測定ブロック）を格子状に設定する。動きベクトル算出部１０４は、フレームメモリに格納された基準フレームと対象フレームの画像データと、領域設定部１０３で設定されたブロック領域に関するデータを使って、誤差自乗和ＳＳＤ、誤差絶対値和ＳＡＤ、正規化相互相関ＮＣＣ等の相関演算を用いて、基準フレームのブロック領域に対して、対象フレーム中の相関の高いブロックの位置を算出する。

動きベクトル信頼度算出部１０５は、動きベクトルの信頼度を算出する。主要領域設定部１０８は、主要領域（例えば、主要被写体の領域）の位置情報（重心座標、大きさ等）を設定する。動きベクトル統合処理部１０６では、基準フレーム中のブロック領域と主要領域との位置関係に応じて動きベクトルのデータの統合を行って、フレーム間の動きベクトルの代表値（補正ベクトル）を算出する。フレーム加算部１０９は、フレームメモリ中の基準フレームと対象フレームの画像データ、及び、補正ベクトルのデータを用いてフレーム加算を行う。

なお、図１においてフレーム加算の例を示すが、図２では、補正ベクトルを用いて、基準フレームに対する対象フレームの位置合わせを行う動画ブレ補正を行う例を示す。図２は、フレームの位置補正により動画像ブレ補正を行う画像処理装置の構成図を示す。フレーム動き補正部１１０は、対象フレームを基準フレームに対してブレが少なくなるように補正し、図示しない表示装置、あるいは図示しない記憶装置にデータを転送する。

次に、動きベクトル信頼度算出部１０５で行っている動きベクトルの信頼度の算出の概要を説明する。

動きベクトルの信頼度の算出は、ブロック単位でのフレーム間（画像間）の相関値の統計性に基づいて信頼度を求めるものや、フレーム内での相関値の統計性に基づいて信頼度を求めるものなどがある。

フレーム間（画像間）の相関値の統計性に基づいて信頼度を求める場合において、基準フレームの動きベクトル測定領域とこれに対応する対象フレームの画像領域との間の相関値として、例えば、基準フレームのブロックIiと対象フレームのブロックIjに含まれる画素値の差分の自乗の和ＳＳＤ（以下の数式（５）で表される）を用いる。

ここで、座標（bxi,byi）は、領域設定部１０３で設定されたi番目のマッチングブロックの重心位置（又は中心座標）を示し、ブロックの番号iの数だけ用意されている。h,vは、それぞれ、マッチングブロックの水平、垂直方向の大きさである。座標（bxj,byj）は、ｊ番目の対象ブロックの重心位置を示し、ブロックマッチングの探索範囲に対応して用意されている。

i番目のブロックのSSD(i,j)は対象ブロックの番号ｊによって種々の値をとるが、i
番目のブロックの信頼度Siは、SSD(i,j)の最小値および平均値との差分に基づいて求められる。簡単には、信頼度Siは、SSD(i,j)の最小値および平均値との差分そのままとすればよい。

なお、相関値ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の概念で対応付けられる。（i）エッジ構造が鮮鋭な領域の場合に、動きベクトルの信頼度が高く、
結果として、ＳＳＤの最小値を示す対象ブロックの位置の誤差は少ない。ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さなＳＳＤが集中する。従って、ＳＳＤの最小値と平均値の差分が大きい。（ii）テクスチャや平坦な構造の場合、ＳＳ
Ｄのヒストグラムが平坦になり、結果としてＳＳＤの最小値と平均値の差が小さく、信頼度は低い。（iii）繰り返し構造の場合、ＳＳＤの最小値と最大値を示す位置が近く、
ＳＳＤが小さい値を示す位置が分散している。結果として最小値と平均値の差が小さく、信頼度は低い。この様に、SSD(i,j)の最小値および平均値との差分に基づいて、i番目のブロック対応した、信頼度の高い動きベクトルを選択する。

フレーム内での相関値の統計性に基づいて信頼度を求める場合において、基準画像の一つの動きベクトル測定領域と前記基準画像の他の動きベクトル測定領域との間の相関値を算出し、相関値の最小値に基づいて信頼度Siを算出する（特開２００５−２６０４８１号公報参照）。

なお、信頼性に関して、上記特許文献２に記載の様に各ブロックにエッジの量で信頼性を判定することもできる。

図３において、動きベクトル統合処理部１０６の詳細な構成を示す。位置関係算出部１０６１は主要領域の位置情報（重心座標 (bx0,by0)、領域の大きさh0,v0）と動きベクトル測定領域の位置情報（重心座標 (bxi,byi)、領域の大きさh,v）を用いて位置関係を算出する。寄与度算出部１０６２では位置関係の情報を用いて夫々の動きベクトル測定ブロックの動きベクトルの寄与度を算出する。

図４は、動きベクトル測定領域の主要領域との包含関係を用いて寄与度を算出するフローチャートを示す。すなわち、i番目の動きベクトル測定領域（動きベクトル測定ブロック）の重心座標（bxi,byi）が主要領域に含まれているか否かを、次式（６）のように判定する(Ｓ１１)。

結果が正で有れば寄与度Ki=1とし(Ｓ１２)、否であればKi=0とする(Ｓ１３)。

また、上記の寄与度算出の変形例としては、主要領域とｉ番目の動きベクトル測定領域の重なる面積によって、閾値処理を行っても良い。即ち、主要領域とｉ番目の動きベクトル測定ブロックの重なる面積が所定値以上であれば、Ki=1とし、否であればKi=0とする。

図５は、他の方法で寄与度を算出するフローチャートを示す。以下の数式（７）で表される、主要領域と夫々の動きベクトル測定領域の距離（重心座標間の距離）を算出する（Ｓ２１）。当該距離の自乗が大きくなるほど寄与度が小さくなる関数（数式（８））により寄与度を算出する（Ｓ２２）。

図６は、統合演算処理部１０６３が行う処理のフローチャートを示している。ステップＳ３１では信頼度Siの閾値処理を行い、信頼度Siが閾値S_Thrより大きいか否か判断している。閾値より大きい信頼度Siのブロックの寄与をそのままにして（Ｓ３２）、閾値以下の信頼度Siのブロックの寄与を０として（Ｓ３３）、補正ベクトルV_frameの演算に用いられる最終的な信頼度STiを求めている。これにより、動きベクトルの統合結果が安定する。

フレーム補正ベクトルV_Frameは、最終的な信頼度STi、寄与度Ki、i番目の動きベクトル測定領域の動きベクトルの測定結果Viとを用いて、複数の動きベクトル測定領域の動きベクトルを重み付け加算（又は重み付け平均）することにより、数式（９）のように算出される（Ｓ３４）。

ここで、右辺の分母は正規化の係数である。重み係数は、信頼度Siと寄与度Kiの積に応じて設定されている。

図７に示すように、動きベクトル統合処理部１０６は、統合演算処理部１０６３に寄与度変更判定処理部１０６４を備えることができる。図８は、寄与度変更判定処理部１０６４を有する統合演算処理部１０６３の演算フローチャートを示している。寄与度変更判定処理部１０６４は、信頼度と寄与度に関する所定の条件が満たされる場合に、寄与度を変更する。Ｓ４１−Ｓ４３のステップは、図６のＳ３１−Ｓ３３と同様である。Ｓ４４では、寄与度を考慮した信頼性の指標ST'を数式（１０）により算出する。

次に、ST'が閾値より大きいか否かを判定する(Ｓ４５)。ST'が閾値より大きい場合は、寄与度を考慮したフレーム補正ベクトル（数式（１１））を採用する（Ｓ４６）。

ST'が閾値より小さい場合は、寄与度Kiを考慮せずに信頼度のみに基づいて、数式（１２）から補正ベクトルを演算する（Ｓ４７）。即ち、すべての寄与度Kiを所定の一定値に変更し、全ブロックの寄与度Kiが同じであるとして信頼度のみに基づいて補正ベクトルを求める。

主要領域の位置情報を優先した数式（１１）の計算により補正ベクトルを求めると、補正ベクトルの安定度が低いため複数枚の画像を重ね合わせたときエラーが生じる場合がある。そこで、ST'が閾値より小さい場合は、主要領域の動きが所定の基準を満たす安定度で推定することが不可能であるとし、動きベクトルの信頼度のみを考慮した補正ベクトルの計算（数式（１２））に切り替えている。

主要領域設定部１０８では、被写体認識による主要被写体の位置情報、コントラストの強弱の情報、多点自動焦点（多点ＡＦ）の合焦位置の情報などを用いて、動きベクトルを算出するブロックの位置を限定する。

次に、第二実施形態について、図９―図１１を参照して説明する。上記第一実施形態では、重み付け加算（数式（９））によって補正ベクトルを求めたが、これと異なる方法を採用する。第二実施形態では、信頼度Siが閾値S_Thr以上であり、寄与度Kiが所定値K_Thr以上の動きベクトルVi（数式（１３））に関して、ヒストグラム処理を行いベクトル量 (向き、および大きさ)を適当なビンで分割し、頻度が高いベクトルを補正ベクトルとして採用する。

ここで、ビンとは、ヒストグラムにおける分割幅であり、ｘ軸方向の幅がbin_xで、ｙ軸方向の幅がbin_yである。

図９に示すように、動きベクトルの水平・垂直方向座標をx,yとして、x,yがs番目(s=0…N|(N=l×m))のビンに入った場合に、ビンの頻度を１つ増加させる。なお、座標位置からビンの番号sは、数式（１４）で与えられる。

ここで、floorは床関数である。又、ここでｌはヒストグラムを測定する水平方向の範囲を表している。

ビンの頻度のカウントは、動きベクトルViがs番目のビンに入るごとにs番目のビンの頻度Hist(s)を数式（１５）のように増加させて行う。

以上のカウントを、SiがS_Thr以上、且つ、KiがK_Thr以上の全ての動きベクトルViについて行う。

図９では、ベクトルのヒストグラムを求めるためのビンの配列と、上記の数式（１４）の処理を模式化し、ビンの中に入るベクトルの数Hist(s)をカウントしている様子を示している。

フレーム間の補正ベクトルV_frameは、数式（１６）のように最も頻度が大きいビンsを代表するベクトル（例えば、ビンの重心ベクトル）とする。

ここで、V_{bin_s}はそれぞれのビンを代表するベクトルであり、s=sup_s(Hist(s))は、頻度が最も高いビンの番号sである。

図１０は、ヒストグラム処理により複数の動きベクトルの統合する補正ベクトル算出処理のフローチャートである。ここでは、閾値S_Thr以上の信頼度、閾値K_Thr以上の寄与度を持つブロックiについてのみヒストグラム処理を行う。このため、ステップＳ５１において、信頼度Siが閾値S_Thr以上であるか判断し、ステップＳ５２において、寄与度Kiが閾値K_Thr以上であるか判断する。信頼度Siが閾値S_Thr未満、又は、寄与度Kiが閾値K_Thr未満である動きベクトルViに対してはヒストグラム処理を行わず除外する。ステップＳ５３において、上記のヒストグラム処理を行い、動きベクトルViをビンに割り当てる。上記のステップＳ５１−Ｓ５３を繰り返して、ヒストグラムを作成する。ステップＳ５４において、上記のように頻度が最大となるビンの代表ベクトルを画像間の補正ベクトルとして設定する。

図８に相当する寄与度のリセットに関しては、ヒストグラムの頻度の最大値sup(Hist(s))が所定値以上にならなかった場合に、Ki>K_Thrの条件による動きベクトルの選択を行わないヒストグラム処理を採用する。つまり、Kiに無関係に、Si>S_Thrの条件を満たす全ての動きベクトルViについてヒストグラム処理を行う。ここでは、Ki>K_Thrの条件を満たす動きベクトルを選択して行った上記のヒストグラム処理（ヒストグラム処理１）の結果に対して、Ki<K_Thrの動きベクトルに対するヒストグラム処理の結果を追加する（ヒストグラム処理２）。

図１１に示すように、ステップＳ６３では、Si、Kiの両方がそれぞれの閾値より大きいブロックに対してヒストグラム処理１を行う。Ki<K_Thrの場合、ステップＳ６４で、Ki<K_Thrの動きベクトルのデータを保存しておく。ステップＳ６５において、頻度の最大値sup(Hist(s))が閾値H_Thr以上であれば、ヒストグラム処理１の結果から頻度最大のビンの代表ベクトルを補正ベクトルとして設定する（Ｓ６６）。頻度の最大値が閾値以下の場合、ヒストグラム処理２を行う（Ｓ６７）。ヒストグラム処理２では、ヒストグラム処理１で得られたヒストグラムに対して、Ki<K_Thrの全ての動きベクトルViをビンに分類した結果を追加する。このように、Kiに無関係に、Si>S_Thrの条件を満たす全ての動きベクトルViについてヒストグラムを求め、頻度最大のビンの代表ベクトルを補正ベクトルとして設定する（Ｓ６８）。

次に、図１２を参照して、第三実施形態について説明する。第三実施形態において、主要領域は人物の顔の領域であり、主要領域設定部として、人物の顔を検出する顔検出部（顔検出手段）９０８を用いている。顔検出部９０８は、入力画像中の人物の顔の領域の位置と大きさを算出する。顔検出の方法としては、例えば、Paul Viola, Michael Jones :Robust Realtime Object Detection Second International Workshop on Statistical and Computational Theories of Vision-Modeling, Learning, Computing and Sampling 2001に記載されている方式およびその応用が用いられる。この方式のアルゴズムでは、顔の位置とおよその大きさを算出することができる。なお、この他の方式によって、顔検出を行ってもよい。

図１３（ａ）は、領域設定部１０３で設定される動きベクトル測定領域１００１を示す。図１３（ｂ）は、顔検出により検出された領域１００２を示す。図１３（ｃ）に示したように、動きベクトルの計測と顔検出の二つの情報の統合によって、特に、顔の位置する領域１００３で優先的に動きベクトルデータを考慮して、補正ベクトルを算出する。寄与度の計算は、図４、５に示した方法や、領域の重なり面積を考慮した方法が用いられる。動きベクトルの信頼度と顔領域と動きベクトル測定領域との位置関係から算出された寄与度を考慮して、図６の統合演算を行いフレーム間の補正ベクトルを算出する（数式（１１））。

また、図８に示したような寄与度の変更判定処理を行う。寄与度を考慮した場合の動きベクトルの信頼度ＳＴ’が有る閾値より低い場合は、寄与度を考慮せず、領域設定部１０３で設定されている動きベクトル測定領域の全体（全ブロック）での信頼性だけから補正ベクトルを算出する（数式（１２））。

次に、図１４を参照して、第四実施形態について説明する。第四実施形態において、主要領域は鮮鋭度の高い領域であり、主要領域設定部として、イメージャＡＦに用いられる鮮鋭度検出部（コントラスト検出部）１１０８を用いている。鮮鋭度の検出には、エッジ特徴量（例えば、隣接画素値の差分）を検出するフィルタ手段（微分フィルタ等）が用いられる。鮮鋭度は、コントラスト値（例えば、最近隣の同色の画素値の差分の絶対値の総和）であってよい。鮮鋭度が所定値以上の領域が、主要領域と設定できる。

図１５（ａ）は、領域設定部１０３で設定されている動きベクトル測定領域１００１を示す。図１５（ｂ）は、鮮鋭度検出を行う複数の領域１２０２を示している。動きベクトルの計測と鮮鋭度計測の二つの情報の統合によって、図１５（ｃ）に示したように、特に、鮮鋭度の高い領域１２０３で優先的に動きベクトルデータを考慮して、補正ベクトルを算出する。寄与度の計算は図４、５に示した方法や、領域の重なり面積を考慮した方法が用いられる。動きベクトルの信頼度、及び、コントラストが高い領域と動きベクトル計測領域との位置関係から算出された寄与度を考慮して、図６に示した統合演算を行いフレーム間の補正ベクトルを算出する（数式（１１））。

また、図８に示したような寄与度の変更判定処理を行う。寄与度を考慮した場合の動きベクトルの信頼度ＳＴ’がある閾値より低い場合は、寄与度を考慮せず、領域設定部１０３で設定されている動きベクトル測定領域全体（全ブロック）での信頼性だけから補正ベクトルを算出する（数式（１２））。

次に、図１６を参照して、第五実施形態について説明する。第五実施形態において、図１６は、本発明の画像処理装置と撮像部１３０６を備えた撮像装置を示している。主要領域設定部として、ＡＦ機構（自動焦点調整機構）に用いられる焦点検出部１３０８を用いている。焦点検出は、位相差検出によって行い、撮像光学系の瞳分割によりセパレータ光学系で結像した対応する２像間の位相差によって被写体に対して焦点が合っているか否かを評価する。

デジタルカメラなどの撮像機器においては、撮影者が意図する主要被写体に合焦点位置を設定したり、合焦点位置によって、撮影者が意図する主要被写体の位置を検出することができる。図１７（ａ）は、領域設定部１０３で設定されている動きベクトル測定領域１００１を示す。図１７（ｂ）の「＋」記号１４０２は、焦点検出を行う位置をしている。焦点検出を行う位置の中で上記の位相差検出によって、合焦点位置（点線）を検出することができる。合焦点位置と動きベクトル計測位置の情報を統合する事によって、図１７（ｃ）に示したように、特に、焦点が合っている領域１４０３について優先的に動きベクトルデータを考慮して、補正ベクトルを算出する。寄与度の計算は図４，５に示した方法や、領域の重なり面積を考慮した方法が用いられる。動きベクトルの信頼度、及び、合焦点位置と動きベクトル計測領域との位置関係から算出された寄与度を考慮して、図６示した統合演算を行いフレーム間の補正ベクトルを算出する（数式（１１））。

また、図８に示したような寄与度の変更判定処理を行い、寄与度を考慮した場合の動きベクトルの信頼度ＳＴ’がある閾値より低い場合に、寄与度を考慮せず、領域設定部１０３で設定されている動きベクトル測定領域全体（全ブロック）での信頼性だけから補正ベクトルを算出する（数式（１２））。

本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

第一実施形態に係る画像処理装置の構成の一例を示す図である。 第一実施形態に係る画像処理装置の構成の他の例を示す図である。 動きベクトル統合処理部の構成を示す図である。 寄与度の算出処理の一例を示すフローチャートである。 寄与度の算出処理の他の例を示すフローチャートである。 動きベクトル統合処理部の統合演算処理部が行う処理（補正ベクトル算出）の一例を示すフローチャートである。 動きベクトル統合処理部の他の構成を示す図である。 動きベクトル統合処理部の統合演算処理部が行う処理（補正ベクトル算出）の他の例を示すフローチャートである。 第二実施形態による動きベクトルのヒストグラムの作成を示す図である。 第二実施形態による動きベクトル統合処理部が行う処理（補正ベクトル算出）の一例を示すフローチャートである。 第二実施形態による動きベクトル統合処理部が行う処理（補正ベクトル算出）の他の例を示すフローチャートである。 第三実施形態に係る画像処理装置の構成を示す図である。 第三実施形態に係る主要領域の設定を示す図である。 第四実施形態に係る画像処理装置の構成を示す図である。 第四実施形態に係る主要領域の設定を示す図である。 第五実施形態に係る画像処理装置の構成を示す図である。 第五実施形態に係る主要領域の設定を示す図である。

符号の説明

１００ メインコントローラ
１０３ 領域設定部（動きベクトル測定領域設定手段）
１０４ 動きベクトル算出部（動きベクトル算出手段）
１０５ 動きベクトル信頼度算出部（動きベクトル信頼度算出手段）
１０６ 動きベクトル統合処理部（動きベクトル統合処理手段）
１０８ 主要領域設定部（主要領域設定手段）
１０６１ 位置関係算出部
１０６２ 寄与度算出部（寄与度算出手段）
１０６３ 統合演算処理部

Claims (19)

1. 複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理装置において、
   動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定手段と、
   前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手段と、
   夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出手段と、
   前記複数枚の画像の少なくとも１枚の画像に対して、主要領域を設定する主要領域設定手段と、
   前記信頼度を考慮して前記複数の動きベクトル測定領域の動きベクトルを統合し、画像間の補正ベクトルを算出する動きベクトル統合処理手段と、を備え、
   前記動きベクトル統合処理手段は、
   夫々の動きベクトル測定領域と前記主要領域との位置関係から夫々の動きベクトルの寄与度を算出する寄与度算出手段と、前記信頼度と前記寄与度から算出された指標が、所定の閾値より大きいか否かを判定する判定手段と、を有し、前記指標が閾値以下の場合は、前記信頼度のみから前記補正ベクトルを算出し、前記指標が閾値より大きい場合は、前記信頼度と前記寄与度に応じて前記補正ベクトルを算出する
   ことを特徴とする画像処理装置。
2. 前記動きベクトル統合処理手段は、前記信頼度と前記寄与度に応じて重み係数を設定して、前記複数の動きベクトル測定領域の動きベクトルを前記重み係数に応じて重み付け加算することにより、画像間の補正ベクトルを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記動きベクトル統合処理手段は、前記動きベクトル信頼度算出手段により算出された前記信頼度が閾値より小さい場合に当該信頼度をゼロに再設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記動きベクトル統合処理手段は、i番目の動きベクトル測定領域の動きベクトルをVi、信頼度をSTi、寄与度をKiとして、i番目の動きベクトル測定領域の動きベクトルの前記重み係数を信頼度STiと寄与度Kiの積に基づいて計算し、
   さらに、前記補正ベクトルV_Frameを
   により算出することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記動きベクトル統合処理手段は、前記信頼度と前記寄与度に関する所定の条件が満たされる場合に、前記寄与度算出手段が算出した前記寄与度を変更することを特徴とする請求項２に記載の画像処理装置。
6. 前記動きベクトル統合処理手段は、i番目の動きベクトル測定領域の信頼度をSTi、寄与度をKiとして、信頼度STiと寄与度Kiの積に基づいて
   で表される量ＳＴ'を前記指標として演算することを特徴とする請求項１に記載の画像処理装置。
7. 前記動きベクトル統合処理手段は、前記信頼度と前記寄与度に応じて選択した動きベクトルに対するヒストグラム処理を行い、最大の頻度となるビンの代表ベクトルを画像間の補正ベクトルとして設定することを特徴とする請求項１に記載の画像処理装置。
8. 前記動きベクトル統合処理手段は、前記最大の頻度が所定値未満の場合には、前記信頼度のみに応じて選択した動きベクトルに対してヒストグラム処理を行い、頻度が最大となるビンの代表ベクトルを、画像間の補正ベクトルとして設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記動きベクトル算出手段が、基準画像の動きベクトル測定領域と対象画像の画像領域間のブロックマッチングにより前記動きベクトルを算出し、
   前記動きベクトル信頼度算出手段は、前記動きベクトル測定領域と前記対象画像の画像領域との間の相関値の統計性に基づいて前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記相関値が、前記動きベクトル測定領域と前記対象画像の画像領域との間の画素値の差分の自乗和（ＳＳＤ）であり、前記相関値の最小値と平均値との差に基づいて前記信頼度を算出することを特徴とする請求項９に記載の画像処理装置。
11. 前記動きベクトル信頼度算出手段は、基準画像の一つの動きベクトル測定領域と前記基準画像の他の動きベクトル測定領域との間の相関値を算出し、
    前記相関値の最小値に基づいて前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
12. 前記動きベクトル測定領域の中心座標が前記主要領域に含まれている場合に、前記寄与度が大きく、前記動きベクトル測定領域の中心座標が前記主要領域に含まれていない場合に、前記寄与度が小さく設定されていることを特徴とする請求項１に記載の画像処理装置。
13. 前記動きベクトル測定領域と前記主要領域の重なる面積が大きいほど、前記寄与度が大きく設定されていることを特徴とする請求項１に記載の画像処理装置。
14. 前記動きベクトル測定領域と前記主要領域との間の距離が大きいほど、前記寄与度が減少することを特徴とする請求項１に記載の画像処理装置。
15. 前記主要領域設定手段が、画像の特定被写体の領域を検出し、検出した前記特定被写体の領域に基づいて前記主要領域に設定することを特徴とする請求項１から１４のいずれか一つに記載の画像処理装置。
16. 前記主要領域設定手段が、画像の鮮鋭度を検出し、当該鮮鋭度に基づいて前記主要領域を設定することを特徴とする請求項１から１４のいずれか一つに記載の画像処理装置。
17. 撮像手段をさらに有することを特徴とする請求項１から１４のいずれか一つに記載の画像処理装置。
18. 前記撮像手段が、画像中で焦点の合っている合焦点位置の検出を行う合焦点検出手段を有し、前記合焦点位置に基づいて前記主要領域を設定することを特徴とする請求項１から１４のいずれか一つに記載の画像処理装置。
19. 複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理プログラムにおいて、
    動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定手順と、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手順と、
    夫々の動きベクトルの信頼度を算出する動きベクトル信頼度算出手順と、
    前記複数枚の画像の少なくとも１枚の画像に対して、主要領域を設定する主要領域設定手順と、
    前記信頼度を考慮して前記複数の動きベクトル測定領域の動きベクトルを統合し、画像間の補正ベクトルを算出する動きベクトル統合処理手順と、を備え、
    前記動きベクトル統合処理手順は、
    夫々の動きベクトル測定領域と前記主要領域との位置関係から夫々の動きベクトルの寄与度を算出する寄与度算出手順と、前記信頼度と前記寄与度から算出された指標が、所定の閾値より大きいか否かを判定する判定手順と、を有し、前記指標が閾値以下の場合は、前記信頼度のみから前記補正ベクトルを算出し、前記指標が閾値より大きい場合は、前記信頼度と前記寄与度に応じて前記補正ベクトルを算出する
    ことを特徴とする画像処理プログラム。