WO2007063675A1

WO2007063675A1 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置

Info

Publication number: WO2007063675A1
Application number: PCT/JP2006/321904
Authority: WO
Inventors: Shigeru Doida
Original assignee: Nikon Corporation
Priority date: 2005-11-30
Filing date: 2006-11-01
Publication date: 2007-06-07
Also published as: JP5082856B2; US20090052788A1; US8526680B2; DE602006014723D1; JPWO2007063675A1; EP1956556B1; EP1956556A1; EP2204772A1; EP1956556A4

Abstract

　本発明は、画像内を分割してできるブロック数を増やさなくとも複数の画像間の動きを高精度に検出することを目的とする。そのために、本発明の画像処理方法は、前記複数の画像の各ブロックから部分動きベクトルを探索する探索手順（Ｓ３）と、前記各ブロックの部分動きベクトルの中から代表動きベクトルを選出する選出手順（Ｓ４）と、前記代表動きベクトルに基づき前記画像上の動きベクトル分布を近似する近似手順（Ｓ５）とを含むことを特徴とする。因みに、その近似面を平面とすれば、動きベクトル分布を近似するための演算量や、動きベクトル分布を表現するための情報量を最小限に抑えることができる。

Description

明細書

画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置技術分野

[0001] 本発明は、ディジタルカメラ、画像処理ソフトウェアなどに適用される画像処理方法

、画像処理プログラムに関する。また、本発明は、ディジタルカメラなどに適用される画像処理装置、ディジタルカメラなどの撮像装置に関する。

背景技術

[0002] ディジタル処理による手振れ補正は、連続して撮影された複数枚の画像間の動きベクトルを検出し、その動きベクトルに応じてそれらの画像を位置合わせして合成するものである。動きベクトルの検出方法は、特許文献 1などに開示されており、例えば、複数の画像の各ブロック力も動きベクトル (部分動きベクトル)を検出し、各ブロックの部分動きベクトルに基づき画像全体の動きベクトルを 1つ求めている。

特許文献 1：特開平 7— 38800号公報

発明の開示

発明が解決しょうとする課題

[0003] しかし、部分動きベクトルの中には信頼性の低!、ものも混ざって、るので、この方法で動きベクトルの検出精度を向上させるには、ブロック数を増やす必要があり、その分だけ演算量が増える。また、画像間の動き方によっては、動きベクトルがその動きを的確に表現できてヽな、場合もある。

そこで本発明は、ブロック数を増やさなくとも複数の画像間の動きを高精度に検出することのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。

課題を解決するための手段

[0004] 本発明の第 1の画像処理方法は、複数の画像間の動きを検出する画像処理方法であって、前記複数の画像の各ブロック力部分動きベクトルを探索する探索手順と、前記各ブロックの部分動きベクトルの中から代表動きベクトルを選出する選出手順と、前記代表動きベクトルに基づき前記画像上の動きベクトル分布を近似する近似手順とを含むことを特徴とする。

[0005] なお、前記代表動きベクトルは、少なくとも 3つ選出され、前記動きベクトル分布は、前記画像上の位置の一次関数で近似されることが望ましい。

また、前記各ブロックの探索では、前記ブロック内の参照領域の特徴量を 2方向へ加算してできる 2種類の投影データが用いられることが望ましい。

また、前記各ブロックの探索では、前記ブロックの特徴量を前記 2方向へ累積加算してできる 2種類の累積加算画像が予め作成され、前記 2種類の投影データは、前記 2種類の累積加算画像の一部から作成されることが望ましい。

[0006] また、前記探索手順、前記選出手順、及び前記近似手順による前記動きベクトル分布の算出処理は、前記複数の画像を低解像度変換してできる複数の粗い画像に対して施されてもよい。

さらに、前記複数の粗い画像力も算出された前記動きベクトル分布を利用して、前記低解像度変換前の複数の詳細な画像間の動きが検出されてもよい。

[0007] また、前記検出した動きに基づき前記複数の詳細な画像が位置合わせして合成されてもよい。

また、本発明の第 1の画像処理プログラムは、本発明の第 1の画像処理方法の何れかをコンピュータに実行させることを特徴とする。

また、本発明の第 1の画像処理装置は、本発明の第 1の画像処理方法の何れかを実行する手段を備えたことを特徴とする。

[0008] また、本発明の第 1の撮像装置は、被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、本発明の第 1の画像処理装置の何れかとを備えたことを特徴とする。

(第 2の発明）

本発明の第 2の画像処理方法は、複数の画像間の動きベクトルを探索する画像処理方法であって、前記複数の画像中の参照領域の相関を、その参照領域の位置を前記画像間でずらしながら算出する算出手順を含み、前記参照領域の相関として、前記参照領域の特徴量を 2方向へ加算してできる 2種類の投影データの相関を算出することを特徴とする。 [0009] なお、前記算出手順では、前記参照領域の特徴量を前記 2方向へ累積加算してできる 2種類の累積加算画像が予め作成され、前記 2種類の投影データは、前記 2種類の累積加算画像の一部から作成されることが望ましい。

また、前記参照領域の特徴量は、前記参照領域に対し 2以上の処理を施して抽出されたものであることが望まし、。

[0010] また、前記 2以上の処理のうち 1つは、エッジフィルタ処理であることが望ましい。

また、前記動きベクトルは、前記画像を分割してできるブロックの動きベクトルであつてもよい。

また、前記動きベクトルは、前記画像の全体の動きベクトルであってもよい。

また、本発明の第 2の画像処理プログラムは、本発明の第 2の画像処理方法の何れかをコンピュータに実行させることを特徴とする。

[0011] また、本発明の第 2の画像処理装置は、本発明の第 2の画像処理方法の何れかを実行する手段を備えたことを特徴とする。

また、本発明の第 2の撮像装置は、被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、本発明の第 2の画像処理装置とを備えたことを特徴とする。

発明の効果

[0012] 本発明によれば、複数の画像間の動きを高精度に検出することのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。

図面の簡単な説明

[0013] [図 1]第 1実施形態の電子スチルカメラの構成を示すブロック図である。

[図 2]手振れ補正処理の流れを示すフローチャートである。

[図 3]ステップ S3の原理を説明する図である。

[図 4]投影データを用いる場合のステップ S3を説明する図である。

[図 5]累積加算画像を用いる場合のステップ S3を説明する図である。

[図 6]ステップ S4を説明する図である。

[図 7]代表動きベクトル V , V , Vを示す図である。

a c

[図 8] Δ χの近似平面 Sxを示す図である。 [図 9] Ayの近似平面 Syを示す図である。

[図 10]置換後の部分動きベクトル V_;の例を示す図である。

[図 11]第 2実施形態の検出処理の流れを示すフローチャートである。

[図 12]第 2実施形態 (及び第 1実施形態)の相関値 dの算出方法の概念を説明する図である。

発明を実施するための最良の形態

[0014] [第 1実施形態]

以下、本発明の第 1実施形態を説明する。本実施形態は、手振れ補正機能付きの電子スチルカメラの実施形態である。

図 1は、電子スチルカメラの構成を示すブロック図である。図 1に示すとおり、電子スチルカメラ 10には、撮像素子 12、信号処理回路 13、メモリ 14、圧縮'伸張回路 15、記録部 16、画像処理回路 17などが配置される。

[0015] 電子スチルカメラ 10に装着された撮影レンズ 11は、撮像素子 12上に被写体の像を形成する。撮像素子 12は、その被写体の像を撮像して画像を取得する。その画像は、信号処理回路 13において処理された後、メモリ 14^ ^一時的に格納される。画像処理回路 17は、その画像に対し画像処理を施し、画像処理後の画像は、圧縮'伸張回路 15におヽて圧縮処理が施された後、記録部 16におヽて記録される。

[0016] 特に、電子スチルカメラ 10が手振れ補正モードに設定されているとき、撮像素子 12 は、適正露光時間、又は予め設定された露光時間に対して n段アンダーかつ微小時間間隔で 2 X n枚の画像を取得する。画像処理回路 17は、それら複数枚の画像を入力し、手振れ補正処理を実行して補正画像を取得する。その補正画像が、圧縮'伸張回路 15を介して記録部 16に記録される。

[0017] 次に、画像処理回路 17による手振れ補正処理の全体の流れを説明する。

図 2は、手振れ補正処理の流れを示すフローチャートである。図 2に示すとおり、画像処理回路 17は、複数枚の画像を入力すると (ステップ S1)、それらを低解像度変換して複数枚の粗い画像を取得し (ステップ S 2)、それら粗い画像の各ブロックから部分動きベクトルを探索する (ステップ S3)。

[0018] その後、画像処理回路 17は、部分動きベクトルの中力も代表動きベクトルを選出し (ステップ S4)、それら代表動きベクトルに基づき画像上の動きベクトル分布を近似する（ステップ S5)。以上のステップ S2〜S5の処理は、粗い画像に基づく検出なので「粗検出」に相当する。

そして、画像処理回路 17は、粗検出で取得した動きベクトル分布を利用して、低解像度変換前の複数枚の詳細な画像の各ブロックから、改めて部分動きベクトルを探索する (ステップ S6)。このステップ S6の処理は、詳細な画像に基づく検出なので「詳細検出」に相当する。

[0019] さらに、画像処理回路 17は、ステップ S6で得た部分動きベクトルに基づき複数枚の詳細な画像を位置合わせして合成し (ステップ S 7)、合成後の画像を補正画像として出力する (ステップ S8)。

次に、ステップ S3〜S7を詳細に説明する。ここでは、簡単のため、画像の枚数を 2 とする。

[0020] (ステップ S3)

図 3は、ステップ S3の原理を説明する図である。

図 3に示すとおり、本ステップでは、粗い画像 f , f に対しそれぞれエッジフィルタ処

1 2

理が施され、エッジ画像 g , gが取得される。そして、エッジ画像 g , gの各々が複数

1 2 1 2

のブロック Rに分割される。ブロック Rの個数は、例えば、画像の水平方向に 6、画像の垂直方向に 4の合計 24である。以下、画像の水平方向（図の左右方向）を「x方向」とし、画像の垂直方向（図の上下方向）を「y方向」とする。ブロック Rからの部分動きベクトルの探索は、次のとおり行われる。

[0021] 先ず、図 3中に拡大して示すとおり、エッジ画像 g , gのブロック R内の参照領域 E

1 2 1

, Eがそれぞれ参照され、それら参照領域 E , Eの間の相関値 dとして、参照領域 E

2 1 2 1

, Eの差分の絶対値が算出される。相関値 dの算出は、参照領域 E , Eの間の位置

2 1 2 ずらし量 (X方向： a , y方向： j8 )を変化させながら繰り返し行われる。

この位置ずらし量（ひ， |8 )の変化範囲 (探索範囲）は十分に広く設定される。例えば、参照領域 E , Eのサイズが 75画素 X 75画素であるとき、探索範囲は、 α ： ± 15

1 2

画素、 j8 : ± 15画素に設定される。

[0022] そして、この探索範囲内で相関値 dが最小となるような位置ずらし量（ひ , j8 )の値（ Δ χ, Ay)が見出される。この値（Δ χ, Ay)力ブロック Rの部分動きベクトル Vと見なされる。

但し、以上の探索では、二次元のデータである参照領域 E , Eをそのまま演算に

1 2

用いると演算量が多くなるので、参照領域 E , Eの代わりに、参照領域 E , Eを y方

1 2 1 2 向に加算してできる一次元の投影データと、参照領域 E , Eを X方向に加算してでき

1 2

る一次元の投影データとを用いることが望ま U、。

[0023] 図 4は、投影データを用いる場合のステップ S3を説明する図である。

図 4に示すとおり、この場合、粗い画像 f , f に対し x方向のエッジフィルタ処理が施

1 2

され、エッジ画像 g V, g vが取得されると共に、粗い画像 f , f に対し y方向のエッジフ

1 2 1 2

ィルタ処理が施され、エッジ画像 g h， g hが取得される。なお、エッジ画像 g V, g vに

1 2 1 2 は y方向のエッジ成分が現れ、エッジ画像 g h, g hには、 x方向のエッジ成分が現れ

1 2

る。

[0024] 図 4中に拡大して示すとおり、このうち、エッジ画像 g Vの参照領域 Eが y方向にカロ算され、投影データ L hが作成される。

1

また、エッジ画像 g Vの参照領域 Eが y方向に加算され、投影データ L hが作成され

2 2 2

る。

また、エッジ画像 g hの参照領域 Eが X方向に加算され、投影データ L Vが作成され

1 1 1

る。

[0025] また、エッジ画像 g hの参照領域 Eが X方向に加算され、投影データ L Vが作成され

2 2 2

る。

この場合、参照領域 E , Eの間の相関値 dは、投影データ L h, L hの差分の絶対

1 2 1 2

値と、投影データ L V, L Vの差分の絶対値との和で表される。

1 2

ここで、これらの投影データ L h， L h， L V， L vは、参照領域 E， Eの位置ずらし

1 2 1 2 1 2

量（ α , β )が変化する毎に作成される必要がある。しかし、その度に参照領域 Ε , Ε

1 2 を加算していると演算量が多くなるので、予め、エッジ画像 g V, g V, g h, g hの累積

1 2 1 2 加算画像を作成しておくとよい。

[0026] 図 5は、累積加算画像を用いる場合のステップ S3を説明する図である。

図 5に示すとおり、この場合も、図 4の場合と同様に、粗い画像 f , f力もエッジ画像 g h, g h, g v, g v力取得される。

1 2 1 2

このうち、エッジ画像 g vが y方向に累積加算され、累積加算画像 hが作成される。

1 1

また、エッジ画像 g Vが y方向に累積加算され、累積加算画像 hが作成される。

2 2

[0027] また、エッジ画像 g hが X方向に累積加算され、累積加算画像 Vが作成される。

1 1

また、エッジ画像 g hが X方向に累積加算され、累積加算画像 Vが作成される。

2 2

これら累積加算画像 h , h , V , Vの算出式を具体的に示すと、以下の通りである。

1 2 1 2

[0028] [数 1] 、 =∑gi_v(^x', ) ^(_x,y)= ^g_]h x, ) f (^ )=∑g_2v(^ y) (^x,y)^∑ (, ') そして、図 5中に拡大して示すとおり、上述した投影データ L hは、累積加算画像 h

1 1 の参照領域 Eの上下 2ラインの差分をとることによって作成される。

1

また、上述した投影データ L hは、累積加算画像 hの参照領域 Eの上下 2ラインの

2 2 2

差分をとること〖こよって作成される。

[0029] また、上述した投影データ L Vは、累積加算画像 Vの参照領域 Eの左右 2ラインの

1 1 1

差分をとること〖こよって作成される。

また、上述した投影データ L Vは、累積加算画像 Vの参照領域 Eの左右 2ラインの

2 2 2

差分をとること〖こよって作成される。

したがって、この場合、参照領域 E , Eの間の相関値 dは、以下の式により、少ない

1 2

演算量で算出される。但し、 Bは、ブロックサイズである。

[0030] [数 2] d(cc, ， B)- (,0)}- ¾ (/, B + )-h₂ (, β)} (B, )-v, (0, j)}- {v₂ (B + aj)- v₂ (a, j)}

(ステップ S4)

図 6は、ステップ S4を説明する図である。図 6において、符号 R , R , ···, R で示すのは、画像内の各ブロックであり、符号 V , V , · ··, V で示すのは、ブロック R , R ,

1 2 24 1 2

· ··, R

24力も個別に探索された部分動きベクトルのイメージである。以下、このように、ブロック Rの個数を 24とし、各ブロックに関する各量にブロック番号を示す添え字を付して説明する。

[0031] 本ステップでは、先ず、部分動きベクトル V , V , · ··, V を評価する。各部分動き

1 2 24

ベクトル Vの評価値としては、例えば、次の 2種類の評価値 Δ Ε , eが用いられる。第 1評価値 Δ Ε :

部分動きベクトル Vの値（ Δ X , Δ y )と略同等の位置ずらし量を全てのブロック R , R , · ··, R に対し試験的に当てはめたときの各ブロック R , R , · ··, R の相関値 d ,

2 24 1 2 24 1 d , · ··, d の総和である。この第 1評価値 Δ Εが小さいほど、部分動きベクトル Vの信

2 24 i i 頼度を高いと見なせる。

[0032] 但し、ブロック Rの相関値 dを求める際には、次のような探索を行うことが望ましい。

k k

すなわち、ブロック Rの位置ずらし量（ α , j8 )を部分動きベクトル Vと等し、値（ Δ X k 1 1

, Ay)の近傍の狭い範囲で変化させながら相関値 dを算出し、そのときの最小の相関値 dの値をブロック Rの相関値 dと見なす。その変化範囲（探索範囲）は、例えば、

k k

a： Δ χ ± 2画素， β： Ay ± 2画素である。

[0033] なお、第 1評価値 Δ Ε_;の算出式を具体的に示すと、以下のとおりである（但し、プロック数を 24とした。；)。

[0034] [数 3]

24

^ =∑ _Λ mm k («,/?)] 第 2評価値

部分動きベクトル V_;の探索元であるブロック R_;のエッジ量である。例えば、 X方向のエッジフィルタ処理及び y方向のエッジフィルタ処理によりブロック Rの 2つのエッジ成分を取得し、それらエッジ成分の絶対値の平均値である。この第 2評価値 eが大きいほど、部分動きベクトル Vの信頼度を高いと見なせる。

[0035] さて、本ステップでは、部分動きベクトル V , V , · ··, V の各々に関し第 1評価値 Δ

1 2 24

Eが生成され、第 1評価値 Δ Εの小さい順に部分動きベクトル V , V , · ··, V I — i i 1 2 24 トされる。但し、第 1評価値 ΔΕ_;が互いに同じとなった部分動きベクトルに関しては、さらに第 2評価値 eが生成され、第 2評価値 eの大きい順にソートされる。

以上のソートの結果、第 1位となった部分動きベクトルを、第 1の代表動きベクトル V として選出する（図 7参照)。

[0036] さらに、第 2位以降の部分動きベクトルの中から、以下の条件を満たす第 2の代表動きベクトル V、第 3の代表動きベクトル Vが選出される（図 7参照)。

•代表動きべクトノレべクトノレ V , V , Vの探索元であるブロック R， R， Rの中心座標が同一直線上に存在してヽな、。

• {ブロック R , R, Rの中心座標を結んでできる三角形の面積 }*{代表動きべタトル V , V , Vの第 2評価値 e , e , eの総和 }が最大である。

[0037] '代表ベクトル V , V , Vの第 1評価値 ΔΕ , ΔΕ , ΔΕの総和は、上位 3つの部分動きベクトルの第 1評価値の総和と同じである。

(ステップ S 5)

図 8、図 9は、ステップ S5を説明する図である。

本ステップでは、図 8に示すとおり、代表動きベクトル V , V , Vの X成分 Δχ , Δχ

, Δχ^に基づき、部分動きベクトル Vの x成分 Δχの画像上の分布が近似される。

[0038] 図 8では、画像上の二次元座標 (X, y)と、 Δχ方向の一次元座標とからなる三次元座標を示した。このとき、 Δχの分布は、図中に点線で示すような平面 Sxで近似される。

この平面 Sxは、ブロック Rの中心座標を（X , y , 0)とおき、ブロック Rの中心座標を (χ , y , 0)とおき、ブロック Rの中心座標を (x , y , 0)とおいたときに、 3つの座標

(x, y , Δχ), (x, y , Δχ), (x , y , Δχ )を通る平面である。つまり、平面 Sxは、上記 3つの座標力決まる 3つの定数 A , A, A〖こより、以下の 1次式で特定される。

1 2 3

同様に、本ステップでは、図 9に示すとおり、代表動きベクトル V , V, Vの y成分 Δ y, Δγ, Ayに基づき、部分動きベクトル Vの y成分 Ayの画像上の分布が近似される。

[0039] 図 9では、画像上の二次元座標 (X, y)と、 Ay方向の一次元座標とからなる三次元座標を示した。このとき、 Ayの分布は、図中に点線で示すような平面 Syで近似される。

この平面 Syは、 3つの座標（X , y , Δγ), (χ , y , Δγ ), (χ , y , Ay)を通る平 a a a b b b c c c 面である。この平面 Syは、上記 3つの座標から決まる 3つの定数 B , B , Bにより、以

1 2 3 下の 1次式で特定される。

Sv: Ay=Bx + By+B ,

1 2 3

以上の 2つの平面 Sx, Syにより、画像上の動きベクトル分布が表されることになる。

[0040] ここで、 2つの平面 Sx, Syで表された動きベクトル分布に従い、前述した部分動きベクトル V , V, ···, V の値を置換すると、例えば、図 10に示すようになる。置換後

1 2 24

の部分動きベクトル V， V，…， V の X方向の分布、 y方向の分布は、何れも直線的

1 2 24

になる。

(ステップ S6)

本ステップでは、置換後の部分動きベクトル V , V, ···, V を利用して、低解像度

1 2 24

変換前の 2枚の詳細な画像のブロック R， R，…， R から、改めて部分動きベクトル

1 2 24

V, V, ···, V が探索される。

1 2 24

[0041] 探索に当たり、 2枚の詳細な画像には、 2枚の粗い画像に対し施されたのと同じ処理 (エッジフィルタ処理，累積加算画像への変換)が施される。

また、粗い画像による粗検出により大凡の探索は済んでいるので、各ブロック尺の探索範囲 (位置ずらし量（ひ，）の変化範囲）は、置換後の部分動きベクトル Vの値 (Δχ, Ay)の近傍に制限される。例えば、参照領域 E , Eのサイズが 200画素 X2 i i 1 2

00画素であるとき、探索範囲は、 α： Δχ±6画素、 β： Ay ±6画素に設定される。このように探索範囲を狭い範囲に制限すれば、探索に要する演算量を抑えることができる。

[0042] 但し、置換後の部分動きベクトル Vは、粗、画像カゝら得られたものなので、小さ!/ヽサィズで計上されている。よって、値（Δχ, Ay)は、探索前に補正される必要がある。その補正では、 ¾ 、画像に対する詳細な画像のサイズ比と等ヽ係数を値（ Δ X , Δ y)に対し乗算すればよい。

以上の条件下で、ブロック R , R , ···, R の各々力改めて部分動きベクトル V , V , · ··, V が探索される。本ステップで探索された部分動きベクトル V , V , · ··, V が

2 24 1 2 24

、最終的な部分動きベクトルである。

[0043] (ステップ S 7)

本ステップでは、最終的な部分動きベクトル V , V , - --V に応じて、 2枚の詳細な

1 2 24

画像のブロック R , R , - --R が位置合わせされ、合成される。これによつて、 1枚の補

1 2 24

正画像が完成する。なお、この合成の際、画像の必要な箇所が画素補間される。このように、画像の位置合わせをブロック毎に行えば、最終的な部分動きベクトル V

1

, V ,→が有効利用されることになり、 2枚の画像間の動きに回転成分が生じてい

2 24

た場合や、拡大 Z縮小成分が生じていた場合などにも対処できる (ステップ S7終了）

[0044] 以上、本実施形態の手振れ補正処理では、信頼度の高!、代表動きベクトルに基づき動きベクトル分布を近似する（ステップ S3〜S5)ので、ブロック数を増やさなくとも、画像間の動きを的確に表現することができる。し力も、その近似面を平面としたので、動きベクトル分布を近似するための演算量や、動きベクトル分布を表現するための情報量は、最小限に抑えられる。

[0045] また、本実施形態の手振れ補正処理では、部分動きベクトルの探索に、投影データを用いるので、エッジ画像をそのまま用いるよりも、探索に関わる演算量が抑えられる。しかも、累積加算画像を予め作成しておくので、投影データの作成に関わる演算量ち抑免られる。

また、本実施形態の手振れ補正処理では、粗い画像に基づき大凡の動きベクトル分布を予め求めておき (ステップ S2〜S5)、それを利用して少ない演算量で詳細な画像の動きを検出するので (ステップ S6)、その動きを高精度に検出できるだけでなぐ検出に要する演算量を抑えることもできる。

[0046] (その他）

なお、ステップ S3, S6では、フィルタ処理の種類としてエッジフィルタ処理を採用したのでブロック力も抽出される特徴量がエッジ情報であった力他の種類のフィルタ処理を採用し、ブロック力も抽出される特徴量を、ブロック内のパターンを示す他の特徴量に代えてもよい。 [0047] また、ステップ S4では、代表動きベクトル V , V , Vの選出に上述した第 1評価値，

a b c

第 2評価値の組み合わせを用いた力部分動きベクトルの信頼度を示すのであれば、他の組み合わせに代えてもよい。

また、ステップ S4, S5では、動きベクトル分布を平面で近似するのに、 3つの代表動きベクトル V , V , Vを用いたが、 4以上の代表動きベクトルを用いてもよい。

a b c

[0048] また、ステップ S4, S5では、動きベクトル分布の近似面を平面としたが、曲面としてもよい。曲面にすれば、画像間の動きを更に詳細に表現することができる。但し、近似面の次数が多くなるほど、ステップ S4で選出すべき代表動きベクトルの数も多くなる。

また、本実施形態の手振れ補正処理では、粗い画像の動きベクトル分布を近似してから (ステップ S3〜S5)、詳細な画像の動きベクトルを改めて探索した (ステップ S6 )力同様の近似処理 (ステップ S3〜S5)を詳細な画像に対して直接施してもよい。但し、本実施形態のように 2段階に分けた方が、効率的である。

[0049] また、本実施形態では、手振れ補正処理を電子スチルカメラの回路 (画像処理回路 17)に実行させたが、手振れ補正処理の一部又は全部を、ビデオカメラなどの他の撮像装置、各種の画像入力装置、コンピュータなどに実行させてもよい。なお、コンピュータに処理を実行させる場合、その処理を実行させるためのプログラムをコンピュータにインストールすればよ、。

[0050] [第 2実施形態]

以下、本発明の第 2実施形態を説明する。本実施形態は、動きベクトルの検出処理の実施形態である。

ここでも簡単のため画像の枚数を 2とし、 2枚の画像中のブロックの動きベクトルを検出対象とする。また、そのブロックの座標及びサイズは任意とする。よって、ブロックのサイズを大きく設定すれば、 2枚の画像の全体の動きベクトルを検出することができる。また、ブロックを複数ィ匕し、各ブロックの動きベクトル（=部分動きベクトル)をそれぞれ検出すれば、第 1実施形態のステップ S3への適用も可能である。

[0051] 図 11は、本実施形態の検出処理の流れを示すフローチャートである。各ステップを詳細に説明する。 (ステップ SI 1, S21)

本ステップでは、微小時間間隔で取得された 2枚の画像 f (X, y), f (x, y)が入力

1 2

される。

[0052] (ステップ SI 2, S22)

本ステップでは、 2枚の画像 f (X, y), f (x, y)の各々に対しエッジフィルタ処理が

1 2

施される。第 1の画像 f (X, y)に関する垂直 ·水平方向（x'y方向）のフィルタ出力 g V

1 1

(X, y), gh(x, y)、第 2の画像 f (x, y)に関する垂直 ·水平方向（x'y方向）のフィル

1 2

タ出力 g v(x, y) , gh(x, y)は、それぞれ以下の式で表される。

2 2

[0053] g v(x，y)=- f (x,y-2)-f (x，y- l)+f (x,y+l)+f (x,y+2)

1 1 1 1 1

g v(x，y)=- f (x,y-2)-f (x，y- l)+f (x,y+l)+f (x,y+2)

2 2 2 2 2

g h(x,y)=-f (x-2,y)-f (x— 1 ,y)+f (x+l,y)+f (x+2,y)

1 1 1 1 1

g h(x,y)=-f (x-2,y)-f (x— 1 ,y)+f (x+l,y)+f (x+2,y)

2 2 2 2 2

このうちフィルタ出力 _giv(x, y)は、第 1実施形態（図 5)で説明したエッジ画像 _giv(x , y)に相当し、フィルタ出力 g v(x, y)は、第 1実施形態で説明したエッジ画像 g v(x

2 2

, y)に相当し、フィルタ出力 _gih(x, y)は、第 1実施形態で説明したエッジ画像 g h(x , y)に相当し、フィルタ出力 g h(x, y)は、第 1実施形態で説明したエッジ画像 g h(x

2 2

, y)に相当する。

[0054] 但し、上式によるエッジフィルタ処理は、図 12中に示すようなエッジフィルタ Fa, Fb を想定しており、図 5中に示したエッジフィルタとはサイズが異なる。

さらに、本ステップでは、このようなエッジフィルタ処理に他の処理を組み合わせる。例えば、ノイズ低減処理である。ノイズ低減処理では、上述したフィルタ出力 gv(x, y

1

), gh(x, y), gv(x, y), gh(x, y)の各画素値を所定の閾値と比較し、閾値以下と

1 2 2

なったものについては、その画素値をゼロへと置換する。これによつて、フィルタ出力 g v(x, y), gh(x, y), gv (x, y), gh (x, y)のノイズ力 ^低減される。

1 1 2 2

[0055] (ステップ S13, S23)

本ステップでは、ノイズ低減後のフィルタ出力 g v(x, y), g v(x, y), g h(x, y) , g

1 2 1 2 h(x, y)の各々により画像を作成する。以下、作成された画像を、特徴量画像 g v(x

1

, y), gv(x, y), gh(x, y), g h(x, y)と称す。但し、メモリの使用量を削減するため、本ステップを省略し、次のステップにおいてフィルタ出力 g v (x, y) , g v(x, y) , g

1 2 1 h (x, y) , g h(x, y)をそのまま使用することも可能である。

2

[0056] (ステップ S14， S24)

本ステップでは、特徴量画像 g v(x, y)， g v(x， y)， g h (x， y)， g h(x， y)の各々

1 2 1 2

に基づき累積加算画像 h (x, y) , h (x, y) , v (x, y) , v (x, y)を作成する。累積加

1 2 1 2

算画像 h (x, y) , h (x, y) , v (x, y) , v (x, y)の算出式は、第 1実施形態で説明し

1 2 1 2

た算出式と同じであり、以下のとおりである。

[0057] [数 4]

( ) =∑ g_2v (^χ' , y) ^v2 (^χ, y)= ^ Si_h ( y')

'=0

(ステップ S35)

本ステップでは、動きベクトルの探索元となるブロックの中心座標（cx, cy)及びサイズ（Bx, By)を決定する。 Bxは X方向のサイズ、 Byは y方向のサイズである。なお、動きベクトルの探索元を画像全体とする場合は、ブロックの中心座標を画像の中心座標とし、ブロックのサイズを画像全体のサイズに一致させればょ、。

[0058] (ステップ S36)

本ステップでは、第 1の画像 f におけるブロック内の参照領域 Eと、第 2の画像 f (X

1 1 2

, y)におけるブロック内の参照領域 Eとを設定する。但し、参照領域 E , Eのサイズ

2 1 2 は共通であり、ブロックにおける参照領域 Eの座標は固定なので、ここで設定される

1

のは、参照領域 Eを基準とした参照領域 Eの位置ずらし量。

1 2 , j8 )のみでよ!/、

[0059] (ステップ S37)

本ステップでは、参照領域 E , Eの間の相関値 d( α , β )を算出する。相関値 d( α

1 2

, ）の算出方法は、第 1実施形態のそれと基本的に同じである。すなわち、本ステツプでは、図 12に概念的に示すとおり、参照領域 Εの x'y方向の投影データ L h, L V

1 1 1 を作成し、参照領域 Eについても同様の投影データ L h, L Vを作成し、それら 4種類

2 2 2

の投影データ L , L , L , L を加減算することで相関値 d , j8 )を算出する。 [0060] そして、本ステップでも、投影データ L , L , L , L の算出には累積加算画像 h ( lh lv 2h 2v 1 x, y) , h (x, y), v (x, y), v (x, y)が利用される。但し、本実施形態では、ブロック

2 1 2

の中心座標（cx, cy)及びサイズ (Bx, By)が任意なので、相関値 d , j8)の算出には、第 1実施形態で説明した算出式を一般ィ匕した以下の式が使用される。

[0061] [数 5]

ά{α,β)

= ∑ |{v, ((, _y+B_yl 2)— v, c_y-B_yl 2)}— ^₂(( + a,c_y+B_y/2 + fi)-v^ + a,c_y~B_y/2 + β)}

(ステップ S38, S39)

以上の相関値 d( a, j8)の算出は、位置ずらし量（a, j8)を変更しながら繰り返し行われる。

(ステップ S40)

本ステップでは、相関値 d (α, β)が最小となるような位置ずらし量（ a , j8 )の値（ Δχ, Ay)が見出され、その値（Δχ, Ay)が動きベクトル Vとして出力される。これによって、動きベクトルの検出処理が終了する。

[0062] 以上、本実施形態でも、動きベクトル Vの探索 (ステップ S36〜S39)に投影データ L , L , L , L を用いるので、特徴量画像 gv(x, y), gv(x, y) , gh(x, y), gh( lh lv 2h 2v 1 2 1 2 x, y)をそのまま用いるよりも、探索に関わる演算量が抑えられる。し力も、ステップ S1 4, S24において累積加算画像 h (X, y), h (x, y), v (x, y) , v (x, y)が予め作成

1 2 1 2

されるので、投影データ L , L , L , L の作成、ひいては相関値 dU, j8)の算出 lh lv 2h 2v

(ステップ S37)に関わる演算量も抑えられる。

[0063] したがって、本実施形態では動きベクトル Vの探索 (ステップ S36〜S39)が高速に行われる。

また、本実施形態のステップ S 12, S22では、エッジフィルタ処理を含む 2以上の処理を画像 f (X, y), f (x, y)へ施すので、良好な特徴量画像 gv(x, y), gv(x, y),

1 2 1 2 gh(x, y), g h(x, y)を取得することができる。したがって、本実施形態では動きべク

1 2

トル Vを高精度に検出することができる。 [0064] (その他）

なお、上述したステップ S12, S22では、エッジ情報を抽出するためにエッジフィルタ処理を採用した力特徴量を抽出することができるのであれば他の種類のフィルタ処理を採用してもよい。

また、本実施形態の検出方法は、入力された複数の画像を処理するものであった力入力された複数の画像を低解像度変換したものを同様に処理してもよい。

[0065] また、本実施形態の検出方法は、 2枚の画像の動きベクトルに基づきそれらの画像を位置合わせして合成する手振れ補正方法に適用可能である。

また、本実施形態の検出方法又は、それが適用された手ぶれ補正方法は、撮像装置、画像入力装置、コンピュータなどによって実行される。コンピュータに実行させる場合、その処理を実行させるためのプログラムをコンピュータにインストールすればよい。

Claims

請求の範囲

[1] 複数の画像間の動きを検出する画像処理方法であって、

前記複数の画像の各ブロック力部分動きベクトルを探索する探索手順と、前記各ブロックの部分動きベクトルの中から代表動きベクトルを選出する選出手順と、

前記代表動きベクトルに基づき前記画像上の動きベクトル分布を近似する近似手順と

を含むことを特徴とする画像処理方法。

[2] 請求項 1に記載の画像処理方法において、

前記代表動きベクトルは、少なくとも 3つ選出され、

前記動きベクトル分布は、前記画像上の位置の一次関数で近似されることを特徴とする画像処理方法。

[3] 請求項 1又は請求項 2に記載の画像処理方法にお、て、

前記各ブロックの探索では、

前記ブロック内の参照領域の特徴量を 2方向へ加算してできる 2種類の投影データが用いられる

ことを特徴とする画像処理方法。

[4] 請求項 3に記載の画像処理方法において、

前記各ブロックの探索では、

前記ブロックの特徴量を前記 2方向へ累積加算してできる 2種類の累積加算画像が予め作成され、前記 2種類の投影データは、前記 2種類の累積加算画像の一部から作成される

ことを特徴とする画像処理方法。

[5] 請求項 1〜請求項 4の何れか一項に記載の画像処理方法にお、て、

前記探索手順、前記選出手順、及び前記近似手順による前記動きベクトル分布の算出処理は、

前記複数の画像を低解像度変換してできる複数の粗い画像に対して施されることを特徴とする画像処理方法。

[6] 請求項 5に記載の画像処理方法において、

前記複数の粗い画像カゝら算出された前記動きべ外ル分布を利用して、前記低解像度変換前の複数の詳細な画像間の動きを検出する再検出手順を更に含むことを特徴とする画像処理方法。

[7] 請求項 6に記載の画像処理方法において、

前記検出した動きに基づき前記複数の詳細な画像を位置合わせして合成する合成手順を更に含む

ことを特徴とする画像処理方法。

[8] 請求項 1〜請求項 7の何れか一項に記載の画像処理方法をコンピュータに実行させる

ことを特徴とする画像処理プログラム。

[9] 請求項 1〜請求項 7の何れか一項に記載の画像処理方法を実行する手段を備えた

ことを特徴とする画像処理装置。

[10] 被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、請求項 9に記載の画像処理装置と

を備えたことを特徴とする撮像装置。

[11] 複数の画像間の動きベクトルを探索する画像処理方法であって、

前記複数の画像中の参照領域の相関を、その参照領域の位置を前記画像間でずらしながら算出する算出手順を含み、

前記参照領域の相関として、前記参照領域の特徴量を 2方向へ加算してできる 2種類の投影データの相関を算出する

ことを特徴とする画像処理方法。

[12] 請求項 11に記載の画像処理方法にぉ、て、

前記算出手順では、

前記参照領域の特徴量を前記 2方向へ累積加算してできる 2種類の累積加算画像が予め作成され、前記 2種類の投影データは、前記 2種類の累積加算画像の一部から作成されることを特徴とする画像処理方法。

[13] 請求項 11又は請求項 12に記載の画像処理方法において、

前記参照領域の特徴量は、

前記参照領域に対し 2以上の処理を施して抽出されたものである

ことを特徴とする画像処理方法。

[14] 請求項 13に記載の画像処理方法において、

前記 2以上の処理のうち 1つは、

エッジフィルタ処理である

ことを特徴とする画像処理方法。

[15] 請求項 11〜請求項 14の何れか一項に記載の画像処理方法において、

前記動きベクトルは、

前記画像を分割してできるブロックの動きベクトルである

ことを特徴とする画像処理方法。

[16] 請求項 11〜請求項 14の何れか一項に記載の画像処理方法において、

前記動きベクトルは、

前記画像の全体の動きベクトルである

ことを特徴とする画像処理方法。

[17] 請求項 11〜請求項 16の何れか一項に記載の画像処理方法をコンピュータに実行させる

ことを特徴とする画像処理プログラム。

[18] 請求項 1〜請求項 16の何れか一項に記載の画像処理方法を実行する手段を備えた

ことを特徴とする画像処理装置。

[19] 被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、請求項 18に記載の画像処理装置と

を備えたことを特徴とする撮像装置。