JPWO2010100677A1 - 画像処理装置およびぶれ量算出方法 - Google Patents

Abstract

連写撮影により得られる第１および第２の画像は、それぞれ画像保持部２Ａおよび２Ｂに格納される。特徴点抽出部５および対称特徴点抽出部６は、第１の画像から、画像の中心点に対して対称な位置に存在する１組の特徴点を抽出する。特徴点追跡部９は、第２の画像において、上記１組の特徴点を追跡する。ずれ量算出部１０は、第１の画像と第２の画像との間での上記１組の特徴点の移動量の平均値を算出することにより、手ぶれの平行移動成分を得る。特徴点の移動量から平行移動成分を差し引くことにより、手ぶれの回転角および拡大／縮小率が算出される。

Description

本発明は、デジタル画像を処理する装置および方法に係わり、例えば、電子カメラの手ぶれ補正機能に適用可能である。

近年、手ぶれ補正機能を備えた電子カメラが実用化されている。手ぶれ補正機能は、光学技術または画像処理技術により実現される。画像処理による手ぶれ補正は、例えば、連続撮影により得られる複数の画像を、位置合わせをした後に合成することで実現される。

手ぶれは、撮影時にカメラが動くことにより発生する。ここで、カメラの動きは、図１に示す６つの要素により定義される。
（１）ＹＡＷ
（２）ＰＩＴＣＨ
（３）水平方向移動
（４）垂直方向移動
（５）ＲＯＬＬ
（６）遠近方向移動
ただし、カメラがＹＡＷ方向にぶれたときは、画像は近似的に水平方向にずれることになる。また、カメラがＰＩＴＣＨ方向にぶれたときは、画像は近似的に垂直方向にずれることになる。したがって、カメラの動き要素と画像のずれ成分との関係は、図２に示すようになる。

手ぶれ補正に関連する技術として、エッジ強度が極大となる画素を利用して位置補正を行う画像処理装置が提案されている（例えば、特許文献１）。また、複数のフレームの画像から同じぶれ方向の画像を選び出してグループ化し、グループ化された画像どうしの特徴点が一致するように位置補正を行う画像処理装置が提案されている（例えば、特許文献２）。さらに、所定数の特徴点を追跡して画像フレームの全体動きベクトルを算出して、その全体動きベクトルに基づいて手ぶれを補正する画像処理装置が提案されている（例えば、特許文献３）。
特開２００５−２９５３０２号公報 特開２００６−１８０４２９号公報 特開２００７−１５１００８号公報

手ぶれによる画像のずれは、平行移動、回転、拡大／縮小に分離して考えることができる。ところが、画像上の任意の画素に注目すれば、その注目画素の座標の移動は、平行移動、回転、拡大／縮小のいずれの場合であっても、水平方向移動および垂直方向移動として現れる。

図３（ａ）は、連続撮影により得られた第１の画像と第２の画像との間で平行移動が生じた状態を示している。ここでは、第１の画像上の特徴点Ｐ１が、第２の画像上ではＰ２に移動している。「Ｘ_T」は平行移動によって生じるＸ方向の移動量を表し、「Ｙ_T」は平行移動によって生じるＹ方向の移動量を表している。

図３（ｂ）は、画像間で回転が生じた状態を示している。ここでは、画像が角度θだけ回転することにより、第１の画像上の特徴点Ｐ１が、第２の画像上ではＰ２に移動している。「Ｘ_R」は回転によって生じる水平方向の移動量を表し、「Ｙ_R」は回転によって生じる垂直方向の移動量を表している。また、図３（ｃ）は、画像間で拡大／縮小が生じた状態を示している。ここでは、画像がＳ倍に拡大されることにより、第１の画像上の特徴点Ｐ１が、第２の画像上ではＰ２に移動している。「Ｘ_S」は拡大によって生じる水平方向の移動量を表し、「Ｙ_S」は拡大によって生じる垂直方向の移動量を表している。

したがって、手ぶれによる画像の移動量（基準画像上の特徴点の座標（ｘ，ｙ）と、探索画像における対応する特徴点の座標（ｘ’，ｙ’）との差分「ｘ−ｘ’」「ｙ−ｙ’」）は、回転および拡大／縮小による移動成分を含むことがある。すなわち、移動量「ｘ−ｘ’」は、一般に、平行移動成分（Ｘ_T）、回転による移動成分（Ｘ_R）、拡大／縮小による移動成分（Ｘ_S）を含んでいる。同様に、移動量「ｙ−ｙ’」は、一般に、平行移動成分（Ｙ_T）、回転による移動成分（Ｙ_R）、拡大／縮小による移動成分（Ｙ_S）を含んでいる。

ここで、平行移動成分（Ｘ_T、Ｙ_T）は、画像内のすべての領域において一定である。しかし、回転による移動成分（Ｘ_R、Ｙ_R）および拡大／縮小による移動成分（Ｘ_S、Ｙ_S）は、画像内の位置によって異なる。

このため、従来技術においては、画像間での特徴点の座標の差分から、平行移動成分、回転成分、拡大／縮小成分を精度よく分離することが難しかった。そして、平行移動成分、回転成分、拡大／縮小成分が精度よく分離されないと、アフィン変換による画像変換の誤差が大きくなり、手ぶれ補正での画像合成が適切に行われなくなる。

本発明の課題は、連写撮影により得られる複数の画像間の位置ずれを精度よく成分ごとに分離する方法を提供することである。
本発明の１つの態様によるぶれ量算出方法は、連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出し、前記第２の画像において前記第１および第２の特徴点を探索し、前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する。

この方法においては、第１および第２の特徴点は、第１の画像の中心点に対して互いに対称な位置に存在する。よって、第１および第２の特徴点の座標を利用すれば、第１および第２の画像間での移動量の中で、画像中心点に対して対称な移動成分を相殺することができる。

したがって、本発明によれば、連写撮影により得られる複数の画像間の位置ずれを精度よく成分ごとに分離することが出来る。

カメラの動き要素について説明する図である。 カメラの動き要素と画像のずれ成分との関係をまとめた表である。 平行移動、回転、拡大／縮小による位置ずれを説明する図である。 手ぶれ補正処理の一例を示すフローチャートである。 アフィン変換による画像変換の例を示す図である。 実施形態のぶれ量検出方法について説明する図（その１）である。 実施形態のぶれ量検出方法について説明する図（その２）である。 実施形態のぶれ量検出機能を備える画像処理装置の構成を示す図である。 対称特徴点抽出部の動作を説明する図である。 実施形態のぶれ量算出方法を示すフローチャートである。 対称位置特徴点を抽出する方法を説明する図（その１）である。 対称位置特徴点を抽出する方法を説明する図（その２）である。 抽出領域のサイズの実施例である。 他の実施形態のぶれ量検出方法を説明する図である。 さらに他の実施形態のぶれ量検出方法を説明する図である。 実施形態の画像処理装置に係わるハードウェア構成を示す図である。

図４は、手ぶれ補正処理の一例を示すフローチャートである。ここでは、連続撮影により得られる２枚の画像を利用して手ぶれが補正されるものとする。手ぶれ補正では、通常よりも露光時間が短い画像を撮影することで、手ぶれを抑制する。しかし露光時間が短いと画像にノイズが生じるため、画像を連写撮影して合成することで、ランダムであるノイズを抑制する。短時間露光撮影と画像合成により、手ぶれの少ない、かつ、短時間露光撮影によるノイズを抑制した、手ぶれ補正画像を得ることができる。

ステップＳ１では、通常よりも露光時間の短い連続撮影により２枚の画像（第１の画像および第２の画像）が生成される。ステップＳ２では、第１の画像に対する第２の画像のずれ量が算出される。ステップＳ３では、算出されたずれ量を補正するように、第２の画像を変換する。ステップＳ４では、第１の画像と変換された第２の画像とを合成する。これにより、手ぶれ補正画像が生成される。

上記ステップＳ３では、例えば、下記（１）式によるアフィン変換が行われる。

ここで、「dx」は水平方向ずれ量であり、「dy」は垂直方向ずれ量である。「θ」はカメラのＲＯＬＬ方向のずれの回転角である。「Ｓ」は、カメラが遠近方向に動くことにより発生する拡大／縮小率である。（ｘ，ｙ）は、変換前の画像の座標であり、（ｘ’，ｙ’）は、変換後の画像の座標である。アフィン変換による画像変換の例を図５に示す。図５に示す例では、画像は、アフィン変換により、平行移動すると共に、時計方向に回転している。

図６は、実施形態のぶれ量検出方法について説明する図である。ここでは、連写撮影により得られる２枚の画像（第１の画像および第２の画像）の間でのぶれ量が検出されるものとする。また、この例では、平行移動成分および回転成分が混在しており、拡大／縮小成分はないものとする。

なお、２枚の画像を撮影する時間的な隔たりは、その時間の間に画像を撮影するカメラが大きく移動してしまうことがないような、すなわち、２枚の画像間で共通して撮影されている被写領域がなくなることがないような、短い時間間隔であることが望ましい。

以下の説明では、１組の特徴点Ｐa、Ｐbを使用してぶれ量が検出される。なお、特徴点Ｐa、Ｐbは、第１の画像においてはそれぞれ特徴点Ｐa1、Ｐb1と呼ぶことがあり、第２の画像においてはそれぞれ特徴点Ｐa2、Ｐb2と呼ぶことがある。

実施形態の検出方法では、まず、第１の画像（基準画像）において、中心点Ｃに対して対称な位置に存在する１組の特徴点Ｐa、Ｐb（図６では、Ｐa1、Ｐb1）が抽出される。ここで、画像の中心点Ｃの座標が（０，０）と定義される。したがって、特徴点Ｐa1の座標は（ｘ，ｙ）であり、特徴点Ｐb1の座標は（−ｘ，−ｙ）である。

第２の画像（探索画像）において、特徴点Ｐa、Ｐb（図６では、Ｐa2、Ｐb2）が探索される。このとき、第２の画像は、手ぶれにより第１の画像に対して移動している。ここで、特徴点Ｐaの移動量（すなわち、特徴点Ｐaの動きベクトル）が「ΔXa，ΔYa」であり、特徴点Ｐbの移動量（すなわち、特徴点Ｐbの動きベクトル）が「ΔXb，ΔYb」であるものとする。すなわち、特徴点Ｐa2の座標は（ｘ＋ΔXa，ｙ＋ΔYa）であり、特徴点Ｐb2の座標は（−ｘ＋ΔXb，−ｙ＋ΔYb）である。なお、手ぶれが回転成分を含んでいる場合、一般に、特徴点Ｐaの移動量と特徴点Ｐbの移動量とは、互いに異なる。

特徴点Ｐaの水平方向の移動量ΔXaは、図６に示すように、平行移動成分Ｘ_Tおよび回転成分Ｘ_Rの和である。特徴点Ｐaの垂直方向の移動量ΔYaは、平行移動成分Ｙ_Tおよび回転成分Ｙ_Rの和である。すなわち、下記の関係が得られる。
ΔＸa＝Ｘ_T＋Ｘ_R …（２）
ΔＹa＝Ｙ_T＋Ｙ_R …（３）
特徴点Ｐbの移動量も、特徴点Ｐaと同様に、平行移動成分および回転成分の和で表される。ただし、手ぶれによる画像移動の平行移動成分は、画像上のすべての位置において同じである。したがって、特徴点Ｐbの移動量の平行移動成分は、特徴点Ｐaと同じであり、「Ｘ_T，Ｙ_T」である。一方、手ぶれによる画像移動の回転成分は、画像上の位置に応じて異なる。ところが、特徴点Ｐa、Ｐbは、中心点Ｃに対して対称な位置に存在する。したがって、特徴点Ｐaの移動量の回転成分が「Ｘ_R，Ｙ_R」である場合、特徴点Ｐbの移動量の回転成分は「−Ｘ_R，−Ｙ_R」である。すなわち、下記の関係が得られる。
ΔＸb＝Ｘ_T−Ｘ_R …（４）
ΔＹb＝Ｙ_T−Ｙ_R …（５）
さらに、上記（２）〜（５）式を利用して、特徴点Ｐa、Ｐbの移動量の平均値を算出する。
水平方向平均値＝（ΔXa＋ΔXb）／２＝｛（Ｘ_T＋Ｘ_R）＋（Ｘ_T−Ｘ_R）｝／２＝Ｘ_T
垂直方向平均値＝（ΔYa＋ΔYb）／２＝｛（Ｙ_T＋Ｙ_R）＋（Ｙ_T−Ｙ_R）｝／２＝Ｙ_T
このように、各特徴点の移動量の平均化演算を実行すると、回転成分「Ｘ_R，Ｙ_R」は相殺される。したがって、特徴点Ｐa、Ｐbの移動量の平均値は、手ぶれによる移動量の平行移動成分を表す。すなわち、特徴点Ｐa、Ｐbの移動量の平均値を計算することにより、手ぶれの平行移動成分「Ｘ_T，Ｙ_T」が得られる。

なお、特徴点Ｐaの移動量「ΔXa，ΔYa」は、第１の画像上での特徴点Ｐaの座標と第２の画像上での特徴点Ｐaの座標との差分（すなわち、動きベクトル）により得られる。同様に、特徴点Ｐbの移動量「ΔXb，ΔYb」は、第１の画像上での特徴点Ｐbの座標と第２の画像上での特徴点Ｐbの座標との差分により得られる。

上述のようにして手ぶれの平行移動成分「Ｘ_T，Ｙ_T」が得られると、特徴点の移動量からその平行移動成分を差し引くことにより、下式に従って回転成分「Ｘ_R，Ｙ_R」が算出される。
Ｘ_R＝ΔXa−Ｘ_T
Ｙ_R＝ΔYa−Ｙ_T
したがって、手ぶれの回転角θは、下式により得られる。
回転角θ＝tan⁻¹（Ｙ_R／Ｘ_R）
このように、実施形態の検出方法によれば、手ぶれが平行移動および回転を含んでいる場合、その平行移動成分および回転成分を正確に分離することができる。

図７に示す例では、平行移動成分および拡大／縮小成分が混在する手ぶれが発生している。なお、この例では、回転成分はないものとする。この場合、特徴点Ｐaの水平方向の移動量ΔXaは、図７に示すように、平行移動成分Ｘ_Tおよび拡大／縮小成分Ｘ_Sの和である。また、特徴点Ｐaの垂直方向の移動量ΔYaは、平行移動成分Ｙ_Tおよび回転成分Ｙ_Sの和である。すなわち、下記の関係が得られる。
ΔＸa＝Ｘ_T＋Ｘ_S …（６）
ΔＹa＝Ｙ_T＋Ｙ_S …（７）
特徴点Ｐbの移動量も、特徴点Ｐaと同様に、平行移動成分および拡大／縮小成分の和で表される。ただし、手ぶれによる画像移動の拡大／縮小成分は、画像上の位置に応じて異なる。ところが、特徴点Ｐa、Ｐbは、中心点Ｃに対して対称な位置に存在する。したがって、特徴点Ｐaの移動量の拡大／縮小成分が「Ｘ_S，Ｙ_S」である場合、特徴点Ｐbの移動量の拡大／縮小成分は「−Ｘ_S，−Ｙ_S」である。すなわち、下記の関係が得られる。
ΔＸb＝Ｘ_T−Ｘ_S …（８）
ΔＹb＝Ｙ_T−Ｙ_S …（９）
さらに、上記（６）〜（９）式を利用して、特徴点Ｐa、Ｐbの移動量の平均値を算出する。
水平方向平均値＝（ΔXa＋ΔXb）／２＝｛（Ｘ_T＋Ｘ_S）＋（Ｘ_T−Ｘ_S）｝／２＝Ｘ_T
垂直方向平均値＝（ΔYa＋ΔYb）／２＝｛（Ｙ_T＋Ｙ_S）＋（Ｙ_T−Ｙ_S）｝／２＝Ｙ_T
このように、手ぶれが拡大／縮小成分を含んでいる場合も、手ぶれが回転成分を含んでいる場合と同様に、特徴点Ｐa、Ｐbの移動量の平均値は、手ぶれによる移動量の平行移動成分を表す。すなわち、この場合も、特徴点Ｐa、Ｐbの移動量の平均値を計算することにより、手ぶれの平行移動成分「Ｘ_T，Ｙ_T」が得られる。

上述のようにして手ぶれの平行移動成分「Ｘ_T，Ｙ_T」が得られると、特徴点の移動量からその平行移動成分を差し引くことにより、下式に従って拡大／縮小成分「Ｘ_S，Ｙ_S」が算出される。
Ｘ_S＝ΔXa−Ｘ_T
Ｙ_S＝ΔYa−Ｙ_T
そうすると、拡大／縮小率Ｓは、「（ｘ＋Ｘ_S）／ｘ」または「（ｙ＋Ｙ_S）／ｙ」により算出される。ここで、「ｘ」は第１の画像上での特徴点Ｐa（または、Ｐb）のＸ座標であり、「ｙ」は第１の画像上での特徴点Ｐa（または、Ｐb）のＹ座標である。

このように、実施形態の検出方法によれば、手ぶれが平行移動および拡大／縮小を含んでいる場合、その平行移動成分および拡大／縮小成分を正確に分離することができる。
実施形態の検出方法によれば、手ぶれが平行移動成分、回転成分、拡大／縮小成分を含む場合も、中心点に対して対称な位置に存在する特徴点を利用して各成分を分離することができる。すなわち、互いに対称な特徴点の移動量の平均値を算出すると、図６および図７を参照しながら説明した通り、回転成分および拡大／縮小成分が相殺され、平行移動成分が算出される。また、各特徴点の移動量（第１の画像と第２の画像との間での座標の差分）から、その平行移動成分を差し引けば、「回転成分＋拡大／縮小成分」が得られる。

ここで、第１の画像上の任意の特徴点の座標を（ｘ，ｙ）とする。また、第２の画像において、その特徴点の座標から平行移動成分を差し引いた座標を（ｘ’，ｙ’）とする。そうすると、アフィン変換は下式で表される。ここで、「θ」は回転角であり、「Ｓ」は拡大／縮小率である。

（１０）式を展開すると、下記の関係が得られる。
ｘ’＝Ｓ（cosθ・ｘ−sinθ・ｙ）
ｙ’＝Ｓ（sinθ・ｘ＋conθ・ｙ）
さらに、（１１）〜（１２）式より、回転角θおよび拡大／縮小率Ｓを算出することができる。

このように、実施形態のぶれ量検出方法によれば、画像の中心点に対して対称な位置に存在する特徴点を利用することにより、手ぶれの平行移動成分、回転成分、拡大／縮小成分を精度よく分離することができる。したがって、この方法により算出された平行移動成分、回転成分、拡大／縮小成分を利用して補正を行えば、手ぶれ補正における画像合成を適切に処理することができる。

図８は、実施形態のぶれ量検出機能を備える画像処理装置の構成を示す図である。この画像処理装置は、特に限定されるものではないが、例えば、電子カメラ（あるいは、デジタルカメラ）である。

画像入力部１は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを含んで構成され、デジタル画像を生成する。なお、画像入力部１は、連写撮影機能を備えている。この実施例では、画像入力部１は、１回のシャッタ押圧操作により、短い時間内に撮影される連続する２枚の画像（第１の画像および第２の画像）を得ることができる。

画像保持部２Ａ、２Ｂは、それぞれ、画像入力部１により得られる第１の画像および第２の画像を保持する。画像保持部２Ａ、２Ｂは、例えば、半導体メモリである。
特徴量算出部３は、画像保持部２Ａに保持されている第１の画像の各画素の特徴量を算出する。各画素の特徴量は、特に限定されるものではないが、例えば、ＫＬＴ法またはモラベックオペレータにより算出される。あるいは、画素ごとに水平方向Sobelフィルタ演算および垂直方向Sobelフィルタ演算を実行し、それらのフィルタ演算の結果を互いに乗算することで、各画素の特徴量を得るようにしてもよい。

特徴量保持部４は、特徴量算出部３により算出される各画素の特徴量を表す特徴量データを保持する。特徴量データは、例えば、各画素の座標に対応づけて保持される。あるいは、特徴量データは、各画素に対して割り当てられているシリアル番号に対応づけて保持されるようにしてもよい。

特徴点抽出部５は、特徴量保持部４に保持されている特徴量データから、特徴量が閾値よりも大きい画素を、特徴点として抽出する。この場合、閾値は、固定値であってもよいし、撮影条件などに応じて変えるようにしてもよい。そして、特徴点抽出部５は、抽出した特徴点の特徴量および座標（または、シリアル番号）を、対称特徴点抽出部６および特徴点保持部７Ａに通知する。

対称特徴点抽出部６は、特徴量保持部４に保持されている特徴量データを参照して、１または複数の特徴点について、中心点に対して対称な位置の画素の特徴量を調べる。そして、その特徴量が特徴点として使用できる程度に大きければ、その画素を対称位置特徴点として抽出する。なお、対称特徴点抽出部６が対称位置特徴点を抽出するための閾値は、特に限定されるものではないが、特徴点抽出部５が特徴点を抽出するための閾値よりも小さくすることができる。

図９は、対称特徴点抽出部６の動作を説明する図である。ここでは、特徴点抽出部５により２つの画素Ｐ１、Ｐ２が特徴点として抽出されているものとする。画素Ｐ１の座標は（ｘ１，ｙ１）であり、画素Ｐ２の座標は（ｘ２，ｙ２）である。なお、この例では、画像の中心点Ｃの座標が（０，０）と定義されている。また、画素Ｐ１の特徴量Ｃ１は「１２５」であり、画素Ｐ２の特徴量Ｃ２は「１０５」である。

この場合、まず、特徴量の最も大きな画素（特徴点）Ｐ１について、中心点Ｃに対して対称な位置の画素の特徴量が調べられる。すなわち、座標（−ｘ１，−ｙ１）に位置する画素の特徴量が調べられる。この例では、座標（−ｘ１，−ｙ１）に位置する画素Ｐ３の特徴量Ｃ３は「７５」である。ここで、例えば、特徴量が「５０」よりも大きければ、特徴点として使用できるものとする。そうすると、画素Ｐ３は、特徴点として使用することができる。よって、画素Ｐ１、Ｐ３は、中心点Ｃに対して対称な位置に存在する１組の特徴点として選択される。

続いて、２番目に大きな特徴量を有する画素（特徴点）Ｐ２について、中心点Ｃに対して対称な位置の画素の特徴量がチェックされる。すなわち、座標（−ｘ２，−ｙ２）に位置する画素の特徴量が調べられる。この例では、座標（−ｘ２，−ｙ２）に位置する画素Ｐ４の特徴量Ｃ４は「２０」である。この場合、特長量Ｃ４は閾値（＝５０）よりも小さいので、画素Ｐ４は、特徴点として使用することはできない。すなわち、画素Ｐ４およびそれに対応する画素Ｐ２は、特徴点として選択されない。

なお、図９に示す例では、中心点に対して対称な位置に存在する１組の特徴点が抽出されているが、２組以上の対称点が抽出されるようにしてもよい。すなわち、特徴量の大きな画素（特徴点）から順番に、所望の数の特徴点の組が得られるまで上述の手順を繰り返し実行するようにしてもよい。

また、ある特徴点を抽出したときに、その近傍領域に他の特徴点が存在すると、誤追跡が生じるおそれがある。このため、特徴量変更部８は、特徴量保持部４に保持されている特徴量データにおいて、特徴点抽出部５により抽出された特徴点を包含する所定の領域内に位置する画素の特徴量をゼロに変更する。また、対称特徴点抽出部６により抽出された対称特徴点の近傍領域の画素の特徴量についても、同様に、ゼロに変更される。なお、特徴量がゼロの画素は、特徴点または対称特徴点として選択されることはない。ただし、実施形態の画像処理装置は、特徴量変更部８を備えなくてもよい。

特徴点保持部７Ａは、特徴点抽出部５により抽出された特徴点および対称特徴点抽出部６により抽出された特徴点（対称特徴点）に関する情報を保持する。図９に示す実施例では、特徴点保持部７Ａには、例えば、下記の情報が書き込まれる。
特徴点Ｐ１：座標（ｘ１，ｙ１）、特徴量Ｃ１＝１２５、対称特徴点＝Ｐ３
特徴点Ｐ３：座標（−ｘ１，−ｙ１）、特徴量Ｃ３＝７５、対称特徴点＝Ｐ１
特徴点追跡部９は、画像保持部２Ｂに保持されている第２の画像において、特徴点保持部７Ａに保持されている各特徴点を追跡する。特徴点追跡は、特に限定されるものではないが、例えば、ＫＬＴ法またはモラベックオペレータで採用されている方法を利用することができる。そして、特徴点追跡部９により追跡された各特徴点に関する情報（座標情報など）は、特徴点保持部７Ｂに書き込まれる。

算出部１０は、中心点に対して対称な位置に存在する特徴点を利用して、第１の画像と第２の画像との間でのぶれ量を算出する。例えば、図９に示す例では、特徴点Ｐ１、Ｐ３を利用してぶれ量が算出される。対称な位置に存在する特徴点を利用してぶれ量を算出する方法は、図６〜図７を参照しながら説明した通りである。したがって、算出部１０により、手ぶれの平行移動成分、回転角、拡大／縮小率が得られる。なお、対称な位置に存在する特徴点の組が複数ある場合には、例えば、最小二乗法などの平均化手法を利用してぶれ量を算出するようにしてもよい。

画像変換部１１は、算出部１０により算出されたずれ量に基づいて、画像保持部２Ｂに保持されている第２の画像を変換する。このとき、画像変換部１１は、例えば、第１の画像と第２の画像との間のずれを補償するように、第２の画像の各画素データを変換する。変換方法は、特に限定されるものではないが、例えばアフィン変換である。

画像合成部１２は、画像保持部２Ａにより保持されている第１の画像と、画像変換部１１により得られる変換後の第２の画像とを合成する。そして、画像出力部１３は、画像合成部１２により得られる合成画像を出力する。これにより、手ぶれが補正された画像が得られる。

上記構成の画像処理装置は、ハードウェア回路で実現することができる。また、この画像処理装置の一部の機能をソフトウェアで実現するようにしてもよい。例えば、特徴量算出部３、特徴点抽出部５、対称特徴点抽出部６、特徴量変更部８、特徴点追跡部９、算出部１０、画像変換部１１、画像合成部１２の一部または全部をソフトウェアで実現するようにしてもよい。

なお、上述の実施例では、中心点に対して対称な位置に存在する特徴点のみを利用してぶれ量が算出されているが、他の特徴点も合わせて利用するようにしてもよい。例えば、対称な位置に存在する１組以上の特徴点を利用して第１のぶれ量を算出すると共に、他の特徴点の移動量に基づいて第２のぶれ量を算出する。図９に示す例では、互いに対称な１組の特徴点Ｐ１、Ｐ３、および他の特徴点Ｐ２が使用される。そして、複数の演算結果について、例えば最小二乗法により、平均値を計算するようにしてもよい。また、予め決められた所定数の特徴点を利用するようにしてもよい。この場合、対称な位置に存在する特徴点の数がその所定数よりも少なければ、他の特徴点も合わせて利用する。そして、抽出したすべての特徴点を利用してぶれ量が算出される。

また、上述の実施例では、画像変換部１１は、第１の画像を基準画像として第２の画像を変換しているが、この方法に限定されるものではない。すなわち、先に撮影された画像が基準画像であってもよいし、後に撮影した画像が基準画像であってもよい。また、例えば、第１および第２の画像を、算出したぶれ量の２分の１ずつそれぞれ変換するようにしてもよい。

また、特徴点を抽出する際には、画像に写っている被写体の移動領域に含まれる特徴点を除外してもよい。即ち、従来技法によって、画像中の被写体移動領域を検出し、特徴点抽出部５が抽出した特徴点が、該被写体移動領域内にある場合には、その特徴点を処理に用いないようにすることができる。

図１０は、実施形態のぶれ量算出方法を示すフローチャートである。このフローチャートの処理は、電子カメラにより連写撮影が行われたときに、図８に示す画像処理装置により実行される。

ステップＳ１１では、画像入力部１は、連写撮影により得られた複数の画像の中から基準画像を設定する。基準画像としては、上記複数の画像の中の任意の１枚が選択される。このとき、基準画像は、最初に撮影された画像であってもよいし、他の画像であってもよい。また、画像入力部１は、３枚以上の画像を撮影するようにしてもよい。そして、画像入力部１は、基準画像を画像保持部２Ａに格納し、他の画像を探索画像として画像保持部２Ｂに格納する。

ステップＳ１２では、基準画像において、画像の中心点に対して対称な位置に存在する１組の特徴点（第１および第２の特徴点）を抽出する。すなわち、特徴点算出部３は、基準画像の各画素についてＫＬＴ法等を利用して特徴量を算出する。特徴点抽出部５は、各画素の特徴量を表す特徴量データを参照して、特徴点（第１の特徴点）を抽出する。そして、対称特徴点抽出部６は、特徴点抽出部５により抽出された特徴点と対称な位置に存在する特徴点（第２の特徴点）を抽出する。

ステップＳ１３では、特徴点追跡部９は、探索画像において、ステップＳ１２で抽出された特徴点を探索する。特徴点は、例えば、ＫＬＴ法により追跡される。ステップＳ１４では、算出部１０は、ステップＳ１２で得られた１組の特徴点の座標およびステップＳ１３で得られた１組の特徴点の座標を利用して、ぶれ量を算出する。ステップＳ１４は、下記のステップＳ１４Ａ〜１４Ｄを含んでいる。

ステップＳ１４Ａでは、第１の特徴点についての画像間での座標の差分および第２の特徴点についての画像間での座標の差分の平均値を算出する。この平均化処理により、上述したように、手ぶれの回転成分および拡大／縮小成分が相殺され、平行移動成分が算出される。ステップＳ１４Ｂでは、各特徴点について、画像間での座標差分値から、ステップＳ１４Ａで得られる平行移動成分を差し引く。この引き算の結果は、手ぶれの回転成分および拡大／縮小成分の和である。ステップＳ１４Ｃでは、上述した（１２）式に従って、回転角θが算出される。ステップＳ１４Ｄでは、上述した（１１）式に従って、拡大／縮小率Ｓが算出される。

上述のように、実施形態の検出方法では、画像の中心点に対して対称な位置に存在する１組または複数組の特徴点を利用してぶれ量が検出される。ただし、中心点に対して正確に対称な位置に存在する特徴点でなくとも、中心点に対して近似的に対称な位置に存在する特徴点であれば、上述の平均化演算によって、手ぶれの回転成分および拡大／縮小成分はほぼ相殺される。したがって、実施形態の検出方法において、「対称な位置」とは、正確に対称な位置に限定されるものではなく、ほぼ対称な位置も含むものである。

なお、ステップＳ１４で複数の特徴点の組についてぶれ量を算出した結果、他の組とは異なる傾向を示す特徴点の組は、算出結果の精度低下を防ぐため、処理対象から除外しても構わない。例えば、特徴点が画像内の被写体領域に存在し、その被写体自体が２枚の画像を撮影する時間の間に移動してしまった場合、すなわち被写体ぶれが生じている場合、そのような特徴点には手ぶれに加えて被写体ぶれの影響も反映されている。このような特徴点の組に基づいて算出されたずれ量は、手ぶれの影響のみを反映している特徴点の組に基づいて算出されたずれ量とは異なる傾向を示す。従って、被写体ぶれの影響を含んでいる特徴点を処理対象からはずせば、そのような特徴点に基づいてずれ量を算出することで手ぶれによるずれ量の算出精度が低下すること、を抑止できる。

図１１および図１２は、対称位置特徴点を抽出する方法を説明する図である。図１１に示す方法では、画像の中心点Ｃに対して特徴点Ｐ１と対称な位置に、抽出領域が設定される。そして、この抽出領域内において、予め決められた閾値よりも大きな特徴量を有する画素が対称位置特徴点として抽出される。図１１では、抽出領域から特徴点Ｐ２が抽出されている。このとき、抽出領域内において複数の画素の特徴量が閾値よりも大きければ、最も大きな特徴量を有する画素が対称位置特徴点として抽出される。この方法によれば、互いに対称な位置に存在する特徴点の組が容易に抽出される。なお、この方法では、抽出領域のサイズに依存する誤差が発生する。しかし、抽出領域のサイズを適切に決定することにより、あるいは抽出する特徴点の数が多くすることにより、誤差は吸収される。

図１２に示す方法では、画像の中心点Ｃに対して対称な位置に１組の抽出領域が設定される。ここでは、抽出領域Ａ、Ｂが設定されている。１組の抽出領域のサイズは、特に限定されるものではないが、互いに同じであることが好ましい。各抽出領域において、それぞれ閾値よりも大きな特徴量を有する画素が特徴点として検出される。この例では、抽出領域Ａにおいて特徴点Ｐ１、Ｐ２が検出され、抽出領域Ｂにおいて特徴点Ｐ３、Ｐ４、Ｐ５が検出されている。そして、各抽出領域から互いに同じ数の特徴点が抽出される。

例えば、抽出領域Ａから特徴点Ｐ１、Ｐ２が抽出され、抽出領域Ｂから特徴点Ｐ３、Ｐ４が抽出される。すなわち、対称な位置に存在する２組の特徴点「Ｐ１、Ｐ３」「Ｐ２、Ｐ４」が抽出される。或いは、特徴点Ｐ１を繰り返し使用することも可能である。すなわち、対称な位置に存在する３組の特徴点「Ｐ１、Ｐ３」「Ｐ２、Ｐ４」「Ｐ２、Ｐ５」が抽出されるようにしてもよい。

なお、図１２に示す方法では、抽出領域内で検出される特徴点の特徴量は、互いに近接していないものとする。また、図１２に示す方法では、特徴量変更部８は、抽出領域内の画素に対しては画素量を変更しないようにしてもよい。

図１３は、図１１または図１２に示す抽出領域のサイズの実施例である。この実施例では、抽出領域のサイズは、画像の中心点から離れるほど小さく設定される。ここで、画像の中心点に近い領域では、手ぶれの回転成分および拡大／縮小成分は小さい。このため、画像の中心点に近い領域では、抽出領域を大きくしても、ぶれ量の誤差が小さい。一方、画像の中心点から遠い領域では、手ぶれの回転成分および拡大／縮小成分は大きくなる。このため、画像の中心点から遠い領域では、抽出領域を小さくすることで、ぶれ量の誤差が抑えられる。なお、抽出領域のサイズは、画像の中心点Ｃからの距離に反比例するように設定するようにしてもよい。

＜他の実施形態＞
図１４は、他の実施形態のぶれ量検出方法を説明する図である。この検出方法は、手ぶれが回転ぶれ（図１および図２に示すＲＯＬＬ）を含まないときに使用される。このような画像は、例えば、回転方向のぶれが発生しないように固定されているカメラ（監視カメラ等）により得られる。

図１４において、画像の中心点Ｃを通過する垂直線（中心垂直線）に対して対称な位置に存在する特徴点Ｐ１、Ｐ２が抽出される。そして、この１組の特徴点Ｐ１、Ｐ２の画像間での移動量を平均化すれば、拡大／縮小に起因する水平方向ずれ量が相殺される。同様に、画像の中心点Ｃを通過する水平線（中心水平線）に対して対称な位置に存在する特徴点Ｐ３、Ｐ４が抽出される。そして、この１組の特徴点Ｐ３、Ｐ４の画像間での移動量を平均化すれば、拡大／縮小に起因する垂直方向ずれ量が相殺される。すなわち、中心垂直線に対して対称な位置に存在する１組の特徴点、および中心水平線に対して対称な位置に存在する１組の特徴点を抽出すれば、手ぶれの拡大／縮小成分を相殺することができるので、手ぶれの平行移動成分を算出することができる。さらに、上述した（１１）式において「θ＝０」を代入すれば、拡大／縮小率Ｓを得ることができる。

このように、回転ぶれが無いことが予め分かっている画像に対しては、中心点に対して対称な位置に存在する特徴点だけでなく、中心線に対して対称な位置に存在する特徴点をも利用することで、手ぶれの平行移動成分と拡大／縮小成分とを正確に分離することができる。

図１５は、さらに他の実施形態のぶれ量検出方法を説明する図である。この検出方法では、画像の中心領域に存在する特徴点を利用してぶれ量が算出される。図１２に示す例では、中心領域に存在する特徴点Ｐ１および中心領域の外側に存在する特徴点Ｐ２が使用される。

この場合、第１の画像と第２の画像との間での特徴点Ｐ２の移動は、平行移動成分、回転成分、拡大／縮小成分を含んでいる。図１５において、矢印Ｔは平行移動成分を表し、矢印ＲＳは、回転成分および拡大／縮小成分の和を表している。一方、特徴点Ｐ１は、画像の中心領域に位置しているので、第１の画像と第２の画像との間で、回転成分および拡大／縮小成分はそれぞれほぼゼロである。すなわち、第１の特徴点Ｐ１の移動は、実質的に、平行移動成分のみである。したがって、第１の画像上での特徴点Ｐ１の座標と第２の画像上での特徴点Ｐ１の座標との差分（すなわち、特徴点Ｐ１の動きベクトル）を計算することにより、手ぶれの平行移動成分Ｔを得ることができる。

また、特徴点Ｐ２の移動量から、平行移動成分Ｔが差し引かれる。これにより、手ぶれの「回転成分＋拡大／縮小成分」が得られる。さらに、上述した（１１）〜（１２）式を利用すれば、手ぶれの回転角θおよび拡大／縮小率Ｓが算出される。なお、（ｘ，ｙ）は第１の画像上での特徴点Ｐ２の座標を表し、（ｘ’，ｙ’）は図１５に示す点Ｐ２’の座標を表す。

このように、図１５に示すぶれ量検出方法によれば、画像の中心点に対して対称な位置に特徴点が存在しない場合であっても、手ぶれの平行移動成分、回転成分、拡大／縮小成分を適切に分離することができる。

＜ハードウェア構成＞
図１６は、実施形態の画像処理装置に係わるハードウェア構成を示す図である。図１６において、ＣＰＵ１０１は、メモリ１０３を利用して実施形態の画像処理プログラムを実行する。実施形態の画像処理プログラムは、上述した実施例の動作を記述している。記憶装置１０２は、例えばハードディスクであり、画像処理プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。なお、図８に示す画像保持部２Ａ、２Ｂ、特徴量保持部４、特徴点保持部７Ａ、７Ｂは、メモリ１０３を利用して実現するようにしてもよい。

読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬性記録媒体１０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、ユーザからの指示を受け付けるデバイス、表示装置等に相当する。

実施形態に係わる画像処理プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる画像処理装置が実現される。

実施形態に係わる画像処理プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる画像処理装置が実現される。
なお、本出願は、さらに下記の付記を開示する。
（付記１）
連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出し、
前記第２の画像において前記第１および第２の特徴点を探索し、
前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する
ことを特徴とするぶれ量算出方法。
（付記２）
付記１に記載のぶれ量算出方法であって、
前記中心点に対して対称な位置に存在する特徴点の数が予め決められた閾値よりも少なかったときは、前記閾値に達するまで他の特徴点を抽出し、
前記中心点に対して対称な位置に存在する特徴点および前記他の特徴点を利用してぶれ量を算出する
ことを特徴とするぶれ量算出方法。
（付記３）
連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
前記第１の画像の中心領域から第１の特徴点を抽出し、
前記第１の画像の中心領域以外の領域から第２の特徴点を抽出し、
前記第２の画像において前記第１および第２の特徴点を探索し、
前記第１および第２の画像間での前記第１の特徴点の座標の差分に基づいて、ぶれの平行移動成分を算出し、
前記第１および第２の画像間での前記第２の特徴点の座標の差分および前記平行移動成分に基づいて、前記ぶれの回転成分および拡大／縮小成分を算出する
ことを特徴とするぶれ量算出方法。
（付記４）
連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出するために、コンピュータに、
前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出する手順、
前記第２の画像において前記第１および第２の特徴点を探索する手順、
前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する手順
を実行させる画像処理プログラム。
（付記５）
連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する画像処理装置であって、
前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出する抽出部と、
前記第２の画像において前記第１および第２の特徴点を探索する探索部と、
前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する算出部
を有する画像処理装置。

Claims (13)

1. 連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
   前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出し、
   前記第２の画像において前記第１および第２の特徴点を探索し、
   前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する
   ことを特徴とするぶれ量算出方法。
2. 請求項１に記載のぶれ量算出方法であって、
   前記第１および第２の画像間での前記第１の特徴点の座標の差分、および前記第１および第２の画像間での前記第２の特徴点の座標の差分、を平均化することによりぶれの平行移動成分を算出する
   ことを特徴とするぶれ量算出方法。
3. 請求項２に記載のぶれ量算出方法であって、
   前記第１および第２の画像間での前記第１の特徴点の座標の差分から、前記平行移動成分を差し引くことにより、前記ぶれの回転成分および拡大／縮小成分を算出する
   ことを特徴とするぶれ量算出方法。
4. 請求項１に記載のぶれ量算出方法であって、
   前記中心点に対して対称な位置に存在する特徴点の数が予め決められた閾値よりも少なかったときは、前記閾値に達するまで他の特徴点を抽出し、
   前記中心点に対して対称な位置に存在する特徴点および前記他の特徴点を利用してぶれ量を算出する
   ことを特徴とするぶれ量算出方法。
5. 請求項１に記載のぶれ量算出方法であって、
   前記第１の画像において、前記中心点に対して前記第１の特徴点と対称な位置に抽出領域を設定し、
   前記抽出領域の中から前記第２の特徴点を抽出する
   ことを特徴とするぶれ量算出方法。
6. 請求項１に記載のぶれ量算出方法であって、
   前記第１の画像において、前記中心点に対して対称な位置に１組の抽出領域を設定し、
   一方の抽出領域から１または複数の第１の特徴点を抽出し、他方の抽出領域から１または複数の第２の特徴点を抽出する
   ことを特徴とするぶれ量算出方法。
7. 請求項５または６に記載のぶれ量算出方法であって、
   前記抽出領域の大きさは、前記中心点から離れるほど小さくなる
   ことを特徴とするぶれ量算出方法。
8. 連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
   前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出し、
   前記第２の画像において前記第１および第２の特徴点を探索し、
   前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する
   ことを特徴とするぶれ量算出方法。
9. 連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する方法であって、
   前記第１の画像の中心領域から第１の特徴点を抽出し、
   前記第１の画像の中心領域以外の領域から第２の特徴点を抽出し、
   前記第２の画像において前記第１および第２の特徴点を探索し、
   前記第１および第２の画像間での前記第１の特徴点の座標の差分に基づいて、ぶれの平行移動成分を算出し、
   前記第１および第２の画像間での前記第２の特徴点の座標の差分および前記平行移動成分に基づいて、前記ぶれの回転成分および拡大／縮小成分を算出する
   ことを特徴とするぶれ量算出方法。
10. 連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出するために、コンピュータに、
    前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出する手順、
    前記第２の画像において前記第１および第２の特徴点を探索する手順、
    前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する手順
    を実行させる画像処理プログラム。
11. 連写撮影により得られる第１の画像および第２の画像を利用して手ぶれを補正する画像処理装置であって、
    前記第１の画像において中心点に対して対称な位置に存在する第１および第２の特徴点を抽出する抽出部と、
    前記第２の画像において前記第１および第２の特徴点を探索する探索部と、
    前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれ量を算出する算出部と、
    前記算出部により得られるぶれ量を利用して前記第２の画像を変換する変換部と、
    前記第１の画像および前記変換部に得られる変換後の第２の画像を合成する合成部
    を有する画像処理装置。
12. 連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出するために、コンピュータに、
    前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出する手順、
    前記第２の画像において前記第１および第２の特徴点を探索する手順、
    前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する手順
    を実行させる画像処理プログラム。
13. 連写撮影により得られる第１の画像および第２の画像を利用してぶれ量を算出する画像処理装置であって、
    前記第１の画像において中心点を通過する水平線または垂直線に対して対称な位置に存在する第１および第２の特徴点を抽出する抽出部と、
    前記第２の画像において前記第１および第２の特徴点を探索する探索部と、
    前記第１の画像から抽出された前記第１および第２の特徴点の座標、および前記第２の画像において探索された前記第１および第２の特徴点の座標、に基づいてぶれの平行移動成分および拡大／縮小成分を算出する算出部
    を有する画像処理装置。

Images