JP5559022B2 - 画像ブレ補正装置及び画像ブレ補正方法 - Google Patents

Description

この発明は、時間的に連続する画像間の動きを検出し、検出した動きを相殺するように画像を補正する画像ブレ補正装置及び画像ブレ補正方法に関するものである。

ビデオカメラやデジタルカメラのような機器を手に持って撮影する場合、図３に示すような方向にブレが発生する可能性がある。本明細書においては、画像の水平方向をＸ軸、垂直方向をＹ軸、光軸方向（ズーム方向）をＺ軸とする。また、Ｘ軸を中心とする回転量をθｘ、Ｙ軸を中心とする回転量をθｙ、Ｚ軸を中心とする回転量をθｚで表し、説明の便宜上、各回転量に関するブレを、ぞれぞれ、θｘ軸のブレ、θｙ軸のブレ、θｚ軸のブレと称するものとする。すなわち、撮影した画像のブレとしては、６軸方向（Ｘ、Ｙ、Ｚ、θｘ、θｙ、θｚ）のブレが発生する可能性がある。

従来、画像のブレの補正方式としては、Ｘ軸及びＹ軸の２軸のブレを補正することが一般的である。図４はＸ軸及びＹ軸の２軸のブレの概要を示す図である。Ｘ軸及びＹ軸方向のブレがあると、表示される画像が上下左右に揺れてしまい、見にくい映像となってしまう。

Ｘ軸及びＹ軸の２軸補正の代表的な手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、画像中のある大きさの領域をブロック化し、それに連続する画像中において、先の画像のブロックを中心とした、より大きなブロック領域について全探索し、ブロック間の差分評価関数の値を最小とする点を動きベクトルとする方法である。図５は、ブロックマッチング法の概要を示す図である。図５（ａ）は、先行する画像の検索基準ブロック１１を示し、図５（ｂ）は、後続画像における検索対象ブロック１２を示す。ブロックマッチング法は、後続画像の検索対象ブロック１２において、先行画像の検索基準ブロック１１と同じサイズのブロックを順次サーチしながら、一番相関度の高い位置を求めることにより、動きベクトルを導く。

このように、ブロックマッチング法は、画像の水平方向及び垂直方向の動きをサーチする方式のため、画像のブレ方向がＸ軸及びＹ軸のみの場合、精度よく画像の動きを検出することができる。

また、ブロックマッチング法をベースとした動き検出方法として、Ｚ軸及びθｚ軸に関する動き検出方法や（例えば、特許文献１参照）、θｘ軸及びθｙ軸に関する動き検出方法も存在する（例えば、特許文献２参照）。

特許第３７７０２７１号 特開２００６−２２２９３３号公報

しかし、ブロックマッチング法をベースにした動き検出の場合、Ｘ軸及びＹ軸以外のブレについては、連続する画像間におけるブロックマッチングの相関度が減少してしまうため、動き検出の精度が低下するという問題があった。図６は、各軸のブレにおける画像変化例を示す図である。図６（ａ）に示すとおり、Ｘ軸及びＹ軸方向のブレにおいては、画像の大きさや形状の変化は発生せず、ブロックマッチングした時の画像が完全に一致するため、動きを精度良く検出をすることが可能である。

一方、図６（ｂ）は、Ｚ軸方向のブレによる画像変化を示すものであり、光軸方向のブレによって、画像の大きさが変化している。また、図６（ｃ）は、θｚ軸方向のブレによる画像変化を示すものであり、光軸を中心とした回転によって、画像の形状に歪みが変化している。図６（ｂ）及び（ｃ）のいずれも、連続する画像間におけるブロックマッチングの相関度が低下するため、動きを精度良く検出することが難しい。

さらに、図６（ｄ）は、θｘ軸及びθｙ軸方向のブレによる画像変化を示すものであり、水平軸及び垂直軸を中心とした回転によって、画像の大きさが変化し、さらに形状の歪みも発生している。このように、画像の大きさの変化や形状の歪みによって、連続する画像間におけるブロックマッチングの相関度が低下するため、動きを精度良く検出することが難しい。

特に、ブロックマッチング法では、θｘ軸、θｙ軸及びＺ軸方向のブレという、画像の大きさ（倍率）の変化を伴う動きを精度良く検出することが難しい。

したがって、かかる点に鑑みてなされた本発明の目的は、θｘ軸、θｙ軸及びＺ軸に関するブレを精度良く補正することが可能な画像ブレ補正装置及び画像ブレ補正方法を提供することにある。

上述した諸課題を解決すべく、第１の発明による画像ブレ補正装置は、
時間的に連続する画像間の動きを検出する動き検出部と、
前記動き検出部で検出した動きを相殺するように画像を補正する動き補正部と、を備え、
前記動き検出部は、
前記画像をブロックに分割し、
当該ブロック毎に前記画像の光軸方向の動きを検出し、
前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、前記ブロック毎に検出された前記光軸方向の動きとに基づき、前記画像に関するブレ平面を求め、
前記動き補正部は、前記ブレ平面の情報に基づき、前記画像を補正することを特徴とする。

また、第２の観点による画像ブレ補正装置は、第１の観点による画像ブレ補正装置であって、
前記動き検出部は、
前記画像の水平軸回り及び垂直軸回りの前記ブレ平面の角度量を求め、
前記角度量に基づき、前記ブロック毎に検出された前記光軸方向の動きを調整し、
前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、調整後の前記光軸方向の動きとに基づき、前記画像に関する前記ブレ平面を再度算出し、
前記動き補正部は、再度算出した前記ブレ平面の情報に基づき、前記画像を補正することを特徴とする。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明を方法として実現させた第３の観点による画像ブレ補正方法は、
時間的に連続する画像間の動きを検出し、検出した動きを相殺するように画像を補正する画像ブレ補正方法であって、
前記画像をブロックに分割するステップと、
当該ブロック毎に前記画像の光軸方向の動きを検出するステップと、
前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、前記ブロック毎に検出された前記光軸方向の動きとに基づき、前記画像に関するブレ平面を求めるステップと、
前記ブレ平面の情報に基づき、前記画像を補正するステップと、を有することを特徴とする。

また、第４の観点による画像ブレ補正方法は、第３の観点による画像ブレ補正方法であって、
前記画像の水平方向及び垂直方向に対する前記ブレ平面の角度量を求めるステップと、
前記角度量に基づき、前記ブロック毎に検出された前記光軸方向の動きを調整するステップと、
前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、調整後の前記光軸方向の動きとに基づき、前記画像に関する前記ブレ平面を再度算出するステップと、
再度算出した前記ブレ平面の情報に基づき、前記画像を補正するステップと、をさらに有することを特徴とする。

本発明に係る画像ブレ補正装置及び画像ブレ補正方法は、画像の大きさ（倍率）の変化を伴うθｘ軸、θｙ軸及びＺ軸に関するブレを精度良く補正することができる。

図１は、本発明の一実施形態にかかる画像ブレ補正装置の概略構成を示す図である。 図２は、図１に示す画像ブレ補正装置の動作フローチャートである。 図３は、手ブレの方向軸を示す図である。 図４は、Ｘ軸及びＹ軸の２軸のブレの概要を示す図である。 図５は、ブロックマッチング法の概要を示す図である。 図６は、各軸のブレにおける画像変化例を示す図である。 図７は、最小二乗平面の概要を示す図である。 図８は、最小二乗平面の概要を示す図である。 図９は、θｘ軸、θｙ軸及びＺ軸のブレ補正の概要を示す図である。 図１０は、θｙ軸方向のブレに対する画像の歪みを示す図である。 図１１は、θｙ軸方向のブレを各軸上から見た状況を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

図１は、本発明の一実施形態にかかる画像ブレ補正装置の概略構成を示す図である。画像ブレ補正装置１は、入力部１０と、制御部２０と、出力部３０とを備える。

入力部１０は、時間的に連続する画像を入力信号として受け取り、当該入力信号を制御部２０に供給する。制御部２０は、連続する画像間の動き（ブレ）を検出する動き検出部２１と、検出した動きを相殺するように画像を補正する動き補正部２２とを備え、入力部１０から供給された画像のブレを補正して出力部３０に供給する。出力部３０は、制御部２０から供給された補正後の画像を、例えば液晶ディスプレイ等の表示部（図示せず）に出力する。

以下、制御部２０（動き検出部２１、動き補正部２２）の動作を詳述する。制御部２０は、６軸方向（Ｘ、Ｙ、Ｚ、θｘ、θｙ、θｚ）のブレ全てを補正するものであり、画像の大きさ（倍率）の変化を伴うθｘ軸、θｙ軸、及びＺ軸方向のブレ補正を行う前に、画像と平行なＸ軸、Ｙ軸、θz軸のブレ補正を行うことを前提とする。制御部２０は、画像と平行なＸ軸、Ｙ軸、θz軸のブレ補正については、任意の既存技術を用いることができる。

制御部２０は、画像と平行なＸ軸、Ｙ軸、θｚ軸のブレ補正後、画像と並行ではなく、画像の大きさ（倍率）の変化を伴うθｘ軸、θｙ軸及びＺ軸のブレ補正を行う。ここで、制御部２０は、θｘ軸、θｙ軸及びＺ軸のブレによって生じる最小二乗平面（ブレ平面）を求めることにより画像のブレを補正する。図７は、最小二乗平面を３次元的に示す図である。ユーザは、基準画像エリア（投影面）に表示される画像を見ることになるが、図７に示すとおり最小二乗平面は投影面からのブレがあるため、基準画像エリアに表示される画像は実際の画像と大きさや形状が異なるものとなる。図８は、撮像素子（イメージセンサ）上の最小二乗平面と基準画像エリアとの関係を示す図である。図８の通り、最小二乗平面はイメージセンサ内で歪んだ形状となるため、基準画像エリアに正しい画像を表示するためには、適切なブレ補正を行う必要がある。

図９は、本発明における、画像の大きさ（倍率）の変化（立体的移動量）を伴うθｘ軸、θｙ軸、Ｚ軸のブレ補正の概要を示す図である。制御部２０において、動き検出部２１は、画像をブロックに分割し、ブロック毎に画像のズーム方向（Ｚ軸／光軸方向）の動きを検出する。その後、動き補正部２２は、検出したブロック毎のズーム方向の動きに基づき、画像の大きさ（倍率）の変化（立体的移動量）を伴うθｘ軸、θｙ軸及びＺ軸のブレを補正する。本実施形態では、動き検出部２１は、画像を１２個のブロックに分割し、ブロック毎に、位相相関法によってズーム方向の動きを検出する。なお、動き検出部２１がズーム方向の動きを求める方法は位相相関法に限定されず、任意の既存方式を用いることができる点に留意されたい。

動き検出部２１は、ブロック毎のズーム方向の動きを検出すると、各ブロックから代表点を選択する。本実施形態では、動き検出部２１は、各ブロックの中心を代表点として選択し、当該代表点のＸ軸（画像の水平方向）及びＹ軸（画像の垂直方向）の座標と、検出したブロック毎のズーム方向の動きとに基づいて、最小二乗平面を算出する。なお、位相相関法を用いた場合、ズーム方向の動きは倍率として算出される。これを動きとして適用する場合、図７において、レンズと基準画像エリア（投影面）との距離を示すｆを１と仮定することにより、算出された倍率をズーム方向の動きとして扱うことができる。また、各ブロックの代表点は、ブロックの中心のみに限定されない。例えば、動き検出部２１が画像を上下左右に４分割した場合、各ブロックから、画像頂点（または頂点付近の画素）をそれぞれの代表点として選択することができる。

以下、最小二乗平面の式ｚ＝ａｘ＋ｂｙ＋ｃの定数ａ、ｂ、ｃの決定方法について詳述する。動き検出部２１が分割したブロックの数をｎとし、各ブロックの代表点のＸ座標をｘ_ｍ、Ｙ座標をｙ_ｍ、位相相関法により算出された各ブロックのズーム方向の動きをｚ_ｍとする。なお、ｍは、１≦ｍ≦ｎの整数である。ｚ＝１である投影面の各ブロックの代表点の座標（ｘ_ｍ，ｙ_ｍ，１）が、各ブロックのズーム方向の動きにより、座標（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）にブレたとする。ここで、各ブロックのズーム方向の動きであるｚ_ｍと、求められる最小二乗平面との差をｄ_ｍとすると、ｄ_ｍ＝ｚ_ｍ−（ａｘ_ｍ＋ｂｙ_ｍ＋ｃ）となり、差ｄ_ｍの二乗和Ｆは数式１のように表すことができる。動き検出部２１は、この二乗和Ｆが最小となるａ、ｂ、ｃを求めることにより、ブレ平面である最小二乗平面を求めることができる。

数式１をａ、ｂ、ｃそれぞれについて偏微分すると、数式２〜４が求まる。ここで、Ｘはｘ_ｍの和、Ｙはｙ_ｍの和、Ｚはｚ_ｍの和を表す。動き検出部２１は、数式２〜４の各式において、値が０となる極値を求めることにより、二乗和Ｆを最小となるａ、ｂ、ｃを求めることができる。

動き補正部２２は、数式２〜４で算出したａ、ｂ、ｃを用いて、画像のブレを補正することができる。例えば、図８に示す状況において、最小二乗平面の画素（ｘ、ｙ）から、基準画像エリア（投影面）の画素（ｘ’、ｙ’）への射影変換は、以下の数式５及び数式６により行うことができる。

ここで、θｘ軸及びθｙ軸のブレが小さい場合、数式１〜６の一連の計算により精度の高いブレ補正が可能になるが、θｘ軸及びθｙ軸のブレが大きい場合、以下のような問題がある。図１０は、θｙ軸方向のブレが大きい場合の画像の歪みを示す図である。図１０のように、θｙ軸方向のブレが大きい場合、画像の歪みの影響で、画像のＹ軸方向は拡大されるが、画像のＸ軸方向は必ずしも拡大されるとは限らない。そのため、位相相関法により求められるズーム方向の動き（倍率）は、実際の値よりも１倍に近くなる傾向がある。

図１１は、θｙ軸方向のブレをＸ軸及びＹ軸上から見た状況を示す図である。図１１（ａ）は、Ｙ軸上（＋方向）から見た状況を示し、図１１（ｂ）は、Ｘ軸上（＋方向）から見た状況を示す。図１１（ａ）の実線は、θｙ軸の回転（角度θ）により実際に画像が移動した位置を示す。図１１（ｂ）では、θｘ軸の回転は無いことから、実際の画像の位置（実線）は、元の位置と平行に動いている。

このように、Ｙ軸上からの動きで見た場合、傾きの分だけ倍率（ズーム方向の動き）は１倍に近い方向にずれた値となるため、動き検出部２１は、先に求めたズーム方向の動き（倍率）ｚ_ｍをcosθ分だけ補正することにより、実際の値と同等の倍率を導き出すことができる。なお、図１０及び図１１はθｙ軸に関する例であるが、θｘ軸方向についても、θｙ軸方向のブレと同様のことが言える。

動き検出部２１は、まず、先に求めたａ、ｂ、ｃを用いて、Ｘ軸回りの回転角度量θｘ、Y軸回りの回転角度量θｙを算出する。θｘ及びθｙは、それぞれ下記の数式７及び数式８により求めることができる。

次に、動き検出部２１は、θｘ及びθｙから、ズーム方向の動きの調整を行う。調整後の倍率（ズーム方向の動き）ｚ’_ｍは、先に求めたズーム方向の動き（倍率）ｚ_ｍに対して以下の数式９により求めることができる。

動き検出部２１は、調整後のズーム方向の動きｚ’_ｍを用いて、再度最小二乗平面を算出する。２回目に求める最小二乗平面の式ｚ＝ａ_１ｘ＋ｂ_１ｙ＋ｃ_１の定数ａ_１、ｂ_１、ｃ_１は、上記数式１〜４と同様に算出することができる。なお、数式１〜４におけるａ、ｂ、ｃ、ｚ_ｍは、それぞれ、ａ_１、ｂ_１、ｃ_１、ｚ’_ｍと適宜読み替えるものとする。

動き補正部２２は、動き検出部２１が算出したａ_１、ｂ_１、ｃ_１を用いて、画像のブレを補正することができる。例えば、図８に示す状況において、再度求めた最小二乗平面の画素（ｘ、ｙ）から、基準画像エリア（投影面）の画素（ｘ’、ｙ’）への射影変換は、以下の数式１０及び数式１１により行うことができる。

図２は、画像ブレ補正装置１の動作を示すフローチャートである。制御部２０は、画像の大きさ（倍率）の変化を伴うθｘ軸、θｙ軸、及びＺ軸方向のブレ補正を行う前に、画像と平行なＸ軸、Ｙ軸、θz軸のブレ補正を行う（ステップＳ１）。次いで、動き検出部２１は、画像をブロックに分割し、ブロック毎に画像のズーム方向の動き（倍率）を検出する（ステップＳ２、Ｓ３）。動き検出部２１は、各ブロックの中心を代表点として選択し、当該代表点のＸ軸及びＹ軸の座標と、検出したブロック毎のズーム方向の動きとに基づいて、最小二乗平面を算出する（ステップＳ４）。

さらに、動き検出部２１は、ブレ平面のＸ軸上の角度量θｘ及びY軸上の角度量をθｙを算出し、当該θｘ及びθｙを用いて各ブロックの倍率を調整する（ステップＳ５、６）。動き検出部２１は、調整後の倍率を用いて、再度最小二乗平面を算出する（ステップ７）。そして、動き補正部２２は、最小二乗平面の画素から基準画像エリア（投影面）への射影変換を行い、画像のブレを補正する（ステップＳ８）。

このように、本実施形態によれば、動き検出部２１は、画像をブロックに分割し、ブロック毎に画像のズーム方向の動き（倍率）を検出し、各ブロックの代表点のＸＹ座標と、ブロック毎に検出されたズーム方向の動きとに基づき、最小二乗平面を求める。さらに、動き補正部２２は、最小二乗平面の情報に基づき、画像の補正を行う。これにより、画像ブレ補正装置１は、画像の大きさ（倍率）の変化を伴うθｘ軸、θｙ軸及びＺ軸に関するブレを精度良く補正することができる。

また、本実施形態によれば、動き検出部２１は、ブレ平面のθｘ軸及びθｙ軸の角度量を求め、当該角度量に基づき、ブロック毎のズーム方向の動き（倍率）を調整し、調整後のズーム方向の動きに基づいて最小二乗平面を再度算出する。さらに、動き補正部２２は、再度算出された最小二乗平面の情報に基づき、画像の補正を行う。これにより、θｘ軸及びθｙ軸のブレが大きい場合であっても、θｘ軸、θｙ軸及びＺ軸に関するブレを精度良く補正することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１ 画像ブレ補正装置
１０ 入力部
２０ 制御部
２１ 動き検出部
２２ 動き補正部
３０ 出力部

Claims (4)

1. 時間的に連続する画像間の動きを検出する動き検出部と、
   前記動き検出部で検出した動きを相殺するように画像を補正する動き補正部と、を備え、
   前記動き検出部は、
   前記画像をブロックに分割し、
   当該ブロック毎に前記画像の光軸方向の動きを検出し、
   前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、前記ブロック毎に検出された前記光軸方向の動きとに基づき、前記画像に関するブレ平面を求め、
   前記動き補正部は、前記ブレ平面の情報に基づき、前記画像を補正することを特徴とする、画像ブレ補正装置。
2. 前記動き検出部は、
   前記画像の水平軸回り及び垂直軸回りの前記ブレ平面の角度量を求め、
   前記角度量に基づき、前記ブロック毎に検出された前記光軸方向の動きを調整し、
   前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、調整後の前記光軸方向の動きとに基づき、前記画像に関する前記ブレ平面を再度算出し、
   前記動き補正部は、再度算出した前記ブレ平面の情報に基づき、前記画像を補正することを特徴とする、請求項１に記載の画像ブレ補正装置。
3. 時間的に連続する画像間の動きを検出し、検出した動きを相殺するように画像を補正する画像ブレ補正方法であって、
   前記画像をブロックに分割するステップと、
   当該ブロック毎に前記画像の光軸方向の動きを検出するステップと、
   前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、前記ブロック毎に検出された前記光軸方向の動きとに基づき、前記画像に関するブレ平面を求めるステップと、
   前記ブレ平面の情報に基づき、前記画像を補正するステップと、を有することを特徴とする、画像ブレ補正方法。
4. 前記画像の水平方向及び垂直方向に対する前記ブレ平面の角度量を求めるステップと、
   前記角度量に基づき、前記ブロック毎に検出された前記光軸方向の動きを調整するステップと、
   前記各ブロックの代表点の前記画像の水平方向及び垂直方向の座標と、調整後の前記光軸方向の動きとに基づき、前記画像に関する前記ブレ平面を再度算出するステップと、
   再度算出した前記ブレ平面の情報に基づき、前記画像を補正するステップと、をさらに有することを特徴とする請求項３に記載の画像ブレ補正方法。

Images