JP3727731B2

JP3727731B2 - 動画像の動き量推定装置

Info

Publication number: JP3727731B2
Application number: JP26435396A
Authority: JP
Inventors: 文涛鄭; 善明鹿喰; 豊金子; 慎一境田; 豊田中
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1996-10-04
Filing date: 1996-10-04
Publication date: 2005-12-14
Anticipated expiration: 2016-10-04
Also published as: JPH10111945A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の動き量推定装置に係わり、とくに動画像上のブロックまたは画素毎の動き量の推定を行なう動画像の動き量推定装置に関するものである。
【０００２】
【従来の技術】
従来、この種の動画像の動き量推定装置は、勾配法を用いるものと、ブロックマッチング法を用いるものとに大別される。
勾配法を用いるものは、あらかじめ定められた大きさの画像ブロック内の全画素が同一の動き量であるという仮定のもとに、画像ブロック内の各画素の時空間輝度勾配から動き量を推定する手法である。（例えば、吹抜“画像信号による動対象の移動量、速度の測定”、信学技報、ＩＥ７８−６７、ｐｐ．３５−４１（１９７８）を参照）。
【０００３】
この勾配法は、小さな動き量に対しては良好な動き量の推定が可能であるが、動き量が大きくなるに従い、動き量推定の推定精度が劣化することがよく指摘されている。また、勾配法における勾配値の計算は、時刻ｔ₀における動き量推定に、時刻ｔ₀のフレームとそれに隣接する過去の１フレーム、または前後の１フレームずつ、あわせて２つのフレームを用いているため、これらのフレーム画像に含まれるランダムな雑音の影響を受けやすいという欠点もある。
【０００４】
他方、ブロックマッチング法を用いるものは、現フレームの画像ブロックに対し、前フレームの画像内で画素値の差分和が最小となる画像ブロックの位置を検出する手法である。（例えば、二宮“フレーム間符号化における動き補正”、信学技報、ＩＥ７８−６、ｐｐ．１−１０（１９７８）を参照）。
【０００５】
また、このブロックマッチング法の応用としてブロックサイズを階層的に小さくしていくことで動き検出精度の向上を図る手法もある。（例えば、富永ら“階層画像情報を用いた動画像における動き量検出方式”、信学論、Vol.Ｊ７２−Ｄ−II、No. ３、ｐｐ．３９５−４０３（１９８９）を参照）。この手法による階層画像情報を用いた動き量推定では、上位階層画像の動き量の推定結果を下位階層画像における推定に利用することにより、推定誤りを低減するとともに、処理効率を向上することができる。しかし、上記手法は一般的なブロックマッチング法と同様、マッチングブロックとしては２つの時間的に連続するフレームのそれぞれ１フレーム内の正方形ブロックが用いられていて、動きの空間的な連続性は考慮されているものの、時間的な連続性は利用されていない。
【０００６】
動き量の時間的な連続性を利用する試みとしては、時刻ｔ₀の第ｎフレームの画像の動き量を推定する際に、その前の第ｎ−１フレームの推定値を初期値とし、時間の経過とともに、逐次的に動き量を修正するフィルタリング的な手法がある。（例えば、James C. Brailean, et al. “A Recursive Nonstationary MAP Displacement Vector Field Estimation Algorithm”, IEEE Transactions on Image Processing, Vol. ４，No. ４，April １９９５を参照）。しかし、この手法によれば、前のフレーム（例えば、第ｎフレームに対して第ｎ−１フレーム）における動き量推定に推定誤りが生じた場合は、推定誤差が次々と後のフレームに伝搬し、期待とはうらはらに、動き量の推定精度を逆に劣化させるおそれがある。
【０００７】
【発明が解決しようとする課題】
上述のように従来の技術では、動き量の推定は時間的に連続する２つのフレームの画像を用いて行なわれている。このように、従来技術においては、本来時間的に連続する動き量を全く独立なものとして推定していたため、推定結果には時間方向の連続性が反映されず、ランダムな推定誤りが生じ得るという問題がある。特に、空間解像度の高い動きベクトル場を求めるためにはブロックサイズを小さくする必要があり、その場合にはランダムな推定誤りの発生が一層多くなる。
【０００８】
【課題を解決するための手段】
然るに、一般の動画像においては画像内の物体や背景の動きには時間的な連続性があり、この連続性のため、短時間について見れば動き（方向、大きさ）が一定であると仮定できるものが多い。
【０００９】
この事実に着眼して、本発明では、従来の１フレーム内の２次元ブロックの代わりに、複数フレームの同一空間位置の２次元ブロックからなる時空間上の直方体に含まれる画素を用いて動き量の推定を行う、すなわち直方体（３次元）ブロックを用いたマッチング手法により動き量の推定を行うようにする。これにより、動き量の推定は、特定のフレームの２次元ブロック内の雑音の影響を受けにくくなり、時間的、空間的なランダムな推定誤りが低減され、より正確かつ滑らかな動き量の推定を行うことが可能となる。
【００１０】
すなわち、本発明による動画像の動き量推定装置は、第ｎフレームを時間位置の中心とする空間位置（ｘ，ｙ）の第１の直方体ブロックと、該第１の直方体ブロックと同一の大きさを有する直方体ブロックであって、第ｎ−１フレームを時間位置の中心とし、空間位置を前記（ｘ，ｙ）に対してΔｘおよびΔｙをパラメータとしてそれぞれ（Δｘ，Δｙ）画素だけ偏位した複数の第２の直方体ブロックとをそれぞれ入力動画像信号から抽出する直方体ブロック抽出回路、該直方体ブロック抽出回路から抽出した前記第１の直方体ブロックと前記複数の第２の直方体ブロックとの間で各対応する画素値間の差演算およびそれら差演算結果の総和をとる演算を行い、前記第２の直方体ブロックごとのマッチング評価関数値を出力するマッチング評価関数値演算回路、および該マッチング評価関数値演算回路から出力した前記マッチング評価関数値のうち、最小の評価関数値を与える前記第２の直方体ブロックの前記画素偏位（Δｘ，Δｙ）から求めた
【数３】

を、動画像の前記第１の直方体ブロックの中心に位置する第ｎフレームの２次元ブロックの動きベクトルであると推定して出力する動き推定回路を具えてなることを特徴とするものである。
【００１１】
また、本発明による動画像の動き量推定装置は、第ｎフレームを時間位置の中心とする空間位置（ｘ，ｙ）の第１の直方体ブロック、ともに前記第１の直方体ブロックと同一の大きさを有する直方体ブロックであって、第ｎ−１および第ｎ＋１フレームを時間位置の中心とし、空間位置を前記（ｘ，ｙ）に対してΔｘおよびΔｙをパラメータとしてそれぞれ（Δｘ，Δｙ），（−Δｘ，−Δｙ）画素だけ偏位した複数の、それぞれ第２および第３の直方体ブロックからなる３種類の直方体ブロックをそれぞれ入力動画像信号から抽出する直方体ブロック抽出回路、該直方体ブロック抽出回路から抽出した前記第１の直方体ブロックと前記複数の第２の直方体ブロック、および前記第１の直方体ブロックと前記複数の第３の直方体ブロックとの間でそれぞれ各対応する画素値間の差演算およびそれら差演算結果の総和をとる演算を行い、前記第２および第３の直方体ブロックごとのマッチング評価関数値を出力するそれぞれ第１および第２のマッチング評価関数値演算回路、および該第１および第２のマッチング評価関数値演算回路から出力した前記マッチング評価関数値のうち、最小の評価関数値を与える前記第２および第３の直方体ブロックの前記画素偏位（Δｘ，Δｙ），（−Δｘ，−Δｙ）から求めた
【数４】

を、動画像の前記第１の直方体ブロックの中心に位置する第ｎフレームの２次元ブロックの動きベクトルであると推定して出力する動き推定回路を具えてなることを特徴とするものである。
【００１２】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明による動画像の動き量推定装置の第１の実施形態を示すブロック図である。
図１において、１は、処理対象となる動画像信号および以下に説明する画像ブロックの位置・サイズ情報が供給される直方体ブロック抽出回路、２はマッチング評価関数値演算回路、および３は動き推定回路である。
【００１３】
動作につき説明する。
本発明装置においては、まず第１段階として、動き量を推定しようとする動画像信号が直方体ブロック抽出回路１に供給され、その動画像信号から、同じく直方体ブロック抽出回路１に供給され、ブロック位置情報として指定された２次元位置（ｘ，ｙ）で、またブロックサイズ情報として指定されたサイズＭ×Ｎ×（２Ｋ＋１）で直方体ブロックが抽出される。このサイズＭ×Ｎ×（２Ｋ＋１）の直方体ブロックは、ある時刻のフレームを中心とし前後Ｋフレームずつ、合計２Ｋ＋１フレームの同一空間（２次元）位置（ｘ，ｙ）の、画面上の縦方向、横方向にそれぞれＭ，Ｎの画素を持つブロックからなる直方体に含まれる画素（以下、この直方体領域をΦと記す）からなるものである。
【００１４】
図２は、サイズＭ×Ｎ×（２Ｋ＋１）の直方体ブロックの一例として、Ｋ＝２とした場合の直方体ブロックを示す線図である。図中、破線で囲まれた直方体が直方体ブロックである。また、本実施形態（図１に示す実施形態）では、直方体ブロック中の２次元位置の範囲を規定するＭ×Ｎを、Ｍ＝Ｎ＝５とした場合（Ｋについては、図２のようにＫ＝２）について説明する。なお、これらＭ，Ｎ，Ｋの値は、上記に限らず、１以上の任意の正の整数とすることができる。
【００１５】
本発明装置では、この直方体ブロックを単位としてブロックマッチング（ブロックマッチングの手法については、従来技術の欄にて説明した）を行って動き量の推定を行う。また、図１および図２に示す本実施形態では、第ｎ−１および第ｎフレームを中心とする２つの直方体ブロックに基づいて動き量を推定するものとする。ここで、直方体ブロックのＭ，Ｎ，Ｋの値は、上述したように、それぞれ５，５，２である。
【００１６】
すなわち、本実施形態における第１段階としては、図２を参照するに、この場合は直方体ブロック抽出回路１は、供給された動画像の異なる第ｎ−２、第ｎ−１、第ｎ、第ｎ＋１および第ｎ＋２フレームの画像から第ｎフレームを中心とし空間位置（ｘ，ｙ）にある５画素×５画素×５フレームの第１の直方体ブロックを抽出するとともに、第ｎ−３、第ｎ−２、第ｎ−１、第ｎおよび第ｎ＋１フレームの画像から第ｎ−１フレームを中心としΔｘおよびΔｙをパラメータとして空間位置（ｘ＋Δｘ，ｙ＋Δｙ）にある第１の直方体ブロックと同一の大きさの第２の直方体ブロックをそれぞれ抽出する。
【００１７】
本発明の第２段階としては、マッチング評価関数演算回路２において、直方体ブロック抽出回路１から抽出した、第ｎフレームを中心とした、空間位置（ｘ，ｙ）の第１の直方体ブロックΦと、第ｎ−１フレームを中心とし、かつ、空間位置が位置（ｘ，ｙ）から（Δｘ，Δｙ）画素だけ偏位した第２の直方体ブロックとの間で各画素値の差分和をとる。この画素値の差分和は、例えば、第１の直方体ブロックの第ｎ−２フレームの最左上の画素（フレーム中の５×５画素のうち）と第２の直方体ブロックの第ｎ−３フレームの同じく最左上の画素（同じく５×５画素のうち）との間の差分をとり、以下、同様に次の画素（例えば、最左上の右隣りの画素）間の差分をとり、----、すべての画素（直方体ブロックのとりうるすべての画素は、Ｍ×Ｎ×（２Ｋ＋１）（＝５×５×５）ある）について差分が求められた時点で、これら差分の総和を求める。以下に、数式を使用して説明する。
【００１８】
本実施形態での計算方法を次に示す。
直方体ブロックΦに対し、第ｎ−１フレームを中心フレームにもち、予め定められた探索範囲内の各々同サイズの複数の直方体ブロックについて、次式によって定義される評価関数
【数５】

を次の（１）式によって計算し、演算結果の評価関数値を出力する。
【数６】

ここで、
【数７】

は第ｎフレームを中心とした直方体ブロックΦ内の画素値を表す。またｋは、直方体ブロックを構成する２Ｋ＋１枚のフレームのフレーム番号を示す。本実施形態では、ｋ＝ｎ−２，ｎ−１，ｎ，ｎ＋１およびｎ＋２である。また、Δｘ，Δｙ∈ −Ｌ，Ｌで、ここに −Ｌ，Ｌは動き量推定の探索範囲である。一般的な動画像では、Ｌ＝１４画素程度に設定すれば十分である。
【００１９】
さらに、第３段階としては、動き推定回路３は、マッチング評価関数値演算回路２の計算結果である複数の
【数８】

を用いて動きベクトルの推定を行なう。本実施形態での推定方法を次の（２）式に示す。
【数９】

すなわち、探索範囲内で最も小さいマッチング評価関数値を与える１組の
【数１０】

を直方体ブロックΦの中心に位置する第ｎフレームの２次元ブロック（図２でドット入りの面で示す２次元ブロック）の動きベクトルであると推定する。
【００２０】
以上第１の実施形態においては、時間的に連続する２つの直方体ブロックを用いて動き量（動きベクトル）を推定するものとしたが、動き量推定における推定誤りを一層低減させるために、時間的に連続する３つの直方体ブロックを用いて動き量の推定を行う、本発明の第２の実施形態について以下に説明する。
【００２１】
図３は、本発明による動画像の動き量推定装置の第２の実施形態を示すブロック図である。
図３において、４は直方体ブロック抽出回路、５はマッチング評価関数値演算回路（Ｉ）、６はマッチング評価関数値演算回路（II) 、および７は動き推定回路である。
【００２２】
本実施形態における第１の実施形態と最も異なる点は、図３から分かるように、第２の実施形態による装置は、時間的に連続する３つの直方体ブロックのうち、相互に１フレーム期間ずれて時間的に連続する２つの直方体ブロック間でそれぞれマッチング評価関数値を演算する２つのマッチング評価関数値演算回路（Ｉ）および（II) （図３に、それぞれ５および６にて示す）を具えていることである。以下に第１の実施形態の場合と同様に、本発明の動作を第１段階から第３段階までに分けて説明する。
【００２３】
まず、第１段階として、直方体ブロック抽出回路４で直方体ブロックを抽出するが、この抽出は、供給された動画像の異なる第ｎ−２、第ｎ−１、第ｎ、第ｎ＋１および第ｎ＋２フレームの画像から第ｎフレームを中心とし空間位置（ｘ，ｙ）にある５画素×５画素×５フレームの直方体ブロック（第１の直方体ブロック）、第ｎ−３、第ｎ−２、第ｎ−１、第ｎおよび第ｎ＋１フレームの画像から第ｎ−１フレームを中心としΔｘおよびΔｙをパラメータとして空間位置（ｘ＋Δｘ，ｙ＋Δｙ）にある直方体ブロック（第２の直方体ブロック）、および第ｎ−１、第ｎ、第ｎ＋１、第ｎ＋２および第ｎ＋３フレームの画像から第ｎ＋１フレームを中心とし同じく空間位置（ｘ−Δｘ，ｙ−Δｙ）にある直方体ブロック（第３の直方体ブロック）をそれぞれ抽出する。なお、これら抽出した第１から第３までの３つの直方体ブロックはいずれも同じ大きさ（同サイズ）のものとする。第２の実施形態では、この３つの直方体ブロックを用いてブロックマッチングを行って動き量の推定を行なう。
【００２４】
第２段階としては、マッチング評価関数値演算回路５および６は、直方体ブロック抽出回路４により抽出された第ｎフレームを中心とした、空間位置（ｘ，ｙ）の第１の直方体ブロックΦと、それぞれ第ｎ−１および第ｎ＋１フレームを中心とし、かつ、空間位置が位置（ｘ，ｙ）から（Δｘ，Δｙ），（−Δｘ，−Δｙ）画素だけ偏位した第２、第３の２つの直方体ブロックとの間で各画素値の差分和をそれぞれ演算する。
【００２５】
本実施の形態での計算方法を次に示す。
直方体ブロックΦに対し、第ｎ−１およびｎ＋１フレームを中心フレームにもつ２つの直方体ブロックそれぞれに関する、探索範囲内の各々同サイズの複数の直方体ブロックについて、次式によって定義される評価関数
【数１１】

および次式によって定義される評価関数
【数１２】

をそれぞれ次の（３）および（４）式によって演算し、演算結果の評価関数値を出力する。
【数１３】

【００２６】
第２の実施形態における第３段階としては、動き推定回路７は、マッチング評価関数値演算回路５および６の計算結果であるそれぞれ
【数１４】

および
【数１５】

を用いて動きベクトルの推定を行なう。本実施形態での推定方法を次の（５）式に示す。
【数１６】

すなわち、探索範囲内で最も小さいマッチング評価関数値を与える１組の
【数１７】

を直方体ブロックΦの中心に位置する第ｎフレームの２次元ブロックの動きベクトルであると推定する。
【００２７】
【発明の効果】
以上説明したように動きの時間方向の連続性を考慮し、複数フレームを用いて構成した本発明による動き量推定装置は、２つの直方体ブロックの使用により、動き量のランダムな推定誤りが低減され、より正しい動きベクトルを得ることができる。
【００２８】
さらに、時間的に連続する３つの直方体ブロックを用いることにより、動き量推定の誤りを一層低減でき、より正確で滑らかな動き量の推定を行うことができる。
【図面の簡単な説明】
【図１】本発明による動画像の動き量推定装置の第１の実施形態を示すブロック図である。
【図２】Ｋ＝２とした場合の直方体ブロックを示す線図である。
【図３】本発明による動画像の動き量推定装置の第２の実施形態を示すブロック図である。
【符号の説明】
１，４直方体ブロック抽出回路
２マッチング評価関数値演算回路
３，７動き推定回路
５マッチング評価関数値演算回路Ｉ
６マッチング評価関数値演算回路II

Claims

第ｎフレームを時間位置の中心とする空間位置（ｘ，ｙ）の第１の直方体ブロックと、該第１の直方体ブロックと同一の大きさを有する直方体ブロックであって、第ｎ−１フレームを時間位置の中心とし、空間位置を前記（ｘ，ｙ）に対してΔｘおよびΔｙをパラメータとしてそれぞれ（Δｘ，Δｙ）画素だけ偏位した複数の第２の直方体ブロックとをそれぞれ入力動画像信号から抽出する直方体ブロック抽出回路、
該直方体ブロック抽出回路から抽出した前記第１の直方体ブロックと前記複数の第２の直方体ブロックとの間で各対応する画素値間の差演算およびそれら差演算結果の総和をとる演算を行い、前記第２の直方体ブロックごとのマッチング評価関数値を出力するマッチング評価関数値演算回路、および
該マッチング評価関数値演算回路から出力した前記マッチング評価関数値のうち、最小の評価関数値を与える前記第２の直方体ブロックの前記画素偏位（Δｘ，Δｙ）から求めた

を、動画像の前記第１の直方体ブロックの中心に位置する第ｎフレームの２次元ブロックの動きベクトルであると推定して出力する動き推定回路
を具えてなることを特徴とする動画像の動き量推定装置。
第ｎフレームを時間位置の中心とする空間位置（ｘ，ｙ）の第１の直方体ブロック、ともに前記第１の直方体ブロックと同一の大きさを有する直方体ブロックであって、第ｎ−１および第ｎ＋１フレームを時間位置の中心とし、空間位置を前記（ｘ，ｙ）に対してΔｘおよびΔｙをパラメータとしてそれぞれ（Δｘ，Δｙ），（−Δｘ，−Δｙ）画素だけ偏位した複数の、それぞれ第２および第３の直方体ブロックからなる３種類の直方体ブロックをそれぞれ入力動画像信号から抽出する直方体ブロック抽出回路、
該直方体ブロック抽出回路から抽出した前記第１の直方体ブロックと前記複数の第２の直方体ブロック、および前記第１の直方体ブロックと前記複数の第３の直方体ブロックとの間でそれぞれ各対応する画素値間の差演算およびそれら差演算結果の総和をとる演算を行い、前記第２および第３の直方体ブロックごとのマッチング評価関数値を出力するそれぞれ第１および第２のマッチング評価関数値演算回路、および
該第１および第２のマッチング評価関数値演算回路から出力した前記マッチング評価関数値のうち、最小の評価関数値を与える前記第２および第３の直方体ブロックの前記画素偏位（Δｘ，Δｙ），（−Δｘ，−Δｙ）から求めた

を、動画像の前記第１の直方体ブロックの中心に位置する第ｎフレームの２次元ブロックの動きベクトルであると推定して出力する動き推定回路
を具えてなることを特徴とする動画像の動き量推定装置。