JPH07264602A

JPH07264602A - 動きベクトル検出方法

Info

Publication number: JPH07264602A
Application number: JP7810894A
Authority: JP
Inventors: Naohisa Arai; 尚久荒井; Masashi Ota; 正志太田; Kyoko Fukuda; 京子福田; Tadafusa Tomitaka; 忠房富高
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-03-24
Filing date: 1994-03-24
Publication date: 1995-10-13

Abstract

(57)【要約】【目的】代表点マッチングで動きベクトルを求める際
に、サーチ範囲を重ねた場合にも、残差メモリの制御が
複雑化しないようにする。【構成】代表点マッチングで動きベクトルを求める際
に、サーチ範囲を重ねる。この時、サーチ範囲の長さを
Ｍ、各サーチ範囲の重複部の長さをＮとしたとき、Ｎ＝Ｍ×（１−（１／Ｐ））但しＰは整数となるようにする。これにより、複数の残
差メモリをアドレスの遅延だけで制御できるようにな
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像の予測符号化や
ビデオカメラの動き補正に用いて好適な動きベクトル検
出方法及び動きベクトル検出方法に関する。

【０００２】

【従来の技術】画像の予測符号化処理を効率的に行う場
合や、画像処理によるビデオカメラの手振れ補正を行う
場合に、動きベクトルが検出される。このような動きベ
クトルの検出方法として、代表点マッチング法が知られ
ている。代表点マッチング法は、前フィールドに代表点
を設定し、現フィールドのサーチ範囲の画素データと前
フィールドの代表点の画素データとを比較し、サーチ範
囲の画素データのうち代表点の画素データに最も近い画
素データから、動きベクトルを求めるものである。

【０００３】つまり、図９は、代表点マッチング法によ
る動きベクトルの検出方法を示すものである。図９にお
いて、１０１は前フィールドを示し、１０２は現フィー
ルドを示す。なお、この例では、図１０に示すように、
４つの検出領域１０３Ａ、１０３Ｂ、１０３Ｃ、１０３
Ｄが設定される。現フィールド１０２には、各代表点
Ｄ、Ｄ、Ｄ、…の近傍に、サーチ範囲Ｓ、Ｓ、Ｓ、…が
設定される。現フィールドの各サーチ範囲Ｓ、Ｓ、Ｓ、
…にある画素データと、前フィールドの代表点の画素デ
ータとが比較される。各サーチ範囲Ｓ、Ｓ、Ｓ、…での
画素データの中で、代表点に最も近いものが検出され、
これに基づいて、動きベクトルが求められる。

【０００４】このような代表点マッチングにより動きベ
クトルを検出する動きベクトル検出装置は、図１１に示
すように、動き検出に不要な周波数成分を除去するため
のフィルタ回路１１１と、代表点メモリ１１２と、前フ
ィールドの代表点と現フィールドのサーチ範囲の画素デ
ータとを比較して残差を求める差分演算回路１１３と、
求められた残差に基づいて動きベクトルを検出する動き
ベクトル検出回路１１５とから構成される。

【０００５】

【発明が解決しようとする課題】図９及び図１０に示す
例では、例えば４つの検出領域１０３Ａ、１０３Ｂ、１
０３Ｃ、１０３Ｄが設定されている。これら４つの検出
領域１０３Ａ、１０３Ｂ、１０３Ｃ、１０３Ｄで動きベ
クトルが検出される。このように、複数の検出領域を設
けることで、被写体部分の動きと、背景部分の動きとを
分離して取り出すことができる。この検出領域の数を多
くすることで、より細かく、動きベクトルを検出するこ
とができる。

【０００６】ところが、検出領域の分割数を多くする
と、各検出領域での代表点の数及びサーチ範囲内の画素
数が減り、動きベクトルの検出精度が低下する。そこ
で、検出領域の分割数を多くしても、各検出領域での動
きベクトルの検出精度を低下しないように、各検出領域
のサーチ範囲を重ねることが考えられる。しかしなが
ら、サーチ範囲を重ねると、複数の検出領域での残差が
同時に求められることになり、残差を貯える残差メモリ
の制御が複雑になるという問題が生じる。

【０００７】したがって、この発明の目的は、サーチ範
囲を重ねた場合にも、残差メモリの制御が複雑化しない
動きベクトル検出方法を提供することにある。

【０００８】

【課題を解決するための手段】この発明は、各サーチ範
囲の画素データと代表点のデータとを比較して残差を求
め、残差から動きベクトルを求めるようにした動きベク
トル検出方法において、サーチ範囲の長さをＭ、各サー
チ範囲の重複部の長さをＮとしたとき、Ｎ＝Ｍ×（１−（１／Ｐ））但しＰは整数となるように複数のサーチ範囲を重ねるよ
うにしたことを特徴とする動きベクトル検出方法であ
る。

【０００９】

【作用】サーチ範囲の長さをＭ、サーチ範囲の重なりを
Ｎとしたとき、サーチ範囲の重なりの長さＮをＮ＝Ｍ×（１−（１／Ｐ））但しＰは整数としている。このため、残差メモリの制御
が容易になる。

【００１０】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。例えば、４つのサーチ範囲を重ねる場
合について説明する。図１において、Ｓ１〜Ｓ４は、サ
ーチ範囲を示している。サーチ範囲Ｓ１とサーチ範囲Ｓ
２とは１／２ずつ重ねられており、サーチ範囲Ｓ２とサ
ーチ範囲Ｓ３とは１／２ずつ重られており、サーチ範囲
Ｓ３とサーチ範囲Ｓ４とは１／２ずつ重られている。

【００１１】図２は、このように各サーチ範囲を重ねた
場合のタイミング図である。このようにサーチ範囲を重
ねると、最初の時点ｔ₁〜ｔ₂で、サーチ範囲Ｓ１の左
半分Ｌ１での残差が求められていく。次の時点ｔ₂〜ｔ
₃で、サーチ範囲Ｓ１の右半分Ｒ１での残差が求められ
ていくと同時にサーチ範囲Ｓ２の左半分Ｌ２での残差が
求められていく。以下、時点ｔ₃〜ｔ₄、時点ｔ₄〜ｔ
₅、時点ｔ₅〜ｔ₆で、サーチ範囲Ｓ２の右半分Ｒ２で
の残差が求められていくと同時にサーチ範囲Ｓ３の左半
分Ｌ３での残差が求められ、サーチ範囲Ｓ３の右半分Ｒ
３での残差が求められていくと同時にサーチ範囲Ｓ４の
左半分Ｌ４での残差が求められ、サーチ範囲Ｓ４の右半
分Ｒ４での残差が求められていく。

【００１２】このように、サーチ範囲をその１／２の長
さ分づつ重ねていると、残差メモリの制御が容易にな
る。つまり、２つの残差メモリを設け、一方の残差メモ
リには、各サーチ範囲の左側の残差Ｌ１、Ｌ２、Ｌ３、
Ｌ４を貯え、他方の残差メモリには、各サーチ範囲の右
側の残差Ｒ１、Ｒ２、Ｒ３、Ｒ４を貯えるようにすれ
ば、サーチ範囲の１／２に対応する分だけ遅延されたア
ドレスを与えることで、２つの残差メモリを制御するこ
とができる。

【００１３】これに対して、図３に示すように、４つの
サーチ範囲Ｓ１１、Ｓ１２、Ｓ１３、…を、その１／４
の長さ分ずつ重ねるとする。この場合、図４Ａに示すよ
うに、最初の時点ｔ₁₁〜ｔ₁₂で、サーチ範囲Ｓ１１の左
半分Ｌ１１での残差が求められていく。次の時点ｔ₁₂〜
ｔ₁₃で、サーチ範囲Ｓ１１の右半分Ｒ１１での残差が求
められていくと同時に、サーチ範囲Ｓ１２の左半分Ｌ１
２での残差が求められ、それから次の時点ｔ₁₃〜ｔ
₁₄で、サーチ範囲Ｓ１２の左半分Ｌ１２での残差だけが
求められる。以下、サーチ範囲Ｓ１２の右半分Ｒ１２で
の残差が求められていくと同時にサーチ範囲Ｓ１３の左
半分Ｌ１３での残差が求められてから、サーチ範囲Ｓ１
３の左半分Ｌ１３での残差のみが求められ、サーチ範囲
Ｓ１３の右半分Ｒ１３での残差が求められていくと同時
に、サーチ範囲Ｓ１４の左半分Ｌ１４での残差が求めら
れてから、サーチ範囲Ｓ１４の左半分Ｌ１４での残差の
みが求められる。それから、サーチ範囲Ｓ１４の右半分
Ｒ１４での残差が求められていく。

【００１４】このように、サーチ範囲Ｓ１１、Ｓ１２、
Ｓ１３、Ｓ１４を、その１／４長さ分ずつ重ねていく
と、各サーチ範囲の左側の残差Ｌ１１、Ｌ１２、Ｌ１
３、Ｌ１４と、右側の残差Ｒ１１、Ｒ１２、Ｒ１３、Ｒ
１４とのデータ量及びタイミングが異なり、これら２つ
の残差メモリを、夫々別々に制御しなければならなくな
る。

【００１５】すなわち、残差メモリを簡単に制御できる
ようにするためには、図５に示すように、サーチ範囲の
長さをＭ、サーチ範囲の重なりの長さをＮとしたとき、
サーチ範囲の長さＭを、サーチ範囲を重ねたときに残る
長さ（Ｍ−Ｎ）で割ったときの商ＰＭ／（Ｍ−Ｎ）＝Ｐが整数となるようにする必要がある。したがって、サー
チ範囲の重なりをＮをＮ＝Ｍ×（１−（１／Ｐ））但しＰは整数とすれば良い。

【００１６】例えば、図６に示すように、４つのサーチ
範囲Ｓ２１〜Ｓ２４を、その２／３の長さずつ重ねるよ
うにした場合にも、図７に示すように、残差メモリの制
御が簡単に行なえる。なお、この場合には、３つの残差
メモリを設け、１つの残差メモリには、各サーチ範囲の
最も左側の残差Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４を貯
え、もう１つの残差メモリには、各サーチ範囲の真中の
残差Ｃ２１、Ｃ２２、Ｃ２３、Ｃ２４を貯え、もう１つ
の残差メモリには、各サーチ範囲の最も右側の残差Ｒ２
１、Ｒ２２、Ｒ２３、Ｒ２４を貯えるようにする。そし
て、各残差メモリに対して、サーチ範囲の１／３に対応
する分ずつ遅延したアドレスを与える。

【００１７】図８は、この発明の一実施例を示すもので
ある。図８において、１は代表点メモリである。代表点
メモリ１には、前フィールドの代表点の画素データが貯
えられている。代表点メモリ１からは、図１における前
フィールドのサーチ範囲Ｓ１〜Ｓ４の代表点の画素デー
タが出力され、これがラッチ回路２Ａ〜２Ｄに供給され
る。ラッチ回路２Ａ〜２Ｄの出力が減算回路３Ａ〜３Ｄ
に夫々供給される。

【００１８】入力端子４には、現フィールドの画素デー
タが供給される。この現フィールドの画素データか減算
回路３Ａ〜３Ｄに夫々供給される。

【００１９】減算回路３Ａ〜３Ｄでは、各サーチ範囲Ｓ
１〜Ｓ４の代表点の画素データと、現フィールドのサー
チ範囲Ｓ１〜Ｓ４の画素データとが減算される。この減
算回路３Ａ〜３Ｄの出力が絶対値回路５に供給される。
絶対値回路５の出力がセレクタ６Ａ及び６Ｂに供給され
る。

【００２０】図１に示したように、サーチ範囲Ｓ１とサ
ーチ範囲Ｓ２とは１／２ずつ重ねられており、サーチ範
囲Ｓ２とサーチ範囲Ｓ３とは１／２ずつ重られており、
サーチ範囲Ｓ３とサーチ範囲Ｓ４とは１／２ずつ重られ
ている。セレクタ６Ａ及び６Ｂにより、各サーチ範囲の
左側の残差Ｌ１、Ｌ２、Ｌ３、Ｌ４を求めるためのデー
タと、右側の残差Ｒ１、Ｒ２、Ｒ３、Ｒ４を求めるため
のデータが振り分けられ、これらが累積されて、左側の
残差Ｌ１、Ｌ２、Ｌ３、Ｌ４及び右側の残差Ｒ１、Ｒ
２、Ｒ３、Ｒ４が求められる。

【００２１】セレクタ６Ａ及び６Ｂの出力は、残差メモ
リ７Ａ及び７Ｂに夫々供給される。残差メモリ７Ａに
は、メモリコントローラ８から制御信号が供給され、残
差メモリ７Ｂには、遅延回路９を介して、メモリコント
ローラ８から制御信号が供給される。この残差メモリ７
Ａ及び７Ｂの出力から、動きベクトルが求められる。

【００２２】

【発明の効果】この発明によれば、サーチ範囲の長さを
Ｍ、サーチ範囲の重なりの長さをＮとしたとき、サーチ
範囲の重なりをＮをＮ＝Ｍ×（１−（１／Ｐ））但しＰは整数としている。このため、１つのメモリコン
トローラからのアドレス信号を遅延させることで、複数
の残差メモリを制御できる。

【図面の簡単な説明】

【図１】この発明の一実施例の説明に用いる略線図であ
る。

【図２】この発明の一実施例の説明に用いる略線図であ
る。

【図３】この発明の一実施例の説明に用いる略線図であ
る。

【図４】この発明の一実施例の説明に用いる略線図であ
る。

【図５】この発明の一実施例の説明に用いる略線図であ
る。

【図６】この発明の一実施例の説明に用いる略線図であ
る。

【図７】この発明の一実施例の説明に用いる略線図であ
る。

【図８】この発明の一実施例のブロック図である。

【図９】代表点マッチングによる動きベクトル検出方法
の説明に用いる略線図である。

【図１０】代表点マッチングによる動きベクトル検出方
法の説明に用いる略線図である。

【図１１】従来の動きベクトル検出装置の一例のブロッ
ク図である。

【符号の説明】

１代表点メモリ７Ａ、７Ｂ残差メモリ８メモリコントローラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者富高忠房東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】各サーチ範囲の画素データと代表点のデ
ータとを比較して残差を求め、上記残差から動きベクト
ルを求めるようにした動きベクトル検出方法において、上記サーチ範囲の長さをＭ、各サーチ範囲の重複部の長
さをＮとしたとき、Ｎ＝Ｍ×（１−（１／Ｐ））但しＰは整数となるように複数のサーチ範囲を重ねるよ
うにしたことを特徴とする動きベクトル検出方法。