JP2897669B2

JP2897669B2 - 動きベクトル検出装置

Info

Publication number: JP2897669B2
Application number: JP33971894A
Authority: JP
Inventors: 高水新原; 裕史中川
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1994-12-28
Filing date: 1994-12-28
Publication date: 1999-05-31
Anticipated expiration: 2014-05-31
Also published as: JPH08186820A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償フレーム間予
測符号化装置等に使用される動きベクトル検出装置に関
するものである。

【０００２】

【従来の技術】動画像の高能率符号化に用いられる動き
補償フレーム間予測には、動きベクトルの推定が必要で
あり、そのために動きベクトル検出装置が用いられてい
る。そして、この動きベクトル検出装置では、処理画像
データと参照画像データとから各ブロックごとの動きベ
クトルを検出した後、誤った動きベクトルを検出した場
合に正しく修正するようにしている。

【０００３】この修正を行う従来の動きベクトル検出装
置の例として、特開昭６１−２００７８９号に開示され
ている動きベクトル検出装置のブロック構成図を図８に
示し、処理ブロックの説明図を図９に示して以下簡単に
説明する。同図において、１は入力される現フレームの
画像（処理画像データ）、２はフレームメモリ、３は動
きベクトル検出回路、４は前フレームの画像（参照画像
データ）、５は動きベクトル修正回路、６はベクトル蓄
積メモリである。

【０００４】まず、現フレームの画像１は、フレームメ
モリ２に供給されて蓄積されると共に、動きベクトル検
出回路３及び動きベクトル修正回路５に供給される。ま
た、フレームメモリ２には、前フレームの画像４が予め
蓄積されており、動きベクトル検出回路３及び動きベク
トル修正回路５に供給される。そして、動きベクトル検
出回路３では、現フレームの画像１と前フレームの画像
４とから、動き補償ブロック毎（例えば１６×１６画
素）に１フレーム間の動きベクトルが検出されて、動き
ベクトル修正回路５に供給される。

【０００５】動きベクトル修正回路５では、既に修正さ
れた動きベクトルを用いて動き補償ブロック毎の動きベ
クトルの修正を行う。例えば、処理ブロックＢ４の修正
を行う場合は、この処理ブロックＢ４の周辺ブロックの
うち、既に修正が行われたブロックＢ０，Ｂ１，Ｂ２，
Ｂ３の動きベクトルをベクトル蓄積メモリ６から読み出
して、処理ブロックＢ４の動きベクトルとの相関を求め
る。また、処理ブロックＢ４及び周辺ブロックＢ０，Ｂ
１，Ｂ２，Ｂ３の動きベクトルを用いて動き補償予測を
行ったブロックをフレームメモリ２から読み出して、予
測誤差の演算を行う。そして、動きベクトルの相関が低
い場合や周辺ブロックＢ０，Ｂ１，Ｂ２，Ｂ３の動きベ
クトルによる動き補償予測誤差値が小さい場合、処理ブ
ロックＢ４の動きベクトルを周辺ブロックＢ０，Ｂ１，
Ｂ２，Ｂ３の動きベクトルに合わせて変更して出力す
る。この動きベクトルは、次の回路に出力されると共
に、既に修正された動きベクトルとして、ベクトル蓄積
メモリ６に格納する。

【０００６】

【発明が解決しようとする課題】上記した従来の動きベ
クトル検出装置は、１つの処理ブロックに対して修正を
行う場合に、４つの周辺ブロックの動きベクトルに対す
る動き補償予測誤差値を計算する必要があり、演算量や
回路規模が大きくなっていた。また、フレーム間距離の
大きい動きベクトルを修正する場合、周辺ブロックの動
きベクトルも誤っている可能性があり、正しい動きベク
トルを誤って修正してしまうことがあった。そして、双
方向予測フレームであっても、過去に求めた動きベクト
ルだけを用いて修正を行っているため、修正精度が低い
ものとなっていた。

【０００７】そこで本発明は、演算量を少なくすると共
に、双方向予測フレームにおいては、後のフレームとの
相関性も利用することにより、より正確な動きベクトル
の修正を行うことのできる動きベクトル検出装置を提供
することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
の手段として、時間的に異なる複数の入力フレーム画像
から動きベクトルを検出する動きベクトル検出装置であ
って、前記複数の入力フレーム画像のブロックごとの動
きベクトルを検出する動きベクトル検出回路と、この動
きベクトル検出回路によって検出された前記複数の入力
フレーム画像間の同一位置にあるブロックに対する動き
ベクトル相互の距離を検出する距離演算回路と、この距
離演算回路によって検出された各距離を比較して正しい
動きベクトルと誤りのある動きベクトルとを検出する比
較回路と、この比較回路によって検出された前記誤りの
ある動きベクトルを前記正しい動きベクトルを用いて補
正する補正・乗算回路と、を含むことを特徴とする動き
ベクトル検出装置を提供しようとするものである。ま
た、この動きベクトル検出装置において、補正・乗算回
路より出力される補正動きベクトル及びその周囲の動き
ベクトルの評価値と、補正前の動きベクトルの評価値と
をそれぞれ相互比較して、最も良い評価値を有する動き
ベクトルを最適動きベクトルとして出力するよう構成し
たことを特徴とする動きベクトル検出装置を提供しよう
とするものである。

【０００９】

【実施例】本発明の動きベクトル検出装置の一実施例を
図面と共に説明する。ＭＰＥＧ１（Moving Picture Exp
erts Group 1）と呼ばれるディジタル動画像符号化（圧
縮）方式では、Ｉピクチャ（フレーム内符号化画面）、
Ｐピクチャ（フレーム間予測符号化画面）、Ｂピクチャ
（双方向予測符号化画面）が用いられている。そして、
例えば、Ｉ０，Ｂ０，Ｂ１，Ｐ０，Ｂ２，Ｂ３，Ｐ１，
Ｂ４，Ｂ５，Ｐ２，…と入力される画像の動きベクトル
検出を行う場合には、フレームメモリ１１に４枚の画像
（例えば、Ｉ０，Ｂ０，Ｂ１，Ｐ０）を蓄積してから、
最初に、Ｉ０ピクチャを予測参照画像としてＰ０ピクチ
ャの動きベクトルを求め、次に、このＰ０ピクチャより
も前にあるＢ０，Ｂ１ピクチャの動きベクトルをＩ０ピ
クチャ及びＰ０ピクチャを予測参照画像としてそれぞれ
２つづつ求めている。

【００１０】図１は本発明の動きベクトル検出装置の一
実施例を示す構成図であり、図２は双方向予測フレーム
における動きベクトルを示す概念図である。図２におい
て、フレームＦ０は参照フレームとなるフレーム内符号
化画面である。そして、フレームＦ１は双方向予測フレ
ームであり、そのフレームＦ１に含まれるブロックＢ１
は、その前のフレームである参照フレームＦ０に対する
動きベクトルＶ１と参照フレームＦ３に対する動きベク
トルＶ２とを持っている。同様に、フレームＦ１の次の
フレームＦ２も双方向予測フレームであり、そのフレー
ムＦ２に含まれるブロックＢ２は、参照フレームＦ０に
対する動きベクトルＶ３と参照フレームＦ３に対する動
きベクトルＶ４とを持っている。そして、さらに次のフ
レームＦ３は片方向予測フレームであり、そのフレーム
Ｆ３に含まれるブロックＢ３は、参照フレームＦ０に対
する動きベクトルＶ５を持っている。また、各ブロック
Ｂ１〜Ｂ３は、各フレームＦ１〜Ｆ３の同一位置にある
ブロックであり、動きベクトルの検出を行う１６×１６
画素または８×８画素等の単位ごとに区切られたブロッ
クである。

【００１１】このようなフレームＦ０〜Ｆ３は、図１に
示した動きベクトル検出装置のフレームメモリ１１に順
次供給される。そして、このフレームメモリ１１に蓄積
されているフレームＦ０〜Ｆ３が動きベクトル検出回路
１２に供給され、フレームＦ１〜Ｆ３の動きベクトルが
ブロック単位で検出され、ベクトル蓄積メモリ１３に格
納される。動きベクトル検出回路１２によって各フレー
ムＦ１〜Ｆ３の全てのブロックの動きベクトルが検出さ
れ、ベクトル蓄積メモリ１３に格納された後、このベク
トル蓄積メモリ１３から各フレームＦ１〜Ｆ３の同一位
置にあるブロックＢ１〜Ｂ３の動きベクトルＶ１〜Ｖ５
が動きベクトル補正回路１４に供給される。動きベクト
ル補正回路１４では、動きベクトルＶ１〜Ｖ５の中で誤
検出されたベクトルが存在するか否かを最大２個まで検
出し、誤検出されたベクトルを正しいと判定されたベク
トルをもとに補正して出力する。

【００１２】ここで、動きベクトル補正回路１４の構成
例を図３に示し、その動作を以下に説明する。供給され
る動きベクトルＶ１〜Ｖ５は、最初に選択回路２１に蓄
積される。この選択回路２１では、５個の動きベクトル
Ｖ１〜Ｖ５から２組の組み合わせ（₅Ｃ₂＝１０通り）
を選択して距離演算回路２２に順次出力される。距離演
算回路２２では、フレーム間の距離を考慮にいれて、各
組合せにおける動きベクトル間の距離Ｄ０〜Ｄ９を求め
る。この動きベクトル間の距離Ｄ０〜Ｄ９は、次のよう
になる。

【００１３】

【数１】

【００１４】したがって、動きベクトル間の距離Ｄ０〜
Ｄ９（以下、Ｄｉで表すこともある）が、０であれば、
２つの動きベクトルが正しく、異なっていても小さけれ
ば誤差の範囲となる。そこで、この距離演算回路２２に
て求められたＤｉを、順次、比較器２３に供給して、各
Ｄｉごとに定められたしきい値Ｔｈｉと比較を行って、
１ビットの信号（ｂｉ）として０または１の結果を出力
する。

【００１５】

【数２】

【００１６】この動きベクトル間の距離Ｄ０〜Ｄ９のそ
れぞれの比較結果は１つにまとめられて、１０ビットの
情報として、シフト回路２４に供給される。その結果、
誤った動きベクトルがある場合には、その動きベクトル
が関与する動きベクトル間の距離Ｄｉの値が大きくなり
シフト回路２４に供給される信号は１となる。

【００１７】例えば、動きベクトルＶ２が誤っていた場
合、動きベクトル間の距離Ｄ０，Ｄ４，Ｄ５，Ｄ６の値
が大きくなり、ビット情報ｂｉは、次のようになる。（b0,b1,b2,b3,b4,b5,b6,b7,b8,b9 ）＝（1,0,0,0,1,1,
1,0,0,0 ）また、動きベクトルＶ３，Ｖ５が誤っていた場合、動き
ベクトル間の距離Ｄ１，Ｄ３，Ｄ４，Ｄ６，Ｄ７，Ｄ
８，Ｄ９の値が大きくなり、ビット情報ｂｉは、次のよ
うになる。（b0,b1,b2,b3,b4,b5,b6,b7,b8,b9 ）＝（0,1,0,1,1,0,
1,1,1,1 ）

【００１８】そして、このビット情報ｂｉは、シフト回
路２４からテーブル２５にアドレスとして出力される。
なお、ビット情報ｂｉの示すアドレスは、テーブル２５
のアドレスであり、以下の説明中、動きベクトルのアド
レスが示すのは、ベクトル蓄積メモリ１３のアドレスで
ある。

【００１９】このテーブル２５は、図４に示すように、
誤検出の動きベクトルの情報と参照すべき動きベクトル
の情報及びフレーム間距離に基づく係数が、動きベクト
ルごとに蓄積されている。そして、誤検出の動きベクト
ルの場合、選択回路２１に蓄積されている動きベクトル
のうち、補正に用いる動きベクトルのアドレスが３ビッ
トで表現され、この動きベクトルを用いて補正する際に
用いる係数が４ビットで表現されている。また、誤検出
でない場合は、選択回路２１に蓄積されているその動き
ベクトルのアドレスが３ビットで表現され、係数は１と
なっている。

【００２０】例として、ビット情報ｂｉが次の場合を考
える。（b0,b1,b2,b3,b4,b5,b6,b7,b8,b9 ）＝（1,0,0,0,1,1,
1,0,0,0 ）このビット情報ｂｉの示すアドレスは０ｘ２３８（１６
進数）であり、この場合は動きベクトルＶ２が誤ってい
ると考えられるので、このアドレスには、動きベクトル
Ｖ２に対応するアドレス情報（参照ベクトル）として動
きベクトルＶ３が示され、係数は−１となっている。そ
して、その他のアドレス情報は動きベクトル自身のアド
レスを示し、係数は１となっている。なお、動きベクト
ルＶ２に対応するアドレス情報には、正しい参照動きベ
クトルのアドレスが入っていれば良いので、動きベクト
ルＶ３の代りに、例えば、動きベクトルＶ１にして係数
を−２にしたり、動きベクトルＶ４にして係数を２にし
ても良い。

【００２１】この様にしてテーブル２５から出力される
３５ビットの情報は、乗算回路２６に供給される。この
乗算回路２６では、供給される情報に基づいて、選択回
路２１から順次動きベクトルを読み出して、それぞれの
動きベクトルに対する係数を乗算して、補正した動きベ
クトルとして出力する。

【００２２】また、テーブル２５に蓄積されている情報
は、図５に示すように、４ビットの乗算係数（１）、３
ビットの参照動きベクトル情報（１）、４ビットの乗算
係数（２）、３ビットの参照動きベクトル情報（２）及
び５ビットの誤り検出情報とからなる１９ビットの情報
で構成しても良い。この場合、５ビットの誤り検出情報
は、動きベクトルの正誤が各ビットの０，１に対応して
おり、その中には、最大２個の誤り動きベクトルが示さ
れ、その動きベクトルに対するアドレス情報（参照動き
ベクトル情報（１），（２））と乗算係数（１），
（２）の合計７ビット×２組の情報が含まれている。

【００２３】例えば、ビット情報ｂｉが次のような場合
であるとする。（b0,b1,b2,b3,b4,b5,b6,b7,b8,b9 ）＝（0,1,0,1,1,0,
1,1,1,1 ）このビット情報ｂｉの示すアドレスは０ｘ１６Ｆ（１６
進数）であり、この場合は動きベクトルＶ３，Ｖ５の２
組の動きベクトルが誤っていると考えられるので、この
アドレスのデータとして、誤り検出情報は、“００１０
１”となり、参照動きベクトル情報（１）は動きベクト
ルＶ２のアドレスが示されて乗算係数（１）は−１とな
る。さらに、参照動きベクトル情報（２）は動きベクト
ルＶ１のアドレスが示されて乗算係数（２）は３とな
る。

【００２４】そして、このときの乗算回路２６は、誤り
検出情報をベクトル順に読み出し、誤り検出でない場合
には、その動きベクトルのアドレスを生成して、選択回
路２１から読み出して出力する。誤検出である場合に
は、３ビットの参照動きベクトル情報（１），（２）を
基にして補正に用いる動きベクトルを選択回路２１から
読み出し、乗算係数（１），（２）を乗算して出力して
いる。

【００２５】上述した実施例では、５個の動きベクトル
を用いて最大２個の動きベクトルの誤検出を行って、補
正することができる。また、検出誤りの起きやすいフレ
ーム間距離の大きい動きベクトルに対して、フレーム間
距離の短い動きベクトルを用いて修正することが可能と
なる。

【００２６】このように、単に係数による修正を行うだ
けでなく、修正された動きベクトルの周辺の動きベクト
ルに対する評価値を演算し、評価値の良い動きベクトル
を選択するようにしても良い。この評価を行う本発明の
他の実施例を図６に示し、その動作を図７のフローチャ
ート図に示して、以下に説明する。

【００２７】まず、上記した実施例と同様に、フレーム
Ｆ０〜Ｆ３はレームメモリ１５に順次供給される。そし
て、このフレームメモリ１５に蓄積されているフレーム
Ｆ０〜Ｆ３が動きベクトル検出回路１６に供給され（Ｓ
１）、フレームＦ１〜Ｆ３の全ての動きベクトルとその
評価値が各ブロック単位で検出され（Ｓ２）、ベクトル
蓄積メモリ１７に格納される（Ｓ３）。評価値は、処理
フレームのブロックをＣur、参照フレームの参照ブロッ
クをＲef(mv.org.) とすると、それらの各画素の差の絶
対値の総和で表される。

【００２８】

【数３】

【００２９】そして、ベクトル蓄積メモリ１７から動き
ベクトル補正回路１８に各ブロック単位に５個の動きベ
クトルＶ１〜Ｖ５が読み出され、上述した実施例と同様
にして、動きベクトルの誤り検出が行われ、その補正動
きベクトルが演算される（Ｓ４）。そして、この補正動
きベクトルと補正を行う処理フレームのアドレス及び参
照フレームのアドレスを評価値演算回路１９に出力する
（Ｓ５）。

【００３０】評価値演算回路１９では、補正を行う処理
フレームのブロックＣurと、補正動きベクトルで示され
る参照フレームの参照ブロックＲef(mv.new.1)、及びそ
の周辺の画素を指示する動きベクトルで示される参照フ
レームの参照ブロックＲef(mv.new.j)（例えば、補正動
きベクトルで示される画素の周囲８画素それぞれを指示
する動きベクトルにそれぞれ対応する参照ブロックＲef
(mv.new. 2〜9)）をフレームメモリ１５より読み出し
て、各動きベクトルに対する評価値を演算し（式４），
（Ｓ６）、最適な（評価値の最も小さい）動きベクトル
とその評価値を動きベクトル補正回路１８に出力する
（Ｓ７）。

【００３１】

【数４】

【００３２】動きベクトル補正回路１８では、誤検出さ
れた動きベクトルの評価値と、評価値演算回路１９から
供給された補正動きベクトルまたはその周辺の画素を指
示する動きベクトルの評価値とを比較して（Ｓ８）、評
価値の小さい方の動きベクトルを最適の動きベクトルと
して出力する（Ｓ９）。このようにすることにより、補
正動きベクトルが誤っている場合に正しい動きベクトル
を誤って補正することを防止することができ、さらに、
補正動きベクトルの指示する画素の周辺の画素を指示す
る動きベクトルも合わせて、評価値の比較対象にしてい
るので、より正確な補正が可能になる。

【００３３】

【発明の効果】本発明の動きベクトル検出装置は、複数
の入力フレーム画像間の同一位置にあるブロックに対す
る動きベクトル相互の距離を検出して比較することによ
り、正しい動きベクトルと誤りのある動きベクトルとを
検出し、正しい動きベクトルを用いて誤りのある動きベ
クトルを補正するように構成したので、周辺ブロックの
動きベクトルを使用せずに、動きベクトルの補正が可能
となる。このため、演算量や回路規模を小さくすること
ができ、さらに、周辺ブロックの動きベクトルが誤って
いる場合に正しい動きベクトルを誤って修正してしまう
ことを防止できる。

【００３４】また、補正動きベクトル及びその周囲の動
きベクトルの評価値と、補正前の動きベクトルの評価値
とをそれぞれ相互比較して、最も良い評価値を有する動
きベクトルを最適動きベクトルとして出力するよう構成
した場合には、正しい動きベクトルを誤って修正してし
まうことを防止することができるという効果がある。

【図面の簡単な説明】

【図１】本発明の動きベクトル検出装置の一実施例を示
す構成図である。

【図２】本発明の一実施例の動きベクトルの例を示す概
念図である。

【図３】本発明の一実施例に使用される動きベクトル補
正回路の例を示す構成図である。

【図４】動きベクトル補正回路のテーブルの一例を示す
図である。

【図５】動きベクトル補正回路のテーブルの他の例を示
す図である。

【図６】本発明の動きベクトル検出装置の他の実施例を
示す構成図である。

【図７】他の実施例の動作を示すフローチャート図であ
る。

【図８】従来例を示す構成図である。

【図９】従来例の処理ブロックを示す説明図である。

【符号の説明】

１１，１５フレームメモリ１２，１６動きベクトル検出回路１３，１７ベクトル蓄積メモリ１４，１８動きベクトル補正回路１９評価値演算回路２１選択回路２２距離演算回路２３比較器２４シフト回路２５テーブル２６乗算回路

Claims

(57)【特許請求の範囲】

【請求項１】時間的に異なる複数の入力フレーム画像か
ら動きベクトルを検出する動きベクトル検出装置であっ
て、前記複数の入力フレーム画像のブロックごとの動きベク
トルを検出する動きベクトル検出回路と、この動きベクトル検出回路によって検出された前記複数
の入力フレーム画像間の同一位置にあるブロックに対す
る動きベクトル相互の距離を検出する距離演算回路と、この距離演算回路によって検出された各距離を比較して
正しい動きベクトルと誤りのある動きベクトルとを検出
する比較回路と、この比較回路によって検出された前記誤りのある動きベ
クトルを前記正しい動きベクトルを用いて補正する補正
・乗算回路と、を含むことを特徴とする動きベクトル検出装置。
【請求項２】請求項１記載の動きベクトル検出装置にお
いて、補正・乗算回路より出力される補正動きベクトル及びそ
の周囲の動きベクトルの評価値と、補正前の動きベクト
ルの評価値とをそれぞれ相互比較して、最も良い評価値
を有する動きベクトルを最適動きベクトルとして出力す
るよう構成したことを特徴とする動きベクトル検出装
置。