JPH02224490A - 動きベクトル検出回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、テレビジョン画像に代表されるディジタル動
画像の符号化−おけるデータ圧縮にかかるものであり、
特に動き補償を行なうフレーム間符号化において動きベ
クトル検出を行なう動きベクトル検出回路に関するもの
である。

［従来の技術］ テレビジョン画像などのフレーム間符号化においては、
動き部分に対する符号化能率低下を改善するため、動き
補償が行なわれる。この動き補償では、動体の動き方向
と速さを示す動きベクトルが用いられ、ブロックマツチ
ング方式と呼ばれる二次元ブロック単位で動きベクトル
を検出する方法が実用化されている（例えば、特公昭６
３−２００７５号公報参照）。

ここで、第２図および第３図を参照しながら、ブロック
マツチング方式における動きベクトル検出手法について
説明する。この手法では、第２図に示すように、現フレ
ーム１０における現ブロック１２と、前フレーム１４に
おける現ブロック相当位置から試行ベクトルＶＫｉ（Ｃ
１，２，３，−）変位した多数のブロックＱＢｉ（ｉ＝
１．２，３．・・・）との間で、各々相関が調べられる
。ブロックＱＢｉ　（ｉ＝１．２．３．−・・）は、補
償範囲１８で多数設定される。その結果、最大の相関を
示した試行ベクトルＶＫｉが、動きベクトルと判定され
る。

例えば、第３図に示すように、現フレームにおける木の
画像を含む現ブロック１２と補償範囲１８内の多数のブ
ロックＱＢｉ（ｉ＝１．２．３．−・司との相関が各々
求められ、相当同一画像を含むブロックＱＢｎが最大の
相関を示すものとして、その試行ベクトルＶＫｎが動き
ベクトルと判定される。

しかしながら、このような手法では、動きベクトル判定
に要する演算量が膨大となり、実用的ではない、これを
改善するものとして、特公昭６３−２００７５号公報に
開示されたフレーム間符号化手法がある。この方法は、
第４図に示すように、入力画像ないし原画像Ｑと比較画
像Ｘとより、直接多段階に分けて動きベクトルが求めら
れる。

同図において、原画像ＱからＬ×Ｍ画素のブロックＱＢ
が切り出される。他方、比較画像Ｘでは、前記ブロック
ＱＢの位置に対しＡ、Ｂ、Ｃ。

Ｄ方向の位置にあるＬ×Ｍ画素のブロック、すなわちＡ
、Ｂ、Ｃ，Ｄを中心とするブロックＸＢａ、ＸＢｂ、Ｘ
Ｂｃ、ＸＢｄが各々切り出される。そして、これらと前
記ブロックＱＢとの相関が評価関数を用いて求められ、
最も相関の強い第一段での動きベクトルＤが求められる
。なお。

以下同様にして、動きベクトルを先頭の位置で表わすこ
ととする。

次に、動きベクトルＤに対しＤ１〜Ｄ９方向の位置にあ
るＬ％Ｍ画素のブロックＸＢｄ　ｌ〜ＸＢｄ９が各々切
り出される。そして、これらと前記ブロックＱＢとの相
関が、上述した場合と同様にして求められ、最も相関の
強い第二段での動きベクトルＤ２が求められる。

更に、動きベクトルＤ２に対し、その周辺の位置０２１
−Ｃ２９にあるＬ×Ｍ画素の９個のブロックが各々同様
に切り出される。そして、これらと前記ブロックＱＢと
の相関が、上述した場合と同様にして求められ、最も相
関の強い第三段での動きベクトルＤ２１が求められる。

以上の操作によって、ブロックＱＢの動きベクトルが最
終的に決定されることになる。このような手法によれば
、第２図及第３図に示した手法よりも演算量は低減され
る。

［発明が解決しようとする課題］ しかしながら、このような従来技術では、第一段の動き
ベクトルに基づいて第二段で求められる動きベクトルが
一つであるため、ブロックの大きさが小さい場合にはま
だ演算量が多いという不都合がある。

また、画像の大まかな特徴を捕らえていないため、誤検
出が起こる場合があるという不都合もある０例えば、第
一段の動きベクトル検出においては、Ａ、Ｂ、Ｃ，Ｄ方
向の位置にあるブロックが各々切り出されるが、これら
と関係のない方向に画像が動いているような場合には、
良好に動きベクトルの検出を行なうことができない。

本発明は、かかる点に鑑みてなされたもので。

より少ない演算量で良好に動きベクトルの検出を行なう
ことができる動きベクトル検出回路を提供することを、
その目的とするものである。

［課題を解決するための手段Ｊ 本発明の一つは、入力画像と比較画像との間の動きベク
トルを、所定の相関演算を行なってＬ×Ｍ画素のブロッ
ク毎に検出する動きベクトル検出回路において、前記入
力画像および比較画像の画素のサンプリングを多段階で
行なって動きベクトル検出に必要なブロックの切り出し
を行なう切り出し回路と、これによって切り出されたブ
ロックにより、動きベクトル検出の相関演算を多段階で
行なう検出回路とを備えたことを特徴とするものである
。

他の発明は、前記検出回路は、第２段階以降で複数の動
きベクトル検出を行なうことを特徴とす゛るものである
。

更に他の発明は、前記切り出し回路は、前記入力画像お
よび比較画像の少なくとも一方について画素のサブサン
プリングを行なうことを特徴とするものである。

［作用］ 本発明によれば、入力画像ないし比較画像のサンプリン
グが行なわれ、これからブロックの切り出しが行なわれ
る１例えば、画素の１／２．１／４の間引が行なわれ、
間引画像から動きベクトル検出に必要なブロックの切り
出しが多段階に行なわれる。また、動きベクトルの検出
も多段階で行なわれる。このとき、第２段階以降では、
−度に複数の動きベクトルの検出が行なわれる。更に、
必要に応じて、入力画像ないし比較画像のサブサンプリ
ングが行なわれる。

［実施例Ｊ 以下、本発明の実施例について、添付図面を参照しなが
ら説明する。なお、上述した従来例と同様の構成部分に
ついては、同一の符号を用いることとする。

第１図には、本発明の一実施例の構成が示されている。

同図において、入力画（Ｉ　Ｑはフレームメモリ２０に
格納されるようになっており、比較画像Ｘはフレームメ
モリ２２に格納されるようになっている。フレームメモ
リ２０の出力側は、切出回路２４．２６．２８の入力側
に各々接続されており、フレームメモリ２２の出力側は
、切出回路３０．３２．３４の入力側に各々接続されて
いる。

切出回路２４．３０の出力側は第一段検出回路３６の入
力側に各々接続されでおり、切出回路２６．３２の出力
側は第二段検出回路３８の入力側に各々接続されており
、更に、切出回路２８゜３４の出力側は第三段検出回路
４０の入力端に各々接続されている。

また、第一段検出回路３６の出力側は切出回路３２の入
力端に接続されており、第二段検出回路３８の出力側は
切出回路３４の入力側に接続されている。そして、第三
段検出回路４０の出力側が、最終的な動きベクトル検出
出力となっている。

以上の各部のうち、切出回路２４．３０は、後述する１
／４の間引画像から所定の画素ブロックを各々切出すも
のであり、切出回路２６゜３２は、後述する１／２の間
引画像から所定の画素ブロックを各々切出すものである
。更に、切出口路２８．３４は１間引のない画像から所
定の画素ブロックを各々切り出すものである。

次に、第一段検出回路３６は、入力された画素ブロック
に基づいて相関の演算を行なうことにより、第一段の動
きベクトルを検出するものである。第二段検出回路３８
は、入力された画素ブロックに基づいて相関を演算を行
なうことにより、第二段の動きベクトルを検出するもの
である。更に、第三段検出回路４０は、入力された画素
ブロックに基づいて相関を演算を行なうことにより、第
三段の動きベクトルを検出するものである。

次に、上記実施例の作用について説明する０本実施例で
は、第５図に示すように、入力画像および比較画像のい
ずれにおいても画素の間引ないしサンプリングが行なわ
れる。この例では、水平。

垂直いずれの方向とも１／４．１／２の間引が行なわれ
、３段階で８／８画素のブロックの動きベクトル検出が
行なわれる。

第５図に示すように、原画像Ｇ上の４×４ブロツク（３
２Ｘ　３２画素）は、１／２の間引を行なった画像Ｇ２
上では２×２ブロツク（１６×１６画素）に相当し、ｌ
／４の間引を行なった画像Ｇ４上ではｌｘｌブロック（
８×８画素）に相当する。

〈第一段の動きベクトル検出〉 最初に、入力画像Ｑに対して１／４の間引が行なわれて
、第６図に示すように１／４間引入力画像ＱＧ４が生成
される。そして、この間引画像ＱＧ４から動きベクトル
検出対象の８×８画素のブロックＱＢＩが切り出される
。この操作は、切出回路２４によって行なわれる。

他方、同様に、比較画像Ｘに対してｌ／４の間引が行な
われて１／４間引比較画像ＸＧ４が生成される。そして
、この間引画像ＸＧ４から、ブロックＱＢＩに対する２
５個の試行ベクトル（同図矢印参照）方向に相当する８
×８画素のブロックＸＢ１．１（ｎ＝１〜２５）が各々
切り出される。この操作は、切出回路３０によって順次
行なわれる。

以上のようにして切り出されたブロックＱ旧、ＸＢＬ、
ｉは、いずれも第一段検出回路３６に入力され、ここで
両ブロック間の相関が適宜の評価関数を用いて従来例と
同様に求められる。そして、ブロックＸＢ１．ｉのうち
相関が最大となるブロックの試行ベクトルが第１の動き
ベクトルとして検出される。

ここでは、試行ベクトルＭＶＩが第１の動きベクトルと
して検出され（第６図参照）、第一段検出回路３６から
切出回路３２に出力されたものとする。

〈第二段の動きベクトル検出〉 次に、以上のようにして検出された第１の動きベクトル
ＭＶＩを初期値として、第二段の動きベクトル検出が行
なわれる。

この場合には、入力画像Ｑに対して１／２の間引が行な
われて、第７図に示すように１／２間引入力画像ＱＧ２
が生成される。他方、同様に、比較画像Ｘに対して１／
２の間引が行なわれてｌ／２間引比較画像ＸＧ２が生成
される。

上述した１／４間引入力画像ＱＧＪ上のブロックＱＢｌ
は、第７図に示す１７２間引入力画像ＱＧＺ上では４つ
の８×８画素のブロックＱＢ２．■　（１１＝１〜４）
に相当する（第５図参照）、第二段の動きベクトル検出
は、これらの４つのブロックＱＢ２．ｍ　（ｍ＝１〜４
）毎に行なわれる。

前記の場合と同様にして、１／２間引入力画像ＱＧ２か
ら動きベクトル検出対象のブロックＱＢ２．ｍｆ＋ａＪ
、２．３．４のいずれか）が切り出される。この操作は
、切出回路２６によって行なわれる。他方、１／２間引
比較画像ＸＧ２から、ブロックＱＢ２．ｍに対する９個
の試行ベクトル（第７図矢印参照）方向に相当する８×
８画素のブロックＸＢ２．ｍ、ｊ　ｆｍ＝１゜２．３．
４のいずれか、ｊ＝１〜９）が各々切り出される。

この操作は、切出回路３２によって順次行なわれる。

例えば、切出回路２６からブロックＱＢ２．１が第二段
検出回路３８に出力されているときは、切出回路３２か
らブロックＸＢ２．１．ｊ　（ｊ＝１〜９１が第二段検
出回路３８に出力され（第７図参照）、切出回路２６か
らブロックＱＢ２．２が第二段検出回路３８に出力され
ているときは、切出回路３２からブロックＸＢ２．２．
ｊ　（ｊ＝１〜９）が第二段検出回路３Ｂに出力される
。ｍ＝３．４の場合についても同様である。

以上のようにして切り出されたブロックＱＢ２．ｍ、Ｘ
Ｂ２．＋ｏ、ｊは、いずれも第二段検出回路３８に入力
され、ここで両ブロック間の相関が適宜の評価関数を用
いて同様に求められる。そして、ブロックＸＢ２．ｌｌ
、　ｊのうち相関が最大となるブロックの試行ベクトル
が第２の動きベクトルとして検出される。

以上の操作が、　ｍ＝１，２．３．４に対して各々行な
われ、ＱＢ２．ｍ　（ｍ＝１〜４）の各ブロック毎に動
きベクトル検出対象（Ｉｎ＝１〜４）が各々検出される
。検出された動きベクトルＭＶ２．ｍは、第二段検出回
路３８から切出回路３４に出力される。

く第三段の動きベクトル検出〉 次に、以上のようにして検出された４つの第２の動きベ
クトルＭＶ２．ｍ　（ｍ＝１〜４）を初期値として、第
三段の動きベクトル検出が行なわれる。この場合には、
画像の間引は行なわれず、入力画像Ｑ、比較画像Ｘがそ
のまま使用される。

上述した１／２間引入力画像ＱＧＺ上のブロックＱＢ２
．ａ＋　ｌｍ＝１〜４）は、入力画像Ｑ上では、第８図
に示す１６個の８×８画素のブロックＱＢ３．ｎ　（ｎ
＝１〜１６１に相当する（第５図参照）、第三段の動き
ベクトル検出は、これらの１６個のブロック毎に行なわ
れる。

前記の場合と同様にして、入力画像Ｑから動きベクトル
検出対象のブロックＱＢ３．ｎ　（ｎ＝Ｌ〜１６のいず
れか）が切り出される。この操作は、切出回路２８によ
って行なわれる。他方、比較画像Ｘから、ブロックＱＢ
３．ｎに対する９個の試行ベクトル（第８図矢印参照）
方向に相当する８×８画素のブロックＸＢ３．ｎ、ｋ　
（ｎ＝１〜１６のいずれか、に＝１〜９）が各々切り出
される。この操作は、切出回路３４によって順次行なわ
れる。

例えば、切出回路２８からブロックＱＢ３．　ｉが第三
段検出回路４０に出力されているときは、切出回路３４
からブロックＸＢ３．１．ｋ　（ｋ＝１〜９１が第三段
検出回路４０に出力され（第８図参照）、切出回路２８
からブロックＱＢ３．２が第三段設検出回路４０に出力
されているときは、切出回路３２からブロックＸＢ３，
２．ｋ　１ｋ＝１〜９）が第三段検出回路４０に出力さ
れる。ｎ・３，４．〜．１６の場合についても同様であ
る。

以上のようにして切り出されたブロックＱＢ３．ｎ。

ＸＢ３．ｎ、には、いずれも第三段検出回路４０に入力
され、ここで両ブロック間の相関が適宜の評価間数を用
いて同様に求められる。そして、ブロックＸＢ３．　ｎ
、　ｋのうち相関が最大となるブロックの試行ベクトル
が第３の動きベクトルとして検出される。

以上の操作が、ｎＪ、２．〜．１６に対して各々行なわ
れ、ＱＢ３．ｎ　（ｎ：１−１６１の各ブロック毎に動
きベクトルＭＶ３．ｎ　（ｎ＝１〜１６１が各々検出さ
れる。検出された動きベクトルＭＶ３．ｎは、第三段検
出回路４０から最終的な検出動きベクトルとして出力さ
れる。

以上の動作を全体的に示すと、第９図に示すようになる
。すなわち、第一段で動きベクトルＭＶＩが検出され、
第二段で動きベクトルＭＶ２．＋ｍ　（ｍ＝１〜４）が
検出され、第三段で動きベクトルＭＶ３．ｎ　（ｎ＝１
〜１６１が検出される。

これらの動作によって、±１１画素の動きベクトルの検
出が可能となる。第１０図には、以上の動作によって検
出された動きベクトルが、同一尺度で示されている０図
中、小丸印は原画の動きベクトルであり、大丸印は原画
および１／２間引画での動きベクトルであり、二重丸は
原画、１／２間引画および１／４間引画での動きベクト
ルである。

第４図に示した従来の手法では、±８画素の動きベクト
ルを求めるために、８×８画素のブロック当たり４＋９
＋９＝２２回の評価関数の演算を必要としていた。

これに対し、本実施例では、８ｘ８画素のブロック１６
個全体で２５＋９Ｘ４＋９Ｘ１６＝２０５回の評価関数
の演算によって、最終的な動きベクトルの検出が行なわ
れる。これを８×８画素のブロック当たりに換算すると
、約１３回となる。すなわち、従来と比較して、演算量
が２２回から１３回に低減される。

また１本実施例では、検出される動きベクトルの範囲も
広く、結果的に少ない演算量で広い探索範囲における動
きベクトル検出を行なうことができる。

なお、本発明は、何ら上記実施例に限定されるものでは
なく、例えば、上記実施例では、３段階で最終的な動き
ベクトルを検出するようにしたが、これ以外の数段階で
求めるようにしてもよい。

また、上記実施例では、入力画像、比較画像の双方につ
いて間引を行なったが、いずれか一方については間引を
行なうことなく適当なサブサンプルによって画像を生成
するようにしてもよい。

更に、上記実施例では、ブロックを８×８画素としたが
、一般にＬ　Ｘ　Ｍ画素でブロックを構成してよい。

［発明の効果］ 以上説明したように、本発明によれば、入力画像および
比較画像のいずれにおいても画素の間弓ないしサンプリ
ングを行なってブロックの大きさを変化させ、これを用
いて動きベクトル検出の相開演算を行なうようにすると
ともに、第二段以降では複数の動きベクトル検出を行な
うこととしたので、より少ない演算量で良好に動きベク
トルの検出を行なうことができるという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例を示す構成図、第２図〜第４
図は従来の動きベクトル検出手法を示す説明図、第５図
は本実施例における間引ないしサンプリングを示す説明
図、第６図〜第８図は本実施例の各段階における動きベ
クトル検出の説明図、第９図は本実施例の動きベクトル
検出の全体を示す説明図、第１０図は検出された動きベ
クトルを同一縮尺で示す説明図である。 ２０．２２−・・フレームメモリ、２４．２６゜２８．
３０．３２．３４−・・切出回路、３６゜３８．４０・
・・検出回路。 特許出願人　　日本ビクター株式会社 代表者　　垣　木　邦　夫 第 図 １〃 第 履 第 第 第 図 第 ＯｗＪ ％ 手続補正書 （方式） １、事件の表示 平成１年特許願第４５７９８号 ２、発明の名称 動きベクトル検出回路 ３、補正をする者 事件との関係

Claims (3)

【特許請求の範囲】
1. （１）入力画像と比較画像との間の動きベクトルを、所
   定の相関演算を行なってＬ×Ｍ画素のブロック毎に検出
   する動きベクトル検出回路において、 前記入力画像および比較画像の画素のサンプリングを多
   段階で行なって動きベクトル検出に必要なブロックの切
   り出しを行なう切り出し回路と、これによって切り出さ
   れたブロックにより、動きベクトル検出の相関演算を多
   段階で行なう検出回路とを備えたことを特徴とする動き
   ベクトル検出回路。
2. （２）請求項１記載の動きベクトル検出回路において、
   前記検出回路は、第二段階以降で複数の動きベクトル検
   出を行なうことを特徴とする動きベクトル検出回路。
3. （３）請求項１又は２記載の動きベクトル検出回路にお
   いて、前記切り出し回路は、前記入力画像および比較画
   像の少なくとも一方について画素のサブサンプリングを
   行なうことを特徴とする動きベクトル検出回路。