JPH04180383A

JPH04180383A - 動き補償フレーム間予測符号化における動きベクトルの探索回路

Info

Publication number: JPH04180383A
Application number: JP2310206A
Authority: JP
Inventors: Jiro Nakabayashi; 次郎仲林
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1990-11-14
Filing date: 1990-11-14
Publication date: 1992-06-26
Anticipated expiration: 2013-10-15
Also published as: JP2810528B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野コこの発明は、テレビ電話、テレビ会議等の動画像の伝送
装置に用いられるフレーム間予測符号化における動きベ
クトルの探索回路に間する。

［従来の技術］動画符号化アルゴリズムにおけるｉｉ像圧縮技術の１つ
に動き補償フレーム間予測がある。

動画画像の伝送装置では、画像の情報量が膨大なのに対
し、それを伝送する伝送路の回線速度やコストから、情
報量を少なくして伝送しなければならない。

例えば、動きの少ない画像においては、相隣るフレーム
間に強い相関があるので、それを利用することによって
大幅なデータ圧縮が可能である。

一方、動きのある画像においても、処理対象となるフレ
ーム中で動く物体を検出し、それが前のフレームのどの
位置から動いてきたものであるかを予測して、この位置
の画素を予測画素として予測符号化を行うなどのデータ
圧縮が行われる。

動き補償予測とは、画面中の動いている物体に対してそ
の動きを検出し、その動き量分だけ前の両面中で予測に
用いる位置を補正してやることによって、フレーム間予
測を行う方法である。

動き補償予測を精度よく行うためには、画面中の動きを
どのように検出するかにかかってくる。

動きの検出には、実現性や他の処理との親和性からブロ
ックマツチング法が一般的に用いられている。

ブロックマツチング法は、入力画面のあるブロックを、
前画面データとブロック単位で演算し、その結果が最小
となるブロックのベクトルを求め、予測符号化を行うも
のである。

演算結果が最小となるブロックのベクトルを求めること
を動きベクトルの探索と呼んでいる。

探索は、例えば両面を１６Ｘ１６画素のブロックに分割
し、そのブロックのＸ方向（水平方向）、Ｙ方向（Ｉ直
方向）のある範囲内で、ブロック毎に各画素の輝度値の
差分とその絶対値を算出、累算し、その値が最小となっ
たブロックの方向のＸ、Ｙ値をベクトルとするものであ
る。

探索の方法は、その範囲内にある全てのブロックと演算
を行うフルサーチと、演算するブロックのベクトルのＸ
、Ｙ値をステップ的に変化させて演算を行うステップサ
ーチとがある。

ここで、Ｘ、Ｙ値を±４、±２、±１のように変化させ
て演算を行なう３ステツプサーチの探索方法について、
第５図を用いて説明する。

この探索方法は、まず第１ステツプとして、入力ブロッ
クと同じ座標にある前画面のブロックを中心に距離が±
４画画素ある９個のブロック（中心のブロックも含む］
と演算を行う。

次に、第２ステツプとして、第１ステツプで演算結果が
最小となったブロックを中心に±２画素にある９個のブ
ロック（中心のブロックも含む）と演算を行う。

次に、第３ステツプも同様に第２ステツプで演算結果が
最小となったブロックを中心に±１画素にある９個のブ
ロック（中心のブロックも含む）と演算を行い、最小と
なったブロックの座標を探索結果のベクトルとする。

第６図は、従来の動きベクトルの探索回路を示すブロッ
ク図である。

同図において、１３はリファレンスメモリであり、この
リファレンスメモリ１３には１画面分の前画面データが
記憶される。また、　１５はブロックメモリであり、こ
のブロックメモリ１５には１ブロック分の入力データが
記憶される。

ブロックメモリ１５に１ブロック分の入力データが記憶
されると、ＣＰＵ１１はアドレスジェネレータ１２に入
力データと比較されるリファレンスメモリ１３上のデー
タのアドレスを発生させる。

次に、ＣＰＵＩＩからの命令で、シーケンサｌＯよりリ
ファレンスメモリエ３およびブロックメモリ１５にデー
タ転送のタイミングクロックが供給される。メモリ１３
および１５より出力されるデータはそれぞれドライバ１
４および１６を介して演算回路１７に転送される。演算
回路１７では、転送された２つのデータの差分、絶対値
が順次算出され、１６Ｘ１６画素の絶対値が累積される
。

そ′して、演算回路１７における演算結果は、ＣＰＵ１
ｌに供給される。

以上が探索を行なう際の１回の演算処理である。

ｘ、Ｙ値を±４、±２、±１のように変化させて演算を
行う３ステツプサーチでは、各回毎にアドレスジェネレ
ータ１２で発生されるアドレスが変更され、各ステップ
で９回、合計２７回の演算処理が行われる。

第７図は、第６図例の探索回路によって３ステツプサー
チを行うためのフローチャートである。

３ステツプサーチでは、ステップ２１で、ブロックメモ
リ１５に１ブロック分のデータが入力されて記憶された
後、ステップ２２で、入力データと比較されるリファレ
ンスメモリ１３上のデータのアドレスがアドレスジェネ
レータ１２で作成され、さらにステップ２７で、メモリ
１３および１５より読み出されるデータがドライバ１４
および１６を介して演算回路１７に転送される。そして
、ステップ２８で、演算回路１７によって２つのデータ
の差分、絶対値が順次算出され、１６Ｘ１６画素の絶対
値が累積される。

次に、ステップ３０で、上述した演算が９回行なわれた
か否か判断される。９回行なわれていないときには、ス
テップ２２に戻る。９回行なわれているときには、ステ
ップ３１で、９個のブロックのなかから累積結果が最小
であるブロックが選択される。

次に、ステップ３２で、ステップサイズが変更されたの
ち、ステップ３３で、±４、±２、±１の３ステツプし
たか否か判断される。３ステツプしていないときには、
ステップ２２に戻る。そして、新たなステップサイズに
対応する９個のブロックに対して上述したと同様にして
累積結果が求められ、その累積結果が最小であるブロッ
クが選択される。

ステップ３３で、　３ステツプしているときには、ステ
ップ３４で、３ステツプ目で累積結果が最小となったブ
ロックのＸ、Ｙ方向が動きベクトルとされる。

このようにベクトル探索が終了したのち、ステップ３５
で、探索の結果最小となったブロックの累積結果と、ベ
クトル（０，０）の累積結果を比較して動き補償を行う
か否かが判定される（ＭＣ○Ｎ１０ＦＦ判定）が行なわ
れる。

次に、ステップ３６で、最後にフレーム間予測を行うか
否かが判定される（ＩＮＴＥＲ／ＩＮＴＲＡ判定）。

［発明が解決しようとする課題］上述したような動きベクトルの探索では、２つのデータ
の差分、絶対値の算出、および累積の処理が、各画素毎
に行なわれる。したがって、膨大な演算量を処理する必
要がある。

動画像では時間当り処理できるフレーム数によって画質
が大きく左右される。従来の方法を同画像の伝送装置に
用いた場合、探索の処理スピードが問題となってくる。

処理スピードが遅いと単位時間当りの処理フレーム数が
減り、画質が劣化する。

探索の処理スピードを向上させる方法としては、差分、
絶対値の算出、および加算の演算を並列的に行う方法が
考えられる。これは演算回路とその周辺回路を複数持つ
ことによって実現できる。しかし、この方法では回路規
模が大幅に増加する不都合がある。

そこで、この発明では、動きベクトル探索の演算量を削
減することによって、探索の処理時間を削減し、単位時
間当りに処理できるフレーム数を増やすして画質を向上
させることを目的としている。

［ｎ題を解決するための手段］この発明は、画面をあるサイズのブロックに分割して動
きベクトルを探索するものにおいて、前フレームの探索
結果を記憶する記憶手段と、探索を行なう際に記憶手段
に記憶された前フレームの探索結果から効率のよい探索
方法を判定する判定手段とを備え、判定手段で判定され
る探索方法に従って探索を行なうものである。

［作　用］動きベクトルの探索を行う場合に、前のフレームの探索
結果から効率のよい探索方法を判定し、ベクトルの探索
を行うことによって、動きベクトル探索の演算量を削減
することができる。これにより探索の処理時間を削減で
き、従来と同じ符号化アルゴリズムで、単位時間当りに
処理するフレーム数を増やすことができ、従って画質を
向上させることができる。

［実　　施　　例コ以下、第１図を参照しながら、この発明の一実施例につ
いて説明する。この第１図において、第６図と対応する
部分には同一符号を付し、その訂細説明は省略する。

同図において、　１８は前のフレームの動きベクトルの
探索結果とＭＣ０Ｎ１０ＦＦの判定結果が１画面分記憶
される結果メモリであり、この結果メモリ１８はＣＰＵ
ＩＩに接続される。

また、　１９は前フレームの探索結果から次の探索の順
番を決める判定部である。

本例においては、次のフレームの同じ座標のブロックを
探索するときに、まず結果メモリ１８の内容がＣＰＬＩ
ＩＩに読み込まれ、その内容によって効率のよい探索方
法が判定部１９で判定され、その方法に従って探索が行
なわれる。

例えば、テレビ電話やテレビ会議で送る画像は、第３図
のように１人または２．３人の人物像が主である、この
ような画面では人物部４２は動く可能性があるが、背景
部４１はほとんど動きがなく変化しない、したがって、
人物部４２で動き補償予測を行った場合、人物が映って
いる部分では有効であるが、背景部４１ではベクトルの
探索を行っても結果的にＭＣＯＦＦとなる可能性が高く
、探索の処理時間が無駄になる。

また、背景が映し出される画面の位置はフレーム間で強
い相関があるため、ＭＣＯＦＦとなったブロックは次の
フレームでもＭＣＯＦＦとなる可能性が高い、逆に、Ｍ
ＣＯＮとなった場合には、そのブロックは人物部４２の
可能性が高く、次のフレームでもＭＣＯＮとなる可能性
が高い。

第２図は、本例の探索回路によって３ステツプサーチを
行うためのフローチャートである。この第２図において
、第７図と対応するステップには同一符号を付している
。

同図において、ステップ２１で、ブロックメモリ１５に
１ブロック分のデータが入力されて記憶された後、ステ
ップ２２′で、前フレームの同じ座標にあるブロック（
以下「前ブロックノという）における動きベクトルの探
索結果とＭＣ０Ｎ１０ＦＦの判定結果を結果メモリ１８
より読み出すためのアドレスが作成される。

次に、ステップ２３で、結果メモリ１８より前ブロック
における動きベクトルの探索結果とＭＣ０Ｎ１０ＦＦの
判定結果が読み込まれる。

次に、ステップ２４で、前ブロックでＭＣＯＦＦであっ
たか否かの判定が行なわれる。前ブロックでＭＣＯＦＦ
であるときには、現ブロックもＭＣＯＦＦとなる可能性
が高いので、ステップ２４で、ＭＣＯＦＦであるときに
は、ステップ２５で、ＭＣ０Ｎ１０ＦＦの判定が行なわ
れる。この判定では、例えば前ブロックと現ブロックと
の間での累積演算結果が所定値以下であるときには、Ｍ
ＣＯＦＦとされる。

ＭＣＯＦＦとなればベクトルの探索を行なう必要がなく
なる。そのため、ステップ２５で、ＭＣＯＦＦであると
判断されるときには、ステップ３６に進み、Ｉ　ＮＴＥ
Ｒ／Ｉ　ＮＴＲＡの判定が行なわれる。これにより、膨
大な演算が必要となる動きベクトルの探索が省かれる。

また、ステップ２４で、前のブロックがＭＣ０Ｎである
とき、あるいはステップ２５で、ＭＣ０Ｎと判定される
ときには、ステップ２６で、探索方法が判定される。

ここで、ＭＣＯＮと判定され、また前のブロックがＭＣ
ＯＮであったブロックの探索を行なう場合には、現ブロ
ックもＭＣＯＮとなる可能性が高い、また、人物像が動
く場合、その動き方向は隣合うブロック間およびフレー
ム間で強い相関があり、前の動き方向から次の動き方向
をある程度推定することができる。

そこで、ステップ２６では、前フレームの動きベクトル
の値から、演算結果が最小となる可能性の高いブロック
の方向が判定され、第４図Ｂ、Ｃ１Ｄのように、そのブ
ロック（斜線で図示）から順番に探索の演算が開始され
るようにされる。同図Ａは、上述せずも従来例における
画一的な探索の順番を示している。

すなわち、ステップ２６で、探索の順番が決定されると
、ステップ２２〜２８でもって、９個のブロックのそれ
ぞれにおける差分、絶対値の演算および累積演算が順次
行なわれる。

そして、ステップ２９で、各ブロックの演算処理毎に、
ＭＣ０Ｎ１０ＦＦの判定が行なわれる。

この判定では、例えば累積演算結果が所定値以下である
ときには、ＭＣＯＮとされる。

ステップ２９で、ＭＣＯＦＦと判定されるときには、ス
テップ３０に進み、次のブロックの演算処理が行なわれ
る。

しかし、ステップ２９で、ＭＣＯＮと判定されるときに
は、そのブロックが次のステップにおける探索の中心と
されてステップ３２に進む、そして、ステップサイズが
変更されて次のステップの探索に移るか、あるいは３ス
テツプ終了しているときには探索を終了する。

このように本例によれば、例えばテレビ電話やテレビ会
議で動きのない背景部（動きベクトル前ブロックがＭＣ
ＯＦＦであると共に、ＭＣ０ＦＦと判定される）では、
動きベクトルの探索が省かれる。また、例えばテレビ電
話やテレビ会議の人物部では、判定部１９によって前フ
レームの探索結果より動き方向が推定されて各ブロック
の探索順が決定され、そして、そのブロックの累積演算
結果が所定値より小さくなるときには、直ちにＭＣＯＮ
と判定してその他のブロックの演算処理が省略される。

したがって、１フレームの処理時間をベクトルの探索処
理を行わないブロック数の分だけ削減でき、また探索を
行う場合でもその時間が削減でき、単位時間当りの処理
フレーム数が従来に比べ増えることになり、簡単な方法
でテレビ電話やテレビ会議の画面の画質を向上すること
ができる。

なお、上述実施例においては、３ステツプサーチの例を
示したものであるが、ステップ数はこれに限定されるも
のではない０本例は、ステップ数が多い程探索を削減で
きるブロック数が多くなるため、−層効果的なものとな
る。

［発明の効果］以上説明したように、この発明によれば、例えばテレビ
電話やテレビ会議における人物部では、前のフレームの
探索結果より推定される動き方向に基づいて各ブロック
の探索順が決定され、効率のよい探索が行なわれるので
、探索の処理時間を削減することができる。これにより
、単位時間当りの処理フレーム数が従来に比べ増え、テ
レビ電話やテレビ会議の画面の画質を向上させることが
できる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
はその動作を示すフローチャート、第３０はテレビ電話
やテレビ会議の画面を示す図、第４図は探索結果から判
定した次の探索の順番の例を示す図、第５図は３ステツ
プサーチによる探索方法を説明するための図、第６図は
従来例のブロック図、第７図はその動作を示すフローチ
ャートである。１０・・・シーケンサ１１　・　ＣＰＵ１２　・・アドレスジェネレータ１３・・・リファレンスメモリ１５・　・ブロックメモリ１７・・・演算回路１８・・・結果メモリ１９・・・判定部特許出願人　　シャ　−プ株式会社代　　理　　人　　　弁理士　　梅　　１）　　　勝（
＆７ｚる）実施例の７０・・Ｉり図第１図＋　　　　　　　　　　　　１　　　　　　　　　　　
　１（−４，−４）　　　　　（０，−４）　　　　　
　（＋４．−４）（−４，０）　　　　　　（０，０）
　　　　　　　←１，０）（−４，＋４）　　　　　（
０，＋４）　　　　　（＋４．＋４＞３ステツプサーチ
による探索方法従来例のブロック図従来例のフローチャート第７図

Claims

【特許請求の範囲】

（１）画面をあるサイズのブロックに分割して動きベク
トルを探索するものにおいて、前フレームの探索結果を記憶する記憶手段と、探索を行
なう際に上記記憶手段に記憶された上記前フレームの探
索結果から効率のよい探索方法を判定する判定手段とを
備え、上記判定手段で判定される探索方法に従って探索を行な
うことを特徴とする動き補償フレーム間予測符号化にお
ける動きベクトルの探索回路。