JP2810528B2 - 動き補償フレーム間予測符号化における動きベクトルの探索回路 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、テレビ電話、テレビ会議等の動画像の伝
送装置に用いられるフレーム間予測符号化における動き
ベクトルの探索回路に関する。

［従来の技術］ 動画符号化アルゴリズムにおける画像圧縮技術の１つ
に動き補償フレーム間予測がある。

動画画像の伝送装置では、画像の情報量が膨大なのに
対し、それを伝送する伝送路の回線速度やコストから、
情報量を少なくして伝送しなければならない。

例えば、動きの少ない画像においては、相隣るフレー
ム間に強い相関があるので、それを利用することによっ
て大幅なデータ圧縮が可能である。

一方、動きのある画像においても、処理対象となるフ
レーム中で動く物体を検出し、それが前のフレームのど
の位置から動いてきたものであるかを予測して、この位
置の画素を予測画素として予測符号化を行うなどのデー
タ圧縮が行われる。

動き補償予測とは、画面中の動いている物体に対して
その動きを検出し、その動き量分だけ前の画面中で予測
に用いる位置を補正してやることによって、フレーム間
予測を行う方法である。

動き補償予測を精度よく行うためには、画面中の動き
をどのように検出するかにかかってくる。動きの検出に
は、実現性や他の処理との親和性からブロックマッチン
グ法が一般的に用いられている。

ブロックマッチング法は、入力画面のあるブロック
を、前画面データとブロック単位で演算し、その結果が
最小となるブロックのベクトルを求め、予測符号化を行
うものである。

演算結果が最小となるブロックのベクトルを求めるこ
とを動きベクトルの探索と呼んでいる。

探索は、例えば画面を16×16画素のブロックに分割
し、そのブロックのＸ方向（水平方向）、Ｙ方向（垂直
方向）のある範囲内で、ブロック毎に各画素の輝度値の
差分とその絶対値を算出、累算し、その値が最小となっ
たブロックの方向のＸ、Ｙ値をベクトルとするものであ
る。

探索の方法は、その範囲内にある全てのブロックと演
算を行うフルサーチと、演算するブロックのベクトルの
Ｘ、Ｙ値をステップ的に変化させて演算を行うステップ
サーチとがある。

ここで、Ｘ、Ｙ値を±４、±２、±１のように変化さ
せて演算を行なう３ステップサーチの探索方法につい
て、第５図を用いて説明する。

この探索方法は、まず第１ステップとして、入力ブロ
ックと同じ座標にある前画面のブロックを中心に距離が
±４画素にある９個のブロック（中心のブロックも含
む）と演算を行う。

次に、第２ステップとして、第１ステップで演算結果
が最小となったブロックを中心に±２画素にある９個の
ブロック（中心のブロックも含む）と演算を行う。

次に、第３ステップも同様に第２ステップで演算結果
が最小となったブロックを中心に±１画素にある９個の
ブロック（中心のブロックも含む）と演算を行い、最小
となったブロックの座標を探索結果のベクトルとする。

第６図は、従来の動きベクトルの探索回路を示すブロ
ック図である。

同図において、13はリファレンスメモリであり、この
リファレンスメモリ13には１画面分の前画面データが記
憶される。また、15はブロックメモリであり、このブロ
ックメモリ15には１ブロック分の入力データが記憶され
る。

ブロックメモリ15に１ブロック分の入力データが記憶
されると、CPU11はアドレスジェネレータ12に入力デー
タと比較されるリファレンスメモリ13上のデータのアド
レスを発生させる。

次に、CPU11からの命令で、シーケンサ10よりリファ
レンスメモリ13およびブロックメモリ15にデータ転送の
タイミングブロックが供給される。メモリ13および15よ
り出力されるデータはそれぞれドライバ14および16を介
して演算回路17に転送される。演算回路17では、転送さ
れた２つのデータの差分、絶対値が順次算出され、16×
16画素の絶対値が累積される。そして、演算回路17にお
ける演算結果は、CPU11に供給される。

以上が探索を行なう際の１回の演算処理である。X,Y
値を±４、±２、±１のように変化させて演算を行う３
ステップサーチでは、各回毎にアドレスジェネレータ12
で発生されるアドレスが変更され、各ステップで９回、
合計27回の演算処理が行われる。

第７図は、第６図例の探索回路によって３ステップサ
ーチを行うためのフローチャートである。

３ステップサーチでは、ステップ21で、ブロックメモ
リ15に１ブロック分のデータが入力されて記憶された
後、ステップ22で、入力データと比較されるリファレン
スメモリ13上のデータのアドレスがアドレスジェネレー
タ12で作成され、さらにステップ27で、メモリ13および
15より読み出されるデータがドライバ14および16を介し
て演算回路17に転送される。そして、ステップ28で、演
算回路17によって２つのデータの差分、絶対値が順次算
出され、16×16画素の絶対値が累積される。

次に、ステップ30で、上述した演算が９回行なわれた
か否か判断される。９回行なわれていないときには、ス
テップ22に戻る。９回行なわれているときには、ステッ
プ31で、９個のブロックのなかから累積結果が最小であ
るブロックが選択される。

次に、ステップ32で、ステップサイズが変更されたの
ち、ステップ33で、±４、±２、±１の３ステップした
か否か判断される。３ステップしていないときには、ス
テップ22に戻る。そして、新たなステップサイズに対応
する９個のブロックに対して上述したと同様にして累積
結果が求められ、その累積結果が最小であるブロックが
選択される。

ステップ33で、３ステップしているときには、ステッ
プ34で、３ステップ目で累積結果が最小となったブロッ
クのＸ、Ｙ方向が動きベクトルとされる。

このようにベクトル探索が終了したのち、ステップ35
で、探索の結果最小となったブロックの累積結果と、ベ
クトル（0,0）の累積結果を比較して動き補償を行うか
否かが判定される（MC ON/OFF判定）が行なわれる。

次に、ステップ36で、最後にフレーム間予測を行うか
否かが判定される（INTER/INTRA判定）。

［発明が解決しようとする課題］ 上述したような動きベクトルの探索では、２つのデー
タの差分、絶対値の算出、および累積の処理が、各画素
毎に行なわれる。したがって、膨大な演算量を処理する
必要がある。

動画像では時間当り処理できるフレーム数によって画
質が大きく左右される。従来の方法を同画像の伝送装置
に用いた場合、探索の処理スピードが問題となってく
る。処理スピードが遅いと単位時間当りの処理フレーム
数が減り、画質が劣化する。

探索の処理スピードを向上させる方法としては、差
分、絶対値の算出、および加算の演算を並列的に行う方
法が考えられる。これは演算回路とその周辺回路を複数
持つことによって実現できる。しかし、この方法では回
路規模が大幅に増加する不都合がある。

そこで、この発明では、動きベクトル探索の演算量を
削減することによって、探索の処理時間を削減し、単位
時間当りに処理できるフレーム数を増やすして画質を向
上させることを目的としている。

［課題を解決するための手段］ この発明は、画面をあるサイズのブロックに分割して
動きベクトルを探索するものにおいて、前フレームの探
索結果および動き補償ON/OFFの判定結果を記憶する記憶
手段と、探索を行う際に上記記憶手段に記憶された上記
前フレームの判定結果から動き補償を行うか否かを判定
する判定手段と、上記判定手段で動き補償を行うと判定
された際に上記記憶手段に記憶された上記前フレームの
探索結果から探索するブロックの順番を判定する探索順
番判定手段とを備え、上記判定手段では、上記記憶手段
に記憶された、現フレームのブロックと同一座標にある
前フレームのブロックの判定結果が動き補償OFFの場
合、前ブロックと現ブロックとの間での累積演算結果に
基づいて動き補償を行うか否かを判定するものである。

［作用］ 動きベクトル探索に際して、前フレームの判定結果に
基づいて動き補償を行うか否かを判定すると共に、前フ
レームの、現フレームのブロックと同一座標にあるブロ
ックの動き補償がOFFの場合、前ブロックと現ブロック
との間での累積演算結果に基づいて動き補償を行うか否
かを判定する。判定の結果、動き補償を行うとされた場
合、前フレームの探索結果から探索するブロックの順番
を判定して動きベクトルの探索を行い、動き補償を行わ
ないとされた場合は、動き補償を行わずに次のステップ
に進む。これによって、動きベクトル探索の演算量を削
減することができる。これにより探索の処理時間を削減
でき、従来と同じ符号化アルゴリズムで、単位時間当り
に処理するフレーム数を増やすことができ、従って画質
を向上させることができる。

［実施例］ 以下、第１図を参照しながら、この発明の一実施例に
ついて説明する。この第１図において、第６図と対応す
る部分には同一符号を付し、その詳細説明は省略する。

同図において、18は前のフレームの動きベクトルの探
索結果とMC ON/OFFの判定結果が１画面分記憶される結
果メモリであり、この結果メモリ18はCPU11に接続され
る。

また、19は前フレームの探索結果から次の探索の順番
を決める判定部である。

本例においては、次のフレームの同じ座標のブロック
を探索するときに、まず結果メモリ18の内容がCPU11に
読み込まれ、その内容によって効率のよい探索方法が判
定部19で判定され、その方法に従って探索が行なわれ
る。

例えば、テレビ電話やテレビ会議で送る画像は、第３
図のように１人または２、３人の人物像が主である。こ
のような画面では人物部42は動く可能性があるが、背景
部41はほとんど動きがなく変化しない。したがって、人
物部42で動き補償予測を行った場合、人物が映っている
部分では有効であるが、背景部41ではベクトルの探索を
行っても結果的にMC OFFとなる可能性が高く、探索の処
理時間が無駄になる。

また、背景が映し出される画面の位置はフレーム間で
強い相関があるため、MC OFFとなったブロックは次のフ
レームでもMC OFFとなる可能性が高い。逆に、MC ONと
なった場合には、そのブロックは人物部42の可能性が高
く、次のフレームでもMC ONとなる可能性が高い。

第２図は、本例の探索回路によって３ステップサーチ
を行うためのフローチャートである。この第２図におい
て、第７図と対応するステップには同一符号を付してい
る。

同図において、ステップ21で、ブロックメモリ15に１
ブロック分のデータが入力されて記憶された後、ステッ
プ22′で、前フレームの同じ座標にあるブロック（以下
「前ブロック」という）における動きベクトルの探索結
果とMC ON/OFFの判定結果を結果メモリ18より読み出す
ためのアドレスが作成される。

次に、ステップ23で、結果メモリ18より前ブロックに
おける動きベクトルの探索結果とMC ON/OFFの判定結果
が読み込まれる。

次に、ステップ24で、前ブロックでMC OFFであったか
否かの判定が行なわれる。前ブロックでMC OFFであると
きには、現ブロックもMC OFFとなる可能性が高いので、
ステップ24で、MC OFFであるときには、ステップ25で、
MC ON/OFFの判定が行なわれる。この判定では、例えば
前ブロックと現ブロックとの間での累積演算結果が所定
値以下であるときには、MC OFFとされる。

MC OFFとなればベクトルの探索を行なう必要がなくな
る。そのため、ステップ25で、MC OFFであると判断され
るときには、ステップ36に進み、INTER/INTRAの判定が
行なわれる。これにより、膨大な演算が必要となる動き
ベクトルの探索が省かれる。

また、ステップ24で、前のブロックがMC ONであると
き、あるいはステップ25で、MC ONと判定されるときに
は、ステップ26で、探索方法が判定される。

ここで、MC ONと判定され、また前のブロックがMC ON
であったブロックの探索を行なう場合には、現ブロック
もMC ONとなる可能性が高い。また、人物像が動く場
合、その動き方向は隣合うブロック間およびフレーム間
で強い相関があり、前の動き方向から次の動き方向をあ
る程度推定することができる。

そこで、ステップ26では、前フレームの動きベクトル
の値から、演算結果が最小となる可能性の高いブロック
の方向が判定され、第４図Ｂ、Ｃ、Ｄのように、そのブ
ロック（斜線で図示）から順番に探索の演算が開始され
るようにされる。同図Ａは、上述せずも従来例における
画一的な探索の順番を示している。

すなわち、ステップ26で、探索の順番が決定される
と、ステップ22〜28でもって、９個のブロックのそれぞ
れにおける差分、絶対値の演算および累積演算が順次行
なわれる。

そして、ステップ29で、各ブロックの演算処理毎に、
MC ON/OFFの判定が行なわれる。この判定では、例えば
累積演算結果が所定値以下であるときには、MC ONとさ
れる。

ステップ29で、MC OFFと判定されるときには、ステッ
プ30に進み、次のブロックの演算処理が行なわれる。

しかし、ステップ29で、MC ONと判定されるときに
は、そのブロックが次のステップにおける探索の中心と
されてステップ32に進む。そして、ステップサイズが変
更されて次のステップの探索に移るか、あるいは３ステ
ップ終了しているときには探索を終了する。

このように本例によれば、例えばテレビ電話やテレビ
会議で動きのない背景部（動きベクトル前ブロックがMC
OFFであると共に、MC OFFと判定される）では、動きベ
クトルの探索が省かれる。また、例えばテレビ電話やテ
レビ会議の人物部では、判定部19によって前フレームの
探索結果より動き方向が推定されて各ブロックの探索順
が決定され、そして、そのブロックの累積演算結果が所
定値より小さくなるときには、直ちにMC ONと判定して
その他のブロックの演算処理が省略される。したがっ
て、１フレームの処理時間をベクトルの探索処理を行わ
ないブロック数の分だけ削減でき、また探索を行う場合
でもその時間が削減でき、単位時間当りの処理フレーム
数が従来に比べ増えることになり、簡単な方法でテレビ
電話やテレビ会議の画面の画質を向上することができ
る。

なお、上述実施例においては、３ステップサーチの例
を示したものであるが、ステップ数はこれに限定される
ものではない。本例は、ステップ数が多い程探索を削減
できるブロック数が多くなるため、一層効果的なものと
なる。

［発明の効果］ 以上説明したように、この発明によれば、例えばテレ
ビ電話やテレビ会議における人物部では、前のフレーム
の探索結果に基づいて各ブロックの探索順が決定され、
効率のよい探索が行なわれるので、探索の処理時間を削
減することができる。これにより、単位時間当りの処理
フレーム数が従来に比べ増え、テレビ電話やテレビ会議
の画面の画質を向上させることができる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
はその動作を示すフローチャート、第３図はテレビ電話
やテレビ会議の画面を示す図、第４図は探索結果から判
定した次の探索の順番の例を示す図、第５図は３ステッ
プサーチによる探索方法を説明するための図、第６図は
従来例のブロック図、第７図はその動作を示すフローチ
ャートである。 10……シーケンサ 11……CPU 12……アドレスジェネレータ 13……リファレンスメモリ 15……ブロックメモリ 17……演算回路 18……結果メモリ 19……判定部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画面をあるサイズのブロックに分割して動
   きベクトルを探索するものにおいて、 前フレームの探索結果および動き補償ON/OFFの判定結果
   を記憶する記憶手段と、 探索を行う際に上記記憶手段に記憶された上記前フレー
   ムの判定結果から動き補償を行うか否かを判定する判定
   手段と、 上記判定手段で動き補償を行うと判定された際に上記記
   憶手段に記憶された上記前フレームの探索結果から探索
   するブロックの順番を判定する探索順番判定手段とを備
   え、 上記判定手段では、上記記憶手段に記憶された、現フレ
   ームのブロックと同一座標にある前フレームのブロック
   の判定結果が動き補償OFFの場合、前ブロックと現ブロ
   ックとの間での累積演算結果に基づいて動き補償を行う
   か否かを判定することを特徴とした動き補償フレーム間
   予測符号化における動きベクトルの探索回路。