JPH03247190A - 動きベクトル検出回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 以下の）岨序で本発明を説明する。

Ａ産業上の利用分野 Ｂ発明の概要 Ｃ従来の技術 り発明が解決しようとする問題点（第２図、第゛図及び
第８図） Ｅ問題点を解決するための手段（第２図及び第こ図） Ｆ作用（第２図及び第３図） Ｇ実施例（第１図〜第４図） （Ｇ１）実施例の構成（第１図） （Ｇｌ−１）動きベクトル検出回路（第２図〜第４図（
Ｇ２）実施例の動作 （Ｇ３）実施例の効果 （Ｇ４）他の実施例（第５図及び第６図）Ｈ発明の効果 Ａ産業上の利用分野 本発明は動きベクトル検出回路に関し、例えば動画映像
信号を高能率符号化処理して伝送する映像信号伝送装置
に通用し得る。

Ｂ発明の概要 本発明は、動きベクトル検出回路において、多段階動き
ヘクトル検出方法で動きベクトルを検出する際に、評価
関数の演算処理を切り換えることにより、簡易かつ高い
精度で動きベクトルを検出することができる。

Ｃ従来の技術 従来、例えばテレビ会議システム、テレビ電話システム
などのように動画映像でなる映像信号を遠隔地に伝送す
るいわゆる咬傷通信伝送システムにおいては、伝送路を
効率良く利用するため、映像信号のフレーム間相関を利
用して映像信号をフレーム間符号化処理するよう−こな
され、これシこより存意情報の伝送効率を高めるように
なされている。

すなわち伝送装置側においては、動きベクトル検出回路
で、所定フレームの画像（以下基準フレームの画像と呼
ぶ）を基準にして伝送する画像の動きベクトルを検出す
る。

さらに送信装置側は、基準フレームの画像を動きベクト
ルの分だけ移動させて比較基準の画像を生成した後、伝
送する画像及び比較基準の画像の間で順次画素単位で差
データを検出し、当該差データを動きベクトルと共に伝
送する。

受信装置においては、予め伝送された基準フレームの画
像を伝送された動きベクトルの分だけ移動させた後、伝
送された差データを加算して元の画像を再現する。

これにより１フレ一ム分の画像データを直接伝送する場
合に比して、少ないデータ量で１フレ一ム分の画像デー
タを伝送し得、当該処理を繰り返すことにより、効率良
く映像信号を伝送することができる。

Ｄ発明が解決しようとする問題点 ところで第７図に示すように、この種の映像信号伝送装
置においては、 次式 ％式％） ） ） （１） で示すように、伝送する画像（以下現フレームの画像と
呼ぶ）を大きさＮｘＭの複数のブロックＢ１＋（ｉ、ｊ
）に分割し、各ブロックＢｖ（ｔ、ｊ）毎に動きベクト
ルを検出する。

ここでｊ、ｊは、水平及び垂直走査方向のブロック番号
、Ｘ、（ａ、ｂ）は、ｋ番目のフレームにおいて水平及
び垂直走査方向のａ及びｂ番目の画素であることを表す
。

すなわち所定の動きベクトル検出範囲Ｃの中で、基準フ
レームの画像を画素単位で水平及び垂直走査方向に順次
平行移動させ、各ブロックＢｉ＋（ｉ、ｊ）との相関を
検出する。

これにより相関が最も大きな平行移動位置を検出して動
きベクトルを検出し、当該動きベクトルを用いて各ブロ
ックＢｋ（ｉ、ｊ）の差データを検出する。

すなわち動きベクトルをＶ　（ｘ、　ｙ）とおき、シフ
トオペレータＳを次式 ％式％（） ） ） （２） で定義し、例えば１フレーム前の画像を基準フレームの
画像に設定した場合、次式 （ ％式％）） ） （３） で、水平及び垂直走査方向にＸ及びｙ画素子行移動させ
た際の相関を評価する（以下（３）式を評価関数と呼び
、この場合画素値の差分絶対値和を得る処理でなる）。

これにより、動きベクトル検出範囲Ｃにおいて、次式 ％式％（４） の関係が得られる水平及び垂直走査方向の位置Ｘ及びｙ
を当該ブロックＢｍ（ｉ、ｊ）　、の動きベクトルと表
すことができる。

従って動きベクトルを検出する場合、動きベクトル検出
範囲Ｃ内において、順次基準フレームの画像を画素単位
で平行移動させ、評価関数の演算処理を実行する必要が
あり、演算処理が煩雑になる問題があった。

この問題を解決する１つの方法として、段階的に動きベ
クトルを検出して評価関数の演算処理回数を低減するこ
とにより、演算処理作業を簡略化するようになさた方法
（以下多段階動きベクトル検出方法と呼ぶ）が提案され
ている（特開昭５５−１５８７８４号公報）。

すなわち第２図に示すように、第１段階として動きベク
トル範囲Ｃ内において、基準フレームの画像を例えば４
画素間隔（Ｏ印で表す）で平行移動させて評価関数の演
算処理を実行し、評価関数の値が最も小さくなる移動位
置Ｇｌを検出する。

さらに第２段階として、当該移動位置Ｇｌを中心にして
水平及び垂直走査方向に±２ｍ！ｉ素の範囲を第２の動
きベクトル検出範囲に設定し、当該第２の動きベクトル
検出範囲で、基準フレームの画像を２画素間隔（口印で
表す）で平行移動させて評価関数の演算処理を実行し、
評価関数の値が最も小さ（なる移動位置Ｇ２を検出する
。

続いて第３段階として、移動位置Ｇ２を中心にして水平
及び垂直走査方向に＝１画素の範囲を第３の動きベクト
ル範囲に設定し、当該第３の動きベクトル範囲において
、基準フレームの画像を画素間隔（×印で表す）で平行
移動させて評価関数の演算処理を実行し、評価関数の値
が最も小さくなる移動位置Ｇ３を検出する。

これにより、全体の動きベクトル検出範囲Ｃの中で、評
価関数が最も小さくなる移動位置Ｇ３を検出し得、原点
Ｏから当該移動位置Ｇ３までのベクトルを検出して動き
ベクトルＶ。ＦＴを検出する。

かくして始めから画素間隔で評価関数の演算処理を実行
する場合、２２５回の演算処理が必要になるのに対し、
この方法によれば２７回の演算処理回数に低減し得、そ
の分簡易に動きベクトルを検出することができる。

ところがこの方法でも、動きベクトル検出作業において
は、煩雑な評価関数の演算処理作業を何度とな（繰り返
さなければならず、処理時間が長（なる問題がある。

これに対して、例えば第８図に示すように、評価関数の
演算処理自体を簡略化する方法（儒学技報、　ＩＥ８１
−５４．ｐｐ、８５−９０（１９８１）　　“会議テレ
ビ信号の動き補償フレーム間符号化′）と多段階動きベ
クトル検出方法とを組み合わせる方法が考えられる。

すなわち、ブロックの全画素について、画素値の差分絶
対値和を得る代わりに、水平及び垂直走査方向の１画素
おきに、画素値の差分絶対値和を得（スなわちクロスハ
ツチングで示す画素について、画素値の差分絶対値和を
得）、これによりフレーム間相関を判断する。

このようにすれば、評価関数自体の演算処理作業を簡略
化することができ、その分動きベクトル検出作業をＮ′
ＷＩｒ化することができる。

ところが、このように評価関数自体の演算処理作業を簡
略化すると、精度の高い動きベクトルを検出し得す、そ
の分伝送するデータ量が増大し、映像信号のＳＮ比も劣
化する問題がある。

本発明は以上の点を考慮してなされたもので、簡易かつ
高い精度で動きベクトルを検出することができる動きベ
クトル検出回路を提案しようとするものである。

Ｅ問題点を解決するための手段 かかる問題点を解決するため本発明においては、動きベ
クトル検出範囲Ｃで、所定フレームの画像ＣＤ　ＩＮ）
に対して基準フレームの画像（Ｄｓｖ）を順次移動させ
、所定フレームの画像（Ｄ、い及び基準フレームの画像
（Ｄｓｖ）間で評価関数を検出することにより、評価関
数の検出結果に基づいて所定フレーム（Ｄ、Ｎ）の動き
ベクトル■。ＦＴを検出する動きベクトル検出回路１６
において、所定フレームの画像（ＤＩＮ）に対する基準
フレームの画像（Ｄ　ｓｖ）の移動及び評価関数の検出
を段階的に切り換え、第１の段階において、動きベクト
ル検出範囲Ｃで、所定フレームの画像（ＤＩＮ）に対し
て基準フレームの画像（Ｄｓｖ）を複数画素間隔で多動
させ、所定フレームの画像（ＤＩＮ）の複数画素毎に、
所定フレームの画像（Ｄ、、）及び基準フレームの画像
（ＤＩＮ）との間で比較結果を得、該比較結果を累積し
て第１段階の評価関数を検出し、第２の段階において、
第１の段階の評価関数の検出結果Ｖ。Ｐ？１　（ＶＯＦ
？２）に基づいて、動きベクトル検出範囲を再設定し、
再設定した動きベクトル検出範囲で、所定フレームの画
像（ＤＩＮ）に対して基準フレームの画像（Ｄｓｖ）を
第１の段階より少ない画素間隔で順次移動させ、第１の
段階より少ない画素毎に、所定のフレームの画像（ＤＩ
Ｎ）及び基準フレームの画像（Ｄ　ｓｖ）間で比較結果
を得、該比較結果を累積して第２の段階の評価関数を検
出し、第２の段階の評価関数に基づいて、所定フレーム
の画像（ＤＩＮ）に対して最も相関の強い基準フレーム
の画像（Ｄｓｖ）の移動位置を検出して動きベクトル■
。、Ｔを検出するゆＦ作用 所定フレームの画像（ＤＩＮ）に対する基準フレームの
画像（Ｄ、ｖ）の移動及び評価関数の検出を段階的に切
り換え、第１の段階で複数画素間隔で移動させると共に
複数画素毎に比較結果を累積して第１段階の評価関数を
検出した後、第２の段階で、第１段階の評価関数検出結
果に基づいて、第１の段階より少ない画素間隔で基準フ
レームの画像（Ｄ３ｖを順次移動させると共に第１の段
階より少ない画素毎に比較結果を累積して第２段階の評
価関数を検出すれば、簡易かつ高い精度で動きベクトル
Ｖ。、Ｔを検出することができる。

Ｇ実施例 以下図面について、本発明の一実施例を詳述する。

（Ｇ１）実施例の構成 第１図において、１０は全体として映像信号伝送装置を
示し、伝送対象との間で通話者の映像及び音声を相互に
伝送する。

すなわち映像信号伝送装置１０は、テレビジョンカメラ
１２を介して通話者を撮像し、当該テレビジョンカメラ
１２から出力されるビデオ信号Ｓｖをビデオ信号処理回
路１４に与える。

ビデオ信号処理回路１４は、ビデオ信号Ｓｖを輝度信号
及び色差信号に変換した後、アナログディジタル変換回
路でディジタル信号に変換する。

さらにビデオ信号処理回路１４は、ディジタル信号に変
換した輝度信号及び色差信号をＣＣＩＴＴ（ｉｎｔｅｒ
ｎａｔｉｏｎａｌ　　ｔｅｌｅｇｒａｐｈ　ａｎｄ　　
Ｌｅｌｅｐｈｏｎ　ｃｏｎｓｕｌｔａｔｉｖｅ　ｃｏ＋
＊ｍ１ｔｔｅｅ）規格のフォーマットに変換する。

すなわち、所定フレーム毎に映像信号を間引きしてフレ
ーム周波数を１５（Ｈｚ）に変換した後、垂直及び水平
走査方間の画素数を低減する。

：れコニより輝度信号に関じて、水平及び垂直走査方向
に３５２Ｘ　２８８画素（すなわちＣＩＦの画サイズで
なる）又は１７６Ｘ　１４４画素（すなわちＱＣＩＦの
画サイズでなる）の画像データＤＩＮを作成する。

かくしてビデオ信号処理回路１４を介して、ビデオ信号
Ｓｖに予備的な処理を施してデータ量を低減し、ライン
走査の順序で画像データＤＩＮが連続する入力映像信号
を得るようになされている。

動きベクトル検出回路１６は、画像データＤＩ９を一旦
メモリ回路に格納した後、所定の順番で順次読み出すこ
とにより、画像データＤＩＮの配列を所定順序に並び換
える。

すなわち動きベクトル検出回路１６は、１フレームの画
像を所定の大きさのブロック（以下ブロックグループと
呼ぶ）に分割して後、各ブロックグループをさらに微小
のマクロブロックに分割する。

これにより当該映像信号処理装置１０においては、ブロ
ックグループ単位で映像信号を転送すると共に処理する
ようになされている。

さらにこのときブロックグループ内の画像データの配列
においては、マクロブロック単位で画像データが連続す
るように、画像データの配列が並び換えられる。

このとき動きベクトル検出回路１６は、デコーダ回路１
８で再現された１フレーム前の画像を基準フレームの画
像に設定し、マクロブロック毎に動きベクトルを検出す
る。

さらに動きベクトル検出回路１６は、検出した動きベク
トルを用いて基準フレームの画像を移動させて比較基準
の画像を生成した後、当該画像の画像データＤ□、を差
データ作成回路２ｏに出力する。

同時に動きベクトル検出回路１６は、配列を入れ換えた
画像データＤＩＮＩ＋を、動きベクトル検出に要する時
間だけ遅延させて出力する。

さらにこのとき動きベクトル検出回路１６は、フレーム
番号、ブロックグループ及びマクロブロックのアドレス
データ、動きベクトルのデータで構成されたヘッダＤ　
ＨＥＴを作成し、差データ作成回路２０に出力する。

差データ作成回路２０は、所定フレーム毎に、画像デー
タＤＩ！ｉ１１を何ら処理することのなく、続くディス
クリートコサイン変換回路２２に出力し、これにより所
定期間毎に、フレーム内符号化処理した映像信号を伝送
対象に伝送する。

これに対してフレーム内符号化処理するフレーム以外に
ついては、画像データＤＩＮＥ＋から画像データＤ□、
を滅夏し、その結果得られる差データＤ２をディスクリ
ートコサイン変換回路１２に出力する。

これにより当該映像信号伝送装置１０においては、差デ
ータＤ２を伝送することにより、映像信号をフレーム間
符号化処理し、フレーム内符号化処理及びフレーム間符
号化処理を所定周期で切り換えることにより、入力映像
信号を効率良（伝送対象に伝送するようになされている
。

さらにこのとき差データ作成回路２０は、画像データＤ
ＩＮＯから画像データＤＦＩＩを減算する際に、必要に
応じてループフィルタ回路を用いて、画像データＤ□、
の高域成分を抑圧する。

これにより当該映像信号処理装置１０においては、映像
信号をマクロブロック単位で符号化処理した際に、マク
ロブロック間の境目が目立たないようになされている。

さらに差データ作成回路２０は、マクロブロック単位で
伝送に要するデータ量を検出し、フレーム内符号化処理
して伝送した方がフレーム間符号化処理して伝送するよ
りも少ないデータ量で伝送し得ると判断した場合、フレ
ーム間符号化処理して伝送するマクロブロックであって
も、フレーム内符号化処理して伝送する場合と開襟に画
像データＤＩＮＤを何ら処理することのなく続くディス
クリートコサイン変換回路２２に出力する。

かくして映像信号伝送装置１０においては、フレーム間
符号化処理する際に、伝送に要するデータ量に応して、
画像データＤ□１の高域成分を抑圧すると共に、フレー
ム間符号化処理からフレーム内符号化処理に処理方法を
切り換えるようになされ、これより選択予測化の手法を
用いて効率良く映像信号を伝送するようになされている
。

同時に差データ作成回路２０は、フレーム間符号化処理
及びフレーム内符号化処理の識別データ、ループフィル
タ回路を介して得られた差データか否かの識別データを
ヘッダＤ□アに付加し、ディスクリートコサイン変換回
路２２に出力する。

ディスクリートコサイン変換回路２２は、映像信号の２
次元相関を利用して、差データ作成回路２０から出力さ
れる画像データＤＩＮＯ及び差データＤ２を所定単位で
ＤＣＴ変換（ｄｉｓｃｒｅｔｅ　ｃｏｓｉｎｅ　ｔｒａ
ｎｓｆｏｒ■）し、その結果得られる変換データ［）　
ａｃｔを再量子化回路２４に出力する。

再量子化回路２４は、ヘッダに付加されて伝送される変
換データＤＤｃアの累積コード長及びデータ量、バッフ
ァ回路１６の残量に基づいて量子化ステップサイズを切
り換え、当該量子化ステップサイズで変換データＤ　Ｄ
Ｃ？を再量子化する。

これにより再量子化回路２４は、伝送に要する１フレー
ム当たりのデータ量が所定値になるように保持する。

逆再量子化回路２６は、再量子化回路２４と逆の変換処
理を実行し、これにより伝送対象側で再現されるディス
クリートコサイン変換回路２２の変換データＩ）ｏｃｔ
を当該伝送側で再現する。

これに対してディスクリートコサイン逆変換回路２８は
、ディスクリートコサイン変換回路２２の逆変換処理を
実行する。

これにより映像信号伝送装置１０においては、伝送対象
側で再現されるディスクリートコサイン変換回路２２の
入力データを当該伝送側で再現することができる。

すなわち、当該ディスクリートコサイン逆変換回路２８
を介して、フレーム内符号化処理されて伝送される映像
信号については、画像データＤ　ＩＮｌ＋を再現するこ
とができのに対し、フレーム間符号化処理して伝送する
映像信号については、差データＤ２を再現することがで
きる。

デコーダ回路１８は、フレームメモリ回路及び加算回路
で構成され、ヘッダに基づいて動作を切り換える。

すなわちデコーダ回路１８は、ディスクリートコサイン
逆変換回路２８からフレーム間符号化処理されたデータ
（すなわち再現された画像データＤ　１１１０でなる）
が出力されると、当該画像データＤＩＮＤを直接フレー
ムメモリ回路に格納する。

さらにデコーダ回路２日は、当該フレームメモリ回路に
格納された画像データの次フレームの画像が、動きベク
トル検出回路１６に入力されるタイミングで、当該フレ
ームメモリ回路に格納された画像データＤｌｖを動きベ
クトル検出回路１６に出力する。

これにより動きベクトル検出回路１６は、フレーム内符
号化処理されたフレームを基準フレームに設定して、次
フレームの動きベクトルを検出することができる。

さらにデコーダ回路１８は、ディスクリートコサイン逆
変換回路２８からフレーム間符号化処理されたデータ（
すなわち再現された差データＤ２でなる）が入力される
と、フレームメモリ回路に格納された画像データ１）ｉ
ｖを当該差データＤ２の動きベクトルの分だけ移動させ
た後、当該移動させた画像データを差データＤ２に加算
してフレームメモリ回路に格納する。

これによりフレーム間符号化処理した画像データを加算
回路を介して再現することができる。

さらにデコーダ回路１８は、当該フレームメモリ回路に
格納されたフレームの次フレームの画像データが、動き
ベクトル検出回路１６に入力されるタイミングで、当該
フレームメモリ回路に格納された画像データＩ）ｉｖを
動きベクトル検出回路１６に出力する。

これにより動きベクトル検出回路１６においては、ｌフ
レーム前のフレームを基準フレームにして、順次動きベ
クトルを検出することができる。

このときデコーダ回路１８においては、ループフィルタ
回路を介して作成された差データＤ２にライては、ルー
プフィルタ回路を用いてフレームメモリ回路に格納され
た画像データの高域成分を抑圧するようになされ、これ
により差データ作成回路２０と連動してループフィルタ
回路を切り換え、マクロブロック間の境目が目立たない
ようにする。

可変長符号化回路３０は、バッファ回路３２を介して得
られる再量子化回路２４の出力データを動きベクトルの
データ等と共に可変長符号化処理した後、伝送バッファ
回路２６に出力する。

伝送バッファ回路２６は、可変長符号化回路３０の出力
データをヘッダ、再量子化回路２４の量子化ステップサ
イズのデータ等と共に一旦格納した後、所定の順序で順
次出力する。

スタッフビット付加回路３４は、伝送バッファ回路２６
の出力データを誤り訂正回路３６に出力し、このとき伝
送バッファ回路２６０入出力デー夕のデータ量を検出す
ることにより、回ｖＡＬ１の伝送速度に比して伝送バッ
ファ回路２６の入力データ量が極端に少なくなると、所
定のタイミングでデータ間にスタッフビットを介挿する
。

誤り訂正回路３６は、スタッフビット付加回路３４の出
力データに応じてＢＣＨコード（ｂｏｓｅ　ｃｈａｕｄ
ｈｕｒｉ　ｈｏｃｑｕｅｎｇｈｅ＊　ｃｏｄｅ）を生成
し、スタッフビット付加回路３４から出力される出力デ
ータに付加して出力する。

さらに誤り訂正回路３６は、多重変換回路３８を介して
伝送対象から得られるデータを、当該データに付加され
て伝送されたＢＣＨコードに基づいて誤り訂正し、これ
により伝送中にエラーが発生しても両賞劣化を有効に回
避し得るようになされている。

多重変換回路３８は、誤り訂正回路３６の出力データに
ディジタル音声信号を多重化した後、回線Ｌ１に送出す
る。

これにより、ビデオ信号Ｓｖ及び音声信号を伝送対象に
効率良（伝送することができる。

同時に多重変換回路３８は、回＊Ｌ１を介して伝送対象
のデータを入力し、多重化された映像信号とディジタル
音声信号とを分離する。

さらに分離したディジタル音声信号を所定の復号回路に
出力すると共に、映像信号をスタッフビット除去回！３
４０に出力する。

スタッフビット除去回路４０は、伝送対象側のスタッフ
ビット付加回路３４で介挿されたスタッフビットのデー
タを除去する。

バッファ回路４２は、スタッフビットが除去されたデー
タを一旦格納した後、復号回路４４に出力する。

復号回路４４は、伝送対象側の可変長符号化回路３０の
逆処理を実行する。

逆再量子化回路４６は、伝送された量子化ステップサイ
ズのデータに基づいて、復号回路４４の出力データを逆
再量子化処理し、これにより伝送対象側で再量子化処理
された再量子化回路２４の入力データを再現する。

ディスクリートコサイン逆変換回路４８は、逆再量子化
回路４６の出力データを、ディスクリートコサイン逆変
換回路２８と同様に処理し、これにより伝送対象側でデ
ィスクリートコサイン変換処理されたデータを再現する
。

デコーダ回路５０は、伝送されたヘッダに基づいて、デ
コーダ回路１８と同様の処理を実行し、これにより伝送
対象側で符号化処理された画像データを再現する。

ビデオ信号処理回路５２は、補間演算の手法を用いて、
ビデオ信号処理回路１４の逆処理を実行した後、その結
果得られるビデオ信号をモニタ装置５４に出力し、これ
により伝送対象から送出された通話対象の映像をモニタ
することができる。

（Ｇｌ−１）動きベクトル回路 第３図に示すように、この実施例において、動きベクト
ル検出回路１６は、多段階動きベクトル検出方法を用い
て１５　Ｘ　１５画素の動きベクトル検出範囲Ｃ内で動
きベクトルを検出する。

このとき動きベクトル検出回路１６は、各段階毎に評価
関数の演算処理を切り換え、これにより簡易かつ高い精
度で動きベクトルを検出する。

すなわち、動きベクトル検出回路１６は、ビデオ信号処
理回路１４から出力される画像データＤ１．４をブロッ
クグループ毎にバッファメモリ回路６０に格納する。

バッファメモリ回路６０は、バッファメモリ回路６１と
連動して、動きベクトルを検出するマクロブロックＢ、
の画像データ（この場合８×８画素の画像データでなる
）を繰り返し出力する。

これに対してバッファメモリ回路６１は、デコーダ回路
１８から出力される前フレームの画像データ（すなわち
基準フレームの画像データでなる）Ｄｓｖを格納する。

さらにバッファメモリ回路６１は、それぞれ第１段階シ
フトベクトル生成回路６２、第２段階シフトベクトル生
成回路６４、第３段階シフトベクトル生成回路６６及び
第３段階評価関数演算処理回路６８から出力されるアド
レスデータに基づいて画像データＤｓｖを出力する。

第１段階シフトベクトル生成回路６２は、動きベクトル
を検出するマクロブロックの原点のアドレスデータＶｌ
（以下シフトベクトルと呼ぶ）を出力した後、それぞれ
原点に対して水平及び垂直走査方向に順次４画素離れた
シフトベクトル■１を出力する（第２図）。

これによりバッファメモリ回路６１を介して、動きベク
トルを検出するマクロブロックに対して、動きベクトル
検出範囲Ｃ内で基準フレームの画像を水平及び垂直走査
方向に４画素間隔で順次移動させた際の、当該マクロブ
ロックに対応する基準フレームの画像データを得ること
ができる。

すなわち、始めに動きベクトルを検出するマクロブロッ
クに対応して原点を中心にした８×８画素の画像データ
Ｉ）ｓｖが得られた後、原点から水平走査方向に４画素
離れた８×８画素の画像データＤＳＶが得られ、続いて
原点から水平走査方向及び垂直走査方向の４画素離れた
８×８画素の画像データＩ）ｓｖが得られる。

さらに原点から垂直走査方向に４ｉｉｉｌ離れた８×８
画素の画像データＤＳＶが得られた後、原点から水平走
査方向とは逆方向及び垂直走査方向に４画素離れた８×
８画素の画像データＤＳＶが得られ、続いて原点から水
平走査方向とは逆方向に４画素離れた８×８画素の画像
データＤ　ｓｖが得られる。

続いて、同様に原点から水平及び垂直走査方向とは逆方
間に４画素離れた８×８画素の画像データＤＳＶが得ら
れた後、順次原点から垂直走査方向とは逆方向に、原点
から水平走査方向及び垂直走査方向とは逆方向に４画素
離れた８×８画素の画像データＤｓｖが得られる。

第１段階評価関数演算処理回路７２は、バッファメモリ
回路６０及び６１の出力データを順次減算して差データ
の絶対値を得、当該絶対値を第１段階シフトベクトル生
成回路６２から出力されるシフトベクトル■１の値ごと
に累積加算する。

このとき第４図に示すように、第１段階評価関数演夏処
理回路７２は、バッファメモリ回路６０及び６１の出力
データについて、隣接する４画素のうち１画素の画像デ
ータについて差データを得（すなわちＸ印で表す画素の
画像データでなる（第５図（Ａ）））、当該差データの
絶対値和を検出する。

これにより評価関数の演算処理作業を簡略化して、評価
関数が最小値になる移動位置Ｇ１を検出することができ
る（第２図）。

第１段階評価関数演算処理回路７２は、評価関数が最小
値になる移動位置Ｇ１が検出されると、そのシフトベク
トルＶＯＦテ１を第２段階シフトベクトル生成回路６４
に出力し、これにより当該処理作業を終了する。

第２段階シフトベクトル生成回路６４は、移動位置Ｇ１
のアドレスデータをシフトベクトルｖ２として出力した
後、当該移動位置Ｇ１を中心にした水平及び垂直走査方
向に±２画素の範囲内で、当該移動位置Ｇｌに対して順
次水平及び垂直走査方向に２Ｎ素離れたシフトベクトル
■２を出力する。

これによりバッファメモリ回路６１を介して、基準フレ
ームをシフトベクトル■。ＰＨ１の分だけ移動させた後
、水平及び垂直走査方向に２画素間隔で順次移動させた
際の、マクロブロックＢｈに対応する基準フレームの画
像データＤ！ｖを得ることができる。

第２段階評価関数演算処理回路７４は、バッファメモリ
回路６０及び６１の出力データを順次減算して絶対値を
得、当該絶対値を第２段階シフトベクトル生成回路６４
から出力されるシフトベクトル■２の値ごとに累積加算
する。

このとき第２段階評価関数演算処理回路７４は、バッフ
ァメモリ回路６０及び６１の出力データについて、隣接
する２画素のうち１画素の画像データについて差データ
を得（第５図（Ｂ））、当該差データの絶対値和に基づ
いて評価関数が最小になる移動位ＷＧ２を検出する。

かくしてこの実施例においては、第２段階評価関数演夏
処理回路７４で隣接する２画素のうち１画素について差
データを検出することにより、第１段階評価関数演夏処
理回路７２との間で評価関数を切り換えるようになされ
ている。

これにより、第２段階評価関数演算処理回路７４におい
ては、第１段階評価関数演算処理回路７２に比して、高
い精度で評価関数が最小になる移動位ＩＧ２を検出する
ことができる。

第２段階評価関数演算処理回路７４は、移動位置Ｇ２が
検出されると、当該移動位置Ｇ２のアドレスデータ（■
。２７、＋Ｖｏｒｔ□）を第３段階シフトベクトル生成
回路６６に出力し、これにより当該処理作業を終了する
。

第３段階シフトベクトル生成回路６６は、移動位置Ｇ２
のアドレスデータをシフトベクトル■３として出力した
後、移動位置Ｇ２を中心にした水平及び垂直走査方向に
±１画素の範囲内で、当該移動位置Ｇ２に対して順次水
平及び垂直走査方向に１画素離れたシフトベクトル■３
を出力する。

これによりバッファメモリ回路６１を介して、基準フレ
ームの画像をシフトベクトル■。７，１＋■。２？□の
分だけ移動させた後、水平及び垂直走査方向に１画素間
隔で順次移動させた際の、”７クロプロツクＢ１に対応
する基準フレームの画像データＤ９Ｖを得ることができ
る。

第３段階評価関数演算処理回路６８は、バッファメモリ
回路６０及び６１の出力データを順次減算して差データ
の絶対値を得、当該絶対値を第３段階シフトベクトル生
成回路６６から出力されるシフトベクトル■３の値ごと
に累積加算する。

このとき第３段階評価関数演算処理回路６８は、バッフ
ァメモリ回路６０及び６１の出力データについて、全て
の画素について差データを得（第５図（Ｃ））、当該差
データの絶対値和を検出する。

さらに第３段階評価関数演算処理回路６８は、絶対値和
か最小になる移動位置Ｇ３を検出し、原点から当該移動
位置Ｇ３までのベクトルを検出して動きベクトル■。、
アとして続く差データ作成回路２０に出力する。

さらに第３段階評価関数演夏処理回路６８は、動きベク
トル■。、アをバッファメモリ回路６１に出力し、これ
によりバッファメモリ回路６１から動きベクトルの分だ
け基準フレームの画像を移動させた画像データＤ□１を
差データ作成回路２０に出力する。

かくしてこの実施例においては、第３段階評価関数演夏
処理回路６８で全画素について差データを検出すること
により、第１段階評価関数演算処理回路７２、第２段階
評価関数演算処理回路７４との間で評価関数を切り換え
るようになされている。

これにより、第３段階評価関数演算処理回路６８におい
ては、第１段階評価関数演算処理回路７２、第２段階評
価関数演算処理回路７４に比して、さらに−段と高い精
度で評価関数が最小になる移動位置Ｇ３を検出すること
ができる。

さらに多段階動きベクトル検出方法を用いて動きベクト
ルを検出したことかみ、簡易な演算処理作業で動きベク
トルを検出することができる。

さらにこの実施例においては、評価関数を切り換えるこ
とにより、段階毎に順次動きベクトル検出精度を切り換
えることができ、その分従来に比して高精度かつ簡易に
動きベクトルを検出することができる。

すなわち、この種の動きベクトル検出作業は、減電結果
の絶対値和を得る処理でなることから、演算処理に要す
る時間を、絶対値和を得た画素の数と、動きベクトル検
出のために繰り返した評価関数の計算回数の積の形で表
すことができる。

ここで、マクロブロック内の全画素についてＩｌ１次評
価関数を画素単位で計算する場合の当該積の値を００と
おき、この実施例による積の値をＣＡとおくと、動きベ
クトル検出に要する演算処理時間の比を、次式、 で表すことができる。

このように全画素について順次評価関数を画素単位で計
算する場合を基準にして演算処理時間を表すと、この１
５　Ｘ　１５５画素動きベクトル検出範囲で、８×８画
素のブロック単位で動きベクトルを検出する場合、７〔
％〕の演算処理時間で処理し得ることが確認できた。

さらに当該動きベクトルを用いて映像信号を符号化処理
して伝送すると、画像の種類によっても異なるが、３８
．８　（ｄＢ）のＳＮ比で映像信号を伝送することがで
きた。

なおここで、同一の画像を用いて実験した結果によれば
、全画素について順次評価関数を画素単位で計算して動
きベクトルを検出する場合、４０〔ｄＢ）のＳＮ比で映
像信号を伝送することができるのに対し、評価関数を切
り換えることなく単に多段階動きベクトル検出方法を用
いた場合、３Ｂ、７　（ｄＢ）のＳＮ比で映像信号を伝
送することができ、これにより動きベクトルの検出精度
を向上して映像信号のＳＮ比を向上し得ることがわかっ
た。

また、演算処理時間においては、評価関数を切り換える
ことなく単に多段階動きベクトル検出方法を用いる場合
、全画素について順次評価関数を画素単位で計算する場
合に比して１１．１　Ｃ％〕の演算処理時間を要し、こ
の実施例の場合、単に多段階で動きベクトルを検出する
場合に比して簡易に動きベクトルを検出し得ることがわ
かった。

かくして、多段階動きベクトル検出方法を用いて動きベ
クトルを検出し、このとき各段階毎に評価関数の演算処
理を切り換えることにより、簡易かつ高い精度で動きベ
クトルを検出し得、画質の劣化を有効に回避して効率良
く映像信号を伝送することができる。

（Ｇ２）実施例の動作 以上の構成において、テレビジョンカメラ１２から出力
されるビデオ信号Ｓｖは、ビデオ信号処理回路１４で予
備的処理が施されてデータ量が低減され、ＣＣＩＴＴ規
格フォーマットの画像データＤＩＮに変換される。

画像データＤＩ）１は、動きベクトル検出回路１６でデ
ータの配列が並び換えられた後、マクロブロック毎に動
きベクトルが検出される。

すなわち、画像データＤＩＮは、バッファメモリ回路６
０に格納され、マクロブロック毎に繰り返し評価関数演
算処理回路７２．７４及び６８に出力される。

これに対応して、第１段階においては、第１段階シフト
ベクトル生成回路６２から、４画素間清で変化するシフ
トベクトルＶｌが出力され、これに応動してバッファメ
モリ回路６１から基準フレームの画像を順次４画素間隔
で移動させた画像データＤ　ｓｖが出力される。

これにより画像データＤＩＮは、第１段階評価関数演算
処理回路７２において、４画素間隔で移動させた基準フ
レームとの間で、順次４画素おきに差データの絶対値和
が検出され、第１段階の評価関数が最小になる移動位置
Ｇ１が検出される。

続いて第２段階においては、第２段階シフトベクトル生
成回路７４から、移動位置Ｇｌを基準にして２画素間隔
で変化するシフトベクトル■２が出力され、これに応動
してバッファメモリ回路６１から、基準フレームの画像
を移動位置Ｃ１まで移動させた後、順次２画素間隔で移
動させた画像データＤＳＶが出力される。

これにより画像データＤ１．４は、第２段階評価関数演
算処理回路７４において、移動位ＩＧ１まで移動させた
後、２画素間隔で移動させた基準フレームとの間で、順
次２画素おきに差データの絶対値和か検出され、第２段
階の評価関数が最小になる移動位置Ｇ２が検出される。

続いて第３段階においては、第３段階シフトベクトル生
成回Ｍ６６から、移動位置Ｇ２を基準にして１画素間隔
で変化するシフトベクトル■３が出力され、これに２動
じてバッファメモリ回路５１から、基準フレームの画像
を移動位置Ｇ２まで移動させた後、順次１画素間隔で移
動させた画像データＤ１Ｖが出力される。

これにより映像データＤＩＮは、第３段階評価関数演算
処理回路６８において、移動位置Ｇ２まで移動させた後
、１画素間隔で移動させた基準フレームの画像との間で
、全画素について差データの絶対値和が検出され、第３
段階の評価関数が最小になる移動位置Ｇ３が検出される
。

これにより前フレームを基準にした現フレームの動きベ
クトル■。Ｐ、を、簡易かつ高い精度で検出することが
できる。

動きベクトル■。、Ｔが検出されると、当該動きベクト
ルの分だけ基準フレームの画像を移動させた画像データ
ＤＰＩ１１がバッファメモリ回路６１から得られ、当該
画像データＩ）ｐｕｔが画像データＤ　Ｉｕｌ＋）と共
に差データ作成回路２０に出力される。

ここでフレーム間符号化処理するフレームにおいては、
画像データＤＩＮＯ及びＤＰＩ＋の差データＤ２が作成
され、ディスクリートコサイン変換回路２２に出力され
るのに対し、フレーム内符号化処理するフレームにおい
ては、画像データＤ０゜が直接ディスクリートコサイン
変換回路２２に出力される。

ディスクリートコサイン変換回路２２を介して得られる
変換データＤ１１ｃｍは、再量子化回路２４で再量子化
処理された後、バッファ回路３２を介して可変長符号化
回路３０で可変長符号化処理され、その出力データが順
次伝送バッファ回路２６、スタッフビット付加回路３４
、誤り訂正回路３６及び多重変換回路３８を介して伝送
対象に送出される。

さらに再量子化回路２４の出力データは、逆再量子化回
路２６及びディスクリートコサイン逆変換回路２８を！
頓次介して、デコーダ回路１８で元の画像データに戻さ
れ、当該画像データが動きベクトル検出用の前フレーム
の画像データＤｓｖとして用いられる。

（Ｇ３）実施例の効果 以上の構成によれば、多段階動きベクトル検出方法を用
いて３段階で動きベクトルを検出する際に、各段階毎に
評価関数を切り換えることにより、単に多段階動きベク
トル検出方法を用いて動きベクトルを検出する場合に比
して、簡易に精度の高い動きベクトルを検出することが
できる。

（Ｇ４）他の実施例 なお上述の実施例においては、３段階で動きベクトルを
検出する場合について述べたが、本発明はこれに限ろず
、必要に応じて何段階でも適用することができる。

すなわち第５図及び第６図に示すように、２段階で動き
ベクトルを検出し、このとき第１段階においては４画素
おきに、第２段階においては画素単位で差データの絶対
値和を検出するようにしてもよい。

さらに上述の実施例においては、最終的に画素単位で差
データの絶対値和を検出する場合について述べたが、本
発明はこれに限らず、この実施例にように高い精度を必
要としない場合は、必要に応じて例えば２画素おきに差
データの絶対値和を検出するようにしてもよい。

さらに上述の実施例においては、音声信号と共に映像信
号を伝送する映像信号伝送装置に本発明を適用した場合
について述べたが、本発明はこれに限らず、映像信号を
高能率符号化処理して伝送する場合、記録媒体に記録す
る場合等広く適用することができる。

Ｈ発明の効果 上述のように本発明によれば、多段階動きベクトル検出
方法を用いて動きベクトルを検出すると共に、各段階毎
に評価関数を切り換えることにより、簡易に精度の高い
動きベクトルを検出し得る動きベクトル検出回路を得る
ことができる。

【図面の簡単な説明】

第１図は本発明の一実施例による映像信号伝送装置を示
すブロック図、第２図は多段階動きベクトル検出方法の
説明に供する路線図、第３図は動きベクトル検出回路を
示すブロック図、第４図はその評価関数の演算処理の説
明に供する略ｖＡ図、第５図及び第６図は他の実施例に
よる動きベクトル検出方法の説明に供する路線図、第７
図及び第８図は従来の動きベクトル検出の説明に供する
路線図である。 １０・・・・・・映像信号伝送装置、１６・・・・・・
動きベクトル検出回路、６０．６１・・・・・・バッフ
ァメモリ回路、６２．６４．６６・・・・・・シフトベ
クトル生成回路、６８．７２．７４・・・・・・評価関
数演算処理回路。 多段階動きへクトルネ愛本（３ステツフつ第 図 （Ａ） ＣＢ） 許・１凸関数のう寅算 易 図 ６９１− （Ｃ） ２段階の処理 第　５　図 （Ａ１ ２段階の処理 第　６　因 １３） 第 り 図 第 図

Claims (1)

1. 【特許請求の範囲】 動きベクトル検出範囲で、所定フレームの画像に対して
   基準フレームの画像を順次移動させ、上記所定フレーム
   の画像及び上記基準フレームの画像間で評価関数を検出
   することにより、上記評価関数の検出結果に基づいて上
   記所定フレームの動きベクトルを検出する動きベクトル
   検出回路において、 上記所定フレームの画像に対する上記基準フレームの画
   像の移動及び上記評価関数の検出を段階的に切り換え、 第１の段階において、 上記動きベクトル検出範囲で、上記所定フレームの画像
   に対して上記基準フレームの画像を複数画素間隔で移動
   させ、 上記所定フレームの画像の複数画素毎に、上記所定フレ
   ームの画像及び上記基準フレームの画像間で比較結果を
   得、該比較結果を累積して第１段階の上記評価関数を検
   出し、 第２の段階において、 上記第１の段階の評価関数の検出結果に基づいて、動き
   ベクトル検出範囲を再設定し、再設定した動きベクトル
   検出範囲で、上記所定フレームの画像に対して上記基準
   フレームの画像を上記第１の段階より少ない画素間隔で
   順次移動させ、上記第１の段階より少ない画素毎に、上
   記所定フレームの画像及び上記基準フレームの画像間で
   比較結果を得、該比較結果を累積して第２の段階の評価
   関数を検出し、 上記第２の段階の評価関数に基づいて、上記所定フレー
   ムの画像に対して最も相関の強い上記基準フレームの画
   像の移動位置を検出して上記動きベクトルを検出する ことを特徴とする動きベクトル検出回路。