JPH07298268A

JPH07298268A - 動きベクトル決定方法

Info

Publication number: JPH07298268A
Application number: JP8895994A
Authority: JP
Inventors: Jong-Il Kim; 鐘一金
Original assignee: Daiu Denshi Kk; Daewoo Electronics Co Ltd
Current assignee: Daiu Denshi Kk; WiniaDaewoo Co Ltd
Priority date: 1994-04-26
Filing date: 1994-04-26
Publication date: 1995-11-10

Abstract

(57)【要約】【目的】候補ブロックおよび探索ブロックから発生さ
れた各エラー信号で画素データ間の空間的相関関係の測
定と共に前のフレームの対応する探索領域に含まれた各
々の多数の候補ブロックと現在のフレームの探索ブロッ
ク間の類似性測定を採用することによって、ビデオ信号
の最適な動きベクトルを決定する改善された方法を提供
する。【構成】最適な動きベクトルの決定方法はエラー信号
を提供するステップと、前記各エラー信号に対する相関
度およびエラー関数を計算するステップと、エラー関数
および前記エラー信号の相関度に基づいて決定された最
適エラー信号に対応する動きベクトルを発生させるステ
ップとを含む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動きベクトルを決定する
ための改善された方法に関するもので、とくに、動き補
償がなされたブロック信号の画素間の空間相関関係とフ
レーム間の時間相関関係を用いて、二つの連続ビデオフ
レームから動きベクトルを決定するための改善された方
法に関するものである。

【０００２】

【従来の技術および発明が解決しようとする課題】ビデ
オ信号をディジタル化して伝送すれば、アナログ信号の
形態で伝送する時よりはるかに高い品質のビデオイメー
ジを伝送しうる。イメージ“フレーム（ｆｒａｍｅ）”
のシーケンスを含むイメージ信号がディジタル形態で表
現されれば、とくに、高品質テレビジョン（ＨＤＴＶ）
システムのばあい伝送のために相当量のデータが生成さ
れる。しかし、通常の伝送チャネルの利用可能な周波数
帯域は限定されているので、限定されたチャネル帯域幅
を通じて相当量のディジタルデータを伝送するために
は、伝送データ量を圧縮するか減らさなければならな
い。多様なビデオ信号圧縮技法の中で、統計的符号化技
法と時間および空間圧縮技法を結合した、いわゆるハイ
ブリット符号化技法が最も効率的であることが知られて
いる。

【０００３】ほとんどのハイブリッド符号化技法は、動
き補償がなされたＤＰＣＭ差分パルス符号変調（Ｄｉｆ
ｆｅｒｅｎｔｉａｌＰｕｌｓｅＣｏｄｅＭｏｄｕ
ｌａｔｉｏｎ、以下ＤＰＣＭという）、２次元離散コサ
イン変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓ
ｆｏｒｍ、以下ＤＣＴという）、ＤＣＴ係数の量子化お
よび可変長の符号化（ＶａｒｉａｂｌｅＬｅｎｇｔｈ
Ｃｏｄｉｎｇ、以下ＶＬＣという）を採用する。動き
補償がなされたＤＰＣＭは現在のフレームと前のフレー
ム間の対象物の動きを決定し、前記現在のフレームとそ
の予測間の差を表す差分信号を生成するように前記対象
物の動きフロー（ｍｏｔｉｏｎｆｌｏｗ）によって現
在のフレームを予測するプロセスである。かかる方法
は、たとえば、スタファンエリックソン（Ｓｔａｆｆ
ａｎＥｒｉｃｓｓｏｎ）の「フィクストアンドア
ダプティブプレディクターズフォーハイブリッド
プレディクティブ／トランスフォームコーディング
（ＦｉｘｅｄａｎｄＡｄａｐｔｉｖｅＰｒｅｄｉ
ｃｔｏｒｓｆｏｒＨｙｂｒｉｄＰｒｅｄｉｃｔｉ
ｖｅ／ＴｒａｎｓｆｏｒｍＣｏｄｉｎｇ）」、アイイ
ーイーイートランザクショズオンコミュニケーシ
ョズ（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏ
ｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＯＭ−３３、第１２
号、（１９８５年１２月）およびニノミヤ（Ｎｉｎｏｍ
ｉｙａ）とオーツカ（Ｏｈｔｓｕｋａ）の「アモーシ
ョン−コンペンセィティドインターフレームコーデ
ィングスキームフォーテレビションピクチャーズ
（ＡＭｏｔｉｏｎ−ＣｏｍｐｅｎｓａｔｅｄＩｎｔ
ｅｒｆｒａｍｅＣｏｄｉｎｇＳｃｈｅｍｅｆｏｒ
ｔｅｌｅｖｉｓｉｏｎＰｉｃｔｕｒｅｓ）」、アイ
イーイーイートランザクショズオンコミュニケー
ショズ（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣ
ｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＯＭ−３０、第１
号、（１９８２年１月）に記載されている。

【０００４】動き補償がなされたＤＰＣＭデータのよう
なイメージデータ間の空間的重複性（ｒｅｄｕｎｄａｎ
ｃｉｅｓ）を減少させるか除去する２次元ＤＣＴは、デ
ィジタルイメージデータのブロック、たとえば、８×８
画素のブロックを変換係数データのセットに変換する。
かかる技法は、チェン（Ｃｈｅｎ）とプラット（Ｐｒａ
ｔｔ）の「シーンアダプティブコーダー（Ｓｃｅｎ
ｅＡｄａｐｔｉｖｅＣｏｄｅｒ）」、アイイーイーイ
ートランザクションズオンコミュニケーションズ
（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍ
ｍｕｎｉｃａｔｉｏｎｓ）、ＣＯＭ−３２、第３号、
（１９８４年３月）に記載されている。かかる変換係数
データを量子化器、ジグザグ走査およびＶＬＣを用いて
変換係数データを処理することによって伝送するデータ
の量を効果的に圧縮しうる。

【０００５】とくに、動き補償がなされたＤＰＣＭにお
いて、現在のフレームデータは現在のフレームと前のフ
レーム間の動きの推定に基づき、前のフレームデータか
ら予測される。かかる推定された動きは前記前のフレー
ムと現在のフレーム間の画素の変位を表す２次元動きベ
クトルで説明されうる。

【０００６】ビデオシーケンスにおいて対象物の変位を
推定する幾つかの方法が提案されているが、これは一般
に二つの類型、すなわち、画素再帰アルゴリズム（Ｐｉ
ｘｅｌＲｅｃｕｒｓｉｖｅＡｌｇｏｒｉｔｈｍ）お
よびブロック整合アルゴリズム（ＢｌｏｃｋＭａｔｃ
ｈｉｎｇＡｌｇｏｒｉｔｈｍ）（たとえば、ジエイア
ールジァイン（Ｊ．Ｒ．Ｊａｉｎ）らの「ディスプレ
ースメントメジャメントアンドイッツアプリケ
ーションインインターフレームイメージコーテ
ィング（ＤｉｓｐｌａｃｅｍｅｎｔＭｅａｓｕｒｅｍ
ｅｎｔａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎｉ
ｎＩｎｔｅｒｆｒａｍｅＩｍａｇｅＣｏｄｉｎ
ｇ）」、アイイーイーイートランザクションズオン
コミュニケーションズ（ＩＥＥＥＴｒａｎｓａｃｔ
ｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ、ＣＯ
Ｍ−２９、第１２号、１９８１年１２月）参照）に分類
されうる。本発明は基本的にブロック整合アルゴリズム
に関連する。

【０００７】ブロック整合アルゴリズムによれば、現在
のフレームは多数の探索ブロックに分割される。前記探
索ブロックの大きさは典型的に８×８画素と３２×３２
画素のあいだである。現在のフレームで探索ブロックに
対する動きベクトルを決定するために、類似性計算（ｓ
ｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎ）が現在
のフレームの探索ブロックと前のフレーム内の一般によ
り大きい探索領域に含まれた同一の大きさの各々の複数
の候補ブロックのあいだで行われる。絶対平均エラーま
たは平均二乗エラーのようなエラー関数が現在のフレー
ムの探索ブロックと前記探索領域の各候補ブロックのあ
いだの類似性測定（ｓｉｍｉｌａｒｉｔｙｍｅａｓｕ
ｒｅｍｅｎｔ）を行うように用いられる。定義された動
きベクトルは最小エラー関数を発生させる候補ブロック
と探索ブロック間の変位を表す。

【０００８】かかる最小エラーは動きベクトルを発生さ
せる候補ブロックと探索ブロック間の最大化された時間
的交差相関関係（ｔｅｍｐｏｒａｌｃｒｏｓｓ−ｃｏ
ｒｒｅｌａｔｉｏｎ）を反映するが、動き補償がなされ
たＤＰＣＭにより提供されたエラー信号の画素間の空間
相関関係を最適化することはない。

【０００９】したがって、隣接フレームのあいだの時間
的関係と共にエラー信号の画素のあいだの空間的な関係
に鑑みて圧縮用ビデオ信号を選択する方法を提供し、全
体圧縮効率を改善することが望ましい。

【００１０】したがって、本発明の目的は、現在のフレ
ームの探索ブロックと前のフレームの対応する探索領域
に含まれた各候補ブロックのあいだの類似性測定と共に
探索ブロックと候補ブロックから発生された各エラー信
号の画素データの空間的な相関測定を採用することによ
って、最適な動きベクトルを決定する方法を提供するこ
とにある。

【００１１】

【課題を解決するための手段】本発明によって、現在の
フレームは同一の大きさの多数の探索ブロックに分割さ
れ、前のフレームは対応する数の探索領域に分割され、
前記各探索領域は前記同一の大きさの複数の候補ブロッ
クに分割される、現在のフレームと前のフレーム間の動
きベクトルを決定する方法であって、（ａ）現在のフレ
ームの探索ブロックと前記探索ブロックに対応する探索
領域に含まれた各候補ブロックのあいだの画素データの
差を表すエラー信号を発生するステップと、（ｂ）前記
各エラー信号に対する相関度およびエラー関数を計算す
るステップと、（ｃ）前記ステップ（ｂ）で計算された
相関度および前記エラー関数に基づいた一つまたは二つ
以上のエラー信号を選択して、各々の前記一つまたは二
つ以上のエラー信号を表す一つまたは二つ以上の動きベ
クトルを提供するステップと、（ｄ）前記ステップ
（ｃ）から提供された一つまたは二つ以上の動きベクト
ルに応答して探索ブロックおよび前記探索ブロックに対
応する探索領域に含まれた候補ブロックから一つまたは
二つ以上のエラー信号を再構成するステップと、（ｅ）
前記ステップ（ｄ）で再構成された前記一つまたは二つ
以上のエラー信号を圧縮するステップと、（ｆ）最小数
のビットを含むエラー信号を選択して、前記探索ブロッ
クに対する動きベクトルとして、前記エラー信号に対応
する動きベクトルを提供するステップを含む動きベクト
ル決定方法が提供される。

【００１２】

【実施例】図１に、本発明の動き推定器（ｅｓｔｉｍａ
ｔｏｒ）１２および動き補償器１４を含むディジタルビ
デオ信号を圧縮するための符号化システムのブロック図
が示されている。

【００１３】現在のフレームデータは減算器１８および
動き推定器１２に入力ディジタルビデオ信号として入力
される。実際には、入力ディジタルビデオ信号は入力メ
モリ（図示せず）からブロック単位で読出され、この入
力メモリにはビデオ信号の各フレームがブロック単位で
処理するために画素データの連続的なブロックとして貯
蔵されている。入力ディジタルビデオ信号のブロックの
大きさは典型的に８×８画素および３２×３２画素間の
範囲である。

【００１４】本発明の動き推定器１２は、動き補償され
ないブロック信号と動き補償がなされたブロック信号の
のうちのどちらが圧縮後に最小のビット数を発生するか
を判断する。このとき、前記動き補償されないブロック
信号は現在のフレームの探索ブロックの入力ディジタル
ビデオ信号を表し、前記動き補償がなされたブロック信
号は現在のフレームの探索ブロックとフレームメモリ１
６から読出された前のフレーム内の対応する探索領域に
含まれた候補ブロック間のエラー信号である。前記の判
断は判断ビット、たとえば、動き補償されないブロック
信号であるばあい“０”、動き補償がなされたブロック
信号であるばあい“１”により識別される。動き補償が
なされたブロック信号が最小のビット数を発生させるば
あい、本発明の動き推定器１２は動き補償がなされたブ
ロック信号に対応する動きベクトルも決定する。

【００１５】図２から図５までを参照して、詳しく後述
する本発明の動き推定方法および装置を採用することに
よって、最小のビット数を発生させるブロック信号を決
定する。

【００１６】動き補償されないブロック信号が動き推定
器１２により最小のビット数を発生させるとして選択さ
れるとき、判断ビット、たとえば“０”、および疑似動
きベクトル（ｄｕｍｍｙｍｏｔｉｏｎｖｅｃｔｏ
ｒ）は動き補償器１４へ伝送される。このばあい、動き
補償は中止され、動き補償器１４からの出力はゼロにセ
ットされる。

【００１７】動き補償がなされたブロック信号が最小の
ビット数を発生させる選択されるばあいには、さらに他
の判断ビット、たとえば“１”および候補動きベクトル
は動き補償器１４へ入力される。前記動きベクトルは最
小のビット数を発生させる動き補償がなされたブロック
信号に対応する候補ブロックの位置を表す。判断ビット
および動きベクトルに応答して、予測信号、すなわち、
動きベクトルに対応する候補ブロックの画素データはフ
レームメモリ１６から抽出されて、動き補償器１４によ
り減算器１８および加算器２８へ提供される。

【００１８】どちらのばあいも、たとえば“０”または
“１”の判断ビットはマルチプレクサ３６へ印加され
て、伝送用の符号化されたビデオ信号と共に多重化（ｍ
ｕｌｔｉｐｌｅｘｅｄ）されることによって、受信機
（またはデコーダー）は符号化されたデータの受信され
たブロックが動き補償がなされたかどうかを判断するこ
とになる。

【００１９】動き補償器１４からの“０”または予測信
号は減算器１８で入力ディジタルビデオ信号から減算さ
れ、結果データ、すなわちエラー信号は変換コーダ（ｔ
ｒａｎｓｆｏｒｍｃｏｄｅｒ）、たとえばＤＣＴコー
ダ２０ヘ伝送されて、たとえば８×８画素データの前記
エラー信号のブロックは変換係数データのブロックに符
号化される。ここで用いられたエラー信号は入力ディジ
タルビデオ信号、すなわち動き補償されないブロック信
号または動き補償器１４により生成された予測信号およ
び前記入力ディジタルビデオ信号間の差信号、すなわち
動き補償がなされたブロック信号を称する。本技術分野
で通常の知識を有する者であれば、他の変換技法などを
本明細書に説明されたＤＣＴの代わりに採用できること
がわかるであろう。

【００２０】ＤＣＴコーダ２０からの変換係数は、量子
化器２２において量子化されたＤＣＴ係数のセットで量
子化されて、スキャナ（ｓｃａｎｎｅｒ）３０および逆
量子化器ＩＱ２４に入力される。量子化されたＤＣＴ係
数はＩＱ２４でＤＣＴ係数のセットでさらに変換され
る。ＤＣＴ係数のセットは逆離散コサイン変換器（ｉｎ
ｖｅｒｓｅｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａ
ｎｓｆｏｒｍｅｒ（ＩＤＣＴ））２６へ印加されて、こ
こで画素データのブロックに変換される。動き補償器１
４からの信号、すなわち“０”または予測信号およびＩ
ＤＣＴ２６からの画素データのブロックはフレームメモ
リ１６に記録される現在のフレームの再構成されたブロ
ック信号を提供するように加算器２８で加算される。フ
レームメモリ１６は現在のフレームデータおよび前のフ
レームデータを貯蔵する二つのフレームメモリ位置を有
する。加算器２８からの出力信号は画素データのブロッ
クを含む。現在のフレームを表す全てのブロックがフレ
ームメモリ１６に貯蔵されると、新しいフレームデータ
は加算器２８から提供される。このとき、新しいデータ
は現在のフレームとなり、フレームメモリ１６に以前に
貯蔵されている現在のフレームデータは前のフレームと
なる。

【００２１】一方、量子化器２２からの量子化されたＤ
ＣＴ係数は、たとえば、ＶＬＣコーダ３４のような統計
的コーダに適切なジグザグ形態に量子化されたＤＣＴ係
数を走査するスキャナ３０へ伝達されるが、走査はＤＣ
Ｔ係数のＤＣ成分に対応する値から始まる。ＶＬＣコー
ダ３４は可変長の符号化されたデータのセットに走査さ
れたデータを変換する。ＶＬＣコーダ３４は基本的にル
ックアップテーブル（ｌｏｏｋ−ｕｐｔａｂｌｅ）で
ある。すなわち、ＶＬＣコーダ３４において、多数のコ
ードセットはゼロランレングス（ｚｅｒｏｒｕｎ−ｌ
ｅｎｇｔｈ）と量子化されたＤＣＴ係数のレベルから成
る各セットおよびその可変長コード間の各々の関係を規
定するために提供される。

【００２２】レベルはゼロでない値を有する量子化され
たＤＣＴ係数であり、ゼロランレングスは走査順序で前
記レベルに先行する連続的なゼロの数である。他の統計
的符号化技法を本明細書に記述されたＶＬＣの代わりに
用いることもできる。ＶＬＣコーダ３４からの符号化さ
れたデータおよび動き推定器１２からの判断ビットはデ
ータ伝送用マルチプレクサ３６で同時伝送される。

【００２３】図２を参照すれば、図１に示した本発明に
よる動き推定器１２のブロックダイヤグラムが示されて
いる。現在のフレームの探索ブロックの信号である入力
ディジタルビデオ信号および前のフレームデータ、すな
わち、図１のフレームメモリ１６から読出された前のフ
レームの探索領域に対応する複数の候補ブロックのブロ
ック信号は、図１に示された動き推定器１２に含まれて
いる潜在的エラー信号検出器４０および最適エラー信号
検出器５０へ提供される。

【００２４】潜在的エラー信号検出器４０は、最小のビ
ット数を発生させる最適エラー信号を選択するための最
適エラー信号検出器５０で処理される最大ｐ個の潜在的
エラー信号を選択するが、ここでｐはあらかじめ設定さ
れた数である。潜在的エラー信号検出器４０の細部は図
３および図４を参照して後述する。潜在的エラー信号検
出器４０は各々の最大ｐ個の潜在的エラー信号に対する
判断ビットおよび動きベクトルを最適エラー信号検出器
５０へ出力する。

【００２５】潜在的エラー信号検出器４０からの出力に
応答して、最適エラー信号検出器５０は各々の潜在的エ
ラー信号に対するビット数を計算して最小のビット数を
発生させる最適エラー信号を決定する。最適エラー信号
検出器５０からの出力は図１で記述された通り、マルチ
プレクサ３６へ伝送される判断ビットおよび動きベクト
ルと動き補償器１４へ伝達される動きベクトルである。
最適エラー信号検出器５０の細部は図５によって説明さ
れる。

【００２６】図３は本発明の望ましい実施例によって図
２に示された潜在的エラー信号検出器４０の細部を示し
たものである。図１のフレームメモリ１６からの入力デ
ィジタルビデオ信号および前のフレームデータは減算器
４１および動き補償器４２に各々提供される。動きベク
トル発生器４３は、判断ビット動きベクトルのセットを
動き補償器４２および潜在的エラー信号選択器４６へ提
供する。詳しく説明すると、動きベクトル発生器４３は
一つの動き補償されないブロック信号、すなわち現在の
フレームの探索ブロックを表す入力ディジタルビデオ信
号を処理するための判断ビットおよび疑似動きベクトル
の一つのセットと、前のフレームの対応する探索領域内
のｎ個の各候補ブロックおよびフレームの探索ブロック
からえた動き補償がなされたブロック信号を処理するた
めの動きベクトルおよび他の判断ビットのｎ個セットを
含む（ｎ＋１）個のセットの信号を提供する。動き補償
器４２は図１に示された動き補償器１４と同じものであ
る。すなわち、動き補償器４２は動きベクトル発生器４
３から提供された動きベクトルおよび判断ビットの各セ
ットに応答して、“０”信号または予測信号を減算器４
１へ提供する。入力ディジタルビデオ信号から動き補償
器４２により生成された“０”信号または予測信号を減
算することによって提供されるエラー信号は減算器４１
からエラー関数検出器４４および相関性検出器４５へ印
加される。

【００２７】エラー関数検出器４４は各エラー信号に対
するエラー関数を計算し、計算された各エラー関数を潜
在的エラー信号選択器４６へ伝送する。すなわち、探索
ブロックとその候補ブロック間の相似性、すなわち時間
的相関関係の尺度であるエラー関数は通常エラー信号の
平均二乗エラーまたは絶対平均エラーにより表現され
る。絶対平均エラーが本発明の典型的な実施例として用
いられるが、分散関数（ｖａｒｉａｎｃｅｆｕｎｃｔ
ｉｏｎ）のような他のエラー関数も隣接フレーム間の時
間的相関関係の尺度を提供する限り、本発明を実施する
ために用いられる。ここで用いられたエラー関数はエラ
ー信号の画素データの全体の大きさを表すことと解釈さ
れうる。ブロックｉを表すエラー信号の絶対平均エラー
は次式により定義されうる。

【００２８】

【数２３】

【００２９】ここで、Ｉ（ｓ，ｔ）は画素データ、Ｍ×
Ｎ画素、たとえば、１６×１６画素からなるブロックｉ
の行ｓおよび列ｔにある画素の画素データ、たとえば、
輝度レベル（ｌｕｍｉｎａｎｃｅｌｅｖｅｌ）であ
る。

【００３０】一方、相関性検出器４５はブロックｉの水
平および垂直相関係数から相関度、たとえば、平均相関
係数を決定する。水平相関係数はつぎのようなブロック
ｉの各列に対する相関係数を平均することによって計算
されうる。

【００３１】

【数２４】

【００３２】ここでＣ_i,hはブロックｉの水平相関係数
を表し、Ｎはブロックｉの列数であり、Ｃ_i,h,tはブロ
ックｉの列ｔの相関係数である。

【００３３】列ｔに対する相関係数、Ｃ_i,h,tはつぎの
ような式により定義されうる。

【００３４】

【数２５】

【００３５】ここで、Ｍはブロックｉの行数、ｍは１か
らＭまでの範囲の正の定数、Ｉ（ｓ，ｔ）およびＩ（ｓ
＋ｍ，ｔ）は列ｔの行ｓおよび（ｓ＋ｍ）に位置した画
素データ、ｍｅａｎ_tはつぎのように式（４）により定
義される列ｔの平均画素データである。

【００３６】

【数２６】

【００３７】同じように、垂直相関係数Ｃ_i,vはつぎの
ような式によりブロックｉの各行に対する相関係数を平
均することによって計算される。

【００３８】

【数２７】

【００３９】ここで、Ｃ_i,vはブロックｉの垂直相関係
数を表し、Ｍはブロックｉの行数を表し、Ｃ_i,v,sはブ
ロックｉの行ｓの相関係数である。

【００４０】行ｓに対する相関係数、Ｃ_i,v,sはつぎの
ような式により定義される。

【００４１】

【数２８】

【００４２】ここで、Ｎはブロックｉの列数であり、
ｍ′は１からＮまでの範囲の正の定数、Ｉ（ｓ，ｔ）お
よびＩ（ｓ，ｔ＋ｍ′）は行ｓの列ｔおよび（ｔ＋
ｍ′）に位置した画素データ、ｍｅａｎ_sはつぎのよう
に式（７）により定義された行ｓの平均画素データであ
る。

【００４３】

【数２９】

【００４４】ブロックｉの平均相関係数は次のように式
（８）により定義される。

【００４５】

【数３０】

【００４６】ここで、Ｃ_ｉはその値が大きくなるにつれ
て相関性が良好になる０と１とのあいだの値を有し、潜
在的ブロック選択器４６へ入力される。ブロックの画素
間の空間的相関関係は表される任意の他の相関度が前述
した平均相関係数の代わりに用いられる。

【００４７】潜在的エラー信号選択器４６を参照すれ
ば、最大ｐ個の潜在的エラー信号に対する動きベクトル
および判断ビットのセットは図２に示されたような最適
エラー信号検出器５０であって、詳しくは図５の動き補
償器５２およびビットカウント比較器５７へ出力され
る。潜在的エラー信号の選択は図４に示された手続きに
よって潜在的エラー信号選択器４６で行われる。

【００４８】第１エラー信号の第１ブロックベクトルＢ
Ｖ１＝（Ｅ₁，Ｃ₁，Ｄ₁，Ｖ₁）はステップ（Ｓ１）
で読出されて貯蔵され、ここでＥ₁はエラー関数、たと
えば、エラー関数検出器４４からの絶対平均エラーであ
り、Ｃ₁は相関性検出器４５からの平均係数であり、Ｄ
₁およびＶ₁は各々動きベクトル発生器４３からの判断
ビットおよび動きベクトルである。ステップＳ２におい
て、つぎのブロックベクトルＢＶ_i＝（Ｅ_i，Ｃ_i，Ｄ
_i，Ｖ_i）が読出される。そののち、ステップＳ３で最
小エラー関数（Ｅｌ）はステップＳ２で読出されたＥｉ
および前のステップ、すなわちステップＳ１またはＳ５
で貯蔵されたブロックベクトルのエラー関数であるＥｊ
により決定される。Ｅ_jの総数はあらかじめ設定された
数、たとえば３であるｐより大きくはない。同一の値を
有する一つ以上のエラー関数が存在するとき、最大平均
相関係数を有するブロックベクトルのエラー関数がＥｌ
と選択される。Ｅｌを有するブロックベクトルの平均相
関係数はＣｌにセットされる。

【００４９】ステップＳ４において、Ｃｌより大きくは
ない平均相関係数Ｃを有するブロックベクトルは廃棄さ
れる。つぎのステップＳ５において、ブロックベクトル
はエラー関数が値の小さい順序で貯蔵され、選択された
ブロックベクトルの最大数はあらかじめ設定された数ｐ
より大きくはない。ステップＳ６において、ｉが（ｎ＋
１）と同一であるかをチェックするが、ここで（ｎ＋
１）はエラー信号、すなわち一つの動き補償されないブ
ロック信号およびｎ個の動き補償がなされたブロック信
号の総数を表し、ｎは前のフレームの対応する探索領域
内の候補ブロックの数である。

【００５０】もしｉが（ｎ＋１）と同じでなければ、す
なわちｉが（ｎ＋１）より小さいと、シーケンスはステ
ップＳ２へ再帰する。もしｉ＝ｎ＋１であれば、これは
全てエラー信号が処理されたことを意味し、ステップ
（Ｓ５）で貯蔵された最大ｐ個のブロックベクトルは潜
在的エラー信号であり、各々の潜在的エラー信号に対す
る動きベクトルおよび判断ビットのセットはステップＳ
７で図５に示される最適エラー信号検出器５０に含まれ
たビットカウント比較器５７および動き補償器５２へ出
力される。最大ｐ個の潜在的エラー信号は最小のエラー
関数を有するエラー信号を含み、他の選択されたエラー
信号は最小エラー関数を有するエラー信号の相関係数よ
りさらに大きい相関係数を有する条件でエラー関数が小
さい順序で選択される。

【００５１】図５には、図２に示された最適エラー信号
検出器５０が詳しく示される。入力ディジタルビデオ信
号は減算器５１へ提供され、図３の潜在的エラー信号選
択器４６からの動きベクトルおよび判断ビットの各セッ
トと前のフレームデータは動き補償器５２へ伝送され
る。動き補償器器５２は図３に示されたような潜在的エ
ラー信号検出器４０内の動き補償器４２と同一の役割を
する。動き補償器５２は入力される動きベクトルおよび
判断ビットの各セットに応答して、ゼロまたは予測信号
を減算器５１へ提供する。エラー信号は入力ディジタル
ビデオ信号から動き補償器５２により発生されたゼロま
たは予測信号を減算することによって減算器５１から提
供され、エラー信号のブロック、たとえば８×８画素デ
ータのブロックを変換係数データのブロックに変換する
ＤＣＴコーダ５３へ伝送される。

【００５２】ＤＣＴコーダ５３からの変換されたデータ
のブロックは、量子化器５４により量子化されたＤＣＴ
係数のブロックに量子化され、量子化されたＤＣＴ係数
のブロックが、たとえばジグザグ類型で走査されるスキ
ャナ５５へ伝送されるが、走査はＤＣＴ係数のＤＣ成分
に対応する値から始まる。スキャナ５５から走査された
データのセットはＶＬＣコーダ５６により可変長の（符
号化された）データのセットに符号化される。ＶＬＣコ
ーダ５６は基本的にルックアップテーブルである。すな
わち多数のコードセットが、本技術分野でよく知られる
ように、各々のゼロランレングスと量子化されたＤＣＴ
係数のレベルのセットおよびその可変長のコード間の関
係を規定するようにＶＬＣコーダ５６へ提供される。

【００５３】各潜在的エラー信号に対する可変長のコー
ドは、ビットカウント比較器５７へ伝送されて、各潜在
的エラー信号に対する総ビット数がカウントされる。ビ
ットカウント比較器５７は全潜在的エラー信号のビット
数を互いに比較し、最適エラー信号として最小のビット
数を有するエラー信号を選択する。ビットカウント補償
器５７から図１の動き補償器１４への出力は、選択され
た最適エラー信号の判断ビットおよび動きベクトルのセ
ットである。

【００５４】本発明の望ましい実施例は、動き補償され
ないブロック信号および動き補償がなされたブロック信
号から最適エラー信号を決定する動き推定器１２によっ
て説明されたが、本明細書で説明された方法はただ動き
補償がなされたブロック信号から最適エラー信号を選択
するために用いられることに注目する必要がある。

【００５５】また、ＤＣＴとは異なる任意の他の変換技
法およびＶＬＣとは異なる統計的符号化技法が用いられ
うる。

【００５６】また、図５の動き補償器５２、減算器５
１、ＤＣＴコーダ５３、量子化器５４、スキャナ５５お
よびＶＬＣコーダ５６は、ビットカウント補償器５７で
選択された最適エラー信号が図１に示された符号化プロ
セスを行ったのち、最小のビット数を提供しうるもので
なければならないという点において図１で採用ているも
のと同じである。

【００５７】

【発明の効果】本発明によって、隣接フレーム間の時間
的相関関係と共にエラー信号の画素のあいだの空間的関
係を用いることにより、データ圧縮後最小のビット数が
えられる動きベクトルを求めることができる。

【図面の簡単な説明】

【図１】本発明による動き推定器を含む符号化システム
を示すブロック図である。

【図２】潜在的エラー信号検出器および最適エラー信号
検出器を含む図１に示された動き推定器のブロック図で
ある。

【図３】図２に示された潜在的エラー信号検出器の詳細
を示すブロック図である。

【図４】本発明によって、潜在的エラー信号を決定する
ための図３に示された潜在的エラー信号選択器で行われ
る順序を説明するフローチャートである。

【図５】図２に示された最適エラー信号検出器の細部を
概略的に示したブロック図である。

【符号の説明】

１２動き推定器１４、４２、５２動き補償器１６フレームメモリ１８、４１、５１減算器２０、５３ＤＣＴコーダ２２、５４量子化器２４逆量子化器２６ＩＤＣＴ変換器２８加算器３０、５５スキャナ３４、５６ＶＬＣコーダ３６マルチプレクサ４０潜在的エラー信号検出器４３動きベクトル発生器４４エラー関数検出器４５相関性検出器４６潜在的エラー信号選択器５０最適エラー信号検出器５７ビットカウント比較器

Claims

【特許請求の範囲】

【請求項１】現在のフレームは同一の大きさの多数の
探索ブロックに分割され、前のフレームは対応する数の
探索領域に分割され、前記各探索領域は前記同一の大き
さの複数の候補ブロックにさらに分割されるビデオ信号
の現在のフレームと前のフレームとのあいだの動きベク
トルを決定する方法であって、（ａ）現在のフレームの探索ブロックと前記探索ブロッ
クに対応する探索領域に含まれた各候補ブロックのあい
だの画素データの差を表すエラー信号を発生するステッ
プと、（ｂ）前記各エラー信号に対する相関度およびエラー関
数を計算するステップと、（ｃ）前記ステップ（ｂ）で計算された相関度および前
記エラー関数に基づいた圧縮用最適エラー信号を選択し
て、前記最適エラー信号に対応する候補ブロックおよび
前記探索ブロックのあいだの画素の変位を表す動きベク
トルを前記探索ブロックに対する動きベクトルとして提
供するステップとを含む動きベクトル決定方法。
【請求項２】前記ステップ（ｃ）が、（ｃ１）最小エ
ラー関数を有するエラー信号を含み、エラー関数が小さ
い順序で選択され、前記最小エラー関数を有する前記エ
ラー信号以外の他の選択されたエラー信号は、前記最小
エラー関数を有する前記エラー信号の相関度よりさらに
大きい相関度を有し、選択されたエラー信号の総数はあ
らかじめ設定された数を超過しないように、圧縮後に最
小のビットを提供しうる一つまたは二つ以上のエラー信
号を選択して各々の選択された前記一つまたは二つ以上
のエラー信号を表す一つまたは二つ以上の動きベクトル
を提供するステップと、（ｃ２）前記ステップ（ｃ１）
で提供された前記一つまたは二つ以上の動きベクトルに
応答して、前記探索ブロックおよび前記探索ブロックに
対応する前記探索領域に含まれた前記候補ブロックから
前記選択された一つまたは二つ以上のエラー信号を再構
成するステップと、（ｃ３）前記ステップｃ２で再構成
された前記一つまたは二つ以上のエラー信号を圧縮する
ステップと、（ｃ４）前記ステップｃ２で再構成された
前記一つまたは二つ以上の各エラー信号に対するビット
数をカウントするステップと、（ｃ５）前記ステップｃ
４でカウントされたビット数を互いに比較するステップ
と、（ｃ６）前記最小ビット数を含むエラー信号を選択
して、前記探索ブロックに対する動きベクトルとして前
記選択されたエラー信号に対応する動きベクトルを提供
するステップとを含む請求項１記載の動きベクトル決定
方法。
【請求項３】前記ステップ（ｃ３）は、（ｃ３１）再
構成された一つまたは二つ以上の前記各エラー信号を変
換−符号化して変換係数のセットを生成するステップ
と、（ｃ３２）前記変換係数のセットを量子化された変
換係数のセットに量子化するステップと、（ｃ３３）前
記量子化された変換係数のセットを走査して量子化され
た変換係数のシーケンスを生成するステップと、（ｃ３
４）前記量子化された変換係数のシーケンスを統計的に
符号化するステップとを含む請求項２記載の動きベクト
ル決定方法。
【請求項４】前記ステップ（ａ）が、（ａ１）前記探
索ブロックと前記探索ブロックに対応する前記探索領域
の各々の前記複数の候補ブロックのあいだの画素の変位
を表す動きベクトルを発生するステップと、（ａ２）前
記ステップ（ａ１）により発生した前記動きベクトルに
応答して、前記各候補ブロックに対する画素データに対
応する予測信号を生成するステップと、（ａ３）前記探
索ブロックの画素データから前記各予測信号を減算して
エラー信号を提供するステップとを含む請求項３記載の
動きベクトル決定方法。
【請求項５】前記ステップ（ｃ２）は、（ｃ２１）前
記ステップ（ｃ１）で生成された前記各動きベクトルに
より表現される前記候補ブロックの画素データに対応す
る前記各予測信号を生成するステップと、（ｃ２２）前
記ステップ（ｃ２１）で前記探索ブロックの画素データ
から前記各予測信号を減算して、前記ステップ（ｃ１）
で決定された前記一つまたは二つ以上のエラー信号を再
構成するステップとを含む請求項４記載の動きベクトル
決定方法。
【請求項６】前記変換−符号化は離散コサイン変換を
用いて行われる請求項５記載の動きベクトル決定方法。
【請求項７】前記統計的符号化は可変長さ符号化を用
いて行われる請求項６記載の動きベクトル決定方法。
【請求項８】ｉ）前記エラー関数は、【数１】と定義された絶対平均エラーであり、ここで、Ｅｉはブ
ロックｉを表すエラー信号の絶対平均エラー、Ｉ（ｓ，
ｔ）はＭ×Ｎ画素のブロックｉの列ｔ行ｓにおける画素
データを表し、ｉｉ）前記相関度は、【数２】と定義される平均相関係数であり、ここで、Ｃｉは前記
ブロックｉを表すエラー信号の平均相関係数であり、Ｃ
_i,hはブロックｉの水平相関係数であり、Ｃ_i,vはブロ
ックｉの垂直相関係数であり、Ｃ_i,hは【数３】と定義され、ここでＮは前記ブロックｉの列の数であ
り、Ｍは前記ブロックｉの行の数、ｍは１からＭまでの
範囲の正の定数、Ｉ（ｓ＋ｍ，ｔ）は列ｔ行（ｓ＋ｍ）
における画素データ、ｍｅａｎ_tは【数４】により定義された列ｔの平均画素データ、Ｃ_i,vは【数５】と定義され、ここで、ｍ′は１からＮまでの範囲の正の
定数、Ｉ（ｓ，ｔ＋ｍ′）は列（ｔ＋ｍ′）行ｓにおけ
る画素データを表し、ｍｅａｎｓ_sは【数６】により定義された行ｓの平均画素データである請求項７
記載の動きベクトル決定方法。
【請求項９】ｉ）前記エラー関数は平均二乗エラーで
あり、ｉｉ）前記相関度は【数７】と定義される平均相関係数、ここでＣｉは前記ブロック
ｉを表すエラー信号の平均相関係数、Ｃ_i,hはブロック
ｉの水平相関係数、Ｃ_i,vはブロックｉの垂直相関係数
であり、Ｃ_i,hは【数８】と定義され、ここでＮは前記ブロックｉの列の数、Ｍは
前記ブロックｉの行の数、ｍは１からＭまでの範囲の正
の定数、Ｉ（ｓ，ｔ）およびＩ（ｓ＋ｍ，ｔ）は各々列
ｔ行ｓおよび（ｓ＋ｍ）における画素データであり、ｍ
ｅａｎ_tは【数９】により定義される列ｔの平均画素データであり、Ｃ_i,v
は【数１０】と定義され、ここでｍ′は１からＮまでの範囲の正の定
数、Ｉ（ｓ，ｔ＋ｍ′）は列（ｔ＋ｍ′）行ｓにおける
画素データを表し、ｍｅａｎ_sは【数１１】により定義される行ｓの平均画素データである請求項７
記載の動きベクトル決定方法。
【請求項１０】現在のフレームは同一の大きさの多数
の探索ブロックに分割され、前のフレームは対応する数
の探索領域に分割され、前記各探索領域は前記同一の大
きさの複数の候補ブロックにさらに分割されるビデオ信
号の現在のフレームと前のフレームから圧縮用最適ビデ
オ信号を決定するための方法であって、（ａ）前記探索ブロックの動き補償されないブロック信
号および前記複数の動き補償がなされたブロック信号を
含むエラー信号を発生するステップと、（ｂ）前記各エラー信号に対する相関度およびエラー関
数を計算するステップと、（ｃ）前記ステップ（ｂ）で計算された相関度と前記エ
ラー関数に基づいた圧縮用最適エラー信号を選択するス
テップとを含む方法。
【請求項１１】前記ステップ（ａ）は、（ａ１）信号
の一つは動き補償されないブロック信号を処理するよう
に提供された第１判断ビットを含み、他の各々の信号は
動き補償がなされたブロック信号を処理するための第２
判断ビットおよび前記探索ブロックに対応する前記探索
領域で前記各候補ブロックおよび前記探索ブロック間の
画素の変位を表す動きベクトルを含む制御信号を発生す
るステップと、（ａ２）前記一つの制御信号に応答し
て、ゼロ信号と前記他の制御信号に応答して前記他の制
御信号に含まれた各動きベクトルに対応する各々の前記
候補ブロックに対する画素データを表す各々の前記複数
の予測信号を生成するステップと、（ａ３）前記現在の
フレームの画素データから前記ゼロ信号および各々の前
記予測信号を減算してエラー信号を提供するステップと
を含む請求項１０記載の方法。
【請求項１２】前記ステップ（ｃ）は、（ｃ１）最小
エラー関数を有するエラー信号を含み、前記エラー関数
が小さい順に選択され、前記最小エラー関数を有する前
記エラー信号以外の他の選択されたエラー信号は、前記
最小エラー関数を有する前記エラー信号の相関度よりさ
らに大きい相関度を有し、選択されたエラー信号の総数
はあらかじめ設定された数を超えないように圧縮後に最
小のビットを提供しうる一つまたは二つ以上のエラー信
号を選択して、一つまたは二つ以上の各々の前記エラー
信号を表す一つまたは二つ以上の制御信号を提供するス
テップと、（ｃ２）前記ステップ（ｃ１）で提供された
前記一つまたは二つ以上の制御信号に応答して、前記探
索ブロックおよび前記探索ブロックに対応する前記探索
領域に含まれた前記候補ブロックから前記一つまたは二
つ以上のエラー信号を再構成するステップと、（ｃ３）
前記ステップ（ｃ２）で再構成された前記一つまたは二
つ以上のエラー信号を圧縮するステップと、（ｃ４）前
記ステップ（ｃ３）で圧縮された前記一つまたは二つ以
上の各エラー信号に対するビット数をカウントするステ
ップと、（ｃ５）前記ステップ（ｃ４）でカウントされ
たビット数を互いに比較するステップと、（ｃ６）前記
最小ビット数を含むエラー信号を選択して、前記探索ブ
ロックに対する制御信号として前記最小ビット数を含む
前記エラー信号に対応する制御信号を提供するステップ
とを含む請求項１１記載の方法。
【請求項１３】前記ステップ（ｃ３）は、（ｃ３１）
再構成された前記一つまたは二つ以上の前記各エラー信
号を変換−符号化して変換係数のセットを生成するステ
ップと、（ｃ３２）前記変換係数のセットを量子化され
た変換係数のセットに量子化するステップと、（ｃ３
３）前記量子化された変換係数のセットを走査して、量
子化された変換係数のシーケンスを生成するステップ
と、（ｃ３４）前記量子化された変換係数のシーケンス
を統計的に符号化するステップとを含む請求項１２記載
の方法。
【請求項１４】前記ステップ（ｃ２）は、（ｃ２１）
前記ステップ（ｃ１）から提供された各制御信号に応答
してゼロまたは予測信号を生成するステップと、（ｃ２
２）前記ステップ（ｃ２１）で生成された前記ゼロまた
は予測信号を前記探索ブロックの画素データから減算し
て前記ステップ（ｃ１）で決定された前記一つまたは二
つ以上にエラー信号を再構成するステップとを含む請求
項１３記載の方法。
【請求項１５】前記ステップ（ｃ６）以後、（ｄ）前記ステップ（ｃ６）から提供された制御信号に
応答して、ゼロまたは予測信号を提供するステップをさ
らに含む請求項１４記載の方法。
【請求項１６】前記変換−符号化は離散コサイン変換
を用いて行われる請求項１５記載の方法。
【請求項１７】前記統計的符号化は可変長さ符号化を
用いて行われる請求項１６記載の方法。
【請求項１８】ｉ）前記エラー関数は【数１２】と定義された絶対平均エラーであり、ここでＥｉはブロ
ックｉを表すエラー信号の絶対平均エラーであり、Ｉ
（ｓ，ｔ）はＭ×Ｎ画素のブロックｉの列ｔ行ｓにおけ
る画素データを表し、ｉｉ）前記相関度は【数１３】と定義される平均相関係数、ここでＣｉは前記ブロック
ｉを表すエラー信号の平均相関係数、Ｃ_i,hはブロック
ｉの水平相関係数、Ｃ_i,vはブロックｉの垂直相関係
数、Ｃ_i,hは【数１４】と定義され、ここでＮは前記ブロックｉの列の数、Ｍは
前記ブロックｉの行の数、ｍは１からＭまでの正の定
数、Ｉ（ｓ＋ｍ，ｔ）は列ｔ行（ｓ＋ｍ）における画素
データ、ｍｅａｎ_tは【数１５】により定義された列ｔの平均画素データ、Ｃ_i,vは【数１６】と定義され、ここでｍ′は１からＮまでの範囲の正の定
数、Ｉ（ｓ，ｔ＋ｍ′）は列（ｔ＋ｍ′）行ｓにおける
画素データ、ｍｅａｎ_sは【数１７】により定義された行ｓの平均画素データである請求項１
７記載の方法。
【請求項１９】ｉ）前記エラー関数は平均二乗エラー
であり、ｉｉ）前記相関度は【数１８】と定義される平均相関係数であり、ここで、ｃ１は前記
ブロックｉを表すエラー信号の平均相関係数、Ｃ_i,hは
ブロックｉの水平相関係数、Ｃ_i,vはブロックｉの垂直
相関係数であり、Ｃ_i,hは【数１９】と定義され、ここでＮは前記ブロックｉの列の数、Ｍは
前記ブロックｉの行の数、ｍは１からＭまでの範囲の正
の定数、Ｉ（ｓ，ｔ）およびＩ（ｓ＋ｍ，ｔ）は各々列
ｔ行ｓおよび（ｓ＋ｍ）における画素データ、ｍｅａｎ
_tは【数２０】により定義される列ｔの平均画素データ、Ｃ_i,vは【数２１】と定義され、ここで、ｍ′は１からＮまでの範囲の正の
定数、Ｉ（ｓ，ｔ＋ｍ′）は列（ｔ＋ｍ′）行ｓにおけ
る画素データ、ｍｅａｎｓ_sは【数２２】により定義された行ｓの平均画素データである請求項１
７記載の決定方法。