JPH10234040A

JPH10234040A - ビデオ情報をパケット化する方法

Info

Publication number: JPH10234040A
Application number: JP2723398A
Authority: JP
Inventors: K Taruri Lagendla; ケイ．タルリラジェンドラ; Cheun Jean; チェウンジーン
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1997-02-07
Filing date: 1998-02-09
Publication date: 1998-09-02
Also published as: EP0861001B1; EP0861001A2; EP0861001A3; KR19980071136A; TW369779B; US6111916A

Abstract

(57)【要約】【課題】いくらかの訂正不可能なエラーが存在してい
ても、動きベクトルデータがなお使用可能であるように
し、圧縮ビデオデータのパケット内に訂正不可能なエラ
ーある場合でも、わずかなオーバヘッドの追加により部
分再生を可能にする。【解決手段】（マクロ）ブロックレベルの動き補償に
より圧縮されたビデオのビットストリームにおいて、動
きベクトルは集約されて、対応するテクスチャデータか
ら、再同期ワードにより分離される。また、可変長コー
ドテーブルから再同期ワードを発生する方法が提供さ
れ、該方法により発生せしめられた再同期ワードを用い
て、該再同期ワードに隣接する動きベクトルまたはテク
スチャデータがコード化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、雑音性（ｎｏｉｓ
ｙ）チャネルおよび記憶装置を経ての伝送のための情報
のコード化に関し、特にエラー許容性（ｒｅｓｉｌｉｅ
ｎｔ）コード化に関する。

【０００２】

【従来の技術】雑音性チャネルを経てのデータの送信中
に生じるエラーを軽減するためには、２つの一般的なア
プローチが存在する。すなわち、自動再送要求（Ａｕｔ
ｏｍａｔｉｃＲｅｔｒａｎｓｍｉｓｓｉｏｎ）（ＡＲ
Ｑ）およびフォワードエラーコレクション（Ｆｏｒｗａ
ｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）（ＦＥＣ）
である。ＡＲＱタイプの軽減は、ビデオのようなマルチ
キャストまたはリアルタイムのアプリケーションにおい
ては、許容しえない時間遅延、または帰還チャネルの欠
如のために適さない。そのような場合には、デコーダ
は、ある程度までエラー訂正コード化により保護され
た、エラーにより劣化したビットストリームのみをデコ
ードでき、そのようなビットストリームから作成を行わ
なければならない。ＦＥＣは、エラー訂正コード（例え
ば、リードソロモン）による軽減を行う。しかし、訂正
不可能なエラーは、さらなる軽減アプローチを必要とす
る。

【０００３】一般に、通常用いられるビデオ圧縮方法
は、時間的冗長性を除去するためにブロックに基づく動
き（ｍｏｔｉｏｎ）補償を行う。動き補償方法は、（マ
クロ）ブロック動きベクトルおよび量子化残差（ｒｅｓ
ｉｄｕａｌｓ）（テクスチャ）のみをコード化し、動き
ベクトルおよび残差の可変長コーディング（ＶＬＣ）は
コード化効率を増大させる。しかし、可変長コーディン
グは、しばしば送信チャネルエラーの影響を極めて受け
やすく、デコーダは、訂正不可能なエラーが発生した
時、エンコーダとの同期を容易に失う。動き補償のよう
な予測コーディング方法は、事態を著しく悪化させる。
そのわけは、１つのビデオフレーム内のエラーが、全ビ
デオシーケンスを経て高速で伝搬し、デコードされるビ
デオの品質を高速で劣化させるからである。

【０００４】訂正不可能なエラーに対する、そのような
ブロックに基づくビデオ圧縮方法の典型的なアプローチ
は、エラー検出（例えば、範囲外動きベクトル、無効な
ＶＬＣテーブルエントリ、またはブロック内の残差の無
効な数）のステップと、デコーダのエンコーダとの再同
期のステップと、訂正不可能なデータの代わりに前に送
信された訂正されたデータの繰返しにより行うエラー補
正のステップと、を含む。例えば、ＭＰＥＧ１−２を用
いて圧縮されたビデオは、フレームのマクロブロック
（ＭＢ）のそれぞれのスライスの開始点に再同期マーカ
（開始コード）を有し、訂正不可能なエラーは、正しく
デコードされた再同期マーカ間の全てのデータを廃棄さ
せることになる。これは、殊にＭＰＥＧのような予測圧
縮方法における、ビデオストリームの品質の劣化を意味
する。

【０００５】これらのビデオ圧縮および圧縮解除の方法
は、特殊な集積回路において、またはプログラム可能デ
ィジタル信号プロセッサ、またはマイクロプロセッサに
おいて実行されうる。

【０００６】

【発明が解決しようとする課題】本発明の目的は、いく
らかの訂正不可能なエラーが存在していても、動きベク
トルデータがなお使用可能であるようにし、圧縮ビデオ
データのパケット内に訂正不可能なエラーある場合で
も、わずかなオーバヘッドの追加により部分再生を可能
にすることである。

【０００７】

【課題を解決するための手段】本発明は、動きベクトル
データおよび対応するテクスチャデータを区分すること
により、ビデオビットストリーム内に組み込まれた再同
期を提供し、それによりいくらかの訂正不可能なエラー
が存在していても、動きベクトルデータがなお使用可能
であるようにする。本発明はまた、データの可変長コー
ドと両立しうる再同期マーカとして用いるためのワード
を選択する方法を提供する。これは、圧縮ビデオデータ
のパケット内に訂正不可能なエラーある場合でも、わず
かな追加のオーバヘッドによる部分再生を含む利点を与
える。

【０００８】

【発明の実施の形態】図面はわかりやすくするために概
略的なものとしてある。ビットストリームシンタックス図１は、動き再同期を有する第１実施例のビットストリ
ームパケットシンタックスを示し、比較のために図２
は、実施例の動き再同期のない、公知のパケットシンタ
ックスを示す。特に、図１および図２は、ＭＰＥＧタイ
プのコード化ビデオにおけるパケットシンタックスを示
し、それはフレームをブロックまたはマクロブロック
（ＭＢ）に区分し、大部分のＭＢを、前のＭＢからの予
測のための動きベクトル（ＭＶ）と、予測されたＭＢピ
クセルと実際のＭＢピクセルとの間の（圧縮された）差
に対するテクスチャデータ（ＤＣＴ）と、によりコード
化している。実際、３５２ピクセル毎ラインの２８８ラ
インから成る（輝度のみの）フレームは、１８×２２ア
レイのＭＢを形成し、それぞれのＭＢは１６×１６アレ
イのピクセルである。送信または記憶のためには、その
ようなフレームの３９６ＭＢのシーケンスは、便利なサ
イズのパケットに分割される。例えば、パケットサイズ
が約１０００バイトであり、平均的ＭＢが約３２０ビッ
ト（例えば、動きベクトルのための２０ビットおよびテ
クスチャのための３００ビット）によりコード化される
場合は、パケットはほぼ２５ＭＢを含む。従って、その
ようなフレームは、送信のためにほぼ１６パケットを必
要とし、３０フレーム毎秒のフレームレートは、ほぼ
３．８Ｍｂｐｓの送信を必要とする。低ビットレートの
送信においては、テクスチャデータは著しく減少せしめ
られるので、動きベクトルデータは比較的に、より重要
となる。

【０００９】典型的には、フレームのＭＢはスライスに
グループ化され、１つのスライスはフレームの単一行内
の１つまたはそれ以上の連続するＭＢから成る。従っ
て、前述の例においては、１つのスライスは１ないし２
２ＭＢを含みうる。１つのスライス内には、マクロブロ
ックデータが順次現れる。再同期は、スライス開始コー
ドを用いて行われうる。例えば、単純化されたスライス
は、ヒューリスティックには次のようなものでありう
る。ただし、ｍａｃｒｏｂｌｏｃｋ（）関数は、マクロブロ
ックに対する動きベクトルおよびテクスチャデータを与
え、ｍａｃｒｏｂｌｏｃｋｎｕｍｂｅｒは、スライス
内の第１マクロブロックのフレームスキャンの番号であ
る。これは、図２に示されているシンタックスを与え、
動きベクトルおよびテクスチャデータは、マクロブロッ
クを基礎としてインタリーブされている。

【００１０】これとは対照的に、実施例のスライス関数
は、動きベクトルデータおよびテクスチャデータを分離
された部分に区分し、かつ動き再同期ワード（ｍｏｔｉ
ｏｎｒｅｓｙｎｃｈ）をこれらのデータ部分の間に挿入
し、これはヒューリスティックには次のようなものであ
りうる。ただし、ｍｏｔｉｏｎｖｅｃｔｏｒ（）関数およびｂ
ｌｏｃｋ（）関数は、それぞれマクロブロックに対する
動きベクトルおよびテクスチャデータを与え、ｍａｃｒ
ｏｂｌｏｃｋｎｕｍｂｅｒは、第１マクロブロックの
番号である。ｍｏｔｉｏｎｒｅｓｙｎｃｈワードは、
追加のエラー補正を以下のように行う。

【００１１】ｍｏｔｉｏｎｒｅｓｙｎｃｈワードは、
動きベクトルデータの任意の許されるシーケンスから少
なくとも１のハミング距離となるように、動きベクトル
ＶＬＣテーブルから計算される。ｍｏｔｉｏｎｒｅｓ
ｙｎｃｈワードは、動きベクトルＶＬＣコードワードス
トリームから一意的にデコード可能であり、動きベクト
ルデータの読取りを、テクスチャデータの読取りを始め
る前のどこで停止すべきかのデコーダ知識を与える。パ
ケット内のマクロブロックの数は、デコーダがｍｏｔｉ
ｏｎｒｅｓｙｎｃｈワードに遭遇した後に暗黙的に知
られる。デコーダはエラー検出に応答し、エラーのタイ
プに依存して動作を進める。

【００１２】（１）訂正不可能なエラーが動きベクトル
データ内に検出された時は、デコーダはエラーのフラグ
を立て、次の再同期マーカまで、パケット内の全てのマ
クロブロックを、スキップされるブロックにより置換す
る。再同期は、次の満足に読取られた再同期マーカにお
いて行われる。もしいずれかの後のビデオパケットが、
再同期の前に失われれば、それらのパケットはスキップ
されるマクロブロックにより置換される。

【００１３】別のスキームにおいては、デコーダが動き
ベクトルデータ内にエラーを検出した時、デコーダは、
正しくデコードされた動きベクトルデータの部分（例え
ば「Ｎ」マクロブロック）を用いて動き補償を適用する
ことをも選択しうる。デコーダは次に動きマーカを探索
し、テクスチャデータの対応する「Ｎ」マクロブロック
のデコードを試みる。もしこのテクスチャデータが検出
可能なエラーなしにデコード可能であれば、デコーダ
は、このテクスチャデータをすでに動き補償された
「Ｎ」ブロックに追加する。「Ｎ」マクロブロックテク
スチャのいずれかのデコーディングにおいてもしエラー
が検出されれば、デコーダは、動き補償のみを用い、テ
クスチャデータをゼロで置換する。

【００１４】（２）（ｍｏｔｉｏｎｒｅｓｙｎｃｈワ
ードに遭遇し、動きデータ内にエラーが検出されなかっ
た後に）テクスチャデータ内にエラーが検出された時
は、動きベクトルデータは動き補償を行うために用いら
れる。マクロブロックのテクスチャデータは全てゼロに
より置換され、デコーダは次の再同期マーカに再同期す
る。

【００１５】（３）もしエラーが、動きベクトルデータ
またはテクスチャデータ内に検出されないが、再同期マ
ーカ１が、パケットの全てのマクロブロックのデコーデ
ィングの終了時に見出されなければ、エラーのフラグが
立てられ、パケットのテクスチャデータのみが廃棄され
る。動きベクトルデータは検出されたｍｏｔｉｏｎｒｅ
ｓｙｎｃｈワードに先立って来ているため、動きベクト
ルデータには高い信頼性があるので、動き補償はなおマ
クロブロックに対して適用される。

【００１６】（４）もしエラーが、現在のパケット内の
動きベクトルデータまたはテクスチャデータ内に検出さ
れず、次の再同期マーカが見出されれば、追加のチェッ
クが行われる。すなわち、次のパケットの第１マクロブ
ロックの番号から、現在のパケットの第１マクロブロッ
クの番号を減算したものは、ｍｏｔｉｏｎｒｅｓｙｎ
ｃｈワードまでの動きベクトルデータのデコーディング
により見出された現在のパケット内のマクロブロックの
数に等しくなければならない。もしこれら２つのマクロ
ブロック数の測度が一致しなければ、この次のパケット
のデータを廃棄する。そのわけは、この次のパケットの
第１マクロブロックの番号にエラーがある可能性が高い
からである。現在のパケットにエラーがある可能性は小
さい。そのわけは、正しくデコードされた動きベクトル
の数が、正しくデコードされたテクスチャデータアイテ
ムの数に一致し、ｍｏｔｉｏｎｒｅｓｙｎｃｈワード
が正しい場所に見出されたからである。これは、図２の
タイプのシンタックスとは対照的である。該シンタック
スにおいては、そのようなエラーは、エラー発生の位置
と、エラー検出の位置とが通常一致せず、いずれのパケ
ットも信頼しえないので、両パケットが廃棄されること
を要求する。

【００１７】要するに、ｍｏｔｉｏｎｒｅｓｙｎｃｈ
ワードが与えるものは、（１）ｍｏｔｉｏｎｒｅｓｙ
ｎｃｈワードが動きベクトルデータの終わりに見出され
なければならないことによる、動きベクトルデータの有
効性のより厳しいチェックと、（２）動きベクトルデー
タおよびテクスチャデータ内にエラーが検出されなかっ
たことと、次の再同期マクロブロックが見出されないこ
ととが対になった時は、ｍｏｔｉｏｎｒｅｓｙｎｃｈ
ワードが正しく見出されているので、テクスチャデータ
の廃棄のみが要求されることと、である。

【００１８】動き再同期ワードは、以下の節において説
明するような探索を用い、動きＶＬＣテーブルから計算
されうる。このワードは、動きＶＬＣテーブルから得ら
れる任意の可能な有効な組合せから、少なくとも１のハ
ミング距離にある。

【００１９】再同期ワードの発生第１実施例の方法は、対応するＶＬＣテーブルに基づく
探索により、再同期ワード（前節の動き再同期ワードは
１つの例である）を作る。最適の再同期ワードは、その
探索により見出された可能なワードから選択されうる。
特に、ビットストリームはコードワードｃ_i ^k（第ｋＶ
ＬＣテーブルからの第ｉコードワード）のシーケンスを
有するものと仮定し、実施例の方法は、このビットスト
リーム内に生じる全ての可能なビットパターンと異なる
ワードを見出す。潜在的（ｐｏｔｅｎｔｉａｌ）ワード
のパフォーマンスの比較のための自然距離（ｎａｔｕｒ
ａｌｍｅｔｒｉｃ）は、ワードと、ＶＬＣテーブルか
ら導きうるビットストリーム内の全ての可能なパターン
の集合と、の間のハミング距離である。正のハミング距
離は、ビットストリーム内の全てのビットパターンと異
なるワードを意味する。従って、与えられたワード長Ｒ
に対しての意図は、長さＲの２^R個のワードの中から、
ＶＬＣテーブルから導かれるビットストリーム内に生じ
うる長さＲの全ての可能なビットパターンからの最大ハ
ミング距離を有するワードを見出すことである。もちろ
ん、もし長さＲの全てのワードが、それらのビットパタ
ーンからのハミング距離０を有すれば、Ｒを増大させな
ければならない。

【００２０】長さＲの潜在的再同期ワードと、長さＲの
ビットストリームビットパターンと、の間のハミング距
離を見出すためには、ビットパターンの集合を、探索の
ための３つの部分空間、すなわち、少なくともＲの長さ
を有するコードワードの部分空間Ｓ₁と、少なくともＲ
の長さの和を有する、コードワードの許容される順序づ
けられ連結された対の部分空間Ｓ₂と、少なくとも３つ
のコードワードの許容される連結であって、該連結の組
み込まれた（内部）コードワードのそれぞれがＲより小
さい長さを有する前記連結の部分空間Ｓ₃と、に分割す
る。潜在的再同期ワードｒに関する探索は以下のように
進められる。

【００２１】部分空間Ｓ₁における第１探索：（１）変数Ｈを、Ｌ（ｒ）であるように初期化する。た
だし、Ｌ（）は、その引数の長さ（ビット数）であり、
Ｈは、第１探索の終了時において、ｒから部分空間Ｓ₁
までのハミング距離となる。（２）ワードｒと、Ｓ₁内のコードワードｃ_i ^kと、の
間のハミング距離を見出すために必要なシフトの総数
は、Ｌ（ｃ_i ^k）−Ｌ（ｒ）＋１であるので、シフトカ
ウンタをＮ＝Ｌ（ｃ_i ^k）−Ｌ（ｒ）＋１に初期化す
る。（３）

【外１】を、ｃ_i ^kのビットＮから始まる長さＬ（ｒ）のｃ_i ^k
のセグメントとして定義する。次に、Ｈを次式により更
新する。

【００２２】

【数１】ただし、Ｄ（ａ，ｂ）は、パラメータａおよびｂの間の
ハミング距離である。

【００２３】（４）Ｎを１だけ減少させ、もしＮが正な
らばステップ（３）へ行く。部分空間Ｓ₁内のそれぞれ
のコードワードに対して、以上の（２）から（４）まで
のステップを繰返した後には、ＨはｒからＳ₁までのハ
ミング距離となり、Ｈ₁で表される。もちろん、もしＨ
が０になれば、ｒは可能な再同期ワードではなく、探索
は終了してよい。

【００２４】部分空間Ｓ₂における第２探索を継続す
る：（１）変数Ｈを、Ｌ（ｒ）であるように初期化する。Ｈ
は、第２探索の終了時において、ｒから部分空間Ｓ₂ま
でのハミング距離となる。（２）ワードｒと、Ｓ₂内の連結された２つのコードワ
ードｃ_i ^k＋ｃ_j ⁿと、の間のハミング距離を見出すた
めに必要なシフトの総数は、Ｌ（ｃ_i ^k）＋Ｌ
（ｃ_j ⁿ）−Ｌ（ｒ）＋１であるので、シフトカウンタ
をＮ＝Ｌ（ｃ_i ^k）＋Ｌ（ｃ_j ⁿ）−Ｌ（ｒ）＋１に初
期化する。（３）

【外２】を、ビットＮから始まる長さＬ（ｒ）のｃ_i ^k＋ｃ_j ⁿ
のセグメントとして定義する。次に、Ｈを次式により更
新する。

【００２５】

【数２】

【００２６】（４）Ｎを１だけ減少させ、もしＮが正な
らばステップ（３）へ行く。部分空間Ｓ₂内のそれぞれ
の順序づけられたコードワードの対に対して、以上の
（２）から（４）までのステップを繰返した後には、Ｈ
はｒからＳ₂までのハミング距離となり、Ｈ₂で表され
る。再び、もしＨが０まで減少すれば、ｒは可能な再同
期ワードではなく、探索は終了してよい。

【００２７】最後に、部分空間Ｓ₃における第３探索を
行う。コヒーレントブロックは、ＶＬＣテーブルから選
択された、Ｌ（ｃ_q ^p）がＬ（ｒ）より小さいコードワ
ードｃ_q ^pとして定義される。図３に示されているよう
に、これは中央片であり、これに対して左右へ他のコー
ドワードが連結される。ＶＬＣテーブル内のことごとく
のコヒーレントブロックに対し、以下のように進められ
る。

【００２８】（１）変数Ｈを、Ｌ（ｒ）であるように初
期化する。Ｈは、第３探索の終了時において、ｒから部
分空間Ｓ₃までのハミング距離となる。（２）ワードｒと、Ｓ₃内のコヒーレントブロックｃ_q
^pを有する３つまたはそれ以上のコードワードの連結
と、の間のハミング距離を見出すために必要なシフトの
総数は、Ｌ（ｒ）−Ｌ（ｃ_q ^p）＋１であるので、シフ
トカウンタをＮ＝Ｌ（ｒ）−Ｌ（ｃ_q ^p）＋１に初期化
する。（３）ｒを３つの（空であることも可能な）部分に区分
する。それらのうちの、ｒ₁は最初のＮ−１ビットであ
り、ｒ₂は次のＬ（ｃ_q ^p）ビットであり、ｒ ₃は残り
のＬ（ｒ）−Ｌ（ｃ_q ^p）−Ｎ＋１ビットである。

【００２９】（４）前記コヒーレントブロックの両端に
許容されるコードワードを反復して連結し、ハミング距
離を計算する：（ａ）前記コヒーレントブロックの左へのコードワード
の許された結合を、その長さが少なくともＮ−１になる
まで形成し、

【外３】を、この結合の最後のＮ−１ビットとして定義する。（ｂ）（ａ）から得られた前記コヒーレントブロック＋
左方結合、の右へのコードワードの許された結合を、該
右方結合の長さが少なくともＬ（ｒ）−Ｌ（ｃ_q ^p）−
Ｎ＋１になるまで形成し、

【外４】を、この右方結合の最初のＬ（ｒ）−Ｌ（ｃ_q ^p）−Ｎ
＋１ビットとして定義する。（ｃ）Ｈを次式により更新する。

【００３０】

【数３】

【００３１】（ｄ）全ての許容される左方および右方結
合に対し、（ａ）から（ｃ）までのステップを繰返す。（５）Ｎを１だけ減少させ、もしＮが正ならばステップ
（３）へ行く。ＶＬＣテーブル内のそれぞれのコヒーレ
ントブロックに対して、（２）から（５）までのステッ
プを繰返した後には、ＨはｒとＳ₃との間のハミング距
離となり、Ｈ₃で表される。

【００３２】このようにして、ｒと、全ての可能なビッ
トストリームと、の間のハミング距離は、ｍｉｎ
（Ｈ₁，Ｈ₂，Ｈ₃）となる。それゆえ、最適の再同期
ワードは（もし存在すれば）、正のハミング距離が見出
されるまでワード長を増大させて探索することにより見
出されうる。ビットストリームまでの１より大きいハミ
ング距離を有する（もっと長い）ワードを探索すること
は、バーストエラーの性質により役に立たないようであ
る。本探索方法は、Ｓ₃においてコヒーレントブロック
に焦点を合わせ、可能な再同期ワードの端部にオーバラ
ップする短いコードワードに焦点を合わせないことによ
り、探索空間を最小化する。再同期ワードを見出すため
の探索の戦略は、与えられたＶＬＣテーブルに対してそ
のようなワードが存在するという仮定に依存している。

【００３３】ビデオ対象の再同期対象に基づくビデオのコード化方法は、ビデオを、動き
対象と背景対象とに分解するので、フレームのシーケン
スは、ビデオ対象のシーケンスの集合として処理され、
それぞれの対象に対して１つのシーケンスが存在する。
従って、それぞれのフレームは、別個にコード化される
対象の集合としてコード化される。デコーダは、デコー
ドされた諸対象からフレームを再構成する。これは、諸
対象が多重解像度でコード化されることを可能にし、デ
コーダは、ある対象を選択して、より良い視覚のため
に、より高い解像度でデコードしうる。

【００３４】対象の形状、内容（テクスチャ）、および
動きは、前述のように動き補償を用いて効率的にコード
化されうる。また、対象は（いくらかのマクロブロック
内において）比較的小さいかもしれないので、第１実施
例のｓｌｉｃｅ（）の、マクロブロックの単一行への制
限は避ける。この圧縮データに対する、実施例のエラー
補正は再び、形状、動きベクトル、およびテクスチャデ
ータを区分し、それぞれの区画間に再同期ワードを備え
る。これは再び、形状、動きベクトル、およびテクスチ
ャデータの、マクロブロックに基づく公知の処理とは対
照的なものとなる。このようにして、再同期ワードを、
Ｉフレームに対してはデータの開始点に、また、Ｐフレ
ームの開始点のほかに、Ｐフレーム内のことごとくの検
出される対象のための下記のアイテムに対するコードの
それぞれの開始点に、導入する。（ｉ）形状（例えば、境界輪郭データ）、（ii）動きベ
クトルデータ、および（iii)テクスチャデータ（ＤＣＴ
または他の方法が、ウェーブレット（ｗａｖｅｌｅｔ）
のような残余データを圧縮している）。

【００３５】さらに、もし制御データ、または他のデー
タも含まれていれば、このデータも再同期ワードを有し
うる。再同期ワードは、それらが独自のものであるこ
と、すなわち、それらが静的テーブルであるＶＬＣテー
ブル内に存在しないため、それらが、同じ長さのコード
化ビットのどのような与えられたシーケンスとも異なる
こと、を特徴とする。例えば、もしＰフレームが３つの
動き対象を有していたとすれば、シーケンスは次のよう
なものとなろう。フレームの初めの再同期ワード輪郭（形状）再同期ワード第１対象の輪郭データ動きベクトル再同期ワード第１対象の動きベクトルデータテクスチャ再同期ワード第１対象のテクスチャデータ輪郭（形状）再同期ワード第２対象の輪郭データ動きベクトル再同期ワード第２対象の動きベクトルデータテクスチャ再同期ワード第２対象のテクスチャデータ輪郭（形状）再同期ワード第３対象の輪郭データ動きベクトル再同期ワード第３対象の動きベクトルデータテクスチャ再同期ワード第３対象のテクスチャデータこれらの再同期ワードはまた、デコーダがエラーを検出
することを助ける。

【００３６】デコーダが、受けたビットストリーム内に
エラーを検出した時は、それは最も近い再同期ワードを
見出すことを試みる。このようにして、デコーダは、最
小のコード化データの損失をもって、可能な最も早い時
点において同期を再確立する。

【００３７】もし以下の条件のいずれかが観察されれ
ば、デコーダにおいてエラーが検出されうる：（ｉ）無効なコードワードが発見される、（ii）デコー
ド中に無効なモードが検出される、（iii)データのデコ
ードされたブロックに再同期ワードが続いていない、
（iv）動きベクトルがフレームの外部をポイントしてい
る、（ｖ）デコードされたｄｃｔ値が許容限度外にあ
る、（vi）境界輪郭が無効である（画像の外側にあ
る）。

【００３８】もし境界輪郭データ内にエラーが検出され
れば、輪郭は廃棄され、背景の部分とされる。これは、
前のフレームの対応する領域が用いられることを意味す
る。これは、あるひずみを減少させるが、そのわけは、
３がしばしばビデオシーケンスにおける時間的相関であ
るからである。

【００３９】もし動きベクトルデータ内にエラーが検出
されれば、対象自身の動きベクトルを用い、対象のため
の平均動きベクトルが、それぞれのマクロブロックでは
なく、対象全体に適用される。これは、与えられたフレ
ーム内に大きい空間的相関が存在する事実に基づく。従
って、与えられた対象の動きベクトルの大部分は、ほぼ
同じである。すなわち、対象のさまざまなマクロブロッ
クに適用される平均動きベクトルは、良い近似となり、
視覚的ひずみを顕著に減少させるのに役立つ。もしエラ
ーがテクスチャデータ内に検出されれば、全てのテクス
チャデータはゼロにセットされ、デコーダは再同期を試
みる。

【００４０】ビデオ対象の動きの再同期再同期のための前述の対象データ区分の明示的な例は、
実験的に調査され、コード化のために必要とされる追加
ビットの小さいオーバヘッドにより、パフォーマンスの
改善を示した。特に、Ｐタイプの画像に対しては、ちょ
うど動きベクトルデータおよびテクスチャデータが用い
られ、図５がそのビットストリームを示している。それ
ぞれのマクロブロックのための動きベクトルデータは、
２つの部分、すなわち、動きベクトルの数と、実際の動
きベクトルと、から成る。動きベクトルの数は、１、
２、または４のいずれかであり、これは動き補償に対応
せず、マクロブロック全体に対して単一動きベクトルが
用いられるか、またはマクロブロックを作る４つの８×
８ブロックのそれぞれに対して１つの動きベクトルが用
いられる。動きベクトルの数は、以下のＶＬＣテーブル
によりコード化される。

【００４１】

【表１】０１１１０４１０

【００４２】動きベクトルは、（前のフレームとは異な
り）垂直成分に先立ち水平成分によりコード化され、そ
れぞれの成分は、以下のＶＬＣテーブルによりコード化
される。ただし、該テーブルにおいて、ｓは、＋エント
リに対しては０、−エントリに対しては１、に等しい。

【００４３】

【表２】

【００４４】このようにして、許容されるビットストリ
ームは、前記のベクトル数のＶＬＣテーブルからの前の
エントリに依存するこのＶＬＣテーブルからの２つまた
は８つの連続するエントリを有する。ビットストリーム
は、フレームの予測タイプ（例えば、Ｉ、Ｐ、または
Ｂ）と、テクスチャデータのための量子化因子と、のよ
うな対象アイテムのためのある固定長コードと、マクロ
ブロックデータをパッケージ化するための、テクスチャ
データに続く１７ビットの再同期マーカ０００００００
０００００００００１と、を有し、動きベクトル
データおよび再同期マーカのためのこれら２つのＶＬＣ
テーブルと共に前節の実施例の方法を用いた探索は、ほ
ぼ１０個の可能な最小長（１７ビット）の動き再同期ワ
ードを与えた。特定の動き同期ワード（１０１０００
００００００００００１）が選択され、ランダムビ
ットエラーと、パケット損失エラーと、バーストエラー
とにより、ビットストリームを劣化させることによっ
て、雑音性チャネルを経ての送信のシミュレーションに
用いられた。図４は、マクロブロックシーケンスによる
マクロブロック内の通常の動きベクトルおよびテクスチ
ャデータと比較した時の、エラー許容性（ｒｅｓｉｌｉ
ｅｎｔ）ビットストリーム（動きベクトルデータと、テ
クスチャデータとを、間に動き再同期ワードを置くこと
により区分している）のパフォーマンスを示す。シミュ
レーションにおいて、ビット誤り率は１０^-2であり、バ
ースト長は１ｍｓであった。図４は、ピークＳＮ比（Ｐ
ＳＮＲ）をフレーム番号の関数として示す。動きベクト
ルとテクスチャデータとの動き再同期ワードによる区分
は、２ｄＢより大きい利得を生じる。

【００４５】ビデオ対象の形状および動きの再同期多重対象のための形状データ、動きベクトルデータ、お
よびテクスチャデータを含むビットストリームにおける
実施例のコード化は、諸対象のデータを分離する再同期
マーカをもつパケットを有する。図５からわかるよう
に、再同期マーカのそれぞれの対の間において、単一対
象のマクロブロックの集合のためのデータは、形状デー
タと、動きベクトルデータと、テクスチャデータと、に
区分され、形状データと、動きベクトルデータと、の間
には、形状再同期ワードがあり、動きベクトルデータ
と、テクスチャデータと、の間には、動き再同期ワード
がある。動きベクトルデータは、再び、動きベクトルの
数と、異なる（ｄｉｆｆｅｒｅｎｔｉａｌ）動きベクト
ル成分とを含む。形状データは、対象識別データと、形
状コードとを含む。

【００４６】対象のサイズ（マクロブロックの数）は、
大きく変動しうるので、単一のパケットは、例えば、第
１対象のマクロブロックの最後の部分と、第２対象のマ
クロブロックの全てと、第３対象のマクロブロックの最
初の部分と、を含みうる。この場合、再同期マーカは、
３つの対象のデータの集合を分離し、動き再同期ワード
は、それぞれの対象のためのデータを、形状、動き、お
よびテクスチャデータに区分する境界となる。

【００４７】別のシナリオにおいては、それぞれの個々
の対象を別々にパケット化することが好ましい。この場
合には、１つの対象のみの動きおよびテクスチャデータ
が、２つの連続する再同期マーカの間に現れる。図６
は、１フレーム内の２つの対象のマクロブロックを通る
走査を示し、図７は、ビットストリームのシンタックス
を示す。このスキームにおいても、２つの再同期マーカ
の間に形状および動きが現れる。このアプローチの利点
は、それぞれの対象に属するデータが、ビットスキーム
内において別個にパケット化されることである。

【００４８】一般に、再同期マーカは、固定した間隔で
ビットストリーム内に挿入されうるので、対象のデータ
は１つより多くの形状−動き−テクスチャのグループに
分割されうる。例えば、４８ｋｂｐｓのような低ビット
レートおよび高圧縮の場合は、再同期マーカは７６４ビ
ット毎に用いられうる。より高いレートにおいては、も
っと頻繁でない再同期マーカが用いられる。

【００４９】形状再同期ワードおよび動き再同期ワード
は、それぞれ実施例の探索方法により発生せしめられう
る。前述のように、再同期ワードは、たとえもしデータ
のいくらかが廃棄されなければならなくても、エラー検
出を助け、部分的なデータの使用を可能にする。例え
ば、形状データおよび動きベクトルデータは、テクスチ
ャデータなしでも使用されうる。

【００５０】改善されたエラー許容性のための１つの可
能性は、形状再同期ワードおよび動き再同期ワードと共
にＶＬＣテーブル内に可逆コード（コードワードが対称
である）を使用することにより得られる。これは、検出
されたエラーを局部化する利点を有する。デコーダがエ
ラーを検出した時は、デコーダは次の再同期マーカまで
ジャンプし、前に検出されたエラーに向かって後方へデ
コードする。ＶＬＣの使用は、しばしば、デコーダがエ
ラーの位置を通過した後にのみエラー検出を可能にする
ので、後方へのデコーディングは、順方向エラー検出の
位置を通過するまで多分エラーを検出しない。図７を参
照されたい。この場合は、順方向デコードされたエラー
と、後方検出されたエラーと、の間のデータを廃棄す
る。これは、そのエラーからのデータ再生の量を最大化
する。

【００５１】以上の説明に関して更に以下の項を開示す
る。（１）（ａ）対象のピクセルの複数のグループのための
動きデータおよびテクスチャデータを発生するステップ
と、（ｂ）前記動きデータを集約するステップと、
（ｃ）前記テクスチャデータを集約するステップと、
（ｄ）前記集約された動きデータと、前記集約されたテ
クスチャデータとの間に、再同期ワードを挿入するステ
ップと、を含む、ビデオ情報をパケット化する方法

【００５２】（２）前記グループのピクセルが、ビデオ
情報のフレームの１６×１６マクロブロック内にある前
記対象の前記ピクセルである、第１項に記載の方法。（３）（ａ）形状データを集約するステップと、（ｂ）
前記動きデータおよび前記テクスチャデータから前記形
状データを区別するために第２再同期ワードを挿入する
ステップと、をさらに含む、第１項に記載の方法。

【００５３】（４）動き補償されたビデオビットストリ
ームシンタックスであって、（ａ）ビットストリーム内
の第１グループの連続ビットであって、少なくとも２つ
の動きベクトルをコード化した該第１グループの連続ビ
ットと、（ｂ）前記ビットストリーム内の前記第１グル
ープのビットに続く第２グループの連続ビットであっ
て、再同期ワードを形成する前記第２グループの連続ビ
ットと、（ｃ）前記第２グループに続く第３グループの
連続ビットであって、前記動きベクトルに関連するテク
スチャデータをコード化した前記第３グループの連続ビ
ットと、を含む、前記動き補償されたビデオビットスト
リームシンタックス。

【００５４】（５）可変長コードの集合から独自のワー
ドを発生する方法であって、（ａ）可変長コードワード
の集合を発生するステップと、（ｂ）正の整数Ｒに対
し、前記コードワードのシーケンス内に生じうる長さＲ
の全てのビットパターンの空間を、第１、第２、および
第３部分空間に区分するステップであって、前記第１部
分空間が、少なくともＲの長さのコードワード内の、全
ての長さＲのシーケンスであり、前記第２部分空間が、
少なくともＲの長さの和を有する、２つの前記コードワ
ードの許容される連結内の、全ての長さＲのシーケンス
であり、前記第３部分空間が、少なくともＲの長さの和
を有する、３つまたはそれ以上の前記コードワードの許
容される連結内の、全ての長さＲのシーケンスであり、
前記３つまたはそれ以上のコードワードの内部コードワ
ードの長さがＲより小さい長さである、前記区分するス
テップと、（ｃ）長さＮの潜在的再同期ワードを発生す
るステップと、（ｄ）前記潜在的再同期ワードから前記
第１部分空間までの距離を計算するステップと、（ｅ）
前記潜在的再同期ワードから前記第１部分空間までの距
離が０より大きい時に、前記潜在的再同期ワードから前
記第２部分空間までの距離を計算するステップと、
（ｆ）前記潜在的再同期ワードから前記第２部分空間ま
での距離が０より大きい時に、前記潜在的再同期ワード
から前記第３部分空間までの距離を計算するステップ
と、（ｇ）前記潜在的再同期ワードから前記第３部分空
間までの距離が０より大きい時に、前記潜在的再同期ワ
ードを再同期ワードとして選択するステップと、（ｈ）
前記第１、第２、または第３部分空間までの前記距離が
０である時に、長さＮのもう１つの潜在的再同期ワード
を発生し、ステップ（ｃ）から始まる以上のステップを
繰返すステップと、（ｉ）長さＮの全ての潜在的再同期
ワードにおける、前記第１、第２、または第３部分空間
までの前記距離が０である時に、ＮをＮ＋１により置換
し、ステップ（ｃ）から始まる以上のステップを繰返す
ステップと、を含む、前記方法。

【００５５】（６）ビットストリームにおいて、動きベ
クトルが集約され且つ対応するテクスチャデータから再
同期ワードにより分離されている、前記ビットストリー
ムを有する、（マクロ）ブロックレベルの動き補償によ
り圧縮されたビデオ、および、可変長コードテーブルか
ら再同期ワードを発生する方法であって、該発生せしめ
られた再同期ワードを用いて、該再同期ワードに隣接す
る動きベクトルまたはテクスチャデータがコード化され
る、前記方法。

【００５６】（関連出願に対するクロスリファレンス）
本出願は、１９９６年１０月２５日付出願の特許出願第
０８／７３９，１１１号に関連する。

【図面の簡単な説明】

【図１】第１実施例の再同期を有する、ビットストリー
ムパケットシンタックスを示す。

【図２】再同期を有する、公知のビットストリームパケ
ットシンタックスを示す。

【図３】再同期ワード探索を示す。

【図４】実験結果を示す。

【図５】もう１つのビットストリームシンタックスを示
す。

【図６】対象走査を示す。

【図７】もう１つのビットストリームシンタックスを示
す。

Claims

【特許請求の範囲】

【請求項１】（ａ）対象についての複数のピクセルグ
ループの各々の動きデータおよびテクスチャデータを発
生するステップと、（ｂ）前記動きデータを集約するステップと、（ｃ）前記テクスチャデータを集約するステップと、（ｄ）前記集約された動きデータと、前記集約されたテ
クスチャデータとの間に、再同期ワードを挿入するステ
ップと、を含む、ビデオ情報をパケット化する方法
【請求項２】動き補償されたビデオビットストリーム
シンタックスであって、（ａ）ビットストリーム内の第１グループの連続ビット
であって、少なくとも２つの動きベクトルをコード化し
た該第１グループの連続ビットと、（ｂ）前記ビットストリーム内の前記第１グループのビ
ットに続く第２グループの連続ビットであって、再同期
ワードを形成する前記第２グループの連続ビットと、（ｃ）前記第２グループに続く第３グループの連続ビッ
トであって、前記動きベクトルに関連するテクスチャデ
ータをコード化した前記第３グループの連続ビットと、
を含む、前記動き補償されたビデオビットストリームシ
ンタックス。