JPH09121350A

JPH09121350A - 可変長符号化における事象の配置・伝送方法

Info

Publication number: JPH09121350A
Application number: JP27555395A
Authority: JP
Inventors: Teio Ken Tan; タン・ティオ・ケン; Mei Shien Shien; メイ・シェンシェン
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-10-24
Filing date: 1995-10-24
Publication date: 1997-05-06

Abstract

(57)【要約】【課題】ビットストリームスケーラビリティ、空間解
像度スケーラビリティ、耐エラー強度性が優れた符号化
方法の提供。【構成】ブロック方式符号化により画像を符号化し、
各ブロックに対してヘッダ情報とデータ事象を生成し、
これらのブロックを複数のブロックグループ（スライ
ス）に分類し、画像の左から右へ及び最上部から最下部
へのブロック走査順序に従って第１のブロックで開始
し、かつ最後ブロックで終了するようにして、スライス
の中の全ての前記ヘッダ情報を伝送し、第１の事象グル
ープには各ブロック内の第１の事象として出現する事象
を含ませ、第２の事象グループには各ブロック内の第２
の事象として出現する事象を含ませ、以後同様に繰り返
し、このようにして、前記スライス内の前記事象をグル
ープ化し、第１の事象グループで開始し、最後の事象の
グループで終了するように、前記事象グループを伝送す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の符号化、特
に変換係数（ＤＣＴ）の符号化に関し、ビットストリー
ムのスケーラビリティが促進されるように可変長符号化
された事象の伝送の配列を再配置するものである。なお
ビットストリームスケーラビリティは、汎用アクセス可
能性を促進する上で重要である。これは、同一の符号化
ビットストリームが異なるバンド幅容量のネットワーク
を介して伝達される場合に顕著になる。また、本発明は
誤りに対して強いビットストリームを生成する方法にも
関する。

【０００２】

【従来の技術】ＭＰＥＧ-１［１］のような典型的なハ
イブリッド変換符号アルゴリズムにおいては、量子化変
換係数はジグザク式に走査され、次に、ゼロの連続であ
るランとそれに後続するレベルの組の事象に分類され
る。各事象はランレベル事象と呼ばれる。各ブロックに
おけるこのような事象は次々に可変長符号化される。

【０００３】ＭＰＥＧ−２［２］においては、データを
２つのストリームに分割するための機構が備えられてい
る。ブレークポイントは、情報が第１のビットストリー
ム又は第２のビットストリームに配置されるべきである
かどうかを指示するためのものである。しかしながら、
この方法では、２つのビットストリームがあるのみであ
り、一方のストリームから他方のストリームへ上記事象
を動的に割り当てることはできない。

【０００４】図１は、事象が可変長符号化法を使用して
符号化される場合の従来の配列の例を示す。この図では
１つのスライスに属する３つのマクロブロックが示され
ている。各マクロブロックは、マクロブロックヘッダ情
報と、６つのブロックのランレベル事象とからなる。１
ブロックは垂直方向にいくつかの事象を有し、つまり各
事象の垂直グループ（グループ）は上記１ブロックに属
することになる。これらの事象は図のように正方形で表
す。

【０００５】従来の可変長符号化法においては、各マク
ロブロックの情報は下記の順序でおくられる。すなわ
ち、最初にヘッダ情報が伝送され、次にマクロブロック
内の第１ブロックの事象が、そして第２ブロックの事象
等々、マクロブロックの全てのブロックが伝送される。
この伝送順序は次のマクロブロックでも反復される。こ
の順序は図１の矢印によって示される。

【０００６】図２は、いかにこれら事象がデータ分割法
を使用して２つの個別のストリームに分割されるかを示
す。データ分割法では、２つの情報ストリームが伝送さ
れる。２つの情報ストリームは区画０及び区画１と呼ば
れる。このような場合、マクロブロックにおける伝送の
順序は、以前のように、マクロブロックヘッダ情報で開
始され、次にブロックの事象が後続する。図１の場合と
の差異は、優先ブレークポイントにある。優先ブレーク
ポイントよりも前に生じる事象はすべて区画０の中で伝
送されるが、優先ブレークポイントよりも後の事象はす
べて区画１の中で伝送される。２つのストリームを２つ
の矢印セットによって図２に示す。

【０００７】これらに付いての参考文献としては、
［１］ISO/IEC 11172-2 1993、情報技術(Information Te
chnology)-約1.5Mbit/sまでのディジタル記憶媒体のた
めの映画及び関連音声の符号化(Coding of moving pict
ures and associated audio fordigital storage media
up to about 1.5Mbit/s-Part2:Video［２］ISO/IEC 13
818-2 1995、映画及び関連音声情報の一般的な符号化-Pa
rt2:Video等がある。

【０００８】

【発明が解決しようとする課題】

ａ）ビットストリームスケーラビリティしかしながら、上記のＭＰＥＧ−１の例では、最初の所
定の事象数のみを復号し、かつ残りの事象をスキップす
ることは不可能である。不要な事象も次のブロックに属
する事象の開始を突き止めるために復号されねばならな
い。このようにスケーラビリティに欠点がある。ｂ）空間解像度スケーラビリティデータ分割を使用する上記のＭＰＥＧ−２の例では、２
つの分割しかない。したがって、それは、フレキシブル
でかつ解像度の高いのビットストリームスケーラビリテ
ィを実現出来ない。ｃ）耐エラー強度性耐エラー強度性のためには、各ブロックから、より本質
的な事象を最初に伝送し、その後でより本質的でない事
象を伝送することが望ましい。これは、各ブロックの事
象が次のブロックの事象に進む前に空にされるような上
記の従来技術では不可能である。

【０００９】

【課題を解決するための手段】本発明では、我々は、高
い優先事象がデコーダに最初に伝送されるようにこれら
の事象を配列するための方法を提案する。またフレキシ
ブル構造によっていろいろな同期点がビットストリーム
の中に含ませうる。

【００１０】ビットストリームにおける事象の伝送を再
配列することによって、デコーダは重要な情報へのアク
セス権を迅速に得、次に同期点を用いることによって不
必要な情報を容易にスキップし、次の情報データに移り
うる。

【００１１】デコーダはそれがどのくらいの情報を復号
するかを選択できるので、デコーダはビットストリーム
スケーラビリティにおける非常に細かい解像度が得られ
る。

【００１２】最後に、再配列により、より決定的な情報
が最初に伝送されるため、決定的情報が失われることは
統計的に極めて起こりにくくなる。これは、使用される
可変長符号化技術のためである。一旦、デコーダがエラ
ーのために同期を失うと、次の同期点までの全てのすぐ
後の情報もまた失われる。しかし、同期点は、デコーダ
が確実にビットストリームエラーから迅速に回復し、し
たがってエラーを限定された領域に閉じこめることを可
能にする。このため、同期点直後に現れる情報は、その
後に現れる情報よりもエラーなしに伝送される確率が高
くなる。

【００１３】このように、本発明は、細粒度ビットスト
リームスケーラビリティの問題点を解決する。それによ
って、ビットストリームは、必要に応じて異なる情報量
をビットストリームから抽出できるように符号化されう
る。スケーラビリティはビットストリームから必要な情
報のみを選択することによってデコーダで達成される。
またビットストリームスケーラビリティは、必要情報の
みが通過されることが可能であるトランスコーダによっ
て達成されることができる。同期点は、必要とされるビ
ットのみが伝送又は復号されるように、ビットストリー
ムの非常に迅速な操作を可能にするビットストリームに
戦略的に配置される。不必要なデータは、次の同期点を
探すことによって容易にスキップすることができる。本
発明は、より決定的な情報が最初に伝送されるようにデ
ータを配列するので、本発明はエラー強度にも役立つ。
これは、統計的にみて、決定的な情報がエラーによって
影響されることがより少なくなることを意味する。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態例につ
いて図面を参照して説明する。

【００１５】請求項１の本発明は、画像の符号化情報を
配列し伝送する方法であって、ブロック方式符号化法を
使用してビデオシーケンスを符号化し、各ブロックに対
してヘッダ情報とデータ事象を生成するステップと、こ
れらのブロックを以下スライスと呼ばれる複数のブロッ
クグループに分類するステップと、画像の左から右へ及
び最上部から最下部へのブロック走査順序に従って第１
のブロックで開始し、かつ最後ブロックで終了するよう
にして、スライスの中の全ての前記ヘッダ情報を伝送す
るステップと、第１の事象グループには各ブロック内の
第１の事象として出現する事象を含ませ、第２の事象グ
ループには各ブロック内の第２の事象として出現する事
象を含ませ、以後同様に繰り返し、このようにして、前
記スライス内の前記事象をグループ化し再配置するステ
ップと、前記ブロックの第１の事象を含む前記第１の事
象グループで開始し、かつ前記ブロックの最後の事象を
含む前記最後の事象のグループで終了するように、前記
事象グループを伝送するステップとを備えたことを特徴
とする画像の符号化情報を配置及び伝送する方法であ
る。

【００１６】また、請求項２の発明は、請求項１記載の
画像の符号化情報を配置及び伝送する方法によって、伝
送された情報を復号する方法であって、前記スライス内
の各ブロックのヘッダ情報の復号を行い、必要とされる
事象数まで前記事象グループを復号し、残りの事象グル
ープを廃棄し、ブロック方式伸長法によって伝送画像を
再構成する各ステップを備えた、伝送情報の復号方法で
ある。

【００１７】以上のことをさらに具体的に説明すると、
図３に示されているように、本発明では、符号化される
フレーム又は対象は、１つ以上のスライスに分割され
る。スライスはラスタ走査法で任意のマクロブロック数
にも形成され得る。マクロブロックはブロックを含んで
いる。ＭＰＥＧの4:2:0フォーマットの場合は、６つの
ブロック、すなわち４つの輝度ブロック及び２つの色ブ
ロックがある。各ブロックは、各々８ピクセルの８行に
配置された６４ピクセルを含んでいる。

【００１８】従来の符号化法では、ブロックはＤＣＴ変
換され、量子化され、ジグザグ走査され、ランレベル事
象が得られる。次に、これらの事象は可変長符号化され
る。各ブロックの事象は次のブロックが符号化される前
に空にされる。

【００１９】しかし、本発明では、事象が符号化される
順序が変更されている。すなわち、各スライス内で、全
てのブロックの第１の事象が最初に符号化され、各ブロ
ックの第２の事象が後続するように、事象の配列が変更
される。そして第３の事象等々、全ての事象が空にされ
るまで続けられる。図１及び図２に、事象がスライス内
で符号化される配列を示す。図４は、本発明における、
事象が伝送される順序を示す。

【００２０】スライスのヘッダは同期点として機能す
る。更に、この事象ヘッダを事象グループの間に配置す
ることも可能である。この事象ヘッダは、各ブロック内
でその発生順序に従って事象を分離する。

【００２１】

【実施例】次に、本実施例のエンコーダ及びデコーダを
説明する。動き補償変換符号化方法を使用するエンコー
ダを図５に示す。入力画像は、ライン１を通ってブロッ
クセグメンテーションモジュール２に送られ、そこで複
数の小さいブロックに分割される。これが予測画像であ
る場合は、ライン５を介し入力画像を、ライン４を介し
てセグメントブロックを、及びライン18を介して前の画
像を動き推定モジュール６に供給することによって、そ
れらブロックは動き補償される。得られた動き予測はラ
イン７で出力され、入力ブロックから減算され、動き補
償予測誤差８を生じる。次に、この誤差値は、ＤＣＴ変
換を行なうＤＣＴ変換モジュール９に送られる。そこで
得られたＤＣＴ変換係数は、ライン10を介して係数を複
数のレベルに量子化する量子化モジュール11に送られ
る。次に、これらの得られたレベルはライン12を介して
事象走査モジュール19へ送られる。この事象走査モジュ
ール19では、ランレベル事象が偶数走査法で配列され。
さらに、それは可変長符号化が行なわれライン20を介し
てデコーダに伝送される。

【００２２】同時に量子化係数はライン13を通ってロー
カルデコーダモジュール15に送られる。このモジュール
１５では、値が逆量子化され、空間領域に逆変換され
る。次に、それは、ライン14を介して得られる動き予測
と加えられる。このようにして局部的に再構成されたブ
ロックは、次に、ライン16を介して、次のフレームの予
測に使用されるため、フレーム記憶17に送られる。

【００２３】デコーダは図６に示されるとうりになって
いる。伝送されてきた事象は、ライン31を通って必要と
される事象が抽出される事象選択モジュール32に送られ
る。選択される事象数は、所望される復号品質特性に依
存する。次に、事象は、レベルを再構成してＤＣＴ係数
を生成する逆量子化モジュール34にライン33を介して送
られる。次に、これらの係数は、予測エラーが回復され
る逆ＤＣＴ変換モジュール36にライン35を通って送られ
る。次に、これらの予測エラーは、再構成画像40を形成
するように、前のフレームからの動き補償予測38に加え
られる。再構成画像はフレーム記憶41に記憶され、のち
に次のフレームのために予測を生成するために動き補償
モジュール39によって使用される。

【００２４】図７は事象走査法を実施するトランスコー
ダの実施例を示す。エンコーダモジュール51は、ビット
ストリーム52を生じるために通常のように入力画像を符
号化する。次に、ビットストリームは事象走査モジュー
ル５３によって読み出され、かつ事象は事象走査法で再
配列される。次に、再配列された事象54は、必要とされ
る事象のみを選択する事象選択モジュール55に送られ
る。選択された事象は、ライン56を介して逆事象走査モ
ジュール57に送られ、そこで事象の配列がモジュール59
内のデコーダが理解できる元の形式に戻される。

【００２５】事象走査のためのシンタックス規則を図８
に示す。画像のビットストリームのためのシンタックス
は画像ヘッダで開始する。これには複数のスライスレイ
ヤーが後続する。スライスレイヤーはスライスヘッダで
開始する。これには、最上部の最も左のマクロブロック
で開始し、左から右へかつ最上部から最下部まで走査し
最下部の最も右のマクロブロックで終了する、スライス
の中の全てのマクロブロックのマクロブロックヘッダが
後続する。次に、これには事象レイヤが後続する。事象
レイヤは、ブロック内の事象の位置を示す事象ヘッダで
開始する。これにはスライス内の各マクロブロックにお
いて指示された位置で発生する全ての事象が後続する。
走査の順序はスライス内のマクロブロック順序に従う。
マクロブロック内で、各ブロックは図３に示されるよう
にブロック配列に従って０から５まで走査される。もし
事象がブロックに存在しなければ、ブロックがスキップ
される。ブロックにおける全ての事象が空にされるまで
事象レイヤ画像は繰り返される。

【００２６】

【発明の効果】以上述べたところから明らかなように、
本発明の事象走査法を実施することによって、非常に簡
単なスケーラブル方式を達成することができる。スケー
ラビリティは、スケーラブルデコーダによって又はトラ
ンスコーダを実施することによって達成され得る。この
スケーラビリティ方式は空間解像度スケーラビリティ及
びエラー強度性もまた改良出来る。それは、十分な品質
で符号化されたビットストリームの蓄積が必要なマルチ
メディア検索システムのための画像の符号化において有
用である。次に、スケーラビリティ技術を使用すること
によって、縮小化された（scaled）ビットストリームは
記憶された全ビットストリームから得られ、かつデコー
ダに伝送される。同様に、また、サービスが、異なるバ
ンド幅を有する伝送路に分配される状況で使用され得
る。トランスコーダは、より低いバンド幅チャネルに送
られる必要情報を変換及び選択するように高いバンド幅
チャネルとより低いバンド幅チャネルとの間に配置され
る。

【図面の簡単な説明】

【図１】ＤＣＴ係数の可変長符号化における現在の走査
順序を示す従来例である。

【図２】ＤＣＴ係数の可変長符号化におけるデータ分割
を使用するときの走査パターンを示す従来例である。

【図３】画像フレームのスライス、マクロブロック及び
ブロックの関係を示す図である。

【図４】可変長符号化における事象走査順序の例を示
す。

【図５】事象走査モジュールを有するエンコーダのブロ
ック図である。

【図６】事象走査を使用するスケーラブルデコーダのブ
ロック図である。

【図７】事象走査を実施するトランスコーダのブロック
図である。

【図８】事象走査法のためのシンタックス規則である。

【符号の説明】

２ブロックセグメンテーション手段６動き推定手段９ＤＣＴ手段１１量子化器１７フレームメモリ１５ローカルデコーダ１９事象走査手段

Claims

【特許請求の範囲】

【請求項１】画像の符号化情報を配列し伝送する方法
であって、ブロック方式符号化法を使用してビデオシー
ケンスを符号化し、各ブロックに対してヘッダ情報とデ
ータ事象を生成するステップと、これらのブロックを以
下スライスと呼ばれる複数のブロックグループに分類す
るステップと、画像の左から右へ及び最上部から最下部へのブロック走
査順序に従って第１のブロックで開始し、かつ最後ブロ
ックで終了するようにして、スライスの中の全ての前記
ヘッダ情報を伝送するステップと、第１の事象グループには各ブロック内の第１の事象とし
て出現する事象を含ませ、第２の事象グループには各ブ
ロック内の第２の事象として出現する事象を含ませ、以
後同様に繰り返し、このようにして、前記スライス内の
前記事象をグループ化し再配置するステップと、前記ブロックの第１の事象を含む前記第１の事象グルー
プで開始し、かつ前記ブロックの最後の事象を含む前記
最後の事象のグループで終了するように、前記事象グル
ープを伝送するステップとを備えたことを特徴とする画
像の符号化情報を配置及び伝送する方法。
【請求項２】請求項１記載の画像の符号化情報を配置
及び伝送する方法によって、伝送された情報を復号する
方法であって、前記スライス内の各ブロックのヘッダ情報の復号を行
い、必要とされる事象数まで前記事象グループを復号し、残りの事象グループを廃棄し、ブロック方式伸長法によって伝送画像を再構成する各ス
テップを備えた、伝送情報の復号方法。
【請求項３】前記事象のグループが、事象ヘッダと呼ば
れる独特に識別できる符号化ビットのシーケンスによっ
てさらに分離されることを特徴とする請求項１記載の画
像の符号化情報を配置及び伝送する方法。
【請求項４】請求項１に従って配置及び伝送されたフル
解像度ビットストリームが、所望のビット速度が超過さ
れる場合には、最初の事象グループから開始するところ
の所定の数の事象グループを伝送し、残りの事象グルー
プを廃棄することによって、基準化（scaled）されるこ
とを特徴とするビットストリームスケーラブル伝送方
法。
【請求項５】より重要な方の情報が最初に伝送されるよ
うに、請求項１記載のビデオシーケンスの符号化情報を
配置及び伝送することによってエラー強度性を達成する
方法。
【請求項６】ブロック変換が離散コサイン変換（ＤＣ
Ｔ）であることを特徴とする請求項１記載の画像の符号
化情報を配置及び伝送する方法。
【請求項７】伝送対象の事象がエントロピー符号化手段
によって符号化されることを特徴とする請求項１記載の
画像の前記符号化情報を配置及び伝送する方法。
【請求項８】前記ブロック方式符号化法が、前記入力画像を複数のブロックに分割すること、残差誤差を与えるための動き補償予測によって、これら
のブロックの時間的冗長性を減少すること、ブロック変換手段によって、残差誤差を異なる領域に変
換すること、前記ブロックの変換係数を複数のレベルに量子化するこ
と、非ゼロレベルの前に続くゼロの連続を含む一連のデータ
事象が発生するように、前記レベルを走査することを備
えたことを特徴とする請求項１記載の画像の符号化情報
を配置及び伝送する方法。
【請求項９】ブロック方式伸長法が、前記事象におけるレベルを係数に逆量子化すること、符号化予測誤りを発生するように前記係数を空間領域に
変換すること、動き補償予測を前記符号化予測誤りに加え再構成画像を
得ること、次の画像を予測するようにその再構成画像をフレームメ
モリに記憶することを備えたことを特徴とする請求項２
記載の伝送情報の復号方法。
【請求項１０】縮小化（scaling）が、異なるサイズの
順方向及び逆変換を使用することによって、変換領域で
実行されることを特徴とする請求項１、２、８又は９記
載の前記符号化ビデオシーケンスから縮小化（scaled）
画像を復号する方法。
【請求項１１】予測されない画像の第１の係数を含む事
象のみがビットストリームから復号され、かつこれらの
係数が小さい画像のピクセルの値を表すように適切に縮
小化（scaled）されることにより、小さい画像を抽出す
ることを特徴とする請求項１０記載の符号化ビデオシー
ケンスから縮小化（scaled）画像を復号する方法。