JPH11275369A - 階層的テ―ブルルックアップベクトル量子化器において生成される埋め込みビットストリ―ムを使用しデ―タを伝送する方法 - Google Patents

階層的テ―ブルルックアップベクトル量子化器において生成される埋め込みビットストリ―ムを使用しデ―タを伝送する方法

Info

Publication number
JPH11275369A
JPH11275369A JP11013295A JP1329599A JPH11275369A JP H11275369 A JPH11275369 A JP H11275369A JP 11013295 A JP11013295 A JP 11013295A JP 1329599 A JP1329599 A JP 1329599A JP H11275369 A JPH11275369 A JP H11275369A
Authority
JP
Japan
Prior art keywords
image
bit stream
vector
bit
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11013295A
Other languages
English (en)
Inventor
Mohan Vishwanath
ビショワナス モハン
Philip A Chou
エー チョー フィリップ
Navin Chaddha
チャダ ナビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH11275369A publication Critical patent/JPH11275369A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/008Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 ベクトル量子化器は、優れたレート歪み性能
を持ち、簡単なテーブルルックアップによる復号化を可
能とするが、符号化器が複雑であり、符号語数がベクト
ル次元と共に指数的に増大する欠点がある。 【解決手段】 階層的テーブルルックアップベクトル量
子化器に埋め込みビットストリームを使用しビデオ画像
データを伝送する方法において、階層的ベクトル量子化
器を使用し画像を符号化するステップと、可逆伝送のた
めの埋め込みビットストリームを得る埋め込み過程が含
まれる。ビットストリームは、選択的に切り詰められ、
復号化され、再生画像が得られる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データ圧縮に
関連し使用される階層的テーブルルックアップベクトル
量子化器において埋め込みビットストリームを生成する
方法に関する。
【0002】
【従来の技術】画像データ圧縮においては、画像は、送
信器にて符号化され、送信され、また受信器において選
択的に復号化される。
【0003】背景となる画像およびビデオ符号化標準、
例えば、JPEG、MPEG、MPEG−IIは、変換符
号化を基本としている。変換符号化においては、ブロッ
ク変換、例えば離散コサイン変換(DCT:discrete co
sine transform)が、8×8ブロックの画像に行われ、
各変換係数すなわち周波数帯域が独立に量子化される。
量子化のステップサイズは、一般的には帯域ごとに変え
られ、高空間周波数の量子化誤差は視覚的に識別され難
いことを反映させ高周波数帯域では大きなステップサイ
ズがとられる。
【0004】JPEGは漸進的伝送モードを持ち、それ
によれば画像は、最初に最も重要なビット、次いで次に
重要なビットといった順序で、保存されまたは伝送され
る。これは、選択される帯域について、或る順序で、各
帯域について大きなステップサイズから始め、順次、ス
テップサイズを半分にすることにより行われる。ステッ
プサイズが半分にされる毎に、追加のビットが保存また
は送信される。得られるビットストリームは、ビットス
トリームの任意の長さの先頭部分(プリフィックス)
も、そのプリフィックスの長さに応じた画像品質の画像
に伸張されるという意味において「包埋されている」ま
たは「埋め込まれている」と云われる。すなわち、低分
解能符号化は、高分解能符号化に埋め込まれる。このよ
うに包埋されたビットストリームは、例えば、画像検索
または遠隔ブラウジングの応用において有効である。こ
の応用においては、ユーザは、要求する画像を見つける
ため画像の大量の集積を検索する必要があり、費用もか
かり時間もかかるので、全ての画像を完全に再生するこ
とはできない。これらの応用においては、復号化器はビ
ットの到着ごとに品質を改善しながら画像を漸進的に再
構成する。
【0005】画像とビデオの符号化アルゴリズムについ
ての多くの研究は、現在も変換符号化の変形に焦点が合
わせられている。特に、変換は、ウェーブレット(wavel
et)解析、サブバンドフィルタリング、重ね合わせ直交
変換を基本にすることが多い。重ね合わせ直交変換にお
いては、変換ブロックが重ね合わせられ、好ましくない
ブロッキングアーティファクトが軽減される。
【0006】J.M.シャピロ(J.M.Shapiro)による“E
mbedded Image Coding Using Zerotrees of Wavelet Co
efficients”(IEEEトランザクション、信号処理、
41巻、17号、3445〜3463ページ、1993
年12月)と、D.タウブマン(D.Taubman)と、A.ザ
コール(A.Zakhor)による“Multi-Rate 3-D Subband Cod
ing of Video”(IEEEトランザクション、画像処
理、3巻、5号、572〜588ページ、1994年9
月)とは、漸進的モードのウェーブレット変換符号化を
採用している。タウブマンは、得られる埋め込みビット
ストリームを、ビデオ符号化器の簡単なビットレート制
御に使用している。ビットレート制御は、可変レートデ
ータ圧縮器を固定レートチャネルに接続するとき重要で
ある。チャネルが、厳密に(または最大)Bビット/秒
伝送できるとすると、圧縮器とチャネルの間のバッファ
のオーバフロー、またはアンダフローが始まると、圧縮
器のビットレートをそれぞれ減少、または増加する必要
がある。埋め込みビットストリームにより、ビットレー
ト制御は簡単になり、ビデオデータの各フレーム(また
は他のユニット)の符号化から適当な長さのプリフィッ
クスを取り出すだけになる。
【0007】ベクトル量子化は、単純な(スカラ)量子
化の一般化であり、各係数のベクトルは、同時に量子化
され、小さな数のビット例えば8ビットがインデックス
として使用され、このインデックスにより、再生ベクト
ルの集まり(コードブックと呼ばれる。)の、例えば、
256の可能な再生ベクトル(符号語と呼ばれる)が指
定される。ベクトル量子化の特殊な場合が、ベクトルの
各要素に対し独立に適用されるスカラ量子化である。こ
の場合の符号語は、矩形ラティスに収まるよう制限され
る。一般のベクトル量子化においては、この制限は除か
れる。従って、ベクトル量子化は、ベクトル空間におい
て最大の符号化効率が得られるよう符号語を調整できる
点において、スカラ量子化より優れている。例えば、符
号語を、可能な空間領域のみに配置することができる。
これは、代表的なデータのトレーニングセットとクラス
タリングアルゴリズムを使用し得られる。これは、A.
ゲルショー(A.Gersho)とR.M.グレイ(R.M.Gray)によ
る“Vector Quantizationand Signal Compression”
(クルーワーアカデミック出版社(Kluwer Academic Pub
lishers)、1992年)に見ることができる。
【0008】ベクトル量子化器は、優れたレート歪み性
能を持つだけでなく、簡単なテーブル参照(テーブルル
ックアップ)による復号化を可能とする。復号化器は、
例えば8ビットの符号を受信すると、符号をテーブルに
対するインデックスとして使用し、テーブルから再生ベ
クトルを読み出し、元のベクトルを再構成する。ブロッ
ク変換の全ての係数が、単一ベクトルのブロックに入力
されていれば、復号化器は、簡単なテーブルルックアッ
プにより全ブロックを復号化できる。この場合には、変
換要素がスカラ量子化されているとき要求される逆変換
は必要でない。
【0009】しかし、ベクトル量子化にも幾つかの欠点
がある。第1は、符号化器が複雑であることである。コ
ードブックが、各入力ベクトルに対し構造化されていな
いので、符号化器は、結果的に最低の歪みとなる符号語
を探すためコードブックの全探索を実行する必要があ
る。これは、実際のアルゴリズムには極めて時間を消費
することになる。第2の関連する問題は、所与のビット
レート(要素当たりのビット)に対し、ベクトル当たり
のビット数がベクトルの次元と共に線形的に増大し、従
って、符号語数は、ベクトル次元と共に指数的に増大す
る(従って、符号化器が複雑になり、符号化器と復号化
器のメモリ要求諸元が増大する)。実際には、ベクトル
次元とビットレートとを整合させる必要がある。低ビッ
トレートにおいては、大きなベクトル次元が可能である
が、ビットレートが高くなると、小さな次元しか可能で
なくなる。最高ビットレートにおいては、スカラ量子化
しか可能でない。いずれの所与のビットレートにおいて
も、最良のレート歪み性能は、最大に可能なベクトル次
元により達成される。
【0010】ベクトル量子化器のコードブックを探索す
る計算の複雑さを軽減するため、幾つかの代替案が開発
されている。その一つは、木構造ベクトル量子化であ
る。木構造ベクトル量子化においては、符号語が、木構
造(典型的には2進木)に構成され、各ノードに1符号
語が配置される。コードブックが網羅的に探索される替
わりに、時間の対数に比例し探索が実行される。すなわ
ち、この探索は、根ノードから開始され、入力ベクトル
が各分岐ノードの符号語と逐次的に比較され、低い歪み
を持つ分岐に下降し、葉ノードに到達するまで繰り返さ
れることにより実行される。葉の符号語が、要求される
再生ベクトルであり、葉に対応する2進符号、例えば、
256の葉の1つを指示する8ビットにより表される。
木が完全であれば、すなわち、全ての葉が同一の深度
(例えば8)であれば、葉に対する経路マップが、イン
デックスとして使用される。
【0011】経路マップは、埋め込み符号の特性を持
つ。すなわち、いずれのプリフィックスも、粗いコード
ブック、すなわち木の高い位置における再生ベクトルを
表す。深度の異なる葉を持つ木は、可変レート符号とな
り、再生ベクトルを表すために使用される2進ストリン
グは、入力ベクトルに従い長さが変化する。可変レート
符号の特殊な場合が固定レート符号となるので、可変レ
ート符号は、バッファリングによる余分な遅延、ビット
誤りに対する許容量の低減はあるが、少なくとも固定レ
ート符号と同等に機能する(一般的には20〜30%良
くなる)。
【0012】埋め込み符号化特性は、固定レート量子化
器に適用されるのと同等に、可変レート木構造ベクトル
量子化器にも適用される。E.A.リスキン(E.A Riski
n)、T.ルーカボー(T.Lookabaugh)、P.A.チョー
(P.A. Chou)、R.M.グレイ(R.M. Gray)による“Vari
able-Rate Vector Quantization for Medical Image Co
mpression”(IEEEトランザクション、医用画像処
理、9巻、3号、290〜298ページ、1990年9
月)、W.−J.フワング(W.-J. Hwang)、H.デリン
(H. Derin)による“Multi-Resolution Multi-Rate Prog
ressive Image Transmission”(信号、システム、コン
ピュータに関する第27回アシロマール(Asilomar)会議
プロシーディング、1993年11月1〜3日、カリフ
ォルニア州、パシフィックグローブ(Pacific Grove)、
65〜69ページ)及び、M.エフロス(M. Effros)、
P.A.チョー(P.A. Chou)、E.A.リスキン(E.A Ri
skin)、R.M.グレイ(R.M. Gray)による“A Progress
ive Universal Noiseless Coder”IEEEトランザク
ション、情報理論、40巻、1号、108〜117ペー
ジ、1994年1月)には、漸進的画像伝送に使用され
る可変レート木構造ベクトル量子化の成果が示されてい
る。最近の研究においては、木構造ベクトル量子化器
は、符号語が矩形ラティスに配置されるよう構成され
る。結果的に完全木は入力ベクトルを可逆的に表現す
る。従って、漸進的伝送シーケンスは可逆符号化とな
る。
【0013】構造化されていないベクトル量子化の全探
索符号化の複雑さを軽減するために開発された別の方法
には、階層的テーブルルックアップベクトル量子化があ
る。これは、P.−C.チャン(P.-C. Chang)、J.メ
イ(J. May)、R.M.グレイ(R.M. Gray)による“Hiera
rchical Vector Quantization with Table-Lookup Enco
rders”(通信に関する国際会議プロシーディング、イ
リノイ州シカゴ、1985年6月、1452〜1455
ページ)に発表されている。階層的テーブルルックアッ
プベクトル量子化においては、符号化を実行するため
に、適当な大きさのテーブル(例えば64Kバイト)の
階層が使用される(復号化は、ベクトル量子化において
は通常の単一のテーブルルックアップにより行われ
る)。例えば、図11を参照すると、8次元入力ベクト
ルを8ビットに符号化するために、各要素が最初に8ビ
ットすなわち1バイトに全て量子化される(これは、通
常、画像符号化においてはすでに行われている)。次い
で、4個のそれぞれ隣接するバイトの対が、16ビット
テーブル(テーブル1)のアドレス指定に使用され、各
対に対し1バイトが生成される。この過程は、さらに2
つのレベルの階層について繰り返され、結果的に8次元
入力ベクトルに対し1バイトが生成される。
【0014】各テーブル1、2、3は、64Kバイトで
ある。テーブルの種類は、ベクトル次元の対数である。
第1のレベルの計算の複雑性が、入力記号当たり1/2
テーブルルックアップであり、第2のレベルの複雑性
が、入力記号当たり1/4テーブルルックアップであ
り、以下同様に順次半減していくので、この方法による
計算の複雑性は合計として、入力記号当たり最大1テー
ブルルックアップである。各テーブルルックアップは、
構造化されていないベクトル量子化器を全探索する符号
化器にほぼ同等する処理を実行する。テーブル1は、各
可能な2次元ベクトル(正確には、64Kの可能なバイ
ト対のそれぞれ)を、大きさ256の2次元コードブッ
クの最良すなわち最低歪みの符号語のインデックスに符
号化する。テーブル2は、各可能な4次元ベクトル(正
確には、最初のレベルの量子化の後で再生可能な64K
の可能な4次元ベクトルのそれぞれ)を、大きさ256
の4次元コードブックの最良すなわち最低歪みの符号語
のインデックスに符号化する。以下同様に、各レベルに
ついて実行する。
【0015】このようなHVQ符号化器の信号フロー図
を図12に示す。図12のHVQにおいて、各段の符号
化器と遅延Zを示す。階層の各レベルにおいて、量子化
器の次元は2倍にされ、従って、ビットレートは、2の
係数で低減される。同じ理由から、階層のi番目のレベ
ルでは、2iサンプルごとに1回のルックアップが行わ
れ、従って、サンプルごとのルックアップ数は、レベル
数にかかわらず、最大1/2+1/4+1/8+…=1
である。勿論、各種テーブルの次元を調整することによ
りこの計算を変更することができる。
【0016】HVQテーブルの内容は、多くの方法で決
定される。その簡単な方法を次に示す。図11を参照す
ると、テーブル1は、単に、最適2次元VQのテーブル
ルックアップバージョンである。すなわち、M=256
符号語を持つ最適2次元全探索ベクトル量子化器が、標
準手段により設計され、テーブル1は、216の可能な2
次元入力ベクトルに、最近傍符号語の8ビットインデッ
クスを割り当てるよう作成される。(標準手段として、
例えば、A.ゲルショー、R.M.グレイによる“Vect
or Quantization and Signal Compression”(クルーワ
ーアカデミック出版社、1992年)に一般化されたロ
イド(Lloyd)アルゴリズムが議論されている。) テーブル2は、少し複雑である。最初に、M=256を
持つVQの最適4次元全探索が、標準手段により設計さ
れる。次いで、テーブル2は、216の可能な4次元入力
ベクトル(すなわち、第1段からの全ての可能な2次元
出力ベクトルのクロス乗積)に、最近傍符号語の8ビッ
トインデックスを割り当てるよう作成される。第3段以
上のテーブルも同様に設計される。歪み測度は、完全に
任意であることに注意する必要がある。
【0017】これと同一構造が、ブロック変換(例え
ば、離散コサイン変換、DCT)の係数のベクトル量子
化に使用される。この場合には、変換計算は、テーブル
ルックアップに組み込まれる。これは、N.チャダ(N.
Chaddha)、M.ビシュワナス(M. Vishwanath)、P.
A.チョウ(P.A. Chou)による“Hierarchical Vector Q
uantization of Perceptually Weighted Block Transfo
rms”(データ圧縮会議プロシーディング、バーモント
州スノーバード(Snowbird)、1995年4月)に示され
ている。ウェーブレット変換、サブバンド変換、重ね合
わせ変換の係数のベクトル量子化に、構造のスライディ
ングウィンドウバージョンが使用される。これは、M.
ビシュワナス(M. Vishwanath)、P.A.チョウ(P.A. C
hou)による“AnEfficient Algorithm for Hierarchical
Compression of Video”(画像処理に関する国際会議
プロシーディング、テキサス州オースチン(Austin)、1
994年11月、3巻、275〜279ページ)に示さ
れている。この場合にも、変換計算はテーブルに組み込
まれている。テーブルに任意の知覚的歪み測度を組み込
むことも容易である。
【0018】従って、階層的ベクトル量子化は、極めて
低い計算複雑性と良好なレート歪み性能の双方を提供す
る。また、さらにテーブルルックアップを行い各バイト
対を1バイトにマッピング(写像)することにより、レ
ートR[ビット/秒]のビットストリームをレートR/
2(またはR/4、R/8、等)ビット/秒の別のビッ
トストリームに変換符号化(再フォーマット)する簡単
な手段を提供する。M.ビシュワナス(M. Vishwanat
h)、P.A.チョウ(P.A. Chou)による“An Efficient
Algorithm for Hierarchical Compression of Video”
(画像処理に関する国際会議プロシーディング、テキサ
ス州オースチン(Austin)、1994年11月、3巻、2
75〜279ページ)において、このような簡単な変換
符号化が、高容量と低容量のネットワークの間のゲート
ウェイにおいて、圧縮された信号のビットレートを軽減
するために有効なことが議論されている。
【0019】しかし、特定のアプリケーションに対して
は、テーブルルックアップによる変換符号化は簡単では
ない。ネットワークゲートウェイまたは交換機に、アプ
リケーションに依存するアルゴリズム(例えば、ビデオ
符号化のためのテーブルルックアップ)を配置すること
は好ましくない。埋め込み符号化は、アプリケーション
に依存することなく、ゲートウェイにより高レートスト
リームを低レートストリームに変換符号化する簡単な方
法である。同様に、低レートネットワークの受信者は、
高優先度ストリームのみ利用することができる。これ
は、帯域幅スケーラビリティと呼ばれる。埋め込みビッ
トストリームが、優先度の付けられたビットストリーム
に包まれていれば、ゲートウェイは、低レートネットワ
ークに高優先度ストリームのみ通すだけでよい。ゲート
ウェイにおいて、アプリケーションに固有の処理は行わ
れない。ゲートウェイノードは、パケット数をしきい値
により制御できればよい。この機能は、将来のネットワ
ークプロトコルに実現されるものと思われる。
【0020】パケットネットワークにおける埋め込み符
号化すなわち優先度が付けられたビットストリームの別
の用途は、輻輳制御である。パケットバッファがあふれ
ると、低優先度パケットが削除され、残るパケットから
再構成される信号は、緩やかな劣化(gracefully degrad
ed)を示す。同様な考えは、無線通信にも適用されてい
る。情報のパケットに優先度が付けられると、パケット
ごとに等しくない誤り保護を行うことができる。すなわ
ち、変調と伝送の前に、最高優先度のパケットは、最大
誤り保護のチャネルに符号化され、最低優先度パケット
には、いずれの誤り訂正も加えられない。符号化器に
は、パケット損失またはチャネル特性について特定の知
識は要求されない。優先度を示すランクビットが要求さ
れるだけである。
【0021】最後に、埋め込み符号化の用途、特に固定
レートネットワークに使用されるものは、前述のレート
制御である。埋め込み符号化のこれら多くの用途は同時
に応用できる。
【0022】
【発明が解決しようとする課題】上述したように、ベク
トル量子化器のコードブックを探索する計算の複雑さを
軽減する代替案として提案されるもののうち、従来の階
層的テーブルルックアップによる変換符号化は、計算複
雑性の低減とレート歪み性能の改善とに有効である反
面、特定のアプリケーションに対しては簡単ではないと
いう問題があった。すなわち当該符号化はアプリケーシ
ョンに依存し、そのようなアルゴリズムをネットワーク
ゲートウェイまたは交換機に配置することは好ましくな
いという問題があった。
【0023】本発明は、従来の方法の欠点を解決するこ
とを目的とし、画像を符号化し復号化する新しい改善さ
れた方法による画像データ伝送方法を提供するものであ
る。
【0024】
【課題を解決するための手段】この方法は、補足的な装
置に実現されるが、これには、画像の受信と符号化操作
の実行が含まれ、符号化操作の実行には、画像のブロッ
クに行う階層的テーブルルックアップベクトル量子化
と、得られるデータの埋め込みが含まれる。この埋め込
み操作により、画像を表すデータの埋め込みビットスト
リームが得られる。この埋め込みビットストリームから
選択される任意長のプリフィックスは、全ビットストリ
ームよりも低レートでの画像を表す有効なビットストリ
ームを表現する。
【0025】本発明の別の態様では、埋め込みビットス
トリームは受信器に伝送される。
【0026】本発明の別の態様では、伝送される埋め込
みビットストリームが、伝送中に切り詰められ得る。
【0027】本発明の別の態様によれば、その切り詰め
られた埋め込みビットストリームに復号化処理が実行さ
れ、再生画像が得られる。
【0028】本発明の別の態様では、埋め込みビットス
トリームに復号化処理が逐次的に実行され、ビットが復
号化器に到達する都度、漸進的に改善される再生画像が
得られる。
【0029】本発明の一つの利点は、高レートから低レ
ートのビットストリームに変換符号化する改善された方
法を提供することである。
【0030】本発明の別の利点は、画像を表す全ベクト
ルを可逆に符号化できることである。この符号化は、ス
トリングの全てのプリフィックスが、全ベクトルに対す
る有効符号となり、従って、受信者は、要求されるまた
は許容される分解能で画像を再構成するのに必要な埋め
込みビットストリームを利用することができる。
【0031】本発明の別の利点は、この可逆符号化/復
号化がテーブルルックアップのみで実行されることであ
る。
【0032】つまり、上述した課題を解決する手段を改
めて述べれば、その解決手段である第1の画像データ伝
送方法は、画像を受信するステップと、階層的テーブル
ルックアップベクトル量子化の実行及び得られるデータ
を埋め込む処理を含んで構成される、画像に対する符号
化操作を実行するステップであって、階層的テーブルル
ックアップベクトル量子化の実行は少なくとも2量子化
レベルに対し固定木データ構造が使用され行われ、デー
タ埋め込み処理は少なくとも2レベルの固定木データ構
造からビットが選択され、第1のレートを有し画像を表
す第1のビットストリームを得るものであり、この第1
のビットストリームから選択されるプリフィックスには
第2のレートを有し画像を表す第2のビットストリーム
が含まれるものである符号化操作実行ステップと、第1
のビットストリームと第2のビットストリームの一方を
伝送するステップと、再生画像を得るため第1のビット
ストリームと第2のビットストリームの一方に復号化操
作を逐次的に実行するステップとを含んで構成されるも
のである。
【0033】また本発明の画像データ伝送方法の第2の
形態は、上記第1の方法において、符号化中にバッファ
に第1のビットストリームを記憶するステップがさらに
含まれるものである。
【0034】本発明の画像データ伝送方法の第3の形態
は、上記第2の形態の方法において、復号化操作が、選
択された数のバッファを再生することと、固定木データ
構造を辿って画像の部分が記憶される木構造の葉に至る
経路マップに従い、再生されたバッファの内容を復号化
し画像を再構成することと、再構成された画像を出力す
ることを含むものである。
【0035】本発明の画像データ伝送方法の第4の形態
は、上記第1の形態の方法において、第1のビットスト
リームが、可逆ビットストリームであるものである。
【0036】本発明の画像データ伝送方法の第5の形態
は、上記第1の形態の方法において、第1のビットスト
リームに、第2のビットストリームが含まれる方法であ
る。
【0037】本発明の画像データ伝送方法の第6の形態
は、画像を受信するステップと、階層的テーブルルック
アップベクトル量子化の実行及び得られるデータを埋め
込む処理を含んで構成される、画像に対する符号化操作
を実行するステップであって、階層的テーブルルックア
ップベクトル量子化の実行は少なくとも2量子化レベル
に対し固定木データ構造が使用され行われ、データ埋め
込み処理は少なくとも2レベルの固定木データ構造から
ビットが選択され、第1のレートを有し画像を表す第1
のビットストリームを得るものであり、この第1のビッ
トストリームから選択されるプリフィックスには第2の
レートを有し画像を表す第2のビットストリームが含ま
れるものである符号化操作実行ステップと、(1)第1
のビットストリームを切り詰め、第2のビットストリー
ムを得て、第2のビットストリームを伝送すること、
(2)優先度の異なる複数のビットストリームを表わす
第1のビットストリームを伝送し、複数のビットストリ
ームの中の低優先度ビットストリームを切り取り、第2
のビットストリームを得ること、(3)第1のビットス
トリームの重要度の異なるビットに、レベルの異なる誤
り保護符号化を行い、誤り保護符号化の行われた第1の
ビットストリームを伝送し、第1のビットストリームの
伝送誤りの訂正を試み、保護符号化に基づいて訂正が不
可能な第1のビットストリームを切り詰めて第2のビッ
トストリームを得ること、及び(4)第1のビットスト
リームを伝送することの以上(1)〜(4)の少なくと
も1つを実行するステップと、固定木データ構造を辿り
画像の部分が記憶される木構造の葉に至る経路マップに
従い、第1のビットストリームと第2のビットストリー
ムの一方に復号化操作を逐次的に実行し画像を再構成す
るステップとを含むものである。
【0038】また本発明の画像データ伝送方法の第7の
形態は、上記第6の形態の方法において、符号化中にバ
ッファに第1のビットストリームを記憶するステップが
さらに含まれるものである。
【0039】本発明の画像データ伝送方法の第8の形態
は、上記第7の形態の方法において、復号化操作が、選
択された数のバッファを再生することと、再生されたバ
ッファの内容を復号化し、再構成された画像を出力する
ことを含むものである。
【0040】本発明の画像データ伝送方法の第9の形態
は、上記第6の形態の方法において、第1のビットスト
リームが、可逆に符号化されるものである。
【0041】本発明の画像データ伝送方法の第10の形
態は、階層的テーブルルックアップベクトル量子化に従
い、当該コードブックの全探索によってアクセスされる
所定数の第1の符号語を持つ第1のコードブックを構成
することと、所定深度の第1の木構造を備え、第1の木
構造に基づく2進経路マップに基づいてアクセスされる
所定数の第2の符号語を持つ第2のコードブックを構成
することと、第2の木構造を各第1と第2の符号語から
成長させることと、第1と第2のコードブックに基づき
テーブルを構成することと、画像を得ることと、階層的
テーブルルックアップベクトル量子化の実行及び得られ
るデータを埋め込む処理を含んで構成される、画像に対
する符号化操作を実行するステップであって、階層的テ
ーブルルックアップベクトル量子化の実行は、当該テー
ブルがアクセスされ、少なくとも2量子化レベルに対し
第3の木データ構造が使用されて行われ、またデータ埋
め込み処理は少なくとも2レベルの固定木データ構造か
らビットが選択され、第1のレートを有し画像を表す第
1のビットストリームを得るものであり、この第1のビ
ットストリームから選択されるプリフィックスには第2
のレートを有し画像を表す第2のビットストリームが含
まれるものである符号化操作実行ステップと、(1)第
1のビットストリームを切り詰め、第2のビットストリ
ームを得て、第2のビットストリームを伝送すること、
(2)優先度の異なる複数のビットストリームを表わす
第1のビットストリームを伝送し、複数のビットストリ
ームの中の低優先度ビットストリームを切り取り、第2
のビットストリームを得ること、(3)第1のビットス
トリームの重要度の異なるビットに、レベルの異なる誤
り保護符号化を行い、誤り保護符号化の行われた第1の
ビットストリームを伝送し、第1のビットストリームの
伝送誤りの訂正を試み、保護符号化に基づいて訂正が不
可能な第1のビットストリームを切り詰めて第2のビッ
トストリームを得ること、及び(4)第1のビットスト
リームを伝送することの以上(1)〜(4)の少なくと
も1つを実行するステップとを含むものである。
【0042】本発明の画像データ伝送方法の第11の形
態は、上記第10の形態の方法において、固定木データ
構造を辿り、画像の部分が記憶される木構造の葉に至る
経路マップに従い、第1のビットストリームと第2のビ
ットストリームの一方に復号化操作を逐次的に実行し画
像を再構成するものである。
【0043】本発明に係る第1の装置は、画像を受信す
る手段と、階層的テーブルルックアップベクトル量子化
の実行及び得られるデータを埋め込む処理を含んで構成
される、画像に対する符号化操作を実行する手段であっ
て、階層的テーブルルックアップベクトル量子化の実行
は少なくとも2量子化レベルに対し固定木データ構造が
使用され行われ、データ埋め込み処理は少なくとも2レ
ベルの固定木データ構造からビットが選択され、第1の
レートを有し画像を表す第1のビットストリームを得る
ものであり、この第1のビットストリームから選択され
るプリフィックスには第2のレートを有し画像を表す第
2のビットストリームが含まれるものである符号化操作
実行手段と、(1)第1のビットストリームを切り詰
め、第2のビットストリームを得て、第2のビットスト
リームを伝送すること、(2)優先度の異なる複数のビ
ットストリームを表わす第1のビットストリームを伝送
し、複数のビットストリームの中の低優先度ビットスト
リームを切り取り、第2のビットストリームを得るこ
と、(3)第1のビットストリームの重要度の異なるビ
ットに、レベルの異なる誤り保護符号化を行い、誤り保
護符号化の行われた第1のビットストリームを伝送し、
第1のビットストリームの伝送誤りの訂正を試み、保護
符号化に基づいて訂正が不可能な第1のビットストリー
ムを切り詰めて第2のビットストリームを得ること、及
び(4)第1のビットストリームを伝送することの以上
(1)〜(4)の少なくとも1つを実行する手段と、固
定木データ構造を辿り画像の部分が記憶される木構造の
葉に至る経路マップに従い、第1のビットストリームと
第2のビットストリームの一方に復号化操作を実行し画
像を再構成する手段とを含むものである。
【0044】本発明に係る装置の第2の形態は、上記第
1の装置において、符号化中に第1のビットストリーム
を記憶するバッファが含まれるものである。
【0045】本発明に係る装置の第3の形態は、上記第
2の形態の装置において、復号化手段が、第2のビット
ストリームに基づき、選択された数のバッファを再生す
る手段と、再生されたバッファの内容を復号化する手段
と、再構成された画像を出力する手段を含むものであ
る。
【0046】また、本発明の他の形態として、階層的テ
ーブルルックアップベクトル量子化に従い、当該コード
ブックの全探索によってアクセスされる所定数の第1の
符号語を持つ第1のコードブックを構成することと、所
定深度の第1の木構造を備え、第1の木構造に基づく2
進経路マップに基づいてアクセスされる所定数の第2の
符号語を持つ第2のコードブックを構成することと、第
2の木構造を各第1と第2の符号語から成長させること
と、第1と第2のコードブックに基づきテーブルを構成
することと、画像を得ることと、階層的テーブルルック
アップベクトル量子化の実行及び得られるデータを埋め
込む処理を含んで構成される、画像に対する符号化操作
を実行するステップであって、階層的テーブルルックア
ップベクトル量子化の実行は、当該テーブルがアクセス
され、少なくとも2量子化レベルに対し第3の木データ
構造が使用されて行われ、またデータ埋め込み処理は少
なくとも2レベルの固定木データ構造からビットが選択
され、第1のレートを有し画像を表す第1のビットスト
リームを得るものであり、この第1のビットストリーム
から選択されるプリフィックスには第2のレートを有し
画像を表す第2のビットストリームが含まれるものであ
る符号化操作実行ステップと、第1のビットストリーム
と第2のビットストリームの一方を伝送することと、固
定木データ構造を辿り、画像の部分が記憶される木構造
の葉に至る経路マップに従い、第1のビットストリーム
と第2のビットストリームの一方に復号化操作を逐次的
に実行し画像を再構成するものもある。
【0047】本発明の応用性のさらなる領域は、以下に
行う詳細な説明により明らかとなる。しかし、詳細な説
明、特定の例は、本発明の好ましい実施形態を示すもの
であるが、例としてのみ示すものであり、本発明の精神
と範囲に入る多くの変更と修正は、当業者には明らかで
あることを理解する必要がある。
【0048】
【発明の実施の形態】画像データ圧縮においては、画像
は、送信器にて符号化され、送信され、また受信器にお
いて選択的に復号化される。本発明は、この画像データ
圧縮に関連し使用される階層的テーブルルックアップベ
クトル量子化器における埋め込みビットストリームの生
成方法に関する。埋め込みビットストリームは、ビット
ストリームのいずれのプリフィックスも、低レートにお
ける画像の有効ビットストリームとなるものである。本
発明は、単に切り取りを行うことにより、任意の低レー
トのビットストリームに変換符号化を行う。従って、画
像データは、埋め込みビットストリームとして伝送する
ことができ、受信器は、画像を要求または許容される分
解能で再構成するに必要なだけの埋め込みビットストリ
ームを使用することができる。すなわち、本発明は、受
信器にビットが到達する都度画像の分解能が増大される
ビットストリームの漸進的復号化を実現する。
【0049】本発明は、特に、画像データ圧縮技術に関
し、これを特別に参照し説明するが、本発明は、別の媒
体、ビデオまたはオーディオに適用できることを理解す
る必要がある。このような媒体への適用には、ネットワ
ークの帯域幅スケーラビリティ(bandwidth scalabilit
y)に対応するパケットの優先度設定、無線通信の不平等
誤り保護のための情報の優先度設定、符号化器における
任意精細なビットレート制御が含まれる。
【0050】以下、本発明の好適な実施形態である、階
層的テーブルルックアップベクトル量子化器に埋め込み
ビットストリームを生成する方法を提示する。埋め込み
ビットストリームは、最高レートにおいて原データの再
生が可逆であるという特性を持つ。しかし、ビットは、
重要度の順に配置され、ビットストリームのいずれのプ
リフィックスも低レートの有効なビットストリームとな
るので、ビットストリームは任意の点で切り詰められて
も全画像が再構成される。図1に、最重要ビットMSB
が適当に配置された埋め込みビットストリームBを示
す。ビットの重要度は、矢印Dに示す方向に沿い低下す
る。
【0051】階層的テーブルルックアップベクトル量子
化を使用し埋め込みビットストリームを生成する簡単な
方法は、階層の最後のテーブルに組み込まれる全探索コ
ードブックを木構造コードブックに置き換えることであ
る。これにより、テーブルからのインデックス出力は埋
め込み符号となる。このようにして、最終テーブルは、
例えばベクトル当たり16ビットを出力し、復号化器
は、16ビットストリングの任意のプリフィックスに対
応する符号語を再生する。階層的テーブルルックアップ
ベクトル量子化におけるこの埋め込みを行う方法は、帯
域間変換VQにおける埋め込みを行う方法に類似するも
のである。この帯域間変換VQは、N.チャダ(N. Chad
dha)、P.A.チョウ(P.A. Chou)、T.H.−Y.メ
ング(T.H.-Y. Meng)による“Scalable Compression bas
ed on Tree Structured Vector Quantization of Perce
ptually Weighted Block, Lapped, and Wavelet Transf
orms”(画像処理に関するIEEE国際会議プロシーデ
ィング、10月23〜26日、ワシントン、DC、19
95年、89〜92ページ)に述べられている。
【0052】この方法は有効であるが、ストリングサイ
ズが、約16ビットに制限されるので用途が限られる。
ベクトル当たり16ビットは、量子化としてはかなり低
いレベルである。例えば、高速ネットワークでは、デー
タをベクトルあたり128ビットに圧縮することが要求
されるだけである。低容量ネットワークでは、ベクトル
当たり4ビットまでしか許容されない。
【0053】本発明は、ストリングの全プリフィックス
が有効符号となるようにしながら、全ベクトルを長いス
トリングにより可逆に符号化する方法を提供する。さら
に、これは、テーブルルックアップを使用するのみで達
成される。
【0054】従って、データを可逆に符号化する長い埋
め込み符号は、階層的テーブルルックアップベクトル量
子化を使用し、次のように生成される。議論を簡単にす
るため、各テーブルは、2つの8ビットインデックスで
アドレスされると仮定する。階層的テーブルルックアッ
プベクトル量子化器の、最終段を含む全ての段のコード
ブックは、木構造ベクトル量子化器と置き換えられる。
この木構造量子化器は、木の葉が、対応するテーブルの
エントリー(代表的には64K)と1対1に対応する特
性を持つものである。このような木は、以下に簡単に説
明する多くの方法を使用し設計することができる。
【0055】木構造ベクトル量子化器が使用されるの
で、葉に向かう経路のいずれのプリフィックスも符号語
を表す。葉に向かう全ての経路が、復号化器に伝送され
ると、葉は対応するエントリーの一つに正確に対応する
ので、テーブルへの入力が、復号化器において正確に知
られる。これら入力は、先行する段のテーブルの出力を
表す。これらテーブルも、葉がエントリーと1対1に対
応する木構造ベクトル量子化器を実装すると仮定する
と、これら各テーブルからの出力は、根から葉までの経
路マップにおける最初の8ビットである。追加のビット
が、経路マップの残りを提供し、従って、葉、これに対
応するエントリーを識別し、従って、そのレベルのテー
ブルへの入力を識別する。この手順は、テーブルルック
アップの階層をさかのぼり入力信号に到達するまでずっ
と繰り返される。この入力信号は、十分な数のビットに
ついて可逆に識別される。全ての木構造ベクトル量子化
器が固定レート(すなわち、全ての葉が同一の深度、こ
こでは8の完全な木)の場合は、最長埋め込みストリン
グのビット数は、入力ベクトルのビット数であり、ここ
では、ベクトル次元の8倍になる。これは、8×8のベ
クトル次元(画像符号化において代表的な次元)に対し
ては、8×8×8=512ビットのストリング長にな
る。このストリングのいずれのプリフィックスも、プリ
フィックス長に対応する適当な品質レベルに復号化され
る。
【0056】本発明の特徴は、各テーブルにより、多対
一の対応付け(量子化器)が実行されることであり、追
加の情報が補充されると、マッピングが逆行可能とな
る。これにより、追加の情報が与えられると、復号化器
は階層的に逆方向に動作することができる。多対一写像
(量子化器)は、それ自身、低歪みのデータを表すこと
が重要である。しかし、もちろん、多対一のマッピング
なので、ゼロ歪みのデータを表すことはできない。従っ
て、一つの可能性は、このマッピングに通常に行われる
固定または可変レートの木構造ベクトル量子化器を設計
することである。これにより、多対一のマッピングは、
可能な出力が例えば256に限定されたとき可能な最低
歪みのデータを表すことを保証する。
【0057】木の各葉は、マッピングの出力を表し、従
って、同一出力を持つ同等クラスのテーブルエントリー
に対応する。各同等クラスは、あるサイズを持つ。各同
等クラスに対し、固定または可変レート木構造は、各葉
がクラスの要素に対応するよう設計される。合わせて、
これら木構造は、テーブルエントリー(要素)と埋め込
み符号の2進ストリングの間の1対1マッピングを規定
する。
【0058】ネットワークの帯域幅スケーラビリティへ
の代表的な応用においては、図2に一般的に示すよう
に、8ビット(2値)画像が取得され(ステップ1
0)、経路マップを表す埋め込みビットストリームに符
号化される(ステップ12)。次いで、ビットストリー
ムは、優先度の異なる複数のストリームとしてネットワ
ークに伝送され(ステップ14)、狭い帯域幅のチャネ
ルに高優先度のストリームが伝送されるように、低優先
度ストリームは、枝刈り(pruned away)または切り取ら
れる(ステップ16)。次いで、高優先度ビットストリ
ームは復号化され、再生画像が得られる(ステップ1
8)。
【0059】別の応用であって、前述の帯域幅スケーラ
ビリティに代えて又はそれに加えて実施されうるものも
図2に示されている。ステップ24、26、28は、等
しくない誤り保護を示す。すなわち、画像が符号化され
た後、重要度の異なるビットに対しレベルの異なる誤り
保護符号化が行われ(ステップ24)、保護されたビッ
トストリームが伝送される(ステップ26)。伝送誤り
が訂正され、訂正できない誤りのあるビットストリーム
は切り取られる(ステップ28)。残されたビットスト
リームは復号化され、再生画像が得られる(ステップ1
8)。
【0060】符号化器におけるレート制御を図2に示
す。特に、ステップ12において、画像が符号化された
後、得られる埋め込みビットストリームは、要求される
レートとなるまで切り詰められ(ステップ20)、切り
詰められた埋め込みビットストリームが伝送される(ス
テップ22)。切り詰められたビットストリームは復号
化され、再生画像が得られる(ステップ18)。
【0061】図2は漸進的伝送も示している。画像が符
号化され、得られる埋め込みビットストリームが伝送さ
れる(ステップ30)。伝送された埋め込みビットスト
リームは、受信器にビットが到達する都度漸進的に復号
化され、再生画像が得られる(ステップ32)。
【0062】符号化と復号化の処理に、コードブック
と、コードブックにもとづき構成される対応するテーブ
ルの使用が含まれることは、当業者には明らかである。
好ましい実施形態においては、コードブックの同一組
が、埋め込みビットストリーム伝送(経路マップ)の送
信端と受信端の双方においてそれぞれ利用されるが、対
応するテーブルは、送信端においてのみ使用される。さ
らに、コードブックとテーブルの記憶に使用されるメモ
リチップは、好ましくは、ROM(read only memory)で
あることは明らかである。しかし、他の適当なメモリ、
例えば、PROM,EPROM、EEPROM、RA
M、等が使用可能であることを理解する必要がある。
【0063】さらに、ここで説明する方法は、任意の適
当なハードウェア構成や任意の適当な制御方式により実
現されることは、当業者には明らかである。好ましい実
施形態においては、ハードウェア構成には、本発明を実
現するために適合される汎用コンピュータが含まれる。
例えば、メモリに適当なテーブルが構成され、バッファ
が設定される。好ましい制御方法は、ソフトウェアを基
本とし、C言語で書かれる命令が含まれる。制御方法と
しては、各種の媒体に収容された多様な制御手順を使用
し得ることが考えられる。
【0064】1)コードブックとテーブルの構築、2)
画像を埋め込みビットストリームに符号化する方法、
3)切り詰められたビットストリームを再生画像に復号
化する方法の詳細をさらに説明する。
【0065】[1]コードブックとテーブルの構築 例示するため、画像は8×8ブロックに符号化し、従っ
て、6レベルのコードブックとテーブルが要求される。
ベクトル次元2×1、2×2、4×2、4×4、8×
4、8×8にそれぞれ対応するl=1、2、3、4、
5、6である。これらレベルの最初の5レベルに対し、
コードブックとテーブルは、通常の、階層的テーブルル
ックアップベクトル量子化の既知の方法により設計され
る。この方法は、例えば、P.−C.チャン(P.-C. Cha
ng)、J.メイ(J. May)、R.M.グレイ(R.M. Gray)に
よる、“Hierarchical Vector Quantization with Tabl
e-Lookup Encoders”(通信に関する国際会議プロシー
ディング、イリノイ州シカゴ、1985年6月、145
2〜55ページ)に記載されている。すなわち、レベル
Lにおけるコードブックは、256個の2L次元符号
語、例えば、cL(i)(i=0、1、…、255)を持つ
正則全探索ベクトル量子化コードブックである。レベル
1〜5に対するコードブックの表現を図3に示す。レベ
ルL(L=1、2、3、4、5)のテーブルの(j,
k)番目のエントリーには、符号語cL(i)のインデック
スiが格納される。この符号語cL(i)は、2L次元ベク
トル(cLー1(j),cLー1(k))がレベルLの全探索ベクト
ル量子化器により量子化されたものが対応付けられる。
【0066】最終レベルL(L=6)に対しては、コー
ドブックとテーブルは別に設計される。コードブック
は、深度8の2進木構造コードブックとして設計され
る。これは、例えば、A.ゲルショーによる“Vector Q
uantization and Signal Compression”(クルーワーア
カデミック出版社、1992年)に記載されているもの
であり、図5に示す。テーブルの(j,k)番目のエン
トリーには、符号語CL(i)のインデックスi(実際に
は、8ビット2進経路マップ)が含まれ、これに、2L
次元ベクトル(CL-1(j),CL-1(k))が、木構造ベクト
ル量子化器により量子化される。
【0067】図4と図6に示すように、本発明に従い、
また前述の過程を進め、各レベルL(L=1、2、3、
4、5、6)のコードブックは、そのレベルのコードブ
ックにおいて、各符号語CL(i)、(i=0、1、…、2
55)から2進木に成長することにより、可変長木構造
ベクトル量子化器に拡張される。これは、図4と図6に
示すように、トレーニング系列をレベル(L−1)のコ
ードブックで量子化し、量子化された2Lー1次元ベクト
ルを対にし2L次元ベクトルとし、得られる系列をトレ
ーニング集合として使用し、レベルLの量子化器を最大
数の葉を持つ可変長木構造ベクトル量子化器に成長させ
ることにより行われる。量子化されるトレーニング系列
には、64K個の可能な2L次元ベクトルしかないの
で、最大木における葉の数は最大64Kである。符号語
L(i)から拡がる2進部分木の葉は、レベルLのインデ
ックスiに対応付けられるインデックス(j,k)に相
当する。
【0068】最大木の各ノードには、通常、自身の符号
語がラベル付けされる。さらに、図7は、図4と図6の
符号語CL(i)から拡がる2進木の例を示すものであり、
この図に示されるように木の各葉は、対応する(j,
k)の対がラベル付けされ、各木の内部ノードは、“リ
ファインメントインデックス”(refinement index)(図
に示すr、r+1、r+2、r+3、r+4)でラベル
付けされる。リファインメントインデックスは、ノード
から発出される経路マップにおけるビットの知覚的重要
性を示す整数である。リファインメントインデックス
は、0〜N−1の範囲にあり、ここで、Nは、埋め込み
ビットストリームに要求されるリファインメント数であ
る。リファインメントインデックス0を持つビットは、
最も重要であり、リファインメントインデックス(N−
1)を持つビットは、最低の重要度である。従って、リ
ファインメントインデックスは、木の根から葉までの経
路に沿い減少することはない。さらに、レベル(L−
1)の木におけるリファインメントインデックスは、レ
ベルLにおける改善インデックスより高くなる。実際に
は、レベル6の木の根近くのノードのリファインメント
インデックスは、0であり、レベルLの木の葉近くのノ
ードのリファインメントインデックスはN−1である。
ビットは、リファインメントインデックスの順に従い、
埋め込みビットストリームに配置される。
【0069】広範な方法が使用可能であるが、リファイ
ンメントインデックスを計算する一つの方法を以下に示
す。∞=λ0>λ1>λ2>…>λN=0のような、(N+
1)個のラグランジュ乗数λ0、λ1、…、λNが一組選
ばれる。次いで、各レベルで各ラグランジュ乗数に合わ
せ木は枝刈りされる。(枝刈りの手順は、一般化された
BFOSアルゴリズムであり、例えば、A.ゲルショー
による“Vector Quantization and Signal Compressio
n”(クルーワーアカデミック出版社、1992年)に
見られる。)任意の与えられたレベルの木に対し、これ
は、一組の入れ子にされた枝刈り部分木、例えば、S0
に根ノードのみ含まれ、SNが最大木であるS0⊆S1
2⊆…⊆SNを生成する。次いで、ノードが、Srの内
部ノードでなく、Sr+1の内部ノードであれば、ノード
は、リファインメントインデックスrによりラベル付け
される。さらに、各これら入れ子にされた部分木S0
…、Sr、Sr+1、…、SN-1、SNは、乗数λ0、…λr
λr+1、…、λN-1、λNに対応する。
【0070】コードブックが拡張されるのと同様に、テ
ーブルも拡張される。レベルLのテーブルの(j,k)
番目のエントリーには、レベルLのコードブックにおけ
る符号語CL(i)の8ビットインデックスiが含まれる。
テーブルの(j,k)番目のエントリーは、拡張され、
L(i)が含まれるノードから(j,k)のラベル付けさ
れた葉までの経路マップb123…blenが格納され
る。この経路マップの長さlenは、(j,k)と共に
変わる。(j,k)番目のエントリーには、経路マップ
に沿うリファインメントインデックスr123…rlen
の系列も格納される。レベルLの拡張されたテーブル
は、実際には次の形式をとる。
【0071】
【表1】 [2]符号化 符号化処理には、階層的テーブルルックアップベクトル
量子化の実行と、得られるデータの埋め込みの処理が含
まれる。階層的テーブルルックアップベクトル量子化に
おいては、少なくとも2量子化レベルに対し、固定木デ
ータ構造が使用される。データの埋め込みは、少なくと
も2レベルの固定木データ構造のビットを選択し、画像
を表す第1のレートを持つ第1のビットストリームを得
ることにより行われる。第1のビットストリームから選
択されるプリフィックスには、第2のレートの画像を表
す第2のビットストリームが含まれる。
【0072】特に、画像を符号化するため、0〜N−1
のラベル付けされたN個のバッファが設定される。r番
目のバッファには、リファインメントインデックスrを
持つ全てのビットが含まれる。
【0073】次に、画像の各8×8ブロックが評価され
る。各8×8ブロックに対し、通常のHVQが使用さ
れ、6レベルまで下がりブロックが符号化される。HV
Q過程は、図11と図12に関連し一般的に説明されて
いる。しかし、符号化が進むと、図8に示す固定データ
構造が満たされる。
【0074】示すように、このデータ構造は、木構造で
あり、レベル1では32のノード、レベル2では16の
ノード、以下同様に進み、レベル6に下がると単一ノー
ドになる。レベルLのn番目のノードは、8×8ブロッ
クの次元2Lのn番目のサブブロックに対応する。この
サブブロックは、通常のHVQ処理の途中において、レ
ベルLのテーブルの(j,k)番目のエントリーがルッ
クアップされ、インデックスiに符号化される。このと
き、レベルLの拡張されたテーブルの(j,k)番目の
エントリーからの情報(len、b123…rlen、r
123…rlen)は、上記のデータ構造におけるレベル
Lのn番目のノードに複写される必要がある。
【0075】データ構造のノードが完全に満たされる
と、このデータ構造のビット{bm}は、次の通りに、
対応するリファインメントインデックス{rm}に従い
Nバッファの中に置かれる。0〜N−1に進むリファイ
ンメントインデックスrに対し、次の再帰的手順が、構
造の根ノードembed(rootnode,r) から開始され実行され
る。
【0076】埋め込み手順の定義は、次の通りである。
【0077】 embed(node,r) { for m=1 to node.len do if node.b[m] is marked as already output then continue else if node.r[m] <= r then output node.b[m] to buffer r mark node.b[m] as having been output else if node.r[m] > r then return if node is not at level 1, then embed(leftsubnode,r) embed(rightsubnode,r) } この手順により、リファインメントインデックスrが上
にたどられ、まだ出力されていない全てのビットが出力
される。ノードの全てのビットが放出されると、手順
は、左と右のサブノードに呼び出される。
【0078】リファインメントインデックスがNに到達
すると、このブロックの全てのリファインメントレベル
におけるビットが出力されたことになる。残りのブロッ
クも同様な方法で処理される。全てのブロックが処理さ
れると、多くのリファインメントレベルのビットが含ま
れるバッファは、連結され、1個の長い埋め込みビット
ストリームとされるか、または、個別ファイルに記憶さ
れ、異なるレベルの誤り保護を持つ個別チャネルを通し
伝送される、等の処理が行われる。
【0079】符号化手順のフローチャートを図9に示
す。最初、バッファ0〜N−1が、空きにされ(ステッ
プ100)、伝送される画像の8×8ブロックが選択さ
れる(ステップ102)。ブロックの階層的ベクトル量
子化が実行され、図8のデータ構造に満たされる(ステ
ップ104)。次に、リファインメントインデックスr
がゼロ(0)に設定される(ステップ106)。上述の
再帰的埋め込み手順が実行され(ステップ108)、r
=Nかの決定が行われる(ステップ110)。r≠Nで
あれば、rが増やされ(ステップ112)、埋め込み手
順(ステップ108)と(ステップ110)が再び実行
される。r=Nであれば、符号化される8×8ブロック
が全画像の最後のブロックであるかの決定が行われる
(ステップ114)。8×8ブロックが最後のブロック
でなければ、次の8×8ブロックが選択され(ステップ
116)、ステップ104〜114が実行される。8×
8ブロックが画像の最後のブロックであれば、バッファ
0〜N−1の内容が出力される(ステップ118)。こ
れらバッファの内容は、このように、埋め込みビットス
トリームすなわち経路マップを表し、これらは、受信器
に伝送され、切り詰められ、復号化され符号化された画
像が再構成される。
【0080】[3]復号化 復号化操作には、選択された数のバッファの再生、再生
されたバッファ内容の復号化、再構成された画像の出力
が含まれる。復号化は、固定木データ構造を通り、再構
成される画像部分が含まれる木構造の葉に至る経路マッ
プをたどり行われる。
【0081】この目的のため、コードブックが画像の復
号化に使用される。簡単のため、リファインメントレベ
ル(0〜N−1)の異なるバッファは、個別ファイルに
記憶され、または、個別チャネルを通し伝送され、従っ
て、なんらかの復号化が行われる前に再生されると仮定
する。これにより、画像は、8×8ブロックを通る単一
経路において復号化される。バッファが、1つの長い埋
め込みビットストリームにより連結されていると、画像
は、複数経路を通り復号化される必要がある。各経路に
おいて、埋め込みビットストリームから逐次ビットが読
み取られ漸進的に画像が改善される。
【0082】図10を参照すると、切り取り、復号化、
再構成がフローチャートに示される。最初に、受信器の
可能な帯域幅に従い任意の数Rが選択される(ステップ
200)。Nバッファの残りは、このようにして切り取
られる。これは、埋め込みビットストリームの任意のプ
リフィックスをとるのに等しい。次いで、0〜N−1の
ラベルが付けられた原Nバッファの最初のRが再生され
る(ステップ202)。
【0083】画像の最初の8×8ブロックが選択され
(ステップ204)、レベル6で、r=Rのコードブッ
クの根ノードから開始され次の手順に従い復号化され
る。
【0084】 decode(node,r,level) { while node is not a leaf do if node.r (the node's refinement index) > r then output node.c (the node's codeword) return if buffer node.r is empty, return read a bit out of buffer node.r if the bit is zero then node = left subnode (i.e., go left) else node = right subnode (i.e., go right) We're at a leaf. Get its labels (j,k) if lebel = L then output pixel values j,k return decord(rootnode of jth subtree at level L-1,r,L-1) decord(rootnode of kth subtree at level L-1,r,L-1) } 次に、画像の最後のブロックが復号化されたか決定が行
われる(ステップ208)。最後のブロックが復号化さ
れていなければ、次の8×8ブロックが選択され(ステ
ップ210)、ステップ206とステップ208が繰り
返される。最後のブロックが復号化されると、再構成さ
れた画像が出力される(ステップ212)。
【0085】このようにして、画像は、符号化され、伝
送され、多様な異なる分解能に再構成される。分解能の
多様性には、可逆伝送が表現される分解能が含まれる。
【0086】以上の説明は、本発明の特定の実施形態を
開示するものであり、制限を意図するものではない。従
って、本発明は、以上説明した実施形態にのみ制限され
るものではない。むしろ、当業者には、容易に本発明の
範囲に入る別の実施形態が考え付かれることを認識する
必要がある。
【図面の簡単な説明】
【図1】 埋め込みビットストリームを表す模式図であ
る。
【図2】 本発明に従う方法を一般的に表すフローチャ
ートである。
【図3】 本発明に従うレベル1〜5における拡張木構
造コードブックの構造を示す模式図である。
【図4】 本発明に従うレベル1〜5における拡張木構
造コードブックの構造を示す模式図である。
【図5】 本発明に従うレベル6における拡張木構造コ
ードブックの構造を示す模式図である。
【図6】 本発明に従うレベル6における拡張木構造コ
ードブックの構造を示す模式図である。
【図7】 図4と図6の各符号語から延びる2分探索木
を表す模式図である。
【図8】 本発明に従い符号化するデータ構造を表す模
式図である。
【図9】 本発明の符号化手順を示すフローチャートで
ある。
【図10】 本発明の復号化手順を示すフローチャート
である。
【図11】 周知の階層的テーブルルックアップベクト
ル量子化の方法を示す図である。
【図12】 周知の階層的テーブルルックアップベクト
ル量子化の方法を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 フィリップ エー チョー アメリカ合衆国 ワシントン州 ベルビュ ー ノースイースト 50ティエイチ スト リート 13525 (72)発明者 ナビン チャダ アメリカ合衆国 ワシントン州 ベルビュ ー レイクス アパートメント コンプレ ックス ノースイースト 42エヌディー プレース 14438 アパートメント #708

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 画像データを伝送する方法において、 画像を受信するステップと、 階層的テーブルルックアップベクトル量子化の実行及び
    得られるデータを埋め込む処理を含んで構成される、前
    記画像に対する符号化操作を実行するステップであっ
    て、前記階層的テーブルルックアップベクトル量子化の
    実行は少なくとも2量子化レベルに対し固定木データ構
    造が使用され行われ、前記データ埋め込み処理は少なく
    とも2レベルの前記固定木データ構造からビットが選択
    され、第1のレートを有し画像を表す第1のビットスト
    リームを得るものであり、当該第1のビットストリーム
    から選択されるプリフィックスには第2のレートを有し
    画像を表す第2のビットストリームが含まれるものであ
    る符号化操作実行ステップと、 前記第1のビットストリームと前記第2のビットストリ
    ームの一方を伝送するステップと、 再生画像を得るため前記第1のビットストリームと前記
    第2のビットストリームの一方に復号化操作を逐次的に
    実行するステップと、 を含んで構成されることを特徴とする方法。
JP11013295A 1998-01-29 1999-01-21 階層的テ―ブルルックアップベクトル量子化器において生成される埋め込みビットストリ―ムを使用しデ―タを伝送する方法 Pending JPH11275369A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/015,138 1998-01-29
US09/015,138 US6345126B1 (en) 1998-01-29 1998-01-29 Method for transmitting data using an embedded bit stream produced in a hierarchical table-lookup vector quantizer

Publications (1)

Publication Number Publication Date
JPH11275369A true JPH11275369A (ja) 1999-10-08

Family

ID=21769730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11013295A Pending JPH11275369A (ja) 1998-01-29 1999-01-21 階層的テ―ブルルックアップベクトル量子化器において生成される埋め込みビットストリ―ムを使用しデ―タを伝送する方法

Country Status (3)

Country Link
US (2) US6345126B1 (ja)
EP (1) EP0933946A3 (ja)
JP (1) JPH11275369A (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6345126B1 (en) * 1998-01-29 2002-02-05 Xerox Corporation Method for transmitting data using an embedded bit stream produced in a hierarchical table-lookup vector quantizer
DE69910965T2 (de) * 1998-05-27 2004-07-22 Ntt Mobile Communications Network Inc. Verfahren und gerät zum schutz gegen fehler
US6516297B1 (en) * 1998-12-23 2003-02-04 At&T Corp. Multiple description lattice vector quantization
US6535644B1 (en) * 1999-07-01 2003-03-18 Koninklijke Philips Electronics N.V. Hierarchical foveation based on wavelets
US6782138B1 (en) * 1999-07-14 2004-08-24 Purdue Research Foundation Method and system for processing multidimensional data
US6621935B1 (en) * 1999-12-03 2003-09-16 Microsoft Corporation System and method for robust image representation over error-prone channels
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
KR100430273B1 (ko) * 2000-07-21 2004-05-04 엘지전자 주식회사 비정규적인 빈값 양자화된 칼라 히스토그램을 이용한멀티미디어 검색방법
US6845130B1 (en) * 2000-10-12 2005-01-18 Lucent Technologies Inc. Motion estimation and compensation for video compression
DE50115539D1 (de) * 2000-12-22 2010-08-12 Siemens Ag Verfahren zur verbesserung der funktionalität der binären repräsentation von mpeg-7 und anderen xml-basierten inhaltsbeschreibungen
JP2002190021A (ja) * 2000-12-22 2002-07-05 Shinkawa Ltd 位置検出装置および方法
FR2820228B1 (fr) * 2001-01-30 2004-03-12 Expway Procede de codage et de decodage d'un chemin dans l'arborescence d'un document structure
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US7054335B2 (en) * 2001-05-04 2006-05-30 Hewlett-Packard Development Company, L.P. Method and system for midstream transcoding of secure scalable packets in response to downstream requirements
US20020191698A1 (en) * 2001-06-15 2002-12-19 Solidstreaming, Inc. Video data CODEC system with low computational complexity
TW535412B (en) * 2001-11-09 2003-06-01 Mediatek Inc Progressive JPEG decoding device and method thereof
US6915477B2 (en) * 2001-12-28 2005-07-05 Lucent Technologies Inc. Delay sensitive adaptive quality control loop for rate adaptation
WO2003063465A2 (en) * 2002-01-16 2003-07-31 Aviom, Inc. System and method for transmitting audio or video data using multiple levels of protection
US7656950B2 (en) 2002-05-29 2010-02-02 Diego Garrido Video interpolation coding
CN100391250C (zh) * 2002-08-20 2008-05-28 联发科技股份有限公司 渐进式联合图像专家组解码装置及方法
KR100548316B1 (ko) * 2002-11-08 2006-02-02 엘지전자 주식회사 동영상 에러 보정 방법 및 장치
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US7480646B2 (en) * 2003-10-23 2009-01-20 Microsoft Corporation Type path indexing
US8325748B2 (en) * 2005-09-16 2012-12-04 Oracle International Corporation Fast vector quantization with topology learning
FR2893432B1 (fr) * 2005-11-16 2008-01-04 Atmel Corp Quantificateur de vecteur fonde sur une dichotomie spatiale a n dimensions
JP5111811B2 (ja) * 2006-09-07 2013-01-09 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像運用履歴管理システム、モダリティ及びサーバ装置
US7629902B2 (en) * 2007-06-08 2009-12-08 Samsung Electronics Co., Ltd. MIMO wireless precoding system robust to power imbalance
TW200849970A (en) * 2007-06-14 2008-12-16 Sunplus Technology Co Ltd Method for progressive JPEG image decoding
TWI386069B (zh) * 2007-08-10 2013-02-11 Univ Nat Cheng Kung 資料集編碼系統及方法以及程式產品
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8208731B2 (en) * 2008-04-07 2012-06-26 Microsoft Corporation Image descriptor quantization
CN101577551A (zh) * 2009-05-27 2009-11-11 华为技术有限公司 一种生成格型矢量量化码书的方法及装置
GB2499424B (en) 2012-02-16 2016-06-01 Canon Kk Methods for decoding, methods for retrieving, method for encoding, method of transmitting, corresponding devices, information storage means and computer
US8923298B2 (en) * 2012-05-04 2014-12-30 Futurewei Technoligies, Inc. Optimized trie-based address lookup
GB2509139B (en) * 2012-12-21 2015-07-22 Canon Kk Process for encoding data
US9704136B2 (en) * 2013-01-31 2017-07-11 Hewlett Packard Enterprise Development Lp Identifying subsets of signifiers to analyze
TWI709047B (zh) 2015-06-15 2020-11-01 美商艾斯卡瓦公司 對其已使用主要資料篩而被無損減少的資料履行多維搜尋、內容相關擷取、及關鍵字為基的搜尋和擷取
US11032031B2 (en) * 2016-01-18 2021-06-08 Qualcomm Incorporated HARQ LLR buffer and reordering buffer management
US10886943B2 (en) 2019-03-18 2021-01-05 Samsung Electronics Co., Ltd Method and apparatus for variable rate compression with a conditional autoencoder
US11025317B2 (en) * 2019-05-09 2021-06-01 Samsung Electronics Co., Ltd. Adaptation of hierarchical codebooks

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8429879D0 (en) 1984-11-27 1985-01-03 Rca Corp Signal processing apparatus
US5060285A (en) * 1989-05-19 1991-10-22 Gte Laboratories Incorporated Hierarchical variable block size address-vector quantization using inter-block correlation
US5128756A (en) * 1990-12-11 1992-07-07 At&T Bell Laboratories High definition television coding arrangement with graceful degradation
US5231485A (en) * 1991-11-19 1993-07-27 Scientific-Atlanta, Inc. Method and apparatus for transforming between fixed-rate vector quantized data and variable rate vector quantized data
US5321776A (en) 1992-02-26 1994-06-14 General Electric Company Data compression system including successive approximation quantizer
US5272529A (en) 1992-03-20 1993-12-21 Northwest Starscan Limited Partnership Adaptive hierarchical subband vector quantization encoder
FI92272C (fi) * 1992-05-20 1994-10-10 Valtion Teknillinen Kuvansiirtojärjestelmän tiivistyskoodausmenetelmä
CA2143633A1 (en) * 1992-09-01 1994-03-17 James Oliver Normile Improved vector quantization
US5412741A (en) 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
US5398069A (en) 1993-03-26 1995-03-14 Scientific Atlanta Adaptive multi-stage vector quantization
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5602589A (en) * 1994-08-19 1997-02-11 Xerox Corporation Video image compression using weighted wavelet hierarchical vector quantization
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US5926226A (en) * 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
US6345126B1 (en) * 1998-01-29 2002-02-05 Xerox Corporation Method for transmitting data using an embedded bit stream produced in a hierarchical table-lookup vector quantizer

Also Published As

Publication number Publication date
US20020034333A1 (en) 2002-03-21
US6671416B2 (en) 2003-12-30
EP0933946A3 (en) 1999-12-08
US6345126B1 (en) 2002-02-05
EP0933946A2 (en) 1999-08-04

Similar Documents

Publication Publication Date Title
JPH11275369A (ja) 階層的テ―ブルルックアップベクトル量子化器において生成される埋め込みビットストリ―ムを使用しデ―タを伝送する方法
Muthukumaran et al. The performances analysis of fast efficient lossless satellite image compression and decompression for wavelet based algorithm
KR101176691B1 (ko) 변환 블록들의 효율적 코딩 및 디코딩
US7437010B2 (en) Method for imaging coding by rate-distortion adaptive zero-tree-based residual vector quantization and system for effecting same
JP4801160B2 (ja) 逐次改善可能な格子ベクトル量子化
US6438525B1 (en) Scalable audio coding/decoding method and apparatus
US7822601B2 (en) Adaptive vector Huffman coding and decoding based on a sum of values of audio data symbols
US7356085B2 (en) Embedded multiple description scalar quantizers for progressive image transmission
US20050231396A1 (en) Audio compression
JPH08107556A (ja) ビデオ像の圧縮方法
KR20010042067A (ko) 이미지 압축 복원 장치 및 방법
JP3466080B2 (ja) デジタルデータの符号化/復号化方法及び装置
KR100959837B1 (ko) 패러미터 값들을 코드워드 인덱스들로 매핑하기 위한최적의 방법 및 시스템
WO2011097963A1 (zh) 编码方法、解码方法、编码器和解码器
US6771831B2 (en) Data compression method and system using globally optimal scalar quantization
Chaddha et al. Constrained and recursive hierarchical table-lookup vector quantization
KR100480785B1 (ko) 그레이코드를 이용한 비트플레인 부호화 및 복호화 방법및 장치
Kumar et al. Comparative analysis of wavelet based compression methods
Langi Lossless compression performance of a simple counter-based entropy coder
Darragh et al. Fixed distortion, variable rate subband coding of images
EP1465350A2 (en) Embedded multiple description scalar quantizers for progressive image transmission
Dunn Scalable bitplane runlength coding
Jafarkhani Wavelet coding of images: adaptation, scalability, and transmission over wireless channels
CN111699687A (zh) 编码方法、编码器和编码系统
Kim et al. Data Compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060926